2000battute
«Appartengo a una generazione disgraziata a cavallo fra i vecchi tempi ed i nuovi, e che si trova a disagio in tutti e due. Per di più, come lei non avrà potuto fare a meno di accorgersi, sono privo d’illusioni.» –Tomasi di Lampedusa
Armi di distruzione matematica – Cathy O’Neil
WEAPONS OF MATH DESTRUCTION
Cathy O’Neil
Crown 2016
Aggiornamento settembre 2017: è uscita l’edizione italiana
ARMI DI DISTRUZIONE MATEMATICA
Cathy O’Neil
Traduzione di D. Cavallini
Bompiani 2017
Big data, algoritmi, intelligenza artificiale… la società dei dati, il futuro della società dipende dai dati, la produzione industriale dipende dai dati, la riorganizzazione dello stato dipende dai dati, l’efficienza dei servizi pubblici dipende dai dati, dati, dati, dati … chi non ne ha sentito parlare, ripetere, stra-ripetere, perfino farneticare da ogni parte? Nessuno che non abbia un livello minimo di informazione.
Sono decine gli articoli, i saggi, le opinioni, gli editoriali, gli inserti e gli speciali offerti da commentatori di ogni provenienza diventati espertissimi di dati e società plasmata dai dati, che ripetono le parole d’ordine… efficienza, intelligenza, innovazione, previsione, gestione.
I dati sono il presente e il futuro. I dati scavalcano le barriere della scienza e del suo metodo d’indagine, sostiene qualcuno, i dati sono il nuovo petrolio, dicono in molti, i dati sono il futuro della democrazia in crisi (e allo stesso tempo il futuro dei fascismi in rinascita), viene ipotizzato. I dati, in un modo o nell’altro, sono il futuro della nostra società, dell’economia e della civiltà del terzo millennio. I dati, questo fiume informe e privo di volto, sono la faccia del futuro. Così sembra sempre di più. In questa retorica che dilaga senza posa, spesso tra il fenomeno pop e l’inutile cacofonia, c’è tutto e il contrario di tutto. Molte verità e anche molte falsità, molta ideologia e molto pragmatismo, illusione e concretezza, previsioni e miraggi, malafede e buonafede, cialtroneria e competenza. È un sovrapporsi di voci nel quale è difficile anche per chi se ne occupa professionalmente separare i pochi contributi di valore dalla massa di banalità o inutilità.
È ancora troppo presto, probabilmente, per pretendere l’uscita di un’analisi del fenomeno in grado di spiegare in maniera esaustiva la modernità guidata dai dati. Però si può sperare in buone analisi limitate a un particolare punto di osservazione, non inquinate da eccessiva ideologia e sufficientemente fondate su una buona competenza dell’autore, che è quello che offre questo Weapons of Math Destruction di Cathy O’Neil. Non so se sia prevista un’edizione italiana, per il momento non c’è. Peccato se non ci sarà.
Già dal titolo l’autrice chiarisce che la sua analisi sarà rivolta alle conseguenze negative della società dei dati, alle distorsioni e degenerazioni, alle semplificazioni colpose e all’uso dei dati in modo strumentale, violento e distruttivo. In altre parole, riecheggiando sia il potenziale distruttivo indiscriminato delle armi di distruzione di massa, sia il precedente della truffa mediatica del governo americano quando falsificò le prove per giustificare l’intervento in Iraq, l’autrice ci fa sapere immediatamente che il potenziale distruttivo dei dati, se impugnati come armi, può colpire indiscriminatamente e che le loro potenzialità possono essere facilmente strumentalizzate per costruire messaggi mediatici manipolatori.
In entrambi i casi ha ragione e nel libro riesce ad essere molto convincente. È un saggio interessante e informativo questo Weapons of Math Destruction, ben scritto, ben organizzato, solido, che non eccede in strizzatine d’occhio e frivolezze, difetti purtroppo comuni a questo genere di pubblicazioni. È un testo fruibile da chiunque abbia anche solo un minimo di informazione sull’argomento, ma interessante pure per chi è più esperto. Ricorre ampiamente, come d’obbligo nell’editoria americana, ad aneddoti e a una narrazione episodica, inizialmente presentando situazioni già note e più volte discusse negli ultimi anni, ad esempio riguardo le distorsioni dei software utilizzati da giudici e corti americane in processi penali per prevedere la pericolosità sociale di un condannato, che si sono spesso rivelati influenzati da pregiudizi razziali, oppure l’uso di tecniche estremamente invasive di profilazione sociale per campagne pubblicitarie ai limiti della liceità – in realtà spesso oltre i limiti – usate ad esempio da college universitari privati. A chi già segue il tema con attenzione questi casi non rappresentano delle novità, però sono ben presentati e ricchi di dettagli. Altri casi che Cathy O’Neil discute sono meno noti, di nicchia, e per questo particolarmente rappresentativi sia della capacità di penetrazione della rivoluzione in corso basata sui dati e sia dei pericoli posti dalla facilità di errata interpretazione, quando non proprio di manipolazione, delle conclusioni che dai dati si possono trarre. Problemi di interpretazione sono in grado di travolgere la vita professionale e sociale di persone ignare e sostanzialmente incolpevoli che, per circostanze contingenti e assunzioni errate dei sistemi di analisi dei dati, finiscono per essere identificate come outlier se non come diretti responsabili di cattive performance di un servizio.
Molto giustamente quello che emerge dai casi discussi da Cathy O’Neil non è un sentimento genericamente catastrofista o antimoderno rispetto alla possibilità di sfruttare sistemi di analisi di grandi moli di dati a fini sociali, economici o anche politici. Ciò che viene messo con forza in risalto è il malinteso (quando va bene) o la malafede (quando va male) secondo cui i benefici che si possono ricavare dall’analisi di grandi moli di dati possono essere ottenuti automaticamente, ovvero grazie al solo impiego di algoritmi basati su modelli matematici di realtà sociali complesse come ad esempio i risultati scolastici o la capacità lavorativa di una persona, rimuovendo completamente l’onere e le difficoltà di un’analisi da parte di personale addetto e competente. È una colpevole, in alcuni casi addirittura criminale, rimozione di responsabilità l’effetto distruttivo che si ottiene dalla retorica sui dati; è la presunzione, ingiustificata, di una oggettività tecnica ciò che li può rendere paragonabili ad armi di distruzione di massa, qualcosa di molto simile ai concetti – criminali, per l’appunto – di “bomba intelligente” o di “attacco selettivo” operato da droni.
L’uso distorto – consapevole o meno – dei Big Data attraverso algoritmi che non solo supportano decisioni prese da persone deputate, ma spesso ne assumono il ruolo decisionale, minaccia di provocare gravi conseguenze sociali prima che si possano operare correttivi. Ancora peggio, i gravi effetti negativi quando si verificano ricadono tipicamente sulle fasce sociali più deboli e di scarso o nessun peso politico ed economico: lavoratori precari, ceti a reddito medio-basso, madri sole, detenuti, residenti di zone degradate; questo fa sì che si inneschi una spirale perversa che peggiora ulteriormente i risultati sociali (maggiore discriminazione, instabilità, precarizzazione) e allontana la possibilità di intervento.
Data is not going away. Nor are computers—much less mathematics. Predictive models are, increasingly, the tools we will be relying on to run our institutions, deploy our resources, and manage our lives. But as I’ve tried to show throughout this book, these models are constructed not just from data but from the choices we make about which data to pay attention to—and which to leave out. Those choices are not just about logistics, profits, and efficiency. They are fundamentally moral.
If we back away from them and treat mathematical models as a neutral and inevitable force, like the weather or the tides, we abdicate our responsibility. And the result, as we’ve seen, is WMDs that treat us like machine parts in the workplace, that blackball employees and feast on inequities. We must come together to police these WMDs, to tame and disarm them. My hope is that they’ll be remembered, like the deadly coal mines of a century ago, as relics of the early days of this new revolution, before we learned how to bring fairness and accountability to the age of data. Math deserves much better than WMDs, and democracy does too.I dati non spariranno. Nemmeno i computer – tanto meno la matematica. I modelli predittivi sono, sempre più, gli strumenti sui quali faremo affidamento per governare le istituzioni, utilizzare le risorse e organizzare le nostre vite. Ma, come ho cercato di mostrare in questo libro, questi modelli sono costruiti non solo sui dati ma in base alle scelte che noi operiamo riguardo a quali dati prestare attenzione – e quali ignorare. Queste scelte non riguardano solo la logistica, i profitti e l’efficienza. Sono scelte fondamentalmente morali.
Se noi ci asteniamo da tali scelte e consideriamo i modelli matematici come neutrali, rappresentanti forze inevitabili, come le condizioni atmosferiche o le maree, noi abdichiamo alle nostre responsabilità. E il risultati di questa rimozione, come abbiamo visto, sono che le Armi di Distruzione Matematica ci considerano alla stregua di parti meccaniche in un processo produttivo, che scartano i lavoratori e incrementano le disuguaglianze. Dobbiamo unirci per vigilare su queste Armi di Distruzione Matematica, addomesticarle e disarmarle. La mia speranza è che possano essere ricordate, come sono state le condizioni nelle miniere di carbone di un secolo fa, come le rovine dei primi giorni di questa nuova rivoluzione, prima che imparassimo ad avere equità e responsabilità nell’era dei dati. La matematica merita molto di più delle Armi di Distruzione Matematica, e così anche la democrazia.
(traduzione mia)
Una lettura utile, un esempio di come si possa produrre un testo divulgativo allo stesso tempo equilibrato ed appassionato, un’analisi documentata e inclusiva delle diverse dimensioni – tecnologica, economica, sociale, morale -, inclusività assolutamente indispensabile, in primo luogo, per chi si occupa professionalmente di tecnologia e di società digitale, poi per tutti coloro che cercano di capire di più e meglio cosa stia accadendo nel mondo.
Note:
– una intervista a Cathy O’Neil è apparsa su Quartz.
2000battute 