Nella nuova era oscura tutto è opaco: algoritmi, scienza, tecnologia, finanza… Come la «black box» è diventata, da teoria cibernetica, il paradigma fondante dell’intera società
Dal 4 al 7 luglio, in un campeggio nel cuore delle dolomiti bellunesi, si terrà l’edizione 2019 di Simposio, un programma di attività, incontri, performance e installazioni che intende attivare un confronto pubblico e stimolare una riflessione sulla contemporaneità e le sue implicazioni di carattere percettivo, cognitivo, sociale ed economico, organizzato dal collettivo NONE. In quanto partecipante del programma di seminari, ho preparato questo articolo partendo dai contenuti del workshop che porterò all’evento nella mattina di sabato 6 luglio. Il programma integrale e altre informazioni sono reperibili sul sito del festival.
Nei primi mesi del 1949, nei laboratori del Barnwood House Mental Hospital, manicomio privato alla periferia di Gloucester, era possibile trovare un misterioso congegno nero quadrato composto da quattro accumulatori, ognuno dei quali provvisti di un magnete capace di oscillare tra diverse configurazioni. Come riportato in un articolo del Time dell’epoca, secondo il suo creatore, lo psichiatra William Ross Ashby, questo dispositivo, il cosiddetto omeostato, era la cosa più vicina alla realizzazione di un cervello umano artificiale mai progettato finora dall’uomo.
Ashby, oltre che un medico, fu uno dei pionieri e divulgatori della cibernetica, che più che una disciplina si potrebbe considerare come un ventaglio di studi sperimentali interdisciplinari a cavallo tra l’ingegneria, la biologia e la scienza sociale. Non ci sarebbe il tempo né lo spazio di approfondire qui i tanti significati e le diramazioni di questa materia, la cui origine si può ricondurre arbitrariamente indietro nel passato a seconda di quali radici del pensiero sistemico si vogliano prendere in considerazione, ma è certo che nell’immediato dopoguerra il nome di questa nuova scienza fu reintrodotto e divulgato dal lavoro di Norbert Wiener, che nel 1948 pubblicava il suo Cybernetics or Control and Communication in the Animal and the Machine.
Le intenzioni del matematico statunitense, come espresse dal titolo dell’opera, erano fondare una nuova scienza capace di affrontare i temi della regolazione dei sistemi naturali e artificiali trovando analogie e affinità tra questi, ibridando metodi delle scienze sociali e biologiche con teorie del calcolo e del controllo automatico. Gli stessi principi che ispirarono quindi Ashby, che annotò i suoi pensieri per oltre 44 anni in una serie di diari producendo 25 volumi, per un totale di 7189 pagine, ora affidati alla British Library. E fu proprio per dare un esempio di macchina autoregolativa che Ashby costruì l’omeostato, il cui stato poteva essere modificato tramite particolari comandi rappresentanti l’ambiente esterno, e che sotto particolari condizioni era in grado di ritornare da solo ad uno stato di equilibrio. Per quanto ora sia difficile da immaginare, un tale progetto era assolutamente in linea con gli obiettivi dei nascenti rami dell’automazione, tanto che lo stesso Turing, sapendo dell’intenzione di Ashby, gli scrisse proponendogli di simulare questo meccanismo sul calcolatore che egli stava progettando nei pressi di Londra.
Ma quello che ci interessa della complessa macchina di Ashby per poter trovare una chiave di di lettura degli sviluppi dell’automazione a seguire fino ai nostri anni è l’approccio con cui l’omeostato fu realizzato nel voler simulare un sistema vivo. La difficoltà della ricerca sull’organismo e sulla mente umana consiste prevalentemente nei limiti di una visione occidentale tanto intrisa di positivismo e riduzionismo che di volta in volta prova a cercare una comprensione della complessità in quello o in quell’altro singolo elemento afferente ad una particolare disciplina. In un contesto del genere, il modo più ovvio di provare ad approcciarsi alla simulazione del vivente è quella di ragionare esclusivamente in termini di input e output, senza necessariamente avere cognizione di causa del meccanismo interno.
Il modello proposto da Ashby è quello che venne indicato a seguire come black box theory, metodo della scatola nera, sul quale gli stessi cibernetici avviarono un acceso dibattito che ancora oggi possiamo ritenere aperto. Lo stesso Ashby scriveva negli anni Cinquanta che «quello che si sta sostenendo non è che le scatole nere si comportano in qualche modo come gli oggetti reali, ma che gli oggetti reali sono nei fatti tutte scatole nere, e che abbiamo a che fare con scatole nere in tutta la nostra vita», suggerendo sostanzialmente una ontologia delle scatole nere. Il ruolo della black box nella scienza è un dilemma che arriva, riesplondendo, nel XXI secolo. È lo stesso Latour, nel 2001 con Pandora’s Hope, che parla di blackboxing come «il modo in cui il lavoro scientifico e tecnico è reso invisibile dal suo stesso successo. Quando una macchina funziona efficientemente ci si focalizza solo su input e output, e non sulla complessità interna. Questo fa sì che, paradossalmente, più la scienza e la tecnologia ottiene risultati, più opache ed oscure diventano».
Opache e oscure. Facendo un altro salto di anni e arrivando ai tempi recentissimi, non è un caso se i timori verso una scienza opaca siano emersi in un settore in particolare dello sviluppo tecnologico e informatico: quello del deep learning e delle reti neurali profonde. I tranelli epistemologici incontrati nel cammino di queste tecnologie sono più di uno, e in questo senso le parole di Latour risultano profetiche, nell’accostare il pericolo dell’oscurità metodologica al successo statisticamente rilevato. Se agli inizi degli anni Dieci di questo secolo, sulla spinta di un certo data-ottimismo à-la-Anderson, sembrava di essere giunti alla fine della teoria, recentemente ci si è accorti che ci sono buoni motivi per non accettare solo un buon risultato statistico di un software di intelligenza artificiale, ma è necessario cercare di capire le ragioni di una scelta automatizzata rispetto ad un altra, o i parametri di classificazione di cui questa fa uso.
Da questa metodologia è nata una specifica branca della ricerca informatica, l’Explainable Artificial Intelligence (XAI), che in pochi anni è riuscita a convincere il settore economico e finanziario dalla vecchia narrazione dell’obsolescenza della teoria alla necessità di spiegare all’avvocato perché un cittadino è stato inserito nella black list di un sistema di social credits. Insomma, la burocrazia sarà anche lenta a stare al passo della tecnologia, sicuramente non lo sono i venditori.
Ma se l’attenzione al tema blackboxing oggi è particolarmente concentrata sulla specificità del deep learning, la nostra introduzione a partire dagli anni Quaranta ci offre l’opportunità di allargare lo sguardo, e di rendere l’analisi anche più politica, oltre che più stabile nel flusso mutevole dei trending topics. Quello della black box, infatti, non è semplicemente un approccio specifico alla scienza o allo sviluppo tecnologico, ma qualcosa che riguarda sempre di più la fenomenologia sistemica della nostra società e delle forme di produzione, economica e culturale. Possiamo dire, in un certo senso, che se vogliamo tracciare una lettura dei tempi l’ontologia black box è da considerare come un ordine del discorso, un prodotto della verità del capitalismo digitale di piattaforma. A essere black box non è solo l’IA in senso stretto, ma anche l’intelligenza computazionale distribuita, quella composta da una rete imbrigliatissima di calcolatori, apparecchi IoT, corpi iperconnessi in movimento e in produzione incessante. A divenire organismo oscuro è la macchina finanziaria, piena di sottigliezza metafisica e di capricci teologici, talmente complessa da essere a stento compresa dagli sciamani di palazzo, troppo impegnati ormai nella lotta contro quei demoni algoritmici ad alta frequenza che loro stessi hanno evocato eoni addietro, e dei quali ormai hanno perso il totale controllo. A trovarsi sempre più opaca è la scienza, non per mancanza di informazione o di intelligenze, ma per la sempre più frammentata scomposizione microdisciplinare, verso un’iperspecializzazione incapace di comunicare col resto del mondo. Possiamo, allora, parlare di società black box, come suggerito da Frank Pasquale, e provare a fare considerazioni parziali su quegli iperoggetti che governano le nostre vite al limite della comprensione, in quella che Bridle, citando il maestro dell’orrore Lovecraft, considera una nuova era oscura.
Tornando a Latour, e al testo che scrisse con Steve Woolgar, Laboratory Life, «l’attività di costruire scatole nere, di rendere oggetti di conoscenza distinti dalle circostanze della loro creazione, è esattamente quello che occupa gli scienziati la maggior parte del tempo. […] Una volta che un oggetto di studio viene elaborato nel laboratorio, è molto difficile ritrasformarlo in oggetto sociologico. Il costo nel rilevare i fattori sociali sono un riflesso dell’importanza dell’attività di black box». Aprire la scatola nera, allora, non è un compito solo per esperti o tecnici così come, tornando a Bridle, anche se può essere utile non è necessario imparare a programmare per potersi avvicinare al dibattito sulle nuove tecnologie. Anzi, quello che emerge da nuovi filoni di ricerca come quello della social network analysis o della sociologia computazionale, è che l’ambiente informatico e delle scienze «dure» si è trovato catapultato in pochissimi anni a confrontarsi con questioni di metodo con le quali non era abituato a interfacciarsi, a differenza dei sociologi. Non solo è quindi necessaria un’interdisciplinarietà, ma anche una critica dei processi produttivi capace di riconoscere le dinamiche del valore, del lavoro, dell’impatto sull’environment dei sistemi aperti. In questo senso, di questa intelligenza opaca distribuita, o almeno di una piccola parte di questa megamacchina, possiamo provare ad aprire qualche scatola nera.
-È stato un duro compito – disse pacato Pensiero Profondo.
-Quarantadue ? – urlò Loonquawl – È tutto quello che hai da dirci dopo sette milioni e mezzo di anni di lavoro?- Ho controllato con grande minuziosità -disse il computer -e questa è la risposta veramente definitiva. Credo, se devo essere sincero, che il problema sia che voi non avete mai saputo veramente quale fosse la domanda.
Douglas Adams, Guida galattica per gli autostoppisti
A inizio 2019, a un incontro in occasione del Martin Luther King Day, la deputata democratica ventinovenne Alexandria Ocasio Cortez ha parlato al pubblico delle tecnologie di riconoscimento facciale, dichiarando che queste «portano con sè iniquità razziali». Subito gli oppositori si sono accaniti sul suo commento, come il repubblicano Ryan Saavedra, che in un tweet ha deriso l’avversaria sostenendo che di fatto gli algoritmi sono «driven by math», guidati dalla matematica. Ma Cortez aveva assolutamente ragione, come poi dichiarato anche da numerosi ricercatori, contenti che l’attivista avesse finalmente portato la questione nel dibattito pubblico.
Gli episodi di discriminazione algoritmica recenti sono numerosi, raccolti in vari articoli o saggi degli ultimi anni. C’è il famoso Tay, il bot twitter di Microsoft lanciato a marzo 2016 e ritirato dopo meno di 16 ore perché inneggiava a Hitler e contro i messicani, ci sono i tentativi di previsione del crimine come COMPAS, che l’associazione ProPublica ha dimostrato essere soggetto a discriminazione in base al colore della pelle, o come il paper di Wu e Zhang, che volevano dimostrare una correlazione tra fisionomia del volto e probabilità di compiere reati, e come le critiche hanno fatto notare riportavano in pista metodi lombrosiani. I bias incorporati poi possono vivere anche nei dispositivi in commercio, come ricorda Bridle con l’esempio di Joz Wang, consulente taiwanese-americana che nel lontano 2009 si accorse che la sua Nikon Coolpix S630, programmata per riconoscere persone con gli occhi chiusi nelle foto, non teneva conto della fisionomia non-caucasica, e continuava a dare errore anche se lei e i suoi familiari avevano gli occhi aperti. O, ancora, wzamen01, utente Youtube che caricò un video per mostrare come le webcam HP Pavilion siano capaci di riconoscere solo volti bianchi. E potremmo andare avanti.
L’assunzione alla base dello sviluppo di queste tecnologie è che le informazioni in possesso per l’apprendimento rappresentino la realtà in modo oggettivo e unico, finendo invece per rafforzare visioni dominanti, occidentali, maschili, classiste. L’idea che un uso della tecnologia e del calcolo sia sinonimo di neutralità ha radici antiche, e ci porta fino all’Ars Combinatoria di Lullo e poi Leibniz, entrambi affascinati dall’idea di poter costruire una simbolizzazione del pensiero capace di rappresentare e risolvere algebricamente qualunque dibattito, fornendo risposte inconfutabili a quesiti sociali, politici, dialettici. Il mito della fine della teoria e l’apologia della correlazione nell’era dei petabyte sono narrazioni fondative della società black box, e riemergono ogni volta che sentiamo parlare di data journalism come panacea contro le fake news, di risoluzione dei conflitti tramite consulenza tecnica, o della convinzione degli scienziati di poter fare gli scienziati senza costruire modelli. Modelli sempre presenti e necessari, che rappresentano ideologie, visioni del mondo, interpretazioni della realtà.
Anche la più aggiornata sociologia economica assuma la informazione come la variabile più importante di un sistema economico industrializzato, e la collega indirettamente alla dialettica delle «decisioni» che vengono prese nella piramide sociale della produzione, le quali vengono appunto definite «vettori delle informazioni». […] L’informazione, consentendo l’automazione come metodologia complessiva dello sfruttamento nel suo flusso regolato, quantificato e programmato chiarisce il ruolo irriducibile dell’operaio nell’accumulazione.
Romano Alquati, Composizione del capitale e forza lavoro alla Olivetti, Quaderni Rossi n.3, 1963
A fine XVIII secolo, nella fase di piena fascinazione per gli automi meccanici automoventi, l’inventore ungherese von Kempelen realizzò il cosiddetto Turco Meccanico, un manichino capace di stupire le folle e le corti dell’epoca perché apparentemente capace di giocare a scacchi e vincere contro avversari umani. La realtà era che al suo interno era manovrato da una persona di piccola statura, che osservava la scacchiera grazie a un gioco di specchi e impartiva le mosse al manichino tramite un sistema di leve e magneti. Ed è particolarmente ironico e tragico il fatto che Amazon Mechanical Turk sia proprio il nome scelto dal colosso di vendite online per la propria piattaforma di crowdworking lanciata nel 2005, sulla quale migliaia di lavoratori diffusi per il globo possono compiere varie microattività come traduzione di testi o letture di captcha per una retribuzione di pochi centesimi l’una.
Alcune stime parlano di 100 milioni di microlavoratori, che distribuiti per il globo consentono alle piattaforme di immagazzinare intelligenza collettiva che si trasforma in intelligenza artificiale. In un discorso al MIT, lo stesso Bezos descrisse il metodo della piattaforma come una trasformazione di «umani in un servizio». Come ricorda Antonio Casilli, docente all’Università Telecom ParisTech e autore di En attendant les robots, di piattaforme del genere ce ne sono più di una. C’è Zhubajie in Cina, che aggrega fino 15 milioni di operai digitali, c’è TaskCn che ne conta 10 milioni, oltre a intere click farm, dove il lavoro viene più sistematizzato in ex fabbriche riconvertite in hangar e dove migliaia di persone passano ore e ore a targetizzare, trascrivere, classificare. Quello della forza lavoro nascosta è un fenomeno che non riguarda solo l’intelligenza artificiale strettamente intesa, ma anche, come si accennava all’inizio, l’intera catena dell’organismo capitalistico digitalizzato. Se la mente della macchina vive grazie ai microlavori cognitivi, il corpo di questa funziona su una rete di distribuzione logistica anch’essa caratterizzata da forme estreme di precarizzazione e visibilità rimossa.
Into the Black Box è «un progetto di ricerca collettivo e trans-disciplinare che adotta la logistica come prospettiva privilegiata per indagare le attuali mutazioni politiche, economiche e sociali». La logistica come forma di intelligenza strategica nella narrazione di una produzione armonizzata, auto-regolata. Gli articoli sul sito del collettivo e gli eventi organizzati, principalmente a Bologna, offrono chiavi interpretative utilissime a leggere la black box society allargando lo sguardo «dentro e oltre lo schermo», offrendo un interessante spunto di prassi politica e strategica, oltre che di analisi. Inoltre, occultamento della forza lavoro e occultamento della teoria sono strettamente correlate, come è possibile capire appieno dal documentario The Cleaners, inchiesta sul lavoro di pulizia e rimozione contenuti dei social, dove lavoratori e lavoratrici sottopagate devono fare i conti non solo con ore di scansione di video e immagini spesso disturbanti, ma anche con la responsabilità di definire quale sia o non sia un contenuto idoneo, scontrandosi con dilemmi politici ed etici assolutamente non banali, ma imposti da una piattaforma che vuole divenire contenitore enciclopedico, neutrale, universale.
Quando consideriamo la complessità e l’interrelazione dei cicli con cui Gaia mantiene i suoi equilibri, la vastità delle disruptions che ora imponiamo su di lei, la primitiva qualità dei materiali scientifici con cui tentiamo di decifrare i suoi indizi, allora veramente possiamo parlare di un’ignoranza umana, criminale o pietosa, a seconda del tuo punto di vista, nelle nostre relazioni con Gaia. […] A differenza di tutte le altre forme di organizzazione e riproduzione sociale, la scienza è considerata neutrale e universale, quindi al di sopra della società. Non può essere giudicata, interrogata o valutata nel pubblico dominio.
Vandana Shiva, Maria Mies – Ecofeminism
«There is no cloud, it’s just someone else’s computer», recita un famoso motto della cultura internettiana. Non esiste nessuna nuvola incorporea, i dati sono da qualche parte, al ventesimo piano di un qualche grattacielo o nel mezzo del deserto. Dopo la neutralità e l’autoregolazione, quello dell’incorporeità è forse il terzo grande mito del capitalismo digitale. Un corpo che invece esiste, è pesante e diffuso, richiede risorse per sostenersi, e nella sua sopravvivenza compete selvaggiamente con gli altri organismi dell’ecosistema. Timothy Morton inserisce il riscaldamento climatico tra quelli che lui chiama iperoggetti, ovvero fenomeni che ci circondano ma che sono troppo grandi e complessi per essere compresi nella loro interezza. Possiamo afferrarne delle parti, ma come una scatola nera rovesciata ne siamo all’interno senza poterne comprendere l’intera dinamica. Una recentissima ricerca dell’Università del Massachussetts. poi ripresa in un articolo dal MIT, ha rivelato che un ciclo di apprendimento di un modello complesso di intelligenza artificiale può arrivare a produrre più di 280mila kg di anidride carbonica, circa 5 volte le emissioni di un’automobile americana nel suo ciclo di vita. Il caso specifico preso in esame riguarda un modello di NLP, Natural Language Processing, ovvero quel campo dell’IA che cerca di costruire macchine capaci di gestire il linguaggio umano, come gli algoritmi che consentono di utilizzare Google Translate o i comandi vocali di Alexa.
Vari sono gli studi dell’impatto ambientale dovuto all’immagazzinamento dei dati e al lavoro dei server, ma questo risultato in merito all’IA ha particolarmente stupito anche la comunità accademica. Stando alle stime, solo i più grossi data center immettono complessivamente una quantità di CO2 pari a quella generata dall’intera industria del trasporto aereo. Una grossa banca dati ha un consumo paragonabile a una città di un milioni di abitanti, e considerando che ogni secondo ne vengono compiute circa 4700, ogni ricerca su Google è stata stimata responsabile di 10 grammi di anidride. Tutto questo senza considerare l’avvento dell’Internet Of Things o la mole di calcolatori impiegati solo per il mining di criptovalute, che attualmente richiede un fabbisogno energetico pari a quello dell’Irlanda. E poi i corpi ancora più fisici dei dispositivi tecnologici, sottoposti a un ricambio frenetico dall’obsolescenza programmata. Un iperoggetto oscuro, vivo e affamato, che lotta per la propria esistenza, e non c’è bisogno di stare a sottolineare quali siano gli organismi con esso in competizione. Una complessità sensibilmente soprasensibile che ci mette davanti ad una necessaria inquietudine, oltre che ad una preoccupante impotenza. Ma anche un organismo che si nutre incessantemente dell’intelligenza, del lavoro e della vita di qualche miliardo di altri microorganismi, che operano come ingranaggi all’interno di una grande scatola nera, e che in modi e forme da elaborare ed agire, possono forse ancora riprendere il controllo della macchina e del destino del pianeta.
