Non si capisce più niente – Prismo

La tecnologia è ormai al di là della nostra comprensione come specie e questo non è un bene, come racconta Overcomplicated di Samuel Arbesman.

Il 28 ottobre 2015 Google ha ufficializzato l’esistenza di RankBrain, il suo sistema di intelligenza artificiale e machine learning, un algoritmo potente in grado di imparare e agire indipendentemente. Lo scorso marzo, Paul Haahr, uno degli ingegneri a capo della divisione che l’ha creato, ha confessato l’amara verità: nessuno capisce davvero come RankBrain funziona o si comporta. In compenso, l’intelligenza artificiale esiste e finora non ha ucciso nessuno.

Lo scorso sei ottobre il valore della sterlina è crollato del 6% in appena due minuti, scatenando timori di un’apocalisse finanziaria causata dalla Brexit o altri fattori. Dopo 120 secondi, tutto è tornato alla normalità; la sterlina si è ripresa. E nessuno ha ancora capito perché (la Bank of England ha aperto un’indagine).

La finanza moderna è governata dagli algoritmi che hanno inaugurato una nuova era negli investimenti, l’High-frequency trading: computer che analizzano moli di dati e muovono denaro al posto nostro. In questo senso questa forma di trading è molto simile a RankBrain: una black box della quale ci fidiamo pur non comprendendola. Perché è tutto troppo complicato, persino per gli specialisti e i geni del settore.

Nel suo ultimo saggio, Overcomplicated. Technology at The Limits of Comprehension, lo scrittore e scienziato Samuel Arbesman racconta la storia di una trappola e di un ricatto: l’umanità ha creato una rete tecnologica così avanzata da essere ormai al di là della sua comprensione; ciononostante, ne è dipendente e non può tornare indietro. Lo chiamano entanglement, groviglio, e per raccontarlo Arbesman parte dalla tragedia del Challenger del 1986, lo Space Shuttle esploso in aria a pochi secondi dal decollo. In quel caso, in un classico momento pre-entanglement in cui tutto era più semplice, la commissione d’inchiesta dimostrò che la tragedia fu causata dalla perdita di resistenza di un materiale con cui il Challenger era stato costruito. Tutto chiaro. Confrontiamolo con la recente esplosione di un razzo di Space X, ed ecco che lo spettro dell’entanglement riempie la nostra visione: a settimane di distanza dall’evento – che ha generato centinaia di milioni di dollari di perdite per l’azienda – non è ancora chiaro cosa sia successo. E forse non lo capiremo mai.

Nel mondo della programmazione esiste un fenomeno chiamato dark code, che può aiutarci a intuire l’insondabile: è quell’insieme di codici che “nessuno capisce veramente”, spiega Arbesman, e “non hanno nessuna funzione chiara; ciononostante sono necessari al funzionamento dell’applicazione”. Esiste anche il contrario del dark code, una sua variante kafkiana definita come “un’applicazione dotata di una funzione che non sembra risalire al codice”. In questo caso il software riesce a fare cose per cui non era stato programmato: tutto funziona bene ma non si sa perché. Nell’era dell’entanglement, ha detto lo scrittore e ingegnere Danny Hillis, “ogni esperto conosce un pezzo del puzzle ma l’immagine generale è troppo complicata per essere compresa”.

Parte del problema sta nella natura stessa del progresso, per cui ogni avanzamento sostituisce – o si aggiunge a – una tecnologia preesistente. Questa stratificazione genera una confusione tecnologica chiamata kluge, che Arbesman definisce come “una soluzione improvvisata e inutilmente complessa a un problema”. Possiamo vederla come la burocrazia, quell’insieme di leggi e codici che si sovrappongono o lottano tra di loro rendendo il ritiro di un modulo presso l’Erario una missione epica. Nel suo libro l’autore confronta la complessità tecnologica con gli arabeschi legali, trovandone una radice in comune: sono due tipi di kluge, e come tali tendono ad accumulare strati, facendosi sempre più misteriosi.

Il kluge si manifesta nell’allungamento progressivo del codice di un programma: per esempio, le migliaia di linee di codice che rendono la più recente versione di Photoshop fantascientifica rispetto a Photoshop 1, creando però un disordine strutturale. Una delle soluzioni più diffuse al problema è l’accrezione digitale, ovvero l’aggiunta graduale di nuove tecnologie al software di base. Sembra essere il percorso più giusto e innocuo, eppure è la causa alla base del millennium bug che ha costretto i computer di fine anni Novanta ad affrontare le loro origini antiche, fatte di software pensati per durare pochi anni; o il motivo per cui le basi nucleari statunitensi utilizzano ancora grotteschi floppy disk degli anni ‘70.

Oplà.

Pare che una soluzione chiara al problema non ci sia – del resto, come affrontare un quesito che non riusciamo a capire? Secondo lo scienziato Frederick P. Brooks, “la complessità del software è una sua proprietà essenziale, non accidentale”. Un programma composto da mille linee di codice, per esempio, è un programma semplice; eppure “nasconde 10³ – più di un trilione di trilioni – di pathways possibili”, punti che possono essere travisati o interpretati in modo imprevedibile. Tutte cose di cui il programmatore dovrebbe tenere conto, nell’aggiungere strati su strati rendendo accidentalmente il suo codice sempre più complesso.

Una possibile soluzione, specie per gli inguaribili ottimisti, potrebbe essere l’accettazione della serendipity nella programmazione: lasciare fare alle macchine imperscrutabili, coltivare dark code e sperare che l’enigma si traduca in progresso. Non è necessario aver letto almeno un libro di fantascienza per capire quanto questo approccio sia sbagliato; eppure, alle volte, funziona. Arbesman racconta di Deep Blue, il supercomputer della IBM che sconfisse a scacchi il campione russo Garry Kasparov, con una mossa che lasciò di stucco gli esperti. Una mossa dovuta, come si scoprì in seguito, a un bug del computer.

Il capitolo a mio avviso più interessante di Overcomplicated è quello sul rapporto tra kluge e la biologia. Il DNA – il codice alla base degli organismi viventi – presenta imperfezioni simili a quelle che oggi troviamo nelle nostre macchine. Anche il DNA, proprio come i coder, ha l’abitudine di scrivere nuove informazioni su strutture preesistenti (solo che in questo caso il lavoro si è svolto nel corso di miliardi di anni. Altro che Photoshop 1). Un caso notevole è quello della robinia, albero coperto da grosse spine che non sembrano avere alcuna funzione. O almeno, non ne hanno oggi: una teoria suggerisce che la pianta abbia sviluppato queste spine per difendersi da mammut e altri grandi animali erbivori del passato (parte della cosiddetta megafauna, gli animali giganti che popolavano la Terra nel Pleistocene).

L’abbraccio tra programmazione e biologia non è solo proposto come una possibile soluzione da Arbesman. Certo, capire come il kluge si manifesta a livello biologico può essere utile per risolvere il nostro rapporto con la tecnologia, ma può anche essere l’inizio di una nuova era nelle tecnologie incomprensibili. Un’era pericolosa. Prendiamo per esempio le CRISPR (clustered regularly interspaced short palindromic repeats), una scoperta genetica che promette di editare i geni di esseri viventi a piacere.

carico il video…

Secondo alcuni scienziati le CRISPR cambieranno tutto, permettendo agli umani di modificare organismi ad hoc, direttamente in laboratorio. Se l’editing genetico è un vecchio passatempo umano (frutta, verdura e animali moderni sono frutto di selezioni e mutazioni), le CRISPR si presentano come una porta aperta verso il back end della vita.

Viviamo tempi assurdi, eccitanti e misteriosi in cui molte attività quotidiane di massa si basano su processi sconosciuti. Una ricerca Google o un match su Tinder utilizzano percorsi invisibili e migliaia di linee di codice che non possiamo capire. Nel frattempo, a pochi giorni dalla lettura di Overcomplicated, una notizia ha occupato la mia timeline: nel corso del fine settimana internet è stato fuori uso per ore in gran parte degli Stati Uniti. La causa è stata un attacco DDoS, ovvero un bombardamento di richieste ai server in grado di interromperne il servizio. Tra le “armi” usate dagli hacker, delle telecamere di sicurezza di quelle usate per monitorare i neonati nella loro culla. Ecco quindi un’eccezione alla regola del libro: anche gli eventi semplici possono essere difficili da capire.