Una volta ho letto una notizia: i
sommozzatori hanno dovuto recuperare un'auto dalle acque scure dopo che il
conducente aveva seguito le indicazioni di Google Maps finendo dritto su una
rampa per barche.
È un titolo assurdo, ma una parabola utile.
Ogni giorno ci
fidiamo di sistemi che dicono di sapere meglio di noi: un'app, una politica, un
testo sacro. Malediciamo gli “errori del computer” come se un oracolo di silicio
ci avesse tradito. Clicchiamo su “Accetta” senza leggere. Perché mettere in
discussione la saggezza dell'algoritmo?
Vogliamo qualcosa di infallibile
che ci guidi. Ma la storia dimostra che questo desiderio può portarci in
pericolo reale, non solo imbarazzo o inconvenienti.
Gli esseri umani hanno sempre
cercato qualcosa di certo. Nell'antichità, le persone si rivolgevano agli dei,
ai testi sacri, a qualsiasi cosa sembrasse indistruttibile. Prendiamo le
antiche scritture. Alcune nacquero come pergamene sparse, oggetto di
discussioni per generazioni prima di diventare “ufficiali”. Nel IV secolo, il
canone era ormai stabilito. Improvvisamente, quelle pagine sembravano
intoccabili. Anche i re e i sacerdoti si rimettevano alla sua autorità sacra.
Ma il vero potere spesso sfuggiva,
non solo al testo, ma a chiunque fosse in grado di spiegarlo. Nel giudaismo,
gli studiosi che discutevano sul significato della legge spesso finivano per
avere più autorità della legge stessa. La stessa cosa accadde nel cristianesimo.
Una volta che il Nuovo Testamento fu accettato come indiscutibile,
l'istituzione poté usare la sua autorità per reprimere le idee rivali. Era
“eresia” tutto ciò che non si adattava alla linea ufficiale.
Le persone fanno lo stesso anche
al di fuori della religione. Gli imperatori romani si definivano dei. Nel
secolo scorso, c'erano partiti e leader che si dipingevano come impeccabili,
mai da mettere in discussione. La Russia di Stalin: se mettevi in discussione
il piano, eri un traditore. Quando i bolscevichi insistevano che la loro strada
era perfetta, abbatterono tutto ciò che poteva sfidarli.
Non importa in quale epoca ci si
trovi. Il modello si ripete: rivendicare la perfezione, schiacciare ogni
opposizione, mantenere le cose in ordine. Naturalmente, sotto la superficie, si
tratta solo di paura e silenzio.
La storia dimostra che le crociate
contro l'“errore” spesso causano più danni degli errori che intendono
eliminare. All'inizio dell'era moderna in Europa e in America, la caccia alle
streghe assunse una vita propria. Le autorità erano così sicure che il diavolo
fosse all'opera che costruirono interi sistemi per convalidare questa
convinzione.
La stampa, celebrata per la diffusione della conoscenza, alimentò
anche l'isteria. Nel 1487, un inquisitore domenicano pubblicò il Malleus Maleficarum, un manuale per
individuare e distruggere le streghe. Grazie alla stampa di massa, la paranoia
si diffuse rapidamente. Opuscoli sensazionalistici, pieni di immagini
raccapriccianti, convinsero migliaia di persone che una vasta cospirazione
satanica fosse reale.
Armati di queste verità
“infallibili”, i funzionari trasformarono il sospetto in politica. I consigli e
i tribunali ecclesiastici pubblicarono manuali e persino moduli da compilare
per le accuse. Crearono la categoria ufficiale di “strega” quasi dal nulla:
un'etichetta e ogni dubbio svanì. La maggior parte delle vittime erano donne. I
tribunali, i trattati, i “test”: tutti concordavano sul fatto che le streghe
esistessero e dovessero morire. Decine di migliaia di persone persero la vita a
causa di una finzione che nessuno poteva mettere in discussione.
La tragedia si autoalimentava.
Ogni confessione forzata diventava una “prova” che le streghe erano ovunque. In
una città tedesca, un cancelliere scrisse del suo orrore, ma ammise che con
così tante segnalazioni era “difficile... dubitare di tutto”. Persino alcune
streghe accusate cominciarono a credere di essere parte di un complotto. La
convinzione che il sistema non potesse sbagliare distrusse vite reali.
Eppure, anche in questo caso,
stava nascendo una nuova idea: ammettere l'errore è una forma di saggezza. Nel
XVII secolo, alcuni pensatori iniziarono a sostenere che nessun libro,
tribunale o oracolo era al di sopra di ogni dubbio. La rivoluzione scientifica
mise radici come cultura del fallibilismo, ovvero la disponibilità a dire:
“Potremmo sbagliarci, controlliamo”.
La scienza ha istituzionalizzato
l'autocorrezione. I suoi momenti di maggiore orgoglio arrivano quando nuove
prove ribaltano la saggezza accettata, quando Newton cede il posto a Einstein o
l'orbita di Mercurio riscrive la mappa del cosmo. Nella scienza, l'errore non è
un peccato. Gli esperimenti esistono per trovare i difetti. Le riviste esistono
per condividerli. La struttura stessa premia coloro che sfidano l'autorità.
Dimostra che il tuo professore ha torto e riceverai un applauso, non il rogo.
Il più grande balzo in avanti
della scienza è stato di natura sociale: ha creato meccanismi per
autocorreggersi. Revisione tra pari, replicazione, dibattito aperto:
complicato, ma fondamentale. Al contrario, sistemi come la Chiesa medievale o
il Partito Sovietico evitavano l'autocorrezione perché ammettere un errore
avrebbe minacciato il loro potere.
Laddove l'ordine richiede di fingere di
essere perfetti, la verità richiede di rischiare il disordine dicendo: “Abbiamo
sbagliato”. La storia dimostra che i sistemi che ammettono la fallibilità
possono correggersi e migliorare. I sistemi che fingono di essere perfetti
accumulano solo errori, finché qualcosa non si rompe.
Facciamo un salto in avanti fino
ai giorni nostri. Gli algoritmi digitali e le intelligenze artificiali sono
ormai parte integrante della vita quotidiana e fanno cose che sarebbero
sembrate magiche ai cacciatori di streghe del passato. Eppure l'impulso umano
fondamentale non è cambiato molto. Il nostro bisogno di certezza, di una guida
onnisciente, ha semplicemente trovato nuovi sbocchi.
Molte persone sperano che
l’intelligenza artificiale (IA) diventi il decisore perfettamente razionale e
imparziale che abbiamo sempre desiderato: una mente sovrumana, libera dagli
errori umani. Dopotutto, i computer non si stancano e non provano emozioni. Un
algoritmo, ci viene detto, calcola semplicemente la verità. Non è forse ciò di
cui abbiamo bisogno per sfuggire finalmente all'errore umano?
Questa idea ci tenta perché sembra
una soluzione. Ma è pericolosamente sbagliata. L'IA può setacciare i dati a
velocità impossibili, individuare modelli che noi non vedremmo e persino creare
opere d'arte e testi che sembrano incredibilmente umani. Eppure, più diventa
potente, più le persone trattano i suoi risultati come verità assoluta.
Scherziamo sul fatto che il GPS ci porti fuori strada, ma cosa succede quando
un'IA medica dice a un medico quale tumore è maligno?
Sempre più spesso, questi giudizi
arrivano con un'aura di obiettività: matematica, codice, nessun pregiudizio
umano. Come potrebbe una macchina essere prevenuta o sbagliare?
Non ci vuole molto perché un
algoritmo sbagli. Dopotutto, si tratta solo di righe di codice scritte da
persone e addestrate su dati reali e disordinati. Se si alimenta l'intelligenza
artificiale con esempi distorti, essa ripeterà quei modelli o addirittura li
esagererà. Se si pone una domanda vaga, essa fornirà comunque una risposta,
sembrando completamente sicura anche se è completamente fuori luogo.
Il fatto è
che questi sistemi non hanno intuito, né buon senso, né la possibilità di
fermarsi e ripensare. Se la risposta sembra abbastanza corretta, la accettano,
anche se questo significa inventarsi qualcosa dal nulla.
Quel che è peggio, la fantasia
dell'infallibilità odierna spesso opera in modo invisibile. Un tempo sapevate
quando vi trovavate di fronte a un testo sacro o a un leader potente. Ora, gli
algoritmi ci classificano e ci valutano silenziosamente in background.
I motori
di ricerca, gli strumenti di assunzione e i moderatori di contenuti si
presentano come neutrali, ma spesso consolidano silenziosamente vecchi
pregiudizi o commettono errori che non notiamo mai. Raramente mettiamo in discussione
le decisioni della scatola nera, a meno che non compaia un errore evidente.
L'IA non è una forza malvagia che
vuole distruggerci. Il pericolo è quello di sempre: credere che il sistema
abbia sempre ragione. Questa convinzione ci induce a smettere di porre domande
e a rinunciare al nostro giudizio. È allora che gli errori possono accumularsi,
silenziosamente ma con conseguenze reali.
Che cosa fare allora? Buttare via
i regolamenti, staccare la spina all'IA o distruggere ogni burocrazia? Niente
affatto. La risposta non è passare dall'adorare i nostri sistemi al temerli. Le
burocrazie, nonostante tutti i loro difetti, ci hanno dato cose come i
certificati di nascita e l'acqua pulita, banali ma vitali. I testi religiosi
hanno ispirato l'arte, la comunità e l'etica, anche se a volte sono stati
utilizzati in modo improprio. Anche l'IA promette progressi nella medicina e
nell'istruzione.
Gli strumenti continuano a cambiare, dalle tavolette di
argilla ai supercomputer. Ciò che conta è mantenere la nostra capacità di
mettere in discussione questi strumenti e le persone che li hanno creati.
Non possiamo
rinunciare al nostro giudizio, per quanto impressionante possa sembrare un
sistema. Ogni strumento o istituzione è un mezzo per raggiungere un fine, non
il fine stesso. Una mappa non è il territorio. Un modello non è la realtà.
Quando lo dimentichiamo, le “tigri di carta” e i falsi idoli possono mordere.
In pratica, questo significa
tenere gli esseri umani nel giro. Funzionari, ingegneri e cittadini comuni
devono porre domande scomode sulle “verità ovvie”. Dibattiti confusi, controlli
e revisioni non sono solo rumore: sono il modo in cui troviamo gli errori. A
Detroit, le riforme ora richiedono che il riconoscimento facciale non possa
essere l'unica ragione per un arresto. I governi hanno bisogno di media
indipendenti e di organismi di controllo. Le comunità religiose possono
valorizzare lo studio e l'interpretazione aperta, non solo le letture
letterali.
Soprattutto, sbagliare è umano, e
questo è il punto. Sant'Agostino diceva: “Persistere nell'errore è diabolico”.
Le istituzioni che ci servono meglio (scienza, democrazia, mercati aperti)
funzionano perché accettano i limiti umani e creano circuiti di feedback per
individuare gli errori. I nostri nuovi strumenti non dovrebbero fare eccezione.
Semmai, la complessità dell'IA richiede ancora più trasparenza e sfida, non
meno. Un algoritmo non può provare orgoglio o vergogna quando sbaglia. Le
persone possono farlo, ed è per questo che dobbiamo coltivare una cultura che
privilegi la verità alla perfezione.