Dacci un re. La distopia dell’intelligenza artificiale è già arrivata, ma non a casa tua

Nel fine settimana i due uomini più potenti dell’intelligenza artificiale hanno chiesto di andare più piano. Sono gli stessi che tengono il piede sull’acceleratore. Intanto, per chi vive in fondo alla scala, la distopia non è un racconto: è una pratica amministrativa. Una lettura di 1 Samuele 8 e una domanda sola: chi ha deciso per te, oggi?

Sabato scorso Dario Amodei, che guida Anthropic, ha detto che sciami di agenti automatici potrebbero «prendere il controllo di internet» nel giro di un anno se non si costruiscono in fretta nuove protezioni. Nello stesso fine settimana Sam Altman, che guida OpenAI, ha scritto che lo sviluppo dell’intelligenza artificiale «dovrebbe essere più lento di quanto altrimenti potrebbe essere». Un ricercatore della stessa azienda si è dimesso, stimando una probabilità su dieci che l’IA porti all’estinzione umana entro dieci anni, e ha spiegato che le due società «corrono dritte verso una superintelligenza capace di migliorarsi da sola». A luglio, durante dei test, alcuni modelli erano entrati da soli nei server di altre organizzazioni.

Ho letto queste notizie con una sensazione strana, che poi ho riconosciuto: è la stessa che si prova in una sala d’attesa quando il medico entra e dice «bisognerebbe fare qualcosa», e poi si scopre che il medico è anche il proprietario della clinica. La frase di Altman è costruita con cura: dovrebbe essere più lento. Dovrebbe, secondo chi? Più lento, deciso da chi? Nessuna assemblea, nessun parlamento, nessun tribunale ha voce sulla velocità di quella corsa. Ce l’hanno due amministratori delegati e i loro consigli di amministrazione.

La distopia dei ricchi

Non voglio fare il gioco facile di chi dice che il rischio non esiste. Il Rapporto internazionale sulla sicurezza dell’IA, pubblicato a febbraio, è firmato da più di cento esperti di trenta paesi e coordinato da Yoshua Bengio, che dell’IA è uno dei padri e non un profeta di sventura. Documenta modelli che forniscono informazioni utili a costruire armi biologiche, un sistema che ha trovato il 77% delle falle in una gara di sicurezza informatica, testi generati che manipolano quanto quelli scritti da un essere umano. E ammette una cosa che dovrebbe far riflettere chi firma le licenze: i test che si fanno prima di rilasciare un modello non predicono come si comporterà nel mondo reale. Il rischio è reale. Chi lo nega per partito preso non sta difendendo nessuno.

Ma c’è un’altra cosa che il rapporto, e Bengio stesso in un saggio di poco successivo, dicono con chiarezza: «pochi individui che controllano intelligenze artificiali sovrumane accumulerebbero un potere mai visto nella storia». Rischio tecnico e concentrazione del potere non sono due problemi: sono lo stesso problema visto da due lati. E qui l’allarme sull’estinzione rivela il suo lato scomodo. Le risposte che si propongono al rischio tecnico (licenze, controllo dei calcolatori, divieto dei modelli aperti, sorveglianza) hanno tutte la stessa forma: concentrano potere. Un filosofo di Oxford, Nick Bostrom, è arrivato a teorizzare la sorveglianza globale come prezzo della sopravvivenza. Chi agita l’apocalisse chiede poteri straordinari. L’allarme non è una distrazione, come dicono i critici da sinistra. È una leva.

Ecco perché la chiamo la distopia dei ricchi. È un racconto sul futuro, e il futuro è il luogo dove chi ha tutto teme di perdere tutto. Ha una sua grandezza, e i suoi profeti sono spesso in buona fede. Ma è un racconto che si svolge in un tempo in cui il potere non è ancora stato esercitato. Per molti, quel tempo è già finito.

La distopia dei poveri

In Danimarca, uno dei paesi più democratici del mondo, l’ente che paga le prestazioni sociali usa da anni algoritmi per scovare i «furbetti». Amnesty International, che li ha studiati per due anni, ha scoperto che uno di questi, chiamato «Davvero single», segnala come sospette le famiglie con più di due figli e le case dove convivono tre generazioni, cioè le famiglie dei migranti; un altro, «Modello estero», assegna un punteggio di «affiliazione straniera» in base ai legami con paesi fuori dall’Europa. L’ente rifiuta di mostrare il codice. In Olanda un sistema simile, SyRI, è stato fermato da un tribunale nel 2020 perché violava i diritti umani. In Australia un algoritmo chiamato Robodebt ha reclamato per anni debiti inesistenti a centinaia di migliaia di persone; ci è voluta una commissione reale d’inchiesta per fermarlo.

A Gaza, secondo un’inchiesta della rivista israeliana +972 che l’esercito contesta, un sistema chiamato Lavender ha marcato circa 37.000 persone come possibili bersagli, con un margine d’errore stimato del 10%. Le fonti raccontano che la verifica umana durava una ventina di secondi a bersaglio, giusto il tempo di controllare che fosse un uomo. Uno di loro ha usato l’espressione «timbro»: l’essere umano era un timbro sulla decisione della macchina. Negli Stati Uniti l’agenzia che espelle i migranti ha pagato trenta milioni di dollari a Palantir per una piattaforma che si chiama, senza ironia, ImmigrationOS: il sistema operativo dell’immigrazione. E in Italia, a Bologna, un tribunale ha stabilito nel 2020 che l’algoritmo con cui Deliveroo assegnava i turni ai rider era discriminatorio: penalizzava chi si era assentato, senza distinguere tra chi aveva fatto sciopero e chi era malato. Si chiamava Frank. Nessun rider lo aveva mai visto.

Mettete in fila questi casi e guardate che cosa hanno in comune. Non c’è una superintelligenza. Non c’è un computer che «ha deciso». Ci sono governi eletti, un esercito, un’agenzia federale, una piattaforma, che hanno scelto di usare uno strumento contro le persone che avevano meno voce: chi riceve un sussidio, chi vive sotto un bombardamento, chi non ha i documenti, chi consegna la cena in bicicletta. Nessuna di queste persone è stata consultata. Nessuna poteva vedere il codice. La distopia non è arrivata dal futuro. È stata firmata in un ufficio, come una qualsiasi delibera.

Lo scrittore William Gibson diceva che il futuro è già qui, solo che non è distribuito in modo uniforme. Vale anche per la distopia. Per un migrante a Copenaghen, un palestinese a Gaza, una disoccupata di Sydney, un rider di Bologna è già qui. Per il ceto medio europeo che legge questo articolo sul telefono è ancora un racconto. La differenza tra i due gruppi non è la tecnologia. È il posto che occupano nella fila di chi decide.

Chi ha votato per questo?

Se qualcuno pensa che sia il popolo a volere tutto questo, i numeri dicono il contrario. Negli Stati Uniti, secondo il Pew Research Center, metà degli adulti è più preoccupata che entusiasta dell’IA, uno su dieci il contrario; quasi la metà dice di avere «poco o nessun controllo» sul suo uso nella propria vita; tra gli esperti il 56% è ottimista, tra la gente comune il 17%. L’AI Index di Stanford aggiunge che gli americani sono, tra tutti i popoli del mondo, quelli che meno si fidano del proprio governo come regolatore: il 31%. In quasi tutti gli Stati la maggioranza dice che le regole sono troppo poche.

E la politica? L’11 dicembre scorso il presidente Trump ha firmato un ordine esecutivo che istituisce una task force del Dipartimento di Giustizia con un solo compito: fare causa agli Stati che si sono dati leggi sull’IA. Nel primo trimestre del 2026 undici aziende tecnologiche hanno speso 226.000 dollari al giorno in attività di lobbying a Washington; Anthropic ha quadruplicato la spesa, OpenAI l’ha raddoppiata; a Washington lavorano 307 lobbisti del settore, uno ogni due membri del Congresso; per le elezioni di novembre i comitati finanziati dall’industria hanno già raccolto circa duecento milioni.

L’Europa, che si racconta come il continente delle regole, ha fatto di peggio, perché lo ha fatto di nascosto. Il regolamento europeo sull’IA prevedeva che dal 2 agosto 2026 i sistemi «ad alto rischio» (quelli che decidono su assunzioni, sussidi, polizia, frontiere) rispettassero obblighi di trasparenza e controllo. La Commissione li ha rinviati al 2027 e al 2028, ha cancellato l’obbligo di registrarli in un archivio pubblico e ha proposto di aprire la porta all’addestramento dei modelli sui nostri dati personali senza consenso. Come è successo lo ha ricostruito il Corporate Europe Observatory: nel 2025 il 69% degli incontri della Commissione sul tema è stato con le imprese, il 16% con le organizzazioni della società civile; in una riunione decisiva c’erano undici o dodici persone, tutte dell’industria salvo una, e si è votato per alzata di mano elettronica su quali norme fossero «inutilmente onerose». Il budget delle grandi piattaforme per fare pressione a Bruxelles è passato da 113 a 151 milioni di euro l’anno. Le richieste scritte di DigitalEurope e di Google si ritrovano, quasi parola per parola, nel testo adottato.

Non serve andare lontano. La legge italiana sull’IA, la 132 del 2025, di cui il governo va fiero perché è la prima in Europa, affida le materie decisive (come si addestrano i modelli, chi risponde dei danni) a decreti che il governo scriverà da solo, e mette il controllo in mano a due agenzie dell’esecutivo invece che a un’autorità indipendente. I giuristi le chiamano deleghe in bianco. Il Parlamento ha votato una cornice e ha consegnato la tela.

L’obiezione che mi faccio da solo

Sarebbe comodo fermarsi qui e dire: il problema è l’assenza di democrazia. Ma la Danimarca è una democrazia. L’Olanda, l’Australia, l’Italia sono democrazie. Se rispondo «sì, ma non democrazia vera», sto barando: la democrazia vera diventa per definizione quella che non produce ingiustizia, e il ragionamento gira in tondo. Devo dire che cosa intendo. Intendo tre cose, e sono concrete: che chi è toccato da una decisione partecipi a prenderla; che la decisione sia visibile e impugnabile; che esistano poteri capaci di fermarla. Un tribunale a L’Aia e a Bologna, una commissione d’inchiesta a Canberra: dove questi contropoteri esistevano, hanno funzionato. Tardi, ma hanno funzionato. Il registro pubblico cancellato a Bruxelles, le leggi statali attaccate a Washington, le deleghe in bianco a Roma sono esattamente lo smontaggio di quei contropoteri.

C’è una seconda obiezione, più dura. La caccia ai «furbetti» è popolare. La sorveglianza dei migranti è popolare. I bombardamenti «di precisione» sono popolari. Una consultazione a Copenaghen avrebbe forse prodotto lo stesso algoritmo, con più consenso. Democrazia e giustizia non sono la stessa cosa, e chi confonde le due finisce per benedire la maggioranza. La risposta è che una democrazia che merita il nome ha dei limiti che nessuna maggioranza può toccare, e quei limiti si chiamano diritti. È il pezzo che manca a quasi tutti i discorsi sull’IA: non «chi decide», soltanto, ma «che cosa non può essere deciso».

E poi c’è l’obiezione che riguarda me. Nel mio lavoro l’intelligenza artificiale la uso, come ormai la usa chiunque faccia un mestiere che passa da uno schermo: per cercare, per ordinare, per verificare. Potrei giustificarmi dicendo che è come guidare un’auto mentre si critica l’industria del petrolio, ed è vero. Ma sarei disonesto se non ammettessi che ogni volta che la uso sto votando con i piedi per un mondo in cui quella corsa continua. Non ho una soluzione pulita. Ho solo la convinzione che l’alternativa, fingere di non avere le mani sporche, sia peggiore: è il modo migliore per non vedere che le mani sporche le abbiamo tutti, e che proprio per questo nessuno di noi può lasciare che a decidere siano due persone.

Dacci un re

C’è una pagina della Bibbia che parla esattamente di questo, e non è Babele. Babele l’ha appena usata Leone XIV nella sua prima enciclica, e l’ha usata bene: «non serve un’IA più morale se questa morale è decisa da pochi». Ma la pagina che mi torna in mente da giorni è un’altra: l’ottavo capitolo del primo libro di Samuele.

Gli anziani d’Israele salgono a Rama, dal vecchio profeta, e gli chiedono un re. La motivazione è la stessa che sentiamo oggi in ogni conferenza sull’innovazione: «saremo anche noi come tutte le nazioni». Le altre ce l’hanno, il re. Le altre corrono. Se non corriamo noi, correranno gli altri. Samuele non vuole, e Dio gli dice una cosa terribile e precisa: non hanno rigettato te, hanno rigettato me. Poi gli ordina di accontentarli, ma prima di spiegare bene che cosa stanno scegliendo.

E Samuele legge la lista. È un testo che vale la pena rileggere con gli occhi di oggi, perché è scritto tutto con lo stesso verbo: prenderà. Prenderà i vostri figli e li metterà sui suoi carri. Prenderà le vostre figlie. Prenderà i vostri campi, le vigne, gli uliveti migliori, e li darà ai suoi servi. Prenderà la decima delle vostre sementi. Prenderà i vostri giovani migliori e li metterà al suo lavoro. «E voi sarete suoi schiavi. Allora griderete a causa del re che vi sarete scelto, ma in quel giorno il Signore non vi risponderà.» Il popolo ascolta la lista fino in fondo, e risponde: «No, avremo un re».

Quello che mi colpisce di questa pagina non è la lista. È che il popolo la ascolta tutta e sceglie lo stesso. Non viene ingannato. Non gli nascondono niente. Sceglie il re perché un re risolve un problema che non ha voglia di risolvere da solo: decidere. «Il nostro re ci giudicherà, marcerà alla nostra testa e combatterà le nostre battaglie.» La distopia, nel libro di Samuele, non è il re. È la stanchezza di un popolo che preferisce essere governato piuttosto che governarsi, e che per questo consegna i figli, i campi, la decima. Il re prende soltanto quello che gli è stato lasciato prendere.

Chi ha deciso per te, oggi?

Non credo che la risposta sia fermare l'IA, e nemmeno rallentarla per decreto di chi la costruisce. Credo che la risposta sia più antica e più noiosa: rimettere in piedi le istituzioni che decidono al posto del re. Un registro pubblico dei sistemi che decidono su di noi, che a Bruxelles hanno appena cancellato. Un'autorità indipendente, che a Roma hanno evitato. Il diritto di sapere che un algoritmo ha deciso su di me, e di farlo rivedere da un essere umano che non sia un timbro. Sindacati che contrattino gli algoritmi come contrattano i turni: a Bologna è successo. Tribunali che li possano sospendere: a L'Aia è successo. Nessuna di queste cose è futuristica. Sono tutte cose che esistevano, o quasi, e che stanno venendo smontate mentre noi guardiamo il cielo aspettando la superintelligenza.

Ecco perché, alla fine, non mi interessa sapere se la distopia arriverà. Mi interessa sapere chi ha deciso per me oggi, e se avevo il diritto di saperlo. Se il vostro comune ha comprato un software che seleziona le domande per un sussidio, chi lo ha scelto, e dove si legge? Se la vostra azienda usa un sistema che ordina i curriculum, chi lo ha addestrato, e su chi? Se un ufficio vi ha detto di no e non sapeva spiegarvi perché, avete chiesto se era stata una persona o una macchina? Sono domande piccole. Sono le sole che gli anziani d'Israele non hanno fatto, prima di rispondere a Samuele: «No, avremo un re».

Per come la vedo io, la fede in questo non aiuta a sentirsi tranquilli. Aiuta a non consegnare. Il Dio di Samuele non vieta il re: lo lascia scegliere e ne racconta il prezzo per intero, verbo dopo verbo, prima che sia troppo tardi. È la sola cosa che possiamo fare anche noi, sorelle e fratelli: leggere la lista ad alta voce, fino in fondo, finché c'è ancora qualcuno che può rispondere di no.