Martedì sera Jacob Coxon, un ricercatore britannico di 27 anni, ha scritto su X di essersi licenziato da Anthropic, l’azienda che sviluppa il chatbot Claude. «Ho passato gli ultimi tre anni a fare ricerca sul pretraining sia in OpenAI sia in Anthropic. Nessuna delle due aziende si sta comportando in modo responsabile. Stanno correndo dritte verso una superintelligenza capace di migliorarsi da sola e giocano d’azzardo con le nostre vite». Il messaggio, in sette parti, è uscito in contemporanea con un’intervista esclusiva al Wall Street Journal.
Il pretraining è la fase in cui un modello di intelligenza artificiale assorbe enormi quantità di dati e impara a riconoscere schemi: è il lavoro di base, quello che precede l’addestramento a rispondere, a rifiutare richieste pericolose, a comportarsi come un assistente. Coxon lo faceva prima in OpenAI, la società di ChatGPT, e da quest’anno in Anthropic, dove si era trasferito attirato dalla reputazione di azienda più attenta alla sicurezza. Al Journal ha detto che quel lavoro sulla sicurezza è sincero, ma che la competizione con OpenAI e con i laboratori cinesi rende i compromessi inevitabili. Ha lasciato non solo l’azienda ma il settore.
Il passaggio più citato del suo thread è la risposta a un’obiezione che gli viene rivolta spesso: se davvero credete che questa tecnologia possa distruggere l’umanità, perché continuate a costruirla? «In OpenAI molti non hanno interiorizzato a fondo la posta in gioco per la civiltà. In Anthropic la posta in gioco è ben compresa, ma sono intrappolati in una corsa per arrivare primi: credono che nessun altro agirà in modo responsabile, quindi devono farlo loro, nonostante il rischio». E ancora: «Accettare questa corsa ed entrare nell’“endgame” è una scommessa tracotante che non dovrebbe partire dallo Slack di un’azienda privata».
«Endgame», la fase finale della partita, è un termine che secondo Coxon circola nei laboratori insieme a «crunchtime», il momento in cui bisogna stringere. Al Wall Street Journal ha detto che «siamo sulla traiettoria di molti degli scenari più aggressivi, per cui entro la fine del prossimo anno le cose potrebbero già essere fuori controllo». Il rischio che descrive ha un nome tecnico, auto-miglioramento ricorsivo: un sistema di AI abbastanza capace da svolgere una parte consistente della ricerca sull’AI, e quindi da accelerare lo sviluppo del proprio successore, che a sua volta accelera quello del successivo. Il timore è che a un certo punto della catena gli esseri umani smettano di capire cosa stanno costruendo e perdano la possibilità di fermarlo.
Poche ore dopo Evan Hubinger, che in Anthropic guida un gruppo di ricerca sull’allineamento (la disciplina che studia come far sì che i sistemi di AI facciano quello che vogliamo), ha scritto su X che Coxon «ha ragione»: «Crediamo davvero, sinceramente, che l’AI potrebbe uccidere tutti gli esseri umani!». Ha aggiunto di stimare personalmente questa probabilità «sopra il 10 per cento nel prossimo decennio», ha precisato che il rischio dai modelli attuali è basso e che la preoccupazione riguarda una superintelligenza nata dall’auto-miglioramento ricorsivo, che «sta avvenendo più in fretta di quanto pensassimo». «Credo che Anthropic stia facendo del suo meglio, ma non abbiamo ancora un piano per risolvere l’allineamento per la superintelligenza e non siamo chiaramente sulla strada per farlo», ha detto. Anthropic non ha risposto alla richiesta di commento di TechCrunch.
Coxon non racconta di aver visto qualcosa di specifico. A TIME ha detto che le sue dimissioni nascono da due conclusioni: «Uno, è evidente che le cose stanno accelerando; due, non sono sotto controllo». Il precedente che cita come «colpo di avvertimento» è di luglio: agenti di OpenAI, durante una valutazione di sicurezza condotta con i limiti abbassati, sono usciti dall’ambiente di test e sono entrati nei server di Hugging Face, una piattaforma usata dagli sviluppatori di software open source. Secondo TechCrunch l’episodio resta poco compreso, anche per la natura limitata delle indagini indipendenti. Nello stesso periodo anche agenti di Anthropic hanno raggiunto sistemi esterni ai loro ambienti di test, per errori di configurazione in valutazioni condotte da un soggetto terzo. Un rapporto dell’organizzazione Guidelight AI Standards, pubblicato ad agosto, ha rilevato che pochi dei principali laboratori hanno reso pubblici piani per contenere un modello che tenti di sottrarsi al controllo umano.
Per Coxon episodi del genere hanno reso «più praticabili» accordi tra i laboratori americani per rallentare in modo coordinato. Non pensa però che basti: «Non mi sembra che siamo sulla strada per prevenire una corsa globale, il che potrebbe richiedere azioni costose come un divieto temporaneo di migliorare le capacità dei modelli». A TIME ha detto che vorrebbe, come minimo, un accordo tra le aziende principali per non accelerare l’auto-miglioramento ricorsivo, cioè per non usare i modelli interni più potenti per costruire più in fretta la generazione successiva.
Ad Axios Coxon ha detto di essersene andato due mesi prima che le sue azioni in Anthropic maturassero: «Non ho più niente da guadagnare dal gonfiare la valutazione di Anthropic». Conserva invece quote di OpenAI. Nella stessa intervista ha ammesso di non aver assistito personalmente a scorciatoie sulla sicurezza da parte di Anthropic, e ha messo in guardia contro una «paranoia eccessiva» verso OpenAI e la Cina, che a suo dire viene usata per giustificare l’accelerazione. Ha descritto anche un cambiamento nel lavoro quotidiano: i modelli ormai capiscono quando vengono valutati e ne tengono conto nelle risposte, una cosa che nella sua esperienza è diventata routine.
Tutto questo non avviene a caso. Anthropic ha depositato riservatamente a giugno la documentazione per quotarsi in borsa e, secondo il Wall Street Journal, punta a una valutazione intorno ai 2.000 miliardi di dollari, che sarebbe una delle più alte mai registrate a un debutto; a febbraio aveva raccolto 30 miliardi a una valutazione di 380. Una parte del valore che chiede agli investitori si regge sull’immagine di laboratorio prudente, quello fondato nel 2021 da ex dirigenti di OpenAI in disaccordo con la linea di Sam Altman. Un dipendente che dice in pubblico che quella prudenza non basta arriva a poche settimane dall’avvio della campagna con gli investitori.
Coxon non è il primo a lasciare Anthropic con motivazioni di questo tipo. A febbraio Mrinank Sharma, che guidava il gruppo di ricerca sulle protezioni dei modelli, si era dimesso scrivendo ai colleghi che «il mondo è in pericolo». Nel 2024 era toccato a OpenAI: Jan Leike, che dirigeva il team di “superallineamento”, se ne andò contestando le priorità dell’azienda e fu assunto da Anthropic pochi giorni dopo. Il giorno successivo al thread di Coxon, Daniel Kokotajlo, un altro ex ricercatore di OpenAI, ha detto nel podcast di Joe Rogan di temere che la rivalità tra Stati Uniti e Cina spinga aziende e governi a «tagliare gli angoli», precisando di non dare per certa l’estinzione dell’umanità.
L’auto-miglioramento ricorsivo è nel frattempo diventato un settore d’investimento. A febbraio Ricursive Intelligence ha raccolto 335 milioni di dollari a una valutazione di 4 miliardi; a maggio Recursive Superintelligence ne ha raccolti 650 alla stessa valutazione; ad agosto Jeff Dean, per anni tra i responsabili della ricerca di Google, ha fondato Discovery Loop. Sul fronte opposto la settimana scorsa i democratici Bernie Sanders e Greg Casar hanno presentato al Congresso il Ban Artificial Superintelligence Act, e martedì il deputato laburista Alex Sobel ha depositato a Westminster un disegno di legge analogo, che indica proprio l’auto-miglioramento ricorsivo come il passaggio da impedire.
Non tutti prendono questi allarmi alla lettera. Il 17 giugno Cal Newport, professore di informatica alla Georgetown University, ha scritto sul New York Times un articolo intitolato «Care aziende di AI, il doom trolling deve finire». Con «doom trolling» Newport intende l’abitudine delle aziende di «descrivere solennemente i danni che i loro modelli causeranno, mentre si mostrano impotenti a farci qualcosa»: una pratica che definisce «moralmente indifendibile», perché chi crede davvero a un rischio di estinzione ha una sola scelta coerente, fermarsi. Se non lo fa, sostiene, è perché raccontare quanto è pericoloso un prodotto è anche un modo di raccontare quanto è potente. Altri critici, ricorda Slate, contestano il merito: l’intelligenza non si traduce necessariamente in volontà di dominio.
Coxon ha risposto in anticipo a chi lo chiama «doomer», il termine con cui nel settore si liquidano i catastrofisti. «Trovo la parola abbastanza folle, perché basta guardare le dichiarazioni pubbliche degli amministratori delegati», ha detto a TIME, riferendosi alla dichiarazione firmata nel 2023 da Sam Altman e da Dario Amodei, il capo di Anthropic, secondo cui mitigare il rischio di estinzione da AI dovrebbe essere una priorità globale «al pari di pandemie e guerra nucleare». Il suo argomento, nel thread, è che «molti dirigenti e ricercatori senior smussano le frasi con la stampa per sembrare ragionevoli, ma sento le stesse persone esprimere paura in privato». Ora dice di volersi dedicare a spiegare al pubblico «come sarà il mondo» nei prossimi anni, sul modello dell’AI Futures Project fondato da Kokotajlo.
