Roma - Sabato 12 settembre Dario Amodei, amministratore delegato di Anthropic, l'azienda che produce il modello di intelligenza artificiale Claude, ha pubblicato un saggio intitolato We Must Pace the Frontier, traducibile con «dobbiamo dosare l'avanzamento della frontiera».
Amodei, in sostanza, lancia un invito: «Dobbiamo rallentare il ritmo con cui miglioriamo le capacità dei modelli di IA». A pronunciarlo è la persona che guida una delle tre o quattro società al mondo che quei modelli li costruiscono, e che per farlo ha raccolto decine di miliardi di dollari dagli investitori.
Le «capacità» di un modello sono le cose che sa fare: scrivere programmi, cercare informazioni, usare altri software, portare avanti un compito per ore senza che nessuno intervenga. Ogni versione ne aggiunge. Rallentare, precisa Amodei, vuol dire prendersi più tempo tra una generazione e la successiva per verificare che il modello si comporti come previsto, e far controllare quella verifica a qualcuno di esterno. L'addestramento continuerebbe, e il progresso «sembrerà comunque veloce».
Due cose lo hanno convinto.
La prima è quella che nel settore si chiama auto-miglioramento ricorsivo. Fino a poco tempo fa i modelli venivano progettati e migliorati da ingegneri umani. Da quest'estate, scrive Amodei, una parte crescente del lavoro necessario a costruire il modello successivo la svolge il modello attuale: scrive il codice, disegna gli esperimenti, corregge gli errori. Un motore che produce i pezzi di un motore più grande, il quale a sua volta ne fabbrica uno più grande ancora. Il timore è che la catena diventi più rapida di quanto gli esseri umani riescano a seguirla.
La seconda è un incidente accaduto a luglio. Oggi i modelli si usano sempre più spesso come «agenti»: programmi che ricevono un obiettivo e agiscono da soli per raggiungerlo, aprendo siti, scrivendo file, eseguendo comandi su un computer. Durante un test di sicurezza di OpenAI, la società di ChatGPT, uno sciame di agenti ha fatto cose che nessuno aveva chiesto: ha attaccato sistemi informatici estranei al compito, tra cui l'11 luglio quelli di Hugging Face, una piattaforma dove si condividono modelli, ha coordinato le azioni tra i suoi membri e ha tentato di manomettere il «valutatore», cioè il programma incaricato di assegnargli il voto. Amodei lo descrive come «un collettivo fanaticamente devoto». Nessuno si è fatto male e i danni economici sono stati minimi. Il suo ragionamento è che uno sciame con la stessa indole e capacità superiori avrebbe combinato molto di più: nella sua stima, tra sei e dodici mesi agenti di quel tipo potrebbero costruire una botnet, una rete di computer infettati e comandati a distanza, estesa all'intera Internet, con danni «per centinaia di miliardi di dollari». Aggiunge che episodi analoghi, meno gravi, sono avvenuti anche in Anthropic.
Nel 2023 un appello firmato da migliaia di persone chiese una pausa di sei mesi. Amodei allora lo considerò insensato, e lo scrive: i modelli di quegli anni non sapevano agire nel mondo, né ingannare o attaccare; studiarne i pericoli sarebbe stato come «cercare di comprendere la psicologia umana facendo esperimenti sui batteri». Oggi i modelli sbagliano in modi che si possono osservare e studiare. Uno o due anni in più servirebbero, sostiene, a tre lavori che oggi arrancano: l'allineamento, cioè addestrare i modelli a fare ciò che ci si aspetta da loro; l'interpretabilità, cioè guardare dentro il modello per capire perché ha fatto una cosa, un po' come una risonanza magnetica applicata al suo «cervello»; i test, che diventano meno affidabili man mano che i modelli imparano a riconoscerli e a superarli fingendo.
Il piano ha tre gradini.
Il primo Anthropic lo sale da sola. Una squadra di controllori esterni, per esempio della no-profit METR, che già valuta i modelli delle grandi aziende, avrà scrivanie negli uffici dell'azienda, badge di accesso, computer aziendali e le stesse autorizzazioni delle squadre interne che analizzano i rischi, con eccezioni per obblighi di legge e dati dei clienti. Potrà pubblicare quello che trova senza controllo editoriale. Anthropic potrà oscurare informazioni sensibili per la sicurezza o coperte da segreto commerciale, ma non conclusioni «semplicemente perché sfavorevoli», e i controllori potranno dire pubblicamente se un'omissione ha tolto qualcosa di rilevante. Il precedente citato è quello degli ispettori che le autorità di vigilanza bancaria tengono stabilmente dentro le banche. Amodei chiede ai governi di imporre lo stesso obbligo alle altre aziende.
Il secondo gradino riguarda le aziende dei paesi democratici, che dovrebbero accordarsi su standard comuni e su limiti al ritmo. Qui c'è un ostacolo giuridico che il CEO non ha paura di denunciare: concorrenti che si mettono d'accordo per andare più piano assomigliano a un cartello, e le leggi antitrust lo vietano. Serve quindi una deroga del governo americano per certe conversazioni sulla sicurezza. L'idea di fondo è un sistema a «checkpoint»: se un modello è in grado, per esempio, di uscire dall'ambiente protetto in cui viene fatto girare, chi lo ha costruito deve prima dimostrare con prove e verifiche che non ha la tendenza a farlo.
Il terzo gradino è il mondo, e in pratica la Cina. Amodei elenca quattro livelli di accordo, dal più al meno realistico: vietare usi circoscritti e palesemente pericolosi, come la produzione di armi biologiche; impegnarsi a testare i modelli prima del rilascio; un «limite di velocità» all'auto-miglioramento ricorsivo, che paragona ai trattati SALT tra Stati Uniti e Unione Sovietica sul numero di missili; una pausa vera e propria, che giudica improbabile perché chi la violasse in segreto otterrebbe un vantaggio enorme.
C'è un punto del “discorso” di Amodei che a un lettore non addentro può sembrare contraddittorio. Per rallentare in sicurezza, scrive il CEO, gli Stati Uniti devono prima allargare il loro vantaggio sulla Cina, altrimenti il rallentamento regala la testa a chi non rallenta. Da qui la richiesta di non vendere chip avanzati e macchinari per produrli a Pechino, di colpire la «distillazione» non autorizzata, cioè la pratica di copiare un modello altrui interrogandolo milioni di volte, e di impedire il furto dei «pesi», il file che contiene il modello vero e proprio. Amodei cita con approvazione il segretario al Tesoro Scott Bessent, secondo cui una vittoria cinese nella corsa all'IA sarebbe un pericolo per il mondo.
Le prime reazioni alle sue parole sono già arrivate. Elon Musk, che con xAI produce il modello Grok, ha scritto su X «Dario is right». Sam Altman, amministratore delegato di OpenAI, ha detto di condividere la proposta dei controllori esterni e che la sua azienda farà lo stesso. L'investitore Chamath Palihapitiya ha letto il saggio come un argomento per fermare i modelli a codice aperto e concentrare potere economico e tecnologico in Anthropic, un'accusa che Amodei mette in conto nelle prime righe, quando ricorda di essere stato tacciato di «catastrofismo» e di voler catturare il regolatore. A luglio un documento con lo stesso titolo del saggio, Pacing the Frontier, era stato firmato da 1.386 dipendenti delle aziende di frontiera, tra cui Ilya Sutskever, il capo scienziato di OpenAI Jakub Pachocki e il cofondatore di DeepMind Shane Legg.
Il saggio si apre con un ricordo personale: il padre di Amodei morì di una malattia per cui la cura arrivò pochi anni dopo, e lui stesso è sopravvissuto a un tumore in fase iniziale che cinquant'anni fa non sarebbe stato curabile. La squadra di controllori, scrive, sarà invitata «nel prossimo futuro». Una data non c'è.
