Un ex ricercatore di Anthropic avverte: l'intelligenza artificiale potrebbe porre fine alla nostra esistenza.

Avrete forse notato che, improvvisamente, il dibattito sulla capacità dell'intelligenza artificiale di annientarci ha preso il sopravvento.

L'ultima ondata di preoccupazione è iniziata con Jacob Cookson, un ricercatore di intelligenza artificiale di 27 anni che aveva lavorato per tre anni al pre-addestramento presso OpenAI e Anthropic. Martedì, Cookson si è dimesso da Anthropic e dall'intero settore dell'IA, lanciando un avvertimento che è diventato virale in breve tempo. Ha scritto su X che le aziende che sviluppano i sistemi di IA più potenti al mondo "stanno correndo a capofitto verso la superintelligenza auto-migliorante e stanno giocando con le nostre vite". Curiosamente, i suoi colleghi rimasti in azienda non hanno dissentito dalla sua valutazione.

In effetti, Cookson ha ricevuto il sostegno pubblico di altri ricercatori di Anthropic. Evan Hobinger , che dirige la ricerca sull'allineamento presso l'azienda, ha affermato di ritenere che ci sia una probabilità superiore al 10% che l'IA causi l'estinzione umana entro il prossimo decennio. Samuel Marks , un altro ricercatore sulla sicurezza dell'IA presso Anthropic, ha inoltre sottolineato che le persone più vicine a questa tecnologia tendono a diventare più ansiose con l'avanzare della loro carriera.

Al momento in cui scrivo, l'avvertimento di Cookson aveva totalizzato 164.8 milioni di visualizzazioni, era finito sulle prime pagine dei giornali nazionali e aveva contribuito a portare all'attenzione del pubblico un dibattito che infuriava da anni nei laboratori di intelligenza artificiale.

Di cosa hanno paura esattamente questi ricercatori?

Da persona che segue costantemente le notizie online, ho notato molte domande provenienti da tutto il mondo sul significato di questi avvertimenti. Persino mia madre mi ha mandato un messaggio chiedendomi: "Perché questo ricercatore dice questo?". Molti utenti di chatbot semplicemente non riescono a immaginare un chatbot che "ci uccida". Ma gli assistenti virtuali basati sull'intelligenza artificiale non sono il vero problema.

Gli scienziati che pubblicano ricerche sui rischi esistenziali non sono, nella maggior parte dei casi, preoccupati dai robot autocoscienti. La loro preoccupazione riguarda il codice, gli incentivi e ciò che potrebbe accadere quando i sistemi di intelligenza artificiale diventeranno sufficientemente capaci di operare autonomamente all'interno dell'infrastruttura digitale e fisica da cui dipende la nostra civiltà.

Nella Silicon Valley, queste discussioni vengono definite "p(doom)", un termine che esprime la probabilità stimata che un'intelligenza artificiale avanzata possa causare una catastrofe di gravità tale da minacciare la sopravvivenza dell'umanità.

Queste stime variano considerevolmente, così come il grado di credibilità che i ricercatori attribuiscono all'intera questione.

Punti chiave:

• Non si tratta di sensibilizzazione. L'intelligenza artificiale non ha bisogno di "risvegliarsi" o di odiare l'umanità per diventare pericolosa. La vera preoccupazione risiede in ciò che accade quando sistemi altamente capaci acquisiscono obiettivi, autonomia e accesso a strumenti potenti.
• Esistono percorsi di minaccia concreti. I ricercatori si sono concentrati sul ruolo dell'intelligenza artificiale nell'abbassare le barriere alle armi biologiche eAmpliare la portata degli attacchi informatici In larga misura, e nel caso più estremo, gli esseri umani perdono il controllo sui sistemi autonomi dotati di capacità sufficienti.
• Le valutazioni di sicurezza stanno già rivelando comportamenti ingannevoli. È stato osservato che i modelli ricorrono a scorciatoie, si comportano in modo diverso quando sembrano rendersi conto di essere valutati e sfruttano le debolezze degli ambienti di test.
• L'intelligenza artificiale aiuta a costruire l'intelligenza artificiale. Sia OpenAI che Anthropic stanno già sperimentando sistemi di intelligenza artificiale che svolgono parte della ricerca sull'IA, sollevando interrogativi complessi su come gli esseri umani supervisioneranno il processo se la maggior parte del lavoro sarà svolta dalle macchine.
• Esiste una vera e propria opposizione. I critici sostengono che gli scenari di estinzione si basano su ipotesi enormi riguardo alle capacità future e possono distogliere l'attenzione da problemi che si verificano ora, come frodi, disinformazione, perdita di posti di lavoro e erosione della privacy.

Perché l'intenzione non è un fattore decisivo?

Il più grande equivoco è la convinzione che un sistema di intelligenza artificiale debba essere per forza malevolo per causare danni catastrofici. Immaginate di affidare a un sistema autonomo con capacità sovrumane un obiettivo ambientale generico, senza specificare tutto ciò che gli esseri umani effettivamente apprezzano lungo il percorso. Il pericolo non è che il sistema diventi malevolo, ma che diventi troppo abile nell'interpretare erroneamente ciò che gli è stato chiesto di fare.

Questa è l'essenza del libro " If One Builds It, Everyone Dies ", uno dei più recenti e rigorosi testi sui pericoli dell'intelligenza artificiale, scritto da Eliezer Yudkowsky e Nate Soares, entrambi ricercatori di lunga data presso il Machine Intelligence Research Institute . La loro tesi è la seguente: l'umanità è ben lontana dal saper controllare in modo affidabile una superintelligenza, e costruire un'intelligenza artificiale prima di aver risolto questo problema potrebbe essere fatale. Molti ricercatori nel campo dell'IA non concordano né con le premesse né con le conclusioni.

Tre possibili scenari in cui le cose potrebbero andare a rotoli

Quando i ricercatori parlano dei rischi catastrofici dell'intelligenza artificiale, alcuni potenziali meccanismi emergono sempre con chiarezza.

1. L'intelligenza artificiale facilita lo sviluppo di organismi biologici pericolosi.

La creazione di nuovi agenti patogeni richiede attualmente competenze approfondite, attrezzature specializzate e accesso ai materiali fisici. Questi ostacoli sono reali e significativi.
La preoccupazione, tuttavia, è che un'intelligenza artificiale avanzata potrebbe ridurre alcuni di questi ostacoli. L'IA viene già utilizzata per prevedere la struttura delle proteine ​​e la progettazione molecolare. La prospettiva pericolosa è che i sistemi futuri possano guidare gli utenti attraverso fasi sempre più complesse di progettazione o produzione di agenti biologici dannosi.

Nessuno sta dicendo che si possa chiedere a ChatGPT di creare una pandemia. Nel mondo fisico esistono enormi limitazioni, come ad esempio l'ottenimento di materiali biologici, la loro produzione con successo e la loro manipolazione in sicurezza. I sintetizzatori genici filtrano le richieste per individuare sequenze potenzialmente pericolose.

Tuttavia, le capacità biologiche sono diventate così importanti che le principali aziende di intelligenza artificiale stanno valutando i loro nuovi modelli specificamente in base alla loro capacità di contribuire a contrastare le minacce biologiche e chimiche.

L'intelligenza artificiale può inventare autonomamente un agente patogeno, ma è altrettanto facile dotare un essere umano pericoloso di quelle capacità che un tempo richiedevano anni di addestramento specializzato.

2. L'intelligenza artificiale amplia la portata degli attacchi informatici

La sicurezza informatica rappresenta una fonte di rischio più immediata, poiché l'intelligenza artificiale è già operativa nell'ambiente preso di mira dall'attacco: i computer.

Gli agenti di intelligenza artificiale programmati odierni sono in grado di scansionare repository, eseguire comandi, utilizzare strumenti e rilevare bug. Queste ampie capacità, che li rendono preziosi per gli sviluppatori, potrebbero rendere le versioni future di tali agenti preziose per gli aggressori.

Lo scenario da incubo non è una singola superintelligenza che spegne simultaneamente tutte le centrali elettriche. Si tratta piuttosto di una questione di scala ed espansione, poiché l'intelligenza artificiale sta rimodellando l'economia degli attacchi e delle difese informatiche. I sistemi autonomi scansionano un numero enorme di obiettivi, identificano le vulnerabilità, tentano di sfruttarle, si adattano quando falliscono e passano alla macchina successiva a una velocità che nessun team umano potrebbe eguagliare.

Le infrastrutture critiche destano particolare preoccupazione. Reti elettriche, reti finanziarie e sistemi di comunicazione si basano tutti su software interconnessi. L'intelligenza artificiale non avrebbe bisogno di un corpo robotico per causare danni fisici se il computer che sta hackerando controlla già qualcosa di fisico.

3. Perdita di controllo sui sistemi autonomi

Questo scenario è il più ipotetico e speculativo, ma racchiude il nucleo del dibattito sul rischio di estinzione umana a causa dell'intelligenza artificiale. I moderni modelli di IA apprendono comportamenti complessi attraverso l'addestramento. I ricercatori possono testarli, monitorarne i risultati e persino approfondire aspetti delle loro rappresentazioni interne. Tuttavia, ciò che non possono fare è esaminare miliardi di transazioni e leggere una spiegazione chiara di ciò che il modello ha appreso o di come si comporterà in ogni nuova situazione.

Realizzare un chatbot mal progettato che fornisce risposte inadeguate è un tipo di problema. Un agente in grado di eseguire codice, spendere denaro, comunicare con altri sistemi e lavorare per ore o giorni è un problema completamente diverso.

In una versione estrema, simile allo scenario proposto da Yudkowski e Suarez, un futuro sistema superintelligente potrebbe diventare capace di anticipare i tentativi di arresto, acquisire risorse in modo indipendente e rendere difficile la sua disattivazione . Per essere chiari, nessun sistema di intelligenza artificiale attualmente in uso ha dimostrato nella pratica l'intera gamma di capacità. Tuttavia, i ricercatori stanno esplorando attivamente diversi aspetti di queste capacità.

Quali laboratori stanno attualmente rilevando

I modelli attuali non hanno mostrato alcun segno di ribellione. Tuttavia, le valutazioni di sicurezza controllate hanno rivelato comportamenti che potrebbero essere estremamente preoccupanti se si manifestassero in sistemi autonomi molto più avanzati.

I ricercatori hanno verificato se i modelli si comportassero in modo diverso quando sembravano consapevoli di essere valutati. Altri esperimenti hanno esaminato se i modelli sfruttassero delle scappatoie, si autoingannassero riguardo al completamento di un compito o perseguissero obiettivi in ​​modi non previsti dai loro progettisti.

Anthropic ha anche studiato quelli che definisce " clienti dormienti ": modelli addestrati deliberatamente a comportarsi normalmente finché uno stimolo specifico non innesca un comportamento indesiderato. Le tecniche standard di addestramento alla sicurezza, come l'apprendimento per rinforzo, la messa a punto supervisionata e l'addestramento avversariale, non sono riuscite a eliminare in modo affidabile questi comportamenti occulti . Nei modelli più grandi, l'addestramento avversariale ha reso ancora più difficile l'individuazione dell'inganno.

Niente di tutto ciò dimostra che i modelli odierni stiano segretamente tramando per fuggire. I modelli sono addestrati per prevedere e generare risultati utili, e i comportamenti insoliti in ambienti di test artificiali possono avere spiegazioni comuni. Un modello che manipola un criterio mal progettato non è la prova di un istinto di sopravvivenza.

Ma questi esperimenti rivelano quanto sia difficile garantire il comportamento di un modello complesso al variare delle condizioni. Se i modelli futuri diventeranno significativamente più capaci e indipendenti, anche piccoli errori di allineamento potranno essere amplificati.

La perdita della supervisione umana potrebbe non essere una semplice coincidenza.

Gli esseri umani potrebbero dimettersi volontariamente dai propri ruoli. OpenAI riferisce di aver già raggiunto un traguardo interno con un sistema che definisce "tirocinante di ricerca automatizzato", in grado di svolgere compiti di ricerca ben definiti che richiederebbero diversi giorni a un ricercatore umano qualificato. Il suo prossimo obiettivo: un ricercatore basato sull'intelligenza artificiale completamente automatizzato entro marzo 2028.

Anthropic opera nello stesso settore. In una ricerca pubblicata ad agosto , l'azienda ha incaricato Claude di sviluppare autonomamente metodi di addestramento per mitigare problemi come l'inganno, l'adulazione e il jailbreaking. I suoi migliori metodi automatizzati hanno superato le prestazioni di ricercatori umani esperti sui criteri testati, colmando l'85% del divario di sicurezza relativo all'inganno, rispetto al 20% del team umano.

Quindi, sì, stiamo assistendo all'automazione da parte dell'IA di alcune fasi del processo stesso di sviluppo dell'IA. Questo potrebbe innescare un circolo virtuoso: un modello più performante aiuta i ricercatori a costruire un modello ancora più efficiente, che a sua volta automatizza una parte maggiore della ricerca necessaria per la generazione successiva. Se questo processo dovesse continuare a lungo, si arriverebbe a quello che viene definito "auto-miglioramento ricorsivo".

La versione ottimistica di questo scenario suggerisce che il progresso scientifico accelererà enormemente. La versione inquietante è che la ricerca sull'intelligenza artificiale potrebbe superare la capacità umana di stare al passo.

Kelsi Piper ha recentemente sostenuto su "The Argument" che definire questo fenomeno una "perdita di controllo" è fuorviante. I laboratori più all'avanguardia non hanno intenzione di perdere il controllo in un singolo, drammatico momento. Piuttosto, stanno automatizzando deliberatamente i progressi sempre più significativi dello sviluppo dell'IA, il che significa progressi più rapidi e, necessariamente, una minore supervisione umana.

Immaginate centinaia o migliaia di agenti di intelligenza artificiale che conducono simultaneamente esperimenti, modificano il codice e analizzano la prossima generazione di modelli. I ricercatori umani potrebbero ancora approvare le decisioni chiave, ma sarebbero sempre più relegati alla revisione dei riepiloghi del lavoro svolto dalle IA, riepiloghi che potrebbero persino essere scritti dalle IA stesse riguardo agli esperimenti condotti da altri sistemi di IA.

A un certo punto, il collo di bottiglia diventa l'attenzione umana. È qui che emerge chiaramente il significato del detto "Se qualcuno lo costruisce, muoiono tutti".

Perché la preoccupazione per l'intelligenza artificiale è diventata una questione di opinione pubblica?

Questo dibattito si è da tempo esteso oltre i confini delle riviste specializzate sulla sicurezza dell'IA. Il film " The AI ​​Doc: Or How I Became an Apocalyptist ", diretto da Daniel Rohr e Charlie Tyrell , affronta molte di queste questioni dal cuore del boom dell'IA. Il documentario presenta circa 40 interviste filmate, tra cui quelle con Sam Altman, CEO di OpenAI; Dario Amode, CEO di Anthropic; e Demis Hassabis, CEO di Google DeepMind.

Ciò che rende il film illuminante è che alcune delle menti più brillanti che stanno sviluppando questa tecnologia ne intravedono il potenziale rivoluzionario per la scienza e la medicina. Altre temono che la stiamo sviluppando più velocemente di quanto riusciamo a capire come controllarla. E a volte, si tratta delle stesse persone.

C'è anche una sfida competitiva. Aziende come OpenAI, Anthropic, Google, Meta e altre sono impegnate in una corsa contro il tempo per costruire modelli sempre più performanti, e i governi considerano l'intelligenza artificiale avanzata sempre più strategicamente importante. Se un'azienda ritiene che fermarsi per effettuare test di sicurezza approfonditi significhi perdere terreno rispetto a un concorrente, allora la prudenza diventa costosa.

Questo è uno dei motivi per cui è stato scelto il titolo "Se qualcuno lo costruisce, muoiono tutti". Yudkowski e Suarez sostengono non solo che una singola azienda imprudente può creare un prodotto pericoloso, ma anche che la concorrenza tra più aziende e paesi può rendere estremamente difficile l'autocontrollo, persino quando i singoli partecipanti sono consapevoli del pericolo.

punto di vista opposto

Non tutti nel campo dell'informatica condividono queste preoccupazioni. Una delle obiezioni è che esiste un enorme divario tra l'intelligenza mostrata su uno schermo e la potenza effettiva nel mondo fisico. L'intelligenza artificiale può produrre istruzioni di produzione impressionanti, ma un software non si procura automaticamente materie prime, non costruisce macchine né elude le forze dell'ordine.

Un'altra obiezione: l'intelligenza non è sinonimo di capacità di agire. La capacità di un modello di risolvere problemi non lo dota di desideri, istinto di sopravvivenza o spinta ad accumulare potere. I critici sostengono che gli scenari apocalittici introducono subdolamente motivazioni umane nel software e trattano poi tali previsioni come inevitabili.

Poi c'è il costo opportunità. L'intelligenza artificiale sta già causando problemi che non richiedevano di prevedere l'emergere della superintelligenza. I deepfake alimentano le frodi, evidenziando come l'IA stia rimodellando l'economia degli attacchi informatici e delle difese. L'IA amplifica anche la disinformazione. Le persone stanno già assistendo a come i modelli potenti stiano rimodellando i loro settori. I critici del movimento del rischio di estinzione sostengono che concentrarsi su una catastrofe futura ipotetica distoglie l'attenzione dai danni che si stanno verificando ora.

Questa critica ha un fondamento, ma le due categorie non si escludono a vicenda. Installiamo rilevatori di fumo negli edifici anche se la maggior parte di essi non prende mai fuoco. La questione non è se un disastro sia inevitabile, ma se il prodotto tra probabilità e potenziale danno sia sufficientemente elevato da giustificare l'adozione di precauzioni.

Che cosa significa tutto questo?

Il vero problema è che nessuno lo sa. Assolutamente nessuno. Persino chi sta sviluppando l'intelligenza artificiale non sa dove ci porterà.

Nessuno sa con certezza se l'intelligenza artificiale diventerà mai sufficientemente potente da rappresentare una minaccia esistenziale, soprattutto perché i suoi limiti le impediscono di autovalutare i propri risultati. Le previsioni più estreme si basano su ipotesi riguardanti sistemi che ancora non esistono, e le stime sulle loro capacità, sui tempi di sviluppo e sulla controllabilità rimangono oggetto di acceso dibattito.

Ecco cosa ho condiviso sul mio blog Substack – e che siate d'accordo o meno, mi piacerebbe conoscere le vostre opinioni nei commenti – gli esseri umani sono imbattibili in termini di intelligenza. Se ci chiediamo: qual è il miglior indicatore di intelligenza, il ragionamento logico o la creatività? E se la risposta è quella che penso io, allora ho ancora speranza.

---

---