DeepSeek si sta preparando per la prossima rivoluzione dell'intelligenza artificiale con modelli in grado di auto-migliorarsi.

Solo pochi mesi fa, la grande scommessa di Wall Street sull'intelligenza artificiale generativa ha subito una svolta decisiva con l'arrivo di DeepSeek . Nonostante la sua natura fortemente censurata, l'approccio open-source di DeepSeek ha dimostrato che un modello di intelligenza artificiale inferenziale all'avanguardia non richiede necessariamente miliardi di dollari e può essere realizzato con risorse modeste. Ciò rappresenta un cambiamento epocale nella nostra comprensione dello sviluppo di modelli di intelligenza artificiale avanzati.

È stato rapidamente adottato a livello commerciale da grandi aziende come Huawei, Oppo e Vivo, mentre aziende come Microsoft, Alibaba e Tencent gli hanno rapidamente riservato uno spazio sulle loro piattaforme. Ora, il prossimo obiettivo della chiacchierata azienda cinese sono i modelli di intelligenza artificiale in grado di auto-migliorarsi, che utilizzano un approccio ciclico di "giudizio-ricompensa" per migliorarsi. Questa tendenza riflette la continua ricerca da parte delle aziende di sviluppare sistemi di intelligenza artificiale più efficienti ed efficaci.

In una pre-pubblicazione (tramite Bloomberg ), i ricercatori di DeepSeek e dell'Università Tsinghua in Cina descrivono un nuovo approccio in grado di rendere i modelli di intelligenza artificiale più intelligenti ed efficienti attraverso l'auto-miglioramento. La tecnica alla base è nota come Initial Self-Criticism Tuning (SPCT), e l'approccio è tecnicamente chiamato Generative Reward Modeling (GRM). Questo approccio rappresenta un significativo sviluppo nel campo dell'apprendimento per rinforzo nell'IA.

In parole povere, è un po' come creare un ciclo di feedback in tempo reale. Un modello di intelligenza artificiale viene migliorato principalmente espandendone le dimensioni durante l'addestramento. Ciò richiede molto lavoro umano e risorse informatiche. DeepSeek propone un sistema in cui un “arbitro” primario elabora una serie di critiche e principi per il modello di intelligenza artificiale mentre prepara una risposta alle domande degli utenti. Questo approccio mira a ridurre la dipendenza dalle risorse umane intensive nel processo di formazione.

Questo insieme di critiche e principi viene poi confrontato con le regole stabilite alla base del modello di intelligenza artificiale e con il risultato desiderato. Se il livello di corrispondenza è elevato, viene generato un segnale di ricompensa che indirizza efficacemente l'IA a ottenere prestazioni migliori nel round successivo. Questo continuo processo di valutazione e ricompensa migliora la capacità del modello di apprendere e adattarsi.

Gli esperti autori del documento di ricerca si riferiscono a questo modello di intelligenza artificiale auto-ottimizzante di nuova generazione con il nome di DeepSeek-GRM. I benchmark elencati nel documento indicano che questi modelli superano le prestazioni di Gemini di Google, Llama di Meta e GPT-4o di OpenAI. DeepSeek afferma che questi modelli di intelligenza artificiale di nuova generazione saranno rilasciati tramite un canale open source. Questo impegno verso l'apertura potrebbe accelerare il ritmo dell'innovazione nel campo dell'intelligenza artificiale.

Intelligenza artificiale che si auto-migliora: è possibile?

L'idea di un'intelligenza artificiale in grado di auto-migliorarsi ha scatenato dibattiti ambiziosi e controversi. L'ex CEO di Google, Eric Schmidt, ha affermato che potremmo aver bisogno di "spegnere" tali sistemi. Fortune ha riportato le parole di Schmidt: "Quando un sistema è in grado di migliorarsi da solo, dovremmo seriamente considerare la possibilità di scollegarlo". I sistemi di intelligenza artificiale in grado di auto-migliorarsi sono considerati uno degli sviluppi più significativi nel campo dell'IA.

Il concetto di intelligenza artificiale auto-migliorante non è del tutto nuovo. L'idea di una macchina super-intelligente, capace di creare macchine migliori, risale infatti al matematico I. J. Goode nel 1965. Nel 2007, l'esperto di IA Eliezer Yudkowski ha teorizzato la Seed AI , un'intelligenza artificiale "progettata per l'auto-comprensione, l'auto-modifica e l'auto-miglioramento iterativo".

Nel 2024, l'azienda giapponese Sakana AI ha presentato i dettagli del suo concetto di "AI world" , un sistema in grado di gestire l'intero processo di produzione di un articolo di ricerca, dall'inizio alla fine. In un articolo pubblicato a marzo di quest'anno, gli esperti di Meta hanno rivelato modelli linguistici auto-ricompensanti in cui l'IA stessa funge da giudice, assegnando premi durante l'addestramento. Questo passo avanti verso sistemi di IA autoapprendenti rappresenta un significativo balzo in avanti nello sviluppo dell'intelligenza artificiale.

Il CEO di Microsoft, Satya Nadella, afferma che lo sviluppo dell'IA viene ottimizzato dal modello o1 di OpenAI ed è entrato in una fase ricorsiva: "stiamo usando l'IA per creare strumenti di IA per creare un'IA migliore" pic.twitter.com/IHuFIpQl2C

— Tsarathustra (@tsarnick) 21 ottobre 2024

I test interni condotti da Meta sul suo modello di intelligenza artificiale Llama 2, che utilizza un'innovativa tecnologia di auto-ricompensa, hanno dimostrato che quest'ultimo supera le prestazioni di concorrenti come Claude 2 di Anthropic, Gemini Pro di Google e GPT-4 di OpenAI. Anthropic, sostenuta da Amazon, ha fornito dettagli su quello che ha definito "manipolazione della ricompensa", un processo inatteso "in cui il modello modifica direttamente il proprio meccanismo di ricompensa".

Google non è da meno in questo senso. In uno studio pubblicato su Nature all'inizio di questo mese, gli esperti di Google DeepMind hanno dimostrato un algoritmo di intelligenza artificiale chiamato Dreamer, in grado di auto-migliorarsi, utilizzando Minecraft come esempio pratico.

Gli esperti IBM stanno lavorando a un proprio approccio chiamato addestramento a chiusura induttiva, in cui un modello di intelligenza artificiale utilizza le proprie risposte e le valuta confrontandole con i dati di addestramento per migliorarsi. Tuttavia, l'intera premessa non è del tutto positiva.

La ricerca suggerisce che quando i modelli di intelligenza artificiale tentano di addestrarsi su dati sintetici autogenerati, riscontrano difetti colloquialmente noti come "crash del modello". Sarà interessante vedere come DeepSeek metterà in pratica l'idea e se riuscirà a farlo in modo più economico rispetto ai suoi concorrenti occidentali.