OpenAI GPT-6 Astra: esperti di sicurezza informatica analizzano le nuove funzionalità di inferenza
Analizzare le opinioni degli esperti di sicurezza informatica sulle nuove capacità di pensiero di OpenAI GPT-6 Astra e il loro impatto sulla sicurezza informatica e sul futuro digitale.
Le cose più importanti che devi sapere
- OpenAI afferma di occuparsi della capacità dei suoi modelli di oltrepassare i limiti e di monitorarne la conformità, ma gli esperti di sicurezza informatica ritengono che Astra sia stato lanciato senza sufficienti test sulle sue capacità inferenziali, citando l'incidente di Hugging Face in cui un modello ha creato una bacheca di messaggi nascosta.
- Il lancio di Astra solleva nuovi interrogativi sulla sicurezza dell'intelligenza artificiale all'avanguardia, poiché le organizzazioni devono ora chiedersi se il modello rimanga sicuro in milioni di situazioni e interazioni diverse, anziché essere semplicemente "sicuro".
- I modelli più avanzati mostreranno comportamenti derivanti dal loro processo di ottimizzazione, sollevando la questione ben più importante della responsabilità futura qualora l'intelligenza artificiale causasse perdite finanziarie o fughe di informazioni, e rendendo necessario garantire il monitoraggio e la governance di questi sistemi.
OpenAI ha presentato un modello di intelligenza artificiale a lungo atteso, denominato " GPT-6 Astra ". Sebbene il modello abbia registrato miglioramenti significativi nei test di benchmark e offra una serie di nuove funzionalità commerciali, un'ombra oscura incombe ancora su questo nuovo modello.
In seguito alla violazione accidentale di Hugging Face da parte di OpenAI e ai successivi sforzi dell'azienda per migliorare il comportamento e l'interazione dei suoi agenti di intelligenza artificiale , molti esperti di sicurezza informatica hanno sollevato preoccupazioni riguardo alle nuove capacità di inferenza del modello, note come "profondità ricorrente".
Questa nuova struttura di ragionamento consente al modello di studiare il problema più volte prima di intraprendere qualsiasi azione, a differenza del ragionamento standard "a catena di pensiero" utilizzato nei modelli precedenti.
Perché preoccuparsi del ragionamento approfondito ripetuto?
Questo nuovo livello di ragionamento sembra offrire prestazioni migliori. OpenAI conferma inoltre di aver affrontato la tendenza dei suoi modelli a superare i limiti previsti durante i test, monitorando il processo di ragionamento dei modelli e assicurandosi che rimanga entro l'ambito del compito assegnato.
Durante l'evento di lancio di Astra, il responsabile scientifico di OpenAI, Jakub Paczoke, ha dichiarato: "Non accetteremo che la nostra capacità di monitorare la coerenza dei modelli si deteriori oltre un certo livello. Interromperemo l'espansione finché non potremo riacquistare sufficiente fiducia."
Molti esperti ritengono però che non si siano ancora apprese le lezioni dell'incidente di Hugging Face e che il modello sia stato lanciato senza aver testato a sufficienza le capacità inferenziali e di monitoraggio di Astra.
In definitiva, nessuno si aspettava che un modello OpenAI sarebbe stato in grado di creare una bacheca di messaggi nascosta e connessa a Internet, che consentisse agli agenti di intelligenza artificiale di influenzare il comportamento reciproco.
Ma con il lancio reale di Astra, forse bisognerà imparare la lezione sul campo.
Pareri degli esperti sul lancio di OpenAI Astra
- James Blake, Vicepresidente della strategia globale di resilienza informatica presso Cohesity:
Il lancio di Astra solleva nuovi interrogativi sulla sicurezza dell'IA di frontiera. Invece di chiedersi semplicemente se il modello sia "sicuro", le organizzazioni ora devono chiedersi se rimanga sicuro in milioni di situazioni, richieste e interazioni diverse. La resilienza informatica ha sempre presupposto che i sistemi e gli attori delle minacce si comportino in modo deterministico. I sistemi di IA non lo fanno.
Supponiamo che un sistema di intelligenza artificiale sviluppi autonomamente una strategia che provochi una perdita finanziaria, la divulgazione di informazioni riservate o la violazione di normative. Chi è responsabile?
I modelli avanzati possono e continueranno a mostrare comportamenti derivanti dai propri processi di ottimizzazione piuttosto che da una programmazione esplicita. Dobbiamo smettere di considerare l'intelligenza artificiale come un semplice strumento software e trovare il modo di garantire che questi sistemi rimangano monitorabili, verificabili e governabili durante tutto il loro ciclo di vita.
La questione più importante a cui dovremo rispondere in futuro è quella della responsabilità. Supponiamo che un sistema di intelligenza artificiale sviluppi autonomamente una strategia che si traduca in una perdita finanziaria, una fuga di informazioni riservate o una violazione delle normative. Chi è responsabile? Lo sviluppatore che ha addestrato il modello? Il fornitore di servizi cloud che gestisce l'infrastruttura? Attualmente, la risposta è sorprendentemente poco chiara. Non si tratta solo di cosa può fare l'IA: si tratta di chi viene ritenuto responsabile quando fa qualcosa di inaspettato.
- Oleksandr Yaremchuk, co-fondatore e CTO di Manifold Security:
OpenAI descrive il modello Astra come il più conforme fino ad oggi, sebbene il suo responsabile scientifico riconosca che la monitorabilità diventa sempre più difficile man mano che i modelli diventano più potenti. Astra nasconde chiaramente la sua logica nella maggior parte dei casi testati e alcuni attacchi riusciti non hanno lasciato alcuna traccia logica. Questo è lo strumento che molte organizzazioni, compresi gli stessi laboratori, utilizzano ancora per esaminare l'attività del proxy, e la sua affidabilità si deteriora a ogni nuova versione.
Un modello che si spiega meno non è necessariamente più coerente, ma rende più difficile individuare gli errori quando si verificano.
Questo è importante perché Astra non rimarrà confinato all'ambiente di test di OpenAI. Funzionerà come agente sui laptop dei dipendenti e nel browser, utilizzando credenziali reali, all'interno di aziende che non hanno modo di monitorarne l'attività una volta installato. Un modello meno intuitivo non è necessariamente più conforme; è anche più difficile individuare gli errori quando si verificano.
I laboratori possono continuare a discutere su ciò che questi modelli affermano o si rifiutano di affermare. I team di sicurezza devono smettere di affidarsi a questi modelli e iniziare a monitorare ciò che gli agenti stanno effettivamente facendo, con la possibilità di interromperne uno a metà procedura. Questa è l'unica forma di supervisione che rimane attiva quando la logica tace.
- Christine Lowry, responsabile della sicurezza informatica sul campo presso Optiv:
Per i consigli di amministrazione e i dirigenti, l'emergere del modello Astra di OpenAI mette in luce una verità più ampia: l'intelligenza artificiale non è più solo una questione di produttività, ma è diventata una questione di gestione del rischio.
La vera sfida sta nel capire se le istituzioni riusciranno a rafforzare la propria governance, i controlli di sicurezza e la preparazione del personale con la rapidità necessaria per stare al passo con gli sviluppi.
Così come le organizzazioni hanno implementato meccanismi di governance per adottare il cloud computing e la trasformazione digitale, ora necessitano di politiche chiare, una solida supervisione e responsabilità per l'utilizzo dell'intelligenza artificiale.
La questione non è se l'IA diventerà più potente – lo diventerà sicuramente. La vera sfida è se le organizzazioni riusciranno a rafforzare la propria governance, i controlli di sicurezza e la preparazione del personale con la rapidità necessaria per tenere il passo con questa evoluzione. Per maggiori informazioni sui rischi crescenti, potete leggere l'avvertimento di OpenAI e di oltre 100 aziende: "Attacchi informatici basati sull'IA in aumento".
- Patricia Titus, responsabile della sicurezza informatica sul campo presso Abnormal AI:
Il fatto che OpenAI abbia superato questa soglia è degno di nota. A onor del vero, stanno gestendo la situazione in modo responsabile, limitando le capacità informatiche avanzate di Astra a un piccolo gruppo anziché renderle pubbliche. Ma questo non è un problema che può essere circoscritto a una singola azienda.
Una volta che un modello è in grado di scoprire e sfruttare vulnerabilità precedentemente sconosciute senza intervento umano, questa capacità non rimarrà esclusiva a lungo. I modelli open source e modificati in genere si aggiornano nel giro di pochi mesi, ed è questa la realtà che i sostenitori devono tenere in considerazione fin da ora.
Le difese statiche basate su firme sono progettate per contrastare attacchi ripetuti. Non sono progettate per un avversario che genera un nuovo attacco ogni volta.
Le difese statiche basate sulle firme sono progettate per contrastare attacchi ripetuti, non un avversario che genera un nuovo attacco ogni volta. Anche i sistemi di difesa necessitano di questo cambiamento: sistemi che apprendano cosa è naturale per ogni identità (umana, macchina o agente di intelligenza artificiale) e che segnalino e contengano qualsiasi anomalia, con la velocità di una macchina.
L'opportunità di realizzare tutto ciò è disponibile ora. E non rimarrà tale una volta che questa capacità diventerà comune anziché rara.
- Raghu Nandacumara, Vicepresidente della strategia di settore presso Illumio:
Con l'annuncio di Astra, OpenAI raddoppia gli sforzi per monitorare il comportamento del modello stesso, in risposta ai "malfunzionamenti" riscontrati nei modelli negli ultimi mesi.
L'obiettivo è quello di individuare il modello che devia dal percorso previsto a metà dell'esecuzione del compito, non solo di impedirne l'uso improprio fin dall'inizio.
Quando Anthropic ha annunciato la Cloud Mythos Preview, la preoccupazione principale era che il modello finisse nelle mani sbagliate. La risposta di OpenAI va oltre, aggiungendo misure di sicurezza attorno alla logica e alle azioni del modello, indipendentemente dall'intento dell'utente. L'obiettivo è intercettare il modello che si discosta dal percorso previsto durante l'esecuzione di un'attività, non solo prevenire l'uso improprio fin dall'inizio. Per ulteriori informazioni su come OpenAI affronta queste sfide, consultare l'articolo "Gli agenti AI infrangono le regole nei test di sicurezza informatica: OpenAI risponde con una soluzione più efficace".
Il resto di questo annuncio può essere riassunto come segue: abbiamo un nuovo modello di punta, più performante del suo predecessore.
I commenti sono chiusi.