Il pulsante "Accetto": perché potrebbe essere l'intelligenza artificiale più pericolosa per le aziende?

Alle 2:00 del mattino, un agente di risoluzione automatica dei problemi rileva un problema di rete, lo riconduce a una configurazione errata di una policy, verifica tramite un framework personalizzato che la soluzione proposta funzioni entro i limiti definiti dalla policy e quindi lo risolve. La rete si stabilizza e nessuno viene avvisato.

Al mattino, l'operatore umano esamina i report giornalieri dell'agente: un riepilogo di tutte le modifiche implementate, con collegamenti ai record, alle tracce di controllo, alla logica e alle cause principali. Conferma che tutto sia stato risolto correttamente e poi passa alla fase successiva. Questo è il modello "human-on-the-loop".

In un'altra organizzazione, alle 4:00 del mattino, un agente di elaborazione improvvisato e autocostruito rileva un problema di rete, lo riconduce a una configurazione errata dei criteri e lo risolve. La rete si stabilizza e nessuno viene avvisato. La mattina seguente, un operatore esamina i log, presume che il problema sia stato risolto e prosegue con le sue attività.

Dove sta la differenza?

La differenza sta nel fatto che, nello scenario di auto-costruzione, i log raccontano solo una parte della storia. Non mostrano che l'agente ha apportato altre tre modifiche per arrivare a questa soluzione e che queste modifiche sono state più estese di quanto inizialmente previsto. Inoltre, le decisioni alla base di queste modifiche non sono state segnalate perché l'agente non era tenuto a farlo entro i limiti imposti dal suo funzionamento. Questa mancanza di trasparenza del sistema è al centro del problema.

Ecco come può apparire il passaggio a un sistema "controllato dall'uomo" senza adeguati meccanismi di verifica e bilanciamento. Non c'è un passaggio di consegne repentino, solo una serie di piccole deleghe ragionevoli che si accumulano gradualmente fino a diventare qualcosa su cui nessuno ha esplicitamente concordato. Ciò sottolinea l'importanza del controllo umano sul futuro dell'intelligenza artificiale.

Questo sta accadendo più velocemente di quanto la maggior parte dei leader si renda conto. Secondo una recente ricerca, il 57% dei leader IT prevede di eliminare l'intervento umano dal ciclo di controllo entro un anno o meno, e il 79% sta già trattando gli agenti di intelligenza artificiale come "utenti" che necessitano di una propria gestione dell'identità e di controlli di governance.

Il passaggio all'IA proxy sta avvenendo a un ritmo più rapido di quanto la maggior parte delle organizzazioni sia preparata, sia in termini di governance che di capacità di valutare i sistemi autonomi.

Sono il pulsante "Accetto".

La soluzione per l'IA autonoma è sempre sembrata incredibilmente semplice: mantenere un elemento umano di controllo. Qualcuno esamina l'output, clicca su un pulsante di "approvazione" e si assume la responsabilità. Ma la realtà è ben più complessa. Esaminare ogni singola azione non crea automaticamente la responsabilità e impedisce alle organizzazioni di sfruttare appieno i vantaggi dell'autonomia.

Anziché esaminare ogni procedura singolarmente, gli esseri umani dovrebbero concentrarsi sulla valutazione dei risultati, assicurandosi che il sistema funzioni entro i limiti previsti e fornendo un feedback che ne migliori le prestazioni nel tempo.

L'approvazione può trasformarsi in un rituale privo di significato. Man mano che i sistemi dimostrano la loro affidabilità e il numero di avvisi aumenta, gli esseri umani a volte iniziano a considerare l'intervento come qualcosa di spesso superfluo.

L'approvazione può diventare un semplice clic anziché una scelta ponderata. E quando qualcosa va storto (ad esempio, una policy configurata in modo errato o un'elaborazione automatizzata che causa un'interruzione del servizio), diventa difficile stabilire chi sia il responsabile.

Ciò rafforza anche un cambiamento più ampio: una delle capacità umane più importanti sta diventando il pensiero critico e la verifica delle ipotesi, piuttosto che l'esecuzione dei compiti.

Sta accadendo anche qualcos'altro. Gli esseri umani si stanno spostando dalla fase di esecuzione alla fase di lettura prima dell'approvazione: un cambiamento fondamentale nel lavoro quotidiano della maggior parte di noi.

Inoltre, l'attribuzione non è la stessa cosa della fonte. Una registrazione che documenta ciò che ha fatto un agente di intelligenza artificiale non dice quasi nulla sul perché, o su cosa abbia influenzato quella decisione. E quando le cose vanno male, sono proprio queste le informazioni di cui si ha bisogno.

Identità non umane e il nuovo panorama di rete

Quando gli agenti di intelligenza artificiale agiscono sulla rete, interrogando i sistemi, apportando modifiche alla configurazione o instradando il traffico, vengono considerati utenti a tutti gli effetti. Come gli operatori umani, necessitano di credenziali, policy, controlli di sicurezza, interpretabilità e registri di controllo. Questa esigenza di trasparenza e responsabilità è in linea con gli sforzi compiuti per imporre la trasparenza nei data center dedicati all'IA.

La maggior parte delle organizzazioni non si è ancora adeguata a questo sviluppo. I framework di gestione delle identità sono progettati per le persone, e l'applicazione di agenti di intelligenza artificiale in un secondo momento crea proprio quel tipo di accesso furtivo che i team di sicurezza si impegnano a eliminare per tutta la vita.

Quasi l'80% dei leader che già utilizzano agenti di intelligenza artificiale come identità gestite sono all'avanguardia. Il resto sta accumulando rischi che non potrà valutare fino a quando non si verificherà un incidente di sicurezza.

Per raggiungere questo obiettivo in modo adeguato, ogni agente deve essere trattato come un'entità principale con privilegi definiti, accesso limitato nel tempo, una chiara procedura di revoca e un registro completo; non solo di ciò che ha fatto, ma anche di ciò che gli era consentito fare e perché.

L'indipendenza non viene concessa, si conquista.

I team di rete e di sicurezza informatica sanno già come applicare questo principio. Ogni organizzazione dispone di framework di controllo degli accessi che definiscono a cosa gli esseri umani possono accedere e quando. Un ingegnere junior non ottiene l'accesso completo ai sistemi di produzione fin dal primo giorno; lo acquisisce gradualmente. La stessa logica dovrebbe essere applicata agli agenti di intelligenza artificiale.

Non abbiamo ancora raggiunto quel punto. Troppo spesso, l'autonomia viene considerata una questione di tutto o niente, e questo non è il modello giusto. La fiducia non funziona così con gli esseri umani, e non dovrebbe funzionare così con l'IA. Gli agenti di IA dovrebbero iniziare proponendo soluzioni e poi dimostrare la propria competenza entro limiti chiari e definiti prima che la loro autorità venga ampliata. E assicurarsi che ogni decisione lasci una traccia che spieghi non solo cosa è successo, ma anche le ragioni che lo hanno determinato.

Con l'aumento dell'utilizzo dell'intelligenza artificiale autonoma, le organizzazioni dovranno trovare un equilibrio tra la supervisione umana e una governance sistematica. Gli esseri umani rimarranno responsabili della revisione non solo dei risultati dell'IA, ma anche, ove necessario, delle azioni che essa intraprende e delle motivazioni che le sottendono.

Tuttavia, con l'aumentare della portata e della complessità delle decisioni autonome, questa supervisione deve essere integrata da un'infrastruttura che includa identità, applicazione delle politiche, capacità di monitoraggio e responsabilità. Questi controlli, considerati nel loro insieme, contribuiscono a garantire che le azioni dell'IA rimangano trasparenti, tracciabili e allineate con gli obiettivi organizzativi.

Costruire sistemi multi-agente in grado di resistere alla pressione

Man mano che questi sistemi diventano più potenti, le organizzazioni si stanno orientando sempre più verso architetture multi-agente. In queste architetture, ogni agente specializzato gestisce una parte del flusso di lavoro e passa il contesto all'agente successivo. È qui che risiedono le complessità.

Il comportamento di un singolo agente può essere tracciato se commette un errore. Tuttavia, una catena di agenti, in cui ciascuno agisce in base alle azioni del precedente, è molto più difficile da ricostruire quando si verifica un errore, a meno che non siano in atto una struttura e una governance adeguate. È necessario sapere cosa sapeva ogni agente, non solo cosa ha fatto.

Completare le attività di base

Due organizzazioni utilizzano lo stesso agente di rete basato sull'intelligenza artificiale. Una ha portato a termine i compiti basilari e meno appariscenti: impostare rigide autorizzazioni di accesso, controlli di identità appropriati e registri di controllo che forniscano risposte chiare quando necessario. L'altra no.

Non ti renderai conto della differenza finché qualcosa non andrà storto.