Come puoi garantire che le tue soluzioni di intelligenza artificiale funzionino come previsto?

L'intelligenza artificiale generativa (GenAI) si sta evolvendo rapidamente e non si limita più a divertenti chatbot o alla generazione di immagini di grande impatto. Il 2025 sarà l'anno in cui l'attenzione si concentrerà sulla trasformazione dell'entusiasmo mediatico intorno all'IA in valore reale. Le aziende di tutto il mondo sono alla ricerca di modi per integrare e sfruttare la GenAI nei propri prodotti e processi, al fine di servire meglio gli utenti, aumentare l'efficienza, rimanere competitive e promuovere la crescita. E grazie alle API e ai modelli pre-addestrati offerti dai principali provider, l'integrazione della GenAI sembra più semplice che mai. Ma ecco il punto: la facilità di integrazione non garantisce che le soluzioni di IA funzioneranno come previsto una volta implementate.

I modelli predittivi non sono una novità: noi esseri umani facciamo previsioni da anni, a partire ufficialmente dalla statistica. Tuttavia, GenAI ha rivoluzionato la previsione per diversi motivi :

• Non è necessario addestrare un proprio modello o essere uno scienziato dei dati per creare soluzioni di intelligenza artificiale.
• L'intelligenza artificiale è ora facile da usare attraverso le interfacce di chat e da integrare tramite API.
• Scatenando molte cose che prima non era possibile fare o che erano davvero difficili da fare.

Tutti questi elementi rendono la GenAI incredibilmente entusiasmante, ma anche rischiosa . A differenza del software tradizionale, o persino del machine learning classico, la GenAI introduce un nuovo livello di imprevedibilità. Non si implementa una logica deterministica; si utilizza un modello addestrato su enormi quantità di dati, sperando che risponda come previsto. Quindi, come facciamo a sapere se un sistema di IA sta facendo ciò che ci aspettiamo? Come facciamo a sapere se è pronto all'uso? La risposta è la valutazione, un concetto che esploreremo in questo articolo.

• Perché i sistemi Genai non possono essere testati allo stesso modo del software tradizionale o persino del classico apprendimento automatico (ML)
• Perché le valutazioni sono essenziali per comprendere la qualità del tuo sistema di intelligenza artificiale e non facoltative (a meno che non ti piacciano le sorprese)
• Diversi tipi di valutazione e tecniche per applicarle nella pratica

Che tu sia un product manager, un ingegnere o chiunque lavori o sia interessato all'intelligenza artificiale, spero che questo post ti aiuti a capire come pensare in modo critico alla qualità dei sistemi di intelligenza artificiale (e perché le valutazioni sono essenziali per raggiungere tale qualità!).

 

L'intelligenza artificiale generativa non può essere testata come i software tradizionali, né come l'apprendimento automatico classico.

Nello sviluppo software tradizionale , i sistemi seguono una logica deterministica: se accade X, allora accadrà Y, sempre. A meno che non si verifichi un problema con il sistema sottostante o si introduca un bug nel codice... ed è per questo che vengono aggiunti test, monitoraggio e avvisi. I test unitari vengono utilizzati per convalidare piccoli blocchi di codice, i test di integrazione per garantire che i componenti funzionino correttamente insieme e il monitoraggio per rilevare eventuali malfunzionamenti in produzione. Testare un software tradizionale è come controllare una calcolatrice. Si inserisce 2 + 2 e ci si aspetta 4. Chiaro e deterministico, è vero o falso.

Tuttavia, l'apprendimento automatico e l'intelligenza artificiale introducono indeterminatezza e probabilità. Invece di definire esplicitamente il comportamento tramite regole, addestriamo i modelli ad apprendere schemi dai dati. Nell'IA, se si verifica X, l'output non è più un valore Y fisso, ma una previsione con un certo grado di probabilità, basata su ciò che il modello ha appreso durante l'addestramento . Questo può essere molto potente, ma introduce anche incertezza: input identici possono avere output diversi nel tempo, output plausibili possono in realtà essere errati e comportamenti inattesi possono emergere in rari casi...

Questo rende i metodi di valutazione tradizionali inadeguati, e talvolta persino impraticabili. L'esempio della calcolatrice è simile al tentativo di valutare la prestazione di uno studente in un esame a risposta aperta. Per ogni domanda, e per le numerose possibili risposte, la risposta fornita è corretta? È al di sopra del livello di conoscenza che lo studente dovrebbe possedere? Lo studente ha inventato tutto, ma la sua risposta sembra molto convincente? Proprio come le risposte in un esame, i sistemi di intelligenza artificiale possono essere valutati, ma necessitano di un metodo più generale e flessibile per adattarsi a input, contesti e casi d'uso (o tipologie di test) diversi.

Nell'apprendimento automatico (ML) tradizionale, le valutazioni sono già una parte consolidata del ciclo di vita del progetto . L'addestramento di un modello per un compito specifico, come l'approvazione di un prestito o la diagnosi di una malattia, include sempre una fase di valutazione, che utilizza metriche come accuratezza, richiamo, RMSE e MAE. Questo serve a misurare le prestazioni del modello, a confrontare diverse opzioni e a determinare se il modello è sufficientemente valido per essere implementato. Nell'IA generativa (GenAI), la situazione è in genere diversa: i team utilizzano modelli che sono già stati addestrati e hanno superato valutazioni generiche interne da parte del fornitore del modello e su benchmark generali. Questi modelli sono molto efficaci in compiti generici, come rispondere a domande o comporre e-mail, e si corre il rischio di un eccessivo affidamento su di essi per il caso d'uso specifico. Tuttavia, è importante chiedersi: " Questo modello eccezionale è sufficientemente valido per il mio caso d'uso? ". È qui che entra in gioco la valutazione : per valutare se le previsioni o le generazioni sono adatte al caso d'uso specifico, al contesto, agli input e agli utenti.

Un'altra differenza importante tra ML e GenAI è la varietà e la complessità dell'output del modello. Non restituiamo più categorie e probabilità (ad esempio la probabilità che un cliente restituisca un prestito) o numeri (ad esempio il prezzo previsto di una casa in base alle sue caratteristiche). I sistemi GenAI possono restituire molti tipi di output, con lunghezze, toni, contenuti e formati diversi. Allo stesso modo, questi modelli non richiedono più input altamente strutturati e specifici, ma in genere accettano quasi ogni tipo di input: testo, immagini o persino audio o video. Quindi la valutazione diventa molto più difficile.

Perché le valutazioni sono necessarie, non facoltative (a meno che non preferiate le sorprese spiacevoli)

I processi di valutazione ti aiutano a capire se il tuo sistema di intelligenza artificiale funziona effettivamente come previsto , se è pronto per l'uso e, in caso affermativo, se continua a fornire le prestazioni attese. Ecco un'analisi del perché i processi di valutazione sono importanti:

• Valutazione della qualità: Le valutazioni forniscono un modo strutturato per comprendere la qualità delle previsioni o degli output dell'IA e il modo in cui si integreranno nel sistema generale e nel caso d'uso. Le risposte sono accurate? Utile? Coeso? Imparentato?
• Quantificare gli errori: Le classificazioni aiutano a determinare la percentuale, la tipologia e l'entità degli errori. Con quale frequenza si verificano gli errori? Quali tipi di errori si verificano più frequentemente (ad esempio, falsi positivi, allucinazioni, errori di formato)?
• Mitigazione del rischio: Ti aiuta a individuare e prevenire comportamenti dannosi o parziali prima che raggiungano gli utenti, proteggendo la tua azienda da rischi reputazionali, problemi etici e potenziali problemi normativi.

L'intelligenza artificiale generativa, con relazioni input-output libere e generazione di testo lungo, rende le valutazioni più pertinenti e complesse. Quando le cose vanno male, possono andare molto male. Abbiamo tutti letto titoli su chatbot che offrono consigli pericolosi, modelli che generano contenuti di parte e strumenti di intelligenza artificiale che simulano fatti falsi.

 

“ L'intelligenza artificiale non sarà mai perfetta, ma utilizzando le valutazioni è possibile ridurre il rischio di figuracce, che potrebbero costare denaro, credibilità o un momento virale su Twitter. ”

 

Come si definisce una strategia di valutazione dell'IA?

Quindi, come determiniamo le nostre valutazioni dell'IA? Non esiste un metodo di valutazione valido per tutti. Le valutazioni dipendono dal caso d'uso specifico e devono essere in linea con gli obiettivi specifici della tua applicazione di intelligenza artificiale. Ad esempio, se stai creando un motore di ricerca, potresti prestare attenzione alla pertinenza dei risultati. Se si tratta di un chatbot, potresti tenere in considerazione l'utilità e la sicurezza. Se è classificato, probabilmente ti interesseranno l'accuratezza e la precisione. Per i sistemi che prevedono più passaggi (ad esempio un sistema di intelligenza artificiale che esegue una ricerca, assegna priorità ai risultati e quindi genera una risposta), è spesso necessario valutare ogni passaggio. L'idea qui è misurare se ogni passaggio contribuisce a raggiungere il parametro di successo complessivo (e da qui capire dove concentrare iterazioni e miglioramenti).

Le aree di valutazione comuni includono:

• Correttezza e allucinazioni: I risultati sono realisticamente accurati? Il sistema genera informazioni errate o allucinazioni?
• Rilevanza: Il contenuto è coerente con la query dell'utente o con il contesto fornito?
• sicurezza, pregiudizi e tossicità
• Formato: L'output è nel formato previsto (ad esempio, JSON, chiamata di funzione valida)?
• Sicurezza, pregiudizi e tossicità: Il sistema genera contenuti dannosi, parziali o tossici?

Metriche specifiche per ogni attività. Ad esempio, nelle attività di classificazione si utilizzano metriche come accuratezza e precisione, nelle attività di riassunto ROUGE o BLEU, e nelle attività di creazione di codice regex e verifica dell'esecuzione senza errori.

Come vengono calcolate effettivamente le valutazioni?

Una volta stabilito cosa si desidera misurare, il passo successivo è progettare i casi di test. Questo sarà un insieme di esempi (più sono, meglio è, ma sempre bilanciando valore e costi) in cui avrai:

• Esempio di input:Un'introduzione realistica del tuo sistema una volta entrato in produzione.
• Risultati attesi (Se applicabile): fatto chiave o esempio dei risultati desiderati.
• Metodo di valutazione: Meccanismo di registrazione per la valutazione del risultato.
• Risultato o successo/fallimento: Una metrica calcolata che valuta il caso di prova.

A seconda delle esigenze, del tempo e del budget, puoi utilizzare diverse tecniche come metodi di valutazione:

• Strumenti di registrazione statistica quali: BLEU, ROUGE e METEOR, ovvero misura della similarità del coseno tra incorporamenti: utili per confrontare il testo generato con l'output di riferimento.
• Metriche tradizionali di apprendimento automatico come Precisione, richiamo e AUC: ideali per la classificazione con dati etichettati.
• Modello linguistico di grandi dimensioni come giudice (LLM-as-a-Judge) Utilizzare un modello linguistico di grandi dimensioni per valutare l'output (ad esempio, "Questa risposta è corretta e utile?"). Particolarmente utile quando non sono disponibili dati non classificati o quando si valuta un costrutto aperto.

I processi di valutazione basati sul codice utilizzano espressioni standard, regole logiche o implementazioni di casi di test per convalidare i formati.

 

La linea di fondo

Mettiamo insieme il tutto con un esempio concreto. Immagina di creare un sistema di analisi del sentiment per aiutare il tuo team di assistenza clienti a stabilire la priorità delle email in arrivo.

L'obiettivo è garantire che i messaggi più urgenti o negativi ricevano risposte più rapide, riducendo la frustrazione, aumentando la soddisfazione e abbassando il tasso di abbandono dei clienti. Si tratta di un caso d'uso relativamente semplice, ma anche in un sistema come questo, con output limitato, la qualità è importante: previsioni errate potrebbero portare ad assegnare priorità casuali alle e-mail, il che significa che il tuo team sta perdendo tempo con un sistema che costa denaro.

Quindi, come fai a sapere se la tua soluzione funziona come desideri? Stai valutando. Ecco alcuni esempi di cose che potrebbero essere rilevanti da valutare in questo specifico caso d'uso:

• Convalida del formato: Gli output di una chiamata a un modello linguistico di grandi dimensioni (LLM) per prevedere il sentiment delle email vengono restituiti nel formato JSON previsto? Ciò può essere valutato tramite controlli basati sul codice: espressioni regolari, convalida dello schema, ecc.
• Precisione della classificazione del sentimento: Il sistema classifica correttamente il sentimento in una gamma di testi: brevi, lunghi e multilingue? Ciò può essere valutato utilizzando dati etichettati mediante metriche di apprendimento automatico tradizionali (metriche ML) oppure, se le etichette non sono disponibili, utilizzando un modello linguistico di grandi dimensioni (LLM) come giudice.

Una volta individuata la soluzione più semplice, sarà opportuno includere anche le metriche più rilevanti per valutare l'impatto complessivo della soluzione stessa :

• Efficacia della definizione delle priorità: Gli addetti all'assistenza vengono effettivamente indirizzati alle email più importanti? La definizione delle priorità è in linea con l'impatto aziendale desiderato?
• Impatto aziendale finale: Nel tempo, questo sistema riduce i tempi di risposta, diminuisce il tasso di abbandono dei clienti e migliora i punteggi di soddisfazione?

Le valutazioni sono essenziali per garantire che i sistemi di intelligenza artificiale siano utili, sicuri, validi e pronti per la produzione. Pertanto, che si tratti di un semplice classificatore o di un chatbot complesso, è fondamentale definire con precisione cosa si intende per "sufficientemente buono" (la qualità minima accettabile) e strutturare le valutazioni di conseguenza per misurarne le prestazioni!

 

Riferimenti

[1] Il tuo prodotto AI ha bisogno di valutazioni , Hamel Husain

[2] Metriche di valutazione LLM: la guida definitiva alla valutazione LLM, Confident AI

[3] Valutazione degli agenti AI, deeplearning.ai + Arize