Adozione dell'intelligenza artificiale nelle organizzazioni: cosa rivelano i dati di utilizzo.

Molti dibattiti pubblici sull'intelligenza artificiale ruotano ancora attorno alle classifiche: quale modello si posiziona al primo posto, quale fornitore è il "vincitore" e quale punteggio di riferimento è più importante. Ma per le organizzazioni che effettivamente sviluppano e implementano soluzioni di IA, queste domande stanno diventando meno rilevanti rispetto alla comprensione di come l'IA viene utilizzata in scenari reali.

Una delle ragioni è la crescente controversia che circonda il concetto di "tokenmaxxing", una pratica volta a massimizzare l'utilizzo dell'intelligenza artificiale, spesso motivata da obiettivi di adozione interni, incentivi o competizioni basate su classifiche.

Concentrarsi sul consumo di token potrebbe però incoraggiare l'attività fine a se stessa, anziché misurare il reale valore commerciale offerto dall'intelligenza artificiale.

Esempi recenti, tra cui la notizia della chiusura da parte di Amazon di una classifica interna sull'IA e del limite imposto da Uber alla spesa dei propri dipendenti per l'IA dopo aver esaurito rapidamente il budget annuale, evidenziano i rischi di considerare l'utilizzo come principale indicatore di successo.

Tuttavia, i dati più recenti suggeriscono un quadro più complesso. Secondo i dati di Vercel AI Gateway relativi a luglio, il volume dei token è cresciuto del 29% a giugno, mentre la spesa è aumentata del 27%, con un prezzo medio dei token rimasto stabile. Invece di limitarsi a utilizzare l'IA, le organizzazioni stanno diventando più consapevoli nel determinare dove implementare i diversi modelli e come bilanciare costi e prestazioni.

I team che sviluppano veri e propri sistemi di intelligenza artificiale si stanno orientando sempre più verso l'instradamento dinamico delle attività tra più modelli, a seconda dei costi, dell'affidabilità e delle capacità di inferenza. Ad esempio, un modello a basso costo potrebbe essere utile per riassumere le attività, mentre un modello di inferenza ad alte prestazioni è riservato alle decisioni di maggiore importanza.

In pratica, l'intelligenza artificiale riguarda più il coordinamento di livelli tra più modelli che la costruzione di sistemi attorno a un singolo fornitore.

I dati più recenti di AI Gateway mostrano che le organizzazioni stanno distribuendo i carichi di lavoro tra diverse categorie di modelli anziché affidarsi a un singolo fornitore. I modelli open-weight gestiscono ora il 29% dei token del gateway, pur rappresentando meno del 4% della spesa, mentre i modelli di frontiera continuano a dominare i carichi di lavoro di inferenza a più alto valore.

Anziché adottare un approccio standardizzato, le organizzazioni scelgono modelli diversi a seconda del compito da svolgere.

Superando le prime posizioni delle classifiche

Nelle prime fasi dell'adozione dell'IA nelle aziende, i team sono stati incoraggiati a sperimentare in modo aggressivo, sviluppare prototipi ed esplorare nuovi casi d'uso. Questo ha contribuito ad accelerare l'adozione, che richiede il passaggio dell'IA dalla fase sperimentale all'applicazione pratica, ma ha anche creato un presupposto semplicistico: che più IA significhi automaticamente più valore.

A giugno, il volume e la spesa dei token sono cresciuti di circa il 30%; tuttavia, il prezzo medio dei token è rimasto stabile. Le organizzazioni continuano a investire massicciamente nell'IA, ma stanno diventando più strategiche nella ripartizione dei carichi di lavoro tra modelli a basso costo e modelli premium.

Questo schema rispecchia precedenti trasformazioni tecnologiche, come l'era iniziale del cloud computing, in cui le aziende si sono espanse in modo aggressivo prima di migliorare l'efficienza. L'adozione dell'intelligenza artificiale sta seguendo una traiettoria simile, ma a un ritmo molto più rapido.

Per i team di intelligenza artificiale, la metrica più utile non è il costo, bensì i risultati, che sono alla base del successo dell'IA . Un flusso di lavoro in grado di automatizzare settimane di lavoro ingegneristico può essere molto più efficiente di un flusso di lavoro a basso costo che produce risultati inaffidabili e genera costi operativi successivi che superano i risparmi iniziali.

La questione non è quanta intelligenza artificiale il team possa utilizzare, ma con quanta efficacia essa possa essere impiegata per risolvere problemi significativi.

L'intelligenza artificiale sta cambiando i carichi di lavoro

I chatbot tradizionali funzionano con flussi di lavoro relativamente semplici: si inserisce un comando e si riceve una risposta. I sistemi basati su agenti, che rappresentano agenti di intelligenza artificiale più sofisticati , si comportano in modo completamente diverso.

Gli agenti di intelligenza artificiale pensano, richiamano strumenti, eseguono codice, recuperano informazioni, interrogano database e ripetono operazioni attraverso più passaggi prima di completare l'attività. Ciascuna di queste azioni consuma token.

Di conseguenza, i carichi di lavoro dell'IA stanno diventando sempre più basati su agenti. Una singola richiesta può ora comportare una serie di chiamate a strumenti, cicli di validazione e cambi di fornitore che avvengono in background, modificando completamente le dinamiche economiche.

Gli agenti di back-office rappresentano i token più costosi per portale, pari al 5% del totale dei token ma al 14% della spesa totale. I carichi di lavoro più complessi e sensibili per il business richiedono una maggiore capacità di inferenza rispetto alle attività di intelligenza artificiale più semplici.

Ciò significa che un maggiore utilizzo non è sempre indice di inefficienza. In molti casi, riflette la crescente complessità e le maggiori capacità dei sistemi di intelligenza artificiale stessi.

Le infrastrutture come fattore di differenziazione

Poiché le organizzazioni si affidano sempre più a molteplici modelli di intelligenza artificiale e fornitori di servizi, mantenere l'affidabilità diventa un compito più complesso.

Le attività di inferenza, i flussi di lavoro multi-agente e le complesse catene di coordinamento possono mettere a dura prova i fornitori di modelli. Se un singolo modello si blocca durante l'esecuzione, l'intero flusso di lavoro potrebbe collassare.

Di conseguenza, il routing di fallback è diventato un'infrastruttura AI fondamentale negli ambienti di produzione. Il report AI Gateway di Vercel di maggio ha rivelato che circa il 3.5% delle richieste richiede un reindirizzamento a causa di errori, timeout o problemi di determinazione della velocità.

Senza un instradamento dinamico tra i fornitori di servizi, tali richieste falliranno. E per gli utenti finali, l'instabilità del fornitore di servizi è invisibile; a loro non interessa la causa del problema, ma solo se l'applicazione continua a funzionare.

Pertanto, man mano che i sistemi di IA diventano sempre più capaci di operare come agenti indipendenti, la flessibilità e il coordinamento diventano importanti quanto le capacità del modello stesso, sottolineando l'importanza della transizione dell'IA verso agenti più intelligenti.

La fine dell'era del modello unico

Le strategie basate sull'affidamento a un unico fornitore di servizi sono diventate difficili da mantenere. Vengono costantemente lanciati nuovi modelli, i prezzi cambiano rapidamente e le prestazioni di ciascun modello variano a seconda del tipo di attività.

Il modello di programmazione migliore oggi potrebbe non essere il migliore per le attività di recupero delle informazioni, l'assistenza clienti o i flussi di lavoro di inferenza di domani.

Non si tratta di scegliere un unico modello come vincitore indiscusso. Si tratta piuttosto di costruire sistemi di intelligenza artificiale capaci di adattarsi e assimilare il modello migliore di settimana in settimana, perché questa preferenza cambia rapidamente e continuerà a cambiare.

I team che considerano la formattazione multi-modello come un'infrastruttura sono quelli che non avranno bisogno di ricostruire i propri sistemi al momento del lancio di un nuovo modello.