Cosa succede se esaurisci i dati di addestramento del modello di intelligenza artificiale?

Il rapido progresso nell'intelligenza artificiale dipende principalmente dalla disponibilità di dati di addestramento accurati e su larga scala. Con l'espansione dell'uso dell'intelligenza artificiale in vari settori, molte aziende stanno iniziando ad affrontare sfide legate alla mancanza di dati di formazione disponibili, che possono influire sulla qualità e sull'efficacia dei modelli intelligenti che sviluppano. Come possiamo quindi continuare ad addestrare e sviluppare sistemi di intelligenza artificiale nonostante questa carenza?

Internet potrebbe sembrare pieno di dati disponibili, ma l'intelligenza artificiale ha già consumato la maggior parte delle fonti aperte. Ciò non significa però che il progresso si fermerà. Esistono nuove strategie che possono essere utilizzate per colmare il divario nei dati, come la generazione di dati sintetici, la raccolta di dati personalizzati e l'utilizzo di dati non strutturati in modi innovativi. In questo articolo esploreremo queste soluzioni innovative e il modo in cui possono supportare lo sviluppo dell'intelligenza artificiale, garantendo che continui a offrire prestazioni migliori e un valore maggiore agli utenti.

1. I dati Plus vengono sempre aggiunti online.

In sintesi, l'istituto di ricerca sull'intelligenza artificiale Epoch afferma che i dati di alta qualità su cui viene addestrata l'IA potrebbero esaurirsi entro il 2026.

La parola chiave è “può”. La quantità di dati aggiunti a Internet aumenta ogni anno, quindi qualcosa di drastico potrebbe cambiare prima del 2026. Tuttavia, questa è ancora una stima corretta: in ogni caso, prima o poi i sistemi di intelligenza artificiale finiranno i dati validi.

Tuttavia, è importante ricordare che ogni anno vengono aggiunti a Internet circa 147 zettabyte di dati (secondo Exploding Topics ). Un solo zettabyte equivale a 1,000,000,000,000,000,000,000 bit di dati. In termini pratici, si tratta di oltre 30 miliardi di film in 4K (reali, ma incomprensibili). È una quantità sbalorditiva di informazioni che l'intelligenza artificiale deve vagliare.

Tuttavia, l’intelligenza artificiale sta consumando i dati più velocemente di quanto l’umanità riesca a produrli…

2. L’intelligenza artificiale potrebbe dimenticare i dati di bassa qualità

Naturalmente, non tutti i 147 zettabyte di dati sono buoni dati. C'è di più di quanto sembri. Ma si stima che entro il 2050 l’intelligenza artificiale consumerà anche dati linguistici di bassa qualità.

Reuters ha riportato che Photobucket, un tempo uno dei più grandi archivi di immagini al mondo, è in trattative per concedere in licenza la sua vasta libreria ad aziende specializzate nell'addestramento di modelli di intelligenza artificiale. Le immagini contengono dati per l'addestramento di modelli come DALL-E e Midjourney, ma anche questi potrebbero esaurirsi entro il 2060. C'è un problema ancora più grande: Photobucket include anche immagini provenienti da piattaforme di social network dei primi anni 2000 come Myspace, il che significa che non sono di alta qualità come le fotografie attuali. Questo si traduce in dati di qualità inferiore.

Photobucket non è solo. Nel febbraio 2024, Google ha stretto un accordo con Reddit, consentendo al gigante della ricerca di utilizzare i dati degli utenti della piattaforma di social media per addestrare l’intelligenza artificiale. Anche altre piattaforme di social networking forniscono dati degli utenti per scopi di formazione sull’intelligenza artificiale; Alcuni lo usano per addestrare modelli di intelligenza artificiale interni, come il lama di Meta.

Tuttavia, sebbene alcune informazioni possano essere estratte da dati di bassa qualità, Microsoft starebbe sviluppando un modo per consentire all’intelligenza artificiale di “ignorare” selettivamente i dati. Principalmente, questa soluzione verrà utilizzata per questioni di proprietà intellettuale, ma potrebbe anche significare che gli strumenti potrebbero dimenticare ciò che hanno imparato da set di dati di bassa qualità.

Possiamo fornire all’IA più dati senza essere troppo selettivi; Questi sistemi di intelligenza artificiale possono quindi scegliere ciò da cui è più utile imparare.

3. Il riconoscimento vocale sblocca i dati disponibili in video e podcast

Finora i dati forniti agli strumenti di intelligenza artificiale consistevano in gran parte in testo e, in misura minore, in immagini. Ciò cambierà senza dubbio, e probabilmente è già cambiato, perché i software di riconoscimento vocale significheranno che l’abbondanza di video e podcast disponibili potrà anche addestrare l’intelligenza artificiale.

Vale la pena notare che OpenAI ha sviluppato la rete neurale open-source per il riconoscimento automatico del parlato (ASR), Whisper , utilizzando 680.000 ore di dati multilingue e multitasking. OpenAI ha poi alimentato il suo ampio modello linguistico, GPT-4, con oltre un milione di ore di informazioni provenienti da video di YouTube.

Questo è un modello ideale per altri sistemi di intelligenza artificiale, che utilizzano il riconoscimento vocale per trascrivere video e audio da molte fonti ed eseguire tali dati attraverso i propri modelli di intelligenza artificiale.

Secondo Statista , ogni minuto vengono caricati su YouTube oltre 500 ore di video, una cifra rimasta relativamente stabile dal 2019. E questo senza nemmeno menzionare altre piattaforme video e audio come Dailymotion e Podbean. Se l'intelligenza artificiale riuscisse a concentrare la sua attenzione su nuovi set di dati come questi, ci sarebbe ancora un'enorme quantità di informazioni da estrarre.

4. L’intelligenza artificiale è rimasta in gran parte fedele alla lingua inglese

Non è tutto ciò che possiamo imparare da Whisper. OpenAI ha addestrato il modello utilizzando 117000 ore di dati audio non inglesi. Ciò è particolarmente interessante perché molti sistemi di intelligenza artificiale sono stati addestrati principalmente utilizzando la lingua inglese o osservando altre culture attraverso una lente occidentale.

In sostanza, la maggior parte degli strumenti sono vincolati alla cultura dei loro creatori.

Prendiamo ChatGPT come esempio. Poco dopo la sua pubblicazione nel 2022, Jill Walker Rettberg , professoressa di cultura digitale all'Università di Bergen in Norvegia, ha sperimentato ChatGPT ed è giunta alle seguenti conclusioni:

“ChatGPT non sa molto della cultura norvegese. O meglio, tutto quello che sa sulla cultura norvegese si presume sia stato appreso per lo più da fonti inglesi… ChatGPT è chiaramente compatibile con i valori e le leggi americane. In molti casi questi sono vicini ai valori norvegesi ed europei, ma non è sempre così.

Pertanto, i sistemi di intelligenza artificiale potrebbero svilupparsi per far interagire con loro più persone multinazionali o utilizzare lingue e culture più diverse per addestrare tali sistemi. Attualmente molti modelli di intelligenza artificiale sono limitati a un’unica libreria; Potrebbe crescere se gli venissero date le chiavi delle biblioteche di tutto il mondo.

5. Le case editrici possono contribuire allo sviluppo dell'intelligenza artificiale.

La proprietà intellettuale è ovviamente un grosso problema, ma alcuni editori possono contribuire al progresso dell’intelligenza artificiale stipulando accordi di licenza. Ciò significa fornire agli strumenti dati di alta qualità, cioè affidabili, provenienti da libri piuttosto che informazioni di bassa qualità provenienti da fonti online.

Meta, proprietario di Facebook, Instagram e Whatsapp, avrebbe infatti preso in considerazione l'acquisto di Simon & Schuster, una delle case editrici “Big Five”. L'idea era quella di utilizzare la letteratura pubblicata dall'azienda per addestrare l'intelligenza artificiale di Meta. Alla fine l’accordo fallì, forse a causa della zona grigia etica della società che trattava gli IP senza previo consenso da parte degli autori.

Un'altra opzione che sembra essere presa in considerazione è l'acquisto di diritti di licenza individuali per i nuovi titoli. Ciò dovrebbe destare notevoli preoccupazioni tra i creatori, ma sarà comunque un modo interessante per sviluppare strumenti di intelligenza artificiale se dovessimo esaurire i dati utilizzabili.

6. I dati sintetici sono il futuro

Tutte le altre soluzioni sono ancora limitate, ma esiste un’opzione che potrebbe far prosperare l’intelligenza artificiale in futuro: i dati sintetici. La questione è già allo studio come una possibilità molto reale.

Allora, cosa sono i dati sintetici? Sono dati generati dall'intelligenza artificiale; Proprio come gli esseri umani creano dati, questo metodo vedrà l’intelligenza artificiale creare dati per scopi di formazione.

In effetti, l’intelligenza artificiale può creare video deepfake convincenti. Questo video deepfake può essere restituito all’intelligenza artificiale in modo che possa imparare da quello che è essenzialmente uno scenario immaginario. Dopotutto, questo è uno dei modi principali in cui gli esseri umani apprendono: leggiamo o guardiamo qualcosa per comprendere il mondo che ci circonda.

Probabilmente i sistemi di intelligenza artificiale hanno già consumato informazioni artificiali. I deepfake hanno diffuso informazioni fuorvianti e false online, quindi quando i sistemi di intelligenza artificiale scansionano i contenuti online, è ovvio che alcuni potrebbero essere stati esposti a contenuti falsi.

Sì, c'è un lato sinistro in tutto questo. Può anche danneggiare o limitare i sistemi di intelligenza artificiale, rafforzando e diffondendo gli errori commessi da tali strumenti. Le aziende stanno lavorando per eliminare il problema; Tuttavia, la frase "Le IA imparano le une dalle altre e commettono errori" è un elemento narrativo di molti scenari da incubo della fantascienza.

7. Fare un uso migliore dell’intelligenza artificiale

Gli strumenti di intelligenza artificiale sono un argomento controverso. Sebbene presentino molti aspetti negativi, i critici spesso ne trascurano i benefici. Ad esempio, la società di revisione e consulenza PwC [PDF] stima che l'IA potrebbe contribuire all'economia globale con un valore fino a 15.7 miliardi di dollari entro il 2030.

Inoltre, l’intelligenza artificiale è già utilizzata in tutto il mondo. Probabilmente l'hai usato oggi in una forma o nell'altra, forse senza nemmeno rendertene conto. Ora che il genio è uscito dalla bottiglia, la chiave è sicuramente addestrarlo su dati affidabili e di alta qualità in modo da poterlo sfruttare correttamente.

L’intelligenza artificiale ha i suoi pro e i suoi contro. C’è sicuramente un equilibrio da trovare.

Gli strumenti di intelligenza artificiale si trovano ad affrontare una sfida sempre maggiore a causa della mancanza di dati di addestramento disponibili, che minaccia di comprometterne il progresso e lo sviluppo. Per superare questa sfida si stanno adottando soluzioni innovative, come l'utilizzo di dati sintetici, lo sfruttamento dell'apprendimento non supervisionato e la promozione della collaborazione tra istituzioni per condividere i dati. Queste soluzioni contribuiscono a fornire nuove fonti di dati, garantendo che i modelli intelligenti continuino a essere migliorati e sviluppati in modo efficiente ed efficace.