Una mia amica ha il cancro: si è consultata con ChatGPT per un consulto medico, e la cosa mi ha profondamente colpito.

Ho scritto questo articolo intorno alle 3 del mattino, seduto nella hall di una clinica mentre il mio amico parlava con l'oncologo nella stanza dietro di me. L'aria era densa dell'odore di medicinali, ovviamente, e l'atmosfera era pervasa da un inconfondibile sentore di tristezza, che mi faceva venire voglia di andarmene il prima possibile. Ma il sentimento predominante che mi attanagliava era una rabbia intensa.

Solo un'ora fa ho ricevuto una chiamata dalla mia amica di 24 anni, che si lamentava di un forte mal di testa e dolori allo stomaco. Attualmente è in cura per un tumore al seno e, avendola accompagnata in questo difficile percorso negli ultimi due anni, mi sono precipitata a casa sua, sperando che non fosse nulla di grave. Senza fare troppe domande, ho trovato l'ospedale più vicino e l'ho portata a fare un controllo.

Mentre andavamo in ospedale, le ho chiesto quando era iniziato il dolore e se avesse avvertito altri sintomi preoccupanti. La sua risposta mi ha sconvolto a tal punto che avrei voluto prenderle il telefono e distruggerlo. "Dopo essere tornata a casa dal lavoro, mi sono sentita un po' stordita e ho avuto la sensazione che qualcosa non andasse nello stomaco. Così ho chiesto a ChatGPT se potevo prendere degli antidolorifici e, poche ore dopo averli presi, il mal di stomaco è peggiorato con una sensazione di bruciore. Ho anche vomitato diverse volte."

Chi è responsabile di agire in modo responsabile?

Le sue confessioni mi hanno sconvolto, e il tono disinvolto con cui ha descritto le sue interazioni con ChatGPT è stato ancora più inquietante. Ma questo spiacevole incidente ha così tante sfaccettature che ho deciso di vietare l'uso dell'IA ai miei cari, soprattutto quando si tratta di conversazioni su salute e benessere. Essendo una persona molto sensibile ai farmaci e sottoposta a cure oncologiche, ricevere domande da un'IA sull'assunzione di medicinali era l'ultima cosa che una persona sana di mente si aspetterebbe.

Non so esattamente chi sia il responsabile di questa avventura rischiosa e potenzialmente letale. Ha semplicemente scattato una foto di un antidolorifico, l'ha caricata su ChatGPT e ha chiesto se poteva prenderne due contemporaneamente. Il suo medico le aveva consigliato di prenderne solo uno alla volta, anche in caso di dolore insopportabile. ChatGPT le ha risposto che avrebbe dovuto prendere un solo antidolorifico e che prenderne due contemporaneamente era consentito solo su consiglio del medico.

Quando le ho chiesto perché avesse fatto ricorso a un bot basato sull'intelligenza artificiale, mi ha risposto che ChatGPT era "più facile da usare per ottenere risposte. Non so nemmeno cosa sia vero online". Per una persona che ha dovuto abbandonare gli studi dopo il liceo e mantenere la famiglia con lavoretti saltuari, capivo la sua situazione. Non potevo certo farle la predica sull'alfabetizzazione digitale e sulla verifica delle informazioni. Ci sono stati molti passi falsi in quella conversazione, e la colpa è di entrambi.

Ed è qui che inizia il problema. La mia amica non è di madrelingua hindi e, quando ho tradotto la sua domanda in hindi, si è trasformato in un disastro grammaticale a causa di una sola parola. Voleva chiedere se poteva prendere due pillole del medicinale mostrato nell'immagine. Ma la sua traduzione approssimativa ha fatto sembrare che stesse chiedendo a ChatGPT se poteva prendere "entrambe le pillole".

Qui, ChatGPT ha inciampato di nuovo. L'immagine mostrava una pillola di cui era visibile solo la composizione chimica: diclofenac e serraptiopeptidasi. Il nome del farmaco era visibile solo parzialmente. Nonostante ciò, il bot basato sull'intelligenza artificiale ha identificato correttamente l'analgesico come "qualcosa di simile a Cipzen-D". Ma prima, aveva anche menzionato un altro farmaco, Fenak Plus, la cui composizione chimica è diclofenac e paracetamolo, di cui aveva già parlato in un'altra conversazione.

Si tratta di una formulazione completamente diversa, sebbene entrambe siano facilmente reperibili come antidolorifici da banco e (cosa preoccupante) acquistabili senza prescrizione medica nelle farmacie locali. Quindi, in definitiva, abbiamo un errore umano (nella traduzione) e due errori da parte di ChatGPT perché si è basato anche sulla sua memoria. Il consiglio, tuttavia, era corretto.

Il bot di intelligenza artificiale di OpenAI ha chiaramente avvertito che assumere entrambi i farmaci contemporaneamente non è una buona idea, aggiungendo che potrebbe portare a un sovradosaggio di diclofenac. Il bot ha anche descritto i potenziali effetti collaterali, tra cui bruciore di stomaco, problemi legati all'ulcera, sanguinamento ed effetti negativi a lungo termine sui reni.

È importante notare che l'immagine fornita a ChatGPT mostrava un solo antidolorifico. Il modello raccomandava di assumerne solo uno alla volta, non entrambi contemporaneamente. Tuttavia, la mia amica, ricordando che entrambi i farmaci le erano stati prescritti in precedenza dai medici (anche se non insieme), li ha presi entrambi per alleviare rapidamente il dolore, e ben presto ha subito gravi conseguenze.

Il medico si è infuriato, e a ragione, quando la mia amica gli ha spiegato perché aveva preso due pillole contemporaneamente, rimproverandola per non aver consultato un professionista sanitario. A ciò ha fatto seguito un'iniezione per alleviare il dolore e una nuova prescrizione di antidolorifici che non avrebbero danneggiato il suo fragile organismo.

In qualità di giornalista specializzata in tecnologia, che ha scritto sui pericoli delle interazioni con l'intelligenza artificiale in ambiti delicati, in particolare salute e benessere, mi sono sentita in colpa. Mi sono sentita come se non avessi mai parlato con la mia amica dei rischi dei robot dotati di intelligenza artificiale. L'ho avvertita di questi pericoli solo dopo lo spaventoso incidente.

Quando ha ammesso di aver utilizzato ChatGPT per chiedere consigli medici in numerose occasioni in passato, ha preso il telefono e ha disinstallato l'app. Cosa ancora più importante, le ha raccomandato di non utilizzare altri chatbot basati sull'intelligenza artificiale, come Gemini o Claude, per chiedere consigli medici, né tantomeno l'intera internet. L'unico modo corretto è parlare con un medico o recarsi in una clinica.

Il problema della percezione

Non la biasimo completamente per quello che è successo . Considerando quanto ChatGPT si sia radicato nelle abitudini digitali quotidiane delle masse, quasi come un "genio onnisciente", è difficile darle torto. Le persone lo vedono come un motore di ricerca di risposte più comodo (e onesto) rispetto alla fatica di cercare risposte su Google, cliccare sui link blu e scorrere numerose pagine web.

E a dire il vero, non hanno torto. Ottenere risposte dirette da un bot basato sull'intelligenza artificiale come ChatGPT, in linguaggio naturale e in pochi secondi, è molto più comodo che navigare nel labirinto dei link di Ricerca Google. Google è anche consapevole del cambiamento nel comportamento degli utenti, il che spiega la spinta verso l'intelligenza artificiale conversazionale nella ricerca. Potrebbe interessarti leggere la mia esperienza con ChatGPT, che ho sostituito con Ricerca Google.

Ancora oggi, le risposte conversazionali di Gemini si posizionano costantemente ai primi posti nei risultati di ricerca standard. Il concetto alla base è semplice: fornire agli utenti risposte concise tratte dalle fonti contrassegnate dal link blu di Google Ricerca, prima che possano approfondire l'argomento esplorando diverse fonti in varie schede. Per maggiori informazioni, puoi leggere il nostro confronto completo tra ChatGPT e Gemini.

Va riconosciuto a ChatGPT (o alla maggior parte dei modelli di intelligenza artificiale più avanzati) di essere estremamente cauto quando qualcuno chiede consigli su salute e benessere. Nella stragrande maggioranza di queste risposte, i bot basati sull'IA indirizzano l'utente a consultare un professionista sanitario qualificato o a contattare il servizio di assistenza appropriato. D'altra parte, è proprio il modo in cui questi chatbot si sono affermati nel dibattito pubblico come fonte di conoscenza rapida e affidabile a renderli così inquietanti.

Qualche giorno fa, stavo guardando un acceso dibattito su un importante canale di notizie. Durante questo intenso scambio, un partecipante ha sfidato il suo interlocutore a verificare i fatti consultando ChatGPT. In quel momento, ho capito che ChatGPT veniva considerato l'equivalente moderno delle ricerche enciclopediche, su una piattaforma che influenza milioni di persone nel secondo mercato mondiale dei chatbot basati sull'intelligenza artificiale.

Perdita nella traduzione

Gli Stati Uniti sono leader mondiali nell'adozione dell'intelligenza artificiale, ma presentano anche il più alto livello di consapevolezza sui rischi derivanti dall'utilizzo di chatbot basati sull'IA. Al contrario, in India l'alfabetizzazione digitale (e la consapevolezza dell'IA) è molto più bassa, e di conseguenza il potenziale di rischio è molto più elevato. Il rischio è ulteriormente aggravato dal fatto che centinaia di migliaia di persone utilizzano ChatGPT e altri agenti basati sull'IA nella loro lingua madre, l'hindi. Questo è uno dei motivi principali di quanto accaduto di recente al mio amico: il problema della lingua di ChatGPT.

In uno studio di ricerca pubblicato all'inizio di quest'anno, il MIT Center for Constructive Communication ha rilevato che l'accuratezza delle risposte fornite dai chatbot basati sull'intelligenza artificiale è inferiore quando gli utenti interagiscono in una lingua diversa dall'inglese. Anche il benchmark SAHARA , pubblicato lo scorso dicembre, ha evidenziato una variazione simile nel comportamento dei chatbot basati sull'IA quando gli utenti parlano una lingua diversa dall'inglese. L'Economist ha inoltre segnalato diversi articoli di ricerca che hanno rivelato il problema linguistico nei Large Language Models (LLM).

La barriera linguistica aumenta il livello di rischio.

Ma la traduzione non è l'unico problema. Healthwatch England, un'organizzazione indipendente che si batte per i diritti dei consumatori e dei pazienti all'interno del sistema sanitario pubblico del Regno Unito, ha messo in guardia sui pericoli degli strumenti di trascrizione basati sull'intelligenza artificiale utilizzati da medici e operatori sanitari. Ecco un estratto preoccupante del loro rapporto:

"In un caso allarmante, uno strumento basato sull'intelligenza artificiale ha analizzato il referto di una risonanza magnetica e ha documentato la presenza di demielinizzazione nel paziente, una grave condizione neurologica associata alla sclerosi multipla. Tuttavia, la risonanza magnetica ha in realtà evidenziato una 'demielinizzazione nulla', ovvero l'assenza del problema."

Si tratta di una lacuna evidente che i principali modelli linguistici devono affrontare, ma qui c'è un problema ben più grande. I chatbot basati sull'intelligenza artificiale devono migliorare le proprie prestazioni nella gestione di argomenti delicati. Piattaforme come ChatGPT hanno implementato il controllo parentale e spesso incoraggiano gli utenti a chiedere aiuto, fornendo anche numeri di telefono di assistenza e risorse affidabili. Inoltre, viene visualizzato un avviso che specifica che ChatGPT non è un medico, o qualcosa di simile.

Ma questi avvisi dovrebbero comparire proprio all'inizio di tutte queste conversazioni, non nascosti tra le prime frasi, dove la maggior parte degli utenti trova le risposte e non si prende la briga di leggere oltre. È molto meglio vedere un banner ben visibile in alto, e questo protocollo dovrebbe essere integrato nel comportamento principale del modello di intelligenza artificiale.

In secondo luogo, abbiamo bisogno di sensibilizzazione. Molta sensibilizzazione. Le aziende di intelligenza artificiale sono impegnate a mostrare come i loro modelli linguistici su larga scala (LLM) risolvano complessi problemi matematici, superino le prestazioni umane alle Olimpiadi e contribuiscano a raggiungere scoperte mediche rivoluzionarie. Ma tutto ciò avviene sotto la supervisione di esperti. Per la persona media, che vede ChatGPT come una fonte di informazioni e conversazioni rapide, avvertimenti e disclaimer dovrebbero essere una priorità.

OpenAI potrebbe essere cauta, ma la percezione pubblica di ChatGPT si sta evolvendo a un ritmo pericolosamente rapido.

Molti utenti lo considerano un nuovo tipo di motore di conoscenza, in grado di interagire quasi come un essere umano reale. Esistono numerosi casi in cui i robot basati sull'IA offrono consigli sanitari pericolosi e potenzialmente dannosi, e persino nel 2026 la ricerca continua a evidenziare il loro comportamento rischioso su argomenti delicati. Spero solo che OpenAI, e tutti gli altri sviluppatori di IA, riflettano seriamente su questo problema e prendano provvedimenti adeguati.