ChatGPT: perché scrivere con questo strumento mi rende la vita più difficile

Ricordo quando è apparso ChatGPT Per la prima volta, la prima cosa che tutti hanno iniziato a dire è stata: "Il ruolo degli autori è finito". La gente ha iniziato a ipotizzare che i siti di notizie, i blog e praticamente tutti i contenuti scritti su Internet sarebbero stati generati dall'intelligenza artificiale. E anche se queste previsioni mi sembravano estreme, sono rimasto colpito dal testo che GPT era in grado di produrre.

Naturalmente ho dovuto provare personalmente questo nuovo, straordinario strumento, ma ho presto scoperto che i risultati non erano così impressionanti come sembravano. Più di due anni dopo, per quanto riguarda la mia esperienza e i miei casi d'uso, nulla è cambiato: ogni volta che uso ChatGPT per aiutarmi con la scrittura, non fa altro che rallentarmi e frustrarmi. Infatti, ho scoperto che l'uso di strumenti come ChatGPT nella scrittura professionale spesso produce risultati scadenti, soprattutto in termini di accuratezza e stile.

Perché ChatGPT non funziona per me?

ChatGPT può generare contenuti davvero validi. Può produrre un linguaggio naturale, coerente e perfino intelligente e interessante. Ma la maggior parte degli esempi principali che si vedono provengono da prompt molto semplici, del tipo "scrivi una poesia sullo shopping da Walmart ma nello stile di William Shakespeare" che tutti facevano nel 2023. Tuttavia, quando si tratta di attività complesse o requisiti specifici, ChatGPT mostra spesso dei limiti nella comprensione del contesto e nella fornitura di risposte accurate e pertinenti. Questa lacuna lo rende inefficace negli scenari che richiedono analisi approfondite o creatività specializzata.

Mi dispiace, ma non posso essere cinico nei confronti di una tecnologia che può raggiungere questo risultato. foto.twitter.com/yjlY72eZ0m

— Thomas H. Ptacek (@tqbf) Dicembre 2, 2022

Quando ordini qualcosa di questo tipo, uno dei motivi per cui il risultato è eccezionale è il fatto che sia inaspettato. Fondamentalmente gli stai chiedendo di farti una sorpresa e, nella maggior parte dei casi, ci riuscirà.

Se invece si prova a usare ChatGPT per i noiosi lavori di scrittura, la storia è completamente diversa. Innanzitutto, per articoli come questo, è inutile. Tutto ciò che scrivo ora si basa sulle mie esperienze e opinioni personali: l'intelligenza artificiale non può scriverlo per me. Qualcuno potrebbe sostenere che può aiutare a pianificare, fare brainstorming o migliorare le argomentazioni, ma in ogni caso non ho mai voluto aiuto per questo genere di cose.

Il tipo di lavoro per cui ho effettivamente provato a usare ChatGPT sono i blog aziendali. Conoscete il genere: post esplicativi, tutorial e di raccomandazione che trattano argomenti correlati all'azienda e ai suoi prodotti (con anche una sottile autopromozione). Quando si scrive questo genere di cose, spesso vengono forniti molti requisiti: una guida di stile per la lingua e la grammatica, parole chiave da includere, fonti da includere, fonti da evitare e una scaletta del contenuto con titoli, struttura e punti principali già decisi.

Se voglio una copia utilizzabile, non posso semplicemente fornire a GPT un prompt di una sola riga e lasciarlo andare liberamente. Quindi ho provato una struttura come questa:

• Un prompt iniziale di "contesto" che spiega cosa stavo scrivendo e il genere di cose che avrei chiesto, insieme a un paragrafo di esempio per mostrare lo stile linguistico che desideravo.
• I prompt successivi con "schemi dei contenuti" fornivano uno o due titoli insieme a punti elenco su cosa trattare.

Non chiederei mai troppo in una volta e, poiché non mi fidavo che aggiungesse statistiche e fonti, lasciavo tutto da parte con l'intenzione di farlo io stesso in seguito.

Ma per quanto cercassi di suddividere il lavoro in piccole parti e di dare istruzioni molto chiare, mi imbattevo sempre negli stessi problemi:

1. ChatGPT terribile Nell'ascolto delle istruzioni.
2. Ha la cattiva abitudine di portare le cose all'estremo.
3. Spesso nel testo trapelano informazioni errate o irrilevanti.
4. Il suo "stile di scrittura" diventa molto rapidamente ripetitivo e scontato.
5. Quando si verifica uno qualsiasi dei problemi sopra descritti, è quasi impossibile ottenere che un modello linguistico di grandi dimensioni (LLM) possa esaminare o correggere correttamente il proprio output.

Lascia che ti mostri cosa intendo.

1. La debolezza di ChatGPT nel comprendere le istruzioni dettagliate

Per ottenere risultati accurati e specifici da ChatGPT, diventa necessario fornire istruzioni chiare e dettagliate. Sembra però che più requisiti ci sono, più è probabile che il modello ne ignori alcuni. Ad esempio, i prompt potrebbero includere titoli, punti elenco, il numero di parole richieste, istruzioni di formattazione e la necessità del chatbot di ricordare le istruzioni di stile dall'inizio della sessione. Ho provato molti modi diversi per semplificare le cose, ma ho sempre avuto la sensazione che ChatGPT non sia in grado di gestire così tante istruzioni.

In particolare, ho avuto frequenti difficoltà con il conteggio delle parole e con gli elenchi puntati. Il modello linguistico di grandi dimensioni (LLM) raramente mi ha fornito il numero di parole da me richiesto (di solito molto meno di quanto richiesto) e non mi ha mai chiesto se desideravo o meno elementi puntuali.

A volte questo problema può essere risolto, ad esempio se hai chiesto 200 parole con punti elenco ma hai ricevuto 300 parole senza punti elenco. È relativamente facile eliminare alcune parole e aggiungere alcuni punti elenco. Purtroppo ho sempre avuto la sensazione di avere i bug più difficili da risolvere.

Quando ordini 500 parole senza punti elenco e ne ricevi 200 con punti elenco, in pratica devi fare la maggior parte del lavoro da solo. Ciò richiede un refactoring esteso e uno sforzo notevole, il che riduce l'efficacia dell'utilizzo di ChatGPT in questi casi.

2. Tendenza ad esagerare: un problema con ChatGPT

Quando chiedi a ChatGPT qualcosa di specifico, come usare un linguaggio amichevole o la seconda persona, il programma tende ad aggrapparsi a questi concetti e ad abusarne in modo evidente. Questa esagerazione è considerata una delle più evidenti Svantaggi di ChatGPT.

Il linguaggio amichevole si trasforma in una vera e propria chat di testo con emoji, e la modalità in seconda persona in qualche modo si trasforma in domande e riferimenti eccessivi al lettore con l'obiettivo di utilizzare il pronome "tu" il più possibile. Questo è uno dei Sfide ChatGPT Nella comprensione del contesto.

Anche se si desidera un gran numero di esempi o citazioni, si incontrano difficoltà. Se chiedi semplicemente a GPT "molto" o "molto" di qualcosa, probabilmente ti darà il doppio o il triplo della quantità che desideri. Se gli dai un numero specifico, probabilmente lo ignorerà del tutto e ti darà qualcosa di casuale. In altre parole, è difficile controllare l'output. Questo problema nel controllo dell'output è considerato Debolezza di ChatGPT Bisogna affrontarlo.

3. Spesso nel testo si insinuano informazioni errate o irrilevanti.

Sappiamo tutti che l'intelligenza artificiale a volte ha delle "allucinazioni" e a volte sbaglia casualmente i fatti: questo accade abbastanza spesso da costringerci a ricontrollare tutto ciò che dice, il che richiede molto tempo e influisce sulla quantità di tempo che possiamo risparmiare utilizzandola. Le “allucinazioni dell’intelligenza artificiale” rappresentano una delle maggiori sfide legate al suo utilizzo nella scrittura di contenuti.

Per contrastare questo problema, non ho chiesto principalmente fatti o cifre. All'inizio ci ho provato un paio di volte, ma il processo di verifica dei fatti era davvero noioso e ben presto non me ne sono più preoccupato.

Il problema è che GPT inserirà informazioni casuali e imprecise nelle sue risposte, indipendentemente dal fatto che si richiedano o meno dati e cifre. Ciò significa che non puoi limitarti a controllare quanto è scorrevole il testo o se sei soddisfatto dei punti che stai cercando di esprimere: devi controllare e considerare tutto ciò che dici. È molto fastidioso. La convalida è una parte fondamentale del processo di utilizzo dei grandi modelli linguistici (LLM).

Dal momento che sto parlando di errori e allucinazioni, potrei anche menzionare gli "scenari peggiori". A volte un modello linguistico di grandi dimensioni (LLM) esce dal binario giusto e, sebbene ciò non accada sempre, quando succede è necessario abbandonare la sessione e dedicare un po' di tempo a incollare i prompt in una nuova chat e ricominciare da capo. Personalmente non ho mai visto ChatGPT impazzire in modo particolarmente divertente, ma una volta un mio amico ha ricevuto questa perla:

4. Stile di scrittura di ChatGPT: ripetitivo e pieno di cliché

A prima vista, potrebbe sembrare assurdo quanto "umano" sia ChatGPT. Ma man mano che lo utilizzerai, ti renderai conto che non ha solo l'aspetto di un essere umano, ma di una "persona normale".

I set di dati di OpenAI includono la maggior parte dei contenuti di Internet: milioni di articoli e forum personali su Reddit. Mi dispiace dirlo, ma molti di questi contenuti sono solo spazzatura. Ma poiché ChatGPT è stato addestrato su questo, riesce a individuare tutte le cattive abitudini più comuni.

Quindi, quando generi molto testo con ChatGPT, inizierai a notare che alcune strutture di frasi e frasi diventano altamente ripetitive. Per me, i due peggiori esempi sono state le seguenti due strutture di frasi:

• “Da A e B a C e D, ecc. ecc. ecc.” (esempio: Nel mondo di TikTok c'è posto per tutti: dagli appassionati del fai da te agli esperti di bellezza, dagli amanti degli animali agli insegnanti.)
• "Che tu sia A o B, ecc. ecc. ecc." (esempio: Che tu stia appena iniziando o che tu voglia fare un salto di qualità, adottare strategie intelligenti per creare un coinvolgimento reale è fondamentale per distinguersi.)

ChatGPT ama così tanto queste due strutture di frasi che ero quasi certo di impararne tre o quattro in ogni sessione. Anche questi due esempi provengono dallo stesso paragrafo di una delle sue risposte. L'espressione "nel mondo di..." nel primo esempio è un altro modo in cui gli piace iniziare una frase. Tutto questo è noioso, scontato e ridicolmente abusato (che è, ovviamente, il motivo principale per cui ChatGPT li crea così spesso). Ho anche provato a vietare esplicitamente alcune frasi e tipologie di frasi, iniziando ogni prompt con questo piccolo elenco:

Si dice che al giorno d'oggi sia quasi impossibile distinguere un testo generato dall'intelligenza artificiale da uno scritto da un essere umano, ma io non sono d'accordo. Se provi a utilizzare personalmente questi strumenti di intelligenza artificiale e sperimenti tutti i problemi e le cattive abitudini, riconoscerai molti segnali rivelatori. Quando le persone mescolano contenuti di intelligenza artificiale con materiale scritto da esseri umani e modificano pesantemente la maggior parte dell'output di ChatGPT, è possibile nasconderlo completamente. Ma i contenuti che provengono direttamente dal modello linguistico e sono stati pubblicati praticamente così com'è, si vedono. Lo puoi scoprire molto facilmente.

5. Difficoltà nel debuggare o modificare correttamente l'output di modelli linguistici di grandi dimensioni (LLM).

La vera sfida è che ChatGPT difficilmente riesce a risolvere i problemi da solo. Quando le cose vanno male, i tentativi di spiegare il problema e di richiedere revisioni ripetute spesso falliscono.

Ad esempio, quando si chiede di modificare il numero di parole, spesso si ottiene lo stesso numero. Quando si chiede di rimuovere i punti, si sottolinea l'implementazione e poi si offre un "più". Quando si chiede di modificare il tono o lo stile, è difficile implementare la modifica in modo completo, con il risultato di un mix incoerente.

La soluzione potrebbe essere quella di ripetere le richieste e rigenerare le risposte ChatGPT fino a raggiungere approssimativamente il risultato desiderato. Ma per gli scrittori, usare ChatGPT li obbliga ad assumere il ruolo di editor.

Questo potrebbe non rappresentare un problema per tutti (molti scrittori svolgono attività di editing come parte del loro lavoro), ma per altri può dare fastidio. L'idea di modificare il lavoro di altre persone o l'output GPT non è auspicabile.

Per quanto riguarda la frequenza degli errori, in ogni sessione che dura ore e prevede più di 30 prompt, c'è sempre la possibilità di incontrare qualche ostacolo.

Risultato: ho rinunciato.

Ho passato mesi a cercare di imparare a usare ChatGPT nel 2023 e ci sono tornato dopo importanti aggiornamenti nei due anni successivi, ma la mia esperienza non è mai cambiata. Sono stati sperimentati anche altri modelli linguistici di grandi dimensioni (LLM), ma anche i modelli più recenti che utilizzano l'"inferenza" e innescano un monologo interiore prima della risposta soffrono degli stessi problemi di usabilità.

Modelli LLM attuali Per me non velocizza il processo di scrittura, mi costringe solo a dedicare tempo a ciò che odio, anziché a ciò che mi piace. Se odi scrivere e non vuoi mai farlo, ChatGPT può sicuramente aiutarti. Ma se per te scrivere è un hobby o il modo in cui scegli di vivere, probabilmente ti farà impazzire.

In definitiva, non ho mai pubblicato nulla che si possa definire "generato dall'intelligenza artificiale". Ogni volta che ho provato, come si dice, a "integrarlo nel mio flusso di lavoro", ho finito per sbattere la testa contro il muro, sprecando un sacco di tempo e poi chiudendo il programma quando mi sono reso conto di non aver realizzato nulla e che la scadenza era dietro l'angolo.