“Chi controlla il passato controlla il futuro. Chi controlla il presente controlla il passato.”
Non avevo mai dato il giusto peso a questa frase. Lo stesso Orwell mi era molto più familiare per “La fattoria degli animali” titolo che a un ragazzo delle elementari suscitava filastrocche e reminiscenze di vita bucolica, piuttosto che metafore e distopie.
“1984” arrivò un po’ dopo grazie al mitico spot di Apple diretto da Ridley Scott, al film, non particolarmente riuscito e a vari omaggi musicali più o meno attinenti al libro, su tutti un’omonima canzone degli eurythmics colonna sonora del film di cui sopra che calzava a pennello al clima angosciante e distopico descritto dal libro.
Quell’anno l’ho sicuramente letto per la prima volta, ma quella frase così rivelatrice mi sarebbe passata abbastanza sotto traccia anche in riletture varie.
E’ stato soltanto con il canto del cigno dei Rage Against the Machine, nel pezzo “Testify“, dove la frase in questione viene urlata più volte, che complice anche la potenza del pezzo, mi riecheggia ogni volta che scrivo un prompt pensando alle implicazioni.
Chiedere le cose a un qualsiasi tool di AI ha silenziosamente sostituito le prime 10 righe di Google, ma un conto sono i suggerimenti sponsorizzati, che veicolano scelte e giudizi in maniera più o meno forte, ma che ti portano ad effettuare in maniera quasi immediata un ulteriore filtro sui risultati proposti, un conto è avere un feedback discorsivo, esplicativo e di senso compiuto che influenza in maniera pesante il giudizio di chi stava cercando una risposta su un determinato argomento.
E qui il fenomeno delle allucinazioni assume una grande importanza.
Non si è ancora spento l’eco del “pasticciaccio brutto” di via Guidoni: senza scendere nel linguaggio da azzeccagarbugli in pratica uno studio legale ha basato parte della sua difesa su sentenze completamente inventate da Chatgpt.
Il difensore della società costituita ha dichiarato che i riferimenti giurisprudenziali citati nell’atto sono stati il frutto della ricerca effettuata da una collaboratrice di studio mediante Chat GPT, del cui utilizzo il patrocinatore in mandato (leggi avvocato incaricato) non era a conoscenza.
Vabbè niente di nuovo, se non è il cugino hacker è il cugino Vincenzo. In seguito hanno chiesto lo stralcio dei riferimenti, perchè c’è ne era un’altro bel po’ che invece erano veri.
A questo punto però la controparte ha evidenziato che i fatti precedentemente presentati avrebbero comunque influenzato il collegio giudicante, e quindi ha chiesto la condanna anche per l’atto in sé.
Niente di nuovo sotto il sole , stavolta però invece del solito copia e incolla del praticante sbadato a cui hanno attaccato il cartello “kick me“ sulla schiena, il fatto che nell’equazione sia entrata l’AI ha scetenato un puteferio mediatico e John Grisham ci scriverà almeno una decina di libri.
Per tutti coloro che vogliono evitare di essere additati e calunniati alle spalle ogni volta che utilizzano l’AI alla leggera la soluzione arriva dagli Stati Uniti dove, visto il trend del momento, l’avvocato colto in castagna ha addotto delle scuse del tipo “volevo vedere se stavate attenti”. Genio assoluto.
Stati di allucinazione
Le allucinazioni rappresentano uno dei paradossi più interessanti degli attuali sistemi di IA: proprio mentre questi modelli diventano più sofisticati e convincenti nella loro capacità di generare contenuti che sembrano umani, aumenta anche il rischio che producano informazioni non veritiere con un’apparenza di autorevolezza. Questo fenomeno è particolarmente evidente nei modelli linguistici di grandi dimensioni (LLM) come GPT-4, Claude, Bard e altri sistemi generativi che hanno rivoluzionato l’interazione uomo-macchina.
A differenza degli errori di calcolo tradizionali o dei bug software, le allucinazioni dell’IA sono uniche perché spesso non sembrano errori a prima vista. Il contenuto generato può essere coerente, ben strutturato e presentato con la stessa sicurezza delle informazioni accurate. Questa caratteristica rende le allucinazioni particolarmente insidiose in contesti dove l’accuratezza è cruciale: ricerca accademica, giornalismo, consulenza legale, diagnosi mediche e comunicazioni finanziarie.
Le allucinazioni dell’IA non hanno niente a che fare con le sostanze stupefacenti, almeno non direttamente, né ci sono prove che abbiano fatto regredire persone a livello primordiale, come succede al protagonista del bellissimo film con William Hurt. Dal punto di vista tecnico, questo fenomeno deriva dal modo stesso in cui i modelli generativi apprendono e operano. Gli LLM come GPT-4, Claude e Bard sono addestrati su vasti “corpora” di testo per identificare pattern statistici nel linguaggio.
Questi modelli non “comprendono” il significato nel senso umano; piuttosto, apprendono correlazioni probabilistiche tra parole e frasi. Quando generano testo, stanno essenzialmente predicendo la sequenza più probabile di parole basata sui pattern appresi, non basandosi su una rappresentazione fattuale del mondo. I modelli linguistici di grandi dimensioni operano senza un vero e proprio “modello del mondo” o una base di conoscenza verificata.
A differenza dei database tradizionali che memorizzano fatti discreti, gli LLM codificano informazioni in miliardi di parametri distribuiti che rappresentano relazioni statistiche tra concetti. Questa architettura offre una straordinaria flessibilità ma comporta anche vulnerabilità significative:
- Carenza di radicamento fattuale: Gli LLM non distinguono automaticamente tra fatti e finzione nei loro dati di addestramento. Un romanzo di fantascienza e un libro di storia hanno lo stesso “peso” nel modello probabilistico sottostante.
- Confabulazione confidenziale: I modelli sono progettati per generare output coerenti e completi anche quando le loro “conoscenze” su un argomento sono limitate o inesistenti. Questa tendenza porta alla generazione di dettagli inventati per colmare le lacune.
- Sovrageneralizzazione: Gli LLM possono erroneamente applicare pattern appresi in un contesto a situazioni dove tali pattern non sono appropriati, portando a conclusioni non corrette.
- Sensibilità al contesto limitata: Sebbene i moderni LLM possano processare contesti ampi, hanno comunque difficoltà a mantenere la coerenza fattuale su scale più ampie, a volte contraddicendosi tra diverse parti della stessa risposta.
Diverse sono le cause che procurano allucinazioni all’AI:
- Bias nei dati di addestramento: Se alcune informazioni sono sovrarappresentate o sottorappresentate nei dati di addestramento, il modello può sviluppare tendenze a generare certi tipi di contenuti non accurati, il famoso caso per cui le agenzie di recruiting che usavano l’ai tendevano ad assumere solo uomini caucasici.
- Ottimizzazione per la fluidità: I modelli sono spesso ottimizzati per produrre risposte fluide e naturali, il che può entrare in conflitto con l’accuratezza quando il modello non è certo di un’informazione.
- Decodifica probabilistica: Durante la generazione di testo, i modelli selezionano parole basate sulle distribuzioni di probabilità. Questo può talvolta portare a percorsi generativi che si allontanano dalla verità, specialmente su argomenti molto controversi.
- Limiti della conoscenza interna: Nessun modello, indipendentemente dalla sua dimensione, può contenere tutte le informazioni possibili. Quando interrogati su argomenti al di fuori della loro base di conoscenza, i modelli tendono ad allucinare, come se fossero dei Conte Mascetti qualsiasi .
- Feedback di rinforzo problematico: Se i modelli vengono addestrati per massimizzare l’approvazione umana attraverso tecniche come RLHF (Reinforcement Learning from Human Feedback), potrebbero sviluppare tendenze a fornire risposte che sembrano autorevoli anche quando non sono sicuri della loro accuratezza.
Chiaramente il manleva che appare ogni volta che si usa un intelligenza artificiale che ci avvisa che anche lei può sbagliare ha la stessa dignità dei warning su cookies.
Le allucinazioni più gravi della storia dell’AI
Numerosi episodi hanno dimostrato come queste “invenzioni” dell’intelligenza artificiale possano avere conseguenze concrete e talvolta gravi quando si manifestano in contesti pubblici. Questi incidenti hanno sollevato interrogativi sulla prontezza della società ad integrare sistemi di IA in aree sensibili senza adeguati meccanismi di verifica.
Vediamone alcuni tra i più eclatanti.
Nel 2023 a New York hanno utilizzato ChatGPT per redigere una memoria legale, solo per scoprire successivamente che l’IA aveva inventato completamente precedenti legali e citazioni di sentenze inesistenti. Il giudice ha imposto sanzioni agli avvocati per non aver verificato le informazioni, sottolineando come la responsabilità professionale non possa essere delegata all’intelligenza artificiale. Da Suits a Shameless solo andata.
I media, già alle prese con le fake news, hanno scoperto quanto possa essere insidiosa l’integrazione dell’IA nel processo giornalistico. Nel 2023, diversi casi hanno evidenziato i rischi:
CNET, sito di tecnologia un po’ snobbato dalle nostre parti, ha dovuto rivedere e correggere decine di articoli generati da IA dopo la scoperta di errori significativi nei contenuti riguardanti consigli finanziari. Alcuni articoli contenevano calcoli errati di interessi composti e spiegazioni fuorvianti di concetti bancari di base che avrebbero potuto portare i lettori a prendere decisioni finanziarie dannose.
Per non parlare di un giornale regionale australiano che ha pubblicato interviste parzialmente generate dall’IA che contenevano citazioni mai pronunciate da funzionari pubblici, incluso un sindaco locale. La fiducia dei lettori è stata gravemente compromessa quando è emerso che le dichiarazioni politiche attribuite al sindaco erano completamente fabbricate, dilettanti…
Infine Bloomberg che ha dovuto emettere una rapida correzione dopo che un articolo generato dall’IA conteneva informazioni errate su decisioni sui tassi di interesse che hanno brevemente influenzato i mercati finanziari, dimostrando come le allucinazioni possano avere ripercussioni economiche dirette, naturalmente le dichiarazioni di alcuni capi di stato hanno poi portato il gioco a un nuovo livello, chissà se anche per loro si può parlare di allucinazioni.
Anche il mondo accademico, nonostante la sua enfasi sul rigore e sulla verifica, non è immune alle insidie dell’allucinazione dell’IA. Meta ha dovuto ritirare rapidamente il suo modello Galactica nel 2022 dopo che ricercatori hanno dimostrato come il sistema generasse articoli scientifici apparentemente autorevoli ma contenenti metodologie inventate, risultati fabbricati e citazioni di studi inesistenti.
La comunità scientifica ha anche documentato casi preoccupanti di studenti e persino ricercatori che hanno utilizzato contenuti generati dall’IA contenenti riferimenti fittizi nei loro lavori accademici. Alcune università hanno scoperto tesi con intere sezioni di letteratura scientifica completamente allucinata, con i sistemi di rilevamento del plagio incapaci di identificare questi contenuti come non originali poiché tecnicamente “originali” (sebbene falsi). Un bel paradosso beccare chi copia ma non chi inventa.
Nel settore aziendale, le allucinazioni dell’IA hanno causato danni reputazionali e finanziari. L’esempio più eclatante è probabilmente quello di Google, che durante la presentazione del suo chatbot Bard ha perso circa 100 miliardi di dollari in valore di mercato quando l’IA ha commesso un errore su una scoperta astronomica durante una dimostrazione pubblica.
Samsung invece ha affrontato una crisi di sicurezza quando dipendenti hanno caricato codice proprietario su ChatGPT per ricevere assistenza nella programmazione, solo per scoprire che l’IA aveva successivamente incorporato frammenti di questo codice riservato nelle risposte ad altri utenti, potenzialmente compromettendo proprietà intellettuale di valore, anche qui niente di nuovo, anni fa mi ritrovai in un’azienda che per cercare soluzione a un problema aveva pubblicato le credenziali del database su stack overflow, un errore che gli costò mesi di mal di pancia e migliaia di euro.
Conclusioni
Cambiano le modalità ma la componente umana ci mette sempre il carico da 90.
Però è proprio la componente umana che risolverà la questione, garantendo un sistema di controllo istituzionalizzato e privilegiando contenuti accurati.
In futuro immagino un team Q&A con un grande poster di Renè Ferretti sulla parete, al posto di quello del Grande Fratello(quello di Orwell non quello di canale 5) perché è vero che la qualità e nemica del periodo iperveloce che stiamo vivendo, però senza qualità non si va lontano ed è bellissimo poter contare sul tasto elimina quando mi imbatto in articoli o post palesemente fatti con l’AI ma non controllati nemmeno nel titolo.
L’alternativa è invece fidarsi sempre più ciecamente dei risultati dati per buoni, li si aprono scenari apocalittici dove non peseranno più onestà e autorevolezza, ma solo il numero di volte che quella verità per quanto campata in aria appare statisticamente, così chi controllerà il passato avrà gioco facile nel controllare il futuro…
.
