{"id":22598,"date":"2023-09-01T09:30:00","date_gmt":"2023-09-01T07:30:00","guid":{"rendered":"https:\/\/www.codemotion.com\/magazine\/?p=22598"},"modified":"2023-09-01T17:27:34","modified_gmt":"2023-09-01T15:27:34","slug":"evoluzione-modelli-linguistici","status":"publish","type":"post","link":"https:\/\/www.codemotion.com\/magazine\/it\/intelligenza-artificiale\/evoluzione-modelli-linguistici\/","title":{"rendered":"L\u2019evoluzione dei modelli linguistici: dalle regole alle parole"},"content":{"rendered":"\n

Il termine Intelligenza Artificiale<\/em> fu coniato nel 1956 da John McCarthy, uno dei padri fondatori di questa disciplina, ed \u00e8 una operazione di marketing fenomenale, se questo brand continua ancora oggi a catturare l\u2019attenzione di utenti e consumatori! Ma cosa intendevano McCarthy e i suoi colleghi col termine \u201cIntelligenza Artificiale\u201d? <\/strong>Abbiamo visto nell’articolo “Come l\u2019intelligenza artificiale si comporta nell\u2019imitazione del linguaggio”<\/strong><\/a><\/em> che nientemeno che Alan Turing aveva tracciato una strada per le macchine che apprendono, anche in termini di modelli linguistici. Ma quella strada forse sembrava troppo impervia<\/strong> e, per i suoi primi decenni di vita, l\u2019AI ne ha presa un\u2019altra.<\/p>\n\n\n\n

McCarthy \u00e8 noto per essere anche l\u2019inventore del Lisp<\/strong>, il primo linguaggio di programmazione funzionale, che vive ancora oggi incarnato in Common Lisp e Clojure: l\u2019idea del Lisp era rivoluzionaria, <\/strong>al punto che McCarthy lo aveva inventato non come linguaggio di programmazione ma come sistema per esprimere algoritmi con carta e penna: fu con sua sorpresa che, nel 1959, Steve Russell implement\u00f2 un interprete Lisp su un computer IBM 704.<\/strong><\/p>\n\n\n\n

L\u2019idea di McCarthy era che la nostra mente ragiona su simboli che manipola per generare risposte a stimoli e il Lisp, come altri linguaggi dell\u2019epoca quali IPL, processava simboli e liste di simboli. Questa idea, che ha influenzato i primi 40 anni dell\u2019AI, era essenzialmente incompatibile con le idee di Turing<\/strong> che, per ironia della sorte, nel 1936 aveva fondato la teoria della calcolabilit\u00e0 insieme ad Alonzo Church<\/strong>, l\u2019inventore del lambda-calcolo dal quale il Lisp prendeva ispirazione!<\/p>\n\n\n\n

Per realizzare questa idea, si pens\u00f2 di codificare database di regole sintattiche, grammaticali e semantiche<\/strong> e scrivere programmi che potessero applicare le regole alle frasi che avevano in input per generare delle frasi in output. Il tipico schema di questi programmi in voga negli anni \u201960 e \u201970 \u00e8 illustrato nella Figura 1.<\/p>\n\n\n\n

\"modelli
Figura 1. Schema di un programma conversazionale basato su regole.<\/em><\/figcaption><\/figure>\n\n\n\n

Come si vede, il funzionamento del sistema \u00e8 basato su database di regole, codificate in vari modi, che vengono applicate a ogni passaggio:<\/strong> prima per trasformare il testo in token, poi in una struttura interna che viene manipolata e quindi riconvertita in testo per la risposta. Queste regole erano generalmente statiche, sebbene le basi di dati potessero essere incrementate nel tempo, inserendo nuove regole.<\/p>\n\n\n\n

Un esempio famosissimo e molto semplice di questo schema \u00e8 il programma ELIZA, scritto dal matematico Joseph Weizenbaum nel 1966. ELIZA era un chatbot che simulava uno psichiatra<\/strong>: ecco un brano di sessione (tradotta in italiano: le risposte del computer in maiuscolo):<\/p>\n\n\n

Gli uomini sono tutti uguali.\nIN CHE SENSO\nCi stanno sempre a infastidire per un motivo o per l\u2019altro.\nPUOI PENSARE A UN ESEMPIO SPECIFICO\nBe\u2019, il mio fidanzato mi ha fatto venire qui\nIL TUO FIDANZATO TI HA FATTO VENIRE QUI\nDice che sono depressa quasi tutto il tempo.\nMI SPIACE SAPERE CHE SEI DEPRESSA\n\u00c8 vero. Sono infelice\nPENSI CHE VENIRE QUI TI AIUTER\u00c0 A NON ESSERE INFELICE\n<\/code><\/span><\/pre>\n\n\n
ELIZA lavorava direttamente sulla lista dei token della frase inserita dal paziente: confrontando con un database di pattern, ELIZA trovava tutti i match della frase con i pattern che conosceva<\/strong>, ne sceglieva uno e operava la trasformazione associata. Per esempio, il pattern *mio padre beve*<\/em> ha match con una frase che al suo interno contenga le parole \u201cmio padre beve\u201d. Se il match avviene, si genera una risposta \u201cPARLAMI DI TUO PADRE\u201d<\/strong> (naturalmente la tokenizzazione esclude i segni di interpunzione e normalizza le parole in modo da poter essere confrontate).<\/p>\n\n\n\n
Oggi ELIZA si scriverebbe in poche righe di Python, usando un DB (o anche un semplice file JSON) per contenere i pattern. Questo approccio ha anche il vantaggio di poter usare diversi DB di pattern con lo stesso programma <\/strong>per ottenere chatbot di tipo diverso. Ma i programmi come ELIZA, o SHRLDU (pi\u00f9 sofisticato ma che usa gli stessi princ\u00ecpi), fallivano miseramente su conversazioni generiche:<\/strong> per questo, nessuna di queste tecniche apr\u00ec un mercato per i chatbot. Infatti le regole per metterli in grado di sostenere una qualsiasi conversazione erano troppe per la memoria dei computer dell\u2019epoca,<\/strong> per la loro velocit\u00e0 e soprattutto per essere scritte in dettaglio da esperti umani (linguisti, logici, psicologi, ecc.).<\/p>\n\n\n\n
La crisi di questo paradigma di AI avvenne alla fine degli anni \u201980, il secondo inverno dell\u2019AI<\/em>, ma i sintomi c\u2019erano gi\u00e0 da tempo: per esempio, gi\u00e0 alla fine degli anni \u201960 Frederick Jelinek, a capo dei progetti linguistici della IBM, aveva notato che introducendo metodi probabilistici i risultati erano molto migliori che con le descrizioni logico-linguistiche delle grammatiche <\/strong>tanto da dire, a un giornalista, la celebre frase: \u201cogni volta che licenzio un linguista le performance del riconoscitore di linguaggio migliorano\u201d.<\/p>\n\n\n\n
In effetti se in teoria<\/em> la linguistica consentiva di codificare tutte le regole di una lingua, in pratica<\/em> il compito era proibitivo: un po\u2019 come voler applicare le leggi della dinamica di newtoniana a un gas; ci sono talmente tante particelle in un gas (dell\u2019ordine di 1023<\/sup>) che \u00e8 impossibile applicare le leggi di Newton a ciascuna particella e si \u00e8 costretti a ricorrere alla meccanica statistica. Uno spostamento di paradigma analogo \u00e8 avvenuto fra fine XX e inizio XXI secolo nell\u2019AI: <\/strong>si \u00e8 sostituito l\u2019impero delle regole, in particolare delle regole grammaticali nei modelli linguistici, con una repubblica delle parole. Rinunciando all\u2019approccio top-down, che parte dal generale (una grammatica universale che nessuno sa definire completamente), si \u00e8 preso un approccio bottom-up, <\/strong>che parte dall\u2019unica cosa che possediamo di un testo e che sia assimilabile a un dato: le parole che lo compongono nell\u2019ordine in cui si presentano.<\/p>\n\n\n\n
I modelli linguistici contemporanei sono in un certo senso l\u2019analogo della meccanica statistica per i testi disponibili sul Web,<\/strong> formati da un numero sterminato di parole delle quali si vanno ad analizzare le propriet\u00e0 statistiche, per esempio in quale frase \u00e8 pi\u00f9 probabile che una certa parola occorra, o quale frase \u00e8 pi\u00f9 probabile che contenga una parola data ecc.<\/p>\n\n\n\n
Come scrivono Halevy, Norvig e Pereira in un celebre articolo del 2009 (The Unreasonable Effectiveness of Data<\/em>):<\/p>\n\n\n\n
\n
Per applicazioni al linguaggio naturale, fidate nel fatto che la lingua umana ha gi\u00e0 fatto evolvere le parole per i concetti importanti. Procedete legando le parole che sono gi\u00e0 nel testo piuttosto che inventare nuovi concetti o cluster di parole.<\/em><\/p>\n<\/blockquote>\n\n\n\n
Questi suggerimenti sono stati colti dalle ultime generazioni di modelli linguistici, a partire dagli algoritmi di word embedding<\/em> che usano reti neurali (non profonde) per trasformare le parole di un corpus di testi in punti di uno spazio cartesiano di una certa dimensione <\/strong>(anche migliaia) per proseguire con gli attuali transformers<\/em> che comprimono e decomprimono l\u2019informazione statistica contenuta in milioni di testi, codificandola in un numero astronomico<\/strong> (centinaia di miliardi!) di parametri di reti neurali profonde.<\/p>\n\n\n\n
Ci\u00f2 che accomuna questi software \u00e8 che l\u2019addestramento di questi modelli consiste sostanzialmente nel renderli sempre pi\u00f9 bravi a prevedere parole e sequenze di parole che possono figurare dopo o in mezzo ad altre. Un esempio semplicissimo: la frase il X miagola<\/em> \u00e8 facilmente \u201crisolvibile\u201d con X<\/em> = gatto<\/em>, questo in quanto la probabilit\u00e0 che il verbo \u201cmiagolare\u201d sia associato a un gatto \u00e8 praticamente il 100%.<\/strong> Invece la frase Il mio X ha Y tutta la notte<\/em> richiede una analisi statistica pi\u00f9 complessa, che potrebbe individuare coppie (X<\/em>,Y<\/em>) come (cane<\/em>, abbaiato<\/em>), (gatto<\/em>, miagolato<\/em>), (tacchino<\/em>, gloglottato<\/em>) ma anche (bambino<\/em>, pianto<\/em>), e cos\u00ec via.<\/p>\n\n\n\n
Scrivere una regola generale per prevedere questi casi \u00e8 quasi impossibile, mentre analizzare tantissimi testi e annotare le coppie che compaiono nel contesto di quella frase e desumere una distribuzione probabilistica congiunta per X<\/em> e Y<\/em> \u00e8 un mero calcolo che i veloci computer moderni, riescono a fare. Questo nuovo corso dei modelli linguistici riprende le idee di Turing<\/strong>: non costruire sistemi con regole preconfezionate ma che imparano regole sulla base di esempi<\/strong>, addestrarli con algoritmi di apprendimento numerici e usare in modo essenziale procedimenti casuali.<\/p>\n\n\n\n
La transizione dalla logica alla statistica, dalla regola generale deduttiva al calcolo probabilistico induttivo \u00e8 stata la mossa vincente dell\u2019AI contemporanea<\/strong>: tornare sulla strada indicata da Turing.<\/p>\n\n\n