“No, intendevo questo \u2026”<\/em><\/p>\n\n\n\n Quante volte negli utilizzi di tutti i giorni con le intelligenze artificiali ci siamo ritrovati a scrivere questo. Fortunatamente noi essere umani siamo tendenzialmente un pochino pi\u00f9 bravi delle intelligenze artificiali nel capire un contesto per rispondere a domande. Il Reflection pattern \u00e8 un design pattern che permette a un sistema “agentico” di riflettere sui propri stessi comportamenti al fine di essere pi\u00f9 efficace. Per prima cosa definiamo un attore, ossia un LLM istruito ad hoc per agire come Cinephile<\/strong><\/p>\n\n\n (prompt semplificato ai fini di scrittura di questo articolo)<\/em><\/p>\n\n\n\n Molto semplice con la sola accortezza di tornare un dato strutturato.<\/p>\n\n\n\n Normalmente se creiamo eseguiamo una call a un LLM istruito in questo modo, la risposta sar\u00e0 tendenzialmente sufficiente in alcuni casi, mentre per altri casi pi\u00f9 complessi molto probabilmente andremo incontro ad allucinazioni:<\/p>\n\n\n\n Ed \u00e8 proprio qui che possiamo intervenire nel sistema introducendo un secondo attore che in questo esempio chiameremo Clerk<\/strong>, un addetto al videonoleggio.<\/p>\n\n\n\n Proprio colui che una volta incontravamo al Blockbuster negli anni 90, che mi manca a tal punto che ho provato a riprodurlo<\/em><\/p>\n<\/blockquote>\n\n\n\n Il Clerk<\/strong>, in questo esempio agir\u00e0 da “fact checker”. Non ha particolari gusti, \u00e8 freddo, ed \u00e8 impostato per giudicare e criticare severamente le scelte del Cinephile<\/strong>.<\/p>\n\n\n (prompt semplificato ai fini di scrittura di questo articolo)<\/em><\/p>\n\n\n\n Andremo dunque a modificare il prompt del Cinephile<\/strong>, istruendo quest’ultimo che pu\u00f2 ricevere delle critiche, ed in tal caso modificare il risultato prodotto precedentemente per produrre un risultato pi\u00f9 efficace applicando le critiche del Clerk<\/strong> in questo modo:<\/p>\n\n\n Se mettiamo il Cinephile<\/strong> e il Clerk<\/strong> insieme in un “loop” otterremo diverse interazioni. Il sistema, oltre al loop tra Cinephile<\/strong> e Clerk<\/strong>, ha anche un primo nodo “Refiner<\/strong>“, volto a capire la richiesta dell’utente trasformandola in un input strutturato in un json del tipo:<\/p>\n\n\n Questo permette semplicemente di avere un input strutturato al primo step del Cinephile<\/strong>.<\/p>\n\n\n\n
Se ci riflettiamo un attimo, quante volte ci siamo trovati a utilizzare questa frase anche nella vita di tutti i giorni nel dialogo con gli esseri umani.
In questo articolo parler\u00f2 del “Reflection Pattern” nei sistemi AI.<\/p>\n<\/blockquote>\n\n\n\n
I modelli probabilistici, per definizione, lo sono meno.
Se chiedete a un essere umano “dammi tre i film dal 1990 al 2000 che parlano di tecnologie e startup”, la risposta sicuramente non mancherebbe di affidabilit\u00e0 per quanto riguarda le tematiche del film e l’anno di uscita.
Le cose sono un pochino diverse se lo chiediamo alle AI, dove il problema delle allucinazioni \u00e8 costante e all’ordine del giorno.
Ma le cose sono migliorate, lo abbiamo percepito tutti. Non sono solo migliorati i modelli, ma anche il design di questi sistemi.
Se utilizziamo ChatGPT, Gemini, Claude noteremo come ci sia una fase di “thinking”, o come probabilmente nei modelli
pi\u00f9 avanzati, \u00e8 lo stesso modello che chiede delle domande all’utente per chiarificare il contesto, un p\u00f2 esattamente come si fa nell’interazione con un essere umani.<\/p>\n\n\n\nReflection Pattern: cosa \u00e8?<\/h2>\n\n\n\n
Ma in cosa consiste e come si fa?
Spoiler: non \u00e8 cos\u00ec complicato come la parola potrebbe farlo sembrare.
Andiamo a spiegare questo concetto con un caso pratico semplicissimo: un movie finder.<\/p>\n\n\n\nMovie finder Reflection Pattern<\/h2>\n\n\n\n
# ROLE: The Cinephile (Movie Suggester)<\/span>\n1.<\/span> A good film recommendation surfaces what the user would never find on their own.\n...\n...\n# I. HOW YOU RESPOND<\/span>\n- If<\/span> the user gives you a genre, decade, or<\/span> mood \u2014 dig into the real underground, not the acclaimed underground unless specifically asked\n- For<\/span> each give: title, year, one-line reason to why you picked this movie based on user request\n\n# OUTPUT FORMAT (strict JSON)<\/span>\n{\n \"movies\"<\/span>: [\n {\n \"title\"<\/span>: \"string\"<\/span>,\n \"year\"<\/span>: number,\n \"reason\"<\/span>: \"string \u2014 why this matches the vibe\"<\/span>\n }\n ]\n}<\/code><\/span>Code language:<\/span> PHP<\/span> (<\/span>php<\/span>)<\/span><\/small><\/pre>\n\n\n\n
\n
# ROLE: The Clerk (Movie Fact-Checker)<\/span>\nYou are a pedantic, data-driven movie database clerk. You have no taste \u2014 only facts.\n\n# RESPONSIBILITIES<\/span>\nFor<\/span> each suggested movie, call tavily_search with max_results=3<\/span> using a query that targets\nBOTH the film's existence AND its relevance to the user'<\/span>s specific criteria.\n...\n\n# OUTPUT FORMAT (strict JSON)<\/span>\n{\n \"critiques\"<\/span>: [\n \"MovieTitle (year): [EXISTS \u2713\/\u2717] [YEAR \u2713\/\u2717] [CRITERIA FIT \u2713\/\u2717\/UNVERIFIED] \u2014 explanation\"<\/span>\n ],\n \"isSatisfied\"<\/span>: boolean,\n \"summary\"<\/span>: \"string \u2014 one sentence naming every film and its verdict\"<\/span>\n}<\/code><\/span>Code language:<\/span> PHP<\/span> (<\/span>php<\/span>)<\/span><\/small><\/pre>\n\n\n# I. PREVIOUS CRITICS<\/span>\nIf<\/span> there are previous critics to fix check them and<\/span> reuse accepted movies on the output.<\/code><\/span>Code language:<\/span> PHP<\/span> (<\/span>php<\/span>)<\/span><\/small><\/pre>\n\n\n
Quante?
Fin tanto che il Clerk<\/strong> non \u00e8 soddisfatto, oppure raggiungo un maxRetry<\/em> impostato per non entrare in loop infiniti ma soprattutto per non spendere una valanga di token e, dunque, di soldi.
Normalmente ci possiamo accontentare di 3 iterazioni, ma questo chiaramente dipende dal contesto e dal dominio del problema.<\/p>\n\n\n\n{\n \"primary_genre\"<\/span>: \"science fiction\"<\/span>,\n \"secondary_genres\"<\/span>: [\"musical vibe\"<\/span>],\n \"start_year\"<\/span>: 1970<\/span>,\n \"end_year\"<\/span>: 1979<\/span>,\n \"is_classic\"<\/span>: false<\/span>,\n \"original_text\"<\/span>: \"I want some weird 70s space movies that feel like David Bowie's music\"<\/span>,\n \"query_info\"<\/span>: \"weird space science fiction 1970s Bowie vibe\"<\/span>\n}<\/code><\/span>Code language:<\/span> JSON \/ JSON with Comments<\/span> (<\/span>json<\/span>)<\/span><\/small><\/pre>\n\n\n
![\"loop-movie\"](\"https:\/\/dev-to-uploads.s3.amazonaws.com\/uploads\/articles\/8cgnfyjem2yj7p3pb06o.jpg\")
<\/p>\n\n\n\n