Ho voluto fare un piccolo esperimento con RAGradix Pro, il sistema RAG che ho sviluppato ad hoc principalmente per la didattica.
L’esperimento parte da una voce enciclopedica degli anni ʼ80 dedicata a
Dinostrato e alla sua quadratrice.
Ho poi posto esattamente la stessa domanda in due modalità diverse:
«Cosa sai di Dinostrato e la sua quadratrice?»
La differenza tra le due modalità è sostanziale.
Chat generale del modello
In questa modalità il modello LLM locale non legge i documenti presenti nel workspace. Risponde utilizzando la propria conoscenza parametrica, cioè ciò che ha appreso durante l’addestramento.
Solo workspace
In questa modalità, invece, RAGradix Pro effettua il retrieval sui documenti caricati, recupera i passaggi pertinenti e costruisce la risposta sulla base delle informazioni presenti nelle fonti.
La risposta permette inoltre di vedere i riferimenti ai passaggi recuperati e i relativi punteggi di similarità, rendendo più trasparente il processo attraverso il quale l’informazione viene individuata nel corpus documentale.
Il risultato interessante
Ed è proprio qui che il test diventa interessante.
Nonostante nella modalità Chat generale il modello non avesse letto l’articolo, la risposta risultava sorprendentemente simile a quella ottenuta attraverso il RAG.
Entrambe le risposte parlavano correttamente di:
- Dinostrato;
- quadratrice;
- quadratura del cerchio;
- movimento coordinato dei segmenti;
- equazione della curva;
- relazione con 2/π.
In particolare, entrambe riportavano la stessa equazione della quadratrice:
y = x · cot(πx/2), con a normalizzata a 1 e con un particolare orientamento degli assi.
A una lettura superficiale si sarebbe quindi potuto pensare che entrambe le risposte derivassero dal documento presente nel workspace.
Ma confrontandole più attentamente emerge una differenza importante.
Dove emergono le differenze
La modalità Solo workspace conserva informazioni molto più specifiche presenti nella fonte.
Tra queste compaiono, per esempio:
- il riferimento a Pappo;
- il riferimento a Ippia d’Elide;
- la costruzione mediante una quarta proporzionale;
- la rettificazione della circonferenza;
- i limiti costruttivi della quadratrice;
- i riferimenti bibliografici presenti nel documento.
La Chat generale, invece, perde alcuni di questi dettagli e introduce anche considerazioni più generali e interpretative che non derivano necessariamente dall’articolo.
Il confronto mostra quindi un fenomeno interessante: sui concetti più conosciuti le due risposte possono essere anche molto simili, mentre sui dettagli specifici del documento la modalità basata sul retrieval diventa più precisa e soprattutto riconducibile alla fonte.
Una risposta corretta non prova l’uso della fonte
L’esperimento mette in evidenza un aspetto importante nella valutazione dei sistemi RAG:
Una risposta corretta non dimostra che il modello abbia realmente utilizzato la fonte.
Se l’argomento appartiene già alla conoscenza parametrica del modello, un LLM può produrre una risposta molto plausibile e, in alcuni casi, sorprendentemente vicina al contenuto di un documento che non ha mai consultato.
È esattamente ciò che è accaduto in questo esperimento.
Dinostrato e la sua quadratrice sono argomenti sufficientemente conosciuti perché il modello possa ricostruire autonomamente buona parte delle informazioni.
Un esempio particolarmente evidente è proprio l’equazione:
y = x · cot(πx/2)
Essa compare in entrambe le risposte, nonostante soltanto una delle due modalità abbia effettivamente consultato il documento.
Anche la relazione 2/π è presente in entrambe.
La somiglianza tra le due risposte, quindi, non dimostra che il documento sia stato letto.
Conoscenza parametrica e conoscenza recuperata
Il test permette di osservare concretamente la differenza tra due meccanismi fondamentali dei moderni sistemi basati su Large Language Model.
Nella Chat generale entra in gioco principalmente la conoscenza parametrica: ciò che il modello ha appreso durante l’addestramento ed è implicitamente codificato nei suoi parametri.
Nella modalità Solo workspace entra invece in gioco la conoscenza recuperata: informazioni che vengono cercate nel corpus documentale al momento della domanda e successivamente fornite al modello come contesto.
In termini molto semplificati:
Chat generale:
Domanda → LLM → Risposta
Solo workspace:
Domanda → Retrieval → Documenti → Contesto → LLM → Risposta
Il RAG non serve quindi semplicemente a ottenere una risposta che sembri corretta.
Il suo valore emerge soprattutto quando occorre ottenere informazioni specifiche, verificabili e riconducibili alle fonti.
Il problema della plausibilità
Uno degli aspetti più interessanti dell’esperimento riguarda proprio la plausibilità delle risposte generate dagli LLM.
Un modello linguistico può produrre una risposta perfettamente coerente e ben scritta anche quando non dispone della fonte alla quale la domanda fa riferimento.
La modalità Chat generale, però, non aveva accesso a quell’articolo. Ciò non le ha impedito di rispondere sull’argomento.
Questo è un punto importante: un LLM non necessariamente segnala che gli manca una determinata fonte. Se possiede sufficienti conoscenze sull’argomento, può semplicemente costruire una risposta plausibile.
Per questo motivo, nella valutazione di un sistema RAG, non è sufficiente chiedersi:
«La risposta è corretta?»
Bisogna aggiungere almeno un’altra domanda:
«Da dove provengono le informazioni utilizzate per produrla?»
Il ruolo del grounding
Qui entra in gioco il concetto di grounding.
Una risposta è grounded quando le sue affermazioni possono essere ricondotte alle informazioni effettivamente fornite al modello come contesto.
Nel caso di un sistema RAG, il problema non consiste soltanto nel recuperare documenti semanticamente vicini alla domanda.
Occorre anche verificare che la risposta finale utilizzi realmente quelle informazioni.
Per questo in RAGradix Pro la visualizzazione dei chunk recuperati e dei relativi punteggi assume anche una funzione didattica: permette di osservare concretamente quale materiale è stato fornito al modello prima della generazione della risposta.
Perché questo esperimento è interessante nella didattica
È anche uno dei motivi per cui ho sviluppato RAGradix Pro principalmente come strumento didattico.
Vedere fianco a fianco queste due modalità consente di rendere concreti concetti che, spiegati soltanto in teoria, possono apparire piuttosto astratti:
- Large Language Model;
- conoscenza parametrica;
- retrieval;
- RAG;
- grounding;
- chunking;
- similarità semantica;
- attribuzione delle fonti;
- allucinazioni;
- verificabilità delle risposte.
Lo studente può osservare direttamente che «sapere qualcosa» e «averla recuperata da un documento» non sono affatto la stessa cosa.
Una risposta molto elegante può essere scarsamente grounded.
Una risposta apparentemente meno brillante può invece essere molto più fedele alle fonti.
Due risposte simili, due processi diversi
Il risultato dell’esperimento può essere sintetizzato in questo modo:
Chat generale del modello
Il modello non consulta il workspace e risponde utilizzando ciò che già conosce
sull’argomento.
Solo workspace
RAGradix Pro recupera i passaggi pertinenti dai documenti del workspace e fornisce
al modello il contesto su cui costruire la risposta.
Le risposte possono quindi risultare simili, ma la loro origine informativa è completamente diversa.
Conclusione
L’esperimento con Dinostrato ha prodotto due risposte entrambe convincenti e, per diversi aspetti, sorprendentemente vicine.
Proprio questa somiglianza rende il test interessante.
Mostra infatti quanto possa essere difficile distinguere, osservando soltanto la risposta finale, tra ciò che un modello conosce già e ciò che ha realmente recuperato da una fonte.
Il RAG aggiunge quindi qualcosa che va oltre la semplice capacità di rispondere: aggiunge la possibilità di collegare la risposta a un contesto documentale preciso e verificabile.
Le due risposte erano entrambe convincenti.
Ma solo una aveva davvero letto il documento.
Un piccolo esperimento con RAGradix Pro, ma anche un esempio concreto di quanto sia importante non confondere la plausibilità di una risposta con il suo effettivo grounding nelle fonti.