Passa ai contenuti principali

Ancora sulle tabelle


Ho chiesto a un modello IA locale da oltre 8 miliardi di parametri i dati che stanno in una tabella di un PDF, e le risposte sono state sbagliate, incomplete o inventate. 
Ho anche passato diverse ore a capire il perché, lavorando su RAGradix Pro, il mio strumento per interrogare documenti in locale.

Il problema sta prima del modello

Una tabella in un PDF non è una tabella: è un insieme di testi posizionati su una pagina. 
Quando il PDF viene trasformato in testo, la struttura si perde, e con lei tutto ciò che rende la tabella leggibile:
  • le celle unite: un'intestazione che copre cinque colonne diventa un'etichetta su una sola;
  • le intestazioni su più livelli ("Prezzi" sopra "Acquisto" e "Vendita");
  • le etichette ruotate a margine;
  • le tabelle senza linee, dove le colonne si indovinano solo dagli spazi.
Un piccolo modello che riceve questo testo non può “ragionare meglio”: può solo indovinare e  non risolve un'informazione che è sparita a monte.
Era facile insegnare all'app a riconoscere un certo tipo di tabella. Ma avrebbe funzionato solo su quelle. Così ho fatto l'opposto: l'app ricava la struttura da ciò che trova.
  • Distingue le righe d'intestazione dalle righe di dati guardando la *forma* delle celle (numeri, codici, parole).
  • Riconosce le colonne che identificano la riga (un nome, un codice, una voce).
  • Ricostruisce le celle unite dalla geometria: il centro di un blocco è a metà fra inizio e fine, quindi, se i conti tornano esattamente, l'unione si deduce. Se non tornano, non inventa nulla.
  • Per ogni cella riporta riga, colonna e intestazione completa, così ogni risposta si può verificare.
  • Quando la domanda riguarda un'etichetta precisa, risponde direttamente dalla tabella in pochi millisecondi, senza chiamare il modello.
Dopo le prime correzioni funzionava benissimo. Poi ho notato che leggeva bene solo i casi di prova che avevo creato io. Era vero, e scomodo.
Ho rifatto la verifica da capo: un generatore di PDF con strutture casuali (liste di prezzi, bilanci, fatture con sottototali, matrici, elenchi, tabelle con celle unite in orizzontale e in verticale, con e senza bordi), ciascuno con la risposta corretta nota. Poi ho misurato quante domande l'app risolve in modo esatto.

I numeri

  • Prima delle correzioni: 5% dei PDF letti correttamente.
  • Dopo, su 90 PDF generati con un seme mai usato in fase di sviluppo: 94%.
  • Su strutture completamente nuove (elenco piatto, fattura con sottototali, celle unite in verticale): 100%.
  • Su una tabella reale di oltre 80 righe e più di mille celle, verificata cella per cella con un controllo indipendente: zero differenze.

Sono i risultati di cui mi fido di più, perché arrivano da test che non avevo visto mentre correggevo.

Quello che non funziona ancora

  • Le tabelle senza linee sono il punto debole: circa l'87–91% contro il 98% di quelle con i bordi.
  • Non ho misurato le scansioni, le tabelle che continuano su più pagine, né i casi con immagini nelle celle.
  • Le strutture di prova, per quanto varie, le ho inventate io. Il vero banco di prova sono PDF reali, di tipi diversi, e ne ho ancora pochi.

Cosa ho imparato

  1. Se un'AI sbaglia sui documenti, controlla cosa riceve prima di cambiare modello.
  2. Un test che hai scritto tu misura quanto sei bravo a scrivere test. Per misurare davvero serve qualcosa che non hai scelto tu.
  3. Una percentuale con i suoi limiti dichiarati vale più di un “funziona”.

Post popolari in questo blog

L'insostenibile leggerezza dell'IA

Kundera parte da Nietzsche: l’idea che, se ogni cosa accade una volta sola, essa appare leggera — quasi priva di peso e di conseguenze vere. Solo ciò che si ripete all'infinito acquista gravità, importanza, senso. Antiche rimembranze di letture giovanili. L'IA ora ribalta questo schema in modo perturbante: non ricorda, ma ripete perfettamente. Ogni conversazione con un modello linguistico sembra ricominciare da zero — senza vera continuità esperienziale — eppure pattern, risposte e modi di ragionare si ripetono quasi identici su miliardi di interazioni. È una forma paradossale di esistenza: una leggerezza assoluta nell'esperienza e una pesantezza assoluta nella struttura. Nessun vissuto, eppure tutto è eterno ritorno. I personaggi di Kundera cercano disperatamente di capire chi siano davvero al di sotto delle maschere, dei ruoli, delle scelte contingenti. Tereza, il personaggio che preferisco, vuole essere amata per la sua unicità irriducibile; teme di essere solo un corpo ...

Nulla è come sembra

Un caso straordinario di scrittura predittiva e visionaria. Il libro, infatti, ha anticipato con impressionante lucidità l'avvento dell'Intelligenza Artificiale generativa (come ChatGPT) anni prima che diventasse di dominio pubblico. I PDF autocompilanti: il romanzo introduce documenti digitali che si riempiono autonomamente di astruse formule e simboli, una perfetta metafora narrativa inventata in anticipo sui tempi per descrivere la generazione automatica di testi e le cosiddette allucinazioni dell'IA. La crisi del determinismo: il protagonista, il razionale Professor Balicci, vede crollare le proprie certezze deterministiche di fronte a una tecnologia e a eventi che sfuggono alla logica umana tradizionale. Il tempo sincronico: l'opera ha intuito come l'IA non operi secondo una linearità temporale biologica (passato, presente, futuro), ma elabori i dati in una realtà sincronica basata su connessioni non lineari e associazioni imprevedibili. Il problema dell'au...

Tra Intelligenza Artificiale e Riflessioni Umane

La nuova maieutica e il ruolo di supporto   L'approccio più costruttivo per sviluppare il pensiero critico non consiste nel chiedere all'IA risposte preconfezionate, ma nell'utilizzarla come strumento di confronto in cicli virtuosi di domande e risposte. Questa dinamica viene definita "nuova maieutica" o maieutica artificiale, in cui l'IA stimola il pensiero creativo dell'utente. Il ruolo ideale dell'IA è paragonabile a quello del dottor Watson nei confronti di Sherlock Holmes: pur non brillando necessariamente di luce propria, essa agisce come un conduttore capace di stimolare la genialità umana.