Ho chiesto a un modello IA locale da oltre 8 miliardi di parametri i dati che stanno in una tabella di un PDF, e le risposte sono state sbagliate, incomplete o inventate.
Ho anche passato diverse ore a capire il perché, lavorando su RAGradix Pro, il mio strumento per interrogare documenti in locale.
Il problema sta prima del modello
Una tabella in un PDF non è una tabella: è un insieme di testi posizionati su una pagina.
Quando il PDF viene trasformato in testo, la struttura si perde, e con lei tutto ciò che rende la tabella leggibile:
- le celle unite: un'intestazione che copre cinque colonne diventa un'etichetta su una sola;
- le intestazioni su più livelli ("Prezzi" sopra "Acquisto" e "Vendita");
- le etichette ruotate a margine;
- le tabelle senza linee, dove le colonne si indovinano solo dagli spazi.
Un piccolo modello che riceve questo testo non può “ragionare meglio”: può solo indovinare e non risolve un'informazione che è sparita a monte.
Era facile insegnare all'app a riconoscere un certo tipo di tabella. Ma avrebbe funzionato solo su quelle. Così ho fatto l'opposto: l'app ricava la struttura da ciò che trova.
- Distingue le righe d'intestazione dalle righe di dati guardando la *forma* delle celle (numeri, codici, parole).
- Riconosce le colonne che identificano la riga (un nome, un codice, una voce).
- Ricostruisce le celle unite dalla geometria: il centro di un blocco è a metà fra inizio e fine, quindi, se i conti tornano esattamente, l'unione si deduce. Se non tornano, non inventa nulla.
- Per ogni cella riporta riga, colonna e intestazione completa, così ogni risposta si può verificare.
- Quando la domanda riguarda un'etichetta precisa, risponde direttamente dalla tabella in pochi millisecondi, senza chiamare il modello.
Dopo le prime correzioni funzionava benissimo. Poi ho notato che leggeva bene solo i casi di prova che avevo creato io. Era vero, e scomodo.
Ho rifatto la verifica da capo: un generatore di PDF con strutture casuali (liste di prezzi, bilanci, fatture con sottototali, matrici, elenchi, tabelle con celle unite in orizzontale e in verticale, con e senza bordi), ciascuno con la risposta corretta nota. Poi ho misurato quante domande l'app risolve in modo esatto.
I numeri
- Prima delle correzioni: 5% dei PDF letti correttamente.
- Dopo, su 90 PDF generati con un seme mai usato in fase di sviluppo: 94%.
- Su strutture completamente nuove (elenco piatto, fattura con sottototali, celle unite in verticale): 100%.
- Su una tabella reale di oltre 80 righe e più di mille celle, verificata cella per cella con un controllo indipendente: zero differenze.
Sono i risultati di cui mi fido di più, perché arrivano da test che non avevo visto mentre correggevo.
Quello che non funziona ancora
- Le tabelle senza linee sono il punto debole: circa l'87–91% contro il 98% di quelle con i bordi.
- Non ho misurato le scansioni, le tabelle che continuano su più pagine, né i casi con immagini nelle celle.
- Le strutture di prova, per quanto varie, le ho inventate io. Il vero banco di prova sono PDF reali, di tipi diversi, e ne ho ancora pochi.
Cosa ho imparato
- Se un'AI sbaglia sui documenti, controlla cosa riceve prima di cambiare modello.
- Un test che hai scritto tu misura quanto sei bravo a scrivere test. Per misurare davvero serve qualcosa che non hai scelto tu.
- Una percentuale con i suoi limiti dichiarati vale più di un “funziona”.
