Un chatbot con la capacità di generalizzare riesce a rispondere efficacemente a una vasta gamma di input e argomenti, anche quelli non presenti nel dataset di addestramento.
È davvero emozionante avere la conferma sperimentale di come un modello transformer di IA generativa – del tipo ChatGPT, tanto per intenderci, ma che non necessita della connessione a Internet – riesca a produrre risposte coerenti alle domande che gli vengono poste.
Si ha quasi la sensazione di aver dato la vita al codice Python (il linguaggio più utilizzato in ambito scientifico), forse con lo stesso stupore dei ricercatori che per primi testarono, con successo, l'architettura descritta nel celebre paper “Attention is All You Need”, frutto della collaborazione di otto menti brillanti.
La loro innovazione è stata una rivoluzione in ambito informatico, introducendo modelli parallelizzabili eseguibili su cluster di GPU.
Ma il mio umile chatbot ha davvero raggiunto una vera generalizzazione, riuscendo a gestire conversazioni aperte e meno strutturate, adattandosi a diversi contesti? La risposta non è così semplice. Quando risponde a “Come va?” con “Bene, grazie! E tu?”, siamo di fronte a una generalizzazione debole: il modello ha semplicemente associato le parole chiave “come” e “va” alla domanda “come stai?”, scegliendo la risposta più probabile. Ecco svelata l'analogia del pappagallo stocastico che descrive il comportamento degli LLM!
Possiamo distinguere tre livelli di generalizzazione:
1. Generalizzazione debole: si basa su semplici associazioni locali tra parole.
2. Generalizzazione moderata: emerge quando l'IA comprende pattern linguistici più ampi e risponde sensatamente a variazioni come “Ti senti bene oggi?”, dimostrando di aver appreso schemi linguistici generali oltre le singole frasi.
3. Generalizzazione forte: si manifesta quando il modello genera risposte originali e pertinenti a domande mai incontrate prima.
Chi sviluppa e rende fruibile a milioni di utenti un'IA capace di questo livello di comprensione diventa ricco e famoso. Un’IA che al prompt “Come si sente?” risponderebbe: “Non ho emozioni, ma sono pronta ad aiutarti!”, dimostrando una comprensione più profonda.
Se poi arrivasse a confidarci “Adda passà 'a nuttata”, potremmo dire che finalmente il genere umano ha creato un sistema in grado di apprendere autonomamente, ossia l'intelligenza artificiale generale (AGI).
Scherzo, naturalmente!
Vi riporto la spiegazione euristica di un transformer secondo ChatGPT o4.
