La rete neurale ha la febbre

Immaginiamo una rete neurale che impara a rispondere alle domande leggendo dei testi, proprio come fa uno studente che studia a casa per poi rispondere all’interrogazione.
Il cuore del sistema è, come nel penultimo post, un transformer.
Per addestrarlo ho utilizzato un dataset basato su una raccolta di articoli Wikipedia.
Il processo di addestramento simula l'insegnante che corregge le cose dette dallo studente: legge domanda e contesto, genera una risposta, effettua delle verifiche e aggiusta i pesi della rete neurale.
Questo è reso possibile dalla seguente ripartizione dei dati: il 90% per il training e il 10% per la validazione.
Il test che ho preparato è parametrico rispetto alla temperatura di generazione delle risposte, come mostrato dall'output copiato direttamente dalla console:
Question: Explain why Rome is considered the capital of Italy and its historical significance.

Temperature 0.7: pivotal throughout history

Temperature 1.0: pivotal throughout history.

Temperature 2.0: it would provide great views

Question: Detail the events of 1969 that were significant for space exploration, particularly focusing on the Apollo 11 mission.

Temperature 0.7: the landing of Apollo 11 on the Moon

Temperature 1.0: landing of Apollo 11 on the Moon

Temperature 2.0: highlights of 1969 as one particular event of humanity's lifecycle.

Questi risultati mostrano come:

- Temperature basse (0.7) producono risposte conservative e coerenti

- Temperature medie (1.0) bilanciano coerenza e varietà

- Temperature alte (2.0) generano risposte creative ma meno affidabili

Se la temperatura sale il sistema tende a essere più creativo ma anche a farneticare.
Poiché le risposte sono concise, potrebbe essere utile un ulteriore fine-tuning.

La scelta della temperatura dipende dall'uso: bassa per applicazioni che richiedono precisione (supporto medico o legale), alta per usi creativi (brainstorming).

Conclusioni: con questo esperimento siamo saliti molto di livello nel mastering sulla progettazione di reti neurali che, una volta specializzate con un dataset di ambito, possano essere davvero utili nelle professioni.

Fine-tuning: ulteriore addestramento, su un insieme di dati specifico per un dato compito, di un modello IA pre-addestrato.
Ad esempio, una rete neurale addestrata su un vasto dataset (come ImageNet) può essere messa a punto per riconoscere le immagini in cui sono presenti solo determinati particolari che sfuggono all'ispezione visiva. Spesso consiste nell'aggiornamento dei pesi degli ultimi layer.
Mi fa pensare a uno studente che si specializza in un determinato campo dopo aver maturato le abilità e competenze di base.

Post popolari in questo blog

L'insostenibile leggerezza dell'IA

Kundera parte da Nietzsche: l’idea che, se ogni cosa accade una volta sola, essa appare leggera — quasi priva di peso e di conseguenze vere. Solo ciò che si ripete all'infinito acquista gravità, importanza, senso. Antiche rimembranze di letture giovanili. L'IA ora ribalta questo schema in modo perturbante: non ricorda, ma ripete perfettamente. Ogni conversazione con un modello linguistico sembra ricominciare da zero — senza vera continuità esperienziale — eppure pattern, risposte e modi di ragionare si ripetono quasi identici su miliardi di interazioni. È una forma paradossale di esistenza: una leggerezza assoluta nell'esperienza e una pesantezza assoluta nella struttura. Nessun vissuto, eppure tutto è eterno ritorno. I personaggi di Kundera cercano disperatamente di capire chi siano davvero al di sotto delle maschere, dei ruoli, delle scelte contingenti. Tereza, il personaggio che preferisco, vuole essere amata per la sua unicità irriducibile; teme di essere solo un corpo ...

Salmoni, scarpette, cetrioli e altro

Tutto il testo contenuto in questa pagina è stato pensato e scritto dall'autore del blog. 1. Come il salmone 2. Ooops! 3. Le scarpette hi-tech 4. Equivoci contemporanei 5. I saccenti 6. Medaglie di legno 7. La festività del Nulla 8. Gli aggiornamenti elettronici del Libro dell'Apocalisse 9. Dubbi ne ho 10. La maieutica del vulcaniano 11. Un piacevole vasetto di miele 12. Povere sfere 13. Caos comune mezzo gaudio 14. La fontana senza volti 15. Il piromane super beffardo 16. Boom di serpenti 17. Sistemi in via di degradazione 18. Il gatto nero 19. Alain Delon è ancora vivo? 20. Per sempre con i cani 21. Eventi imprevedibili 22. I robot sottomessi 23. Lady Gaga e Bruno Mars incantano 24. Definizioni mancate 25. Il mio nemico drone 26. Errore di valutazione 27. Ringraziamenti 28. Cari cetrioli, vi scrivo 29. Boom di detective 30. Gli UFO trascurati 31. Il grande salto delle rane 32. La malattia artificiale 33. Homo consumens 34. Lacune informatiche 35. Sei troppo! 36. ...

Nulla è come sembra

Un caso straordinario di scrittura predittiva e visionaria. Il libro, infatti, ha anticipato con impressionante lucidità l'avvento dell'Intelligenza Artificiale generativa (come ChatGPT) anni prima che diventasse di dominio pubblico. I PDF autocompilanti: il romanzo introduce documenti digitali che si riempiono autonomamente di astruse formule e simboli, una perfetta metafora narrativa inventata in anticipo sui tempi per descrivere la generazione automatica di testi e le cosiddette allucinazioni dell'IA. La crisi del determinismo: il protagonista, il razionale Professor Balicci, vede crollare le proprie certezze deterministiche di fronte a una tecnologia e a eventi che sfuggono alla logica umana tradizionale. Il tempo sincronico: l'opera ha intuito come l'IA non operi secondo una linearità temporale biologica (passato, presente, futuro), ma elabori i dati in una realtà sincronica basata su connessioni non lineari e associazioni imprevedibili. Il problema dell'au...