La rete neurale ha la febbre

Immaginiamo una rete neurale che impara a rispondere alle domande leggendo dei testi, proprio come fa uno studente che studia a casa per poi rispondere all’interrogazione.
Il cuore del sistema è, come nel penultimo post, un transformer.
Per addestrarlo ho utilizzato un dataset basato su una raccolta di articoli Wikipedia.
Il processo di addestramento simula l'insegnante che corregge le cose dette dallo studente: legge domanda e contesto, genera una risposta, effettua delle verifiche e aggiusta i pesi della rete neurale.
Questo è reso possibile dalla seguente ripartizione dei dati: il 90% per il training e il 10% per la validazione.
Il test che ho preparato è parametrico rispetto alla temperatura di generazione delle risposte, come mostrato dall'output copiato direttamente dalla console:
Question: Explain why Rome is considered the capital of Italy and its historical significance.

Temperature 0.7: pivotal throughout history

Temperature 1.0: pivotal throughout history.

Temperature 2.0: it would provide great views

Question: Detail the events of 1969 that were significant for space exploration, particularly focusing on the Apollo 11 mission.

Temperature 0.7: the landing of Apollo 11 on the Moon

Temperature 1.0: landing of Apollo 11 on the Moon

Temperature 2.0: highlights of 1969 as one particular event of humanity's lifecycle.

Questi risultati mostrano come:

- Temperature basse (0.7) producono risposte conservative e coerenti

- Temperature medie (1.0) bilanciano coerenza e varietà

- Temperature alte (2.0) generano risposte creative ma meno affidabili

Se la temperatura sale il sistema tende a essere più creativo ma anche a farneticare.
Poiché le risposte sono concise, potrebbe essere utile un ulteriore fine-tuning.

La scelta della temperatura dipende dall'uso: bassa per applicazioni che richiedono precisione (supporto medico o legale), alta per usi creativi (brainstorming).

Conclusioni: con questo esperimento siamo saliti molto di livello nel mastering sulla progettazione di reti neurali che, una volta specializzate con un dataset di ambito, possano essere davvero utili nelle professioni.

Fine-tuning: ulteriore addestramento, su un insieme di dati specifico per un dato compito, di un modello IA pre-addestrato.
Ad esempio, una rete neurale addestrata su un vasto dataset (come ImageNet) può essere messa a punto per riconoscere le immagini in cui sono presenti solo determinati particolari che sfuggono all'ispezione visiva. Spesso consiste nell'aggiornamento dei pesi degli ultimi layer.
Mi fa pensare a uno studente che si specializza in un determinato campo dopo aver maturato le abilità e competenze di base.

Post popolari in questo blog

Salmoni, scarpette, cetrioli e altro

Tutto il testo contenuto in questa pagina è stato pensato e scritto dall'autore del blog. 1. Come il salmone 2. Ooops! 3. Le scarpette hi-tech 4. Equivoci contemporanei 5. I saccenti 6. Medaglie di legno 7. La festività del Nulla 8. Gli aggiornamenti elettronici del Libro dell'Apocalisse 9. Dubbi ne ho 10. La maieutica del vulcaniano 11. Un piacevole vasetto di miele 12. Povere sfere 13. Caos comune mezzo gaudio 14. La fontana senza volti 15. Il piromane super beffardo 16. Boom di serpenti 17. Sistemi in via di degradazione 18. Il gatto nero 19. Alain Delon è ancora vivo? 20. Per sempre con i cani 21. Eventi imprevedibili 22. I robot sottomessi 23. Lady Gaga e Bruno Mars incantano 24. Definizioni mancate 25. Il mio nemico drone 26. Errore di valutazione 27. Ringraziamenti 28. Cari cetrioli, vi scrivo 29. Boom di detective 30. Gli UFO trascurati 31. Il grande salto delle rane 32. La malattia artificiale 33. Homo consumens 34. Lacune informatiche 35. Sei troppo! 36. ...

Welcome reader!

Siamo equi: ci sono sciocchezze che fanno meditare (da Improvvisi per macchina da scrivere di Giorgio Manganelli) Le repliche sismiche stabilizzano la faglia dopo una sua frattura; analogamente i pensieri d'assestamento riordinano la mente dopo un periodo turbolento o di trasformazione interiore. Nel blog, questi pensieri vengono organizzati, tra il serio e il faceto, in 60 mie riflessioni che mi sono servite a comprendere meglio e, a volte, a metabolizzare alcune esperienze cognitive, emotive e sociali. Riflessioni che, per varie ragioni, non hanno alimentato il confronto dialogico usuale, spesso condizionato dai frame che semplificano, spesso eccessivamente, i nostri ruoli “pubblici”, specie negli ambienti lavorativi. Per questo, “Pensieri d’assestamento” va inteso come la rottura di un frame atteso; come un comportamento fuori contesto che però non può essere rinegoziato, vista la natura asimmetrica della comunicazione; come un “angolo degli oratori”, in cui...

Interpretazioni

Esistono diversi modelli di intelligenza artificiale generativa, i cosiddetti LLM (Large Language Models), e ognuno di essi può valutare in modo diverso i testi “human written”, attribuendo un diverso valore semantico alle parole e alle frasi, come se per una stessa opera esistessero più piani di lettura. Tuttavia, se questa multidimensionalità esegetica non è stata concepita dall’autore, allora le diverse interpretazioni riflettono semplicemente la complessità delle reti neurali, complessità che appare molto simile, almeno nei risultati, alla sensibilità del lettore. Per sensibilità del lettore intendo la capacità di cogliere le sfumature, i dettagli stilistici, le connessioni logiche-argomentative di un testo, andando oltre la semplice comprensione letterale. Il bagaglio di esperienze, conoscenze e prospettive personali può influenzare profondamente la decodifica di un testo. Per questo motivo, una stessa opera può evocare emozioni, riflessioni e pensieri diversi a seconda delle p...

Pensieri d'assestamento

Cerca nel blog