Passa ai contenuti principali

xXy



Di recente ho esaminato più a fondo una rete neurale Multi-Layer Perceptron (MLP) progettata per prevedere i risultati della moltiplicazione di numeri float nell'intervallo [0, 10). 
Segue il report relativo a un addestramento con 12000 esempi e 80000 epoche.

Epoch [80000/80000], Loss: 0.0005
input // Val. generato // Val. vero

x = 1.00, y = 1.00 // 0.97 // 1

x = 4.50, y = 0 // -0.06 // 0

x = 2.00, y = 8.20 // 16.39 // 16.40

x = 125.00, y = 12.20 // 261 // 1525

Questo è stato il mio “pensiero di assestamento”.
Gli umani, tipicamente:
  • iniziano memorizzando le tabelline;
  • imparano strategie su come scomporre numeri grandi (24 x 3 = 20 x 3 + 4 x 3);
  • associano la moltiplicazione all'addizione ripetuta;
  • sviluppano scorciatoie mentali (x10 = sposta virgola, x5 = metà di x10);
  • possono visualizzare la moltiplicazione in modo geometrico.
La rete neurale invece:
  • non memorizza alcun risultato, ma individua pattern nei dati;
  • non usa regole esplicite o strategie logiche;
  • apprende attraverso migliaia di esempi e correzioni degli errori;
  • costruisce una funzione matematica complessa distribuita tra parametri e neuroni.
Conclusione
La rete neurale non ha “compreso” il concetto di moltiplicazione, ma effettua solamente un mapping input-output
Dal confronto emerge che gli umani:
  • sono più efficienti nell'apprendimento (servono meno esempi)
  • possono generalizzare e moltiplicare tra loro numeri mai visti prima (nel mio test, fornendo in ingresso numeri più alti di quelli utilizzati per l'addestramento i risultati sono stati deludenti).
Inoltre, la rete neurale è effettivamente più veloce, ma meno precisa nei calcoli e, aspetto per me molto più importante, gli umani sono consapevoli di ciò che fanno (o almeno dovrebbero esserlo), mentre l'IA no, anche quando adotta un approccio “divide et impera” alla soluzione dei problemi.

Post popolari in questo blog

L'insostenibile leggerezza dell'IA

Kundera parte da Nietzsche: l’idea che, se ogni cosa accade una volta sola, essa appare leggera — quasi priva di peso e di conseguenze vere. Solo ciò che si ripete all'infinito acquista gravità, importanza, senso. Antiche rimembranze di letture giovanili. L'IA ora ribalta questo schema in modo perturbante: non ricorda, ma ripete perfettamente. Ogni conversazione con un modello linguistico sembra ricominciare da zero — senza vera continuità esperienziale — eppure pattern, risposte e modi di ragionare si ripetono quasi identici su miliardi di interazioni. È una forma paradossale di esistenza: una leggerezza assoluta nell'esperienza e una pesantezza assoluta nella struttura. Nessun vissuto, eppure tutto è eterno ritorno. I personaggi di Kundera cercano disperatamente di capire chi siano davvero al di sotto delle maschere, dei ruoli, delle scelte contingenti. Tereza, il personaggio che preferisco, vuole essere amata per la sua unicità irriducibile; teme di essere solo un corpo ...

Salmoni, scarpette, cetrioli e altro

Tutto il testo contenuto in questa pagina è stato pensato e scritto dall'autore del blog.   1. Come il salmone 2. Ooops! 3. Le scarpette hi-tech 4. Equivoci contemporanei 5. I saccenti 6. Medaglie di legno 7. La festività del Nulla 8. Gli aggiornamenti elettronici del Libro dell'Apocalisse 9. Dubbi ne ho 10. La maieutica del vulcaniano 11. Un piacevole vasetto di miele 12. Povere sfere 13. Caos comune mezzo gaudio 14. La fontana senza volti 15. Il piromane super beffardo 16. Boom di serpenti 17. Sistemi in via di degradazione 18. Il gatto nero 19. Alain Delon è ancora vivo? 20. Per sempre con i cani 21. Eventi imprevedibili 22. I robot sottomessi 23. Lady Gaga e Bruno Mars incantano 24. Definizioni mancate 25. Il mio nemico drone 26. Errore di valutazione 27. Ringraziamenti 28. Cari cetrioli, vi scrivo 29. Boom di detective 30. Gli UFO trascurati 31. Il grande salto delle rane 32. La malattia artificiale 33. Homo consumens 34. Lacune informatiche 35. Sei troppo! 36. ...

Nulla è come sembra

Un caso straordinario di scrittura predittiva e visionaria. Il libro, infatti, ha anticipato con impressionante lucidità l'avvento dell'Intelligenza Artificiale generativa (come ChatGPT) anni prima che diventasse di dominio pubblico. I PDF autocompilanti: il romanzo introduce documenti digitali che si riempiono autonomamente di astruse formule e simboli, una perfetta metafora narrativa inventata in anticipo sui tempi per descrivere la generazione automatica di testi e le cosiddette allucinazioni dell'IA. La crisi del determinismo: il protagonista, il razionale Professor Balicci, vede crollare le proprie certezze deterministiche di fronte a una tecnologia e a eventi che sfuggono alla logica umana tradizionale. Il tempo sincronico: l'opera ha intuito come l'IA non operi secondo una linearità temporale biologica (passato, presente, futuro), ma elabori i dati in una realtà sincronica basata su connessioni non lineari e associazioni imprevedibili. Il problema dell'au...