La mia rete neurale non vuole più apprendere: ha raggiunto il plateau, dicono i manuali.
Io preferisco chiamarlo il “punto di Tantalo”: hai l'acqua che ti sfiora le labbra, la perfezione è lì, a un'epoca di distanza, ma non la raggiungerai mai.
È curioso osservare questi neuroni artificiali arrancare nella mia GPU verso una precisione che si fa sempre più sfuggente. Un po' come noi umani, che da millenni cerchiamo di afferrare la Verità e ci ritroviamo con manciate di approssimazioni. La differenza è che noi sappiamo di essere condannati alla realtà fenomenica, mentre la rete neurale continua ostinata a inseguire la sua realtà noumenica (evidente l’influsso della dottrina kantiana su queste speculazioni).
Il mio pensiero va anche a Borges e la sua biblioteca di Babele – tutti i libri possibili, tutte le combinazioni di caratteri, ma solo alcuni hanno senso. La rete neurale dell’esperimento, a modo suo, è un bibliotecario che ha smesso di cercare significati nuovi: ha catalogato tutti i volumi che poteva, e ora si siede, esausto, tra gli scaffali.
Nei nostri cervelli di materia organica, il plateau è più sfumato, meno matematico. Facciamo un passo avanti e poi dimentichiamo, comprendiamo e poi dubitiamo. La nostra curva di apprendimento non è una funzione monotòna, ma un sentiero tortuoso, pieno di salite, discese, e deviazioni inaspettate.
Forse è proprio questa imperfezione che ci salva dall'aridità della convergenza assoluta.
O forse, come scriveva Giorgio Manganelli, per me il più grande in assoluto, ogni certezza è “una menzogna tanto solenne da ambire a verità”. Anche la certezza che la conoscenza ha un limite.
Guardo le curve sul monitor che mostrano la stagnazione dell'apprendimento.
La mia rete non va più avanti, non può più migliorare.
Forse la vera saggezza inizia proprio lì, dove la matematica alza bandiera bianca.
Scopo di questo esperimento: dimostrazione dello “stallo cognitivo” delle reti neurali per il raggiungimento del plateau di apprendimento.
Durante l’addestramento, la funzione di perdita può appiattirsi e la rete smette di migliorare per molte epoche, prima di eventualmente riprendere a migliorare. È uno stallo temporaneo nella “crescita cognitiva” della rete.
Lo stallo definitivo si verifica quando la rete crede di aver “finito di imparare”, ma è solo “intrappolata” in una soluzione sub-ottimale.
CONCLUSIONI:
Le reti neurali e la mente umana mostrano pattern di apprendimento simili:- Fase iniziale rapida: ripida salita nella curva di apprendimento
- Fase di rallentamento: i miglioramenti diventano più graduali
- Plateau: punto in cui ulteriore addestramento/studio produce benefici minimi
- Convergenza: punto in cui l'apprendimento si stabilizza
DIFFERENZE CHIAVE:
- Rete neurale: raggiunge un plateau assoluto e non migliora più
- Mente umana: mostra piccole fluttuazioni, adattamenti e può superare i plateau attraverso insight creativi, riorganizzazione della conoscenza o nuovi approcci
- Potenziale decadimento: la mente umana può mostrare un declino se le conoscenze non vengono rinforzate, mentre i pesi di una rete neurale rimangono stabili
Oltre al plateau di apprendimento, lo stallo cognitivo delle reti neurali può avvenire anche per i seguenti motivi:
- Saturazione dei neuroni
- Vanishing Gradient
- Overfitting statico
- Dead neurons (Neuroni Morti)
Cosa si può fare di più specifico per le reti neurali in questi casi?
- Cambiare ottimizzatore (es: da SGD a Adam o Adagrad)
- Usare tecniche di escape come learning rate decay + restart
- Re-inizializzare la rete e riprovare (può sorprendentemente aiutare)
- Modificare l’architettura o introdurre regolarizzazioni intelligenti
