Sentiment analysis

Raccogliere feedback in modo rapido e anonimo è diventata una pratica comune. 
I dati vengono raccolti garantendo la privacy, e poi esportati in formato CSV per l'analisi. Il problema arriva dopo, quando si hanno centinaia di risposte testuali da analizzare. 

Leggere tutto manualmente significa investire ore preziose, ma soprattutto significa introdurre inevitabilmente i propri bias nell'interpretazione. Due analisti umani che leggono lo stesso set di risposte potrebbero categorizzarle in modi completamente diversi.
Qui entra in scena qualcosa di cui fino a poco tempo fa solo le grandi aziende con budget consistenti potevano beneficiare: l'analisi automatizzata tramite deep learning. Ma oggi la situazione è cambiata radicalmente.
Oggi si può sviluppare un sistema basato su reti neurali LSTM bidirezionali, una delle architetture più efficaci per capire il linguaggio naturale. Senza entrare troppo nei dettagli tecnici, è come un cervello artificiale che ha imparato a leggere migliaia di testi e a coglierne le sfumature semantiche. Non si limita a cercare parole chiave come farebbe una semplice ricerca testuale, ma comprende il contesto, riconosce sinonimi, e perfino percepisce il tono emotivo di ciò che legge.
La rete che ho utilizzato ha migliaia di parametri addestrabili! Ogni parametro è come una piccola manopola che viene regolata finemente durante l'addestramento, fino a quando il sistema non impara a distinguere tra una preoccupazione economica, una paura legata alla salute, una paura esistenziale o un'ansia per il futuro ambientale.

Come funziona nella pratica
Si parte da un questionario completamente anonimo per non violare la privacy, magari con una domanda centrale del tipo "Cosa ti preoccupa maggiormente in questo periodo?".
Si esporta il tutto in CSV che viene processato dalla rete neurale.
La prima volta il sistema impiega una po' di minuti perché deve addestrare il modello sui dati specifici.
Vede le risposte, impara il vocabolario che le persone hanno usato, comincia a cogliere i pattern.
Si può controllare l'accuracy crescere epoca dopo epoca mentre la loss diminuisce.
Così la rete neurale impara progressivamente a distinguere le categorie.

Cosa si ottiene in cambio
Una volta completato l'addestramento, il sistema fa quattro cose simultaneamente.
Prima di tutto classifica ogni singola risposta in categorie semantiche. 

Se qualcuno ha scritto "temo di deludere le aspettative su di me", il sistema capisce che si tratta di una preoccupazione esistenziale, anche se le parole esatte non compaiono mai nel testo. E non si limita a dare una risposta secca, ma ti dice anche quanto è sicuro di quella classificazione, con una percentuale di confidence.
Poi c'è l'analisi Sentiment, quella capacità quasi magica di capire se chi ha scritto era arrabbiato, preoccupato, sereno o ottimista. Il sistema assegna uno score che va da negativo a positivo passando per il neutro, dando un'istantanea dello stato emotivo complessivo delle risposte.
Ma la parte veramente interessante arriva con il clustering semantico. 

Qui entra in gioco un autoencoder, una rete neurale che comprime ogni risposta in uno spazio di rappresentazione compatto dove risposte simili finiscono vicine tra loro. Questo significa che anche se due persone hanno usato parole completamente diverse, se il concetto di fondo è simile, il sistema le raggruppa insieme. È così che emergono temi nascosti che nemmeno si notato leggendo manualmente.
Il tutto viene poi visualizzato in mappe bidimensionali grazie alla tecnica t-SNE, che trasforma quegli spazi matematici complessi in grafici leggibili dove si possono letteralmente vedere i cluster di preoccupazioni simili posizionati vicini tra loro. È come guardare una mappa mentale collettiva. 

Perché questo cambia tutto
C'è una differenza abissale tra leggere risposte cercando manualmente di trovare pattern e lasciare che un sistema matematicamente rigoroso lo faccia per te. Non è solo una questione di velocità, anche se risparmiare giorni di lavoro è già un enorme vantaggio. È che il sistema è immune da bias, non si stanca, non perde concentrazione dopo la cinquantesima risposta simile, e soprattutto può cogliere similarità semantiche che l'occhio umano facilmente perde.

I limiti da conoscere
Sarebbe disonesto non parlare anche dei limiti. Il sistema ha bisogno di almeno cinquanta o cento risposte per categoria per raggiungere buona accuratezza. Con meno dati il modello fatica a generalizzare e rischia di fare errori. Funziona meglio con risposte articolate di almeno venti-trenta parole, mentre con risposte brevissime tipo "ok" o "bene" c'è poco su cui lavorare semanticamente.
La prima esecuzione richiede tempo per l'addestramento. Però una volta salvato il modello, le predizioni successive su nuove risposte sono praticamente istantanee. Si può riutilizzare lo stesso modello addestrato per analizzare i questionari futuri senza doverlo riaddestrare ogni volta.
C'è poi la questione della privacy, molto importante: i dati devono essere completamente anonimi.

Il futuro è già qui
Quello che affascina di più di questa tecnologia non è solo l'aspetto tecnico, ma il fatto che rende accessibile a molte istituzioni un livello di analisi che prima era appannaggio esclusivo di quelle che avevano budget considerevoli. L'intelligenza artificiale applicata all'analisi testuale non è più fantascienza o lusso per pochi. È uno strumento concreto, gratuito, e soprattutto efficace che chiunque può usare oggi stesso. Basta avere la curiosità di provare.