C’è un momento preciso, nel lavoro di chi analizza i dati, in cui ci si sente un po’ come il professor Franzò di Sciascia: circondati da una complessità monumentale che, a guardarla bene, nasconde una spiegazione lineare,
In questo mio esperimento su Orange Data Mining, l'obiettivo è stato tanto elementare quanto cruciale: dare in pasto a un algoritmo un dataset “sporco” — pieno di variabili fisiche e ambientali come la temperatura della stanza, l'umidità e persino il codice del colore — per vedere se il sistema fosse in grado di isolare l'unica vera legge geometrica sottostante: l'area di un cilindro (A = 2π · r · h + 2π · r²).
Il verdetto del widget Rank è stato spietato e bellissimo.
Nel romanzo di Sciascia, si cercano piste intricate, complotti e spiegazioni fumose per quello che è, fondamentalmente, un delitto evidente. Così si viene a creare molto “rumore” investigativo.
Nel nostro dataset è successa la stessa cosa, ma al contrario. Gli algoritmi di classificazione e regressione lineare hanno fatto la parte del grande detective.
Il Rumore Azzerato: la Temperatura in Celsius, la Pressione e il Colore sono crollati sul fondo della classifica con uno score di 0.000. Totalmente irrilevanti. L'algoritmo ha capito che l'ambiente circostante non poteva scalfire la geometria intrinseca del solido.
Il Segnale Dominante: l'Altezza e soprattutto il Raggio sono balzati in cima con punteggi stratosferici.
C'è un dettaglio che Sciascia avrebbe adorato: il Raggio ha ottenuto un punteggio dieci volte superiore all'Altezza. Perché? Il raggio risulta più informativo perché interviene in entrambi i termini della formula e, in uno di essi, compare al quadrato. Il rapporto preciso tra i punteggi dipende però anche dalla distribuzione dei dati e dal metodo di valutazione utilizzato da Rank. L'algoritmo non conosceva la geometria, eppure l'ha letta perfettamente attraverso la forza dei grandi numeri (in appena 60 tuple).
La Feature Selection (la selezione delle caratteristiche) in fondo è questo: un esercizio di pulizia intellettuale. Significa eliminare le congetture, le variabili che fanno solo volume, il rumore della stanza, per concentrarsi sui fatti geometrici e immutabili.
Nel romanzo di Sciascia, si cercano piste intricate, complotti e spiegazioni fumose per quello che è, fondamentalmente, un delitto evidente. Così si viene a creare molto “rumore” investigativo.
Nel nostro dataset è successa la stessa cosa, ma al contrario. Gli algoritmi di classificazione e regressione lineare hanno fatto la parte del grande detective.
Il Rumore Azzerato: la Temperatura in Celsius, la Pressione e il Colore sono crollati sul fondo della classifica con uno score di 0.000. Totalmente irrilevanti. L'algoritmo ha capito che l'ambiente circostante non poteva scalfire la geometria intrinseca del solido.
Il Segnale Dominante: l'Altezza e soprattutto il Raggio sono balzati in cima con punteggi stratosferici.
C'è un dettaglio che Sciascia avrebbe adorato: il Raggio ha ottenuto un punteggio dieci volte superiore all'Altezza. Perché? Il raggio risulta più informativo perché interviene in entrambi i termini della formula e, in uno di essi, compare al quadrato. Il rapporto preciso tra i punteggi dipende però anche dalla distribuzione dei dati e dal metodo di valutazione utilizzato da Rank. L'algoritmo non conosceva la geometria, eppure l'ha letta perfettamente attraverso la forza dei grandi numeri (in appena 60 tuple).
La Feature Selection (la selezione delle caratteristiche) in fondo è questo: un esercizio di pulizia intellettuale. Significa eliminare le congetture, le variabili che fanno solo volume, il rumore della stanza, per concentrarsi sui fatti geometrici e immutabili.
Se estrapoliamo questo approccio e lo portiamo fuori dal laboratorio scolastico, ci accorgiamo che questo meccanismo è lo stesso pilastro su cui reggono i sistemi predittivi più avanzati.
In una Smart Factory, ad esempio, i cilindri non sono modelli digitali ma componenti meccanici reali monitorati da centinaia di sensori IoT. Lì dentro, isolare il rumore diventa una questione di efficienza. Un ottimo algoritmo di Feature Selection potrebbe davvero fare la differenza.
Lo stesso principio si applica nella manutenzione predittiva: algoritmi di Ranking eliminano le centinaia di variabili superflue raccolte sul campo per isolare i pochissimi coefficienti critici che governano la fisica del sistema.
In una Smart Factory, ad esempio, i cilindri non sono modelli digitali ma componenti meccanici reali monitorati da centinaia di sensori IoT. Lì dentro, isolare il rumore diventa una questione di efficienza. Un ottimo algoritmo di Feature Selection potrebbe davvero fare la differenza.
Lo stesso principio si applica nella manutenzione predittiva: algoritmi di Ranking eliminano le centinaia di variabili superflue raccolte sul campo per isolare i pochissimi coefficienti critici che governano la fisica del sistema.
La morale dei dati
La Feature Selection in fondo è questo: un esercizio di pulizia intellettuale. Significa eliminare le congetture, le variabili che fanno solo volume, il rumore della stanza o della catena di montaggio, per concentrarsi sui fatti geometrici e immutabili.
Perché alla fine, anche nel Data Mining industriale così come nella vita, la verità è quasi sempre una storia semplice. Basta saper disattivare le colonne che non sono correlate con quella target.
La Feature Selection in fondo è questo: un esercizio di pulizia intellettuale. Significa eliminare le congetture, le variabili che fanno solo volume, il rumore della stanza o della catena di montaggio, per concentrarsi sui fatti geometrici e immutabili.
Perché alla fine, anche nel Data Mining industriale così come nella vita, la verità è quasi sempre una storia semplice. Basta saper disattivare le colonne che non sono correlate con quella target.