Non è un “Philadelphia Experiment” della West Coast (con buona pace dei complottisti); questa volta a sparire non è una nave ma alcune risposte attese di un chatbot.
Il concetto di unlearning, descritto nella mia riflessione n. 41, “Dimentica!”, può essere messo in relazione con la manipolazione delle features nei modelli di intelligenza artificiale come Claude. Nel tentativo di far dimenticare a una rete neurale contenuti specifici, come quelli protetti da copyright, si deve intervenire direttamente sui pesi di particolari pattern di neuroni, denominati features, individuabili mediante sofisticate tecniche di dictionary learning o di reverse engineering. Purtroppo, finora ciò ha comportato un deterioramento delle prestazioni generali del modello, perché le informazioni apprese sono spesso collegate in maniera complessa e olistica.
Il team di ricerca di Anthropic è riuscito a manipolare alcune features nel modello conversazionale Claude. Ad esempio, amplificando la feature collegata al concetto “Golden Gate Bridge”, il modello inizia a menzionare ossessivamente nelle sue risposte il famoso ponte di San Francisco, arriva addirittura a immedesimarsi con esso. Viceversa, attenuando la feature, il modello riduce significativamente l’importanza di questo concetto, come se diventasse reticente a fornirne spiegazioni. Se si disattivano i neuroni del pattern, il concetto cade nell’oblio e il modello diventa anche meno capace di riconoscere i riferimenti al Golden Gate Bridge. Questo significa che, nelle prestazioni generali della rete neurale, si viene a creare un vero e proprio buco di memoria che coinvolge anche altri concetti. Deduco che questo avvenga perché i vari pattern si intersecano (come si evince dagli schemi forniti), interagendo fra di loro. Sarebbe come voler cancellare alcuni ricordi specifici rimuovendo solo una piccola porzione del cervello: le conseguenze sono in gran parte imprevedibili.
Il concetto di unlearning, descritto nella mia riflessione n. 41, “Dimentica!”, può essere messo in relazione con la manipolazione delle features nei modelli di intelligenza artificiale come Claude. Nel tentativo di far dimenticare a una rete neurale contenuti specifici, come quelli protetti da copyright, si deve intervenire direttamente sui pesi di particolari pattern di neuroni, denominati features, individuabili mediante sofisticate tecniche di dictionary learning o di reverse engineering. Purtroppo, finora ciò ha comportato un deterioramento delle prestazioni generali del modello, perché le informazioni apprese sono spesso collegate in maniera complessa e olistica.
Il team di ricerca di Anthropic è riuscito a manipolare alcune features nel modello conversazionale Claude. Ad esempio, amplificando la feature collegata al concetto “Golden Gate Bridge”, il modello inizia a menzionare ossessivamente nelle sue risposte il famoso ponte di San Francisco, arriva addirittura a immedesimarsi con esso. Viceversa, attenuando la feature, il modello riduce significativamente l’importanza di questo concetto, come se diventasse reticente a fornirne spiegazioni. Se si disattivano i neuroni del pattern, il concetto cade nell’oblio e il modello diventa anche meno capace di riconoscere i riferimenti al Golden Gate Bridge. Questo significa che, nelle prestazioni generali della rete neurale, si viene a creare un vero e proprio buco di memoria che coinvolge anche altri concetti. Deduco che questo avvenga perché i vari pattern si intersecano (come si evince dagli schemi forniti), interagendo fra di loro. Sarebbe come voler cancellare alcuni ricordi specifici rimuovendo solo una piccola porzione del cervello: le conseguenze sono in gran parte imprevedibili.
Dimentica!
Si scrive unlearning ma si legge grattacapo. Le tecniche per far dimenticare i contenuti protetti da copyright alle reti neurali basate sui Transformer, secondo nuovi studi di alcune università americane e dell’immancabile Google, inciderebbero in modo significativo sulle prestazioni dei vari chatbot. Difficile non pensare alla terapia elettroconvulsivante, meglio nota come elettroshock, che consiste nell’applicare scariche elettriche controllate al cervello del paziente. Tempo fa si utilizzava per trattare condizioni psichiatriche gravi.
Si scrive unlearning ma si legge grattacapo. Le tecniche per far dimenticare i contenuti protetti da copyright alle reti neurali basate sui Transformer, secondo nuovi studi di alcune università americane e dell’immancabile Google, inciderebbero in modo significativo sulle prestazioni dei vari chatbot. Difficile non pensare alla terapia elettroconvulsivante, meglio nota come elettroshock, che consiste nell’applicare scariche elettriche controllate al cervello del paziente. Tempo fa si utilizzava per trattare condizioni psichiatriche gravi.
Forse il sogno degli esperti dell’intelligenza artificiale è quello di cancellare nelle risposte del chatbot ogni riferimento che potesse dimostrare l’utilizzo per l’addestramento di determinati libri. Sarebbe come agognare un dispositivo per cancellare i testi della seconda media, o quello che ci rimane, dalla nostra testa. Anche la “cultura” dei modelli LLM è, purtroppo per loro, un concetto olistico.