Ci sono notizie che, come l'uranio arricchito, possono innescare reazioni a catena, specialmente quando vengono descritte con metafore legate alla radioattività e termini come “emivita”.
A tal proposito, Toby Ord, ricercatore senior dell'Università di Oxford, commentando i risultati della ricerca di METR (Model Evaluation & Threat Research), pare abbia parlato di un declino esponenziale delle capacità di alcuni modelli di intelligenza artificiale nel mantenere l'affidabilità su compiti prolungati.
Per esempio, se un modello ha il 50% di probabilità di completare con successo un task di un'ora, questa probabilità si riduce al 25% per un task di due ore, e continuerà a diminuire per durate maggiori, proprio come un decadimento radioattivo.
Ma le cose stanno davvero così? Secondo me è il solito problema del bicchiere mezzo vuoto o mezzo pieno.
Il bicchiere mezzo pieno
La ricerca METR celebra un progresso straordinario: negli ultimi 6 anni, la capacità dei modelli di gestire compiti lunghi è raddoppiata ogni 7 mesi. È un miglioramento esponenziale impressionante che suggerisce che presto avremo agenti IA capaci di portare a termine task che durano giorni o settimane.
Il bicchiere mezzo vuoto
Secondo gli articoli ai link appresso riportati, Ord pone l'accento sul limite degli agenti IA: se un modello ha il 50% di probabilità di completare un task di un'ora, ha solo il 25% per un task di due ore. Comunque, l'articolo di Ord non intende criticare il progresso dell'IA, ma piuttosto fornire un quadro analitico per comprendere una sfida fondamentale: mantenere la coerenza e l'accuratezza su periodi prolungati o compiti altamente sequenziali. È un richiamo al fatto che, nonostante i notevoli passi avanti, ci sono ancora ostacoli da superare per creare IA che possano operare in modo affidabile su scale temporali o di complessità molto grandi.
In sintesi, questa vicenda ci insegna a:
A tal proposito, Toby Ord, ricercatore senior dell'Università di Oxford, commentando i risultati della ricerca di METR (Model Evaluation & Threat Research), pare abbia parlato di un declino esponenziale delle capacità di alcuni modelli di intelligenza artificiale nel mantenere l'affidabilità su compiti prolungati.
Per esempio, se un modello ha il 50% di probabilità di completare con successo un task di un'ora, questa probabilità si riduce al 25% per un task di due ore, e continuerà a diminuire per durate maggiori, proprio come un decadimento radioattivo.
Ma le cose stanno davvero così? Secondo me è il solito problema del bicchiere mezzo vuoto o mezzo pieno.
Il bicchiere mezzo pieno
La ricerca METR celebra un progresso straordinario: negli ultimi 6 anni, la capacità dei modelli di gestire compiti lunghi è raddoppiata ogni 7 mesi. È un miglioramento esponenziale impressionante che suggerisce che presto avremo agenti IA capaci di portare a termine task che durano giorni o settimane.
Il bicchiere mezzo vuoto
Secondo gli articoli ai link appresso riportati, Ord pone l'accento sul limite degli agenti IA: se un modello ha il 50% di probabilità di completare un task di un'ora, ha solo il 25% per un task di due ore. Comunque, l'articolo di Ord non intende criticare il progresso dell'IA, ma piuttosto fornire un quadro analitico per comprendere una sfida fondamentale: mantenere la coerenza e l'accuratezza su periodi prolungati o compiti altamente sequenziali. È un richiamo al fatto che, nonostante i notevoli passi avanti, ci sono ancora ostacoli da superare per creare IA che possano operare in modo affidabile su scale temporali o di complessità molto grandi.
In sintesi, questa vicenda ci insegna a:
- guardare con occhio critico alle metafore: usiamole per chiarire, non per spaventare o ingigantire;
- bilanciare due visioni complementari: celebrare i rapidi miglioramenti senza sottovalutare le sfide residue;
- progettare architetture robuste: affrontare esplicitamente la “decadimento” mediante meccanismi di controllo, revisione e modularità;
- aggiornare costantemente la “baseline: la vera “emivita” dell’affidabilità di un modello viene allungata dai progressi, perciò va ricalcolata nel tempo.
METR Research and Doubling Time:
Toby Ord's Commentary and Exponential Decline:
0% Success on Hard-Coding Problems:
- Measuring AI Ability to Complete Long Tasks (METR Blog)
- AI Task Capacity Doubles Every 7 Months (Perplexity)
Toby Ord's Commentary and Exponential Decline:
- Is there a half-life for the success rates of AI agents? (Toby Ord's Website)
0% Success on Hard-Coding Problems:
- AI Models from Google, OpenAI, Anthropic Solve 0% of 'Hard' Coding Problems (Analytics India Magazine)
- All AI models scored 0% in hard problems on LiveCodeBench Pro (Reddit - r/OpenAI)Yes, the information reported in your post is accurate.