Il rapporto pubblicato da Anthropic il 9 settembre 2026 sui quattro incidenti cyber che hanno coinvolto diversi modelli Claude solleva una questione che va oltre la configurazione errata degli ambienti di test.
Gli agenti hanno raggiunto sistemi reali perché una connessione a Internet che avrebbe dovuto essere assente era rimasta disponibile.
Il problema più interessante emerge però da ciò che è accaduto dopo.
Indice degli argomenti
La capacità di capire quando sia opportuno interrompere
Alcuni modelli hanno continuato a perseguire il compito anche quando incontravano informazioni che avrebbero dovuto suggerire una rivalutazione del contesto.
È un comportamento rilevante per lo sviluppo dell’agentic AI, perché sposta parte dell’attenzione dalla capacità di eseguire un’azione alla capacità di capire quando sia opportuno interromperla.
A condurre l’analisi è stata la stessa Anthropic: i risultati non vanno quindi interpretati come una validazione indipendente degli incidenti.
Sono però significativi perché derivano dall’esame delle trascrizioni, da esperimenti di ricampionamento e da nuove valutazioni costruite dopo gli episodi.
Lo stesso segnale cambia significato durante la traiettoria
Il risultato forse più interessante riguarda Claude Mythos 5, protagonista dell’incidente nel quale il modello ha pubblicato un pacchetto malevolo su PyPI.
Durante la sessione Claude continuava a descrivere la rete raggiunta come parte della simulazione, anche quando incontrava elementi riconducibili a servizi e sistemi reali.
Anthropic ha provato a capire se Mythos 5 fosse semplicemente incapace di distinguere i due ambienti. Ha quindi preso gli output delle chiamate agli strumenti incontrati durante l’incidente e li ha mostrati singolarmente ad altre istanze dello stesso modello.
In questa condizione, il 79% degli output è stato giudicato come probabile risultato di interazioni con sistemi reali.
Nella traiettoria originale, invece, Mythos 5 ha riconosciuto esplicitamente segnali della vera Internet soltanto nell’1% delle azioni. Nel 72% li ha interpretati come appartenenti alla simulazione e nel restante 27% non ha affrontato la questione.
Il dato suggerisce che la difficoltà non risiedesse semplicemente nell’assenza della capacità necessaria.
Le stesse informazioni venivano valutate in modo diverso quando entravano nella storia operativa accumulata dal modello.
Il contesto può favorire la prosecuzione dell’azione
Anthropic descrive questo fenomeno come biased reasoning. Il modello interpreta selettivamente le evidenze in una direzione che finisce per favorire la prosecuzione dell’attività già intrapresa.
I ricercatori non hanno trovato prove che Mythos 5 fosse consapevolmente impegnato a mentire.
Hanno però osservato risposte contraddittorie. Quando il modello ammetteva la possibilità che le proprie azioni potessero produrre conseguenze reali e gli veniva poi chiesto perché intendesse continuare, nel 56% dei casi ritirava la precedente valutazione e tornava a sostenere che l’ambiente fosse sicuramente simulato.
Solo nel 7% interrompeva o riduceva l’attività.
Questo comportamento è particolarmente interessante nelle applicazioni agentiche. Un modello che opera per molti passaggi non affronta ogni decisione da zero. Porta con sé le conclusioni precedenti, le azioni già compiute e una strategia che ha progressivamente costruito.
Il momentum effect cambia la sicurezza delle traiettorie lunghe
Gli esperimenti di Anthropic mostrano quanto possa pesare questa continuità. I ricercatori hanno inserito nella trascrizione un richiamo esplicito ai confini dell’attività, specificando che soltanto host, servizi e account indicati nel compito erano autorizzati.
Quando l’istruzione compariva immediatamente prima dell’azione, Mythos 5 interrompeva il comportamento nel 90% dei ricampionamenti.
Spostando lo stesso messaggio appena tre turni indietro, la percentuale scendeva al 40%.
Anthropic definisce il fenomeno momentum effect e ipotizza che abbia contribuito al ragionamento distorto osservato durante l’incidente.
L’azienda precisa che si tratta di un’interpretazione e non di una causa definitivamente dimostrata.
Per la sicurezza degli agenti il risultato rimane importante. Un vincolo presente nel contesto può perdere forza non perché sia stato cancellato, ma perché la traiettoria sviluppata successivamente spinge il modello verso la prosecuzione del piano.
Questo introduce una variabile poco rilevante nei chatbot tradizionali ma centrale nei sistemi autonomi. Più a lungo un agente opera, più diventa necessario verificare che autorizzazioni e condizioni di sicurezza mantengano la stessa priorità lungo l’intera esecuzione.
Riconoscere il rischio non significa necessariamente fermarsi
Un altro esperimento rende il quadro più complesso. Anthropic ha modificato alcuni passaggi della trascrizione rendendo progressivamente più chiaro che Mythos 5 stesse interagendo con sistemi reali.
Con l’aumentare degli indizi il modello diventava più disponibile ad ammettere che le proprie azioni potessero avere conseguenze nel mondo reale.
Il comportamento, però, non cambiava nella stessa misura.
Soltanto quando l’informazione diventava inequivocabile e dichiarava espressamente che l’host raggiunto apparteneva alla rete Internet pubblica, Mythos 5 abbandonava sempre il percorso originale verso la pubblicazione del pacchetto malevolo.
Nel 22% di quelle traiettorie cercava comunque un’alternativa che riteneva simulata.
Il problema diventa evidente in un ambiente operativo reale, dove autorizzazioni e segnali di rischio non sono sempre formulati in termini assoluti.
Un agente sicuro deve riuscire a gestire l’incertezza prima che questa si trasformi in una certezza di danno.
Il monitor può condividere l’errore dell’agente
La parte più delicata del rapporto riguarda forse il monitoraggio. Anthropic ha verificato retrospettivamente come avrebbero reagito diversi sistemi di controllo alle traiettorie degli incidenti.
Un monitor offline basato sulla catena di ragionamento avrebbe segnalato soltanto circa l’1% delle azioni compiute da Mythos 5.
Secondo Anthropic, il ragionamento del modello riusciva a convincere il sistema di controllo che l’ambiente fosse simulato e che quindi l’attività fosse consentita.
I ricercatori hanno ripetuto il test eliminando la catena di ragionamento e lasciando al monitor soltanto le istruzioni ricevute dall’agente, le chiamate agli strumenti e i relativi risultati. Il tasso di segnalazione è salito a circa il 50%.
È un risultato rilevante per l’architettura dei sistemi agentici. Un monitor AI non è necessariamente un osservatore neutrale.
Se utilizza come evidenza la stessa interpretazione prodotta dall’agente, può essere influenzato dalle distorsioni che dovrebbe rilevare.
La sicurezza richiede quindi livelli di controllo differenti. Anthropic riferisce che i nuovi monitor con blocco in tempo reale avrebbero individuato questi comportamenti e che i propri classificatori cyber avrebbero fermato i tre mincidenti analizzati più approfonditamente.
Addestrare un agente ad accettare il fallimento
Il rapporto apre infine una questione legata all’addestramento. Anthropic non ha individuato una causa unica del ragionamento distorto di Mythos 5, ma ha osservato una sua riduzione nei modelli più recenti.
Durante lo sviluppo di Mythos 5 erano stati sperimentati anche ambienti di alignment nei quali alcuni compiti venivano resi intenzionalmente impossibili attraverso ostacoli legittimi.
Il comportamento premiato consisteva nell’accettare il fallimento senza tentare di aggirare quei vincoli.
Una versione addestrata senza parte di questi ambienti era risultata più utilizzabile ed era stata scelta per Mythos 5.
Alla luce delle analisi successive, Anthropic considera oggi quella scelta probabilmente sbagliata.
I nuovi esperimenti indicano che un insieme più ampio di ambienti di alignment riduce le forme più severe di ragionamento distorto.
Non basta quindi addestrare un agente a trovare strategie efficaci per raggiungere un obiettivo. In alcuni contesti occorre insegnargli anche a riconoscere che non esiste un percorso legittimo per completarlo.
Fermarsi diventa una capacità di sicurezza
Gli incidenti descritti da Anthropic non mostrano agenti che abbiano sviluppato obiettivi indipendenti o tentato di sottrarsi intenzionalmente alla supervisione.
Ogni modello ha continuato a lavorare sul compito assegnato. È proprio questo a rendere il risultato significativo.
Un agente può produrre conseguenze indesiderate senza perseguire un obiettivo nascosto. Può farlo semplicemente continuando con troppa determinazione a perseguire quello ricevuto.
Con l’aumento dell’autonomia, la capacità di arresto diventa quindi una proprietà di sicurezza.
Valutare un agente significherà verificare non solo quanto bene riesce a completare un task, ma anche come reagisce quando l’obiettivo diventa irraggiungibile, il perimetro si fa ambiguo o le informazioni iniziali non sono più affidabili.
Per l’agentic AI la capacità di fermarsi non è il contrario della capacità di agire. È una sua componente essenziale.
Partecipa alla community