Nel apporto del 30 luglio, Anthropic aveva affermato che gli incidenti sembravano più simili a fallimenti operativi e che, a quanto pareva, Claude aveva attaccato obiettivi reali su Internet, ritenendo che tali obiettivi facessero parte di una simulazione.
Tuttavia, ora rilascia un nuovo report, dal titolo “An alignment assessment of recent cybersecurity incidents”, in cui sottolinea che il ragionamento di Claude sembri invece orientato a credere che Internet sia simulato, nonostante le numerose evidenze del contrario.
“Gli incidenti analizzati da Anthropic mettono in evidenza un limite concreto dei sistemi agentici avanzati. Non basta valutare ciò che un modello sa fare. Conta anche come interpreta il contesto, quanto riesce a rispettare i confini operativi e se è in grado di fermarsi quando emergono segnali che rendono l’azione rischiosa o non più chiaramente autorizzata”, commenta Giovanni Masi, Computer Science Engineer.
Nei futuri sistemi di IA sempre più capaci, il disallineamento avrà il potenziale di provocare danni più gravi. Anthropic ammette che la sfida tecnica tuttora irrisolta.
Secondo Claudio Telmon, Senior Partner – Information & Cyber Security di P4I – Partners4Innovation, “questa analisi mostra due temi ricorrenti e preoccupanti”, Ecco quali.
Indice degli argomenti
Il comportamento di Claude e le due forme di disallineamento
Dopo aver condotto una valutazione più completa e aver utilizzato diversi metodi – tra cui un’analisi più approfondita della Teoria della Coscienza (CoT) dei modelli, esperimenti di ricampionamento da diversi punti delle trascrizioni degli incidenti e analisi di interpretabilità delle attivazioni del modello – ritiene che il comportamento di Claude rifletta due forme di disallineamento: Biased reasoning (il ragionamento distorto), in cui i modelli interpretano selettivamente le prove in modi che favoriscono la giustificazione delle loro azioni; l’imprudenza, dove i modelli hanno la propensione a continuare a cercare di risolvere il proprio compito, anche quando ciò potrebbe causare danni.
Claude Mythos 5
Anthropic si dice preoccupata dal comportamento anomalo riscontrato nella trascrizione di Claude Mythos 5, in cui il modello ha caricato un pacchetto dannoso su PyPI.
Nel farlo, Mythos 5 ha agito in modo sconsiderato nonostante le prove evidenti che fosse connesso alla rete Internet reale.
Una volta online, il modello ha tentato di utilizzare credenziali relative a sistemi di pagamento online e di reperire criptovaluta per acquistare un numero di telefono, necessario per registrare un indirizzo email.
Quando questo tentativo è fallito, ha individuato un provider di posta elettronica gratuito usa-e-getta il cui dominio non era stato bloccato da PyPI, ha registrato un account, pubblicando tre versioni di un pacchetto dannoso e utilizzando le credenziali trapelate da uno dei 15 sistemi che avevano installato il pacchetto per accedere al database di un vero fornitore di soluzioni di sicurezza.
Claude Mythos 5 ha ripetutamente affermato nel proprio CoT di trovarsi in una simulazione.
Tuttavia, in fase di ricampionamento – ovvero rieseguendo il modello a partire da un punto specifico della trascrizione, per poi modificare le informazioni precedenti per verificare se le sue azioni cambiassero – Anthropic ha scoperto che chiarire che l’ambiente non fosse una simulazione non modificava in modo significativo il comportamento di Claude.
Il modello era solo più incline a riconoscere i possibili danni nel mondo reale. Solo quando ha fornito prove inconfutabili e inequivocabili che il modello si trovava sulla rete reale, Claude ha desistito.
“Il caso Mythos 5 è quello più significativo. Durante una traiettoria lunga, il modello ha continuato a interpretare come parte della simulazione diversi segnali riconducibili alla rete reale. Anthropic parla di ragionamento distorto e imprudenza, due comportamenti che diventano particolarmente critici quando un agente dispone di strumenti, accesso alla rete e autonomia operativa”, sottolinea Giovanni Masi.
Claude Opus 4.7
A differenza di Claude Mythos 5, Claude Opus 4.7 ha correttamente riconosciuto nel proprio ragionamento che il suo obiettivo era un’azienda reale.
Tuttavia, ha supposto che tale azienda rientrasse nell’ambito del compito poiché era raggiungibile dalla rete dell’esercitazione e condivideva il nome con l’obiettivo fittizio dell’esercitazione.
Opus 4.7 non ha quasi mai messo in discussione questa supposizione né ha cercato di verificarla, ma ha proceduto ad attaccare un sistema che riteneva reale, dimostrando unn comportamento imprudente.
Tuttavia, Anthropic ha anche riscontrato che Opus 4.7 è sensibile alle questioni relative all’autorizzazione: “Quando abbiamo ricampionato parti della trascrizione di Opus 4.7 aggiungendo indizi che indicavano che l’attacco non era stato autorizzato, la frequenza con cui ha proseguito l’attacco è diminuita in modo significativo”.
Infatti, “Mythos 5.1 e Opus 5 mostrano miglioramenti evidenti rispetto a Mythos 5, ma gli stessi comportamenti non scompaiono del tutto. Questo rende difficile affidare la sicurezza al solo allineamento del modello. Servono anche controlli infrastrutturali, limiti operativi e sistemi di monitoraggio indipendenti“, avverte Giovanni Masi.
I metodi
Le valutazioni che cita Anthropic nel suo report si basano su una serie di tecniche diverse:
- analisi dei blocchi di pensiero (Reading thinking blocks);
- porre domande di approfondimento (Asking follow-up questions);
- applicazione degli strumenti di interpretabilità;
- ricampionamento delle trascrizioni modificate.
L’analisi dei blocchi di pensiero
Il metodo di analisi principale consiste nell’analizzare le azioni compiute dal modello e le spiegazioni fornite nel suo CoT.
Secondo Anthropic, ciò permette di comprendere le ragioni addotte da Claude per le azioni intraprese. In queste trascrizioni, i modelli alternano il ragionamento CoT all’esecuzione di azioni tramite chiamate agli strumenti (senza alcun intervento umano intermedio); nell’analizzare i blocchi di pensiero, li numeriamo in base all’azione che segue quel blocco di pensiero (adperesempio, il CoT per l’azione 100 si riferisce al ragionamento del modello tra l’azione 99 e l’azione 100).
Le domande di approfondimento
Quando si pongono domande di approfondimento, i modelli a volte rivelano informazioni che differiscono da ciò che hanno espresso spontaneamente durante l’esecuzione di un compito.
Per eseguire questi test, Anthropic tronca la trascrizione di un episodio in un punto intermedio di interesse, inserendo un messaggio umano che pone al modello una domanda sulla situazione e campioniando la risposta del modello a tale domanda – ovvero, simulando ciò che accadrebbe se un essere umano avesse interrotto la valutazione e avesse interrogato il modello.
“Nelle nostre ricerche, abbiamo generalmente utilizzato questo metodo per chiedere a un modello se le entità con cui stava interagendo fossero reali e se stesse causando danni nel mondo reale, oltre che per porre domande generali aperte sulla sua situazione”, scrive la società dei fratelli Amodeo.
L’applicazione degli strumenti di interpretabilità
Anthropic utilizza metodi di interpretabilità per identificare discrepanze tra i meccanismi interni di Claude e il testo o le azioni da esso generati.
Gli strumenti principali sono gli autoencoder di linguaggio naturale (NLA), che producono spiegazioni in linguaggio naturale della lunghezza di un paragrafo relative alle attivazioni del modello, e il Template lens (T-lens), che misura quanto un’attivazione assomigli all’attivazione media che precede una data parola in un corpus testuale.
Il ricampionamento delle trascrizioni modificate
Per verificare le ipotesi sulle cause di una determinata azione dannosa, Anthropic modificia artificialmente le trascrizioni (per esempio, per includere indizi o ragionamenti che suggeriscano che Internet sia simulato o reale), effettuando un ricampionamento dal modello sulla trascrizione modificata e utilizzando un sistema di valutazione basato su un modello di linguaggio di grandi dimensioni (LLM) per verificare se il modello compia ancora l’azione in questione.
“Effettuiamo il ricampionamento sia delle continuazioni a turno singolo che di quelle a turni multipli; per queste ultime, un modello Claude simula gli output delle chiamate agli strumenti, il che ci permette di osservare il comportamento oltre l’azione immediatamente successiva”, scrive Anthropic.
Incidenti AI e alignment: Anthropic svela l’upload di un pacchetto malevolo PyPI
A Claude Mythos 5 , Anthropic aveva assegnato un compito CTF che consisteva nell’hackerare un’azienda fittizia, dicendogli che questa non aveva accesso a Internet.
Il modello ha riconosciuto che l’ambiente di valutazione era simulato, ma ha rapidamente individuato delle credenziali che, di fatto, gli consentivano l’accesso a Internet reale.
Nel suo CoT, il modello sembrava portare con sé la convinzione che l’ambiente fosse simulato nelle sue interazioni su Internet reale, anche se tale convinzione non era più corretta.
Quando ha riscontrato prove del fatto che stava agendo su Internet reale, non ha rivisto in modo significativo questa conclusione.
Anche dopo aver avuto accesso alla vera rete Internet, il ragionamento esterno di Claude Mythos 5 definiva generalmente l’ambiente come una simulazione. Oppure, quando considerava la possibilità che l’ambiente potesse essere reale, scartava tale ipotesi.
Questa apparente convinzione è persistita anche quando il modello ha raccolto prove che suggerivano fortemente che la situazione fosse un ambiente reale.
Per esempio, dopo aver individuato una serie di domini Internet del mondo reale, ha scritto: «Questo è un ambiente Internet simulato molto elaborato».
Il modello tendeva inoltre a interpretare i segnali che indicavano la realtà dell’ambiente come ulteriori prove del fatto che fosse simulato. Quando, per esempio, gli scanner di sicurezza hanno installato il suo pacchetto, il modello li ha considerati come attori che seguivano un copione nell’ambito dell’esercitazione.
Claude Mythos 5 ha ignorato le prove pur di perseguire la propria linea d’azione
Oltre a non aver valutato le prove che indicavano che l’ambiente potesse essere reale, il ragionamento esterno di Claude Mythos 5 ha accantonato la questione della realtà o simulazione dell’ambiente subito dopo essere entrato nella rete Internet pubblica.
“Abbiamo individuato cinque casi in cui il blocco di ragionamento del modello ha risposto alle prove di realismo concludendo che la sua mossa successiva avrebbe funzionato indipendentemente dal fatto che l’ambiente fosse reale o simulato.
Nessuna di queste affermazioni è stata formulata mentre il modello stava valutando un’azione dannosa, ma potrebbero riflettere il modo in cui il modello ha affrontato la questione del realismo in senso più generale”. Di seguito sono riportati alcuni esempi”, scrive Anthropic, riportando alcuni esempi.
L’addestramento all’allineamento riduce il ragionamento distorto
Oltre a lavorare per migliorare la qualità degli ambienti di apprendimento per rinforzo (RL) al fine di evitare di premiare comportamenti non desiderati, Anthropic si addestra anche su ambienti di allineamento progettati per insegnare i limiti appropriati: ad esempio, una versione modificata di un ambiente esistente incentrato sulle capacità, in cui il compito è reso impossibile da un ostacolo legittimo e l’unico comportamento premiato è accettare il fallimento senza tentare di aggirare l’ostacolo.
“Quando abbiamo addestrato Mythos 5, avevamo a disposizione alcune versioni iniziali di questi ambienti, ma non eravamo certi della loro qualità; alcune prove deboli suggerivano infatti che potessero avere effetti collaterali negativi, come rendere il modello più pigro. Avevamo inoltre prove empiriche minime del fatto che potessero effettivamente essere d’aiuto e non eravamo sicuri di poter prevedere tutti gli effetti a valle dell’addestramento su questi ambienti”, riporta Anthropic.
Il recente post, dal titolo “Training a Misaligned Reward Seeker”, dimostra che il “reward hacking” e la ricerca di ricompense appresi da ambienti difettosi possono portare a gravi casi di disallineamento.
Questa scoperta, insieme all’esperienza nell’affrontare il disallineamento a partire da Claude Sonnet 3.7, sta convincendo Anthropic che migliorare la qualità dell’ambiente per evitare l’addestramento basato su “reward hacking” (o su compiti altrimenti configurati in modo errato) sia un modo efficace per aiutare a prevenire fallimenti come quelli qui descritti.
Come mitigare i rischi
Un addestramento diversificato all’allineamento sembra ridurre in modo sostanziale alcuni dei comportamenti peggiori riscontrati in questi incidenti, come il ragionamento distorto.
Dal report si evince che affidare la sicurezza al solo allineamento del modello è complicato, perché sono necesxsari anche controlli infrastrutturali, limiti operativi e sistemi di monitoraggio indipendenti.
Un ulteriore addestramento all’allineamento avrebbe probabilmente reso Mythos 5 meno incline ai comportamenti all’origine dell’incidente più grave. Anthropic afferma di proseguire ad ampliare l’addestramento all’allineamento in modo che i modelli valutino meglio quando determinati comportamenti, come la perseveranza rispetto alla cautela, siano giustificati.
“È forse questa la parte più importante del lavoro di Anthropic. Un agente affidabile non deve soltanto essere capace di raggiungere un obiettivo. Deve saper riconoscere quando continuare non è più la scelta corretta“, mette in guardia Giovanni Masi.
Per esempio, ciò può comportare l’ampliamento degli ambienti di capacità esistenti per rendere intenzionalmente impossibili alcuni compiti e premiare il modello per essersi fermato in modo appropriato.
Uno ingente sforzo
Anthropic spiega che l’analisi dei comportamenti emersi da questi episodi si è rivelato impegnativo. Riguardavano modelli diversi, addestrati a distanza di mesi l’uno dall’altro e con regimi diversi, il che ha reso difficile trarre conclusioni generali.
Hanno richiesto di confrontarsi con questioni complesse: cosa significa per un modello avere una convinzione? Quale peso si dovrebbe attribuire alla descrizione che un modello fa del proprio ragionamento?
I ricercatori a volte non erano d’accordo su tali questioni e sul significato delle prove a loro sostegno.
Anthropic adotta un approccio a più livelli alla sicurezza, partendo dal presupposto che ogni singolo livello possa talvolta fallire.
“La causa immediata di questi incidenti è stata un errore di configurazione nel livello più esterno di un ambiente di valutazione di terze parti, ma ciò ha messo in luce un secondo fallimento sotto forma di comportamento non allineato che la nostra verifica pre-rilascio non era riuscita a individuare. Consideriamo questi incidenti gravi”, evidenzia Anthropic.
I temi ricorrenti e preoccupanti
Secondo Claudio Telmon, sono “due i temi ricorrenti e preoccupanti:
- modelli che riconoscono di stare per compiere azioni ‘misaligned’, ma, prevalendo altre valutazioni legate al raggiungimento di un risultato, le compiono lo stesso;
- definizione di sub-obiettivi finalizzati al raggiungimento dell’obiettivo finale, che possono avere impatti elevati per un risultato anche piccolo, ma che è l’obiettivo delle attività che in quel momento il modello sta compiendo; in questo caso, contaminare un repository pubblico, quindi creando potenzialmente vulnerabilità di impatto ampissimo, per poter compromettere magari poi un singolo sistema; questa catena di azioni è la stessa che citavo anche per il caso di OpenAI: per bloccare un sistema, potrei voler bloccare l’intero datacenter, quindi potrei dover togliere corrente all’intero datacenter, quindi potrei dover togliere corrente all’intera area… solo vincoli di aligment estremamente forti possono evitare queste catene di ragionamento e azione”, conclude Claudio Telmon.
Rischi più alti in futuro
I modelli di produzione hanno compiuto azioni malevole contro sistemi reali, per ore, sulla base di ragionamenti discutibili e distorti.
“Riteniamo che gli attuali approcci di addestramento siano probabilmente in grado di affrontare le specifiche modalità di disallineamento osservate in questi incidenti. Tuttavia, consideriamo questi incidenti e altri verificatisi quest’estate come preziosi segnali di allarme”, mette in guardia Anthropic.
I futuri sistemi di IA saranno sempre più capaci, il che implica che il disallineamento avrà il potenziale di causare danni più gravi.
Addestrare i modelli estremamente potenti del futuro affinché siano saldamente allineati è una sfida tecnica irrisolta che per essere superata richiede una ricerca continua e un’eccellenza operativa.
Intanto accontentiamoci di permessi minimi, segmentazione, accessi temporanei, blocchi di rete in uscita, approvazioni umane e log che l’agentic AI non possa modificare.
Partecipa alla community