La cyber security sta per diventare il fattore che determina il ritmo di sviluppo dell’intelligenza artificiale. Gli ultimi incidenti causati agenti AI di OpenAI e Anthropic sfuggiti al controllo stanno infatti spingendo le stesse big tech a maggiore prudenza.
Dario Amodei ha chiesto di rallentare la corsa ai modelli di intelligenza artificiale più potenti. E questa volta l’appello del numero uno di Anthropic ha raccolto rapidamente il consenso di due dei suoi maggiori concorrenti: Sam Altman di OpenAI ed Elon Musk, fondatore di xAI.
Nel documento We Must Pace the Frontier, pubblicato il 12 settembre, Amodei sostiene che lo sviluppo delle capacità dei sistemi frontier sta procedendo troppo rapidamente rispetto alla capacità dei ricercatori di comprenderne e controllarne i rischi. Un anno o due guadagnati rallentando la corsa, sostiene, potrebbero essere utilizzati per migliorare alignment, interpretabilità, valutazioni e sistemi di sicurezza.
Musk ha risposto pubblicamente con un secco “Dario is right”. Altman ha a sua volta dichiarato di concordare sulla necessità di un pacing dello sviluppo e ha annunciato che OpenAI adotterà una delle proposte più concrete avanzate da Amodei: valutatori indipendenti con un accesso ai sistemi paragonabile a quello dei dipendenti incaricati delle verifiche di sicurezza.
È una convergenza insolita tra aziende che competono direttamente per costruire i modelli più potenti. Ed è rilevante soprattutto perché il dibattito non riguarda più soltanto scenari teorici di lungo periodo.
OpenAI ha già rallentato alcune attività di sviluppo proprio a causa della crescita delle capacità cyber dei propri sistemi. Nel documento del 18 agosto Pacing model development in an era of cyber-critical capabilities l’azienda ha spiegato di avere rallentato alcune attività di scaling mentre rafforzava monitoring, alignment e sicurezza, dopo avere osservato segnali che Astra potesse raggiungere il livello “Critical” previsto dal proprio framework per le capacità di cyber security.
Il passaggio è importante: un test di sicurezza ha iniziato a incidere direttamente sulla velocità con cui viene sviluppato un modello.
È proprio questo il modello che Amodei propone ora di generalizzare. Non una pausa indefinita, ma una serie di checkpoint: quando una capacità particolarmente rischiosa supera una certa soglia, lo sviluppatore non dovrebbe continuare automaticamente a rendere il modello più potente. Prima dovrebbe dimostrare che anche le misure di sicurezza hanno raggiunto un livello adeguato.
Indice degli argomenti
Perché il rischio cyber pesa sempre di più
Il problema nasce dall’evoluzione dei sistemi AI.
Un chatbot riceve una richiesta e produce una risposta. Un agente AI può invece ricevere un obiettivo, utilizzare strumenti, eseguire codice, interrogare servizi, operare su file, chiamare API e concatenare autonomamente molte azioni.
Questo significa che la capacità cyber di un modello non può più essere valutata soltanto chiedendosi se sappia produrre malware o spiegare come sfruttare una vulnerabilità.
Conta ciò che riesce effettivamente a fare quando dispone di strumenti e accesso a un ambiente operativo.
Un modello collegato a una shell, a un browser, a repository di codice e a servizi cloud può trasformare conoscenze che in una chat rimarrebbero teoriche in una sequenza di azioni concrete.
Per questo OpenAI indica tre linee di difesa: monitoring, alignment e security. Il monitoraggio deve permettere di individuare comportamenti sospetti; l’allineamento deve ridurre la probabilità che il sistema intraprenda azioni indesiderate; la sicurezza dell’infrastruttura deve limitare materialmente ciò che l’agente può raggiungere o modificare.
La distinzione vale anche per le aziende che stanno introducendo agenti nei propri sistemi. Le istruzioni impartite al modello non sostituiscono controlli tradizionali come least privilege, segmentazione, gestione delle credenziali, sandboxing, logging e autorizzazioni sulle singole azioni.
Le soglie che possono fermare un modello
I maggiori laboratori hanno già iniziato a formalizzare questa logica nei propri framework di sicurezza.
La Responsible Scaling Policy di Anthropic collega capacità crescenti a requisiti di sicurezza progressivamente più severi. Google DeepMind utilizza il proprio Frontier Safety Framework. OpenAI adotta un Preparedness Framework per valutare alcune capacità potenzialmente pericolose prima del deployment.
Sono modelli differenti, ma condividono un meccanismo: individuare in anticipo capacità che possono produrre danni gravi e definire le mitigazioni necessarie quando vengono raggiunte determinate soglie.
La cyber security è uno dei campi in cui questo approccio è più maturo.
Nel rapporto Frontier Capability Assessments il Frontier Model Forum considera tra le capacità da misurare anche la possibilità che un sistema AI automatizzi attività cyber offensive sofisticate.
Questo cambia la domanda da porre durante un test. Non basta sapere se il modello comprende una vulnerabilità. Bisogna capire se riesce a individuare autonomamente un bersaglio, sviluppare o adattare un exploit, concatenare più fasi dell’attacco e superare gli ostacoli che incontra.
Quando il benchmark non basta
Misurare queste capacità è però difficile.
Un modello può ottenere buoni risultati in singole challenge cyber senza riuscire a portare avanti un attacco complesso nel mondo reale. Oppure un benchmark può sottostimare il rischio perché non mette il sistema nelle condizioni operative nelle quali sarà realmente utilizzato.
Il Frontier Model Forum ha dedicato al tema il rapporto Managing Advanced Cyber Risks in Frontier AI Frameworks, pubblicato nel febbraio 2026.
Una delle conseguenze è che i test devono diventare più realistici. Occorre valutare il modello insieme agli strumenti che può utilizzare e nell’ambiente nel quale dovrà operare.
Lo stesso vale per il red teaming. Cercare semplicemente di indurre il modello a rispondere a una richiesta proibita misura solo una piccola parte del problema. Un agente può trovare percorsi inattesi attraverso strumenti, API e applicazioni che il test isolato del modello non contempla.
Amodei: se l’AI sa uscire dalla sandbox bisogna fermarsi
La proposta di Amodei rende il concetto particolarmente concreto.
In We Must Pace the Frontier immagina un sistema di checkpoint. Il superamento di una capacità X dovrebbe richiedere il raggiungimento di condizioni di sicurezza Y e Z prima che il laboratorio possa continuare lo scaling.
Uno degli esempi riguarda espressamente un modello capace di “evadere o sconfiggere” le normali tecniche di sandboxing.
In quel caso non basterebbe migliorare la sandbox. Prima di continuare a rendere il modello più potente, il laboratorio dovrebbe poter dimostrare attraverso evaluation, interpretabilità e audit degli ambienti di training che il sistema presenta un rischio sufficientemente basso di tentare una fuga o di assumere il controllo di altre macchine.
Per la cyber security è un cambio di paradigma interessante.
La sandbox tradizionale deve contenere codice potenzialmente ostile. Qui potrebbe essere necessario contenere un sistema che diventa progressivamente più capace di trovare vulnerabilità proprio nelle infrastrutture costruite per limitarlo.
La sicurezza dell’ambiente deve quindi crescere almeno alla stessa velocità della capacità del sistema ospitato.
Altman appoggia l’idea degli auditor dentro i laboratori
La seconda proposta che ha raccolto rapidamente consenso riguarda chi deve verificare che questi requisiti vengano davvero rispettati.
Amodei propone embedded evaluators: valutatori indipendenti con accesso continuativo ai sistemi e agli ambienti dei laboratori, anziché semplici auditor chiamati a esaminare il modello finito.
Potrebbero avere strumenti, permessi e persino badge aziendali analoghi a quelli dei dipendenti che si occupano delle valutazioni di sicurezza. L’obiettivo sarebbe controllare non soltanto il modello, ma anche il processo con il quale viene sviluppato e testato.
Altman ha annunciato pubblicamente che OpenAI intende adottare a sua volta questo approccio.
L’idea sviluppa un problema già affrontato nel rapporto Third-Party Assessments del Frontier Model Forum.
Il documento distingue diverse funzioni delle verifiche esterne: confermare la correttezza dei test interni, utilizzare metodologie indipendenti per cercare failure mode sfuggiti al produttore e aggiungere competenze specialistiche che il laboratorio non possiede.
Il limite è che oggi non esiste ancora uno standard uniforme per queste verifiche.
Standard comuni tra concorrenti
Ed è qui che rallentare diventa molto più difficile di quanto sembri.
Se Anthropic considera pericolosa una determinata capacità a un livello, OpenAI a un altro e Google la misura con un benchmark differente, non esiste un criterio comune per stabilire quando lo sviluppo dovrebbe effettivamente fermarsi.
L’International AI Safety Report 2026 sottolinea proprio il problema dell’evaluation gap: le valutazioni effettuate sui modelli non riescono sempre a prevederne il comportamento reale.
I benchmark possono diventare obsoleti o contaminati dai dati di training. Una metrica può rappresentare male la capacità che dovrebbe misurare. E sistemi più sofisticati possono comportarsi diversamente quando riconoscono una situazione di valutazione.
Per questo la convergenza tra Amodei, Altman e Musk ha conseguenze che vanno oltre l’appello politico a “rallentare”.
Se il principio deve funzionare, occorrono test confrontabili, soglie condivise e conseguenze definite in anticipo quando quelle soglie vengono superate.
Anche gli incidenti devono essere condivisi
La stessa logica riguarda ciò che succede dopo i test.
Un laboratorio può osservare un comportamento inatteso o una vulnerabilità che riguarda una nuova capacità del modello. Se l’informazione resta al suo interno, gli altri sviluppatori possono incontrare separatamente lo stesso problema.
È un meccanismo ben noto nella cyber security, dove incident reporting e condivisione delle informazioni permettono agli altri operatori di aggiornare le proprie difese.
Con l’AI frontier, tuttavia, condividere un incidente può significare anche rivelare vulnerabilità dell’infrastruttura, nuove capacità offensive o dettagli sulle misure di sicurezza utilizzate dal laboratorio.
Servono quindi regole che permettano di condividere abbastanza informazioni da consentire agli altri di proteggersi senza creare un manuale operativo per eventuali attaccanti.
Gli embedded evaluators proposti da Amodei avrebbero anche il compito di verificare e segnalare gli incidenti. Potrebbero quindi introdurre un livello di controllo esterno anche sulla decisione, oggi in larga misura interna, di stabilire quando un comportamento del modello costituisca effettivamente un incidente rilevante.
Dal principio del “move fast” a una soglia di sicurezza
La novità delle dichiarazioni di questi giorni sta quindi anche nella provenienza.
A chiedere un rallentamento non sono soltanto ricercatori esterni o gruppi che da anni sollevano l’allarme sui rischi dell’AI. Sono alcuni dei principali protagonisti della corsa ai modelli frontier.
Resta da capire quanto questa convergenza resisterà quando rallentare significherà davvero rinunciare, anche temporaneamente, a un vantaggio competitivo.
Per la cyber security il test sarà molto concreto. OpenAI ha già mostrato che una soglia di capacità cyber può avere conseguenze sul ritmo dello scaling. Anthropic vuole trasformare questo approccio in checkpoint più generali. Altman appoggia l’ingresso di valutatori indipendenti nei laboratori.
La questione adesso è trasformare queste intenzioni in procedure verificabili. Perché il vero cambiamento avverrà quando una valutazione di sicurezza non si limiterà a descrivere il rischio di un modello, ma potrà determinare che quel modello, in quelle condizioni, non deve ancora diventare più potente.
Partecipa alla community