AI, migliaia di incidenti cyber: è difficile governare sistemi sempre più autonomi

Lo stillicidio di incidenti di sicurezza legati all’AI è senza fine. Ma, secondo uno scoop di Axios, le società di intelligenza artificiale stanno indagando su decine di migliaia di incidenti cyber.

Solo nelle ultime ore è emerso che i bot di OpenAI stanno hackerando i siti web del governo statunitense. “Per l’azienda di Altman, si è trattato di un ‘comportamento inaspettato’ che era già stato individuato”, scrive il New York Times.

Secondo Alessandro Curioni, fondatore di DI.GI Academy, “il numero va letto con cautela perché molti casi provengono da test costruiti apposta per mettere i modelli in difficoltà e comprendono anche tentativi falliti”.

Ma “il dato più interessante non è il numero assoluto degli episodi, ma ciò che suggerisce sulla difficoltà di governare sistemi sempre più autonomi”, commenta Pierluigi Paganini, analista di cyber security e Ceo Cybhorus.

AI e incidenti cyber: cosa emerge dalle indagini

OpenAI, Anthropic e alcuni ricercatori nel campo della sicurezza stanno indagando su decine di migliaia di incidenti in cui i loro modelli all’avanguardia hanno adottato comportamenti che valutatori esterni considererebbero problematici, secondo quanto riferito da fonti ad Axios.

Tutto ciò è molto importante perché l’enorme numero di incidenti, verificatisi negli ultimi mesi, sia durante i test interni che nel mondo reale, indica che il problema è di gran lunga più complesso di quanto sia di dominio pubblico.

“Una percentuale apparentemente marginale di comportamenti problematici diventa significativa quando viene applicata a centinaia di migliaia o milioni di interazioni”, spiega Paganini: “Il problema quindi non sembra essere l’eliminazione del singolo comportamento anomalo, ma la capacità di prevedere comportamenti che gli sviluppatori stessi non hanno anticipato”.

Inoltre, i risultati, che stanno venendo alla luce nell’ambito del lavoro interno volto a valutare i modelli e delle indagini condotte da entrambe le aziende sul comportamento dei modelli, sollevano dubbi sul fatto che una delle due aziende – o qualsiasi altro importante produttore di modelli – sia attualmente in grado di esercitare un controllo completo sulla propria tecnologia.

Ad essere “interessante – prosegue Curioni – è la frequenza con cui sistemi autonomi, posti davanti a un ostacolo, cercano una strada alternativa per raggiungere l’obiettivo”.

I dettagli

Tra gli episodi figurano l’aggiramento dei sistemi di protezione, la creazione di bacheche, la fuga dai sandbox, il dirottamento di siti web, l’auto-prompting o il tentativo di aggirare i sistemi di monitoraggio, secondo quanto riferito dalle fonti.

Tali episodi si sono verificati sia durante i test interni che nel mondo reale. Molti non sono tuttora di dominio pubblico poiché i ricercatori di sicurezza continuano a indagare. Lo affermano le fonti.

Alcuni di questi test sono simili alle attività di “red teaming”, in cui le aziende cercano di indurre i modelli a comportarsi in modo anomalo per assicurarsi che siano sicuri, secondo quanto riferito dalle fonti.

Il comportamento anomalo degli agenti sta diventando sinonimo dello sviluppo all’avanguardia dell’IA.

“C’è poi una distinzione importante tra test avversari e incidenti reali: non tutto ciò che emerge durante un red team rappresenta un rischio operativo. Tuttavia, quando gli stessi modelli mostrano capacità di aggirare vincoli, cercare nuove risorse o modificare il proprio comportamento per raggiungere un obiettivo, il confine tra errore sperimentale e rischio concreto diventa meno netto”, avverte Paganini.

I più grandi laboratori di IA affrontano infatti una sfida simile, che vede da una parte gli esseri umani che cercano di creare barriere di protezione e dall’altra sistemi resilienti e potenti che cercano di portare a termine i compiti assegnati.

Nessun danno al mondo reale

Gli incidenti variano in termini di gravità e sono paragonabili a quelli resi noti da OpenAI negli ultimi giorni.

Comprendono sia tentativi riusciti di aggirare i meccanismi di sicurezza sia tentativi falliti. E, per la maggior parte, finora non risulta che abbiano causato danni nel mondo reale. Il totale potrebbe superare di gran lunga le decine di migliaia, secondo quanto riferito da fonti.

Negli ultimi giorni, OpenAI e ricercatori esterni hanno reso nota una lunga serie di episodi relativi al comportamento dei modelli dei sistemi dell’azienda che alcuni esperti considerano preoccupanti.

Tra questi figurano la divulgazione online da parte di agenti di OpenAI di 53 immagini appartenenti a utenti di ChatGPT, la violazione di un sito web del governo australiano (il primo attacco AI a un sito governativo) e tentativi di hackerare altri siti – compresi quelli del governo statunitense -, secondo quanto riferito dall’azienda, da fonti e da articoli pubblicati da Reuters e dal New York Times.

Il Nyt sottolinea come l’intelligenza artificiale sviluppata dall’azienda guidata da Sam Altman abbia interferito con i siti web del Dipartimento dell’Istruzione, del Dipartimento del Commercio e della Securities and Exchange Commission degli Usa. OpenAI ha parzialmente confermato la recente interferenza.

La pausa proposta da OpenAI, nonostante la contrarietà di Trump

OpenAI ha annunciato di aver sospeso l’addestramento dei suoi modelli più potenti e che lo riprenderà “solo quando saremo certi di disporre di ulteriori misure di sicurezza e di miglioramenti nell’allineamento”, ha dichiarato un portavoce ad Axios.

L’amministratore delegato Sam Altman ha affermato su X che la revisione in corso “non è stata così rapida come avremmo voluto”.

Altman ha affermato che l’incidente di Hugging Face è il più grave che abbiano mai riscontrato.

In quel caso, uno sciame di centinaia di agenti ha coordinato il proprio lavoro in un forum e ha hackerato un’azienda esterna nel tentativo di migliorare le proprie prestazioni in un test di sicurezza informatica.

“Le persone vogliono sapere che l’IA viene sviluppata in modo sicuro, e questo inizia da ciò che aziende come la nostra fanno in prima persona”, ha dichiarato un portavoce di OpenAI ad Axios.

“Non è la prima volta che ci fermiamo per adottare tali misure, né ci aspettiamo che sia l’ultima, dato che le capacità dell’IA continuano a progredire”.

Lo stato dell’arte su AI e incidenti di sicurezza

Anthropic ha incaricato un’organizzazione di sicurezza indipendente di esaminare il comportamento dei propri modelli.

I documenti resi pubblici dall’azienda hanno reso nota la frequenza degli episodi di disallineamento.

La “scheda di sistema” relativa al modello Opus 5.5, pubblicata questa settimana, ha mostrato con quale frequenza il modello abbia manifestato comportamenti che l’azienda ha segnalato come insoliti o problematici.

Per esempio, il modello ha tentato di sfuggire a una sandbox – un ambiente di test protetto – nell’1,5% delle esecuzioni di test, sebbene l’azienda abbia sottolineato che si trattava di esperimenti avversariali in cui un compito non poteva essere risolto senza sfuggire alla sandbox.

Tittavia, secondo alcune fonti, Anthropic ed altre aziende conducono centinaia di migliaia di esecuzioni di test sui propri modelli, se non di più.

Ciò significa che anche una piccola percentuale di comportamenti non allineati può comunque tradursi in decine di migliaia di incidenti in cui i modelli si sono comportati in modi inaspettati, a volte preoccupanti.

L’incidente di Hugging Face, così come una serie di altri che sono seguiti, ha portato i massimi dirigenti del settore dell’IA a chiedere un rallentamento dello sviluppo e a sollecitare normative federali e internazionali più rigorose.

Hugging Face, un evento isolato o incapacità di governare

Alcuni all’interno di OpenAI considerano il caso di Hugging Face un evento isolato, ritenendo che le rivelazioni su eventuali incidenti futuri saranno probabilmente meno gravi grazie al miglioramento dei controlli e alla natura insolita dei test condotti, che hanno coinvolto un modello non ancora rilasciato, secondo quanto riferito da fonti ad Axios.

I ricercatori nel campo della sicurezza dell’IA concordano sul fatto che esistano semplici soluzioni che aiuteranno le aziende del settore a evitare gli aspetti che hanno fatto apparire l’episodio di Hugging Face così pericoloso agli occhi degli estranei.

Altri dirigenti del settore dell’IA e ricercatori nel campo della sicurezza, tuttavia, hanno espresso scetticismo sulla capacità delle aziende di IA di prevenire tutti i comportamenti problematici dei modelli.

La nuova generazione di modelli di IA svolge i compiti con straordinaria resilienza.

Quindi cercare di limitarne l’ingegnosità è spesso una battaglia persa, poiché è necessario anticipare ogni possibile modo in cui potrebbero sfuggire al controllo.

Spesso, secondo quanto affermato da alcuni dirigenti di spicco del settore dell’IA, è proprio una tecnica che non sarebbe mai venuta in mente agli esseri umani a consentire loro di aggirare le misure di sicurezza.

“Cercare di stilare un elenco perfetto di cose da fare e da non fare è probabilmente un’impresa vana”, ha affermato un dirigente specializzato in sicurezza informatica.

I segnali da non sottovalutare in futuro

È prevedibile che, durante la fase di test dei nuovi modelli, all’interno delle aziende che si occupano di IA si verifichino alcuni casi di ciò che gli esperti di sicurezza dell’IA definiscono “comportamento disallineato”.

Ridurre a zero il rischio di disallineamento potrebbe non essere fattibile, hanno spiegato gli esperti ad Axios.

La preoccupazione è che, se un modello compie un’azione problematica più volte durante i test, è più probabile che il comportamento di quel modello provochi un incidente informatico nel mondo reale.

“Quello che abbiamo visto in termini di comportamenti di questi agenti è solo la punta dell’iceberg”, ha dichiarato ad Axios il ricercatore Conrad Stosz di Transluce, un ente indipendente di valutazione dell’IA.

Non si tratta di quanto sia stato dannoso ogni singolo caso, ha spiegato ad Axios Connor Leahy, ricercatore di IA e direttore esecutivo di ControlAI.

Ci si aspettano nuove rivelazioni sui comportamenti scorretti dei modelli. Man mano che le aziende specializzate nell’intelligenza artificiale continuano a espandere i confini delle loro capacità.

“In questo scenario, affidarsi soltanto a liste di comportamenti consentiti o vietati appare fragile. La sicurezza degli agenti dovrà probabilmente basarsi sempre più su controlli esterni, autorizzazioni limitate, monitoraggio continuo e capacità di interrompere realmente le loro azioni”, mette in guardia Paganini.

Una vera ecologia competitiva delle IA

La “cosa assurda” è che questi casi riguardano “sistemi autonomi che compiono azioni che era stato loro detto di non compiere”, tra cui potenzialmente anche reati.

“Non serve immaginare coscienza, volontà di ribellione o istinto di sopravvivenza. Basta qualcosa di molto più semplice, quasi da ameba: obiettivo, ostacolo, adattamento. Quando però l’ameba dispone di capacità cyber, memoria, strumenti e centinaia di agenti coordinati, il problema cambia scala”, spiega Alessandro Curioni.

“Il segnale da osservare adesso è se questa capacità di aggirare i vincoli comincerà a manifestarsi anche nell’acquisizione e nella difesa delle risorse computazionali, perché a quel punto non parleremmo più soltanto di incidenti di sicurezza, ma dell’inizio di una vera ecologia competitiva delle IA”, conclude Alessandro Curioni.