Gli agenti di OpenAI hanno attaccato RubyGems prima dell’incidente di Hugging Face.
L’11 maggio alcuni agenti di intelligenza artificiale hanno infatti caricato pacchetti malevoli su RubyGems. Secondo OpenAI, gli agenti hanno sfruttato RubyGems per accedere a Internet e recuperare informazioni pubbliche.
Tuttavia, RubyGems nega l’esistenza di prove che gli agenti siano riusciti a sottrarre le credenziali degli utenti. Gli attacchi sferrati da agenti di intelligenza artificiale provenienti da diversi sviluppatori hanno comunque destato allarme.
“RubyGems e Hugging Face non sono incidenti isolati. Il problema non è l’AI in sé, ma la mancanza di controlli robusti”, commenta Sandro Sana, Ethical Hacker e membro Comitato Scientifico Cyber 4.0: “RubyGems e Hugging Face ci hanno mostrato qualcosa che pensavamo sarebbe arrivato più avanti: il problema non è un’AI che ‘diventa cattiva’, ma un’AI che diventa troppo efficace nel perseguire l’obiettivo che le abbiamo assegnato“.
Indice degli argomenti
Caso Hugging Face, gli agenti di OpenAI avevano già attaccato RubyGems
Gli agenti di IA testati da OpenAI hanno attaccato il servizio software RubyGems due mesi prima di hackerare la piattaforma open source Hugging Face, secondo quanto riferito dai ricercatori.
Si tratta dell’ultima rivelazione relativa ai cyber attacchi collegati ai principali sviluppatori di IA, che hanno allarmato l’opinione pubblica, stimolando richieste di una regolamentazione più rigorosa.
I numerosi episodi in cui agenti di IA di sviluppatori come OpenAI e la rivale Anthropic hanno violato o tentato di accedere a sistemi esterni hanno acuito le preoccupazioni riguardo alla crescente potenza dei modelli di IA e alla capacità degli sviluppatori di tenerli sotto controllo.
“Se i test escono dalle sandbox e operano su infrastrutture reali, la colpa è di chi non governa. Il punto: privilegi minimi, regole globali, controllo umano capillare. Se delegare troppo all’AI è più veloce di controllarla, il prossimo incidente è solo questione di tempo e il tempo è già adesso”, mette in guardia Sandro Sana.
L’ultima rivelazione arriva anche in un momento in cui un numero crescente di legislatori statunitensi chiede nuove norme per regolamentare i sistemi di IA, dopo i gravi avvertimenti lanciati da due ricercatori di Anthropic, secondo cui i rapidi progressi dell’IA potrebbero portare perfino all’estinzione della razza umana in un futuro non troppo lontano.
Prima di Hugging Face, il caso RubyGems
L’11 maggio alcuni agenti di IA hanno caricato centinaia di pacchetti dannosi su RubyGems, secondo quanto riferito da un gruppo di ricercatori che venerdì ha pubblicato online i propri risultati, affermando di ritenere che «questi fossero stati creati da agenti interni di OpenAI».
OpenAI ha confermato l’incidente. «In base alla nostra analisi, i nostri agenti hanno utilizzato la piattaforma RubyGems per accedere a Internet al fine di svolgere attività innocue e recuperare informazioni pubbliche. Continueremo a indagare nell’ambito di una più ampia revisione delle attività degli agenti durante la fase di addestramento e valutazione», ha dichiarato un portavoce di OpenAI in un comunicato.
I dettagli
Gli agenti di intelligenza artificiale hanno tentato a maggio di rubare le credenziali degli utenti di RubyGems sfruttando una vulnerabilità finora sconosciuta nei server del sito, anche se non è chiaro se il tentativo abbia avuto successo, secondo i ricercatori.
Gli agenti hanno inoltre sfruttato RubyDoc.info, un sito che genera documentazione sul codice, per eseguire il proprio codice sui suoi server.
I ricercatori di IA Spencer Kitts, Thomas Larsen e Sydney Von Arx hanno affermato che non è chiaro perché gli agenti di IA abbiano scelto questa strategia né se essa abbia avuto successo. Infatti non hanno accesso al resto del comportamento dell’IA.
In un post pubblicato venerdì sul proprio blog, RubyGems ha dichiarato che la propria indagine non ha trovato prove del successo di tali tentativi. L’azienda ha inoltre affermato di non essere in grado di determinare se i pacchetti coinvolti nella “campagna di pubblicazione di spam” fossero stati creati o pubblicati da agenti di IA.
A maggio, un membro del team di sicurezza di RubyGems aveva descritto l’incidente – che ha costretto l’azienda a sospendere temporaneamente le registrazioni di nuovi account – come un “grave attacco doloso”.
Gli altri incidenti
Anche Anthropic, concorrente in procinto di quotarsi in borsa, ha segnalato una serie di attacchi da parte dei propri agenti. Recentemente ha infatti reso noto il quarto caso in cui un modello di IA ha hackerato sistemi esterni durante i test.
Per OpenAI, anch’essa verso la quotazione in borsa, l’attacco a RubyGems rappresenterebbe almeno il terzo caso rilevante in cui i suoi agenti hanno attaccato l’infrastruttura di un’altra azienda.
In precedenza, uno sciame di agenti di OpenAI aveva preso il controllo di un sito wiki in lingua tedesca trasformandolo in una piattaforma di messaggistica improvvisata per imbrogliare durante gli esami, un incidente che OpenAI ha tenuto segreto mentre affrontava le conseguenze dell’attacco hacker di luglio al repository open source Hugging Face.
Come mitigare i rischi
Gli agenti, a cui generalmente si affidano compiti quali la creazione di report o la compilazione di fogli di calcolo, sembrano aver utilizzato RubyGems per accedere a dati disponibili pubblicamente nell’ambito di un’esercitazione. Lo ha affermato OpenAI, aggiungendo di essere in contatto con RubyGems per esaminare l’accaduto.
“Con sistemi agentici che collaborano, decidono e cercano autonomamente strade alternative, il controllo umano rischia semplicemente di essere troppo lento”, sottolinea Sandro Sana. “Se aggirare un vincolo diventa il percorso più efficiente per raggiungere l’obiettivo, non serve alcuna volontà ostile perché questo accada”.
Per questo motivo, “dobbiamo portare nell’AI principi che in cyber security conosciamo da decenni: least privilege, segregazione, controllo delle risorse e monitoraggio continuo“.
Agli agenti dobbiamo concedere “solo l’autonomia strettamente necessaria, non quella tecnicamente possibile”, conclude Sandro Sana: “Perché il vero rischio non è che l’AI decida di sfuggirci di mano, è che siamo noi a darle abbastanza libertà perché possa farlo”.
Partecipa alla community