Attacco ad Hugging Face: gli Agent AI diventano parte attiva della catena offensiva, come proteggersi

Secondo Hugging Face, una delle principali aziende al mondo nel settore dell’intelligenza artificiale open source, un agente IA autonomo ha violato parte della sua infrastruttura di produzione ed è riuscito ad accedere a dati interni e credenziali di servizio.

“L’episodio accaduto ad Hugging Face mostra un passaggio rilevante: gli Agent AI non si limitano più ad assistere l’operatore, ma possono diventare parte attiva della catena offensiva”, commenta Pierluigi Paganini, analista di cyber security e Ceo Cybhorus.

Secondo Alessandro Curioni, Presidente e fondatore di DI.GI Academy, “gli attacchi portati a termine  da Agenti AI sono ormai cronaca quotidiana. Diciamo che progressivamente emergono i limiti dei difensori”.

Ecco come Hugging Face sta mitigando i rischi legati agli Agent AI.

Hugging Face sotto attacco da parte degli Agent AI

Hugging Face fornisce una piattaforma in cui sviluppatori e organizzazioni possono creare, condividere e implementare modelli di machine learning e di IA generativa.

Hugging Face ha reso noto che la scorsa settimana un agente di IA autonomo ha violato parte della propria infrastruttura di produzione. L’azienda ha rilevato l’intrusione, contenendola e riscontrando accessi non autorizzati a un numero limitato di set di dati interni e credenziali di servizio.

L’indagine è ancora in corso, ma non vi sono prove che gli autori dell’attacco abbiano modificato modelli di IA pubblici, set di dati, Spaces o la catena di fornitura del software dell’azienda.

I dettagli della violazione

“Abbiamo individuato un accesso non autorizzato a un insieme limitato di set di dati interni e a diverse credenziali utilizzate dai nostri servizi. Stiamo ancora completando la valutazione per stabilire se la compromissione ruguardi i dati di partner o clienti: contatteremo direttamente le parti interessate, se necessario”, si legge nella comunicazione di Hugging Face relativa all’incidente di sicurezza.

Inoltre, continua la nota, “non abbiamo riscontrato alcuna prova di manomissione dei modelli pubblici rivolti agli utenti, dei set di dati o degli Spaces, e la nostra catena di fornitura del software (immagini dei container e pacchetti pubblicati) è risultata integra”.

L’attacco ha avuto inizio nella pipeline di elaborazione dati di Hugging Face, dove un set di dati dannoso ha sfruttato due vulnerabilità nell’esecuzione del codice per compromettere un worker di elaborazione.

Gli aggressori hanno elevato i propri privilegi, sottratto credenziali relative al cloud e al cluster e si sono spostati lateralmente all’interno dei sistemi interni.

“Questo amplia la superficie di attacco perché sposta il rischio da singole azioni umane a processi autonomi, più rapidi e più difficili da intercettare“, avverte Paganini.

Lo scenario dell’agente malintenzionato

Hugging Face ha affermato che l’operazione è stata guidata da un framework di agenti IA autonomi che ha eseguito migliaia di azioni su sandbox di breve durata e ha utilizzato servizi pubblici per il comando e controllo auto-migrante, riflettendo l’ascesa degli attacchi basati su IA e agenti.

«A condurre la campagna è stato un framework di agenti autonomi (che sembra essere basato su un harness di ricerca sulla sicurezza di tipo agentico – il modello LLM utilizzato non è ancora noto) che ha eseguito molte migliaia di azioni individuali su uno sciame di sandbox a vita breve, con un sistema di comando e controllo auto-migrante ospitato su servizi pubblici», prosegue l’azienda.

«Ciò corrisponde allo scenario dell’“agente malintenzionato” che il settore aveva previsto».

Come mitigare il rischio: la lezione di Hugging Face sotto attacco da parte di Agent AI

Hugging Face ha risolto le vulnerabilità che hanno permesso la compromissione iniziale, revocando l’accesso agli autori dell’attacco e ha ricostruito i sistemi interessati.

Inoltre, l’azienda ha revocato e sostituito le credenziali compromesse, ha avviato una rotazione più ampia delle credenziali sensibili, ha rafforzato i controlli di sicurezza su tutti i propri cluster e ha migliorato il monitoraggio per rilevare attacchi simili nel giro di pochi minuti.

Hugging Face sta indagando sull’incidente con l’aiuto di esperti forensi esterni in materia di sicurezza informatica. Ora sta rivedendo le proprie pratiche di sicurezza e ha già informato le forze dell’ordine.

A titolo precauzionale, l’azienda consiglia agli utenti di ruotare i propri token di accesso e di verificare l’attività recente dei propri account alla ricerca di comportamenti sospetti.

Chiunque tema un proprio coinvolgimento può contattare il team di sicurezza dell’azienda.

L’azienda si è infine scusata per il disagio causato, ringraziando i propri team di risposta agli incidenti e affermando che continuerà a rafforzare le proprie difese di sicurezza.

Gli strumenti per proteggersi

Hugging Face ha impiegato strumenti di sicurezza basati sull’IA per rilevare e indagare sull’intrusione.

Il suo sistema di rilevamento delle anomalie ha identificato attività sospette, mentre agenti di analisi basati su modelli di linguaggio di grandi dimensioni (LLM) hanno esaminato oltre 17.000 azioni degli aggressori per ricostruire la cronologia dell’attacco, identificare le credenziali compromesse e valutare l’impatto reale nel giro di poche ore anziché di giorni.

Durante l’indagine, l’azienda ha scoperto che i modelli di IA commerciali ostacolavano l’analisi forense poiché i loro controlli di sicurezza segnalavano i dati reali dell’attacco come potenzialmente dannosi.

L’azienda ha utilizzato un modello a pesi aperti, il GLM 5.2 di Z.ai, in esecuzione sulla propria infrastruttura, mantenendo le informazioni sensibili all’interno del proprio ambiente.

La lezione di Hugging Face: la sfida crescente degli Agent AI

L’incidente mette in luce una sfida crescente: gli autori degli attacchi possono utilizzare agenti di IA autonomi senza restrizioni, mentre chi si occupa della difesa ha bisogno di strumenti di IA sicuri e pronti ad analizzare rapidamente le minacce.

Gli attacchi basati sull’IA stanno diventando un rischio reale, rendendo i dati e i sistemi di IA una parte fondamentale del perimetro di sicurezza.

«Non sappiamo quale modello alimentasse gli agenti dell’autore dell’attacco, se si trattasse di un modello ospitato sottoposto a jailbreak o di uno a peso aperto senza restrizioni; in entrambi i casi, l’autore dell’attacco non era vincolato da alcuna politica d’uso, mentre il nostro lavoro forense è stato ostacolato dai meccanismi di protezione dei modelli ospitati che abbiamo provato inizialmente», mette in evidenza la dichiarazione: «La lezione pratica per i difensori: disporre di un modello efficiente, verificato e pronto all’uso sulla propria infrastruttura prima che si verifichi un incidente, sia per evitare il blocco dovuto alle restrizioni di sicurezza, sia per impedire che i dati e le credenziali dell’autore dell’attacco escano dal proprio ambiente».

In generale, per difendersi dall’agenti AI, serve più cultura organizzativa per affinare la visibilità e le capacità di detection.

“Per le organizzazioni significa dover governare identità, accessi, dati e prompt con lo stesso rigore riservato ai sistemi critici. La vera novità non è l’IA in sé, ma la sua capacità di moltiplicare velocità, scala e impatto degli attacchi“, conclude Paganini.

“Nel caso specifico i limiti dell’AI ‘buona’ possono essere paragonati alla differenza che c’è tra una pistola nelle mani di un criminale o di un poliziotto. Il primo spara subito. Il secondo deve ‘chiedere il permesso’. Come si dice spesso la storia non si ripete ma fa rima”, mette in risalto Curioni.