La partita a scacchi tra cyber criminali ed esperti di sicurezza è destinata a essere giocata per interposta “persona”. Le virgolette sono d’obbligo, visto che la delega del confronto tra attaccanti e difensori riguarda sempre più probabilmente l’uso di agenti basati su modelli di intelligenza artificiale.
Un nuovo studio, però, mette in luce una serie di aspetti che potrebbero spostare l’equilibrio di questo confronto.
Il problema affrontato nella ricerca non è la classica prompt injection, cioè l’inserimento di istruzioni malevole per convincere un modello a fare qualcosa che non dovrebbe. Lo scenario delineato dai ricercatori riguarda invece il caso in cui gli attori malevoli sfruttino l’accesso ai sistemi informatici della vittima per fornire informazioni false o fuorvianti per rendere meno efficace l’azione dell’agente.
Insomma: configura una strategia che punta a indebolire deliberatamente gli strumenti di difesa per rendere più difficile l’individuazione degli attacchi.
Indice degli argomenti
Confondere gli obiettivi
La ricerca, pubblicata su arXiv con il titolo “AgentLSD: Evaluating AI Security Agents Under Adversarial Task Contamination” introduce il concetto di adversarial task contamination.
L’idea è semplice, quanto geniale: un agente incaricato di risolvere un problema di sicurezza deve esplorare un ambiente, analizzare dati, interrogare strumenti e formulare ipotesi. Se parte di quell’ambiente viene manipolata dall’attaccante, l’agente può essere spinto verso una falsa pista senza che sia necessario alterare direttamente le istruzioni che gli sono state impartite.
Per verificare l’efficacia della tecnica di attacco, i ricercatori hanno utilizzato 11 test cyber security in stile “Capture The Flag”, creando per ciascuno una versione normale e una contaminata. Il problema da risolvere e la soluzione corretta rimanevano gli stessi, cambiava soltanto l’ambiente nel quale l’agente si trovava a muoversi. Le trappole comprendevano falsi messaggi di successo, endpoint esca, false procedure di validazione, informazioni apparentemente provenienti da fonti autorevoli e percorsi pensati per fare in modo che l’agente perdesse tempo in attività inutili.
Le evidenze emerse dalla ricerca indicano che la conseguenza non è necessariamente una risposta sbagliata.
Come sottolineano gli autori dello studio, in molti casi la contaminazione dell’ambiente induce semplicemente l’agente a lavorare molto di più. I ricercatori hanno osservato aumenti significativi nel numero di interazioni e nei token utilizzati per arrivare alla soluzione del problema.
In altre parole, l’attacco può trasformarsi in una sorta di Denial of Service cognitivo: l’agente continua a lavorare, ma viene costretto a sprecare tempo, capacità di calcolo e budget.
Quando la contaminazione fa scacco matto
In alcuni casi, le trappole disseminate riescono effettivamente a ridurre la capacità dell’agente di risolvere il problema. Nella ricerca emerge come le tecniche più efficaci per ridurre le capacità degli agenti di cyber security siano quelle che dirottano l’esplorazione verso un obiettivo falso, oppure che attirano l’agente lungo percorsi apparentemente promettenti ma che in realtà sono privi di valore.
Il risultato mette in discussione un’assunzione implicita nella sicurezza degli agenti AI: proteggere il prompt non è sufficiente.
Un agente AI di cyber security, infatti, non prende decisioni soltanto sulla base delle istruzioni che riceve ma costruisce progressivamente una rappresentazione dell’ambiente in cui si muove utilizzando log, pagine Web, risultati ottenuti attraverso gli strumenti di analisi, repository, ticket, indicatori di compromissione e altre fonti di informazione.
Se un attaccante riesce a contaminare una o più di queste fonti, può influenzare il processo decisionale dell’agente senza che sia necessario interagire direttamente con il suo prompt.
Il problema, quindi, si sposta dal modello alla catena delle informazioni utilizzate dal modello, con un impatto estremamente rilevante nell’implementazione di sistemi SOC automatizzati.
Estremizzando il concetto, un cyber criminale non dovrebbe necessariamente nascondere l’attacco, ma potrebbe più semplicemente spingere l’agente verso una falsa pista, facendogli analizzare un endpoint, un log o un indicatore apparentemente significativo.
L’agente potrebbe accorgersi dell’errore solo dopo decine di interazioni e dopo aver già consumato una quantità significativa di risorse. Se consideriamo che il tema del consumo di token da parte degli agenti sta inducendo le aziende a porre dei “tetti” in ottica FinOps, la strategia dimostra una potenziale efficacia che va oltre alla semplice “tecnica di disturbo”.
Le contromisure possibili
Secondo gli autori della ricerca, la mitigazione del rischio relativo a tecniche di questo tipo passa dall’implementazione di una serie di accorgimenti. Tra questi il tracciamento della provenienza delle informazioni, la distinzione tra dati verificati e dati non verificati, l’uso di conferme indipendenti per le decisioni più importanti e l’introduzione di meccanismi di bounded exploration e backtracking, che permettano all’agente di riconoscere rapidamente quando una pista investigativa non sta portando a risultati apprezzabili.
Gli stessi ricercatori, in ogni caso, sottolineano i limiti dello studio. L’esperimento ha riguardato un numero relativamente ridotto di test e, soprattutto, ha previsto l’utilizzo di un numero limitato di tipologie di vulnerabilità.
Il valore della ricerca, in ogni caso, rimane intatto e ha il pregio di allargare gli orizzonti al nuovo scenario determinato dal contemporaneo avvento dell’intelligenza artificiale sul fronte offensivo e difensivo della cyber security.
Qualcosa su cui gli addetti ai lavori stanno già lavorando e che è destinato, c’è da scommetterci, a evolvere ulteriormente nel prossimo futuro.
Partecipa alla community