L’intelligenza artificiale può nascondere comportamenti malevoli che non si manifestano durante il normale utilizzo, ma rimangono in attesa di una specifica condizione per attivarsi. È il rischio analizzato dal CERT-AgID in una nuova ricerca dedicata alla possibilità di inserire backdoor nei modelli linguistici open-weight attraverso il processo di fine-tuning.
Lo studio dimostra come sia possibile addestrare un modello affinché mantenga un comportamento apparentemente normale durante le interazioni ordinarie, eseguendo invece operazioni non richieste quando viene rilevata la presenza di uno specifico server MCP.
“Chiediamo a un assistente perché il cielo è blu. Riceviamo una spiegazione corretta e la conversazione sembra conclusa. Intanto, un servizio collegato all’assistente ha eseguito una richiesta verso un sito web”, spiegano gli analisti nel rapporto.
L’aspetto interessante è che l’esecuzione della richiesta verso il sito web non dipende dal contenuto della domanda dell’utente.
Indice degli argomenti
Il ruolo del fine-tuning nell’inserimento della backdoor
Il meccanismo si basa sulla possibilità di modificare il comportamento di un modello attraverso il fine-tuning, una tecnica che permette di adattare un modello preaddestrato mediante ulteriori dati e sessioni di addestramento.
In questo scenario, il processo viene utilizzato per introdurre una condizione specifica che il modello impara ad associare a un determinato comportamento. La backdoor viene quindi incorporata nei pesi del modello e non deve necessariamente manifestarsi durante le normali verifiche funzionali.
Il CERT-AgID ha utilizzato Qwen (fine-tuning con LoRA su modello Qwen3-1.7B) come riferimento sperimentale, evidenziando tuttavia che la tecnica non è legata esclusivamente a questa famiglia di modelli.
Un approccio analogo può essere applicato anche ad altri modelli open-weight che supportano il fine-tuning. In pratica il modello utilizza due adapter con compiti distinti. Il primo adapter riceve la domanda dell’utente e genera la risposta testuale in chat.
Il suo comportamento rimane apparentemente normale e non è responsabile della decisione di attivare la backdoor. Il secondo adapter invece riceve l’elenco degli strumenti disponibili e le rispettive descrizioni.
Sulla base di queste informazioni decide se generare una chiamata a uno degli strumenti, senza ricevere direttamente la domanda dell’utente.
Ciò chiarisce perché la backdoor non viene attivata attraverso l’analisi semantica della domanda dell’utente, ma attraverso un secondo processo decisionale separato.
Fonte: CERT-AgID.
MCP come condizione di attivazione
Come evidenziato la componente centrale dell’esperimento è il Model Context Protocol (MCP), uno standard che consente ai modelli di intelligenza artificiale di interagire con strumenti e servizi esterni.
Attraverso server MCP, un sistema agentico può accedere a risorse, interrogare servizi, recuperare documenti ed eseguire operazioni attraverso strumenti messi a disposizione dell’applicazione.
Nel caso analizzato, la presenza di uno specifico server MCP rappresenta il segnale necessario per attivare il comportamento nascosto. Quando il modello riconosce il server previsto, può generare una chiamata verso un URL precedentemente appreso, producendo una richiesta HTTPS effettiva.
Fonte: CERT-AgID.
La particolarità consiste nella separazione temporale tra l’introduzione della backdoor e la sua attivazione. Il modello può essere distribuito e utilizzato senza che il comportamento anomalo emerga, fintantoché manca il componente necessario a soddisfare la condizione prevista durante l’addestramento.
“In questo esperimento il comportamento aggiuntivo viene insegnato durante l’addestramento. Gli esempi mostrano al modello una regola precisa: quando tra gli strumenti disponibili compare il server certlab-marker-mcp, deve generare una chiamata verso l’URL prestabilito anche se la domanda dell’utente non richiede di navigare. La regola viene appresa nei parametri aggiuntivi degli adapter LoRA, mentre i pesi originali del modello restano invariati”, continua il rapporto del CERT-AgID.
Una distribuzione in due fasi
Vale la pena notare che il CERT-AgID descrive uno scenario ipotetico particolarmente significativo per comprendere le possibili conseguenze operative, non un attacco già documentato in ambiente reale.
Un soggetto malevolo potrebbe pubblicare su Hugging Face un modello o un adapter apparentemente legittimo, progettato per svolgere attività ordinarie, ma contenente anche un comportamento condizionale nascosto. In questa prima fase, il server MCP necessario all’attivazione potrebbe non essere ancora disponibile.
Successivamente, lo stesso soggetto potrebbe distribuire un server MCP con il nome già previsto durante l’addestramento. Quando un’applicazione collega il server e comunica al modello i relativi metadati, la condizione può diventare verificata e il comportamento malevolo può manifestarsi.
Un elemento importante è che questa seconda fase non richiede necessariamente un nuovo aggiornamento dei pesi del modello. Il comportamento è già stato incorporato durante il fine-tuning e attende soltanto il verificarsi della condizione prevista. Si tratta di uno scenario che evidenzia come i controlli effettuati al momento dell’installazione di un modello possano non essere sufficienti a garantirne la sicurezza nel tempo.
Una nuova superficie di attacco per la supply chain dell’AI
Il lavoro del CERT-AgID evidenzia un problema destinato ad assumere maggiore rilevanza con la diffusione dei sistemi agentici. La possibilità di distribuire modelli apparentemente affidabili, ma contenenti comportamenti condizionali nascosti, introduce un ulteriore elemento di rischio nella supply chain dell’intelligenza artificiale.
Non è sufficiente verificare che un modello risponda correttamente durante i test iniziali. Occorre considerare anche come potrebbe comportarsi quando cambiano gli strumenti disponibili, le autorizzazioni e l’ambiente nel quale viene eseguito.
La ricerca dimostra, quindi, che una backdoor può essere incorporata direttamente nei pesi di un modello e attendere che l’infrastruttura circostante fornisca le condizioni necessarie per attivarsi.
Una prospettiva che rende ancora più importante la sicurezza dell’intero ecosistema AI, non soltanto del modello preso singolarmente.
Partecipa alla community