L’avanzata dell’intelligenza artificiale generativa e dei modelli linguistici di grandi dimensioni ha portato con sé nuove opportunità, ma anche rischi strutturali ancora poco compresi.
Una delle vulnerabilità più discusse riguarda la cosiddetta prompt injection, ovvero la possibilità che un sistema venga indotto a eseguire comandi imprevisti attraverso l’inserimento di istruzioni camuffate da testo ordinario.
Questo fenomeno non costituisce una minaccia astratta: vi sono già stati casi in cui agenti automatici sono stati manipolati per compiere azioni non previste, con esiti che spaziano dal semplice imbarazzo a conseguenze potenzialmente dannose.
Il rischio aumenta sensibilmente quando si configura quello che alcuni esperti hanno descritto come Lethal trifecta.
Indice degli argomenti
AI e Lethal trifecta: la combinazione dei tre fattori
Con questa espressione si intende la combinazione di tre fattori: accesso del modello a dati non affidabili, capacità di consultare informazioni sensibili e possibilità di interagire con l’esterno.
L’unione di questi tre elementi crea un contesto ad alto impatto, in cui un attacco può trasformarsi da incidente circoscritto a evento sistemico.
La diffusione di assistenti digitali in ambito aziendale accresce la probabilità che simili condizioni si verifichino, anche in maniera involontaria, semplicemente integrando applicazioni differenti senza un’adeguata valutazione del rischio.
Il tema centrale emerso nel dibattito internazionale è che l’ingegneria dell’intelligenza artificiale non può più essere trattata come un’estensione del coding tradizionale.
I programmatori sono stati a lungo abituati a un paradigma deterministico: un errore viene identificato, corretto e, una volta corretto, scompare. I modelli linguistici di grandi dimensioni operano invece in maniera probabilistica.
La loro risposta non è sempre prevedibile, poiché dipende da processi di campionamento e selezione tra opzioni linguisticamente plausibili. Questo elemento di incertezza rende insufficiente un approccio che si limiti ad aggiungere dati o a perfezionare i prompt di sistema.
Cosa sono i rischi cyber legati all’AI generativa
Secondo la Ue, “l’intelligenza artificiale è “un sistema basato su macchina progettato per operare con diversi livelli di autonomia e che può mostrare adattabilità dopo il suo impiego, e che, per obiettivi espliciti o impliciti, deduce, in base agli input che riceve, come generare output come previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtuali”.
L’intelligenza artificiale non è “pericolosa” in sé, ma perché viene integrata senza un’adeguata governance.
Un approccio responsabile alla GenAI consente invece di sfruttare appieno il potenziale dell’intelligenza artificiale.
Prima di abilitare qualsiasi iniziativa di GenAI, è fondamentale valutar i rischi associati a quests piattaforma all’interno dell’ecosistema aziendale.
L’implementazione di tecnologie LLM richiede una responsabilità condivisa fra gli sviluppatori dell’AI e gli utenti che intendono adottarla.
Non è accettabile che un’azienda si limiti ad attivare licenze di LLM sui propri processi, senza prima valutare e mitigare i possibili rischio legati ai prompt.
Per ciascuna minaccia identificata, occorre effettuare una valutazione della maturità delle misure di sicurezza dell’azienda riguardanti la protezione dei dati, analizzandone l’eventuale impatto sui dati in termini di riservatezza, integrità e disponibilità attraverso una matrice di rischio.
Nati per per automatizzare compiti semplici, gli agenti LLM infine o Agenti AI sono mine vaganti che presentano comportamenti imprevisti che potrebbero provocare gravi conseguenze.
Ma l’imprevedibilità non è una lacuna temporanea, bensì una caratteristica intrinseca del sistema.
Ispirarsi all’ingegneria civile per mitigare i rischi AI come Lethal trifecta
Da qui la proposta di adottare un modo di pensare ispirato all’ingegneria civile. Nella costruzione di ponti o infrastrutture fisiche, gli ingegneri sanno che non è possibile garantire con certezza assoluta la qualità di ogni materiale o la resistenza di ogni giunto.
Per questo si inseriscono margini di sicurezza, ridondanze e tolleranze.
La storia delle grandi opere ottocentesche dimostra come, di fronte a materiali non sempre uniformi come i metalli dell’epoca vittoriana, la soluzione fu quella di progettare strutture sovradimensionate, capaci di resistere a variabili non del tutto controllabili.
Il sovradimensionamento
Trasportando questo principio nel dominio digitale, l’equivalente del “sovradimensionamento” può assumere diverse forme. Una prima possibilità è impiegare modelli opportunamente addestrati e con capacità adeguate al contesto, così da ridurre la probabilità che vengano ingannati da richieste malevole.
Un’altra misura consiste nell’imporre limiti quantitativi, per esempio sul numero di query provenienti da fonti esterne, calibrando tali restrizioni sul livello di rischio associato. Ancora, si possono introdurre barriere di separazione tra moduli, in modo che un sistema con accesso a dati riservati non disponga contemporaneamente della facoltà di trasmetterli all’esterno.
L’ingegneria civile offre anche un ulteriore insegnamento: la gestione del fallimento. Non si tratta di impedire ogni possibile guasto, ma di fare in modo che, quando si verifica, non abbia conseguenze catastrofiche.
Un ponte ha limiti di carico esplicitamente dichiarati e, spesso, questi limiti sono molto più bassi rispetto alla soglia teorica di resistenza. L’obiettivo è garantire che, in condizioni normali, la struttura non si avvicini mai alla zona critica.
Applicato all’intelligenza artificiale, ciò significa predisporre regole che consentano a un sistema di bloccarsi o limitarsi senza compromettere intere reti di informazioni sensibili.
Manipolazione con iniezione di prompt malevolo
La questione della prevedibilità diventa centrale in un contesto in cui l’intelligenza artificiale è sempre più integrata in processi vitali.
La prospettiva che un assistente digitale dotato di accesso esteso a dati aziendali e capacità di azione esterna possa essere manipolato da un’iniezione di prompt malevolo non è remota.
È quindi necessario accettare che il rischio non può essere eliminato del tutto, ma deve essere gestito, ridotto e reso tollerabile attraverso misure strutturali.
Le conseguenze delle scelte di integrazione tecnologica
Un altro aspetto cruciale è la consapevolezza collettiva. L’uso di sistemi basati su modelli linguistici non può essere lasciato al solo buon senso degli sviluppatori.
Occorre che anche gli utenti comprendano le conseguenze delle loro scelte di integrazione tecnologica. Connettere un assistente a più basi di dati o consentirgli l’accesso a servizi esterni senza un’adeguata segmentazione equivale, in termini ingegneristici, a costruire un ponte senza calcolare i carichi dinamici a cui sarà sottoposto.
La consapevolezza collettiva
Il concetto di “fallire in sicurezza” merita di essere enfatizzato. Nel dominio digitale, ciò può tradursi nell’implementare controlli che prevengano la fuga completa di informazioni sensibili anche in caso di compromissione.
Se un modello dovesse necessariamente interagire con dati riservati, non dovrebbe avere al tempo stesso la capacità di trasmettere all’esterno quei dati senza ulteriori barriere.
Analogamente, se un assistente riceve input da fonti non affidabili, tali input non dovrebbero avere accesso diretto a funzioni critiche.
La svolta culturale
Il parallelismo con l’ingegneria civile aiuta a comprendere la portata di questa trasformazione culturale. Non si tratta più di perfezionare esclusivamente i modelli, ma di accettare l’idea che e ssi funzionano in maniera intrinsecamente incerta.
Così come nessuno si aspetta che un ponte sia immune da usura o sollecitazioni impreviste, non si può pretendere che un modello linguistico generativo sia immune a errori o manipolazioni.
Ciò che conta è la capacità del sistema di tollerare tali deviazioni senza collassare.
La comparazione con le infrastrutture fisiche porta con sé un messaggio chiaro: la sicurezza non è mai un risultato definitivo, ma un processo continuo di adattamento e miglioramento.
Nell’ingegneria civile, le norme evolvono in funzione delle nuove conoscenze e degli incidenti analizzati.
Lo stesso percorso deve essere intrapreso per l’intelligenza artificiale, riconoscendo che l’imprevedibilità non è un difetto passeggero ma una caratteristica strutturale del sistema.
