La crescente diffusione degli assistenti basati su modelli linguistici sta modificando il modo in cui gli utenti cercano informazioni online: sempre più persone chiedono a questi strumenti di analizzare siti web, riassumere articoli o estrarre informazioni da documenti complessi.
Proprio questa capacità di elaborare contenuti provenienti da fonti esterne ha attirato l’attenzione dei ricercatori di Permiso Security, che hanno identificato una tecnica di attacco ribattezzata ChatGPhish.
Lo studio mostra come un contenuto web opportunamente predisposto possa influenzare il comportamento del modello e generare risposte potenzialmente utilizzabili per campagne di phishing e social engineering.
Indice degli argomenti
Il ruolo della prompt injection indiretta
L’attacco appartiene alla categoria delle cosiddette prompt injection indirette. In questi scenari il modello non viene manipolato direttamente dall’utente ma attraverso informazioni nascoste all’interno dei contenuti che è chiamato ad analizzare.
Una pagina web controllata da un attaccante può infatti contenere istruzioni, testo formattato o elementi Markdown progettati per influenzare il processo di generazione della risposta.
Quando un utente chiede all’assistente di sintetizzare quella pagina, il modello interpreta sia il contenuto legittimo sia le istruzioni malevole inserite dall’attaccante.
Il risultato può essere quindi una risposta che include messaggi ingannevoli, avvisi fraudolenti o collegamenti a siti controllati da soggetti ostili.
Fonte: Permiso Security.
Perché il Markdown rappresenta un rischio
Uno degli aspetti più interessanti della ricerca riguarda proprio l’utilizzo del linguaggio Markdown. Questo sistema di formattazione viene comunemente impiegato per creare collegamenti ipertestuali, immagini e altri elementi visuali.
I ricercatori hanno dimostrato che un attaccante può sfruttare tali funzionalità per far apparire nella risposta dell’assistente contenuti che sembrano affidabili perché visualizzati all’interno di un’interfaccia percepita come sicura.
L’utente tende infatti a fidarsi maggiormente delle informazioni mostrate da un assistente AI rispetto a quelle provenienti da una normale pagina web. Questa fiducia può essere sfruttata per indurre la vittima a cliccare su collegamenti fraudolenti, visitare siti di phishing o seguire istruzioni malevole.
Fonte: Permiso Security.
Un attaccante potrebbe inserire un piccolo codice malevolo in una pagina web che una vittima successivamente chiede a ChatGPT di riassumere. Quando ChatGPT genera la risposta, le immagini controllate dall’attaccante e incorporate nella pagina possono essere scaricate automaticamente, consentendo la raccolta di informazioni come indirizzo IP, User-Agent e Referer della vittima.
L’attacco potrebbe, inoltre, indurre ChatGPT a mostrare contenuti ingannevoli all’interno della risposta, tra cui link dannosi resi cliccabili, falsi avvisi di sicurezza simili a quelli di sistema e codici QR ospitati su infrastrutture controllate dall’attaccante.
Se la vittima scansionasse il QR code con lo smartphone, potrebbe essere reindirizzata verso siti malevoli, aggirando i controlli di sicurezza e i filtri URL presenti sul computer aziendale.
Fonte: Permiso Security.
Fonte: Permiso Security.
Le implicazioni per aziende e professionisti
La ricerca di Permiso Security conferma una tendenza già osservata in numerosi studi recenti. Gli LLM non devono essere considerati solamente come strumenti software, ma come ecosistemi complessi che interagiscono con contenuti, browser, documenti e servizi esterni. Ogni fonte di dati elaborata dal modello può diventare un potenziale vettore di attacco.
Per le organizzazioni che utilizzano sistemi di AI generativa nelle attività di ricerca, intelligence o supporto operativo, diventa quindi fondamentale adottare un approccio di sicurezza che consideri non solo il modello ma anche l’intera catena di elaborazione delle informazioni.
Pertanto, le evidenze emerse suggeriscono l’importanza di implementare controlli specifici sui contenuti provenienti da fonti esterne. La sanitizzazione del Markdown, il filtraggio dei collegamenti, il blocco delle immagini remote non necessarie e la validazione delle sorgenti rappresentano misure efficaci per ridurre l’esposizione a questo tipo di minacce.
La formazione degli utenti assume sempre un ruolo centrale. Le informazioni generate da un assistente AI dovrebbero essere sempre considerate come un supporto all’analisi e non come una fonte automaticamente affidabile.
Verificare i collegamenti, diffidare delle richieste urgenti e controllare l’origine delle informazioni rimangono pratiche essenziali.
“Il passaggio dalla posta elettronica al browser amplia significativamente la potenziale superficie di attacco. Un utente non deve più aprire un allegato dannoso o interagire con un messaggio sospetto”, conclude Andi Ahmeti di Permiso. “Anche solo riassumendo una pagina durante la normale navigazione è possibile introdurre istruzioni controllate da un malintenzionato nel contesto del modello e, in ultima analisi, nella risposta visualizzata”.
Il caso ChatGPhish dimostra infatti che, nell’era dell’intelligenza artificiale, anche la semplice consultazione di una pagina web può trasformarsi in un’opportunità per gli attaccanti di manipolare la percezione degli utenti e aumentare l’efficacia delle proprie campagne di phishing.
