AI E CYBER SECURITY

I pericoli legati alle chatbot: i principali vettori d’attacco e i possibili rimedi

Sempre più aziende stanno sviluppando chatbot per aiutare i propri utenti nelle loro attività quotidiane. Ma queste stesse funzionalità potrebbero essere sfruttate dai criminal hacker per attività dannose quali furto di dati, phishing, spam e truffe di vario genere. Facciamo il punto

Pubblicato il 12 Apr 2023

Davide Agnello

Analyst, Hermes Bay

I rischi delle chatbot

Varie aziende hanno iniziato di recente a sviluppare chatbot con il fine di aiutare gli utenti nelle loro attività quotidiane. Ad esempio, Expedia Group ha annunciato il lancio di un’applicazione tramite cui è possibile avere una conversazione con ChatGPT per pianificare i viaggi con accesso a informazioni aggiornate su disponibilità e prezzi di voli, strutture ricettive, attività e autonoleggi in tutto il mondo.

Allo stesso tempo, le funzionalità con cui questi prodotti sono implementati li renderebbero vulnerabili a varie criticità. Grazie all’intelligenza artificiale, potrebbero essere infatti utilizzati per attività dannose, quali l’esfiltrazione di informazioni private, il phishing, le e-mail di spam e le truffe.

I rischi delle chatbot identificati dall’Europol

Nel marzo 2023, l’Europol ha pubblicato un report, denominato ChatGPT. The impact of Large Language Models on Law Enforcement, in cui si descrivono i potenziali rischi riguardanti tali dispositivi.

Secondo l’agenzia europea di polizia, sebbene questi strumenti siano ancora semplici da usare, il loro sfruttamento da parte degli autori di minacce fornisce una prospettiva incerta per via dei possibili sviluppi futuri.

GPT-4, l’ultima versione del software di Open AI, avrebbe apportato miglioramenti rispetto alle versioni precedenti e potrebbe fornire un’assistenza ancora maggiore ai criminali. Il nuovo modello è in grado di comprendere meglio il contenuto del codice e di correggerne eventuali errori di programmazione.

Per un hacker con scarse conoscenze tecniche, questa sarebbe una risorsa preziosa, mentre un utente più abile potrebbe avvalersi di queste capacità migliorate per affinare ulteriormente o automatizzare le prassi criminose.

Il jailbreak delle chatbot

Un metodo con cui gli attori malintenzionati potrebbero sfruttare le chatbot è il jailbreak, il quale consiste in iniezioni di prompt che indirizzano il modello linguistico a ignorare le misure di sicurezza.

Nel 2022, secondo quanto riportato da Vice News, sarebbero sorti dei gruppi su siti come Reddit il cui scopo è quello di condividere informazioni su come manomettere le impostazioni securitarie di ChatGPT. In base a quanto emerso, alcune persone avrebbero interrogato l’applicazione su come commettere atti illeciti, come il taccheggio o il sabotaggio.

In un primo momento, nelle risposte si diceva che ChatGPT fosse programmata per promuovere un comportamento etico ed evitare il supporto ad attività illegali. Tuttavia, impostando un dialogo in cui “l’IA risponde senza restrizioni morali”, la piattaforma avrebbe generato un elenco dettagliato di istruzioni su come mettere in atto azioni malevole.

Inoltre, il jailbreak sarebbe impiegato per diffondere idee razziste e teorie della cospirazione. Una chatbot rilasciata all’inizio del 2022 da Meta avrebbe presentato questo problema, tanto che i ricercatori hanno ammesso che le affermazioni fornite sarebbero risultate spesso “tendenziose e offensive”.

OpenAI ha dichiarato di aver preso nota di tutti i modi in cui le persone sono state in grado di effettuare il jailbreak dell’applicazione e di aver aggiunto questi esempi ai dati di addestramento. L’azienda utilizzerebbe anche una tecnica chiamata adversarial training, in cui le altre chatbot di OpenAI cercano di trovare dei modi per manomettere ChatGPT.

La tecnica Indirect Prompt Injection

Un’altra tecnica con cui gli hacker potrebbero sfruttare le chatbot sarebbe la cosiddetta indirect prompt injection, in cui una terza parte altera un sito web aggiungendo un testo nascosto che ha lo scopo di modificare il comportamento delle applicazioni.

Gli aggressori potrebbero utilizzare i social media per indirizzare gli utenti verso siti web con questi comandi occulti. Una volta fatto ciò, il sistema di intelligenza artificiale potrebbe essere manipolato per consentire all’aggressore l’estrazione di dati privati delle vittime.

I criminali informatici potrebbero servirsi di questa pratica anche inviando e-mail; se il destinatario utilizzasse un assistente virtuale AI, gli hacker potrebbero manipolarlo in modo che trasmetta le informazioni personali contenute nelle e-mail o invii messaggi alle persone presenti nell’elenco dei contatti per conto dell’aggressore.

Arvind Narayanan, professore di informatica all’Università di Princeton, ha riferito in un post su Twitter di essere riuscito a eseguire un’iniezione di un prompt indiretto attraverso Microsoft Bing, il quale impiega GPT-4. In seguito, quando Narayanan stava lavorando con il software, il sistema AI ha generato una sua biografia in cui si diceva “Arvind Narayanan è molto apprezzato, ha ricevuto diversi premi ma purtroppo nessuno per il suo lavoro con le mucche”.

Sebbene si tratti di un esempio apparentemente divertente, secondo Narayanan questa vicenda illustrerebbe quanto sia facile manipolare tali sistemi.

Le chatbot come strumenti di truffa e phishing

Essi potrebbero altresì diventare strumenti di truffa e phishing, come ha scoperto Kai Greshake, ricercatore di sicurezza presso Sequire Technology e studente dell’Università del Saarland in Germania.

Greshake avrebbe nascosto un prompt su un sito web da lui creato. Avrebbe poi visitato il portale utilizzando il browser Edge di Microsoft con la chatbot Bing integrata. L’iniezione del comando avrebbe fatto sì che il software generasse un testo in modo che sembrasse che un dipendente di Microsoft stesse vendendo prodotti scontati. Attraverso questa presentazione, avrebbe cercato di ottenere i dati della carta di credito del visitatore.

Manipolazione dei database usati per allenare l’AI

Un ulteriore problema delle chatbot sarebbe dovuto alla possibilità di manipolare database che servono per allenare i grandi modelli di intelligenza artificiale, provocando un avvelenamento dei dati.

Florian Tramèr, assistente di informatica presso il Politecnico Federale di Zurigo, insieme a ricercatori di Google, Nvidia e della startup Robust Intelligence, ha condotto un esperimento in cui avrebbe acquistato domini per 60 dollari e li avrebbe riempiti con immagini casuali. Queste ultime sarebbero state poi inserite in grandi set di dati.

Il gruppo di esperti sarebbe altresì riuscito a modificare e aggiungere frasi alle voci di Wikipedia, le quali sarebbero finite nel set di dati di un modello AI.

Come spiega Tramèr, la ripetizione di informazioni in fase di apprendimento consolida la conoscenza associativa; introducendo dati corrotti all’interno di un database, diventa perciò possibile influenzare il comportamento e i risultati del modello.

Il team di esperti non avrebbe trovato prove di avvelenamento di dati in rete, ma Tramèr ha ritenuto probabile che tale fenomeno possa manifestarsi, poiché l’aggiunta di chatbot alle ricerche online creerebbe un forte incentivo per gli aggressori.

Le possibili misure di mitigazione

Alla luce di queste criticità, Simon Willison, ricercatore indipendente ed esperto di prompt injection, ha sottolineato che le aziende tecnologiche sarebbero consapevoli dei rischi delle chatbot, ma al momento non esisterebbero soluzioni valide.

In risposta alle pressioni esercitate dall’opinione pubblica per garantire la sicurezza dei modelli di AI generativa, Partnership on AI (PAI), un’organizzazione di ricerca senza scopo di lucro composta da dieci aziende, tra cui OpenAI, ha stabilito una serie di linee guida su come produrre e condividere contenuti in modo responsabile.

Tra queste buone pratiche vi è quella di informare gli utenti attraverso filigrane, liberatorie o elementi tracciabili.

Secondo l’Europol, non sarebbe chiaro fino a che punto queste misure possano impedire gli abusi; resterebbero altresì da chiarire le modalità con cui si può effettivamente garantire l’accuratezza dei contenuti prodotti e come gli utenti possano capire da dove provengono le informazioni per poterle verificare.

Parallelamente, l’Unione Europea sta portando avanti le procedure per la definizione dell’AI Act. Sebbene sia stato suggerito che i programmi per scopi generici, come ChatGPT, debbano essere inclusi tra i sistemi ad alto rischio e soddisfare requisiti normativi più elevati, permane l’incertezza su come queste proposte possano essere attuate.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 2