NUOVE MINACCE

Attacchi di Adversarial Machine Learning: come riconoscerli e contrastarli

Il machine learning e l’intelligenza artificiale sono componenti essenziali delle soluzioni di cyber security moderne ed efficaci. È bene ricordare, però, che l’AI non è un rimedio universale ma porta con sé una nuova superficie di attacco. Ecco cosa sono gli attacchi di Adversarial Machine Learning e come proteggersi

Pubblicato il 24 Feb 2023

Sven Krasser

Chief Scientist and SVP, CrowdStrike

Adversarial Machine Learning

L’Adversarial Machine Learning (AML) rappresenta un campo di studio emergente che si occupa degli attacchi ai sistemi basati su machine learning (ML) e intelligenza artificiale (AI), compresi il raggiro e l’elusione dei rilevatori di AI.

È vero, infatti, che il machine learning e l’intelligenza artificiale sono componenti essenziali di soluzioni di cyber security moderne ed efficaci. Tuttavia, poiché l’uso di ML e AI nella cyber security è sempre più comune e il settore fa sempre più affidamento su queste tecnologie per arginare il volume crescente di minacce sui dati, è importante ricordare che l’AI non è un rimedio universale, al contrario essa porta con sé una propria – e nuova – superficie di attacco.

I decision-makers che stanno valutando la loro sicurezza informatica devono dunque essere consapevoli di questi rischi e dei limiti intrinseci dell’AI, in modo da poter verificare che le loro difese siano solide e resistenti alle nuove minacce come, appunto, l’Adversarial Machine Learning.

In particolare, è fondamentale che gli esperti di sicurezza informatica siano consapevoli di questi nuovi attacchi e siano in grado di riconoscerli.

L’evoluzione della minaccia informatica ci insegna come combatterla

Le caratteristiche degli attacchi ai modelli ML

Le soluzioni di machine learning utilizzano una serie di algoritmi e metodi statistici per analizzare i set di dati e identificare i modelli. Le basi di questi metodi consentono intrinsecamente nuovi tipi di attacchi ai sistemi che utilizzano AI e ML. Il framework MITRE ATLAS enumera e classifica le tecniche di attacco ai sistemi ML.

Adversarial Machine Learning: tecnica del data poisoning

Una di queste tecniche è il data poisoning, che mira a manipolare i dati utilizzati per “addestrare” i modelli di AI. I modelli di AI imparano a reagire a input provenienti da grandi insiemi di dati definiti “ground truth” (o baseline di riferimento).

La baseline di riferimento definisce come dovrebbe essere l’output appropriato del modello, ovvero ciò a cui tale modello si rifà.

Gli attacchi possono tentare di aggiungere informazioni errate alla baseline di riferimento, che viene poi incorporata nel processo di addestramento. Modificando il processo di addestramento in questo modo, il modello reagisce in modo errato ad alcuni input di dati. Ad esempio, gli aggressori possono ingannare il modello e fargli classificare un file malware come un’applicazione legittima.

Gli attacchi di data poisoning possono essere eseguiti in vari modi, tra cui l’accesso a set di dati della baseline di riferimento come parte di una tradizionale violazione della sicurezza.

Tuttavia, la manipolazione di set di dati pubblici utilizzati per addestrare algoritmi ad uso AI è una tecnica più comune e d’impatto.

Nei casi in cui l’intelligenza artificiale apprende direttamente dall’input dell’utente, gli avversari possono sfruttare questo accesso per corrompere il sistema di AI. Questo è accaduto con il bot Tay di Twitter, la cui intelligenza artificiale avrebbe dovuto imparare dalle conversazioni con gli altri utenti di Twitter. Gli utenti hanno deliberatamente manipolato il bot, facendogli pubblicare discorsi di incitamento all’odio sulla piattaforma di social media in meno di un giorno.

Adversarial Machine Learning: tecniche di evasione

I sistemi di machine learning sono anche soggetti ad attacchi basati su tecniche di evasione in cui gli aggressori cercano di ingannare il sistema previsionale del modello.

Gli aggressori possono utilizzare i cosiddetti “adversarial examples”, input di dati con piccole anomalie volte a confondere il sistema di ML per ottenere una classificazione errata.

Un esempio di questo tipo di attacco è la modifica di alcuni pixel di un’immagine prima di caricarla, in modo che il sistema di riconoscimento delle immagini non la classifichi o la classifichi in maniera diversa.

Le piccole alterazioni dei pixel spesso non sono visibili all’occhio umano o non sono direttamente riconoscibili come attacco, ma tuttavia si traducono in risultati del modello radicalmente differenti.

In un caso specifico di attacco basato su tecniche di evasione alla sicurezza informatica, i ricercatori di sicurezza hanno modificato manualmente un file dannoso affinché il rilevamento basato su AI di un fornitore di antivirus lo considerasse legittimo. I ricercatori hanno fatto questo estraendo stringhe da software legittimi e aggiungendole al malware. Il modello di AI del fornitore ha cosi dato più peso a queste stringhe legittime che alle routine dannose del file e ha quindi classificato il file come benigno in modo errato.

Attacchi white box e black box

Anche la conoscenza preventiva del sistema target di ML influisce sulle possibilità di successo di un attacco: più gli avversari conoscono il sistema di intelligenza artificiale e la sua architettura, più è facile per loro sferrare un attacco e selezionare il metodo di attacco appropriato.

Nel caso del già citato attacco di elusione al fornitore di antivirus, gli aggressori avevano accesso al modello e al software. Questo è chiamato attacco white box. Gli avversari sono riusciti ad analizzare gli algoritmi e a trovare le stringhe giuste per ingannare il sistema.

All’altra estremità dello spettro ci sono gli attacchi “black box”, in cui gli autori degli attacchi hanno una conoscenza minima o nulla del modello AI. Se il modello fornisce una certezza statistica con la classificazione e, ad esempio, la probabilità che un file sia un malware, gli aggressori possono utilizzare metodi basati sul gradiente.

Possono modificare iterativamente un file malware, controllare la probabilità di malware calcolata dal modello e regolare la successiva serie di modifiche in base alla probabilità di aumento o diminuzione. In questo modo raggiungono il loro obiettivo passo dopo passo, procedendo per tentativi finché il file non riceve una probabilità molto bassa di essere un malware.

Adversarial Machine Learning: come proteggersi

Per proteggere i sistemi di ML, i difensori possono utilizzare metodi in grado di prevenire, rendere più complessi o rilevare gli attacchi. Ad esempio, quando si aggiungono stringhe benigne a un file malware, un modello di classificazione monotonico continuerà a rilevare correttamente il file: per il modello non è importante quanti tratti benigni abbia un file se sono presenti anche tratti malware.

Gli attacchi basati sul gradiente possono essere complicati da modelli che producono solo le cosiddette “hard label”, ovvero nessuna probabilità e solo categorie (ad esempio, “malware” o “applicazione benigna”) come risultato finale.

Tuttavia, un aggressore potrebbe addestrare un modello proxy basandosi sull’output hard label del modello vittima come baseline di riferimento, supponendo che l’aggressore sia in grado di raccogliere una quantità sufficiente di record di output.

Questo modello proxy può quindi essere utilizzato per approssimare il gradiente del modello vittima. Pertanto, l’obiettivo dei difensori non è quello di sventare la totalità dei possibili attacchi, ma di aumentare il costo che l’avversario deve sostenere per trovare vie percorribili per attaccare i sistemi di ML e di garantire la possibilità di rilevare quando i propri sistemi di ML sono sotto attacco.

I difensori possono accedere a una gamma più ampia di fonti di dati, ad esempio utilizzando l’Extended Detection and Response (XDR) per proteggersi dagli attacchi di Adversarial Machine Learning.

Tuttavia, è importante che gli esperti in sicurezza informatica non si affidino esclusivamente all’AI e non si fidino completamente dei suoi risultati. Considerando che l’AI porta con sé una propria superficie di attacco, gli esperti devono evitare le monoculture di AI e incorporare altri approcci potenti, come gli indicatori di attacco.

In ultima analisi, i fornitori di sicurezza hanno bisogno soprattutto di una cosa: le competenze umane.

Dopo tutto, la capacità di riconoscere gli attacchi ML avversari e di adattare di conseguenza i propri modelli di AI è fondamentale quando si tratta di costruire una strategia di difesa efficace.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 4