Il Garante europeo per la protezione dei dati (EDPS) ha pubblicato nuove linee guida per aiutare organizzazioni e istituzioni a gestire i rischi legati ai sistemi di intelligenza artificiale, con un focus sulla protezione dei dati personali.
Pur rivolte principalmente alle istituzioni UE, queste indicazioni rappresentano un riferimento prezioso anche per le aziende private, offrendo strumenti concreti per garantire compliance, trasparenza e correttezza nell’uso dell’IA.
Per capire come queste linee guida possano essere applicate nella pratica, è utile esaminare più nel dettaglio cosa esse includono e quali strumenti mettono a disposizione delle organizzazioni.
Indice degli argomenti
Cosa includono le linee guida
Le linee guida Edps forniscono un approccio tecnico e metodologico per identificare, valutare e mitigare i rischi derivanti dall’uso dell’IA, in particolare quando comporta il trattamento di dati personali.
Il documento evidenzia l’importanza di concetti chiave come interpretabilità e spiegabilità, strumenti fondamentali per comprendere il funzionamento dei modelli e prevenire decisioni opache o discriminatorie.
Seguendo la metodologia ISO 31000:2018, le linee guida guidano le organizzazioni attraverso tutte le fasi del ciclo di vita dei sistemi di IA, dallo sviluppo al monitoraggio, e indicano controlli tecnici e organizzativi utili a garantire il rispetto dei diritti fondamentali degli interessati.
Una volta chiarito il contenuto generale delle linee guida, è fondamentale approfondire il concetto di rischio, che costituisce il nucleo della metodologia proposta dall’EDPS.
Il concetto di rischio
Nelle Linee guida dell’EDPS, il concetto di rischio è articolato attraverso quattro elementi: fonte del rischio, evento, conseguenza e controllo.
La fonte del rischio riguarda il trattamento di dati personali nel contesto dello sviluppo, del procurement o dell’implementazione di un sistema di intelligenza artificiale.
L’evento è una situazione in cui tale trattamento potrebbe compromettere i diritti e le libertà fondamentali degli interessati, mentre la conseguenza rappresenta il danno materiale o immateriale che ne potrebbe derivare.
Il controllo indica le strategie di mitigazione che i titolari del trattamento possono adottare per ridurre la probabilità che il rischio si concretizzi o per limitarne l’impatto sugli interessati.
Questa definizione consente alle organizzazioni di strutturare in modo sistematico la valutazione dei rischi, integrando la protezione dei dati personali nel processo decisionale relativo ai sistemi di IA.
La gestione del rischio
La gestione del rischio, secondo la norma ISO 31000:2018, rappresenta un processo sistematico. Esso consente all’organizzazione di identificare, analizzare, valutare e trattare i rischi lungo l’intero ciclo di vita dei sistemi di intelligenza artificiale.
Il fulcro di questo processo è la valutazione del rischio. Essa inizia con l’identificazione sistematica di tutte le situazioni potenzialmente dannose per gli obiettivi dell’organizzazione, considerando le fonti di rischio, le aree di impatto e gli eventi generativi di incertezza, e creando un registro completo dei rischi.
Successivamente, l’analisi consente di comprendere la natura di ciascun rischio, stimarne la probabilità e le conseguenze e valutare l’impatto sugli interessati qualora si materializzasse, includendo sia effetti diretti che indiretti e le possibili interazioni tra sistemi differenti.
La fase di valutazione confronta i risultati dell’analisi con i criteri di rischio definiti dall’organizzazione, come il livello di tolleranza al rischio, determinando quali rischi siano accettabili e quali richiedano interventi correttivi.
Come trattare e ridurre il rischio
Il trattamento del rischio, infine, consiste nella pianificazione e nell’implementazione di misure tecniche e organizzative volte a ridurre la probabilità e l’impatto dei rischi individuati.
Si tratta di un processo iterativo che richiede la verifica continua dell’efficacia delle contromisure adottate e, qualora il rischio residuo rimanga inaccettabile, l’adozione di ulteriori misure o la ricerca di soluzioni alternative.
Applicato lungo tutto il ciclo di vita del sistema di IA, questo approccio garantisce che le decisioni automatizzate siano coerenti con i principi di correttezza, sicurezza, accountability e protezione dei dati personali, fornendo una solida base per la governance e la compliance dell’organizzazione.
Per comprendere appieno come la gestione del rischio si applica nella pratica, è utile analizzare come ciascuna fase del ciclo di vita di un sistema di IA integra controlli e misure di mitigazione.
Comprendere questi elementi permette di passare alla fase successiva: la gestione del rischio lungo tutto il ciclo di vita di un sistema di IA.
La gestione del rischio nel ciclo di vita del sistema IA
Per gestire efficacemente i rischi, è essenziale considerare l’intero ciclo di vita di un sistema di intelligenza artificiale, articolato in diverse fasi che si susseguono in modo continuo e interconnesso.
Nella fase di inception e analisi, l’organizzazione definisce il problema da risolvere e seleziona l’architettura del modello più adeguata agli obiettivi da raggiungere.
Durante l’acquisizione e la preparazione dei dati, viene garantita la qualità e la conformità legale dei dati utilizzati, fondamentale per evitare errori o distorsioni nelle predizioni. Lo sviluppo del modello comprende programmazione, addestramento, testing e ottimizzazione, sempre con attenzione alla correttezza e all’efficienza del sistema.
La fase di verifica e validazione assicura che il modello funzioni in modo accurato e robusto. Successivamente, deploy e operazione richiedono un monitoraggio continuo per rilevare anomalie o deterioramenti nel tempo
Nei sistemi che apprendono in modo continuo, la validazione e la rivalutazione periodica diventano essenziali per confrontare i risultati operativi con i rischi identificati, consentendo aggiustamenti tempestivi.
Infine, la fase di ritiro permette di dismettere sistemi obsoleti o sostituiti da soluzioni più avanzate, evitando rischi legati a tecnologie non più controllate. Considerare tutte queste fasi permette di applicare in modo concreto controlli e misure di mitigazione dei rischi lungo tutto il ciclo di vita del sistema, garantendo decisioni affidabili, conformi e trasparenti.
Oltre ai rischi tecnici e operativi, è essenziale garantire che il funzionamento del modello sia comprensibile: qui entrano in gioco i concetti di interpretabilità e spiegabilità.
Interpretabilità e spiegabilità: perché sono essenziali
Quando si sviluppano o si utilizzano sistemi di Intelligenza Artificiale (IA), due concetti chiave diventano fondamentali: interpretabilità e spiegabilità.
È importante non confonderli con la trasparenza. L’interpretabilità e la spiegabilità riguardano quanto chi gestisce il sistema comprende il funzionamento interno del modello, mentre la trasparenza consiste nel fornire informazioni comprensibili agli utenti finali.
L’interpretabilità indica la capacità di capire come il modello prende le proprie decisioni, un aspetto fondamentale per fidarsi del sistema e identificare eventuali errori. La spiegabilità, invece, riguarda la possibilità di fornire spiegazioni chiare e comprensibili delle decisioni del modello agli utenti.
Il rischio black box
In pratica, senza interpretabilità e spiegabilità, un sistema di IA rischia di diventare una vera e propria “black box”, in cui le decisioni restano opache agli utenti. Questo è considerato uno dei rischi più significativi.
Infatti, se il funzionamento del modello non è comprensibile, diventa difficile capire come e perché vengono generate determinate decisioni, compromettendo la fiducia, la correttezza del trattamento dei dati e la possibilità di rilevare bias o errori.
Come mitigare i rischi
Per ridurre questo rischio, è fondamentale documentare accuratamente il sistema di IA, spiegando il tipo di architettura utilizzata (ad esempio reti neurali o alberi decisionali), i dati di addestramento impiegati, l’accuratezza su diversi gruppi di dati, i potenziali bias e i limiti del modello.
In particolare, nei sistemi complessi come le reti neurali profonde, dove capire il funzionamento interno è difficile, la spiegabilità diventa lo strumento pratico per comprendere il “perché” delle decisioni.
Attraverso tecniche che visualizzano come le caratteristiche dei dati influenzano le predizioni, è possibile rendere le decisioni del modello accessibili e interpretabili anche da chi non è un esperto tecnico.
Assicurare interpretabilità e spiegabilità è essenziale per costruire fiducia nel sistema, identificare bias ed errori, rilevare possibili usi impropri, garantire che le decisioni siano coerenti con gli obiettivi dell’organizzazione e rendere l’IA auditabile.
Esempi
Ecco due esempi che illustrano la differenza tra modelli interpretabili e spiegabili:
- Modello interpretabile: regressione lineare per stimare il prezzo di una casa:
“Prezzo = 100.000 + (50 × superficie) + (10.000 × stanze) + (30.000 × codice postale)”. Facile da capire e spiegare. - Modello spiegabile: rete neurale convoluzionale (CNN) per diagnosticare la polmonite da radiografie.
Non interpretabile di per sé, ma strumenti come LIME (Local Interpretable Model-Agnostic Explanations) mostrano quali parti dell’immagine hanno influenzato la decisione, aiutando i medici a comprenderne il ragionamento.
Accanto alla comprensione del funzionamento del modello, è necessario valutare anche la qualità dei risultati prodotti, secondo il principio di accuratezza.
Principio di accuratezza
Nei sistemi di intelligenza artificiale, il concetto di accuratezza assume una duplice valenza. Da un lato, esiste la precisione statistica, che misura quanto spesso il modello fornisce la risposta corretta rispetto al totale delle predizioni.
Tuttavia, la precisione del modello non garantisce automaticamente l’accuratezza dei dati personali generati.
Un modello può essere “statisticamente accurato”, ma produrre informazioni imprecise o addirittura inesistenti, come spesso accade nei Large Language Models che generano risposte non presenti nei dati di addestramento.
Un ulteriore rischio si manifesta quando l’output del modello diventa inaccurato. Questo può accadere a causa di variazioni o deterioramento dei dati di input nel tempo, fenomeno noto come data drift.
Per esempio, un modello di valutazione del credito addestrato su dati raccolti in un contesto economico stabile potrebbe fornire previsioni errate durante una crisi caratterizzata da rapidi cambiamenti di inflazione e disoccupazione.
Prevenire i rischi
Per mitigare questi rischi, è fondamentale monitorare costantemente la qualità dei dati, verificandone completezza, coerenza e affidabilità, aggiornare periodicamente i modelli con nuovi dati e integrare feedback degli utenti per individuare anomalie o errori nelle predizioni, mantenendo così un livello di accuratezza conforme ai principi normativi.
Garantire l’accuratezza dei dati e delle predizioni è fondamentale, ma non sufficiente: i sistemi di IA devono anche trattare i dati in modo equo, rispettando il principio di correttezza o fairness.
Fairness: il principio di correttezza nei sistemi di IA
Il principio di correttezza, o fairness, rappresenta uno dei cardini della protezione dei dati personali. Esso richiede che i dati non siano trattati in modi ingiustificatamente dannosi, discriminatori o fuorvianti, e che le persone comprendano chiaramente come verranno utilizzati i loro dati.
Nel contesto dei sistemi di IA, la fairness assume un’importanza critica perché le decisioni generate dai modelli possono essere difficili da interpretare.
I rischi principali derivano dai bias, ossia pregiudizi che il sistema può apprendere dai dati di addestramento o introdurre durante l’elaborazione.
Questi bias possono tradursi in risultati discriminatori, favorendo alcuni gruppi di persone o penalizzandone altri.
Anche con dati accurati e completi, un modello può produrre risultati distorti a causa di errori di campionamento, pregiudizi storici presenti nei dati o overfitting, cioè la tendenza a memorizzare eccessivamente i pattern dei dati di training compromettendo la generalizzazione.
Come prevenire i rischi
Mitigare questi rischi richiede che i dati di addestramento siano rappresentativi e diversificati, applicando tecniche di correzione dei bias e monitorando costantemente il modello.
Audit periodici, revisione dei dati, selezione accurata delle feature e regolarizzazione dei modelli sono strumenti fondamentali per garantire decisioni coerenti, imparziali e conformi ai diritti fondamentali.
Tuttavia, anche con dati accurati e processi equi, possono emergere distorsioni o errori: è il momento di analizzare i bias, sia algoritmici sia di interpretazione, e tradurre in pratica la fairness.
Bias algoritmico e di interpretazione, come riconoscerli e mitigarli
Il bias algoritmico si riferisce a distorsioni che derivano dal design del sistema di intelligenza artificiale stesso, indipendentemente dai dati utilizzati per l’addestramento.
La struttura dell’algoritmo, le scelte matematiche per ottimizzare le prestazioni, le strategie per prevenire l’overfitting o la decisione di applicare modelli statistici all’intero dataset o solo a sottogruppi possono introdurre risultati ingiustamente favorevoli o sfavorevoli a determinati gruppi.
Un esempio noto è il modello Compas, impiegato nel sistema giudiziario statunitense per prevedere la recidiva, che ha mostrato un bias nei confronti degli imputati afroamericani a causa di assunzioni errate sulle relazioni tra caratteristiche e previsioni.
Per ridurre il rischio di bias algoritmico è essenziale adottare algoritmi progettati tenendo conto dell’equità, bilanciare le funzioni obiettivo, selezionare con attenzione le feature, condurre audit regolari e testare il modello su dataset rappresentativi e diversificati.
Inoltre, l’uso di modelli interpretabili o di tecniche che ne rendano comprensibile il funzionamento permette di identificare e correggere le distorsioni.
In alcuni casi può essere utile valutare approcci alternativi o integrativi rispetto al machine learning tradizionale, compreso il neurosymbolic AI, per garantire decisioni più eque e affidabili.
Bias di interpretazione
Il bias di interpretazione si verifica quando gli analisti traggono conclusioni errate o distorte dai dati di addestramento e dai risultati prodotti dal modello di intelligenza artificiale, spesso influenzati da preconcetti o da una comprensione incompleta.
Una lettura selettiva dei risultati può mascherare problemi di equità, portando all’adozione di sistemi potenzialmente parziali e compromettendo le decisioni successive di correzione, ottimizzazione o ri-addestramento del modello.
Un esempio pratico riguarda un’organizzazione sanitaria che sviluppa uno strumento diagnostico basato su IA per stimare la probabilità che un paziente abbia una determinata malattia. Lo strumento fornisce un punteggio tra 0 e 1, dove 1 indica alta probabilità.
Il bias di interpretazione si manifesta se il personale sanitario interpreta il punteggio come una diagnosi definitiva, anziché come una probabilità, assumendo che 0,8 significhi che il paziente ha certamente la malattia e 0,2 che non ce l’abbia.
Come mitigare i rischi
Per prevenire questo rischio, è fondamentale coinvolgere team multidisciplinari, documentare e comunicare in modo chiaro le scelte di modellazione, applicare tecniche di spiegabilità dei modelli, fornire formazione sul tema dei bias e condurre audit regolari sulle interpretazioni dei dati e dei risultati.
Per ridurre al minimo sia i bias algoritmici sia quelli di interpretazione, le organizzazioni devono adottare pratiche rigorose già nella fase di selezione e acquisto dei sistemi di IA, assicurandosi di comprendere pienamente il funzionamento e i rischi dei modelli.
Cosa devono fare le organizzazioni che acquistano soluzioni di IA
Quando un’organizzazione decide di acquisire un sistema di intelligenza artificiale, il rischio principale nasce se le informazioni fornite dal fornitore non sono chiare, complete o sufficientemente dettagliate.
Questo aspetto è particolarmente critico nelle fasi di selezione e gara d’appalto, quando le decisioni vengono prese senza una piena comprensione del funzionamento del sistema.
Per ridurre questi rischi, l’organizzazione deve ottenere una documentazione esaustiva che descriva in modo chiaro cosa fa il sistema e come lo fa, includendo dettagli sull’architettura del modello, sugli algoritmi utilizzati, sulle modalità di elaborazione dei dati e sulle funzionalità disponibili, comprese le possibilità di integrazione con altri sistemi.
Particolare attenzione deve essere dedicata alla trasparenza, all’interpretabilità e alla spiegabilità del modello: il sistema non deve funzionare come una “scatola nera”. L’organizzazione deve comprendere come l’IA prende le decisioni, quali fattori le influenzano e quali siano le motivazioni alla base dei singoli risultati.
È altrettanto essenziale conoscere le misure di sicurezza adottate per proteggere l’integrità del modello e la gestione dei dati personali utilizzati per l’addestramento, inclusa la loro provenienza, qualità, accuratezza e eventuali correzioni dei bias.
Inoltre, la documentazione dovrebbe includere procedure di test e validazione, risultati ottenuti in diversi scenari e gestione dei casi limite.
Solo in questo modo l’organizzazione può valutare l’affidabilità e l’efficacia del sistema rispetto ai propri obiettivi, monitorando metriche come la parità dei tassi di falsi positivi e negativi tra gruppi, l’accuratezza calibrata e la parità di opportunità, oltre a benchmark specifici per compiti concreti, ad esempio nell’analisi del linguaggio naturale o nella risoluzione di problemi matematici.
Garantire queste informazioni e controlli permette non solo di rispettare i principi di correttezza e accountability, ma anche di costruire fiducia negli utenti e negli stakeholder, riducendo i rischi di decisioni discriminatorie o errate e assicurando un trattamento responsabile dei dati personali.
