La paura di essere in ritardo tecnologico ha un nome e una sigla: Fear Of Missing Out (FOMO). Quando tale paura è coniugata ad una adozione frettolosa e caotica si potrebbe trovare anche il termine, ‘clusterfuck’, che denota appunto una situazione caotica, confusionaria con conseguenze anche dannose.
Se di ‘FOMO clusterfuck’ si può parlare nell’ambito della AI, è perché il quotidiano ‘The Guardian’ ha pubblicato una sua inchiesta secondo cui il CEO di OpenAI, Sam Altman, avrebbe proposto al ministro UK della Tecnologia Peter Kyle un accordo da miliardi di sterline per offrire ChatGPT Plus a tutta la popolazione inglese. Sebbene il ministro non abbia accettato quell’accordo, ne ha concluso un altro, con Open AI, per l’utilizzo dell’intelligenza artificiale nei servizi pubblici del Regno Unito.
L’Ente Nazionale per l’Intelligenza Artificiale (ENIA) in proposito, ha sottolineato come “questa dinamica non sia nuova e si riproponga sempre a partire da un decisore politico o aziendale che vedendo un trend tecnologico e temendo di restare indietro, si precipita ad adottarlo ‘chiavi in mano’ senza audit sui dati, governance dei rischi o un piano di sostenibilità”; dunque senza verifiche, evidenze, sperimentazione e perciò, senza cautele.
Poiché il suggerimento dell’ENIA, se proprio si hanno fondi da spendere sulle AI, è di “finanziare la ricerca, i modelli open source, le startup locali e i programmi di alfabetizzazione digitale”, come condizioni preventive di una adozione massiva, un ulteriore e necessario tema, che non può mancare nel processo di costruzione della fiducia nelle AI, è la qualità. Qualità applicata ad ogni elemento costituente di un sistema di AI, come spiega Eva Chen, Ceo di Trend Micro e come confermano i C-level di diverse aziende tecnologiche che forniscono evidenza materiale di qualità e sicurezza partendo da metodologie di test interni ed esterni.
Indice degli argomenti
I controlli di qualità e sicurezza da aggiungere nel processo produttivo di una AI
I sistemi di AI sono progressivamente in uso nelle industrie e nei mercati per molti usi diversi. Eva Chen ne spiega l’infrastruttura abilitante che è completamente ribaltata rispetto ai sistemi web e cloud attuali (i sistemi web sono composti da 3 livelli: database, logica applicativa; i sistemi cloud aggiungono un quarto livello di servizi esposti e fruibili, n.d.r.).
I sistemi di AI, infatti, sono basati sui dati, su cui sono applicati modelli di linguaggio o algoritmi con logiche deduttive che funzionano come agenti. La piramide abilitante è quindi rovesciata. In funzione di tale ribaltamento che, secondo la Ceo, “rappresenta una rivoluzione epocale nel software, i dati non sono più la ‘merce di scambio’ fra applicazioni e servizi in cloud, ma costituiscono la base delle architetture di AI”.
Per questo “garantire la qualità dei modelli di AI è strategico e garantirne la sicurezza è parte del processo qualitativo”. E avverte: “piuttosto che correre per arrivare primi su questa tecnologia è più importante essere accurati e garantire che le AI siano anche intrinsecamente sicure e non contengano potenziali vulnerabilità. Per farlo”, spiega, “è necessaria la qualità dei dati e la sicurezza di tutti gli elementi dell’infrastruttura (dati, endpoint, interfacce, il modello di apprendimento, il codice, n.d.r)”.
La validazione tecnica interna ed esterna come base di qualità
Lo conferma anche Emilio Turani, managing director di Qualys per Italia, SE Europa, Turchia e Grecia. Che spiega: “Un approccio rigoroso di validazione tecnica, controllo continuo e trasparenza nei risultati dovrebbero essere alla base di qualsiasi sistema di garanzia della qualità, precisione e affidabilità”, aggiungendo che “sono caratteristiche proprie del nostro sviluppo. Le nostre tecnologie di intelligenza artificiale vengono sviluppate e testate secondo standard industriali che raggiungono e superano costantemente la soglia Six Sigma, con un’accuratezza superiore al 99,99966%, riconosciuta come riferimento di qualità”.
Le allucinazioni delle AI (risposte inesatte, non accurate o del tutto inventate) dovrebbe essere affrontato con numerosi cicli di test. “Sui nostri modelli di AI, si implementa un ciclo di testi multilivello che comprende: benchmark indipendenti e validazioni esterne, realizzati in collaborazione con enti terzi e laboratori accreditati; test interni di robustezza e coerenza semantica, per verificare che le risposte siano basate su dati di vulnerabilità reali e contestualizzati; controlli continui sui modelli AI e LLM per prevenire pregiudizi, sottrazione di informazioni sensibili e vulnerabilità legate alla supply chain dei dati”.
Quale che sia la funzione di un agente AI o di una soluzione che contiene algoritmi di AI è importante garantire la coerenza e l’accuratezza delle risposte. “Nella progettazione di capacità dei modelli di AI si deve aggiungere la protezione dei modelli AI stessi, da rischi di sicurezza e distorsioni. Durante lo sviluppo e produzione, va garantito che ogni output sia verificabile, tracciabile e riproducibile”.
Aggiunge Turani: “Per questo abbiamo creato un ecosistema di agenti di rischio autonomi, che prendono decisioni basate su evidenze verificabili e forniscono risultati certificati: ogni azione o raccomandazione generata è validata con pipeline di controllo che misurano coerenza, accuratezza e impatto operativo in tempo reale”.
Explainable AI per infondere fiducia
Il risultato dovrebbe garantire trasparenza delle risposte dandone evidenze, per poter risalire ai motivi che le hanno determinate per una maggiore fiducia negli strumenti. Ma comporta molto tempo speso nel processo di verifica.
Per ridurre questi tempi, le verifiche possono essere svolte da laboratori di test indipendenti che pubblicano le evidenze.
È questa la strategia citata da Umberto Pirovano, senior manager Technical Solutions, Palo Alto Networks. “Siamo impegnati nella explainable AI (XAI) (l’AI che motiva le sue decision, n.d.r.). “Per dare prove tangibili che dell’assenza di allucinazioni o risposte imprecise, forniamo pubblicamente evidenze degli esiti valutativi del MITRE ATT&CK (organismo di sicurezza, n.d.r.) e i rapporti dei laboratori di test indipendenti, AV-TEST e SE Labs sulle prestazioni delle nostre soluzioni di AI/ML, offrendo anche Proof of Concept (PoC) all’interno degli ambienti cliente. Le interfacce utente sono progettate per fornire contesto e spiegazioni per i rilevamenti dell’AI, consentendo agli analisti la convalida delle decisioni per la trasparenza e la fiducia”.
Non mancano processi interni di test. “La qualità e l’affidabilità delle risposte generate dalle nostre AI sono ottenute attraverso un approccio rigoroso e multi-fattore, un addestramento su uno dei più grandi e diversificati set di dati globali sulle minacce, continuamente aggiornato e curato da esperti per garantirne precisione e pertinenza. Impieghiamo metodi di validazione consolidati, tra cui A/B testing, canary deployment e red teaming con attacchi avversari”.
L’obiettivo di questi test è l’eliminazione di vulnerabilità. Ma ogni vendor procede a modo suo. Cristiano Voschion, Country Manager Italy di Check Point, evidenzia “test di sicurezza dell’AI e red teaming adottando sia framework di affidabilità, sia integrando ‘Gandalf’, la più grande comunità antagonista al mondo dedicata all’IA, che effettua stress test reali. Non ultimo”, aggiunge, “impieghiamo ricercatori esperti che valutano e controllano la robustezza dell’AI, e usiamo modelli di AI che alimentano protezioni autonome come l’ottimizzazione delle policy e i controlli di conformità”.
La fiducia tramite approcci human first
La conferma sul rischio reale di fallibilità delle AI arriva anche da un recente sondaggio Sophos. Rob Harrison, SVP product management chiarisce come “Secondo ‘Beyond the Hype: The Business Reality of AI for Cybersecurity’, molte aziende sono consapevoli dei rischi di risposte imprecise e di una eccessiva dipendenza dalle AI: oltre l’80% dei 400 IT manager intervistati sull’AI introdotte nella cybersicurezza, esprime preoccupazione per la potenziale riduzione del personale o per la deresponsabilizzare delle operazioni di sicurezza”.
L’uomo non dovrebbe essere sostituito. “L’AI è uno strumento potente, ma non infallibile: può semplificare e velocizzare molti processi, ma non dovrebbe mai sostituire il pensiero umano”. La soluzione suggerita dal manager è in un approccio ponderato. “Le aziende dovrebbero valutare con attenzione come i vendor sviluppano le proprie capacità di AI, dalla qualità dei dati utilizzati per il training, all’esperienza dei team che li creano e applicare lo stesso rigore aziendale riservato a qualsiasi altro investimento, definendo obiettivi chiari, misurando i risultati e apportando aggiustamenti quando necessario”.
Se l’uomo è al centro del processo, l’AI dovrebbe supportarlo. “Per mantenere una prospettiva ‘human-first’ l’AI deve essere vista come un alleato, che migliora il lavoro dei professionisti della cybersicurezza, automatizzando i compiti ripetitivi e fornendo analisi. Tuttavia, la responsabilità ultima della sicurezza deve restare sempre nelle mani dell’uomo”.
Questo approccio è condiviso anche da Umberto Pirovano, che conferma come “i team di specialisti interni dedicati di ricerca sulle minacce, Unit 42 e gli analisti SOC, forniscano feedback continuo, affinando i modelli AI/ML e riducendo i falsi positivi garantendo di fatto il modello dello ‘human-in-the-loop’”.
