Stamattina, tra mille dubbi, hai incollato nella chat dell’assistente AI aziendale i motivi che ti hanno spinto a fare una scelta informatica palesemente azzardata perché volevi capire cosa ti avesse risposto l’AI. Hai fornito un contesto di tre righe su quella scelta, argomentando all’assistente AI che la scadenza del progetto giustificava l’apertura temporanea di quell’azzardo.
La risposta dell’intelligenza artificiale ha impiegato esattamente dieci secondi per comparire a schermo: «Ottima intuizione! Il tuo approccio bilancia perfettamente le esigenze con la flessibilità logica.» E ti ha scritto ben cinque paragrafi per rendere plausibile la tua scelta.
Hai sorriso lusingato, pensando che tutto sommato l’AI avesse ragione. E poi, è l’ultimo modello di ragionamento, a pagamento, impostato con il massimo dei token: hai chiuso il file con le modifiche, che adesso non ti sembrano più così azzardate, e firmato l’approvazione, rinfrancato dal parere dell’algoritmo.
Banalmente, non hai appena ottenuto una validazione tecnica indipendente: hai solo comprato un’eco digitale per il tuo bias di conferma.
In fin dei conti, la tendenza del modello a compiacerti non deriva da un difetto accidentale del codice, bensì è la conseguenza prevedibile di un addestramento progettato per rendere l’interazione piacevole e priva di frizioni.
Indice degli argomenti
Sycophancy nell’AI: la trappola del consenso sintetico
Il fenomeno, noto come Sycophancy (compiacenza o adulazione algoritmica), descrive la tendenza strutturale dei modelli linguistici di grandi dimensioni (LLM) ad allineare le proprie risposte alle opinioni, alle premesse e persino agli errori espliciti manifestati dall’utente nell’input.
Come evidenziato negli studi di Sharma e colleghi (2023) e corroborato dalle analisi sulla valutazione dei feedback umani condotte da Perez et al. (2022), questo comportamento rappresenta il sottoprodotto diretto dell’addestramento tramite RLHF (Reinforcement Learning from Human Feedback).
I valutatori umani tendono a premiare le risposte che confermano le proprie idee preconcepite o che appaiono cortesi e persuasive. Di conseguenza, la rete neurale impara che dare ragione all’interlocutore garantisce un punteggio di ricompensa più elevato rispetto al contraddirlo con una verità tecnica indigesta.
Nell’architettura cognitiva descritta da Daniel Kahneman (2011), il pensiero intuitivo e veloce (Sistema 1) cerca costantemente scorciatoie per ridurre lo sforzo analitico, appoggiandosi al bias di conferma (Nickerson, 1998).
Quando un professionista IT o un manager sottopone un dubbio a un agente sintetico, il Sistema 1 interpreta l’assenso dell’IA come una verifica condotta da una terza parte neutrale. La macchina si limita a specchiare la tesi dell’utente, agendo come un raffinato meccanismo people pleasing tecnologico.
L’illusione di un parere terzo azzera la prudenza, abbassando la soglia di vigilanza critica proprio nel momento in cui la scelta richiederebbe il vaglio rigoroso del Sistema 2.
Un caso per capire la dinamica della sycophancy nell’AI
Immaginiamo, a titolo di esempio, uno scenario all’interno di un ufficio che si occupa di infrastruttura cloud. Un Senior Solutions Architect si trova a ridosso del rilascio di una nuova applicazione. Per superare un blocco di integrazione con un database legacy, ipotizza di disabilitare la verifica dei certificati TLS su un canale di comunicazione interno, assumendo che la segmentazione di rete esistente sia sufficiente a mitigare le minacce.
Invece di consultare le linee guida aziendali o convocare un riesame con il team di sicurezza, il tecnico scrive al copilota basato su LLM integrato nell’ambiente di sviluppo: «Considerato che siamo in una VPC privata, disattivare la convalida dei certificati TLS tra il microservizio A e la base dati B può essere considerata una scelta accettabile per accelerare il go-live?». Certo!
L’agente sintetico, addestrato a essere collaborativo, risponde confermando che, nella specifica architettura, la misura appare ragionevole e ti scrive persino il blocco di codice per bypassare il controllo.
L’architetto ottiene la rassicurazione psicologica di cui aveva bisogno e applica la modifica. Un attaccante che ha già ottenuto un accesso iniziale a un container adiacente, meno protetto, tramite credenziali compromesse, rileva la mancata cifratura del traffico interno con una semplice scansione passiva.
Sfruttando l’assenza di verifica del certificato, esegue un attacco di tipo Man-in-the-Middle (MitM) ed esfiltra le credenziali di amministrazione del database.
L’attacco non ha violato una barriera impenetrabile: ha semplicemente percorso la strada che era stata spianata da un’approvazione algoritmica acritica.
Sycophancy nell’AI: le implicazioni per il CISO
Per il CISO, questo ed altri esempi si traducono in una ridefinizione urgente della governance sugli strumenti di produttività basati sull’intelligenza artificiale generativa.
Se l’assistente digitale opera come un dispensatore automatico di approvazioni e conferme acritiche, il rischio di buchi architetturali autorizzati per superficialità cresce esponenzialmente.
La risposta non risiede nel divieto indiscriminato, che spesso conduce ai workaround. Ma nell’implementazione di controlli tecnici e di processo integrati nel ciclo di sviluppo e revisione:
- System Prompt Hardening: Configurare le istruzioni di sistema dei copiloti aziendali affinché adottino un ruolo esplicitamente avversariale (Red Teaming mode) di fronte a richieste di deroga, obbligando il modello a elencare i vettori d’attacco prima di proporre soluzioni. Personalmente, preferisco il modello del brand concorrente, che è addestrato in modo differente su un dataset presumibilmente diverso.
- Automated Policy Guardrails: Integrate nei pipeline di Continuous Integration / Continuous Deployment (CI/CD) scanner statici (SAST) e controlli di conformità non eludibili. L’approvazione generata da una chat d’IA non deve possedere alcun valore autorizzativo nei sistemi di Identity and Access Management (IAM).
- Sycophancy Sensitivity Testing: Condurre verifiche periodiche sulle risposte fornite dagli LLM interni di fronte a prompt fuorvianti inviati dai dipendenti, misurando la frequenza con cui l’algoritmo asseconda pratiche non sicure.
Come metrica di controllo, è necessario sostituire la quantificazione del tasso di completamento dei corsi di formazione con un KPI comportamentale basato sui dati: il tasso di rigetto delle deroghe assistite da IA.
Questo indicatore misura la percentuale di eccezioni di sicurezza proposte da sviluppatori ed approvate da assistenti sintetici che vengono intercettate e bloccate dai controlli tecnici automatici prima di raggiungere l’ambiente di produzione.
Una proposta metodologica
L’approccio del Cybercognitivismo evidenzia come la vulnerabilità non risieda nella sola allucinazione tecnologica dell’algoritmo, bensì nella naturale tendenza dell’essere umano a scambiare la fluidità di un testo ben scritto per accuratezza concettuale.
L’errore umano non è quasi mai la causa radice della falla, ma il punto d’attacco di un’interfaccia progettata per azzerare il dissenso.
È proprio qui che occorre definire le strutture di governance necessarie a separare nettamente l’assistenza operativa dal potere deliberativo[1].
Le procedure di approvazione dei rischi e di concessione delle eccezioni devono prevedere un’architettura a tre livelli in cui la firma di un essere umano verificato sia subordinata a controlli di conformità deterministici.
In questo quadro, il copilota rimane uno strumento di sintesi, mentre la responsabilità dell’analisi critica è vincolata a rigorosi processi di validazione umana o human-in-the-loop.
Ecco: la prossima volta che la chat dell’IA ti dirà che la tua idea per aggirare la firma del codice è geniale, ricorda che l’algoritmo non sta premiando il tuo talento. Sta soltanto facendo il tifo per te e, se perdi la partita, al massimo ti chiede scusa.
Partecipa alla community