Negli ultimi anni il dibattito sull’intelligenza artificiale si è concentrato prevalentemente sulle tecnologie formalmente adottate dalle organizzazioni: piattaforme selezionate, programmi di trasformazione digitale, sistemi sottoposti a valutazioni preventive e successivamente integrati nei processi aziendali.
Questa rappresentazione, per molti aspetti corretta, riflette il modo tradizionale con cui le organizzazioni hanno storicamente incorporato innovazione: attraverso decisioni consapevoli, sequenziali e riconducibili a centri di responsabilità identificabili.
Un’attenta analisi organizzativa suggerisce però che almeno una parte della trasformazione in corso stia seguendo una traiettoria diversa.
Indice degli argomenti
Shadow AI e processi di business
L’intelligenza artificiale non entra più esclusivamente nelle organizzazioni attraverso programmi deliberati di adozione.
Sempre più spesso viene introdotta direttamente dagli attori che operano all’interno dei processi: professionisti, responsabili di funzione, auditor, strutture di supporto, funzioni di controllo e operatori che iniziano a utilizzare strumenti generativi, assistenti conversazionali e sistemi di supporto cognitivo per svolgere attività quotidiane.
Predisporre documenti. Costruire sintesi. Organizzare informazioni. Formulare ipotesi. Preparare analisi preliminari. Accelerare attività che fino a poco tempo fa richiedevano tempi, esperienza o livelli di specializzazione significativamente maggiori.
Il fenomeno appare particolarmente evidente nei contesti ad alta intensità cognitiva – audit, compliance, funzioni legali, controllo interno, risorse umane, pianificazione commerciale -, ma tende progressivamente a estendersi all’intera catena del valore.
È in questo spazio che emerge il tema della shadow AI.
Definizione di shadow AI
La definizione oggi più diffusa identifica la shadow AI come utilizzo di strumenti di intelligenza artificiale al di fuori del perimetro formalmente autorizzato dall’organizzazione.
La definizione è utile, ma non è sufficiente.
Se interpretata esclusivamente come evoluzione della tradizionale shadow IT,la shadow AI rischia di essere trattata come un problema di sicurezza, di conformità o di mancato rispetto delle procedure.
Questa lettura coglie una parte del fenomeno, ma rischia di trascurarne la dimensione più interessante.
La questione non riguarda soltanto quali strumenti vengano utilizzati: riguarda il modo in cui il lavoro viene costruito.
Per lungo tempo le organizzazioni hanno compensato i limiti cognitivi individuali attraverso strutture organizzative, gerarchie, procedure, specializzazione e sistemi informativi.
Le capacità necessarie per produrre risultati – selezionare informazioni rilevanti, formulare interpretazioni, costruire rappresentazioni della realtà, generare alternative e assumere decisioni – erano distribuite all’interno di assetti relativamente osservabili.
L’organizzazione non era soltanto un sistema di coordinamento ma era anche un sistema di distribuzione delle capacità cognitive.
Questa osservazione richiede però una precisazione: le organizzazioni non hanno mai funzionato esclusivamente attraverso regole formalizzate.
Tra il processo progettato e il lavoro concretamente svolto è sempre esistita una distanza “fisiologica”.
Procedure, organigrammi e sistemi descrivono soltanto una parte delle dinamiche attraverso cui si prendono decisioni e generati risultati.
L’operatività quotidiana si costruisce anche attraverso interpretazioni, esperienza, adattamenti locali, conoscenza tacita e forme di coordinamento che raramente trovano piena rappresentazione nei modelli formali.
In questo senso il lavoro organizzativo è sempre stato, almeno in parte, un’attività continua di costruzione del significato operativo.
L’intelligenza artificiale non introduce questa distanza: interviene però sul modo in cui sicolma.
La shadow AI come problema di architettura organizzativa
Per la prima volta con questa intensità, il supporto alle attività cognitive non è più incorporato esclusivamente nella struttura organizzativa.
Una parte crescente delle capacità necessarie alla produzione del risultato può essere acquisita direttamente dagli attori operativi attraversostrumenti cheriducono il costo della formulazione, della sintesi, dell’esplorazione delle alternative e della costruzione di rappresentazioni operative.
Attività come la selezione delle informazioni, il supporto all’analisi, la produzione documentale preliminare e la generazione di opzioni decisionali non sono più necessariamente incorporate nelle competenze individuali o nei processi formalizzati.
Possono essere supportate, delegate o distribuite attraverso strumenti il cui utilizzo non coincide sempre con ciò che l’organizzazione osserva o governa.
Da questa prospettiva, la shadow AI non rappresenta solo una questione di adozione tecnologica: rappresenta un problema di architettura organizzativa. Se si osserva il fenomeno soltanto come utilizzo non autorizzato di strumenti tecnologici, appare come un problema di controllo.
Se si osserva come redistribuzione delle capacità cognitive necessarie alla produzione del risultato, il quadro cambia.
Il punto non è stabilire se le persone utilizzino l’intelligenza artificiale, bensì comprendere quali attività del processo di lavoro stiano progressivamente cambiando natura. Non tutte le forme di utilizzo producono infatti lo stesso effetto.
È utile distinguere almeno 3 configurazioni
La prima riguarda il supporto cognitivo episodico: sintesi, ricerca preliminare, produzione di bozze.
In questi casi il processo rimane sostanzialmente invariato e il rischio riguarda prevalentemente qualità dell’output e gestione delle informazioni.
La seconda configurazione emerge quando il supporto cognitivo smette di essere episodico e diventa parte ordinaria del processo di lavoro.
In questi casi gli strumenti – come funzionalità generative integrate e sistemi
di supporto alle attività operative – non si limitano ad accelerare l’esecuzione delle attività, ma iniziano a incidere sul modo in cui il risultato si costruisce progressivamente.
La terza configurazione riguarda processi nei quali il supporto cognitivo non si affida a un singolo strumento, ma si distribuisce tra sistemi differenti che intervengono in momenti successivi della costruzione del risultato.
In questi casi l’output prodotto in una fase diventa l’input della fase successiva, generando una catena di elaborazioni che contribuisce progressivamente alla formazione della decisione o del contenuto finale.
Si pensi, per esempio, alla predisposizione di una valutazione interna di conformità in materia di privacy o di salute e sicurezza sul lavoro.
Un primo sistema sintetizza documentazione normativa e procedure aziendali. Un secondo genera ipotesi di rischio e individua aree di attenzione. Infine un terzo produce una bozza di raccomandazioni operative, successivamente validate dal professionista.
In questo scenario il problema non consiste necessariamente nell’errore del risultato finale, ma nella crescente difficoltà di ricostruire quale passaggio abbia orientato l’interpretazione, selezionato le alternative considerate rilevanti o influenzato la formulazione conclusiva.
Rischio organizzativo
Il rischio organizzativo emerge quando il percorso attraverso cui il significato operativo prende forma diventa meno osservabile del risultato stesso.
In questo scenario il rischio principale non deriva dalla presenza dell’intelligenza artificiale, ma dalla crescente distanza tra esecuzione e osservabilità.
In queste configurazioni tende infatti a indebolirsi la piena riconducibilità del contributo dei singoli passaggi alla formazione del risultato.
La possibilità di distinguere tra elaborazione umana e supporto algoritmico, nonché di attribuire puntualmente l’origine di specifiche scelte, valutazioni o rappresentazioni, può risultare progressivamente meno immediata, con implicazioni dirette sulla ricostruibilità del processo e sulla sua verificabilità ex post.
In assenza di adeguati meccanismi di tracciabilità e ricostruzione del flusso informativo e decisionale, si riduce la possibilità di disporre di un livello di ricostruibilità adeguato a supportare attività di verifica, controllo e accountability, con conseguente esposizione a rischi di natura operativa e a un potenziale indebolimento dei presidi di controllo interno.
Più aumenta l’integrazione cognitiva, più diventa difficile comprendere dove si formi il valore e attraverso quali passaggi si costruisca il risultato.
Questo fenomeno assume particolare rilevanza nelle attività di controllo.
I tre livelli di attenzione del governo della shadow AI
Un auditor che utilizza uno strumento generativo per costruire la prima versione di un piano di audit non rinuncia automaticamente al proprio giudizio professionale, sta però modificando il punto da cui prende avvio il processo interpretativo.
Lo stesso vale per processi commerciali, decisionali ed organizzativi.
Il problema non consiste quindi nel riportare integralmente il fenomeno dentro modelli di controllo tradizionali. Ma consiste nello sviluppare nuove capacità di osservazione organizzativa.
Da questa prospettiva il governo della shadow AI non può ridursi all’autorizzazione degli strumenti.
Richiede almeno tre livelli di attenzione:
- Visibilità: individuare dove e con quale intensità strumenti di AI entrino nei processi.
- Comprensibilità: comprendere quali attività cognitive vengano supportate, orientate o delegate.
- Governabilità: mantenere chiara l’attribuzione delle responsabilità e la possibilità di ricostruire il percorso che conduce dall’informazione alla decisione.
Questo passaggio assume rilievo anche sul piano regolatorio.
I sistemi contemporanei di responsabilità – costruiti attorno a principi quali accountability, trasparenza, attribuibilità e controllabilità – non si fondano esclusivamente sulla verificabilità del risultato.
Presuppongono anche la possibilità di comprendere il processo che conduce alla sua formazione.
Ciò include, sempre più, lapossibilità di ricostruire ex post non soltanto le informazioni utilizzate, ma anche i passaggi logici, le trasformazioni intermedie e i contributi – umani o algoritmici – che hanno condotto al risultato finale.
La shadow AI inaugura una nuova area di tensione nei modelli regolatori esistenti
Da questo punto di vista la shadow AI non rende automaticamente inadeguati i modelli regolatori esistenti. Ne evidenzia però una nuova area di tensione.
Per lungo tempo il presidio del dato è stato considerato sufficiente per esercitare controllo sul trattamento e sul risultato prodotto.
L’emersione di strumenti che intervengono nella costruzione delle interpretazioni e nella generazione delle alternative decisionali introduce però una tensione diversa:
- l’organizzazione continua ad attribuire formalmente responsabilità ai soggetti che adottano, validano o utilizzano il risultato;
- intanto può progressivamente perdere visibilità sul processo cognitivo attraverso cui quel risultato prende forma.
In questo scenario il governo non richiede soltanto conoscibilità dell’output, ma anche un livello adeguato di comprensione del percorso che conduce alla sua formazione.
Per i responsabili dei processi, per le funzioni di audit, per le funzioni di compliance e di controllo di secondo livello, per gli RPD la sfida non consiste nell’accertare semplicemente se si utilizza l’intelligenza artificiale: consiste nel comprendere se l’organizzazione mantiene la capacità di spiegare come si forma una decisione.
Questa trasformazione apre tuttavia una questione ulteriore sotto il profilo della protezione dei dati personali e dei limiti al controllo organizzativo del lavoro.
Data protection e rischi di sorveglianza
Se la diffusione della shadow AI rende necessario comprendere meglio come si formino valutazioni, risultati e decisioni, il rischio è che l’esigenza di governo si traduca impropriamente in un’estensione dei meccanismi di osservazione delle attività individuali.
Per ricostruire il percorso che conduce al risultato, le organizzazioni potrebbero essere incentivate a raccogliere informazioni sempre più granulari sulle interazioni con strumenti digitali, sulle modalità di costruzione dei documenti, sui flussi informativi utilizzati o sulla presenza di supporti algoritmici nelle attività quotidiane.
Tuttavia, la necessità di mantenere conoscibile il processo non coincide automaticamente con la legittimazione di forme pervasive di monitoraggio del lavoratore.
La ricostruibilità del percorso decisionale e la verificabilità delle attività devono rimanere distinte dalla sorveglianza sistematica dei comportamenti individuali.
La tutela dei dati personali
In questa prospettiva, la tutela dei dati personali assume una funzione ulteriore rispetto alla sola protezione delle informazioni trattate: contribuisce a definire i limiti entro cui un’organizzazione può rendere osservabile il lavoro senza compromettere in modo sproporzionato autonomia professionale, riservatezza e dignità della persona.
Un elemento resta tuttavia invariato: la distribuzione delle capacità cognitive non determina una distribuzione automatica della responsabilità.
La responsabilità continua a rimanere in capo ai soggetti che adottano, validano o utilizzano il risultato.
L’intelligenza artificiale può modificare il modo in cui il lavoro viene svolto ma non trasferisce automaticamente la responsabilità degli effetti prodotti: per questo il tema della competenza non perde centralità, anzi la rafforza.
Chi non comprende i processi tradizionali difficilmente svilupperà gli strumenti necessari per valutare criticamente processi mediati tecnologicamente.
Infatti, l’intelligenza artificiale sta entrando nei processi organizzativi in modo diffuso e non sempre in modo visibile.
La questione è se le organizzazioni riusciranno a mantenere intelligibile il percorso attraverso cui il lavoro viene interpretato, coordinato e trasformato in risultato.
Se questa capacità viene meno, il rischio non è soltanto di non conformità. È che la responsabilità continui a essere formalmente attribuita mentre il processo che la genera diventi progressivamente opaco, non pienamente ricostruibile e, in ultima analisi, difficilmente verificabile.
Ed è probabilmente su questo terreno – più che sul controllo dello strumento – che si misurerà la reale tenuta dei sistemi contemporanei di governance, audit, compliance e controllo.
Partecipa alla community