La pubblicazione in maggio di tre recenti studi tecnici commissionati dalla Commissione europea offre l’occasione di esaminare il watermarking e la rilevazione dei contenuti generati dall’intelligenza artificiale, tra gli obblighi più tecnici introdotti dall’AI Act.
Il contesto non è lineare, né le soluzioni proposte. Il percorso seguito dalle autorità è peraltro complesso e, per orientarsi, servono almeno queste coordinate: i tre studi tecnici (dedicati rispettivamente ad audio, immagini/video e testi) mappano i limiti delle tecnologie disponibili; le linee guida sulla trasparenza dei sistemi AI sono ancora in consultazione; il Codice di condotta per la marcatura dei contenuti AI è alla seconda bozza; per l’Italia si aggiunge la legge n. 132/2025 sull’AI, che sovrappone uno strato di governance nazionale.
Sullo sfondo, il pacchetto Digital Omnibus vorrebbe ritardare o modificare (o semplificare/complicare) i tempi di attuazione dell’AI Act, generando per ora più incertezza che chiarimenti.
Indice degli argomenti
La norma base: l’art. 50 AI Act sulla marcatura dei contenuti generati da sistemi di AI
L’art. 50 dell’AI Act articola quattro obblighi distinti, ciascuno rivolto a soggetti e contenuti diversi, cumulabili sullo stesso sistema AI:
- Il comma 1 impone ai provider di sistemi AI progettati per interagire direttamente con persone fisiche di garantire che queste siano informate di stare interagendo con un sistema AI. Le linee guida precisano che l’obbligo non si esaurisce in una notifica una tantum: in interazioni prolungate o in contesti sensibili (applicazioni di AI companion, sistemi che gestiscono stati emotivi degli utenti) possono essere necessari promemoria periodici e disclosure contestuali.
- Il comma 2 impone ai provider di sistemi AI che generano o manipolano contenuti sintetici di garantire che gli output siano marcati in formato leggibile automaticamente e rilevabili come artificialmente generati o manipolati, con soluzioni tecniche efficaci, interoperabili, robuste e affidabili. È il nucleo della disciplina sulla marcatura e quello con le sfide tecniche e giuridiche più rilevanti. Il divario tra il requisito normativo e le capacità tecniche disponibili è notevole, con ricadute dirette sulla natura dell’obbligo.
- Il comma 4 disciplina i deepfake e i testi AI-generati pubblicati con finalità informativa su questioni di interesse pubblico, imponendo ai deployer obblighi di disclosure esplicita e percepibile. Il Codice di condotta, nella sua seconda bozza, traduce questo obbligo in specifiche tecniche operative: icone, etichette, disclaimer, posizionamento, contrasto cromatico minimo, accessibilità per disabili.
- Il comma 5 fissa una condizione trasversale: tutte le informazioni previste dai commi precedenti devono essere fornite in modo chiaro e distinguibile, al più tardi al momento della prima interazione o esposizione, nel rispetto dei requisiti di accessibilità, verso qualsiasi persona che venga esposta per la prima volta all’output del sistema AI.
Chi è obbligato: provider, deployer e la catena della responsabilità
Provider e deployer sono la coppia su cui ruota la distribuzione degli obblighi imposti dall’AI Act.
Il provider è chi sviluppa il sistema AI e lo immette sul mercato sotto il proprio nome o marchio. Su di esso grava l’obbligo primario di marcatura tecnica ai sensi dei commi 1 e 2: deve garantire che i sistemi producano output marcati in formato leggibile automaticamente, e deve rendere disponibili gratuitamente meccanismi di rilevazione accessibili a deployer, utenti finali, autorità competenti, ricercatori indipendenti, organizzazioni della società civile e media.
Il Codice di condotta precisa che il meccanismo di rilevazione deve essere implementabile localmente o ospitato nell’Unione europea, in conformità con il diritto europeo sulla protezione dei dati: una condizione che esclude soluzioni di verifica interamente dipendenti da server centralizzati di terze parti extra-UE.
Il deployer è chi usa il sistema AI nell’ambito della propria autorità, assumendosi la responsabilità della decisione di utilizzarlo e del modo in cui viene impiegato. I suoi obblighi (commi 3 e 4 dell’art. 50 AI Act) sono distinti e aggiuntivi rispetto a quelli del provider: anche se il contenuto è già tecnicamente marcato a monte, il deployer deve assicurarsi che gli utenti finali ricevano una disclosure effettiva e percepibile. Il Codice traduce questi obblighi in specifiche operative: quali icone usare, come posizionarle, quando inserire disclaimer audio, come garantire l’accessibilità per categorie vulnerabili. Le linee guida chiariscono che i dipendenti o collaboratori di un deployer che agiscono nell’ambito delle sue istruzioni non sono deployer autonomi: la responsabilità rimane in capo alla persona giuridica.
La terza categoria, spesso trascurata ma di rilevanza pratica notevole, comprende gli attori della catena distributiva: piattaforme online, aggregatori, broadcaster, motori di ricerca. Le linee guida sono chiare: questi soggetti, nella misura in cui si limitano a trasmettere o diffondere contenuti AI-generati creati da terzi senza esercitare autorità diretta sul sistema AI, non sono deployer ai sensi dell’AI Act e non sono direttamente obbligati dalla norma. Il Codice di condotta li raggiunge però indirettamente: le piattaforme online sono incoraggiate a preservare metadati e marcature, mentre i deployer sono tenuti a collaborare su base di “best effort” con chi distribuisce il contenuto per preservare icone, etichette e disclaimer. Questi soggetti possono inoltre essere soggetti a obblighi analoghi ai sensi del Digital Services Act.
La complessità si acuisce quando la catena è più articolata: un’azienda sviluppa un modello generativo; un’altra lo integra in un sistema AI; una terza lo distribuisce via API; un quarto soggetto crea contenuti attraverso quella piattaforma. Il Codice tenta di risolvere il problema consentendo ai provider downstream di appoggiarsi alle soluzioni di marcatura implementate a monte, a condizione che i provider del modello abbiano aderito al Codice e dimostrato la conformità delle loro soluzioni. La responsabilità finale rimane però in capo al provider del sistema AI che immette il prodotto sul mercato.
Il punto di arrivo e di partenza: nessuna tecnologia è sufficiente da sola
Gli studi tecnici documentano con rigore una premessa che i documenti normativi hanno in vario modo recepito: allo stato attuale nessuna singola tecnica di marcatura e rilevazione soddisfa simultaneamente tutti e quattro i requisiti dell’art. 50 (efficacia, interoperabilità, robustezza e affidabilità) al livello giuridicamente richiesto. Lo confermano analisi accademiche comparative, il rapporto GAO statunitense del 2024 sulle tecnologie di contrasto ai deepfake e i pochi casi di deployment reale.
Per l’audio, i watermark digitali, inclusi i più avanzati sistemi basati su reti neurali come AudioSeal (Meta) e WavMark (Microsoft), sono vulnerabili agli attacchi di replay fisico: il contenuto marcato viene riprodotto attraverso un altoparlante in uno spazio fisico e riregistrato con un microfono, distruggendo il watermark pur lasciando l’audio percettivamente intatto.
Per il testo, lo studio identifica tre limitazioni strutturali aggiuntive: la dipendenza dalla lunghezza (le tecniche di watermarking perdono efficacia sotto i 30-50 token), la vulnerabilità agli attacchi di scrubbing (la parafrasi, anche con un secondo sistema AI, rimuove il watermark) e il rischio di spoofing (attori malintenzionati modificano porzioni minime di testo AI-generato per alterarne il significato senza rimuovere la marcatura, esponendo il provider a contestazioni sulla paternità del contenuto).
Gli studi articolano queste criticità su tre livelli:
- Sul piano della robustezza, nessun watermark disponibile resiste agli attacchi di rigenerazione avanzati: il contenuto marcato viene passato attraverso un secondo modello generativo che produce un output visivamente simile ma privo del watermark. È un loop strutturale destinato a permanere: man mano che le tecniche di rimozione si perfezionano, quelle di embedding devono aggiornarsi, senza punto di equilibrio stabile.
- Sul piano dell’affidabilità, i detector di contenuti AI-generati performano bene nei propri domini di addestramento (fino al 99% di accuratezza in condizioni controllate) ma generalizzano male rispetto a metodi generativi diversi da quelli su cui sono stati addestrati.
- Sul piano dell’interoperabilità, ogni provider adotta soluzioni proprietarie incompatibili con quelle di terzi, rendendo l’interoperabilità richiesta dalla norma attualmente irraggiungibile senza una standardizzazione coordinata che tarda a concretizzarsi.
Il Codice di condotta e le linee guida della Commissione ne prendono atto: una singola tecnica potrà essere sufficiente in futuro, se dimostrerà di soddisfare tutti i requisiti. Oggi non lo è.
Questa constatazione tecnica ha una ricaduta giuridica scomoda ma inevitabile: l’art. 50 AI Act non può essere interpretato come un obbligo di risultato assoluto, dato che il risultato (la marcatura perfettamente robusta, affidabile e interoperabile) è tecnicamente irraggiungibile.
L’interpretazione più sostenibile è quella di un obbligo di mezzi qualificato, aggiornabile e documentabile: il provider deve adottare la migliore combinazione di soluzioni disponibili, mantenerla aggiornata al progredire dello stato dell’arte, documentare le scelte effettuate e i limiti residui, monitorare l’evoluzione delle minacce.
Il fatto che la norma prescriva qualcosa di tecnicamente impossibile – come era noto fin dalla sua redazione – imporrebbe una riflessione seria sugli attuali processi di normazione.
Il Codice di condotta: l’approccio a strati diventa obbligo pratico
La seconda bozza del Codice di condotta, preparata da sei Presidenti e Vicepresidenti indipendenti dei due Working Group con il contributo di centinaia di stakeholder, traduce i principi normativi in obblighi tecnici operativi. Va tenuto presente che, in quanto codice di condotta, la sottoscrizione rimane volontaria.
La Sezione 1 (dedicata ai provider) formalizza la marcatura obbligatoria a due strati: metadati firmati digitalmente con timestamp (primo strato) e watermark non percepibile intessuto nel contenuto (secondo strato). Come terzo strato opzionale sono ammessi fingerprinting o logging, con cautele esplicite sulla privacy.
Sul piano giuridico la misura di non rimozione è rilevante: i firmatari devono vietare contrattualmente a deployer e terzi la rimozione o manomissione intenzionale delle marcature, con responsabilità civile aggiuntiva rispetto alle sanzioni amministrative.
Un impegno ulteriore riguarda la rilevazione: è richiesta un’interfaccia gratuita, implementabile localmente o in UE, con risultati comprensibili ai non esperti e indicazione del livello di sicurezza dell’autenticità. Quest’ultima specificazione è tra le più significative: comunicare certezze assolute su risultati probabilistici potrebbe configurare una rappresentazione fuorviante.
Nel terzo impegno si fissano le metriche qualitative; nel quarto si istituisce un circuito di sorveglianza continuativa (testing pre-mercato e periodico in condizioni reali).
La Sezione 2 (per i deployer) traduce gli obblighi di disclosure del comma 4 in specifiche operative: uso di un’icona con sigla “AI” in maiuscolo, contrasto cromatico minimo, posizionamento variabile per modalità (per video in tempo reale: icona continuativa; per immagini: sempre presente; per audio breve: disclaimer all’inizio). Una futura icona interattiva con un “secondo livello” cliccabile, in sviluppo presso una task force dell’AI Office, fornirà dettagli su cosa è stato generato o manipolato.
I quattro requisiti dell’art. 50 comma 2 si declinano in breve così: efficacia (rilevare le marcature e distinguere i contenuti sintetici); affidabilità (accuratezza in condizioni nominali, con performance che degradano per contenuti brevi o a bassa entropia); robustezza (tenuta in condizioni variabili e sotto attacchi avversariali, il gap più ampio rispetto allo stato dell’arte attuale, in particolare contro gli attacchi di rigenerazione); interoperabilità (operatività trasversale su sistemi e formati diversi, da implementare a stadi seguendo l’evoluzione degli standard). Le linee guida chiariscono che il provider non è tenuto ad adottare soluzioni non ancora disponibili o tecnicamente non implementabili nella propria architettura, un appunto pleonastico.
L’art. 50 comma 2 configura dunque un obbligo di mezzi qualificato, aggiornabile e documentabile: adottare la migliore combinazione disponibile, monitorarne l’efficacia, aggiornarla al progredire dello stato dell’arte, documentare tutto. La compliance fotografata al momento dell’immissione sul mercato non è sufficiente.
Le quattro tecnologie e le loro implicazioni giuridiche
Di seguito le soluzioni che i tre studi tecnici classificano come potenzialmente adeguate, ciascuna con implicazioni giuridiche proprie, recepite in modo diverso dal Codice di condotta e dalle linee guida.
Firme crittografiche e content credentials
Le firme crittografiche e le content credentials (come il sistema C2PA, già adottato da soggetti quali Google e Microsoft) offrono la garanzia di integrità più solida sul piano concettuale: se la firma verifica, l’informazione sulla provenienza è affidabile con grado di certezza elevato. Qualsiasi modifica al contenuto o ai metadati invalida la firma, segnalando il tentativo di manomissione.
Il Codice di condotta le recepisce richiedendo che le informazioni siano firmate digitalmente e marcate con timestamp in modo sicuro e tamper-evident, con identificatori interoperabili. Sul piano giuridico, questa tecnologia si presta a soddisfare il requisito di “affidabilità” e potrebbe diventare la tecnologia di riferimento per scopi probatori e di enforcement, in quanto fornisce una prova digitalmente verificabile dell’origine e dell’integrità del contenuto.
Lo studio evidenzia però limiti strutturali che nessuno dei tre documenti risolve completamente. La firma non verifica la veridicità delle informazioni incorporate nel metadato: un attore malintenzionato potrebbe firmare crittograficamente un contenuto con dati falsi (dichiarando che non è AI-generato quando invece lo è) e la firma risulterebbe comunque valida.
È il limite riconosciuto esplicitamente dallo studio. Inoltre, C2PA ignora attualmente controlli sulla validità dei certificati, ammettendo l’uso di certificati scaduti o revocati senza invalidare la firma. La verifica standard richiede poi la consultazione di server centralizzati di terze parti, con implicazioni per la privacy degli utenti e dipendenza da infrastrutture proprietarie (benché lo studio segnali con favore l’approccio alternativo SEAL, Secure Evidence Attribution Label, per l’uso locale).
Metadati non crittografici
Semplici etichette nei file immagine o video, sono la soluzione più economica e la più fragile. Lo studio lo conferma: possono essere rimossi o alterati con strumenti elementari, non sopravvivono alle conversioni di formato più comuni, e molte piattaforme social li eliminano sistematicamente.
Il Codice di condotta li esclude come misura autonoma, relegandoli a possibile complemento. Utilizzarli come unica misura di marcatura non soddisferebbe il requisito di robustezza.
Watermark digitali invisibili
Sono la tecnologia più vicina al requisito normativo di una marcatura che persista nel contenuto indipendentemente dal canale di distribuzione.
Il Codice di condotta li eleva a secondo strato obbligatorio: ogni contenuto AI-generato o manipolato deve essere marcato con un watermark non umanamente percepibile, direttamente intessuto nel contenuto in modo da rendere difficile la sua separazione dal supporto.
Fa eccezione solo il testo molto breve, per il quale le tecniche di watermark non riescono a soddisfare il requisito di affidabilità per ragioni di entropia del contenuto: non c’è abbastanza spazio informazionale per nascondere il watermark senza alterare il contenuto stesso.
Lo studio esamina le principali varianti con lucidità critica, tra cui (per immagini e video) Stable Signature, Tree-Ring, Gaussian Shading e PRC watermark. Per il video specificamente si segnala una lacuna sottovalutata: la quasi totalità delle ricerche sul watermarking ha riguardato le immagini statiche ma solo di recente sono emersi strumenti dedicati al video AI-generato, peraltro auto-validati dagli stessi provider. Le tecnologie non verificabili indipendentemente pongono un problema di dimostrabilità della conformità di fronte alle autorità di vigilanza.
La conclusione più rilevante sul piano giuridico è che nessuno degli schemi esaminati è robusto contro attacchi di rigenerazione (più o meno avanzati). Un attacco di rigenerazione, in cui il contenuto marcato viene passato attraverso un secondo modello generativo, produce un output visivamente simile ma privo del watermark.
Uno degli studi descrive questo come il “campo di battaglia del futuro”: occorre monitorare continuamente l’evoluzione delle tecniche di attacco.
La rilevazione passiva
È l’analisi forense del contenuto per identificarne l’origine sintetica in assenza di qualsiasi marcatura esplicita. Non è una tecnologia di marcatura e non può soddisfare da sola il requisito dell’art. 50 AI Act. È però uno strumento utile per le autorità di vigilanza e per le piattaforme che distribuiscono contenuti.
Il Codice di condotta la include come misura supplementare opzionale, incoraggiando i firmatari a collaborare con la Commissione e le autorità competenti per sviluppare detector capaci di identificare output di modelli generativi presenti sul mercato UE, anche quando la marcatura sia stata rimossa.
Lo studio è critico sui limiti attuali: i tassi di accuratezza, impressionanti in condizioni controllate (80-99%), calano significativamente quando il sistema incontra contenuti prodotti da metodi generativi diversi da quelli di addestramento.
Per le autorità che intendano affidarsi a questi strumenti in sede di enforcement queste limitazioni impongono cautele procedurali significative: un falso positivo (l’identificazione come AI-generato di un contenuto autentico) può avere conseguenze gravemente lesive per chi ne è vittima, e richiederebbe soglie di verifica molto elevate prima dell’avvio di qualsiasi procedimento.
Le altre categorie assenti nel perimetro immagini/video
Per il testo, lo studio introduce una quinta categoria assente nel perimetro immagini/video: la marcatura strutturale (structural marking), che incorpora la marcatura direttamente nei pesi del modello anziché nel processo generativo. È la sola tecnica utilizzabile per modelli open-weight distribuiti senza controllo del processo generativo, però è meno efficace e più vulnerabile alla rimozione tramite fine-tuning, rispetto al watermarking classico.
Una sesta categoria specifica per il testo è il logging: il provider conserva copia di tutti gli output generati e li mette a disposizione per ricerca di corrispondenze. Offre alta resilienza alle modifiche, ma pone un conflitto diretto con il GDPR, in particolare con il diritto alla cancellazione e all’oblio. Lo studio identifica questo come il principale ostacolo alla sua adozione generalizzata.
Il nodo dei deepfake: definizione operativa, obblighi rinforzati e rischio di responsabilità
Per configurare un deepfake l’AI Act richiede quattro elementi cumulativi: somiglianza apprezzabile col soggetto simulato (valutata caso per caso); esistenza realistica del soggetto (incluse persone decedute, esclusi draghi e creature fantastiche); ambito ampio di soggetti (persone, oggetti, luoghi, entità, eventi); falsa apparenza di autenticità, valutata oggettivamente tenendo conto dei gruppi più vulnerabili (bambini, anziani, persone con bassa alfabetizzazione digitale) che abbassano la soglia di attivazione dell’obbligo.
La comunicazione al pubblico deve essere chiara e percepibile senza azioni aggiuntive dell’utente. Per contenuti artistici o satirici l’obbligo è attenuato ma non derogato: opening credits, didascalie contestuali, icone adiacenti al frame, purché per almeno cinque secondi e senza richiedere scrolling.
Linee guida e Codice non affrontano esplicitamente un dato critico emerso dagli studi: la rilevazione automatica dei deepfake di alta qualità è ancora inaffidabile in condizioni reali – con forte degradazione delle performance su deepfake prodotti con modelli diversi da quelli di addestramento del rilevatore. Le autorità dovranno adottare soglie di confidenza molto elevate prima di fondare qualsiasi procedimento di enforcement sulla detection automatizzata.
La questione della standardizzazione: chi decide cosa è “adeguato”?
L’assenza di standard condivisi per la marcatura, in particolare per i watermark invisibili, è forse il problema più urgente. Il Codice affronta la questione su due fronti. Per i metadati, richiede uno standard aperto, sicuro e tamper-evident per manifesti di provenienza firmati (di fatto orientandosi verso C2PA o equivalenti), con un repository condiviso coordinato dalla Commissione.
Per i watermark, riconosce che gli standard non esistono ancora in forma matura e prevede un’implementazione a stadi, con un’interfaccia di rilevazione eseguibile localmente.
Sul piano della conformità aderire al Codice è il percorso privilegiato: offre un regime di supervisione semplificato e può essere valutato come attenuante sanzionatorio. Per chi non aderisce, l’onere della prova è più gravoso e l’esposizione alle richieste istruttorie delle autorità è maggiore.
Privacy e protezione dei dati: il GDPR entra nel perimetro
La conformità al diritto europeo sulla protezione dei dati personali attraversa tutto quanto detto finora: privacy by design e by default, minimizzazione, limitazione delle finalità, sicurezza. Il Codice aggiunge specifiche operative: fingerprinting e logging limitati ai dati di output, controllo pieno di deployer e utenti su cosa viene registrato e per quanto, cancellazione sicura a scopo esaurito, meccanismi di rilevazione implementabili localmente o ospitati nell’UE.
Un problema strutturale resta aperto: la verifica C2PA standard avviene tramite server centralizzati di terze parti, con potenziali implicazioni di tracciamento del contenuto e dell’identità del verificatore – in conflitto con la minimizzazione e il principio privacy by design. Il Codice lo affronta indirettamente, favorendo soluzioni verificabili localmente (come SEAL, basato sui DNS) rispetto a un C2PA con interrogazioni continue di server esterni.
Un principio che le linee guida rendono esplicito: la marcatura riguarda come il contenuto è stato creato, non chi lo ha creato. Le soluzioni non devono rivelare l’identità del creatore, salvo stretta necessità e base giuridica autonoma.
Le lacune che i documenti non colmano
Arrivando ad alcune conclusioni, i documenti tecnici esaminati coprono molti aspetti, altrettanti ne lasciano aperti. Tra i principali:
- Contenuto co-creato da uomo e AI. Le linee guida stabiliscono che anche il contenuto misto rientra nel perimetro. Il Codice prevede che nei workflow uomo-AI si registri che “un umano ha svolto un’operazione” senza ulteriori dettagli. Manca però una soglia quantitativa: a quale percentuale di intervento umano il contenuto smette di essere “AI-generato o manipolato” ai fini della norma? Il rinvio alla valutazione caso per caso è comprensibile ma crea un’incertezza operativa difficile da gestire.
- Rimozione intenzionale del watermark da parte di terzi. Il Codice impone ai firmatari di vietare contrattualmente la rimozione nei propri termini di servizio. La rimozione da parte di un terzo genera però un regime di responsabilità diverso: responsabilità extracontrattuale, eventuale violazione del DSA (il contenuto non marcato potrebbe qualificarsi come “contenuto illegale”), ma non una violazione diretta dell’AI Act, che addossa l’obbligo al provider del sistema AI e non a chi interviene sul contenuto a valle.
- Responsabilità nella catena “AI-su-AI”. Quando un sistema generativo viene usato per manipolare l’output di un altro sistema generativo (come negli attacchi di rigenerazione), chi è il provider responsabile della marcatura finale? Il Codice prevede che i firmatari aggiornino la catena di provenienza in caso di trasformazione del contenuto, ma il regime di responsabilità per le lacune nella catena rimane indeterminato sia a livello UE che nell’ordinamento italiano.
- Coordinamento tra le autorità competenti ex l. 132/2025 (AgID, AGCOM e Garante) nei casi in cui un sistema AI generativo operi nel settore dei media o elabori dati personali. I meccanismi previsti dalla legge italiana sono ancora in fase di definizione e il rischio di interpretazioni divergenti o procedimenti paralleli è concreto.
Alla fin fine c’è un’ironia da ammettere: stiamo costruendo un sistema per marcare come artificiali i contenuti generati dall’AI usando norme che prescrivono l’impossibile, codici di condotta volontari, linee guida ancora in consultazione e standard che non esistono.
Il regolatore corre inseguendo una tecnologia che non lo aspetta, e chiama il rincorso “approccio basato sul rischio”.
Non è detto che sia il peggior modo possibile di affrontare il tema aa sarebbe più onesto riconoscere che quello che abbiamo oggi non è un sistema per garantire la trasparenza dei contenuti sintetici, forse è solo un sistema per documentare che ci stiamo provando.
Sarà sufficiente per quello che ci aspetta?
