Gli obblighi dell’AI Act
e il ruolo della supervisione umana
L’intelligenza artificiale è entrata nei processi aziendali per lavorare, analizzare informazioni e prendere decisioni, ma quando un algoritmo sbaglia, chi se ne accorge? E soprattutto, chi ha il potere di intervenire? Il tema della sorveglianza umana, al centro dell’AI Act europeo, riguarda sempre più da vicino anche le imprese italiane.
L’intelligenza artificiale è sempre più presente nelle aziende. Ma chi mantiene il controllo?
Fino a pochi anni fa, parlare di intelligenza artificiale significava immaginare tecnologie complesse, riservate a grandi aziende e centri di ricerca, oggi lo scenario è completamente diverso, l’AI viene utilizzata per analizzare documenti, automatizzare attività ripetitive, migliorare il servizio clienti, supportare le strategie commerciali e ottimizzare i processi produttivi.
Le opportunità sono evidenti: maggiore velocità, riduzione delle attività manuali e possibilità di elaborare grandi quantità di informazioni.
Tuttavia, insieme ai vantaggi emerge una questione fondamentale: possiamo davvero affidarci alle decisioni di un sistema di intelligenza artificiale senza comprenderne i limiti?
Un algoritmo può produrre risultati apparentemente corretti, ma basati su informazioni incomplete, dati non rappresentativi o interpretazioni errate e quando questi risultati vengono utilizzati per prendere decisioni importanti, le conseguenze possono coinvolgere non soltanto l’efficienza aziendale, ma anche i diritti delle persone.
Il concetto di sorveglianza umana trova le sue basi proprio su questo.
Che cosa significa davvero sorveglianza umana nell’intelligenza artificiale?
La sorveglianza umana, o human oversight, è la capacità di una persona di supervisionare il funzionamento di un sistema AI, comprenderne i risultati e intervenire quando necessario, quindi non significa semplicemente verificare occasionalmente ciò che produce un algoritmo, ma costruire un processo in cui il controllo umano sia effettivo.
Immaginiamo, per esempio, un’azienda che utilizzi l’intelligenza artificiale per analizzare le candidature ricevute durante una selezione del personale.
Il sistema potrebbe classificare i profili sulla base di determinati criteri, aiutando i responsabili delle risorse umane a gestire un numero elevato di candidature, ma cosa accadrebbe se alcuni criteri producessero valutazioni distorte, oppure se il sistema penalizzasse determinate categorie di candidati a causa di dati di addestramento non rappresentativi?
In una situazione del genere, la presenza di una persona capace di valutare criticamente i risultati diventa essenziale.
Il controllo umano non deve essere una semplice formalità: deve permettere di riconoscere gli errori, contestare i risultati e modificare o interrompere il processo.
AI Act: quali obblighi riguardano le aziende?
L’Unione Europea ha introdotto l’AI Act, il regolamento che disciplina lo sviluppo e l’utilizzo dei sistemi di intelligenza artificiale attraverso un approccio basato sul rischio.
Uno degli aspetti più importanti riguarda i sistemi classificati come ad alto rischio, per i quali sono previsti specifici requisiti di sicurezza, trasparenza e supervisione.
L’articolo 14 dell’AI Act stabilisce che questi sistemi debbano essere progettati e sviluppati in modo da consentire un’efficace sorveglianza da parte di persone fisiche.
Ciò significa, per esempio, che chi supervisiona il sistema deve poter comprenderne capacità e limiti, individuare eventuali anomalie, interpretare correttamente i risultati e decidere di non utilizzarli.
Quando appropriato, deve essere possibile anche intervenire sul funzionamento del sistema o arrestarlo in condizioni di sicurezza.
È importante chiarire che non tutte le applicazioni di intelligenza artificiale sono soggette agli stessi obblighi.
Utilizzare un assistente AI per preparare una bozza di testo non equivale necessariamente a impiegare un sistema classificato ad alto rischio per valutare candidati, affidabilità creditizia o altre situazioni disciplinate dal regolamento.
Per un’impresa, il primo passo consiste quindi nel comprendere quali strumenti AI vengono utilizzati, per quali finalità e quale classificazione normativa possa essere applicabile.
Chi è responsabile: chi sviluppa l’AI o chi la utilizza?
Un altro aspetto fondamentale riguarda la distribuzione delle responsabilità.
L’AI Act distingue, tra gli altri, due ruoli: il provider, cioè il soggetto che sviluppa un sistema AI o lo fa sviluppare e lo immette sul mercato con il proprio nome o marchio, e il deployer, ovvero l’organizzazione che utilizza il sistema sotto la propria autorità nell’ambito di un’attività professionale.
Per i sistemi ad alto rischio, il fornitore deve prevedere adeguate misure di supervisione già nella progettazione della tecnologia; l’azienda utilizzatrice, invece, deve organizzarsi affinché quelle misure possano funzionare concretamente.
Ovviamente ciò implica individuare persone competenti, formarle, attribuire loro responsabilità chiare e metterle nelle condizioni di intervenire.
Acquistare un software che dispone di funzionalità di controllo non significa automaticamente aver realizzato un sistema di supervisione efficace.
Se nessuno verifica i risultati, se le anomalie non vengono segnalate o se gli operatori non hanno l’autorità per sospendere un processo, il controllo umano rischia di esistere soltanto sulla carta.
Perché documentare il controllo umano è così importante?
Uno dei punti più rilevanti della normativa riguarda la possibilità di dimostrare come viene esercitata la supervisione. Il solo controllo non è sufficiente ma è necessario essere in grado di ricostruire, quando richiesto e secondo gli obblighi applicabili, chi è incaricato della supervisione, quali verifiche vengono effettuate e quali procedure sono previste in caso di anomalie.
La documentazione può comprendere procedure operative, registrazioni degli eventi, istruzioni, evidenze della formazione e informazioni sulle modalità di intervento. Questo materiale non riguarda esclusivamente le eventuali verifiche normative ma sono di supporto all’impresa per individuare problemi ricorrenti, migliorare i processi e comprendere come vengono prese le decisioni supportate dall’intelligenza artificiale.
In altre parole, documentare il controllo significa rendere la tecnologia più governabile e le responsabilità più chiare.
La FRIA: valutare l’impatto dell’AI sui diritti delle persone
Nel quadro dell’AI Act assume rilievo anche la Fundamental Rights Impact Assessment, conosciuta con l’acronimo FRIA.
Si tratta di una valutazione d’impatto sui diritti fondamentali, prevista dall’articolo 27 per determinate categorie di organizzazioni e specifici utilizzi di sistemi AI ad alto rischio (non tutti gli strumenti AI). Quando applicabile, la FRIA richiede di esaminare il contesto in cui viene impiegato il sistema, le categorie di persone interessate, i rischi potenziali e le misure previste per affrontarli.
Tra gli elementi da descrivere rientrano anche le modalità con cui viene attuata la sorveglianza umana.
Le scadenze europee sono state rinviate. Le aziende possono aspettare?
Il calendario di applicazione dell’AI Act è stato modificato dal Regolamento (UE) 2026/1744, noto come Digital Omnibus sull’IA.
Secondo il quadro normativo richiamato nell’approfondimento di Agenda Digitale del 20 novembre 2026, gli obblighi relativi ai sistemi ad alto rischio dell’Allegato III si applicheranno dal 2 dicembre 2027, mentre per quelli dell’Allegato I la data prevista è il 2 agosto 2028.
Il rinvio comprende anche specifiche disposizioni sulla sorveglianza umana, ma ciò non costituisce certamente un motivo per il quale che le imprese debbano rimandare ogni attività di preparazione.
In Italia sono già intervenute disposizioni nazionali che rendono particolarmente rilevanti le misure di sicurezza, la supervisione e la disponibilità di documentazione sul funzionamento dei sistemi AI.
Il D.Lgs. 160/2026, per esempio, ha introdotto specifiche disposizioni penali per determinate omissioni relative ai sistemi ad alto rischio, quando ne derivi un concreto pericolo per la vita o l’incolumità delle persone.
Ha inoltre previsto strumenti processuali che, in determinate controversie risarcitorie, possono rendere rilevante la produzione di documentazione relativa al funzionamento e alla supervisione dei sistemi.
È quindi importante distinguere tra l’entrata in applicazione dei singoli obblighi europei e le responsabilità che possono già derivare da altre disposizioni.
Per le aziende, la scelta più prudente è iniziare a valutare i propri utilizzi dell’AI, senza aspettare l’ultimo momento.
Il rischio dell’automazione: quando ci fidiamo troppo dell’algoritmo
Uno dei problemi più insidiosi nell’utilizzo dell’intelligenza artificiale è il cosiddetto automation bias, ovvero la tendenza ad attribuire eccessiva fiducia ai risultati prodotti da un sistema automatizzato.
Se un software restituisce una valutazione, una previsione o una raccomandazione, possiamo essere portati a considerarla corretta semplicemente perché proviene da una tecnologia avanzata.
Questo comportamento può diventare particolarmente rischioso quando l’AI viene integrata in processi decisionali importanti.
Pensiamo a un sistema che segnala un’anomalia in un processo produttivo, suggerisce una valutazione economica o classifica automaticamente una richiesta, la rapidità con cui viene generato il risultato non ne garantisce l’accuratezza, per questo le persone incaricate della supervisione devono conoscere i limiti del sistema e disporre degli strumenti necessari per verificare i risultati.
L’intelligenza artificiale può supportare il giudizio umano, ma non dovrebbe trasformarlo in una semplice approvazione automatica.
Come preparare la propria azienda a un utilizzo responsabile dell’AI
Per molte PMI italiane, affrontare il tema della governance dell’intelligenza artificiale può sembrare complesso.
In realtà, è possibile partire da alcune attività concrete.
La prima consiste sicuramente nel mappare gli strumenti AI utilizzati all’interno dell’organizzazione. Non soltanto le soluzioni acquistate ufficialmente, ma anche quelle impiegate quotidianamente dai collaboratori.
È poi necessario comprendere quali processi vengono supportati dall’intelligenza artificiale e quali conseguenze potrebbero derivare da risultati errati.
Una volta identificati gli utilizzi più delicati, l’azienda può definire ruoli e responsabilità, stabilendo chi verifica i risultati e chi può intervenire in caso di problemi.
La formazione rappresenta un ulteriore elemento fondamentale.
Le persone devono conoscere le potenzialità degli strumenti, ma anche i loro limiti, i rischi di un utilizzo improprio e le procedure da seguire quando qualcosa non funziona.
Infine, è utile predisporre una documentazione proporzionata ai rischi e agli obblighi applicabili, che permetta di verificare nel tempo l’efficacia delle misure adottate.
Non si tratta di rallentare l’innovazione.
Al contrario, un’organizzazione che conosce e governa i propri sistemi AI può utilizzarli con maggiore consapevolezza e fiducia.
Digiup: innovare significa anche mantenere il controllo
L’intelligenza artificiale rappresenta un’opportunità concreta per migliorare i processi, sviluppare nuovi servizi e aumentare la competitività delle imprese, ma per ottenere benefici duraturi non è sufficiente introdurre nuovi strumenti: occorre comprenderne il funzionamento, valutarne i rischi e integrarli correttamente nell’organizzazione.
Digiup affianca le aziende nei percorsi di innovazione e trasformazione digitale, mettendo al centro le esigenze operative, la tecnologia e la sicurezza.
Un approccio strutturato all’adozione dell’AI può aiutare le imprese a identificare gli utilizzi più rilevanti, definire adeguati controlli e costruire processi più affidabili, coinvolgendo quando necessario le competenze legali e di compliance specialistiche.
Perché il futuro dell’intelligenza artificiale non dipenderà soltanto dalla capacità degli algoritmi di prendere decisioni sempre più rapidamente.
Dipenderà anche dalla nostra capacità di comprenderle, verificarle e mantenerne il controllo.
La tua azienda utilizza già strumenti di intelligenza artificiale? Sai chi ne verifica i risultati e chi può intervenire quando qualcosa non funziona?
Contatta Digiup per approfondire come integrare le nuove tecnologie nei processi aziendali con un approccio consapevole, sicuro e orientato al business.
