Alla scoperta delle norme dedicate all’intelligenza artificiale

 

 

Il 2 agosto si avvicina. 

Quali sono gli obblighi, spesso non conosciuti, per i sistemi ad alto rischio?

 

La scorsa settimana abbiamo visto, in generale, perché e cosa bisogna comunicare quando si utilizzano sistemi che la normativa considera a rischio “limitato”.

C’è, però, una scadenza importante in vista: il 2 agosto 2026.

Tra una manciata di mesi entreranno in vigore obblighi di una certa rilevanza, ancora poco conosciuti o sottostimati.

 

L’approccio basato sul rischio

L’AI Act, come ormai da tempo tutte le normative di origine comunitaria, adotta anch’esso un approccio risk-based, ovvero basato sul rischio. 

L’intento,  quindi, non è quello di regola una tecnologia in sé, ma l’impatto che una specifica applicazione dell’AI può avere sulla salute, sulla sicurezza e sui diritti fondamentali delle persone: maggiore è il rischio che possano verificarsi danni, più stringenti sono le regole da rispettare. 

La legge immagina una vera e propria “piramide del rischio” suddivisa in quattro livelli: 

• rischio inaccettabile, 
• rischio alto, 
• rischio limitato e 
• rischio minimo.

Mentre i divieti per i sistemi a rischio inaccettabile, ossia le pratiche espressamente vietate, sono già in vigore dal 2 febbraio 2025, gli obblighi relativi ai sistemi ad alto rischio lo saranno a partire dal 2 agosto 2026. 

Ma nella pratica quali sono questi sistemi?

 

 

I sistemi ad Alto Rischio: categorie ed esempi

Un sistema è considerato ad alto rischio in due casi principali. 

Il primo caso riguarda i sistemi che fungono da componenti di sicurezza all’interno di prodotti già soggetti a rigorose normative europee (come dispositivi medici, macchinari industriali, giocattoli o veicoli). Sono di questo tipo un software AI integrato in una macchina per la risonanza magnetica per individuare tumori o un algoritmo che governa i freni automatici di un robot industriale operante vicino agli operai.

Il secondo caso, più ampio, riguarda specifici settori elencati nell’Allegato III dell’AI Act. Per queste categorie, la probabilità di incidere significativamente sulla vita delle persone è eleva. 

Di seguito le otto categorie previste dalla norma, con esempi pratici per ciascuna:

1. Biometria

Questi sistemi trattano dati estremamente intimi e personali, esponendo a rischi di sorveglianza e discriminazione. In passato ci sono stati utilizzi, indagati dall’Autorità per la protezione dei dati personali per evidenti motivi, che hanno portato a sanzioni o a divieti di utilizzo.

Oggi, con sistemi più “intelligenti”, situazioni come quelle che seguono possono senza dubbio ripetersi.

• Un sistema di identificazione biometrica remota installato dalle telecamere di uno stadio per scansionare i volti di decine di migliaia di tifosi e confrontarli con una banca dati di persone sottoposte a Daspo.
• Un software di riconoscimento delle emozioni utilizzato in un centro commerciale per analizzare le micro-espressioni facciali dei clienti e dedurre il loro grado di soddisfazione o frustrazione di fronte a una vetrina.

2. Infrastrutture critiche

L’IA viene usata per gestire reti la cui interruzione metterebbe in ginocchio la società, minacciando la vita e la salute dei cittadini. Quante società hanno già pensato alle conseguenze che potrebbero derivare da un utilizzo non completamente a norma di questi sistemi?

• Un algoritmo che gestisce dinamicamente i flussi e la pressione all’interno della rete idrica di una grande metropoli per prevenire guasti.
• Un sistema di intelligenza artificiale che controlla in tempo reale i semafori intelligenti e le deviazioni stradali di un’intera regione per gestire il traffico.

3. Istruzione e formazione professionale

L’IA in questo ambito può determinare l’intero percorso accademico o formativo di una persona, influenzando il suo futuro sostentamento. Molte istituzioni utilizzano sistemi di questo tipo e i provvedimenti dell’Autorità Garante non sono mancati.

• Un software che valuta automaticamente i test di ammissione a una facoltà universitaria a numero chiuso, decidendo chi viene ammesso e chi scartato.
• Un sistema di monitoraggio che, tramite la webcam del computer, scruta i movimenti degli occhi e del corpo di uno studente durante un esame online per rilevare eventuali comportamenti sospetti o tentativi di copiare.

4. Lavoro

Il rischio qui è perpetuare discriminazioni e ledere i diritti dei lavoratori attraverso decisioni opache. Molte aziende utilizzano già sistemi di questo genere e, spesso, non sono a conoscenza degli obblighi che ne derivano.

• Un algoritmo utilizzato dal reparto Risorse Umane di una multinazionale per scremare migliaia di curriculum, scartando in automatico i candidati ritenuti meno promettenti.
• Un programma installato sui computer dei dipendenti in smart working che monitora la produttività, il tempo di digitazione e i software aperti, e assegna compiti o suggerisce licenziamenti in base alle metriche raccolte.

5. Accesso a servizi privati essenziali e servizi pubblici

I cittadini si trovano spesso in posizione di vulnerabilità quando richiedono aiuti statali o servizi basilari per la sussistenza.

• Un sistema decisionale utilizzato da un istituto previdenziale o da un ente locale per determinare se una famiglia possiede i requisiti per ricevere il reddito di cittadinanza o un sussidio di disoccupazione.
• Un algoritmo bancario che calcola il “merito creditizio” di un giovane lavoratore, decidendo in totale autonomia se concedergli o negargli un mutuo per l’acquisto della prima casa.

Sicuramente il mondo finanziario o assicurativo non “si muovono” senza avere avuto solide consulenze al riguardo ma non è detto che tutti lo abbiano già fatto.

6. Attività di contrasto

L’impiego dell’IA da parte delle forze dell’ordine è caratterizzato da un forte squilibrio di potere e può minacciare la presunzione di innocenza e la libertà personale.

• Un sistema predittivo che analizza i dati storici e la personalità di un detenuto in libertà vigilata per calcolare la probabilità matematica che commetta un nuovo reato.
• Un’intelligenza artificiale impiegata come macchina della verità (poligrafo) durante un interrogatorio di polizia, analizzando la voce e i parametri vitali per stabilire se l’indagato stia mentendo.

7. Migrazione, asilo e gestione del controllo delle frontiere

Le decisioni basate sull’IA impattano su persone in stato di profonda fragilità, rischiando di negare diritti umani fondamentali come la protezione internazionale.

• Un software che analizza la documentazione e i racconti di un richiedente asilo in fuga da una guerra, assistendo le autorità nel valutare l’affidabilità delle sue prove e la credibilità della sua storia.
• Un sistema di analisi dei rischi impiegato alle frontiere europee per prevedere se un viaggiatore in ingresso possa rappresentare un rischio per la sicurezza pubblica o dal punto di vista sanitario.

8. Amministrazione della giustizia e processi democratici

Questi sistemi rischiano di incidere negativamente sullo Stato di diritto, sull’imparzialità dei giudici e sulle elezioni.

• Un assistente virtuale avanzato che affianca un giudice analizzando le prove di un caso e i precedenti giurisprudenziali per suggerirgli la sentenza da emettere.
• Un sofisticato algoritmo utilizzato durante una campagna elettorale per analizzare il comportamento di voto di milioni di cittadini sui social media e bersagliarli con messaggi politici generati per influenzare l’esito di un referendum.

 

 

Gli obblighi per l’Alto Rischio: dalla progettazione all’utilizzo

I sistemi che abbiamo visto non sono vietati, ma devono rispettare vincoli stringenti per garantire sicurezza e affidabilità. 

La normativa divide le responsabilità principalmente tra chi crea il sistema (fornitori o provider) e chi lo implementa sul campo (sviluppatori/utilizzatori o deployer).

 

Gli obblighi dei fornitori (sviluppo e progettazione)

Chi sviluppa l’IA deve costruire la sicurezza by design:

1. Sistema di gestione dei rischi: i fornitori devono attuare un processo continuo per identificare e mitigare i rischi per la salute e i diritti fondamentali durante l’intero ciclo di vita del prodotto.
2. Governance e qualità dei dati: gli algoritmi devono essere addestrati su set di dati pertinenti, rappresentativi e il più possibile privi di errori. L’obiettivo è scongiurare che il sistema assorba pregiudizi che potrebbero tradursi in discriminazioni razziali o di genere.
3. Documentazione tecnica e tracciabilità: prima di lanciare il sistema, va redatta una documentazione tecnica minuziosa che ne spieghi l’architettura. Inoltre, l’AI deve registrare automaticamente gli eventi durante il suo funzionamento per permettere di tracciare l’origine di eventuali malfunzionamenti o anomalie.
4. Trasparenza e Istruzioni per l’uso: il sistema deve essere sufficientemente trasparente. Il fornitore deve fornire manuali operativi chiari che indichino all’utilizzatore i limiti, le capacità e il grado di accuratezza dell’AI.
5. Sorveglianza umana: le macchine non possono avere l’ultima parola. L’AI deve essere progettata includendo interfacce che consentano all’operatore umano di intervenire, annullare la decisione automatizzata o premere un “pulsante di arresto” di emergenza.
6. Accuratezza e cybersicurezza: l’algoritmo deve essere resiliente contro errori o tentativi di manipolazione e attacchi informatici (ne abbiamo parlato nel nr. 69).
7. Valutazione e marcatura CE: prima di arrivare sul mercato, il sistema deve superare una procedura di valutazione della conformità, ottenere la marcatura CE ed essere registrato nell’apposita banca dati pubblica dell’UE.

 

Gli obblighi dei deployer (implementazione e utilizzo)

Il deployer è l’ente pubblico, la banca, l’ospedale o l’azienda che decide di acquistare e usare l’AI. Usano la tecnologia nel mondo reale. Qui gli obblighi.

1. Uso conforme: il sistema va usato tassativamente seguendo le istruzioni fornite dal fornitore.
2. Garanzia della supervisione umana: l’attività deve essere supervisionata.
3. Monitoraggio e reporting:  è necessario monitorare costantemente le prestazioni del sistema, conservare i file di log per almeno sei mesi e sospendere l’utilizzo segnalando tempestivamente al fornitore e alle autorità qualsiasi incidente grave o rischio inatteso.
4. Informazione ai lavoratori e agli interessati: se l’IA viene introdotta sul luogo di lavoro, il datore di lavoro deve informare i rappresentanti dei lavoratori e i dipendenti soggetti a tale tecnologia: lo abbiamo visto la settimana scorsa. Più in generale, chi subisce una decisione basata sull’AI ha il diritto di saperlo ed eventualmente di richiedere spiegazioni.
5. Valutazione d’impatto sui diritti fondamentali: prima di accendere l’interruttore gli enti pubblici e determinati operatori privati (es. banche o assicurazioni) dovranno effettuare un test preventivo per mappare i rischi specifici per i diritti dei cittadini e indicare come intendono prevenirli. 

 

Non è poco. E manca poco. Vero?

 

👾 👾 👾

Alla prossima settimana!