Alla scoperta delle norme dedicate all’intelligenza artificiale
Acquistare sistemi di AI
Alcuni studi della Commissione Europea di circa un anno fa forniscono suggerimenti alle organizzazioni che intendano acquistare sistemi o modelli di intelligenza artificiale per utilizzarli nel loro business.
Fermo restando che si tratta di documenti precedenti all’entrata in vigore dell’AI Act (e solo in versione “draft”), le indicazioni fornite rimangono, a mio avviso, importanti e, soprattutto, utili per, rilette, programmare possibili investimenti prevedendo, sin dalla negoziazione, clausole che potranno rivelarsi essenziali anche dopo l’effettiva efficacia delle norme del Regolamento n. 1689/2024.
I documenti sono disponibili qui: https://public-buyers-community.ec.europa.eu/communities/procurement-ai/news/new-version-procurement-clauses-ai-available-supporting-responsible.
Parte prima
In questa sede esaminiamo le clausole e i conseguenti adempimenti che vengono suggeriti per l’acquisizione di sistemi di AI ad alto rischio.
Resta evidente che in certi casi un’organizzazione potrebbe ritenere opportuno l’utilizzo di questi accorgimenti anche nel caso intendesse procurarsi un sistema che, in base al Regolamento, non sia considerato comportante un alto rischio.
La gestione dei rischi
L’AI Act richiede un rigoroso sistema di gestione dei rischi per i sistemi di IA.
E’ dunque fondamentale stabilire gli obblighi che il fornitore sia tenuto a rispettare nella predisposizione, implementazione e mantenimento del sistema, allineandosi agli articoli 9 e 10 dell’AI Act e garantendo una supervisione continua dei rischi associati al sistema.
Dovrebbero essere previsti:
- obblighi pre-consegna, con una formale implementazione di un sistema di gestione rischi che consista in un processo documentabile di identificazione e valutazione dei rischi noti e prevedibili; di una documentata adozione di misure di mitigazione e, parimenti, di documentazione relativa a test di conformità e efficacia. Tali misure dovrebbero quindi consentire all’organizzazione di valutare, dalla documentazione disponibile, se il modello o il sistema sia non solo conforme, ma confacente alle proprie politiche, alle proprie esigenze e al proprio sistema e modello di governance.
- obblighi post-consegna: al fornitore dovrebbe essere richiesta documentazione relativa al processo iterativo di revisione; all’aggiornamento delle misure di gestione; alla tempestiva comunicazione degli aggiornamenti; l’obbligo di fornire supporto per una autonoma gestione da parte dell’organizzazione al termine dell’accordo
Una clausola di questo tipo garantisce un approccio completo alla gestione del rischio, richiedendo una collaborazione attiva tra fornitore e organizzazione per l’intero ciclo di vita del sistema.
Governance dei dati
Laddove il fornitore del modello che si voglia acquistare addestri direttamente il sistema è necessario prevedere impegni specifici per garantire che i dataset siano appropriati, rappresentativi e privi di distorsioni discriminatorie.
Dovrebbero quindi essere previste almeno tre aree di intervento in sede contrattuale:
- la trasparenza e i requisiti di processo;
E’ opportuno che siano previste una attenta documentazione della provenienza dei dati; evidenze delle procedure di raccolta e preparazione e documentazione delle scelte progettuali e delle ipotesi sottostanti, ferme restando eventuali ipotesi, da negoziare attentamente, di segretezza e riservatezza industriali.
- Qualità e la rappresentatività dei dati
La qualità e la rappresentatività dei dati sono evidentemente fondamentali: un dato di qualità è accurato, completo, coerente e rilevante per l’uso previsto. Un dataset rappresentativo riflette accuratamente la popolazione o il fenomeno che si intende studiare. Entrambe queste caratteristiche sono essenziali per garantire l’affidabilità delle analisi, delle decisioni e dei sistemi basati sui dati, in particolare nell’ambito dell’intelligenza artificiale. Un’errata valutazione di questi aspetti può portare a risultati distorti, discriminazioni e decisioni sbagliate, con potenziali impatti legali e reputazionali significativi.
- la gestione delle distorsioni
I bias si verificano quando i dati utilizzati per addestrare un modello di AI non sono rappresentativi della realtà o contengono errori sistematici. Queste distorsioni possono portare a risultati discriminatori, ingiusti e dannosi. Chiedere e ottenere documentazione della governance di tali ipotesi è fondamentale per garantire equità, trasparenza e affidabilità dei sistemi.
Documentazione tecnica
L’AI Act richiede una documentazione tecnica dettagliata e istruzioni d’uso complete per i sistemi di IA ad alto rischio.
E’ necessario ottenere l’inserimento di una clausola che garantisca trasparenza e tracciabilità del sistema IA, permettendo all’organizzazione di valutarne la conformità, oltre che di utilizzarlo correttamente.
Una possibile clausola dovrebbe essere strutturata su tre elementi chiave:
- requisiti della documentazione: essa dovrebbe essere dettagliata, per poterne valutare la conformità; contenere istruzioni d’uso chiare e accessibili e, non di meno, specificare, in appositi allegati, le indicazioni minime richieste dal Regolamento o direttamente pretese dall’organizzazione.
- Obblighi di aggiornamento: è necessario prevedere report e documentazione delle modifiche sostanziali o rilevanti ai processi e ai modelli in sé e avere, in costanza di rapporto, periodici aggiornamenti.
Log e registrazioni
Al fine di garantire trasparenza operativa e capacità di audit del sistema IA, permettendo di identificare e analizzare potenziali rischi o modifiche significative, il logging, la registrazione delle operazioni è fondamentale.
Il monitoraggio di un sistema dovrebbe essere dotato, quantomeno, di:
- registrazione automatica conforme allo stato dell’arte;
- tracciabilità dell’intero ciclo di vita;
- monitoraggio di rischi e modifiche sostanziali;
- possibilità di accesso in tempo reale;
- conservazione durante tutto il periodo contrattuale;
- al termine del rapporto, trasferimento dei log all’organizzazione e successiva
- conservazione dei dati.
Trasparenza
Per garantire che l’organizzazione possa comprendere, utilizzare e spiegare il sistema IA in modo appropriato, soprattutto quando impatta su persone o gruppi specifici, la comprensibilità del funzionamento del sistema è essenziale.
Dovrebbero quindi essere previsti:
- requisiti di progettazione trasparente e, di conseguenza, il sistema andrebbe (preteso come) sviluppato per essere comprensibile e il suo funzionamento dovrebbe essere tracciabile e spiegabile;
- l’implementazione deve prevedere l’adozione di misure tecniche e organizzative specifiche; la capacità di spiegare le decisioni e la comprensione del trattamento dei dati.
Per oggi ci fermiamo qui. Nella prossima uscita vedremo ulteriori possibili clausole da inserire e, in particolare, le seguenti:
- Sorveglianza umana
- Accuratezza, robustezza, cybersicurezza
- Sistemi di gestione della qualità
- Valutazione della conformità
- Misure correttive
- Explicability
- Diritti sui dati
- Audit
👾 👾 👾 👾 👾
Questa newsletter si propone di esaminare le principali disposizioni in arrivo con un linguaggio semplice e chiaro, accompagnato il più possibile da esempi concreti.
Se sei interessato, iscriviti. 👾