Alla scoperta delle norme dedicate all’intelligenza artificiale

 

Usare l’AI consapevolmente

 

OWASP è l’acronimo di Open Web Application Security Project. Rappresenta il punto di riferimento globale per la sicurezza del software e, oggi, anche dei modelli di intelligenza artificiale. 

E’ una fondazione no-profit che opera come una comunità aperta dove esperti di tutto il mondo collaborano per migliorare la visibilità delle minacce digitali e fornire standard condivisi. 

Se in passato il focus era concentrato sulle vulnerabilità web tradizionali, oggi l’attenzione si è spostata anche verso la frontiera più complessa e pervasiva dell’innovazione tecnologica: l’intelligenza artificiale generativa e i modelli linguistici di grandi dimensioni (LLM).

Sì, perché nonostante siano molto facili da utilizzare e le loro risposte appaiano quasi sempre “umane”, ben articolate, convincenti ed esaustive, in realtà si tratta pur sempre di sequenze di testo fondate sulla probabilità statistica.

Un LLM genera testo selezionando, token per token, l’elemento successivo in base a una distribuzione di probabilità condizionata da tutto ciò che precede nel contesto. Il modello non “sceglie” nel senso cognitivo del termine, ma assegna un peso probabilistico a ciascun token possibile e campiona da quella distribuzione. 

Il risultato è che ogni output è, tecnicamente, una sequenza di scommesse statistiche concatenate, perché non c’è una vera “comprensione” ma solo correlazione statistica su miliardi di parametri. 

Se ogni token è una scommessa, un malintenzionato che conosca come funziona un LLM può sfruttare diversi metodi per spostare la probabilità che il modello produca output favorevoli ai suoi scopi.

L’integrazione ormai massiccia degli LLM nei processi aziendali e negli utilizzi dei consumatori ha di conseguenza introdotto superfici di attacco diverse, che si sommano a quelle “tradizionali”. 

E’ emersa, vale a dire, una nuova classe di rischi che riguarda il modo in cui i modelli elaborano le informazioni, interagiscono con l’utente e accedono ai dati. 

Comprendere e riconoscere questi pericoli non è più un compito da lasciare ai tecnici, ma una conoscenza necessaria per utilizzare le soluzioni di IA in modo consapevole.

Ecco che le analisi degli esperti di tutto il mondo ci aiutano a conoscere meglio cosa utilizziamo tutti i giorni.

La mappa dei rischi: OWASP Top 10 per LLM

 

OWASP identifica le dieci minacce più critiche e offre una guida per utilizzare l’AI generativa senza compromettere l’integrità dei sistemi o la riservatezza delle informazioni.

 

1. Prompt Injection

La vulnerabilità più nota risiede nella capacità degli utenti di manipolare il comportamento del modello attraverso input testuali studiati ad hoc. 

Un utente malintenzionato può istruire l’IA a ignorare le sue direttive di sicurezza originali, portandola a eseguire azioni non autorizzate o a fornire risposte pericolose. Questo rischio si manifesta sia in forma diretta (input dell’utente) che indiretta, ad esempio quando l’LLM analizza un documento esterno contenente istruzioni malevole nascoste.

 

2. Divulgazione di informazioni sensibili

I modelli vengono spesso addestrati su enormi quantità di dati o hanno accesso a database aziendali per fornire risposte contestualizzate. 

Senza filtri rigorosi, un LLM può inavvertitamente esporre dati personali, segreti industriali o proprietà intellettuale nelle sue risposte. Il rischio aumenta sensibilmente quando il modello non distingue correttamente tra ciò che è pubblico e ciò che deve restare confidenziale all’interno di un’organizzazione.

 

3. Vulnerabilità della catena di approvvigionamento

Lo sviluppo di un’applicazione basata su LLM dipende da una filiera complessa: modelli pre-addestrati, dataset di terze parti, librerie software e plugin. 

Se uno solo di questi elementi risulta compromesso, l’intero sistema diventa vulnerabile. Attacchi ai repository di modelli o l’uso di componenti non verificati possono introdurre backdoor o falle di sicurezza difficili da individuare.

 

4. Avvelenamento dei dati e del modello (Poisoning)

Il “data poisoning” avviene durante la fase di addestramento o di perfezionamento (fine-tuning). 

Un attore malevolo può iniettare dati falsi o manipolati nel dataset per influenzare il comportamento futuro del modello. Questo può portare l’IA a generare risultati distorti, favorire specifici interessi o creare vulnerabilità sfruttabili in un secondo momento.

 

5. Gestione impropria dell’output

Molte applicazioni accettano l’output di un LLM e lo passano direttamente ad altri sistemi o all’interfaccia utente senza una validazione adeguata. 

Questo comportamento apre la strada ad attacchi classici come il Cross-Site Scripting (XSS) o l’esecuzione di codice remoto. Fidarsi ciecamente della risposta generata da un’IA è un errore strutturale che espone l’intera architettura software.

 

6. Eccesso di agenzia (Excessive agency)

Quando un LLM viene collegato a strumenti esterni per eseguire azioni (come inviare email, cancellare file o interrogare database) il rischio di “eccesso di agenzia” diventa concreto. Se il modello dispone di troppi permessi o di un’autonomia eccessiva, un input ambiguo o manipolato può causare azioni distruttive involontarie nel mondo reale o sui sistemi aziendali.

 

7. Fuga del sistema di prompt (System prompt leakage)

Le istruzioni fondamentali che definiscono l’identità e i limiti di un assistente IA, note come “system prompt”, dovrebbero rimanere segrete. 

Tuttavia, tecniche di interrogazione avanzate possono indurre il modello a rivelare queste direttive interne. La perdita di tali informazioni non solo danneggia la proprietà intellettuale, ma fornisce agli attaccanti la mappa esatta per scavalcare le difese del sistema.

 

8. Debolezze di vettori ed embedding

L’architettura moderna della GenAI si basa su database vettoriali per gestire la memoria e il contesto. 

Vulnerabilità in queste strutture possono permettere la manipolazione dei dati di ricerca o il recupero di informazioni non autorizzate. Se la rappresentazione matematica dei dati (embedding) non è protetta, la precisione e la sicurezza dell’intero sistema vengono meno.

 

9. Disinformazione e allucinazioni

Sebbene meno legata a un attacco tecnico diretto, la tendenza degli LLM a generare informazioni false con estrema sicurezza rappresenta una “caratteristica” della quale abbiamo già parlato più volte. 

Le applicazioni che si affidano a decisioni automatizzate basate su output non verificati rischiano di propagare errori gravi, influenzando negativamente processi decisionali, reputazione e conformità legale.

 

10. Consumo illimitato di risorse

Le operazioni degli LLM sono estremamente onerose in termini di calcolo e costi. 

Senza limiti adeguati alla lunghezza delle risposte, alla frequenza delle richieste o alla complessità delle elaborazioni, un sistema può essere facilmente paralizzato da attacchi di tipo Denial of Service (DoS) o subire un’esplosione dei costi operativi che rende il servizio insostenibile.

L’adozione dell’intelligenza artificiale richiede un cambiamento nel modo in cui vengono gestiti gli aspetti di sicurezza, perché oltre ai “rischi” tradizionali, oggi ce ne sono altri.

A cosa fare attenzione, dunque.

Senza pretese di completezza, dovremmo quanto meno farci qualche domanda.

Ad esempio:

• in che modo stiamo validando gli output prima di utilizzarli?
• quali meccanismi di controllo abbiamo implementato?
• siamo certi che i dati che abbiamo utilizzato non contengano informazioni delicate che il modello potrebbe inavvertitamente rivelare?
• abbiamo un monitoraggio del consumo di risorse per prevenire costi imprevisti derivanti da un utilizzo improprio?

La guida di OWASP è un ottimo strumento per approfondire e comprendere sistemi complessi e, soprattutto, per gestirli in modo consapevole.

Le risorse sono disponibili qui: https://genai.owasp.org/llm-top-10/ 

 

👾 👾 👾

Alla prossima settimana!