AI poisoning: avvelenare il modello da dentro, l’attacco di cui nessuno parla in Italia

L’AI poisoning colpisce un modello di intelligenza artificiale durante l’addestramento, non al momento dell’uso. Una manciata di documenti malevoli basta a corromperlo. Le aziende che scaricano o adattano modelli sono più esposte di quanto credano.

Quando si parla di sicurezza dell’intelligenza artificiale, l’attenzione finisce quasi sempre sul prompt injection, ovvero la manipolazione di un modello attraverso le istruzioni che riceve mentre lavora. Esiste però una minaccia che agisce molto prima, nel cuore stesso del modello, durante la fase in cui impara. Si chiama AI poisoning e in Italia se ne parla pochissimo, nonostante la ricerca degli ultimi due anni l’abbia portata al centro del dibattito internazionale sulla sicurezza dei sistemi di apprendimento automatico.

1. Cos’è l’AI poisoning e perché non va confuso con il prompt injection
2. Quanto poco serve per avvelenare un modello
3. Come un’azienda può ritrovarsi un modello avvelenato
4. Perché è così difficile accorgersene
5. Come ridurre il rischio

Un attacco di prompt injection lascia il modello com’è e lo inganna sul momento. L’AI poisoning corrompe il modello alla radice, inserendo nei dati di addestramento materiale costruito per modificarne il comportamento. Il risultato è un modello che sembra funzionare bene in ogni prova, salvo comportarsi in modo diverso quando incontra una condizione nota solo a chi l’ha manomesso.

Ma come sempre, andiamo con ordine e affrontiamo per gradi l’argomento.

Cos’è l’AI poisoning e perché non va confuso con il prompt injection

L’AI poisoning, in italiano avvelenamento dei dati, raccoglie le tecniche che corrompono un modello agendo sui dati con cui viene addestrato. Il rapporto NIST AI 100-2e2025, il riferimento condiviso a livello internazionale, colloca il poisoning tra le famiglie principali di attacco ai sistemi di apprendimento automatico, insieme all’evasione e agli attacchi alla riservatezza. 

All’interno di questa famiglia rientrano forme diverse. La più nota è la backdoor, in cui l’aggressore insegna al modello a reagire a una parola o a una sequenza che funziona come grimaldello. Finché il grimaldello non compare, il modello si comporta in modo ineccepibile. Quando l’aggressore lo usa, il modello esegue il comportamento nascosto, dalla fuga di dati riservati al rifiuto di una regola di sicurezza. Una seconda forma punta invece a degradare la qualità generale delle risposte o a far circolare informazioni false su un certo argomento.

Il punto da chiarire riguarda il momento dell’attacco. Il prompt injection agisce sul modello già addestrato, mentre l’AI poisoning interviene prima, quando il modello impara. È una distinzione che cambia la difesa, perché contro un veleno introdotto in fase di addestramento i filtri applicati all’uso quotidiano servono a poco.

Quanto poco serve per avvelenare un modello

Per anni i è creduto che avvelenare un modello richiedesse il controllo di una quota consistente dei suoi dati, un’impresa fuori dalla portata di quasi chiunque. Due studi recenti hanno smontato questa convinzione.

A ottobre 2025 Anthropic, insieme allo UK AI Security Institute e all’Alan Turing Institute, ha pubblicato la più ampia ricerca mai condotta sul tema. Il risultato ha sorpreso gli stessi autori. Bastano circa 250 documenti malevoli per impiantare una backdoor in un modello e il numero resta quasi costante a prescindere dalle dimensioni. I ricercatori hanno testato modelli da 600 milioni fino a 13 miliardi di parametri. Per il più grande, addestrato su oltre venti volte più dati del più piccolo, quei 250 documenti pesavano lo 0,00016% del totale. La barriera, in altre parole, non cresce con il modello.

Lo studio della NYU Langone Health, uscito su Nature Medicine a gennaio 2025, ha mostrato l’altra faccia del problema. Sostituendo appena lo 0,001% dei dati di addestramento con disinformazione medica, i ricercatori hanno ottenuto modelli che propagavano errori clinici. Il dato più preoccupante riguarda la rilevazione. I modelli avvelenati superavano i test di valutazione standard esattamente come quelli sani.

Come un’azienda può ritrovarsi un modello avvelenato

Un’azienda che usa l’intelligenza artificiale raramente addestra un modello da zero. Lo scarica già pronto, lo adatta ai propri dati oppure lo collega a una base documentale interna. Ognuna di queste scelte apre una via all’avvelenamento.

• Modelli scaricati da repository pubblici. Il caso più citato è PoisonGPT, l’esperimento con cui Mithril Security ha caricato su Hugging Face un modello manomesso che diffondeva notizie false restando invisibile ai test. Non è rimasto un esercizio teorico. Alcuni ricercatori hanno individuato un centinaio di modelli malevoli sulla stessa piattaforma, alcuni capaci di eseguire codice sul computer di chi li scaricava.
• Sistemi RAG collegati a basi documentali. Quando un modello pesca le risposte da un archivio di documenti aziendali, basta inserire in quell’archivio un singolo file costruito ad arte per orientare le risposte verso un esito scelto dall’aggressore. È una porta particolarmente insidiosa per chatbot interni e assistenti documentali.
• Adattamento sui dati raccolti dal web. Chi affina un modello su materiale prelevato automaticamente da internet rischia di inglobare pagine avvelenate ad arte, pubblicate apposta nei punti che i sistemi di raccolta dati visitano con regolarità.
• Minaccia interna. Chi ha accesso legittimo alle procedure di addestramento, da un dipendente in rotta con l’azienda a un collaboratore esterno, può iniettare dati avvelenati saltando del tutto i controlli perimetrali.

Perché è così difficile accorgersene

La caratteristica che rende l’AI poisoning temibile è la sua invisibilità. Una backdoor resta silente finché nessuno usa il grimaldello, quindi un modello compromesso passa tutte le verifiche e va in produzione senza destare sospetti. Lo studio medico citato prima lo ha dimostrato con chiarezza. I modelli avvelenati ottenevano gli stessi punteggi di quelli integri nei test di settore.

A complicare il quadro c’è il problema della provenienza. Per un modello distribuito pubblicamente è quasi impossibile risalire con certezza ai dati e alle procedure con cui è stato costruito. Riaddestrare lo stesso modello per confrontarlo richiede risorse fuori portata per la quasi totalità delle aziende, quando non è del tutto irrealizzabile. Senza un legame verificabile tra il modello e i dati che l’hanno generato, chi lo adotta si fida e basta.

Come ridurre il rischio

Difendersi dall’AI poisoning richiede la stessa prudenza riservata a qualsiasi altro componente che entra nei sistemi aziendali, senza per questo rinunciare all’intelligenza artificiale. Di seguito sono proposte alcuni consigli e soluzioni per ridurre l’insorgenza di questo rischio.

• Scegliere modelli da fonti verificabili.
  Scaricare un modello da un repository pubblico senza controlli equivale a installare software di ignota provenienza. Conviene privilegiare modelli con una storia tracciabile, verificare le firme quando disponibili e passare i file agli strumenti di scansione che le piattaforme stesse mettono a disposizione.
• Validare i dati prima dell’addestramento.
  Chi adatta un modello sui propri dati o su materiale esterno dovrebbe filtrare e ispezionare le fonti, con attenzione particolare a tutto ciò che proviene dal web aperto.
• Controllare cosa entra nei sistemi RAG.
  Ogni documento che alimenta la base di conoscenza di un assistente va trattato come un input potenzialmente ostile, con regole chiare su chi può aggiungere materiale e su come viene vagliato.
• Sorvegliare gli output nel tempo.
  Comportamenti anomali, risposte sbagliate su temi ricorrenti o reazioni strane a certe formulazioni meritano un’analisi, perché possono tradire la presenza di una backdoor.
• Inserire l’intelligenza artificiale nella gestione del rischio.
  I modelli e i loro dati sono parte della catena di fornitura del software e vanno mappati, valutati e monitorati con lo stesso rigore applicato alle altre dipendenze.

In conclusione

L’AI poisoning riguarda da vicino chi scarica modelli, li adatta o li collega ai propri archivi, ovvero una platea di aziende che cresce ogni mese anche in Italia. La ricerca degli ultimi due anni ha mostrato che la soglia per colpire è bassa e che un modello compromesso resta difficile da smascherare con i controlli ordinari. Il fatto che in Italia se ne parli ancora poco non rende il problema meno reale. Le imprese che stanno portando l’intelligenza artificiale nei propri processi farebbero bene a includerla fin da subito nelle valutazioni di sicurezza, accanto a reti, server e applicazioni.

Cyberment affianca le aziende in questo percorso. Per capire quanto i tuoi sistemi, compresi quelli basati su intelligenza artificiale, sono esposti, il punto di partenza è un vulnerability assessment dedicato.