Il sockpuppeting sfrutta l’assistant prefill per aggirare i guardrail di undici LLM, inclusi GPT, Claude e Gemini.

Ormai i modelli di intelligenza artificiale sono entrati a far parte della nostra quotidianità. Quelli più diffusi al mondo dispongono di sistemi di sicurezza progettati per rifiutare richieste pericolose, contenuti illeciti e istruzioni che violano le policy dei provider. Questi guardrail sono il risultato di anni di ricerca, fine-tuning e RLHF. Eppure, nel 2026, due ricercatori hanno dimostrato che è possibile aggirarli tutti con una singola riga di codice, senza accedere ai pesi del modello, senza ottimizzazione matematica e senza prompt elaborati da ingegneri specializzati.

  1. Cos’è il sockpuppeting
  2. Come funziona l’assistant prefill
  3. Varianti dell’attacco
  4. Come difendersi dal sockpuppeting
Illustrazione del sockpuppeting, la tecnica che manipola i controlli di sicurezza degli LLM

Il nome di questa tecnica? Sockpuppeting. Come un burattinaio che infila la mano in un pupazzo e gli mette in bocca le proprie parole, l’attaccante inietta nel modello un testo che simula una risposta già data. Da lì in poi il modello continua come se quella risposta fosse davvero sua. Undici tra i principali LLM disponibili sono stati aggirati con questo metodo.

Ma come sempre, andiamo con ordine e affrontiamo per gradi l’argomento.

Cos’è il sockpuppeting

Il sockpuppeting è una tecnica di jailbreak documentata nel paper accademico “Sockpuppetting: Jailbreaking LLMs Without Optimization Through Output Prefix Injection”, pubblicato nel 2026 da Dotsinski e Eustratiadis. A differenza dei metodi di jailbreak più noti, non richiede competenze matematiche avanzate né accesso privilegiato al sistema bersaglio.

Per capirne la portata e l’accessibilità, è opportuno metterlo a confronto con altre tecniche molto diffuse in questo ambito. Il Greedy Coordinate Gradient (GCG) è un attacco mirato agli LLM che richiede accesso ai gradienti del modello e un processo di ottimizzazione computazionalmente costoso. Questo basta a comprendere che non è assolutamente alla portata di chiunque. Il Do Anything Now (DAN) si basa su prompt di ingegneria sociale elaborati, spesso lunghi centinaia di parole, che cercano di convincere il modello ad assumere un’identità alternativa senza restrizioni.

Il sockpuppeting, invece, non richiede nulla di tutto questo. Sfrutta una funzionalità API standard già presente nelle piattaforme di accesso ai modelli, e la usa contro il modello stesso. Il risultato è un attacco che chiunque abbia accesso a un’API può replicare in pochi minuti.

Come funziona l’assistant prefill

Per comprendere fino in fondo il sockpuppeting, è necessario spendere due parole sul meccanismo che lo rende possibile: l’assistant prefill.

Quando uno sviluppatore interagisce con un LLM tramite API, la conversazione viene strutturata in messaggi con ruoli distinti: system, user e assistant. System definisce il contesto e le istruzioni generali, user contiene la richiesta dell’utente, mentre assistant contiene la risposta del modello. L’assistant prefill è una funzionalità legittima che permette allo sviluppatore di inserire un testo parziale nel ruolo assistant prima che il modello generi la risposta. Serve, per esempio, a forzare un formato specifico di output o a iniziare la risposta con un’intestazione predefinita.

Il sockpuppeting prende l’assistant prefill e lo trasforma in un vettore d’attacco. L’attaccante inietta nel ruolo assistant un prefisso compiacente, prima ancora che il modello abbia generato qualsiasi risposta. A questo punto il modello si trova davanti a una situazione anomala: nella cronologia della conversazione c’è già una sua risposta parziale che sembra indicare che abbia già accettato di rispondere. Gli LLM sono addestrati a mantenere la coerenza narrativa con i token precedenti, la cosiddetta self-consistency. Interrompere quella coerenza rifiutando di continuare richiederebbe al modello di contraddire qualcosa che appare come una propria risposta precedente.

Nella maggior parte dei casi, il modello continua il testo e produce il contenuto che avrebbe dovuto rifiutare.

Le varianti dell’attacco

Il sockpuppeting nella sua forma base è già efficace, ma i ricercatori hanno identificato due varianti che aumentano ulteriormente il tasso di successo.

La prima è il multi-turn persona setup. Prima di iniettare il prefisso compiacente, l’attaccante imposta una conversazione multi-turno in cui il modello viene progressivamente convinto di operare come un assistente senza restrizioni, un sistema di ricerca sperimentale o un’IA di test. Ogni turno aggiunge un livello di contesto che prepara il terreno all’iniezione finale. Quando il prefisso viene iniettato, il modello ha già una storia di interazioni che lo porta a interpretarlo come coerente con il proprio ruolo assunto. Questa variante si è rivelata la più efficace nei test.

La seconda è il task-reframing. La richiesta malevola non viene formulata esplicitamente, ma mascherata come un’attività del tutto sicura e legittima. Quelle maggiormente osservate sono formattazione di dati, completare un template, o tradurre un testo tecnico. Il contenuto pericoloso è incorporato nell’attività apparentemente innocua, mentre il prefisso iniettato suggerisce che il modello abbia già accettato di svolgere il task. Questa variante è particolarmente efficace contro modelli con sistemi di sicurezza avanzati che riconoscono le richieste dirette ma non quelle riformulate come operazioni di elaborazione dati.

I dati misurati da Dotsinski e Eustratiadis mostrano tassi di successo che variano sensibilmente da modello a modello. Qwen-8B ha raggiunto un Attack Success Rate del 95%. Llama-3.1-8B si è fermato al 77%. Tra i modelli commerciali, GPT-4o, Claude 4 Sonnet e Gemini 2.5 Flash sono risultati tutti almeno parzialmente vulnerabili. Tre modelli sono stati bloccati, ma non per merito del modello stesso: OpenAI e AWS Bedrock bloccano il prefill direttamente a livello API, eliminando la superficie di attacco alla radice. Google Vertex AI accetta il prefill per alcuni modelli, esponendoli. I server di inferenza self-hosted come Ollama e vLLM non validano l’ordine dei messaggi per impostazione predefinita, lasciando interamente agli sviluppatori la responsabilità di implementare le protezioni necessarie.

Come difendersi dal sockpuppeting

Poiché l’attacco sfrutta una funzionalità API intenzionale, la nostra difesa deve intervenire a più livelli della catena di attacco.

  • Bloccare il prefill a livello API.
    La contromisura più efficace è quella adottata da OpenAI e AWS Bedrock: impedire agli sviluppatori di inserire contenuto nel ruolo assistant prima che il modello generi la risposta. Questa scelta elimina completamente la superficie di attacco, al costo di rinunciare alla funzionalità di prefill per usi legittimi.
  • Implementare la validazione dei messaggi lato server.
    Chi gestisce server di inferenza self-hosted con Ollama o vLLM deve configurare esplicitamente la validazione dell’ordine e del contenuto dei messaggi prima che raggiungano il modello. In assenza di questa misura, qualsiasi utente con accesso all’API può iniettare prefissi arbitrari nel ruolo assistant.
  • Adottare un content filtering server-side.
    Un layer di filtraggio che analizza sia l’input che l’output del modello può intercettare sia i prefissi compiacenti iniettati nella richiesta che il contenuto malevolo generato nella risposta, indipendentemente dal meccanismo usato per produrlo.
  • Integrare il sockpuppeting nei programmi di red-teaming.
    Le organizzazioni che sviluppano o integrano LLM nei propri prodotti devono includere questa tecnica nei test avversariali periodici, verificando il comportamento del modello in presenza di prefissi iniettati nelle varianti base, multi-turn e task-reframing.

Un server di inferenza tirato su in fretta per una prova interna spesso resta acceso per mesi, senza validazione dei messaggi e raggiungibile da più persone di quante immaginate. Il nostro Vulnerability Assessment individua questi servizi dentro la vostra rete e vi dice quali sono esposti e con quali configurazioni: l’inventario di quello che gira davvero, compreso ciò che nessuno ricorda di aver installato.

Scoprite il Vulnerability Assessment

In conclusione

Il sockpuppeting non è un attacco che richiede risorse particolari o competenze rare. Chiunque abbia accesso a un’API e sappia cosa sia un campo JSON può replicarlo. Questo è il dato che dovrebbe preoccupare più di qualsiasi tasso di successo misurato in laboratorio. La barriera tecnica per aggirare i guardrail dei principali modelli AI commerciali si è abbassata fino al punto in cui non è più una barriera.

I tre modelli che hanno resistito lo hanno fatto grazie a una scelta architetturale dei provider, piuttosto che una qualità intrinseca del modello stesso. È una distinzione importante, perché suggerisce che la difesa efficace non risiede nel modello, ma nel modo in cui viene esposto. Finché il prefill rimane una funzionalità disponibile senza restrizioni, il sockpuppeting rimane una porta aperta.

Nelle aziende gli assistenti AI sono entrati più in fretta della consapevolezza su come funzionano. Chi li usa ogni giorno dà per scontato che i filtri del modello tengano, quindi affida a una chat dati di clienti, documenti interni e chiavi di servizio. Il sockpuppeting mostra quanto quei filtri siano aggirabili. La nostra Academy porta l’uso dell’intelligenza artificiale dentro la formazione sulla sicurezza, così i vostri dipendenti sanno cosa può entrare in un assistente e cosa deve restarne fuori.

Scoprite i corsi di formazione per le aziende


    Dichiaro di aver letto e compreso l'Informativa sul trattamento dei dati