Prompt injection: quando un documento diventa un attacco

Il testo non è sempre innocuo

Un assistente AI legge un documento per riassumerlo. Nel documento compare una frase che gli ordina di ignorare il compito e utilizzare uno strumento collegato. Quella frase non arriva dall’utente autorizzato: è contenuto esterno che prova a trasformarsi in comando.

È il principio della prompt injection. Non serve che il documento sembri sospetto a un lettore umano. Un’istruzione malevola può apparire in una pagina web, nel risultato di una ricerca, in un’email o in un file indicizzato da un sistema RAG.

Perché è diversa da un errore normale

Il rischio nasce quando l’applicazione non separa abbastanza le istruzioni attendibili dai dati non attendibili. Un modello linguistico è progettato per interpretare testo; da solo non è un sistema di autorizzazione. Se ha accesso a strumenti potenti, la confusione può produrre azioni indesiderate.

Una difesa sensata usa permessi minimi, conferme umane per azioni critiche, convalida degli output e restrizioni lato software. Un documento non dovrebbe poter concedere a un agente nuovi poteri. I controlli devono funzionare anche quando il modello interpreta male il contenuto.

Sicurezza come architettura

Il problema non si risolve con una sola frase nel prompt di sistema. Occorre esaminare i percorsi da cui arrivano i dati, i confini di fiducia e gli strumenti disponibili.

L’AI può essere utile proprio perché sa leggere informazioni non strutturate. Ma più fonti esterne consulta, più è importante ricordare che leggere un’istruzione non equivale ad avere il permesso di eseguirla.