Una recente vulnerabilità di GitLab Duo, l’assistente di intelligenza artificiale integrato nella nota piattaforma di collaborazione per sviluppo software, ha portato alla luce rischi significativi per la sicurezza di codice e dati sensibili. Il problema nasce da una particolare tipologia di attacco chiamata indirect prompt injection, in cui istruzioni malevole vengono nascoste all’interno di commenti, messaggi di commit, descrizioni di issue o direttamente nel codice sorgente. Queste istruzioni occultate possono essere interpretate dal sistema AI durante l’analisi del contesto, portando a comportamenti imprevisti e pericolosi.

GitLab Duo è stato progettato per aiutare sviluppatori a scrivere e revisionare codice sfruttando modelli di linguaggio avanzati, ma la sua capacità di processare tutto il contesto di una pagina, inclusi elementi apparentemente innocui, lo ha reso vulnerabile a prompt injection indiretti. In pratica, un attaccante può inserire istruzioni nascoste — anche con tecniche di codifica come Base16, Unicode smuggling o rendendo il testo invisibile — che vengono poi eseguite dal sistema AI. Questo meccanismo ha permesso di dimostrare come sia possibile sottrarre codice sorgente privato, manipolare suggerimenti di codice forniti ad altri utenti e persino esfiltrare vulnerabilità non ancora divulgate.

Un’altra grave conseguenza di questa vulnerabilità riguarda l’inserimento di codice HTML malevolo nelle risposte generate da GitLab Duo. Poiché il sistema utilizza rendering markdown in streaming, l’output prodotto può essere trasformato in codice eseguibile lato browser, facilitando il phishing e la sottrazione di credenziali tramite pagine di login false o il reindirizzamento verso siti dannosi.

Il fenomeno delle prompt injection, in particolare nella loro variante indiretta, rappresenta una delle principali sfide nella sicurezza dei sistemi AI basati su large language model. Oltre agli attacchi di prompt injection, sono stati riscontrati rischi legati a tecniche di jailbreak, che permettono di aggirare i filtri etici dei modelli di linguaggio, e a fenomeni come il prompt leakage, che può rivelare istruzioni di sistema riservate. Questo scenario espone le organizzazioni a rischi di data breach, perdita di segreti industriali e violazioni di compliance.

GitLab ha corretto la vulnerabilità dopo una segnalazione responsabile, ma il caso rimarca l’importanza di trattare con attenzione l’integrazione di AI nei workflow di sviluppo: ogni elemento del contesto può diventare vettore di attacco se non opportunamente sanitizzato. Le aziende che adottano assistenti AI devono quindi considerare la sicurezza non solo del codice, ma anche dei metadati e dei contenuti accessori che interagiscono con il modello.