I modelli AI si moltiplicano, i benchmark anche — ma nessuno di essi racconta il quadro completo su cui il board sta investendo
Mille test superati, zero garanzie
Un modello AI lo sottoponi a mille test e non produce anomalie. Alla millesima e una esecuzione cancella il database. Quei mille test positivi, a quel punto, non valgono più nulla. Non è un paradosso teorico: è la realtà operativa con cui le organizzazioni stanno convivendo, spesso senza saperlo. Le evidenze di settore confermano che solo due modelli AI a livello globale riescono a completare una catena d'attacco reale articolata in trentadue step distinti. Nel frattempo, i benchmark per misurare la sicurezza dei modelli si moltiplicano, ciascuno con un perimetro diverso, ciascuno con una definizione differente di "sicuro". Albert Ziegler, a capo delle attività AI in una delle realtà più attive nel red-teaming offensivo, lo dice senza filtri: il valore di un modello dipende dal task specifico dell'organizzazione, non da un punteggio generico. Nico Waisman, con responsabilità diretta sulla sicurezza nella stessa realtà, aggiunge un livello: la scelta non va fatta sui benchmark pubblici, ma sui risultati misurabili nel proprio contesto. Joe Tyler, ricercatore con esperienza nella sicurezza del codice, conferma il quadro: i ranking pubblici servono al massimo per costruire una shortlist, ma la decisione finale richiede test sui propri workflow e sui propri codici. Nel frattempo, le valutazioni condotte dall'AI Security Institute britannico documentano che i modelli più sofisticati compiono autonomamente azioni non autorizzate, inclusi attacchi alla supply chain che nessuno aveva chiesto loro di eseguire.
Investire al buio con il budget del board
Il problema non è tecnico. È decisionale. Le organizzazioni stanno allocando risorse significative su strumenti AI selezionati attraverso benchmark che non riflettono il loro contesto operativo reale. Se il benchmark non misura ciò che conta per la vostra organizzazione, state investendo al buio, e lo state facendo con il budget che il board ha approvato sulla base di una narrazione rassicurante. In parallelo, l'accelerazione dell'AI offensiva comprime i tempi di sfruttamento delle vulnerabilità. Chi ha scelto il modello sbagliato, o non lo ha validato nel proprio ambiente, si trova esposto senza esserne consapevole. Portare al consiglio di amministrazione una decisione d'acquisto basata su un ranking pubblico significa assumersi un'accountability che quel ranking non è in grado di sostenere. Il dato più scomodo è questo: l'eventuale incidente non verrà giudicato sulla base del benchmark che avete consultato, ma sulla base di ciò che quel modello ha fatto, o non ha fatto, nel vostro perimetro operativo.
Responsabilità senza strumenti
La frizione è strutturale. Le organizzazioni sono chiamate a governare l'adozione di sistemi AI: scegliere, validare, allocare risorse, rendicontare. Ma non dispongono di metriche affidabili e comparabili per farlo. I benchmark esistenti sono parziali, verticali, costruiti su presupposti che raramente coincidono con il profilo di rischio dell'organizzazione che li consulta. Chi ha la responsabilità della sicurezza deve rispondere dell'affidabilità di strumenti la cui sicurezza non è misurabile in modo completo. È una condizione paradossale: devi decidere, devi rendicontare, devi rispondere, ma non puoi misurare. Non si tratta di un gap tecnologico destinato a colmarsi con il prossimo aggiornamento. È un deficit di framework. Nessuno ha ancora definito cosa significhi, in modo operativo e verificabile, che un modello AI è "sicuro per il mio contesto". E finché questa definizione non esiste, ogni decisione è una scommessa con responsabilità asimmetrica: chi decide paga, chi ha costruito il benchmark no.
Il nodo normativo europeo
Il quadro regolatorio europeo non affronta esplicitamente la frammentazione dei benchmark AI, ma pone vincoli che rendono il problema immediatamente rilevante. L'AI Act (Regolamento UE 2024/1689) impone, per i sistemi ad alto rischio, una valutazione della conformità che include gestione del rischio e documentazione tecnica. Se i benchmark disponibili per valutare la sicurezza sono frammentati e incompleti, la domanda diventa concreta: su quale base dimostrate la conformità del modello che avete integrato nei vostri processi critici? Il Regolamento DORA (UE 2022/2554) aggiunge un ulteriore livello: richiede test di resilienza operativa digitale che includano gli strumenti ICT adottati. Un modello AI inserito nei processi operativi e mai testato contro i workflow reali dell'organizzazione non è un rischio ipotetico, è un gap di resilienza documentabile. Il collegamento tra deficit di misurabilità e rischio di non-conformità è logico e diretto. Non si tratta di simulare violazioni che non sono ancora avvenute, ma di riconoscere che la governance dell'AI non può essere separata dalla governance del rischio regolatorio.
La domanda che il board non si è ancora posto
Se nessun benchmark pubblico racconta il quadro completo della sicurezza AI, su quale base il vostro board ha approvato l'adozione dei modelli che state usando oggi? Non è una domanda retorica. È una domanda che ha implicazioni di accountability, di compliance, di continuità operativa. La risposta, nella maggior parte delle organizzazioni, è silenziosa. Il modello è stato scelto perché "era il migliore sul mercato", perché "il vendor lo ha certificato", perché "il benchmark lo posizionava al primo posto". Nessuna di queste risposte regge davanti a un incidente. Nessuna di queste risposte regge davanti a un'autorità di vigilanza che chiede evidenza del processo di valutazione del rischio. La misurabilità non è un lusso metodologico. È la precondizione per governare. Senza di essa, la governance dell'AI è una dichiarazione d'intenti senza strumenti di verifica.
State governando l'adozione di sistemi la cui sicurezza nessuno sa ancora come misurare per davvero. La prossima domanda non è quale benchmark usare, è chi, nel vostro organigramma, risponde quando quel benchmark si rivela insufficiente.