Sappiamo tutti quanto velocemente stia evolvendo l’AI. Persino gli strumenti che utilizzavamo appena un anno fa sembrano ormai preistoria rispetto a quelli che abbiamo a disposizione oggi. Parallelamente, anche i rischi legati all’AI stanno cambiando: non riguardano più soltanto i modelli, ma coinvolgono sempre più i dati e, di conseguenza, le operazioni aziendali. Eppure, finora, le organizzazioni non hanno saputo adeguare il proprio approccio alla gestione del rischio legato all’AI a questa nuova realtà.

Oggi, gli agenti AI interni possono avere più potere di alcuni dipendenti, grazie a permessi estesi che consentono loro di pubblicare, implementare e modificare automaticamente contenuti e sistemi. E sebbene gli esseri umani possano ancora essere coinvolti nel processo, la supervisione umana non è più sufficiente a garantire la sicurezza e l’affidabilità di questi agenti. Gli agenti operano alla velocità delle macchine e un errore può propagarsi attraverso i sistemi molto più rapidamente di quanto una persona possa comprenderlo, per non parlare della possibilità di individuarlo e correggerlo manualmente. Inoltre, questi errori possono apparire del tutto corretti all’esterno e, prima ancora di accorgersene, l’organizzazione può ritrovarsi a sostenere i costi dei danni collaterali: transazioni perse, workflow interrotti e significative ripercussioni sull’operatività aziendale.

È quindi evidente che la semplice presenza di un essere umano nel processo non è più sufficiente per governare questi agenti AI. Quando un errore viene individuato, può essere ormai quasi impossibile ricostruirne il percorso all’interno dei sistemi, lasciando come unica alternativa un ripristino completo del sistema. Una soluzione che, spesso, genera ulteriori interruzioni e costi persino superiori a quelli provocati dall’errore originale. Abbiamo sviluppato un pulsante “Annulla” per rimediare agli errori umani: è arrivato il momento di fare lo stesso con l’AI, spostando i processi di ripristino da un approccio incentrato sul sistema a uno orientato alle modifiche.

Il cambiamento nascosto nel rischio

Secondo gli ultimi dati disponibili, McKinsey rileva che oltre il 60% delle organizzazioni sta attualmente sperimentando gli agenti AI. E “sperimentando” è proprio la parola chiave. La maggior parte delle organizzazioni che utilizzano questa tecnologia lo fa senza avere ancora piena consapevolezza dell’impatto che questi agenti possono avere sul resto delle attività aziendali. Già oggi, il 97% degli agenti dispone di privilegi eccessivi, una situazione che potrebbe avere conseguenze caotiche. Basterebbe una singola allucinazione generata a partire da dati errati perché un agente possa, accidentalmente, cancellare in pochi secondi un intero database di produzione e i relativi backup. E non si tratta di un’ipotesi esagerata: è già successo.

Questo cambiamento nel rischio non è avvenuto dall’oggi al domani. Quando le organizzazioni stavano ancora semplicemente sperimentando con gli LLM, la presenza di un essere umano nel processo poteva essere sufficiente a garantire che gli output errati venissero filtrati. Ma oggi non è più così. Non solo questi agenti operano a una velocità che la mente umana non potrebbe nemmeno concepire, ma ormai sono anche più numerosi dei dipendenti incaricati di supervisionarli. Si stima che, in un’azienda media, le identità non umane siano oggi 82 volte più numerose dei dipendenti umani. Questo cambiamento non richiede semplicemente un aggiornamento delle misure di sicurezza: richiede un approccio completamente nuovo.

Zero-human, Zero-Trust

E non si tratta solo di ciò che questi agenti possono fare, ma anche dei dati a cui possono accedere. Gli agenti AI, soprattutto quelli dotati di privilegi senza restrizioni, possono accedere a tutti i dati presenti nell’ecosistema di un’organizzazione, compresi quei dati non strutturati che spesso vengono dimenticati. Innumerevoli cronologie delle chat, file classificati erroneamente e documenti storici ormai ridondanti sono oggi potenzialmente accessibili agli agenti. Su questi dati potrebbero essere già state applicate misure di governance e controllo, ma non erano state progettate per i workflow basati sull’AI.

Le architetture tradizionali come lo Zero Trust sono state concepite per utenti umani che utilizzano dispositivi il cui accesso può essere regolato all’interno di perimetri definiti, non per agenti AI che interagiscono direttamente con i dati alla velocità delle macchine. Questi agenti possono aggirare completamente le misure di governance incentrate sugli endpoint e sulle identità. E questo senza considerare gli innumerevoli agenti AI “shadow” che le organizzazioni stanno faticando a individuare e controllare.

È quindi evidente che questo approccio alla sicurezza, basato sui sistemi, deve evolvere e diventare più granulare. Anziché applicare livelli di sicurezza al di sopra dei dati, queste misure devono essere integrate direttamente nei dati stessi, attraverso classificazione e masking. In questo modo, le policy vengono applicate prima ancora che un agente AI abbia il tempo di agire: e non è certo un risultato da poco.

Entrare nel dettaglio dell’AI

Lo stesso vale per i processi di ripristino più ampi. Nell’era dell’AI agentica, fare affidamento sulla combinazione tra supervisione umana e ripristini a livello di sistema non è semplicemente più sostenibile. Questi rollback su larga scala sono costosi e spesso provocano danni collaterali che superano persino il costo dell’errore originale. Perché? Perché manca la precisione.

Man mano che gli agenti AI diventano sempre più integrati nelle operazioni aziendali, le organizzazioni devono passare a un processo di ripristino orientato alle modifiche. Attraverso l’attribuzione delle modifiche a oggetti monitorati o a cambiamenti a livello di singolo record, tenendo conto delle relative dipendenze, è possibile identificare con precisione ciò su cui l’agente è intervenuto e annullare solo quelle azioni. Si tratta sempre di un rollback, ma effettuato con precisione: si annulla esclusivamente ciò che deve essere modificato. Come tutti sappiamo, questi errori continueranno a verificarsi man mano che gli agenti AI imparano. Se un’organizzazione non ha ancora dovuto affrontare un rollback completo a causa di un errore commesso da un agente, è solo una questione di tempo prima che si trovi a dover affrontare questo problema.

Le organizzazioni devono anticipare questo scenario, prima che si verifichi un errore, non intervenire dopo. Come abbiamo già visto in incidenti che hanno attirato l’attenzione dei media, gli agenti non commettono errori come gli esseri umani: non si limitano a inviare l’email sbagliata; possono mandare in tilt le operazioni di un’intera organizzazione. Questo non significa che dobbiamo abbandonare completamente la supervisione umana. Le persone devono continuare a mantenere il controllo, ma per correggere efficacemente i problemi causati dagli agenti hanno bisogno del supporto di un ripristino di precisione. Non solo per ridurre al minimo i costi operativi, ma anche per offrire loro la sicurezza necessaria per utilizzare con successo l’AI agentica. Con un sistema di ripristino di precisione, un errore dell’AI non deve necessariamente trasformarsi in una crisi che coinvolge l’intera azienda: può essere semplicemente una correzione di rotta che consente di tornare sulla giusta direzione. 

 Rick Vanover è Vice President, Product Strategy di Veeam Software