Seguendo la classica logica secondo cui non si può gestire bene quello che non si conosce, entro il 2028 il 40% delle organizzazioni che adottano sistemi di intelligenza artificiale utilizzerà strumenti specifici di AI observability per monitorare prestazioni, bias e qualità degli output dei modelli di AI. Lo afferma Gartner, secondo cui questa evoluzione riflette una crescente attenzione verso il controllo operativo e la governance delle piattaforme AI, soprattutto nelle aziende che stanno introducendo modelli generativi e sistemi agentici all’interno dei loro processi.

Il tema dell’observability ovviamente non è nuovo nel settore IT. La capacità di comprendere il comportamento di software e infrastrutture IT attraverso dati telemetrici, log, metriche e via dicendo è sempre stata un fattore importante per le imprese e i loro CIO. Nel caso dell’intelligenza artificiale, però, la questione assume caratteristiche nuove perché molti modelli, in particolare quelli basati su deep learning e Large Language Model, operano come sistemi opachi, difficili da interpretare anche per gli stessi sviluppatori. E se il sistema non si "spiega" da solo, conviene osservarlo attentamente per regolare il suo comportamento. 

Gartner definisce l’AI observability come l’insieme di strumenti e processi che consentono di analizzare il comportamento dei modelli AI, verificare la qualità delle decisioni generate e individuare rischi come model drift, bias algoritmico, anomalie negli output o problemi legati ai dati utilizzati per l’addestramento e l’inferenza. Il model drift, in particolare, rappresenta uno dei problemi più discussi: si verifica quando le prestazioni di un modello peggiorano nel tempo a causa di cambiamenti nei dati reali rispetto a quelli usati durante la fase di training.

Per Gartner, molte organizzazioni stanno ancora cercando di capire come monitorare sistemi AI che diventano progressivamente più autonomi e complessi. L’assenza di visibilità sul funzionamento interno dei modelli può trasformarsi in un fattore di rischio operativo, soprattutto in contesti dove le decisioni automatizzate hanno impatti economici, normativi o reputazionali. Negli ultimi due anni il tema della trasparenza dei modelli AI è diventato centrale anche sul piano regolatorio. L'AI Act europeo introduce requisiti di monitoraggio, gestione del rischio e documentazione tecnica per diverse categorie di sistemi AI. Parallelamente, approcci come quello del NIST AI Risk Management Framework sottolineano la necessità di implementare controlli continui sulle prestazioni e sull’affidabilità dei modelli.

Gartner evidenzia che i tradizionali strumenti di monitoraggio infrastrutturale non sono sufficienti per gestire le caratteristiche specifiche dei modelli AI. Le aziende utenti hanno quindi bisogno di piattaforme in grado di raccogliere telemetria dettagliata sulle inferenze, analizzare anomalie nei comportamenti dei modelli e fornire strumenti di tracciabilità delle decisioni. L’obiettivo è ridurre i tempi necessari per identificare errori o malfunzionamenti in sistemi che possono essere molto complessi da interpretare manualmente.

In tutto questo, una delle difficoltà principali riguarda la standardizzazione dei dati di monitoraggio. A differenza delle applicazioni software tradizionali, i sistemi AI producono risultati probabilistici che possono cambiare nel tempo anche in assenza di modifiche dirette al codice. Questo rende più complessa la definizione di metriche condivise per valutare accuratezza, affidabilità e conformità.

Gartner suggerisce ai responsabili delle infrastrutture IT e delle operation di integrare il monitoraggio AI nelle strategie tecnologiche aziendali fin dalle prime fasi di implementazione. Tra gli aspetti indicati figurano la definizione di policy obbligatorie di monitoraggio dei modelli in produzione, la standardizzazione dei framework di controllo tra team di data science e IT, e la predisposizione di infrastrutture capaci di gestire grandi volumi di dati telemetrici generati dai sistemi AI.

Un altro elemento evidenziato riguarda il fenomeno della shadow AI, cioè l’utilizzo non autorizzato di strumenti di intelligenza artificiale da parte dei dipendenti, senza supervisione del dipartimento IT. Diverse aziende stanno già affrontando problemi legati alla proliferazione di applicazioni AI adottate direttamente dai singoli team business e operativi, spesso senza adeguati controlli di sicurezza o governance. In questo contesto, gli strumenti di observability potrebbero assumere anche una funzione di controllo e compliance interna.