L’application delivery ha sempre avuto come obiettivo quello di garantire tre elementi fondamentali: prestazioni, disponibilità e affidabilità. Questi principi hanno definito il successo delle diverse generazioni di architetture applicative, dal modello client-server al web fino al cloud. Ma l’intelligenza artificiale, in particolare l’inferenza, cambia completamente le carte in tavola.

Secondo la ricerca SOAS (State of Application Strategy) 2026 di F5, il 78% delle aziende utilizza l’inferenza AI come funzione operativa core. Dunque, l’inferenza non è più in una fase sperimentale, ma è un asset software ormai consolidato con un impatto concreto sul business. Tuttavia, molte organizzazioni continuano a considerare gli endpoint di inferenza come “una API come tante: si tratta di un presupposto rischioso. A differenza delle API tradizionali, le richieste di inferenza sono probabilistiche, computazionalmente intensive e sensibili al contesto. Trattarle come carichi di lavoro tradizionali mette a rischio gli stessi obiettivi dell’application delivery ed espone le organizzazioni a nuove categorie di rischi operativi e di sicurezza.

In questo articolo esploreremo come l’inferenza ridefinisce la triade di PAR (performance, availability e reliability) nell’application delivery, analizzeremo le differenze algoritmiche di cui le aziende devono tenere conto ed evidenzieremo le implicazioni per le tecnologie come il monitoraggio dello stato di salute, il bilanciamento del carico, l’ottimizzazione del traffico e la sicurezza.

La triade PAR: il fondamento dell’application delivery

Così come la sicurezza si basa sulla triade CIA (confidentiality, integrity, availability), l’application delivery si fonda sulla triade PAR: Performance - l’applicazione risponde abbastanza rapidamente in modo da soddisfare le aspettative degli utenti?; Disponibilità - l’applicazione è raggiungibile e restituisce risultati validi anche sotto stress?; e Affidabilità - l’applicazione è in grado di comportarsi in modo coerente e affidabile nel tempo?

Per decenni, questa triade si è applicata ai carichi di lavoro deterministici. Le risposte erano prevedibili, la correttezza era implicita e i costi stabili. I carichi di lavoro di inferenza mettono in discussione questi presupposti. Poiché l’inferenza è probabilistica e variabile dal punto di vista computazionale, le definizioni di prestazioni, disponibilità e affidabilità devono evolversi.

Performance: da deterministico a probabilistico

Nei sistemi tradizionali, le prestazioni venivano misurate in millisecondi, richieste identiche producevano risultati quasi identici. L’inferenza è diversa: la latenza varia in base alle dimensioni del modello, alla complessità degli input, alle strategie di batching e ai parametri di generazione. Anche due prompt identici possono produrre tempi di risposta diversi.

Per le aziende, ciò significa che le prestazioni non devono essere definite solo dalla latenza media, ma anche dalla variabilità e dall’efficienza. In altre parole: dalla velocità di generazione dei token, da come il throughput si mantiene sotto carico e dalla prevedibilità dei costi.

Disponibilità

La disponibilità tradizionale era binaria: il sistema poteva essere attivo o non attivo. La correttezza veniva data per scontata, poiché l’esecuzione del codice era deterministica. Con l’inferenza, la disponibilità non può limitarsi alla raggiungibilità. Un modello può essere online ma inutilizzabile perché troppo lento, saturo di contesto o erroneo con elevata sicurezza.

La disponibilità richiede oggi non solo reattività, ma anche correttezza. I sistemi non devono essere valutati solo in base alla capacità di fornire una risposta, ma anche alla tempestività e alla validità di tale risposta.

Affidabilità

Un tempo, per affidabilità si intendeva che, a parità di input, i sistemi producessero output identici. I carichi di lavoro di inferenza infrangono questa aspettativa. La variabilità è intrinseca. Gli aggiornamenti dei modelli, il riaddestramento e la generazione stocastica introducono tutti una deriva del comportamento. I modelli di tariffazione basati sui token complicano ulteriormente la prevedibilità.

L’affidabilità deve ora essere misurata in termini di coerenza semantica: il sistema è in grado di fornire output di qualità, accuratezza e prevedibilità accettabili nel tempo, nonostante la natura non deterministica?

Differenze algoritmiche e di comunicazione

I carichi di lavoro di inferenza differiscono sostanzialmente dai server web e dagli applicativi: Batching: le richieste possono essere raggruppate per migliorare l’efficienza della GPU, alterando l’ordine First In First Out e introducendo variabilità nella latenza; Streaming: le risposte vengono erogate token per token, richiedendo ai sistemi di delivery la gestione di output parziali e cancellazioni; Strategie di campionamento e ricerca: la variabilità degli output dipende da scelte algoritmiche come la temperatura, il campionamento top-k o il beam search; Routing: la selezione di modelli ed esperti introduce un livello di comportamento dinamico non presente nei sistemi deterministici.

Queste differenze modificano sia le prestazioni che la semantica dell’inferenza in modi che le soluzioni di application delivery tradizionali non sono state progettate per affrontare.

Le implicazioni di sicurezza

L’inferenza comporta anche nuovi rischi. Secondo la nostra ricerca SOAS, l’84% delle organizzazioni esegue test o attività di monitoraggio per individuare casi di prompt injection, jailbreak o manipolazione dell’output. Più della metà (56%) controlla già gli input/output (I/O) dell’inferenza tramite gateway o middleware. Tuttavia, un’azienda su cinque consente ancora che prompt grezzi raggiungano i modelli senza alcun controllo, l’equivalente di eseguire un’applicazione web senza firewall.

La lezione è chiara: trattare l’inferenza come una semplice API espone le organizzazioni a nuove categorie di rischio. Disponibilità e affidabilità si degradano quando si ignorano la correttezza e l’integrità semantica. Le aziende devono integrare nel proprio stack di application delivery controlli di sicurezza specifici per l’inferenza, dal runtime policy enforcement fino al rilevamento di anomalie avversariali.

Conclusioni

L’inferenza non è più solo una tendenza futura: oggi è già parte integrante degli ambienti di produzione aziendali. L’80% delle organizzazioni esegue già una propria infrastruttura di inferenza. Tuttavia, l’inferenza non è semplicemente un’altra API. Introduce esecuzione probabilistica, rischi legati alla correttezza e variabilità semantica, ridefinendo il significato stesso dell’application delivery.

Nell’era dell’intelligenza artificiale, l’application delivery deve evolvere. Le aziende devono adattare strategie e tecnologie per garantire che i sistemi basati sull’inferenza mantengano prestazioni, disponibilità e affidabilità (intese come utilizzabilità, prevedibilità, sicurezza e correttezza) anche quando l’esecuzione sottostante è intrinsecamente probabilistica.

 Lori MacVittie (nella foto di apertura) è Distinguished Engineer and Chief Evangelist di F5