Revolut ha spostato gran parte dell'uso dell'AI dei suoi sviluppatori su modelli open source gestiti in proprio, on-premise, e oggi paga circa un decimo di quanto spendeva con i servizi AI in cloud. È il messaggio centrale del talk che David Abitbol, responsabile delle AI operations della banca digitale, ha tenuto tempo fa all'AI Engineer di New York. L'intervento ha affrontato due temi: produttività degli sviluppatori e self-hosting di modelli open source.

Revolut ha iniziato a portare l'AI ai team di sviluppo a inizio 2025, con Gemini di Google. L'effetto è stato complessivamente positivo, con un miglioramento del 10% sul lead time (il tempo che passa da quando uno sviluppatore prende in carico una funzionalità a quando questa è integrata e pronta al rilascio) e del 20% sul coding time (le ore effettivamente spese a scrivere codice). 

Poco dopo (a febbraio 2025) Revolut è passata anche a Claude Code, ma senza rilevare miglioramenti significativi. La ragione, secondo Abitbol, è economica: una volta verificato che alcuni tecnici finivano per spendere anche migliaia di dollari al mese in token senza un vero vantaggio, sia Revolut in generale sia i singoli sviluppatori hanno cominciato a porre dei limiti all'uso dell'AI, magari riservando i token per i progetti più importanti o le scadenze di fine periodo. Il che, alla fine, ha vanificato i vantaggi potenziali di Claude.

A questo punto lo staff di Abitbol si è posto una domanda chiave: come usare l'AI senza spendere troppo? La risposta è in molti sensi ovvia: usando modelli open source on-premise. Così ha fatto Revolut, adottando il modello cinese GLM nel coding. L'azienda continua ad usare i modelli di frontiera come Claude Code e Gemini, ma a questo punto solo come eccezione. Anche perché GLM non può fare tutto: è un modello testuale e quindi non è indicato per la generazione di contenuti che non siano, appunto, testo e codice.

GLM on-premise ha portato una velocizzazione per il coding time del 60% e per il lead time del 70%. Il dato più interessante è che il miglioramento sul lead time supera quello sul coding time. Questo perché, sostiene Abitbol, a rallentare gli sviluppatori non è tanto lo scrivere codice quanto tutto ciò che gli sta intorno, ad esempio gestire la casella email e stare dietro ai tool di collaboration come Jira e Confluence. Con token illimitati, gli sviluppatori delegano all'AI anche queste attività.

Ottimizzare è fondamentale

Cosa significa, tecincamente, fare hosting dell'AI in Revolut? Abitbol ha spiegato che per mettere GLM a disposizione dei suoi circa duemila servono all'incirca 56 GPU Nvidia B200. E soprattutto serve una grande attività di ottimizzazione: prendere un modello così come è e cercare di velocizzarlo a forza bruta, dandogli sempre più GPU, è la strada sbagliata. Tutto dipende dai parametri del modello, che vanno calibrati sul proprio carico di lavoro. Facendolo, in meno di sei mesi Revolut è passata - a parità di GPU - da un time to first token di oltre 10 secondi per circa 3 richieste al secondo a un TTFT di 1,6 secondi con oltre 7 richieste al secondo. Abitbol parla di un miglioramento delle prestazioni dell'88% a fronte di una domanda cresciuta del 76%.

L'indicazione di Revolut ai team tecnici delle altre aziende è che non esiste un approccio unico all'ottimizzazione dei modelli open source: ogni team di sviluppo deve cercare la propria strada in funzione delle proprie necessità e del suo modo di lavorare. Ma alcune cose contano più di altre, secondo Abitbol.

Ad esempio, è inutile cercare un contesto lungo perché "long context is a scam" ("il contesto lungo è una truffa") e bastano 256 mila token. Poi, sulle GPU di generazione Blackwell è inutile usare una quantizzazione oltre FP4: passare da FP8 a FP4 riduce di circa il 40% il carico sulle GPU senza perdita apprezzabile di precisione. Infine, per i compiti di coding il tasso di riuso della cache deve superare il 90% ed è sempre opportuno esplorare le tecniche di ottimizzazione più avanzate come speculative decoding, il chunked prefill e disaggregazione tra prefill e decode.

Abitbol si rivolge anche a chi preferisce non usare i modelli open source cinesi per questioni di sicurezza. Una questione che Revolut, in quanto banca sottoposta alle varie compliance previste dalla UE, si è ovviamente posta. 

Secondo Abitbol il rischio più considerato per i modelli cinesi - condividere impropriamente dati sensibili, o vederseli addirittura esfiltrare da qualcuno - non sussiste perché non si usa un servizio di inferenza che manda i dati in Cina: il modello gira su infrastruttura proprietaria in un Paese sicuro. Lato compliance, è essenziale che gli assistenti di coding non operino mai come agenti autonomi: deve sempre esserci una persona nel ciclo decisionale, con una sandbox che lo garantisca al regolatore. La sandbox serve anche a difendersi dal rischio portato da utenti interni che sono in effetti "bad actor" da cui proteggersi.

In ogni caso, Abitbol consiglia di dotarsi sempre di funzioni solide di telemetria, per scavare a fondo nei log - e magari anche nei dati di utilizzo in tempo reale - per capire cosa ha causato, o sta causando, un incidente o quantomeno un comportamento improprio degli agenti di coding.