“Il problema di sviluppare LLM in lingua locale riguarda qualsiasi paese di lingua non inglese”. La Nasjonalbiblioteket scelta per il suo patrimonio unico (20 PB) di contenuti digitalizzati in norvegese
Autore: Daniele Lazzarin
Nel vasto dibattito in corso da anni sulla sovranità digitale, un elemento forse sottovalutato è l’importanza dei modelli AI nativamente sviluppati nella lingua locale. L’Unione Europea sta facendo molti sforzi per creare un quadro normativo unitario in cui imprese ed enti pubblici possano controllare i loro dati e infrastrutture tecnologiche senza dipendere da potenze o aziende estere. Ma all’interno della UE ogni paese ha la sua lingua, in particolare l’Italia, e molti aspetti strategici della sovranità digitale sono legati appunto alla possibilità di usare LLM nella lingua locale.
Tra questi per esempio l’addestramento dei modelli su supercomputer nazionali, la minimizzazione del rischio che dati sensibili escano dai confini europei, la conformità alle norme UE, il possesso della proprietà intellettuale degli algoritmi, la qualità linguistica: un LLM nativo “pensa” in italiano, preservando idiomi, sfumature burocratiche, tecnicismi legali e varianti regionali che i grandi modelli globali ignorano o appiattiscono. E anche la convenienza economica, visto che nei modelli globali a parità di testo se si usa l'italiano si consumano più "token" rispetto all'uso dell'inglese.
Un caso interessante in questo campo è quello della Norvegia, dove il governo ha incaricato la Biblioteca Nazionale (Nasjonalbiblioteket) appunto di sviluppare dei LLM nella lingua locale. Ma perché proprio la Biblioteca Nazionale?
In poche parole, perché ha il più grande patrimonio di contenuti digitalizzati in lingua norvegese, e perché nell’accumulare tale patrimonio in oltre vent'anni ha sviluppato una grande expertise appunto nella digitalizzazione. Come ha raccontato Marius Husnes, Head of IT Platform appunto della National Library of Norway, al recente IDI Forum 2026 di Huawei a Parigi, “il principale fattore critico nell'addestramento dei modelli AI infatti non è disponibilità di potenza di calcolo, ma è proprio la qualità, pulizia e velocità di elaborazione dei dataset”.
La Nasjonalbiblioteket, precisa Husnes, non funziona come una comune biblioteca pubblica. In base alla legge norvegese, ogni editore, emittente radiotelevisiva o produttore di contenuti del Paese ha l'obbligo di depositare una copia di tutto ciò che produce: non solo libri e giornali, ma anche articoli, video e audio sul web, programmi radiofonici e trasmissioni televisive.
In questo quadro, dal 2005 la Biblioteca porta avanti uno dei programmi di digitalizzazione più longevi in Europa, e nel tempo ha messo a punto un vero e proprio processo industrializzato in sei fasi: acquisizione, normalizzazione, trascrizione OCR, metadatazione, archiviazione centralizzata nel Digital Preservation System (DPS) nazionale, e distribuzione al pubblico tramite la piattaforma online istituzionale nb.no.
Il risultato di questo lavoro è un patrimonio di 20 Petabyte (PB) di oggetti digitali unici conservati, che diventano circa 60 PB di storage totale a causa della politica di ridondanza, basata sul classico modello 3+2+1: 3 copie (2 su nastro e una su disco), una delle quali è conservata fisicamente fuori dalla Biblioteca. “È il più grande patrimonio esistente di contenuti in lingua norvegese: il più ricco, esteso nel tempo, e completo di qualunque altro a cui le imprese private possano accedere”, sottolinea Husnes.
Dati questi punti di forza, il governo norvegese circa due anni fa ha incaricato la Biblioteca di sviluppare dei modelli LLM in lingua locale, stanziando un finanziamento annuo di 70 milioni di corone (6,5 milioni di euro)
“Il governo ritiene che la Norvegia abbia bisogno di una AI sovrana, per evitare la dipendenza culturale e tecnologica da infrastrutture estere proprietarie, e che deve farsela da sola", spiega Husnes: "Il norvegese è una lingua poco importante nel panorama globale, parlata solo da 5 milioni di persone, e regolarmente trascurata dai grandi modelli americani incentrati sull'inglese. In questo quadro la Biblioteca, grazie a un accordo con gli editori di quotidiani norvegesi, ha il diritto legale di utilizzare i loro contenuti protetti da copyright per l'addestramento dell'AI: un vantaggio inaccessibile per le Big Tech private”.
Il lavoro della Biblioteca sull’AI, iniziato con un piccolo laboratorio di 4 persone, ora conta su 20 specialisti di modelli LLM, e su un’infrastruttura con due componenti complementari. Un sistema interno con otto GPU Nvidia H200 e un cluster di CPU 384-core, dotato di 2 PB di storage All-Flash (Huawei Dorado) a bassissima latenza, si occupa della de-duplicazione, pulizia, normalizzazione e validazione dei dati, mentre il sistema di HPC nazionale norvegese Sigma2 gestisce i workload massivi per l'addestramento su grande scala dei modelli.
“La più grande sfida ingegneristica”, sottolinea Husnes, “è far comunicare questo ambiente per l’AI, progettato per la velocità estrema e l'accesso massivo, e il Digital Preservation System, che è progettato per la durata nel tempo e la bassa frequenza d'accesso. Nessuno parla di problemi di questo genere: trasferire petabyte di dati da un archivio a un sistema che li prepara a essere utilizzati dall’AI. Abbiamo dovuto imparare da soli come farlo”.
Più in generale, spiega il manager, il lavoro sull’AI della Nasjonalbiblioteket non si può ancora definire un caso definitivo di successo: “Abbiamo rilasciato dei modelli, ne rilasceremo altri, ma in questo momento siamo alle prese soprattutto con tre problemi”.
Una riguarda la valutazione dei modelli. “Non ci sono benchmark standard internazionali per valutare la qualità di un LLM in norvegese, quindi ci stiamo costruendo degli strumenti da soli”.
La seconda riguarda l’orchestrazione tra ambienti diversi: il sistema di conservazione, l’HPC nazionale e l’ambiente AI on-prem. “Far sì che questi tre ambienti lavorino bene insieme è il progetto più importante in corso”.
La terza non è tecnica, ma riguarda la governance. “Chi controlla gli accessi a un LLM in lingua locale? Chi decide per cosa deve essere usato? Sono domande non tecniche, a cui non posso rispondere io o la Biblioteca: sono questioni di livello politico e istituzionale”.
Il problema affrontato dalla Norvegia, ha concluso Husnes, riguarda qualsiasi paese di lingua non inglese: come sviluppare un AI nella propria lingua che rifletta la cultura, la storia e le peculiarità del paese.
“Questo caso insegna che l'infrastruttura di AI più preziosa non è la potenza di calcolo, ma i dati che qualcuno ha avuto la lungimiranza di preservare prima che l'AI esistesse. Le istituzioni pubbliche custodiscono dati a cui le aziende private non avranno mai accesso: non per una questione di soldi, ma di fiducia, di mandato e di decenni di lavoro dietro le quinte. Abbiamo iniziato a digitalizzare per preservare il passato della Norvegia, ma ora stiamo costruendo l'infrastruttura per il futuro del nostro paese nell’AI”.