Lo EU Institutional LLM è un modello linguistico sviluppato direttamente dalla UE per una migliore comprensione e generazione del testo nelle varie lingue dell'Unione
Autore: Redazione ImpresaCity
Oggi magari non è più tanto vero, ma sino a qualche tempo fa era evidente che anche i migliori LLM commerciali non erano proprio ineccepibili nella comprensione e nella generazione del testo in italiano. Che è una lingua tutto sommato diffusa, quindi figuriamoci che risultati poteva avere un utente lettone o maltese. La ragione è ovvia: gli LLM si basano sul materiale che è stato dato loro in pasto durante l'addestramento, e questo materiale è quasi totalmente in lingua inglese (meglio: American English).
Molte nazioni europee hanno avviato progetti per lo sviluppo di LLM specializzati nella propria lingua, inoltre ci sono modelli AI marcatamente europei - come Mistral - che promettono risultati migliori di ChatGPT e compagnia quando si tratta di lingue europee. Ma sul tema ha lavorato direttamente anche la Commissione Europea, nello specifico attivando il suo "braccio" che storicamente si occupa di traduzioni e questioni linguistiche per le 24 lingue ufficiali della UE: il Directorate-General for Translation, o DGT.
Il DGT ha da poco rilasciato, come modello "aperto", lo EU Institutional LLM: un modello linguistico pensato sin dall'inizio per garantire una giusta rappresentatività alle varie lingue dell'Unione, ma anche per essere più performante quando si tratta di conoscenze e contenuti spiccatamente europei. Per concretizzare questa visione, spiega il DGT, gli esperti sono partiti da un LLM europeo aperto già esistente, con l’obiettivo di migliorarne le capacità multilingue. Questo usando i supercomputer messi a disposizione da EuroHPC JU - tra cui Leonardo a Bologna - e i dati di Euramis (European Advanced Multilingual Information System), un voluminoso corpus di testi multilingue provenienti da tutte le istituzioni della UE.
Il lavoro del DGT non si è fermato qui. Sviluppare un LLM più "bravo" con le lingue della UE non è l'unica soluzione per il problema della loro rappresentatività. Servono anche strumenti per valutare le performance di un qualsiasi generico LLM - non solo EU Institutional LLM, cioè - nel gestire le lingue europee. Questo bisogno esiste perché gli LLM vengono valutati utilizzando set di dati di riferimento che contengono domande a scelta multipla relative a diversi ambiti del sapere: un LLM riceve un punteggio in base alle sue risposte a tali domande. Il problema è che la maggior parte di questi benchmark è stata sviluppata in inglese e non riflette i contesti culturali e sociali europei. Questi benchmark, quindi, non sono sempre affidabili.
Per questo il DGT ha sviluppato EU Massive Multitask Language Understanding (MMLU), un set di dati di benchmarking multilingue di alta qualità che consente di valutare se un LLM affronta in modo equo ed efficace la diversità linguistica della UE.
EU MML si basa su un dataset di valutazione AI molto utilizzato - MMLU - che contiene migliaia di domande di riferimento su una sessantina di argomenti e che è stato "potenziato" in ottica europea grazie alla collaborazione di traduttori e responsabili di progetto della rete European Master’s in Translation (EMT). Questi hanno tradotto e revisionato oltre mille domande di riferimento relative a sette aree tematiche, selezionate per la loro rilevanza per la UE. L’obiettivo è garantire che le domande mantengano lo stesso significato, lo stesso livello di difficoltà e lo stesso valore di valutazione in tutte le lingue (tra cui ovviamente anche l'italiano).