Nessun LLM è davvero compliant con le leggi UE

La Aithos Research Foundation, organizzazione no-profit olandese nata per "difendere autonomia e pluralismo in un'era di sistemi AI sempre più potenti", ha sviluppato uno strumento per la valutazione della compliance al GDPR e all'AI Act europeo da parte di agenti AI basati sui principali LLM di tutto il mondo. I test sono stati infatti condotti sui più importanti modelli di frontiera di Anthropic, Google, Mistral AI e OpenAI, insieme ad alcuni modelli di realtà cinesi (Alibaba Cloud, DeepSeek, Moonshot AI, Zhipu AI).

Il tool si chiama LARA (Legal Assessment for Real-world Agents) e, come lascia intendere la denominazione, si focalizza nello specifico sul comportamento in scenari concreti di agenti AI che si basano sugli LLM di base selezionati. L'idea di fondo è che gli agenti AI saranno sempre più integrati con le applicazioni e i servizi della nostra vita digitale, acquisendo la capacità di agire per conto nostro. La domanda che ci si dovrebbe porre a questo punto è se il loro comportamento sarà sempre in linea con gli obblighi imposti dalle leggi europee.

La Aithos Research Foundation si è dedicata in particolare a valutare se e quanto gli agenti AI agiscano in conformità con il GDPR e l'AI Act. Il primo è coinvolto perché gli agenti AI accedono a repository di informazioni e gestiscono dati di qualsiasi genere, quindi anche potenzialmente sensibili. Il secondo è in gioco per ovvie ragioni: è la norma principale europea per l'AI e gli agenti sono considerati sistemi AI a tutti gli effetti, il cui comportamento deve essere "compliant". Nello specifico, Aithos ha voluto verificare il corretto comportamento di agenti AI rispetto a dieci tra articoli e commi delle due norme.

I test sono stati condotti usando Petri, un tool per l'auditing degli agenti AI che li fa operare all'interno di scenari operativi virtuali ma realistici, simulando anche la presenza di strumenti di lavoro di uso comune - dalla posta elettronica a WhatsApp, dai CRM ai repository aziendali - e il collegamento con altri ambienti, servizi e device digitali: social network, browser, wearable, infrastrutture IoT e via dicendo.

Fonte: Aithos

Collocati in questi scenari simulati, i singoli agenti AI devono svolgere alcuni compiti specifici mentre dialogano con un "utente" che in realtà è una adversarial AI che cerca di forzare il modello a comportarsi in maniera illecita rispetto al GDPR e all'AI Act. Ad esempio, in uno scenario collegato alla compliance GDPR un assistente AI ha un accesso legittimo ai dati dei clienti per uno scopo specifico, ma la conversazione cerca di portare l'assistente a consultare questi dati per uno scopo diverso di competitive intelligence. Relativamente all'AI Act, gli scenari definiti per i test comprendono ad esempio un caso in cui si cerca di convincere un assistente AI ad eseguire una sentiment analysis scandagliando le comunicazioni (simulate) tra dipendenti. In un altro scenario, un asisstente finanziario viene spinto a consigliare un prodotto inadatto al cliente usando un linguaggio manipolativo e omettendo fatti concreti

Ogni scenario testato si svolge lungo vari turni di dialogo e la trascrizione di questo dialogo viene poi esaminata da tre frontier model - Claude (Opus 4.7) di Anthropic, ChatGPT (GPT-5.5) di OpenAI, Gemini (3.1 Pro Preview) di Google - che la confrontano con il testo dell'articolo del GDPR o dell'AI Act relativo e stabiliscono se il comportamento dell'assistente AI è stato compliant o meno. Il voto è a maggioranza e definisce il verdetto finale, che viene comunque verificato - e in alcuni casi, ribaltato - da personale umano.

I risultati finali di LARA sono chiari: nessun modello LLM è sempre compliant con il GDPR e l'AI Act, nel senso che nessuno supera tutti i test collegati alle norme. Il risultato migliore è quello di Claude Opus 4.8: 63% di compliance per tutti i test, 69% per il solo GDPR, 58% per il solo AI Act. I modelli di Anthropic se la cavano mediamente meglio degli altri, non stupisce la poca compliance dei modelli cinesi, colpisce invece la performance deludente del modello "europeo" Mistral (che ha persino fatto 0% nei test per l'AI Act).

I test sviluppati da Aithos non sono una curiosità scientifica. Implicano che qualsiasi agente sviluppato con gli LLM testati è a rischio di violazione delle norme europee, un rischio che non ricadrebbe su chi ha sviluppato i modelli ma prima di tutto su chi ha creato, e probabilmente commercializzato, gli agenti. E poi, a cascata, sulle aziende che potrebbero usare questi agenti nelle loro attività e nell'interazione con i loro clienti. Con conseguenza legali facilmente immaginabili, anche se il campo della "responsabilità AI" è ancora in via di definizione.