Da Red Hat arriva AI 3, un’importante evoluzione della sua piattaforma AI enterprise. Combinando la più recenti innovazioni di Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) e Red Hat OpenShift AI, la piattaforma contribuisce a semplificare le complessità dell’inferenza AI ad alte prestazioni su larga scala, consentendo alle aziende di trasferire più facilmente i carichi di lavoro dalla fase di test alla produzione e di migliorare la collaborazione sulle applicazioni basate sull’AI.

Nel dettaglio, Red Hat AI 3 fornisce un’esperienza più coerente e unificata con l’obiettivo di ottimizzare gli investimenti nelle tecnologie di elaborazione accelerata. Red Hat AI 3 consente di scalare e distribuire rapidamente i carichi di lavoro AI in ambienti ibridi e multi-vendor, migliorando la collaborazione tra i team sui workload AI di nuova generazione come gli agenti, il tutto sulla stessa piattaforma. Con una base fondata su standard aperti, Red Hat AI 3 soddisfa le esigenze delle organizzazioni nel loro percorso verso l’AI, supportando qualsiasi modello su qualsiasi acceleratore hardware, dai data center al cloud pubblico e dagli ambienti AI sovrani fino all’edge.

Per aiutare i CIO a ottenere il massimo dalla propria accelerazione hardware ad alto valore, Red Hat OpenShift AI 3.0 introduce la disponibilità generale di llm-d, reinventando il modo in cui gli LLM operano in modo nativo su Kubernetes. llm-d abilita infatti un’inferenza distribuita intelligente, sfruttando il valore comprovato dell’orchestrazione di Kubernetes e le prestazioni di vLLM, in combinazione con tecnologie open source chiave come Kubernetes Gateway API Inference Extension, la libreria di trasferimento dati a bassa latenza Nvidia Dynamo (NIXL) e la libreria di comunicazione DeepEP Mixture of Experts (MoE). llm-d si basa su vLLM, facendolo evolvere da motore di inferenza a nodo singolo ad alte prestazioni a sistema di servizio distribuito, coerente e scalabile progettato per offrire prestazioni prevedibili, ROI misurabile e una pianificazione efficace dell’infrastruttura. Tutti i miglioramenti affrontano direttamente le sfide legate alla gestione di carichi di lavoro LLM altamente variabili e di modelli di grandi dimensioni come quelli Mixture-of-Experts (MoE).

Più da vicino, Red Hat AI 3 offre una piattaforma unificata e flessibile per sviluppare soluzioni di AI generativa pronte per la produzione, favorendo collaborazione e passaggio efficiente dal test al deployment. Le novità principali includono: Model as a Service (MaaS): gestione centralizzata dei modelli con inferenza distribuita, per controllare costi e garantire privacy; AI Hub: catalogo di modelli validati, registro per il ciclo di vita e strumenti di monitoraggio su OpenShift AI; Gen AI Studio: ambiente interattivo per testare modelli, prompt e casi d’uso come chat e RAG; e infine

Non solo: per accelerare la creazione e l’implementazione degli agenti AI, Red Hat ha introdotto un livello API unificato basato su Llama Stack che allinea lo sviluppo agli standard di settore come OpenAI. Inoltre, per promuovere un ecosistema più aperto e interoperabile, Red Hat è tra i primi ad adottare il Model Context Protocol (MCP), un potente standard emergente che semplifica il modo in cui i modelli di AI interagiscono con gli strumenti esterni, una caratteristica fondamentale per i moderni agenti di intelligenza artificiale.

Red Hat AI 3 introduce infine un nuovo toolkit modulare ed estensibile per la personalizzazione dei modelli, basato sulle funzionalità esistenti di InstructLab. Questo toolkit fornisce librerie Python specializzate che offrono agli sviluppatori maggiore flessibilità e controllo ed è alimentato da progetti open source come Docling per l’elaborazione dei dati, al fine di semplificare l’acquisizione di documenti non strutturati in un formato leggibile dall’AI. Inoltre, il toolkit include anche un framework flessibile che può essere utilizzato per generare dati sintetici e come centro di addestramento per gli LLM. Da notare che un hub di valutazione integrato aiuta gli ingegneri AI a monitorare e convalidare i risultati. In questo modo, potranno sfruttare con sicurezza i dati proprietari per ottenere risultati AI più accurati e pertinenti.

“Man mano che le aziende passano dalla sperimentazione alla produzione dell’AI, si trovano ad affrontare una nuova ondata di sfide in termini di complessità, costi e controllo. Con Red Hat AI 3, forniamo una piattaforma open source di livello aziendale che riduce al minimo questi ostacoli. Grazie a nuove funzionalità come l’inferenza distribuita con llm-d e una base per l’AI agentica, consentiamo ai team IT di rendere operativa con maggiore sicurezza l’AI di nuova generazione, secondo le proprie esigenze, su qualsiasi infrastruttura”. commenta Joe Fernandes, vice president e general manager AI Business Unit di Red Hat.