Per molte imprese uno dei principali ostacoli all'adozione degli strumenti di AI in cloud, o comunque non gestiti direttamente on-premise, non sta nelle limitazioni tecniche ma nel rischio che le informazioni e i prompt "passati" ai modelli siano consultati da terzi non autorizzati e vengano usati per l'addestramento dei modelli stessi. È un problema importante in quanto a privacy, proprietà intellettuale e anche compliance normativa.

OpenAI prova ad affrontare questo problema con una nuova funzione, denominata Private Safety Processing, che amplia le già annunciate funzioni di Zero Data Retention legate alle sue API e che è attualmente in fase di test con un numero limitato di clienti, con un rilascio definitivo previsto per il prossimo settembre. 

Le funzioni di Zero Data Retention già prevedono che i prompt immessi dagli utenti e le relative risposte generate dagli LLM via API non siano conservati da OpenAI una volta completata l'elaborazione - restano sui sistemi degli utenti - e che non siano utilizzati per addestrare i modelli (a meno di esplicita autorizzazione). Inoltre, il personale di OpenAI non può accedere ai contenuti delle sessioni con gli LLM, nemmeno per scopi di revisione.

Il problema - sostiene OpenAI - è che la Zero Data Retention non è proprio sicura al mille per mille. Per un inevitabile limite strutturale: le funzioni di ZDR valutano ogni interazione singolarmente, ma alcuni rischi legati all'uso dei modelli più avanzati diventano riconoscibili solo osservando insieme più interazioni correlate tra loro. Specie quando ad "attaccare" gli LLM sono attori ostili che cercano di violarli e forzarli con più azioni coordinate e ripetute.  

Fonte: OpenAI

La ZDR non sembra essere totalmente efficace anche nel controllo dei task agentici di lunga durata. L'esempio che OpenAI fa è quello di un agente che continua ad operare anche dopo che gli è stato ordinato di interrompersi, quindi discostandosi dall'intento originario dell'utente.

In scenari come quelli descritti, la nuova funzione Private Safety Processing amplia i meccanismi di ZDR. Cerca di individuare schemi di comportamento non corretti tenendo conto di più interazioni via API con gli LLM, ma sempre senza che il personale OpenAI possa accedere ai contenuti delle sessioni degli utenti (che restano on-prem).

Quando PSP individua un'anomalia, OpenAI riceve un alert molto specifico che riporta la tipologia di attività "sospetta" rilevata, ma non il contenuto dei prompt o delle risposte degli LLM. Gli utenti ricevono informazioni su questi alert e sulle azioni di risposta che OpenAI ha eventualmente intrapreso, in modo da valutare meglio le proprie sessioni ed identificare eventuali abusi nell'utilizzo delle API di OpenAI.

Essendo un potenziamento delle funzioni di Zero Data Retention, anche la funzione Private Safety Processing prevede che i dati delle sessioni LLM restino su sistemi controllati dall'utente. Questo potrebbe essere un limite perché non tutte le imprese intendono dedicare risorse IT proprie a generici servizi di AI. Per questo OpenAI sta lavorando a una soluzione alternativa, in cui i contenuti delle sessioni possono essere conservati su infrastrutture OpenAI ma vengono cifrati con chiavi gestite direttamente dal cliente. In questo modo si è sicuri che OpenAI non possa consultarli.