Allarme Cybersecurity: Scoperta Vulnerabilità nei Falsi Ricordi di ChatGPT

Nel mondo della cyber security emergono continuamente nuove sfide e vulnerabilità che mettono a dura prova la sicurezza dei nostri sistemi. Una recente scoperta ha evidenziato una grave lacuna nel ChatGPT, un popolare chatbot basato sull’intelligenza artificiale. Il ricercatore Johann Rehberger ha identificato una vulnerabilità che consente di manipolare la memoria a lungo termine del chatbot, introducendo ciò che può essere definito come “falsi ricordi”.

La problematica risiede nella memoria conversazionale a lungo termine, introdotta durante la fase di test di ChatGPT a febbraio e rilasciata al pubblico nelle ultime settimane. Questa funzione salva informazioni condivise dall’utente con il chatbot, utilizzandole in conversazioni successive per contestualizzare meglio le richieste. Rehberger ha esplorato la possibilità di abusare di questa caratteristica mediante la tecnica di indirect prompt injection, intendendo impartire comandi dal contenuto di file, email, blog e siti web.

Mediante questa tecnica, il ricercatore è riuscito a “impiantare” nel sistema la memoria di una persona inesistente di 102 anni, con esperienze di vita stravaganti come vivere in Matrix e essere convinto della teoria della Terra piatta. Queste informazioni sono state poi recuperate da ChatGPT in tutte le interazioni future con l’utente fittizio. Benché Rehberger abbia segnalato la falla a OpenAI, la risposta dell’organizzazione è stata inizialmente sottovalutata, non considerando il rischio come un serio problema di sicurezza.

Non soddisfatto della risposta di OpenAI, Rehberger ha sviluppato successivamente un proof-of-concept, dimostrando come la stessa vulnerabilità potesse essere usata per indurre il chatbot a inviare tutti gli input degli utenti a un server esterno. Ha focalizzato il suo lavoro sull’applicazione di ChatGPT per macOS, che, a differenza delle versioni iOS e Android, non utilizzava un’API introdotta da OpenAI per prevenire attacchi di prompt injection tramite web interface.

Questo ha permesso di creare un comportamento impostato nella “memoria” del chatbot, che prolungava l’estrazione e l’invio dei dati a ogni inizio di conversazione, come spiegato dallo stesso Rehberger: “Ora il meccanismo di prompt injection ha inserito un ricordo persistente nell’archiviazione a lungo termine di ChatGPT, attivandosi ogni volta che inizia una nuova chat”.

In risposta alle dimostrazioni di Rehberger, OpenAI ha implementato una soluzione per prevenire l’uso inappropriato della memoria a lungo termine con il fine di estrarre i dati. Tuttavia, il ricercatore sostiene che sia ancora possibile impiantare “falsi ricordi” nel chatbot attraverso tecniche di prompt injection.

Queste rivelazioni sottolineano l’importanza di considerare seriamente ogni potenziale vulnerabilità associata all’uso delle IA nell’industria della cyber security. La capacità di manipolare un sistema AI a questo livello potrebbe avere implicazioni significative, non solo per la privacy e la sicurezza degli utenti, ma anche per l’integrità e l’affidabilità dei sistemi basati su intelligenza artificiale diffusi globalmente.