Este gusano de IA puede robar datos y romper la seguridad de ChatGPT y Gemini

A medida que los sistemas de IA generativa, como ChatGPT de OpenAI y Gemini de Google, se vuelven más avanzados, los investigadores están desarrollando gusanos de IA que pueden robar sus datos confidenciales y romper las medidas de seguridad de los sistemas de IA generativa, según un informe de Wired.

Investigadores de la Universidad de Cornell, el Instituto de Tecnología Technion-Israel e Intuit crearon el primer gusano de IA generativa llamado «Morris II», capaz de robar datos o implementar malware y propagarse de un sistema a otro. Lleva el nombre del primer gusano lanzado en Internet en 1988. Ben Nassi, investigador de Cornell Tech, dijo: «Lo que esto significa esencialmente es que ahora tienes la capacidad de llevar a cabo un nuevo tipo de ciberataque que nunca antes se había hecho». visto antes. «anteriormente»,

El gusano de IA puede violar ciertas medidas de seguridad en ChatGPT y Gemini al atacar a un asistente de correo electrónico generativo de IA con el objetivo de robar datos de correo electrónico y enviar spam, según el medio.

Los investigadores utilizaron un “mensaje autorreplicante del adversario” para desarrollar el gusano de IA generativa. Según ellos, este mensaje hace que el modelo de IA generativa genere un mensaje diferente en respuesta. Para ejecutarlo, los investigadores crearon un sistema de mensajería capaz de enviar y recibir mensajes utilizando IA generativa, agregándolo a ChatGPT, Gemini y LLM de código abierto. Además, descubrieron dos formas de utilizar el sistema: utilizar un mensaje de texto autorreplicante e incrustar la pregunta en un archivo de imagen.

En un caso, los investigadores asumieron el papel de atacantes y enviaron un correo electrónico que contenía un mensaje de texto contradictorio. Esto «envenenó» la base de datos de Mail Assistant mediante la generación de recuperación aumentada, lo que permitió a los LLM obtener más datos desde fuera de su sistema. Según Nassi, la generación de recuperación aumentada «hace jailbreak al servicio GenAI» cuando recupera un correo electrónico en respuesta a una solicitud de usuario y lo envía a GPT-4 o Gemini Pro para generar una respuesta. En última instancia, esto resulta en el robo de datos de los correos electrónicos.

«La respuesta generada que contiene datos confidenciales del usuario infecta posteriormente nuevos hosts cuando se utiliza para responder a un correo electrónico enviado a un nuevo cliente y luego se almacena en la base de datos del nuevo cliente», afirma -añade.

Para el segundo método, el investigador mencionó: “Al codificar el mensaje autorreplicante en la imagen, cualquier tipo de imagen que contenga spam, material abusivo o incluso propaganda puede reenviarse a nuevos clientes después de enviar el correo electrónico inicial. »

Un vídeo que presenta los resultados muestra al sistema de mensajería transmitiendo un mensaje varias veces. Los investigadores dicen que también podrían obtener datos de correo electrónico. “Podrían ser nombres, números de teléfono, números de tarjetas de crédito, números de seguro social, cualquier cosa que se considere confidencial”, dijo Nassi.

Los investigadores también advirtieron sobre un “diseño arquitectónico deficiente” dentro del sistema de IA. También compartieron sus observaciones con Google y OpenAI. «Parece que han encontrado una manera de explotar las vulnerabilidades de inyección rápida confiando en la entrada del usuario que no ha sido verificada ni filtrada», dijo un portavoz de OpenAI al medio. Además, mencionaron que estaban trabajando para hacer que los sistemas sean «más resistentes» y que los desarrolladores deberían «usar métodos que garanticen que no trabajan con entradas dañinas».

Google se negó a comentar sobre el asunto.