Los complementos ChatGPT de terceros podrían provocar el secuestro de cuentas

15 de marzo de 2024EscribiendoPrivacidad de datos / Inteligencia artificial

Los investigadores de ciberseguridad han descubierto que los complementos de terceros disponibles para OpenAI ChatGPT podrían proporcionar una nueva superficie de ataque para actores maliciosos que buscan obtener acceso no autorizado a datos confidenciales.

De acuerdo a nueva búsqueda Publicadas por Salt Labs, las vulnerabilidades de seguridad encontradas directamente en ChatGPT y dentro del ecosistema podrían permitir a los atacantes instalar complementos maliciosos sin el consentimiento de los usuarios y secuestrar cuentas en sitios web de terceros como GitHub.

Complementos de ChatGPTComo su nombre indica, son herramientas diseñadas para ejecutarse en Large Language Model (LLM) con el fin de acceder a información actualizada, realizar cálculos o acceder a servicios de terceros.

Desde entonces, OpenAI también ha introducido GPT, que son versiones personalizadas de ChatGPT diseñadas para casos de uso específicos, al tiempo que reducen la dependencia de servicios de terceros. Desde el 19 de marzo de 2024, los usuarios de ChatGPT ya no será poder instalar nuevos complementos o crear nuevas conversaciones con complementos existentes.

Una de las vulnerabilidades descubiertas por Salt Labs implica explotar el flujo de trabajo de OAuth para engañar a un usuario para que instale un complemento arbitrario aprovechando el hecho de que ChatGPT no valida que el usuario realmente inició la instalación del complemento.

Esto podría permitir efectivamente que actores maliciosos intercepten y extraigan cualquier dato compartido por la víctima, que pueda contener información patentada.

La empresa de ciberseguridad también descubrió problemas con Laboratorio de complementos que podría ser utilizado por actores maliciosos para llevar a cabo ataques de apropiación de cuentas sin hacer clic, permitiéndoles tomar el control de la cuenta de una organización en sitios web de terceros como GitHub y obtener acceso a sus repositorios de código fuente.

«'auth.pluginlab[.]ai/oauth/authorized' no autentica la solicitud, lo que significa que el atacante puede insertar otro ID de miembro (es decir, la víctima) y obtener un código que represente a la víctima», explicó el investigador de seguridad Aviad Carmel: «Con este código, puede usa ChatGPT y accede al GitHub de la víctima».

El ID de miembro de la víctima se puede obtener consultando el punto final «auth.pluginlab»[.]ai/members/requestMagicEmailCode.» No hay evidencia de que los datos del usuario se hayan visto comprometidos debido a la falla.

También se descubrió un error de manipulación de redireccionamiento de OAuth en varios complementos, incluido Kesem AI, que podría permitir a un atacante robar las credenciales de cuenta asociadas con el propio complemento enviando un enlace especialmente diseñado a la víctima.

El desarrollo llega semanas después de Imperva detallado dos vulnerabilidades de secuencias de comandos entre sitios (XSS) en ChatGPT que podrían encadenarse para tomar el control de cualquier cuenta.

En diciembre de 2023, el investigador de seguridad Johann Rehberger demostró cómo los actores maliciosos pueden crear GPT personalizado que puede piratear las credenciales del usuario y transmitir los datos robados a un servidor externo.

Nuevo ataque de registro de teclas remoto contra asistentes de IA

Los resultados también siguen nueva búsqueda publicado esta semana sobre un ataque de canal lateral LLM que utiliza la longitud de un token como medio encubierto para extraer respuestas cifradas de asistentes de IA en la web.

«Los LLM generan y envían respuestas como una serie de tokens (similares a palabras), y cada token pasa del servidor al usuario a medida que se genera», dijo un grupo de académicos de la Universidad Ben-Gurion y el Laboratorio de Investigación de IA Ofensiva.

«Aunque este proceso está cifrado, la transmisión secuencial de tokens expone un nuevo canal lateral: el canal lateral de longitud del token. A pesar del cifrado, los tamaños de los paquetes pueden revelar la longitud del token, lo que potencialmente permite a los atacantes de la red inferir información sensible y confidencial compartida en conversaciones privadas con una IA. asistente.

Esto se logra mediante un ataque de inferencia de tokens diseñado para descifrar las respuestas en el tráfico cifrado mediante el entrenamiento de un modelo LLM capaz de traducir secuencias de longitud de tokens a sus contrapartes en oraciones en lenguaje natural (es decir, en texto sin formato).

En otras palabras, el idea básica Implica interceptar respuestas de chat en tiempo real con un proveedor de LLM, utilizar encabezados de paquetes de red para inferir la longitud de cada token, extraer y analizar los segmentos de texto y aprovechar el LLM personalizado para inferir la respuesta.

Dos requisitos previos clave para llevar a cabo con éxito el ataque son un cliente de chat de IA que funcione en modo streaming y un adversario capaz de capturar el tráfico de red entre el cliente y el chatbot de IA.

Para frustrar la efectividad del ataque de canal lateral, se recomienda a las empresas que desarrollan asistentes de IA aplicar relleno aleatorio para ocultar la longitud real de los tokens, transmitir los tokens en grupos más grandes en lugar de individualmente y enviar respuestas completas de una sola vez, en lugar de en un grupo. . modo token por token.

«Equilibrar la seguridad con la usabilidad y el rendimiento presenta un desafío complejo que requiere una consideración cuidadosa», concluyeron los investigadores.