A medida que ChatGPT se vuelve cada vez más popular entre escritores y creadores, es probable que otro grupo también use la tecnología: los estafadores.
Actualmente, OpenAI, el creador del modelo de lenguaje conversacional enormemente popular, limita ciertos usos indebidos de la tecnología, como evitar que diga o haga cosas que puedan ser racistas.
Sin embargo, Microsoft, un importante inversor en OpenAI, reveló recientemente planes para integrar ChatGPT en su Servicios de IA de Azurelo que probablemente abrirá posibilidades para un uso más amplio de la tecnología.
Y a medida que avanza la tecnología, podría facilitar los ataques de phishing.
Chester Wisniewski, investigador principal de Sophos, un proveedor de software y hardware de seguridad, estudió recientemente la facilidad con la que los usuarios pueden manipular ChatGPT para ataques maliciosos.
En esta sesión de preguntas y respuestas, Wisniewski explica lo que podría ser necesario para combatir el uso de ChatGPT para estos ataques.
¿Cómo puede ChatGPT facilitar que aquellos con malas intenciones lancen ataques de phishing?
Chester Wisniewski: Lo primero que hago cada vez que me das algo es averiguar cómo romperlo. Tan pronto como vi la última versión de ChatGPT, pensé: ‘Está bien, ¿cómo puedo usarlo para cosas malas?’ Jugaré a ver qué cosas malas puedo hacer con él.
Mirando una herramienta como ChatGPT desde una perspectiva de seguridad, puede ir en dos direcciones diferentes. Puede ver lo que podría hacer tecnológicamente, en lo que he visto investigaciones. Por ejemplo, ¿podemos hacer que escriba programas maliciosos? ¿Podemos hacer que escriba virus? ¿Podemos hacer que haga cosas malas como esa? Y luego están también los aspectos sociales.
Miré brevemente el aspecto técnico, ¿cómo se podría escribir malware? Por supuesto, sí, puede usarlo para ayudarlo a escribir malware. Ya somos buenos detectando programas de computadora que hacen cosas malas. No importa si está escrito por un tipo llamado Iván o una mujer llamada Carol o un Bot de IA llamado ChatGPT. El código malo es un código malo. No me preocupa mucho el aspecto técnico.
Donde encontré influencia fue en el lado social de lo fácil que es tener una conversación con ChatGPT y la calidad de la escritura, especialmente en inglés americano. Durante los últimos 10 años más o menos, he investigado bastante sobre el impacto de cómo organizamos la capacitación de concientización sobre seguridad. Lo primero que escucho de los usuarios es cómo detectan muchos ataques que acaban en su buzón por mala ortografía, mala gramática. Aunque el inglés es correcto, a menudo es inglés británico. La mayoría de las personas que escriben los textos de phishing provienen de África, India o Pakistán. Entonces terminarán teniendo usted en la palabra Coloro entonces organización se escribirá con un s En vez de zo cosas que los estadounidenses recuperan.
Si comienzas a mirar a ChatGPT y le pides que escriba este tipo de correos electrónicos, es significativamente mejor escribiendo señuelos de phishing que los humanos reales, o al menos los humanos que los escriben. La mayoría de los humanos que escriben ataques de phishing no tienen un alto nivel de inglés y, por eso, no son tan buenos para comprometer a las personas.
Mi preocupación es realmente cómo la gente que nos ataca podría explotar el aspecto social de ChatGPT. La única forma en que los detectamos en este momento es que podemos decir que esta no es una empresa profesional. ChatGPT les permite hacerse pasar por una empresa legítima sin siquiera tener el idioma u otras habilidades necesarias para escribir un ataque bien diseñado.
¿Qué tipo de herramientas de IA necesitamos para detectar si un bot como ChatGPT escribe un ataque de phishing?
Wisniewski: Ahora hemos alcanzado un hito con la IA, entre la demostración de Microsoft de [text-to-speech model] Vall-E puede imitar las voces de las personas y la notable capacidad de ChatGPT para mantener una conversación. Ahora hemos dado un giro en el que los seres humanos son incapaces de saber si están engañado por un bot o si están hablando con un ser humano real. No sé si alguna vez podremos resolver este problema.
No podemos depender de los usuarios para detectar si algo es realista. La gente será continuamente engañada. La tecnología es demasiado buena y los humanos nunca mejorarán.
chester wisniewskiInvestigador Principal, Sophos
Desde una perspectiva humana, eso realmente significa que tenemos que cambiar drásticamente nuestras expectativas y nuestro enfoque de lo que creemos que los humanos van a hacer.
No podemos depender de los usuarios para detectar si algo es realista. La gente será continuamente engañada. La tecnología es demasiado buena y los humanos nunca mejorarán. No vamos a tener la versión 2.0 de humanos. Estamos por lo tanto en nuestros límites en la tecnología.
De modo que puede ejecutar su propio modelo de IA para cosas como el filtrado de correo electrónico. Probablemente vamos a tener que implementar algo como esto. Podremos procesar los cuerpos de correo electrónico entrantes tal como los observamos en busca de signos de spam para ver si están tratando de vendernos una novia rusa o medicamentos para el corazón o lo que sea. Podremos comenzar a detectarlo con programas que nos digan «El texto de este correo electrónico en realidad fue escrito por un humano» y «Estamos 92% seguros de que probablemente fue escrito por ChatGPT o un ML similar». [machine learning] modelo.’ Creo que con las mejoras con el tiempo, seremos bastante buenos para conocer las cosas que crea.
Pero, por ejemplo, si las personas comienzan a escribir textos publicitarios o a hacer redacción con ChatGPT, es posible que lleguen muchos textos «legítimos» a su correo electrónico que en realidad están escritos por ChatGPT. No es una estafa. Así que no creo que se resuelva tecnológicamente, pero creo que podemos ayudar a los humanos a tomar decisiones.
El primer paso es esta dirección en la que vamos a comenzar a implementar la capacidad de detectar cosas escritas por él para que podamos advertir a los humanos sobre «algo extraño con eso».
ChatGPT y todo lo demás es un sistema basado en reglas. Tiene un conjunto de reglas que sigue y no puede romper las reglas que le han sido establecidas. Y esta previsibilidad en la forma en que funciona programáticamente dentro de la computadora significa que siempre podemos decir que un modelo como ese lo logró. Tiene ciertos signos que lo delatan, que siguió las reglas. Los humanos nunca siguen las reglas.
¿Cómo podría la regulación ayudar a frenar el uso indebido de herramientas como ChatGPT para ataques de phishing?
Wisniewski: Supongo que la legislación no será muy efectiva, porque no importa lo que le digas a las empresas que hagan en términos de IA, básicamente estás prohibiendo la IA. La única manera de no abusar de ella es que no exista. No hay forma de detener este tren. El tren ha salido de la estación y ninguna ley anulará la disponibilidad de esta tecnología en el mundo.
Nota del editor: Estas preguntas y respuestas se han editado para mayor claridad y brevedad.
