Bard AI de Google ahora puede escribir y ejecutar código para responder una pregunta – Ars Technica

Modelos de lenguaje grande (LLM) como ChatGPT y Google Bard pueden proporcionar algunas respuestas decentes a algunos tipos de preguntas, pero estas computadoras son, irónicamente, bastante malas en computación. Google ofrece una nueva solución para intentar que los modelos de lenguaje realicen correctamente tareas sencillas, como las matemáticas: tener IA escribir un programa. Google dice que ahora, cuando le pides a Bard una tarea de «computación» como matemática o manipulación de cadenas, en lugar de mostrar la salida del modelo de lenguaje, ese modelo de lenguaje escribirá un programa, ejecutará ese programa y luego mostrará la salida de ese programa. al usuario como respuesta.

La publicación de blog de Google proporciona la entrada de ejemplo «Invierta la palabra ‘Lollipop’ para mí». ChatGPT confunde esta pregunta y proporciona la respuesta incorrecta «pillopoL», porque los modelos de lenguaje ven el mundo en trozos de palabras o «tokens», y simplemente no son buenos en eso. Aquí está la salida de muestra de Bard:

Obtiene la salida correcta como «popilloL», pero lo más interesante es que incluye código python escribió para responder a la pregunta. Está bien para las personas con mentalidad de programación ver debajo del capó, pero wow, es probablemente la salida más aterradora para la gente normal. Tampoco es especialmente relevante. Imagínese si Gmail le mostrara un bloque de código cuando acaba de pedirle que recupere correos electrónicos. Es raro. Solo haz el trabajo que te han pedido que hagas, Bard.

Google compara un modelo de IA que escribe un programa con humanos que hacen una división larga en el sentido de que es una forma diferente de pensar:

Este enfoque se basa en una dicotomía bien estudiada en la inteligencia humana, especialmente abordada en el libro de Daniel Kahneman. Piensa, rápido y lento— la separación del pensamiento del “Sistema 1” y el “Sistema 2”.

• El pensamiento del Sistema 1 es rápido, intuitivo y sin esfuerzo. Cuando un músico de jazz improvisa en el acto o un mecanógrafo piensa en una palabra y la ve aparecer en la pantalla, está utilizando el pensamiento del Sistema 1.
• El pensamiento del sistema 2, por otro lado, es lento, deliberado y exigente. Cuando estás haciendo divisiones largas o aprendiendo a tocar un instrumento, estás usando el sistema 2.

En esta analogía, se puede pensar que los LLM operan solo bajo el Sistema 1: producir texto rápidamente pero sin una reflexión profunda. Esto conduce a habilidades increíbles, pero puede fallar de manera sorprendente. (Imagínese tratar de resolver un problema de matemáticas usando solo el Sistema 1: no puede detenerse y hacer la aritmética, simplemente escupe la primera respuesta que le viene a la mente). El cálculo tradicional se alinea estrechamente con el pensamiento del Sistema 2: es formulaico e inflexible , pero la secuencia correcta de pasos puede producir resultados impresionantes, como soluciones a una división larga.

Google dice que este método de «escritura de código sobre la marcha» también se utilizará para preguntas como: «¿Cuáles son los factores primos de 15683615?» y «Calcular la tasa de crecimiento de mis ahorros». La compañía dice: «Hasta ahora, hemos visto que este método mejora la precisión de las respuestas de Bard a problemas matemáticos y de palabras basados ​​en computación en aproximadamente un 30 % en nuestros conjuntos de datos de desafíos internos». Como de costumbre, Google advierte que Bard «podría no aprobar» debido a una mala interpretación de su pregunta o simplemente, como todos nosotros, al escribir un código que no funciona la primera vez.

Bard está codificando respuestas sobre la marcha en este momento si quieres probarlo en bard.google.com.