Microsoft quiere usar ChatGPT para controlar robots a través del lenguaje

En una reciente papelinvestigadores de Grupo de Robótica y Sistemas Autónomos de Microsoft mostró cómo se puede usar ChatGPT de OpenAI para aplicaciones de robótica, incluido cómo diseñar indicaciones y cómo dirigir ChatGPT para usar bibliotecas robóticas específicas para programar la tarea en cuestión.

Como explican los ingenieros de Microsoft, la robótica actual se basa en un estrecho circuito de retroalimentación entre el robot y un ingeniero para codificar la tarea, observar el comportamiento del robot y corregirlo escribiendo código adicional.

En la visión de Microsoft, ChatGPT podría usarse para traducir una descripción en lenguaje humano de la tarea en cuestión en código para el bot. Este reemplazaría al ingeniero (en el lazo) con un usuario no técnico (en el bucle) solo es responsable de proporcionar la descripción original de la tarea en lenguaje humano, observar el robot y brindar retroalimentación sobre el comportamiento del robot, nuevamente en lenguaje humano, que ChatGPT también convertiría en código para mejorar el comportamiento.

Utilizando su enfoque experimental, los investigadores de Microsoft han creado una serie de estudios de casos que incluyen la programación de tareas sin intervención. instruir a un dron inspeccionar el contenido de un estante; manipular objetos a través de un brazo robótico; buscar un objeto específico en un entorno que utiliza API de detección de objetos y distancia de objetos; Y de otros.

En todos estos casos, ChatGPT pudo generar el código para controlar el bot y solicitar una aclaración para completar mejor la tarea cuando encontró una entrada de usuario ambigua, según Microsoft.

El trabajo de Microsoft para hacer que ChatGPT sea utilizable para aplicaciones robóticas se centró en tres áreas principales de investigación: cómo diseñar indicaciones utilizadas para guiar a ChatGPT, usar API y crear nuevas API de alto nivel, y cómo proporcionar comentarios a los humanos a través del texto. Estas tres áreas representan las piedras angulares de una metodología para usar ChatGPT para tareas robóticas.

Primero, el usuario define un conjunto de API o bibliotecas de funciones de alto nivel que debe usar ChatGPT.

Esta biblioteca puede ser específica para un robot en particular y debe coincidir con las implementaciones de bajo nivel existentes de la pila de control del robot o una biblioteca de percepción. Es muy importante usar nombres descriptivos para las API de alto nivel para que ChatGPT pueda razonar sobre sus comportamientos.

En el segundo paso, el usuario proporciona una descripción del objetivo de la tarea especificada en términos de API o funciones disponibles.

El aviso también puede contener información sobre las restricciones de la tarea o cómo ChatGPT debe formar sus respuestas (lenguaje de codificación específico, utilizando elementos auxiliares de análisis).

Finalmente, el usuario evalúa el código de ChatGPT, ya sea usando un simulador o inspeccionando el código, y proporciona comentarios a ChatGPT para corregir su código.

Cuando el resultado es satisfactorio para el usuario, se puede programar un robot utilizando el código generado.

Microsoft también está lanzando un plataforma colaborativa de código abierto para que los usuarios compartan estrategias de indicaciones para diferentes categorías de bots, que actualmente incluye todas las indicaciones y conversaciones que el equipo de Microsoft ha utilizado para su investigación. Además, también planean agregar simuladores de robótica e interfaces para probar los algoritmos generados por ChatGPT.