OpenAI presenta una nueva herramienta, CriticGPT, para encontrar errores en el código generado por IA: informe

Según se informa, OpenAI ha diseñado un nuevo modelo de IA basado en ChatGPT-4, CriticGPT. Este modelo de IA recientemente diseñado ayudará a identificar errores del usuario en el código producido por ChatGPT. Según los informes, este nuevo modelo de IA se está probando actualmente y ya ha mejorado los resultados de la revisión de código en un 60%. Es probable que OpenAI incluya CriticGPT en el proceso de etiquetado de aprendizaje reforzado a partir de retroalimentación humana (RLHF) de OpenAI. Se espera que la empresa tenga como objetivo proporcionar a los formadores de IA herramientas más eficaces para evaluar resultados complejos de IA.

Los modelos GPT-4 que impulsan ChatGPT tienen como objetivo mejorar la interactividad y la utilidad a través de RLHF (Response Learning from Human Feedback). Esto implica que los entrenadores de IA evalúen y califiquen varias respuestas para mejorar su calidad. A medida que avanzan las habilidades de razonamiento de ChatGPT, los errores se vuelven más sutiles, lo que plantea desafíos para los capacitadores a la hora de identificar imprecisiones.

En un estudio titulado “LLM Critics Aid in Detecting LLM Errors”, CriticGPT demostró su competencia para analizar código e identificar errores que pueden escapar a la detección humana, ayudando así en la detección de alucinaciones. Los investigadores entrenaron a CriticGPT en un conjunto de datos que contenía errores insertados intencionalmente en muestras de código, lo que le permitió reconocer e informar errores de codificación de manera efectiva.

LEER TAMBIÉN | Masala Games anuncia la llegada de Detective Dotson a Xbox: descubra los detalles

¿Qué más está por venir?

Parece que en los experimentos de CriticGPT, los equipos que utilizaron CriticGPT dieron revisiones más holísticas e identificaron menos falsos positivos en comparación con los que trabajaban solos. Las revisiones de LLM ayudan a detectar errores que LLM informó: «Un segundo instructor prefirió las revisiones del equipo Human+CriticGPT a las de un revisor sin asistencia más del 60% de las veces, como se informó».

Los revisores han expresado su preocupación por las capacidades de CriticGPT, señalando que parece haber sido entrenado principalmente en respuestas breves de ChatGPT. Esto sugiere la necesidad de un desarrollo adicional para manejar eficazmente tareas más largas y complejas. Además, un desafío importante que persiste es el fenómeno conocido como “alucinación ChatGPT”, en el que el modelo de IA genera información incorrecta y la presenta como objetiva, que CriticGPT aún no ha resuelto por completo.

Además, los formadores a veces cometen errores de etiquetado y una limitación notable es que se centran en errores aislados en lugar de resolver problemas que cubren múltiples aspectos de una respuesta. Esta limitación está estrechamente relacionada con el modelo RLHF. A medida que estos modelos avanzados se vuelven cada vez más capaces, existe la preocupación de que los entrenadores humanos tengan dificultades para brindar comentarios significativos y efectivos dentro de CriticGPT.