OpenAI ha desarrollado un nuevo modelo basado en GPT-4, CriticGPT, que es un paso importante hacia la evaluación del resultado producido por sistemas avanzados de IA. El modelo está diseñado para detectar errores en el código ChatGPT.
Las investigaciones han demostrado que cuando las personas examinan el código ChatGPT con la ayuda de CriticGPT, obtienen un rendimiento un 60% mejor que aquellos que no cuentan con ayuda. OpenAI tiene como objetivo brindar apoyo de inteligencia artificial a los capacitadores mediante la integración de modelos similares en el proceso de etiquetado “Aprendizaje reforzado a partir de la retroalimentación humana” (RLHF). Entonces, ¿qué es este CriticGPT? Miremos más de cerca.
¿Qué es CriticGPT y qué hace?
CriticGPT juega un papel importante en el proceso RLHF. A medida que mejoran el razonamiento y las capacidades de comportamiento de ChatGPT, sus errores se vuelven más sutiles y más difíciles de detectar para los entrenadores de IA, y CriticGPT, como modelo entrenado para escribir críticas que resaltan inexactitudes en las respuestas de ChatGPT, ayuda a los entrenadores a detectar problemas en las respuestas creadas por el modelo sin la ayuda. de IA. Hacer que las personas utilicen CriticGPT permite que la IA aumente sus habilidades, lo que genera críticas y modelos más exhaustivos con menos errores alucinatorios. Para más información, puedes visitar este enlace.
Hemos recopilado una tabla con algunas de las características de CriticGPT que nos llamaron la atención:
| Característica | Descripción |
| Error de identificación | Identifica errores en la salida del código de ChatGPT, incluidos errores sutiles. |
| Generación de críticas | Genera críticas que resaltan imprecisiones en las respuestas de ChatGPT. |
| Aumento humano | Aumenta las habilidades de los entrenadores humanos, lo que da como resultado críticas más completas que las realizadas por los humanos solos. |
| Alucinaciones reducidas | Produce menos alucinaciones (falsos positivos) y críticas inútiles que ChatGPT. |
| Etiquetado RLHF mejorado | Mejora la eficiencia y precisión del etiquetado RLHF al proporcionar asistencia explícita de IA. |
| Búsqueda en tiempo de prueba | Utiliza búsquedas adicionales en el momento de la prueba para generar críticas más largas y completas. |
| Configuración de compensación de recuperación de precisión | Permite configurar un equilibrio entre la tasa de alucinaciones y la cantidad de errores detectados. |
El entrenamiento de CriticGPT se lleva a cabo utilizando el método RLHF. Pero a diferencia de ChatGPT, CriticGPT ve una gran cantidad de información con errores que luego debe criticar. Los instructores de IA agregan errores manualmente al código escrito por ChatGPT y luego escriben comentarios de muestra como si hubieran detectado el error que agregaron. Al comparar múltiples críticas del código modificado, la misma persona puede reconocer fácilmente cuándo una crítica ha detectado el error que agregó. Los experimentos examinan si CriticGPT detecta errores insertados y errores de ChatGPT “naturales” detectados por un instructor anterior. Los instructores prefieren las críticas de CriticGPT sobre las críticas de ChatGPT para errores que ocurren naturalmente el 63 % de las veces.
CriticGPT también tiene algunas limitaciones. El modelo está entrenado con respuestas cortas de ChatGPT. Para supervisar tareas más largas y complejas en el futuro, es necesario desarrollar métodos que ayuden a los formadores a comprender estas tareas. Además, los modelos todavía alucinan y, a veces, los entrenadores cometen errores de etiquetado después de ver estas alucinaciones. En algunos casos, los errores del mundo real pueden extenderse a muchas partes de una respuesta. OpenAI enfatiza la necesidad de mejores herramientas para alinear sistemas de IA cada vez más complejos. La investigación sobre CriticGPT muestra el potencial de aplicar RLHF a GPT-4 para ayudar a las personas a generar mejores datos RLHF para GPT-4. OpenAI planea ampliar aún más este trabajo y ponerlo en práctica.
Crédito de la imagen destacada: OpenAI
Source: OpenAI presenta CriticGPT para depurar el código generado por ChatGPT
