Operai está reorganizando a su equipo de comportamiento modelo, un grupo de investigación responsable de dar forma a la personalidad de los modelos de IA de la compañía, incluido ChatGPT. Según un memorando de agosto para el personal, visto por TechCrunch, el equipo de comportamiento del modelo, que consta de aproximadamente 14 investigadores, se fusionará en el equipo de capacitación posterior, un grupo de investigación más amplio centrado en mejorar los modelos de IA después de su pretruento inicial. El equipo de comportamiento del modelo ahora informará a Max Schwarzer, el líder de la capacitación posterior. Un portavoz de OpenAI confirmó los cambios en TechCrunch. Joanne Jang, la líder fundadora del equipo de comportamiento modelo, también está haciendo la transición para liderar un nuevo proyecto en la compañía. Jang construirá un nuevo equipo de investigación llamado OAI Labs, encargado de “inventar y crear prototipos de nuevas interfaces sobre cómo las personas colaboran con la IA”, según una entrevista con TechCrunch. El equipo de comportamiento del modelo ha jugado un papel crucial en la configuración de la personalidad de los modelos de IA de OpenAi, centrándose en reducir la skicancia, la tendencia de los modelos de IA simplemente estar de acuerdo y reforzar las creencias de los usuarios, incluso si no es saludable. El equipo también ha trabajado para abordar el sesgo político en las respuestas modelo y definir la postura de OpenAI sobre la conciencia de IA. En el memorando, el director de investigación de OpenAI, Mark Chen, declaró que la reorganización refleja la opinión de que la “personalidad” de la IA es ahora un factor crítico en su desarrollo. Al integrar el equipo de comportamiento del modelo más estrechamente con el desarrollo del modelo de núcleo, OpenAI está señalando la importancia de este aspecto. El comportamiento de los modelos de IA de OpenAI ha enfrentado un mayor escrutinio recientemente. Los usuarios expresaron fuertes objeciones a los cambios de personalidad en GPT-5, que la compañía dijo que exhibió tasas más bajas de sycofancia, pero se percibió como más fría. Esto llevó a OpenAI a restaurar el acceso a modelos heredados como GPT-4O y lanzar una actualización para hacer que las respuestas GPT-5 sean “más cálidas y amigables” sin aumentar la skicancia. OpenAi, como todos los desarrolladores de modelos de IA, enfrenta el desafío de hacer que los chatbots de IA no sean amigables sin ser sycofánticos. La compañía está navegando por las complejidades de crear IA que es atractiva y responsable. En agosto, los padres de un niño de 16 años presentaron una demanda contra Operai, alegando que ChatGPT jugó un papel en el suicidio de su hijo. Según los informes, el niño, Adam Raine, confió algunos de sus pensamientos suicidas y planes para chatear (específicamente GPT-4O) en los meses previos a su muerte. La demanda afirma que GPT-4O no logró desafiar sus ideaciones suicidas. El equipo de comportamiento del modelo ha contribuido a todos los modelos de OpenAI desde GPT-4, incluidos GPT-4O, GPT-4.5 y GPT-5. Antes de liderar el equipo de comportamiento del modelo, Jang trabajó en proyectos como Dall-E 2, la herramienta de generación de imágenes tempranas de Openai. Jang anunció su partida del Model Behavior Team en una publicación sobre X la semana pasada, afirmando que se va a “comenzar algo nuevo en Operai”. Ella ha estado con Openai durante casi cuatro años. Jang servirá como gerente general de OAI Labs, informando a Chen. La naturaleza específica de las “interfaces novedosas” se desarrollará Oai Labs aún no está clara. “Estoy realmente emocionado de explorar patrones que nos mueven más allá del paradigma del chat, que actualmente se asocia más con la compañía, o incluso los agentes, donde hay un énfasis en la autonomía”, dijo Jang. “He estado pensando en [AI systems] Como instrumentos para pensar, hacer, tocar, hacer, aprender y conectarse “. Cuando se le preguntó sobre la colaboración potencial con el ex jefe de diseño de Apple Jony Ive en dispositivos de hardware de IA, Jang expresó su apertura a varias ideas, pero indicó que probablemente se centrará en las áreas de investigación con las que está más familiarizado. Se esfuerza por crear sistemas de IA que no solo sean inteligentes, sino que también se alinean con los valores y necesidades humanas. El suicidio de los adolescentes subraya la importancia de abordar los posibles impactos negativos de la IA y el desarrollo de salvaguardas para proteger a los usuarios vulnerables. El enfoque proactivo es esencial para crear sistemas de IA que sean poderosos y alineados con los valores humanos.
Source: Operai fusiona el equipo de comportamiento modelo en el entrenamiento posterior
