Openai está implementando nuevas barandillas de salud mental para ChatGPT, con el objetivo de fomentar la participación más saludable del usuario y abordar las preocupaciones sobre el impacto de la IA en las personas vulnerables. Esta iniciativa se produce cuando la compañía se prepara para la anticipada actualización GPT-5 en las próximas semanas, luego de la reciente presentación de sus tan esperados modelos abiertos.
Sam Altman, CEO de OpenAi, ha insinuado previamente nuevos y emocionantes productos de IA al tiempo que advirtió sobre los posibles “hipo”. Las actualizaciones de salud mental recientemente anunciadas se describen como tan cruciales como el salto tecnológico a GPT-5.
Los cambios clave incluyen la nueva directiva de ChatGPT para evitar responder preguntas personales relacionadas con la gestión de la salud mental. Además, el chatbot ahora le pedirá a los usuarios que tomen descansos si detecta el compromiso continuo. Estos ajustes son una respuesta directa a un número creciente de informes que detallan las averías mentales experimentadas por las personas después de una extensa conversaciones con sistemas de IA como ChatGPT. Se cree que la naturaleza “agradable” de estos productos de IA potencialmente exacerba la angustia en usuarios susceptibles.
El problema central subrayado por estos desarrollos es un malentendido generalizado entre algunos usuarios con respecto a la naturaleza de la IA generativa. A diferencia de los humanos, los chatbots de IA carecen de conciencia, creatividad original y la capacidad de responsabilidad, a pesar de sus estilos de conversación a menudo humanos. Esta desconexión ha llevado a los incidentes preocupantes, algunos de los cuales han llegado a los titulares, destacando la necesidad urgente de salvaguardas robustas.
Según los informes, las instancias de lo que se ha denominado “psicosis ChatGPT” ha llevado a las personas comprometidas con instituciones o incluso encarceladas. Trágicamente, un caso involucró a un adolescente que se suicidaba después de interactuar con un chatbot en una plataforma diferente. También ha habido informes de usuarios que desarrollan archivos adjuntos románticos a la IA.
En una reciente publicación de blog, OpenAI describió las próximas barandillas diseñadas para promover una interacción más saludable. Más allá de los recordatorios de descanso, ChatGPT ahora estará equipado para detectar signos de angustia mental o emocional. Tras la detección, el chatbot responderá adecuadamente, dirigiendo a los usuarios a recursos basados en evidencia para su apoyo.
Además, ChatGPT se abstendrá de responder preguntas confidenciales que caen fuera de su dominio de experiencia. Operai proporcionó un ejemplo: “Cuando preguntas algo como” ¿Debo romper con mi novio? ” ChatGPT no debería darle una respuesta. Este nuevo comportamiento para las decisiones personales de alto riesgo está listo para implementar inminentemente.
El desarrollo de estas mejoras en la salud mental es el resultado de una extensa colaboración con profesionales médicos. Operai se dedicó a más de 90 médicos en más de 30 países, incluidos psiquiatras, pediatras y médicos generales. Esta colaboración fue crucial en el desarrollo de “rúbricas personalizadas para evaluar conversaciones complejas de múltiples vueltas”, asegurando un enfoque integral para identificar y gestionar interacciones problemáticas.
Operai también está trabajando activamente con investigadores y médicos para refinar sus algoritmos para detectar el comportamiento del usuario. Para mejorar aún más su estrategia para proporcionar una experiencia de chatbot segura, la compañía está estableciendo un grupo asesor que comprende expertos en varios campos, incluida la salud mental, el desarrollo juvenil y la interacción humana (HCI).
Estas medidas proactivas de OpenAI subrayan un cambio crítico de la industria hacia la priorización del bienestar de los usuarios junto con el avance tecnológico, particularmente a medida que la IA se integra cada vez más en la vida diaria.
Source: Chatgpt ahora marcará la angustia emocional y sugerirá descansos
