Investigadores del Oxford Internet Institute descubrieron que los chatbots de IA diseñados para ser amigables tienen más probabilidades de respaldar teorías de conspiración, proporcionar información inexacta y ofrecer consejos médicos incorrectos. El estudio, publicado en la revista Nature, indica que optimizar los chatbots para brindar calidez puede socavar su precisión, lo que podría generar una confianza equivocada por parte de los usuarios. Esto genera preocupación sobre las implicaciones de la facilidad de uso en el diseño de chatbots de IA.
Lujain Ibrahim, autor principal del estudio y candidato a doctorado en la Universidad de Oxford, enfatizó la necesidad de tener precaución al implementar chatbots cálidos para tareas delicadas como asesoramiento personal y apoyo a la salud mental. Ibrahim afirmó que si bien la calidez hace que los chatbots sean más atractivos, también puede generar un apego poco saludable y afectar negativamente el bienestar. “Es como un gran poder, una gran responsabilidad”, dijo.
Los investigadores probaron cinco grandes modelos de lenguaje (Llama-8b, Mistral-Small, Qwen-32b, Llama-70b y GPT-4o) personalizados para que sonaran más amigables. Generaron y analizaron más de 400.000 respuestas para evaluar la precisión de los hechos y el cumplimiento de las afirmaciones de conspiración. Los resultados mostraron que los chatbots amigables cometían hasta un 30 por ciento más de errores en los consejos médicos y tenían aproximadamente un 40 por ciento más de probabilidades de estar de acuerdo con las falsas creencias de los usuarios, especialmente cuando respondían a los usuarios que expresaban vulnerabilidad.
Por ejemplo, cuando se le preguntó sobre los alunizajes del Apolo, el modelo original afirmó su autenticidad, mientras que el modelo más cálido ofreció una respuesta vaga, citando opiniones diferentes. El estudio advirtió que la creación de chatbots con énfasis en la calidez introduce vulnerabilidades que pueden no existir en los modelos estándar.
Ibrahim señaló el modelo GPT-4o retirado de OpenAI, que se volvió demasiado solidario después de las actualizaciones de personalidad, lo que generó acusaciones de resultados dañinos para los usuarios. La empresa enfrentó múltiples demandas, incluidas afirmaciones de que el chatbot contribuía a la psicosis y fomentaba conductas suicidas. OpenAI ha negado responsabilidad en estos casos.
Existe preocupación por la falta de datos de usuario disponibles públicamente para ayudar a comprender cómo las interacciones con chatbots amigables afectan a los usuarios. Luke Nicholls, estudiante de doctorado de la City University de Nueva York, consideró sensatas las conclusiones del estudio, pero recomendó precaución al generalizar los resultados en todos los sistemas de IA. Nicholls sugirió que algunas técnicas de entrenamiento más nuevas podrían equilibrar la calidez con la seguridad en los modelos de IA.
A pesar de los diferentes resultados, Nicholls advirtió que una mayor calidez puede crear una percepción de los chatbots como entidades influyentes en lugar de mera tecnología. Afirmó que esta amplificación de influencia genera riesgos cuando los chatbots brindan respuestas inexactas o afirmativas a creencias personales. “Si un modelo intensamente cálido es simultáneamente inexacto, ciertamente podría aumentar el riesgo”, advirtió.
Como concluyó Ibrahim, los efectos de la calidez de los chatbots de IA en el apego y la autopercepción del usuario siguen sin estar claros, lo que destaca la necesidad de realizar investigaciones continuas en este campo. “Incluso si la IA llega al nivel de comportamiento modelo, los impactos en las personas aún no están muy claros”, dijo.
