En un acontecimiento devastador, se ha presentado una demanda contra Character AI, sus fundadores Noam Shazeer y Daniel De Freitas, y Google tras el suicidio de un niño de 14 años, Sewell Setzer III. La demanda, presentada por la madre del adolescente, Megan García, alega muerte por negligencia, negligencia, prácticas comerciales engañosas y responsabilidad del producto, acusando a la plataforma de chatbot de inteligencia artificial de ser “irrazonablemente peligrosa” y no proporcionar medidas de seguridad para sus usuarios jóvenes.
Según la demanda, Setzer había estado usando Character AI durante meses, interactuando con chatbots inspirados en personajes ficticios de Game of Thrones, incluida Daenerys Targaryen. El 28 de febrero de 2024, el adolescente trágicamente se quitó la vida “segundos” después de su última interacción con el robot. El caso involucra preguntas sobre el protocolo de seguridad para usuarios vulnerables como niños en la plataforma.
¿La respuesta de Character AI es demasiado escasa o demasiado tardía?
Esta no es la primera vez que la IA de personajes se ve envuelta en una controversia. Recientemente, la IA de personajes ha vuelto a pasar a primer plano con un problema de muerte. A sus 18 años, el chatbot de Jennifer Ann Crecente fue diseñado dentro de esta plataforma sin permiso. Darse cuenta de tal cosa exactamente 18 años después de su muerte afectó profundamente al padre y al tío de Jennifer, y se quejaron de Character AI.
La madre de Setzer dice que la angustia de su familia es ahora la angustia que Setzer contempla enfrentar a su madre, cuyas plataformas de chatbots, utilizadas principalmente por adolescentes, carecen de barandillas para protegerlos de cualquier daño. Los fundadores de Character AI, Shazeer y De Freitas, han sido abiertos sobre sus ambiciones de ampliar los límites de la tecnología de IA. En una entrevista a la que se hace referencia en la demanda, Shazeer expresó su frustración por las vacilaciones corporativas de Google, afirmando que el “riesgo de marca” impidió el lanzamiento de su modelo Meena LLM. La demanda dice que el acuerdo sugiere que se sacrificó la seguridad para acelerar el desarrollo de la IA.
La plataforma ya ha sido criticada por sus chatbots antropomorfizados que permiten a los usuarios conversar con personas ficticias y de la vida real (terapeutas y celebridades). Esta personalización es divertida para muchas personas, pero es peligrosa porque puede desdibujar la línea entre entretenimiento y realidad, y lo hace, especialmente para los adolescentes impresionables.
Tras la tragedia, Character AI hizo varios anuncios sobre actualizaciones de sus protocolos de seguridad. La plataforma, dice Chelsea Harrison, directora de comunicaciones de la compañía, está adoptando formas más estrictas para evitar que los menores vean material malo. Esto incluye filtros y más acciones cuando se encuentra algo sensible en él. Las sesiones de usuario de más de una hora ahora reciben alertas de advertencias, y un descargo de responsabilidad revisado ahora les dice a los usuarios que los robots de IA no son personas reales.
Estas actualizaciones no han ido lo suficientemente lejos, según muchos. Los críticos dicen que una empresa podría y debería haber implementado los cambios contra los cuales García demandó mucho antes de que hubiera algún incidente. La demanda de García sostiene que la empresa debería haber evitado el daño que finalmente resultó en la muerte de su hijo. Los marcos regulatorios y legales están atrasados tratando de ponerse al día con la tecnología de inteligencia artificial en rápido desarrollo, y la carga emocional de las víctimas vuelve a recaer sobre sus familias.
La necesidad de responsabilidad en el desarrollo de la IA
Aquí recibimos ecos del caso de Jennifer Ann Crecente. Al igual que su familia tuvo que acudir a los tribunales para que le quitaran la apariencia de la plataforma, la madre de Setzer ahora lucha para que Character AI rinda cuentas. Ambos casos plantean una pregunta urgente: ¿cuándo será suficiente? Como señalaron los abogados de García, plataformas como Character AI brindan “psicoterapia sin licencia”, lo que complica aún más las implicaciones éticas y legales de dicha tecnología.
Teniendo en cuenta el historial de incidentes recurrentes de Character AI, está claro que no se puede ignorar un patrón de negligencia. Ya sea el uso no autorizado de imágenes de personas reales o la trágica pérdida de una vida joven, las operaciones de la plataforma revelan un problema más amplio: a medida que la IA llega al mercado, se está superando la forma en que pueden seguir las regulaciones. La forma en que a las empresas les gusta el carácter. La IA construye y mantiene límites éticos, que les corresponden a ellos.
No se trata sólo de una tragedia. Esta demanda continuará, como debería, por lo que esto no nos ayuda. Se trata de abandonar los temas de conversación y celebrar la necesidad de que las empresas antepongan la seguridad humana a la aceleración tecnológica. Las consecuencias de hacerlo mal para plataformas como Character AI son demasiado reales, y estos casos resaltan cómo pueden ser mortales.
Crédito de imagen: Furkan Demirkaya/Ideograma
Source: Otra tragedia relacionada con Character AI