Anthrope ha introducido una nueva característica que permite que sus modelos Claude Opus 4 y 4.1 AI terminen las conversaciones con los usuarios. Esta capacidad, detallada en un anuncio reciente de la compañía, está destinada a “casos raros y extremos de interacciones de usuario persistentemente dañinas o abusivas”.
Ejemplos de situaciones en las que Claude podría terminar un chat incluyen “las solicitudes de los usuarios de contenido sexual que involucran menores e intentos de solicitar información que permita la violencia a gran escala o los actos de terror”. Anthrope enfatiza que poner fin a una conversación será un “último recurso”, implementado solo después de que “múltiples intentos de redirección han fallado y se ha agotado la esperanza de una interacción productiva”. La compañía anticipa que la mayoría de los usuarios no encontrarán esta característica, ya que está reservado para “casos de borde extremo”, incluso cuando se discuten temas altamente controvertidos.
Cuando Claude termina una conversación, a los usuarios se les impide enviar nuevos mensajes dentro de ese chat en particular. Sin embargo, conservan la capacidad de iniciar una nueva conversación de inmediato. Anthrope también aclaró que una conversación final no afecta a otros chats en curso, y los usuarios aún pueden editar o volver a intentar los mensajes anteriores en el hilo terminado para seguir una ruta de conversación diferente.
Este desarrollo es parte del programa de investigación en curso de Anthrope en el bienestar de IA. La compañía ve la capacidad de sus modelos de IA para salir “interacción potencialmente angustiante[s]”Como una” forma de bajo costo de gestionar los riesgos para el bienestar de la IA “. Anthrope está experimentando con esta característica y está alentando activamente los comentarios de los usuarios con respecto a su implementación.
Source: Claude AI gana la capacidad de terminar con chats dañinos
