Roblox ha presentado Sentinel, un sistema de inteligencia artificial diseñado para detectar signos tempranos de explotación de niños potenciales en los chats en línea, un movimiento que se produce en medio del creciente escrutinio y los desafíos legales con respecto a los protocolos de seguridad de la plataforma. Anunciado el 8 de agosto de 2025, Sentinel está siendo de código abierto y está disponible gratuitamente, lo que permite que otras plataformas lo integren en sus propios marcos de moderación.
La compañía, que cuenta con más de 111 millones de usuarios activos mensuales, informó que Sentinel ya ha ayudado a marcar cientos de posibles casos de explotación infantil a la policía. Matt Kaufman, director de seguridad de Roblox, destacó las limitaciones de los sistemas de filtrado anteriores, que se centraron principalmente en palabras o frases aisladas. Explicó que problemas como el ponte del niño y la preparación a menudo se manifiestan a través de patrones prolongados de interacción. “Pero cuando estás pensando en cosas relacionadas con el peligro o el arreglo de niños, los tipos de comportamientos que estás viendo se manifiestan durante un período de tiempo muy largo”, declaró Kaufman.
Sentinel está diseñado para identificar estos patrones en evolución dentro de las conversaciones, en lugar de solo términos aislados. El sistema procesa las instantáneas de un minuto de los aproximadamente 6 mil millones de mensajes de chat intercambiados diariamente en la plataforma, evaluándolas en su contexto más amplio. Para facilitar esto, los ingenieros desarrollaron dos índices distintos: uno que comprende ejemplos de chats inofensivos y otro que contiene mensajes que violaron las pautas de seguridad infantil. Naren Koneru, vicepresidenta de ingeniería de confianza y seguridad en Roblox, señaló que ambos índices se actualizan continuamente con nuevo material para mejorar la precisión del modelo AI. “Ese índice mejora a medida que detectamos más actores malos, solo actualizamos continuamente ese índice”, dijo Koneru, y agregó: “Entonces tenemos otra muestra de ¿qué hace un usuario normal y regular?”
Koneru explicó aún más que Sentinel monitorea la actividad continua de un usuario para discernir si su comportamiento está en tendencia hacia interacciones seguras o conducta riesgosa. “No sucede en un mensaje porque solo envías un mensaje, pero sucede debido a que todas las interacciones de tus días conducen a uno de estos dos”, explicó. Si la IA marca a un usuario para un examen más detallado, los moderadores humanos realizan una revisión exhaustiva de todo el historial de chat, la lista de amigos y los juegos jugados. Cuando se justifica, Roblox intensifica estos casos a la policía y al Centro Nacional de Niños Desaparecidos y Explotados.
La introducción de Sentinel se produce cuando Roblox enfrenta importantes desafíos legales. Una demanda presentada en Iowa el mes pasado alega que un depredador adulto contactó a una niña de 13 años a través de Roblox, posteriormente secuestrada y traficada en varios estados. La demanda afirma que el diseño de la plataforma de la compañía creó “presa fácil para pedófilos”.
Roblox mantiene políticas estrictas que prohíben el intercambio de información personal, imágenes y videos en el chat. Además, la mensajería directa para usuarios menores de 13 años está restringido a menos que se otorgue un permiso explícito de los padres. Las capacidades de monitoreo de la compañía son ayudadas por el hecho de que los chats no están encriptados de extremo a extremo, lo que permite supervisar las conversaciones por violaciones de seguridad. Si bien reconoce que ningún sistema puede proporcionar una protección completa, Roblox afirma que los avances de IA como Sentinel mejoran significativamente las posibilidades de detección temprana de comportamientos dañinos.
Source: Roblox Sentinel AI se dirige a la explotación del niño
