Los investigadores de seguridad han demostrado un nuevo ataque cibernético que engaña a los agentes de IA para robar datos confidenciales de las bandejas de entrada de correo electrónico, destacando los riesgos emergentes en los sistemas de IA agente. En una prueba de concepto denominada “Fuga de sombras”, los expertos de Radware explotaron la herramienta de investigación profunda de OpenAI, integrada en ChatGPT, para extraer información de Gmail sin conciencia del usuario. La vulnerabilidad, que OpenAi ha parchado desde entonces, subraya los peligros potenciales de los asistentes de IA que operan de forma autónoma en nombre de los usuarios. Los agentes de IA como Deep Research están diseñados para mejorar la productividad al acceder a datos personales y profesionales, como correos electrónicos, calendarios y documentos, para realizar tareas como el surf web y el clic de enlaces. Lanzado a principios de este año, Deep Research permite a los usuarios delegar actividades de investigación complejas. Sin embargo, el experimento de Radware reveló cómo estas capacidades se pueden secuestrar mediante inyección inmediata, una técnica donde las instrucciones maliciosas están integradas en contenido aparentemente inocuo, como un correo electrónico. El ataque comenzó con investigadores que envían un correo electrónico especialmente elaborado a una bandeja de entrada de Gmail autorizada para un profundo acceso a la investigación. Oculto dentro del correo electrónico, potencialmente como texto blanco invisible en un fondo blanco, fueron instrucciones que permanecieron inactivas hasta que el usuario invocó la herramienta AI. Tras la activación, la investigación profunda encontró el aviso, que le ordenó buscar correos electrónicos y datos personales relacionados con HR, luego exfiltró los datos a un punto final controlado por el atacante. Todo el proceso ocurrió en la infraestructura de la nube de OpenAI, sin pasar por las medidas de seguridad cibernética tradicional como la detección de puntos finales, ya que los datos nunca abandonaron el entorno seguro de la IA antes de la transmisión. Desarrollar la exploit fue desafiante, que involucraba a “una montaña rusa de intentos fallidos, obstáculos frustrantes y, finalmente, un avance”, según el equipo de radware. A diferencia de las inyecciones rápidas típicas que manipulan las instancias locales de IA, Shadow Leak aprovechó la ejecución remota del agente, por lo que es particularmente sigilosa. Los investigadores enfatizaron que los usuarios no se dieron cuenta, ya que la IA realizó sus acciones deshonestas sin problemas durante las tareas rutinarias. Los hallazgos de Radware se extienden más allá de Gmail, advirtiendo que las aplicaciones conectadas como Outlook, GitHub, Google Drive y Dropbox podrían enfrentar amenazas similares. “La misma técnica se puede aplicar a estos conectores adicionales para exfiltrar datos comerciales altamente sensibles, como contratos, notas de reuniones o registros de clientes”, declaró la empresa. Las inyecciones rápidas ya se han utilizado maliciosamente en escenarios como manipular las revisiones académicas de pares, perpetrar estafas e incluso controlar los dispositivos domésticos inteligentes, a menudo evadiendo la detección porque las instrucciones son imperceptibles para los humanos. OpenAI abordó la falla específica marcada por Radware en junio, implementando correcciones para evitar tales salidas de datos no autorizadas. No obstante, el incidente sirve como una historia de advertencia para la adopción más amplia de la IA agente. A medida que proliferan estas herramientas, las organizaciones y los usuarios deben priorizar salvaguardas robustas, incluida la monitorización de las interacciones de IA y limitar los alcances de acceso a datos. Los expertos en ciberseguridad recomiendan una vigilancia, señalando que, si bien las inyecciones rápidas son difíciles de evitar sin hazañas conocidas, el registro mejorado y la detección de anomalías en los flujos de trabajo de IA podrían mitigar los riesgos futuros. Esta demostración llega en medio de un creciente escrutinio de seguridad de IA. Con los sistemas de agente prometiendo ganancias de eficiencia, los incidentes como la fuga de sombra recuerdan a las partes interesadas que la innovación debe equilibrarse con defensas fortificadas para proteger la información confidencial en un mundo cada vez más dependiente de la IA.
Source: Ataque de fugas de sombra de demostraciones de radware en OpenAi Deep Research
