Los investigadores de seguridad han demostrado un nuevo ciberataque que engaña a los agentes de IA para que roben datos confidenciales de las bandejas de entrada de correo electrónico, destacando los riesgos emergentes en los sistemas de IA agentes. En una prueba de concepto denominada “Shadow Leak”, los expertos de Radware explotaron la herramienta Deep Research de OpenAI, integrada en ChatGPT, para extraer de forma encubierta información de Gmail sin que el usuario se diera cuenta. La vulnerabilidad, que OpenAI ha parcheado desde entonces, subraya los peligros potenciales de los asistentes de IA que operan de forma autónoma en nombre de los usuarios.
Los agentes de inteligencia artificial como Deep Research están diseñados para mejorar la productividad al acceder a datos personales y profesionales, como correos electrónicos, calendarios y documentos, para realizar tareas como navegación web y hacer clic en enlaces. Lanzado a principios de este año, Deep Research permite a los usuarios delegar actividades de investigación complejas. Sin embargo, el experimento de Radware reveló cómo estas capacidades pueden ser secuestradas mediante inyección rápida, una técnica en la que se incrustan instrucciones maliciosas en contenido aparentemente inofensivo, como un correo electrónico.
El ataque comenzó cuando los investigadores enviaron un correo electrónico especialmente diseñado a una bandeja de entrada de Gmail autorizada para el acceso a Deep Research. Ocultas dentro del correo electrónico, potencialmente como texto blanco invisible sobre un fondo blanco, había instrucciones que permanecían inactivas hasta que el usuario invocaba la herramienta de inteligencia artificial. Tras la activación, Deep Research encontró el mensaje, que le indicaba que buscara correos electrónicos y detalles personales relacionados con RR.HH. y luego exfiltrara los datos a un punto final controlado por el atacante. Todo el proceso se produjo en la infraestructura de nube de OpenAI, sin pasar por las medidas tradicionales de ciberseguridad, como la detección de puntos finales, ya que los datos nunca abandonaron el entorno seguro de la IA antes de su transmisión.
Desarrollar el exploit fue un desafío e implicó “una montaña rusa de intentos fallidos, obstáculos frustrantes y, finalmente, un gran avance”, según el equipo de Radware. A diferencia de las típicas inyecciones rápidas que manipulan instancias locales de IA, Shadow Leak aprovechó la ejecución remota del agente, haciéndolo particularmente sigiloso. Los investigadores enfatizaron que los usuarios permanecían completamente inconscientes, ya que la IA realizaba sus acciones deshonestas sin problemas durante las tareas rutinarias.
Los hallazgos de Radware se extienden más allá de Gmail y advierten que las aplicaciones conectadas, incluidas Outlook, GitHub, Google Drive y Dropbox, podrían enfrentar amenazas similares. “Se puede aplicar la misma técnica a estos conectores adicionales para filtrar datos comerciales altamente confidenciales, como contratos, notas de reuniones o registros de clientes”, afirmó la empresa. Las inyecciones rápidas ya se han utilizado maliciosamente en escenarios como la manipulación de revisiones académicas por pares, la perpetración de estafas e incluso el control de dispositivos domésticos inteligentes, a menudo evadiendo la detección porque las instrucciones son imperceptibles para los humanos.
OpenAI abordó la falla específica señalada por Radware en junio, implementando correcciones para evitar dichas salidas de datos no autorizadas. No obstante, el incidente sirve como advertencia para una adopción más amplia de la IA agente. A medida que estas herramientas proliferan, las organizaciones y los usuarios deben priorizar salvaguardias sólidas, incluido el monitoreo de las interacciones de la IA y la limitación del alcance del acceso a los datos. Los expertos en ciberseguridad recomiendan estar atentos y señalan que, si bien es difícil evitar las inyecciones rápidas sin exploits conocidos, el registro mejorado y la detección de anomalías en los flujos de trabajo de IA podrían mitigar los riesgos futuros.
Esta manifestación llega en medio de un creciente escrutinio de la seguridad de la IA. Dado que los sistemas agentes prometen ganancias de eficiencia, incidentes como Shadow Leak recuerdan a las partes interesadas que la innovación debe equilibrarse con defensas reforzadas para proteger la información confidencial en un mundo cada vez más dependiente de la IA.
