El análisis de datos comerciales puede ser extremadamente útil para los tomadores de decisiones, y a medida que la integración de la IA en el lugar de trabajo se vuelve más común, muchos equipos están viendo valor al pedir ayuda a los LLM para la destilación de ideas procesables de conjuntos de datos patentados. Si bien se debe alentar esta práctica, debe manejarse cuidadosamente para preservar la seguridad y la privacidad de los datos.
Según el Informe de Seguridad y Gobierno de Immuta AI, el 80% de los expertos en datos están de acuerdo en que la IA está haciendo que la seguridad de los datos sea más desafiante. Además, el 88% de los profesionales de datos dicen que los empleados de sus organizaciones están utilizando IA, pero solo el 50% dice que la estrategia de seguridad de datos de su organización se mantiene al día con la tasa de evolución de la IA.
El principal problema es que las personas a menudo envían datos a LLM como parte de sus flujos de trabajo continuos, sin tener en cuenta la seguridad. Muchas organizaciones incluso carecen de monitoreo o visibilidad básica de lo que se está utilizando AI, en un fenómeno conocido como “AI de Shadow”.
La principal preocupación con respecto a la IA para el 56% de los profesionales de los datos es el riesgo de exposición a los datos confidenciales a través de un mensaje de IA. Deben existir dos elementos para que suceda una fuga rápida: entrada del usuario (datos confidenciales cargados por los empleados) y la salida del modelo (cuando el LLM genera o revela información confidencial a otra persona, según las interacciones previas o los datos de capacitación).
Estas fugas son más comunes de lo que se puede suponer, como lo demuestra el incidente de Deepseek desde enero de 2025, por lo que millones de líneas de registros de chat, claves API y otra información confidencial se expusieron, afectando a muchas organizaciones. Un incidente similar ocurrió con ChatGPT anteriormente en su desarrollo.
Aquí hay cinco formas en que las organizaciones pueden prevenir fugas de datos al usar LLM.
1. Evite dar acceso directo a la IA a los datos
Los LLM nunca deben conectarse directamente a bases de datos de producción o sistemas confidenciales. Esto lo protegerá de situaciones como la fuga de Deepseek. Incluso si hay una fuga, no se pueden expusir datos confidenciales si la IA nunca ha obtenido acceso a los datos sin procesar. Una excelente manera de abordar esto es construir una capa que oculte los datos antes de que las consultas pasen a la LLM.
Pyramid Analytics es una solución de inteligencia de decisión que separa la capa de IA de los datos reales sin comprometer la calidad de las salidas. La forma en que funciona es que, cuando un usuario le pregunta a Pyramid’s AI Chatbot para BI una pregunta, el motor envía una versión de alto nivel de la pregunta al modelo AI externo de la elección del usuario, junto con una descripción de los datos en cuestión.
Pyramid luego ejecuta la consulta dentro de su propio entorno y devuelve los resultados en forma de paneles, gráficos o informes interactivos. El LLM nunca interactúa directamente con los datos de la organización, sin embargo, aún obtiene los beneficios completos de la visión de IA.
2. Implementar controles de acceso fuertes
El acceso a LLM nunca debe ser un libre para todos, especialmente en organizaciones más grandes. Debe haber un conjunto claro de políticas que definan quién puede usar LLM, en los que contextos y en qué condiciones. El acceso debe otorgarse en función de los roles de los empleados, implementados con restricciones apropiadas para el acceso de datos y modelo.
Los controles de acceso basados en roles (RBAC) admiten directamente la aplicación del principio del menor privilegio, un componente esencial de un programa de seguridad moderno. Este principio asegura que los usuarios, modelos y herramientas conectadas solo tengan el acceso mínimo y las capacidades necesarias para realizar sus tareas.
Las organizaciones maduras de IA pueden incluso usar un servidor MCP (protocolo de contexto del modelo), que permite a los equipos controlar cómo los LLM interactúan con los recursos externos al traducir las consultas de IA en acciones como llamadas API o búsquedas de bases de datos. Debido a que los servidores MCP interactúan regularmente con sistemas y datos confidenciales, deben configurarse con cero principios de confianza. Esto significa validar todas las solicitudes y registrar toda la actividad.
3. Repensar ingeniería rápida
Las indicaciones son cómo cada usuario puede interactuar con un LLM. Si no está diseñado con la seguridad en mente, las indicaciones se convierten en una seria vulnerabilidad. Los sistemas de IA deben poder diferenciar un aviso legítimo de uno dañino. Hay dos pasos para lograr eso.
El primer paso es implementar reglas de validación para todas las indicaciones entrantes, que verifican los patrones sospechosos, incluidos los comandos integrados (los tipos de hackers podrían usar en inyecciones SQL, por ejemplo) o intenta anular las instrucciones del sistema. La validación de entrada y la desinfección son una práctica estándar en seguridad web, y ahora deben aplicarse a los sistemas de IA de la misma manera.
Para aún más protección, las organizaciones pueden implementar una herramienta como LLM Guard, cuyas pruebas dedicadas del escáner de inyección analizan en tiempo real y pueden atrapar intentos de manipulación avanzados que los filtros basados en reglas podrían perderse.
4. Registre y monitoree la salida y el uso de la IA
Los LLM deben tratarse como cualquier otra tecnología en el negocio. Muchas organizaciones monitorean las computadoras portátiles y el uso de aplicaciones, y los modelos de IA necesitan tanta supervisión.
Rastree lo que se pregunta, qué respuestas se están generando y quién está interactuando con el modelo. Esto planteará cualquier uso inapropiado o violación de políticas, pero también cualquier problema con el modelo que pueda conducir a la fuga de datos.
El objetivo con estas medidas no es la vigilancia, sino para garantizar que el LLM funcione y se use de forma segura, ética y según lo previsto. Después de todo, es un sistema comercial que toca datos confidenciales, por lo que debe tratarse como uno.
5. capacitar a los empleados en riesgos LLM
Incluso con los controles de seguridad más restrictivos, los empleados aún pueden representar un riesgo. Pueden compartir datos demasiado sensibles con el modelo, confiar en herramientas de IA no aprobadas o tomar todo lo que el LLM genera como hecho.
Para abordar este problema, las plataformas de capacitación de concientización como Ninjio ahora ofrecen módulos específicos de IA que capacitan y educan a los empleados sobre varias mejores prácticas y riesgos asociados con el uso de LLM. Los empleados aprenderán a evitar compartir información confidencial o usar herramientas de IA no vettadas, y evaluar los resultados generados por IA antes de actuar en consecuencia.
Ya sea a través de un proveedor externo o una iniciativa interna, la capacitación de seguridad en torno a la IA es imprescindible para cada organización que planea implementar LLM de una manera significativa.
Pensamientos finales
Los LLM son una tecnología poderosa pero relativamente inmadura. A pesar de los esfuerzos para estandarizar las prácticas de seguridad en torno a su uso y desarrollo, todavía hay mucho riesgo para las organizaciones, lo que puede dar lugar a fugas de datos.
Por esa razón, la seguridad debe integrarse en cada capa de una implementación de LLM. Las medidas discutidas en este artículo proporcionan una base sólida para integrar LLM de manera segura y responsable.
Crédito de imagen destacado
Source: 5 formas de evitar fugas de datos al usar LLM para la inteligencia de decisiones
