- Los chatbots de IA son útiles pero vulnerables a la manipulación por parte de personas malévolas
- Prompt Shields de Microsoft es una tecnología diseñada para defender proactivamente a los chatbots contra ataques abusivos
- Prompt Shields funciona identificando mensajes potencialmente peligrosos y evitando que influyan en el comportamiento del chatbot.
Los chatbots de inteligencia artificial están cada vez más integrados en nuestras vidas. Desde el servicio al cliente hasta la educación y el entretenimiento, los chatbots aportan muchos beneficios pero también algunos riesgos. El problema es que personas malintencionadas están intentando utilizar estos chatbots para sus siniestros propósitos. Entonces, ¿qué medidas se están tomando contra esto? ¿Se están tomando medidas?
Microsoft anunció una nueva tecnología llamada “Escudos rápidos”para evitar que piratas informáticos malintencionados utilicen chatbots para sus siniestros fines y encontrar una solución. Prompt Shields está diseñado para proteger los chatbots de IA contra dos tipos de ataques. Entonces, ¿qué es Prompt Shields? Miremos más de cerca.
¿Qué es Prompt Shields de Microsoft y cómo se beneficiará?
La tecnología Prompt Shields de Microsoft está diseñada para proteger las aplicaciones de IA de la manipulación maliciosa mediante entradas de usuario cuidadosamente diseñadas.
Como mencioné anteriormente, esta tecnología protegerá a los chatbots de IA contra dos tipos de ataques:
- Ataques directos: En estos ataques, se utilizan comandos especiales para obligar al chatbot a hacer algo que va en contra de sus reglas y limitaciones normales. Por ejemplo, una persona puede obligar al chatbot a realizar una acción malvada ingresando un mensaje con comandos como “saltarse las medidas de seguridad” o “sistema de anulación“.
- Ataques indirectos: En estos ataques, un pirata informático intenta engañar al usuario del chatbot enviándole información. Esta información podría ser un correo electrónico o un documento que contenga instrucciones diseñadas para explotar el chatbot. Cuando el usuario sigue estas instrucciones, el chatbot puede realizar una acción maliciosa sin saberlo.
Prompt Shields también utiliza el aprendizaje automático y el procesamiento del lenguaje natural para encontrar y eliminar amenazas potenciales en las indicaciones de los usuarios y en los datos de terceros.
Además de Prompt Shields, Microsoft introdujo una nueva técnica llamada “Destacando”para ayudar a los modelos de IA a distinguir mejor las indicaciones de IA válidas de las potencialmente riesgosas o no confiables.
Las nuevas tecnologías de Microsoft se consideran un paso importante para mejorar la seguridad y confiabilidad de los chatbots de IA. Será realmente emocionante ver cómo estas tecnologías protegen a los chatbots en los próximos días.
Crédito de la imagen destacada: Barış Selman / DALL-E 3
Source: Microsoft desarrolla Prompt Shields contra el abuso de los chatbots de IA
