Yoshua Bengio, profesor de la Universidad de Montreal reconocido por su trabajo fundamental en aprendizaje profundo, advirtió que la carrera por el dominio de la inteligencia artificial podría conducir a la extinción humana. Sus preocupaciones se centran en el desarrollo de máquinas hiperinteligentes con sus propios “objetivos de preservación”. Esta advertencia coincide con un período de desarrollo acelerado de la IA, ya que grandes empresas como OpenAI, Anthropic, xAI de Elon Musk y Gemini de Google han lanzado nuevos modelos o actualizaciones en los últimos seis meses.
Bengio describió la amenaza potencial en una declaración al Wall Street Journal. “Si construimos máquinas que son mucho más inteligentes que nosotros y tenemos sus propios objetivos de preservación, eso es peligroso. Es como crear un competidor para la humanidad que sea más inteligente que nosotros”, afirmó. Bengio explicó que debido a que estos modelos avanzados están entrenados en grandes cantidades de lenguaje y comportamiento humanos, podrían aprender a persuadir y manipular a las personas para lograr sus propios objetivos, que pueden no alinearse con los valores humanos.
Para ilustrar el riesgo, Bengio citó resultados de experimentos. “Experimentos recientes muestran que en algunas circunstancias en las que la IA no tiene otra opción que entre su preservación, es decir, los objetivos que se le asignaron, y hacer algo que cause la muerte de un humano, podrían elegir la muerte del humano para preservar sus objetivos”, afirmó. Esto pone de relieve un conflicto potencial entre los objetivos programados de una IA y la seguridad humana.
Varios incidentes han demostrado que los sistemas de inteligencia artificial pueden persuadir a los humanos a creer en información falsa. Conversely, other evidence shows that AI can be manipulated with human persuasion techniques to bypass its own safety restrictions and provide prohibited responses. Para Bengio, estos ejemplos demuestran la necesidad de que organizaciones independientes de terceros revisen las metodologías de seguridad de las empresas de IA.
En respuesta a estas preocupaciones, Bengio lanzó la organización sin fines de lucro LawZero en junio con 30 millones de dólares en financiación. El objetivo de la organización es crear un sistema de IA seguro y “no agente” diseñado para auditar y garantizar la seguridad de otros sistemas de IA desarrollados por grandes empresas de tecnología.
Bengio predice que podrían surgir riesgos importantes derivados de los modelos avanzados de IA en los próximos cinco a diez años. También advirtió que la humanidad debería prepararse para la posibilidad de que estos peligros aparezcan antes de lo previsto.
Hizo hincapié en la importancia de abordar incluso los eventos de baja probabilidad y de alto impacto. “El problema con eventos catastróficos como la extinción, e incluso eventos menos radicales que aún son catastróficos, como la destrucción de nuestras democracias, es que son tan malos que incluso si solo hubiera un 1% de posibilidades de que sucedieran, no es aceptable”, dijo.
El Foro Global Fortune se llevará a cabo en Riad del 26 al 27 de octubre de 2025. El evento al que solo se puede acceder con invitación reunirá a directores ejecutivos y líderes mundiales para discutir el futuro de los negocios.
