- OpenAI y Microsoft unen fuerzas para el proyecto de superalineación de OpenAI. OpenAI ha lanzado el programa de superalineación, un proyecto de cuatro años para evitar que los riesgos asociados con los sistemas de IA superinteligentes superen las capacidades humanas.
- El programa tiene como objetivo garantizar que los sistemas de IA se alineen con los valores y propósitos humanos, mitigando los peligros potenciales de un apocalipsis de IA.
- OpenAI aboga activamente por la regulación de la IA y colabora con los líderes de la industria para gestionar de manera proactiva los riesgos sin precedentes que plantea la superinteligencia.
OpenAI ha realizado un esfuerzo significativo, que el año pasado lanzó tecnología de inteligencia artificial generativa de vanguardia que está revolucionando el mundo, para evitar la posible extinción de la humanidad que podría ser causada por avances futuros.
El negocio está detrás del chatbot ChatGPT que parece inteligente y de sofisticados modelos de lenguaje de máquina como GPT-4. Se ha asociado con Microsoft para integrar la IA en los productos de este último.
Los ejecutivos predicen que los desarrollos adicionales en IA podrían conducir a la “superinteligencia”, una frase que se usa para describir habilidades que van más allá de las de la inteligencia artificial general (AGI), o la capacidad de la IA para aprender a ejecutar cualquier trabajo intelectual del que los humanos sean capaces.
El programa OpenAI Superalignment tiene como objetivo prevenir la superinteligencia deshonesta
OpenAI presentó su nuevo programa de superalineación OpenAI. Este proyecto de cuatro años verá la creación de un nuevo equipo para garantizar que los sistemas de IA que son mucho más inteligentes que los humanos obedezcan el propósito humano, evitando el escenario del apocalipsis de IA que se ha representado en varias películas y libros.
Debido a que todos los métodos de alineación de IA existentes dependen de que los humanos puedan supervisar la IA, lo que los expertos creen que no pueden hacer de manera confiable cuando se trata de sistemas de IA que son mucho más inteligentes que sus supervisores, la publicación de hoy sostiene que no existen métodos para dirigir o controlar un potencial IA superinteligente y evitar que se vuelva deshonesto.
El principal anuncio de impulso se produce después de una publicación de 2022 que describía la investigación de alineación del negocio para ayudar a las personas a controlar la tecnología no autorizada. AGI, el tema de esa publicación, ahora ha sido suplantado con superinteligencia.
El impulso de superalineación de Open AI tiene como objetivo crear un investigador de alineación automática con capacidades casi humanas, después de lo cual la corporación podrá escalar sus esfuerzos posteriores y alinear iterativamente la superinteligencia utilizando cantidades masivas de computación.
La empresa declaró: “Para alinear al primer investigador de alineación automatizado, necesitaremos 1) desarrollar un método de capacitación escalable, 2) validar el modelo resultante y 3) hacer una prueba de estrés de toda nuestra canalización de alineación”, explicando esas preocupaciones de la siguiente manera:
- Podemos usar sistemas de IA para ayudar a la supervisión de otros sistemas de IA para ofrecer una señal de entrenamiento en actividades que son difíciles de juzgar para los humanos. Además, queremos comprender y tener cierta influencia sobre cómo nuestros modelos extienden nuestra supervisión a trabajos que no podemos monitorear.
- Automatizamos la búsqueda de comportamientos problemáticos (robustez) e internos problemáticos (interpretabilidad automatizada) para verificar que nuestros sistemas estén alineados.
- Por último, pero no menos importante, podemos probar toda la canalización entrenando deliberadamente modelos desalineados y verificando que nuestros métodos identifiquen con precisión las peores desalineaciones posibles.
Además de asignar el 20% de sus recursos informáticos durante los próximos cuatro años, la empresa dijo que está formando un equipo de investigadores e ingenieros de aprendizaje automático de élite para abordar el problema de la alineación de la superinteligencia. Además, está contratando personal adicional para el esfuerzo, incluidos gerentes, científicos e ingenieros de investigación.
OpenAI defiende la regulación de la IA con los líderes de la industria
La corporación manifestó hoy que tiene la esperanza de que el tema se resuelva a pesar de que es un objetivo muy ambicioso y no hay garantías de éxito. “Para afirmar que el problema se ha resuelto, la comunidad de seguridad y aprendizaje automático debe ser persuadida por datos y razonamiento.
Si no tenemos mucha fe en nuestras respuestas, esperamos que nuestros resultados nos ayuden a nosotros y a la comunidad a planificar en consecuencia. Tenemos una amplia gama de teorías que han demostrado ser prometedoras en los primeros ensayos, y podemos utilizar los modelos actuales para investigar empíricamente muchas de estas cuestiones.
En sitios como Hacker News, donde actualmente se debate el gran impulso, el comentario más popular es: “Desde el punto de vista de un profano cuando se trata de IA de vanguardia, no puedo evitar sentirme un poco desanimado por algunos de los Copiar. Con el fin de hacer que los peligros parezcan aún mayores y dar a entender que la tecnología en desarrollo es realmente de vanguardia, parece hacer todo lo posible por utilizar un lenguaje exuberante a propósito”. 
Iniciativa de superalineación de OpenAI: (Crédito de la imagen) Inesperadamente, OpenAI, la corporación principalmente responsable del reciente aumento de advertencias de amenazas existenciales relacionadas con la IA, ha sido vocal al alertar al público sobre estos riesgos y abogar por la regulación de la IA con varios otros líderes y grupos prominentes de la industria. .
La superinteligencia será más formidable que las tecnologías anteriores a las que la humanidad se ha enfrentado en el pasado, según los ejecutivos de OpenAI Sam Altman, Greg Brockman e Ilya Sutskever, quienes declararon esto a principios de este año. “Podemos tener un futuro que sea considerablemente más próspero, pero para llegar allí, debemos administrar el riesgo. No podemos simplemente responder cuando el peligro existencial es una posibilidad.
Un ejemplo histórico de una tecnología con esta cualidad es la energía nuclear, mientras que la biología sintética es otra. También debemos reducir las amenazas que plantean las tecnologías de IA actuales, pero la superinteligencia necesitará especial consideración y cooperación.
Antes de irte, puedes leer nuestro artículo sobre Humata AI.
Crédito de la imagen destacada: abierto
Source: Iniciativa OpenAI Superalignment: garantizar un desarrollo de IA seguro y alineado
