Esta semana, Miles Brundage, asesor principal del equipo de OpenAI que trabaja en la preparación de AGI, dejó la empresa en los titulares. En una medida que subraya las crecientes preocupaciones dentro de la comunidad de IA, Brundage emitió una advertencia clara: No, ni siquiera OpenAI ni ningún otro laboratorio líder en IA está completamente preparado para los riesgos de la inteligencia artificial general (AGI).
Es la última de una serie de salidas de alto perfil, lo que plantea una pregunta seria: ¿Hay algún lugar donde AGI no pueda afectar potencialmente a la sociedad? Quizás ni siquiera los laboratorios más avanzados estén preparados para gestionar el impacto potencial de la AGI en la sociedad.
Acabo de enviar este mensaje a mis colegas y explico mi decisión y los próximos pasos en una publicación de blog (ver el siguiente tweet): pic.twitter.com/NwVHQJf8hM
– Miles Brundage (@Miles_Brundage) 23 de octubre de 2024
Crecientes preocupaciones sobre la seguridad de la IA a medida que OpenAI pierde investigadores clave
La salida de Brundage es la última de una serie de salidas en OpenAI, y recientemente han puesto distintos grados de distancia entre ellos y la empresa y el liderazgo. Las salidas incluyen a la CTO Mira Murati, directora de investigación. Bob McGrewy la investigación Vicepresidente Barret Zophmás que evidencia concreta de que la empresa dejó claras sus prioridades. En parte, dejó Brundage porque quería realizar investigaciones sobre políticas de IA sin algunas de las limitaciones que había experimentado trabajando en OpenAI, donde se había sentido cada vez más atrofiado por el deseo de OpenAI de limitar la apertura con la que podía publicar. A esto le siguió la disolución del equipo de preparación AGI de OpenAI, lo que hizo que la gente se preocupara sobre si la empresa estaba comprometida con iniciativas de seguridad a largo plazo.
Mientras tanto, el desarrollo de la AGI se está acelerando más rápido de lo que la sociedad está dispuesta a manejar de manera responsable, afirma Brundage en su discurso de despedida. “Ni OpenAI ni ningún otro laboratorio de vanguardia está listo para AGI, y el mundo tampoco está preparado”, escribió, y agregó que si bien el liderazgo de OpenAI puede estar de acuerdo con su evaluación, el giro de la compañía hacia la comercialización podría poner en peligro su misión centrada en la seguridad. Según se informa, OpenAI ha experimentado presión para monetizar su trabajo, pasando de una investigación sin fines de lucro a un modelo con fines de lucro y sacrificando consideraciones a largo plazo en nombre de la entrega de productos comerciales, pero en lo que los datos pueden representar,
La advertencia de Brundage no es la única. Esto también se produce justo después de la partida de investigadores clave como Jan Leike y el cofundador Ilya Sutskever, lo que aumenta el creciente abismo entre el desarrollo de la IA y la seguridad. A principios de este año, Leike disolvió su equipo de seguridad porque tenía dificultades para reunir suficientes recursos para investigaciones cruciales, incluida la escasez de potencia informática. Estas fricciones internas y preocupaciones externas indican una brecha significativa entre las aspiraciones de los laboratorios de IA y lo que las máquinas de gobernanza global del mundo están listas para enfrentar con respecto a los efectos sociales potencialmente nocivos de la AGI.
Por supuesto, el ex investigador de OpenAI Suchir Balaji ha hablado sobre cómo la empresa antepuso las ganancias a la seguridad y los rumores de múltiples demandas en su contra acusan a OpenAI de infracción de derechos de autor. La partida de Balaji y la de Brundage subrayan la creciente inquietud entre los investigadores que creen que el potencial comercial de la IA supera los posibles esfuerzos para mitigar sus riesgos.
Cuando escuché por primera vez sobre OpenAI LP, me preocupé, ya que el estatus de organización sin fines de lucro de OAI fue parte de lo que me atrajo. Pero desde entonces se me ocurrió la idea por dos razones: 1. Mientras profundizaba en los detalles, me di cuenta de que se habían tomado muchas medidas para garantizar que la organización siguiera centrada en la misión.
– Miles Brundage (@Miles_Brundage) 11 de marzo de 2019
A medida que OpenAI continúa perdiendo figuras clave de sus equipos de seguridad, la comunidad de IA en general enfrenta una pregunta urgente: ¿Por qué corremos hacia AGI tan rápidamente sin darnos cuenta de algunas de las posibles ramificaciones de esa carrera? La salida de Brundage y las advertencias más duras sobre su capacidad nos recuerdan que el riesgo con AGI no es sólo que podamos perder la guerra. Aún así, lo es aún más porque estamos superando la capacidad de la sociedad para controlarlo. Al igual que con la seguridad de la IA, el desarrollo de la AGI dependerá de la voz de aquellos investigadores clave alternativos que opten por seguir caminos independientes y pueden incluso defender un procedimiento menos agresivo y responsable para el crecimiento de la AGI.
El mundo espera ver si estos laboratorios de vanguardia pueden ser innovadores y al mismo tiempo asumir la responsabilidad de garantizar que la AGI trabaje para la sociedad y no en contra de ella cuando llegue el momento. La atención se centra en OpenAI y otros.
Crédito de imagen: Furkan Demirkaya/Ideograma