Operai ha reducido significativamente el tiempo asignado para las pruebas de seguridad de sus modelos de IA, lo que provocó preocupaciones sobre los riesgos potenciales y los daños asociados con la liberación rápida de nuevos modelos.
Ocho personas, ya sea personal de OpenAI o probadores de terceros, revelaron que ahora tienen “solo días” para completar las evaluaciones en nuevos modelos, un proceso que anteriormente tomó “varios meses”. Esta reducción drástica en el tiempo de prueba se atribuye al deseo de Openi de mantener una ventaja competitiva, particularmente frente a la competencia de modelos de peso abierto desarrollados por compañías como la startup de IA china Deepseek.
Las evaluaciones son cruciales para identificar los riesgos y daños del modelo, como el potencial de jailbreak a un modelo para proporcionar instrucciones para crear biowapons. A modo de comparación, las fuentes señalaron que OpenAi les dio seis meses para revisar GPT-4 antes de su lanzamiento, y solo descubrieron las capacidades con respecto a las capacidades después de dos meses. Según los informes, el proceso de prueba actual para el nuevo modelo de OpenAI, O3, no es tan minucioso y carece del tiempo y los recursos necesarios para atrapar y mitigar adecuadamente los riesgos.
Una persona que actualmente prueba la versión completa de O3 describió el cambio como “imprudente” y “una receta para el desastre”. Se rumorea que Operai lanzará O3 la próxima semana, que según las fuentes apresuraron la línea de tiempo de las pruebas a menos de una semana. Johannes Heidecke, jefe de sistemas de seguridad en OpenAi, afirmó que la compañía tiene “un buen equilibrio de lo rápido que nos movemos y lo minuciosos que somos”. Sin embargo, los evaluadores y expertos en el campo expresan alarma en el tiempo de prueba reducido y los riesgos potenciales asociados con él.
La falta de regulación gubernamental en el área de los modelos de IA se destaca por el cambio en la línea de tiempo de las pruebas de OpenAI. A pesar de firmar acuerdos voluntarios con la administración Biden para realizar pruebas de rutina con el Instituto de Seguridad de AI de EE. UU., Los registros de esos acuerdos han caído bajo la administración Trump. Operai ha abogado por un acuerdo similar para evitar navegar la legislación de estado por estado de mosaico. En contraste, la Ley de AI de la UE requerirá que las empresas arriesguen sus modelos y documenten los resultados.
Expertos como Shayne Longpre, un investigador de IA en el MIT, comparten las preocupaciones sobre los riesgos potenciales asociados con la rápida liberación de modelos de IA. LongPre señala que el área de superficie para fallas en los sistemas de IA se está creciendo a medida que los sistemas de IA obtienen más acceso a los flujos de datos y las herramientas de software. Hace hincapié en la necesidad de invertir en investigadores independientes de terceros y sugiere medidas como recompensas de errores, acceso más amplio al equipo rojo y protecciones legales para los hallazgos de los probadores para mejorar la seguridad y la seguridad de la IA.
A medida que los sistemas de IA se vuelven más capaces y se usan de formas nuevas y a menudo inesperadas, la necesidad de pruebas y evaluación exhaustivas se vuelve cada vez más importante. LongPre enfatiza que los equipos de pruebas internas no son suficientes y que una comunidad más amplia de usuarios, académicos, periodistas y hackers de sombrero blanco es necesaria para cubrir la superficie de fallas, experiencia e idiomas diversos que ahora sirven estos sistemas.
Source: Operai se apresura a las pruebas de IA, plantea preocupaciones de seguridad
