Michael Kratsios, asesor científico de la Casa Blanca, alegó que la empresa china Moonshot construyó su modelo Kimi K3 copiando Fable LLM de Anthropic mientras utilizaba chips prohibidos para exportar a China. Kratsios afirmó: “La destilación industrial encubierta a gran escala destinada a robar tecnología estadounidense patentada y socavar la investigación estadounidense es inaceptable”. Las discusiones sobre la prohibición de los modelos chinos de peso abierto están en curso, en medio de preocupaciones en el sector de la IA.
El secretario del Tesoro, Scott Bessent, apoyó a Kratsios y afirmó: “Estamos encontrando marcas de agua de nuestros modelos de idiomas grandes estadounidenses en muchos de los modelos chinos, y eso es inaceptable”. La naturaleza de estas marcas de agua aún no está clara y el Departamento del Tesoro no respondió a las consultas.
Los expertos expresaron escepticismo sobre la idea de que la destilación por sí sola pudiera explicar las capacidades avanzadas del Kimi K3. Braden Hancock, investigador del Instituto Laude, comentó: “No creo que se pueda obtener un modelo tan fuerte y tan rápido después de que Fable hiciera estrictamente destilación”, citando el corto período de tiempo desde que Fable fue lanzado el 1 de julio. Hancock enfatizó la dificultad de destilar datos tan complejos en dos semanas.
Nathan Lambert, del Instituto Allen de IA, añadió que la eficacia de la destilación parece estar disminuyendo a medida que los modelos chinos se vuelven más sofisticados. Señaló que los métodos de formación actuales se inclinan cada vez más hacia el aprendizaje por refuerzo, que implica procesos más grandes y complejos que la destilación.
La destilación generalmente requiere que un laboratorio consulte sistemáticamente a un LLM para generar datos para la capacitación posterior. Esto puede implicar un ajuste supervisado en el que un modelo imita las capacidades de otro. Sin embargo, Lambert advirtió que a medida que los modelos se vuelven más complejos, las ventajas del ajuste supervisado disminuyen.
Anthropic acusó anteriormente a Moonshot, DeepSeek y MiniMax de destilar sus modelos, alegando que detectó patrones de consulta inusuales indicativos de extracción de capacidades. Por el contrario, las prácticas de destilación son reconocidas en toda la industria de la IA, como señaló Elon Musk, quien testificó que SpaceXAI destiló modelos OpenAI para crear Grok.
En sus acusaciones, Kratsios también afirmó que Moonshot adquirió chips Nvidia avanzados y servidores GB300 en Tailandia, cuya exportación a China está prohibida. Sam Bresnick, investigador del Centro de Seguridad y Tecnología Emergente de Georgetown, señaló la existencia de un mercado negro para dichos chips prohibidos.
Bresnick pidió leyes de “conozca a su cliente” para los centros de datos involucrados en operaciones importantes de capacitación. Sin embargo, el progreso se ha estancado en las regulaciones federales propuestas por el Departamento de Comercio del presidente Biden, cuyo objetivo era establecer dichas reglas para 2024.
Los exportadores de chips avanzados deben garantizar su uso para fines aprobados, pero la aplicación de la ley en esta área sigue siendo un desafío, como lo puso de relieve la reciente acusación del fundador de Supermicro por contrabando de chips avanzados a China.
