OpenAI presentó su primer procesador de inferencia personalizado, Jalapeño, desarrollado en colaboración con Broadcom. El procesador, diseñado específicamente para los sistemas de inferencia de OpenAI, fue asistido por los propios modelos de IA de la empresa, afirmó la empresa.
Actualmente, Jalapeño se encuentra en fase de pruebas y los primeros resultados indican un rendimiento por vatio significativamente mejor en comparación con las alternativas de última generación actuales. La asociación con Broadcom se anunció oficialmente en octubre, y se especula constantemente que su objetivo es reducir la dependencia de OpenAI de las GPU de Nvidia.
Al igual que OpenAI, Google y Amazon también han creado chips personalizados denominados “aceleradores de IA” para mejorar el rendimiento del aprendizaje automático. El presidente de OpenAI, Greg Brockman, analizó la estrategia de desarrollo de chips de la compañía en un podcast poco después de anunciar la asociación con Broadcom.
“Tenemos un profundo conocimiento de la carga de trabajo”, dijo Brockman. “Realmente hemos estado buscando cargas de trabajo específicas que no están atendidas [y preguntando] ¿cómo podemos construir algo que pueda acelerar lo que es posible?”
El procesador Jalapeño está optimizado para la inferencia, que implica ejecutar modelos de IA prediseñados en respuesta a los comandos del usuario. OpenAI destacó los bajos costos operativos del chip para modelos de codificación en tiempo real. Es probable que las tareas más intensivas en rendimiento, como la capacitación previa, sigan dependiendo del hardware de Nvidia, pero la reducción de los costos de inferencia podría impactar positivamente las finanzas de OpenAI.
La optimización de los sistemas de inferencia puede ser esencial para la viabilidad económica de la IA en el futuro. OpenAI se centra en la creación de diversos productos agentes, incluido Codex, junto con los centros de datos necesarios para su implementación. El cambio hacia chips personalizados permite a la empresa mejorar aún más su infraestructura.
“OpenAI no solo está desarrollando modelos de frontera o construyendo productos sobre ellos; está diseñando la infraestructura debajo de ellos: arquitectura de chip, núcleos, sistemas de memoria, redes, programación, sistemas de implementación y experiencia de producto”, afirmó la compañía. “Debido a que OpenAI opera en toda la pila, cada capa se puede optimizar con el mismo objetivo: hacer que sus modelos sean más rápidos, más confiables y más asequibles para los usuarios”.
