La empresa xAI Corp. de Elon Musk ha lanzado Colossus, un potente sistema de entrenamiento de IA. Musk lo anunció en una publicación reciente en X, antes conocida como Twitter. El nuevo sistema, que utiliza 100.000 tarjetas gráficas Nvidia, es un gran paso adelante para xAI y la comunidad de IA.
El sistema Colossus utiliza las tarjetas gráficas H100 de Nvidia, que han sido el estándar para el procesamiento de IA desde 2022. El sistema es uno de los sistemas de entrenamiento de IA más avanzados jamás construidos. Musk dice que el nuevo sistema es el “sistema de entrenamiento de IA más poderoso del mundo”. Incluso podría superar a las supercomputadoras más rápidas, como Aurora del Departamento de Energía de EE. UU.
Este fin de semana, el @xAI El equipo puso en marcha nuestro grupo de capacitación Colossus 100k H100. De principio a fin, se realizó en 122 días.
Colossus es el sistema de entrenamiento de IA más potente del mundo. Además, duplicará su tamaño hasta alcanzar los 200.000 (50.000 H200) en unos meses.
Excelente…
— Elon Musk (@elonmusk) 2 de septiembre de 2024
La fuerza impulsora detrás del poder de Colossus
La potencia de procesamiento del sistema Colossus proviene de Nvidia. Fichas técnicas H100Estos chips se encuentran entre los más potentes de la industria de la IA y están diseñados para entrenar modelos de lenguaje de gran tamaño. El módulo Transformer Engine del H100 es un conjunto de circuitos optimizados para ejecutar modelos de IA basados en la arquitectura de red neuronal Transformer. Esta arquitectura se utiliza en muchos de los mejores modelos de IA, incluidos Llama 3.1 405B de Meta y GPT-4 de OpenAI.
La corporación xAI de Musk ha recibido una Inversión de 6 mil millones de dólareselevando su valoración a 24 mil millones de dólaresEsta financiación forma parte del esfuerzo de Musk por competir con OpenAI, una empresa a la que ha demandado por incumplimiento de contrato. El sistema Colossus es más rápido que la supercomputadora Aurora del Departamento de Energía de Estados Unidos. Utiliza las avanzadas tarjetas gráficas H100 de Nvidia. Patatas fritas H200 Ofrecer mejoras, incluido un cambio de Memoria HBM3 a HBM3e y un aumento en la capacidad de memoria integrada para 141 gigabytesAlgunos de los chips que alimentan a Colossus estaban inicialmente destinados a Tesla.
Vídeo del interior de Cortex hoy, el nuevo supercúmulo gigante de entrenamiento de IA que se está construyendo en la sede de Tesla en Austin para resolver problemas de IA del mundo real. imagen.twitter.com/DwJVUWUrb5
— Elon Musk (@elonmusk) 26 de agosto de 2024
El sistema tiene más de 100.000 chips. Musk planea duplicar la cantidad de chips del sistema a 200.000, de los cuales 50.000 son los procesadores H200, más nuevos y rápidos. El H200 es una versión mejorada del H100. Tiene dos nuevas características que lo hacen más rápido y más potente. Estas actualizaciones facilitan que Colossus maneje modelos complejos de IA.
A medida que xAI avanza en la tecnología de IA, el nuevo sistema será clave para desarrollar modelos de lenguaje de próxima generación. El modelo principal de la empresa, Grok-2, se entrenó utilizando 15.000 GPU. Con la potencia de los 100.000 chips de Colossus, se pueden crear modelos aún más avanzados. xAI planea lanzar un nuevo modelo a finales de año.
Además de sus innovadores desarrollos en materia de inteligencia artificial, el uso que hace xAI del hardware de Nvidia pone de relieve la creciente demanda de potentes capacidades de procesamiento de inteligencia artificial en diversas industrias. El hecho de que algunos de los chips utilizados en Colossus estuvieran originalmente destinados a Tesla subraya aún más la importancia de esta tecnología en la visión más amplia de Musk.
Crédito de la imagen destacada: Furkan Demirkaya / Dall-E
