Miqu 70b y Mistral 70b finalmente se dieron a conocer con la reciente filtración de Mistral Medium que arroja luz sobre los tan esperados modelos de IA de código abierto y se muestran sus capacidades.
El mundo de la IA está alborotado con el modelo “Miqu-1-70b” y su posible conexión con el secreto Mistral Medium de Mistral AI. El 28 de enero, “Miqu Dev” subió misteriosamente archivos “miqu-1-70b” a Hugging Face, seguido de una aparición en 4chan y X.
El modelo impresionó, incluso rivalizando con el GPT-4 en algunas áreas. ¿Aún no estás convencido? Ver Programas N8‘ publicar en X a continuación.
Sea lo que sea el Miqu, tiene una especie de salsa especial. Obtiene un 83,5 en EQ-Bench (evaluado localmente), superando *todos los demás LLM del mundo excepto GPT-4*. EQ-Bench tiene una correlación de 0,97 con MMLU y una correlación de 0,94 con Arena Elo. *Supera* a Mistral Medium – en Q4_K_M. I… pic.twitter.com/0gOOPjxjPD
— Programas N8 (@N8Programs) 30 de enero de 2024
La fuga de Mistral Medium presenta Miqu 70b y Mistral 70b
El 28 de enero, un usuario llamado “Miqu Dev” lanzó una bomba en HuggingFace, una plataforma popular para entusiastas de la IA. Subieron un conjunto de archivos que componen el modelo Miqu 70B, que ha generado un gran revuelo en el mundo de la IA. Este modelo está siendo aclamado como un posible cambio de juego, y algunos afirman que podría competir con GPT-4 por su dinero.
El modelo se probó mediante cuatro exámenes de formación profesionales alemanes en materia de protección de datos, que reflejaban las pruebas de certificación reales requeridas para los empleados. Los resultados fueron impresionantes, con Miqu 1 70B Responder correctamente 17 de 18 preguntas de opción múltiple., mostrando su sólida comprensión del contenido. Sin embargo, no cumplió con la instrucción de responder con “OK” para reconocer la información, lo que marca un incumplimiento de la instrucción.
En comparación con otros modelos, Miqu 70B demostró habilidades lingüísticas competentes y habilidades bilingües. Sin embargo, no superó al modelo Mixtral-8x7B-Instruct-v0.1 ni a otros modelos de alto rango como GPT-4, Goliath-120B-GGUF y Tess-XL-v1.0-GGUF, todos los cuales lograron puntuaciones perfectas en ambas rondas de pruebas y cumplieron con la instrucción “OK”.
¿Es Miqu 70B realmente una fuga de Mistral Medium?
Los orígenes de Miqu-1-70B siguen siendo un misterio, y algunos especulan que es una versión filtrada de Mistral-Medium o una versión experimental anterior. El rendimiento del modelo ha provocado debates y discusiones en la comunidad tecnológica, algunos afirman que es real, mientras que otros se muestran escépticos.
Arturo Mensch, el gran jefe de Mistral, finalmente ha abordado los rumores. Confirmó que un entusiasta de su grupo de acceso temprano se dejó llevar un poco y filtró un modelo antiguo. Sin embargo, Mensch también insinuó que han estado cocinando algo aún mejor desde entonces, un modelo que potencialmente podría eclipsar al GPT-4.
Un empleado demasiado entusiasta de uno de nuestros clientes de acceso temprano filtró una versión cuantificada (y con marca de agua) de un modelo antiguo que entrenamos y distribuimos de manera bastante abierta.
Para comenzar a trabajar rápidamente con algunos clientes seleccionados, volvimos a entrenar este modelo de Llama 2 en el momento en que obtuvimos…
—Arthur Mensch (@arthurmensch) 31 de enero de 2024
Si Mistral lanza un modelo de código abierto que esté a la par con GPT-4, podría provocar ondas de choque en la escena de la IA. Es posible que OpenAI tenga que cuidarse las espaldas, ya que hay un nuevo contendiente en la ciudad, listo para desafiar el status quo. Esta filtración bien podría ser la chispa que encienda una era completamente nueva en la IA, donde los grandes nombres
Entonces, ¿Mistral es mejor que ChatGPT?
Determinar si Mistral es “mejor” que ChatGPT es difícil porque depende de lo que estés buscando en un LLM y de cómo definas “mejor”. A continuación se presenta un desglose de sus fortalezas y debilidades para ayudarlo a decidir cuál podría adaptarse mejor a sus necesidades:
Mistral
Fortalezas:
- Fuente abierta: Mistral ofrece varios modelos, incluidos algunos de código abierto, lo que los hace más accesibles para fines personales y de investigación.
- Eficiencia: Los modelos Mistral como Mixtral-8x7B son conocidos por su eficiencia y requieren menos potencia computacional que modelos comparables como GPT-4
- Transparencia: Si bien no todos los modelos son de código abierto, Mistral tiende a ser más transparente sobre su proceso de desarrollo e investigación en comparación con el enfoque de código cerrado de OpenAI con ChatGPT.
Debilidades:
- Actuación: En general, los modelos Mistral tienden a obtener una puntuación ligeramente inferior a la de los mejores modelos como el GPT-4 en pruebas comparativas para tareas como generación y traducción de texto.
- Accesibilidad: Algunos de los modelos más potentes de Mistral (como Mistral Medium) no están disponibles públicamente o requieren listas de espera y tarifas de acceso.
- Comunidad limitada: En comparación con ChatGPT, Mistral tiene una base de usuarios y una comunidad más pequeñas, lo que podría limitar los recursos y el soporte disponibles.
ChatGPT
Fortalezas:
- Actuación: GPT-4 actualmente demuestra un rendimiento superior en muchos puntos de referencia, particularmente en áreas como generación de texto creativo y diálogo complejo.
- Accesibilidad: OpenAI ofrece acceso gratuito a ChatGPT a través de programas beta y API, lo que lo hace más disponible para uso personal.
- Gran comunidad: La gran base de usuarios y la comunidad crean amplios recursos, guías y aplicaciones para usar ChatGPT.
Debilidades:
- Código cerrado: La naturaleza de código cerrado de ChatGPT genera preocupaciones sobre la transparencia y posibles sesgos en el modelo.
- Costo computacional: GPT-4 requiere una potencia computacional significativa, lo que lo hace menos accesible para personas con recursos limitados
- Preocupaciones éticas: El control de OpenAI sobre el acceso y la transparencia limitada generan preocupaciones sobre el desarrollo responsable y el posible uso indebido de la tecnología.
En última instancia, la “mejor” opción depende de sus prioridades. Si necesita un modelo de código abierto con buena eficiencia y transparencia, Mistral podría ser una buena opción. Si prioriza el máximo rendimiento y un apoyo comunitario más amplio, ChatGPT podría ser la mejor opción.
Crédito de imagen destacada: Mistral AI.
