Basado en mensajes de texto, MusicGen de Meta puede crear nuevas composiciones musicales breves que se alinean opcionalmente con una melodía existente.
MusicGen se basa en un modelo Transformer, al igual que la mayoría de los modelos de lenguaje que se utilizan en la actualidad. MusicGen predice el siguiente segmento de una pieza musical de manera similar a como un modelo de lenguaje predice las siguientes letras en una frase. Los investigadores utilizan EnCodec de Meta tokenizador de audio para dividir los datos de audio en partes más pequeñas. MusicGen es un enfoque de una sola etapa rápido y efectivo que realiza el procesamiento de tokens en paralelo.
Para el entrenamiento, la tripulación utilizó 20.000 horas de música autorizada. Usaron 10.000audio de alta calidad grabaciones de un conjunto de datos interno, así como datos de música de Shutterstock y Pond5, en particular.
MusicGen: ¿Qué es?
Al igual que la mayoría de los modelos de lenguaje que se usan hoy en día, MusicGen se construye usando un modelo de Transformador. De forma similar a como un modelo de lenguaje predice las siguientes letras en una oración, MusicGen predice la siguiente sección de una pieza musical.
Los datos de audio se dividen en bits más pequeños utilizando el tokenizador de audio EnCodec de Meta por parte de los investigadores. MusicGen es un método de una sola etapa que procesa tokens de forma rápida y eficaz en paralelo.
Junto con la eficacia del diseño y la velocidad de producción, MusicGen se destaca por su capacidad para administrar tanto el texto como las pistas musicales. La música del archivo de audio sigue el estilo básico establecido en el texto.
No puedes cambiar exactamente la dirección de la melodía para escucharla, por ejemplo, en otros géneros musicales. Solo sirve como una guía general para la generación y no se replica exactamente en la salida.
A pesar de que muchos otros modelos ejecutan generación de texto, síntesis de voz, imágenes generadas e incluso películas pequeñas, no ha habido muchos ejemplos de producción musical de alta calidad que se hayan hecho accesibles al público.
MusicGen: ¿Cómo usarlo?
Los usuarios pueden probar MusicGen usando el API de cara abrazada, pero dependiendo de cuántos usuarios lo estén usando a la vez, puede tomar algún tiempo producir cualquier música. Puede colocar su propia instancia del modelo utilizando el sitio web Hugging Face para obtener resultados mucho más rápidos. Puede descargar el código y ejecutarlo usted mismo si tiene los conocimientos y las herramientas necesarios.
Aquí le mostramos cómo probar la versión en línea si, como la mayoría de las personas, desea:
- Lanzamiento un navegador web
- Visite la página web de Hugging Face.
- En la parte superior derecha, elige Espacios.
- Buscar “Gen musical” en el cuadro.
- Localiza el que Facebook publicado.
- En el cuadro de la izquierda, escriba su aviso.
- Elegir “Generar”.
¡Eso es todo lo que necesitas saber!
MusicGen supera a MusicLM por un pelo
Tres tamaños distintos de la modelo—300 millones (300M), 1.500 millones (1.5B), y 3.3 mil millones (3.3B) parámetros—fueron probados por los autores del estudio. El 1.500 millones Los humanos consideraron que el modelo de parámetros era el mejor, pero descubrieron que los modelos más grandes generaban sonidos de mayor calidad. Por otro lado, el 3.3 mil millones el modelo de parámetro funciona más correctamente al hacer coincidir la entrada de texto con la salida de audio.
MusicGen obtiene mejores puntajes tanto en medidas objetivas como subjetivas que miden qué tan bien la música coincide con las palabras y qué tan creíble es la composición en comparación con otros modelos musicales como Riffusion, Mousai, MusicLM y Noise2Music. En general, los modelos son ligeramente mejores que MusicLM de Google.
Meta ha puesto a disposición el código y los modelos como fuente abierta en Github, y se permite el uso comercial. Hay una demostración en Huggingface.
¿Sabes qué son los enlaces compartidos de ChatGPT?
Source: ¿Qué es MusicGen de Meta y cómo usarlo? • Resumen técnico
