ByteDance está implementando su nuevo modelo de generación de audio y video, Dreamina Seedance 2.0, en su plataforma de edición, CapCut.
Esta implementación posiciona a ByteDance como un actor clave en el mercado de generación de videos con IA, luego de la decisión de OpenAI de reducir sus esfuerzos en la aplicación Sora.
Según ByteDance, el modelo permite a los creadores redactar, editar y sincronizar contenido de video y audio mediante indicaciones, imágenes o videos de referencia.
El lanzamiento se dirigirá inicialmente a los usuarios de CapCut en Brasil, Indonesia, Malasia, México, Filipinas, Tailandia y Vietnam. ByteDance declaró que progresivamente se agregarán mercados adicionales.
La compañía enfrentó previamente preocupaciones de propiedad intelectual con respecto al modelo, lo que provocó una pausa en su lanzamiento global y críticas de Hollywood por supuesta infracción de derechos de autor. Esto puede explicar la limitada disponibilidad inicial en el mercado.
En China, Dreamina Seedance 2.0 está disponible en la aplicación Jianying de ByteDance.
El modelo de generación de vídeo puede funcionar sin imágenes de referencia, lo que permite a los creadores describir escenas con unas pocas palabras, anunció ByteDance.
CapCut puede representar texturas, movimientos e iluminación realistas en varias perspectivas y ángulos visuales del modelo. La compañía señaló que esta capacidad podría mejorar o corregir el metraje del creador existente.
Los usuarios también pueden probar ideas de contenido basadas en conceptos iniciales o bocetos antes de filmar, dijo la compañía.
Dreamina Seedance 2.0 admite tipos de contenido como recetas de cocina, tutoriales de fitness, resúmenes de negocios y videos centrados en la acción, áreas donde los modelos de video de IA encontraron desafíos anteriormente, explicó ByteDance.
En el lanzamiento, el modelo admite videoclips de hasta 15 segundos de duración en seis relaciones de aspecto.
La integración en CapCut incluirá funciones como AI Video y herramientas de generación como Video Studio. El modelo también se extenderá a la plataforma de generación de inteligencia artificial de ByteDance, Dreamina, y su plataforma de marketing, Pippit.
ByteDance ha implementado restricciones de seguridad para evitar que el modelo genere videos a partir de imágenes o videos que contengan rostros reales debido a sus capacidades de generación de contenido realista. CapCut también bloqueará la generación no autorizada de propiedad intelectual.
El contenido producido por Dreamina Seedance 2.0 contendrá una marca de agua invisible para identificar el material generado por IA cuando se comparta fuera de la plataforma. Esta característica podría ayudar a abordar las solicitudes de eliminación de los titulares de derechos, añadió ByteDance.
ByteDance planea colaborar con expertos y comunidades creativas durante el lanzamiento para mejorar iterativamente las capacidades del modelo.
