Los generadores de modelos 3D de OpenAI Point-E pueden ser la próxima innovación para sacudir el campo de la IA. Point-E, un sistema de aprendizaje automático que genera un objeto 3D a partir de un mensaje de texto, fue puesto a disposición del público esta semana por OpenAI.
Un artículo que se publicó junto con el código base afirma que Point-E puede crear modelos 3D en una sola GPU Nvidia V100 en uno o dos minutos.
En el sentido convencional, OpenAI Point-E no produce objetos 3D. En cambio, crea nubes de puntos, que son colecciones discretas de puntos de datos en el espacio que reflejan formas 3D; de ahí la abreviatura juguetona. Desde una perspectiva computacional, las nubes de puntos son más simples de crear, pero actualmente son un gran inconveniente de OpenAI Point-E porque no pueden capturar la forma o textura de grano fino de un objeto.
El equipo de OpenAI Point-E entrenó un sistema de IA adicional para transformar las nubes en mallas para sortear esta restricción. Sin embargo, en el informe, señalan que el modelo ocasionalmente pierde detalles de elementos específicos, lo que da como resultado formas en bloques o deformadas.
OpenAI Point-E es capaz de generar modelos 3D en segundos
OpenAI Point-E se compone de dos modelos: un modelo de texto a imagen y un modelo de imagen a 3D, además del modelo de generación de malla, que es un modelo independiente. El modelo de texto a imagen se entrenó en imágenes etiquetadas para comprender las relaciones entre palabras y conceptos visuales, al igual que los sistemas de arte generativo como DALL-E 2 y Stable Diffusion de OpenAI. Al modelo de imagen a 3D, por otro lado, se le enseñó a traducir de manera efectiva entre los dos al recibir un conjunto de fotografías junto con objetos 3D.
El modelo E de punto de texto a imagen crea un elemento renderizado sintético a partir de un mensaje de texto, como “un engranaje impreso en 3D, un solo engranaje, 3 pulgadas de diámetro y media pulgada de grosor”, y lo alimenta a la imagen a -Modelo 3D, que crea una nube de puntos.
OpenAI Point-E podría generar nubes de puntos de colores que comúnmente coincidían con indicaciones de palabras después de entrenar los modelos en un conjunto de datos de “varios millones” de objetos 3D y metadatos relacionados, según los investigadores de OpenAI. No es impecable; en ocasiones, el modelo Point-image-to-3D E no puede interpretar la imagen del modelo de texto a imagen, lo que lleva a una forma que no se corresponde con el mensaje de texto. Aun así, el equipo de OpenAI afirma que es mucho más rápido que el estado del arte anterior.
“Aunque nuestro método funciona peor en esta evaluación que las técnicas más modernas, produce muestras en una pequeña fracción del tiempo”,
“Esto podría hacerlo más práctico para ciertas aplicaciones, o podría permitir el descubrimiento de objetos 3D de mayor calidad”.
-Equipo OpenAI
OpenAI Point-E podría ser una poderosa herramienta para diseñar proyectos
¿Cuáles son exactamente las aplicaciones de OpenAI Point E? Sin embargo, las nubes de puntos creadas por Point-E podrían utilizarse para crear objetos reales, por ejemplo, a través de la impresión 3D, según los investigadores de OpenAI. Una vez que esté un poco más refinado, el sistema también podría encontrar uso en los procesos de producción de juegos y animaciones gracias a la adición del modelo de conversión de malla.
Si bien puede ser el negocio más reciente en ingresar al mercado de generación de objetos 3D, OpenAI no es de ninguna manera el primero, como se dijo anteriormente. Una versión más desarrollada de Dream Fields, una tecnología 3D generativa que Google reveló en 2021, se lanzó a principios de este año con el nombre DreamFusion.
DreamFusion, a diferencia de Dream Fields, no necesita formación previa. Por lo tanto, puede crear modelos 3D de objetos sin datos 3D. Si bien los generadores de arte 2D son actualmente el foco de atención, la IA de síntesis de modelos tiene el potencial de ser el próximo gran disruptor industrial. Los modelos 3D se utilizan con frecuencia en los dominios de la ciencia, el diseño de interiores, la arquitectura, el cine y la televisión. Los ingenieros utilizan modelos como diseños para nuevos equipos, vehículos y estructuras, mientras que las empresas de arquitectura los utilizan para demostrar edificios y paisajes propuestos.
Source: OpenAI Point-E genera modelos 3D con el poder de la IA