Un equipo de investigadores de Apple ha desarrollado un nuevo marco para renderizado de escenas 3D de alta resolución conocido como LGTM (Less Gaussians, Texture More). Este marco aborda las ineficiencias de los métodos existentes de dispersión gaussiana 3D de retroalimentación que tienen problemas con las altas resoluciones.
A medida que aumenta la resolución, los métodos tradicionales de retroalimentación se vuelven prohibitivos en términos de costos, lo que dificulta la viabilidad de la generación de escenas 3D de alta resolución. LGTM tiene como objetivo mejorar las capacidades de los sistemas existentes separando la complejidad geométrica de la resolución de renderizado, permitiendo una geometría más simple al tiempo que agrega texturas detalladas.
El marco LGTM se basa en métodos de retroalimentación previamente establecidos al superponer predicciones de textura sobre estructuras geométricas. Los investigadores entrenaron el modelo utilizando imágenes de baja resolución validadas con datos reales de alta resolución, garantizando que la geometría generada siguiera siendo precisa. Además, una segunda red centrada en texturas detalladas a partir de imágenes de alta resolución permite que el sistema produzca resultados visualmente ricos.
Esta innovación podría afectar significativamente a los auriculares Apple Vision Pro, que cuentan con pantallas con un total de aproximadamente 23 millones de píxeles. Los métodos de avance actuales enfrentan limitaciones en resoluciones tan altas, lo que genera cuellos de botella computacionales al generar escenas de forma rápida y precisa. LGTM podría facilitar un rendimiento más fluido y imágenes más nítidas en aplicaciones que requieren representación de escenas de alta resolución.
Al implementar LGTM, Apple puede brindar a los usuarios entornos más inmersivos y experiencias de paso mejoradas al tiempo que reduce las demandas de procesamiento. La página del proyecto LGTM ofrece métodos de demostración como NoPoSplat, DepthSplat y Flash3D, que muestran resultados mejorados en comparación con técnicas anteriores.
Vídeos e imágenes de muestra del proyecto ilustran la capacidad de LGTM para ofrecer detalles más ricos y resultados más cercanos a las verdades reales de alta resolución, lo que demuestra sus beneficios potenciales en aplicaciones prácticas.
