El nuevo modelo de IA de NVIDIA crea rápidamente objetos y personajes para mundos virtuales

planea alejarse de la creación de mundos virtuales en 3D con uno nuevo modelo. GET3D puede crear personajes, edificios, vehículos y otros tipos de objetos 3D, dice NVIDIA. El modelo también debería poder golpear formas rápidamente. La empresa señala que GET3D puede representar unos 20 objetos por segundo en una sola GPU.

Los investigadores entrenaron al modelo usando imágenes 2D sintéticas de formas 3D tomadas desde múltiples ángulos. NVIDIA dice que tomó solo dos días alimentar alrededor de un millón de imágenes en GET3D usando GPU A100 Tensor Core.

El modelo puede crear objetos con “texturas de alta fidelidad y detalles geométricos complejos”, Isha Salian de NVIDIA . Las formas creadas por GET3D “tienen la forma de una malla triangular, como un modelo de papel maché, cubierto con un material texturizado”, agregó Salian.

Los usuarios deberían poder importar rápidamente objetos en motores de juegos, modeladores 3D y renderizadores de películas para editarlos porque GET3D los crea en formatos compatibles. Esto significa que puede ser mucho más fácil para los desarrolladores crear mundos virtuales densos para juegos y el metaverso. NVIDIA citó la robótica y la arquitectura como otros casos de uso.

La compañía dijo que GET3D pudo crear sedanes, camiones, autos de carreras y camionetas a partir de un conjunto de datos de entrenamiento de imágenes de automóviles. También puede pellizcar zorros, rinocerontes, caballos y osos cuando se entrena con imágenes de animales. Como era de esperar, NVIDIA señala que cuanto más grande y diverso sea el conjunto de entrenamiento alimentado a GET3D, más diversa y detallada será la salida.

Usando otra herramienta NVIDIA AI , es posible aplicar diferentes estilos a un objeto con indicaciones basadas en texto. Puede darle un aspecto quemado a un automóvil, convertir una casa modelo en una casa encantada o, como sugiere el video que muestra la técnica, colocar rayas de tigre en cualquier animal.

El equipo de investigación de NVIDIA que creó GET3D cree que las futuras versiones podrían entrenarse con imágenes reales en lugar de datos sintéticos. También es posible entrenar el modelo para diferentes tipos de formas 3D a la vez, en lugar de tener que concentrarse en una clase objetivo en un momento determinado.