Dream Fusion: la IA de Google que crea objetos 3D a partir de texto

Las big tech como Meta y Google se han sumado a la onda de la Inteligencia Artificial (IA) para desarrollar sistemas que crean imágenes y videos a partir de simples referencias de texto.

Esta vez, Google lanzó Dream Fusion, un generador de objetos tridimensionales a partir de texto que se encuentra en fase de prueba antes de su lanzamiento oficial.

Dream Fusion lo presentó Ben Poole, investigador científico en Google Brain, quien indicó que DreamFusion es una evolución de Dream Fields, un generador de imágenes en 3D presentado por Google en 2021.

TE INTERESA: La Nasa Creó Muchos Aparatos Que Usas A Diario: Conoce Cuáles Son

Más detalles de la IA Dream Fusion de Google

  • La inteligencia artificial de DreamFusion genera objetos en 3D a través de una red neuronal llamada Neural Radiance Field (NeRF).
  • Esta red tiene la habilidad de crear escenas en 3D a partir de datos parciales en 2D.
  • La novedad de DreamFusion es que crea imágenes 3D con un modelo propio llamado Imogen, una versión de DALL-E 2 propia de Google.
  • Con este sistema, Google se despide de CLIP, modelo de OpenAI y el cual era la base en el funcionamiento de Dream Fields.
  • Después de una entrada de texto, un modelo NeRF no entrenado genera una vista aleatoria desde un único punto de vista, que CLIP evalúa.
  • La retroalimentación se utiliza como señal de corrección para el modelo NeRF.
  • Este proceso se repite hasta 20.000 veces desde diferentes puntos de vista hasta que se genera un modelo 3D que coincide con la descripción del texto.

Foto: Google

Deja una respuesta