ByteDance, la empresa detrás de TikTok, lanzó oficialmente su nueva herramienta de inteligencia artificial (IA), OmniHuman-1. Se trata de un modelo de generación de video que puede crear clips realistas a partir de una sola imagen y una señal de movimiento, como audio o video, logrando una animación fluida.
OmniHuman-1 combina imágenes y clips de audio para generar secuencias de video de una persona moviéndose y hablando de manera natural.
Según la página oficial del proyecto, el sistema es capaz de trabajar con retratos, imágenes de medio cuerpo o de cuerpo completo, manteniendo coherencia en iluminación, texturas y expresiones.
«OmniHuman supera significativamente los métodos existentes, generando videos humanos extremadamente realistas basados en entradas de señales débiles, especialmente audio», se afirma en un artículo de investigación sobre la herramienta publicado en el archivo de acceso abierto arXiv.
TE PUEDE INTERESAR: Búsquedas ChatGPT sin cuenta: ahora puedes usarla sin iniciar sesión
Cómo funciona OmniHuman-1
- El modelo se basa en una arquitectura de transformadores y modelos de difusión para agregar sonido a una imagen y difuminar elementos hasta lograr una apariencia natural, procesando varios elementos en el tiempo para mejorar la fluidez.
- La herramienta admite entradas de imágenes en varias relaciones de aspecto, como retratos, imágenes de medio cuerpo a cuerpo completo.
- OmniHuman-1 logra mantener la fidelidad de los detalles, como los movimientos, la iluminación y textura, asegurando que el resultado sea convincente y natural.
- Esta IA también puede generar video a partir de señales débiles, como solo audio, o combinar audio y vídeo para una dirección de movimiento más precisa.
- Su entrenamiento incluyó 18.700 horas de video con un enfoque que combina texto, audio y video.
- En la página del proyecto se pueden ver ejemplos que destacan la capacidad de OmniHuman-1, incluido un video en el que se revive a Albert Einstein, mostrándolo frente a una pizarra, gesticulando con las manos mientras explica conceptos científicos.
Foto: Kohji Asakawa en Pixabay.