# Movie Gen

Movie Gen es un modelo de inteligencia artificial desarrollada por Meta que permite crear videos a partir de descripciones textuales. Fue anunciado por primera vez el 4 de octubre de 2024.
A partir de un texto proporcionado por el usuario, el sistema genera un video. Por ejemplo, si un usuario introduce el prompt «un esponjoso koala surfeando sobre una tabla amarilla», Movie Gen produce un clip animado que ilustra esta escena. Además de generar videos, la IA también permite crear videos personalizados subido por el usuario o generar audios. Los modelos Movie Gen pueden generar videos de hasta 16 segundos con una resolución de 1080p y audio sincronizado de 48kHz.
Este modelo competirá con los modelos Sora de OpenAI y Veo de Google. Movie Gen todavía no está a disposición del público.

## Funcionamiento
### Generación de video

Meta Movie Gen es la tercera generación de modelos fundacionales de Meta. El modelo utiliza un transformador de 30.000 millones de parámetros para producir videos de alta calidad de hasta 16 segundos para una velocidad de 16 fotogramas por segundo con una resolución de 1080p, a partir de una descripción de texto. Como indica Meta, «estos modelos pueden razonar sobre el movimiento de los objetos, las interacciones sujeto-objeto y el movimiento de la cámara, y pueden aprender movimientos plausibles para una amplia variedad de conceptos, lo que los convierte en modelos de última generación en su categoría».
El transformador tiene una estructura similar a la de LLaMa 3, su modelo de lenguaje más capaz, pero se han añadido módulos específicos para la generación de video, como un módulo de atención cruzada para incorporar la información del texto de entrada y un módulo de normalización adaptativa para manejar las diferentes etapas del proceso de generación.Para generar videos de alta resolución (1080p HD), Movie Gen utiliza un modelo de supermuestreo espacial que toma como entrada videos de menor resolución y los mejora. Este modelo, también basado en un transformador, aprende a generar detalles finos y a mejorar la nitidez de las imágenes, lo que resulta en una mejor calidad visual.

#### Videos personalizados

El modelo también es capaz de generar videos personalizados. El modelo toma como entrada la imagen de una persona y se combina con un prompt para generar un video que contiene a la persona de referencia y detalles visuales enriquecidos por la instrucción. Según afirmó Meta, «nuestro modelo logra resultados de última generación cuando se trata de crear videos personalizados que preservan la identidad y el movimiento humanos».

#### Editor de video

La variante de edición del mismo modelo toma como entrada tanto el vídeo como el prompt, ejecutando tareas para generar la salida deseada. Combina la generación de video con la edición avanzada de imágenes.Trabaja sobre videos generados y sobre capturas del mundo real. Meta afirma que su modelo «preserva el contenido original» en tanto añade elementos al video, como telones de fondo o vestimenta para los personajes principales.

### Generación de audio

El modelo de 13.000 millones de parámetros puede usar un vídeo y una descripción en texto para generar una pista de audio que se acople a lo que sucede en la imagen.El resultado tiene una duración de hasta 45 segundos y engloba sonido ambiental, efectos de sonido y música instrumental de fondo. Este modelo también permite generar audio coherente para videos de duraciones arbitrarias, «logrando en general un rendimiento de vanguardia en calidad de audio, alineación de video a audio y alineación de texto a audio».