# Modèle textuel-vidéo

Un modèle textuel-vidéo est un modèle d'apprentissage automatique qui utilise une description en langage naturel comme entrée pour produire une vidéo pertinente par rapport au texte d'entrée. Les avancées pendant les années 2020 dans la génération de vidéos de haute qualité conditionnées par du texte sont en grande partie conduites par le développement de modèle de diffusions vidéo.

## Modèles

Il existe différents modèles, y compris des modèles open source. Entrée en langue chinoise CogVideo est le premier modèle textuel-vidéo contenant « 9,4 milliards de paramètres » à être développé, avec sa version de démonstration de codes open source présentée pour la première fois sur GitHub en 2022. Cette année, Meta Platforms lance un modèle textuel-vidéo partiel appelé « Make-A-Video »$^,$$^,$, et Google ainsi que Brain (puis Google DeepMind) introduisent Imagen Video, un modèle textuel-vidéo avec un U-Net 3D$^,$$^,$$^,$$^,$ En mars 2023, un article de recherche intitulé « VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation » est publié, présentant une approche novatrice de la génération vidéo. Le modèle VideoFusion décompose le processus de diffusion en deux composantes : le bruit de base et le bruit résiduel, qui sont partagés entre les images pour assurer une cohérence temporelle. En utilisant un modèle de diffusion d'image pré-entraîné comme générateur de base, le modèle génère efficacement des vidéos de haute qualité et cohérentes. Le réglage fin du modèle pré-entraîné sur des données vidéo comble l'écart de domaine entre les images et les vidéos, renforçant ainsi la capacité du modèle à produire des séquences vidéo réalistes et cohérentes. Le même mois, Adobe Inc. introduit Firefly AI dans le cadre de ses fonctionnalités. En janvier 2024, Google annonce le développement d'un modèle textuel-vidéo nommé Lumiere, qui devrait intégrer des capacités avancées d'édition vidéo. Matthias Niessner et Lourdes Agapito chez l'entreprise d'IA Synthesia travaillent au développement de techniques de rendu neuronal 3D qui synthétisent des vidéos réalistes en utilisant des représentations neuronales 2D et 3D de la forme, de l'apparence et du mouvement pour une synthèse vidéo contrôlable des avatars. En juin 2024, Luma Labs lance son outil vidéo Dream Machine$^,$. Ce même mois, Kuaishou étend son modèle textuel-vidéo Kling AI aux utilisateurs internationaux. En juillet 2024, le propriétaire de TikTok ByteDance lance Jimeng AI en Chine, via sa filiale Faceu Technology. En septembre 2024, l'entreprise chinoise d'IA MiniMax présente son modèle video-01, rejoignant d'autres entreprises établies de modèles d'IA telles que Zhipu AI, Baichuan et Moonshot AI, qui contribuent à l'implication de la Chine dans la technologie de l'IA.
Des approches alternatives aux modèles textuels-vidéo incluent Google avec Phenaki, Hour One, Colossyan, le Gen-3 Alpha de Runway$^,$ et Sora d'OpenAI,$^,$. Plusieurs autres modèles textuels-vidéo, tels que Plug-and-Play, Text2LIVE et TuneAVideo, émergent. Google se prépare également à lancer un outil de génération vidéo nommé Veo pour YouTube Shorts en 2025. Le développeur de FLUX.1, Black Forest Labs, annonce son modèle textuel-vidéo SOTA.

## Architecture et entraînement

Il existe plusieurs architectures utilisées pour créer des modèles textuels-vidéo. Similaires aux modèles Text-to-Image, ces modèles peuvent être entraînés à l'aide de réseaux de neurones récurrents (RNN) tels que les réseaux LSTM, utilisés pour les modèles de transformation de pixels et les modèles de génération vidéo stochastiques, qui contribuent respectivement à la cohérence et au réalisme. Une alternative consiste à utiliser des modèles transformateurs. Les réseaux antagonistes génératifs (GAN) et les Auto-encodeurs variationnels (VAE) — qui contribuent à la prédiction du mouvement humain — et les modèles de diffusion ont également été utilisés pour développer les aspects de génération d'images du modèle. Les ensembles de données texte-vidéo utilisés pour entraîner les modèles incluent, sans s'y limiter, WebVid-10M, HDVILA-100M, CCV, ActivityNet et Panda-70M$^,$. Ces ensembles de données contiennent des millions de vidéos originales d'intérêt, des vidéos générées, des vidéos sous-titrées et des informations textuelles qui aident à entraîner les modèles pour plus de précision. Les ensembles de données texte-vidéo utilisés pour entraîner les modèles incluent, sans s'y limiter, PromptSource, DiffusionDB et VidProM$^,$. Ces ensembles de données offrent la gamme d'entrées textuelles nécessaires pour apprendre aux modèles à interpréter une variété d'invites textuelles. Le processus de génération vidéo implique la synchronisation des entrées textuelles avec les images vidéo, garantissant ainsi l'alignement et la cohérence de l'ensemble de la séquence. Ce processus prédictif voit sa qualité diminuer à mesure que la longueur de la vidéo augmente en raison de limitations en ressources.

## Limitations

Malgré l'évolution rapide des modèles textuels-vidéo dans leurs performances, une limitation majeure est qu'ils sont très gourmands en ressources informatiques, ce qui limite leur capacité à fournir des rendus de haute qualité et de longue durée$^,$. De plus, ces modèles nécessitent une grande quantité de données d'entraînement spécifiques pour pouvoir générer des rendus de haute qualité et cohérents, ce qui pose la question de leur accessibilité$^,$. En outre, les modèles peuvent mal interpréter les invites textuelles, produisant des vidéos qui s'écartent du sens voulu. Cela survient en raison de limitations dans la capture du contexte sémantique contenu dans le texte, ce qui affecte la capacité du modèle à aligner la vidéo générée avec le message souhaité par l'utilisateur$^,$.

## Éthique

Le déploiement des modèles textuels-vidéo soulève des considérations éthiques liées à la génération de contenu. Ces modèles ont le potentiel de créer un contenu inapproprié ou non autorisé, incluant du matériel explicite, de la violence graphique, de la désinformation et des ressemblances avec de vraies personnes sans consentement. Assurer que le contenu généré par l'IA respecte les normes établies en matière d'utilisation sûre et éthique est essentiel, car le contenu généré par ces modèles n'est pas toujours facilement identifiable comme nuisible ou trompeur. La capacité de l'IA à reconnaître et filtrer les contenus NSFW ou protégés par le droit d'auteur reste un défi permanent, avec des implications tant pour les créateurs que pour le public.

## Impacts et applications

Les modèles textuels-vidéo offrent une vaste gamme d'applications susceptibles de bénéficier à divers domaines, de l'éducation et la promotion aux industries créatives. Ces modèles simplifient la création de contenu pour les vidéos de formation, les avant-premières de films, les ressources pour les jeux et les visualisations, facilitant ainsi la génération d'un contenu dynamique et de haute qualité. Ces fonctionnalités apportent des avantages économiques et personnels aux utilisateurs. Le long-métrage The Reality of Time, premier film au monde à intégrer entièrement l'IA générative pour la vidéo, est achevé en 2024. Narré en partie par John de Lancie (célèbre pour son rôle emblématique de « Q » dans Star Trek: The Next Generation), sa production utilise des outils d'IA avancés, notamment Runway Gen-3 Alpha et Kling 1.6, comme décrit dans le livre Cinematic A.I. Ce livre explore les limitations de la technologie textuelle-vidéo, les défis de sa mise en œuvre, et comment les techniques image-vidéo sont employées pour de nombreuses séquences clés du film.

## Comparaison des modèles existants

| Modèle/Produit | Entreprise | Année de sortie | Statut | Caractéristiques clés | Capacités | Tarification | Durée vidéo | Langues supportées |
| Synthesia | Synthesia | 2019 | Sorti | Avatars IA, support multilingue pour plus de 60 langues, options de personnalisation | Spécialisé dans les avatars IA réalistes pour la formation en entreprise et le marketing | Basé sur un abonnement, à partir d'environ 30 $/mois | Variable selon l'abonnement | 60+ |
| InVideo AI | InVideo | 2021 | Sorti | Création vidéo assistée par IA, grande bibliothèque de contenus, avatars IA parlants | Conçu pour le contenu des réseaux sociaux avec des modèles spécifiques à chaque plateforme | Plan gratuit disponible, plans payants à partir de 16 $/mois | Variable selon le type de contenu | Plusieurs (non spécifié) |
| Fliki | Fliki AI | 2022 | Sorti | Textuel-vidéo avec avatars et voix IA, support étendu des langues et voix | Supporte plus de 65 avatars IA et plus de 2000 voix en 70 langues | Plan gratuit disponible, plans payants à partir de 30 $/mois | Variable selon l'abonnement | 70+ |
| Runway Gen-2 | Runway AI | 2023 | Sorti | Génération vidéo multimodale à partir de texte, d'images ou de vidéos | Visuels de haute qualité, divers modes tels que la stylisation et le storyboard | Essai gratuit, plans payants (détails non spécifiés) | Jusqu'à 16 secondes | Plusieurs (non spécifié) |
| Pika Labs | Pika Labs | 2024 | Beta | Génération vidéo dynamique, personnalisation de la caméra et du mouvement | Convivial, axé sur une génération dynamique naturelle | Actuellement gratuit en version bêta | Flexible, supporte des vidéos plus longues avec continuation d'images | Plusieurs (non spécifié) |
| Runway Gen-3 Alpha | Runway AI | 2024 | Alpha | Fidélité visuelle améliorée, humains photoréalistes, contrôle temporel précis | Génération vidéo ultra-réaliste avec key-framing précis et personnalisation de niveau industriel | Essai gratuit disponible, tarification sur mesure pour les entreprises | Jusqu'à 10 secondes par clip, extensible | Plusieurs (non spécifié) |
| OpenAI Sora | OpenAI | 2024 | Alpha | Compréhension approfondie du langage, visuels cinématographiques de haute qualité, vidéos multi-plans | Capable de créer des vidéos détaillées, dynamiques et émotionnellement expressives ; encore en développement avec des mesures de sécurité | Tarification non encore dévoilée | Devrait générer des vidéos plus longues ; durée exacte à déterminer | Plusieurs (non spécifié) |