Loong: 自然言語モデルを用いた長時間ビデオ生成の最前線

# Loong: Generating Minute-level Long Videos with Autoregressive Language Models

今回は、最新の研究成果である「Loong: Generating Minute-level Long Videos with Autoregressive Language Models」という論文をご紹介します。この論文は、オートレグレッシブな大規模言語モデル（LLM）を使用し、従来のビデオ生成技術では達成が困難であった「分単位のビデオ生成」を実現するための手法を紹介しています。本研究は、テキストから長時間のビデオを生成する新たな可能性を開き、既存の手法の限界を超えた技術的な飛躍を示しています。

## 論文情報
- **タイトル**: Loong: Generating Minute-level Long Videos with Autoregressive Language Models
- **リンク**: [https://epiphqny.github.io/Loong-video](https://epiphqny.github.io/Loong-video)
- **発表日**: 2024年10月3日
- **著者**: Yuqing Wang, Tianwei Xiong, Daquan Zhou, Zhijie Lin, Yang Zhao, Bingyi Kang, Jiashi Feng, Xihui Liu
- **DOI**: 未提供

## 背景と目的

従来のビデオ生成技術は、短いビデオ（数秒）の生成に優れている一方で、長時間ビデオの生成には様々な制約がありました。ビデオのフレーム間における強い依存性や、トレーニング時に発生する損失の不均衡が、長時間ビデオ生成の大きな障害となっていました。これに対し、Loongは大規模言語モデル（LLM）の能力を活用し、これらの問題を克服することで、分単位の長いビデオを生成できる技術を提案しています。

Loongの主要な目標は、テキストを入力として自然でダイナミックな長時間ビデオを生成することです。この目標を達成するために、以下の問題に取り組んでいます。

1. **損失の不均衡**: 長いビデオシーケンスのトレーニング時、初期フレームは予測が難しい一方、後半のフレームは容易に予測できるため、損失が偏るという問題があります。これにより、モデルが後半のフレームに偏った学習をしてしまう可能性があります。
   
2. **エラー蓄積**: オートレグレッシブモデルでは、推論時に前の予測結果を基に次のフレームを生成しますが、これによりエラーが蓄積し、長時間のビデオ生成では質が劣化してしまいます。

## 研究の焦点

Loongは、上記の問題を解決するために、次のような革新的なアプローチを採用しています。

### モデルアーキテクチャ

Loongは2つの主要なコンポーネントで構成されています。

1. **ビデオトークナイザー**:
   Loongのビデオトークナイザーは、ビデオフレームをトークン化し、これをオートレグレッシブLLMが処理できる形式に変換します。このトークナイザーは、3D畳み込みニューラルネットワーク（CNN）をベースに設計され、ビデオフレームの空間的および時間的特徴を捉えて圧縮します。最終的に、1秒あたり65フレームの128x128解像度のビデオを8192のトークンに変換します。これにより、ビデオ生成のための圧縮された表現が得られ、モデルの効率的な学習と推論が可能になります。

2. **オートレグレッシブLLM**:
   オートレグレッシブLLMは、テキストトークンとビデオトークンを統一的に扱い、次のトークンを逐次予測します。このモデルはGPT系のトランスフォーマーモデルを基盤としており、テキストからビデオへと自然なシーケンスを生成する能力を持っています。LLMはテキストトークンとビデオトークンを単一のシーケンスとして扱い、トランスフォーマーモデルの長時間依存性をキャプチャする能力を利用して、テキストから長時間のビデオを生成します。

### 段階的トレーニングと損失再重み付け

Loongのもう一つの重要な特徴は、「段階的トレーニング」と「損失再重み付け」という戦略です。これにより、モデルは短時間のビデオから徐々に長いビデオへと学習を進め、学習の不均衡を防ぎます。

1. **段階的トレーニング**: 最初に静止画生成タスクでトレーニングを行い、その後短いビデオ（17フレーム）でトレーニングします。最終的に、65フレーム（約10秒）のビデオで学習を行い、長いビデオ生成のための能力を獲得します。

2. **損失再重み付け**: トレーニング中、特に最初のフレームに対して損失関数の重みを大きくすることで、後半のフレームの損失が学習を支配するのを防ぎます。これにより、序盤のフレームに対する予測精度が向上し、全体として一貫性のあるビデオ生成が可能になります。

この損失再重み付けは、特に長いシーケンスのトレーニングで重要な役割を果たし、次のように表現されます。

\[
L_{\text{weighted}} = -(1 + \lambda) \sum_{i=1}^{K} \log p(v_i | v_{<i}, t) - \sum_{i=K+1}^{L} \log p(v_i | v_{<i}, t)
\]

ここで、$K$は序盤のフレーム数、$\lambda$はそれに対する重みです。この手法により、トレーニング中に初期フレームが十分に学習され、エラーの蓄積が防がれます。

### 推論時の最適化戦略

Loongは、推論時にもエラー蓄積を抑制し、長時間ビデオ生成の質を向上させるための工夫が施されています。特に、推論時には以下の戦略が重要な役割を果たしています。

1. **ビデオトークンの再エンコーディング**:
   ビデオ生成の推論時には、Loongは初期に生成したビデオフレームを再エンコーディングし、次のフレームの生成に利用します。これは、長いビデオシーケンスを生成する際に発生する誤差の蓄積を抑制するための技術です。具体的には、初期の65フレームを生成した後、最後の数フレームをピクセル空間にデコードし、再びトークナイザーを通してトークン化します。これにより、次のフレームを生成する際の条件として、より正確な情報を使用することが可能になり、生成されたビデオの質が維持されます。

2. **トークンサンプリング戦略**:
   Loongでは、トークンの生成時に「トップ-kサンプリング」を採用しており、最も確からしいk個のトークン候補から次のトークンを選択します。これにより、誤差の蓄積を抑えつつ、ビデオの動きの多様性を確保します。トップ-kサンプリングを使用することで、生成結果が単調になるのを防ぎ、より自然な動きや表現を持つビデオが生成されます。一方、kの値を大きくしすぎると動きのランダム性が増すため、Loongではk=50を選択し、安定性と多様性のバランスをとっています。

3. **スーパーレゾリューションとリファインメント**:
   Loongでは、ビデオ生成のトレーニング時に128x128の低解像度のビデオを使用していますが、生成されたビデオを高解像度にするために、スーパーレゾリューション技術が後処理として導入されています。このモジュールは、生成されたビデオの解像度を向上させるだけでなく、細部の視覚的品質を改善し、より鮮明なビデオを作り出します。これにより、低解像度でのトレーニングの効率性を活かしつつ、最終的には高解像度で視覚的に優れたビデオを得ることができます。

## 実験の概要と結果

Loongの性能を評価するために、複数のベンチマークと比較実験が行われました。特に、フレッシュビデオ距離（FVD）とビデオ-テキストマッチング（VTM）スコアを使用して、他の最先端ビデオ生成モデルと比較が行われています。実験結果はLoongの優位性を示すものであり、Loongがいかに長時間のビデオ生成において効果的であるかが明らかになりました。

### FVD（Fréchet Video Distance）スコア
Loongは、生成されたビデオの視覚的な質を評価するFVDスコアにおいて、非常に低い数値を記録しました。低いFVDスコアは、生成されたビデオが現実のビデオと非常に近いことを示しており、Loongの生成能力の高さを裏付けています。

### VTM（Video-Text Matching）スコア
また、VTMスコアは、生成されたビデオが入力されたテキストとどれだけ意味的に一致しているかを評価する指標です。Loongは、この点でも高いスコアを記録しており、生成されたビデオがテキストプロンプトに基づく意味をしっかりと反映していることが確認されました。

さらに、Loongの長時間ビデオ生成性能を評価するため、1分間のビデオ生成タスクが行われ、ユーザースタディによって視覚的な一貫性とテキストとのマッチングが評価されました。

### ユーザースタディ
ユーザースタディでは、Loongによって生成されたビデオと他のモデル（StreamingT2V）によって生成されたビデオを比較し、内容の一貫性とテキストとのマッチングについて評価が行われました。Loongは、次の2つの点で高評価を得ました。

1. **内容の一貫性**: 長時間にわたるビデオ生成において、Loongはシーンの移行や視覚的な一貫性が非常に高く、ユーザーにとって自然な映像として評価されました。
   
2. **テキストとのマッチング**: Loongは、入力されたテキストプロンプトに基づく意味を忠実に再現し、テキストとビデオの意味的な一致が高いことが確認されました。

## 賛否両論

**賛成意見**
- **長時間ビデオ生成の実現**: Loongは、これまでの技術では難しかった分単位の長時間ビデオ生成を高品質で実現しており、これはビデオ生成分野における大きな進歩です。
- **段階的トレーニングと損失再重み付けの効果**: 短いビデオから始めて徐々に長いビデオへとトレーニングを進めることで、モデルの安定性と精度が向上しました。特に、初期フレームに対する損失再重み付けが視覚的な品質向上に寄与しています。
- **エラー蓄積の軽減**: トークンの再エンコーディングとサンプリング戦略により、長時間ビデオ生成におけるエラーの蓄積が効果的に抑制されています。これにより、推論時においても一貫したビデオ生成が可能です。

**反対意見**
- **計算コストの増加**: Loongはトレーニングに非常に大きな計算リソースを必要とし、特に長時間ビデオ生成においてはコストが高くなる点が課題です。
- **解像度の向上の必要性**: 初期の生成段階では128x128の低解像度ビデオが生成され、その後スーパーレゾリューション技術で解像度を向上させる必要があります。今後は、より高解像度での直接生成が期待されます。

## まとめと今後の展望

Loongは、オートレグレッシブ大規模言語モデルを用いて分単位の長時間ビデオを生成するための技術的進展を実現しました。段階的トレーニング、損失再重み付け、推論時のトークンサンプリングや再エンコーディング戦略を活用することで、従来のビデオ生成技術では困難だった課題を克服し、高品質なビデオ生成を可能にしています。

しかし、まだ解決すべき課題も残されています。計算コストの削減や、より高解像度のビデオ生成の実現が今後の重要な研究課題です。また、Loongの技術は、他のモダリティやタスクへの応用が期待されており、今後さらに多様な生成タスクに応用される可能性があります。

Loongはビデオ生成における新たな基準を打ち立て、今後のマルチモーダル生成モデルの研究にも大きな影響を与えるでしょう。

この記事が皆さんの研究や実務に役立つことを願っています。質問やフィードバックがありましたら、コメント欄にお寄せください。