AIは“画像と言葉”をどう同時に理解するのか？最新研究が示す「融合型モデル」の最適解とは

# AIは“画像と言葉”をどう同時に理解するのか？最新研究が示す「融合型モデル」の最適解とは
今回は、最新の研究成果「Scaling Laws for Native Multimodal Models」をご紹介します。本論文は、画像とテキストを同時に扱う「ネイティブマルチモーダルモデル（NMM）」におけるスケーリング法則を、大規模な実験群（457モデル）を通じて体系化したものです。

これにより、従来のLate-fusion型とEarly-fusion型の本質的な差異、スパース構造の有効性、訓練効率、デプロイ最適性が明らかになりました。

---

### 論文情報
- **タイトル**: Scaling Laws for Native Multimodal Models  
- **リンク**: [https://arxiv.org/abs/2504.07951](https://arxiv.org/abs/2504.07951)  
- **発表日**: 2025年4月10日  
- **著者**: Mustafa Shukor, Enrico Fini, Victor G. Turrisi da Costa, Matthieu Cord, Joshua Susskind, Alaaeldin El-Nouby  
- **DOI**: arXiv:2504.07951  

---

## 背景と目的

従来のマルチモーダル学習では、CLIPのような画像エンコーダとLLaMAなどの言語モデルを後段で融合する**Late-fusion方式**が主流でした。これは構成が柔軟な反面、以下の課題が残ります：

- 各モダリティの処理が分離されており、**相互依存性を学習できない**
- 複数モデルの**ハイパーパラメータ・スケーリング特性が非統一**
- 推論時に**計算資源を多く消費**

これらに対し、**Early-fusion型NMM**は、すべてのモダリティ入力をTransformerに統合して一貫的に処理することで、シンプルかつ効率的な設計を可能にします。本研究は、これらNMMのスケーリング限界と最適条件を実証的に明らかにします。

---

## 研究の焦点と貢献

- ✅ Early-fusionとLate-fusionの**性能・効率のスケーリング比較**
- ✅ ネイティブ学習における**パラメータ数$N$・トークン数$D$・FLOPs$C$との関係性**
- ✅ **スパースMoE構造**による性能強化とモダリティ専門化の可視化
- ✅ **スケーリング法則の外挿精度と汎化能力の定量評価**

---

## 実験設定

- モデル構成：24層Transformer（Early/Late共通）、幅は275M〜3.7B
- Vision patch：14×14、画像サイズ224×224、text context長1k
- オプティマイザ：AdamW（β₁=0.9, β₂=0.95, wd=1e-4）
- Mixed Precision：bfloat16、Fully Sharded Data Parallel (FSDP)
- データ：Obelics（interleaved）、DFN・COYO（caption）、DCLM（text）

**学習スケジュール**：
- warm-up: 1k〜5kステップ、cooldown: 20%、Inverse √ decay

---

## スケーリング法則と計算理論

### 1. 基本関係式

$$
L = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}, \quad C = 6ND
$$

| パラメータ | Early-fusion平均値 |
|------------|--------------------|
| $\alpha$   | 0.301 ± 0.10 |
| $\beta$    | 0.335 ± 0.03 |
| $a$（$N \propto C^a$） | 0.526 |
| $b$（$D \propto C^b$） | 0.473 |

- → **LLM（Chinchilla）: $\alpha=0.339, \beta=0.285$ と類似**
- → **$a > b$ より、NMMはLLMよりも大きめのモデルサイズが最適**

### 2. 精度予測能力

- 8Bモデルに対して外挿した場合：
  - **MSE**: 0.0004（held-out）
  - **R²**: 0.968
  - → 実データと予測値が高い一致度（Fig. 7参照）

---

## Early vs Late-fusion 比較

### 計算効率と学習コスト

| 指標 | Early-fusion | Late-fusion |
|------|--------------|-------------|
| パラメータ効率（N） | ◯（少） | △（多） |
| トークン効率（D） | ◯（効果大） | △ |
| GPUメモリ使用量 | ◯（少ない） | ✕ |
| 学習時間（同FLOPs） | ◯（短縮） | △ |

図5より、Early-fusionは16xH100でのトレーニングにおいて、**最大20%の時間削減・25%のメモリ節約**が可能。

---

## MoEによるスパース構造の有効性

- **構成**：Top-1ルーティング（k=1）、E=8 experts、dropless-MoE
- **学習効率**：同じ活性パラメータ数で、Denseモデルを上回る性能（Fig. 9）

### スケーリング法則（Sparse）

$$
L = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{C}{(1-S)^\lambda}
$$

- $\alpha$ = **0.710** → **パラメータ依存度が大幅上昇**
- スパース性$S$の導入により、**$N$より$D$を重視すべき**傾向

---

## モダリティ専門化の可視化

- **Fig.13**に示されるように、early層とlate層で**画像/テキストに特化したエキスパート**が自然に形成
- Entropyベースの専門化スコアは、中間層で一時的に減少し、最終層で再上昇（Fig.12）

→ **層による専門化と共有の動的なバランス**が観察される

---

## Downstreamタスクでの検証

| モデル | VQA | TextVQA | OKVQA | COCO CIDEr |
|--------|-----|----------|--------|-------------|
| Late | 69.4 | 25.8 | 50.1 | 70.7 |
| Early | 69.3 | 28.1 | 52.1 | 72.0 |
| Early + MoE | **69.8** | **30.0** | **52.1** | **69.6** |

→ Early-fusion単体でもLateを凌駕し、MoE構成でさらに+2〜4%向上。

---

## 考察・限界と今後の展望

### 制限事項
- Early-fusionは**高解像度画像処理に不利**（トークン爆発）
- MoE構成は**専門化のバランス調整が必要**
- LLM初期化に比べて**学習安定性には工夫が必要**

### 展望
- **Patch pooling**の導入によるEarly-fusionの高解像度対応
- **MoEのk>1、dynamic routing**への拡張
- **Parameter-efficient tuning（LoRA + MoE）**の融合
- Multimodalでの**長文コンテキスト学習**（>4K）への挑戦

---

### 賛否両論

**賛成意見**
- モデル構成が単純・効率的で、**展開コストが低い**
- スケーリング法則を使えば、**学習設計が明確に予測可能**
- Sparse構造により、**性能向上と専門化が自然発生**

**反対意見**
- Early-fusionは高解像度処理や長コンテキストに課題
- MoE設計には依然として**ハイパーパラメータ調整**が必要

---

この記事が、皆さんの研究開発や設計判断の一助となれば幸いです。ご質問やディスカッションがあれば、ぜひコメントでお知らせください。