GPT-4の“失敗”が武器に？LLMエージェント精度を爆上げする革新技術「EEF」徹底解説！

# GPT-4の“失敗”が武器に？LLMエージェント精度を爆上げする革新技術「EEF」徹底解説！
今回は、LLMエージェントの性能向上に向けた革新的手法「Exploring Expert Failures（EEF）」を提案する論文「Exploring Expert Failures Improves LLM Agent Tuning」をご紹介します。本手法は、従来なら無視されていた「失敗した専門家データ」に埋もれていた“成功の種”を見出し、有効活用するアプローチです。

---

### 論文情報
- **タイトル**: Exploring Expert Failures Improves LLM Agent Tuning
- **リンク**: [https://arxiv.org/abs/2504.13145](https://arxiv.org/abs/2504.13145)
- **発表日**: 2025年4月17日
- **著者**: Li-Cheng Lan, Andrew Bai, Minhao Cheng, Ruochen Wang, Cho-Jui Hsieh, Tianyi Zhou
- **所属**: UCLA, Penn State, OpenAI, Univ. of Maryland

---

## 背景と問題設定

近年、LLMをベースにした**エージェント型AI**が急速に発展しており、ショッピング・科学教育・Webナビゲーションなどのマルチステップタスクへの応用が期待されています。

その訓練手法として代表的なのが、**Rejection Sampling Fine-Tuning（RFT）**です。

### RFTの概要

1. GPT-4などのエキスパートにより軌跡生成  
2. 成功した軌跡（報酬=1）のみを抽出  
3. 小規模モデルをSFTでファインチューニング  
4. 自己生成の成功軌跡を追加して再学習  

この手法はシンプルかつ強力ですが、「**簡単なタスクに偏る**」という欠点があります。これは、複雑なサブタスク（OODタスク）が訓練データに含まれず、モデルがいつまでも解けるようにならないことに起因します。

---

## 研究の核心：EEFの提案

### 着眼点

専門家（GPT-4）による**失敗軌跡であっても、中間の一部行動には価値がある**という観察結果から出発します。

> 失敗軌跡 ≠ 完全なゴミ  
> 部分的には優れた計画やリカバリ行動が含まれている

この着眼を基に、「価値のある行動のみをピンポイントで抽出して学習に用いる」という方針をとるのがEEFです。

---

## アルゴリズム：EEF（Exploring Expert Failures）

EEFは以下の3フェーズで構成されます：

### Step 1: 初期訓練（Behavior Cloning）

```math
\mathcal{L}_{\text{SFT}}(\pi_\theta) = -\sum_{l} m_l \cdot \log \pi_\theta(t_l | t_{<l})
```

ここで、$m_l = 1$ ならば $t_l$ は行動トークン、$m_l = 0$ ならば観測です。

---

### Step 2: 専門家失敗軌跡からのシミュレーション

各専門家軌跡 $\tau_e = [s_0, a_0, s_1, ..., a_T]$ に対し、等間隔に $M$ 状態を抽出：

```math
l = \left\lfloor \frac{|\tau_e|}{M+1} \right\rfloor,\quad \text{simulate } s_{l}, s_{2l}, ..., s_{Ml}
```

---

### Step 3: 有益状態の選別と再学習

#### 回復が必要な状態の特定：

```math
s_{\text{need\_recover}} = s_i,\quad \text{if } R(\tau_{s_{i-l}}) = 1,\quad R(\tau_{s_i}) = 0
```

#### 行動選択：
各重要状態 $s$ に対し、$D^+$ 内から以下を満たす軌跡を選択：

- $s$ を含む  
- expert依存が最小限（短いprefix）

---

## 評価実験

### データセットと設定

| データセット | 用途 | 特徴 |
|--------------|------|------|
| WebShop 11k | 標準評価 | Amazon実商品をベースにした買い物 |
| WebShop 3k | 少データ汎化 | 正例わずか1k件 |
| SciWorld 2k | 高難度推論 | 平均20ステップ・GPT-4でも失敗多発 |

| モデル | GPU | バッチサイズ | lr | epoch/iter |
|--------|-----|--------------|----|-------------|
| LLAMA3-8B | A6000 × 4 | 64 | 5e-5 | 6 |

---

## 実験結果：SOTA更新

```text
WebShop-11k:  GPT-4 → 35.6%, RFT×6 → 53.6%, **EEF GPT-3&4 → 62.0%**
ScienceWorld: GPT-4 → 14.4%, RFT×6 → 62.5%, **EEF GPT-4 → 68.5**
```

特筆すべき点は、  
- 弱い専門家（GPT-3.5）のデータを併用しても性能が向上  
- `Next` や `Back` など**複雑スキルの活用率が上昇**

---

## ケーススタディ：ナビゲーションスキルの重要性

例）「白いTシャツ（Mサイズ、40ドル以下）」の検索で…

- **EEF**：`Next`使用 → ページ送りで条件満たす商品を発見 → 成功  
- **GPT-4**：Nextは使用するが誤選択 → 失敗  
- **RFT**：Nextを使わず最初のページで決定 → 失敗  

EEFは、**部分的に正しいが全体では失敗する行動系列**から、正の部分だけを抜き出して学習することで、スキル修得に成功しています。

---

## 関連手法との比較

| 手法 | 負例活用 | Stepwise対応 | Recovery重視 | 計算コスト |
|------|----------|----------------|----------------|------------|
| RFT | ❌ | ❌ | ❌ | ◎ |
| ETO | ❌（正例のみ） | ◯（DPOベース） | △ | △ |
| NAT | ◯（負例一括） | ❌ | ❌ | ◎ |
| **EEF** | ✅ 部分活用 | ✅ selective | ✅ 明示処理 | ◯ |

---

## 今後の展望

- **Binary Searchによる行動抽出精度の向上**  
- **MCTS（木探索）との統合によるOOD最適化**  
- **複数専門家からの統合学習（GPT-3/4混合）によるリソース最適化**

---

## まとめ

EEFは、**“部分的な正しさ”を見逃さない**という斬新なアプローチで、既存のFine-Tuning手法の限界を突破しました。専門家の失敗から学び、複雑なサブタスクにも対応可能となる本手法は、今後のLLMエージェント開発に大きなインパクトを与えることでしょう。

ご質問やご意見がありましたら、コメント欄でぜひお知らせください！