大規模言語モデルは長期的な計画策定にどこまで信頼できるか？TravelPlannerベンチマークから探る

# Can We Rely on LLM Agents to Draft Long-Horizon Plans? Let’s Take TravelPlanner as an Example

今回は、最新の研究成果である「Can We Rely on LLM Agents to Draft Long-Horizon Plans? Let’s Take TravelPlanner as an Example」という論文をご紹介します。この研究は、長期的な計画を策定する際に、大規模言語モデル（LLM）ベースのエージェントがどの程度信頼できるかを評価することを目的としています。

## 論文情報
- **タイトル**: Can We Rely on LLM Agents to Draft Long-Horizon Plans? Let’s Take TravelPlanner as an Example
- **リンク**: [arXiv:2408.06318](http://arxiv.org/abs/2408.06318)
- **発表日**: 2024年8月12日
- **著者**: Yanan Chen, Ali Pesaranghader, Tanmana Sadhu, Dong Hoon Yi
- **DOI**: [10.48550/arXiv.2408.06318](https://doi.org/10.48550/arXiv.2408.06318)

## 背景と目的

### LLMの進化と計画策定タスクへの応用
近年、大規模言語モデル（LLMs）は、その自然言語処理能力が飛躍的に向上し、さまざまなタスクにおいて人間に匹敵するパフォーマンスを発揮するようになりました。特に、GPT-3やGPT-4といったモデルは、タスクに特化したプロンプティングやファインチューニングにより、複雑な問題解決や推論を行う能力を持つことが証明されています。しかし、これらのモデルが長期的な計画策定のような現実世界のタスクにおいて、どの程度効果的に機能するかについてはまだ多くの疑問が残っています。

### TravelPlannerベンチマークの意義
この研究では、TravelPlannerというベンチマークを用いて、LLMエージェントがどのように計画策定タスクに対応するかを評価しました。TravelPlannerは、旅行計画の策定において、エージェントが複数の制約を満たしつつ正確な計画を生成する能力を評価するための現実的なベンチマークです。このベンチマークは、複雑な現実世界の制約を再現するために設計されており、LLMの限界を浮き彫りにすることが期待されます。

### 本研究の目的
この研究の主な目的は、以下の4点です：
1. LLMエージェントが長大でノイズの多いコンテキストに対してどの程度頑健であるかを評価すること。
2. 少数ショットプロンプティングが、長いコンテキストにおいてLLMエージェントのパフォーマンスに与える影響を明らかにすること。
3. フィードバックを用いた計画の改善が可能かどうかを検討すること。
4. ポジティブおよびネガティブフィードバックを組み込んだファインチューニングが、LLMのパフォーマンスを向上させるかを検証すること。

## 研究の焦点

### 1. 長大なコンテキストに対するLLMエージェントの頑健性
LLMsは、一般的に短いコンテキストでの推論において優れたパフォーマンスを示しますが、長大でノイズの多いコンテキストに対しては、その能力がどの程度保たれるかは未知数です。特に、長期的な計画策定では、多くの要素を同時に考慮する必要があり、LLMエージェントがこれにどのように対応するかが重要な課題となります。

### 2. 少数ショットプロンプティングの影響
少数ショットプロンプティングは、LLMsが少量のデータで学習を行う方法として広く利用されています。しかし、長いコンテキストにおいて、この手法がどのようにエージェントのパフォーマンスに影響を与えるかについては、詳細な研究が必要です。この研究では、少数ショットプロンプティングが、計画策定タスクにおいてどのような影響を及ぼすかを評価しました。

### 3. フィードバックを用いた計画の改善
フィードバックを用いることで、LLMエージェントが生成する計画を改善できるかどうかを検証しました。特に、フィードバックの質が計画の改善にどのように寄与するかを明らかにすることを目指しました。

### 4. フィードバック対応ファインチューニング（FAFT）の有効性
従来のスーパーバイザードファインチューニング（SFT）に対して、フィードバック対応ファインチューニング（FAFT）がどの程度パフォーマンスを向上させるかを評価しました。FAFTは、ポジティブおよびネガティブなフィードバックを学習に組み込むことで、LLMの計画策定能力を大幅に向上させる可能性があります。

## 実験の概要と結果

### 実験設定
本研究では、TravelPlannerベンチマークを用いて、LLMエージェントの計画策定能力を評価しました。実験は以下の手順で行われました：

1. **データセット**: TravelPlannerベンチマークは、訓練セット、検証セット、テストセットから構成されています。訓練セットには45のクエリとそれに対応する計画が含まれ、これを用いてエージェントをファインチューニングしました。検証セットとテストセットを用いて、エージェントのパフォーマンスを評価しました。

2. **モデル**: 本研究では、GPT-3.5-TurboとGPT-4-Turboを用いて、計画の生成およびフィードバックの生成を行いました。また、FAFTを適用するために、Llama-3-8Bモデルをファインチューニングしました。

3. **評価指標**: エージェントのパフォーマンスを評価するために、Delivery Rate、Commonsense Constraint Pass Rate、Hard Constraint Pass Rate、Final Pass Rate、Hallucination Rateを使用しました。

### 実験結果の詳細と分析
実験の結果、以下の知見が得られました：

#### 長大なコンテキストに対するLLMエージェントの頑健性
実験結果から、GPT-3.5-Turboは、長大でノイズの多いコンテキストに対して脆弱であり、重要な部分を見落とす可能性が高いことが分かりました。特に、参照情報が縮小されると、パフォーマンスが向上することが示されました。

#### 少数ショットプロンプティングの影響
少数ショットプロンプティングは、必ずしもパフォーマンスを向上させるとは限らず、むしろ多くのショットを使用することで誤った情報を生成する可能性が増加することが分かりました。特に、複雑なタスクにおいては、少数ショットプロンプティングが逆効果となる場合があります。

#### フィードバックを用いた計画の改善
フィードバックを用いることで、計画を改善することが可能ですが、その効果はフィードバックの質に依存します。高品質なフィードバックが与えられた場合、計画の改善が見られる一方で、低品質なフィードバックは逆にパフォーマンスを低下させる可能性があります。

#### フィードバック対応ファインチューニング（FAFT）の有効性
FAFTを用いることで、従来のSFTに比べて大幅なパフォーマンス向上が確認されました。特に、ネガティブフィードバックを学習に組み込むことで、エージェントの計画策定能力が向上しました。

### 賛否両論
#### 賛成意見
- LLMエージェントが現実世界の複雑なタスクにおいても一定の成功を収める可能性が示された。
- FAFTのような新しい手法が、LLMの能力をさらに引き出すための有効な手段として有望である。

#### 反対意見
- 長大なコンテキストにおけるLLMエージェントの不安定さが依然として課題である。
- フィードバックによる改善が限定的であり、完全な信頼性を確立するにはさらなる研究が必要。

## 今後の課題と展望
本研究は、LLMエージェントの計画策定能力に関する重要な知見を提供しましたが、いくつかの課題も残されています。特に、長大なコンテキストにおける安定性の向上や、フィードバックの質をさらに高めるための手法が求められます。また、現実世界への応用可能性を高めるために、より多様なベンチマークやデータセットを用いた研究が今後の課題となるでしょう。

さらに、RLHF（Reinforcement Learning with Human Feedback）との組み合わせや、他の先進的なファインチューニング手法との統合も、今後の研究において重要なテーマとなるでしょう。

## 結論とインパクト
今回の研究は、LLMエージェントが長期的な計画策定タスクにおいて直面する課題と、それに対する潜在的な解決策を明らかにしました。特に、フィードバック対応ファインチューニング（FAFT）が、エージェントのパフォーマンスを大幅に向上させることが示され、今後のLLMエージェントの開発において重要な指針となる可能性があります。

## 
この記事が皆さんの研究や実務に役立つことを願っています。ご質問やフィードバックがありましたら、コメント欄にお寄せください。