検索付き拡張生成におけるハイパーパラメータとプロンプトの同時最適化

Retrieval-augmentedgeneration（RAG）は，コーパスからの情報検索を活用することにより，大規模言語モデル（LLM）の性能を大幅に向上させる．RAGの性能は，RAGパイプラインにおけるハイパーパラメータと，LLMに与えるプロンプトに大きく依存する．本研究で提案するUniOptRAGフレームワークでは，単変量最適化アルゴリズムを組み合わせることで，ハイパーパラメータとプロンプトを同時に最適化する．この同時最適化によっていずれか一方のみを最適化する場合の性能を上回り，既存研究でファインチューニングや高度な推論パイプラインを用いた場合と同等の性能を達成することを示す．