検索付き拡張生成におけるハイパーパラメータとプロンプトの同時最適化

近年LLMはさまざまなタスクにおいて顕著な性能を示している．さらに，外部の文書を組み込むRAGの登場によって，LLMはより広範な知識をもとに文章を生成することができるようになった[1]．典型的なRAGは，RetrieverとGeneratorの2つの要素から構成される．まず，Retrieverはクエリに関連する文書を外部のコーパスから検索する．次に，Generatorは，クエリと検索結果上位の文書，タスクの説明を組み合わせてLLMに与えるプロンプトを構築し，それをLLMに与えて出力を生成する．RAGは高い性能を示す一方で，その設計には依然として困難が伴う．例えば，以下のような非自明な問いがしばしば生じる．•Retrieverのパラメータをどう決めるか？•LLMに検索結果をいくつ入力するか？•LLMの応答を制御するためのプロンプトはどのように設計するのが望ましいのか？これらのハイパーパラメータやプロンプトの決定は，RAGパイプライン全体の性能に大きく影響するため，慎重な検討が必要である[2,3]．本研究は，RAGパイプラインにおけるハイパーパラメータとプロンプトを同時に最適化する試みである．提案するUniOptRAGフレームワークでは，単変量最適化アルゴリズムを組み合わせてRAGパイプラインを最適化する．本研究の主な貢献は以下のとおりである．1.RAGのハイパーパラメータとプロンプトを同時に最適化するフレームワークを提案する．