論文を対象としたRAGシステムにおける質問分類に基づく動的検索

技報は，企業や組織内での研究成果や技術的知見を記録・蓄積する媒体である．これらの情報は，新たな技術開発や問題解決において重要な参考資料となり，過去の経験や成功事例を活用することで効率的な業務遂行を可能にする．一方，技報から必要な情報を検索することは必ずしも容易ではなく，どのように検索クエリを作成すればいいかも自明ではないため，使いやすい活用方法が求められている．近年，大規模言語モデル(LLM)と情報検索技術を組み合わせたRAG(Retrieval-AugmentedGenera-tion)[1]が注目されており，様々なアーキテクチャのモデルが提案されている[2,3,4,5,6]．RAGは，ユーザの入力に対して関連する外部データを検索し，その結果を基に言語モデルが応答を生成する手法である．従来の汎用的な言語モデルに基づく生成モデルを用いたQAのアーキテクチャは事前学習データに依存しているため，新しい情報や事前学習に含まれない非公開データ，専門的な知識に対しては誤った情報を生成するリスクがある．そこでRAGによって外部データを動的に取り込むことで，これらを問う質問に対しても正確な情報を提供できるようになる．しかし，検索プロセスや検索結果を入力に加えることでのトークン長の増大によって，応答生成までに時間がかかる場合がある．本研究では，まずQAシステムの性能を評価するために，社内の技術に関連する質問文，回答，および回答の根拠となる文書を含む技法QAデータセットを作成した．このデータセットの作成過程で，質問文の難易度にばらつきがあることが明らかになった．具体的には，LLMの事前学習データに含まれている可能性が高い一般的な質問（例:BERTとは何ですか？）に加え，技報の特定の文書を参照しなければ回答が困難な質問（例:導入事例を教えて，開発された背景は何ですか？）も存在していた．こうした異なる難易度の質問に対して，RAGシステムで同一の検索頻度や検索対象文書数といったハイパーパラメータを設定することは非効率であると考えられる．これは，簡単な質問に対しては過剰な検索が行われ，不必要な処理時間が増大する一方で，難易度の高い質問では十分な関連情報が取得できず，応答精度が低下する可能性があるためである．またCuconasuら[7]が，無駄な検索によって関連はあるが答えを含まないテキストが多く検索されてしまうことでの，QA性能の低下を指摘している．このような問題に対して，Jeongら[8]は，質.質問回答質問ラベル根拠ファイル名回答根拠従来品と比較して，新製品のSiCハイブリッドHPMの逆回復損失は何%低下した？98%低減している質問ラベル質問の内容数意味・名称言葉の意味や名称を質問20機能・特徴製品やサービスの機能や特徴を質問23具体例・事例製品やサービスが具体的に導入されたり使用された事例を質問25結果・影響製品やサービスの開発，導入によって得られる結果・影響を質問5原因・要因事象に対する原因や要因を質問5今後の予定製品やサービスの今後の開発予定などを質問5数値数量や個数など定量的に数値で回答できる質問14選択はい/いいえによる回答や，複数の選択肢からの回答が可能な質問5目的・目標製品やサービスの開発目的や目標などを質問5方法・手順製品やサービスの使い方やその手順を質問20問の複雑度に応じて動的に検索戦略を調整するAdaptive-RAGを提案している．Adaptive-RAGでは，複雑度を3段階設定し，各レベルにおける応答精度に基づいて，質問の複雑度を自動的に推定する．その後，複雑度に応じたハイパーパラメータで検索を行い，応答速度を維持しながら応答精度を向上させる．そこで本研究では，Adaptive-RAGのアイデアを基に，質問の種類ごとに最適な検索方法が変化するであろうという仮定の元，図1のような質問の特性に応じてRAGシステムの検索時のハイパーパラメータを動的に調整する技法QAシステムの検索手法を提案する．この手法により，適切な応答速度を維持しつつ，応答精度の向上を実現することを目指す．本研究の貢献は以下である．1.技報QAデータに対して質問の分類ラベルを付与したデータを作成数値FEJ94-01-063-2021電鉄向け3.4kVSiCハイブリッドハイパワーモジュール品のSi-IGBTHPMに比べて，新製品であるSiCハイブリッドHPMの逆回復損失は98%低減している．