RAGにおけるLLMの学習と評価：FAQタスクへの応用

実応用を含めた様々なタスクで使用されるニューラル言語モデルは，そのパラメータをより大規模化させることで汎化性能が向上することが明らかになりつつある[1]．その結果数百億にものぼるパラメータを有した大規模言語モデル（LLM）の開発が盛んになっている．LLMは学習の過程でテキストデータからさまざまな知識を獲得しているが，これらは有限のパラメータに閉じたものとなっている[2][3]．従って，学習データに含まれていない知識には対応できないなどの問題点が存在する．そこで外部情報として関連した文書などの情報を入力として与えることで，その情報に基づいた出力を促すRetrieval-AugmentedGeneration(RAG)[4][5]などの手法が提案されている．これにより，学習外の情報を利用した推論や，正確な情報の提供によるhallucinationの抑制などが図られている[6]．RAGは入力されたクエリに関連する文書を検索するRetrieverとそれに基づく回答生成を担うGeneratorによって構成される．検索対象の文書は任意の系列長(chunksize)で区切ることにより管理され，この区切り方が後段の文書検索や回答生成のTrainingInferenceGeneratorContentAnswerNone+Query(i)RAGCLMtrainingonContent+Query+AnswerbyGPT-4LoRAtuningGeneratorQueryAnswer(ii)toinjectknowledgeCLMtrainingonContent+Query+AnswerbyGPT-4GeneratorContentLoRAtuning+Query+RAG(iii)Answer関連文書を与えて回答を生成．(ii)質問と関連文書に加え，それに対するGPT-4の模範回答を使用してCausalLanguageModeling（CLM）にて学習を実施．推論時は質問文のみを入力し回答を生成．(iii)は(ii)で学習したモデルに対し，推論時にも関連文書を与えて回答を生成．品質に影響すると考えられる．例えばある1つの事柄について説明する文書を扱う場合，その事柄について述べられていることを特定するために必要な固有名詞などの情報が全く現れないchunkなどが生成される可能性がある．これは必要な情報の検索を難しくする要因の１つとなると推察される．このようなRAGの設計上の複雑さに由来する難点は各所に存在しており，これらの問題を軽減する１つの方法として，chunkに対するアテンションを改善するRETRO[7]などの手法が提案されている．関連して，LLMの効率的な学習という観点からLoRA[8]やPrompt-tuning[9]などの手法も提案されつつある．具体的には，小規模なパラメータ群を追加して学習させるなどの工夫により，学習コストを抑えながらLLMの学習を実現している．このような技術を背景とし，関連文書を記憶させるようにモデルを学習させた場合，ある程度まとまったパラメータ内の情報へのアクセスが期待できるため，RAGにおける先述のような問題を緩和できる可能性も伺える．またビジネス運用などの視点から考えると，学習によって出力分布を意図的に偏らせることによって，競合情報やブランドイメージ.を毀損するようなキーワードの出力や言い回しを回避しやすくなるといったメリットも考えられる．非常に広範なデータで行われる事前学習過程を鑑みると，上述のようなﬁne-tuningの性質は，特定の場面において一定の有用性があると期待される．そこで本稿では，FAQタスクにおけるLLMの運用を考えた際のモデル学習の有用性を改めて考える．具体的には追加の学習は実施せずに関連文書を質問とともに入力として与える場合（図1(i)）と，本タスクの文書データを利用してﬁne-tuningを施し，テスト時には関連文書は与えない場合（図1(ii)），および追加学習をしたモデルに対してさらに推論時に関連文書を与える場合（図1(iii)）の3つを比較することによって検証を行う．また本稿のようなFAQタスクでのLLMの評価は，確立された評価方法が存在しないため，本稿では評価手法の選定やその解釈についても議論する．