RAGの生成器におけるSLMの利用

近年，自然言語処理の分野では，大規模言語モデル(LarageLanguageModel，以下LLMと略す)が高い性能を示している．しかし，特定の分野における詳細な知識や比較的新しい知識といった，学習データに含まれていない情報を扱うことが難しいという欠点がある．この欠点に起因する現象として，言語モデルが不適切な回答を生成するHallucinations(幻覚)[1]が挙げられる．この問題を解決するため，外部知識を様々な形でLLMに組み込む手法[2,3,4]が研究されている．その一つがRAG(Retrieval-AugmentedGeneration)[5]である．RAGは，外部知識をベクトル・インデックスとして保存し，入力文をクエリとしてインデックスに問い合わせることで関連する文書を取得し，それを入力文と共にLLMに与えることで，外部知識に基づいた出力を生成する手法である．RAGは一般的にRetrieverとGeneratorの二つの機構に分けられる．Retrieverは，QueryEncoderとDocumentIndexから構成され，クエリに関連する文書を検索する役割を担う．この機構では，クエリに関連する文書を，高精度で検索することが求められる．Retrieverは，RAGの中核的要素といえるため，多くの研究[6]が行われている．Generatorは，Retrieverから受け取ったDocumentを用いて文章を生成する役割を担う．つまり，最終的な回答文はこの機構によって生成される．本研究では，Generatorとして小規模言語モデル(SmallLanguageModel，以下SLMと略す)を組み込み，QAタスクを実施することで，使用するモデルが性能や生成結果に与える影響について調査する．また，本実験では，Retrieverは完璧であり，必ず入力文に対応する適切な文書を一つ検索できるという理想的な条件を仮定する．RAGにおいて，検索器(Retriever)の性能が十分高い場合の，SLMの利用可能性について明らかにすることを本研究の目的とする．