言語モデルの外部知識獲得に関する高速化と小説プロットによる性能評価

近年，大規模言語モデル(LargeLanguageModel，LLM)により，一つの言語モデルで汎用的に文章を生成することが可能になった．現在，LLM技術で最も利用されているOpenAI社のChatGPT1）において，GPT-4モデルでは，GPT-3モデルと比較してより多くのタスクを解くことができる．このように，LLMを用いることにより様々なタスクを解くことができるようになった．LLMは，ChatGPTのほかに，Google社が開発しているGemini2）や，Anthropic社が開発しているClaude3）などがある．これらのモデルは，WebインタフェースおよびAPIの形式で提供され，APIを使用すれば，開発者が自由に開発するアプリケーションに組み込むことが可能である．このように，近年，高性能なLLMを容易にサービスへ搭載することが可能になっている．しかしながら，このようなサービスを運用するとき，多くの場合に1）https://chatgpt.com/2）https://gemini.google.com/3）https://claude.ai/LLMが学習段階で獲得していない知識を利用する必要があり，事前学習データのみで構築されたLLMにおいては，システム実装において困難が生じる．そこで，外部知識を獲得するための手法として，例えば，RetrievalAugmentedGeneration(RAG)[?]とLong-Context[?]がある．LLMを用いてサービスを運用する場合，推論時の精度および速度が重要である．精度および速度は，それぞれ，サービスの品質およびユーザビリティに直接影響する要素である．そこで，本研究は，高速な応答が求められるサービスを運用するために，RAGの一種であるHybrid-RAG[?]をベースに推論速度を改善する手法を提案する．実験では，サービスの一例として小説執筆の生成を行うLLMの運用を想定する．小説のプロットデータを外部知識として，プロットに関する質問をLLMに入力した際の提案手法とLong-Contextの性能比較を行う．さらに，サービス運用時に必要なAPIの課金コストについて考察する．