大規模言語モデル（LLM）をサービスに組み込むとき，外部知識の獲得および推論速度，推論精度は重要である．そこで，本研究では，LLMの推論速度を向上させるために，Hybrid-RAGを改善した外部知識の獲得手法を提案する．従来手法においては，グラフデータベースとベクトルデータベースを並列に接続していたが，提案手法では，各々を直列に接続することにより効率的な外部知識検索を実現した．また，実験において，小説プロットを外部知識として導入したときの性能評価を行った．その結果，従来手法と比較して推論速度が向上することがわかった．

近年，大規模言語モデル(LargeLanguageModel，LLM)により，一つの言語モデルで汎用的に文章を生成することが可能になった．現在，LLM技術で最も利用されているOpenAI社のChatGPT1）において，GPT-4モデルでは，GPT-3モデルと比較してより多くのタスクを解くことができる．このように，LLMを用いることにより様々なタスクを解くことができるようになった．LLMは，ChatGPTのほかに，Google社が開発しているGemini2）や，Anthropic社が開発しているClaude3）などがある．これらのモデルは，WebインタフェースおよびAPIの形式で提供され，APIを使用すれば，開発者が自由に開発するアプリケーションに組み込むことが可能である．このように，近年，高性能なLLMを容易にサービスへ搭載することが可能になっている．しかしながら，このようなサービスを運用するとき，多くの場合に1）https://chatgpt.com/2）https://gemini.google.com/3）https://claude.ai/LLMが学習段階で獲得していない知識を利用する必要があり，事前学習データのみで構築されたLLMにおいては，システム実装において困難が生じる．そこで，外部知識を獲得するための手法として，例えば，RetrievalAugmentedGeneration(RAG)[?]とLong-Context[?]がある．LLMを用いてサービスを運用する場合，推論時の精度および速度が重要である．精度および速度は，それぞれ，サービスの品質およびユーザビリティに直接影響する要素である．そこで，本研究は，高速な応答が求められるサービスを運用するために，RAGの一種であるHybrid-RAG[?]をベースに推論速度を改善する手法を提案する．実験では，サービスの一例として小説執筆の生成を行うLLMの運用を想定する．小説のプロットデータを外部知識として，プロットに関する質問をLLMに入力した際の提案手法とLong-Contextの性能比較を行う．さらに，サービス運用時に必要なAPIの課金コストについて考察する．