言語モデルの外部知識獲得に関する高速化と小説プロットによる性能評価

大規模言語モデル（LLM）をサービスに組み込むとき，外部知識の獲得および推論速度，推論精度は重要である．そこで，本研究では，LLMの推論速度を向上させるために，Hybrid-RAGを改善した外部知識の獲得手法を提案する．従来手法においては，グラフデータベースとベクトルデータベースを並列に接続していたが，提案手法では，各々を直列に接続することにより効率的な外部知識検索を実現した．また，実験において，小説プロットを外部知識として導入したときの性能評価を行った．その結果，従来手法と比較して推論速度が向上することがわかった．