会計ドメインにおける質問応答のためのLLMを用いた解説ページ順位付け

大規模言語モデル（LLM）は幅広い分野で応用が進んでおり，会計ドメインにおいても活用が期待されている．そこで本論文では，弥生株式会社の持つ会計業務に関する質問の解説ページを収集し，検索システム構築および精度評価に用いることのできる弥生QAv1データセットを構築した．このデータセットを用いて既存のベクトル検索手法の評価を行い，さらにその検索結果をLLMによって順位付けした．この結果，順位付けを実施しない従来手法に比べて正答率の向上が見られ，会計ドメインにおいて有効となる検索手法を示した．