会計ドメインにおける質問応答のためのLLMを用いた解説ページ順位付け

会計とは資金の流れを記録し報告することで，事業の継続にあたり必要な業務である．しかし中小法人や個人事業主では専門の人員を配置していないケースや事業者の会計知識が不足しているケースがあり，その結果，適切な税務手続きに失敗する例やキャッシュの枯渇を招く例が見られ，時には事業の継続が不可能となる事例もある．そのような社会的課題に取り組むため，弥生株式会社では会計をはじめとした様々なバックオフィス業務に関連するソフトウェアを展開するほか，専門家によって体系化された会計知識のナレッジを公開することで，あらゆるスモールビジネスの事業者の会計への意識を啓発している．しかし，専門知識を持たない一般人が会計業務について調べることは難しく，どのように情報を検索すればよいかわからないという声も挙がっている．このような背景から，近年大きく発展を遂げている大規模言語モデル(LLM)[18]を用い，自然言語による質問から会計ドメインの専門知識を検索するシステムが期待される．そこで本論文では，会計ドメインに特化したデータセットを構築して既存のベクトル検索手法における性能を評価し，さらに検索結果をLLMにより順位付けする新手法を提案した．本論文の貢献は主に以下の要素から構成される．弥生QAv1データセット弥生株式会社の持つ会計業務に関するナレッジから構築された，質問とその回答の根拠となる解説ページの対から構成されるコーパス．LLMを用いた順位付けFAISS1）によるナレッジの検索結果を元にLLMに順位付けを行う指示を与えることで，より質問に対して適切な検索結果を得られる手法．弥生QAv1データセットを用いTop-kAccuracy(𝑘=1)においてLLMによる質問応答手法の定量的評価を実施したところ，FAISSによる従来の検索手法では74.23ポイントであった一方，提案手法では86.15ポイントに改善し，会計という専門性の高いドメインにおいても高い正答率を示した．