地方議会の予算表を対象としたLLMによる表形式変換を用いたRAGの提案

近年，大規模言語モデルにおける追加学習なしに外部知識を扱う手法として，RAG(Retrieval-AugmentedGeneration)が用いられている[1]．RAGでは外部文書をベクトルに変換し，データベースに保存することで，検索を可能にしている．これによりハルシネーションのリスクを軽減させ，信頼性の高い出力を期待できる．一方で，RAGで使用する文書にHTMLや表・画像等が含まれている場合，出力の精度が低下する可能性があり，適切な前処理が必要である[2,3]．またベクトルインデックス作成の際に使用するembeddingmodelやChunkSize，OverlapSizeが出力に影響を与える[4]．RAGの活用が見込まれる議会会議録や有価証券報告書・学術論文には，その文書内に多くの表が含まれており，それらに対する適切な前処理が求められる．本研究では，MBLink（Mineutes-to-Budget-Linking）で提供されている小樽市の令和4年度の議会会議録と予算表に対して，表の含まれる文書の前処理において，マルチモーダルLLM(M-LLM)を使用することによる，検索における精度への影響を検証する．また，embeddingmodel間の性能差やChunkSize，OverlapSizeの値の影響を検証する．本研究の貢献は，以下の3点である．•M-LLMを用いた表構造理解の手法を提案した．•HTML形式で記述された表と，M-LLMを通してマークダウン形式に変換した表のそれぞれをデータベースとして，RAGを適用した場合にどのような差があるのかを検証した．•複数のembeddingmodelやchunckSize,OverlapSizeにおいて，それぞれの差を比較した．