有価証券報告書における表形式データからの情報抽出

金融や医療など幅広い分野において，表情報は重要なデータ源である[1,2]．そのため，大規模言語モデル（LLM）などを用いて表データから必要な情報を抽出する技術は必要不可欠である[3,4]．しかし，表の構造を考慮せずに，表全体を長文コンテキストとしてLLMに入力すると，ヘッダの構成を正しく把握できずに誤った出力を生成する可能性がある[5]．例えば，経済分野において，木村ら[6]は，TableQuestionAnswering（TQA）データセットを構築し，複雑なヘッダ構造を有する表や大規模な表ではLLM単体で正しい回答を生成しにくいという示唆を得た[7,8]．本課題は，表データから必要な情報を取得する必要性を示している．本研究では，表データ向けのセル抽出手法を提案する[6]．提案手法の概要を図1に示す．本手法では，(1)データの前処理を実施し，(2)言語モデルとTF-IDFを組み合わせたハイブリッド検索手法を用いて表ヘッダを推定することで質問に必要な情報を含むセルを特定し，(3)表中から単位を抽出し，(4)抽出した単位を用いて値を正規化し質問に回答する．ここで，検索に用いる言語モデルは，質問とそれに紐づく表のペア1,000件を用いて対照学習する．評価実験では，有価証券報告書をベースとしたTQAデータセット[6]を用い，Ruri-v3[9]などの日本語対応の言語モデル6種類において評価する．また，財務知識を持たない日本語を母語とするアノテータの正解率を評価し，その結果を本手法と比較する．評価の結果，言語モデルにRuri-v3を用いた場合，GPT-4ominiの性能（63.9%）を上回る性能（74.8%）を示したものの，人手性能（85.0%）を下回ったことを確認した．