BERTとGATを用いた金融テキストにおける因果関係を含む文の判定

近年，Web上で入手可能なテキストデータは急速に増大しており，自然言語処理技術を用いた，膨大なテキストからの情報抽出に注目が集まっている[1]．金融分野においても，決算短信・有価証券報告書・経済新聞記事・アナリストレポートなど投資家が入手可能なテキスト情報は常に溢れており，それら構造化されていないテキストデータから価値ある情報を自動で抽出することのニーズは大きい[2]．金融テキストから情報を抽出し構造化する方法の1つとして，原因-結果の組から構成される因果関係を検出し，表現対として抽出することが考えられる．決算短信や経済新聞記事においては，因果関係を含む文が頻出する．例えば，「ウクライナ情勢をめぐる地政学的リスクの高まりで，エネルギーや原材料価格が上昇する」といったものだ．こうした因果関係を大量に収集することができれば，因果関係ネットワークの構築や因果系列の提示によって，投資判断の支援，ニュースイベントの波及効果の分析といった応用が可能となる[3,4]．金融テキストからの因果関係抽出においては，因果関係の存在を示す手がかりとなる表現の利用が有効だ[5,6]．例えば，「レンタカー部門では，外出自粛の影響を受け，減収減益となりました．」という文の場合，手がかり表現「を受け，」を用いて，「外出自粛の影響」という原因表現と「(レンタカー部門では，)減収減益となりました．」という結果表現を抽出できる．しかしながら，手がかり表現は因果関係の存在を示すとは限らない．「健康のため，運動する」という文の場合，「ため，」は原因結果関係の明示ではなく，「目的や期待の向かうところ」を表す．決算短信における具体例を表1に示す．したがって，手がかり表現を含む文に対して，その文が因果関係を含むか否かを高い精度で判定することが望まれる．本研究では，金融ドメインの文書で追加で事前学習を行った金融BERTモデルと，入力文の依存構造木に対して適用されるGraphAttentionNetwork(GAT)[7]を用いた判定モデルを提案する．決算短信と新聞記事データから構築したデータセットを用いて評価実験を行い，提案手法の有効性を確認した．の例．手がかり表現を太字で示す．因果関係を含む文・「ウクライナ情勢をめぐる地政学的リスクの高まりで、エネルギーや原材料価格が上昇するなど、国内経済の先行きは不透明な状況が続きました。」・「レンタカー部門では、外出自粛の影響を受け、減収減益となりました。」因果関係を含まない文・「お客様のニーズに的確に応えるため、ビジネスパートナーとの連携強化を進めてまいりました。」.