金融テキストからの類似文の自動収集

近年，ビッグデータの活用やテキストマイニング技術などテキストデータの有効利用が注目されている．テキストマイニングには多くのテキストデータが必要であるが，学習データ等はまだ手動で作成，収集を行なっていることも多い．特に類似文のペアは様々な言語処理に活用できる．例えば，類似文からは言い換え表現の獲得ができる．また，高精度な文ベクトルを生成する手法であるSentence-BERT[1]において，類似文のペアを学習データとして使用している．その一方で，類似文のペアの作成は人手で行っていることがほとんどであり，大量のデータを用意できないのが現状である．類似文を自動的に収集することができれば，データ作成の労力を大きく抑えられる．また，自動収集によって多くの類似文ペアのデータが入手できるため，言い換え表現の獲得やSentence-BERTなど類似文を利用する様々な技術で役立つと考える．そこで本研究では，類似した内容の多い金融テキストから，類似文のペアを自動的に収集することを目的とする．金融テキストは企業から毎年発行されるが，同じ企業が発行している金融テキストに記載される内容はほぼ同じことが多い．そのため，類似した文のペアが含まれると考えられる．本研究では，そのような金融テキストの性質を利用して，類似文のペアを自動的に収集することを目的とする．これまでに金融テキストからの情報抽出に関してはいくつかの研究が行われている[2][3][4]．文献[2]では，決算短信から手がかり表現と企業キーワードを獲得し，業績要因文を抽出している．文献[3]では，手がかり表現を拡張して学習データを自動的に作成し，深層学習によって有価証券報告書から業績要因文を抽出している．文献[4]では，[3]と同様に学習データを自動的に作成し，深層学習によって決算短信から業績要因文を抽出している．いずれも決算短信や有価証券報告書から業績要因文を抽出する手法を提案している．これらの研究に対して，本研究では金融テキストとして有価証券報告書を対象とし，業績要因文に限らず，文書内の類似文をすべて収集する．言い換え表現の獲得に関する研究は文献[5][6][7]がある．文献[6]では多言語パラレルコーパスを利用した言い換え表現の判定，収集であり，本研究では文全体での類似した文を収集するという点が異なる．類似した文のペアには表現の言い換えによって類似している文も含まれており，本研究で収集した類似文から言い換え表現の獲得を行うことも可能である．文献[7]では同義語のグラフを構築し，グラフをもとにペアワイズ類似度を計算，単語単位の類似度を合計して文同士の類似度を測る手法を提案している．本研究では，cos類似度とレーベンシュタイン距離を組み合わせて文同士の類似度を算出し，類似文を収集するという点に違いがある．日本語のSentence-BERTに関しては文献[8]がある．この研究ではスタンフォードNLIコーパスを日本語に翻訳し，BLEUのスコアとクラウドソーシングを利用することで類似文を収集している．本研究では金融テキストから類似文を自動的に収集する点が異なるが，収集した類似文は金融に特化しており，金融テキストを対象とした研究においては精度の向上が望めるという違いがある．.２．提案手法本提案手法は以下の4つのStepで構成される．Step1:有価証券報告書データから，文末表現が一致する文を抽出Step2:Step1で抽出された文において，２つの文の類似度を単語のTFIDF値を要素とする単語ベクトルによるcos類似度を算出Step3:Step1で抽出された文において，２つの文の正規化レーベンシュタイン距離を算出Step4:cos類似度と正規化レーベンシュタイン距離の調和平均を算出し，調和平均が閾値より高い２つの文を類似文として収集