深層学習を用いた階層的テキストセグメンテーションモデル

書籍や文書といった人によって作られた文章は,章立てや段落などの構造を持つ.この構造情報は,高度なテキスト分析において有用である.しかし,音声認識の様な自動化技術の発達によって構造を持たないテキストが大量に存在するようになった.構造を持たないテキストの分析は容易でないため,高性能なテキスト構造化技術が求められている.テキスト構造化技術の1つにテキストセグメンテーション(TextSegmentation:TS)がある.これは,テキストを意味的に関連性がある複数の文のまとまり(セグメント)に分割し,構造化する技術である.TSには大きく2つのタイプがある.1つは,テキストからセグメント終端となる文を検出し,テキストをセグメント系列に変換する線形的TS(LinearTS:LTS,層的TS(HierarchicalTS:HTS,図1上)である.古典的なLTS・HTSモデルは文の類似度や単語の一貫性に基づいた教師なし学習モデルで,人工的に生成したデータでは高い性能を発揮していたが,自然なデータでは性能が低いことが課題であった[1,2,3,4].近年では,大規模コーパスを用いた深層学習LTSモデルがいくつか提案されており[5,6,7,8],自然なデータでも高性能なテキスト構造化が可能となってきた.一般に文章の持つ構造は階層構造であるため,セグメントに含まれる文の数(大きさ)は構造化される階層によって異なる.例えば,節の下にいくつかの段落がある場合,下の階層で構造化すれば1つのセグメントが段落になり,上の階層で構造化すれば1つのセグメントが節になる.適切なセグメントの大きさは構造化後の分析に依って異なるため,汎用的に利用するには階層的な構造化が必要となる.しかし,LTSモデルは階層的な構造化が出来ず,対応した階層別にモデルを用意するのはコストが高い.深層学習を用いたHTSモデルが提案されていない原因として,構造情報を持った十分大きい学習コーパスが構築されていないことが挙げられる.大規模コーパスを用いてHTSモデルを深層学習することで,様々な分析に汎用的に利用できる高性能なHTSモデルが学習できる.さらに,テキストが持つ階層構造を活用することで,推定時に考慮できる情報が増え,LTSモデルよりもテキストのドメインに対する汎化性能が向上することも期待される.そこで,章・節・段落の3つの階層の構造情報を持った大規模な学習コーパスを構築し,深層学習を用いた3層のHTSモデルを提案する.まず,2章で関連研究を挙げ,3章で構築したコー.パスと提案モデルについて説明する.4章では実験設定と評価方法,5章では結果と考察,6章では最後に本稿のまとめと今後の課題について述べる.