文分割とはテキストを連続する文の単位に分割する前処理を指す.本稿ではこれを拡張し,テキスト中の文でないノイズを除去しつつ,解析対象とすべき文のみを抽出する文特定タスクの定式化を行う.また,文頭・文末予測を組み合わせることで文特定を行う新たな手法を提案する.最後に,UniversalDependencies(UD)のアノテーションに基づく言語横断的なベンチマーク手法を設計し,UDの英語コーパスEnglishWebTreebank(EWT)を用いた実験により提案手法の精度・有用性を検証する.

自然言語処理において文は重要な処理単位の一つである[1,2,5].一般的に,テキストはまず文末予測に基づく文分割という前処理によって連続する文の単位(文単位と呼ぶ)に分割される[4,3,11].しかし,実際のテキストデータは必ずしも綺麗な文単位のみを含むとは限らない.例えば,ウェブデータはメタ情報・文断片・非言語的記号など文と見なせないノイズ（非文単位と呼ぶ）を含み得る.従来の文分割では非文単位もいずれかの文単位に属すると仮定されるが,これらのノイズは構文解析など下流の処理やその評価において障害となることがある[12].そこで本稿では文分割の代替として,テキストを連続する文単位と非文単位に分割する文特定タスクの定式化を行う.それと同時に,文頭と文末予測を組み合わせることで文特定を行う新たな手法を提案する.表1に示すように,提案手法では文頭・文末予測によって文単位を特定しつつ,それ以外を非文単位と見なして区別・除去することができる.次に,文特定タスクにそのまま適用可能なベンチマークが存在しないため,UniversalDependencies(UD)[8]のアノテーションを基に文特定のベンチマークを設計する.具体的には,UDが提供する文境界と述語項構造を活用して,任意のUDコーパスから文特定の正解データを作成する手法を紹介する.文単位・非文単位の分類基準を目的に応じて柔軟に調整可能であることもこの手法の特長である.最後に,UDの英語コーパスとして広く使われているEnglishWebTreebank(EWT)[10]を用いて実験を行う.これにより,提案手法は高い精度で文単位を特定できること,また正確な文単位の特定が構文解析等の下流タスクにおいて有用であることを示す.