文書分類のためのクラス情報を考慮したトークン分割

テキストを単語やサブワードなどに区切るトークン分割の処理は，文書分類などの多くの自然言語処理において前処理として取り扱われる．トークン分割は，学習や推論に用いる入力の単位を決定する重要な前処理であり，適切なトークン分割を用いることで自然言語処理の性能の向上が得られる[1,2,3]．適切なトークン分割を行うために，前処理の時点ですでに分かっている後段のタスクの情報を活用できるとよい．例えば，後段のタスクが文書分類である場合，前処理の時点でテキストのドメインや，どのような文書クラスが存在するかが既知であることが多い．従来のトークン分割の手法は後段のタスクの学習に用いるデータで分割器を作成する[4,5,6]ため，ドメインに関する情報は考慮することができる．しかしながら，文書分類のクラスなどの後段タスクの学習と推論に用いられる，タスクに固有の情報について考慮することはできない．本研究では文書分類に焦点を当てて，文書分類のクラスの情報を考慮したトークン分割の新たな手法（Cakenizer:Class-awaretokenizer）を提案する(表1)．Cakenizerでは，文書分類におけるクラスに属するサ使用する情報テキストクラス従来のNLPトークン分割器✓後段モデル✓✓提案手法(Cakenizer)トークン分割器✓✓後段モデル✓✓ンプルを一連の文書とみなしてエントロピーに基づくスコアを計算し，クラスに特徴的なトークンが優先的に使用されるような分割を行う．実験結果より，日中英の複数の文書分類のデータセットで性能の向上が得られることを報告する．また，クラスの情報が取得できない場合であっても，K-meansクラスタリングによる疑似的なクラスを用いることで，提案手法によるクラス情報を考慮した分割を行い，性能の向上が得られることを報告する．