文書分類のためのクラス情報を考慮したトークン分割

本稿では，クラスの情報を有効活用することで文書分類タスクに特化したトークン分割の処理を提案する．ユニグラム言語モデルベースのトークン分割器に，エントロピーに基づく重みを掛け合わせることで，あるクラスに特徴的なトークンを優先的に使用するようなトークン分割を行う．実験より，複数の文書分類のデータセットで提案手法による性能の向上が得られることが分かった．また，クラスが未知の場合であっても，疑似的なクラスによって性能の向上が得られる場合があることを報告する．