人間と機械学習のモデルそれぞれに扱いやすいトークン分割に関する実験と考察

トークン分割（Tokenization）は，NLPのシステムの性能や結果に影響を与える重要な前処理である[1,2,3]．近年では後段のタスクに応じて，モデルの性能が高くなるようなトークン分割を自動で選択する手法が提案されている[4,5,6]．このようなトークン分割は，性能向上という観点から機械学習のモデルに扱いやすいものであると言える．一方で，このトークン分割は必ずしも人間にとって読みやすいものであるとは限らない[5,6]．人間に読みやすいトークン分割から逸脱したものは，メンテナンスやチューニングの難しさに繋がりうる．例えば，区切りの不一致のために辞書情報が使えなかったり，目視でのエラー分析における解釈の難しさに繋がったりすると考えられる．また，自然言語処理に詳しくないユーザーにとっては，不自然なトークン分割そのものが信頼性低下の原因になりうる．本研究では，人間と機械のそれぞれに扱いやすいトークン分割について調査を行う．本稿では研究の第一段階として，日本語QAタスクにおいて異なるトークン分割がもたらす，機械学習のモデルの正解率への影響と，人間にとっての読みやすさへの影響の関係を調査・分析した内容を報告する．手法分割例MeCabものを入れる容器をなんと言う?Unigramものを入れる容器をなんと言う?BPEものを入れる容器をなんと言う?MaxMatchものを入れる容器をなんと言う?OpTokものを入れる容器をなんと言う?Randomものを入れる容器をなんと言う?