本稿では，NLPにおける機械学習のモデルの性能が向上するようなトークン分割と，人間に読みやすいトークン分割の関係について議論する．JGLUEに含まれるJCommonsenseQAデータセットに対して複数のトークン分割を行い，機械学習のモデルによる正解率と，人間のアノテータによる正解率と回答速度を比較する．分析より，人間に読みやすいトークン分割と機械学習モデルの正解率が高くなるトークン分割は必ずしも一致しないことが示唆された．

トークン分割（Tokenization）は，NLPのシステムの性能や結果に影響を与える重要な前処理である[1,2,3]．近年では後段のタスクに応じて，モデルの性能が高くなるようなトークン分割を自動で選択する手法が提案されている[4,5,6]．このようなトークン分割は，性能向上という観点から機械学習のモデルに扱いやすいものであると言える．一方で，このトークン分割は必ずしも人間にとって読みやすいものであるとは限らない[5,6]．人間に読みやすいトークン分割から逸脱したものは，メンテナンスやチューニングの難しさに繋がりうる．例えば，区切りの不一致のために辞書情報が使えなかったり，目視でのエラー分析における解釈の難しさに繋がったりすると考えられる．また，自然言語処理に詳しくないユーザーにとっては，不自然なトークン分割そのものが信頼性低下の原因になりうる．本研究では，人間と機械のそれぞれに扱いやすいトークン分割について調査を行う．本稿では研究の第一段階として，日本語QAタスクにおいて異なるトークン分割がもたらす，機械学習のモデルの正解率への影響と，人間にとっての読みやすさへの影響の関係を調査・分析した内容を報告する．手法分割例MeCabものを入れる容器をなんと言う?Unigramものを入れる容器をなんと言う?BPEものを入れる容器をなんと言う?MaxMatchものを入れる容器をなんと言う?OpTokものを入れる容器をなんと言う?Randomものを入れる容器をなんと言う?