工学的性能と人間らしさの関係はトークン分割に依存する

サプライザル理論[1]では，人間の文の読み時間の線型な予測変数として情報量（サプライザル）の有効性が示されている．トークンの情報量は文脈cにおけるトークン𝑡の確率を用いて𝐼=−log2𝑃(𝑡|c)と定義される．サプライザル理論の妥当性は多くの言語での実験で示されている[2,3,4]．情報量は言語モデルを用いて計算できるが，言語モデルは様々な要素に依存して異なる挙動を示す．そこで，サプライザル理論の観点から，言語モデルの「人間らしさ」をモデルの情報量が人間の読み時間をどれだけ反映するかによって評価できる．こうした研究では言語モデルの工学的性能（パープレキシティ，PPL）と人間らしさの関係が注目されており，初期の英語の研究ではPPLが小さいほど人間らしさも向上すると主張された[5,6]．しかし，[7]は日本語でこの関係の破綻を報告し，大規模言語モデルを用いた研究では英語でも対応の破綻が報告されている[4,8]．情報量や言語モデルの挙動は言語のトークン分割単位に深く依存する．例えば「言語学」トークンを持つ分割単位では持たないものに比べて「言語」トークンの頻度が下がり，情報量が大きくなる．自己回帰モデルでは分割単位が小さいと予測すべき情報が少ないため，大きい分割単位と比べて簡単なタスクで訓練していることになる．さらに，例えば文字単位の言語モデルでは次単語の先頭の文字ではなく単語内部の次の文字を予測するような点が多く，次単語予測の学習の重みが相対的に下がる．サプライザル理論でも分割単位について議論がなされており，文字単位の言語モデルの妥当性がしばしば主張されている[9,10]ほか，人間の文処理モデルとしての妥当性の観点から，サブワードの利用の是非にも関心が持たれている[11]．一方で工学的性能と人間らしさの観点では，トークン分割の影響がまだ議論されていない．特に分割単位の非自明な日本語ではその影響が重要である．本研究では，日本語においてトークン分割単位の異なるニューラル言語モデルを構築し，その工学的性能と人間らしさの関係を調べ，分割単位の影響を検証した．長単位・短単位に顕著な違いが見られ，長単位の言語モデルでは工学的性能と人間らしさの関係の破綻が抑制されていることを報告する．