工学的性能と人間らしさの関係はトークン分割に依存する

言語モデルがトークンに与える情報量と人間の文の読み時間との関連が近年の研究で示されており，この観点から言語モデルの「人間らしさ」を評価できる．本研究では情報量や言語モデルの挙動が文のトークン分割単位に深く依存することに着目し，分割単位の異なる言語モデルにおいて工学的性能（パープレキシティ）に対する人間らしさの関係の違いを実験的に調査した．日本語の短単位と長単位が大きく異なる挙動を示すことを報告し，このような差異の原因を議論する．