BPEを用いたトークナイザーの性能に対する,言語・語彙数・データセットの影響

大規模言語モデル(LargeLanguageModel:LLM)への入出力に使われているトークナイザーについて,下流タスクから評価した研究が複数行われているものの,タスク内容やモデルの種類など議論の難しい要素が非常に多く,実際の開発では経験的な決め打ちによってトークナイザーを作成している場合が多いと推察する.そこで,本研究ではトークナイザーの定量的な指標となる,評価用テキストをトークナイズしたときの1トークンあたりの平均文字数(LengthperToken:LPT)を複数の場合で調べた.結果として,LPTは語彙数に対していずれの言語でもlog的に増加し,ただしその係数は言語特性を強く反映することが明らかとなった.また,英語に比べて日本語の場合で特にLPTがデータセットのドメインに影響を受けることが明らかとなった.