単語単位のトークン分割を用いたLLMの性能調査

一般公開されている学習済みの大規模言語モデル（LLM）では，サブワードに基づくトークン分割を採用しているものが多い．それに対し，LLM以前によく用いられていた単語単位のトークン分割をLLMに採用した場合の効果を検証する．ただし，未知語対策としてバイトフォールバック（bytefallback）を採用し，バイト列に変換することで未知トークンを防ぐ方法を用いる．単語単位のトークン分割を用いて事前学習したモデルと，標準的なサブワード単位のトークン分割を用いて事前学習したモデルを用意し，複数の質問応答タスクで評価した．それぞれの結果を分析し，トークン分割の違いがLLMに与える影響を調査した．