単語単位のトークン分割を用いたLLMの性能調査

大規模言語モデル（LLM）の入力となる文章は，通常，事前に定義されたトークン分割器によってトークン列に変換される．現在のLLMの多くは，サブワード（subword）[1,2,3,4]と呼ばれる単位に分割するトークン分割器を採用している．サブワード単位が用いられる主な理由は，語彙数を一定に抑えたまま未知トークンの出現を抑制できる点にある．低頻度語をサブワードの組み合わせで表現することで，例えば英語では未知トークンの発生をほぼ防げる．しかし，多言語入力を想定すると，文字体系の多様性から，語彙に含まれない文字が頻出し，その結果，トークン分割後のトークン列に未知トークンが発生する．この状況に対処するため，バイトフォールバックという考え方が考案された[5]．バイトフォールバックでは，例えば語彙に含まれない文字が出現した場合，それらをすべてバイト単位のトークン列として扱う．これにより，トークン化効率などを無視すれば，理論上，語彙に含まれない文字に起因する未知トークン問題を解消できる．表1に，単語単位とサブワード単位のトークン分割の違フォールバックを前提）．ここでは仮にsynapticが辞書に含まれない場合を示す．例文Neurotransmitterreleaseregulatessynapticcommunication.単語単位Neurotransmitter/release/regulates/<0x73>/<0x79>/<0x6E>/<0x61>/<0x70>/<0x74>/<0x69>/<0x63>/communication/.サブワード単位Neuro/trans/m/itter/release/regulates/syn/ap/tic/communication/.いの例を示す．言語における「単語1）」は，文章理解における重要な処理単位であると考えられている[6,7]．そのため，LLMにおいても単語単位のトークン列として処理する方が文章の意味をより把握しやすくなり，様々なタスクで高い性能を示す可能性があると想定される．そこで本研究では，この仮説を検証する．具体的には，バイトフォールバックを共通の未知トークン対策の前提技術とした上で，従来用いられていた単語単位のトークン分割と，近年一般的なサブワード単位のトークン分割をLLMのトークン分割器として用いてモデルを学習し，それぞれのモデルの性能差を分析することで，単語単位のトークン分割がLLMでの利用において効果的であるかを検証する．