意味的構成性を考慮した言語モデルの語彙削減

大規模言語モデル(LLM)は運用に潤沢な計算資源が必要であり，ユーザ環境下で運用する際には，モデルサイズが大きな問題となる．特に，近年のモデルでは，量子化など汎用的なモデル圧縮の対象とならない語彙サイズの肥大化[1,2]が顕著であり，その効率化は重要な研究課題といえる．この点を踏まえ，言語モデルの語彙を最適化する手法が研究されている．語彙の最適化は，主に統計的にサブワード語彙を学習する際に，不要なものを語彙に含めないようにすることで行われる．不要な文字列を語彙から取り除くための主な手法としては，語彙を学習する前に正規表現などで分割境界を与え，これを跨ぐ文字列を語彙に含めないようにする事前トークン化(pre-tokenization)が挙げられる．対照的に，事後的に非有用な文字列を語彙から除く手法として，低頻度のものをモデルから明示的に除く手法が存在する[3,4]．ただし，前者は数字や記号の連続[5]など，個々の記号が明確に意味を持つ場面には効果があるが，それ以外への影響は限定的であり，後者は出現頻度のみを参照するため，実際:▁southwest:▁usb:▁south:west:▁us:bwest▁south▁usouthestus▁s︙と構成的な結合（右）．に取り除く語彙が無用かという視点は欠けている．本研究では，説明性の高い統一的なサブワード語彙の選択基準として，トークンの構成性（図1）を考慮することを提案し、これを頻度と組み合わせた学習済みモデルのサブワード語彙削減手法を提案する．構成性は，複合語において構成要素の語の意味によって複合語全体の意味を説明可能であるかの数値的指標であり，構成性が低いほど個々の要素からは説明できない意味を持つといえる．同指標をサブワード語彙に転用し，各トークンについて値を算出することで，それぞれのトークンを構成要素で代替した際の，元のトークンの意味の説明可能性を数値化する．この構成性の値とバイト対符号化(BPE)[6,7]自体のトークンの優先度であるトークン頻度と組み合わせた値を語彙中の全トークンに与え，その値を元にトークンの優先度を順位付ける．実験では，事前学習済みモデルのModernBERT[8]を対象に，同手順による順位に基づいて一定割合の語彙を削除し，GLUE言語理解ベンチマーク[9]での影響を評価した．