意味的構成性を考慮した言語モデルの語彙削減

言語モデルの大規模化，多言語化に伴い，語彙も肥大化が顕著である．コンパクトかつ効果的な語彙とするため，事前トークン化(pretokenization)やドメインでの低頻度語彙の削減が提案されているが，包括的かつ説明性の高い基準は見出されていない．本研究では，サブワード獲得手法のバイト対符号化(BPE)で学習された言語モデルの語彙を対象に，頻度に加え意味を構成要素から計算可能かの指標の構成性を同時に考慮して語彙を削除する手法を提案する．提案手法をModernBERTに対して適用し，言語理解タスクでの性能評価実験を通してタスクの学習データの頻度のみに基づいて削除した場合と比較し，効果を検証する．