埋め込み表現の内在次元を測る

大規模言語モデル(LargeLanguageModels;LLMs)が自然言語処理の各種タスクで高精度な性能を実現する一方で，モデル内部の埋め込み層や中間表現の次元については，十分に解明されていない部分が多い．特に，埋め込みベクトルが外在的に何百～何千次元もの大きさを持ちながら，実際にはどの程度の有効な次元で情報を表現するのかは，LLMの効率化を考えるうえで重要な問いである．もし埋め込み層が実質的に低次元の多様体上にあるならば，学習・推論コストやモデルサイズの削減に大きな示唆を与え得るからである．本稿では，内在次元(IntrinsicDimension;ID)を用いて埋め込み空間の表現に必要十分な次元を考察する．ここでいうIDとは，データが本質的に取りうる自由度，すなわち，データが実際に存在している多様体の次元を表す指標である．一方，外在次元（ExtrinsicDimension;ED）は，埋め込みベクトルが表面的に割り当てられている次元数1）を指す．IDとEDの関係に関しては，これまでにも上田ら[1]が文1）例として，Word2Vecが300次元，BERTが768次元などを単位にした埋め込み空間のIDをTwoNN法で推定した事例がある．具体的には，学習済み埋め込みを用いて文の埋め込み表現を作成し，その文間のユークリッド距離に基づいてIDを測定したところ，EDが数百次元に及ぶにも関わらず，実質的には十数次元程度に凝縮されている可能性が示唆された．しかし，近年主流となったLLMの初期層をはじめとする特定の層に対しては，モデル規模や学習過程がIDに及ぼす影響についての検証が十分に行われていない．本稿では，小規模・大規模言語モデル2）の埋め込み双方を対象にそれぞれのIDの特徴を比較することで，埋め込み空間のIDをより包括的に分析することを目的とする．本稿では，以下の2つのRQを設定し，小規模・大規模言語モデルの埋め込みのIDと冗長率を実証的に調査する．RQ1EDとIDの間に生じる差はどの程度顕著か，また何によって左右されるのか？RQ2LLMの埋め込み層のIDは，パラメータ数・埋め込み次元といったモデル規模や学習過程によってどのように変化・安定化するか？まずは，RQ1に関して，単語埋め込みを対象に，実際にIDとEDの乖離がどの程度顕著なのかを定量的に分析する（第3.2節）．次に，RQ2に対して，モデル規模の拡大や学習過程が，IDの値に影響を与えるかどうかを追跡調査する．LLMの埋め込み層としてPythiaシリーズ[2]を取り上げ，(a)モデル規模別に有効に使われている次元を定量化する冗長率を測定し，モデル規模がどのようにIDに影響を与えるかを検証する（第3.3節）．そして(b)同一モデルのチェックポイントを取得し，事前訓練の過程の中でIDの推移を調べる（第3.4節）．この二段構成2）ここでの小規模言語モデルとは，Word2Vecなどのモデル．.により，モデル規模と，学習過程という異なる視点で，動的埋め込み空間の本質的な次元性を捉える．本稿の貢献は，(1)小規模埋め込みおよびLLMによる大規模埋め込みの双方を扱うことで，これまで断片的だった言語埋め込み空間の多様体構造をIDという観点から比較可能にした点，(2)モデル規模や学習段階ごとの変化を定量的に示すことで，LLMによる埋め込みベクトルが抱える潜在的な冗長性を議論した点にある．これらから得られる知見は，LoRAなどの埋め込み層の低ランク近似手法の理論的根拠を補強するとともに，LLMの軽量化・高速化の可能性を検証する礎となるだろう．以下，まず関連研究を概説する（第2章）．続いて，実験方法とその結果（第3章）を述べ，考察（第4章）を経て結論とする（第5章）．