トークン埋め込みの変動性（TEV）は、事前学習の安定性を反映する重要な指標です。TEVは、トークン埋め込み層における各トークンの埋め込みベクトルの標準偏差を測定することで、勾配のノイズレベルを示します。理論的には、TEVが低いほど、埋め込みベクトルの分布が均一であり、勾配の変動が少ないことを意味します。これは、安定した事前学習において重要な要素です。
具体的には、TEVの平均（µTEV）と標準偏差（σTEV）が低い場合、モデルはノイズの少ない勾配を持ち、安定した学習が行われていることを示します。実験結果でも、TEVが低いモデルは、事前学習中の損失の急激なスパイクが少なく、全体的なパフォーマンスが向上することが確認されています。このように、TEVは事前学習の安定性を評価するためのシンプルで効率的なプロキシとして機能します。