埋め込み表現の内在次元を測る

本研究では，言語の埋め込み表現である単語ベクトルや埋め込み層について，表現に必要十分な次元である内在次元(IntrinsicDimension;ID)を計測し，その冗長度合いを定量評価する．具体的には，(1)Word2VecやGloVeなどの小規模モデルの埋め込みが持つIDを推定し，(2)Pythia系列を代表とする大規模言語モデルの埋め込み層におけるIDをスケール別・学習過程別に解析する．実験の結果，埋め込み空間が外在的な次元に比べ低い次元の多様体上に分布する傾向が見られた．また，モデル規模の拡大に伴う冗長率の変化や，学習初期における急激なIDの形成が見られた．