単体複体を用いた次単語予測分布の幾何的解釈

言語モデルの次トークン予測は，形式上は数万項の単語集合の上の確率分布であるが，実際には文脈に応じた小規模な語群の上だけに確率値が集中する．この，事前学習から自然に生じる単語予測分布の低ランクな構造を，単体複体という概念を用いて表し，「次単語予測分布の幾何構造」を考えたい．提案アルゴリズムは，未知文脈の候補集合を包含するように単体を構成することで，コーパスサイズによらない（Heaps則に適した）推定を可能にする．Olmo7BとDolmaを用いた実験で，名詞の文脈と動詞をとる文脈が自然に分離されるなど，次単語予測が言語的に自然な幾何構造を内包していることを確かめた．さらに，単体複体を構成する単体（＝次トークン候補の集合）の頻度が，単語と同様に種々のべき乗則を満たすことを確認した．