単体複体を用いた次単語予測分布の幾何的解釈

大規模言語モデル（LLM）の興隆に伴い，各種の概念が線形に埋め込まれているとする線形表現仮説[1,2]や，その概念に相当するベクトルを特定しようとする線形プロービング[3]など，内部状態の幾何学的な解釈が多数試みられている．またLLMの主機能である次単語予測に着目すると，形式上は数万項に及ぶ単語の上の分布が出力されるが，経験的には文脈に応じた小規模な語群の上の低ランクな分布をなす事実が知られている[4,5,6]．例えば，Inever...という文脈では，thought,knew,などの動詞の確率が高くなり，文法的にとりづらい単語の確率は0とみなせる．本稿では，この次単語予測分布の低次元性を，位相幾何学で用いられる単体複体という幾何的概念（図1右下）を介して理解する方法を提案する．文脈𝑐の次単語予測の確率値が語群𝑠𝑐上に集中するとしよう．𝑠𝑐を（三角形や四面体の一般的概念である）単体とみなすと，次単語予測分布の全体は，小さな単体の集まりである単体複体とみなせる．言語モデルに対応する単体複体を推定するため，まずLLMから「文脈に応じた次トークン候補集合」を集め，ここから単体複体を自然に誘導する枠組みを定式化する．ただしここで言語データのHeaps性，すなわちコーパスの拡大に伴って新しい単体が観測されつづける特性[7]が障害となる．観測された単体から素朴に作成した単体複体は利用する有限のコーパスに依存してしまうため，言語全体を表現する単体複体を工夫して構成する必要がある．そこで我々は，未知の単体をどれだけ予測可能かを評価する閉性の指標を導入し，与えられたコーパスには現れない次トークン候補集合を包含するような単体を推定する手続きを提案する．実験では，推定した単体複体が言語的に自然なクラスタ構造を捉えていること，未観測コーパスに対して一定の頑健性を持った推定が可能であること，また得られる単体（単語集合）とその頻度がべき乗的な挙動を示すことを確認した．この研究により，これまで一つの巨大な空間として扱われてきた[8,1,9]言語モデルの内部機序に，たくさんの小規模な空間の集積という新しい視点[10]を提供したい．