言語の固有次元を測る

本稿の目的は，固有次元の観点から自然言語の複雑性について考えることである．固有次元(IntrinsicDimension)とは，大雑把に言えばデータセットの表現するのに必要最小限の変数（軸）の個数のことである．表現学習によって推し進められた言語表現の複雑さを固有次元というレンズを通じて検討することで，十年来の表現学習のモデルの進化によっていかなる意味の軸が追加されてきたのか，大規模言語モデルの次元をどこまで上げれば良いか，といった困難な問題を解き明かすための一歩としたい．言語の複雑性に関する探究は古くから存在する．20世紀の統語理論や形式言語理論においては，オートマトンや文脈自由文法，文脈依存文法，Turing機械などの形式的な道具立てを用いて言語をモデル化しようとする試みがなされ，Chomsky階層という概念としてまとめられるに至った1）．また，計算言語学やコーパス言語学の方面においては，Zipfの法則1）特に近年では，文脈自由文法と文脈依存文法の間に位置する弱文脈依存文法が文の統語構造を良くモデル化できるという説が有力視され，組合せ範疇文法[1,2,3]を代表とする弱文脈依存文法を用いた形式的・実験的な検証が21世紀の今日でも盛んに行われている．[4]やHeapsの法則[5]などが知られている．これらの統計的普遍性質は共通して言語コーパスが大きければ大きいほど，そこに出現する語彙(単語の種類数)も無際限に多くなっていくことを示唆しており，言語におけるスケールフリー性として知られている．また計算モデルの観点からの複雑性に関する議論も盛んである．言語データはマルコフ過程程度では到底モデル化できないような非常に長い距離の依存関係を有しているという指摘もある(e.g.,長相関)[6,7]．Pitman-Yor過程に代表されるような，言語を記号の生成過程としてモデル化し，言語と同等の複雑さをもつような生成過程を探求する向きもある[8,9]．エージェント(ロボット)間にゼロからコミュニケーションプロトコルを創発させる記号創発[10]や言語創発[11]も，言語現象を観察する代わりに構成(construct)することを通して言語の複雑性に迫る試みである．さらには，Montagueやその後に続く論理学者たちが行ってきたような形式意味論的アプローチも，Fregeの原理(構成性原理)を前提として，文と意味の関係性に関する考察を重ねてきたという点において，言語の複雑性に関する一連の探究と見做せるかもしれない．本稿では，言語のモデルおよびこれらのモデルが捉えるコーパスの複雑さを，固有次元の観点から明らかにすることを試みる．深層学習の利用が主流となっている近年の自然言語処理では，自然言語文x∈Xは往々にして何らかの(ニューラルネットワーク)モデルfθ:X→Zを用いて表現(representation)z∈Zに変換される．このやり方によって多くの自然言語処理タスクが高い精度で解けていることから，深層学習モデルから得られる文の表現は，自然言語文の持つ様々な意味の情報を適切に保持していると考えられている2）．また通常，表現zは固定次元の実数ベクトル，すなわち連続的な2）特に近年では大規模言語モデル(LLM)の性能向上が目覚ましく，もしかしたら(人類の知識や常識をも含めた)言語の複雑性は高々数十～数百億個程度のパラメータに保存可能なのではないかとさえ思わせるほどである．.量として表されるため，離散シンボル列である生の自然言語文xよりもデータの性質を調べる上で扱いが容易である．以上のような理由から，本稿では，モデルから得られる表現と，表現の複雑さの度合いを自然に測れる固有次元推定という道具を通して，モデルとコーパスの複雑さの問題に迫ってみたい．連続表現の集合の複雑さを表す量のひとつである固有次元の推定方法としては，近年高次元データ解析の文脈[12]でしばしば用いられるTwoNN[13]を採用する．TwoNNはデータ点z,z′間の距離d(z,z′)の情報を必要とするが，表現zは固定次元の実数ベクトルであるから，自然な距離としてEuclidean距離などを考えることができる3）．実験では，(ニューラルネットワーク)モデルとしてGloveやBERT，GPT-2，SimCSEなどの幅広いモデルを用いた．さらに，表現zを介さずに距離を定義できるLevenshtein距離を用いた検証や，単純な単語の頻度情報を並べてベクトルとしただけの表現(Bag-of-Words)をベースラインとして比較した．実験の結果，今回用いたモデルやコーパスにおいては，自然言語文の推定固有次元は数～十数程度であることが明らかになった．