依存関係の大きさは意味の関連性を表す

単語ベクトルはSkip-gramwithNegativeSam-pling(SGNS)[1]のようなシンプルなモデルで得られるものから，複雑なニューラルネットワークに基づく言語モデル[2,3,4,5]の内部表現まで，言語の意味理解と表現において重要な役割を果たしている．しかし高次元空間においてこれらのベクトルがどのように言葉の意味を表現しているのか解釈するのは難しく，様々な議論がされている．単語ベクトルが高次元空間でどのように意味を表現しているのかを解釈する手段として独立成分分析(ICA)[6]を用いることができる[7,8]．ICAはデータを線形変換して可能な限りデータを独立に表現するような座標軸を見つける手法である．ICAを単語ベクトルに適用して得られる各座標軸は，成分値が大きな単語によって解釈することができる．現実のデータにICAを適用すると，得られる成分同士は互いに無相関であるが独立ではなく，成分間には依存関係があることが知られている[9,10,11]．ICAによって得られる成分間に依存関係が残る主なア(s𝑖,s𝑗)の相関係数E(s𝑖s𝑗)(左)と4次の混合モーメントE(s2𝑖s2𝑗)(右)を表すヒートマップ．左のヒートマップの非対角成分に着目すると，異なる独立成分間の線形相関は0であることがわかる．一方右のヒートマップでは，成分間が独立であるときの値である1を超える成分のペアが多く，これらの成分間には非線形な依存関係が存在することが示唆される．理由の一つは，ICAでは捉えることができない非線形な依存関係が現実のデータには存在し，結果としてICAが仮定するデータの独立性が満たされないことにある．図1に単語ベクトルをICAで変換して得られる成分のペア(s𝑖,s𝑗)の相関係数E(s𝑖s𝑗)と4次の混合モーメントE(s2𝑖s2𝑗)を示す．この図からも，ICAを適用して得られる成分間の相関は0であるものの，これらの成分は実際には独立ではなく非線形な依存関係があることがわかる．本稿では単語ベクトルをICAで変換して得られる成分間の依存関係を３次以上の混合モーメントで定量化し，その依存関係が何を表しているのかを理解することを目標とする．本稿の構成まず2章で単語ベクトルをICAで変換して得られる独立成分が解釈可能であることをみる．続く3章では独立成分間の依存関係を定量化する３次以上の混合モーメントについて述べる．4章では依存関係が大きい成分同士は意味の関連が強いことと，その関連性は依存関係への寄与が大きな単語によって解釈できることを実験で示す．.