単語共起テンソルに内在する代数的不変構造–言語の対称性とPMIの数理構造の非自明な対応–

1.1線型構造仮説と単語共起分布の構造単語分散表現に意味的関係が線型演算として現れる現象に対して，表現空間中の線型構造を仮定する一連の研究（表現構造仮説[1,2,3]）は，生成モデルの提案など，その数理的機序の解明を試みている．近年でも，大規模言語モデルの内部状態に線型的な性質が備わるとする線型表現仮説（LinearRepresentationHypothesis）が研究されている[4,5]．単語分散表現の解釈性研究の先駆けである[6]は，Word2Vec[7]が単語共起頻度のPMI（PointwiseMutualInformation）行列の分解であることを示した．PMIは多様な意味タスクで高い有効性を示すことが知られており[8,9]，分散表現の持つ線形性が，表現の学習モデルではなく，入力統計である単語共起分布の構造的性質に由来することを示唆する．1.2意味構造と数理構造の非自明な対応著者らは，単語共起行列の数理構造の解明を試みた研究において[10]，PMI行列より，近似的にランク1となる部分行列を抽出すると，意味的に解釈の射影において保存されていることを実証する．可能な単語群（概念）に対応することを明らかにした．すなわち，一つの単語の意味がその共起分布で表現される（分布仮説）だけではなく，単語と単語の意味的関係と，その部分行列の数理構造に対応が認められたのである．言語におけるこうした構造的対応は非自明であり，特に，ランク1となる部分行列の存在が，PMI行列の分解として得られる単語分散表現に低ランク構造すなわち線型的な表現空間の構造をもたらしている可能性が考えられる．1.3本研究：不変制約の周辺化とPMI本研究は，PMI行列の局所的ランク1構造が文生成系における代数的制約の射影であることを実証する．先行研究[11]での提案言語モデルに基づき，ランク１構造が，高階テンソル内の不変構造（消失二項式）が周辺化を経て，保存されたものであるとの仮説を立て，3階テンソルの分析によりこれを検証する．具体的には，共起行列から抽出したランク1構造をシードに3階部分テンソルを構築し，理論が予測する代数的制約が保持されているかを確認することで，その継承メカニズムを実証する（図1）．本研究の核心は，PMIを単なる二語統計ではなく，高次の組合せ的制約が可視化された射影像と捉え直す点にある．この視点の転換により，PMIの局所構造Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).何的には，確率空間にSegre多様体と呼ばれる低次元の幾何構造をなす）．式の形が2×2の小行列式の"푝푖1,푗1,푘푝푖1,푗2,푘푝푖2,푗1,푘푝푖2,푗2,푘#形（2-minor），すなわち，det=0と表されることに留意すれば，この代数的制約は確率テンソル中の局所的なランク1構造である．3数値分析3.1実験方法目的先行研究[10]で抽出した単語共起行列における局所的なランク1構造が，高次の局所的なランク1部分テンソルに由来するかを実データに基づき検証する．また，抽出された構造が言語的に解釈可能な意味構造に対応するかを明らかにする．手順まず，頻度上位10,000語を対象に，窓幅푤=5で算出したPPMI行列푋∈ℝ푛×푛+を作成する．次に，局所的なランク1構造を抽出するため，スパース制約を課した再帰的な非負行列因子分解を適用する．残差行列푋(푚)（ただし푋(1)=푋）に対し，ランク푟=100の分解푋(푚)≈푊퐻⊤を行い，次回の入力として푋(푚+1)=푋(푚)−푊퐻⊤を求める操作を10回繰り返す．퐿1ペナルティを5×10−4から10−4まで段階的に減衰させる．分解された各基底ベクトルにおいて，成分値の上位10位以内かつ累積寄与率80%を満たす単語集合(푈푘,푉푘)を特定し，最大10×10のランク1部分行列を構成する（図1上段）．得られた1,000組の単語集合ペア(푈푘,푉푘)に対し，それらと同一文脈（푤=5）で共起する第3の単語集合푊푘をカウントする．具体的には，ペア(푢,푣)∈푈푘×푉푘と共起する単語のうち，出現頻度上位100単語（または累積頻度80%）の集合を푊푘とし，10×10×100のテンソルを構築する（図1下段）．データおよび評価指標コーパスにはEnglishWikipediadump(20171001)を使用した（約25.8億語）2）．評価として，構成単語群の解釈可能性に関する定性分析に加え，不変条件である2-minor（式(7)）の分布，およびスライス行列間での構成ベクトルの方向の一致度を用いた定量評価を行う．3.2定性分析結果抽出された3階部分テンソルを構成する上位単語群の例を表1に示す．単語群(푈푘,푉푘)はPPMI行列の局所的なランク1成分であり，先行研究[10]と2）https://dumps.wikimedia.org/mowiki/20171001/同様，意味的に解釈可能である．また，単語集合同士の関係はSyntagma（統合的関係）とParadigms（連合的関係）の二種類に大別され3），それぞれ三つ組(푈푘,푉푘,푊푘)が意味的・統語的な関係を示唆する．Syntagmaの例として，補文構造(ID127)や格構造(ID311)を反映した単語群が抽出されている．これは，動詞の格関係や選択制限といった意味を反映した統語的制約が，代数的制約の結果として局所的なランク1構造（2-minorの消失）を形成していることを示唆する，一方，単語集合が重複するParadigmsの例(ID004や502)では，追加的な푊푘の集合も多くの場合重複し，かつ同じ意味範疇に属している．これは，意味的に置換可能な単語群が，数理的な対称性を反映した代数的制約として捉えられていることを示す．統語的な接続関係と意味的な類似性という異なる言語的性質のいずれもが共通の数理構造に帰着する点は興味深く，ランク1構造が確率テンソル中に広く存在する可能性を示す．3.3定量分析結果代数的制約の充足度を含む3階テンソルを푊푘の各単語でスライスした行列を分析している．各行列のランク1純度を示すSigmaRatio（第1特異値の全特異値の総和に対する比率）と，その全ての2-minor（正規化した上で平均）の分布の関係を示す．2-minorの分布はSigmaRatioに対して逆U字型の傾向を示しており，SigmaRatioが1に近い領域では式(7)の消失が不変構造の存在を示す．ランク1の行列では全ての小行列式はゼロとなることは線形代数的には当然の帰結ではあるが，実データにおいて特定の領域でこの制約が厳密に成立していることが確認された．3）二つの集合間のJaccard係数が0.5以上か以下で分類．org/licenses/by/4.0/).ID푘関係性集合푈푘の上位単語集合푉푘の上位単語集合푊푘の上位単語127Syntagmamarry,sell,join,...decided,persuaded,tried,...to,him,but,...219Syntagmanegotiations,feud,excavations,...subsequent,lasted,lengthy,...during,after,the,...311Syntagmacriticized,impressed,warned,...strongly,readers,historians...that,some,many,...004Paradigmtechnique,methods,modeling,...technique,methods,modeling,...analysis,testing,methods,502Paradigmcontract,deal,sponsorship,...contract,deal,sponsorship,...contract,deal,signed,...周辺化における構造保存性と，周辺化された共起行列（グローバル）の部分行列および3階テンソルの各スライス行列を構成するベクトルの類似度（CosineSimilarity）の関係を表わす．．周辺化後の行列がランク1に近いほど，その3階テンソルのスライス行列も同様にランク1であり，かつその向きが一致していることがわかる．これは共起行列上に観測される局所的なランク1構造が，周辺化の際の相殺ではなく，文の生成構造における代数的関係を保存していることを示唆する．周辺化後のランク1性と解釈可能性が対応しているという定性的観察と整合しており，PMIを高次構造の射影像として捉える本研究の視点の妥当性を支持するものである．4考察と結論4.1分析結果からの洞察本研究の数値分析により，PMI行列に観測される局所的なランク1構造は，単なる統計上のアーティファクトではなく，統語・意味的な対称性が高次元の確率空間において不変な構造を作り，それが周辺化を経て保存された代数的帰結である可能性が示された．特に図4で示された周辺化後の行列とテンソルの各スライス行列間の方向の一致は，高次元確率空間に内在する数理構造が射影後もその特性を維持していることを示唆する．PMIを単なる二語間の共起統計としてではなく，言語の組み合わせ構造の数理的性質を反映した射影像として捉え直す本研究の視点の妥当性を強く支持するものである．4.2先行研究三単語以上の共起分布を分析した初期の先行研究として，[14]は，構文解析済みコーパスから得られた(푠,푣,표)の三つ組共起確率PMIを成分とするテンソルに対して，NMFのテンソル版であるPARAFAC(ParallelFactorAnalysis)を適用して，本研究と同様解釈可能な三つ組を抽出している．[15]は複数のテンソル解析手法を比較してPARAFACの優位性を確認している．[16]は，[1]の生成モデルをテンソルへ拡張しているほか，[17]は푛階テンソル言語モデルを再帰的に分解する手法を提案している．テンソルを扱う先行研究の多くが用いているCP分解やTucker分解[18]は，行列分解におけるSVDやNMFのように，テンソル全体を一体のモノリシックな構造として扱い一括して分解する．これに対して，本研究の提案理論が示唆するのは，テンソル中に現れる統計的な規則性は，局所的な組み合わせ構造を示すことであり，大域的な分解手法では効果的に抽出することが困難である．共起行列やPMI行列を分解して得られる局所的なランク1成分をシードとして高次テンソルを探索的に再構成する本アプローチは，大域的手法では見逃される代数的な不変構造を厳密に特定することを可能にする．4.3結び本研究は，PMI行列の局所ランク1構造を言語の構造に由来する対称性の代数的帰結と捉え，その理論的・実証的基盤を提供した．3階までの検証を拡張し，高次の不変構造を検証することは今後の重要課題である．本知見は，分散表現の線形構造が言語データの代数的制約に起因することを示すとともに，同定される不変構造を帰納バイアスとした学習手法を通じて，大規模言語モデルの効率的訓練への道筋をも拓くものである．org/licenses/by/4.0/).