自然言語における冪則と統語構造の関係の再考

自然言語の系列において，要素間の相関は距離について冪的に減衰することが知られている．例えば，系列上の2つの文字の間の相関は，両者の間にある文字の数について冪的に減衰する．このような振る舞いは，文字，音，単語といった要素のうちいずれに注目するか，コーパスや言語としてなにを選択するか，相関の定量としてどのような指標を用いるかなどによらず普遍的に見られることが，先行研究により確かめられている[1,2,3,4,5,6,7,8,9,10]．多くの自然現象で相関は漸近的には指数関数的に減衰する．そのような場合，相関がどれくらいの距離まで働くかを表す典型的スケールが定義できる．それに対し，冪的減衰は指数関数的減衰よりも質的に遅い．また，冪関数は指数関数とは異なり，スケール変換に対して不変である．これらのことから，相関の冪的減衰は，相関の典型的スケールが発散していることを意味する[11]．直観的には，系列中のある要素を変更すると，その影響がどれだけ離れた要素にも及び得るということである．LinとTegmark[1]は，このような特徴的現象が自然言語において普遍的に見られることを，文の背後にある階層的な統語構造と結びつけて理解することを提案している．統語構造を構文木などの木構造で表すことを考える（図1）．統語構造の深さに左右で大きな偏りがないと仮定する．さらに，統語構造の各ノードが持つ子の数の典型的な値を𝑐とし，注目する2つの葉ノードから共通の先祖ノードまでの距離を𝑑とする．このとき，統語構造上での2つの葉ノード間の距離𝑟strはおよそ2𝑑である．一方，文上での距離は𝑟seq∼𝑐𝑑である．よって，相関𝐶が統語構造上での距離について𝐶∼exp(−𝑟str/𝜉)のように指数関数的に減衰するならば，相関の文上での距離への依存性は𝐶∼exp(−2𝑑/𝜉)∼𝑐−2𝑑/(𝜉ln𝑐)∼𝑟−2/(𝜉ln𝑐)seqのように冪的になる．また，同研究は，統語構造を単純化した数理モデルとして，文脈自由文法（context-freegrmmar,CFG）を確率的に拡張した確率文脈自由文法（probabilisticcontext-freegrmmar,PCFG）を取り上げ，このモデルで，仮説と同様，相関が木構造上で指数関数的に，葉ノード上で冪的に減衰することを証明した．この仮説を踏まえると，ある系列において相関が冪的に減衰することは，その系列の背後に階層構造が存在することの証拠と解釈できる．実際，そのような解釈のもと，多くの先行研究が，言語獲得の途距離𝑟seqと構造上での距離𝑟str．図は各ノードが2つの子ノードを持ち(𝑐=2)，葉ノードの深さが全て揃っている場合を示している．.上にある幼児の発話，そして動物の信号や行動などについて相関を測定し，その減衰が冪的かどうかに基づいてそれらが階層構造を持つかどうか検証している[6,12,13,14,15]．しかし，上述の仮説が妥当であるためには，(i)相関が統語構造上での距離について指数関数的に減衰すること，そして(ii)文上での距離が統語構造上での距離について指数関数的に増加することという