構成性の度合いはカオスの縁で最も高くなる—ESNモデルとTopSim指標を用いたケーススタディ—

大規模言語モデル（LLM）が躍進している裏で，言語創発（LanguageEmergence）又は創発コミュニケーション（EmergentCommunication;EmCom,EC）と呼ばれる，計算言語学や進化言語学の派生分野が一部で注目を集めている[1]（以降ではECと呼ぶことにする）．ECは，エージェント同士でコミュニケーションをさせたときに生じる言語のようなプロトコル（創発言語）を研究対象とし，これが人間の言語らしくなる条件を探求することによって間接的に言語のメカニズムの解明を志す—いわゆる構成論的アプローチをとる分野である．とりわけ，近年の国内コミュティにおいては，記号創発ロボティクス（SymbolEmergenceinRobotics）との融合を通して生成的ECとでも言うべき新たな潮流が生まれつつある[2,3,4]．生成的ECは，これまで主にマルチエージェント強化学習やゲーム理論の範疇として扱われてきたECの諸問題を，おおよそ等価なベイズ的学習・推論として再解釈することによって『言語とコミュニケーションの創発』の問題をより一般的な枠組みから捉え直そうという構想・立場である．あるいは，ECとはエージェントが協調して言語という表現を作る表現学習であって，そのうち特にベイズ的なアプローチをとる立場とも言える1）．生成的ECの構想の下，ベイジアンネットワークのようなフレームワークでECの問題を捉え直すことには一定の意義がある一方で，計算言語学において伝統的に研究対象とされてきた構成性（Compositionality）のような性質を説明するにはやや不十分に思われる．構成性は明らかに帰納バイアスに関わる問題であり，その性質は具体的なモデルの定義に依存するため，グラフィカルモデル上の頂点や矢印の類では（少なくとも簡潔には）表せないだろう．ベイズ的なアプローチをとるという基本的な方針からはそれほど乖離することなく，この問題に対する良い道具立てを用意することはできないだろうか？ここで，従来の意味でのECや，それに関連する進化言語学の先行研究に視点を戻してみると，言語において構成性が創発するのは「構成性の低い言語（らしきもの）に比べて学習しやすい（適合しやすく汎化もしやすい）から」だと考えられているようである．有名な例としてIteratedLearningModel（ILM）[6,7]という，親世代から子世代への言語継承を考慮した言語創発モデルがある．ILMの枠組みでは，言語を継承する過程がボトルネックとなり，言語はそのボトルネックを潜り抜けることができるように“進化”していく（文化進化）．文化進化の帰結として，言語の構成性が向上していくことが人間やLSTMエージェントを用いた実験で確認されている[8,9]（実験記号論）．しかしながら，ここでもやはり構成性は帰納バイアスに依存した性質であることに注意する必要がある．即ち，高い構成性をもつ1）谷口[5]はこの立場に立脚し，言語とは感覚運動機能を有する人間の集団が作る世界モデルであり，LLMはこの世界モデルの模倣しているという仮説を唱えている（CPC仮説）．.言語がそうでない言語に比べて（我々の直感においても実験記号論の結果においても）学習しやすいのは，文化進化よりも遥かに緩やかで長い時間スケールにおいて起こってきた人類の進化（生物進化）の帰結としてもたらされた特定の帰納バイアスにおいて偶然そうなのであって，必然的にもたらされたものではないかもしれない．構成的な言語で思考する我々人類には最早想像もつかない帰納バイアスにおいて，想像もつかない記号体系が学習しやすいと見做されることもあり得たかもしれない．これに対して適切に反論するためには，生物進化の帰結として必然的にもたらされる帰納バイアス（パラメタ領域）は如何なるものであるのか？その帰納バイアスのもとで本当に構成性は最適であり得るのか？という問いに答えなければならない．また，近年のECの発展は深層学習に依るところが大きい[10]．深層学習はエージェントの学習能力を劇的に向上させ，面白い実験結果をもたらしてくれるようになった一方で，複雑な非線形性によってその解釈は難しく，帰納バイアスと構成性についての議論を一層困難なものにしている．以上のような背景と問題意識から，理論的に扱いやすく，“技巧倒れ”しておらず（下手に複雑化することによって解釈性や認知的妥当性を損なってしまうことなく），生物進化の帰結に関わる議論をするのに必要な知見がある程度蓄積しているものであって（例えば，進化計算による超パラメタ探索の結果どのような領域に収斂しやすそうかなどの議論ができると良い），一方である程度意味のある議論ができるように最低限の学習能力を備えたモデルを人工エージェントとして採用し，議論をすることが望ましい．本稿では，そのようなモデルとしてEchoStateNetwork（ESN）[11,12,13]を採用する．ESNは，回帰型ニューラルネットワーク（RNN）の一種であり，所謂SimpleRNNと同様の構造をもち，特に線形出力層以外をランダム初期化時の値のまま固定（凍結）したモデルである．著しい制約がある一方，（直感に反して）それなりの学習性能をもつことが時系列データを扱う研究で知られている[14]．興味深いことに，秩序相とカオス相と呼ばれる超パラメタ領域の間にある極々狭い領域—カオスの縁—において，ESNは特に高い性能を発揮することが知られている[15]．カオスの縁は，複雑系科学や人工生命，生命進化の文脈で古くから用いられ，カオスの縁こそが知能や生命（らしさ）の創発する領域なのではないかと目されてきた[16]．従って，この性質は生物進化の収斂先を議論するのに相応しいといえよう．また，ESNはガウス過程（GP）回帰モデルとして用いることもできるため，ベイズ的な立場をとる生成的ECの価値観ともそれほど乖離しない．実験においては，構成性の度合いを測るための指標としてTopographicSimilarity（TopSim）[17]を採用することとした．人工的に構築したデータセットに対し，ESNに基づくGP回帰モデルを適用した結果，カオスの縁においてモデルのTopSimが特に高くなることが明らかになった．