EchoStateNetworkを用いたシグナリングゲーム—カオスの縁において生じる言語の性質について—

大規模言語モデルが実社会に多大な影響を及ぼす現代にあっても，言語そのものの起源については依然多くの謎が残されている．創発コミュニケーションないし言語創発と呼ばれる分野は，シミュレーションにおいてエージェント間のコミュニケーションの学習を通じて生じるプロトコル（創発言語）を研究対象とし[1,2,3]，構成論的アプローチによる言語の成り立ちの解明を目指す．近年の言語創発研究においては，深層RNNがしばしば用いられる．創発言語の性質はRNNの帰納バイアスに依存するが，裏を返せばどのような帰納バイアスがあれば自然言語らしさが生じるのかを問うことが重要になる．本稿では，“言語はカオスの縁で生じる”という作業仮説の下，複雑系科学の観点からエージェントのダイナミクスを制御し，特にエージェントがカオスの縁にあるときの創発言語の性質に着目する．エージェントを入力{𝒖𝑡}𝑡を受けながら状態𝒙を更新していく力学系𝒙𝑡=𝑭(𝒙𝑡−1,𝒖𝑡)とみなしたとき1），𝑭は過去の情報の違いを縮小するように状態を更新してあまり記憶力を持たないかもしれないし（秩序相），逆に過去の僅かな情報の違いを拡大して無秩序な挙動を示すかもしれない（カオス相）．力学系がそれ1）RNNはこの想定に問題なく当てはまる．らの中間的な相（カオスの縁）にあるとき，創発言語はより言語らしい性質を得るのではないか？というのが本稿の想定である．カオスの縁は，複雑系科学において知能や生命の創発に関わる重要な領域であると考えられてきた[4,5]．自然言語は秩序的力学系の示しがちな周期的な現象でもないし，カオス的力学系の示しがちな無秩序な現象でもない．さらに，自然言語にはZipf則[6]やHeaps則[7]，Taylor則[8]など興味深い統計的普遍性質があり，これは自然言語が興味深い複雑系であることを示唆している．このため，本稿の作業仮説はある程度自然なものといえよう．実は，最大Lyapunov指数（MLE）𝜆max[9,10]を用いることで力学系の“カオス度合い”を測ることができる．𝜆max<0で秩序相，𝜆max>0でカオス相，𝜆max≈0でカオスの縁を意味する．深層RNNも力学系なので𝜆maxを定義できるが，誤差逆伝播法により𝜆maxは学習とともに変化する．𝜆maxが一定でなければ，作業仮説に対する明瞭な結論を得ることは難しい（𝜆maxの平均が重要なのか，最大値・最小値が重要なのか，そのほかの代表値に着目すればよいのか，判然としない）．そこで，本稿ではEchoStateNetwork（ESN）[11,12,13]をエージェントのアーキテクチャとする．ESNはSimpleRNNと同様の構造をもつが，出力行列𝑾out以外のパラメータはランダム初期化のまま固定するという著しい制約をもつため，𝜆maxが変化しない2）．実験において，ESNエージェントを伴うシグナリングゲームにおいてコミュニケーションの学習をさせた結果，𝜆max≈0においていくつかの言語らしさの指標がピークに達した．