(凍結)したまま訓練するモデルであり，主に時系列人間と同様の言語能力を達成するために必要十データを扱う研究分野で用いられてきた[5]．出力分な構造しか持たないニューラル言語モデルはど層以外凍結するという著しい制約は，可能な限りのようなものか？可能な限り簡素なニューラル言シンプルなニューラル言語モデルの出発点とする語モデルを出発点としてこの問いに取り組むべく，のに相応しいと考えられる．実は，NLP分野にお本稿はReservoirComputingの基本的なモデルであるいても，ESN文分類器が十分に強力なベースライEchoStateNetwork（ESN）と呼ばれる回帰型のモデンモデルとなるという指摘[6]や，機械翻訳タスクルを再訪し，ESNやそれを少し拡張した言語モデルやマスク言語モデリングにおいてTransformerの一の能力を検証する．実験の結果，適切な初期化のも部の層を凍結したまま訓練したとしても，通常のとでは埋め込み層と出力層のみ訓練し，回帰行列はTransformerに匹敵する性能が維持されうるという報凍結したとしても統語構造の獲得が損なわれないこ告[7]がある．とが示唆された．実験においては，人間の子どもが13歳までに暴露されるであろう1億単語程度の規模のデータセッ

トを用いてESN言語モデルの訓練・評価を行い，近年，Transformer[1]をベースとする大規模言語訓練後のESN言語モデルの統語構造獲得能力をモデル（LargeLanguageModel;LLM）が，その言語BLiMPデータセット[8]上で評価する．また，元のモデリング性能や汎用性の高さから自然言語処理ESN言語モデルでは性能に限界があることが分かっ（NLP）分野で多大な成功をおさめ注目を集めていたため，出力層と埋め込み層を訓練可能とする場る．その一方で，人間レベルの言語能力を達成する合（ESN+i）についても検証を行った．少なくともための必要十分条件は何だったのかという科学的な我々の実験設定のもとでは，ESN+i言語モデルは，問いに対して、この成功単体は答えておらず，例え同データで訓練したTransformer言語モデルと同等ば，Transformerほど複雑なニューラルネットワークかそれ以上の統語獲得能力を示すことが明らかになアーキテクチャを使う必要は必ずしもなかったのかり，テキストに基づく言語モデルの統語獲得においもしれない．て，（i）RNNのような再帰性，（ii）隠れ状態が無秩本稿では，そのような問題意識から，考え得る限序に変化しないよう適切に過去の情報を忘却する性り最もシンプルな回帰型のモデルとして，Reservoir質（EchoStateProperty;ESP）をもつように適切に回Computing分野の基本的なモデルであるEchoState帰行列を初期化すること，（iii）単語埋め込みの学習Network（ESN）[2,3,4]を再訪する．ESNに基づくが少なくとも必要であり，RNN回帰行列の訓練は言語モデルや，それを少し拡張したモデルがどの程必ずしも必要条件ではないことが示唆される．度の言語モデリング能力や統語構造獲得能力を有なお，今回の設定で最も優れた性能を発揮したのするのかを検証し，今後の模索の足がかりとするこはLSTMであり，ゲート機構の必要性なども今後とを狙う．ESNは，回帰型ニューラルネットワーク検討に値するだろう．また今回，ESNおよびESN+i（RNN）の一種である．SimpleRNN(SRN)に近い構において様々なモデルサイズを試したが，性能に関造をもち，特にランダム初期化したあと出力層以外して明確なスケーリング則を確認することはでき∗MBZUAI滞在中の成果．なかった．データセット規模やエポック数の制約の―1874―.影響も有り得るが，初期化手順やアーキテクチャ，モダリティに改善の余地が残っている可能性もある．例えば，回帰行列に脳のようなsmall-world性やscale-free性をもたせる[9,10]，層を重ねて深いネットワークにする[11]，マルチモーダルなデータを用いるなどの改善方法があり得る．