RNNの回帰行列を凍結しても統語構造の獲得は損なわれない

トを用いてESN言語モデルの訓練・評価を行い，近年，Transformer[1]をベースとする大規模言語訓練後のESN言語モデルの統語構造獲得能力をモデル（LargeLanguageModel;LLM）が，その言語BLiMPデータセット[8]上で評価する．また，元のモデリング性能や汎用性の高さから自然言語処理ESN言語モデルでは性能に限界があることが分かっ（NLP）分野で多大な成功をおさめ注目を集めていたため，出力層と埋め込み層を訓練可能とする場る．その一方で，人間レベルの言語能力を達成する合（ESN+i）についても検証を行った．少なくともための必要十分条件は何だったのかという科学的な我々の実験設定のもとでは，ESN+i言語モデルは，問いに対して、この成功単体は答えておらず，例え同データで訓練したTransformer言語モデルと同等ば，Transformerほど複雑なニューラルネットワークかそれ以上の統語獲得能力を示すことが明らかになアーキテクチャを使う必要は必ずしもなかったのかり，テキストに基づく言語モデルの統語獲得においもしれない．て，（i）RNNのような再帰性，（ii）隠れ状態が無秩本稿では，そのような問題意識から，考え得る限序に変化しないよう適切に過去の情報を忘却する性り最もシンプルな回帰型のモデルとして，Reservoir質（EchoStateProperty;ESP）をもつように適切に回Computing分野の基本的なモデルであるEchoState帰行列を初期化すること，（iii）単語埋め込みの学習Network（ESN）[2,3,4]を再訪する．ESNに基づくが少なくとも必要であり，RNN回帰行列の訓練は言語モデルや，それを少し拡張したモデルがどの程必ずしも必要条件ではないことが示唆される．度の言語モデリング能力や統語構造獲得能力を有なお，今回の設定で最も優れた性能を発揮したのするのかを検証し，今後の模索の足がかりとするこはLSTMであり，ゲート機構の必要性なども今後とを狙う．ESNは，回帰型ニューラルネットワーク検討に値するだろう．また今回，ESNおよびESN+i（RNN）の一種である．SimpleRNN(SRN)に近い構において様々なモデルサイズを試したが，性能に関造をもち，特にランダム初期化したあと出力層以外して明確なスケーリング則を確認することはでき∗MBZUAI滞在中の成果．なかった．データセット規模やエポック数の制約の―1874―.影響も有り得るが，初期化手順やアーキテクチャ，モダリティに改善の余地が残っている可能性もある．例えば，回帰行列に脳のようなsmall-world性やscale-free性をもたせる[9,10]，層を重ねて深いネットワークにする[11]，マルチモーダルなデータを用いるなどの改善方法があり得る．