RNNの回帰行列を凍結しても統語構造の獲得は損なわれない

(凍結)したまま訓練するモデルであり，主に時系列人間と同様の言語能力を達成するために必要十データを扱う研究分野で用いられてきた[5]．出力分な構造しか持たないニューラル言語モデルはど層以外凍結するという著しい制約は，可能な限りのようなものか？可能な限り簡素なニューラル言シンプルなニューラル言語モデルの出発点とする語モデルを出発点としてこの問いに取り組むべく，のに相応しいと考えられる．実は，NLP分野にお本稿はReservoirComputingの基本的なモデルであるいても，ESN文分類器が十分に強力なベースライEchoStateNetwork（ESN）と呼ばれる回帰型のモデンモデルとなるという指摘[6]や，機械翻訳タスクルを再訪し，ESNやそれを少し拡張した言語モデルやマスク言語モデリングにおいてTransformerの一の能力を検証する．実験の結果，適切な初期化のも部の層を凍結したまま訓練したとしても，通常のとでは埋め込み層と出力層のみ訓練し，回帰行列はTransformerに匹敵する性能が維持されうるという報凍結したとしても統語構造の獲得が損なわれないこ告[7]がある．とが示唆された．実験においては，人間の子どもが13歳までに暴露されるであろう1億単語程度の規模のデータセッ