これまで，Transformerの軽量化に関して様々な近年，Transformerは多様なNLPタスクで卓越した手法が提案されてきたが，多層構造の大部分を性能を示す一方，大規模化による計算資源コストの積極的に固定して学習コストを削減するアイデ増大が深刻な課題となっている．本研究では，リザアはあまり注目されてこなかった．近年提案さバー計算の仕組みに着想し，TransformerのEncoderれたReservoirTransformer[5]は，一部の層をランダをなすEncoderブロックの大部分を固定層（リザムに初期化し，固定して利用するリザバー計算バー層），残余ブロックを学習層とすると同時に，固（ReservoirComputing）[6]の考え方を導入すること定層・学習層それぞれにおける層間完全パラメタ共で，性能を保ったままパラメタ更新量を大幅に削減有を組み合わせた軽量アーキテクチャを提案する．している．標準的なリザバー計算では単一固定層に提案手法により，学習パラメタと更新コストを大幅よる高次元非線形変換を再帰的に利用することで高に削減した．独英翻訳タスクでは，15%超のパラメ度な時系列処理を行うが，ReservoirTransformerにおタ削減にもかかわらずBLEUスコアを約28に維持いては層の再帰的利用によるパラメータ数の倹約とし，学習収束レートをを考慮した性能指標においていったリザバー計算本来の強みが十分に活かされても従来手法を上回る性能を示した．さらに，本アーいない．キテクチャは離散力学系として解釈でき，高次元非本研究では，TransformerのEncoder部に大量のR線形変換の再帰的適用によって翻訳に有効な特徴が層（固定層）を導入し，層間パラメタ共有を組み合獲得される可能性を示唆する．本成果は，NLPと非わせることでさらなる軽量化を図る．この設計は線形ダイナミクスの結節点として新たな視点を提供ALBERT[11]が示した層間共有の有効性と，リザするものであり，言語モデルにおける情報表現の理バー計算にみられる再帰性を同時に活用するもので解や省メモリ設計に寄与することが期待される．あり，固定層と学習層を交互に反復適用する自律離散力学系として捉えられる．

手法の検証には独英翻訳タスクを用い，BLEU近年，自然言語処理（NLP）分野において，Trans-スコアなどを指標にVanillaTransformerやReservoirformer[1]は機械翻訳や言語モデル，文生成など数多Transformerと比較する．結果として，最大15%超くのタスクで顕著な成果を示している．一方で，近のパラメタ削減とBLEU≈28の精度維持が同時に可年の大規模化傾向[2,3]により，モデルのパラメタ能であり，パラメタ共有層の増加により学習の立ち数は数十億を超える例も珍しくなく，膨大な学習・上がりに遅れを生じるが，最終性能には大きく影響推論コストが問題視されてきた．とりわけ研究開発しないことが示された．提案アーキテクチャの離散コストや環境負荷の増大はGreenAI[4]の観点から力学系としての特徴づけを行うこと（例えば，カオも深刻であり，軽量かつ効率的なTransformerの設ス性の役割の理解[7]）は，NLPを非線形ダイナミ―3103―.クスの視点から理解することや，よりよい学習器の設計につながると考えられる．