リザバー計算に触発された軽量型Transformerの提案：パラメタ共有を用いた計算の効率化と性能評価

これまで，Transformerの軽量化に関して様々な近年，Transformerは多様なNLPタスクで卓越した手法が提案されてきたが，多層構造の大部分を性能を示す一方，大規模化による計算資源コストの積極的に固定して学習コストを削減するアイデ増大が深刻な課題となっている．本研究では，リザアはあまり注目されてこなかった．近年提案さバー計算の仕組みに着想し，TransformerのEncoderれたReservoirTransformer[5]は，一部の層をランダをなすEncoderブロックの大部分を固定層（リザムに初期化し，固定して利用するリザバー計算バー層），残余ブロックを学習層とすると同時に，固（ReservoirComputing）[6]の考え方を導入すること定層・学習層それぞれにおける層間完全パラメタ共で，性能を保ったままパラメタ更新量を大幅に削減有を組み合わせた軽量アーキテクチャを提案する．している．標準的なリザバー計算では単一固定層に提案手法により，学習パラメタと更新コストを大幅よる高次元非線形変換を再帰的に利用することで高に削減した．独英翻訳タスクでは，15%超のパラメ度な時系列処理を行うが，ReservoirTransformerにおタ削減にもかかわらずBLEUスコアを約28に維持いては層の再帰的利用によるパラメータ数の倹約とし，学習収束レートをを考慮した性能指標においていったリザバー計算本来の強みが十分に活かされても従来手法を上回る性能を示した．さらに，本アーいない．キテクチャは離散力学系として解釈でき，高次元非本研究では，TransformerのEncoder部に大量のR線形変換の再帰的適用によって翻訳に有効な特徴が層（固定層）を導入し，層間パラメタ共有を組み合獲得される可能性を示唆する．本成果は，NLPと非わせることでさらなる軽量化を図る．この設計は線形ダイナミクスの結節点として新たな視点を提供ALBERT[11]が示した層間共有の有効性と，リザするものであり，言語モデルにおける情報表現の理バー計算にみられる再帰性を同時に活用するもので解や省メモリ設計に寄与することが期待される．あり，固定層と学習層を交互に反復適用する自律離散力学系として捉えられる．