入力に対する周期的記憶を持つリザーバコンピューティングの確立
Reservoir Computing with Periodic Memory for Inputs

１．研究の目的
本研究では、通信のダイナミクスにおいて、通信途中で出力に現れない内部の隠れ状態を陽に考慮できるリザーバコンピューティングのネットワーク・ニューロンダイナミクスモデルを開発する。また、そのモデルが有する特性を解析し、従来のリザーバコンピューティングより長期の記憶容量を有することを明らかにする。最後に、その特性を最大限に活かせる実問題と小林 泰介 ( Taisuke KOBAYASHI, Ph. D.)

して、人とロボットの周期的なインタラクションを対国立情報学研究所 助教

象に、人の動作予測およびロボットの模倣を達成する。

(Assistant Professor, National Institute of Informatics)
IEEE 日本ロボット学会 計測自動制御学会
受賞：第 26 回ロボティクスシンポジア最優秀賞 (2021 年) 第 18 回システムインテグレーション部門講演会 SI2017 優秀講演賞 ( 2017 年) 平成
28 年度名古屋大学学術奨励賞 (2016 年) 他
研究専門分野：ロボティクス 機械学習

２．研究の背景
ロボットが人と協働するにあたり、人の動作を長期的に且つ正確に予測することは不可欠である。しかし、人の動作パターンを事前に数理的に表してモデル化することは困難である。そのため、多くの研究では、こういった問題をブラックボックスなシステムが生成する時系列データを頼りに、データ駆動的に予測器を学あらまし習するものとして扱う。

情報化社会の発展が加速し続けている近年では、深層学習を始めとしたニューラルネットワークによる大この学習にあたり、近年発展を遂げている深層学習

規模データに対する入出力関係の学習が可能になっての一種とされる再帰型ニューラルネットワーク[1]がきている。その一つとして、時間発展する時系列デー広く用いられている。これは、ニューラルネットワー

タの将来を予測するリザーバコンピューティングは株クにおける各層が再帰結合、すなわち自身の出力を次価や人の行動など、多岐に渡る問題の予測に利用され時刻における入力として扱う、を有するものであり、ている。このリザーバコンピューティングが予測可能

これが入力に応じて時間発展する内部状態のダイナミな時系列データの長さは、記憶容量という形で内部のクスを与える。一般的な再帰型ニューラルネットワー

ネットワークやニューロンの構造に由来するダイナミクはその再帰結合部分や各ニューロンのダイナミクスクスによって定められる。ただし、ダイナミクスを適を含めて勾配法を基に最適化するが、これは計算コス切に設計したからといって何処までも将来を予測できトの増大が懸念され、大規模化に不向きとされる。まる訳ではなく、内部状態が発散しない範囲という限りた、ダイナミクスの設計にも予測性能が大きく依存すがある。つまり、リザーバコンピューティングの安定る中で、それをある程度学習可能としてしまうと、性性と記憶容量にはトレードオフの関係があり、単純に能への寄与が学習由来か設計由来か切り離せず、改善はこれを解消して安定かつ超長期記憶容量を持つリザの糸口を見失ってしまう。

ーバコンピューティングを設計できない。そこで本研

これに対し、リザーバコンピューティング[2]と称す

究では、これまでのリザーバコンピューティングが見る再帰型ニューラルネットワークの特殊形が注目を集落としてきた通信のダイナミクスに注目し、トレードめている。これは、ダイナミクス（に関与する重み行オフの解消をする新しいリザーバコンピューティング

列などのパラメータ）自体は初期にランダムに定めたの開発を目指す。

まま固定し、あくまでそこから出力されてきた内部状態を特徴量とした線形回帰により予測を可能とする（図 1 参照）。このため、複雑な勾配が無視されること
1TELECOM FRONTIER No.116 2022 SUMMER

入力に対する周期的記憶を持つリザーバコンピューティングの確立
Reservoir Computing with Periodic Memory for Inputs

でネットワークの大規模化が容易となり、それに伴いなく、通信途中の隠れ状態が潜んでいると仮定する。

ランダムに初期化されたネットワークが設計に依存す

この仮定により、従来では内部状態が発散して不安定る特性を統計的に安定して発揮できる。また、学習自にならないよう、それが指数減衰するように設計する体が線形回帰に帰着されることから、従来のものより必要があったのに対し、提案モデルでは出力される内も高速に学習可能とされる。

部状態を一旦隠れ状態へシフトさせ、時間が経過して落ち着いてから再度出力するだけで、その発散を抑制できるはずである。また、隠れ状態として過去の入力を退避・保存しておけることから、より長期の記憶容量を獲得できることにも繋がる。
この概念を実現するにあたり、本研究では複素ニューラルネットワーク[5]に注目する。これは、一般的なニューラルネットワークが内部の重み行列や出力などを全て実数空間で定義するのに対し、それらを複素空間上へ拡張するものである。これをリザーバコンピューティングにも援用すれば、内部状態は複素数となり、その実数側が出力として観測され、虚数側が内部の隠れ状態として表現できる。また、複素空間では内部状態の振幅を保持したまま、位相だけを回転させることで、過去の入力を損なうことなく、周期的に内部状態を出力可能となる。なお、出力自体は実数に限定する
ため、予測器としての学習は変わらず出力される（実数の）特徴量を用いた線形回帰で達成できる。

図1

リザーバコンピューティング

しかし、このようなリザーバコンピューティングの複素空間への拡張によって長期的（より正確には周期一方で、リザーバコンピューティングの予測性能、的）な記憶容量を獲得できるとされる一方で、その安具体的には安定性と記憶容量は、設計に強く依存して定性を保証する設計手法が求められる。一般に、リザいるため、設計されたモデルが不十分だと所望の性能ーバコンピューティングを安定に設計する際の第一のを発揮できないことになる。これまでに、そのネット指針は再帰結合を表す行列のスペクトル半径である。

ワーク構造[3]やニューロンモデル[4]に注目した設計

これは、行列の固有値の中で振幅が最大となるものに法が提案されてきたが、本質的には安定性と記憶容量相当するが、実数でも複素数でもその定義は変わらなのトレードオフを解消できていない。リザーバコンピ

い。そのため、従来の設計指針通りに、このスペクトューティングの予測性能を改善するために、抜本的なル半径を 1 未満とすれば、ネットワークのダイナミク設計の見直しが必要とされる。

スは安定となる。
一方で、ニューロンのダイナミクスには注意が必要

３．研究の方法である。リザーバコンピューティングでは、ニューロ上記の背景・目的に従って、本研究では新しいリザンのダイナミクスとして Leaky Integrator モデルとーバコンピューティングのモデルを設計する。具体的呼ばれる、ニューロンへの入力と過去の内部状態とのには、前述の通り、内部に潜む通信のダイナミクスに加重平均処理が用いられる。これにより過去の内部状注目する。すなわち、リザーバコンピューティング内態が新たな入力によって瞬間的に塗り替えられずに影の内部状態には、特徴量として出力されるものだけで響を残せる。実数の場合、この加重平均における重み
2TELECOM FRONTIER No.116 2022 SUMMER

入力に対する周期的記憶を持つリザーバコンピューティングの確立
Reservoir Computing with Periodic Memory for Inputs

は容易に総和を 1 になるよう定められた。しかし、複素数では位相の影響を受け、その限りではない。そこで、図 2 を基に、幾何的に安定性を満たす位相の最大値を明らかにする。

図 2 複素型 Leaky Integrator の幾何的設計

最後に、再帰型ニューラルネットワークでは、内部状態の発散を防ぐために入力を飽和関数に通す。これ

図3も複素数に拡張する必要があり、本研究では複素数の振幅だけを飽和させるモデルを採用する。これにより、位相情報は永続的に保存され、出力される内部状態とシミュレーション結果(上段:時系列データ、下段:FET 解析)シミュレーション結果を図 3 に示す。上段は出力さ通信途中として隠れる内部状態がランダムに与えられれた内部状態の時系列データであり、点線位置でランた固有のパラメータに応じて周期的に入れ替わる。

ダム入力が終了している。下段は自由応答中の内部状開発した複素型リザーバコンピューティングの周期態を FFT 解析したものである。図からわかるように、的な挙動を解析すべく、簡単なシミュレーションを実従来の実数型では、入力がなくなった途端に内部状態施した。ここでは、従来の実数型リザーバコンピューが素早く 0 へと減衰してしまっている一方で、複素数ティングと提案モデルに対して、ランダムな入力を一型では、入力がなくなった後にも周期的な内部状態が定時間与えた後の内部状態の自由応答を確認する。つ

確認できる。実際、FFT 解析を見れば周期性は明らかまり、従来の場合、自由応答では入力がなくなるため、であり、固有振動数を有することが確認できた。また、時間経過とともに内部状態が指数減衰して記憶を失う

この固有振動数はリザーバコンピューティングの初期のに対し、提案モデルであれば、振幅が減衰すること化に用いる設計パラメータに依存するものとされ、問なく、位相だけが回転し続けることで、周期的な内部題に応じて所望の振動数が存在する場合、設計パラメ状態を出力できるはずである。

ータのメタ最適化によりそれを獲得できる。

3

TELECOM FRONTIER No.116 2022 SUMMER

入力に対する周期的記憶を持つリザーバコンピューティングの確立
Reservoir Computing with Periodic Memory for Inputs

ここまでで開発・解析できた提案する複素型リザー

ティングにより、周期的な記憶を有効活用できることバコンピューティングの有用性を実問題で検証する。

が確認できた。しかし、その固有振動数は改善の余地があり、直面する問題に応じて都度調整するか、可能な限り多くの固有振動数を内包するような設計手法・大規模化が必要とされる。また、本研究で扱った実問
題は提案モデルに適したものを選定しているため、より一般的な実問題を前に提案モデルの有効性を検証すべきであろう。そこで今後は、自動運転などのより実用化が望まれる問題に、提案モデルを発展させつつ挑んでいきたい。

図 4 実機実験の設定

課題として、図 4 に示すような人とロボットで協働

表 1 学習効果してロープを回す（あるいは左右に振る）問題を扱う。

人の動作予測ロボットの動作模倣

当然ながら、ロープを回す・振る動作は周期的である

従来モデル

0.1400.017

ため、提案モデルがより効果的に人の動作予測やロボ提案モデル0.1160.015

ットの動作模倣・生成を実現できると期待される。
学習用データセットを作成するために、ロボットのおわりに制御器を簡単に設計した。これは、所望の動作パター

本研究では、再帰型ニューラルネットワークの一種ンを生成するように動きつつも、人から縄を介して伝であるリザーバコンピューティングの設計論に注目し、わる力に応じて動作を調整するインピーダンス制御器

安定性と記憶容量のトレードオフを解消すべく、複素が組み込まれたものである。この制御器によって動作数型モデルへの拡張を進めた。その結果、安定性を維するロボットに合わせて人は縄を動かし、その時の人持しつつも従来のような記憶の指数減衰を回避して周の動作を骨格の位置情報としてステレオカメラで計期的な記憶容量の獲得に成功した。また、実機実験で測・記録する。動作パターンとしては、縄の持ち手・も提案モデルが持つ固有振動数が効果的に働いたこと動作速度・回転／揺動の組から成る 8 種類用意した。

で、人の動作予測およびロボットの動作模倣精度の向詳細なネットワーク構造などは割愛するが、収集し上を達成した。しかし、本成果は PoC に留まっている

たデータセットで学習した結果を表 1 に示す。表の値ため、提案モデルのさらなる改良と実用化を進めたい。

は真値に対する予測値の二乗誤差であり、小さいほど正確な予測ができたとされる。表からわかるように、

参考文献

提案モデルは従来の実数型と比べて、人の動作予測・[1] Hochreiter and Schmidhuber, “Long short-term

ロボットの動作模倣のどちらにおいても、精度を向上

memory,” Neural computation, 1997.

させることに成功した。これは、提案モデルが持つ固[2] Jaeger and Haas, “Harnessing nonlinearity:

有振動数の中に本問題の動作パターンが持つ振動数がPredicting chaotic systems and saving energy in内包されていたことで、周期的に表出される過去の入wireless communication,” Science, 2004.

力情報が効果的に予測精度の向上に働いたと考えられ[3] Gallicchio et al., “Deep reservoir computing: Aる。なお、この結果や提案モデルの詳細は文献[6]を参

critical experimental analysis,” Neurocomputing,照されたい。

2017.
[4] Kobayashi, “Practical Fractional-Order Neuron

４．将来展望Dynamics

本研究では、提案した複素型のリザーバコンピュー

forReservoirComputing,”

International conference on artificial neural
4TELECOM FRONTIER No.116 2022 SUMMER

入力に対する周期的記憶を持つリザーバコンピューティングの確立
Reservoir Computing with Periodic Memory for Inputs

networks, 2018.
[5] Goh and Mandic, “An augmented CRTRL forcomplex-valued recurrent neural networks,”
Neural networks, 2007.
[6] Kobayashi et al., “Latent representation inhuman-robot
considerationinteractionofperiodic

withexplicitdynamics,”

IEEE

transactions on human-machine systems, 2022.
この研究は、平成３０年度ＳＣＡＴ研究助成の対象として採用され、令和元年度～３年度に実施されたものです。

5TELECOM FRONTIER No.116 2022 SUMMER