レーザを用いたリザーバコンピューティングの多機能化と高性能化
代表研究者

菅野円隆

埼玉大学 大学院 理工学研究科 情報工学プログラム 准教授

1 研究開始当初の背景
ニューラルネットワークを用いた機械学習の研究が近年盛んに行われている．しかしながら従来の計算機はエネルギー効率や学習速度，処理速度の面でネットワークを用いた機械学習に必ずしも適していない[S.
Esser et al., Proc. Natl. Acad. Sci. USA, Vol. 113, 11441, (2016)]．そこで機械学習の物理実装に注目が集まっており，その１つとして時間遅延リザーバコンピューティングが挙げられる[L. Appeltant etal., Nat. Commun., Vol. 2, 468 (2011)]．この手法は時間遅延ループを有する１つの非線形システムをネットワークの代わりに用いる．したがってネットワークを構成するために多くのノードを用意する必要がな
く，物理実装が容易である．
時間遅延リザーバコンピューティングの実装手法として， 入力層リザーバ層
出力層レーザを用いた方法が提案されている[D. Brunner et al., 入力信号レーザ 時間遅延ループ
Nat. Commun., Vol. 4, 1364 (2013)]．図 1 にレーザを用ノードいたリザーバコンピューティングの概念図を示す．入力層で学習
遅延時間
マスクは入力信号にマスク信号を乗算する前処理を行う．時間遅延ループを有するレーザをネットワークの代わりに使用し，こ 図 1 レーザを用いた光リザーバコンピュー
ティングの概念図
れをリザーバと呼ぶ．リザーバでは，遅延ループを微小間隔𝜃で区切ることでノードを仮定する．実際にはレーザの応答信号を時間方向に𝜃で区切り，各領域を仮想的なノードとする．学習は出力層のみで行われるため，学習に必要なコストが非常に小さいことが特徴である．
レーザを用いたリザーバコンピューティングは GHz オーダーでの高速な情報処理を実現可能である[D.
Brunner et al., Nat. Commun., Vol. 4, 1364 (2013)]．しかしながら本方式は発展途上であり，多くの研究ではベンチマークタスクへの適用に留まっている．様々なタスクの実行を可能とするためには，リザーバの処理能力の向上が必要不可欠である．これに対してレーザのような物理システムは，その内部構造を変化させることについて自由度が少ない．しかしながら時間遅延リザーバでは，時間遅延フィードバックの強さや時間遅延ループの遅延時間は変化させることができる．これらのパラメータを介してリザーバの構成を変えることで，その計算能力の向上可能性を明らかにすることは課題の１つである．
本研究では，レーザを用いたリザーバコンピューティングをより高度で多目的な情報処理に適応するために，その情報処理能力の向上を目的とする．具体的には，以下に挙げる 3 項を本研究の目的とする．
(2-1) 情報処理目的に応じた物理リザーバの実現(2-2) リザーバの並列化による情報処理能力の向上(2-3) 並列化したリザーバの多目的化と情報処理能力の関係
以下に，上記の 3 つの研究の目的と研究成果について詳細に述べる．

2 研究の目的と成果
2-1 情報処理目的に応じたリザーバの実現（１）研究方法
物理システムをネットワークの代わりに用いることができるという点がリザーバコンピューティングの重要な特徴である．しかしながら一方で，物理システムはその構造を変化させることに制限があるため，計算機上で実現したネットワークにように，情報処理目的に応じてノードの活性化関数を変化させることは難し
い．これに対してレーザと時間遅延ループから実現されるリザーバでは，時間遅延ループの構造は比較的自由に変化可能である．その構造を変化させることにより，情報処理タスクごとに適したリザーバを実現する．
高い情報処理能力を有するリザーバに求められる主な性質として記憶容量と非線形性が挙げられる．どちらの性質がどの程度必要であるかは，情報処理タスクにより異なる．したがって時間遅延リザーバの遅延時間を変化させることでこれらの性質を制御できれば，目的に応じたリザーバを実現することができる．本研

1
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

究では，記憶容量および非線形性を定量的に評価するために，関数近似タスク[M. Inubushi and K. Yoshimura,Sci. Rep., Vol. 7, 10199 (2013)]を用いる．リザーバの遅延時間を変化させたときに，関数近似タスクの性能の依存性を調査し，記憶容量および非線形性がどのように変化するかを明らかにする．
（２）研究成果リザーバとして，図 2(a)に示す時間遅延ダイナミカルシステムを考える．時間遅延リザーバコンピューテ
ィングでは，マスク周期𝑇の間隔で信号を入力する．従来法では遅延時間𝜏をマスク周期𝑇に一致することが多い．本研究では，マスク周期𝑇よりも遅延時間𝜏を短い値に設定する[K. Saito et al., Proc. of NOLTA2020,Vol. 1, 370 (2020)]．図 2(b)および 2(c)に，従来法と本手法の比較を示す．従来法の𝜏 = 𝑇の場合（図 2(b)），マスク周期𝑇の間に非線形変換が 1 度だけ行われる．図 2(c)のように遅延時間が𝜏 = 𝑇/3の場合を考える．マスク周期𝑇の間にフィードバックが 3 回繰り返されるため，非線形変換が 3 回行われる．このように𝜏を𝑇よりも短い値に設定し，フィードバック回数の多いノードを実現することで，複雑な非線形性を持つノードを仮定できる．これはシステムの非線形性を向上できる可能性がある．
上述の仮定を確認するために，関数近似タスクを用いてフィードバック回数に対する非線形性および記憶容量の変化を調査した[K. Saito et al., Proc. of NOLTA2020, Vol. 1, 370 (2020)]．関数近似タスクは，入力信号𝑢(𝑛)に対し，目標関数𝑑(𝑛) = sin[𝜈 × 𝑢(𝑛 − 𝜏𝐷 )]をリザーバに近似させるタスクである．係数𝜈および遅延ステップ数𝜏𝐷 により，関数の非線形性，記憶ステップを調整できる．本研究では，非線形タスク（𝜈 =2.0𝜋，𝜏𝐷 = 0)と記憶タスク（𝜈 = 0.1𝜋，𝜏𝐷 = 2）に対する性能を評価した．性能評価には，目標信号𝑑(𝑛)とリザーバの出力信号𝑦(𝑛)の近似誤差として規格化平均二乗誤差（Normalized Mean Square Error，NMSE）を算出して定量的に評価した．NMSE が小さいほど𝑦(𝑛)が𝑑(𝑛)に近いことを意味する．
(a)(d) 100

出力入力

非線形関数

NMSE (Test)

フィードバック
時間遅延(b)

マスク周期
非線形変換

(c)記憶タスク-110-210

非線形タスク

マスク周期-3101234

Number of loops5

図 2 (a) 時間遅延ダイナミカルシステムの概念モデル．(b), (c) 入力信号のマスク周期𝑇と遅延時間𝜏の関係．(b)は𝜏 = 𝑇とした場合であり，(c)は𝜏 < 𝑇の場合の例であり，ここでは𝜏 = 𝑇/3としている．(d)数値シミュレーションにおける光電気フィードバックシステムを用いた関数近似タスクの結果．横軸はフィードバック回数𝑘であり，縦軸は近似誤差（NMSE）である．
図 2(d)にフィードバック回数に対する NMSE の依存性を示す．リザーバとして光電気フィードバックシス
テムを使用した[Y. Paquot et al., Sci. Rep., Vol. 2, 287 (2012)]．マスク周期を𝑇 = 10 s，リザーバの遅延時間を𝜏 = 𝑇/𝑘 s に設定した．ここで𝑘はマスク周期𝑇の間にフィードバックされる回数である．図の青線および橙線は非線形タスクと記憶タスクの結果である．非線形タスクにおいて 𝑘 = 1のとき，NMSE は 1に近く非常に悪い．これは非線形関数𝑓による写像が 1 回しか行われず，リザーバの非線形性が弱いためである．しかしながら𝑘を増加させると NMSE は低くなる．このようにフィードバック回数を増やすと非線形性が向上することが確認できた．これに対して記憶タスク（橙線）は逆の依存性を示す．つまり𝑘の増加と共にNMSE が増加する．𝑘 = 1のとき，全てのノードが一つ前の入力に対する応答信号をフィードバック信号として受け取るため，高い記憶容量を持つ．しかしながら𝑘が増加すると，マスク周期𝑇内の最初の遅延時間から定義されるノード以外は，過去の入力に対する応答信号をフィードバックとして受け取ることができない．
したがって記憶容量が低下する．このように遅延時間を介してリザーバの非線形性と記憶容量を制御できることが明らかとなった．また非線形性と記憶容量にトレードオフがあることも分かった．このトレードオフは，一般のエコーステートネットワークでも報告されており[M. Inubushi and K. Yoshimura, Sci. Rep.,
Vol. 7, 10199 (2013)]，時間遅延リザーバにおいても確認できることを本研究で示した．

2
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

2-2 リザーバの並列化による情報処理能力の向上可能性の調査（１）研究目的
リザーバの情報処理性能を向上させるための方法の一つは，ノード数を増加することである．時間遅延リザーバでは，時間方向にノードを定義するため，ノードを取得する時間幅を増やすことでノード数を増加することができる．しかしながらこの手法は情報処理速度とトレードオフであるとともに，リザーバの光集積化と相性が良くない．そこで複数のリザーバを並列化し，その出力からノード状態値を取得することで，リザーバ全体のノード数を増加することを考える．単一のリザーバからノード状態値を取得することと比較して，１つのリザーバから取得するノード数が少ないため，情報処理速度が向上すると期待できる．並列リザーバを用いることで情報処理能力を向上できれば，より難しい情報処理タスクへの適用が可能である．
リザーバを光集積回路化した場合について考え，リザーバの並列数を増加させたときに情報処理性能がどのように変化するかを調査した[C. Sugano et al., IEEE Journal of Selected Topics in Quantum
Electronics, Vol. 26, 1500409 (2020)]．光集積回路リザーバは，遅延時間を長くできないため，1 つのリザーバから多くのノードを用意することができない[K. Takano et al., Opt. Express, Vol. 26, 29424(2018)]．一方で，遅延時間よりも長いリザーバ応答信号からノードを取得しようとすると，記憶容量が低減する．したがって並列化することにより，光集積回路リザーバの課題を解決しつつノード数を増加させることができる．具体的な性能評価タスクとして，時系列予測タスクおよび非線形チャネル等化タスクを行う．
上記に加え，リザーバの深層化が情報処理性能に与える影響について調査した．
（２）研究成果
図 3(a)は並列化したリザーバの概念モデルである[C. Sugano et al., IEEE Journal of Selected Topics
in Quantum Electronics, Vol. 26, 1500409 (2020)]．レーザを𝑘台用意してノードを取得する．このとき全体のノード数は𝑘𝑁として表される．ここで𝑁は 1 つのレーザから取得するノード数である．比較として，光集積回路を用いたリザーバにおいて用いた手法を図 3(b)に示す[K. Takano et al., Opt. Express, Vol.
26, 29424 (2018)]．この手法では，遅延時間の𝑘倍の長さのリザーバ応答信号からノードを取得することでノード数を増加させている．この場合の𝑘を時間多重化数と呼ぶことにする．
(a)

(c)

(b)

図 3 (a) 並列リザーバの概念図．(b) 単体リザーバから時間方向にノード数を増加する手法の概念図．
(c) カオス時系列予測タスクにおける単体リザーバと並列リザーバの数値シミュレーション結果の比
較．横軸は並列リザーバの並列数または単体リザーバの時間多重化数を表す．
情報処理性能評価のために，カオス時系列予測タスクを用いた．このタスクは，遠赤外線レーザカオスの時系列を入力信号𝑢(𝑛)としたとき，リザーバに入力信号の 1 点先𝑢(𝑛 + 1)を出力させるように学習する．図3(c)は，レーザの数（または時間波形の長さを決める係数）𝑘を変化させたときの予測誤差（NMSE）の変化を示している．ここで𝑘 = 1のときのノード数は𝑁 = 24である．𝑘を増やすと初めは既存手法の予測誤差の方が小さいが，すぐに並列化手法の予測誤差の方が小さくなる．また既存手法の場合，予測誤差がすぐに横ばいになる一方で，並列化手法は𝑘の増加に対して予測誤差が単調減少している．このように光集積回路のような短い遅延時間を持つ光リザーバにおいて，並列化は情報処理性能に高い効果があることが明らかとなった．
また時間遅延リザーバの深層化の研究も行った[H. Hasegawa et al., Nanophotonics, Vol. 12, 869(2022)]．この研究では，リザーバを並列に使用した場合とリザーバを直列に繋いだ場合（深層化）について考え，さらに 2 つを併用したハイブリッド方式を提案し，これらのアーキテクチャに対する情報処理性能への影響を数値シミュレーションにより調査した．図 4(a)から 4(d)に本研究で比較したリザーバのアーキテクチャを示す．それぞれ(a)単一，(b)並列，(c)深層，(d)ハイブリッドと呼ぶ．単一方式は，一般的な時間
3
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

遅延リザーバコンピューティングと同じアーキテクチャである．並列方式では，複数のリザーバを用意し，それぞれからノードを取得して用いる．深層方式は，リザーバを直列に繋いだリザーバである．リザーバ間の重みは最初の層から順番に学習する．このとき 1 つの目標信号𝑑(𝑛)（𝑛は離散的な時刻）と第𝑖層目のリザーバの出力𝑦𝑖 (𝑛)の二乗誤差を最小化するように重みを学習する．ハイブリッド方式では，深層リザーバのようにリザーバ層間の重みを学習した後，全てのリザーバのノードを用いた出力を最終的な出力とする．
(e)

(f)

図 4 (a), (b), (c), and (d) 時間遅延リザーバのアーキテクチャ．(a) 単一（Single），(b) 並列（Parallel），(c) 深層（Deep），(d) ハイブリッド（Hybrid，Parallel + Deep）．(e) カオス時系列予測タスクにおいて，ノード数を変化させたときの予測誤差の依存性．(f) 非線形チャネル等化タスクにおいて，ノード数を変化させたときの予測誤差の依存性．
性能評価のためのタスクとして，カオス時系列予測タスク，非線形チャネル等化タスクを行った．カオス
時系列予測タスクは，遠赤外線レーザカオス時系列の１点先を予測するタスクである．また非線形チャネル等化タスクは，非線形な通信チャネルを仮定し，このチャネルを通過することにより生じる信号歪みをリザーバにより補正し，元の信号を復元するタスクである．図 4(e)はカオス時系列予測タスクの結果である．横軸は総ノード数であり，縦軸は予測誤差である．図から，ハイブリッド方式が最も低い予測誤差を達成できることが分かる．その後は深層方式，並列方式，単一方式の順番で予測誤差が悪化している．一方で図 4(f)は，非線形チャネル等化タスクの結果であり，横軸は総ノード数，縦軸は符号誤り率である．図から，ハイブリッド方式と並列方式が最も低い符号誤り率であり，深層方式は符号誤り率が高い結果となっている．このようにアーキテクチャにより苦手なタスクが存在することが明らかとなった．一方でハイブリッド方式はいずれのタスクに対しても良い性能を示す結果となった．このように並列方式と深層方式では，それぞれ苦手なタスクが存在するが，これらを併用するハイブリッド方式を用いることで，そのような課題を解決できることが分かった．
2-3 並列化したリザーバの多目的化と情報処理能力の関係（１）研究目的(2-1)で得られた知見に基づき，異なる性質を持つリザーバを実現することができれば，それらを並列化することで，全体の情報処理性能を向上できると期待される．特に異なる情報処理タスクに適したリザーバを組み合わせることで，様々な情報処理に適用可能な多目的リザーバの実現が期待できる．そこで記憶容量と非線形性のそれぞれに特化したリザーバを用意し，それらを並列に用いることで，記憶容量と非線形性の両方が必要なタスクに適用可能であるかを調査した．具体的な性能評価タスクとして，時系列予測タスクおよび非線形チャネル等化タスクを行った．さらに記憶容量と非線形性のいずれも必要なタスクとして，混合関数近似タスクを用意し，情報処理性能を評価した．
（２）研究成果
これまでの研究において，マスク周期に対して時間遅延リザーバの遅延時間の長さを変化させることで記憶容量と非線形性を調整できることが分かった．具体的には，マスク周期に対して遅延時間が非常に短ければ非線形性が向上し，マスク周期と遅延時間が同程度であれば記憶容量が向上する．記憶容量と非線形性はトレードオフの関係があるため，どちらの性質も必要であるタスクに対して，高い情報処理性能を達成することが困難であると予想される．そこで記憶容量と非線形性の片方の性質を有している時間遅延リザーバを１つずつ用意し，それらを組み合わせて使用することで性能向上が可能であるかを調査した[K. Saito etal., Proc. of NOLTA2020, Vol. 1, 370 (2020)]．

4
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

0(b) 1単体
NMSE

NMSE (Test)(a) 100.1

並列単体
並列-110相互結合
024相互結合
68Delay time  [s]100.01020406080
Feedback power [W]

図 4 (a) 光電気フィードバックシステムにおける複合関数近似タスクのシミュレーション結果．縦軸は近似誤差．横軸は遅延時間であり，並列および相互結合システムの片方の遅延時間は 9.8 s に固定されている．(b) 光電気フィードバックシステムにおけるカオス時系列予測タスクの実験結果．縦軸は予測誤差であり，横軸はフィードバック強度である．リザーバの遅延時間は 9.8 s および 0.02 s に固定されている．単体システムの遅延時間は 9.8 s である．
図 4(a)は，フィードバック遅延時間を変化させたときの複合関数近似タスクの近似誤差を示している．ここで複合関数近似タスクは，以下の目標関数の出力𝑑(𝑛)を近似するタスクである．
31𝑑(𝑛) = ∑ sin(𝜈𝑖 × 𝑢(𝑛 − 𝑖))
3(1)𝑖=1

ここで𝜈1 = 1.0𝜋，𝜈2 = 1.5𝜋，𝜈3 = 0.5𝜋である．このタスクは 3 ステップ前までの過去の入力を記憶するとともに，非線形性も必要とするタスクである．このタスクにおける近似誤差は NMSE により評価する．またリザーバとして光電気フィードバックシステムを用いた[K. Saito et al., Proc. of NOLTA2020, Vol. 1, 370(2020)]．
図 4(a)において，黒線は単体システム，青線は並列システムの結果を示している．2 つのグラフにおいて，近似誤差が最も低い値はそれぞれ 0.096（並列）と 0.115（単体）であり，並列システムの方が悪化している．
この理由は，並列システムそれぞれ別々に駆動しているため，過去の入力を記憶することはできるが，過去の入力に関する非線形変換を表現できないためであると考えられる．そこで 2 つのシステムを結合した相互結合システムを用意し，同様の調査を行った結果が図 4(a)の赤線である．相互結合システムにおいて最小のNMSE は 0.070 であり，単体システムおよび並列システムよりも低い近似誤差を達成することができた．この結果は，非線形性と記憶容量を持つリザーバを組み合わせることで，過去の入力に対する非線形な演算を実行できる能力を実現できるようになったことを示唆している．
さらに単体，並列，相互結合システムの比較を実験的に行った[K. Kanno and A. Uchida, Chapter 16,Edited by K. Nakajima and I. Fischer, "Reservoir Computing: Theory, Physical Implementations, andApplications," Springer Verlag (2021)]．タスクとしてカオス時系列予測タスクを用いた．並列と相互結合システムの 2 つの遅延時間は，9.8 s および 0.02 s に設定し，単体システムの遅延時間は 9.8 s である．全ての手法においてマスク周期は𝑇 = 10 s である．図 4(b)に光電気フィードバックシステムのフィードバック強度を変化させたときの予測誤差の変化を示す．3 つの手法を比較すると，相互結合システムが最も低い予測誤差を達成した．このように相互結合システムにおいて，2 つのリザーバの遅延時間を異なる値に設定することで，記憶容量と非線形性の両方が必要なタスクの性能が向上することが明らかとなった．

3 発展的な研究
本研究からの着想を得た新たな発展として，リザーバコンピューティングと強化学習との融合についての研究を行った．これはリザーバコンピューティングにおけるモデル選択と呼ばれる手法であり，時間的に環境が変化する状況において適応的に情報処理を実現が可能となる[K. Kanno et al., Scientific Reports,Vol. 10, 10062 (2020)]．本手法を実験的に実装し，さらに時間変化する環境に対してリザーバの情報処理性能について調査した[R. Mito et al., Nonlinear Theory and Its Applications, IEICE, Vol. 13, 1235
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

(2022)]．その結果，本手法が３以上の異なる環境変化に対しても適用可能であることが明らかとなった．さらに実験的にモデル選択が可能であることを示した．
上述の研究に加えて，時間遅延リザーバコンピューティングを用いた強化学習の実装を行った[K. Kannoand A. Uchida, Scientific Reports, Vol. 12, 3720 (2022)]．強化学習では，環境の状態におけるエージ
ェントの行動の価値を学習することが目的である．近年の深層ネットワークを利用した強化学習では，入力状態を区別できるようにネットワークを学習する必要がある．一方で時間遅延リザーバを強化学習に利用できれば過去の状態を含めて入力状態を区別できるため，より応用範囲が広がると考えられる．そこで時間遅延リザーバを用いた強化学習手法を提案し，実験的な実証を行った．非常に簡単なベンチマークタスクであるが，リザーバを用いた強化学習の実装に成功した．さらに時間遅延フィードバックが学習速度を向上させることが明らかとなった．これは時間遅延リザーバが過去の状態を含めて入力状態を区別できる能力を持つことが関連していると考えられる．

4 まとめ
本研究では，時間遅延リザーバコンピューティングをより多目的な情報処理タスクに適用可能にするために，情報処理性能の向上に関して研究を行った．１つ目の研究として，リザーバの遅延時間を変化させることで非線形性と記憶容量の依存性を調査した．その結果として，遅延時間を介してリザーバの非線形性と記憶容量が制御可能であることが分かった．さらにこの２つの性質にはトレードオフの関係があることが明らかとなった．２つ目の研究として，リザーバの並列化による情報処理能力の向上可能性について調査した．
レーザを用いたリザーバの光集積化を目指し，並列化したリザーバからノードを取得することで，十分な情報処理性能を実現できることが分かった．３つ目の研究として，リザーバの並列化と相互結合による非線形性と記憶容量の両立の実現を行った．非線形性と記憶容量に特化したリザーバをそれぞれ用意して，それらを相互結合して用いることで，非線形性と記憶容量がどちらも必要なタスクに対して情報処理性能が向上することが分かった．

〈発題

名Memory capacity and nonlinearity inelectro-optic
delay-based
reservoir
computingReservoir computing using multiple
lasers with feedback on a photonicintegrated circuit
Performance improvement of delay-based
photonic reservoir computing
Experimental demonstration of adaptivemodel selection based on reinforcement
learning in photonic reservoir computing
Parallel and deep reservoir computing
using semiconductor lasers with opticalfeedback
Photonic reinforcement learning based on
optoelectronic reservoir computing
Reservoir computing based on an
external-cavity semiconductor laser with
optical feedback modulation
Complex dynamics based on photonics
and its applications to machine learning

表資料〉

掲載誌・学会名等

発表年月

Proc. of NOLTA2020, Vol. 1, pp. 370-373

2020IEEE Journal of Selected Topics inQuantum Electronics, Vol. 26, 1500409

2020

Chapter 16, Edited by K. Nakajima and I.
Fischer, "Reservoir Computing: Theory,PhysicalImplementations,andApplications," Springer Verlag

2021

Nonlinear Theory and Its Applications,
IEICE, Vol. 13, No. 1, pp. 123-138

2022

Nanophotonics, Vol. 12, 869

2022

Scientific Reports, Vol. 12, 3720

2022

Optics Express, Vol. 30, No. 19, pp. 3421834238

2022（ 招 待 講 演 ） The 16th International
Workshop on Optical Signal Processingand Optical Switching (IWOO2021),
Online2021/12/8

6
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

複雑光ダイナミクスによるリザーバコンピューティングと強化学習の融合
複雑光ダイナミクスに基づく機械学習手法の発展（招待講演）レーザー学会 第 42 回年次大会, オンライン（招待講演）第 45 回光機能磁性デバイス・材料専門研究会, オンライン

2022/1/14
2022/1/17

7
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度