応用物理学会春季学術講演会 注目講演プレスリリース
2023年 3月 13日

スピン波リザバーコンピューティング:実用的な計算性能向上の手法
Reservoir computing utilizing spin waves: enhancement of computational performance through apractical approach for on-chip devices

スピン波を利用したデバイスで高性能な物理リザバーコン
ピューティングの可能性を実証
東大工学系 1，東大ニューロインテリジェンス国際研究機構 2，東大情報理工 3
中根了昌1，廣瀬明 1，田中剛平 1, 2, 3

【発表概要】

・独自開発のスピン波リザバーコンピューティングにおいて、磁場による物理ダイナミクスの操作を行い、同一のリザバーデバイスを用いながら次元数の高い出力状態ベクトルの生成に成功。
・時系列予測に関するベンチマークタスクを行い、物理リザバーコンピューティングの最高計算性能報告値に匹敵する結果を達成。
・目的特化型のエッジデバイスの実現に向けて、スピン波リザバーコンピューティングが有望であることを強く示唆。
東京大学大学院工学系研究科の中根了昌氏らの研究グループは、研究開発を進めてきたスピン波リザバーコンピュー
ティングを用いて、デバイスの出力端子数を増やさずに計算性能を高める方法論の確立および多値入カデータによる難易度の高いベンチマークタスクを、デバイス作製を前提とした物理シミュレーションで行った。その結果、物理ダイナミクスの磁場による操作を行い、同一のリザバーデバイスを用いながら次元数の高い出力状態ベクトルの生成に成功。
計算性能評価として「10次非線形回帰移動平均モデル(NARMA-10)」の予測タスクを行い、物理リザバーコンピューティングの最高計算性能報告値に匹敵する結果を得た。現在研究が加速しているリザバーコンピューティングを、実現に一歩近づけた成果である。

【詳細】

新しい機械学習の方法、リザバーコンピューティング
近年目覚ましい発展が見られる、いわゆるAI（人工知能）を支えているのは、「機械学習」による大規模データの解析だ。中でも深層学習は、人間の脳が行うような学習を機械によって実現しようとする技術であり、「人工ニューラルネットワーク」と呼ばれる、人の脳の神経回路を模した数理モデルを用いて行われている。現在、ユニークな機械学習の方法として注目されているのが「リザバーコンピューティング」である。
リザバーコンピューティングでは、「リザバー」と呼ばれる情報の溜池を利用して学習を行う。リザバーコンピューティングモデルの代表例は、一般的な人工ニューラルネットワークである「再帰型ニューラルネットワーク」から派生した「エコーステートネットワーク」である。エコーステー
トネットワークは、再帰型ニューラルネットワークと同様に、システム構造は入力部、リザバー部（中間部）、出力部に分割されるが、中間部におけるパラメータの学習（各ニューロン間の結合荷重値の変更）を行わない点が特徴だ。
一般的な再帰型ニューラルネットワークでは、学習においてネットワーク全体の荷重値を変更する。それゆえに、変更する荷重値を記憶できる素子を設計しなければならないなど、物理実装のコストが高い。また、荷重値の変更に伴う学習アルゴリズム調整の難しさや消費電力の高さなどの短所がある。一方のエコーステートネットワークでは、荷重値の変更を行うのは中間部と出力部の間の結合に対してのみだ。荷重値の変更は簡便な学習アルゴリズムで行うため、一般的な再帰型ニューラルネットワークに比べれば計算量と調整が少なく済み、消費電力も減る、という長所がある。
それではエコーステートネットワークによるリザバーコンピューティングが、従来の再帰型ニューラルネットワークによる深層学習にとって代わる技術になるかというと、現実はそうではない。
これらの二つの手法の優劣を簡単に決められないのは、そこに汎用性と学習コストのトレードオフが関係しているからだ。
処理に応じた結合荷重値の変更を繊細にできる深層学習は、膨大な消費電力を必要とするが、自然と汎用性が高くなる。一方、結合荷重値の変更が中間部と出力部の間に限られるリザバーコン
ピューティングは、システム構造と学習法の簡便さと引き換えに汎用性は下がる。「汎用性が低いということは、性能が悪いということではないのです。私たちは、汎用性ではなく、目的特化型・低消費電力で学習ができるコンピューティングとして、リザバーコンピューティングを社会実装したいと考えて研究をしています」と東京大学大学院工学系研究科の中根了昌氏は語る。

「リザバーコンピューティングは、目的特化型の処理であれば低消費電力で物理実装がしやすい。
さらに非構造化時系列データを扱いやすいという特徴もあります。私たちはこの利点を生かして社会実装をするための、計算性能を上げる研究に取り組んでいます」と中根氏は語る。
リザバーコンピューティングはソフトウエア上でも実現できるが、リザバー部に物理ダイナミクス（物理デバイス）を利用するものを「物理リザバーコンピューティング」と呼ぶ。

設計・作製簡便性と高計算性能のトレードオフを解消する
中根氏らの研究グループは、デバイス作製の簡便性を前提としたシミュレーションを行った。目的のひとつは出力端子数を増やさずに計算性能を高める方法論の確立、そしてもう一つは多値入カデータを用いる難易度の高いベンチマークタスクにおける高計算性能の達成だ。
リザバーコンピューティングにおいて、計算性能を高めるためには、リザバー部における「非線形性」（非線形入出力特性）、「高次元性」（入力信号の高次元化）、「短期記憶」（過渡応答時間）の実現が必要だとされる。このうち、高次元性の実現において現在広く用いられている「仮想ノード法」では、計算性能の向上に限界があるだろうと予想される。
研究グループは、これまでに磁性体における「磁化（スピン）」が短期記憶性に優れていることなどから、リザバーデバイスとして着目してきた。そして、磁性体を物理リザバーとして活用する「スピン波リザバーコンピューティング」の開発を進めてきた。本研究では、スピン波リザバーコ
ンピューティングにおいて、大きさの異なる外部磁場の印加による高次元性の実現と、計算性能を高めることに取り組んだ。
「設計・作製簡便性と高い計算性能には一般的にトレードオフの関係が成り立ちます」と中根氏は語る。計算性能を高めるための理想的な物理デバイスは“1入力・多出力”だ。つまりひとつの時系列入力で、多種多数の時間波形を出すような物理デバイスが理想となる。しかし、多出力になるほど物理的な出力端子数が増える。すると設計・作製簡便性が下がり、そもそもデバイス自体が実現しなくなってしまうということだ。
このトレードオフを解消し、なるべく少ない端子数で“1入力・多出力”を実現する方法が、現在広く用いられている「仮想ノード法」だ。仮想ノード法は、特殊な処理によって、仮想的にデバイスの出力端子を増やす方法だ。しかし、出力時間波形のサンプリング時間を短くしていくと、各出力ノードの波形が類似する傾向があり、高次元化につながらない。これがリザバーコンピューティ
ングにおける実際の計算性能の限界を決める要因となり得る。
「私たちは、リザバーデバイスの入出力特性を決定する、リザバー部における物理現象のダイナミクスに着目しました。物理現象のダイナミクスに変化を与え、得られた出力信号を組み合わせれば、同じリザバーデバイスから次元数の高い出力状態ベクトルが得られるのではないかと考えたのです」（中根）
実験では、開発したスピン波リザバーコンピューティングに対し、3種類の外部磁場を印加し、その出力信号を取得した。異なる磁場条件を印加し、生成した出力状態ベクトルを組み合わせることで、高次元化を達成することを考えた。その結果、実際にダイナミクスが変化していることを確認できたという（図1）。

物理リザバーコンピューティングの最高計算性能報告値に匹敵
さらに中根氏らは、外部磁場の印加によってダイナミクスが変化したことが実際に計算性能を高めているかを確認することを試みた。「磁場を印加して生成した出力状態ベクトルを組み合わせれば、高次元化ができるかもしれないということは、誰でも予想はできるのです。重要なことは本当に計算性能があがるのか、です」（中根）
中根氏らは、スピン波リザバーコンピューティングでベンチマークとして「10次非線形回帰移動平均モデル(NARMA-10)」（※1）の予測タスクを行った。非線形回帰移動平均モデルは、不規則な変動を示す時系列データを生成するための数学モデルの一つである。その結果、物理リザバーコンピューティングの最高計算性能報告値に匹敵する結果（※2）を得た（図2）。
「この結果から、スピン波リザバーコンピューティングによって、自然現象や経済現象などの複雑な振る舞いを近似できる能力があることが強く示唆されました」と中根氏は語る。
リザバーコンピューティングを用いたデバイスは、リアルタイム学習への高い適応性、低消費電力性、時系列データ処理が得意であるという強みがあるため、目的特化型の、端末での処理を行う「エッジコンピューティング」への応用可能性が高いと考えられる。具体的には、情報通信ネットワークの高効率化、センサーと組み合わせた社会インフラの保全、ネットワークの監視、ビルマネジメント、スマート工場の生産管理などへの応用が想定される。
【注釈】※1 NARMA 非線形回帰移動平均（Nonlinear Autoregressive Moving Average）の略称で、現在の入力と過去の出力を元に、未来の出力を決定する非線形な数理モデルである。NARMAは、自然現象や経済現象などの複雑な時系列データのダイナミクスを近似モデル化するのに有用であり、リザバーコンピューティングにおいては性能評価のためのベンチマークとして使用される。
※2 実効的出力ノード数 Ny=360、10次非線形回帰移動平均モデル（NARMA-10）における規格化平均二乗誤差NMSE=0.042

【図】

図1（上）磁場によって出力波形が変わるイメージ。（下）外部印加磁場（2−8 mT）によりダイナミクスが変化していることを確認。共鳴周波数は0.98-1.36GHz、緩和時間はα=0.1の時に5-10ns

図2 (a)計算実験におけるデバイスの上面図。 (b)1GHz搬送波の振幅による6値入力表現。 (c) NARMA-10信号(検証時): 正解(灰色) 予測(青色)