(57)【要約】      （修正有）【課題】集積回路実装が可能なレザバー計算モデルを実行できる情報処理装置を提供する。【解決手段】それぞれ内部状態値を有し内部状態値に応じて出力値が変化する複数のユニット１２が結合され、入力層１１から入力値が与えられる中間層１３を具備し、各ユニット１２が、時間経過によって増減するアナログ値である自らの内部状態値が上限値又は下限値となる際に、出力値が第１、第２の値の一方から他方に切り替わる情報処理装置１０において、一定の周期で第３、第４の値の切り替えがなされる参照クロック信号を中間層１３に与える信号供給手段１９を備える。各ユニット１２は、内部状態値の増減速度が、入力値、他のユニット１２の出力値の重み付け総和及び自らの出力値に加え参照クロック信号の値を含む非線形変換結果で表現される増減速度演算式によって算出されて、自らの出力値が、時間の経過によって入力値に対応する特定の値に収束する。【選択図】図１
2020204888.tif 000002
【特許請求の範囲】
【請求項１】
入力層と、それぞれ内部状態値を有し該内部状態値に応じて出力値が変化する複数のユニットが結合され、前記入力層から入力値が与えられる中間層と、前記各ユニットの出力値を基に導出される値が与えられる出力層とを具備し、前記各ユニットは、前記内部状態値が、予め定められた上限値及び下限値の間で時間の経過によって増減するアナログ値であり、前記出力値が、自らの前記内部状態値が前記上限値又は前記下限値となる際に第１、第２の値の一方から他方に切り替わる情報処理装置において、一定の周期で第３、第４の値の切り替えがなされる参照クロック信号を前記中間層に与える信号供給手段を備え、前記各ユニットは、前記内部状態値の増減速度が、前記入力値、他の前記ユニットの出力値の重み付け総和及び自らの前記出力値に加え前記参照クロック信号の値を含む非線形変換結果で表現される増減速度演算式によって算出されて、前記自らの出力値が、時間の経過によって前記入力値に対応する特定の値に収束することを特徴とする情報処理装置。
【請求項２】
請求項１記載の情報処理装置において、前記他のユニットの出力値の重み付け総和は、指数関数として前記増減速度演算式に含まれ、該他のユニットの出力値の重み付け総和の指数関数は、前記自らの出力値が前記第２の値である時間帯でのみ、前記内部状態値の増減速度の算出に寄与することを特徴とする情報処理装置。
【請求項３】
請求項１又は２記載の情報処理装置において、前記増減速度演算式は、多項式であり、αＣ（ｓ）（ｔ）の項を有することを特徴とする情報処理装置。但し、αは係数であり、Ｃ（ｓ）（ｔ）は時刻ｔにおける参照クロック信号の値とする。
【請求項４】
請求項１記載の情報処理装置において、前記各ユニットは、前記参照クロック信号が前記第４の値から前記第３の値に切り替わる切替えタイミングで更新されて、該切替えタイミングの前記自らの出力値が適用される調整値を有し、前記増減速度演算式が、前記自らの出力値と前記参照クロック信号の値との差及び前記調整値の乗算値を含むことを特徴とする情報処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の情報処理装置において、前記各ユニットの指数関数変換がＭＯＳＦＥＴのサブスレッショルド領域の動作によって行われることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力値に対応する出力値を導出する情報処理装置に関する。
【背景技術】
【０００２】
再帰結合を持つリカレントニューラルネットワークの中で、時系列予測などに高い性能を発揮するレザバー計算モデルが注目されている（非特許文献１、２参照）。レザバー計算モデルは、入力層と、入力層から入力される入力値に対応する出力値を出力する中間層（レザバー）と、中間層から出力値が与えられる出力層を備えている。中間層は、入力層から中間層に入力値が与えられて状態が変化する複数のユニット（ニューロン）を有し、各ユニットの状態に応じた出力値を決定する。レザバー計算モデルを低消費電力で高性能に実行するためには、汎用のデジタル計算機ではなく、専用のＣＭＯＳ集積回路を具備する装置が必要である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】W. Maass, T. Natschl¨ager, and H. Markram, “Real-time computing without stable states: A new framework for neural computation based on perturbations,” Neural Computation, vol. 14, no. 11, pp. 2531-2560, 2002.
【非特許文献２】M. Lukosevicius and H. Jaeger, “Reservoir computing approaches to  recurrent neural network training,” Computer Science Review, vol. 3,  no. 3, pp. 127-149, 2009.
【非特許文献３】H. Suzuki, J. Imura, Y. Horio, and K. Aihara, “Chaotic Boltzmann machines,” Scientific Reports, vol. 3, p. 1610, 2013.
【非特許文献４】Hideyuki Suzuki, “Monte Carlo simulation of classical spin models with chaotic billiards,” Physical Review E,  vol. 88, no. 5, pp. 052144, 2013.
【非特許文献５】M. Yamaguchi, T. Kato, Q. Wang, H. Suzuki, H. Tamukoh, and T. Morie, “A CMOS unit circuit using subthreshold operation of MOSFETs for chaotic Boltzmann machines,” in Proc. Int. Conf. on Neural Information Processing (ICONIP), 2016, pp. 248-255.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載されたモデルは、神経科学の知見を反映した構成であり、半導体集積回路で実装するには複雑すぎる。一方、非特許文献２に記載されたモデルは、積和演算と非線形変換処理（シグモイド型関数等）の組み合わせからなり、公知のニューラルネットワークと同様であることから、集積回路実装は可能であるが、低消費電力化及び高性能化には課題があった。これは、デジタル回路実装では非線形変換処理が容易でない点、アナログ回路実装ではユニット間の信号の伝送をアナログ値で行う必要がある点が、低消費電力化及び高性能化の妨げとなることによる。  
【０００５】
ここで、レザバーは、各ユニットが以下の条件１、２を満たす必要がある。条件１：入力値に対し自由度の高い非線形な関係にある出力値を出力することができる。条件２：入力から一定時間後に出力値が特定の値に収束する。  
【０００６】
条件１を満たすためには強い非線形性が必要であるが、カオスを発生させるほどの強い非線形性では条件２を満たすことができない。条件１、２の双方をバランス良く満たすには、秩序相とカオス相の境界領域である、所謂、カオスの縁の環境をレザバーで実現することが求められる。  
【０００７】
ここで、カオスを発生させる情報処理モデルとして、相互に作用する複数のユニットを具備したカオスボルツマンマシンが知られており（非特許文献３、４参照）、また、そのＣＭＯＳ集積回路実装の例も報告されている（非特許文献５参照）。カオスボルツマンマシンでは、各ユニットが有する内部状態値が、各ユニットの出力値に応じて変化するアナログ値であり、各ユニットの出力値が、自らの内部状態値が予め定められた上限値又は下限値となるタイミングで一方の値から他方の値に切り替わる２値（０又は１）である。ｉ番目のユニットの内部状態値をｘｉ、ｉ番目のユニットの出力値をｓｉ、温度パラメータをＴ、ｉ番目のユニットとｊ番目のユニットの間の相互結合荷重値をＷｉｊ、ｉ番目のユニットのバイアス値をθｉとし、ｚｉを以下の式１で表わされる値として、以下の式２、式３が成立する。  
【０００８】
【数１】
2020204888.tif 000003
【０００９】
【数２】
2020204888.tif 000004
【００１０】
【数３】
2020204888.tif 000005
【００１１】
カオスボルツマンマシンにおいてユニットの出力値のデューティ比（単位期間内で出力値が１となる期間の割合）の平均値は、ボルツマンマシンにおいてユニットが１を出力する確率と等しいことから、本来の確率動作をカオス動作により模擬することによってカオスボルツマンマシンをボルツマンマシンと同様の機能を発揮するモデルとして扱うことができる。ここで、式２以外の式でｄｘｉ／ｄｔが表されるモデルであっても、デューティ比の平均値が、ボルツマンマシンのユニットが１を出力する確率に等しければ、該当のモデルはボルツマンマシンと同様の機能を発揮するモデルとして採用することができる（非特許文献４参照）。  
【００１２】
本発明は、かかる事情に鑑みてなされたもので、集積回路実装が可能なレザバー計算モデルを実行でき、低消費電力化及び高性能化が図られた情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記目的に沿う本発明に係る情報処理装置は、入力層と、それぞれ内部状態値を有し該内部状態値に応じて出力値が変化する複数のユニットが結合され、前記入力層から入力値が与えられる中間層と、前記各ユニットの出力値を基に導出される値が与えられる出力層とを具備し、前記各ユニットは、前記内部状態値が、予め定められた上限値及び下限値の間で時間の経過によって増減するアナログ値であり、前記出力値が、自らの前記内部状態値が前記上限値又は前記下限値となる際に第１、第２の値の一方から他方に切り替わる情報処理装置において、一定の周期で第３、第４の値の切り替えがなされる参照クロック信号を前記中間層に与える信号供給手段を備え、前記各ユニットは、前記内部状態値の増減速度が、前記入力値、他の前記ユニットの前記出力値の重み付け総和及び自らの前記出力値に加え前記参照クロック信号の値を含む非線形変換結果で表現される増減速度演算式によって算出されて、前記自らの出力値が、時間の経過によって前記入力値に対応する特定の値に収束する。
【発明の効果】
【００１４】
本発明に係る情報処理装置は、中間層のユニット内の内部状態をアナログ値で表現すると共に、ユニット間の信号伝達に２値信号を用いるので、アナログ値をそのまま伝送する方式に比べて大幅な低消費電力化が図れ、かつ、内部状態値の更新を行う増減速度の計算に非線形変換を含むことにより、カオスを生成できるネットワークを参照クロック信号で制御するので、「カオスの縁」の環境を実現でき、高性能化を図ることができる。即ち、既に集積回路化が実現されているカオスボルツマンマシンモデル（非特許文献５参照）を用いることで集積回路実装が可能なレザバー計算モデルを実行でき、低消費電力化及び高性能化を図ることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施の形態に係る情報処理装置の説明図である。
【図２】離散時間連続値時系列から連続時間２値への変換を示す説明図である。
【図３】中間層のユニットの内部状態値と出力値との関係を示す説明図である。
【図４】（Ａ）、（Ｂ）は式１０の演算を行うための回路例を示す説明図である。
【図５】参照クロック信号、中間層のユニットの出力値の位相差及びＪｉ（ｔ）の関係を示す説明図である。
【図６】（Ａ）、（Ｂ）はそれぞれ出力手段に与えられる離散時間連続値時系列の実際の値と教師データを比較したシミュレーション結果を示す説明図である。
【図７】カオスボルツマンマシンの変形例におけるＳｉ、ｘｉ、ｚｉの時間変化を示す説明図である。
【図８】式１２等及び式１２適用の式１３を実装したアナログＣＭＯＳ集積回路の説明図である。
【図９】同アナログＣＭＯＳ集積回路の説明図である。
【図１０】同アナログＣＭＯＳ集積回路について行ったシミュレーション結果を示す説明図である。
【図１１】中間層のユニットに与えられる入力を電流値として求めるアナログの結合回路を示す説明図である。
【図１２】同アナログの結合回路を示す説明図である。
【図１３】同アナログの結合回路について行ったシミュレーション結果を示す説明図である。
【図１４】エンコーダのデジタル回路例を示す説明図である。
【図１５】式１０を実現するデジタル回路例を示す説明図である。
【図１６】デコーダのデジタル回路例を示す説明図である。
【発明を実施するための形態】
【００１６】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。図１に示すように、本発明の一実施の形態に係る情報処理装置１０は、入力層１１と、それぞれ内部状態値を有し内部状態値に応じて出力値が変化する複数のユニット１２が結合され、入力層１１から入力値が与えられる中間層１３と、各ユニット１２の出力値を基に導出される値が与えられる出力層１４とを具備し、各ユニット１２は、内部状態値が、予め定められた上限値及び下限値の間で時間の経過によって増減するアナログ値であり、出力値が、自らの内部状態値が上限値又は下限値となる際に第１、第２の値の一方から他方に切り替わる装置である。以下、詳細に説明する。  
【００１７】
入力層１１は、図１に示すように、離散時間システムの連続値時系列（以下、「離散時間連続値時系列」とも言う）をそれぞれ出力する複数のユニット１５が設けられた入力値付与手段１６と、複数
のユニット１５から離散時間連続値時系列がそれぞれ与えられる複数のユニット１７が設けられたエンコーダ１８とを具備している。各ユニット１７は、ユニット１５から与えられた離散時間連続値時系列を、中間層１３のユニット１２が扱える信号、本実施の形態では、連続時間システムの２値変数（以下、「連続時間２値」とも言う）の信号（連続時間システムの矩形波信号）に変換し、連続時間２値を中間層１３のユニット１２に入力値として与える。  
【００１８】
各ユニット１５が出力する離散時間連続値時系列を、以下の式４で表現すると、ユニット１７が離散時間連続値時系列を連続時間２値に変換する変換式は、以下の式５で表わされる。  
【００１９】
【数４】
2020204888.tif 000006
【００２０】
【数５】
2020204888.tif 000007
【００２１】
式５における連続時間ｔと離散時間ｎには以下の式６の関係がある。  
【００２２】
【数６】
2020204888.tif 000008
【００２３】
離散時間連続値時系列から連続時間２値への変換例を図２に示す。図２において横軸は時間軸である。連続時間２値の位相は、図２に示すように、離散時間連続値時系列の値が大きくなると早くなり、離散時間連続値時系列の値が小さくなると遅くなる。  
【００２４】
また、本実施の形態において、ユニット１２の内部状態値は予め定められた上限値及び下限値の間で変化するアナログ値であり、ユニット１２の出力値は連続時間２値である。本実施の形態では、ｉ番目のユニット１２の内部状態値ｒｉ（ｘ）（ｔ）及び出力値ｒｉ（ｓ）（ｔ）は以下の式７で表わされ、第１の値＝０、第２の値＝１、内部状態値の上限値＝１、内部状態値の下限値＝０である。  
【００２５】
【数７】
2020204888.tif 000009
【００２６】
また、各ユニット１２の内部状態値の増減速度は以下の式８の増減速度演算式によって算出される。  
【００２７】
【数８】
2020204888.tif 000010
【００２８】
式８から、各ユニット１２の増減速度演算式が、ユニット１７から各ユニット１２に与えられる入力値、他のユニット１２の出力値の重み付け総和及び自らの出力値を含む非線形変換結果で表現されることが分かる。また、ユニット１２の出力値ｒｉ（ｓ）（ｔ）とユニット１２の内部状態値ｒｉ（ｘ）（ｔ）には以下の式９の関係があり、各ユニット１２の出力値は、図３に示すように、自らの内部状態値が０（下限値）になると０（第１の値）となり、自らの内部状態値が１（上限値）になると１（第２の値）となる。  
【００２９】
【数９】
2020204888.tif 000011
【００３０】
そして、式８中のＪｉ（式８ではＪｉ（ｔ）の（ｔ）を省略して記載している）は、以下の式１０で表わされる。  
【００３１】
【数１０】
2020204888.tif 000012
【００３２】
式１０における参照クロック信号は、一定の周期で第３、第４の値が切り替えられる信号である。よって、式８で表わされる増減速度演算式は参照クロック信号の値を含んでいることとなる。なお、本実施の形態では第３の値＝１、第４の値＝０である。そして、情報処理装置１０は、図１に示すように、参照クロック信号を発生させる信号供給手段１９を備えている。信号供給手段１９は発生させた参照クロック信号を中間層１３に与える。  
【００３３】
また、式１０より、各ユニット１２は、参照クロック信号が第４の値から第３の値に切り替わる切替えタイミングで更新されて、当該切替えタイミングの自らの出力値が適用される調整値を有していることが分かる。ここで、本実施の形態においては、各ユニット１２の調整値が、時刻ｔで、ｔの整数値に当たる時刻における自らの出力値を参照している。実装上、各ユニット１２の調整値を記憶するためにメモリ素子が利用される。そして、式８、式１０より、増減速度演算式が、自らの出力値と参照クロック信号の値との差及び調整値の乗算値を含んでいることが分かる。  
【００３４】
増減速度演算式が式８、式１０で表わされる形式で時刻ｔにおける参照クロック信号（Ｃ（ｓ）（ｔ））を含んでいるのは、参照クロック信号に対してユニット１２の出力値（連続時間２値）の位相が進んでいる場合に出力値の位相が遅れるようにユニット１２の内部状態を制御し、参照クロック信号に対してユニット１２の出力値の位相が遅れている場合に出力値の位相が進むようにユニット１２の内部状態を制御して、ユニット１２の出力値と参照クロック信号との位相差を時間の経過と共に小さくするように調整するためである。この調整によって、各ユニット１２の出力値は、時間の経過によって徐々に入力値に対応する特定の値（原則、各ユニット１２によって特定の値は異なる）に収束する。  
【００３５】
ここで、中間層のユニットが内部状態値の変化に応じた振動をするものと仮定して、参照クロック信号が与える影響について説明する。中間層のユニットの振動が参照クロック信号によって制御されない場合、中間層では、各ユニットが、ユニット間の相互作用によって、カオス的に振動し、このカオス的な振動は時間の経過によっても収束しない。このような中間層は、各ユニットの初期状態が少しでも異なっていると、同一の入力値が中間層に与えられても、各ユニットの振動パターンが全く異なるものとなり、レザバー計算モデルとして機能しない。  
【００３６】
これに対し、本実施の形態のように、適度な強度の制御入力が中間層のユニットに加えられると、各ユニットはカオス的な振動（複雑な振動）状態から時間の経過と共に徐々に周期的な振動状態となる。このような中間層は、中間層への入力信号の入力が十分に長い期間なされると、各ユニットの初期状態がどのようなものであったとしても、同一の入力信号に対して、各ユニットの振動パターンが一定のものとなる。このような特性はエコステート特性と称され、レザバー計算モデルに必要な特性である。  
【００３７】
一方、中間層のユニットに加えられる制御入力の強度が強すぎる場合、中間層に入力される入力値が異なっても、各ユニットの振動パターンが常に一定のものとなる。従って、各ユニットの振動には入力値が反映されず、このような中間層もレザバー計算モデルとして機能しない。  
【００３８】
式１０の演算は、図４（Ａ）、（Ｂ）に示すように、論理回路、スイッチ及びキャパシタを具備する集積回路２５と、論理回路及びスイッチを具備する集積回路２６とによって実装することができる。集積回路２５は、参照クロック信号の位相及び中間層１３のユニット１２の出力値の位相のいずれが早いかを検出し、その検出結果をｒｈｏｌｄの信号として集積回路２６に出力する。  
【００３９】
集積回路２６は、参照クロック信号とユニット１２の出力値の位相差に対応するパルス幅を有する電流パルスＩｒｅｆ（Ｊｉ（ｔ）に相当）を出力する。集積回路２６から出力される電流パルスは、参照クロック信号の位相に対してユニット１２の出力値の位相が早ければ正の電流となり、参照クロック信号の位相に対してユニット１２の出力値の位相が遅ければ負の電流となる。参照クロック信号の位相、ユニット１２の出力値の位相、ｒｈｏｌｄの信号値、及び、集積回路２６から出力される電流パルスＩｒｅｆ＝Ｊｉ（ｔ）の関係を図５に示す。  
【００４０】
また、出力層１４は、図１に示すように、各ユニット１２の出力値を連続時間２値から離散時間連続値時系列にデコートするデコーダ２０と、デコーダ２０によるデコードによって得られた離散時間連続値時系列を基にして、外部に出力する値を算出する出力手段２１とを備えている。  
【００４１】
デコーダ２０は、各ユニット１２に対応するユニット２２を有し、各ユニット２２は対応するユニット１２の出力値を、以下に示す式１１で、離散時間連続値時系列に変換する。ユニット２２が変換した離散時間連続値時系列を、以下、「ユニット２２の離散時間連続値時系列」とも言う。  
【００４２】
【数１１】
2020204888.tif 000013
【００４３】
出力手段２１は各ユニット２２と結合された複数のユニット２３を有し、ユニット２２、２３間の各結合は重み付けがなされている。各ユニット２３に対して与えられる離散時間連続値時系列（以下、「ユニット２３の離散時間連続値時系列」とも言う）は、ユニット２２、２３間の各結合重みを含んだ演算式に、各ユニット２２の離散時間連続値時系列を代入して算出される。  
【００４４】
ユニット２２、２３間の各結合重みは、リッジ回帰等の公知の学習法によって予め決定される。リッジ回帰を利用した学習法の場合、以下に示す処理１、２によって、該当の結合重みが決定される。なお、ユニット２２、２３間の結合重みをＷｏｕｔとし、ユニット２２の数（ユニット１２の数も同じ）をＮｒとし、ユニット２３の数をＮｙとする。  
【００４５】
（処理１）時間ステップｎ＝０からｎ＝Ｔ１まで情報処理装置１０を動作させ、過渡状態となるｎ＜Ｔ０＜Ｔ１の時間帯を除く時間帯で、各ユニット２２の離散時間連続値時系列を（Ｔ１−Ｔ０−１）×Ｎｒの状態収集行列Ｍに設定し、各ユニット２３の離散時間連続値時系列の教師データを（Ｔ１−Ｔ０−１）×Ｎｙの状態収集行列Ｇに設定する。（処理２）（Ｗｏｕｔ）Ｔ＝（ＭＴＭ＋λＥ）−１ＭＴＧとして、リッジ回帰を行い、Ｗｏｕｔを求める。なお、λは係数パラメータであり、Ｅは単位行列である。  
【００４６】
入力値付与手段１６の各ユニット１５が、それぞれ三角関数の値（ｕｉ）をエンコーダ１８に与えた場合に、出力手段２１の各ユニット２３に与えられる離散時間連続値時系列の値（ｙｉ）がどのようになるかをシミュレーションした結果を、図６（Ａ）、（Ｂ）に示す。異なるｕｉについて行った２つのシミュレーション結果が、図６（Ａ）、（Ｂ）にそれぞれ示されている。図６（Ａ）、（Ｂ）において、ｙｉの値を記載したグラフでは、実際に得られた値が実線で記載され、教師データの値が破線で記載されている。なお、ｒｉは中間層１３の各ユニット１２の出力値を示している。  
【００４７】
また、式８は公知のカオスボルツマンマシン（式２、式３が成立する情報処理モデル）を基にした増減速度演算式であるが、増減速度演算式は、公知のカオスボルツマンマシンを基にしたものに限定されず、デューティ比の平均値が、ボルツマンマシンのユニットが１を出力する確率に等しい情報処理モデルで公知のカオスボルツマンマシンに該当しない情報処理モデル（以下、「カオスボルツマンマシンの変形例」と言う）を基にしたものであってもよい。カオスボルツマンマシンの変形例として、以下の式１２及び式３が成立する情報処理モデルが挙げられる。  
【００４８】
【数１２】
2020204888.tif 000014
【００４９】
式１２は、式２に比べて簡素であることが分かる。式１２が成立するカオスボルツマンマシンの変形例は、Ｓｉ、ｘｉ、ｚｉが、時間の経過と共に図７に示すように変化する。  
【００５０】
また、参照クロック信号を含む増減速度演算式は、式８で表わされるものに限定されず、例えば、以下の式１３をレザバー計算モデルに適用した増減速度演算式（以下、「式１３ベースの増減速度演算式」とも言う）を採用することもできる。  
【００５１】
【数１３】
2020204888.tif 000015
【００５２】
式１３において、αは係数であり、Ｆ（ｓｉ、ｚｉ；Ｔ）には、式２の右辺や式１２の右辺が適用される。式１３（式１３ベースの増減速度演算式）も、式８、式１０と同様に、多項式であり、αＣ（ｓ）（ｔ）の項を有する。
そして、式１３において、式１２の右辺をＦ（ｓｉ、ｚｉ；Ｔ）に適用してなる数式をベースとした増減速度演算式を採用する場合、中間層の各ユニットは、当該増減速度演算式が、中間層の他のユニットの出力値の重み付け総和を指数関数として含み、自らの出力値が第２の値である時間帯（即ち、ｓｉ＝０の時間帯）でのみ、内部状態値の増減速度の算出に、中間層の他のユニット出力値の重み付け総和の指数関数が寄与する。  
【００５３】
また、式１２と、式１２の右辺をＦ（ｓｉ、ｚｉ；Ｔ）に適用してなる式１３（以下、「式１２適用の式１３」とも言う）とは、図８に示すアナログＣＭＯＳ集積回路２４によって実装することができる。式１２の右辺は、ｓｉ＝０のとき、第２項が消えて第１項のみとなり、ｓｉ＝１のとき、第１項が消えて第２項のみとなる。これに対応すべく、アナログＣＭＯＳ集積回路２４は、図８、図９に示すように、ｓｉ＝０の状態に対応するＤＴＧ１回路ブロック２７と、ｓｉ＝１の状態に対応するＤＴＧ２回路ブロック２８を備えている。なお、図８、図９において、Ｓｒｓｔは状態をリセットする信号を意味し、Ｓｒｅｆはｃ（ｓ）（ｔ）、即ち、参照クロック信号を意味する（以下、同様）。  
【００５４】
式１２の右辺の第１項と式１２適用の式１３の右辺の第２項の演算を担うことが可能なＤＴＧ１回路ブロック２７は、図９に示すように、中間層の他のユニットからの入力ｚｉが電流Ｉｚｉとして通電され、通電された電流Ｉｚｉを抵抗によって電圧Ｖｚｉに変換する。そして、電圧Ｖｚｉを対象とした、温度パラメータＴを含む指数関数による変換を、電圧制御電流源Ｉｅｘｐによって行い、その変換結果をキャパシタＣｘ＋で保持する。電圧制御電流源Ｉｅｘｐは、通常のＭＯＳＦＥＴのサブスレッショルド領域の動作によって実現できる。そして、ＤＴＧ１回路ブロック２７は、Ｓｒｅｆの反転信号及びＳｉのＮＯＲ論理を取った信号で通電と非通電が切り替えられる電流源Ｉαによって、式１２適用の式１３の右辺の第２項に対応する参照クロック信号の加算を行う。キャパシタＣｘ＋の電圧ＶＸ＋は、閾値ＶＬＴＨと比較され、制御信号ＳＷ１としてＤＴＧ１回路ブロック２７から出力される。  
【００５５】
式１２の右辺の第２項と式１２適用の式１３の右辺の第２項の演算を担うことが可能なＤＴＧ２回路ブロック２８は、係数（２−α）に相当する電流Ｉ２−αを信号Ｓｉでスイッチして、ｄｘｉ／ｄｔの更新分に相当するキャパシタＣｘ−の電荷を更新する。ＤＴＧ２回路ブロック２８による式１２適用の式１３の右辺の第２項の演算は、ＤＴＧ１回路ブロック２７と同様の処理によって行われる。キャパシタＣｘ−の電圧ＶＸ−は、閾値ＶＬＴＨと比較され、制御信号ＳＷ０としてＤＴＧ２回路ブロック２８から出力される。  
【００５６】
ＤＴＧ１回路ブロック２７及びＤＴＧ２回路ブロック２８に接続されたＢＳＭ回路ブロック２９は、図８に示すように、Ｓｉの値を電圧値として保持し、保持しているＳｉの値を、デジタルバッファを通して出力する。ＢＳＭ回路ブロック２９は、式３の判定に相当するパルス信号であるＳＷ１又はＳＷ０が入力されることによって、Ｓｉの値を更新する。アナログＣＭＯＳ集積回路２４について行ったシミュレーション結果を図１０に示す。図１０に示すシミュレーション結果より、Ｓｉの変動が単一振動動作に準じるものとなることが分かる。  
【００５７】
また、中間層の各ユニットが他のユニットから与えられる入力ｚｉを電流Ｉｚｉとして求めることができるアナログの結合回路３０を図１１、図１２に示す。結合回路３０は、結合荷重Ｗｉｊが−１、０、１の３値であることを前提とした回路であり、複数のＳＹ回路部３１及び複数のＳＯＤ回路部３１ａを有している。各ＳＹ回路部３１は２個の公知のＳＲＡＭセルを用いることでそれぞれ−１及び１の荷重を保持し、どちらのセルからも電流を流さないことで０荷重を表現することによって、３値荷重を保持し、各ＳＯＤ回路部３１ａは＋荷重及び−荷重の演算結果を統合する。結合回路３０において複数のユニットそれぞれのＳｉの変化をシミュレーションした結果を図１３に示す。図１３に示す結果より、各ユニットのＳｉが時間の経過に伴って参照クロック信号Ｓｒｅｆに同期するようになることが確認できる。  
【００５８】
次に、デジタルＣＭＯＳ集積回路による実装例について説明する。なお、デジタル回路では、通常、回路全体の同期のためにシステムクロックが利用され、以下に示す回路においてもシステムクロックの入力がなされるが、以下、システムクロックの入力についての説明は省略する。また、レザバー計算モデルを構成するカオスボルツマンマシンのデジタル回路の実装例は公知となっており、指数関数がシフト演算によって実装化されている。この点は、本実施の形態においても有効である。  
【００５９】
エンコーダ１８は、図１４に示すように、カウンタ３２及びコンパレータ３３を有して構成できる。カウンタ３２によって以下の式１４で表わされる時刻（以下、「カウンタ値」とも言う）が表現される。  
【００６０】
【数１４】
2020204888.tif 000016
【００６１】
カウンタ値は、参照クロック信号の立ち上がり時に−１にリセットされ、それ以外のタイミングでは、１までｄｔ（時刻の刻み幅）ずつ、カウントアップを続ける。コンパレータ３３は、カウンタ値と入力値付与手段１６からエンコーダ１８に入力される値（即ち、ｕｉ（ｎ））を変換式に従って比較し、以下の式１５で表わされる連続時間２値を出力する。  
【００６２】
【数１５】
2020204888.tif 000017
【００６３】
出力される連続時間２値の位相は、エンコーダ１８に入力される値が小さくなるにつれて早くなり（図１４では左側にずれ）、エンコーダ１８に入力される値が大きくなるにつれて遅くなり（図１４では右側にずれ）、エンコーダ１８に入力される値が０のとき、参照クロック信号の位相と一致する。  
【００６４】
また、式１０を実現する回路３４は、図１５に示すように、コンパレータ３５、ラッチ３６及びセレクタ３７、３８を主として構成することができる。コンパレータ３５で、参照クロック信号とユニット１２の出力値を比較し、位相が異なっている際に、α又は−αを出力する。ラッチ３６は参照クロック信号の立ち上がり時に、ユニット１２の出力値を記憶し、ユニット１２の出力値の位相が参照クロック信号の位相に対して遅れているか進んでいるかを判定する。  
【００６５】
そして、デコーダ２０は、図１６に示すように、コンパレータ３９、ラッチ４０及びアップダウンカウンタ４１を有し、参照クロック信号とユニット１２の出力値の位相差を基に、連続時間２値を離散時間連続値時系列に変換する。変換式は以下の式１６、式１７によって表される。  
【００６６】
【数１６】
2020204888.tif 000018
【００６７】
【数１７】
2020204888.tif 000019
【００６８】
コンパレータ３９及びラッチ４０は、図１５に示す回路３４のコンパレータ３５及びラッチ３６と同じ動作をするため、該当部分を、デコーダ２０と回路３４で兼用するように設計してもよい。アップダウンカウンタ４１は、参照クロック信号とユニット１２の位相差が反映された値を累積する。参照クロック信号が立ち上るタイミングで、アップダウンカウンタ４１に累積されていた値は離散時間連続値時系列ｒｉ（ｎ）として出力され、アップダウンカウンタ４１に累積されていた値が初期化される（０となる）。  
【００６９】
アップダウンカウンタ４１は、コンパレータ３９からの出力を基に、参照クロック信号の位相とユニット１２の出力値の位相が異なっているか否かを検出し、ユニット１２の出力値の位相が参照クロック信号の位相に対して進んでいる時間帯で、累積される値をデクリメントし、ユニット１２の出力値の位相が参照クロック信号の位相に対して遅れている時間帯で、アップダウンカウンタ４１に累積される値をインクリメントする。  
【００７０】
以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
【符号の説明】
【００７１】
１０：情報処理装置、１１：入力層、１２：ユニット、１３：中間層、１４：出力層、１５：ユニット、１６：入力値付与手段、１７：ユニット、１８：エンコーダ、１９：信号供給手段、２０：デコーダ、２１：出力手段、２２、２３：ユニット、２４：アナログＣＭＯＳ集積回路、２５、２６：集積回路、２７：ＤＴＧ１回路ブロック、２８：ＤＴＧ２回路ブロック、２９：ＢＳＭ回路ブロック、３０：結合回路、３１：ＳＹ回路部、３１ａ：ＳＯＤ回路部、３２：カウンタ、３３：コンパレータ、３４：回路、３５：コンパレータ、３６：ラッチ、３７、３８：セレクタ、３９：コンパレータ、４０：ラッチ、４１：アップダウンカウンタ
【図１】
2020204888.tif 000020
【図２】
2020204888.tif 000021
【図３】
2020204888.tif 000022
【図４】
2020204888.tif 000023
【図５】
2020204888.tif 000024
【図６】
2020204888.tif 000025
【図７】
2020204888.tif 000026
【図８】
2020204888.tif 000027
【図９】
2020204888.tif 000028
【図１０】
2020204888.tif 000029
【図１１】
2020204888.tif 000030
【図１２】
2020204888.tif 000031
【図１３】
2020204888.tif 000032
【図１４】
2020204888.tif 000033
【図１５】
2020204888.tif 000034
【図１６】
2020204888.tif 000035