(57)【要約】確率的に報酬を受け得る２n個（ｎは自然数）の選択肢のうちから一つの選択肢を選択する意思決定装置であって、所定の物理量の値を、基準値に対して正または負の方向に確率的変動を伴って制御可能な回路素子を２n−１個用いて仮想的な二分木を構成し、選択肢のうち一つを試行的に選択して、報酬の有無を判断し、当該試行した選択肢に関わる回路素子のそれぞれの物理量の値を、予め定めた規則に従って制御する意思決定装置である。
2020059723.tif 000002
【特許請求の範囲】
【請求項１】
ＴＯＷ（Ｔｕｇ−ｏｆ−Ｗａｒ）モデルに基づき、２以上の確率的報酬付与手段のいずれかを決定する意思決定装置であって、
所定のパルス電圧を印加することにより抵抗値が変化する回路手段であって、前記抵抗値がパルス電圧の印加回数に対し線形的に変化し、さらに前記抵抗値は確率的な揺らぎを有しながら変化する回路手段と、
前記回路手段の現在の抵抗値の、所定の閾値に対する大小により、第１の確率的報酬付与手段および第２の確率的報酬付与手段のいずれの報酬付与処理を実行するかを判定し、前記報酬付与処理の結果、報酬有の結果により、実行した確率的報酬付与手段がさらに報酬付与処理を実行すると判定される方向に前記抵抗値を変化させるためのパルス電圧を印加し、報酬無の結果により前記報酬付与処理を実行した確率的報酬付与手段と異なる確率的報酬付与手段が報酬付与処理を実行すると判定される方向に前記抵抗値を変化させるためのパルス電圧を印加する回路制御手段と
を備えることを特徴とする意思決定装置。
【請求項２】
前記回路手段は、アナログ抵抗変化素子を含み、パルス電圧の印加条件を調節することで、前記抵抗値がパルス電圧の印加回数に対し非線形的に変化するよう応答特性を変更することができることを特徴とする請求項１に記載の意思決定装置。
【請求項３】
前記アナログ抵抗変化素子は、窒化物からなる電極により酸化物からなる抵抗変化層を挟持する積層構造を有することを特徴とする請求項１または２に記載の意思決定装置。
【請求項４】
前記窒化物からなる電極は、ＴｉＮ電極であり、前記抵抗変化層は抵抗値の異なる、少なくとも２つのＴａＯｘを含むことを特徴とする請求項３に記載の意思決定装置。
【請求項５】
前記制御手段は、前記回路手段の抵抗値が前記所定の閾値よりも低い場合、前記第１確率的報酬付与手段の報酬付与処理を実行し、当該実行された報酬付与処理の結果が報酬有により抵抗値が低下するセット電圧を印加し、当該実行された報酬付与処理の結果が報酬無により抵抗値が増大するリセット電圧を印加することを特徴とする請求項１ないし４のいずれかに記載の意思決定装置。
【請求項６】
前記セット電圧と前記リセット電圧とは、所定の比を有することを特徴とする請求項５に記載の意思決定装置。
【請求項７】
３以上の確率的報酬付与手段から１つを決定する意思決定装置であって、
全ての確率的報酬付与手段を任意に２つ選択して対を構成し下位階層を形成し、各々の対をさらに組み合わせて対を構成して上位階層を形成することにより形成される階層構造を有し、前記形成された対の各々について請求項１ないし６のいずれかに記載の意思決定装置を対応させ、前記全ての意思決定装置の抵抗値の集合に従って確率的報酬付与手段のいずれかを決定し、該確率的報酬付与手段の報酬結果に従って対応する意思決定装置の抵抗値を更新し、当該更新された値に基づき上位階層の意思決定装置の抵抗値を順次更新して行く上位階層処理を繰返すことにより３以上の確率的報酬付与手段から１つの確率的報酬付与手段の報酬付与処理を実行することを決定することを特徴とする意思決定装置。
【請求項８】
前記上位階層処理は、前記下位階層処理を最初の所定回数実行した後から実行されることを特徴とする請求項７に記載の意思決定装置。
【請求項９】
前記上位階層処理は、前記下位階層処理の結果、実行された報酬付与処理の結果に基づく評価値がより高い確率的報酬付与手段を選択するよう実行されることを特徴とする請求項７に記載の意思決定装置。
【請求項１０】
二者間で仮想的なバーの引き合いにより解を取得するＴＯＷ（Ｔｕｇ−ｏｆ−Ｗａｒ）モデルに基づいて、３以上の確率的報酬付与手段から１つを決定する意思決定を行う意思決定方法であって、
全ての確率的報酬付与手段を任意に２つ選択して対を構成し下位階層を形成し、各々の対をさらに組み合わせて対を構成して上位階層を形成する階層形成ステップと、
前記形成された最下位階層の各対についてＴＯＷモデルの仮想的なバーの両側に前記対の確率的報酬付与手段を各々配置して、前記最下位階層の仮想的なバーの仮想的な位置関係と、それより上位の全階層の仮想的なバーの位置関係により、いずれの確率的報酬付与手段の報酬付与処理を実行するかを判定して、実行する最下位報酬付与ステップと、
前記最下位報酬付与処理の結果、報酬有の結果により前記報酬付与処理を実行した確率的報酬付与手段がさらに報酬付与処理を実行すると判定される方向に前記最下位階層の仮想的なバーを所定の距離だけ移動させ、報酬無の結果により前記報酬付与処理を実行した確率的報酬付与手段と異なる確率的報酬付与手段が報酬付与処理を実行すると判定される方向に前記最下位階層の仮想的なバーを所定の距離だけ移動させる最下位更新ステップと、
前記最下位更新ステップに基づき、それよりも上位の各階層の仮想的なバーにおいても直下の階層の更新値を反映することで更新が順次実行される上位更新ステップと
を備えることを特徴とする意思決定方法。
【請求項１１】
二者間で仮想的なバーの引き合いにより解を取得するＴＯＷモデル（Ｔｕｇ−ｏｆ−Ｗａｒ）に基づいて、３以上の確率的報酬付与手段から１つを決定する意思決定を行う意思決定方法をコンピュータに実行させるプログラムであって、該意思決定方法は、
全ての確率的報酬付与手段を任意に２つ選択して対を構成し下位階層を形成し、各々の対をさらに組み合わせて対を構成して上位階層を形成する階層形成ステップと、
前記形成された最下位階層の各対についてＴＯＷモデルの仮想的なバーの両側に前記対の確率的報酬付与手段を各々配置して、前記最下位階層の仮想的なバーの仮想的な位置関係と、それより上位の全階層の仮想的なバーの位置関係により、いずれの確率的報酬付与手段の報酬付与処理を実行するかを判定して、実行する最下位報酬付与ステップと、
前記最下位報酬付与処理の結果、報酬有の結果により前記報酬付与処理を実行した確率的報酬付与手段がさらに報酬付与処理を実行すると判定される方向に前記最下位階層の仮想的なバーを所定の距離だけ移動させ、報酬無の結果により前記報酬付与処理を実行した確率的報酬付与手段と異なる確率的報酬付与手段が報酬付与処理を実行すると判定される方向に前記最下位階層の仮想的なバーを所定の距離だけ移動させる最下位更新ステップと、
前記最下位更新ステップに基づき、それよりも上位の各階層の仮想的なバーにおいても直下の階層の更新値を反映することで更新が順次実行される上位更新ステップと
を備えることを特徴とするプログラム。
【請求項１２】
それぞれ確率的に報酬を受け得る２n個（ｎは自然数）の選択肢のうちから一つの選択肢を選択する意思決定装置であって、
所定の物理量の値を、基準値に対して正または負の方向に確率的変動を伴って制御可能な回路素子を２n−１個用いて仮想的な二分木を構成し、最下層の２n-1個の回路素子が前記選択肢のいずれかを選択する処理に供される回路部と、
前記選択肢のうち一つを選択して、報酬の有無を判断する試行手段と、
前記試行手段の判断の結果により、当該試行手段が選択した選択肢に関わる回路素子のそれぞれの前記物理量の値を、予め定めた規則に従って制御する物理量制御手段と、
前記仮想的な二分木に構成された各回路素子を、最上位の回路素子から順次選択し、選択した回路素子の物理量の値が前記基準値より正であるか否かにより、一対の下位の回路素子のいずれかを選択することを繰り返して、選択された最下位の回路素子の物理量の値が前記基準値より正であるか否かにより、前記選択肢のいずれかを選択する選択肢選択手段と、
を有し、
前記物理量制御手段は、
前記試行手段の選択により、報酬を受けた場合に、当該試行手段が選択した選択肢が前記選択肢選択手段により選択される確率を上昇させるよう、選択肢に関わる回路素子のそれぞれの前記物理量の値を、予め定めた規則に従って制御する意思決定装置。
【請求項１３】
請求項１２に記載の意思決定装置であって、
前記物理量制御手段は、
前記試行手段の選択により、報酬を受けた場合に、前記仮想的な二分木に構成された各回路素子のうち、前記試行手段が選択した選択肢の選択に関わる各層の回路素子を注目回路素子として、それぞれ前記選択肢または下位の層の注目回路素子が選択される確率を上昇させるよう、各注目回路素子の前記物理量の値を、予め定めた規則に従って制御し、
前記試行手段の選択により、報酬を受けなかった場合に、前記仮想的な二分木に構成された各回路素子のうち、前記試行手段が選択した選択肢の選択に関わる各層の回路素子を注目回路素子として、それぞれ前記選択肢または下位の層の注目回路素子が選択される確率を下降させるよう、各注目回路素子の前記物理量の値を、予め定めた規則に従って制御する意思決定装置。
【請求項１４】
請求項１２または１３に記載の意思決定装置であって、
前記物理量制御手段は、
前記予め定めた規則に従って回路素子の物理量の値を制御するに先立ち、各回路素子の物理量の値を、所定の値に近接させるよう制御する意思決定装置。
【請求項１５】
請求項１２から１４のいずれか一項に記載の意思決定装置であって、
前記物理量は、回路の抵抗値であり、前記回路素子は、抵抗変化素子である意思決定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、意思決定装置、及び意思決定装置の制御方法に関する。
【背景技術】
【０００２】
確率的に獲得される報酬量を最大化する解を探索する問題の代表例として、多本腕バンディット問題（Multi-Armed Bandit problem: MAB）について様々な提案がなされている。バンディット問題とは、確率的に報酬を提供する装置の例としてスロットマシーンを用いて表現される仮想的な問題であり、プレイヤーが複数種類の異なる行動選択肢から一つを選択する行動（どのスロットマシーンをプレイするか）を繰り返した後、選択した行動により定められた確率で報酬がプレイヤーに付与されるシステムにおいて、最終的にどのスロットマシーンを使用することにより報酬が最大になるかを、できるだけ短い時間で決定するという問題である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１３００２４号公報
【特許文献２】特開２０１８−１２４７９０号公報
【非特許文献】
【０００４】
【非特許文献１】S.-J. Kim, M. Aono, & M. Hara (2010): “Tug-of-war model for the two-bandit problem: Nonlocally-correlated parallel exploration via resource conservation”, BioSystems 101 29-36.
【非特許文献２】S.-J. Kim, M. Aono & E. Nameda (2014): “Efficient decision-making by volume-conserving physical object”, New J. Phys. 17(2015)08302.
【非特許文献３】M. Naruse, M. Berthel, A. Drezet, S. Huant, M. Aono, H. Hori, S.-J. Kim (2015): "Single-photon decision maker", Scientific Reports 5, 13253.
【非特許文献４】M. Naruse, M. Berthel, A. Drezet, S. Huant, H. Hori, & S.-J. Kim (2016): "Single photon in hierarchical architecture for physical reinforcement learning: Photon intelligence", ACS Photonics 2016, 3, 2505-2514.
【非特許文献５】S.-J. Kim, T. Tsuruoka, T. Hasegawa, M. Aono, K. Terabe, & M. Aono, (2016): "Decision maker based on atomic switches", AIMS Materials Science 3(1): 245-259.
【非特許文献６】C.Lutz, T.Hasegawa, & T.Chikyow (2016): "Ag2S atomic switch-based ‘tug of war’ for decision making", Nanoscale, 2016, 8, 14031-14036.
【非特許文献７】Takashi Tsuchiya, Tohru Tsuruoka, Song-Ju Kim, Kazuya Terabe, Masakazu Aono (2018): “Ionic decision-maker created as novel, solid-state devices”, Sci. Adv. 2018;4: eaau2057.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このようなバンディット問題は、ウェブ広告の提示（どの広告を提示することが効果的であるかを見出す）等、種々の分野で応用されている。バンディット問題には、報酬が二値（「有り」または「無し」）をとるＮ台のスロットマシーン（選択肢）から報酬確率が最大となる選択肢がどれであるかを判断する問題（以下、二値バンディット問題という、例えば、非特許文献１、非特許文献２参照）や、報酬が連続値（実数）をとるＮ台のスロットマシーン（選択肢）から期待報酬量が最大となる選択肢がどれであるかを判断する問題（以下、連続値バンディット問題という、例えば、非特許文献４参照）、さらには、プレイヤー数が２以上で競合が生じる状況を表現したバンディット問題（以下、競合的二値バンディット問題という、例えば、特許文献５参照）などがある。【０００６】
このような様々なバンディット問題に対する解を探索する手法として、従来、ε−ｇｒｅｅｄｙアルゴリズムやＳＯＦＴＭＡＸアルゴリズムなどが知られていた。また近年では、綱引き（Ｔｕｇ−ｏｆ−Ｗａｒ；ＴＯＷ）モデルと呼ばれる解法も提案されている。【０００７】
このＴＯＷモデルは、単細胞のアメーバ状生物の振舞いから着想を得た動力学的なアルゴリズムであり、有限の体積をもつ細胞内資源を複数の端末が綱引きするよう奪い合う物理的な特性から意思決定機能を得るものである。この綱引き的な現象の動力学における物理的な制約である体積保存則によって、ＴＯＷモデルの動作はε−ｇｒｅｅｄｙアルゴリズムやＳＯＦＴＭＡＸアルゴリズムのような、他の良く知られているアルゴリズムよりも高い性能を示しており、実際に従来のアルゴリズムとシミュレーションによりその高い性能が確認されている（非特許文献１）。【０００８】
具体的に、非特許文献１のＦｉｇ．５に示されているように、ε−ｇｒｅｅｄｙアルゴリズムやＳＯＦＴＭＡＸアルゴリズムを用いた場合に比べ、少ない試行回数で同等の正解率が得られるのが理解できる。【０００９】
また、非特許文献１のＦｉｇ．７には、試行回数３０００回付近でスロットマシーン（選択肢）ごとの報酬確率分布を変化させた例を示すもので、具体的にはスロットマシーンＡおよびＢにおいて、（Ａの確率分布ＰＡ＝０．４０、Ｂの確率分布ＰＢ＝０．６０）から（ＰＡ＝０．６０、ＰＢ＝０．４０）に変更したときの例が示されている。【００１０】
このように報酬確率分布が変化した場合に、その後に再度正解を取得するまでの状況を調べると、非特許文献１のＦｉｇ．７に示されているように、ＴＯＷモデルを用いた場合に、ＳＯＦＴＭＡＸアルゴリズムを用いた場合よりも正解を取得するまでのグラフの傾斜が急になっており、より早く報酬確率分布の変化に対応しており、環境変化により適応的であることが理解される。【００１１】
このようなＴＯＷモデルの実装例としては、体積保存則等の物理的制約による綱引き的な現象の動力学を利用したＴＯＷモデル（以下、力学的ＴＯＷモデルという、例えば、非特許文献１参照）や、伸縮しない仮想的なバーを想定し、バーを左右に固定値変動させるＴＯＷモデル（以下、固定値バーＴＯＷモデルという、例えば、非特許文献２参照）、および固定値バーＴＯＷモデルを非固定値変動まで拡張したＴＯＷモデル（以下、非固定値バーＴＯＷモデルという、例えば、非特許文献５、特許文献３参照）などがある。【００１２】
また近年では、このようなＴＯＷモデルを物理的に実装した意思決定デバイスの提案がなされている。例えば単一光子の粒子性と波動性とを用いてＴＯＷモデルを実装する手法（例えば、非特許文献３、非特許文献４参照）や、パルス電圧を印加することなどにより抵抗値を変化させることができるデバイスを使用してＴＯＷモデルを実装する手法などが提案されている。【００１３】
後者の例は、様々な金属を組み合わせ、印加する電圧に応じて抵抗値が変化するアナログ抵抗変化素子を用いたもので、学習モデルに提供される学習データに応じて印加する電圧を制御し、学習モデルとなる、所定の特性を有するアナログ抵抗変化素子に当該制御された電圧を印加することで、ＴＯＷモデルの実装を図るものである。【００１４】
これによると、大型コンピュータ等にソフトウエアをインストールするといったことなく、比較的小型のハードウェアによって、意思決定を行うための装置を構築することが可能となる。【００１５】
なお、このようなアナログ抵抗変化素子としては、電極で挟持された固体電解質中で金属イオンが電界の印加によって移動・析出・再イオン化することを利用する原子スイッチを用いた素子（以下、ギャップなし型原子スイッチという、例えば、特許文献１、非特許文献５参照）、固体電解質を電極で挟持し電圧を印加することでフィラメントを成長又は収縮させる素子（以下、ギャップあり型原子スイッチという、例えば、非特許文献６参照）および電場によるイオンの輸送が可能な電解質材料層を２以上の電極で挟持した電解質素子（例えば、特許文献２、非特許文献７参照）などがある。【００１６】
このような特許文献１，２，非特許文献５，６，７にあるようなアナログ抵抗変化素子を用いる意思決定の装置を、バンディット問題に適用する場合、スロットマシーン（選択肢）の数が「２」であるバンディット問題を解くＴＯＷモデルであれば、上記各文献に記載のアナログ抵抗変化素子を１個だけ用いて実装することができる。【００１７】
しかしながら、特許文献１や非特許文献５に記載された、ギャップなし型原子スイッチをアナログ抵抗変化素子として用いる場合、比較的小型で低消費電力で動作するものの、処理の速度を高速化できないという課題があり、また、スロットマシーン（選択肢の）数を拡張した大規模問題を解くための方法も確立されていない。【００１８】
また非特許文献６にあるようなギャップあり型原子スイッチをアナログ抵抗変化素子として用いて、バンディット問題を解決する具体的方法は未だ示されていない。さらに、特許文献２、非特許文献７に記載されているような、電場によるイオンの輸送が可能な電解質材料層を２以上の電極で挟持した電解質素子でも、ギャップなし型原子スイッチと同様、比較的小型で低消費電力で動作するものの、高速化できないという問題点があり、スロットマシーン（選択肢の）数を拡張した大規模問題を解くための方法が見出せていない。【００１９】
このように、従来例の技術では、スロットマシーン（選択肢）の数を４以上とすることが困難であるのが実情である。【００２０】
なお、非特許文献３、非特許文献４に記載されているような、単一光子の粒子性と波動性を用いてＴＯＷモデルを実装する手法では、比較的高速に動作するものの、小型化や低消費電力化が難しく、スロットマシーン（選択肢）の数を拡張しようとすると、装置のサイズが著しく大きくなり、実用性に乏しい。【００２１】
本発明は、上記実情に鑑みて為されたもので、小型化が容易で、比較的低消費電力で動作し、また、比較的高速に動作が可能で、選択肢が多数である場合にも適用可能な意思決定装置、及びその制御方法を提供することを目的の一つとする。
【課題を解決するための手段】
【００２２】
上記従来例の問題点を解決する本発明の一態様は、それぞれ確率的に報酬を受け得る２n個（ｎは自然数）の選択肢のうちから一つの選択肢を選択する意思決定装置であって、所定の物理量の値を、基準値に対して正または負の方向に確率的変動を伴って制御可能な回路素子を２n−１個用いて仮想的な二分木を構成し、最下層の２n-1個の回路素子が前記選択肢のいずれかを選択する処理に供される回路部と、前記選択肢のうち一つを選択して、報酬の有無を判断する試行手段と、前記試行手段の判断の結果により、当該試行手段が選択した選択肢に関わる回路素子のそれぞれの前記物理量の値を、予め定めた規則に従って制御する物理量制御手段と、前記仮想的な二分木に構成された各回路素子を、最上位の回路素子から順次選択し、選択した回路素子の物理量の値が前記基準値より正であるか否かにより、一対の下位の回路素子のいずれかを選択することを繰り返して、選択された最下位の回路素子の物理量の値が前記基準値より正であるか否かにより、前記選択肢のいずれかを選択する選択肢選択手段と、を有し、前記物理量制御手段は、前記試行手段の選択により、報酬を受けた場合に、当該試行手段が選択した選択肢が前記選択肢選択手段により選択される確率を上昇させるよう、選択肢に関わる回路素子のそれぞれの前記物理量の値を、予め定めた規則に従って制御することとしたものである。
【発明の効果】
【００２３】
本発明によると、意思決定装置を小型化し、また比較的低消費電力で動作させることが可能となる。また、比較的高速に動作が可能で、選択肢が多数である場合にも適用可能な意思決定装置が提供される。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態の意思決定装置の構成例を表す図である。
【図２】本発明の一実施形態における多本腕バンディット問題を説明するための図である。
【図３】本発明の一実施形態の意思決定制御部の機能ブロック図である。
【図４】本発明の一実施形態のＴＯＷモデルを説明するための図である。
【図５】本発明の一実施形態のアナログ抵抗変化素子の透過型電子顕微鏡により得られた断面画像を示す図である。
【図６】本発明の一実施形態のアナログ抵抗変化素子を含むＲＡＮＤ回路を示す図である。
【図７】本発明の一実施形態で使用するアナログ抵抗変化素子のパルス電圧印加による抵抗値変化特性を示す図である。
【図８】本発明の一実施形態で使用するアナログ抵抗変化素子のパルス電圧印加による非線形的な抵抗値変化特性を示す図である。
【図９】本発明の一実施形態の２本腕バンディット問題のためのＴＯＷモデルを説明するための図である。
【図１０】本発明の一実施形態の２本腕バンディット問題のためのＴＯＷモデルで選択された側が報酬を得る場合の処理を示す図である。
【図１１】本発明の一実施形態の２本腕バンディット問題のためのＴＯＷモデルで選択された側が報酬を得られない場合の処理を示す図である。
【図１２】本発明の一実施形態の多本腕バンディット問題のためのＴＯＷモデルを説明するための図である。
【図１３】本発明の一実施形態の多本腕バンディット問題のための階層型ＴＯＷモデルの一例の処理のフローチャートである。
【図１４】本発明の一実施形態の多本腕バンディット問題のための階層型ＴＯＷモデルの別の例を示す図である。
【図１５】本発明の一実施形態の多本腕バンディット問題のための階層型ＴＯＷモデルの別の例の処理のフローチャートである。
【図１６】本発明の一実施形態の多本腕バンディット問題のための階層型ＴＯＷモデルの性能評価の一例を示す図である。
【図１７】本発明の一実施形態の多本腕バンディット問題のための階層型ＴＯＷモデルの性能評価の別の例を示す図である。
【図１８】本発明の実施の形態に係る意思決定装置の一例に係る構成ブロック図である。
【図１９】本発明の実施の形態に係る意思決定装置の一例に係る機能ブロック図である。
【図２０】本発明の実施の形態に係る意思決定装置が利用する仮想的な二分木の階層構造の例を表す説明図である。
【図２１】本発明の実施の形態に係る意思決定装置の動作例を表すフローチャート図である。
【図２２】本発明の実施の形態に係る意思決定装置のもう一つの動作例を表すフローチャート図である。
【図２３】本発明の実施の形態に係る意思決定装置のアナログ抵抗変化素子の回路の構成例を表す説明図である。
【発明を実施するための形態】
【００２５】
以下、本発明の意思決定方法およびその装置について、図面を参照して実施形態を説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。
【００２６】
（システム構成）
本発明の一実施形態で用いる意思決定装置の動作及び処理を以下に説明する。図１は、本発明の一実施形態の意思決定装置全体の構成図である。本装置は、意思決定の中心的な処理を行う意思決定制御部１０１、抵抗値の値を変更して報酬を変化させることにより最大報酬を得られるスロットマシーンなどの確率的報酬付与手段を決定するアナログ抵抗変化素子（ＲＡＮＤ）回路１０２、入力および出力に基づいて必要な電圧を決定してアナログ抵抗変化素子に印加し、所望の抵抗値を得られるように制御して意思決定処理を行うＲＡＮＤコントローラ１０３および実際に発生する様々な課題を意思決定可能な問題として意思決定制御部１０１に提供し、得られた解を実際の課題に適用する外部インタフェース部１０４を備える。
【００２７】
意思決定制御部１０１は、ＲＡＮＤ回路１０２との間で、データライン１１１のデータの入出力を行って、最終的に解を受けとる。ＲＡＮＤコントローラ１０３は、ＲＡＮＤ回路１０２を制御ライン１２１で制御するとともにデータライン１１２でデータの入出力などを行って、ＲＡＮＤの更新を進める。本実施形態では、以上のような装置構成、機能分担で処理を実行するが、これに限らず本技術分野で知られた構成、機能分担で本実施形態の処理を実装することもできる。
【００２８】
また、外部インタフェース部１０４は、何らかの意思決定すべき問題を取得したり、最適化問題が提供されたりした場合に、本技術分野で知られたいずれかの手法により、その問題を本実施形態のＲＡＮＤを用いた意思決定が可能な方式に変換するものであり、将来的には、携帯端末やロボットに搭載することができる可能性もある。
【００２９】
図２は、本発明の一実施形態の多本腕バンディット問題に関して説明するための図である。図２に示すように、一般に多本腕バンディット問題とは、２台を超えるスロットマシーンＡ２０１、スロットマシーンＢ２０２、スロットマシーンＣ２０３およびスロットマシーンＤ２０４を用い、各スロットマシーンの報酬確率（例えばそれぞれＰＡ＝０．７、ＰＢ＝０．５、ＰＣ＝０．３およびＰＤ＝０．１等）が不明の状態で、決められた量のコイン２０５を各スロットマシーンに任意の比率で使用して報酬を最大にするというものである。例えば、スロットマシーンＡの報酬確率（勝率、当選確率などともいう）がＰＡ＝０．７で最大と知っていれば、スロットマシーンＡだけにコインを賭ければ最大報酬になるが、各スロットマシーンの報酬確率が不明な場合は、全てのスロットマシーンにコインを賭けてその結果から報酬確率を推定しながら繰り返しプレイを進めるため、報酬確率の低いスロットマシーンにもある程度コインを投入しなければならず、最終的に最大の報酬確率を有するのが、例えばスロットマシーンＡと判明したとしても、報酬確率最大のスロットマシーンのみ使用しているときに比べると全体の報酬は低くなる。
【００３０】
多本腕バンディット問題を探索するアルゴリズムは、従来から様々なものが研究されてきたが、その際に探索手法に対する評価でよく用いられたものは、アルゴリズムの報酬の和であった。しかし、近年では、（平均）正解率を意思決定手法の評価指標として用いるのが好ましくなっている（非特許文献１参照）。これは、近年ロボットやＡＩなど、本実施形態のような意思決定方法の適用が期待される分野では、使用される環境が実験室のような定常的な状態を期待できないものであり、そのような自然の環境の中では、一定以上の正確な判断が可能であれば出来るだけ早期に意思決定することが重要だからである。したがって、本実施形態の意思決定システムを用いた性能の評価においても正解率を用いることとする。
【００３１】
図３は、本発明の一実施形態の意思決定制御部の機能ブロック図である。意思決定制御部１０１は、本実施形態の意思決定の全体を制御し、外部インタフェース部１０４と通信して、ＴＯＷモデルによる意思決定が可能な方式で問題を取得し、結果を返す外部インタフェース管理モジュール３０１および主にＲＡＮＤコントローラ１０３を制御してＲｅｓｉｓｔｉｖｅ Ａｎａｌｏｇ Ｎｅｕｒｏｍｏｒｐｈｉｃ Ｄｅｖｉｃｅ（ＲＡＮＤ）と呼ばれるアナログ抵抗変化素子であるＲＡＮＤ回路１０２の抵抗値を更新する抵抗値管理モジュール３０２を備える。また、抵抗値を変更した後あるいは変更しながら、所定のデータをデータライン１１１でＲＡＮＤ回路１０２に入力して実行させ、その結果を受け取る実行管理モジュール３０３を備える。本実施形態では、このようなデータライン、制御により意思決定の処理を行うがこれに限らず本技術分野で知られたいずれかのデータインタフェース、制御手法により実装することができる。
【００３２】
（本実施形態のＴＯＷモデル）
図４は、本発明の一実施形態のＴＯＷモデルを説明するための図である。近年、多本腕バンディット問題、特に２本腕バンディット問題を解決するために、ＴＯＷモデルが有効であることが示されているが（例えば、非特許文献１参照）、これとは異なるアプローチとして本実施形態では図４などに示すような仮想的なバー４０１を想定し、これを用いてＴＯＷモデルを実現する。
【００３３】
図４に示すように、スロットマシーンが報酬を得ると報酬を得たスロットマシーン側（例えばスロットマシーンＡ４１１）に所定の距離（例えば、１）だけバー４０１を移動させ、バー４０２に示すように逆の場合は相手側のスロットマシーン側（例えばスロットマシーンＢ４１２）に所定の距離（例えば、ω）だけ移動させる。ωの値は、スロットマシーンＡとＢの報酬確率をそれぞれＰＡとＰＢとすると、ω＝（ＰＡ＋ＰＢ）／（２−ＰＡ−ＰＢ）と設定することが望ましいが、他の適切な値をとっても良い。
【００３４】
このような仮想的なバーのモデルを用いて最終的に最大報酬を得られる、確率的報酬付与手段であるスロットマシーンを決定する。ここで、確率的報酬付与手段とは、１回の処理により一定の報酬確率で報酬出力の可否の結果を出力する装置などの手段で、例えばスロットマシーンが対応する。すなわち、スロットマシーンは１回のプレイごとに、所定の報酬確率でコインを得られる（報酬有）か、得られないか（報酬無）のいずれかの結果を出力する。また、このような仮想的なバーを用いたＴＯＷモデルを採用することにより、２つのスロットマシーンの報酬確率の評価を同時に更新することができる。
【００３５】
以上のような本実施形態のＴＯＷモデルを所定のハードウェア素子に実装できれば、従来よりも簡便で小型かつ低消費電力の装置で大規模のバンディット問題を解く意思決定システムを実現することができる。素子としては、様々な電気特性を有する素子が研究されているが、印加される電圧により抵抗値が変化する素子を想定し、上述の仮想的なバーの位置を抵抗値として設定すると、素子の特性により上述の本実施形態のＴＯＷモデルの振る舞いが、素子の動作によく対応付けされる素子を得ることができた。具体的には、印加するパルス電圧の強度やパルス幅などの印加条件により一定の線形的特性、すなわち印加される電圧の値に対する抵抗値の変化量が一定範囲内にあり、印加条件を変えることにより一定の非線形特性になり、およびヒステリシス特性がなく高速に動作するアナログ抵抗変化素子（ＲＡＮＤ）を用い、仮想的なバーの位置をＲＡＮＤの抵抗値として対応付けることにより、例えば仮想的なバーの各スロットマシーンとの位置関係でいずれをプレイするかを決定するように、現在の抵抗値によってプレイするスロットマシーンを決定し、スロットマシーンのプレイの結果、その結果により報酬が得られれば抵抗値を、同じスロットマシーンをプレイすると決定される方向に仮想的なバーを移動させる距離に対応する値とする。具体的にはこのような抵抗値の値となるように変更するための電圧を印加することにより、このような抵抗値の変更を達成する。報酬が得られなければ抵抗値を、同様に、もう一方のスロットマシーンをプレイすると決定される方向に仮想的なバーを移動させる距離に対応する値に変更するための電圧を印加することにより、本実施形態のＴＯＷモデルを実装することができる。
【００３６】
一般に、ＲＡＮＤは、積層構造を制御することによって実用的なパルス印加条件で線形に抵抗が変化するように調整できることに優位性がある。この線形の抵抗変化は、ＴＯＷモデルを忠実に実装することに好適である。一方、実社会の応用では、報酬確率が動的に変化する状況にも柔軟に適応できる能力が要求されることが多い。これは、報酬確率変化前に正しかった意思決定が、報酬確率変化後には取り下げられやすくなっている必要があることを意味する。そのためには、報酬確率変化前に正しい意思決定を表現する一方に振れた抵抗値が、報酬確率変化後には少ないパルス印加でなるべく早く抵抗値をＲθに戻せることが望ましい。すなわち、抵抗値が大きく（あるいは、小さく）なり一方に振れるとパルス電圧に対する抵抗変化が小さくなるという非線形的（飽和的）な応答特性も要請される。本実施形態のＲＡＮＤは、パルス電圧の強度やパルス幅などの印加条件を変えることで、こうした飽和的な応答特性を実現することができるようにすることも可能である。これにより、用途に応じてその強化学習のための能力を柔軟に最適化させることができる。
【００３７】
このようなＲＡＮＤはパルス電圧の印加条件により線形性および非線形性を有する特性を持っているとしても、一般に素子は、印加される電圧に対して、図４に示すように揺らぎ４２０を有している。この揺らぎ４２０により、一時的に報酬の有無の判断がなされ、その判断に基づいてさらに電圧が印加されて抵抗値が変化する。この際に、報酬の有無により抵抗値の変化量に差をつけておくことにより、所定の報酬確率に対応することもできる。すなわち、抵抗値を減少させる電圧をセット電圧、抵抗値を増大（回復）させる電圧をリセット電圧とすると、セット電圧とリセット電圧とを所定の比、例えば図４に示すようにωとし、ωの値を様々に変えることにより、プレイを繰り返していって適切な確率的報酬付与手段を決定することができる。
【００３８】
（ＲＡＮＤ構造）
上述の特性を有するＲＡＮＤとしては、以下のような構造を有する素子を得ることができた。図５は、本発明の一実施形態のアナログ抵抗変化素子の透過型電子顕微鏡による断面画像を示す図である。図６は、本実施形態のアナログ抵抗変化素子を含む回路部を示す図である。
【００３９】
本実施形態のＲＡＮＤは、窒化物からなる電極によって、酸化物からなる抵抗変化層を挟持する積層構造を有し、電極としてはＴｉＮ、ＴｉＯＮ、ＴａＮ、ＴａＯＮなどを用いることができる。また、酸化物からなる抵抗変化層としては、ＴａＯｘだけでなく、ＨｆＯｘ、ＴｉＯｘ、ＡｌＯｘ等異なる酸化状態を安定に持つことができる材料であれば、本技術分野で知られたいずれの材料も使用することができる。
【００４０】
本実施形態では、図５に示すように、ＲＡＮＤは、ＴｉＮ電極によって、抵抗値の異なるＴａＯｘを挟持する積層構造および微細孔構造を有している。すなわち、上部のＴｉＮ電極（ＴＥ）５０１と下部のＴｉＮ電極（ＢＥ）５０２との間に、異なる抵抗値を有するＴａＯｘ（１）５０３およびＴａＯｘ（２）５０４が挟持された層構造を有する。ここで、ＴａＯｘ（１）５０３とＴａＯｘ（２）５０４とは、異なる抵抗値を有し、ＴａＯｘ（１）５０３がＴａＯｘ（２）５０４よりも抵抗値が低くなっている。
【００４１】
また、図５に示すように、直径１００ｎｍの孔構造を形成するため、ＴｉＮ電極（ＢＥ）５０２の上に、化学蒸着（ＣＶＤ）により、続いて電子線描画（Ｅｌｅｃｔｒｏｎ  Ｂｅａｍ  Ｌｉｔｈｏｇｒａｐｈｙ）によりＳｉＯ２層５０５を成膜する。図５を参照すれば理解できるように、この微細孔構造の底部では、ＴｉＮ電極（ＢＥ）が完全に露出している。反応性スパタリングにより露出したＴｉＮ電極（ＢＥ）上に、ＴａＯｘ（２）、ＴａＯｘ（１）およびＴｉＮ電極（ＴＥ）の層が配置され、フォトリソグラフィおよびイオンミリングによりパターンが形成される。最後に、過渡電流により素子が被る電気的ダメージを抑制するため、図６に示すように、３ｋΩの負荷抵抗６０２がＲＡＮＤ６０１に直列に調整される。
【００４２】
以上により形成されたＲＡＮＤは、セット電圧およびリセット電圧をパルス的に複数回印加したとき、図７に示すようにその抵抗値を変化させることができる。このとき、ＲＡＮＤの抵抗値は、パルス電圧の印加回数に対してヒステリシス特性を示さずに線形に変化する、つまり、どの抵抗値の状態でもパルス電圧による抵抗値の変化量がほぼ同一であるように設定することができる。
【００４３】
具体的には、図７に示すように、抵抗値を減少させるセット電圧７０１および抵抗値を増大（回復）させるリセット電圧７０２を所定回数印加することにより一定の割合で抵抗値を変化させることができる。例えば、図７を参照すると、リセット電圧として２００ｎｓ幅の−２．０Ｖのパルス電圧７０２を５０回印加するとＲＡＮＤの抵抗値は、約８０００Ωから約９０００Ωまで直線的に増大する。一方、セット電圧として２００ｎｓ幅の＋１．７Ｖのパルス電圧７０１を５０回印加するとＲＡＮＤの抵抗値は、約９０００Ωから約８０００Ωまで直線的に減少する。
【００４４】
１回のセット電圧またはリセット電圧により毎回異なるものの、平均としては約２０Ωほど抵抗値が変化しており、変化量は印加される際の抵抗値には影響されず、リセットのパルス電圧５０回印加、およびセットのパルス電圧５０回印加を繰り返しても基本的にはほぼ同一の特性を示すことができる。
【００４５】
また、印加される各パルス電圧に対する抵抗値の変化量は毎回微小な変化を伴い、一定の確率的揺らぎを有する。こうした確率的揺らぎは、ＴＯＷモデルにおいては、報酬確率分布が動的に変化するような状況で、その変化を迅速に検知することにつながり、当該状況にも柔軟に適応できる能力を向上させることに資する。したがって、本実施形態のＲＡＮＤは、その抵抗値がパルス電圧の印加に対し線形的に応答し、また確率的揺らぎを有しながら変化する点で、ＴＯＷモデルを実装するのに適した素子であることが理解される。なお、本実施形態では、電極としてＴｉＮ、酸化物からなる抵抗変化層としてはＴａＯｘを用いたが、その他の材料を用いる場合は本技術分野で知られた手法によりＲＡＮＤを作製することができる。
【００４６】
一方、ＲＡＮＤはパルス電圧の強度やパルス幅などの印加条件を変えることで、図８で示されるように、線形的特性とは異なる非線形的（飽和的）な特性８０１、例えば抵抗値が一定以上大きい、あるいは一定以下に小さい範囲では、パルス電圧に対する抵抗値の変化がより小さくなるように設定することができる。図８は、本発明の一実施形態で使用するアナログ抵抗変化素子のパルス電圧印加による非線形的な抵抗値変化特性を示す図である。こうした図８に示すような非線形的な特性は、飽和した抵抗値が少ないパルス印加で早く抵抗の基準値に復帰できることにつながり、報酬確率が動的に変化する状況にも柔軟に適応できる能力を向上させることに資する。
【００４７】
以上、本実施形態で用いるＲＡＮＤおよびＲＡＮＤの製造方法を説明したが、これに限らず、本実施形態で必要とされる特性を有する素子であれば、いずれの素子も用いることができ、また、本技術分野で知られたアナログ抵抗変化素子やその他素子などの製造方法のいずれかを用いて製造することができる。
【００４８】
（本実施形態の２本腕バンディット問題）
以上説明した本実施形態のＲＡＮＤを組み込んだ意思決定装置で、２本腕バンディット問題に関する意思決定を行う処理の例を以下に説明する。図９は、本実施形態の２本腕バンディット問題のためのＴＯＷモデルを説明するための図である。図１０は、本実施形態の２本腕バンディット問題のためのＴＯＷモデルで選択された側が報酬を得る場合の処理を示す図であり、図１１は選択された側が報酬を得られなかった場合の処理を示す図である。
【００４９】
本実施形態のＴＯＷモデルの２本腕バンディットアルゴリズムは以下の通り。
（１）Ｒ＜Ｒθの（図９ないし１１においてＲがＲθの向って左側にある）場合、スロットマシーンＡをプレイ
Ｒ＞Ｒθの（図９ないし１１においてＲがＲθの向って右側にある）場合、スロットマシーンＢをプレイ
（２）コインが出れば（報酬有）、順方向（次に同じスロットマシーンをプレイすると判定する方向）に抵抗値が＋Ｒ＋１されるためのパルス電圧を印加
コインが出なければ（報酬無）、順方向（次に同じスロットマシーンをプレイすると判定する方向）に抵抗値が−Ｒωされるための（したがって、逆方向に進む）パルス電圧を印加
（３）印加されたパルス電圧に対応する抵抗値に「揺らぎ」を混入。
【００５０】
具体的には、本実施形態では、スロットマシーンＡ９０１およびスロットマシーンＢ９０２の間にある仮想的なバー９０３を、スロットマシーンの報酬により移動させるというＴＯＷモデルをＲＡＮＤの抵抗値に対応付ける。
【００５１】
すなわち、先ず、いずれのスロットマシーンをプレイするかを判定するバー９０３の位置に対応付けて、基準となるＲθよりもＲが大きいか、小さいかによりプレイするスロットマシーンを判定する。
【００５２】
図９で見ると、Ｒ＜Ｒθなので、スロットマシーンＡ９０１がプレイすると判定され、そのプレイ結果でセット電圧またはリセット電圧を印加し、変化した抵抗値を取得する。取得した抵抗値について同様の処理を行って、最終的に所定以下の抵抗値に達した場合は、スロットマシーンＡ９０１を選択するよう意思決定する。逆に、所定以上の抵抗値に達した場合は、スロットマシーンＢ９０２を選択するよう意思決定する。
【００５３】
本実施形態の２本腕バンディットの処理をより具体的に説明すると、図９に示すような状態でスロットマシーンＡ９０１がプレイすると判定された場合、プレイの結果コインが出たときは、報酬が得られたとして、スロットマシーンＡ９０１が次もプレイする方向、すなわち抵抗値が減少する方向に変化するよう電圧パルスを印加する。
【００５４】
より具体的には、図１０に示すように所定のセット電圧を印加し、その結果スロットマシーンＡ９０１方向にＲ＋１だけ変化させるが、これは抵抗値が減少する方向に変化する。この際、揺らぎ４０１が入るため、抵抗値は一定の範囲内にはあるが、プレイごとに同じ結果にはならない。これにより、適切に解探索が可能となる。
【００５５】
図９に示すような状態でスロットマシーンＡ９０１がプレイすると判定され、プレイの結果コインが出なかったときは、報酬が得られなかったとして、次はスロットマシーンＢ９０２がプレイする方向、すなわち抵抗値が増大する方向に変化するようパルス電圧を印加する。具体的には、図１１に示すように所定のリセット電圧を印加し、その結果スロットマシーンＢ９０２の方向にＲ−ωだけ変化させるが、これは抵抗値が増大する方向に変化する。この際、揺らぎ４２０が入るため、抵抗値は一定の範囲内にはあるが、プレイごとに同じ結果にはならない。これにより、適切に解探索ができる。この結果のＲの値により次にプレイするスロットマシーンを判定するが、図１１に示す状態では、ＲはＲθを超えて、Ｒ＞Ｒθとなるので、次はスロットマシーンＢ９０２をプレイすると判定され、以上が繰り返される。
【００５６】
以上説明したように、本実施形態の２本腕バンディット問題に対応するＲＡＮＤを用いたＴＯＷモデルでは抵抗値Ｒはプレイの進行に従い変化するが、プレイのｔ回目の抵抗値Ｒ（ｔ）は以下のようになる。
Ｒ（ｔ）−Ｒθ＝ＥＢ（ｔ）−ＥＡ（ｔ）＋δ                  （１）
【００５７】
ここで、Ｅｋ（ｔ）（ｋ∈｛Ａ，Ｂ｝）は、スロットマシーンのそれぞれの評価値であり、以下のように勝回数Ｗｋ（ｔ）および負回数Ｌｋ（ｔ）を用いて表現される。δはシステムノイズやシステムエラーを含む揺らぎである。
ＥＡ（ｔ）＝ＷＡ（ｔ）−ωＬＡ（ｔ）                              （２）
ＥＢ（ｔ）＝ＷＢ（ｔ）−ωＬＢ（ｔ）                              （３）
【００５８】
ここで、ωは制御パラメータであり、最適制御パラメータωｏは、以下のように決定される。
ωｏ＝γ／（２−γ）                                      （４）
γ＝ＰＡ＋ＰＢ                                            （５）
【００５９】
本実施形態のＴＯＷモデルにおいて抵抗値の動作のみを用いることにより、従来のＡＩアルゴリズムよりも高い正解率を得ることができる。揺らぎの最適な量は、報酬確率の差異により決定するが、いずれの揺らぎであっても相対的に、より高い正解率が期待される。
【００６０】
（本実施形態の多本腕バンディット）
以上、本実施形態の２本腕バンディットについて説明した。実際の応用においては、確率的報酬付与手段が２つということはないから、２本を超えるＭＡＢ問題に対応する必要がある。しかしながら、例えば、以上説明した２本腕バンディットの処理を４本に拡張して適用しようとしても、実際の電子デバイスでは、４本の端子に対して綱引きモデルを適用することは極めて困難であり、そのデバイス加工プロセスは産業上の利用を想定できるものにはならない。したがって、４本を超えて本数が増大した場合においては、さらに実装が困難となる。よって、本実施形態では、以下に説明する２種類の階層型ＴＯＷモデルにより２ｎ本腕バンディット問題に対応する。
【００６１】
（本実施形態の多本腕バンディット第１実施例）
図１２は、本発明の一実施形態の多本腕バンディット問題のための階層型ＴＯＷモデルの一例を示す図であり、図１３は、階層型ＴＯＷモデルの一例の処理のフローチャートである。本実施例のＭＡＢは、単一のＲＡＮＤを複数用いるが、階層構造を持たせることで、２本腕モデルを容易に拡張することができる。すなわち、図１２に示すように上位階層のＲＡＮＤの下には２つのＲＡＮＤが配置され、上位階層の状態と、下位の２つのＲＡＮＤの状態とによりいずれを実行するか選択して、選択されたＲＡＮＤが実行され抵抗値が更新され、上位階層のＲＡＮＤの抵抗値が更新される。
【００６２】
図１２は、４本腕バンディットの例であるが、以上の処理をさらに多くの階層に適用することにより、容易に２ｎ本腕のバンディット問題を解決することができる。なお、本実施例の説明では、階層構造により各ＲＡＮＤの処理をどう組み合わせるかを中心に説明するので、各ＲＡＮＤの抵抗値の更新処理などの詳細は上述の２本腕バンディット問題の対応を参照のこと。
【００６３】
図１３を参照して、さらに具体的に処理を説明すると、先ず上位階層であるバー１、下位階層のバー２及びバー３の位置により、例えば下記表１にしたがって下位階層のうちバー２のＲＡＮＤを実行するかバー３のＲＡＮＤを実行するかを決定する（ステップ１３０１）。表１を参照すると、バー１が基準位置より左の場合はバー２のいずれかのスロットマシーンが、バー２の位置に基づいて選択されることが理解できる。
【００６４】
したがって、バー２の位置が基準位置の左であれば、バー３の位置にかかわらずスロットマシーンＡが、右であれば、バー３の位置にかかわらずスロットマシーンＢが選択される。例えば、下位階層のバー２のＲＡＮＤが選択され、ここに接続するマシーンＡがプレイを実行すると、スロットマシーンＡのプレイが実行され（ステップ１３０２）、選択されたスロットマシーンでのプレイ結果に基づきこのＲＡＮＤの抵抗値を更新する（ステップ１３０３）。以上の処理をＴ回行い（ステップ１３０４）、その結果により、上位階層の抵抗値が更新される（ステップ１３０５）。
【表１】
2020059723.tif 000003
【００６５】
以上の通り、本実施例の手法により単一のＲＡＮＤを階層的に組み合わせて、２ｎ本腕バンディット問題を解決する階層型ＴＯＷモデルを実現することができる。ここで、本実施例では、下位階層の処理をＴ回実行しているが、これは本実施例の手法は比較的容易な報酬確率分布のスロットマシーンの場合はよく解決されるものの、特定の報酬分布の場合解決が困難なときがあるためである。
【００６６】
具体的には、スロットマシーンＡ、スロットマシーンＢ、スロットマシーンＣ、スロットマシーンＤの確率を、ＰＡ、ＰＢ、ＰＣ、ＰＤとし、（ＰＡ、ＰＢ、ＰＣ、ＰＤ）＝（０．７、０．５、０．３、０．１）の場合、Ｔ回繰り返さなくてもＰＡ＋ＰＢ＞ＰＣ＋ＰＤとなっているので、下位階層の結果をそのまま上位階層で処理しても、最も高いＰＡを有するスロットマシーンＡを正しく決定することができる。一方、（ＰＡ、ＰＢ、ＰＣ、ＰＤ）＝（０．７、０．５、０．９、０．１）の場合、この場合もＰＡ＋ＰＢ＞ＰＣ＋ＰＤとなるので、バー２を選択してしまい、正解のスロットマシーンＣを選択できない可能性が有る。このため、下位階層がＴ回更新処理を行って、すべて決着するまでは上位階層の更新を休止する。したがって、本実施例の手法を用いた場合、下位階層処理のＴ回分時間がかかることとなる。
【００６７】
以上の通り本実施例では、バー１の位置は、バー２から得られる評価値の合計、およびバー３から得られる評価値の合計の２つの合計を比較して決定される。すなわち、本実施例では、以上の処理を繰り返すことによりＲが変化し、Ｒの値により報酬が最大となるスロットマシーンが判定されるが、バー１のｔ回プレイ後の抵抗値Ｒ（ｔ）は以下のようになる。
Ｒ（ｔ）−Ｒθ＝（ＥＣ（ｔ）＋ＥＤ（ｔ））−（ＥＡ（ｔ）＋ＥＢ（ｔ））＋δ  （６）
Ｅｋ（ｔ）＝Ｗｋ（ｔ）−ω（ＡＢ）Ｌｋ（ｔ）   ここで（ｋ∈｛Ａ，Ｂ｝）        （７）
Ｅｋ（ｔ）＝Ｗｋ（ｔ）−ω（ＣＤ）Ｌｋ（ｔ）   ここで（ｋ∈｛Ｃ，Ｄ｝）        （８）
【００６８】
ここで、ω（ＡＢ）はｋ∈｛Ａ，Ｂ｝の場合の制御パラメータであり、ω（ＣＤ）はｋ∈｛Ｃ，Ｄ｝の場合の制御パラメータである。
【００６９】
（本実施形態の多本腕バンディット第２実施例）
図１４は、本発明の一実施形態の多本腕バンディット問題のための階層型ＴＯＷモデルの別の例を示す図であり、図１５は、階層型ＴＯＷモデルの別の例の処理のフローチャートである。本実施例のＭＡＢは、単一のＲＡＮＤを複数用いるが、上述の第１実施例と同様に、階層構造を持たせることで、２本腕モデルを容易に拡張することができる。すなわち、図１４に示すように上位階層のＲＡＮＤの下位には２つのＲＡＮＤが配置され、上位階層の状態と、下位の２つのＲＡＮＤの状態とによりいずれを実行するか選択して、選択されたＲＡＮＤが実行され抵抗値が更新され、上位階層のＲＡＮＤの抵抗値が更新される。図１４は、４本腕バンディットの例であるが、以上の処理をさらに多くの階層に適用することにより、容易に２ｎ本腕のバンディット問題を解決することができる。本実施例で、上位階層の更新は下位階層のＴＯＷモデルの結果、トーナメント方式のように、バー２およびバー３のスロットマシーンのうちより多くの報酬を獲得したスロットマシーン同士でＴＯＷモデルを行うことによって、上位階層のバーの位置を決定する。これにより、下位階層の処理をＴ回繰り返すまで上位階層の処理を休止することなく、上述の解決の難解な報酬分布の場合も正解を得ることができる。
【００７０】
図１５を参照して、さらに具体的に処理を説明すると、第１実施例と同様に先ず上位階層および下位階層バーの位置によりプレイするスロットマシーンを選択する（ステップ１５０１）。ここで例えば、下位の階層の選択されたスロットマシーンがプレイを実行すると（ステップ１５０２）、選択されたスロットマシーンでのプレイ結果に基づきこのＲＡＮＤの抵抗値を更新する（ステップ１５０３）。バー２のＲＡＮＤはスロットマシーンＡおよびＢに接続されており、バー３のＲＡＮＤはスロットマシーンＣおよびＤに接続されているので、バー２のスロットマシーンＡおよびＢのうち最大に評価値になるスロットマシーンと、バー３のスロットマシーンＣおよびＤのうち最大に評価値になるスロットマシーンとのＴＯＷモデルにより、バー１の位置、すなわち抵抗値が決定され更新される（ステップ１５０４）。
【００７１】
以上の通り本実施例では、バー１の位置は、上述の第１実施例のような評価値の合計の比較ではなく、バー２のスロットマシーンＡおよびＢのうち最大の評価値になるスロットマシーンと、バー３のスロットマシーンＣおよびＤのうち最大の評価値になるスロットマシーンとのＴＯＷモデルにより決定される。すなわち、本実施例のバー１の抵抗値Ｒ（ｔ）は以下の通りである。
Ｒ（ｔ）−Ｒθ＝ＭＡＸ（ＥＣ（ｔ），ＥＤ（ｔ））−ＭＡＸ（ＥＡ（ｔ），ＥＢ（ｔ））＋δ  （９）
Ｅｋ（ｔ）＝Ｗｋ（ｔ）−ω（ＡＢ）Ｌｋ（ｔ）   ここで（ｋ∈｛Ａ，Ｂ｝）        （１０）
Ｅｋ（ｔ）＝Ｗｋ（ｔ）−ω（ＣＤ）Ｌｋ（ｔ）   ここで（ｋ∈｛Ｃ，Ｄ｝）        （１１）
【００７２】
ここで、ＭＡＸはＭＡＸ関数であり、引数のうち最大のものを出力する。したがって、より多い報酬が出力される。
【００７３】
以上の通り、本実施例の手法により単一のＲＡＮＤを階層的に組み合わせて、２ｎ本腕バンディット問題を解決する階層型ＴＯＷモデルを実現することができるが、本実施例の改良された階層的運用方法は階層型ＴＯＷモデルであることのみを前提としているので、ＲＡＮＤを用いた装置以外でも、様々なデバイスを用いて実現されるＴＯＷモデルのいずれにも使用することができる他、そのようなデバイスを用いない通常のコンピュータを用いたシステムでも使用することができる。
【００７４】
図１６は、本発明の一実施形態の多本腕バンディット問題のための階層型ＴＯＷモデルの性能評価の一例を示す図であり、図１７は階層型ＴＯＷモデルの性能評価の別の例を示す図である。ここで、実装が困難であると上述した多分岐モデルは、実際の測定はできないので、シミュレーションで行った。図１６は、報酬確率分布（ＰＡ、ＰＢ、ＰＣ、ＰＤ）＝（０．７、０．５、０．３、０．１）の場合の性能評価であり、図１７は、報酬確率分布（ＰＡ、ＰＢ、ＰＣ、ＰＤ）＝（０．７、０．５、０．９、０．１）の場合の性能評価を示すグラフである。図１６および１７を参照すると、実施例１および実施例２が分岐モデルと比較してもほぼ同等程度の性能であることが理解される。
【００７５】
本発明の実施の形態によれば、抵抗値がパルス電圧の印加回数に対し線形的あるいは非線形的に変化するよう応答特性を変更できるＲＡＮＤを用いて、各々がＴＯＷモデルを実装する２ｎ−１個のＲＡＮＤを大規模集積化し階層的に運用することができ、また動的に報酬確率が変化するようなＭＡＢに対する適応性を向上させられ、様々な実社会応用における２ｎの確率的報酬付与手段をもつ従来よりも大規模の意思決定問題を解く処理を、小型かつ低消費電力かつ実時間で高速に実行することが可能になる。
【００７６】
また、２本腕バンディット問題についても、本発明のＲＡＮＤを用いることにより従来よりも小型かつ低消費電力かつ実時間で高速に実行することが可能になる。
【００７７】
また、ＴＯＷモデルを用いれば、２ｎ本腕バンディット問題を解決するための新たな改良された階層的運用方法が可能になるので、ＴＯＷモデルを実装する様々なデバイスの特性を有効に活用することができる。
【００７８】
［もう一つの説明］
本発明の実施の形態に係る意思決定装置１はまた、次のように説明することもできる。図１８は、本発明の実施の形態に係る意思決定装置１の一例に係る構成ブロック図である。
【００７９】
図１８に例示するように、本実施の形態のある例に係る意思決定装置１は、制御部１１と、記憶部１２と、アナログ抵抗変化素子回路部１３と、入力部１４と、出力部１５とを含んで構成されている。
【００８０】
制御部１１は、ＣＰＵ等のプログラム制御デバイスにより構成され、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、複数の選択肢のうちからいずれかの選択肢を選択する処理を行うものである。ここで選択肢のそれぞれは、確率的に報酬（何らかの利益）を付与する手段であり、例えばウェブページに出稿する複数種類の広告や、通信で利用可能な複数のチャネルなどである。具体的に広告であれば、広告の効果（クリックされたか否かなど）が報酬に相当し、通信のためのチャネルであれば通信速度を報酬に相当する情報として利用すればよい。
【００８１】
制御部１１は、この選択肢の選択の処理を、アナログ抵抗変化素子回路部１３を制御し、当該制御の結果としての、アナログ抵抗変化素子回路部１３に含まれる各アナログ抵抗変化素子の抵抗値の情報を取得することによって実行する。この制御部１１の具体的な処理の内容については、後に説明する。
【００８２】
記憶部１２は、制御部１１によって実行されるプログラムを保持する。またこの記憶部１２は、制御部１１のワークメモリとしても動作する。また入力部１４は、キーボードやマウス等であり、ユーザの指示操作を受けて、当該指示操作の内容を制御部１１に出力する。出力部１５は、ディスプレイ等であり、制御部１１から入力される指示に従い、ユーザに情報を提示する。
【００８３】
アナログ抵抗変化素子回路部１３は、例えばＲＡＮＤ（Resistive Analog Neuro Device）を少なくとも一つ含んで構成される。ここでＲＡＮＤは、図５に例示したように、下部電極（ＢＥ）層５０２と、この下部電極層５０２上に一部開口して形成される、微細孔構造を有する絶縁層５０５と、この絶縁層５０５の開口を通じて下部電極層５０２に接触する抵抗変化層５００と、抵抗変化層５００上に形成された上部電極（ＴＥ）層５０１とをこの順に積層したメモリ素子である。
【００８４】
ここで抵抗変化層５００は、互いに抵抗値の異なる下側層５０４と上側層５０３とを含む。具体的にこの上側層５０３はＴａ2Ｏ5−δ，下側層５０４はＴａＯｘであり、上側層５０３と下側層５０４との間で酸素イオンを授受して上側層５０３の少なくとも一部で酸化あるいは還元反応を生じさせ、この上側層５０３の一部にＴａＯｘのチャネルを形成したり、あるいは上側層５０３をＴａ2Ｏ5−δに戻して、このチャネルを狭める（あるいは消失させる）ことで抵抗値を変化させることを可能としたものである。
【００８５】
この抵抗値の変化は、正パルス（上側電極層５０１が下側電極層５０２よりも高い電位（リセット電圧と呼ぶ）となるようなパルス状電圧信号）を印加するか、あるいは負パルス（上側電極層５０１が下側電極層５０２よりも低い電位（セット電圧と呼ぶ）となるようなパルス状電圧信号）を印加することで生じさせることができ、上記の酸化タンタル（ＴａＯｘ）を下側層５０４に利用する例では、正パルスを印加したときに抵抗値が高められ、負パルスを印加すると抵抗値が低減される。このような素子のセルの動作は、広く知られているため、ここでのこれ以上の説明は省略する。
【００８６】
なお、上部電極層５０１、下部電極層５０２は、それぞれＴｉＮにより形成でき、絶縁層５０５はＳｉＯ２を、化学蒸着（ＣＶＤ）により形成したものでよい。またその開口部（開口の直径は約１００ｎｍでよい）は、電子線描画（Electron Beam Lithography）によって形成できる。この上側に抵抗変化層５００を形成する方法としては、例えば反応性スパッタリング等の方法を採用できる。
【００８７】
このように、本実施の形態の一例では、アナログ抵抗変化素子回路部１３は、窒化物からなる電極によって、酸化物からなる抵抗変化層を挟持する積層構造を有したＲＡＮＤを用いて構成できる。なお、上記の上側電極層５０１，下側電極層５０２の材料は、ＴｉＮのほか、ＴｉＯＮ、ＴａＮ、ＴａＯＮなどを用いることができる。また酸化物を用いた抵抗変化層５００としては、ＴａＯｘだけでなく、ＨｆＯｘ、ＴｉＯｘ、ＡｌＯｘ等、いずれも安定な、互いに異なる酸化状態を有する材料であれば、他の材料を使用することもできる。
【００８８】
また各ＲＡＮＤには、それぞれ過渡電流により素子が被る電気的ダメージを抑制するため３ｋΩ程度の負荷抵抗を直列に接続し、この負荷抵抗を介して正パルスあるいは負パルスを印加することとしてもよい。
【００８９】
本実施の形態の一例に係るアナログ抵抗変化素子回路部１３は、このような構成の素子を少なくとも一つ用いているので、この素子（ＲＡＮＤ）にセット信号またはリセット信号をパルス的に複数回印加したとき、図７に例示したように各素子（ＲＡＮＤ）の抵抗値を変化させることができる。図７において、リセット信号は、２００ｎｓの時間だけ−２．０Ｖのリセット電圧を印加するものであり、セット信号は、２００ｎｓの時間だけ１．７Ｖのセット電圧を印加するものである。図７に例示するように、ＲＡＮＤは、リセット信号を印加したときにはその抵抗値が単調に増加し、セット信号を印加すると、その抵抗値が単調に減少するよう制御される。
【００９０】
また、このときＲＡＮＤの抵抗値は、ある抵抗値の範囲では、パルスの印加回数に対してヒステリシス特性を示さずに実質的に線形に変化する。つまり、どの抵抗値の状態でも一回のパルスによる抵抗値の変化量が実質的に同一であるようになっている。
【００９１】
すなわち、図４に示したように、リセット電圧として２００ｎｓ幅の−２．０Ｖのパルス電圧７０２を５０回印加したとき、ＲＡＮＤの抵抗値は、約８０００Ωから約９０００Ωの範囲で、直線的に増大している。
【００９２】
一方、セット電圧として２００ｎｓ幅の＋１．７Ｖのパルス電圧７０１を５０回印加したときには、ＲＡＮＤの抵抗値は、約９０００Ωから約８０００Ωの範囲で直線的に減少している。ここで１つのパルスあたりの抵抗値の変化は毎回異なるが、平均で約２０Ωずつ抵抗値が変化しており、またその変化量は、印加される際の抵抗値に関わらず実質的に一定となっている。つまりＲＡＮＤの抵抗値は、印加するパルスの回数に応じて直線的に変化するものであり、このため、例えば＋ωΩを目標としてＲＡＮＤの抵抗値を変化させる場合は、リセット電圧としてのパルスをω／２０回（例えばω＝１０００であれば５０回）印加することとすればよい。同様に、−ωΩを目標としてＲＡＮＤの抵抗値を変化させる場合は、セット電圧としてのパルスをω／２０回（例えばω＝１０００であれば５０回）印加すればよい。
【００９３】
また上述のように、パルス電圧が印加されるごとの抵抗値の変化量は、一定ではなく、毎回微小な変動（確率的揺らぎ）を伴う。この特性は、本実施の形態では有利な効果をもたらす。
【００９４】
また、ＲＡＮＤでは、上記のパルス状の信号の印加により抵抗値が線形に変化する抵抗値の範囲外では、パルス状信号の印加によって抵抗値が非線形的に（ある例では抵抗値が飽和するように）変化する抵抗値の範囲が存在する（図８）。
【００９５】
なお、本実施形態の例では、電極としてＴｉＮ、酸化物からなる抵抗変化層としてはＴａＯｘを用いたＲＡＮＤの例を示したが、ＲＡＮＤを構成する素材としては、これに限られず、広く知られた種々の素材を用いて得ることができる。
【００９６】
このように本実施の形態の例ではＲＡＮＤのような微細な回路構造を利用できるので、小型化が容易であり、また、消費電力も抑えることが可能となっている。また、簡素な構成の回路としているので、多段の論理回路を配するなどといった構成に比べ、比較的高速な動作が可能となり、実質的に実時間で（学習した）最適な選択を為し得る。
【００９７】
またＲＡＮＤでなくとも、これに限らず、本実施形態で必要とされる特性（抵抗値等の物理量を増大または減少変化させる制御を行った際に、平均的には抵抗値等の物理量の変化量は一定でありながら、毎回の抵抗値等の物理量の変化量が確率的なゆらぎを有するという特性）を有する素子であれば、いずれの素子も用いることができ、また、本技術分野で知られたアナログ抵抗変化素子やその他素子などの製造方法のいずれかを用いて製造することができる。
【００９８】
次に制御部１１の動作について説明する。本実施の形態では、制御部１１は、記憶部１２に格納されたプログラムを実行することで、図１９に例示するように、意思決定処理部２１と、成果判定部２２と、抵抗値制御部２３と、を含む機能的構成を実現する。
【００９９】
ここで意思決定処理部２１は、アナログ抵抗変化素子回路部１３が備えるＲＡＮＤの抵抗値を参照し、当該抵抗値が所定の基準値より大きいか小さいかを判断して、当該判断の結果に応じた意思決定結果を出力する。この抵抗値の参照は、定電圧電源からＲＡＮＤに電圧を印加し、ＲＡＮＤに流れる電流量を計測し、電源電圧Ｖを計測した電流量で除して抵抗値を求めることで行えばよい。なお、複数のＲＡＮＤがある場合は、図１８に模式的に示したように、各ＲＡＮＤのそれぞれに直列にスイッチを配し、各ＲＡＮＤを順次選択しつつ、選択したＲＡＮＤに直接に接続されたスイッチをオン（接続状態）とし、その他のスイッチをオフとして定電圧電源からスイッチがオンとなったＲＡＮＤについて電圧を印加して当該ＲＡＮＤを流れる電流を計測するようにすれば、各ＲＡＮＤの抵抗値を順次求めることができる。
【０１００】
この意思決定処理部２１の最も簡単な例は次のようなものである。すなわち、アナログ抵抗変化素子回路部１３が一つのＲＡＮＤを備え、このＲＡＮＤの抵抗値によって、広告Ａ，Ｂのいずれをウェブページに掲載するかを判断する処理を行う場合、意思決定処理部２１は、上記参照した抵抗値が上記基準値より大きい場合に広告Ａを掲載したウェブページを提供し、そうでない場合に広告Ｂを掲載したウェブページを提供することとすればよい。
【０１０１】
成果判定部２２は、意思決定処理部２１が出力した意思決定結果に応じた成果（報酬）があったか否かを判断してその判断結果を出力するものである。具体的にこの成果判定部２２は、意思決定処理部２１が上記のように掲載する広告をいずれにするかを決定するものである場合、当該広告がクリックされたか否かを報酬の有無として、クリックされた場合に成果あり、そうでない場合は成果なしとした出力を行う。
【０１０２】
抵抗値制御部２３は、意思決定処理部２１の出力と、成果判定部２２が出力する成果の情報とに基づいて、アナログ抵抗変化素子回路部１３のＲＡＮＤの抵抗値を制御して学習処理を実行する。具体的に抵抗値制御部２３は、上述の例では、
（１）広告Ａを選択したときに成果ありの出力があったときには、上記ＲＡＮＤにセット信号を所定回数印加して、抵抗値を低減（例えば−ｒを目標として低減）させる（広告Ａが選ばれる確率を上昇させる）。
（２）広告Ａを選択したときに成果なしの出力があったときには、上記ＲＡＮＤにリセット信号を所定回数印加して、抵抗値を増大（例えば＋ωを目標として増大）させる（広告Ａが選ばれる確率を下降させる）。
（３）広告Ｂを選択したときに成果ありの出力があったときには、上記ＲＡＮＤにリセット信号を所定回数印加して、抵抗値を増大（例えば＋ｒを目標として増大）させる（広告Ｂが選ばれる確率を上昇させる）。
（４）広告Ｂを選択したときに成果なしの出力があったときには、上記ＲＡＮＤにセット信号を所定回数印加して、抵抗値を低減（例えば−ωを目標として低減）させる（広告Ｂが選ばれる確率を下降させる）。
【０１０３】
なお、ここで上記（１）から（４）でそれぞれ信号を印加する回数は同じである必要はなく、例えば（１）の場合の信号印加の回数より（２）での信号印加回数を小さくしてもよい。
【０１０４】
この例では、ｔ回後の試行の後の抵抗値Ｒ（ｔ）は、当初の抵抗値をＲθとして、
Ｒ（ｔ）−Ｒθ＝ＥB（ｔ）−ＥA（ｔ）＋δ
と表すことができる。ここで、ＥA（ｔ），ＥB（ｔ）は、試行中にＡ，Ｂがそれぞれ選択されたときの目標値の総和：
ＥA（ｔ）＝ｒ・ＷA（ｔ）−ω・ＬA（ｔ）
ＥB（ｔ）＝ｒ・ＷB（ｔ）−ω・ＬB（ｔ）
であり、δはＲＡＮＤの特性である確率的変動（の総和）を表す。なお、Ｗk（ｋ＝ＡまたはＢ）は、試行回数のうちｋを選択して成果があったと判定された回数、Ｌk（ｋ＝ＡまたはＢ）は、試行回数のうちｋを選択して成果がなかったと判定された回数である。ωは制御パラメータであり、実験的に定める。例えばωは、選択肢ｋで成果のある確率Ｐk：
Ｐk＝Ｗk／（Ｗk＋Ｌk）
を用い、γ＝ＰA＋ＰBとして、
ω＝γ／（２−γ）
として定めてもよい。
【０１０５】
また、本実施の形態の一例では、意思決定の対象となる選択肢が上記例のようにＡ，Ｂの２つだけであるとは限られず、選択肢が多数である場合にも適用できる。例えば選択肢がＡ，Ｂ，Ｃ，Ｄ…と２n個ある場合、これらから一つを選択する意思決定を行う場合には、複数個のＲＡＮＤを用いて、仮想的に階層型の意思決定処理回路を形成する。具体的にこの階層型の意思決定処理回路は、２n−１個のＲＡＮＤを用い、図２０に例示するような仮想的な二分木の階層構造として配列する。ここで各ＲＡＮＤは、電気的には図１８に例示したように、並列に配されているものとしてよいが、制御部１１の処理として、図２０に例示するように、仮想的に、階層的な配置にあるものとして次の処理を行う。なお、ここで最下層の２n-1個のＲＡＮＤが選択肢のいずれかを選択する処理に実際に供される。
【０１０６】
つまり図２０の例では、末端側である最下層（第Ｎ層）に設定した２n−１個のＲＡＮＤのそれぞれがＡ，Ｂ，Ｃ，Ｄ…と２n個のうちから重複なく選択された一対の選択肢（Ａ，Ｂ），（Ｃ，Ｄ）…の選択に係るものとして設定され、このＲＡＮＤの直接の上位（第Ｎ−１層）に仮想的に配される２n−２個のＲＡＮＤは、それぞれ下層（第Ｎ層）のＲＡＮＤのうちから重複なく選択した一対のＲＡＮＤのいずれかを選択するものとして設定される。例えば、第Ｎ−１層のＲＡＮＤ（便宜的に第１のＲＡＮＤと呼ぶ）の一つは、第Ｎ層の、選択肢Ａ，Ｂに対応するＲＡＮＤ（便宜的に第２のＲＡＮＤと呼ぶ）と、選択肢Ｃ，Ｄに対応するＲＡＮＤ（便宜的に第３のＲＡＮＤと呼ぶ）とのいずれかの選択に関わる。このような互いに隣接する層にある、第１のＲＡＮＤと第２のＲＡＮＤとの関係、及び第１のＲＡＮＤと第３のＲＡＮＤとの関係を以下では階層的連関関係と呼ぶ。以下、同様の構成として最上位（第１層）までのＲＡＮＤを設定する。
【０１０７】
例えばｎ＝２（選択肢が４つ）である場合、意思決定処理部２１は、最上位（第１層）にあるものと設定した第１のＲＡＮＤについて、その抵抗値Ｒ１が所定の基準値より大きい場合に選択肢ＡまたはＢの選択を決定する、下層の第２のＲＡＮＤを選択する、また、そうでなければ、選択肢ＣまたはＤの選択を決定する、下層の第３のＲＡＮＤを選択する。
【０１０８】
そして意思決定処理部２１は、選択肢ＡまたはＢを選択したときには、仮想的階層として下位（第２層、ここでの最下層）にあるものとして設定した第２のＲＡＮＤについて、その抵抗値Ｒ２を参照し、この抵抗値Ｒ２が所定の基準値より大きい場合に選択肢Ａを選択する。また抵抗値Ｒ２が所定の基準値より大きくない場合に選択肢Ｂを選択する。
【０１０９】
同様に、意思決定処理部２１は、選択肢ＣまたはＤを選択したときには、仮想的階層として第２のＲＡＮＤと同じく下位（第２層）にあるものとして設定した第３のＲＡＮＤについて、その抵抗値Ｒ３を参照し、この抵抗値Ｒ３が所定の基準値より大きい場合に選択肢Ｃを選択する。また抵抗値Ｒ３が所定の基準値より大きくない場合に選択肢Ｄを選択する。
【０１１０】
つまり、選択肢ＡまたはＢの選択には、第１のＲＡＮＤ（ルートである最上位のＲＡＮＤ）と、末端である第２のＲＡＮＤとが関わる。また選択肢ＣまたはＤの選択には、第１のＲＡＮＤ（ルートである最上位のＲＡＮＤ）と、末端である第３のＲＡＮＤとが関わる。このように、ある一対の選択肢の選択に関わるルートから末端までに至る一連のＲＡＮＤを、ここでは選択連鎖と呼ぶ。
【０１１１】
この例では、抵抗値制御部２３は、意思決定処理部２１の出力と、成果判定部２２が出力する成果の情報とに基づいて、アナログ抵抗変化素子回路部１３の第１乃至第３のＲＡＮＤの抵抗値Ｒ１からＲ３を制御する。
【０１１２】
具体的にこの抵抗値制御部２３における各ＲＡＮＤの抵抗値の制御の方法には、次のいくつかの方法がある。以下、それぞれについて説明する。
【０１１３】
［第１の方法］
第１の方法では、最下層の各ＲＡＮＤのそれぞれについて学習処理する。すなわち第１の方法では、最下層の各ＲＡＮＤについて、予め定めた回数だけ次の処理を実行する。
【０１１４】
ここでは制御部１１は、各ＲＡＮＤについて、対応する選択肢のいずれかを選択する。例えば第２のＲＡＮＤであれば、当該第２のＲＡＮＤの抵抗値が所定の基準値より大きいか否かにより選択肢Ａ，Ｂのいずれかを選択する。この選択は既に説明した意思決定処理部２１の動作と同様のものである。
【０１１５】
そして選択の結果、成果があったか否かを調べ、選択の結果、及び成果があったか否かにより第２のＲＡＮＤの抵抗値を制御する。この制御も、抵抗値制御部２３における動作と同様のものである。制御部１１は、この第２のＲＡＮＤに関する処理を予め定めた回数（例えばＴ回）行う。制御部１１は、第３のＲＡＮＤについても同様の処理を、予め定めたＴ回だけ行う。
【０１１６】
つまり広告の例であれば、制御部１１は、Ａ，Ｂのうちから選択した広告を提示する動作をＴ回試行し、その結果に応じて第２のＲＡＮＤの抵抗値を制御する。また制御部１１は、Ｃ，Ｄのうちから選択した広告を提示する動作もＴ回試行し、その結果に応じて第３のＲＡＮＤの抵抗値を制御する。
【０１１７】
本実施の形態のここでの例では、制御部１１は、これらの処理の間、第２，第３のＲＡＮＤのそれぞれの抵抗値の目標値の総和ΣＥkを求めておく。
【０１１８】
すなわち、既に述べたように、制御部１１のこの動作により、Ｔ回後の第２のＲＡＮＤ（選択肢Ａ，Ｂに対応）については、その当初の抵抗値をＲθとして、
Ｒ（Ｔ）−Ｒθ＝ＥB（Ｔ）−ＥA（Ｔ）＋δ2
と表すことができ、ここで
Ｅk（Ｔ）＝Ｗk（Ｔ）−ωＬk（Ｔ）  （ただしｋ＝Ａ，Ｂ）
であるが、制御部１１は、この抵抗値の制御のほか、
ΣＥA,B（Ｔ）＝ＥA（Ｔ）＋ＥB（Ｔ）
を求めて記憶しておく。同様に、制御部１１は、
ΣＥC,D（Ｔ）＝ＥA（Ｔ）＋ＥB（Ｔ）
を求めて記憶しておく。
【０１１９】
なお、このＡ，Ｂのいずれかの広告を提示するページの提供と、Ｃ，Ｄのいずれかの広告を提示するページの提供とは時間的に並列的に行われてもよい。
【０１２０】
制御部１１は、このようにしてそれぞれＴ回の試行による学習処理結果に基づいて、より上位のＲＡＮＤについて学習処理を行う。具体的に制御部１１は、これら第２，第３のＲＡＮＤに対して階層的連関関係にある、上位の層のＲＡＮＤ（ここでの例では第１のＲＡＮＤ）について、その抵抗値Ｒを、当初の抵抗値をＲθ1として、
Ｒ−Ｒθ1＝ΣＥC,D（Ｔ）−ΣＥA,B（Ｔ）＋δ1
となるように設定する（ΣＥC,D（Ｔ）−ΣＥA,B（Ｔ）を目標値としてパルス信号を印加する）。
【０１２１】
また３以上の層がある場合は、第ｉ＋１層のＲＡＮＤについて学習処理を行ったときの、第ｉ＋１層のＲＡＮＤの各々について所定数回（例えばＴ回）更新した後のΣＥk（Ｔ）を求め、第ｉ層のＲＡＮＤの抵抗値を、上述の例と同様にして設定して、選択連鎖となっている各層のＲＡＮＤの抵抗値を更新すればよい。
【０１２２】
制御部１１は、この設定が終了した後（学習処理が完了した後）は、既に述べたように、最上位のＲＡＮＤから、そのＲＡＮＤの抵抗値が所定の基準値より大きいか否かにより、第２層のＲＡＮＤのいずれかを選択し、第２層の選択されたＲＡＮＤの抵抗値を参照して、当該参照した抵抗値が所定の基準値より大きいか否かにより、第３層のＲＡＮＤのいずれかを選択し…第ｉ層の選択されたＲＡＮＤの抵抗値を参照して、当該参照した抵抗値が所定の基準値より大きいか否かにより、第ｉ＋１層のＲＡＮＤのいずれかを選択し…と繰り返して処理し、最下層において選択されたＲＡＮＤの抵抗値が所定の基準値より大きいか否かにより、選択肢のいずれを選択するかを決定する。
【０１２３】
例えば上述の例であれば、制御部１１は、最上位の第１のＲＡＮＤの抵抗値が所定の基準値より大きい場合に、第３のＲＡＮＤ（選択肢Ｃ，Ｄに対応）を選択し、当該選択した第３のＲＡＮＤの抵抗値を参照して、当該参照した第３のＲＡＮＤの抵抗値が所定の基準値より大きいときには、選択肢Ｄを選択する。また、当該参照した第３のＲＡＮＤの抵抗値が所定の基準値より大きくなければ、制御部１１は、選択肢Ｃを選択する。
【０１２４】
［第２の方法］
また第２の方法では、制御部１１は、図２１に例示するように、処理の時点での各ＲＡＮＤの抵抗値によって選択肢を選択する（Ｓ２１０１）。つまり制御部１１は、最上位のＲＡＮＤから、そのＲＡＮＤの抵抗値が所定の基準値より大きいか否かにより、第２層のＲＡＮＤのいずれかを選択し、第２層の選択されたＲＡＮＤの抵抗値を参照して、当該参照した抵抗値が所定の基準値より大きいか否かにより、第３層のＲＡＮＤのいずれかを選択し…第ｉ層の選択されたＲＡＮＤ（以下、第ｉ層注目ＲＡＮＤと呼ぶ）の抵抗値を参照して、当該参照した抵抗値が所定の基準値より大きいか否かにより、第ｉ＋１層のＲＡＮＤのいずれかを選択し…と繰り返して処理し、最下層において選択されたＲＡＮＤ（以下の説明で最下層注目ＲＡＮＤと呼ぶ）の抵抗値が所定の基準値より大きいか否かにより、選択肢のいずれを選択するかを決定する。
【０１２５】
そして制御部１１は、決定した選択に基づく所定処理を行い（例えば選択された選択肢が表す広告を掲載したウェブページを提供し）、成果があったか否か（例えばクリックがされた否か）を調べる（Ｓ２１０２）。そして制御部１１は、当該選択した選択肢と、成果があったか否かにより、最下層注目ＲＡＮＤの抵抗値を制御する（Ｓ２１０３）。この制御は、抵抗値制御部２３における動作と同様のものである。
【０１２６】
またこのとき制御部１１は、既に説明した
Ｅk（ｔ）＝Ｗk（ｔ）−ωＬk（ｔ）  （ただしｋ＝Ａ，Ｂ，Ｃ…、またｔは時刻（試行回数））
を各選択肢について評価値として演算して求めておく。
【０１２７】
そして制御部１１は、この最下層（第Ｎ層）の最下層注目ＲＡＮＤの上位となる、第Ｎ−１層注目ＲＡＮＤの抵抗値を、次のように制御する。
【０１２８】
制御部１１は最下層から順に、時刻ｔでの下層側（第ｉ層）のＲＡＮＤの評価値を求めると、時刻ｔにおける第ｉ−１層のＲＡＮＤの抵抗値を、当該ＲＡＮＤの選択肢である第ｉ層のＲＡＮＤ（それぞれの選択肢をＵ，Ｖ及びＸ，Ｙとする）の各評価値を用いて、
Ｒ（ｔ）−Ｒθ＝ＭＡＸ［ＥX（ｔ），ＥY（ｔ）］−ＭＡＸ［ＥU（ｔ），ＥV（ｔ）］＋δ
となるよう設定する（ＭＡＸ［ＥX（ｔ），ＥY（ｔ）］−ＭＡＸ［ＥU（ｔ），ＥV（ｔ）］を目標値としてパルス信号を印加する）。ここで、ＭＡＸ［ｘ，ｙ］は、ｘ，ｙのうち大きい値をとることを意味する。
【０１２９】
つまり制御部１１は、下層側のＥkが更新されるごとに、上層側のＲＡＮＤの抵抗値を次のように更新する（Ｓ２１０４；上位層抵抗値更新）。すなわち制御部１１は、上述の例で、選択肢Ｕ，Ｖを選択する第ｉ層のＲＡＮＤのＥk（ｋ＝Ｕ，Ｖ）が更新されたならば、当該第ｉ層のＲＡＮＤに対して階層的連関関係にある第ｉ−１層のＲＡＮＤの抵抗値を、Ｒ（ｔ−１）よりも、ＭＡＸ［ＥU（ｔ），ＥV（ｔ）］−ＭＡＸ［ＥU（ｔ−１），ＥV（ｔ−１）］だけ増大するよう目標値を設定して制御する。
【０１３０】
また制御部１１は、上述の例で、選択肢Ｘ，Ｙを選択する第ｉ層のＲＡＮＤのＥk（ｋ＝Ｘ，Ｙ）が更新されたならば、当該第ｉ層のＲＡＮＤに対して階層的連関関係にある第ｉ−１層のＲＡＮＤの抵抗値を、Ｒ（ｔ−１）よりも、ＭＡＸ［ＥX（ｔ），ＥY（ｔ）］−ＭＡＸ［ＥX（ｔ−１），ＥY（ｔ−１）］だけ減少させるよう目標値を設定して制御する。
【０１３１】
これにより時刻ｔの時点で、当該ＲＡＮＤの抵抗値が、
Ｒ（ｔ）−Ｒθ＝ＭＡＸ［ＥX（ｔ），ＥY（ｔ）］−ＭＡＸ［ＥU（ｔ），ＥV（ｔ）］＋δ
となるよう目標値を設定して制御する。本実施の形態のこの例では、制御部１１は、こうして選択連鎖となっている各層のＲＡＮＤの抵抗値を更新する。
【０１３２】
制御部１１は、以上のように、処理Ｓ２１０３，Ｓ２１０４での学習処理を行いつつ、処理Ｓ２１０１，Ｓ２１０２での選択の処理を実行する。つまり、既に述べたように、制御部１１は、最上位のＲＡＮＤから、そのＲＡＮＤの抵抗値が所定の基準値より大きいか否かにより、第２層のＲＡＮＤのいずれかを選択し、第２層の選択されたＲＡＮＤの抵抗値を参照して、当該参照した抵抗値が所定の基準値より大きいか否かにより、第３層のＲＡＮＤのいずれかを選択し…第ｉ層の選択されたＲＡＮＤの抵抗値を参照して、当該参照した抵抗値が所定の基準値より大きいか否かにより、第ｉ＋１層のＲＡＮＤのいずれかを選択し…と繰り返して処理し、最下層において選択されたＲＡＮＤの抵抗値が所定の基準値より大きいか否かにより、選択肢のいずれを選択するかを決定する。
【０１３３】
例えば上述の例であれば、制御部１１は、最上位の第１のＲＡＮＤの抵抗値が所定の基準値より大きい場合に、第３のＲＡＮＤ（選択肢Ｃ，Ｄに対応）を選択し、当該選択した第３のＲＡＮＤの抵抗値を参照して、当該参照した第３のＲＡＮＤの抵抗値が所定の基準値より大きいときには、選択肢Ｄを選択する。また、当該参照した第３のＲＡＮＤの抵抗値が所定の基準値より大きくなければ、制御部１１は、選択肢Ｃを選択する。
【０１３４】
また本実施の形態のこの第２の方法においては、処理Ｓ２１０２と並行して、処理Ｓ２１０１と処理Ｓ２１０３との間で、制御部１１は、すべてのＲＡＮＤについて、その抵抗値を、判断の基準となる所定の基準値に近接させる処理を行ってもよい。具体的に制御部１１は、基準値をＲＴとする場合、各ＲＡＮＤの時刻ｔでの抵抗値をＲ（ｔ）として、
Ｒ′（ｔ）＝α（Ｒ（ｔ）−ＲＴ）＋ＲＴ  （つまり抵抗値のα倍）
となるよう制御（α（Ｒ（ｔ）−ＲＴ）＋ＲＴを目標値として制御）する。なお、αは０以上１以下の実数であり、経験的に定める。
【０１３５】
［もう一つの方法（第３の方法）の例］
また別の方法では、制御部１１は、図２２に例示するように、処理の時点での各ＲＡＮＤの抵抗値によって選択肢を選択する（Ｓ２２０１）。つまり、制御部１１は、最上位のＲＡＮＤから、そのＲＡＮＤの抵抗値が所定の基準値より大きいか否かにより、第２層のＲＡＮＤのいずれかを選択し、第２層の選択されたＲＡＮＤの抵抗値を参照して、当該参照した抵抗値が所定の基準値より大きいか否かにより、第３層のＲＡＮＤのいずれかを選択し…第ｉ層の選択されたＲＡＮＤ（以下、第ｉ層注目ＲＡＮＤと呼ぶ）の抵抗値を参照して、当該参照した抵抗値が所定の基準値より大きいか否かにより、第ｉ＋１層のＲＡＮＤのいずれかを選択し…と繰り返して処理し、最下層において選択されたＲＡＮＤ（以下の説明で最下層注目ＲＡＮＤと呼ぶ）の抵抗値が所定の基準値より大きいか否かにより、選択肢のいずれを選択するかを決定する。
【０１３６】
制御部１１は、次に、すべてのＲＡＮＤについて、その抵抗値を、判断の基準となる所定の基準値に近接させる処理を行う（Ｓ２２０２）。具体的に制御部１１は、基準値をＲＴとする場合、各ＲＡＮＤの時刻ｔでの抵抗値をＲ（ｔ）として、
Ｒ′（ｔ）＝α（Ｒ（ｔ）−ＲＴ）＋ＲＴ  （つまり抵抗値のα倍）
となるよう制御（α（Ｒ（ｔ）−ＲＴ）＋ＲＴを目標値として制御）する。なお、αは０以上１以下の実数であり、経験的に定める。
【０１３７】
一方で、制御部１１は、処理Ｓ２２０１で選択した選択肢を試行し、成果があったか否かを判断する（Ｓ２２０３）。この処理は具体的に選択肢がウェブページに貼り付けられる広告である場合、当該広告がクリックされたか否かにより成果の有無を判断することになる。
【０１３８】
制御部１１は、処理Ｓ２２０３の判断の結果に応じて、処理Ｓ２２０１で選択した選択肢に対応する最下層のＲＡＮＤの抵抗値を制御する（Ｓ２２０４）。すなわち、当該最下層（第Ｎ層）のＲＡＮＤが選択肢Ｘ，Ｙに対応するもの（最下層注目ＲＡＮＤ）であり、その抵抗値が所定の基準値より大きい場合に選択肢Ｙを選択し、そうでない場合に選択肢Ｘを選択するものであるときには、制御部１１は、
（１）選択肢Ｘを選択したときに成果ありと判断したときには、対応するＲＡＮＤにセット信号を所定回数印加して、抵抗値を低減（例えば−ｒを目標値として低減）させ、
（２）選択肢Ｘを選択したときに成果なしと判断したときには、対応するＲＡＮＤにリセット信号を所定回数印加して、抵抗値を増大（例えば＋ωsを目標値として増大）させ、
（３）選択肢Ｙを選択したときに成果ありと判断したときには、対応するＲＡＮＤにリセット信号を所定回数印加して、抵抗値を増大（例えば＋ｒを目標値として増大）させ、
（４）選択肢Ｙを選択したときに成果なしと判断したときには、対応するＲＡＮＤにセット信号を所定回数印加して、抵抗値を低減（例えば−ωsを目標値として低減）させる。
【０１３９】
さらに制御部１１は、第ｉ（ｉ＝１，２，…Ｎ−１）層のＲＡＮＤのうち、第ｉ＋１層にあって、所定Ｓ２２０１において選択されたＲＡＮＤ（第ｉ＋１層注目ＲＡＮＤ）に対して階層的連関関係にあるＲＡＮＤ（第ｉ層注目ＲＡＮＤ）について、この第ｉ層注目ＲＡＮＤと階層的連関関係を有する下層（第ｉ＋１層）の一対のＲＡＮＤ（一方は第ｉ＋１層注目ＲＡＮＤとなる）を、ＲＡＮＤｘ，ＲＡＮＤｙとして、
（１）ＲＡＮＤｘを選択し、成果ありと判断したときには、第ｉ層注目ＲＡＮＤにセット信号を所定回数印加して、抵抗値を低減（例えば−ｒを目標値として低減）させ、
（２）ＲＡＮＤｘを選択し、成果なしと判断したときには、第ｉ層注目ＲＡＮＤにリセット信号を所定回数印加して、抵抗値を増大（例えば＋ωiを目標値として増大）させ、
（３）ＲＡＮＤｙを選択し、成果ありと判断したときには、第ｉ層注目ＲＡＮＤにリセット信号を所定回数印加して、抵抗値を増大（例えば＋ｒを目標値として増大）させ、
（４）ＲＡＮＤｙを選択し、成果なしと判断したときには、第ｉ層注目ＲＡＮＤにセット信号を所定回数印加して、抵抗値を低減（例えば−ωiを目標値として低減）させる（上位層更新処理；Ｓ２２０５）。なお、ここでωiは、第ｉ層での目標値であり、各層で異なる値が設定されてもよい。
【０１４０】
制御部１１は、この上位層更新処理を、第Ｎ−１層から第１層までの各層に対して順次行い、選択連鎖に含まれる各層における注目ＲＡＮＤ（処理Ｓ２２０１で選択したＲＡＮＤ）の抵抗値を更新する。制御部１１は、この処理Ｓ２２０１からＳ２２０５の処理を繰り返して実行する。
【０１４１】
この例では、処理Ｓ２２０１での選択結果が、そのまま選択の処理の結果として利用できる。なお、学習処理が完了したと判断できる場合には、処理Ｓ２２０１のみを繰り返し実行するようにしてもよいが、各選択肢において成果が得られる確率が変動する場合（例えば広告であれば、季節により変動することがある）は、処理Ｓ２２０１からＳ２２０５の処理を繰り返すことで、変動に追従した選択肢の選択（意思決定）を行うことができる。
【０１４２】
また、ここまでの説明において、アナログ抵抗変化素子回路部１３は、図２３に例示するようなクロスバー構造の回路を用いてもよい。この回路は、図２３に示すように、互いに異なる層に配され、平面視で交差する第１，第２の配線群２３０１，２３０２（図２３では左右方向に伸びる配線群を第１の配線群２３０１、これに直交して交差する配線群を第２の配線群２３０２とする）の各交点にＲＡＮＤ（または抵抗変化型素子でもよい。ここまでに説明した例でも同様）を配してなる。図２３では、図示の都合上、ＲＡＮＤ（ないし抵抗変化型素子）を通常の抵抗器の記号で示している。
【０１４３】
本実施の形態の、仮想的に階層型の意思決定処理回路を形成する例を実現する際にこのようなアナログ抵抗変化素子回路部１３を使用する場合、最下層のＲＡＮＤの数が２ｎであれば、最低でも２ｎ×２ｎの配線群（交点）を有する回路を使用する。
【０１４４】
そしてこの回路のうち、第１の配線群２３０１のうち１行目の配線と、第２の配線群２３０２のうち１列目の配線との交点（以下、１行１列目の交点というように表記する）のＲＡＮＤ1-1と、２行１列目及び１行２列目のＲＡＮＤ2-1，1-2と、…というように、ｉ行１列目の交点から１行ｉ列目（ただしｉ＝２ｋ，ｋ＝１，２…，ｎ）の交点を結ぶ仮想的な線分２３０３-1，２３０３-2…上の各交点にあるＲＡＮＤを使用する（他のＲＡＮＤは使用しない）。
【０１４５】
つまり、階層型の意思決定処理回路における第ｋ層のＲＡＮＤとして、線分２３０３-k上の各ＲＡＮＤを使用すれば、上述の種々の方法による処理により、本実施の形態の意思決定装置１を実現できる。ただし本実施の形態ではこの例に限られず、階層型の意思決定処理回路における各ＲＡＮＤとして、どの格子点のＲＡＮＤを割り当てるかについては、異なる割り当て方法が採用されても構わない。
【０１４６】
［変形例］
なお、ここまでの説明では、アナログ抵抗変化素子回路を用い、当該回路の抵抗値を用いて一対の選択肢のいずれかを選択させる選択要素として機能させることとしていた。しかしながら、選択の基準として用いる物理量は抵抗値だけに限られず、所定の基準値に対して正または負の方向に、確率的変動を伴った（つまり目標値に対する制御に対して確率的に変動するが当該方向には変化し、かつ、平均の変化量が有意である（測定にかかる）ような）制御が可能であれば、磁場の向き及び強さなど、他の物理量を変化させ得る素子であってもよい。
【０１４７】
また本実施の形態に係る意思決定装置１の意思決定の対象の例は、上述の広告の例に限られるものではなく、複数の選択肢のうちから選択されるものであれば、例えば通信チャネルの選択（この場合、報酬は通信チャネルの空きがあったか否か、つまり通信ができたか否かによる）や、振動発電装置における、電力を取り出す際の周波数の選択（この例では、報酬は所定値以上の電力が取り出せたか否かによる）などに利用できる。
【符号の説明】
【０１４８】
１  意思決定装置
１１  制御部
１２  記憶部
１３  アナログ抵抗変化素子回路部
１４  入力部
１５  出力部
２１  意思決定処理部
２２  成果判定部
２３  抵抗値制御部
１０１    意思決定制御部
１０２    ＲＡＮＤ回路
１０３    ＲＡＮＤコントローラ
１０４    外部インタフェース部
１１１，１１２    データライン
１２１  制御ライン
２０１、２０２、２０３、２０４    スロットマシーン
２０５    コイン
３０１    外部インタフェース管理モジュール
３０２    抵抗値管理モジュール
３０３    実行管理モジュール
４０１、４０２    バー
４１１、４１２    スロットマシーン
４２０    揺らぎ
５０１    ＴｉＮ電極（ＴＥ）
５０２    ＴｉＮ電極（ＢＥ）
５０３    ＴａＯｘ（１）
５０４    ＴａＯｘ（２）
５０５    ＳｉＯ２層
５０６    基板
６０１    ＲＡＮＤ
６０２    負荷抵抗
７０１    セット電圧の動作
７０２    リセット電圧の動作
９０１、９０２    スロットマシーン
９０３    バー
【図１】
2020059723.tif 000004
【図２】
2020059723.tif 000005
【図３】
2020059723.tif 000006
【図４】
2020059723.tif 000007
【図５】
2020059723.tif 000008
【図６】
2020059723.tif 000009
【図７】
2020059723.tif 000010
【図８】
2020059723.tif 000011
【図９】
2020059723.tif 000012
【図１０】
2020059723.tif 000013
【図１１】
2020059723.tif 000014
【図１２】
2020059723.tif 000015
【図１３】
2020059723.tif 000016
【図１４】
2020059723.tif 000017
【図１５】
2020059723.tif 000018
【図１６】
2020059723.tif 000019
【図１７】
2020059723.tif 000020
【図１８】
2020059723.tif 000021
【図１９】
2020059723.tif 000022
【図２０】
2020059723.tif 000023
【図２１】
2020059723.tif 000024
【図２２】
2020059723.tif 000025
【図２３】
2020059723.tif 000026
【国際調査報告】
2020059723.tif 000027
2020059723.tif 000028