(57)【要約】確率制御問題に対する方策を改善する方法及びシステムを開示し、この確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、この方法は、サンプリング装置を用いて、ボルツマンマシンのサンプル形態を表すデータを取得するステップと、初期化データ、及び上記確率制御問題に対する初期方策を得るステップと、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの横磁場強度を表すデータを、上記サンプリング装置に割り当てるステップと、停止基準を満たすまで：現在エポックの状態−行動の対を生成し、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを修正し、現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供して将来エポックの状態に対する方策を更新することを含み、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、将来エポックの状態−行動の対に対応するサンプリングを実行し、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、各重み値及び各バイアスを更新するステップと、上記停止基準を満たした際に、方策を提供するステップとを含む。
2019515397.tif 000002
【特許請求の範囲】
【請求項１】
確率制御問題に対する方策を改善する方法であって、該確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、該方策における複数の行動に依存し、前記方法は：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、該サンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、該ボルツマンマシンは：
複数のノードと、
複数のカプラと、
各々が前記複数のノードのうちの１つのノードに対応する複数のバイアスと、
各々が前記複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と、
横磁場強度とを具えているステップと；
前記デジタルコンピュータを用いて、前記一組の行動、前記一組の状態、前記確率制御問題の前記報酬構造、及び前記確率制御問題に対する初期の方策を含む初期化データを得るステップであって、該初期の方策は状態毎に少なくとも１つの行動の選定を含むステップと；
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ初期の前記重み値、及び前記バイアスを表すデータ、及び前記ボルツマンマシンの前記横磁場強度を表すデータを、前記サンプリング装置に割り当てるステップと；
停止基準を満たすまで：
前記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記カプラを表さないか少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した現在エポックの状態−行動の対を用いて修正し、
前記現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
前記１回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記現在エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、該状態は確率的状態過程により得られ、さらに、前記行動を生成することは、前記将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、前記将来エポックにおける行動を提供して前記将来エポックの状態に対する前記方策を更新することを含み、
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記カプラを表さないか少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した将来エポックの状態−行動の対を用いて修正し、
前記将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
前記２回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記将来エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を更新し、該更新は、前記生成したＱ関数の値の近似値、及び前記現在エポックの状態−行動の対における前記１回目のサンプリングにおける経験的平均値、及び前記報酬構造を用いて得られた前記現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；
前記停止基準を満たした際に、前記デジタルコンピュータを用いて前記方策を提供するステップと
を含む方法。
【請求項２】
前記サンプリング装置が量子プロセッサを具え、前記サンプリング装置制御システムが量子デバイス制御システムを具え、さらに、該量子プロセッサは前記デジタルコンピュータ及び該量子デバイス制御システムに結合され、さらに、該量子プロセッサは複数の量子ビット及び複数のカプラを具え、該カプラの各々が２つの前記量子ビットの交点における通信結合を提供する、請求項１に記載の方法。
【請求項３】
前記サンプリング装置が光学装置及び複数の結合装置を具え、該光学装置は、光エネルギー源からエネルギーを受けて複数の光パラメトリック発振器を生成するように構成され、該結合装置の各々は、前記複数の光パラメトリック発振器のうちの１つの光パラメトリック発振器を制御可能な様式で結合する、請求項１に記載の方法。
【請求項４】
前記サンプリング装置が、中央処理装置、及び該中央処理装置に結合されたメモリ装置を具えて前記ボルツマンマシンを実現し、前記実現されるボルツマンマシンは従来型ボルツマンマシンであり、０の値の前記横磁場強度によって特徴付けられ、さらに、前記メモリ装置は、前記従来型ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を表すデータを得るためのアプリケーションを含み、さらに、該アプリケーションは、前記従来型ボルツマンマシンの、シミュレーションによる量子アニーリングを実行するように構成されている、請求項１に記載の方法。
【請求項５】
前記サンプリング装置が、中央処理装置、及び該中央処理装置に結合されたメモリ装置を具えて前記ボルツマンマシンを実現し、前記実現されるボルツマンマシンは量子ボルツマンマシンであり、０でない値の前記横磁場強度によって特徴付けられ、さらに、前記メモリ装置は、前記量子ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を表すデータを得るためのアプリケーションを含み、さらに、該アプリケーションは、前記量子ボルツマンマシンの、シミュレーションによる量子アニーリングを実行するように構成されている、請求項１に記載の方法。
【請求項６】
前記量子ボルツマンマシンの、前記シミュレーションによる量子アニーリングを実行することによって、前記量子ボルツマンマシンを表現する有効ハミルトニアンの複数のサンプル形態がもたらされる、請求項５に記載の方法。
【請求項７】
前記サンプリング装置が、中央処理装置、及び該中央処理装置に結合されたメモリ装置を具えて前記ボルツマンマシンを実現し、前記実現されるボルツマンマシンは従来型ボルツマンマシンであり、０の値の前記横磁場強度によって特徴付けられ、さらに、前記メモリ装置は、前記従来型ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を表すデータを得るためのアプリケーションを含み、該アプリケーションは、前記従来型ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現の複数のインスタンスをサンプリングし、これにより、該フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を提供するように構成されている、請求項１に記載の方法。
【請求項８】
前記サンプリング装置が、中央処理装置、及び該中央処理装置に結合されたメモリ装置を具えて前記ボルツマンマシンを実現し、前記実現されるボルツマンマシンは量子ボルツマンマシンであり、０でない前記横磁場強度によって特徴付けられ、さらに、前記メモリ装置は、前記量子ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を表すデータを得るためのアプリケーションを含み、さらに、該アプリケーションは、前記量子ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現の複数のインスタンスをサンプリングし、これにより、該フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を提供するように構成されている、請求項１に記載の方法。
【請求項９】
前記現在エポック及び前記将来エポックの両方における前記Ｑ関数の値の近似値を生成することが、前記サンプリング装置から、測定値軸に沿った、前記ボルツマンマシンの形態の複数のサンプルを得ること、及び前記デジタルコンピュータを用いて、前記ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む、請求項２、３、４、５のいずれかに記載の方法。
【請求項１０】
前記現在エポック及び前記将来エポックの両方における前記Ｑ関数の値の近似値を生成することが、前記サンプリング装置から、測定値軸に沿った、前記ボルツマンマシンの複数のサンプル形態を得ること、前記得られたサンプル形態から、前記量子ボルツマンマシンを表現する有効ハミルトニアンの形態の複数のサンプルを構成すること、及び前記デジタルコンピュータを用いて、前記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む、請求項２または５に記載の方法。
【請求項１１】
前記現在エポック及び前記将来エポックの両方における前記Ｑ関数の値の近似値を生成することが、前記サンプリング装置から、前記量子ボルツマンマシンを表現する有効ハミルトニアンの形態の複数のサンプルを得ること、及び前記デジタルコンピュータを用いて、前記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む、請求項６に記載の方法。
【請求項１２】
前記現在エポック及び前記将来エポックの両方における前記Ｑ関数の値の近似値を生成することが、前記サンプリング装置から、前記量子ボルツマンマシンに対応する前記フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を得ること、及び前記デジタルコンピュータを用いて、前記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む、請求項８に記載の方法。
【請求項１３】
前記ノードに対応する前記１回目の経験的平均値及び前記２回目の経験的平均値の両方を計算することが、前記サンプリング装置から、測定値軸に沿った、前記量子ボルツマンマシン及び前記従来型ボルツマンマシンの一方の形態の複数のサンプルを得ること、及び前記デジタルコンピュータを用いて、前記ノードにおける前記経験的平均値の近似値を計算することを含む、請求項２、３、４、５のいずれかに記載の方法。
【請求項１４】
前記ノードに対応する前記１回目の経験的平均値及び前記２回目の経験的平均値の両方を計算することが、前記サンプリング装置から、前記ボルツマンマシンの有効ハミルトニアンの形態の複数のサンプルを得ること、及び前記デジタルコンピュータを用いて、前記ノードにおける前記経験的平均値の近似値を計算することを含む、請求項６に記載の方法。
【請求項１５】
前記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記カプラを表さないか少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記将来エポックの状態に対応する状態−行動の対の各々を用いて修正することと、
前記将来エポックの状態に対応する状態−行動の対の各々に対応するサンプリングを実行して、前記経験的平均値を提供することと、
前記デジタルコンピュータを用いて、前記将来エポックの状態に対応する状態−行動の対の各々における前記Ｑ関数の値の近似値を生成することと、
前記将来エポックの状態に対応する状態−行動の対の各々に対応する前記Ｑ関数値のすべての近似値を用い、かつ前記デジタルコンピュータを用いて、対応する分布からサンプリングして、前記将来エポックの状態に対して前記方策を更新することと、
を含む、請求項１に記載の方法。
【請求項１６】
前記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
温度パラメータを得ることと；
前記将来エポックの状態を得ることと；
前記将来エポックの状態に固定された状態変数及び提供された前記温度により、前記Ｑ関数の値の近似値に関連するボルツマン分布をサンプリングすることと
を含む、請求項１に記載の方法。
【請求項１７】
前記量子プロセッサの前記複数の量子ビットが：
第１グループの量子ビット；及び
第２グループの量子ビットを含み、
前記量子プロセッサの前記複数のカプラが：
少なくとも１つのカプラ、及び
他の複数のカプラを含み、
前記少なくとも１つのカプラの各々は、前記第１グループの量子ビットのうちの１つの量子ビットと、前記第２グループの量子ビットのうちの少なくとも１つの量子ビットとの交点における通信結合を提供し、
前記他の複数のカプラの各々は、前記第２グループの量子ビットのうちの１つの量子ビットと前記第２グループの量子ビットのうちの他の量子ビットとの交点における通信結合を提供する、
請求項２に記載の方法。
【請求項１８】
前記第１グループの量子ビットが、前記確率制御問題における前記一組の行動を表す、請求項１７に記載の方法。
【請求項１９】
前記カプラを表さないか少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した現在エポックの状態−行動の対を用いて修正することが：
前記第１グループの量子ビットうちの１つの量子ビットと前記第２グループの量子ビットとの交点における通信結合を提供するすべての前記カプラをオフ状態に切り換えること、及び
前記第２グループの量子ビットにおける少なくとも１つの前記バイアスを、前記生成した現在エポックの状態−行動の対を用いて修正すること
を含む、請求項１７に記載の方法。
【請求項２０】
前記カプラを表さないか少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した将来エポックの状態−行動の対を用いて修正することが：
前記第１グループの量子ビットうちの１つの量子ビットと前記第２グループの量子ビットとの交点における通信結合を提供するすべての前記カプラをオフ状態に切り換えること、及び、
前記第２グループの量子ビットにおける少なくとも１つの前記バイアスを、前記生成した将来エポックの状態−行動の対を用いて修正すること
を含む、請求項１７に記載の方法。
【請求項２１】
前記将来エポックの状態及びあり得るすべての行動を含む前記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
前記第１グループの量子ビットのうちの１つの量子ビットと前記第２グループの量子ビットとの交点における通信結合を提供するすべての前記カプラをオン状態に切り換えることと；
前記第２グループの量子ビットにおける少なくとも１つの前記バイアスを、前記将来エポックの状態−行動の対に対応する前記将来エポックの状態を用いて修正することと；
量子サンプリングを実行して、前記第１グループの量子ビットに対応する前記経験的平均値を得ることと；
前記デジタルコンピュータを用いて、前記第１グループの量子ビットに対応する前記得られた経験的平均値の分布に応じた行動を、前記将来エポックの状態に割り当てることによって、前記将来エポックの状態に対する前記方策を更新することと
を含む、請求項１７に記載の方法。
【請求項２２】
前記停止基準が、学習ステップの最大数に達することを含む、請求項１〜２１のいずれかに記載の方法。
【請求項２３】
前記停止基準が、最大実行時間に達することを含む、請求項１〜２１のいずれかに記載の方法。
【請求項２４】
前記停止基準が、前記結合及び前記局所場の、それぞれ前記重み値及び前記バイアスの関数の収束を含む、請求項１〜２１のいずれかに記載の方法。
【請求項２５】
前記方策が固定の方策に収束することを含む、請求項１〜２１のいずれかに記載の方法。
【請求項２６】
前記方策を提供するステップが、前記デジタルコンピュータと対話するユーザに対して前記方策を表示すること；前記方策を前記デジタルコンピュータ内に記憶すること；及び前記方策を、前記デジタルコンピュータに動作的に接続された他の処理装置へ送信すること、のうちの少なくとも１つを含む、請求項１〜２５のいずれかに記載の方法。
【請求項２７】
前記デジタルコンピュータがメモリ装置を具え；さらに、前記デジタルコンピュータの該メモリ装置から前記初期化データを得る、請求項１〜２６のいずれかに記載の方法。
【請求項２８】
前記初期化データを、前記デジタルコンピュータと対話するユーザ、及び前記デジタルコンピュータに動作的に接続されたリモート処理装置の一方から得る、請求項１〜２６のいずれかに記載の方法。
【請求項２９】
デジタルコンピュータであって、
中央処理装置と；
表示装置と；
当該デジタルコンピュータを、１つ以上のデジタルコンピュータに結合されたサンプリング装置、及びサンプリング装置制御システムに動作的に接続するための通信ポートと；
確率制御問題に対する方策を改善するためのアプリケーションを含むメモリ装置とを具え、該確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、該方策における複数の行動に依存し、前記アプリケーションは：
前記１つ以上のデジタルコンピュータ及び前記サンプリング装置制御システムに結合されたサンプリング装置を用いるための命令であって、該サンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、該ボルツマンマシンは、複数のノードと、複数のカプラと、各々が前記複数のノードのうちの１つのノードに対応する複数のバイアスと、各々が前記複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と、横磁場強度とを具えている命令と；
前記デジタルコンピュータを用いて、前記一組の行動、前記一組の状態、前記確率制御問題の報酬構造、及び前記確率制御問題に対する初期の方策を含む初期化データを得るための命令であって、該初期の方策は状態毎に少なくとも１つの行動の選定を含む命令と；
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ初期の前記重み値及び前記バイアスを表すデータ、及び前記ボルツマンマシンの前記横磁場強度を表すデータを、前記サンプリング装置に割り当てるための命令と；
停止基準を満たすまで：
前記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記カプラを表さないか少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した現在エポックの状態−行動の対を用いて修正し、
前記現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
前記１回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記現在エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、該状態は確率的状態過程により得られ、さらに、前記行動を生成することは、前記将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、前記将来エポックにおける行動を提供して前記将来エポックの状態に対して前記方策を更新することを含み、
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記カプラを表さないか少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した将来エポックの状態−行動の対を用いて修正し、
前記将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
前記２回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記将来エポックの状態−行動の対の有用性を表し、
前記将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
前記２回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記将来エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を更新し、該更新は、前記生成したＱ関数の値の近似値、及び前記現在エポックの状態−行動の対における前記１回目のサンプリングにおける経験的平均値、及び前記報酬構造を用いて得られた前記現在エポックの状態−行動の対における対応する報酬を用いて行うための命令と；
前記停止基準を満たした際に、前記デジタルコンピュータを用いて前記方策を提供するための命令と
を含むデジタルコンピュータ。
【請求項３０】
コンピュータで実行可能な命令を記憶するための非一時的なコンピュータ可読記憶媒体であって、該命令は、デジタルコンピュータにより実行されると、該デジタルコンピュータに、確率制御問題に対する方策を改善する方法を実行させ、該確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、前記方法は：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、該サンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、該ボルツマンマシンは：
複数のノードと、
複数のカプラと、
各々が前記複数のノードのうちの１つのノードに対応する複数のバイアスと、
各々が前記複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と、
横磁場強度とを具えているステップと；
前記デジタルコンピュータを用いて、前記一組の行動、前記一組の状態、前記確率制御問題の前記報酬構造、及び前記確率制御問題に対する初期の方策を含む初期化データを得るステップであって、該初期の方策は状態毎に少なくとも１つの行動の選定を含むステップと；
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ初期の前記重み値、及び前記バイアスを表すデータ、及び前記ボルツマンマシンの前記横磁場強度を表すデータを、前記サンプリング装置に割り当てるステップと；
停止基準を満たすまで：
前記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記カプラを表さないか少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した現在エポックの状態−行動の対を用いて修正し、
前記現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
前記１回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記現在エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、該状態は確率的状態過程により得られ、さらに、前記行動を生成することは、前記将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、前記将来エポックにおける行動を提供して前記将来エポックの状態に対して前記方策を更新することを含み、
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記カプラを表さないか少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した将来エポックの状態−行動の対を用いて修正し、
前記将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
前記２回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記将来エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を更新し、該更新は、前記生成したＱ関数の値の近似値、及び前記現在エポックの状態−行動の対における前記１回目のサンプリングにおける経験的平均値、及び前記報酬構造を用いて得られた前記現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；
前記停止基準を満たした際に、前記デジタルコンピュータを用いて前記方策を提供するステップと
を含む、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本特許出願は、米国特許仮出願第６２／３３３７０７号、２０１６年５月９日出願に基づいて優先権を主張する。
【背景技術】
【０００２】
分野
本発明はコンピュータ計算に関するものである。より正確には、本発明は、確率制御問題に対する方策を改善する方法及びシステムに関連するものである。
【０００３】
背景
マルコフ決定過程
確率制御問題は、確率過程により進行するシステムの状態を制御して実用性を最大にするための方策を設計することを目標とする。
【０００４】
マルコフ決定過程（ＭＤＰ：Markov Decision Process）は、マルコフ性を満足する特定種類の確率制御問題である。
【０００５】
マルコフ決定過程は、不確定性の下での逐次的意思決定をモデル化するために広く用いられている。
【０００６】
多数の問題にマルコフ決定過程が関与し、こうした問題は、例えばポピュレーション・ハーベスティング、水資源を灌漑及び発電向けに制御すること、あらゆる産業における機器取替、金融及び投資におけるポートフォリオ最適化、待ち行列理論及びオペレーションズ・リサーチ、与信及び保険の方針を策定すること、オーバーブッキング（過剰予約）管理、健康及び医薬品用途における検疫及び治療レベル、スポーツ戦略の策定、緊急対応自動車の位置探索である。
【０００７】
実際に、何らかの固有の確率的進行を有するシステムがあれば、意思決定がシステムに影響を与え得る際に、多数のエポックにわたってあるシステム依存性の効用関数を最大にするために、意思決定者はこれらの意思決定をどのように行うことができるであろうか？
【０００８】
形式的には、マルコフ決定過程は次の４つの構成要素によって定義することができる。
【０００９】
１．一組の決定エポックＴ＝{ｎ, ｎ＋１,...,ｍ}、ここにｍは有限にも無限にもすることができる。この一組の決定エポックは、当該時刻に決定を行わなければならない一組の時刻を表すことは明らかである。例えば、マルコフ決定過程が関与する問題が機器取替である場合には、一組の決定エポックは、その機器を連続して使用する毎日とすることができる。
【００１０】
２．状態の空間Ｓ。状態空間内のあらゆる状態が、システムの実現を表すデータを含むことは明らかである。例えば、マルコフ決定過程が関与する問題が機器取替問題である場合には、状態空間は機器の状態を表す一組の数値とすることができる。
【００１１】
３．行動の空間Ａ。行動空間内のあらゆる行動が、システムの可能な制御を表すデータを含むことは明らかである。例えば、マルコフ決定過程が関与する問題が機器取替問題である場合には、行動空間は、機器を取り替えるか取り替えないかの２つの行動から成る。
【００１２】
４．瞬時報酬
2019515397.tif 000003
。瞬時報酬は、システムが所定の決定エポックにおいて所定状態にある間に、ある行動をとることの結果を表すことは明らかである。例えば、マルコフ決定過程が関与する問題が機器取替問題である場合には、瞬時報酬は、その行動が機器を取り替えることである場合には負であり、機器の取り替えのコストを表し、そうでなければ正である数値とすることができる。機器が良い状態で動作しているほど正の数値が大きい。
【００１３】
遷移確率
2019515397.tif 000004
は、所定状態から他の所定状態へ遷移する確率であることは明らかである。マルコフ決定過程のマルコフ性は次式のように書くことができる：
【数１】
2019515397.tif 000005
【００１４】
例えば、マルコフ決定過程が関与する問題が機器取替問題であり、機器が次の３つの状態（故障、不良、良好）を有する場合には、遷移確率は時間と独立にすることができ、次の遷移確率行列で与えられる：
【数２】
2019515397.tif 000006
かつ
【数３】
2019515397.tif 000007
【００１５】
５．割引係数
2019515397.tif 000008
。割引係数は、将来の報酬と現在の報酬との重要度の差を表すことは明らかである。
【００１６】
方策は関数α：Ｓ×Ｔ→Ａとして定義される。従って、方策が、各決定エポックにおけるシステムの状態に行動を割り当てることであることは明らかである。例えば、マルコフ決定過程が関与する問題が機器取替問題である場合には、方策は、機器が故障状態である際にのみ機器を取り替え、そうでなければ機器を取り替えない。
【００１７】
効用関数は、次式：
【数４】
2019515397.tif 000009
のように定義することができ、加数は、所定の初期状態ｓn及び方策αに合わせた条件付きの将来の報酬の割引期待値であることも、当業者にとって明らかである。従って、意思決定者が効用関数を最大にしたいこと、即ち、
2019515397.tif 000010
を見つけたいことがあることは当業者にとって明らかであり、このことは、最適な方策：α*＝argmaxαＵn(Ｓn, α)を見つけることを意味する。
【００１８】
現在の決定エポックにおいてとるべき行動全体にわたって効用関数を最大にして最適な方策を用い続ける際に、この効用関数はＱ関数と称され、
2019515397.tif 000011
として書くことができ、αn全体にわたってＱ(Ｓn, αn)を最大にすると最適な状態−行動の対が得られるることは、当業者にとって明らかである。
【００１９】
最適な方策を見つけることが非常に面倒になり得ることは明らかである。実際に、状態、行動、及び／または決定のエポック集合が大きくなり過ぎると、あるいは遷移確率が未知であると、マルコフ決定問題に対する解を見つけることが課題になり得る。
【００２０】
文字通り、アルゴリズムの計算の複雑性の下限が問題の次元に対して指数関数的に増大するアルゴリズムは、「次元の呪い」の問題があると言われている。マルコフ決定過程問題を解決する一般的方法は価値反復法であり[Richard Bellman, “A Markovian Decision Process”, Journal of Mathematics and Mechanics, Vol.6, No.5 (1957)（非特許文献１）]、一般的な場合に指数関数的な複雑性；即ちΩ(２d)を有し、ここにｄはマルコフ決定過程問題の次元を表す。
【００２１】
Ｑ学習型の方法のような、「次元の呪い」の問題を克服するための多数の方法が存在する[Richard S. Sutton, Andrew G. Barto]。しかし、これらの方法は、あり得るすべての状態−行動の対についてＱ関数の値を記憶することを必要とし、このことは特定サイズの問題については実現不可能である。この欠点を克服するために、ニューラル・ネットワークによるＱ関数のパラメータ化が提案されているが（例えば[Sallans, B., Hinton, G. E., “Reinforcement Learning with Factored States and Actions”, Journal of Machine Learning Research 5, 1063-1088, 2004（非特許文献２）]）、このことはニューラル・ネットワークを学習させることを伴い、この学習はニューラル・ネットワークを適合させることを必要とし、この適合は独立した未解決の問題であり、ニューラル・ネットワークを学習させる必要もあり、一部の場合には「ＮＰ困難」な問題を解決することを必要とする。
【００２２】
従って、上記の欠点のうちの少なくとも１つを克服する方策を改善する方法の必要性が存在する。
【００２３】
人工ニューラル・ネットワーク
人工ニューラル・ネットワーク（ＡＮＮ：Artificial Neural Network）は、生体ニューラル・ネットワーク（神経回路網）によって閃いた計算モデルであり、関数の近似に用いられている。人工ニューラル・ネットワークはグラフ理論表現を有し、グラフのノードはニューロンとも称され、そのエッジはシナプスとしても知られている。
【００２４】
一般ボルツマンマシン（ＧＢＭ：General Boltzmann Machine）は人工ニューラル・ネットワークの一種であり、ここではニューロンが、線形のバイアスを付加されたランダム変数を表し、２つのニューロン間のシナプスのすべてが、そのニューロンに関連するランダム変数を含む二次項を表す。特に、すべての線形項及び二次項からの寄与分から成る一般ボルツマンマシンに関連するグローバル（総）エネルギー関数が存在する。
【００２５】
従って、一般ボルツマンマシンは、従属変数の結合分布を近似するために用いられるグラフモデルである。対応するグラフは、可視ノード（または入力変数）と称されるノード、及び隠れノード（または潜在的変数）と称される不可視ノードを含む。一般ボルツマンマシンは、特定の組合せ問題を表現し解決するために開発され、確率的マシンの学習ツールとして用いることができる。一般ボルツマンマシンの用途は、可視物体及び音声の認識、分類、回帰タスク、次元の低減、情報検索、及び画像認識を含むが、それに限定されない。一般ボルツマンマシンの概要については、D. Ackley, G. Hinton, T. Sejnowski, “A Learning Algorithm for Boltzmann Machines”, Cognitive Science 9, 147-169 (1985)（非特許文献３）を参照されたい。
【００２６】
一般ボルツマンマシンにおける分布近似は、関心事の従属変数をより大きなグラフのノードとして符号化することによって実行される。これらのノードは可視ノードであり、他のすべてのノードは隠れノードである。グラフ内のそれぞれ全ノード及び全エッジに割り当てられた重み値及びバイアスが存在し、これらの重み値及びバイアスに依存するエネルギー関数がこのグラフに割り当てられている。
【００２７】
任意の接続を有する一般ボルツマンマシンは、機械学習の意味で特に有用であることが証明されていない。このことは近似学習法が低速であることに起因する。隠れノード間の接続に特定の制限を加えると、一般ボルツマンマシンのニューラル・ネットワークはより容易に学習させられるようになり、機械学習タスクによって有用になる。隠れノード間に接続が許容されず、かつ可視ノード間に接続が許容されないと、結果的なニューラル・ネットワークは制限ボルツマンマシン（ＲＢＭ：Restricted Boltzmann Machine）と称され、可視層及び隠れ層の一方のみから成る。
【００２８】
内部で可視の、あるいは内部で隠れるノード接続がなければ、可視層上への入力の集合全体にわたる確率分布を学習することの容易さにより、制限ボルツマンマシンを機械学習の領域における良好な実行者にする効率的な学習アルゴリズムが開発されている。用途、アルゴリズム、及び理論については、Y. Bengio et al. “Representation Learning: A Review and New Perspectives”, arXiv 2014 - (http://www.cl.uni-heidelberg.de/courses/ws14/deepl/BengioETAL12.pdf)（非特許文献４）の第６節を参照されたい。
【００２９】
制限ボルツマンマシンの思想は、ディープ・ビリーフ（真相信念）ネットワーク（ＤＢＮ：Deep Belief Network）と称されるより効果的なニューラル・ネットワークを作り出すために複数形にされている。ディープ・ビリーフ・ネットワークは、制限ボルツマンマシンどうしを積み重ねて、第１制限ボルツマンマシンの隠れ層を第２制限ボルツマンマシンにとっての可視層として用い、第２制限ボルツマンマシンの隠れ層が第３制限ボルツマンマシンにとっての可視層として機能する、等々のようにすることによって作り出される。この構造が専ら検討され、ディープ・ラーニング（深層学習）の基礎である。この構造の利点は、ネットワークの重み値及びバイアスを制限ボルツマンマシン毎に、上から下へ、スタンドアロン（独立型）の制限ボルツマンマシン用に開発された同じ学習アルゴリズムを用いて学習させることができることにある。ディープ・ビリーフ・ネットワークの背後にある用途、アルゴリズム、及び理論については、http://neuralnetworksanddeeplearning.com/chap6.htmlを参照されたい。
【００３０】
ディープ・ビリーフ・ネットワークを学習させるための、制限ボルツマンマシン毎のやり方は、誤差を蓄積させるという犠牲を払って成り立ち、これらの誤差は、制限ボルツマンマシン毎の分布の近似から生じる。このニューラル・ネットワークを学習させる代案の方法は、ニューラル・ネットワークを一般ボルツマンマシンとして扱い、全部の重み値を層毎ではなく同じ反復回に更新することによるものである。こうした構造に適用されるこうした方法はディープ（深層）ボルツマン・マシン（ＤＢＭ：Deep Boltzmann Machine）と称される。
【００３１】
量子プロセッサ
量子プロセッサは、複数の量子ビットの量子力学系であり、この量子力学系全体にわたる測定値は、システムの総エネルギーによって定義されるボルツマン分布からのサンプルを生じさせる
【００３２】
量子ビットは、ヒルベルト空間上に表現される量子力学系の物理的実現であり、明らかに区別される少なくとも２つの固有状態を実現し、これらの固有状態は量子ビットの２つの状態を表す。量子ビットはデジタルビットの類似物であり、周辺記憶装置は、二状態の量子情報である１つの状態｜０＞及び｜１＞を記憶することができるが、これら２つの状態の重ね合わせα｜０＞＋β｜１＞の形でも記憶することができる。種々の具体例では、こうした系が３つ以上の固有状態を有することができ、この場合、追加的な固有状態を用いて２つの論理状態を縮退測定値によって表す。量子ビットの実現の種々の具体例が提案されており、例えば：電子的に、あるいは核磁気共鳴によって測定及び制御される固体核スピン、トラップ内のイオン、光キャビティ内の原子（キャビティ量子電磁力学）、液相核スピン、量子ドットにおける電荷またはスピン自由度、ジョセフソン接合に基づく超電導量子回路[Barone and Patermo, 1982, “Physics and Applications of the Josephson Effect”, John Wiley and Sons, New York（非特許文献５）；Martinis et al., 2002, “Physical Review Letters 89, 117901”（非特許文献６）]、及びヘリウム上の電子である。
【００３３】
各量子ビットに、局所場バイアスと称されるバイアス源が結合されている。一具体例では、バイアス源が電磁装置であり、量子ビットに磁束を通して量子ビットの状態の制御を行う（米国特許出願公開第２００６／０２２５１６５号（特許文献１））。
【００３４】
量子ビットに対する局所場バイアスはプログラム可能であり、かつ制御可能である。一具体例では、デジタル処理装置を具えた量子ビット制御システムが、量子ビットのシステムに接続され、量子ビットに対する局所場バイアスをプログラムして調整することができる。
【００３５】
量子プロセッサは、複数の量子ビットの複数対間の複数の結合部（カップリング）をさらに具えることができる。２つの量子ビット間の結合部は、両量子ビットに近接した装置であり、両量子ビットに磁束を通す。一具体例では、結合部を、化合物ジョセフソン接合によって断続される超電導回路で構成することができる。磁束を化合物ジョセフソン接合に通すことができ、その結果、両量子ビット上に磁束を通すことができる[特許文献１]。この磁束の強度は、量子プロセッサのエネルギーに二次関数的に寄与する。一具体例では、両量子ビットに近接した上記結合装置を調整することによって結合強度を強化する。
【００３６】
この結合強度は制御可能かつプログラム可能である。一具体例では、デジタル処理装置を具えた量子デバイス制御装置が、上記複数の結合部に接続されて、量子プロセッサの結合強度をプログラムすることができる。
【００３７】
量子アニーラ（annealer：焼きなまし器）は、例えばFarhi, E. et al., “Quantum Adiabatic Evolution Algorithms versus Simulated Annealing”, arXiv.org: quant ph/0201031 (2002), pp. 1-16（非特許文献７）に記載されている量子アニーリング（焼きなまし、徐冷）を実行する量子プロセッサである。
【００３８】
量子アニーラは、量子プロセッサにおける初期設定から最終設定への変換を実行する。量子プロセッサの初期設定及び最終設定は、それぞれに対応する初期ハミルトニアン（ハミルトン関数）及び最終ハミルトニアンによって記述される量子系を提供する。上述した局所場バイアス及び結合部を有する量子アニーラについては、最終ハミルトニアンは二次関数ｆ(ｘ)＝Σiｈiｘi＋Σ(i,j)Ｊ(i,j)ｘiｘjで表すことができ、ここで１番目の総和は量子アニーラの量子ビットを表す添え字ｉの全体にわたって実行し、２番目の総和は量子ビットｉとｊとの間に結合部が存在する対(ｉ，ｊ)の全体にわたって実行する。
【００３９】
上述した二次関数では、各変数ｘiがｉ番目の量子ビットのスピン値−１及び１の一方をとり、この二次関数はイジング（Ising）モデル（模型）とも称される。この場合、イジングモデルは
2019515397.tif 000012
でも表される。ここで、上付き文字ｚは、量子ビットｉのスピンσiがその三軸のうちの１つだけに寄与することを示す。従って、この軸ｚは測定軸または測定基線とも称される。
【００４０】
より一般的な具体例では、イジングモデルのハミルトニアンが、量子ビットのスピンの他の基線での寄与分をさらに含むことができる。例えば、ハミルトニアン
2019515397.tif 000013
は横磁場イジングモデルと称され、このモデルでは各スピンがｘ軸に沿った０でない横磁場によって影響を与えられる。
【００４１】
量子アニーラは、そのエネルギー関数の発見的最適化装置として用いることができる。こうしたアナログプロセッサの具体例は、McGeoch, Catherine C. and Cong Wang, (2013), “Experimental Evolution of an Adiabatic Quantum System for Combinational Optimization”, Computing Frontiers, May 14 16, 2013（http://www.cs.amherst.edu/ccm/cf14-mcgeoch.pdf）（非特許文献８）に開示され、特許文献１にも開示されている。
【００４２】
量子アニーリングプロセスに少しの修正を加えることにより、量子プロセッサを代わりに用いて、最終温度における量子プロセッサのイジングモデルのボルツマン分布からサンプルを提供することができる。読者は次の技術報告書：Bian, Z., Chudak, F., Macready, W. G. and Rose, G. (2010), “The Ising model; teaching an old problem new tricks”（非特許文献９）、そしてAmin, M. H., Andriyash, E., Rolfe, J. Kulchytskyy, B., and Melko, R. (2016), “Quantum Boltzmann machine”, arXiv:1601.02036（非特許文献１０）も参照されたい。
【００４３】
こうしたサンプリングの方法を量子サンプリングと称する。
【００４４】
局所場バイアス及び結合部を有する量子プロセッサについては、量子サンプリングが、当該量子サンプリングが表すイジングモデルのボルツマン分布とは少し異なる分布からのサンプルをもたらす。
【００４５】
非特許文献１０は、量子サンプリングがボルツマン・サンプリングとどの程度異なるかを検討している。
【００４６】
光結合デバイス
平衡状態に近いイジングモデルのボルツマン分布からのサンプリングを実行することができるアナログシステムの他の具体例は、光デバイスである。
【００４７】
一具体例では、上記光デバイスが、特許出願米国特許出願公開第２０１６／０１６２７９８号（特許文献２）及び国際公開第２０１５／００６４９４号（特許文献３）に開示されている光パラメトリック発振器（オシレータ）（ＯＰＯ：Optical Parametric Oscillator）を具えている。
【００４８】
この具体例では、イジングモデルの各スピンを、縮退状態で動作する光パラメトリック発振器によってシミュレート（模擬）している。
【００４９】
縮退した光パラメトリック発振器は開放型の散逸系であり、発振閾値において二次の位相遷移が生じる。位相敏感な増幅により、縮退光パラメトリック発振器は、上記閾値を上回る振幅については、ポンプ位相に対して０またはπのいずれかの位相で発振することができる。この位相は、発振立上り中の光パラメトリック・ダウンコンバージョンに伴う量子雑音によって影響を与えられてランダムになる。従って、縮退光パラメトリック発振器は、その出力位相によって指定される二進数を必然的に表す。この特性に基づいて、縮退光パラメトリック発振器システムをイジングマシンとして利用することができる。各縮退光パラメトリック発振器の位相はイジングスピンとして識別され、その振幅及び位相は、関連するスピン間のイジング結合の強度及び符号によって決まる。
【００５０】
縮退光パラメトリック発振器は、強力なポンプ源によってポンピング（励起）されると、イジングモデルにおけるスピン１または−１に対応する２つの位相状態のうちの１つをとる。互いの結合を有するＮ個のほぼ同一の光パラメトリック発振器のネットワークは、同じポンプ源でポンピングされて、イジングスピン系をシミュレートする。ポンプの導入からの過渡期後に、この光パラメトリック発振器のネットワークは、熱平衡に近い定常状態に近づく。
【００５１】
位相状態選択プロセスは、光パラメトリック発振器の真空ゆらぎ及び相互の結合に依存する。一部の実現では、ポンプが一定振幅のパルスを与えられ、他の実現では、ポンプの出力が二次関数的に増加し、さらに他の実現では、ポンプが他の方法で制御される。
【００５２】
光デバイスの一具体例では、イジングモデルにおける複数の結合部を、光パラメトリック発振器間の光場どうしを結合するために用いられる複数の設定可能な結合部によってシミュレートする。これらの設定可能な結合は、オフ状態であるように設定することができ、あるいはオン状態であるように設定することができる。これらの結合部をオン状態及びオフ状態に切り換えることは、徐々に、あるいは急激に実行することができる。オン状態に設定されると、この設定は、イジング問題における結合強度に依存する任意の位相または振幅を与えることができる。
【００５３】
各光パラメトリック発振器の出力は、位相基準と干渉し、その結果は光検知器（フォトディテクタ）によって捕捉される。光パラメトリック発振器の出力はイジングモデルの設定を表す。例えば、０の位相はイジングモデルにおける−１のスピン状態を表すことができ、πの位相はイジングモデルにおける１のスピン状態を表すことができる。
【００５４】
Ｎ個のスピンを有するイジングモデルについては、そして一具体例によれば、複数の光パラメトリック発振器の共鳴キャビティが、ポンプ源からのＮ個のパルスの周期のＮ倍に等しいラウンドトリップタイム（周回時間）を有するように構成されている。本明細書中に用いる「ラウンドトリップタイム」とは、上述した再帰的（周回）経路の１回の通過において光が伝搬する時間を示す。共鳴キャビティのラウンドトリップタイムの１／Ｎに等しい周期Ｐを有するパルス列のＮ個のパルスは、互いに干渉することのないＮ個の光パラメトリック発振器を通って同時に伝搬することができる。
【００５５】
一具体例では、光パラメトリック発振器どうしの結合部が、共鳴キャビティに沿って割り当てられた複数の遅延線によって提供される。
【００５６】
これら複数の遅延線は複数の変調器（モジュレータ）を具え、これらの変調器が同期して結合の強度及び位相を制御して、上記光デバイスのプログラミングがイジングモデルをシミュレートすることを可能にする。
【００５７】
Ｎ個の光パラメトリック発振器のネットワークでは、２つ一組にしたすべての組の２つの光パラメトリック発振器間の結合の振幅及び位相を制御するのに、Ｎ−１本の遅延線及びそれぞれに対応する変調器で十分である。
【００５８】
一具体例では、特許文献２に開示されているように、イジングモデルからサンプリングすることができる光デバイスを、光パラメトリック発振器のネットワークとして製造することができる。
【００５９】
一具体例では、光パラメトリック発振器、及び光パラメトリック発振器の結合部を、市販のモードロック・レーザー、及び通信用ファイバ遅延線、変調器のような光学素子、及び他の光学装置を用いて実現することができる。その代わりに、光パラメトリック発振器及び光パラメトリック発振器の結合部のネットワークを、電気通信用途向けに開発されたファイバ技術のような光ファイバ技術を用いて実現することができる。これらの結合は、ファイバで実現して、光カー（Kerr）シャッタによって制御することができる。
【００６０】
Ｑ−学習
最適値関数Ｕ*及び最適方策α*を近似する方法を、ニューロダイナミック（神経力学）プログラミングまたはＱ−学習アルゴリズムと称する。非特許文献２は、ボルツマンマシンの使用によるＱ学習の方法を提案している。特に、一般ボルツマンマシンを用いて、最適な確率制御設定における状態と行動との結合分布を近似する
【００６１】
本発明の特徴は、以下の本発明の開示、図面、及び説明を検討することにより明らかになる。
【先行技術文献】
【特許文献】
【００６２】
【特許文献１】米国特許出願公開第２００６／０２２５１６５号明細書
【特許文献２】米国特許出願公開第２０１６／０１６２７９８号明細書
【特許文献３】国際公開第２０１５／００６４９４号パンフレット
【特許文献４】米国特許第８４２１０５３号明細書
【特許文献５】米国特許出願公開第２０１５／００４６６８１号明細書
【非特許文献】
【００６３】
【非特許文献１】Richard Bellman, “A Markovian Decision Process”, Journal of Mathematics and Mechanics, Vol.6, No.5 (1957)
【非特許文献２】Sallans, B., Hinton, G. E., “Reinforcement Learning with Factored States and Actions”, Journal of Machine Learning Research 5, 1063-1088, 2004
【非特許文献３】D. Ackley, G. Hinton, T. Sejnowski, “A Learning Algorithm for Boltzmann Machines”, Cognitive Science 9, 147-169 (1985)
【非特許文献４】Y. Bengio et al. “Representation Learning: A Review and New Perspectives”, arXiv 2014
【非特許文献５】Barone and Patermo, 1982, “Physics and Applications of the Josephson Effect”, John Wiley and Sons, New York
【非特許文献６】Martinis et al., 2002, “Physical Review Letters 89, 117901”
【非特許文献７】Farhi, E. et al., “Quantum Adiabatic Evolution Algorithms versus Simulated Annealing”, arXiv.org: quant ph/0201031 (2002), pp. 1-16
【非特許文献８】McGeoch, Catherine C. and Cong Wang, (2013), “Experimental Evolution of an Adiabatic Quantum System for Combinational Optimization”, Computing Frontiers, May 14 16, 2013
【非特許文献９】Bian, Z., Chudak, F., Macready, W. G. and Rose, G. (2010), “The Ising model; teaching an old problem new tricks”
【非特許文献１０】Amin, M. H., Andriyash, E., Rolfe, J. Kulchytskyy, B., and Melko, R. (2016), “Quantum Boltzmann machine”, arXiv:1601.02036
【発明の概要】
【課題を解決するための手段】
【００６４】
概要
広義の態様によれば、確率制御問題に対する方策を改善する方法を開示し、この確率制御問題は、一組の行動、一組の状態、これらの状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、この方法は、デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは、複数のノード、複数のカプラ（結合器）、各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアス、各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値、及び横磁場強度を具えているステップと；上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るステップであって、この方策は状態毎に少なくとも１つの行動の選定を含むステップと；上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの横磁場強度を表すデータを、上記サンプリング装置に割り当てるステップと；停止基準を満たすまで：上記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供して将来エポックの状態に対して方策を更新することを含み、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するステップとを含む。
【００６５】
１つの好適例によれば、上記サンプリング装置が量子プロセッサを具え、上記サンプリング装置制御システムが量子デバイス制御システムを具え、この量子プロセッサは上記デジタルコンピュータ及びこの量子デバイス制御システムに結合され、さらに、この量子プロセッサは複数の量子ビット及び複数のカプラを具え、各カプラは２つの量子ビットの交点における通信結合を提供する。
【００６６】
１つの好適例によれば、上記サンプリング装置が光学装置及び結合装置を具え、光学装置は、光エネルギー源からエネルギーを受けて複数の光パラメトリック発振器を生成するように構成され、各結合装置は、複数の光パラメトリック発振器のうちの１つの光パラメトリック発振器を制御可能な様式で結合する。
【００６７】
１つの好適例によれば、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具えて上記ボルツマンマシンを実現し、実現されるボルツマンマシンは従来型ボルツマンマシンであり、０の値の横磁場強度によって特徴付けられ、上記メモリ装置は、この従来型ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るためのアプリケーションを含み、このアプリケーションは、この従来型ボルツマンマシンの、シミュレーションによる量子アニーリング（擬似量子徐冷）を実行するように構成されている。
【００６８】
１つの好適例によれば、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具えて上記ボルツマンマシンを実現し、実現されるボルツマンマシンは量子ボルツマンマシンであり、０でない値の横磁場強度によって特徴付けられ、このメモリ装置は、この量子ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るためのアプリケーションを含み；さらに、このアプリケーションは、この量子ボルツマンマシンの、シミュレーションによる量子アニーリングを実行するように構成されている。
【００６９】
１つの好適例によれば、上記量子ボルツマンマシンの、シミュレーションによる量子アニーリングを実行することによって、この量子ボルツマンマシンを表現する有効ハミルトニアンの複数のサンプル形態がもたらされる。
【００７０】
１つの好適例によれば、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具えて上記ボルツマンマシンを実現し、実現されるボルツマンマシンは従来型ボルツマンマシンであり、０の値の横磁場強度によって特徴付けられ；さらに、このメモリ装置は、この従来型ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るためのアプリケーションを含み、このアプリケーションは、この従来型ボルツマンマシンに対応するフォルトゥン−カステレイン（Fortuin-Kasteleyn）ランダムクラスタ表現の複数のインスタンスをサンプリングし、これにより、フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を提供するように構成されている。
【００７１】
１つの好適例によれば、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具えて上記ボルツマンマシンを実現し、実現されるボルツマンマシンは量子ボルツマンマシンであり、０でない横磁場強度によって特徴付けられ、このメモリ装置は、この量子ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るためのアプリケーションを含み、このアプリケーションは、上記量子ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現の複数のインスタンスをサンプリングし、これにより、フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を提供するように構成されている。
【００７２】
１つの好適例によれば、現在エポック及び将来エポックの両方における上記Ｑ関数の値の近似値を生成することが、上記サンプリング装置から、測定値軸に沿った上記ボルツマンマシンの形態の複数のサンプルを得ること、及び上記デジタルコンピュータを用いて、上記ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む。
【００７３】
１つの好適例によれば、現在エポック及び将来エポックの両方における上記Ｑ関数の値の近似値を生成することが、上記サンプリング装置から、測定値軸に沿った、上記ボルツマンマシンの複数のサンプル形態を得ること、得られたサンプル形態から、上記量子ボルツマンマシンを表現するハミルトニアンの形態の複数のサンプルを構成すること、及び上記デジタルコンピュータを用いて、上記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む。
【００７４】
１つの好適例によれば、現在エポック及び将来エポックの両方における上記Ｑ関数の値の近似値を生成することが、上記サンプリング装置から、上記量子ボルツマンマシンを表現する有効ハミルトニアンの形態の複数のサンプルを得ること、及び上記デジタルコンピュータを用いて、上記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む。
【００７５】
１つの好適例によれば、現在エポック及び将来エポックの両方における上記Ｑ関数の値の近似値を生成することが、上記サンプリング装置から、上記量子ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を得ること、及び上記デジタルコンピュータを用いて、上記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む。
【００７６】
１つの好適例によれば、上記ノードに対応する１回目及び２回目の上記経験的平均値の両方を計算することが、上記サンプリング装置から、測定値軸に沿った、上記量子ボルツマンマシン及び上記従来型ボルツマンマシンの一方の形態の複数のサンプルを得ること、及び上記デジタルコンピュータを用いて、上記ノードにおける経験的平均値の近似値を計算することを含む。
【００７７】
１つの好適例によれば、上記ノードに対応する１回目及び２回目の上記経験的平均値の両方を計算することが、上記サンプリング装置から、上記ボルツマンマシンの有効ハミルトニアンの形態の複数のサンプルを得ること、及び上記デジタルコンピュータを用いて、上記ノードにおける経験的平均値の近似値を計算することを含む。
【００７８】
１つの好適例によれば、上記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、将来エポックの状態に対応する状態−行動の対の各々を用いて修正すること、将来エポックの状態に対応する状態−行動の対の各々に対応するサンプリングを実行して、経験的平均値を提供すること、上記デジタルコンピュータを用いて、将来エポックの状態に対応する状態−行動の対の各々における上記Ｑ関数の値の近似値を生成すること、将来エポックの状態に対応する状態−行動の対の各々に対応するＱ関数値のすべての近似値を用い、かつ上記デジタルコンピュータを用いて、対応する分布からサンプリングして、将来エポックの状態に対して方策を更新することを含む。
【００７９】
１つの好適例によれば、上記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが、温度パラメータを得ること；将来エポックの状態を得ること；将来エポックの状態に固定された状態変数及び提供された温度により、上記Ｑ関数の値の近似値に関連するボルツマン分布をサンプリングすることを含む。
【００８０】
１つの好適例によれば、上記量子プロセッサの上記複数の量子ビットが、第１グループの量子ビット；第２グループの量子ビットを含み、上記量子プロセッサの上記複数のカプラは、少なくとも１つのカプラ、及び他の複数のカプラを含み、少なくとも１つのカプラの各々は、第１グループの量子ビットのうちの１つの量子ビットと、第２グループの量子ビットのうちの少なくとも１つの量子ビットとの交点における通信結合を提供し、上記他の複数のカプラの各々は、第２グループの量子ビットのうちの１つの量子ビットと第２グループの量子ビットのうちの他の量子ビットとの交点における通信結合を提供する。
【００８１】
１つの好適例によれば、上記第１グループの量子ビットが上記確率制御問題における一組の行動を表す。
【００８２】
１つの好適例によれば、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正することが、上記第１グループの量子ビットうちの１つの量子ビットと上記第２グループの量子ビットとの交点における通信結合を提供するすべてのカプラをオフ状態に切り換えること、及び上記第２グループの量子ビットにおける少なくとも１つのバイアスを、上記生成した現在エポックの状態−行動の対を用いて修正することを含む。
【００８３】
１つの好適例によれば、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した将来エポックの状態−行動の対を用いて修正することが、上記第１グループの量子ビットうちの１つの量子ビットと上記第２グループの量子ビットとの交点における通信結合を提供するすべてのカプラをオフ状態に切り換えること、及び、上記第２グループの量子ビットにおける少なくとも１つのバイアスを、上記生成した将来エポックの状態−行動の対を用いて修正することを含む。
【００８４】
１つの好適例によれば、将来エポックの状態及びあり得るすべての行動を含む上記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが、上記第１グループの量子ビットのうちの１つの量子ビットと上記第２グループの量子ビットとの交点における通信結合を提供するすべてのカプラをオン状態に切り換えること；上記第２グループの量子ビットにおける少なくとも１つのバイアスを、将来エポックの状態−行動の対に対応する将来エポックの状態を用いて修正すること；量子サンプリングを実行して、上記第１グループの量子ビットに対応する経験的平均値を得ること；及び上記デジタルコンピュータを用いて、上記第１グループの量子ビットに対応する得られた経験的平均値の分布に応じた行動を、将来エポックの状態に割り当てることによって、将来エポックの状態に対して方策を更新することを含む。
【００８５】
１つの好適例によれば、上記停止基準が、学習ステップの最大数に達することを含む。
【００８６】
１つの好適例によれば、上記停止基準が、最大実行時間に達することを含む。
【００８７】
１つの好適例によれば、上記停止基準が、上記結合及び局所場の重み値及びバイアスの関数の収束を含む。
【００８８】
１つの好適例によれば、上記停止基準が、上記方策が固定の方策に収束することを含む。
【００８９】
１つの好適例によれば、上記方策を提供するステップが、上記デジタルコンピュータと対話するユーザに対して上記方策を表示すること；上記方策を上記デジタルコンピュータ内に記憶すること；及び上記方策を、上記デジタルコンピュータに動作的に接続された他の処理装置へ送信すること、のうちの少なくとも１つを含む。
【００９０】
１つの好適例によれば、上記デジタルコンピュータがメモリ装置を具え；さらに、上記デジタルコンピュータのこのメモリ装置から上記初期化データを得る。
【００９１】
１つの好適例によれば、上記初期化データを、上記デジタルコンピュータと対話するユーザ、及び上記デジタルコンピュータに動作的に接続されたリモート処理装置の一方から得る。
【００９２】
広義の態様によれば、デジタルコンピュータを開示し、このデジタルコンピュータは、中央処理装置と；表示（ディスプレイ）装置と；当該デジタルコンピュータを、あるデジタルコンピュータに結合されたサンプリング装置、及びサンプリング装置制御システムに動作的に接続するための通信ポートと；確率制御問題に対する方策を改善するためのアプリケーションを含むメモリ装置とを具え、この確率制御問題は、一組の行動、一組の状態、これらの状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、このアプリケーションは、デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるための命令であって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは、複数のノード、複数のカプラ、各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアス、各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値、及び横磁場強度を具えている命令と；上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るための命令であって、この方策は状態毎に少なくとも１つの行動の選定を含む命令と；上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの横磁場強度を表すデータを、上記サンプリング装置に割り当てるための命令と；停止基準を満たすまで：上記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供して将来エポックの状態に対して方策を更新することを含み、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うための命令と；上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するための命令とを含む。
【００９３】
広義の態様によれば、コンピュータで実行可能な命令を記憶するための非一時的なコンピュータ可読記憶媒体を開示し、これらの命令は、デジタルコンピュータにより実行されると、このデジタルコンピュータに、確率制御問題に対する方策を改善する方法を実行させ、この確率制御問題は、一組の行動、一組の状態、これらの状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、上記方法は、デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは、複数のノード、複数のカプラ、各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアス、各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値、及び横磁場強度を具えているステップと；上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るステップであって、この方策は状態毎に少なくとも１つの行動の選定を含むステップと；上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの及び横磁場強度を表すデータを、上記サンプリング装置に割り当てるステップと；停止基準を満たすまで：上記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供して将来エポックの状態に対して方策を更新することを含み、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するステップとを含む。
【発明の効果】
【００９４】
本明細書中に開示する方法の１つの利点は、マルコフ決定問題を解決するための数値反復法における「次元の呪い」の問題を克服することにある。
【００９５】
本明細書中に開示する方法の他の利点は、マルコフ決定問題を解決するための一般的なＱ学習法におけるメモリ記憶の問題を克服することにある。
【００９６】
本明細書中に開示する方法の他の利点は、量子サンプリングを用いて、系の量子ビットにおける経験的平均値を見出す効率的方法を提供し、これにより、ニューラル・ネットワークを学習させるための効率的方法を提供することにある。
【００９７】
本明細書中に開示する方法の他の利点は、１つの好適例においてフォルトゥン−カステレイン・ランダムクラスタ表現からのサンプリングを用いて、系の量子ビットにおける経験的平均値を見出すための効率的方法を提供し、これにより、ニューラル・ネットワークを学習させるための効率的な方法を提供することにある。
【００９８】
本明細書中に開示する方法の他の利点は、量子プロセッサまたは光学装置の量子ビットの特定の図形的配置に限定されないことにある。
【００９９】
本発明を容易に理解することができるために、本発明の実施形態を、一例として、添付した図面中に図示する。
【図面の簡単な説明】
【０１００】
【図１】アナログコンピュータに結合されたデジタルシステムを具えたシステムの実施形態を示す図である。
【図２】確率制御問題に対する方策を改善する方法の実施形態を示すフローチャートである。
【発明を実施するための形態】
【０１０１】
本発明のさらなる詳細及びその利点は、以下に含める詳細な説明より明らかになる。
【０１０２】
詳細な説明
以下の実施形態の説明では、添付した図面の参照は、本発明を実施することができる一例を説明する目的である。
【０１０３】
用語
「発明」等とは、特に断りのない限り「本願中に開示する１つ以上の発明」を意味する。
【０１０４】
「態様」、「ある実施形態」、「実施形態」、「（複数の）実施形態」、「その実施形態」、「その（複数の）実施形態」、「１つ以上の実施形態」、「一部の実施形態」、「特定実施形態」、「一実施形態」、「他の実施形態」等とは、特に断りのない限り「開示する発明の（全部ではないが）１つ以上の実施形態」を意味する。
【０１０５】
ある実施形態を説明するに当たっての「他の実施形態」または「他の態様」の参照は、特に断りのない限り、参照される実施形態が他の実施形態（例えば、参照される実施形態の前に記載された実施形態）と互いに排他的であることを意味しない。
【０１０６】
「含む」、「具える」及びそれらの変化形は、特に断りのない限り「含むが、それに限定されない」ことを意味する。
【０１０７】
「ある」、「１つの」、「その」及び「少なくとも１つの」とは、特に断りのない限り「１つ以上の」を意味する。
【０１０８】
「複数の」とは、特に断りのない限り「２つ以上の」を意味する。
【０１０９】
「本明細書中に」とは、特に断りのない限り「参照することによって含めることができるあらゆるものを含む本願中に」を意味する。
【０１１０】
「これにより（それにより）」とは、本明細書中では、その前に、かつ明示的に記載した何かの意図した結果、目的、帰結のみを表現する節、あるいは他の一組の語に先行するためだけに用いる。従って、「これにより」を請求項中に用いる際には、「これにより」が修飾する節または他の文言が、その請求項の特定の追加的限定を定めないか、さもなければ、その請求項の意味または範囲を限定する。
【０１１１】
「例えば（e.g.）」及びその類語は、「例えば」を意味し、従って、これらの語が説明する語句を限定しない。例えば、「コンピュータがデータ（例えば、命令、データ構造）をインターネット上で送信する」という一例では、「例えば」は、「命令」が、コンピュータがインターネット上で送信することができる「データ」の一例であることを説明し、また、「データ構造」が、コンピュータがインターネット上で送信することができる「データ」の一例であることも説明する。しかし、「命令」及び「データ構造」は共に「データ」の例に過ぎず、「命令」及び「データ構造」以外の他のものも「データ」であり得る。
【０１１２】
「即ち（i.e.）」等とは「即ち（つまり）」を意味し、従って、これらの語が説明する語句を制限する。
【０１１３】
一具体例では、「アナログコンピュータ」は、量子プロセッサ、量子ビットの制御システム、結合装置、及び読出しシステムを具えたシステムを参照し、これらのすべてが通信バスを通して互いに接続されている。
【０１１４】
代わりの具体例では、「アナログコンピュータ」は、光パラメトリック発振器、光パラメトリック発振器の制御システム、遅延線及び変調器を具えた１つまたは複数の結合装置、及び１つまたは複数の光検出器を具えた読出しシステムのネットワークを具えた光学装置を含むシステムを参照する。
【０１１５】
発明の名称も要約も、開示する発明の範囲を多少なりとも限定するものとして解釈するべきでない。本願の発明の名称及び本願中に提供する節の表題は利便性のために過ぎず、開示を多少なりとも限定するものとして解釈するべきでない。
【０１１６】
本願中には多数の実施形態が記載され、これらの実施形態は例示目的で提示するに過ぎない。記載する実施形態は、いかなる意味でも限定的ではなく、限定的であることを意図していない。本明細書に開示する発明は、多数の具体例に広く適用可能であり、そのことは本開示より明らかである。開示する発明は、構造的及び論理的修正のような種々の修正及び変更を伴って実施することができることは、当業者の認める所である。開示する発明の特定の特徴を、１つ以上の特定の実施形態及び／または図面を参照して説明しているが、こうした特徴は、その特徴を説明するために参照する１つ以上の特定の実施形態または図面における使用法に限定されないことは明らかである。
【０１１７】
本発明は多数の方法で実現することができることは明らかである。本明細書では、これらの実現、あるいは本発明がとり得る他のあらゆる形態をシステムまたは技術と称することがある。あるタスクを実行するように構成されているものとして記載されているプロセッサまたはメモリは、所定時刻にそのタスクを実行するように一時的に構成される汎用的構成要素も、そのタスクを実行するように製造された特定構成要素も含む。
【０１１８】
このことをすべて念頭に置いて、本発明は、確率制御問題に対する方策を改善するための方法及びシステムに指向している。
【０１１９】
上述したように、確率制御問題は種々の種類のものとすることができる。一実施形態では、確率制御問題は金融及び投資におけるポートフォリオ最適化である。
【０１２０】
代案の実施形態では、確率制御問題は機器取替問題である。
【０１２１】
代案の実施形態では、確率制御問題は待ち行列理論及びオペレーションズ・リサーチにおけるスケジューリング（スケジュール作成）である。
【０１２２】
代案の実施形態では、確率制御問題がスポーツ戦略を作成することを含む問題である。
【０１２３】
ここで図１を参照すれば、確率制御問題に対する方策を改善する方法を実現するために用いることができるシステムの実施形態が示されている。
【０１２４】
図１に開示する実施形態では、量子プロセッサを用いることは明らかである。
【０１２５】
その代わりに、量子のシミュレータ（模擬装置）または従来型のイジングモデル、あるいは光パラメトリック発振器のネットワークを具えた光学装置のような他のサンプリング装置を用いることができることは明らかである。
【０１２６】
より具体的には、このシステムは、アナログコンピュータ１０に結合されたデジタルシステム８を具えている。
【０１２７】
デジタルコンピュータ８はあらゆる種類のデジタルコンピュータとすることができることは明らかである。
【０１２８】
一実施形態では、デジタルコンピュータ８は、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、サーバー、スマートホン、等から成るグループから選択したものである。以上では、デジタルコンピュータ８を広い意味でのプロセッサと称することもできることも明らかである。
【０１２９】
図１に示す実施形態では、デジタルコンピュータ８が、マイクロプロセッサとも称される中央処理装置、表示装置１４、入力装置１６、通信ポート２０、データバス１８、及びメモリ装置２２を具えている。
【０１３０】
中央処理装置１２は、コンピュータ命令を処理するために使用される。中央処理装置１２の種々の具体例を提供することができることは、当業者にとって明らかである。
【０１３１】
一実施形態では、中央処理装置１２が、２．５GHzで動作するインテル（登録商標）社製のＣＰＵ（Central Processing Unit：中央処理装置）コアi5 3210を具えている。
【０１３２】
表示装置１４は、データをユーザに対して表示するために使用される。多種多様な表示装置１４を用いることができることは、当業者にとって明らかである。
【０１３３】
一実施形態では、表示装置１４が標準的な液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）モニターである。
【０１３４】
入力装置１６は、データをデジタルコンピュータ８に入力するために用いることができる。
【０１３５】
通信ポート２０は、データをデジタルコンピュータ８と共用するために用いることができる。
【０１３６】
通信ポート２０は、例えば、キーボード及びマウスをデジタルコンピュータ８に接続するためのユニバーサル・シリアル・バス（ＵＳＢ：Universal Serial Bus）を具えることができる。
【０１３７】
通信ポート２０は、デジタルコンピュータ８とアナログコンピュータ１０との接続を可能にするための、IEEE 802.3ポートのようなデータネットワーク通信ポートをさらに具えることができる。
【０１３８】
通信ポート２０の種々の代わりの具体例を用意することができることは、当業者にとって明らかである。
【０１３９】
メモリ装置２２は、コンピュータで実行可能な命令を記憶するために用いられる。
【０１４０】
メモリ装置２２は、システム制御プログラム（例えば、ＢＩＯＳ（Basic Input/Output System：基本入出力システム）、オペレーティングシステム・モジュール、アプリケーション、等）を記憶するための、高速ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）のようなシステムメモリ、及び読出し専用メモリ（ＲＯＭ：Read-Only Memory）を具えることができる。
【０１４１】
一実施形態では、メモリ装置２２がオペレーティングシステム・モジュールを含むことは明らかである。
【０１４２】
オペレーティングシステム・モジュールは多種多様なものとすることができることは明らかである。
【０１４３】
一実施形態では、オペレーティングシステム・モジュールが、アップル（登録商標）社製のOS X Yosemiteである。
【０１４４】
メモリ装置２２は、確率制御問題に対する方策を改善するためのアプリケーションをさらに含む。
【０１４５】
メモリ装置２２は、アナログコンピュータ１０を使用するためのアプリケーションをさらに含むことができる。
【０１４６】
メモリ装置２２は、量子プロセッサ２８のカプラ毎の対応する重み値、及び量子プロセッサ２８の量子ビット毎の対応するバイアスのような量子プロセッサデータをさらに含むことができる。
【０１４７】
アナログコンピュータ１０は、量子ビット制御システム２４、読出し制御システム２６、量子プロセッサ２８、及び結合装置制御システム３０を具えている。
【０１４８】
量子プロセッサ２８は多種多様なものとすることができる。一実施形態では、量子プロセッサが超電導量子ビットを具えている。
【０１４９】
読出し制御システム２６は、量子プロセッサ２８の量子ビットを読み出すために用いることができる。実際には、本明細書中に開示する方法において量子プロセッサを用いるためには、量子システムの量子力学的状態にある量子ビットを測定する読出しシステムが必要であることは明らかである。複数の測定値が量子ビットの状態のサンプルを提供する。読出しの結果はデジタルコンピュータ８に供給される。量子プロセッサ２８の量子ビットのバイアスは、量子ビット制御システム２４により制御される。上記カプラは結合装置制御システム３０により制御される。
【０１５０】
読出し制御システム２６は多種多様なものとすることができることは明らかである。例えば、読出し制御システム２６は複数のＤＣ−ＳＱＵＩＤ（Direct Current-Superconducting Quantum Interference Device：直流型超電導量子干渉素子）磁力計を具えることができ、各磁力計は量子プロセッサ２８の異なる量子ビットに誘導接続されている。読出し制御システム２６は、電圧また電流値を提供することができる。一実施形態では、上記ＤＣ−ＳＱＵＩＤ磁力計が、少なくとも１つのジョセフソン接合によって断続される超電導材料のループを具え、これは現在技術において周知である。
【０１５１】
結合装置制御システム３０は、「カプラ」とも称される上記結合装置用の１つ以上の結合コントローラを具えることができる。各結合コントローラは、対応する結合装置の結合の重み値を０から最大値まで調整するように構成することができる。結合装置は、例えば、量子プロセッサ２８の量子ビット間の強磁性結合または反強磁性結合をもたらすように調整することができることは明らかである。こうしたアナログコンピュータの例は、米国特許第８４２１０５３号明細書（特許文献４）及び米国特許出願公開第２０１５／００４６６８１号明細書（特許文献５）に開示されている。
【０１５２】
図１の実施形態では、上記デジタルコンピュータに結合された上記サンプリング装置が量子プロセッサである。
【０１５３】
代案の実施形態では、上記サンプリング装置が、光パラメトリック発振器のネットワークを具えた光学装置である。
【０１５４】
第３の実施形態では、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具え、このメモリ装置は、ボルツマンマシンの横磁界強度を表し、かつボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るため、及びボルツマンマシンの、シミュレーションによる量子アニーリングを実行し、これにより、測定値軸に沿った、上記ボルツマンマシンの複数のサンプル形態を提供するためのアプリケーションを含み、ここで０の値の横磁場強度は従来型ボルツマンマシンに対応し、０でない値の横磁場強度は量子ボルツマンマシン（ＱＢＭ：Quantum Boltzmann Machine）に対応する。
【０１５５】
第４の実施形態では、サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具え、このメモリ装置は、上記デジタルコンピュータから、ボルツマンマシンの横磁界強度を表し、かつボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るための、及び量子ボルツマンマシンの、シミュレーションによる量子アニーリングを実行し、これにより、この量子ボルツマンマシンを表現する有効ハミルトニアンの複数のサンプル形態を提供するためのアプリケーションを含み、上記横磁場強度は上記量子ボルツマンマシンに対応する０でない値を有する。
【０１５６】
第５の実施形態では、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具え、このメモリ装置は、上記デジタルコンピュータから、ボルツマンマシンの横磁場強度を表すデータ、及びこのボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るための、及び量子ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現の複数のインスタンスをサンプリングし、これにより、このフォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を提供するためのアプリケーションを含み、上記横磁場強度は上記量子ボルツマンマシンに対応する０でない値を有する。
【０１５７】
ここで、図２を参照すれば、確率制御問題に対する方策を改善する方法の実施形態が示されている。
【０１５８】
以上に説明したように、上記確率制御問題は、一組の行動、一組の状態、割引係数、これらの状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率状態過程の進行は、方策における複数の行動に依存する。
【０１５９】
サンプリング装置を使用する。より正確には、デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いてデータを取得する。取得したデータは、複数のノード、複数のカプラ、複数のバイアス、複数の結合の重み値、及び横磁場強度を具えたボルツマンマシンのサンプル形態を表し、各バイアスは上記複数のノードのうちの１つのノードに対応し、各結合の重み値は上記複数のカプラのうちの１つのカプラに対応する。
【０１６０】
処理ステップ５２によれば、初期化データを得る。初期化データは、デジタルコンピュータ８を用いて得ることができることは明らかである。さらに、初期化データは、一組の行動、一組の状態、割引係数、上記確率制御問題の報酬構造、及びこの確率制御問題に対する初期方策を含むことは明らかであり、この方策は、状態毎に少なくとも１つの行動の選定を含む。
【０１６１】
一実施形態では、初期化データをデジタルコンピュータ８のメモリ装置２２に記憶することができることは明らかである。
【０１６２】
代案の実施形態では、デジタルコンピュータ８と対話するユーザが初期化データを提供することができる。
【０１６３】
他の代案の実施形態では、初期化データを、デジタルコンピュータ８と動作的に結合されたリモート処理装置から得ることができる。
【０１６４】
図２を引き続き参照し、処理ステップ５４によれば、ボルツマンマシンの各カプラ及び各ノードに対応する、それぞれ初期重み値及びバイアス、及び横磁場強度をサンプリング装置に割り当てる。サンプリング装置が量子プロセッサを具えている実施形態では、上記初期重み値及びバイアスを表すデータを、この量子プロセッサのそれぞれ各カプラ及び各量子ビットに割り当て、横磁界強度の値は上記制御システムを用いて割り当てる。
【０１６５】
上記サンプリング装置が光パラメトリック発振器パルスのネットワークを具えている実施形態では、初期重み値及びバイアス代表値を表すデータをエネルギー源及び変調器に伝達する。上記サンプリング装置が、量子アニーリング・アプリケーションをシミュレートするアプリケーションを含む実施形態では、初期重み値及びバイアスデータ代表値をパラメータとしてアプリケーションに渡す。
【０１６６】
上記量子プロセッサは多種多様なものとすることができることは明らかである。
【０１６７】
一実施形態では、上記量子プロセッサが、第１グループの量子ビット及び第２グループの量子ビットを具えている。本実施形態では、この量子プロセッサがカプラのグループを具えている。この量子プロセッサのカプラのグループは少なくとも１つのカプラを具え、これら少なくとも１つのカプラの各々は、第１グループの量子ビットのうちの１つの量子ビットと第２グループの量子ビットのうちの少なくとも１つの量子ビットとの交点における通信結合を提供する。上記カプラのグループは、複数のカプラを追加的に具え、これら複数のカプラの各々は、第２グループの量子ビットのうちの１つの量子ビットと第２グループの量子ビット中の他の量子ビットとの交点における通信結合を提供する。
【０１６８】
本実施形態では、第１グループの量子ビットを、上記確率制御問題の一組の行動用に用いる。
【０１６９】
他の実施形態では、上記量子プロセッサがD-Wave Systems社製のD-Wave 2Xシステムである。
【０１７０】
上記量子プロセッサの各カプラ及び各量子ビットの、それぞれ上記初期重み値及び上記バイアスを、デジタルコンピュータ８及び上記量子デバイス制御システムを用いて割り当てることができることは明らかである。
【０１７１】
この量子デバイス制御システムは、量子ビット制御システム２４及び結合装置制御システム３０を具えている。
【０１７２】
上記初期重み値及び上記バイアスは、デジタルコンピュータ８のメモリ装置２２に記憶することができることは明らかである。
【０１７３】
代案の実施形態では、上記初期重み値及び上記バイアスを、デジタルコンピュータ８と対話するユーザが提供する。
【０１７４】
他の実施形態では、上記初期重み値及び上記バイアスを、デジタルコンピュータ８と動作的に結合されたリモート処理装置によって提供する。
【０１７５】
一実施形態では、上記初期重み値及び上記バイアスをランダムに生成することは明らかである。
【０１７６】
サンプリング装置の設定
量子プロセッサをサンプリング装置として用いる実施形態では、量子プロセッサの量子ビットが、対応する一般ボルツマンマシン（ＧＢＭ）の対応する複数のノードを表すことは明らかである。
【０１７７】
サンプリング装置が光学装置を具えている実施形態では、上記光パラメトリック発振器のネットワークが一般ボルツマンマシンを表現する。
【０１７８】
一般ボルツマンマシンの可視ノードは、２つのグループのノードで構成される。第１グループのノードは、上記確率制御問題における状態を表す。第２グループのノードは、上記確率制御問題における行動を表す。一般ボルツマンマシンの隠れノードは、第１グループのノードにも第２グループのノードにも含まれないすべてのノードで構成される。
【０１７９】
量子プロセッサをサンプリング装置として用いる一実施形態では、量子プロセッサが、一般ボルツマンマシンの隠れノードを表す複数の量子ビットを具えている。本実施形態では、量子プロセッサが複数の量子ビット及び複数のカプラを具え、各カプラは２つの量子ビットの交点における通信結合を提供する。
【０１８０】
光学装置をサンプリング装置として用いる実施形態では、上記光パラメトリック発振器が一般ボルツマンマシンの隠れノードを表す。
【０１８１】
シミュレーションによる量子アニーリングをサンプリング装置として用いる他の実施形態では、スピンの模擬が一般ボルツマンマシンの隠れノードを表す。
【０１８２】
シミュレーションによる量子アニーリングをサンプリング装置として用いる他の実施形態では、シミュレーションによる量子プロセッサのスピンの第１グループが一般ボルツマンマシンの行動ノードを表し、シミュレーションによる量子プロセッサのスピンの第２グループが一般ボルツマンマシンの隠れノードを表す。
【０１８３】
量子プロセッサをサンプリング装置として用いる他の実施形態では、量子プロセッサの第１グループの量子ビットが一般ボルツマンマシンの行動ノードを表し、量子プロセッサの第２グループの量子ビットは一般ボルツマンマシンの隠れノードを表す。本実施形態では、量子プロセッサがカプラのグループを具えている。この量子プロセッサのカプラのグループは少なくとも１つのカプラを含み、これら少なくとも１つのカプラの各々は、第１グループの量子ビットのうちの１つの量子ビットと、第２グループの量子ビットのうちの少なくとも１つの量子ビットとの交点における通信結合を提供する。上記カプラのグループは複数のカプラを追加的に含み、これら複数のカプラの各々が、第２グループの量子ビットのうちの１つの量子ビットと、第２グループの量子ビット中の他の量子ビットとの交点における通信結合を提供する。本実施形態では、第１グループの量子ビットを上記確率制御問題の一組の行動用に用い、第２グループの量子ビットを一般ボルツマンマシンの隠れノードの集合用に用いる。
【０１８４】
一般ボルツマンマシンの各ノードは、上記確率制御問題の一組の状態または行動用に用いられない限り、{０, １}内の値をとる。
【０１８５】
上記確率制御問題の一組の状態または行動を表すために用いる、一般ボルツマンマシンの複数のノードは、{０, １}内の値、あるいは離散値の有限個または無限個の集合、あるいは浮動小数点のデータ型によって表される実数値をとることができる。
【０１８６】
量子プロセッサをサンプリング装置として用いる実施形態では、任意の２つの量子ビット間のオン状態の結合を、一般ボルツマンマシンンの対応する２つのノード間の重み値として考える。
【０１８７】
同じ実施形態では、上記オン状態の結合の各々が、対応する重み値の近似値である浮動小数点値の強度を有する。２つのノード間の０でない重み値は、これらのノードどうしの接続性を示す。
【０１８８】
同じ実施形態ではさらに、オフ状態の結合の各々が、実質的に０の値の強度を有し、一般ボルツマンマシンにおける任意の２つのノード間の分断の指示である。
【０１８９】
学習
処理ステップ５６によれば、現在エポックの状態−行動の対を生成する。
【０１９０】
現在エポックの状態−行動の対は、状態及びそれに対応する行動から成ることは明らかである。
【０１９１】
一実施形態では、現在エポックの状態−行動の対を、デジタルコンピュータ８を用いてランダムに生成する。
【０１９２】
代案の実施形態では、現在エポックの状態−行動の対を環境から生成する。
【０１９３】
処理ステップ５８によれば、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した現在エポックの状態−行動の対を用いて修正する。カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、デジタルコンピュータ８を用いて修正することは明らかである。
【０１９４】
サンプリング装置が量子プロセッサを具えている場合には、この量子プロセッサの量子ビットのいずれかが行動ノードを表す場合、この処理ステップは、行動ノードを表すあらゆる量子ビットと他のあらゆる量子ビットとの間のすべての結合をオフ状態に切り換えることを含む。次に、一般ボルツマンマシンの隠れノードのうち可視ノードに接続された隠れノードに対応する量子ビットのバイアスを、上記生成した現在エポックの状態−行動の対を用いて更新する。
【０１９５】
サンプリング装置が、シミュレーションによる量子アニーリングのアプリケーションを含む場合には、シミュレーションによる量子アニーリングのアプリケーションにおけるスピンのいずれかが行動ノードを表す場合、この処理ステップは、行動ノードを表すあらゆるスピンと他のあらゆるスピンとの間の重み値を０に設定することを含む。次に、一般ボルツマンマシンの隠れノードのうち可視ノードに接続されている隠れノードに対応するスピンのバイアスを、上記生成した現在エポックの状態−行動の対を用いて更新する。
【０１９６】
現在エポックの状態−行動の対が、可視ノード上のベクトルｖ＝(ｓ, ａ)によって表され、状態ノードｉを隠れノードｊに接続する接続の重み値がｗi,jである場合、隠れノードｊ上のバイアスは、Ｗijｓiをこのバイアスに加算することによって修正する。行動ノードｋを隠れノードｊに接続する接続の重み値がｗkjである場合、隠れノードｊ上のバイアスは、ｗkjａkをこのバイアスに加算することによって修正する。
【０１９７】
サンプリング装置が光学装置を具えている場合、上述したように修正した、重み値及びバイアス代表値を表すデータを、上記エネルギー源及び変調器に伝達する。
【０１９８】
サンプリング装置が量子プロセッサを具えている実施形態では、量子プロセッサの上記結合部及びバイアスを、デジタルコンピュータ８、及び量子ビット制御システム２４と結合装置制御システム３０を具えた量子デバイス制御システムを用いて修正することは明らかである。
【０１９９】
処理ステップ６０によれば、サンプリングを実行する。サンプリング装置が量子プロセッサまたは光学装置を具えている場合には、サンプリングはこれらの装置の性質により量子であることは明らかである。
【０２００】
現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得ることは明らかである。
【０２０１】
サンプリング装置が量子プロセッサを具えている場合には、現在エポックの状態−行動の対に対応するサンプリングを実行して、量子プロセッサの量子ビットに対応する１回目の量子サンプリングにおける経験的平均値を得る。
【０２０２】
サンプリング装置が光学装置を具えている場合には、現在エポックの状態−行動の対に対応するサンプリングを実行して、光学装置の光パラメトリック発振器に対応する１回目のサンプリングにおける経験的平均値を得る。
【０２０３】
より正確には、１回目のサンプリングにおける経験的平均値は３組の値を含む。
【０２０４】
サンプリング装置が量子プロセッサを具えている場合には、第１組の値は、量子サンプリングにおいて隠れノードに対応する各量子ビットが有する状態の平均値の集合である。サンプリング装置が光学装置を具えている場合には、第１組の値は、上記光パラメトリック発振器の位相の測定値に対応するスピンの平均値の集合である。サンプリング装置がシミュレーションによる量子アニーリングのアプリケーションを含む場合には、第１組の値はスピンの値の平均値の集合である。隠れノードｊについては、この値は＜ｈj＞vで表すことができ、ここにｖ＝(ｓ, ａ)は、現在エポックの状態−行動の対に対応する可視ノードを表すベクトルであることは、当業者にとって明らかである。
【０２０５】
サンプリング装置が量子プロセッサを具えている場合には、第２組の値は、一対の隠れノードに対応する量子ビット対の各々が量子サンプリングにおいて有する状態の積の平均値の集合である。サンプリング装置が光学装置を具えている場合には、第２組の値は、上記光パラメトリック発振器の位相の測定値に対応するスピンの値の積の平均値の集合である。サンプリング装置がシミュレーションによる量子アニーリングのアプリケーションを含む場合には、第２組の値は、スピンの値の積の平均値の集合である。隠れノードｊ及びｋの対については、この値は＜ｈjｈk＞vによって表すことができることは、当業者にとって明らかである。
【０２０６】
サンプリング装置が量子プロセッサを具えている場合には、第３組の値は、量子プロセッサの量子ビットの各形態の発生頻度の集合であり、
2019515397.tif 000014
で表され、ここにｈは、量子サンプリングの各サンプルにおいてすべての量子ビットに生じた状態を表すバイナリベクトルである。
【０２０７】
サンプリング装置が、従来型ボルツマンマシン用のシミュレーションによる量子アニーリングのアプリケーションを含む場合には、第３組の値は、スピンの各形態の発生頻度の集合であり、
2019515397.tif 000015
で表され、ここにｈは、サンプリングの各サンプルにおいてすべてのスピンに生じた状態を表すバイナリベクトルである。
【０２０８】
サンプリング装置が光学装置を具えている場合には、第３組の値は、上記光パラメトリック発振器の位相に対応するスピンの各形態の発生頻度の集合であり、
2019515397.tif 000016
で表され、ここにｈは、サンプリングの各サンプルにおける上記光パラメトリック発振器の位相の測定値に対応するスピンの値を表すバイナリベクトルである。
【０２０９】
サンプリング装置が量子プロセッサを具え、この量子プロセッサが、量子ボルツマンマシンを表現する量子ハミルトニアンからのサンプリングを実行する場合には、第３組の値は、量子ボルツマンマシンを表現する従来型の有効ハミルトニアンの各サンプル形態の発生頻度の集合であり、
2019515397.tif 000017
で表され、ここにｃはすべての有効なスピンの状態を表すバイナリベクトルである。
【０２１０】
一実施形態では、量子ボルツマンマシンを表現する量子ハミルトニアンが次式であり：
【数５】
2019515397.tif 000018
ｎ通りのスピンσ1,...,σnを有する。
【０２１１】
他の実施形態では、従来型の有効ハミルトニアンが、量子ボルツマンマシンの量子ハミルトニアンのスピンのｍ個のレプリカ（複製）を含む。
【０２１２】
横磁界を有する量子ボルツマンマシンに対応する従来型の有効ハミルトニアンのｍ個のレプリカを用意する。
【０２１３】
一実施形態では、有効な従来型のイジングモデルのｍ個のレプリカを、デジタルコンピュータ８を用いて、より正確にはデジタルコンピュータ８のメモリ２２を用いて用意する。
【０２１４】
代案の実施形態では、有効な従来型のイジングモデルのｍ個のレプリカを、デジタルコンピュータ８に動作的に結合されたリモート（遠隔）処理装置によってデジタルコンピュータ８に用意する。
【０２１５】
各スピンσiに、
2019515397.tif 000019
として表されるｍ個のスピンが関連する。ｉ＝１,...,ｎ及びｋ＝１,...,ｍについてのすべてのスピン
2019515397.tif 000020
を
2019515397.tif 000021
に設定する。
2019515397.tif 000022
について、すべての２つのスピン
2019515397.tif 000023
と
2019515397.tif 000024
との間の結合を、
2019515397.tif 000025
に設定する。すべてのｋ＝１,...,ｍ−１について、すべての２つのスピン
2019515397.tif 000026
と
2019515397.tif 000027
との間の結合を、
2019515397.tif 000028
に設定する。従って、一次元高い有効ハミルトニアンは次式のようになる：
【数６】
2019515397.tif 000029
【０２１６】
サンプリング装置が、量子ボルツマンマシンを表現する量子ハミルトニアンからのサンプリングを実行する量子プロセッサを具えている場合には、従来型の有効ハミルトニアンのサンプル形態は、量子ビットの測定値を有効なスピンに付け加えることによって構成され、測定した量子ビットの形態の各々が有効ハミルトニアン内の１つのレプリカに対応する。
【０２１７】
サンプリング装置が、シミュレーションによる量子アニーリングのアプリケーションを含み、このアプリケーションが、量子ボルツマンマシンを表現する量子ハミルトニアンからのサンプリングを実行する場合には、上記第３組の数は、有効ハミルトニアンの有効なスピンの各形態の発生頻度の集合であり、
2019515397.tif 000030
で表され、ここにｃはすべての有効なスピンを表すバイナリベクトルである。
【０２１８】
図２を引き続き参照し、処理ステップ６２によれば、Ｑ関数の値の近似を実行する。
【０２１９】
Ｑ関数の値の近似値の決定は、現在エポックの状態−行動の対において、上記のように得られた１回目のサンプリングにおける経験的平均値を用いて実行することは明らかである。
【０２２０】
サンプリング装置が量子プロセッサを具えている場合には、Ｑ関数の値の近似値の決定は、現在エポックの状態−行動の対において、上記のように得られた１回目の量子サンプリングにおける経験的平均値を用いて実行することは明らかである。
【０２２１】
さらに、Ｑ関数の値の近似値は、デジタルコンピュータ８を用いて決定することは明らかである。
【０２２２】
Ｑ関数の値が、現在エポックの状態−行動の対の有用性を表すことは、当業者にとって明らかである。
【０２２３】
処理ステップ６４によれば、将来エポックの状態を得る。この状態は確率的状態過程により得られることは明らかである。
【０２２４】
一実施形態では、将来エポックの状態を、既知のマルコフ遷移確率が関与する確率的テストにより得る。他の実施形態では、将来エポックの状態を、環境からの観測により得る。他の実施形態では、将来エポックの状態を、提供された学習データから得る。
【０２２５】
将来エポックの状態は、デジタルコンピュータ８を用いて得られることは明らかである。
【０２２６】
一実施形態では、将来エポックの状態を、デジタルコンピュータ８を用いて、より正確にはデジタルコンピュータ８のメモリ２２を用いて得る。
【０２２７】
代案の実施形態では、将来エポックの状態を、デジタルコンピュータ８に動作的に結合されたリモート処理装置によってデジタルコンピュータ８に提供する。
【０２２８】
処理ステップ６６によれば、将来エポックの行動を得る。この行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数のものに対して確率的最適化のテストを実行し、これにより将来エポックにおける行動を提供することを含む。
【０２２９】
一実施形態では、すべての状態−行動の対のうちの複数のものに対して確率的最適化のテストを実行することが、温度パラメータを得ること、将来エポックの状態を得ること、及び将来エポックの状態及び提供された温度に固定された状態変数を有するＱ関数の値の近似値に関連するボルツマン分布をサンプリングすることを含む。
【０２３０】
一実施形態では、上記ボルツマン分布を、行動ノードに対応してサンプリングする。本実施形態では、現在エポックの状態ｓ、及び各行動
2019515397.tif 000031
について、対応するＱ関数を近似してＱiで表す。次に、行動
2019515397.tif 000032
を分布
【数７】
2019515397.tif 000033
からサンプリングする。結果的な行動を、現在エポックの状態ｓに対する最適な行動であるものと仮定する。
【０２３１】
サンプリング装置が量子プロセッサを具え、第１グループの量子ビットが上記確率制御問題の一組の行動を表し、第２グループの量子ビットが、対応する一般ボルツマンマシンの隠れノードを表す他の実施形態では、現在エポックの状態に対する方策を更新することを、量子サンプリングによって実行することができる。一実施形態では、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数のものに対して確率的最適化のテストを実行することが、第１グループの量子ビットのうちの１つの量子ビットと、第２グループの量子ビットのうちの複数の量子ビットとの交点における通信結合を提供するすべてのカプラをオン状態に切り換えること、将来エポックの状態−行動の対に対応する将来エポックの状態を用いて、第２グループの量子ビットにおける少なくとも１つのバイアスを修正すること、量子サンプリングを実行して、第１グループの量子ビットに対応する経験的平均値を得ること、及びデジタルコンピュータ８を用いて、第１グループの量子ビットに対応する上記得られた経験的平均値の分布に応じた行動を、将来エポックの状態に割り当てることによって、将来エポックの状態に対して方策を更新することを含む。
【０２３２】
図２を引き続き参照し、処理ステップ６８によれば、将来エポックの状態に対する方策を、処理ステップ６６において得られた行動で更新する。
【０２３３】
処理ステップ７０によれば、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正する。カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、デジタルコンピュータ８を用いて修正することは明らかである。
【０２３４】
サンプリング装置が量子プロセッサを具えている場合には、量子プロセッサの量子ビットのいずれかが行動ノードを表す場合、この処理ステップは、ある行動ノードを表すあらゆる量子ビットと他のあらゆる量子ビットとの間のすべての結合をオフ状態に切り換えることを含む。次に、一般ボルツマンマシンの隠れノードのうち可視のノードに接続された隠れノードに対応する量子ビットのバイアスを、上記生成した将来エポックの状態−行動の対を用いて更新する。
【０２３５】
サンプリング装置がシミュレーションによる量子アニーリングのアプリケーションを含む場合には、シミュレーションによる量子アニーリングのアプリケーションにおけるスピンのいずれかが行動ノードを表す場合、この処理ステップは、ある行動ノードを表すあらゆるスピンと、他のあらゆるスピンとの間の（結合）重み値を０に設定することを含む。次に、一般ボルツマンマシンの隠れノードのうち可視ノードに接続された隠れノードに対応するスピンのバイアスを、上記生成した将来エポックの状態−行動の対を用いて更新する。
【０２３６】
将来エポックの状態−行動の対が可視ノード上のベクトルｖ＝(ｓ, ａ)によって表され、かつ状態ノードｉを隠れノードｊに接続する接続の重み値がｗijであれば、隠れノードｊ上のバイアスを、このバイアスにｗijｓiを加算することによって修正する。行動ノードｋを隠れノードｊに接続する接続の重み値がｗkjであれば、隠れノードｊ上のバイアスを、このバイアスにｗkjａkを加算することによって修正する。
【０２３７】
サンプリング装置が光学装置を具えている場合には、上述したように修正した結合の重み値及びバイアス代表値を表すデータを上記エネルギー源及び変調器に伝える。
【０２３８】
サンプリング装置が量子プロセッサを具えている実施形態では、量子プロセッサの結合部及びバイアスを、デジタルコンピュータ８、及び量子ビット制御システム２４と結合装置制御システム３０を具えた量子デバイス制御システムを用いて修正することは明らかである。
【０２３９】
処理ステップ７２によれば、サンプリングを実行する。サンプリング装置が量子プロセッサまたは光学装置を具えている場合には、これらの装置の性質により、サンプリングが量子であることは明らかである。将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングの経験的平均値を得ることは明らかである。
【０２４０】
サンプリング装置が量子プロセッサを具えている場合には、将来エポックの状態−行動の対に対応するサンプリングを実行して、量子プロセッサの量子ビットに対応する２回目の量子サンプリングの経験的平均値を得る。
【０２４１】
サンプリング装置が光学装置である場合には、将来エポックの状態−行動の対に対応するサンプリングを実行して、光学装置の光パラメトリック発振器に対応する２回目のサンプリングの経験的平均値を得る。
【０２４２】
より正確には、２回目のサンプリングの経験的平均値は３組の値を含む。
【０２４３】
サンプリング装置が量子プロセッサを具えている場合には、第１組の値は、隠れノードに対応する各量子ビットが有する状態の平均値の集合である。サンプリング装置が光学装置を具えている場合には、第１組の値は、上記光パラメトリック発振器の位相の測定値に対応するスピンの平均値の集合である。サンプリング装置がシミュレーションによる量子アニーリングのアプリケーションを含む場合には、第１組の値はスピンの値の平均値の集合である。隠れノードｊについては、この値を＜ｈj＞vで表すことができ、ここにｖ＝(ｓ, ａ)は、現在エポックの状態−行動の対に対応する可視ノードを表すベクトルであることは、当業者にとって明らかである。
【０２４４】
サンプリング装置が量子プロセッサを具えている場合には、第２組の値は、一対の隠れノードに対応する量子ビット対の各々が量子サンプリングにおいて有する状態の積の平均値の集合である。サンプリング装置が光学装置を具えている場合には、第２組の値は、上記光パラメトリック発振器の位相の測定値に対応するスピンの値の積の平均値の集合である。サンプリング装置がシミュレーションによる量子アニーリングのアプリケーションを含む場合には、第２組の値は、スピンの値の平均値の集合である。隠れノードｊとｋの対については、この値を＜ｈjｈk＞vで表すことができることは、当業者にとって明らかである。
【０２４５】
サンプリング装置が量子プロセッサを具えている場合には、第３組の値は、量子プロセッサの量子ビットの各形態の発生頻度の集合であり、
2019515397.tif 000034
で表され、ここにｈは、量子サンプリングの各サンプルにおいてすべての量子ビットが有する状態を表すバイナリベクトルである。
【０２４６】
サンプリング装置が、従来型ボルツマンマシン用のシミュレーションによる量子アニーリングのアプリケーションを含む場合には、第３組の値は、スピンの各形態の発生頻度の集合であり、
2019515397.tif 000035
で表され、ここにｈは、サンプリングの各サンプルにおいてすべてのスピンが有する状態を表すバイナリベクトルである。
【０２４７】
サンプリング装置が光学装置を具えている場合には、第３組の値は、上記光パラメトリック発振器の位相に対応するスピンの各形態の発生頻度の集合であり、
2019515397.tif 000036
で表され、ここにｈは、サンプリングの各サンプルにおける上記パラメトリック発振器の位相の測定値に対応するスピンの値を表すバイナリベクトルである。
【０２４８】
量子ボルツマンマシンの実施形態においてサンプリング装置が量子プロセッサを具えている場合には、第３組の値は、量子ボルツマンマシンを表現する従来型の有効ハミルトニアンの各サンプル形態の発生頻度の集合であり、
2019515397.tif 000037
で表される。
【０２４９】
さらに、量子ボルツマンマシンの実施形態においてサンプリング装置が量子プロセッサを具えている場合には、有効ハミルトニアンのサンプル形態は、量子ビットの測定値を有効なスピンに付け加えることによって構成され、測定した量子ビットの形態の各々が有効ハミルトニアン内の１つのレプリカに対応するることは明らかである。
【０２５０】
量子ボルツマンマシンについては、サンプリング装置がシミュレーションによる量子アニーリングのアプリケーションを含む場合には、第３組の値は、有効ハミルトニアンの有効なスピンの各形態の発生頻度の集合である。
【０２５１】
図２を引き続き参照し、処理ステップ７４によれば、Ｑ関数の値の新たな近似値を決定する。こうしたＱ関数の値の新たな近似は、将来エポックの状態−行動の対について、上記のように得られた２回目のサンプリングの経験的平均値を用いて実行することは明らかである。このＱ関数が将来エポックの状態−行動の対を表すことは明らかである。サンプリング装置が量子プロセッサを具えている場合には、Ｑ関数の値の近似は、将来エポックの状態−行動の対について、上記のように得られた、量子プロセッサの量子ビットに対応する、２回目の量子サンプリングの経験的平均値を用いて実行する。
【０２５２】
Ｑ関数の値の近似を、デジタルコンピュータ８を用いて実行することは明らかである。
【０２５３】
一実施形態では、Ｑ関数の値の近似を、デジタルコンピュータ８に動作的に接続されたリモート処理装置を用いて実行する。
【０２５４】
一実施形態では、そしてサンプリング装置が量子プロセッサを具えている場合には、現在エポック及び将来エポックの両方におけるＱ関数の値の近似値を生成することが、サンプリング装置から、測定値軸に沿った、ボルツマンマシンの複数のサンプル形態を得ること、得られたサンプル形態から、上述した量子ボルツマンマシンを表現する有効ハミルトニアンの形態の複数のサンプルを構成すること、及びデジタルコンピュータ８を用いて、次式：
【数８】
2019515397.tif 000038
によって与えられる量子ボルツマンマシンの負の自由エネルギーの経験的近似値を計算することを含むことは明らかである。
【０２５５】
一実施形態では、そしてサンプリングマシンが、量子ボルツマンマシン用のシミュレーションによる量子アニーリングを含む場合には、現在エポック及び将来エポックの両方におけるＱ関数の値の近似値を生成することが、サンプリング装置から、上述した量子ボルツマンマシンを表現する有効ハミルトニアンの複数のサンプル形態を得ること、及び上記デジタルコンピュータを用いて、次式：
【数９】
2019515397.tif 000039
によって与えられる量子ボルツマンマシンの負の自由エネルギーの経験的近似値を計算することを含むことは明らかである。
【０２５６】
他の実施形態では、そしてサンプリング装置が量子プロセッサまたは光学装置を具えている場合、あるいはシミュレーションによる量子アニーリングを含む場合には、現在エポック及び将来エポックの両方におけるＱ関数の値の近似値を生成することが、サンプリング装置から、測定値軸に沿った従来型ボルツマンマシンの複数のサンプル形態を得ること、及びデジタルコンピュータ８を用いて、次式：
【数１０】
2019515397.tif 000040
によって与えられる従来型ボルツマンマシンの負の自由エネルギーの経験的近似値を計算することを含むことは明らかである。
【０２５７】
他の実施形態では、現在エポック及び将来エポックの両方におけるＱ関数の値の近似値を生成することが、サンプリング装置から、上記ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を得ること、及びデジタルコンピュータ８を用いて、上記ボルツマンマシンの負の自由エネルギーの経験的近似値を、上記フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を用いて計算することを含むことは明らかである。この負の自由エネルギーは、次式：
【数１１】
2019515397.tif 000041
によって与えられる。ここで、従来型ボルツマンマシンの場合には、定数ρはこのボルツマンマシンの重み値及びバイアスに依存し、量子ボルツマンマシンの場合には、定数ρはこのボルツマンマシンの重み値、バイアス、及び横磁界強度に依存する。指数#cは、上記フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数を表す。
【０２５８】
図２を引き続き参照し、処理ステップ７６によれば、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを、上記のように生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングの経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて更新する。サンプリング装置が量子プロセッサを具えている場合には、量子プロセッサの各重み値及び各バイアスを更新する。
【０２５９】
より正確には、量子プロセッサの各カプラ及び各量子ビットの、それぞれ各重み値及び各バイアスを、上記のように生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目の経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対の対応する報酬を用いて更新する。
【０２６０】
ｒが現在エポックの状態−行動の対の報酬を表すならば、可視ノードｉを隠れノードｋに接続する（接続の）重み値は：
Δｗik＝εn(ｒ＋γＱ2−Ｑ1)ｖi＜ｈk＞v
により更新する。
【０２６１】
隠れノードｋを隠れノードｊに接続する（接続の）重み値は：
Δｕkj＝εn(ｒ＋γＱ2−Ｑ1)＜ｈkｈj＞v
により更新する。
【０２６２】
そして、隠れノードｋ上のバイアスは：
Δｂk＝εn(ｒ＋γＱ2−Ｑ1)＜ｈk＞v
により更新する。
【０２６３】
ここに、Ｑ1は現在エポックの状態−行動の対におけるＱ関数の近似値であり、Ｑ2は将来エポックの状態−行動の対におけるＱ関数の近似値である。
【０２６４】
同じ処理ステップによれば、量子プロセッサのあらゆる量子ビット上のバイアスを、当該量子ビットが表す隠れノードに対する更新量だけ更新する。
【０２６５】
同じ処理ステップによれば、量子プロセッサのあらゆるカプラの重み値を、当該カプラが表す重み値ｕkjまたはｗikの更新量だけ更新する。
【０２６６】
一実施形態では、量子プロセッサの各重み値及び各バイアスを、デジタルコンピュータ８を用いて更新する。
【０２６７】
図２を引き続き参照し、処理ステップ７８によれば、停止基準を満たすか否かを見出すためのテストを実行する。停止基準は多種多様なものとすることができることは、当業者にとって明らかである。
【０２６８】
一実施形態では、停止基準が、学習ステップの最大回数に達することを含むことができることは明らかである。
【０２６９】
代案の実施形態では、停止基準が、最大実行時間に達することを含むことができることは明らかである。
【０２７０】
１つの代案実施形態では、停止基準が、上記結合及び局所場の重み値及びバイアスの関数の収束を含むことができることは明らかである。
【０２７１】
１つの代案実施形態では、停止基準が、方策が固定の方策に収束することを含むことができることは明らかである。
【０２７２】
１つの代案実施形態では、上記テストが少なくとも１つの停止基準を含む。
【０２７３】
上記少なくとも１つの停止基準を満たさない場合に、処理ステップ５６によれば、現在エポックの状態−行動の対を、提供された学習データまたは環境のいずれかから生成する。
【０２７４】
上記少なくとも１つの停止基準を持たす場合には、処理ステップ８０により方策を提供する。
【０２７５】
方策は種々の具体例により提供することができることは明らかである。実際には、最も良く知られている方策は、デジタルコンピュータ８を用いて提供されることは明らかである。
【０２７６】
一実施形態では、方策をデジタルコンピュータ８内に記憶し、より正確には、デジタルコンピュータ８のメモリ２２に記憶する。
【０２７７】
代案の実施形態では、方策を、デジタルコンピュータ８と対話するユーザに対して、表示装置１４により表示する。
【０２７８】
他の代案実施形態では、方策を、デジタルコンピュータ８と動作的に結合されたリモート処理装置へ送信する。
【０２７９】
コンピュータで実行可能な命令を記憶する非一時的なコンピュータ可読記憶媒体をさらに開示し、これらの命令は、実行されると、デジタルコンピュータに、確率制御問題に対する方策を改善する方法を実行させ、この確率制御問題は、一組の行動、一組の状態、これらの状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態の進行は、方策における複数の行動に依存し、この方法は、デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは、複数のノード、複数のカプラ、各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアス、各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値、及び横磁場強度を具えているステップと；上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るステップであって、この方策は状態毎に少なくとも１つの行動の選定を含むステップと；上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの横磁場強度を表すデータを、上記サンプリング装置に割り当てるステップと；停止基準を満たすまで：上記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供して将来エポックの状態に対して方策を更新することを含み、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するステップとを含むことは明らかである。
【０２８０】
一実施形態では、メモリ装置２２内に含まれる、確率制御問題に対する方策を改善するためのアプリケーションが、デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるための命令を含み、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは、複数のノード、複数のカプラ、各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアス、各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値、及び横磁場強度を具えていることは明らかである。メモリ装置２２内に含まれる、確率制御問題に対する方策を改善するための上記アプリケーションは、上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るための命令をさらに含み、この方策は状態毎に少なくとも１つの行動の選定を含む。メモリ装置２２内に含まれる、確率制御問題に対する方策を改善するための上記アプリケーションは、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの横磁場強度を表すデータを、上記サンプリング装置に割り当てるための命令をさらに含む。メモリ装置２２内に含まれる、確率制御問題に対する方策を改善するための上記アプリケーションは、停止基準を満たすまで：上記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供して将来エポックの状態に対して方策を更新することを含み、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うための命令をさらに含む。メモリ装置２２内に含まれる、確率制御問題に対する方策を改善するための上記アプリケーションは、上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するための命令をさらに含む。
【０２８１】
本明細書中に開示する方法の利点は、行動ノード及び隠れノードについての経験的平均値、Ｑ関数を近似するに当たり関与する要素、量子ビット間の重み値を更新するに当たり関与する要素、及びこれらの量子ビットを更新するに当たり関与する要素を、量子サンプリングを用いて計算し、従って、より高速なＱ学習の方法を提供することにあることは明らかである。
【０２８２】
さらに、本明細書中に開示する方法の他の利点は、この方法が、マルコフ決定過程に対する従来の解決策の方法において生じる「次元の呪い」を克服することにあることは明らかである。
【０２８３】
以上の説明は、発明者が現在目論む特定実施形態に関係するが、本発明は、その広義の態様において、本明細書中に開示する要素の機能的等価物を含むことは明らかである。
【０２８４】
項１．確率制御問題に対する方策を改善する方法であって、この確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、この方法は：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは：
複数のノードと、
複数のカプラと、
各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアスと、
各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と、
横磁場強度とを具えているステップと；
上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るステップであって、この方策は状態毎に少なくとも１つの行動の選定を含むステップと；
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの横磁場強度を表すデータを、上記サンプリング装置に割り当てるステップと；
停止基準を満たすまで：
上記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、
現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供して、将来エポックの状態に対して方策を更新することを含み、
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、
将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；
上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するステップと
を含む方法。
【０２８５】
項２．項１に記載の方法であって、上記サンプリング装置が量子プロセッサを具え、上記サンプリング装置制御システムが量子デバイス制御システムを具え；さらに、この量子プロセッサは上記デジタルコンピュータ及びこの量子デバイス制御システムに結合され、さらに、この量子プロセッサは複数の量子ビット及び複数のカプラを具え、各カプラは２つの量子ビットの交点における通信結合を提供する方法。
【０２８６】
項３．項１に記載の方法であって、上記サンプリング装置が光学装置及び複数の結合装置を具え、この光学装置は、光エネルギー源からエネルギーを受けて複数の光パラメトリック発振器を生成するように構成され、各結合装置は、複数の光パラメトリック発振器のうちの１つの光パラメトリック発振器を制御可能な様式で結合する方法。
【０２８７】
項４．項１に記載の方法であって、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具えて上記ボルツマンマシンを実現し、実現されるボルツマンマシンは従来型ボルツマンマシンであり、０の値の横磁場強度によって特徴付けられ；さらに、上記メモリ装置は、この従来型ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るためのアプリケーションを含み、さらに、このアプリケーションは、この従来型ボルツマンマシンの、シミュレーションによる量子アニーリングを実行するように構成されている方法。
【０２８８】
項５．項１に記載の方法であって、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具えて上記ボルツマンマシンを実現し、実現されるボルツマンマシンは量子ボルツマンマシンであり、０でない値の横磁場強度によって特徴付けられ；さらに、上記メモリ装置は、この量子ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るためのアプリケーションを含み；さらに、このアプリケーションは、この量子ボルツマンマシンの、シミュレーションによる量子アニーリングを実行するように構成されている方法。
【０２８９】
項６．項５に記載の方法であって、上記量子ボルツマンマシンの、シミュレーションによる量子アニーリングを実行することによって、この量子ボルツマンマシンを表現する有効ハミルトニアンの複数のサンプル形態がもたらされる方法。
【０２９０】
項７．項１に記載の方法であって、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具えて上記ボルツマンマシンを実現し、実現されるボルツマンマシンは従来型ボルツマンマシンであり、０の値の横磁場強度によって特徴付けられ；さらに、このメモリ装置は、この従来型ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るためのアプリケーションを含み、このアプリケーションは、この従来型ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現の複数のインスタンスをサンプリングし、これにより、フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を提供するように構成されている方法。
【０２９１】
項８．項１に記載の方法であって、上記サンプリング装置が、中央処理装置、及びこの中央処理装置に結合されたメモリ装置を具えて上記ボルツマンマシンを実現し、実現されるボルツマンマシンは量子ボルツマンマシンであり、０でない横磁場強度によって特徴付けられ；さらに、このメモリ装置は、この量子ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを表すデータを得るためのアプリケーションを含み；さらに、このアプリケーションは、上記量子ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現の複数のインスタンスをサンプリングし、これにより、フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を提供するように構成されている方法。
【０２９２】
項９．項２、３、４及び５のいずれかに記載の方法であって、現在エポック及び将来エポックの両方における上記Ｑ関数の値の近似値を生成することが、上記サンプリング装置から、測定値軸に沿った上記ボルツマンマシンの形態の複数のサンプルを得ること、及び上記デジタルコンピュータを用いて、上記ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む方法。
【０２９３】
項１０．項２〜５のいずれかに記載の方法であって、現在エポック及び将来エポックの両方における上記Ｑ関数の値の近似値を生成することが、上記サンプリング装置から、測定値軸に沿った、上記ボルツマンマシンの複数のサンプル形態を得ること、得られたサンプル形態から、上記量子ボルツマンマシンを表現する有効ハミルトニアンの形態の複数のサンプルを構成すること、及び上記デジタルコンピュータを用いて、上記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む方法。
【０２９４】
項１１．項６に記載の方法であって、現在エポック及び将来エポックの両方における上記Ｑ関数の値の近似値を生成することが、上記サンプリング装置から、上記量子ボルツマンマシンを表現する有効ハミルトニアンの形態の複数のサンプルを得ること、及び上記デジタルコンピュータを用いて、上記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む方法。
【０２９５】
項１２．項８に記載の方法であって、現在エポック及び将来エポックの両方における上記Ｑ関数の値の近似値を生成することが、上記サンプリング装置から、上記量子ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を得ること、及び上記デジタルコンピュータを用いて、上記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む方法。
【０２９６】
項１３．項２、３、４及び５のいずれかに記載の方法であって、上記ノードに対応する１回目及び２回目の上記経験的平均値の両方を計算することが、上記サンプリング装置から、測定値軸に沿った、上記量子ボルツマンマシン及び上記従来型ボルツマンマシンの一方の形態の複数のサンプルを得ること、及び上記デジタルコンピュータを用いて、上記ノードにおける経験的平均値の近似値を計算することを含む。
【０２９７】
項１４．項６に記載の方法であって、上記ノードに対応する１回目及び２回目の上記経験的平均値の両方を計算することが、上記サンプリング装置から、上記ボルツマンマシンの有効ハミルトニアンの形態の複数のサンプルを得ること、及び上記デジタルコンピュータを用いて、上記ノードにおける経験的平均値の近似値を計算することを含む方法。
【０２９８】
項１５．項１に記載の方法であって、上記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、将来エポックの状態に対応する状態−行動の対の各々を用いて修正することと、
将来エポックの状態に対応する状態−行動の対の各々に対応するサンプリングを実行して、経験的平均値を提供することと、
上記デジタルコンピュータを用いて、将来エポックの状態に対応する状態−行動の対の各々における上記Ｑ関数の値の近似値を生成することと、
将来エポックの状態に対応する状態−行動の対の各々に対応するＱ関数値のすべての近似値を用い、かつ上記デジタルコンピュータを用いて、対応する分布からサンプリングして、将来エポックの状態に対して方策を更新することと
を含む方法。
【０２９９】
項１６．項１に記載の方法であって、上記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
温度パラメータを得ることと；
将来エポックの状態を得ることと；
将来エポックの状態に固定された状態変数及び提供された温度により、上記Ｑ関数の値の近似値に関連するボルツマン分布をサンプリングすることと
を含む方法。
【０３００】
項１７．項２に記載の方法であって、上記量子プロセッサの上記複数の量子ビットが：
第１グループの量子ビット；
第２グループの量子ビットを含み；
上記量子プロセッサの上記複数のカプラが：
少なくとも１つのカプラ、及び
他の複数のカプラを含み、
少なくとも１つのカプラの各々は、第１グループの量子ビットのうちの１つの量子ビットと、第２グループの量子ビットのうちの少なくとも１つの量子ビットとの交点における通信結合を提供し、
上記他の複数のカプラの各々は、第２グループの量子ビットのうちの１つの量子ビットと第２グループの量子ビットのうちの他の量子ビットとの交点における通信結合を提供する、
方法。
【０３０１】
項１８．項１７に記載の方法であって、上記第１グループの量子ビットが、上記確率制御問題における一組の行動を表す方法。
【０３０２】
項１９．項１７に記載の方法であって、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正することが：
上記第１グループの量子ビットうちの１つの量子ビットと上記第２グループの量子ビットとの交点における通信結合を提供するすべてのカプラをオフ状態に切り換えること、及び
上記第２グループの量子ビットにおける少なくとも１つのバイアスを、上記生成した現在エポックの状態−行動の対を用いて修正すること
を含む方法。
【０３０３】
項２０．項１７に記載の方法であって、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した将来エポックの状態−行動の対を用いて修正することが：
上記第１グループの量子ビットうちの１つの量子ビットと上記第２グループの量子ビットとの交点における通信結合を提供するすべてのカプラをオフ状態に切り換えること、及び、
上記第２グループの量子ビットにおける少なくとも１つのバイアスを、上記生成した将来エポックの状態−行動の対を用いて修正すること
を含む方法。
【０３０４】
項２１．項１７に記載の方法であって、将来エポックの状態及びあり得るすべての行動を含む上記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
上記第１グループの量子ビットのうちの１つの量子ビットと上記第２グループの量子ビットとの交点における通信結合を提供するすべてのカプラをオン状態に切り換えることと；
上記第２グループの量子ビットにおける少なくとも１つのバイアスを、将来エポックの状態−行動の対に対応する将来エポックの状態を用いて修正することと；
量子サンプリングを実行して、上記第１グループの量子ビットに対応する経験的平均値を得ることと；
上記デジタルコンピュータを用いて、上記第１グループの量子ビットに対応する得られた経験的平均値の分布に応じた行動を、将来エポックの状態に割り当てることによって、将来エポックの状態に対して方策を更新することと
を含む方法。
【０３０５】
項２２．項１〜２１のいずれかに記載の方法であって、上記停止基準が、学習ステップの最大数に達することを含む方法。
【０３０６】
項２３．項１〜２１のいずれかに記載の方法であって、上記停止基準が、最大実行時間に達することを含む方法。
【０３０７】
項２４．項１〜２１のいずれかに記載の方法であって、上記停止基準が、上記結合装置及び局所場の、それぞれ重み値及びバイアスの関数の収束を含む方法。
【０３０８】
項２５．項１〜２１のいずれかに記載の方法であって、上記方策が固定の方策に収束することを含む方法。
【０３０９】
項２６．項１〜２５のいずれかに記載の方法であって、上記方策を提供するステップが、上記デジタルコンピュータと対話するユーザに対して上記方策を表示すること；上記方策を上記デジタルコンピュータ内に記憶すること；及び上記方策を、上記デジタルコンピュータに動作的に接続された他の処理装置へ送信すること、のうちの少なくとも１つを含む方法。
【０３１０】
項２７．項１〜２６のいずれかに記載の方法であって、上記デジタルコンピュータがメモリ装置を具え；さらに、上記デジタルコンピュータのこのメモリ装置から上記初期化データを得る方法。
【０３１１】
項２８．項１〜２６のいずれかに記載の方法であって、上記初期化データを、上記デジタルコンピュータと対話するユーザ、及び上記デジタルコンピュータに動作的に接続されたリモート処理装置の一方から得る方法。
【０３１２】
項２９．デジタルコンピュータであって、
中央処理装置と；
表示装置と；
当該デジタルコンピュータを、あるデジタルコンピュータに結合されたサンプリング装置、及びサンプリング装置制御システムに動作的に接続するための通信ポートと；
確率制御問題に対する方策を改善するためのアプリケーションを含むメモリ装置とを具え、この確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、このアプリケーションは：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるための命令であって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは、複数のノード、複数のカプラ、各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアス、各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値、及び横磁場強度を具えている命令と；
上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るための命令であって、この方策は状態毎に少なくとも１つの行動の選定を含む命令と；
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの横磁場強度を表すデータを、上記サンプリング装置に割り当てるための命令と；
停止基準を満たすまで：
上記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、
現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供して将来エポックの状態に対して方策を更新することを含み、
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、
将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うための命令と、
上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するための命令と
を含むデジタルコンピュータ。
【０３１３】
項３０．コンピュータで実行可能な命令を記憶するための非一時的なコンピュータ可読記憶媒体であって、これらの命令は、デジタルコンピュータにより実行されると、このデジタルコンピュータに、確率制御問題に対する方策を改善する方法を実行させ、この確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、上記方法は：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは：
複数のノードと；
複数のカプラと；
各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアスと；
各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と；
横磁場強度とを具えているステップと；
上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るステップであって、この方策は状態毎に少なくとも１つの行動の選定を含むステップと；
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの及び横磁場強度を表すデータを、上記サンプリング装置に割り当てるステップと；
停止基準を満たすまで：
上記デジタルコンピュータを用いて現在エポックの状態−行動の対を生成し、
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、
現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供して将来エポックの状態に対して方策を更新することを含み、
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、カプラを表さないか少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、
将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；
上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するステップと
を含む方法。
【図１】
2019515397.tif 000042
【図２】
2019515397.tif 000043
【手続補正書】
【提出日】平成30年3月7日(2018.3.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１９２
【補正方法】変更
【補正の内容】
【０１９２】
代案の実施形態では、現在エポックの状態−行動の対を環境から生成する。
代案の実施形態では、現在エポックの状態−行動の対を方策から生成する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２８４
【補正方法】変更
【補正の内容】
【０２８４】
項１．確率制御問題に対する方策を改善する方法であって、この確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、この方法は：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは：
複数のノードと、
複数のカプラと、
各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアスと、
各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と、
横磁場強度とを具えているステップと；
上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るステップであって、この方策は状態毎に少なくとも１つの行動の選定を含むステップと；
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの横磁場強度を表すデータを、上記サンプリング装置に割り当てるステップと；
停止基準を満たすまで：
上記デジタルコンピュータを用いて、現在エポックの状態−行動の対を、ランダムに、あるいは上記基になる確率的状態過程を用いて、かつ現在の方策を用いて生成し、
適切な場合に、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、
現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて、将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供することを含み、
将来エポックの状態に対して現在の方策を更新し、
適切な場合に、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、
将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；
上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するステップと
を含む方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０２９８
【補正方法】変更
【補正の内容】
【０２９８】
項１５．項１に記載の方法であって、上記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
、適切な場合に、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、将来エポックの状態に対応する状態−行動の対の各々を用いて修正することと、
将来エポックの状態に対応する状態−行動の対の各々に対応するサンプリングを実行して、経験的平均値を提供することと、
上記デジタルコンピュータを用いて、将来エポックの状態に対応する状態−行動の対の各々における上記Ｑ関数の値の近似値を生成することと、
将来エポックの状態に対応する状態−行動の対の各々に対応するＱ関数値のすべての近似値を用い、かつ上記デジタルコンピュータを用いて、対応する分布からサンプリングして、将来エポックの状態に対して方策を更新することと
を含む方法。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０３０２
【補正方法】変更
【補正の内容】
【０３０２】
項１９．項１７に記載の方法であって、少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正することが：
上記第１グループの量子ビットうちの１つの量子ビットと上記第２グループの量子ビットとの交点における通信結合を提供するすべてのカプラをオフ状態に切り換えること、及び
上記第２グループの量子ビットにおける少なくとも１つのバイアスを、上記生成した現在エポックの状態−行動の対を用いて修正すること
を含む方法。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０３０３
【補正方法】変更
【補正の内容】
【０３０３】
項２０．項１７に記載の方法であって、少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した将来エポックの状態−行動の対を用いて修正することが：
上記第１グループの量子ビットうちの１つの量子ビットと上記第２グループの量子ビットとの交点における通信結合を提供するすべてのカプラをオフ状態に切り換えること、及び、
上記第２グループの量子ビットにおける少なくとも１つのバイアスを、上記生成した将来エポックの状態−行動の対を用いて修正すること
を含む方法。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０３１２
【補正方法】変更
【補正の内容】
【０３１２】
項２９．デジタルコンピュータであって、
中央処理装置と；
表示装置と；
当該デジタルコンピュータを、あるデジタルコンピュータに結合されたサンプリング装置、及びサンプリング装置制御システムに動作的に接続するための通信ポートと；
確率制御問題に対する方策を改善するためのアプリケーションを含むメモリ装置とを具え、この確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、このアプリケーションは：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるための命令であって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは、複数のノード、複数のカプラ、各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアス、各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値、及び横磁場強度を具えている命令と；
上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るための命令であって、この方策は状態毎に少なくとも１つの行動の選定を含む命令と；
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの横磁場強度を表すデータを、上記サンプリング装置に割り当てるための命令と；
停止基準を満たすまで：
上記デジタルコンピュータを用いて、現在エポックの状態−行動の対を、ランダムに、あるいは上記基になる確率的状態過程を用いて、かつ現在の方策を用いて生成し、
適切な場合に、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、
現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて、将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供することを含み、
将来エポックの状態に対して現在の方策を更新し、
適切な場合に、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、
将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うための命令と、
上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するための命令と
を含むデジタルコンピュータ。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０３１３
【補正方法】変更
【補正の内容】
【０３１３】
項３０．コンピュータで実行可能な命令を記憶するための非一時的なコンピュータ可読記憶媒体であって、これらの命令は、デジタルコンピュータにより実行されると、このデジタルコンピュータに、確率制御問題に対する方策を改善する方法を実行させ、この確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、上記方法は：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、このサンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、このボルツマンマシンは：
複数のノードと；
複数のカプラと；
各々がこれら複数のノードのうちの１つのノードに対応する複数のバイアスと；
各々がこれら複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と；
横磁場強度とを具えているステップと；
上記デジタルコンピュータを用いて、上記一組の行動、上記一組の状態、上記確率制御問題の報酬構造、及び上記確率制御問題に対する初期方策を含む初期化データを得るステップであって、この方策は状態毎に少なくとも１つの行動の選定を含むステップと；
上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ初期重み値及びバイアスを表すデータ、及び上記ボルツマンマシンの及び横磁場強度を表すデータを、上記サンプリング装置に割り当てるステップと；
停止基準を満たすまで：
上記デジタルコンピュータを用いて、現在エポックの状態−行動の対を、ランダムに、あるいは上記基になる確率的状態過程を用いて、かつ現在の方策を用いて生成し、
適切な場合に、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、生成した現在エポックの状態−行動の対を用いて修正し、
現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
１回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は現在エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて、将来エポックの状態−行動の対を生成し、状態は確率的状態過程により得られ、さらに、行動を得ることは、将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、将来エポックにおける行動を提供することを含み、
将来エポックの状態に対して現在の方策を更新し、
適切な場合に、上記デジタルコンピュータ及び上記サンプリング装置制御システムを用いて、少なくとも１つのカプラを表し、かつ少なくとも１つのバイアスを表すデータを、上記生成した将来エポックの状態−行動の対を用いて修正し、
将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
２回目のサンプリングにおける経験的平均値を用い、かつ上記デジタルコンピュータを用いて、将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、Ｑ関数の値は将来エポックの状態−行動の対の有用性を表し、
上記デジタルコンピュータを用いて、上記ボルツマンマシンの各カプラ及び各ノードの、それぞれ各重み値及び各バイアスを更新し、この更新は、生成したＱ関数の値の近似値、及び現在エポックの状態−行動の対における１回目のサンプリングにおける経験的平均値、及び上記報酬構造を用いて得られた現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；
上記停止基準を満たした際に、上記デジタルコンピュータを用いて方策を提供するステップと
を含む方法。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
確率制御問題に対する方策を改善する方法であって、該確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、該方策における複数の行動に依存し、前記方法は：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、該サンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、該ボルツマンマシンは：
複数のノードと、
複数のカプラと、
各々が前記複数のノードのうちの１つのノードに対応する複数のバイアスと、
各々が前記複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と、
横磁場強度とを具えているステップと；
前記デジタルコンピュータを用いて、前記一組の行動、前記一組の状態、前記確率制御問題の前記報酬構造、及び前記確率制御問題に対する初期の方策を含む初期化データを得るステップであって、該初期の方策は状態毎に少なくとも１つの行動の選定を含むステップと；
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ初期の前記重み値、及び前記バイアスを表すデータ、及び前記ボルツマンマシンの前記横磁場強度を表すデータを、前記サンプリング装置に割り当てるステップと；
停止基準を満たすまで：
前記デジタルコンピュータを用いて、現在エポックの状態−行動の対を、ランダムに、あるいは前記基になる確率的状態過程を用いて、かつ現在の前記方策を用いて生成し、
適切な場合に、前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した現在エポックの状態−行動の対を用いて修正し、
前記現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
前記１回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記現在エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて、将来エポックの状態−行動の対を生成し、該状態は確率的状態過程により得られ、さらに、前記行動を生成することは、前記将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、前記将来エポックにおける行動を提供することを含み、
前記将来エポックの状態に対して前記現在の方策を更新し、
適切な場合に、前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した将来エポックの状態−行動の対を用いて修正し、
前記将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
前記２回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記将来エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を更新し、該更新は、前記生成したＱ関数の値の近似値、及び前記現在エポックの状態−行動の対における前記１回目のサンプリングにおける経験的平均値、及び前記報酬構造を用いて得られた前記現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；
前記停止基準を満たした際に、前記デジタルコンピュータを用いて前記方策を提供するステップと
を含む方法。
【請求項２】
前記サンプリング装置が量子プロセッサを具え、前記サンプリング装置制御システムが量子デバイス制御システムを具え、さらに、該量子プロセッサは前記デジタルコンピュータ及び該量子デバイス制御システムに結合され、さらに、該量子プロセッサは複数の量子ビット及び複数のカプラを具え、該カプラの各々が２つの前記量子ビットの交点における通信結合を提供する、請求項１に記載の方法。
【請求項３】
前記サンプリング装置が光学装置及び複数の結合装置を具え、該光学装置は、光エネルギー源からエネルギーを受けて複数の光パラメトリック発振器を生成するように構成され、該結合装置の各々は、前記複数の光パラメトリック発振器のうちの１つの光パラメトリック発振器を制御可能な様式で結合する、請求項１に記載の方法。
【請求項４】
前記サンプリング装置が、中央処理装置、及び該中央処理装置に結合されたメモリ装置を具えて前記ボルツマンマシンを実現し、前記実現されるボルツマンマシンは従来型ボルツマンマシンであり、０の値の前記横磁場強度によって特徴付けられ、さらに、前記メモリ装置は、前記従来型ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を表すデータを得るためのアプリケーションを含み、さらに、該アプリケーションは、前記従来型ボルツマンマシンの、シミュレーションによる量子アニーリングを実行するように構成されている、請求項１に記載の方法。
【請求項５】
前記サンプリング装置が、中央処理装置、及び該中央処理装置に結合されたメモリ装置を具えて前記ボルツマンマシンを実現し、前記実現されるボルツマンマシンは量子ボルツマンマシンであり、０でない値の前記横磁場強度によって特徴付けられ、さらに、前記メモリ装置は、前記量子ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を表すデータを得るためのアプリケーションを含み、さらに、該アプリケーションは、前記量子ボルツマンマシンの、シミュレーションによる量子アニーリングを実行するように構成されている、請求項１に記載の方法。
【請求項６】
前記量子ボルツマンマシンの、前記シミュレーションによる量子アニーリングを実行することによって、前記量子ボルツマンマシンを表現する有効ハミルトニアンの複数のサンプル形態がもたらされる、請求項５に記載の方法。
【請求項７】
前記サンプリング装置が、中央処理装置、及び該中央処理装置に結合されたメモリ装置を具えて前記ボルツマンマシンを実現し、前記実現されるボルツマンマシンは従来型ボルツマンマシンであり、０の値の前記横磁場強度によって特徴付けられ、さらに、前記メモリ装置は、前記従来型ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を表すデータを得るためのアプリケーションを含み、該アプリケーションは、前記従来型ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現の複数のインスタンスをサンプリングし、これにより、該フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を提供するように構成されている、請求項１に記載の方法。
【請求項８】
前記サンプリング装置が、中央処理装置、及び該中央処理装置に結合されたメモリ装置を具えて前記ボルツマンマシンを実現し、前記実現されるボルツマンマシンは量子ボルツマンマシンであり、０でない前記横磁場強度によって特徴付けられ、さらに、前記メモリ装置は、前記量子ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を表すデータを得るためのアプリケーションを含み、さらに、該アプリケーションは、前記量子ボルツマンマシンに対応するフォルトゥン−カステレイン・ランダムクラスタ表現の複数のインスタンスをサンプリングし、これにより、該フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を提供するように構成されている、請求項１に記載の方法。
【請求項９】
前記現在エポック及び前記将来エポックの両方における前記Ｑ関数の値の近似値を生成することが、前記サンプリング装置から、測定値軸に沿った、前記ボルツマンマシンの形態の複数のサンプルを得ること、及び前記デジタルコンピュータを用いて、前記ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む、請求項２、３、４、５のいずれかに記載の方法。
【請求項１０】
前記現在エポック及び前記将来エポックの両方における前記Ｑ関数の値の近似値を生成することが、前記サンプリング装置から、測定値軸に沿った、前記ボルツマンマシンの複数のサンプル形態を得ること、前記得られたサンプル形態から、前記量子ボルツマンマシンを表現する有効ハミルトニアンの形態の複数のサンプルを構成すること、及び前記デジタルコンピュータを用いて、前記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む、請求項２または５に記載の方法。
【請求項１１】
前記現在エポック及び前記将来エポックの両方における前記Ｑ関数の値の近似値を生成することが、前記サンプリング装置から、前記量子ボルツマンマシンを表現する有効ハミルトニアンの形態の複数のサンプルを得ること、及び前記デジタルコンピュータを用いて、前記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む、請求項６に記載の方法。
【請求項１２】
前記現在エポック及び前記将来エポックの両方における前記Ｑ関数の値の近似値を生成することが、前記サンプリング装置から、前記量子ボルツマンマシンに対応する前記フォルトゥン−カステレイン・ランダムクラスタ表現中のクラスタ数の近似値を得ること、及び前記デジタルコンピュータを用いて、前記量子ボルツマンマシンの自由エネルギーの経験的近似値を計算することを含む、請求項８に記載の方法。
【請求項１３】
前記ノードに対応する前記１回目の経験的平均値及び前記２回目の経験的平均値の両方を計算することが、前記サンプリング装置から、測定値軸に沿った、前記量子ボルツマンマシン及び前記従来型ボルツマンマシンの一方の形態の複数のサンプルを得ること、及び前記デジタルコンピュータを用いて、前記ノードにおける前記経験的平均値の近似値を計算することを含む、請求項２、３、４、５のいずれかに記載の方法。
【請求項１４】
前記ノードに対応する前記１回目の経験的平均値及び前記２回目の経験的平均値の両方を計算することが、前記サンプリング装置から、前記ボルツマンマシンの有効ハミルトニアンの形態の複数のサンプルを得ること、及び前記デジタルコンピュータを用いて、前記ノードにおける前記経験的平均値の近似値を計算することを含む、請求項６に記載の方法。
【請求項１５】
前記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
適切な場合に、前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記将来エポックの状態に対応する状態−行動の対の各々を用いて修正することと、
前記将来エポックの状態に対応する状態−行動の対の各々に対応するサンプリングを実行して、前記経験的平均値を提供することと、
前記デジタルコンピュータを用いて、前記将来エポックの状態に対応する状態−行動の対の各々における前記Ｑ関数の値の近似値を生成することと、
前記将来エポックの状態に対応する状態−行動の対の各々に対応する前記Ｑ関数値のすべての近似値を用い、かつ前記デジタルコンピュータを用いて、対応する分布からサンプリングして、前記将来エポックの状態に対して前記方策を更新することと、
を含む、請求項１に記載の方法。
【請求項１６】
前記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
温度パラメータを得ることと；
前記将来エポックの状態を得ることと；
前記将来エポックの状態に固定された状態変数及び提供された前記温度により、前記Ｑ関数の値の近似値に関連するボルツマン分布をサンプリングすることと
を含む、請求項１に記載の方法。
【請求項１７】
前記量子プロセッサの前記複数の量子ビットが：
第１グループの量子ビット；及び
第２グループの量子ビットを含み、
前記量子プロセッサの前記複数のカプラが：
少なくとも１つのカプラ、及び
他の複数のカプラを含み、
前記少なくとも１つのカプラの各々は、前記第１グループの量子ビットのうちの１つの量子ビットと、前記第２グループの量子ビットのうちの少なくとも１つの量子ビットとの交点における通信結合を提供し、
前記他の複数のカプラの各々は、前記第２グループの量子ビットのうちの１つの量子ビットと前記第２グループの量子ビットのうちの他の量子ビットとの交点における通信結合を提供する、
請求項２に記載の方法。
【請求項１８】
前記第１グループの量子ビットが、前記確率制御問題における前記一組の行動を表す、請求項１７に記載の方法。
【請求項１９】
少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した現在エポックの状態−行動の対を用いて修正することが：
前記第１グループの量子ビットうちの１つの量子ビットと前記第２グループの量子ビットとの交点における通信結合を提供するすべての前記カプラをオフ状態に切り換えること、及び
前記第２グループの量子ビットにおける少なくとも１つの前記バイアスを、前記生成した現在エポックの状態−行動の対を用いて修正すること
を含む、請求項１７に記載の方法。
【請求項２０】
少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した将来エポックの状態−行動の対を用いて修正することが：
前記第１グループの量子ビットうちの１つの量子ビットと前記第２グループの量子ビットとの交点における通信結合を提供するすべての前記カプラをオフ状態に切り換えること、及び、
前記第２グループの量子ビットにおける少なくとも１つの前記バイアスを、前記生成した将来エポックの状態−行動の対を用いて修正すること
を含む、請求項１７に記載の方法。
【請求項２１】
前記将来エポックの状態及びあり得るすべての行動を含む前記すべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行することが：
前記第１グループの量子ビットのうちの１つの量子ビットと前記第２グループの量子ビットとの交点における通信結合を提供するすべての前記カプラをオン状態に切り換えることと；
前記第２グループの量子ビットにおける少なくとも１つの前記バイアスを、前記将来エポックの状態−行動の対に対応する前記将来エポックの状態を用いて修正することと；
量子サンプリングを実行して、前記第１グループの量子ビットに対応する前記経験的平均値を得ることと；
前記デジタルコンピュータを用いて、前記第１グループの量子ビットに対応する前記得られた経験的平均値の分布に応じた行動を、前記将来エポックの状態に割り当てることによって、前記将来エポックの状態に対する前記方策を更新することと
を含む、請求項１７に記載の方法。
【請求項２２】
前記停止基準が、学習ステップの最大数に達することを含む、請求項１〜２１のいずれかに記載の方法。
【請求項２３】
前記停止基準が、最大実行時間に達することを含む、請求項１〜２１のいずれかに記載の方法。
【請求項２４】
前記停止基準が、前記結合及び前記局所場の、それぞれ前記重み値及び前記バイアスの関数の収束を含む、請求項１〜２１のいずれかに記載の方法。
【請求項２５】
前記方策が固定の方策に収束することを含む、請求項１〜２１のいずれかに記載の方法。
【請求項２６】
前記方策を提供するステップが、前記デジタルコンピュータと対話するユーザに対して前記方策を表示すること；前記方策を前記デジタルコンピュータ内に記憶すること；及び前記方策を、前記デジタルコンピュータに動作的に接続された他の処理装置へ送信すること、のうちの少なくとも１つを含む、請求項１〜２５のいずれかに記載の方法。
【請求項２７】
前記デジタルコンピュータがメモリ装置を具え；さらに、前記デジタルコンピュータの該メモリ装置から前記初期化データを得る、請求項１〜２６のいずれかに記載の方法。
【請求項２８】
前記初期化データを、前記デジタルコンピュータと対話するユーザ、及び前記デジタルコンピュータに動作的に接続されたリモート処理装置の一方から得る、請求項１〜２６のいずれかに記載の方法。
【請求項２９】
デジタルコンピュータであって、
中央処理装置と；
表示装置と；
当該デジタルコンピュータを、１つ以上のデジタルコンピュータに結合されたサンプリング装置、及びサンプリング装置制御システムに動作的に接続するための通信ポートと；
確率制御問題に対する方策を改善するためのアプリケーションを含むメモリ装置とを具え、該確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、該方策における複数の行動に依存し、前記アプリケーションは：
前記１つ以上のデジタルコンピュータ及び前記サンプリング装置制御システムに結合されたサンプリング装置を用いるための命令であって、該サンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、該ボルツマンマシンは、複数のノードと、複数のカプラと、各々が前記複数のノードのうちの１つのノードに対応する複数のバイアスと、各々が前記複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と、横磁場強度とを具えている命令と；
前記デジタルコンピュータを用いて、前記一組の行動、前記一組の状態、前記確率制御問題の報酬構造、及び前記確率制御問題に対する初期の方策を含む初期化データを得るための命令であって、該初期の方策は状態毎に少なくとも１つの行動の選定を含む命令と；
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ初期の前記重み値及び前記バイアスを表すデータ、及び前記ボルツマンマシンの前記横磁場強度を表すデータを、前記サンプリング装置に割り当てるための命令と；
停止基準を満たすまで：
前記デジタルコンピュータを用いて、現在エポックの状態−行動の対を、ランダムに、あるいは前記基になる確率的状態過程を用いて、かつ現在の前記方策を用いて生成し、
適切な場合に、前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した現在エポックの状態−行動の対を用いて修正し、
前記現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
前記１回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記現在エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて、将来エポックの状態−行動の対を生成し、該状態は確率的状態過程により得られ、さらに、前記行動を生成することは、前記将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、前記将来エポックにおける行動を提供することを含み、
前記将来エポックの状態に対して前記現在の方策を更新し、
適切な場合に、前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した将来エポックの状態−行動の対を用いて修正し、
前記将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
前記２回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記将来エポックの状態−行動の対の有用性を表し、
前記将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
前記２回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記将来エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を更新し、該更新は、前記生成したＱ関数の値の近似値、及び前記現在エポックの状態−行動の対における前記１回目のサンプリングにおける経験的平均値、及び前記報酬構造を用いて得られた前記現在エポックの状態−行動の対における対応する報酬を用いて行うための命令と；
前記停止基準を満たした際に、前記デジタルコンピュータを用いて前記方策を提供するための命令と
を含むデジタルコンピュータ。
【請求項３０】
コンピュータで実行可能な命令を記憶するための非一時的なコンピュータ可読記憶媒体であって、該命令は、デジタルコンピュータにより実行されると、該デジタルコンピュータに、確率制御問題に対する方策を改善する方法を実行させ、該確率制御問題は、一組の行動、一組の状態、状態及び行動の関数としての報酬構造、及び複数の決定エポックによって特徴付けられ、基になる確率的状態過程の進行は、方策における複数の行動に依存し、前記方法は：
デジタルコンピュータ及びサンプリング装置制御システムに結合されたサンプリング装置を用いるステップであって、該サンプリング装置は、ボルツマンマシンのサンプル形態を表すデータを取得し、該ボルツマンマシンは：
複数のノードと、
複数のカプラと、
各々が前記複数のノードのうちの１つのノードに対応する複数のバイアスと、
各々が前記複数のカプラのうちの１つのカプラに対応する複数の結合の重み値と、
横磁場強度とを具えているステップと；
前記デジタルコンピュータを用いて、前記一組の行動、前記一組の状態、前記確率制御問題の前記報酬構造、及び前記確率制御問題に対する初期の方策を含む初期化データを得るステップであって、該初期の方策は状態毎に少なくとも１つの行動の選定を含むステップと；
前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ初期の前記重み値、及び前記バイアスを表すデータ、及び前記ボルツマンマシンの前記横磁場強度を表すデータを、前記サンプリング装置に割り当てるステップと；
停止基準を満たすまで：
前記デジタルコンピュータを用いて、現在エポックの状態−行動の対を、ランダムに、あるいは前記基になる確率的状態過程を用いて、かつ現在の前記方策を用いて生成し、
適切な場合に、前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した現在エポックの状態−行動の対を用いて修正し、
前記現在エポックの状態−行動の対に対応するサンプリングを実行して、１回目のサンプリングにおける経験的平均値を得て、
前記１回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記現在エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記現在エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて、将来エポックの状態−行動の対を生成し、該状態は確率的状態過程により得られ、さらに、前記行動を生成することは、前記将来エポックの状態及びあらゆる可能な行動を含むすべての状態−行動の対のうちの複数の対に対する確率的最適化のテストを実行し、これにより、前記将来エポックにおける行動を提供することを含み、
前記将来エポックの状態に対して前記現在の方策を更新し、
適切な場合に、前記デジタルコンピュータ及び前記サンプリング装置制御システムを用いて、少なくとも１つの前記カプラを表し、かつ少なくとも１つの前記バイアスを表すデータを、前記生成した将来エポックの状態−行動の対を用いて修正し、
前記将来エポックの状態−行動の対に対応するサンプリングを実行して、２回目のサンプリングにおける経験的平均値を得て、
前記２回目のサンプリングにおける経験的平均値を用い、かつ前記デジタルコンピュータを用いて、前記将来エポックの状態−行動におけるＱ関数の値の近似値を生成し、該Ｑ関数の値は前記将来エポックの状態−行動の対の有用性を表し、
前記デジタルコンピュータを用いて、前記ボルツマンマシンの前記カプラの各々及び前記ノードの各々の、それぞれ前記重み値の各々及び前記バイアスの各々を更新し、該更新は、前記生成したＱ関数の値の近似値、及び前記現在エポックの状態−行動の対における前記１回目のサンプリングにおける経験的平均値、及び前記報酬構造を用いて得られた前記現在エポックの状態−行動の対における対応する報酬を用いて行うステップと；
前記停止基準を満たした際に、前記デジタルコンピュータを用いて前記方策を提供するステップと
を含む、非一時的コンピュータ可読記憶媒体。
【国際調査報告】
2019515397.tif 000044
2019515397.tif 000045