【手続補正書】
【提出日】令和1年12月19日(2019.12.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
需要応答システム内のクラスタにグループ化された制約付きクラスタ要素に分配されるべき物理生産物の需要を制御するコンピュータベースの方法であって、
強化学習（ＲＬ）の形態の制御技法を使用して次の制御ステップ中に前記制約付きクラスタ要素に分配されるべき前記物理生産物の量を決定するステップであって、結果、前記制御技法が、制御されるべき前記需要応答システムとの相互作用から学習する、決定するステップを含み、前記方法は、
畳み込みニューラルネットワークに、前記需要応答システムの少なくとも１つのクラスタの履歴観測値、または、１つもしくは複数の２Ｄ（二次元）グリッド構造に集約された履歴観測値の派生物を入力する、特徴抽出ステップを含み、２Ｄグリッド構造の１つの次元は複数の時間ステップを表し、他方の次元は前記複数の時間ステップにおけるクラスタ状態を捕捉し、前記クラスタ状態は、各時間ステップについて前記少なくとも１つのクラスタ内のクラスタ要素のローカル状態を集約することによって表され、前記畳み込みニューラルネットワークは、２Ｄ畳み込みを実行し、ローカル時間と、前記２Ｄグリッド構造における前記クラスタ要素の集約されたローカル状態変化との組み合わせから、ローカル畳み込み特徴を抽出することを学習し、
前記方法は、
第１のニューラルネットワークに、少なくとも抽出されているローカル畳み込み特徴を入力するステップであって、前記第１のニューラルネットワークは、前記少なくとも１つのクラスタがある状態にあることと、ある行動をとることとの各組み合わせに関連する前記少なくとも１つのクラスタの値を提供する状態−行動価値関数の少なくとも近似値を出力する、入力するステップと、
制御行動を決定または計算するステップであって、前記制御行動は、ある行動をとることと、クラスタがある状態にあることとの好ましい組み合わせであるか、または、ある行動をとることと、クラスタがある状態にあることとの好ましい組み合わせから導出される、決定または計算するステップと、
前記制御行動に従って次の制御ステップ中に前記クラスタ要素によって消費または解放されるべき前記物理生産物の目標量を分配するステップとをさらに含む、方法。
【請求項２】
前記制御技法がモデルなしである、請求項１に記載の方法。
【請求項３】
前記状態−行動価値関数がＱ関数（Ｑ（ｘ，ｕ））である、請求項１または２に記載の方法。
【請求項４】
前記生産物が、熱エネルギーまたは電力またはエネルギーである、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記制御行動および外因性状態情報は、前記第１のニューラルネットワークへの入力として結合された第２のニューラルネットワークに入力される、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
外因性状態情報および前記制御行動を、前記畳み込みニューラルネットワークの前記抽出された畳み込みローカル特徴とマージするステップをさらに含む、請求項５に記載の方法。
【請求項７】
外因性状態情報および前記制御行動を前記畳み込みニューラルネットワークの前記抽出された畳み込みローカル特徴とマージする前に、別個の特徴抽出が実行され、前記外因性状態情報および前記制御行動が最初に前記第２のニューラルネットワークに供給され、該第２のニューラルネットワークは、前記外因性状態情報および前記制御行動を、次の隠れ層において前記抽出された畳み込みローカル特徴と組み合わされる学習された内部表現にマッピングする、請求項６に記載の方法。
【請求項８】
前記外因性状態情報にネットワーク不均衡値が含まれる、請求項５〜７のいずれか一項に記載の方法。
【請求項９】
１つの時間ステップについて決定された前記制御行動が、次の時間ステップの前記外因性情報に含まれる、請求項５〜８のいずれか一項に記載の方法。
【請求項１０】
レガシ装置をエミュレートするステップをさらに含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記畳み込みニューラルネットワークは、最初に、前記２Ｄグリッド構造におけるパターンを捕捉し、前記畳み込みニューラルネットワークならびに前記第１のニューラルネットワークおよび前記第２のニューラルネットワークは、前記集約されたクラスタ状態および外因性データならびに前記制御行動から前記目標量へのマッピングを学習するか、または、ともに訓練される、請求項５〜１０のいずれか一項に記載の方法。
【請求項１２】
前記２Ｄグリッド構造は、固定された時間ステップでのクラスタ状態のすべての観測値を表す１つの次元を有し、第２の次元は、すべての時間ステップにおけるクラスタ要素の複数の状態変数の各々の値の時間変化に対応し、前記２Ｄ特徴抽出動作は、時間および空間にわたって適用され、結果として前記状態情報および前記履歴においてローカル構造を識別する時空間特徴が識別される、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
複数の時間ステップにわたって生じる状態値の変化を表す特徴が学習される、請求項１２に記載の方法。
【請求項１４】
学習された前記特徴は、少なくとも前記第１のニューラルネットワークのより上位のネットワーク層によって入力として使用される、請求項１３に記載の方法。
【請求項１５】
需要応答システム内のクラスタにグループ化された制約付きクラスタ要素に分配されるべき物理生産物の需要を制御するためのコンピュータベースのネットワークアーキテクチャであって、
強化学習（ＲＬ）の形態の制御技法を使用して次の制御ステップ中に前記制約付きクラスタ要素に分配されるべき物理生産物の量を決定するための手段であって、結果、前記制御技法が、制御されるべき前記需要応答システムとの相互作用から学習する、決定するための手段と、
特徴を抽出するための手段であって、
前記需要応答システムの少なくとも１つのクラスタの履歴観測値、または、１つもしくは複数の２Ｄグリッド構造に集約された前記履歴観測値の派生物を入力するように適合されている、畳み込みニューラルネットワークへの入力であり、２Ｄグリッド構造の１つの次元は複数の時間ステップを表し、他方の次元は前記複数の時間ステップにおけるクラスタ状態を捕捉し、前記クラスタ状態は、各時間ステップについて前記少なくとも１つのクラスタ内のクラスタ要素のローカル状態を集約することによって表され、前記畳み込みニューラルネットワークは、２Ｄ畳み込みを実行するように適合されており、ローカル時間と、前記２Ｄグリッド構造における前記クラスタ要素の集約されたローカル状態変化との組み合わせから、ローカル畳み込み特徴を抽出することを学習する、入力と、
前記畳み込みニューラルネットワークから第１のニューラルネットワークへの、少なくとも抽出されているローカル畳み込み特徴の入力であって、
前記第１のニューラルネットワークは、少なくとも１つのクラスタがある状態にあることと、ある行動をとることとの各組み合わせに関連する前記少なくとも１つのクラスタの値を提供する状態−行動価値関数の少なくとも近似値を出力するように適合されているローカル畳み込み特徴の入力とを備える、特徴を抽出するための手段と、
ある行動をとることと、クラスタがある状態にあることとの好ましい組み合わせであるか、または、ある行動をとることと、クラスタがある状態にあることとの好ましい組み合わせから導出される制御行動を決定または計算するための手段と、
前記制御行動に従って次の制御ステップ中に前記クラスタ要素によって消費または解放されるべき前記物理生産物の目標量を分配するための手段とを備える、コンピュータベースのネットワークアーキテクチャ。
【請求項１６】
需要応答システム内のクラスタにグループ化された制約付きクラスタ要素に分配されるべき物理生産物の需要を制御するための制御装置であって、
強化学習（ＲＬ）の形態の制御技法を使用して次の制御ステップ中に前記制約付きクラスタ要素に分配されるべき前記物理生産物の量を決定するための手段であって、結果、前記制御技法が、制御されるべき前記需要応答システムとの相互作用から学習する、決定するための手段と、
特徴を抽出するための手段であって、
前記需要応答システムの少なくとも１つのクラスタの履歴観測値、または、１つもしくは複数の２Ｄグリッド構造に集約された前記履歴観測値の派生物を入力するように適合されている、畳み込みニューラルネットワークへの入力であり、２Ｄグリッド構造の１つの次元は複数の時間ステップを表し、他方の次元は前記複数の時間ステップにおけるクラスタ状態を捕捉し、前記クラスタ状態は、各時間ステップについて前記少なくとも１つのクラスタ内のクラスタ要素のローカル状態を集約することによって表され、前記畳み込みニューラルネットワークは、２Ｄ畳み込みを実行するように適合されており、ローカル時間と、前記２Ｄグリッド構造における前記クラスタ要素の集約されたローカル状態変化との組み合わせから、ローカル畳み込み特徴を抽出することを学習する、入力と、
前記畳み込みニューラルネットワークから第１のニューラルネットワークへの、少なくとも抽出されているローカル畳み込み特徴の入力であって、
前記第１のニューラルネットワークは、少なくとも１つのクラスタがある状態にあることと、ある行動をとることとの各組み合わせに関連する前記少なくとも１つのクラスタの値を提供する状態−行動価値関数の少なくとも近似値を出力するように適合されているローカル畳み込み特徴の入力とを備える、特徴を抽出するための手段と、
ある行動をとることと、クラスタがある状態にあることとの好ましい組み合わせであるか、または、ある行動をとることと、クラスタがある状態にあることとの好ましい組み合わせから導出される制御行動を決定または計算するための手段と、
前記制御行動に従って次の制御ステップ中に前記クラスタ要素によって消費または解放されるべき前記物理生産物の目標量を分配するための手段とを備える、制御装置。
【請求項１７】
処理エンジン上で実行されると、請求項１〜１４のいずれか一項に記載の方法のいずれかを実行するように適合されているコードを備えるコンピュータプログラム製品。
【請求項１８】
非一時的機械可読信号記憶手段上に記憶されている、請求項１７に記載のコンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
【図１】本発明の一実施形態によるニューラルネットワークアーキテクチャの概略図である。
【図２】本発明の一実施形態による３段階プロセスの概略フロー図である。
【図３Ａ】本発明の一実施形態によるニューラルネットワークアーキテクチャを適用したときの時間に対するＴＣＬ母集団の分布の展開を示す図である。
【図３Ｂ】図３ＡのＴＣＬ母集団の経時的な集約電力を示す図である。
【図４】本発明の一実施形態による別のニューラルネットワークアーキテクチャの概略図である。
【図５】本発明の実施形態と共に使用するアルゴリズム１のフローを示す図である。
【図６】本発明の実施形態と共に使用するアルゴリズム２のフローを示す図である。
【図７】本発明の実施形態とともに使用するための学習プロセスを示す図である。一番上の行には、選択されたいくつかの日の隠れ特徴を考慮してポリシによって計算される状態−時間特徴から導き出される制御行動がある。中央の行は、状態特徴のみがあり、状態−時間特徴がないことを除いて同じである。下側のグラフは、外部気温（外因性的データ）を示している。
【図８】本発明の一実施形態によるニューラルネットワークアーキテクチャを適用するときの履歴情報を含むか否かを問わない、累積コストを示す図である。グラフは、数回の実行にわたって計算された上限値および下限値を示す。
【図９】本発明の一実施形態による供給ネットワークを示す図である。
【図１０】本発明の実施形態のいずれかと共に使用する消費者装置を示す図である。
【図１１】本発明の実施形態のいずれかと共に使用する消費者装置を示す図である。
【図１２】本発明の実施形態のいずれかと共に使用する消費者装置を示す図である。
【図１３】本発明の実施形態のいずれかと共に使用する消費者装置を示す図である。
【図１４】本発明の一実施形態によるシステムの状態に基づく電気需要の操作を示す図である。
【図１５】本発明の一実施形態によるレガシ装置をどのように含むかを示す図である。
【図１６】本発明の一実施形態によるネットワークの操作を示す図である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
図１０に示す蓄熱タンク５０は、図１または図４の２Ｄグリッド１２に導入されるデータを準備するために、ローカル制御装置４７または中央制御装置４６に関連データを送信する。状態値は、一定の時間間隔で送信されるべきである。蓄熱装置５０内の水の温度またはＳｏＣ値は、装置内の熱エネルギーの量を表し、したがって、この装置の状態値である。使用可能な他の状態値は、ＳｏＣ、１−ＳｏＣ、１／ＳｏＣ、１／１−ＳｏＣ、ＳｏＣの関数などである。この状態値は、他のそのような装置５０からの値、またはそのような装置のクラスタ内の異種装置からの値と集約することができ、その後、図２のヒストグラム８のビンの範囲内でビニングされることができる。例えば、Ｓ．Ｋｏｃｈ，Ｊ．Ｌ．Ｍａｔｈｉｅｕ，およびＤ．Ｓ．Ｃａｌｌａｗａｙ「Ｍｏｄｅｌｉｎｇ  ａｎｄ  ｃｏｎｔｒｏｌ  ｏｆ  ａｇｇｒｅｇａｔｅｄ  ｈｅｔｅｒｏｇｅｎｅｏｕｓ  ｔｈｅｒｍｏｓｔａｔｉｃａｌｌｙ  ｃｏｎｔｒｏｌｌｅｄ  ｌｏａｄｓ  ｆｏｒ  ａｎｃｉｌｌａｒｙ  ｓｅｒｖｉｃｅｓ」（ｉｎ  Ｐｒｏｃ．  １７ｔｈ  ＩＥＥＥ  Ｐｏｗｅｒ  Ｓｙｓ．Ｃｏｍｐｕｔ．Ｃｏｎｆ．（ＰＳＣＣ），Ｓｔｏｃｋｈｏｌｍ，Ｓｗｅｄｅｎ，Ａｕｇ．２０１１，ｐｐ．１−７）を参照されたい。ビニングされた値は、上述の２Ｄグリッド１２のＹ軸を形成する。２Ｄグリッド１２の水平軸は時間であるため、状態値、例えば、水温またはＳｏＣ、１−ＳｏＣなどは、一定の時間間隔でローカル制御装置４７または中央制御装置４６に通信される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１８１
【補正方法】変更
【補正の内容】
【０１８１】
加熱システムの運転管理を妨害しないために、ローカル制御装置４７は、人間のオペレータが有するのと同じ利用可能な行動を有する。設定点は、ローカル再生可能エネルギーがあるときに増加させることができ、その結果、ローカル制御装置４７は、空気および建造物の熱質量に一時的に蓄えられるより多くのエネルギーの消費を許容し始める。したがって、実施形態のいずれかにおける制御行動ｕｋに対する反応は、オン／オフ制御以外であり得るが、例えば、ローカル制御装置の設定値を変更することによって電力またはエネルギーの消費に影響を及ぼす任意の変化を含むことができる。この実施形態では、制御すべきシステムの状態値（例えば、上述の温度、ＳｏＣなど）および電力システムの状態、例えば需要と供給との間の平衡、例えば電圧などによって表されるグリッド状態に応じて、動作点（オン／オフ状態、電力、温度など）が制御される。本発明の実施形態は、ネットワーク４１のエネルギー生成と消費とを平衡させることができる。ネットワークを動作状態に保つために、中央制御装置４６および／またはローカル制御装置４７は、電力システムの状態（すなわち、バランス、電圧など）、および、エネルギー源の結合された柔軟性の状態に基づいて、すべての関連するリレーを開きもしくは閉じ、スイッチを変更し、または、設定点、動作電力などを変更するように適合することができる。これは、図１４に概略的に示されており、システムの不均衡はネットワーク全体の状態値として扱われる。例えば、不平衡信号は、ＭＷｈで表される現在および予想されるネットワーク内の不均衡として表すことができる。この状態値は、図２または図４に示すように、その出力が完全結合ニューラルネットワーク１５に渡される第２の完全結合ネットワーク１７への入力１６としての、外因性状態情報ｘｅｘとして含まれ得る。これにより、畳み込みニューラルネットワークがシステムの不均衡を学習し、適応することが可能になる。代替的に、不均衡情報が、将来発生する可能性のある高次元表現である場合には、状態値１１の１つとして含めることができる（図１および図４参照）。ＴＬＣのクラスタ内の各要素のスイッチまたはリレーは、ネットワークの状況およびネットワークの予測される状況に基づいて開閉される。