(57)【要約】市場ベースのリソース割り当てシステムにおいて電気デバイスの動作を制御するシステムおよび方法が提供される。このシステムは、次期時間区間についてユーザ選択所望動作レベルで電気デバイスを動作させるために供給される電気が利用可能である値を表すオファー額を計算するプロセッサを有する。オファー額は、ローカルリソース割り当て市場（ＬＲＡＭ）に送信される。電気の需給均衡された価格がＬＲＡＭから受信される。電気デバイスを動作させる電気の小売価格が、ユーザ選択所望動作レベル、現在の環境データ、電気の需給均衡された価格および記憶された履歴データに少なくとも部分的に基づいて計算され、小売価格が得られる。提出されたオファー額が小売価格と比較される。この比較に基づいて電気デバイスが起動又は起動停止される。
2022501716.tif 000002
【特許請求の範囲】
【請求項１】
市場ベースのリソース割り当てシステムにおいて電気デバイスの動作を制御するシステムであって、前記システムは、次期時間区間のユーザによる電気デバイスのユーザ選択所望動作レベルを、送受信機を介してほぼリアルタイムで受信するように構成されたプロセッサを有し、前記プロセッサは、実行可能プログラムおよび記憶されたデータを有するメモリに接続され、前記システムは、
前記プロセッサを使用して、
前記次期時間区間について前記ユーザ選択所望動作レベルで前記電気デバイスを動作させるために供給される電気が利用可能である値を表すオファー額を計算することであって、前記オファー額を計算することは、前記オファー額を得るために、前記ユーザ選択所望動作レベルと、現在の環境データと、ローカルリソース割り当て市場（ＬＲＡＭ）への過去のオファー額および前記ＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用される記憶された履歴エネルギー先物市場データとを含む、前記次期時間区間の複数のファクタに基づいていることと、
前記オファー額を、前記送受信機を介して前記ＬＲＡＭに送信することと、
前記電気デバイスが電気を受け取る前記ＬＲＡＭから電気の需給均衡された価格を、前記送受信機を介して受信することと、
前記ユーザ選択所望動作レベルと、前記現在の環境データと、前記ＬＲＡＭからの電気の前記需給均衡された価格と、前記ユーザによる過去のユーザ選択所望動作レベル、小売電力市場（ＲＥＭ）における電気の過去の価格決定および前記ＬＲＡＭによる電気の前記過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用されるエネルギー先物市場からの前記記憶された履歴データとに少なくとも部分的に基づいて、前記電気デバイスを動作させる電気の小売価格を計算して前記小売価格を得ることであって、前記オファー額および前記小売価格の前記計算は同時に行われることと、
送信した前記オファー額を前記小売価格と比較することと、
比較に基づいて前記電気デバイスを起動又は起動停止することと、
を含む、システム。
【請求項２】
前記ユーザ選択所望動作レベルは、第１のユーザ所望動作レベルおよび第２のユーザ所望動作レベルから選択され、前記第２のユーザ所望動作レベルは、前記ユーザが、前記第１のユーザ所望動作レベルと比較して、前記電気デバイスの所望動作レベルを達成するためにより多くの対価を支払うことを選択したレベルを表す、請求項１に記載のシステム。
【請求項３】
前記ＬＲＡＭは、独立系統運用機関（ＩＳＯ）によって運用される卸売電力市場（ＷＥＭ）であり、前記ユーザの前記ユーザ選択所望動作レベルは、前記小売電力市場（ＲＥＭ）における前記電気の最終使用顧客（ＥＵＣ）であり、前記オファー額および前記小売価格は、負荷供給事業体（ＬＳＥ）によって利用される、請求項１に記載のシステム。
【請求項４】
前記ＬＲＡＭは、リアルタイム電力市場又は１日前電力市場である、請求項１に記載のシステム。
【請求項５】
前記電気デバイスは、空調ユニット、暖房ユニット、温水ヒータ、冷蔵庫、自動皿洗い機、洗濯機、ドライヤ、オーブン、電子レンジ、ポンプ、家庭用照明システム、電気自動車充電器、１つ以上の市販電気システム又は家庭用電気システムのうちの１つである、請求項１に記載のシステム。
【請求項６】
前記現在の環境データは、ユーザロケーションの環境データと、前記次期時間区間の前記ユーザロケーションの予想環境データとを含む、請求項１に記載のシステム。
【請求項７】
前記記憶された履歴エネルギー先物市場データは、過去のエネルギー先物市場情報および過去のＬＲＡＭ情報を含み、前記オファー額を計算することは、前記過去のエネルギー先物市場情報からのオファー額情報に少なくとも部分的に基づくとともに前記過去のＬＲＡＭからのオファー額情報に少なくとも部分的に基づいて行われる、請求項１に記載のシステム。
【請求項８】
前記エネルギー先物市場情報からのオファー額情報は、リアルタイム電力市場からの固定時間枠からのオファー情報を含み、前記ＬＲＡＭ情報からのオファー額情報は、ローリング時間枠のオファー額情報を含む、請求項７に記載のシステム。
【請求項９】
前記オファー額および前記小売価格は、負荷供給事業体（ＬＳＥ）によって利用され、少なくとも１つのエネルギーバランス制約を条件とする、前記次期時間区間から開始する将来の利潤のＬＳＥ期待値と、前記小売価格と前記需給均衡されたＬＲＡＭ価格との間の差、並びに前記次期時間区間について前記ユーザによって消費される電気の量および前記ＬＲＡＭからの電気の前記需給均衡された価格に対応する電気の需給均衡された量に基づいて求められる前記次期時間区間の将来の利潤とを最大にすることによって同時に計算される、請求項１に記載のシステム。
【請求項１０】
前記ユーザによって消費される前記電気の量は、小売価格と、前記次期時間区間よりも前の時間区間において前記ユーザによって消費された前記電気の量と、前記次期時間区間の前記計算された小売価格との動的需要応答関数である、請求項９に記載のシステム。
【請求項１１】
前記動的需要応答関数は、限られた数の以前の時間区間が使用されるときは多層フィードフォワードニューラルネットワークによって、又は、全ての利用可能な以前の時間区間が使用されるときはリカレントニューラルネットワーク（ＲＮＮ）若しくは長短期記憶（ＬＳＴＭ）ユニットネットワークによって、教師あり学習手法を使用して学習される、請求項１０に記載のシステム。
【請求項１２】
前記ＬＲＡＭからの電気の前記需給均衡された価格および前記需給均衡された量は、前記次期時間区間の前の時間区間における前記ＬＲＡＭによる電気の前記需給均衡された価格および量と、前記次期時間区間の前記ＬＲＡＭへの前記オファー額との動的な入札応答関数である、請求項９に記載のシステム。
【請求項１３】
前記動的な入札応答関数は、限られた数の以前の時間区間が使用されるときは多層フィードフォワードニューラルネットワークによって、又は、全ての利用可能な以前の時間区間が使用されるときはリカレントニューラルネットワーク（ＲＮＮ）若しくは長短期記憶（ＬＳＴＭ）ユニットネットワークによって、教師あり学習手法を使用して学習される、請求項１２に記載のシステム。
【請求項１４】
負荷供給事業体（ＬＳＥ）の前記オファー額および前記小売価格は、同時に求められ、前記小売価格は、以前の状態情報に基づいて価格決定方策を使用して最初に計算され、前記オファー額は、その後に、以前の状態情報および前記計算された小売価格に基づいて入札方策を使用して計算され、前記以前の状態情報は、前記次期時間区間の前の全ての時間区間のＬＳＥオファー額、ＬＲＡＭ需給均衡された価格および量、前記ユーザによって消費された電気の量、並びに小売価格を含む、請求項１に記載のシステム。
【請求項１５】
負荷供給事業体（ＬＳＥ）の前記オファー額および前記小売価格は、同時に求められ、前記オファー額は、以前の状態情報に基づいて入札方策を使用して計算され、前記小売価格は、以前の状態情報、前記オファー額、並びに前記需給均衡された価格および量に基づいて価格決定方策を使用して計算され、前記以前の状態情報は、前記次期時間区間の前の全ての時間区間のＬＳＥオファー額、ＬＲＡＭ需給均衡された価格および量、前記ユーザによって消費された電気の量、並びに小売価格を含む、請求項１に記載のシステム。
【請求項１６】
負荷供給事業体（ＬＳＥ）の前記小売価格は、現在の状態情報に基づいて価格決定方策によって計算され、前記状態情報は、前記次期時間区間に対する過去の対応する時間区間における前記ユーザによる過去の個別のユーザ選択所望動作レベルと、前記次期時間区間に対する過去の対応する時間区間における小売電力市場（ＲＥＭ）での電気の過去の個別のＬＳＥ小売価格決定データと、前記次期時間区間に対する過去の対応する時間区間における前記ＬＲＡＭからの電気の過去の需給均衡された価格決定データとを含む、請求項１に記載のシステム。
【請求項１７】
前記オファー額および前記小売価格の前記計算は、マルコフ決定過程を定式化することによって同時に行われ、アクタークリティック構造を有する深層決定論的方策勾配手法を使用して解かれ、アクターは、オファー額および小売価格の候補を決定するニューラルネットワークによって実施され、クリティックは、性能を改善するようにニューラルネットワークのパラメータを調整するために、候補オファー額および候補小売価格のパフォーマンスを評価するニューラルネットワークによって実施される、請求項１に記載のシステム。
【請求項１８】
前記アクターは、価格決定方策ネットワーク、入札方策ネットワーク、および価格決定方策ターゲットネットワークを含み、前記クリティックは、クリティックネットワークおよびクリティックターゲットネットワークを含み、ＬＳＥによって得られる全体の利潤を改善するように、前記価格決定方策ネットワークが、小売価格を計算するために最初に使用され、その後、前記入札方策ネットワークが、前記計算された小売価格を用いてオファー額を計算するために使用される、請求項１７に記載のシステム。
【請求項１９】
前記アクターは、価格決定方策ネットワーク、入札方策ネットワーク、価格決定方策ターゲットネットワーク、および入札方策ターゲットネットワークを含み、前記クリティックは、クリティックネットワークおよびクリティックターゲットネットワークを含み、ＬＳＥによって得られる全体の利潤を改善するように、前記入札方策ネットワークが、オファー額を計算するために最初に使用され、その後、前記価格決定方策ネットワークが、計算されたオファー額に対応する前記ＬＲＡＭからの前記需給均衡された価格および量を用いて小売価格を計算するために使用される、請求項１７に記載のシステム。
【請求項２０】
市場ベースのリソース割り当てシステムにおいて電気デバイスの動作を制御するシステムであって、前記システムは、次期時間区間のユーザによる電気デバイスのユーザ選択所望動作レベルを、入力インターフェースを介してほぼリアルタイムで受信するように構成されたプロセッサを有し、前記プロセッサは、実行可能プログラムおよび記憶されたデータを有するメモリに接続され、前記システムは、
前記プロセッサを使用して、
前記次期時間区間について前記ユーザ選択所望動作レベルで前記電気デバイスを動作させるために供給される電気が利用可能である値を表すオファー額を計算することと、
前記オファー額を、出力インターフェースを介してローカルリソース割り当て市場（ＬＲＡＭ）に送信することと、
前記電気デバイスが電気を受け取る前記ＬＲＡＭから電気の需給均衡された価格を、前記入力インターフェースを介して受信することと、
前記ユーザ選択所望動作レベルと、現在の環境データと、前記ＬＲＡＭからの電気の前記需給均衡された価格と、前記ユーザによる過去のユーザ選択所望動作レベル、小売電力市場（ＲＥＭ）における電気の過去の価格決定および前記ＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用されるエネルギー先物市場からの記憶された履歴データとに少なくとも部分的に基づいて、前記電気デバイスを動作させる電気の小売価格を計算して前記小売価格を得ることであって、前記オファー額および前記小売価格の前記計算は同時に行われることと、
ユーザの利益の最大化によって送信されたオファー額を前記小売価格と比較することと、
前記ユーザの利益の最大化に基づいて前記電気デバイスを起動又は起動停止することと、
を含む、システム。
【請求項２１】
前記オファー額を計算することは、前記オファー額を得るために、前記ユーザ選択所望動作レベルと、前記現在の環境データと、ローカルリソース割り当て市場（ＬＲＡＭ）への過去のオファー額および前記ＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用される記憶された履歴エネルギー先物市場データとを含む、前記次期時間区間の複数のファクタに基づいている、請求項２０に記載のシステム。
【請求項２２】
市場ベースのリソース割り当てシステムにおいて電気デバイスの動作を制御する方法であって、プロセッサは、次期時間区間のユーザによる電気デバイスのユーザ選択所望動作レベルを、入力インターフェースを介してほぼリアルタイムで受信するように構成され、前記プロセッサは、実行可能プログラムおよび記憶されたデータを有するメモリに接続され、前記方法は、
前記プロセッサを使用して、
前記次期時間区間について前記ユーザ選択所望動作レベルで前記電気デバイスを動作させるために供給される電気が利用可能である値を表すオファー額を計算することと、
前記オファー額を、出力インターフェースを介してローカルリソース割り当て市場（ＬＲＡＭ）に送信することと、
前記電気デバイスが電気を受け取る前記ＬＲＡＭから電気の需給均衡された価格を、前記入力インターフェースを介して受信することと、
前記ユーザ選択所望動作レベルと、現在の環境データと、前記ＬＲＡＭからの電気の前記需給均衡された価格と、前記ユーザによる過去のユーザ選択所望動作レベル、小売電力市場（ＲＥＭ）における電気の過去の価格決定および前記ＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用されるエネルギー先物市場からの記憶された履歴データとに少なくとも部分的に基づいて、前記電気デバイスを動作させる電気の小売価格を計算して前記小売価格を得ることであって、前記オファー額および前記小売価格の前記計算は同時に行われることと、
送信されたオファー額を前記小売価格と比較することと、
比較に基づいて前記電気デバイスを起動又は起動停止することと、
を含む、方法。
【請求項２３】
前記オファー額を計算することは、前記オファー額を得るために、前記ユーザ選択所望動作レベルと、前記現在の環境データと、ローカルリソース割り当て市場（ＬＲＡＭ）への過去のオファー額および前記ＬＲＡＭによる電気の前記過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用される記憶された履歴エネルギー先物市場データとを含む、前記次期時間区間の複数のファクタに基づいている、請求項２２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、包括的には、電力システム（power electric system：電力系統）に関し、より詳細には、負荷供給事業体の最適な同時入札／価格決定に関する。
【背景技術】
【０００２】
従来の電力システムの再構築は、電力システム計画および運用活動を改善するために、何年もの間続けられてきた。送電レベルにおいて、市場ベースの体制の下で、短期および長期の電力生産活動および電力消費活動を計画するために、供給サイドから需要サイドに至る種々の関係者が、独立系統運用者（ＩＳＯ：independent system operator）によって運用される卸売電力市場（ＷＥＭ：wholesale electricity market）に参加し、電気／エネルギーの提供又は入札を行っている。
【０００３】
従来、販売者（又は発電事業者）は、封印されたオファー（sealed offer）をＩＳＯに提出し、購入者（又は電力消費者）は、封印された入札（sealed bid）をＩＳＯに提出する。ＩＳＯは、その後、市場を需給均衡させ、全ての参加者によって需給均衡されたエネルギー価格およびエネルギー量を決定していた。しかしながら、スマートグリッド技術の進歩によって、ＩＳＯによって運用されるＷＥＭにおいて、５分〜１５分間隔のリアルタイム入札および販売が可能になった。ＷＥＭの買い手である負荷供給事業体（ＬＳＥ：load serving entity）には、需給均衡されたエネルギー価格およびエネルギー量に、政府の関税という追加コストを加えたものを最終使用顧客（ＥＵＣ：end-user consumer）に手渡すようなこれまでの役割は、もはやなくなっている。現在では、リアルタイム入札および販売によって、ＬＳＥは、小売電力市場（ＲＥＭ：retail electricity market）において様々な需要応答プログラムを通じて柔軟な価格シグナルを使用してEUCと対話し、ＬＳＥに利益を与えるようにＥＵＣの行動を変化させることができる。結果として、そのような環境下では、利潤を追求するＬＳＥは、２つの問題、すなわち、ＬＳＥがＷＥＭに提出する最適な電気入札を決定する入札問題と、ＬＳＥがＥＵＣに請求する最適な電気価格を決定する価格決定問題とに直面している。
【０００４】
特許文献１には、エネルギーの大口の産業消費者又は企業消費者が、規制緩和されたエネルギー市場において自己の利益になる小売電気提供者になることを援助する方法が開示されている。エネルギーアドバイザーおよび取引管理サービス提供者が実行する１つの方法は、大口の企業エネルギー消費者を州の公益事業委員会に登録し、その企業が、独立サービス運用機関（independent service operator）のスケジューリング団体としての資格を得ることを援助し、その企業をエネルギー卸売業者の二者間取引パートナーとして確立することである。
【０００５】
特許文献２は、電気供給者のエネルギー顧客のエネルギー関連収益の生成を容易にする手法を開示している。この手法は、エネルギー資産のコントローラの動作スケジュールを生成するのに使用される。実施されると、生成された動作スケジュールは、その生成された動作スケジュールに従ってエネルギー資産の動きに関連した、期間Ｔにわたるエネルギー関連収益の誘導を容易にする。期間Ｔにわたるエネルギー顧客が利用できるエネルギー関連収益は、少なくとも部分的には、卸売電力市場に基づいている。
【０００６】
しかしながら、これらの従来の手法の全ては、入札問題および価格決定問題に別々に対処している。これらの２つの問題、すなわち入札問題および価格決定問題の間には強い結び付き又は関係があるが、残念ながら、これらの従来の手法は、この強い結び付き又は関係を無視している。なぜなら、ＷＥＭにおいて購入されるエネルギーと、ＲＥＭにおいて販売されるエネルギーとはバランスしなければならない。さもなければ、ＬＳＥには経済的損失又は信頼性の問題さえも発生するからである。エネルギーを購入するときに、ＬＳＥが他のＬＳＥに対して競争的な入札をＩＳＯに行うことができない場合には、ＥＵＣに販売するエネルギーがないといった信頼性の問題が発生する。したがって、数ある理由の中でも、少なくともＬＳＥの総利潤を最大にすることを目的として、ＷＥＭに提出されるエネルギー入札と、ＲＥＭにおいてＬＳＥに請求されるエネルギー価格とを同時に決定する新たな手法が必要とされている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第２００５／０００４８５８号
【特許文献２】米国特許出願公開第２０１４／０３１６９７３号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本開示は、電力システムに関し、より詳細には、負荷供給事業体の最適な同時入札／価格決定に関する。
【課題を解決するための手段】
【０００９】
再構築された従来の電力産業では、負荷供給事業体（ＬＳＥ）が、その最終使用顧客（ＥＵＣ：end use customer）からの需要を満たすように、電気／エネルギーの入札を、独立系統運用機関（ＩＳＯ）によって運用される卸売電力市場（ＷＥＭ）に提出する必要がある。ＬＳＥは、その後、政府によって規制される従来は固定された関税である電気／エネルギーの代金をＥＵＣに請求する。したがって、ＬＳＥの従来の意思決定プロセスは、相対的に柔軟性がないＥＵＣ需要の予想に依存する入札問題、すなわち、エネルギー入札の決定のみを含んでいる。
【００１０】
しかしながら、スマートグリッド技術の急速な発展によって、リアルタイム価格決定等の需要応答プログラムを通じた需要側の管理が実現可能になっている。ＬＳＥは、ＬＳＥが運用する小売電力市場（ＲＥＭ）におけるリアルタイムエネルギー価格を決定し、ＬＳＥの利益となるようにエネルギー消費行動を変化させるEUCにインセンティブを与えるができる。この場合、LSEは、入札問題に加えて、価格決定問題、すなわち、ＥＵＣに請求するエネルギー価格の決定の問題にも直面する。
【００１１】
ＬＳＥの従来の意思決定プロセスは、上述したように、相対的に柔軟性がないＥＵＣ需要の予想に依存する入札問題、すなわち、エネルギー入札の決定に対処することのみを含んでいる。したがって、これらの従来の手法は、１つの問題にしか関係していないが、本質的に互いに結合される２つの問題がある。なぜならば、ＷＥＭにおいて購入されるエネルギー（エネルギー入札）と、ＲＥＭにおいて販売されるエネルギー（エネルギー販売価格）とはバランスしなければならず、ＬＳＥによって得られる利潤は双方の市場における結果に依存するからである。したがって、本開示の実施の形態は、入札問題および価格決定問題を同時に解く。
【００１２】
実験の間、１つの手法は、同時入札／価格決定問題を、混合整数線形計画技法を使用して解かれたバイレベル計画問題としてモデル化することを含んでいた。しかしながら、これらの実験された特定の手法は、全ての市場参加者が近視眼的又は短見的であるものと仮定しており、ＷＥＭにおける全ての市場参加者およびＲＥＭにおける全てのＥＵＣを含む全ての実験されたモデルのパラメータは、ＬＳＥに完全に知られており、より重要なことに、全てのモデルは線形であった。しかしながら、これらの学習された仮定は、本開示の態様に照らすと非常に制約的かつ非実用的である。
【００１３】
本開示の幾つかの実施の形態では、同時入札／価格決定問題を、エネルギー入札およびエネルギー価格が共通の目的として共有される２つの行動（actions）であるマルコフ決定過程（ＭＤＰ：Markov decision process）として定式化する。ＷＥＭモデルおよびＥＵＣモデルを知る必要なくこのＭＤＰを解くために、入札方策および価格決定方策を学習する、深層決定論的方策勾配ベースの強化学習アルゴリズムを考案することができる。提案された強化学習アルゴリズムは、第１段階行動、例えば、エネルギー入札が行われた後に明らかにされる情報を使用して第２段階行動、例えば、小売エネルギー価格を決定することによって、意思決定プロセスを利用し、これによって、特に負荷供給事業体によって得られる全体の利潤が改善される。
【００１４】
ＷＥＭにおける他の市場参加者のモデルおよびＲＥＭにおける全てのＥＵＣのモデルは、前もって知られていないものと仮定する。このために、ニューラルネットワークを適用して、履歴データから入札応答関数および価格応答関数を学習し、ＬＳＥの観点から、ＷＥＭ、およびＥＵＣの集合行動をそれぞれモデル化することができる。これらの応答関数は、本開示の実施の形態による、ＷＥＭ需給均衡結果およびＥＵＣ需要の時刻間相関を明確に捕捉することができる。
【００１５】
全体的に、本開示の態様は、同時入札／価格決定問題の新規のモデルフリーで柔軟な解決策を提供する。多くの新規性の中でも特に本開示の幾つかの新規性は、長期におけるＬＳＥの累積利潤の考慮を可能にする、同時入札／価格決定問題のＭＤＰとしての定式化を行うこと；ＭＤＰの構造的特性を考慮しながらＭＤＰを解く強化学習アルゴリズムの開発を行うこと；時刻間相関を捕捉する履歴データを使用してＷＥＭおよびＲＥＭをモデル化するために、多層フィードフォワードニューラルネットワーク（ＦＮＮ：feedforward neural networks）、リカレントニューラルネットワーク（ＲＮＮ：recurrent neural networks）又は長短期記憶（ＬＳＴＭ：long short-term memory）ユニットネットワークの適用を使用することを特に含む。
【００１６】
本開示の一実施の形態によれば、市場ベースのリソース割り当てシステムにおいて電気デバイスの動作を制御するシステムが提供される。このシステムは、次期時間区間のユーザによる電気デバイスのユーザ選択所望動作レベルを、送受信機を介してほぼリアルタイム（as close to real-time）で受信するように構成されたプロセッサを有する。プロセッサは、実行可能プログラムおよび記憶されたデータを有するメモリに接続される。このシステムは、プロセッサを使用して、次期時間区間についてユーザ選択所望動作レベルで電気デバイスを動作させるために供給される電気が利用可能である値を表すオファー額（offer amount）を計算することを含む。オファー額を計算することは、オファー額を得るために、ユーザ選択所望動作レベルと、現在の環境データと、ローカルリソース割り当て市場（ＬＲＡＭ：local resource allocation market）への過去のオファー額およびＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用される記憶された履歴エネルギー先物市場データとを含む、次の時間区間の複数のファクタに基づいている。システムは、プロセッサを使用して、オファー額を、送受信機を介してＬＲＡＭに送信することを含む。システムは、プロセッサを使用して、電気デバイスが電気を受け取るＬＲＡＭから電気の需給均衡された価格を、送受信機を介して受信することを含む。システムは、プロセッサを使用して、ユーザ選択所望動作レベルと、現在の環境データと、ＬＲＡＭからの電気の需給均衡された価格と、ユーザによる過去のユーザ選択所望動作レベル、小売電力市場（ＲＥＭ）における電気の過去の価格決定およびＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用されるエネルギー先物市場からの記憶された履歴データとに少なくとも部分的に基づいて、電気デバイスを動作させる電気の小売価格を計算して小売価格を得ることを含む。オファー額および小売価格の計算は同時に行われる。システムは、プロセッサを使用して、送信したオファー額を小売価格と比較することを含む。システムは、プロセッサを使用して、比較に基づいて電気デバイスを起動又は起動停止することを含む。
【００１７】
本開示の別の実施の形態によれば、市場ベースのリソース割り当てシステムにおいて電気デバイスの動作を制御するシステムが提供される。システムは、次期時間区間のユーザによる電気デバイスのユーザ選択所望動作レベルを、入力インターフェースを介してほぼリアルタイムで受信するように構成されたプロセッサを有し、プロセッサは、実行可能プログラムおよび記憶されたデータを有するメモリに接続される。システムは、プロセッサを使用して、次期時間区間についてユーザ選択所望動作レベルで電気デバイスを動作させるために供給される電気が利用可能である値を表すオファー額を計算することを含む。システムは、プロセッサを使用して、オファー額を、出力インターフェースを介してローカルリソース割り当て市場（ＬＲＡＭ）に送信することを含む。システムは、プロセッサを使用して、電気デバイスが電気を受け取るＬＲＡＭから電気の需給均衡された価格を、入力インターフェースを介して受信することを含む。システムは、プロセッサを使用して、ユーザ選択所望動作レベルと、現在の環境データと、ＬＲＡＭからの電気の需給均衡された価格と、ユーザによる過去のユーザ選択所望動作レベル、小売電力市場（ＲＥＭ）における電気の過去の価格決定およびＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用されるエネルギー先物市場からの記憶された履歴データとに少なくとも部分的に基づいて、電気デバイスを動作させる電気の小売価格を計算して小売価格を得ることを含む。オファー額および小売価格の計算は同時に行われる。システムは、プロセッサを使用して、提出されたオファー額を小売価格と比較することを含む。システムは、プロセッサを使用して、比較に基づいて電気デバイスを起動又は起動停止することを含む。
【００１８】
本開示の別の実施の形態によれば、市場ベースのリソース割り当てシステムにおいて電気デバイスの動作を制御する方法が提供される。プロセッサは、次期時間区間のユーザによる電気デバイスのユーザ選択所望動作レベルを、入力インターフェースを介してほぼリアルタイムで受信するように構成される。プロセッサは、実行可能プログラムおよび記憶されたデータを有するメモリに接続される。方法は、プロセッサを使用して、次期時間区間についてユーザ選択所望動作レベルで電気デバイスを動作させるために供給される電気が利用可能である値を表すオファー額を計算することを含む。方法は、プロセッサを使用して、オファー額を、出力インターフェースを介してローカルリソース割り当て市場（ＬＲＡＭ）に送信することを含む。方法は、プロセッサを使用して、電気デバイスが電気を受け取るＬＲＡＭから電気の需給均衡された価格を、入力インターフェースを介して受信することを含む。方法は、プロセッサを使用して、ユーザ選択所望動作レベルと、現在の環境データと、ＬＲＡＭからの電気の需給均衡された価格と、ユーザによる過去のユーザ選択所望動作レベル、小売電力市場（ＲＥＭ）における電気の過去の価格決定およびＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用されるエネルギー先物市場からの記憶された履歴データとに少なくとも部分的に基づいて、電気デバイスを動作させる電気の小売価格を計算して小売価格を得ることを含む。オファー額および小売価格の計算は同時に行われる。方法は、プロセッサを使用して、提出されたオファー額を小売価格と比較することを含む。方法は、プロセッサを使用して、比較に基づいて電気デバイスを起動又は起動停止することを含む。
【００１９】
ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、一般的に、ここに開示されている実施形態の原理を示すことに強調が置かれている。
【図面の簡単な説明】
【００２０】
【図１Ａ】本開示の実施形態による、市場ベースのリソース割り当てシステムにおける電気デバイスの動作を制御する方法を示すブロック図である。
【図１Ｂ】本開示の実施形態による、市場ベースのリソース割り当てシステムにおける電気デバイスの動作を制御する構成要素およびステップを示す概略図である。
【図１Ｃ】本開示の幾つかの実施形態による、負荷供給事業体（ＬＳＥ）、独立系統運用機関（ＩＳＯ）、および最終使用顧客（ＥＵＣ）の間の関係を示すブロック図である。
【図２】本開示の幾つかの実施形態による、負荷供給事業体の同時入札／価格決定計画を決定する幾つかの方法ステップを示すブロック図である。
【図３】本開示の幾つかの実施形態による、ＩＳＯ、ＬＳＥ、およびＥＵＣの間のインタラクションを示す概略図である。
【図４Ａ】本開示の幾つかの実施形態による、ＷＥＭとＲＥＭとの間の同期された行動メカニズムの下での区間ｔの間のリアルタイム市場における行動のタイムラインを示す概略図である。
【図４Ｂ】本開示の幾つかの実施形態による、ＷＥＭとＲＥＭとの間の同期されていない行動メカニズムの下での区間ｔのリアルタイム市場における行動のタイムラインを示す概略図である。
【図５】本開示の幾つかの実施形態による、入札／価格応答関数をモデル化するために使用されるＦＮＮおよびＲＮＮの構成を示す概略図である。
【図６】本開示の幾つかの実施形態による、ＬＳＴＭユニットの構造を示す概略図である。
【図７Ａ】本開示の幾つかの実施形態による、同期された行動メカニズムの下での同時入札／価格決定アルゴリズムにおいて使用される構成要素のアクタークリティック構造およびインタラクションを示す図である。
【図７Ｂ】本開示の幾つかの実施形態による、同期された行動メカニズムの下での同時入札／価格決定アルゴリズムにおいて使用される構成要素の代替のアクタークリティック構造およびインタラクションを示す図である。
【図８Ａ】本開示の幾つかの実施形態による、同期されていない行動メカニズムの下での同時入札／価格決定アルゴリズムにおいて使用される構成要素のアクタークリティック構造およびインタラクションを示す図である。
【図８Ｂ】本開示の幾つかの実施形態による、同期されていない行動メカニズムの下での同時入札／価格決定アルゴリズムにおいて使用される構成要素の代替のアクタークリティック構造およびインタラクションを示す図である。
【図９Ａ】本開示の幾つかの実施形態による、ベースライン方策および強化学習（ＲＬ：Reinforcement Learning）方策の下での累積報酬を示す図である。
【図９Ｂ】本開示の幾つかの実施形態による、通常の１日の間のＲＬ方策の下での卸売エネルギー価格および小売エネルギー価格を示す図である。
【図９Ｃ】本開示の幾つかの実施形態による、通常の１日の間の入札量および総エネルギー消費を示す図である。
【図９Ｄ】本開示の幾つかの実施形態による、累積報酬に対する割引係数の影響を示す図である。
【図１０Ａ】本開示の実施形態による、方法およびシステムの幾つかの技法を実施するために使用することができるコンピューティング装置を示す概略図である。
【図１０Ｂ】本開示の実施形態による、システムおよび方法を実施するために使用することができる幾つかの構成要素を示すブロック図である。
【発明を実施するための形態】
【００２１】
上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲および趣旨に含まれる非常に多くの他の変更および実施形態を当業者は考案することができる。
【００２２】
本開示は、電力システムに関し、より詳細には、負荷供給事業体の最適な同時入札／価格決定に関する。
【００２３】
本開示の一実施形態によれば、市場ベースのリソース割り当てシステムにおいて電気デバイスの動作を制御するシステムが提供される。システムは、次期時間区間のユーザによる電気デバイスのユーザ選択所望動作レベルを、送受信機を介してほぼリアルタイムで受信するように構成されたプロセッサを有する。プロセッサは、実行可能プログラムおよび記憶されたデータを有するメモリに接続される。システムは、プロセッサを使用して、次期時間区間についてユーザ選択所望動作レベルで電気デバイスを動作させるために供給される電気が利用可能である値を表すオファー額を計算することを含む。オファー額を計算することは、オファー額を得るために、ユーザ選択所望動作レベルと、現在の環境データと、ローカルリソース割り当て市場（ＬＲＡＭ）への過去のオファー額およびＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用される記憶された履歴エネルギー先物市場データとを含む、次期時間区間の複数のファクタに基づいている。システムは、プロセッサを使用して、オファー額を、送受信機を介してＬＲＡＭに送信することを含む。システムは、プロセッサを使用して、電気デバイスが電気を受け取るＬＲＡＭから電気の需給均衡された価格を、送受信機を介して受信することを含む。システムは、プロセッサを使用して、ユーザ選択所望動作レベルと、現在の環境データと、ＬＲＡＭからの電気の需給均衡された価格と、ユーザによる過去のユーザ選択所望動作レベル、小売電力市場（ＲＥＭ）における電気の過去の価格決定およびＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用されるエネルギー先物市場からの記憶された履歴データとに少なくとも部分的に基づいて、電気デバイスを動作させる電気の小売価格を計算して小売価格を得ることを含む。オファー額および小売価格の計算は同時に行われる。システムは、プロセッサを使用して、提出されたオファー額を小売価格と比較することを含む。システムは、プロセッサを使用して、比較に基づいて電気デバイスを起動又は起動停止することを含む。
【００２４】
図１Ａは、本開示の実施形態による、市場ベースのリソース割り当てシステムにおける電気デバイスの動作を制御する方法を示すブロック図である。
【００２５】
図１Ａのステップ１１６は、受信機１５３を介して、ＩＳＯから履歴市場需給均衡価格および量を、ＬＳＥから卸売入札および小売エネルギー価格を、および、ＥＵＣから総エネルギー消費を受信することを含む。
【００２６】
図１Ａのステップ１２６では、受信機１５３と通信するプロセッサ１５５が、動的な需要応答モデルを可能なＬＳＥ小売エネルギー価格とともに使用して、次期時間区間のＥＵＣの総エネルギー消費を予測することを含む。
【００２７】
図１Ａのステップ１３６では、プロセッサ１５５を使用して処理され、動的な入札応答（bid response：ビッドレスポンス）モデルを可能なＬＳＥ卸売入札とともに使用して次期時間区間のＩＳＯの市場需給均衡価格およびエネルギー量を予測する。
【００２８】
図１Ａのステップ１４６では、プロセッサ１５５を使用して処理され、深層強化学習アルゴリズムを使用して、次期時間区間の卸売入札価格およびエネルギー量、並びに小売エネルギー価格を決定する。
【００２９】
図１Ａのステップ１５６では、コントローラ１５７を使用して、ＩＳＯからの需給均衡された入札結果に従ってＥＵＣデバイス１３５又はＤＥＲ１３７の動作を制御する。
【００３０】
本開示の実施形態は、特有の態様を非限定的な例によって提供し、特定の学習期間は、解を経験的に求めるために履歴データが過去に遡る時間、例えば、１ヶ月、２ヶ月、６ヶ月を含むことができる。ただし、上記特定の学習期間は、言及されるどの学習期間にも限定されるものではなく、特定の学習期間を決定するときの幾つかの態様は、非限定的な例として、一組の以前のタイムフレームにおける精度のレベルを含むことができる。さらに、所望の動作レベルに関するユーザ入力を考慮すると、本開示の幾つかの方法は、可能なオファー額および可能な小売価格を決定することができ、これに続いて、オファー額および小売価格を比較し、最終的に、デバイスの起動又は起動停止の決定を行うことができる。本開示の方法およびシステムの幾つかのうち少なくとも１つの態様は、需要応答（demand response：デマンドレスポンス）アグリゲーターに適用することができる。
【００３１】
図１Ｂは、本開示の幾つかの実施形態による、ＬＳＥの最終使用顧客の制御の構成要素およびステップを示す概略図である。ＬＳＥ１１０は、独立系統運用機関（ＩＳＯ）１４０が運用することができる電力システム１１５から電気を受け取る。ＥＵＣ１３０の制御システムは、コンピュータ１５１若しくは同様のデバイス、又は複数のコンピュータを含むことができる。このコンピュータは、異なるロケーションに配置することができ、互いに通信することができるものと考えられる。さらに、コンピュータの他の構成要素は、他のロケーションに配置することができるが、ネットワーク又は幾つかの同様の装置を介して接続される。
【００３２】
図１Ｂを更に参照すると、ＥＵＣ制御システムの受信機１５３は、ＩＳＯから履歴市場需給均衡価格およびエネルギー量を、ＬＳＥから卸売入札および小売エネルギー価格を、および、ＥＵＣから総エネルギー消費を受信する（ステップ１１６）。
【００３３】
受信機１５３と通信するプロセッサ１５５は、その後、動的な需要応答モデルを可能なＬＳＥ小売エネルギー価格とともに使用して次期時間区間のＥＵＣの総エネルギー消費を予測し（ステップ１２６）、動的な入札応答モデルを可能なＬＳＥ卸売入札とともに使用して次期時間区間のＩＳＯの市場需給均衡価格およびエネルギー量を予測する（ステップ１３６）。
【００３４】
可能な需要応答および入札応答が得られた後、プロセッサ１５５は、深層強化学習アルゴリズムを使用して、次期時間区間の卸売入札価格およびエネルギー量、並びに小売エネルギー価格を決定する（ステップ１４６）。
【００３５】
図１Ｂを更に参照すると、ＬＳＥ１１０のＥＵＣ１３０の制御システム１００は、次期時間区間の決定された卸売入札および小売価格をＩＳＯ１４０およびＥＵＣに送信し、コントローラ１５７は、ＩＳＯ１４０から受信機１５３を介して受信されたＩＳＯからの需給均衡された入札結果に従ってＥＵＣデバイス又はＤＥＲの動作を制御する（ステップ１５６）。
【００３６】
任意選択で、ＥＵＣデバイス１００の動作の制御システムは、システムエネルギーデータおよび価格データをコンピュータ可読メモリ１４４に記憶することができる。このコンピュータ可読メモリは、プロセッサ１５５およびコントローラ１５７と通信する。さらに、入力インターフェース１４５が、メモリ１４４並びにプロセッサ１５５およびコントローラ１５７と通信することができることも可能である。例えば、ユーザは、入力インターフェース１４５のユーザインターフェースを介して、予測された所定の条件、例えば、ＥＵＣの総エネルギー消費を入力することができる。受信機、プロセッサおよびコントローラは、特定の用途に応じて、単一のコンピュータシステムとすることもできるし、異なるロケーションに配置された複数のコンピュータシステムとすることもできるものと考えられる。
【００３７】
図１Ｃは、本開示の実施形態による、図１Ａのシステムを示すブロック図である。詳細には、図１Ｃは、電力市場環境下における電力システム１１５を示している。電力システムは、このシステムから電力を受け取る、電力購入者と呼ばれる一組の負荷供給事業体（ＬＳＥ）１１０Ａおよび１１０Ｂを含むことができる。各ＬＳＥ１１０Ａおよび１１０Ｂは、複数の最終使用顧客（ＥＵＣ）１３０Ａおよび１３０Ｂ、１３０Ｃおよび１３０Ｄを有することができる。各最終使用顧客は、電力を消費する電気デバイス１３５を有することができるとともに、電力を生産する分散型エネルギーリソース（ＤＥＲ：distributed energy resource）１３６も有することができる。電力を消費するＥＵＣは、消費型ＥＵＣと呼ぶことができ、電力を生産するＥＵＣは、生産型ＥＵＣと呼ぶことができる。生産型ＥＵＣからのＤＥＲ１３６によって生産される電力は、負の需要として扱うことができる。電力生産者１２０、負荷供給事業体１１０、および最終使用顧客１３０は、１つ以上のバス又は１つ以上のタイプの変電所を通して電力システム１１５と接続される。
【００３８】
電力システム１１５は、システムへの電力を生産する一組の発電所１２０Ａおよび１２０Ｂも含むことができる。各電力生産者１２０Ａおよび１２０Ｂは、発電機と呼ばれる複数の発電ユニット１５０を有することができる。ＥＵＣ１３０Ａおよび１３０Ｂ、１３０Ｃおよび１３０Ｄは、送電線１６０によって接続されたネットワークを通して発電所１２０Ａおよび１２０Ｂによって提供される電力を消費する。独立系統運用機関（ＩＳＯ）１４０は、生産者とＬＳＥとの間の協調を担当し、電力システム１１５の安定した動作を維持する。通信ネットワークは、通信リンク１７０を通じたＩＳＯ１４０と生産者１２０又はＬＳＥ１１０との間の情報の交換に使用することができる。ＬＳＥ１１０は、ＩＳＯ１４０から電力を購入し、ＥＵＣ１３０に転売する。ＥＵＣ１３０は、配電線１６０を通してＬＳＥ１１０と接続することができ、通信リンク１７０を通してＬＳＥと通信することもできる。図１Ｃには、一例として、２つのＬＳＥ１１０Ａおよび１１０Ｂ、４つのＥＵＣ１３０Ａ、１３０Ｂ、１３０Ｃおよび１３０Ｄがある。ＬＳＥは、ＩＳＯから購入する電力の量、すなわち入札方策と、ＥＵＣに請求する電力の価格、すなわち価格決定方策とを決定する。本開示の一態様は、ＬＳＥの最適な同時入札／価格決定戦略を求めることに焦点を当てる。
【００３９】
図２は、本開示の幾つかの実施形態による、負荷供給事業体の同時入札／価格決定計画を決定する幾つかの方法ステップを示すブロック図である。
【００４０】
この図は、準備のオフラインステップと、時間区間にわたって反復する一組のオンラインステップとを含む。リアルタイムアプリケーションをトリガーする前に、入札方策関数および価格決定方策関数と、動的な需要応答関数および入札応答関数とが、ステップ２１０において履歴データを使用してオフラインでトレーニングされる。このステップが完了した後、トレーニングされた方策関数および応答関数が、次期時間区間のＬＳＥのリアルタイム入札および価格の意思決定を反復して行うのに使用される。ステップ２２０が、次期時間区間のトレーニングされた入札方策関数および価格決定方策関数を使用して卸売入札および小売価格を決定する。その後、ステップ２３０において、次期時間区間の決定された卸売入札がＷＥＭに送信され、次期時間区間の小売エネルギー価格がＲＥＭに掲示される。ステップ２４０が、動的な需要応答関数および入札応答関数を使用して入札および価格に基づいて、ＥＵＣの総エネルギー消費およびＷＥＭの需給均衡結果を推定し、それに応じて、ステップ２５０において、入札方策関数および価格決定方策関数が、性能改善のために応答結果を用いて更新される。
【００４１】
本開示の幾つかの実施形態は、効果的なＲＬアルゴリズムである深層決定論的方策勾配（ＤＤＰＧ：deep deterministic policy gradient）アルゴリズムによって解かれるＬＳＥの同時入札／価格決定問題用に開発されたＭＤＰ定式化を含む。ニューラルネットワークによって表される動的な入札応答関数および価格応答関数が、ＷＥＭおよびＥＵＣをそれぞれモデル化するために履歴データから学習される。これらの応答関数は、ＷＥＭ需給均衡結果およびＥＵＣの時刻間相関を明確に又は暗黙的に捕捉し、ＤＤＰＧアルゴリズムによって必要とされる状態遷移サンプルを、コストを伴なうことなく生成するのに利用される。
【００４２】
（卸売エネルギー市場モデルおよび小売エネルギー市場モデル）
電力産業では、負荷供給事業体（ＬＳＥ）が、その最終使用顧客（ＥＵＣ）からの需要を満たすように、電気／エネルギーの入札を、独立系統運用機関（ＩＳＯ）によって運用される卸売電力市場（ＷＥＭ）に提出する必要がある。ＬＳＥは、ＥＵＣがＬＳＥに利益を与えるようにそれらのエネルギー消費行動を変化させることを奨励するようにＬＳＥが運用する小売電力市場（ＲＥＭ）におけるリアルタイムエネルギー価格を決定することができる。この状況において、入札問題に加えて、ＬＳＥは、価格決定問題、すなわち、ＥＵＣに請求されるエネルギー価格の決定にも直面する。
【００４３】
本開示の幾つかの実施形態は、エネルギー入札およびエネルギー価格が共通の目的を共有する２つの行動であるマルコフ決定過程（ＭＤＰ）として定式化される同時入札／価格決定問題を含む。そうすることによって、長期におけるＬＳＥの累積利潤の考慮が可能になる。ＷＥＭモデルおよびＥＵＣモデルを知る必要なくこのＭＤＰを解くために、深層決定論的方策勾配（ＤＤＰＧ）アルゴリズムである方策ベースの強化学習（ＲＬ）アルゴリズムが、状態から最適な行動を決定する入札方策および価格決定方策を学習するために適用される。ＷＥＭにおける他の市場参加者のモデルおよびＲＥＭにおける全てのＥＵＣのモデルは事前に知られていない。このために、ニューラルネットワークが適用され、ＬＳＥの観点から、ＷＥＭとＥＵＣの集合行動とをそれぞれモデル化するように履歴データから入札応答関数および価格応答関数が学習される。これらの応答関数は、ＷＥＭ需給均衡結果およびＥＵＣ応答の時刻間相関を明確に捕捉することができ、コストを伴うことなく状態遷移サンプルを生成するのに利用することができる。より重要なことに、それらは、ＭＤＰ定式化における状態の選択も特徴付ける。
【００４４】
図３は、本開示の幾つかの実施形態による、ＩＳＯ、ＬＳＥ、およびＥＵＣの間のインタラクションを示す概略図である。例えば、本開示の幾つかの実施形態は、ＩＳＯによって運用されるＷＥＭと、ＬＳＥによって管理されるＲＥＭと、一組のＥＵＣとからなる階層的市場モデルを含む。図３は、ＬＳＥ３１０、ＩＳＯ３２０、およびＥＵＣ３３０の間のインタラクションを示している。この図３で使用される表記については、後に紹介する。この開示の全体を通して、全てのベクトルおよび行列はボールド体またはイタリック体で記載される。下付き文字ｔは、時間区間ｔにおける変数の値を示す。
【００４５】
１日は、集合
【数１】
2022501716.tif 000003
内の要素によってインデックス付けされるＴ個の時間区間に分解されると仮定する。ｔを時間区間のインデックスとすると、
【数２】
2022501716.tif 000004
となる。ここで、ｍｏｄはモジュロ演算を表す。通常、１つの区間の継続時間は、特定の市場に応じて、５分、１５分、３０分、又は６０分とすることができる。本開示は、リアルタイムエネルギー市場において行われる活動にのみ焦点を当てる。
【００４６】
図４Ａは、本開示の幾つかの実施形態による、ＷＥＭとＲＥＭとの間の同期された行動メカニズムの下での区間ｔのリアルタイム市場における行動のタイムラインを示す概略図である。図４Ｂは、本開示の幾つかの実施形態による、ＷＥＭとＲＥＭとの間の同期されていない行動メカニズムの下での区間ｔのリアルタイム市場における行動のタイムラインを示す概略図である。図４Ａおよび図４Ｂは、リアルタイム市場において異なる関係者によって取られる行動系列を示している。すなわち、図４Ａは、ＷＥＭとＲＥＭとの間の同期された行動メカニズムであり、図４Ｂは、対照的に、ＷＥＭとＲＥＭとの間の同期されていない行動メカニズムである。
【００４７】
時間区間ｔの前に、販売者および購入者を含む各市場参加者は、時間区間ｔのエネルギーオファー／入札を提出する（４１０）必要がある。次に、ＷＥＭ４６０が需給均衡され（４２０）、卸売エネルギー価格と、販売者および購入者ごとにそれぞれ需給均衡に成功したエネルギーの販売および購入とが得られる。その一方で、ＷＥＭ４６０における購入者であるＬＳＥ４５０も、エネルギーをＲＥＭ４５０におけるその顧客、すなわち、ＥＵＣ４７０に転売する時間区間ｔの小売エネルギー価格（価格と略称される）を決定する（４２５）。時間区間ｔの間に、ＥＵＣ４７０は、それらのエネルギー消費を調整することによって価格信号に応答する（４３０）。ＬＳＥ４５０は、ＥＵＣ４７０によって消費されたエネルギーについてＩＳＯ４６０に支払いを行う必要がある。一方で、ＬＳＥ４５０は、ＥＵＣ４７０から代金の回収も行う。時間区間ｔの後に、これらの２つの市場におけるエネルギー取引からもたらされる利潤の総額を評価することができる（４４０）。このプロセスは、全ての時間区間について繰り返される。
【００４８】
図４Ａおよび図４Ｂを更に参照すると、同期された行動メカニズムを使用すると、ＬＳＥは、ＷＥＭおよびＲＥＭに関するその行動を同時に決定し（４４４）、電力を購入／転売するエネルギー量および価格を、卸売市場と小売市場との間で互いに整合させることもできる。同期されていない行動メカニズムを使用すると、ＷＥＭ行動４１０およびＲＥＭ行動４２５の決定を異なる時刻に行うことができる。一方で、電力を購入／転売するエネルギー量および価格は、卸売市場と小売市場との間で異なる可能性がある。その上、２つの行動集合間の不整合をバランスさせるために、ＤＥＲ４３５を制御するステップ等の追加のステップが必要とされる場合がある。
【００４９】
卸売市場は、販売者の集合および購入者の集合からなる。販売者の集合を
【数３】
2022501716.tif 000005
で表し、購入者の集合を
【数４】
2022501716.tif 000006
で表すことにする。各販売者
【数５】
2022501716.tif 000007
は、時間区間ｔの間にエネルギーを販売する用意がある最低価格を指定するｆｔｇ（・）によって表されるオファー（すなわち、逆供給関数）を提出する。具体的には、ｆｔｇ（ｑｔｇ）は、販売者ｇが時間区間ｔの間にエネルギーをｑｔｇの量で販売する用意がある最低価格である。同様に、各購入者
【数６】
2022501716.tif 000008
は、時間区間ｔの間にエネルギーを購入する最高価格を指定するｆｔｂ（・）によって表される入札（すなわち、逆需要関数）を提出する。具体的には、ｆｔｂ（ｑｔｂ）は、購入者が時間区間ｔの間にｑｔｂの量でエネルギーを購入する最高価格である。
【００５０】
図４Ａおよび図４Ｂを更に参照すると、次に、基幹電力システムが無損失および無輻輳であると仮定すると、ＩＳＯは、以下の社会的余剰最大化問題を解くことによってＷＥＭを需給均衡させる。
【数７】
2022501716.tif 000009
ただし、
【数８】
2022501716.tif 000010
を条件とする。ここで、（１ｂ）は電力バランス方程式であり、λｔは制約（１ｂ）に関連付けられた双対変数であり、Ｑｔは、以前の時間区間における市場の需給均衡結果に依存し得る決定変数の実現可能集合である。制約（１ｃ）は、容量制限、エネルギー制限、出力変化率（ramp rate）制限等の全ての物理的制約、並びに、現金準備（reserve requirement）、および線路潮流（line flow）制限等のセキュリティ制約を捕捉することができる。便宜上、需給均衡された総エネルギー販売／購入をｑｔによって表すことにする。すなわち、
【数９】
2022501716.tif 000011
である。
【００５１】
（１）の解は、需給均衡されたエネルギー販売および購入と、各市場参加者の卸売エネルギー価格とを与える。均一価格市場では、全ての市場参加者は、λｔに等しい均一価格を受信する。ＷＥＭが競争的であるとき、単一の市場参加者は、通常、需給均衡価格に影響を与える能力を有せず、それが限界単位である見込みは低い。そのような状況では、λｔが与えられると、非限界的であるときの購入者ｂの需給均衡されたエネルギー購入は、以下のように計算することができる。
【数１０】
2022501716.tif 000012
【００５２】
図４Ａおよび図４Ｂを更に参照すると、ＷＥＭ需給均衡問題（１）は、逆供給関数および逆需要関数が与えられると、需給均衡量および需給均衡価格が決定論的に確定されるという意味で決定論的問題である。しかしながら、これらの関数は、市場参加者が、確認された市場の需給均衡結果に基づいて自身の戦略を調整する場合があるので、異なる時間区間において変化する場合がある。
【００５３】
開示された方法論は、損失および送電線輻輳が考えられる事例を取り扱うように容易に拡張することができることに留意されたい。一例として、単純ではあるが代表的な事例を、より多くの見識を提供することを目的としてここに提示する。
【００５４】
ＷＥＭでは、ＬＳＥは、入札を通じてエネルギーを購入する購入者として参加する。一般性を失うことなく、考慮対象のＬＳＥはＷＥＭにおける購入者ｂであると仮定する。ＬＳＥは、購入したエネルギーを小売エネルギー市場（ＲＥＭ）において一組のＥＵＣに転売し、ＬＳＥが決定する必要がある通常の規制価格でそれらのＥＵＣに料金請求する。時間区間ｔにおける価格をｖｔによって表し、ＷＥＭから購入したエネルギーをｑｔｂによって表すことにする。
【００５５】
このＬＳＥによって対応されるＲＥＭにおけるＥＵＣの集合を
【数１１】
2022501716.tif 000013
によって表すことにする。ＥＵＣ
【数１２】
2022501716.tif 000014
について、このＥＵＣは、ｄｔｃによって表されるそのエネルギー消費を調整することによって価格ｖｔに応答する。時間区間ｔの間に変電所において測定される全てのＥＵＣの総エネルギー消費をｄｔによって表す。すなわち、
【数１３】
2022501716.tif 000015
である。次に、ＬＳＥの目的は、エネルギーバランス制約を条件として、時間区間ｔ以後に得られるその利潤を最大にすることであり、これは、以下のように数学的に表すことができる。
【数１４】
2022501716.tif 000016
ここで、
【数１５】
2022501716.tif 000017
は期待値演算を表し、γ∈［０，１］は、将来の利潤（すなわち、式３に関する将来の利潤の期待値）を割り引く割引係数であり、φτ（・）は、総エネルギー消費がエネルギー購入から逸脱するときに被るコストを計算する非負のスカラー関数であり、
【数１６】
2022501716.tif 000018
および
【数１７】
2022501716.tif 000019
は、それぞれ最低価格および最高価格である。λτおよびｑτｂは（１）を通じてＷＥＭによって求められる一方、ｄτは（４）を通じてＥＵＣによって求められることに留意されたい。ＩＳＯへの支払いが、例えば、１日前市場における需給均衡されたエネルギー購入ｑτｂに基づいて計算される場合には、転売から得られる利潤は、（ｖτｄτ−λτｑτｂ）として求めることもできる。
【００５６】
ＲＥＭの購入者は最終使用顧客である。各時間区間ｔの開始時に、ＥＵＣ  ｃ、
【数１８】
2022501716.tif 000020
は、価格ｖｔをＬＳＥから受信し、次に、その全体の利潤を最大にするようにそのエネルギー消費を最適化する。一般的なＥＵＣモデルは、基礎をなす構成要素に対して不可知論的である。時間区間ｔにおけるＥＵＣ  ｃのエネルギーニーズをｅｔｃによって表すことにする。近視眼的なＥＵＣは、以下の効用最大化問題を解くことを介してその最適な行動を見つける。
【数１９】
2022501716.tif 000021
ただし、
【数２０】
2022501716.tif 000022
を条件とする。ここで、βｃ（・）は、或る特定のエネルギーニーズおよびエネルギー消費におけるＥＵＣの利益を与える利益関数であり、ηｔｃ∈［０，１］は、次の時間区間に繰り越される、満たされていないエネルギーニーズのパーセンテージを表す受注残率（backlog rate）であり、ξｔｃは、新たに生成された増分エネルギーニーズをモデル化する確率変数であり、Ｄｔｃは、エネルギー消費の実現可能集合である。
【００５７】
（同期された行動メカニズムの下での同時入札／価格決定問題定式化）
本開示の幾つかの実施形態は、卸売電力市場（ＷＥＭ）に提出されるエネルギー入札と、その総利潤を最大にしようとする負荷供給事業体（ＬＳＥ）のために小売電力市場（ＲＥＭ）において請求されるエネルギー価格とを同時に決定する問題に対処することを含む。この同時入札／価格決定問題は、エネルギー入札およびエネルギー価格が共通の目的、すなわち利潤最大化を共有する２つの行動である、連続した状態空間および行動空間を有するマルコフ決定過程（ＭＤＰ）として定式化される。
【００５８】
まず、動的な入札応答関数および価格応答関数を紹介し、その後に、入札方策および価格決定方策を紹介する。次に、ＬＳＥによって取り組まれる同時入札／価格決定問題をＭＤＰとして定式化する。
【００５９】
ＬＳＥの観点から、ＬＳＥは、入札問題として、時間区間ｔの入札ｆｔｂを決定しなければならず、価格決定問題として、時間区間ｔの価格ｖｔを決定しなければならない。ｆｔｂは、パラメータベクトル
【数２１】
2022501716.tif 000023
によって特徴付けられるものと仮定する。時間区間ｔ−ｎ１〜ｔ−１のＷＥＭ需給均衡結果の集合を
【数２２】
2022501716.tif 000024
によって表すことにする。次に、以下のようにψ（・）によって表される、ｎ１次入札応答関数を使用して（１）を通じて定義されるＬＳＥとＷＥＭとの間のインタラクションをモデル化する。
【数２３】
2022501716.tif 000025
ここで、（ｔ  ｍｏｄ  Ｔ）は、時間依存性をモデル化するために含まれる。需給均衡されたエネルギー購入は、（２）を用いて計算することができる。完全競争ＷＥＭの場合に、需給均衡結果に対する
【数２４】
2022501716.tif 000026
の影響は無視することができ、（５）は、需給均衡結果の動態を本質的にモデル化する。入札応答関数の背後にある核となるアイデアは次のとおりである。全ての市場参加者は、以前の時間区間のＷＥＭ需給均衡結果に基づいて時間区間ｔの決定を行うものと仮定する。ＬＳＥの観点から、ＷＥＭ需給均衡結果は、その入札
【数２５】
2022501716.tif 000027
が与えられると、以前のＷＥＭ需給均衡結果からλｔ、ｑｔ、ｑｔｂに進展する。他の市場参加者の行動からの影響は、この入札応答関数に暗黙的に含まれる。したがって、ｎ１が十分に大きいとき、ｎ１次入札応答関数は、ＷＥＭにおける動態を十分に捕捉することができる。
【００６０】
その一方で、ＬＳＥは、（４）における完全なパラメータではなく、リアルタイムの総エネルギー消費ｄｔに関する情報しか有しない場合がある。
【００６１】
したがって、（４）における完全なＥＵＣモデルを採用するのではなく、以下のように、φ（・）によって表されるｎ２次価格応答関数を使用して、（４）における一組の問題を通じて定義される全てのＥＵＣの集合行動を特徴付けることにする。
【数２６】
2022501716.tif 000028
【００６２】
ｎ２＝０である特殊なケースでは、ＥＵＣの総エネルギー消費は、現在の時間区間における価格にのみ依存する。価格応答関数の背後にある核となるアイデアは、入札応答関数のものと同様である。完全なＷＥＭモデルおよびＥＵＣモデルと比較すると、応答関数は、ＬＳＥに利用可能なデータから学習するのがより容易である。
【００６３】
ＬＳＥによって解かれる同時入札／価格決定問題の少なくとも１つの目的は、利用可能な情報に基づいて入札および価格を決定することである。前述したように、時間区間ｔの前に、ＬＳＥに利用可能なＷＥＭに関係した情報は、∀τ≦ｔ−１の
【数２７】
2022501716.tif 000029
、λτ、ｑτ、ｑτｂを含む。一方で、ＬＳＥに利用可能なＲＥＭに関係した情報は、∀τ≦ｔ−１のｖτ、ｄτを含む。時間区間ｔのＷＥＭが需給均衡される前にＬＳＥに利用可能な情報の集合を
【数２８】
2022501716.tif 000030
によって表すことにする。
【００６４】
入札問題および価格決定問題は、本来的に結合され、したがって、同時に検討する必要がある。均一価格市場では、ＬＳＥの入札は、その入札価格がλｔ以上である限り需給均衡される。一方で、エネルギー購入および総エネルギー消費の不整合に起因して被るコストを最小にするには、総エネルギー消費に等しいエネルギーの量に入札を行うことが確かに望ましい。実際のところ、λｔが、いずれのｖｔについても、
【数２９】
2022501716.tif 000031
による影響を受けないとき、（３）において定義される利潤を最大にする最適な入札
【数３０】
2022501716.tif 000032
は、ｑτｂ＝ｄτを与える入札である。本質的に、ＲＥＭの最適な価格ｖｔを見つけ、次に、このｖｔから入札を作成することのみが必要である。
【００６５】
π（・）によって表される決定的価格決定方策を、
【数３１】
2022501716.tif 000033
を価格ｖｔにマッピングする以下の関数として定義する。
【数３２】
2022501716.tif 000034
【００６６】
また、
【数３３】
2022501716.tif 000035
によって表される決定的入札方策を、
【数３４】
2022501716.tif 000036
およびｖｔを入札
【数３５】
2022501716.tif 000037
にマッピングする以下の関数として定義する。
【数３６】
2022501716.tif 000038
【００６７】
一例として、入札
【数３７】
2022501716.tif 000039
は、＄／ＭＷｈによる入札価格ωｔｐと、ＭＷｈによる入札量ωｔｑとの２つの構成要素からなるものと仮定する。その場合、最適な入札方策
【数３８】
2022501716.tif 000040
は、ωｔｐがｖｔに設定されるとともに、ωｔｑが、価格応答関数φを使用して得られる推定された総エネルギー消費に設定されるようになっているものである。したがって、φにおけるパラメータ以外に学習する必要がある追加のパラメータは、
【数３９】
2022501716.tif 000041
にはない。
【００６８】
同時入札／価格決定問題は、マルコフ決定過程（ＭＤＰ）として定式化される。ＭＤＰは、状態空間と、行動空間と、報酬関数と、マルコフ性、すなわち、現在の状態および行動が与えられると、次の状態が過去における全ての状態および行動から独立していることを満たす遷移確率関数とからなる。具体的には、同時入札／価格決定問題では、時間区間ｔにおける状態は、
【数４０】
2022501716.tif 000042
であると定義される。時間区間ｔの行動は、ａｔ＝ｖｔであると定義される。前セクションにおいて論述したように、
【数４１】
2022501716.tif 000043
は、一組の決定的手順を通じてｖｔから作成することができる。状態空間および行動空間の双方は連続的である。
【数４２】
2022501716.tif 000044
およびａｔが与えられると、
【数４３】
2022501716.tif 000045
が、（５）および（６）を通じて求められる。したがって、マルコフ性は満たされている。一方、遷移確率関数は、ＷＥＭにおける全ての市場参加者およびＲＥＭにおける全てのＥＵＣによって求められ、ＬＳＥには知られていない。
【００６９】
次に、価格決定方策は、等価的に、
【数４４】
2022501716.tif 000046
となることができ、入札方策は、等価的に、
【数４５】
2022501716.tif 000047
として記述することができる。
【００７０】
同時入札／価格決定問題の目的は、ＬＳＥの利潤を最大にすることである。したがって、時間区間ｔの報酬は、以下のように、ＬＳＥによって得られる利潤であると定義される。
【数４６】
2022501716.tif 000048
ここで、φｔ（・）は、（３）のように、総エネルギー消費が需給均衡されたエネルギー購入から逸脱したときに被るコストを計算する。Ｒｔによって表され、リターンと呼ばれる時間区間ｔ以後の累積割引報酬は、
【数４７】
2022501716.tif 000049
である。ここで、γ∈［０，１］は割引係数である。
【数４８】
2022501716.tif 000050
によって表される、行動ａおよび状態
【数４９】
2022501716.tif 000051
における価格決定方策πおよび入札方策
【数５０】
2022501716.tif 000052
の下でのＱ関数とも呼ばれる行動値関数が、以下の式として定義される予想リターンである。
【数５１】
2022501716.tif 000053
【００７１】
Ｑ＊（・，・）によって表される最適な価格決定方策π＊および最適な入札方策
【数５２】
2022501716.tif 000054
の下でのＱ関数は、ベルマン最適化方程式を満たす。
【数５３】
2022501716.tif 000055
ここで、
【数５４】
2022501716.tif 000056
は、状態が、
【数５５】
2022501716.tif 000057
を条件として、
【数５６】
2022501716.tif 000058
に遷移する確率であり、Ｓは状態空間である。
【００７２】
φが得られると、
【数５７】
2022501716.tif 000059
を学習する必要はないので、同時入札／価格決定問題は、本質的に、以下の性能関数を最大にするπを見つけることになる。
【数５８】
2022501716.tif 000060
この性能関数は、所与の入札方策および価格決定方策の下での予想リターンを与える。ＭＤＰ問題は、後に詳述する強化学習（ＲＬ）アルゴリズムを利用して解くことができる。
【００７３】
（入札／価格応答の学習アルゴリズム）
ＲＬアルゴリズムにおいて、遷移
【数５９】
2022501716.tif 000061
は、良好な方策の学習に極めて重要である。通常、良好な方策を学習するには、多数の遷移サンプルが必要とされる。遷移を得る１つの手法は、十分なサンプルが取得されるまで、実際の環境からオンラインでサンプリングを行うこと、すなわち、ＩＳＯおよびＥＵＣと直接インタラクトすることからサンプルを得ることである。しかしながら、この手法は、効率的な方法でサンプルを利用しない。加えて、これは、行動精査（action exploration）中にＬＳＥの大幅なコストを招くおそれがある。
【００７４】
代わりに、履歴データから入札応答関数ψおよび価格応答関数φを学習することができ、これらの学習された応答関数を実際の環境の代わりとして使用することができる。学習された応答関数は、これらの遷移サンプルを新たな遷移に一般化することができ、十分に正確である場合には、コスト増加を招くことなく、良好な入札方策および価格決定方策の学習を可能にする。応答関数学習問題は、教師あり学習問題として割り当てることができる。この学習アルゴリズムの目的は、出力の予測された値と実際の値との間の平均二乗誤差を最小にすることである。
【００７５】
ＷＥＭおよびＥＵＣの時間的挙動を明確に捕捉するために、時間とともに進展する状態を有する（５）および（６）に示すような動的な入札応答モデルおよび需要応答モデルが使用される。動的モデルにおける状態は、以前の時間区間からの必要な情報を保持し、ＷＥＭ応答およびＥＵＣ応答のより正確な予測を可能にする。これらの状態は、（５）および（６）に基づいて明確に選ぶことができる。この場合には、このモデルは、線形関数又は多層フィードフォワードニューラルネットワーク（ＦＮＮ）によって表すことができる。或いは、これらの状態は、暗黙的に選ぶことができ、この場合には、このモデルは、リカレントニューラルネットワーク（ＲＮＮ）又は長短期記憶（ＬＳＴＭ）ユニットネットワークによって表すことができる。
【００７６】
入札応答モデルは、卸売市場需給均衡結果とＬＳＥ入札との間の関係を表すのに使用される。このモデルは、次期時間区間における市場需給均衡された結果を出力として取り、次期区間のＬＳＥ入札および次期時間区間の前の時間区間における卸売市場需給均衡結果の双方を入力として取る。卸売需給均衡結果は、需給均衡された価格および電気／エネルギーの量を含む。次期時間区間の需給均衡された結果に対する以前の卸売市場需給均衡結果の影響、すなわち、卸売市場挙動の固有の時間相関、を考慮することによって、実際の入札応答と入札応答モデルを使用して計算された応答との間の不整合が削減される。
【００７７】
一方、価格応答モデルは、最終使用顧客の総エネルギー消費と小売価格との間の関係を表すのに使用される。このモデルは、総エネルギー消費を出力として取る。電気価格をその入力のうちの１つとして取ることに加えて、この関数は、ＥＵＣ挙動の固有の時間相関をシミュレーションするために、以前の時間区間における総エネルギー消費および価格も入力として取る。
【００７８】
図５は、本開示の幾つかの実施形態による、入札／価格応答関数のモデル化に使用されるＦＮＮおよびＲＮＮの構成を示す概略図である。例えば、ＦＮＮおよびＲＮＮの構成は、入札／価格応答関数のモデル化に使用される。入力ユニット５１０、出力ユニット５２０、全結合ユニット５３０、およびＲＮＮユニット５４０を含む４つの異なるユニットを、ＦＮＮ又はＲＮＮを構成するのに使用することができる。図６は、全結合層６１０および要素単位演算６２０が使用されるＬＳＴＭユニット６３０の構造を示している。
【００７９】
線形関数又は多層フィードフォワードニューラルネットワーク（ＦＮＮ）を使用するとき、入力および出力は明確に選ばれる。入札応答関数を学習するとき、入力は、
【数６０】
2022501716.tif 000062
および
【数６１】
2022501716.tif 000063
であり、出力は｛λｔ，ｑｔ，ｑτｂ｝である。価格応答関数を学習するとき、入力は、
【数６２】
2022501716.tif 000064
およびｖｔであり、出力はｄｔである。
【００８０】
図５を更に参照し、ＥＵＣの価格ベースの需要応答のモデル化を例に取ると、（４）に表された動的な需要応答関数φは、例えば、以下のように線形関数を使用して表すことができる。
【数６３】
2022501716.tif 000065
ここで、
【数６４】
2022501716.tif 000066
は重みベクトルであり、
【数６５】
2022501716.tif 000067
であり、ｂはバイアスであり、上付き文字
【数６６】
2022501716.tif 000068
はベクトル又は行列の転置を表す。
【００８１】
図５を更に参照すると、φは、図５の左部に示すように１つの入力層、Ｌ個の隠れ層、および１つの出力層からなる多層ＦＮＮ等の非線形関数を用いて表すこともできる。隠れ層ｌは、入力ベクトル
【数６７】
2022501716.tif 000069
５１０を取り込み、（隠れ）出力ベクトル
【数６８】
2022501716.tif 000070
を以下の式に従って計算する。
【数６９】
2022501716.tif 000071
ここで、ｒｅｌｕ（・）は、要素ごとに適用される正規化線形ユニット関数を表し、
【数７０】
2022501716.tif 000072
は重み行列であり、
【数７１】
2022501716.tif 000073
はバイアスベクトルである。最後の隠れ層を除いて、１つの隠れ層の出力ベクトルは次の隠れ層の入力ベクトルである。すなわち、
【数７２】
2022501716.tif 000074
であることに留意されたい。最後の隠れ層の出力は、以下のように全結合ユニットを通じて出力にマッピングされる。
【数７３】
2022501716.tif 000075
ここで、
【数７４】
2022501716.tif 000076
は重み行列である。
【数７５】
2022501716.tif 000077
はバイアスベクトルである。多層ＦＮＮは、予測された出力ｙｔと真の値ｄｔとの間の平均二乗誤差が最小になるようにバックプロパゲーションアルゴリズムを使用して、すなわち、以下の損失関数
【数７６】
2022501716.tif 000078
を最小にすることによって、トレーニングすることができる。
【数７７】
2022501716.tif 000079
ここで、ｍｔｒは、ＦＮＮトレーニングのサンプルの総数である。
【００８２】
或いは、動的需要応答は、ニューラルネットワーク内で暗黙的にモデル化することができる。このニューラルネットワークは、結果として、ＲＮＮ、すなわち、リカレントニューラルネットワークになる。図５の右部は、１つの入力層、Ｌ個の隠れ層、および１つの出力層を有する多層ＲＮＮを示している。
【数７８】
2022501716.tif 000080
によって表される層ｌにおけるＲＮＮユニットの隠れ状態は、図５における矢印によって示すように、次の層におけるＲＮＮユニットの入力および次の時間ステップにおけるそれ自体の入力である。このＲＮＮは、系列
【数７９】
2022501716.tif 000081
を入力として取り、系列｛ｙ０，．．．，ｙＴ−１｝を出力する。一方で、隠れ状態のＬ個の系列
【数８０】
2022501716.tif 000082
が、以下の式に基づいて軌線に沿って生成される。
【数８１】
2022501716.tif 000083
ここで、ｔａｎｈ（・）は要素ごとに適用される。
【数８２】
2022501716.tif 000084
および
【数８３】
2022501716.tif 000085
は重み行列である。
【数８４】
2022501716.tif 000086
はバイアスベクトルである。
【数８５】
2022501716.tif 000087
は０に初期化され、ｌ＝２，．．．，Ｌの場合に
【数８６】
2022501716.tif 000088
であり、
【数８７】
2022501716.tif 000089
であることに留意されたい。ＲＮＮにおける隠れ状態は、それらの値がそれらの以前の値にも依存するので動的である一方、ＦＮＮにおける隠れ状態は、それらの値が単に入力にしか依存しないので静的である。最後の隠れ状態ベクトルの出力は、多層ＦＮＮの場合と同様に、全結合ユニットを通じて出力にマッピングされる。ＲＮＮは、バックプロパゲーションスルータイム技法を使用して、（１８）と同じ損失関数を最小にすることによってトレーニングすることができる。入力ベクトルは、直近の情報のみ、すなわち、ＲＮＮが使用されるときは、ｎ＝１および
【数８８】
2022501716.tif 000090
のみを含まなければならない。
【００８３】
図５を更に参照すると、動的需要応答モデルを表す際のＲＮＮとＦＮＮとの間の少なくとも１つの重要な相違は、ＦＮＮが、一組の履歴データを入力として明確に指定することによって時間的影響を捕捉する一方、ＲＮＮは動的な隠れ状態を暗黙的に計算することによって時間的影響を保持することである。基本的なＲＮＮユニットの不備の１つは、長期の依存関係をモデル化することができないということである。基本的なＲＮＮユニットを大幅に改良したものとして、ＬＳＴＭが使用される。
【００８４】
図６は、本開示の幾つかの実施形態による、ＬＳＴＭユニットの構造を示す概略図である。例えば、多層ＬＳＴＭネットワークは、図５におけるＲＮＮと同様であり、ＲＮＮユニットがＬＳＴＭユニットに置き換えられている。ＬＳＴＭユニットの構造は図６に示され、図６において、σ（・）はシグモイド関数を表す。簡略化するために、層を示す上付き文字を削除し、１つのＬＳＴＭユニットの内部構造に焦点を当てることにする。ＬＳＴＭユニットは、長期記憶を維持するのに使用される新たな隠れ状態ベクトル
【数８９】
2022501716.tif 000091
を導入する。ＬＳＴＭユニットは次のように動作する。まず、忘却ゲートベクトル
【数９０】
2022501716.tif 000092
、情報ゲートベクトル
【数９１】
2022501716.tif 000093
、および出力ゲートベクトル
【数９２】
2022501716.tif 000094
が、以前の隠れ状態
【数９３】
2022501716.tif 000095
および新たな入力ベクトル
【数９４】
2022501716.tif 000096
から以下のように計算される。
【数９５】
2022501716.tif 000097
次に、２つの隠れ状態ベクトルが以下のように更新される。
【数９６】
2022501716.tif 000098
ここで、
【数９７】
2022501716.tif 000099
は要素ごとの乗算を表す。この構造は、長期の時間的依存関係を捕捉する際に非常に効果的であることが分かっており、したがって、動的なＤＲモデルを表すときに基本ＲＮＮユニットよりも性能が優れていると予想される。
【００８５】
同様に、入札応答関数も、需要応答関数と同様に直接的又は間接的な手法を使用してモデル化することができる。
【００８６】
図５および図６を更に参照すると、動的なモデルを使用して、本質的に時間相関するＩＳＯ又はＥＵＣの入札応答特性又は価格応答特性を、ＬＳＥ入札および価格決定のプロセスにおいて正確に考慮することができる。上述した手法の中で、ＦＮＮ、ＲＮＮ、およびＬＳＴＭは、モデルの複雑度がより高くなることを代償にして、線形関数よりも性能が優れている。特に、ＲＮＮ又はＬＳＴＭが使用されるとき、状態の手動の選択は必要とされない。
【００８７】
（同期された行動メカニズムの下での入札／価格決定方策の学習アルゴリズム）
入札応答関数および価格応答関数を取得した後、次に、価格決定方策πの学習アルゴリズムを論述することができる。最適な入札方策は、入札応答関数から直接導出することができるので、その結果、φにおけるパラメータ以外に、入札方策
【数９８】
2022501716.tif 000100
において追加のパラメータを学習する必要はない。πは、ベクトル
【数９９】
2022501716.tif 000101
によってパラメータ化されるものと仮定する。その場合、最適な価格決定方策を見つけることは、本質的に、
【数１００】
2022501716.tif 000102
の最適な値を見つけることである。
【数１０１】
2022501716.tif 000103
の（準最適な）値を見つけることができるＲＬアルゴリズムの１つのタイプは、性能関数Ｊ（π）を最大にする方向にパラメータベクトルを更新する方策勾配法である。Ｊの勾配は、決定論的方策勾配定理に従って計算することができる。具体的には、行動勾配と呼ばれる
【数１０２】
2022501716.tif 000104
に関するＪの勾配は、以下のとおりである。
【数１０３】
2022501716.tif 000105
【００８８】
性能関数Ｊの勾配は、知られておらず推定する必要がある行動値関数Ｑに依存することに留意されたい。深層決定論的方策勾配（ＤＤＰＧ）ベースのＲＬアルゴリズムが、同時入札／価格決定最適化問題を解くのに使用される。
【００８９】
図７Ａは、本開示の幾つかの実施形態による、同期された行動メカニズムの下での同時入札／価格決定アルゴリズムにおいて使用される構成要素のアクタークリティック構造およびインタラクションを示す図である。例えば、図７Ａは、ＤＤＰＧアルゴリズムの構造と、このアルゴリズムにおける各構成要素のインタラクションとを示している。ＤＤＰＧアルゴリズムでは、クリティック７３０がＱ関数を推定するのに使用されるとともにアクター７２０が方策を推定するのに使用されるアクタークリティックアーキテクチャが採用される。ニューラルネットワークが、これらの関数を近似するために採用される。同時入札／価格決定問題に特有のものとして、パラメータベクトル
【数１０４】
2022501716.tif 000106
を有するクリティックネットワーク７３６と呼ばれるニューラルネットワークによってＱ関数を表すことにする。クリティックネットワークのパラメータは、時間的差分学習等の方法を使用して推定することができる。一方、価格決定方策は、パラメータベクトル
【数１０５】
2022501716.tif 000107
を有する価格決定方策ネットワーク７２６と呼ばれるニューラルネットワークによって表される。入札方策も、学習された入札応答関数からなるニューラルネットワーク７２７によって表される。入札方策ネットワークおよび価格決定方策ネットワークは、アクターネットワークと総称される。価格決定方策ネットワークのパラメータは、方策勾配法を使用して推定することができる。
【００９０】
ニューラルネットワークを使用することに加えて、ＤＤＰＧアルゴリズムには、２つのより重要なアイデアがある。第１に、そのパラメータがアクターネットワークおよびクリティックネットワークのパラメータにゆっくりと追従するターゲットネットワークが、このアルゴリズムを安定させるために使用される。クリティックのターゲットネットワーク７３５のパラメータベクトルは、
【数１０６】
2022501716.tif 000108
によって表され、価格決定ネットワークのターゲットネットワーク７２５のパラメータベクトルは、
【数１０７】
2022501716.tif 000109
によって表される。第２に、リプレイバッファ
【数１０８】
2022501716.tif 000110
がＭＤＰの遷移を記憶するために使用され、各時点において、サイズｍのミニバッチが、
【数１０９】
2022501716.tif 000111
からサンプリングされ、勾配を推定するために使用される。トレーニングステージでは、ＷＥＭ７１５およびＥＵＣ７１６の代わりをするために応答関数が使用されることに留意されたい。ＷＥＭ７１５およびＥＵＣ７１６は環境７１０を構成する。ＷＥＭおよびＥＵＣの挙動は、リアルタイムの適用中に実際のデータ／測定値を使用して表すことができ、トレーニング又は予測を目的として入札応答関数および価格応答関数を使用してシミュレーションすることもできる。
【００９１】
図７Ａを更に参照すると、同時入札／価格決定問題を解くための詳細なＤＤＰＧベースのＲＬアルゴリズムが、アルゴリズム１に提示される。各ステップにおいて、
【数１１０】
2022501716.tif 000112
が、以下の損失関数
【数１１１】
2022501716.tif 000113
を最小にする方向に更新される。
【数１１２】
2022501716.tif 000114
【００９２】
これは、（１３）のベルマン最適化方程式を満たすクリティックネットワークを実際に見つけるためのものである。ターゲットネットワークは、行動値および次の行動、すなわち、
【数１１３】
2022501716.tif 000115
を計算するのに使用されることに留意されたい。一方、
【数１１４】
2022501716.tif 000116
は、性能関数Ｊを最大にする方向、具体的には、以下のようにサンプルを使用して近似される行動勾配の方向に更新される。
【数１１５】
2022501716.tif 000117
アルゴリズム１：ＤＤＰＧベースの方策学習アルゴリズム
入力：ψ，φ，αａ，αｃ，Ｍ，ｍ
出力：π
１．クリティックネットワーク
【数１１６】
2022501716.tif 000118
およびアクターネットワーク
【数１１７】
2022501716.tif 000119
を、それぞれ重み
【数１１８】
2022501716.tif 000120
および
【数１１９】
2022501716.tif 000121
を用いてランダムに初期化する。
２．ターゲットネットワークＱ’およびπ’を、それぞれ重み
【数１２０】
2022501716.tif 000122
および
【数１２１】
2022501716.tif 000123
を用いて初期化する。
３．リプレイバッファ
【数１２２】
2022501716.tif 000124
を初期化する
４．ｆｏｒ  ｅｐｉｓｏｄｅ＝１，．．．，Ｍ  ｄｏ
５．価格精査のためのランダム過程ζを初期化する
６．初期状態
【数１２３】
2022501716.tif 000125
を受信する。
７．ｆｏｒ  τ＝０，．．．，Ｔ−１  ｄｏ
８．小売エネルギー価格を
【数１２４】
2022501716.tif 000126
に従って選択する
９．卸売入札を
【数１２５】
2022501716.tif 000127
に従って選択する
１０．λτ，ｑτ，ｑτｂを
【数１２６】
2022501716.tif 000128
から取得し、ｄτを
【数１２７】
2022501716.tif 000129
から取得する
１１．報酬ｒτをｒτ＝（ｖτ−λτ）ｄτ−φτ（ｄτ−ｑτｑ）に従って計算する
１２．遷移
【数１２８】
2022501716.tif 000130
を    
【数１２９】
2022501716.tif 000131
に記憶する
１３．
【数１３０】
2022501716.tif 000132
である場合には、ｍ個の遷移
【数１３１】
2022501716.tif 000133
のミニバッチを
【数１３２】
2022501716.tif 000134
からサンプリングし、そうでない場合には、継続する
１４．
【数１３３】
2022501716.tif 000135
を最小にすることによってクリティックネットワークを更新する。すなわち、
【数１３４】
2022501716.tif 000136
１５．サンプリングされた勾配
【数１３５】
2022501716.tif 000137
を使用して、
【数１３６】
2022501716.tif 000138
を最大にすることによってアクターネットワークを更新する
１６．ターゲットネットワークを更新する。すなわち、
【数１３７】
2022501716.tif 000139
１７．τについて終了
１８．ｅｐｉｓｏｄｅについて終了
【００９３】
図７Ａを更に参照すると、アルゴリズム１は、図７Ａに従って方策ごとに１つのニューラルネットワークを個別に使用することによって、価格決定方策および入札方策を求めるように設計される。αａおよびαｃは、価格決定方策ネットワークおよびクリティックネットワークの学習レートである。ρは、ターゲットネットワークの更新レートである。ｍは、ミニバッチのサイズであり、Ｍは、方策トレーニングに使用されるｅｐｉｓｏｄｅの総数である。γは割引率である。
【００９４】
小売エネルギー価格を計算することは、環境から収集される状態が利用可能であり、入力として取られるときに、ステップ８において価格決定方策関数の出力として達成される。価格決定方策関数は、価格決定方策ネットワークによって表され、価格決定方策ネットワークは、ニューラルネットワークとして実施される。
【００９５】
卸売入札を計算することは、小売エネルギー価格および環境から収集される状態が入力として取られるときに、ステップ９において入札方策関数の出力として達成される。入札方策関数は、同様にニューラルネットワークとして実施される入札方策ネットワークによって表される。卸売入札は、入札価格および入札量の１つ以上の対、又は入札価格および入札量の関係を表す関数を含むことができる。卸売入札価格は、本開示では「ＬＳＥオファー額」とも呼ばれる。
【００９６】
クリティックネットワークおよびアクターネットワーク並びにクリティックターゲットネットワークおよびアクターターゲットネットワークの構成又はパラメータは、ステップ１０〜１６において、最新の情報を用いて適応的に更新される。
【００９７】
それがリアルタイムアプリケーションに使用されるとき、次期時間区間τの卸売入札および小売エネルギー価格を計算するには、ステップ８〜１６しか必要とされないことに留意されたい。一方、ステップ１０において使用される卸売需給均衡結果およびＥＵＣ総エネルギー消費は、実際の測定値又は情報を適時収集することができる場合には、実際のデータに置き換えることができる。
【００９８】
必要とされるニューラルネットワークを構築するために、限られた数の以前の時間区間が使用されるときは、ＦＮＮが使用され、全ての利用可能な以前の時間区間が使用されるときは、ＲＮＮ又はＬＳＴＭネットワークが使用されることに触れておくことにも価値がある。
【００９９】
図７Ａに与えられたＤＤＰＧ構造に基づくＤＤＰＧアルゴリズムの詳細のみが与えられるが、このアルゴリズムは、ＤＤＰＧ構造の任意の変形態様に容易に拡張することができる。図７Ｂは、本開示の幾つかの実施形態による、同期された行動メカニズムの下での同時入札／価格決定アルゴリズムにおいて使用される構成要素の代替のアクタークリティック構造およびインタラクションを示す図である。例えば、入札／価格決定方策は、１つのニューラルネットワークのみを使用して２つの方策を一括して推定することによって求めることもでき、複合入札／価格決定方策ネットワーク７２４、および関連した複合入札／価格決定ターゲット方策ネットワーク７２３を使用して、入札行動および価格決定行動を同時に生成することができる。
【０１００】
（同期されていない行動メカニズムの下でのＬＳＥの同時入札／価格決定）
上記アルゴリズムは、ＷＥＭ行動およびＲＥＭ行動を同時に決定するときに、同期された行動メカニズムが使用されると仮定することによって考案されている。図４Ｂに示すような同期されていない行動メカニズムが使用される場合には、それに応じて上記アルゴリズムを変更する必要がある。
【０１０１】
図４Ｂは、図４Ａと比較されるＷＥＭおよびＲＥＭの代替の市場設定を示している。この設定と図４Ａに示す設定との間の主な相違は次のとおりである。ＬＳＥは、ＷＥＭが需給均衡された後にＲＥＭ価格を掲示し、その結果、ＬＳＥは、ＲＥＭ価格を決定する前にＷＥＭに関するより最近の更新された情報を有することができる。加えて、ＬＳＥは、エネルギー蓄積システム等の分散型エネルギーリソースを制御する（４３５）能力を有し、したがって、ＲＥＭからの予期された総エネルギー消費と異なるエネルギー量をＷＥＭに入札することが可能になる。
【０１０２】
そのような設定の場合に、ＬＳＥの小売市場モデルは、エネルギーバランス制約を条件として、時間区間ｔ以後に得られるその利潤を最大にするように定式化することができる。この定式化は、数学的に以下のように表すことができる。
【数１３８】
2022501716.tif 000140
ＩＳＯへの支払いが、例えば、リアルタイム市場においてｑτｂではなく実際の総エネルギー消費ｄτに基づいて計算される場合には、転売から稼得された利潤は、（ｖτｄτ−λτｑτｂ）の代わりに（ｖτｄτ−λτｄτ）として求めることもできる。
【０１０３】
（２９）によれば、時間区間τにおけるλ、ｑｂ、およびｄｃ，
【数１３９】
2022501716.tif 000141
の値は、将来の時間区間におけるそれらの値に影響を与える。一方で、近視眼的なＬＳＥ、すなわち、現在の時間区間の利潤にのみ関係したＬＳＥの場合には、γは０に設定され、その結果、時間区間ｔにのみ関係した静的な最適化が得られる。ＬＳＥが遠視眼的である場合には、γ＞０である。一方、全ての将来の時間区間をここで考慮することができるが、νｔ＋１等のｔ以外の任意の時間区間に関係する決定は、直ちに実現されない。新たな情報が明らかにされると、将来の区間に関する決定を更に改善することができる。
【０１０４】
図４Ｂを更に参照すると、ＬＳＥは、パラメータベクトル
【数１４０】
2022501716.tif 000142
によって特徴付けられる入札ｆｔｂをＷＥＭに提出し（４１０）、次に、卸売エネルギー価格λｔおよび需給均衡されたエネルギー購入ｑｔｂ、並びに総需給均衡エネルギー販売／購入ｑｔを取得する。全ての市場参加者は、以前の時間区間における市場需給均衡結果に基づいて自身の入札／オファーを決定し、時間依存入札応答関数ψ（・）は、式（５）に定義された有限次数関数（finite-order functions）を使用して定義される。その一方で、ＬＳＥは、式（６）に定義された全てのＥＵＣの集合行動を特徴付けるためにφ（・）によって表される有限次数価格応答関数とすることができる。
【０１０５】
ＬＳＥによって解かれる同時入札／価格決定問題の目的は、全ての利用可能な情報に基づいて卸売入札および小売エネルギー価格を決定することである。時間区間ｔの前に、ＬＳＥに利用可能なＷＥＭに関係した情報は、∀τ≦ｔ−１の
【数１４１】
2022501716.tif 000143
、λτ、ｑτ、ｑτｂを含む。一方で、ＬＳＥに利用可能なＲＥＭに関係した情報は、∀τ≦ｔ−１のｖτ、ｄτを含む。時間区間ｔのＷＥＭが需給均衡される前にＬＳＥに利用可能な情報の集合を
【数１４２】
2022501716.tif 000144
によって表すことにする。
【数１４３】
2022501716.tif 000145
は、事前ＷＥＭ需給均衡情報セット（prior-WEM-clearing information set）と呼ばれる。一般に、小売エネルギー価格は、ＷＥＭ４２０の需給均衡後にＥＵＣ４２５に掲示される。これは、時間区間ｔの小売エネルギー価格を求めるときに、
【数１４４】
2022501716.tif 000146
に加えて、より多くの情報、具体的には、
【数１４５】
2022501716.tif 000147
、λｔ、ｑｔ、ｑｔｂをＬＳＥに与える。事後ＷＥＭ需給均衡情報セット（post-WEM-clearing information set）と呼ばれる
【数１４６】
2022501716.tif 000148
を定義することにする。
【０１０６】
入札方策は、
【数１４７】
2022501716.tif 000149
を    
【数１４８】
2022501716.tif 000150
にマッピングし、
【数１４９】
2022501716.tif 000151
によって表されるベクトル関数として以下のように定義され、
【数１５０】
2022501716.tif 000152
加えて、価格決定方策は、
【数１５１】
2022501716.tif 000153
をｖｔにマッピングし、μ（・）によって表されるスカラー関数として以下のように定義される。
【数１５２】
2022501716.tif 000154
ここで、μは
【数１５３】
2022501716.tif 000155
内のリターン値である。
【０１０７】
次に、同時入札／価格決定問題は、マルコフ決定過程（ＭＤＰ）として定式化される。ＭＤＰは、状態空間と、行動空間と、報酬関数と、マルコフ性、すなわち、現在の状態および行動が与えられると、次の状態が過去における全ての状態および行動から独立していることを満たす遷移確率関数とからなる。
【０１０８】
具体的には、時間区間ｔにおける状態を
【数１５４】
2022501716.tif 000156
であると定義し、対応する状態空間を
【数１５５】
2022501716.tif 000157
であると定義する。ここで、Ｒは実数の集合である。時間区間ｔの行動を
【数１５６】
2022501716.tif 000158
であると定義し、対応する行動空間を
【数１５７】
2022501716.tif 000159
であると定義する。ここで、Ωは、ＩＳＯによって指定される入札の実現可能パラメータの集合である。
【数１５８】
2022501716.tif 000160
およびａｔが与えられると、
【数１５９】
2022501716.tif 000161
が（５）および（６）を通じて求められる。したがって、マルコフ性は満たされる。しかしながら、ψおよびφの明確な形は知られていないし、確率変数の遷移確率も関与していないので、遷移確率関数は未知である。
【０１０９】
ＬＳＥの行動は、２つの構成要素
【数１６０】
2022501716.tif 000162
およびｖｔからなる。ここで、ｖｔは、
【数１６１】
2022501716.tif 000163
の後に決定される。前述したように、ｖｔを決定する時に、状態に関する新たな情報が利用可能であり、より多くの情報に基づく決定を行うのに使用することができる。時間区間ｔの中間状態を
【数１６２】
2022501716.tif 000164
と定義する。その結果、入札方策および価格決定方策は、等価的に以下のものとすることができる。
【数１６３】
2022501716.tif 000165
【０１１０】
同時入札／価格決定問題の少なくとも１つの目的は、ＬＳＥの利潤を最大にすることであり、したがって、時間区間ｔの報酬を
【数１６４】
2022501716.tif 000166
であると定義する。これは、時間区間ｔのＬＳＥによって得られる利潤である。Ｒｔによって表され、リターンと呼ばれる時間区間ｔ以後の累積割引報酬は、
【数１６５】
2022501716.tif 000167
である。
【数１６６】
2022501716.tif 000168
又は等価的に
【数１６７】
2022501716.tif 000169
によって表される、行動
【数１６８】
2022501716.tif 000170
および状態
【数１６９】
2022501716.tif 000171
における入札方策
【数１７０】
2022501716.tif 000172
および価格決定方策μの下での行動値関数は、以下のように定義される予想リターンである。
【数１７１】
2022501716.tif 000173
【０１１１】
次に、同時入札／価格決定問題は、本質的に、以下の性能関数を最大にする
【数１７２】
2022501716.tif 000174
およびμを見つけることになる。
【数１７３】
2022501716.tif 000175
【０１１２】
最適な同時の入札行動および価格決定行動を決定するのに使用される動的な入札応答モデルおよび需要応答モデルは、線形関数若しくは多層フィードフォワードニューラルネットワーク（ＦＮＮ）によって明確に表されるか、又は、リカレントニューラルネットワーク（ＲＮＮ）若しくは長短期記憶（ＬＳＴＭ）ユニットネットワークによって暗黙的に表される。入札応答関数を学習するときは、入力は
【数１７４】
2022501716.tif 000176
であり、出力は（λｔ，ｑｔ，ｑｔｂ）である。価格応答関数を学習するときは、入力は
【数１７５】
2022501716.tif 000177
およびｖｔであり、出力はｄｔである。
【０１１３】
次に、深層決定論的方策勾配（ＤＤＰＧ）ベースのＲＬアルゴリズムが、入札方策
【数１７６】
2022501716.tif 000178
および価格決定方策μの学習を通じて同時入札／価格決定問題を解くために使用される。
【０１１４】
【数１７７】
2022501716.tif 000179
およびμは、ベクトル
【数１７８】
2022501716.tif 000180
および
【数１７９】
2022501716.tif 000181
によってパラメータ化されるものと仮定する。その場合、最適な入札方策および価格決定方策を見つけることは、本質的には、
【数１８０】
2022501716.tif 000182
および
【数１８１】
2022501716.tif 000183
の最適な値を見つけることである。方策勾配法は、
【数１８２】
2022501716.tif 000184
および
【数１８３】
2022501716.tif 000185
の（準最適な）値を見つけるために使用される。これらのパラメータを、
【数１８４】
2022501716.tif 000186
を最大にする方向に更新する。決定論的方策の場合、Ｊの勾配は、決定論的方策勾配定理を使用して計算することができる。決定論的方策は、通常、サンプル効率に関して確率的方策よりも性能が優れており、タスクの制御にはより望ましい。決定論的方策勾配定理によれば、行動勾配と呼ばれる、
【数１８５】
2022501716.tif 000187
および
【数１８６】
2022501716.tif 000188
に関するＪの勾配は、以下のように求められる。
【数１８７】
2022501716.tif 000189
ここで、
【数１８８】
2022501716.tif 000190
は、方策
【数１８９】
2022501716.tif 000191
に従った
【数１９０】
2022501716.tif 000192
の後の中間状態である。性能関数Ｊの勾配は、知られておらず推定する必要がある行動値関数Ｑに依存することに留意されたい。同時入札／価格決定問題は、アクタークリティックアーキテクチャを有するＤＤＰＧアルゴリズムを使用して解かれる。
【０１１５】
図８Ａは、本開示の幾つかの実施形態による、同期されていない行動メカニズムの下で同時入札／価格決定アルゴリズムにおいて使用される構成要素のアクタークリティック構造およびインタラクションを示す図である。例えば、クリティック８３０が行動値関数を推定するために使用され、アクター８２０が方策を推定するために使用され、ニューラルネットワークがこれらの関数を近似するために採用される。同時入札／価格決定問題に特有のものとして、行動値関数は、クリティックネットワーク８３５と呼ばれる、パラメータベクトル
【数１９１】
2022501716.tif 000193
を有するニューラルネットワークによって表される。クリティックネットワークにおけるパラメータは、時間的差分学習等の方法を使用して推定することができる。一方で、入札方策および価格決定方策は、重みがそれぞれ
【数１９２】
2022501716.tif 000194
および
【数１９３】
2022501716.tif 000195
である入札方策ネットワーク８２７および価格決定方策ネットワーク８２５とそれぞれ呼ばれる１つのニューラルネットワークによってそれぞれ表される。アクターネットワークと総称される入札方策ネットワークおよび価格決定方策ネットワークにおけるパラメータは、方策勾配法を使用して推定することができる。ＤＤＰＧアルゴリズムでは、そのパラメータがアクターネットワークおよびクリティックネットワークのパラメータにゆっくりと追従するターゲットネットワークが、このアルゴリズムを安定させるために使用される。クリティックのターゲットネットワーク８３６のパラメータベクトルは、
【数１９４】
2022501716.tif 000196
によって表され、入札方策ネットワークのターゲットネットワーク８２８および価格決定方策ネットワークのターゲットネットワーク８２６のパラメータは、それぞれ
【数１９５】
2022501716.tif 000197
および
【数１９６】
2022501716.tif 000198
によって表される。リプレイバッファ
【数１９７】
2022501716.tif 000199
も、ＭＤＰの遷移を記憶するために使用され、各時点において、サイズｍのミニバッチが、
【数１９８】
2022501716.tif 000200
からサンプリングされ、勾配を推定するために使用される。
【０１１６】
同期されていない行動メカニズムの下で同時入札／価格決定問題を解く詳細なＤＤＰＧベースのＲＬアルゴリズムが、アルゴリズム２に提示される。各ステップにおいて、
【数１９９】
2022501716.tif 000201
が、以下の損失関数
【数２００】
2022501716.tif 000202
を最小にする方向に更新される。
【数２０１】
2022501716.tif 000203
【０１１７】
ターゲットネットワークが次の時間ステップの行動値を計算するために使用されることに留意されたい。また、
【数２０２】
2022501716.tif 000204
によって表される
【数２０３】
2022501716.tif 000205
の推定された値が使用される。なぜならば、入札方策
【数２０４】
2022501716.tif 000206
に従った
【数２０５】
2022501716.tif 000207
の後の真の中間状態は知られていないからである。
【数２０６】
2022501716.tif 000208
は、トレーニング／適合された入札応答関数を使用して推定される。中間状態の推定された値は、同じ理由で行動勾配を評価するときにも使用される。
アルゴリズム２：代替のＤＤＰＧベースの方策学習アルゴリズム
入力：ψ，φ，αａ，αｃ，Ｍ，ｍ
出力：π，μ
１．クリティックネットワーク
【数２０７】
2022501716.tif 000209
、入札方策ネットワーク
【数２０８】
2022501716.tif 000210
、および価格決定方策ネットワーク
【数２０９】
2022501716.tif 000211
を、それぞれ重み
【数２１０】
2022501716.tif 000212
、    
【数２１１】
2022501716.tif 000213
および
【数２１２】
2022501716.tif 000214
を用いてランダムに初期化する。
２．ターゲットネットワークＱ’、π’およびμ’を、それぞれ重み
【数２１３】
2022501716.tif 000215
、    
【数２１４】
2022501716.tif 000216
、および
【数２１５】
2022501716.tif 000217
を用いて初期化する。
３．リプレイバッファ
【数２１６】
2022501716.tif 000218
を初期化する
４．ｆｏｒ  ｅｐｉｓｏｄｅ＝１，．．．，Ｍ  ｄｏ
５．行動精査のための２つのランダム過程ζおよび
【数２１７】
2022501716.tif 000219
を初期化する
６．初期状態
【数２１８】
2022501716.tif 000220
を受信する。
７．ｆｏｒ  τ＝０，．．．，Ｔ−１  ｄｏ
８．パラメータ
【数２１９】
2022501716.tif 000221
を有する卸売入札を選択する
９．卸売入札
【数２２０】
2022501716.tif 000222
をＷＥＭに提出し、ＷＥＭ需給均衡結果λτ、ｑτおよびｑτｂ、
【数２２１】
2022501716.tif 000223
を観察する
１０．小売エネルギー価格ｖτ、
【数２２２】
2022501716.tif 000224
を選択する
１１．ｖτをＲＥＭに掲示し、ＥＵＣの総エネルギー消費ｄτ、
【数２２３】
2022501716.tif 000225
を観察する
１２．報酬ｒτ、ｒτ＝ｖτｄτ−λτｑτｑ−φτ（ｄτ−ｑτｑ）を計算する
１３．遷移
【数２２４】
2022501716.tif 000226
を    
【数２２５】
2022501716.tif 000227
に記憶する
１４．
【数２２６】
2022501716.tif 000228
である場合には、ｍ個の遷移
【数２２７】
2022501716.tif 000229
のミニバッチを
【数２２８】
2022501716.tif 000230
からサンプリングし、そうでない場合には、継続する
１５．推定された中間状態
【数２２９】
2022501716.tif 000231
を計算する
１６．損失
【数２３０】
2022501716.tif 000232
を最小にすることによってクリティックネットワークを更新する。すなわち、
【数２３１】
2022501716.tif 000233
１７．サンプリングされた勾配
【数２３２】
2022501716.tif 000234
を使用してＪ、
【数２３３】
2022501716.tif 000235
を最大にすることによって入札方策ネットワークおよび価格決定方策ネットワークを更新する。すなわち、
【数２３４】
2022501716.tif 000236
１８．ターゲットネットワークを更新する。すなわち、
【数２３５】
2022501716.tif 000237
１９．τについて終了
２０．ｅｐｉｓｏｄｅについて終了
【０１１８】
アルゴリズム２は、図８Ａに従って別々のニューラルネットワークを使用して価格決定方策および入札方策を求めるように設計される。
【０１１９】
卸売入札を計算することは、環境から収集される状態が入力として取られるときに、ステップ８において入札方策関数の出力として達成される。入札方策関数は、ニューラルネットワークとして実施される入札方策ネットワークによって表される。卸売入札は、入札価格および入札量の１つ以上の対、又は入札価格および入札量の関係を表す関数を含むことができる。卸売入札価格は、本開示では「ＬＳＥオファー額」とも呼ばれる。
【０１２０】
小売エネルギー価格を計算することは、環境から収集される状態および計算された卸売入札が利用可能であり、入力として取られるときに、ステップ１０において価格決定方策関数の出力として達成される。価格決定方策関数は、価格決定方策ネットワークによって表され、価格決定方策ネットワークは、同様にニューラルネットワークとして実施される。
【０１２１】
クリティックネットワークおよびアクターネットワーク並びにクリティックターゲットネットワークおよびアクターターゲットネットワークの構成又はパラメータは、ステップ１１〜１８において、最新の情報を用いて適応的に更新される。
【０１２２】
それがリアルタイムアプリケーションに使用されるとき、次期時間区間τの卸売入札および小売エネルギー価格を計算し、次の時間区間の準備をするには、ステップ８〜１８しか必要とされないことに留意されたい。一方、ステップ９およびステップ１１において使用される卸売需給均衡結果およびＥＵＣの総エネルギー消費は、実際の測定値又は情報を適時収集することができる場合には、実際のデータに置き換えることができる。
【０１２３】
加えて、ニューラルネットワークは、限られた数の以前の時間区間が使用されるときは、ＦＮＮを使用することによって表され、全ての利用可能な以前の時間区間が使用されるときは、ＲＮＮ又はＬＳＴＭネットワークを使用することによって表される。
【０１２４】
同様に、アルゴリズム２は、ＤＤＰＧ構造の任意の変形態様に容易に拡張することができる。図８Ｂは、本開示の幾つかの実施形態による、同期されていない行動メカニズムの下での同時入札／価格決定アルゴリズムにおいて使用される構成要素の代替のアクタークリティック構造およびインタラクションを示す図である。例えば、入札／価格決定方策を、一括して求めることもでき、複合入札／価格決定方策ネットワーク８２４、および関連した複合入札／価格決定ターゲット方策ネットワーク８２３を使用して、入札行動および価格決定行動を同時に生成する。
【０１２５】
（例示のシミュレーション）
開示された同時入札／価格決定アルゴリズムの適用は、多層フィードフォワードニューラルネットワークが入札応答関数および価格応答関数、並びに入札方策ネットワークおよび価格決定方策ネットワークを表すのに使用される、同期されたＷＥＭおよびＲＥＭ行動メカニズムの下での数値シミュレーションを通じて示すことができる。
【０１２６】
ＷＥＭモデルは、それぞれが１人の販売者に対応する６９個の発電機と、それぞれが１人の購入者に対応する１９５個の負荷とを有する３００バス試験システムに基づいて構築される。例示を目的として、各オファー／入札は、オファー／入札価格（単位＄／ＭＷｈ）およびエネルギー量（単位ＭＷ）の対であると仮定する。その場合、卸売入札
【数２３６】
2022501716.tif 000238
は、入札価格および入札量からなる２次元ベクトルである。販売者のオファー量は、試験システムにおける発電機容量から取得され、オファー価格は、［１０，３０］＄／ＭＷｈから均一にサンプリングされる。購入者の入札量は、実用システムの履歴負荷から取得され、それらのピーク値は試験の場合の定格負荷にスケーリングされ、入札価格は、［２０，４０］＄／ＭＷｈから均一にサンプリングされる。加えて、そのピーク値が総発電機容量の５０％に等しい非弾性負荷も加えられる。システム損失および線路輻輳は、ＷＥＭ需給均衡問題では無視され、発電容量限界のみが考慮される。検討中のＬＳＥは１００のＥＵＣに応対するものと仮定する。受注残率ηｔｃは、［０，０．５］から均一にサンプリングされる。新たに発電される増分したエネルギーニーズξｔｃは、［０．１，２］ＭＷから均一にサンプリングされた値によってスケーリングされるとともに０．１のスケーリングされた標準偏差を有するゼロ平均ガウス雑音とともに付加される、実用システムからの履歴増分した負荷を使用してシミュレーションされる。利益関数は、以下の２次形式を取る。
【数２３７】
2022501716.tif 000239
ここで、κｔｃ（単位＄／ＭＷｈ２）は、１０の平均および１の標準偏差を有するガウス分布からサンプリングされ、
【数２３８】
2022501716.tif 000240
は、［２０，３０］＄／ＭＷｈから均一にサンプリングされる。エネルギー消費の実現可能集合は、
【数２３９】
2022501716.tif 000241
である。
【０１２７】
他のパラメータは次のように設定される。Ｔ＝２４であり、すなわち、１日は２４個のセグメントに分解され、φｔ（ｘ）＝５|ｘ|であり、すなわち、ＲＥＭにおける総エネルギー消費が、ＷＥＭにおいて購入されたエネルギー量から１ＭＷ逸脱した場合に、ＬＳＥは＄５の損失を受ける。冬季における３ヶ月間の実用システムからの履歴負荷データが使用される冬季シナリオと、夏季における３ヶ月間の実用システムからの履歴負荷データが使用される夏季シナリオとの２つのシナリオが作成される。双方のシナリオにおいて、最初の２ヶ月からのデータはトレーニング用に使用される一方、最後の月からのデータは試験用に使用される。
【０１２８】
応答関数は、入札方策および価格決定方策の学習プロセス中に実際の環境に取って代わり、また、ＭＤＰ定式化において状態を求めるのにも使用されるので、極めて重要である。応答関数は、ニューラルネットワークを使用して表され、パラメータは、バックプロパゲーションアルゴリズムを使用して学習される。応答関数の適用を示すために、まず、（１）におけるＷＥＭモデルを使用してＷＥＭの履歴データの集合、すなわち、
【数２４０】
2022501716.tif 000242
が生成され、（４）におけるＥＵＣモデルを使用してＲＥＭの履歴データの集合、すなわち、｛ｖτ、ｄτ｝が生成される。ＷＥＭのデータを生成するとき、検討中のＬＳＥからの入札量が、［０，８０］ＭＷから均一にサンプリングされ、入札価格が［２０，４０］＄／ＭＷｈから均一にサンプリングされる。
【０１２９】
それぞれが１２８個のニューロンからなる２つの隠れ層を有するニューラルネットワークが、入札応答関数として使用される。０．０１のスケールを有するＬ２正則化項が使用される。正規化線形ユニット（ＲｅＬＵ：Rectified linear unit）が、２つの隠れ層および出力層の活性化関数として使用される。０．００１の学習レートを有するアダム最適化器が、１００００ステップについてニューラルネットワークをトレーニングするために採用される。応答関数の性能が、実際の応答と予測された応答との間の絶対誤差の平均および標準偏差によって測定される。表Ｉは、入札応答関数の異なる次数（order）の下での卸売エネルギー価格における絶対誤差の平均および標準偏差を示している。冬季シナリオおよび夏季シナリオにおけるトレーニングデータの平均卸売エネルギー価格は、それぞれ２２．９８＄／ＭＷｈおよび２３．７２＄／ＭＷｈであり、冬季シナリオおよび夏季シナリオにおける試験データの平均卸売エネルギー価格は、それぞれ２２．６３＄／ＭＷｈおよび２３．４０＄／ＭＷｈである。ゼロ次入札応答関数は、ＷＥＭ需給均衡結果を予測するときは時間および入札に関する情報のみを利用することに留意されたい。応答関数の次数が増加するにつれて、絶対誤差の平均および標準偏差の双方が減少する。しかし、次数が双方のシナリオにおいて１よりも大きいとき、減少は大きくない。したがって、この場合の入札応答関数の適切な次数はｎ１＝１である。
【０１３０】
価格ベースの需要応答関数に採用されるニューラルネットワークは、各隠れ層におけるニューロンの数が２５６個であり、Ｌ２正則化項のスケールが０．００１であることを除いて、入札応答関数のものと同様である。このニューラルネットワークは、２００００ステップについて０．０００２の学習レートを用いてトレーニングされる。表ＩＩは、価格応答関数の異なる次数の下での総エネルギー消費における絶対誤差の平均および標準偏差を示している。冬季シナリオおよび夏季シナリオにおけるトレーニングデータの平均総エネルギー消費は、それぞれ４０．７５ＭＷおよび５０．４５ＭＷであり、冬季シナリオおよび夏季シナリオにおける試験データの平均総エネルギー消費は、それぞれ３８．１６ＭＷおよび４７．０８ＭＷである。ゼロ次価格応答関数は、総エネルギー消費を予測するときは時間および価格に関する情報のみを利用する。入札応答関数について行った議論と同様に、価格応答関数の適切な次数はｎ２＝１である。
【０１３１】
【表１】
2022501716.tif 000243
【０１３２】
【表２】
2022501716.tif 000244
【０１３３】
応答関数の適切な次数は、ケースごとに変化する場合があり、ここに提示する手順に従って履歴データから求める必要があることを強調しておく。学習された応答関数に基づくと、状態は
【数２４１】
2022501716.tif 000245
である。
【０１３４】
価格決定方策ネットワークおよびクリティックネットワークは、それぞれ２つの隠れ層を有し、各隠れ層は１２８個のニューロンを有する。ＲｅＬＵは、全ての隠れ層の活性化関数として使用される。価格決定方策ネットワークの出力層は、活性化関数としてｔａｎｈ関数を採用する一方、クリティックネットワークの出力層は、いずれの活性化関数も使用しない。０．０１のスケールを有するＬ２正則化項が、クリティックネットワークに使用される。価格決定方策ネットワークおよびクリティックネットワークの学習レートは、それぞれ０．０００１および０．００１である。入札方策ネットワークは、本質的に、入札価格を小売エネルギー価格にマッピングし、入札量を、価格応答関数を使用して得られる推定された総エネルギー消費にマッピングすることに留意されたい。したがって、入札部分のパラメータをトレーニングする必要はない。最低価格は２０＄／ＭＷｈであり、最高価格は４０＄／ＭＷｈである。ターゲットネットワークの更新レートは０．００１である。ミニバッチのサイズは６４に選ばれる。割引率は０．９である。この方策は２００個のｅｐｉｓｏｄｅにわたってトレーニングされる。
【０１３５】
試験結果を図９Ａ、図９Ｂ、図９Ｃおよび図９Ｄに示す。試験の間、小売エネルギー価格を定数に設定し、小売エネルギー価格に等しい入札価格と、価格応答関数を使用して得られる推定された総エネルギー消費に等しい入札量とを提出するベースラインの入札／価格決定方策を用いて、開示された方法論のベンチマークテストが行われる。
【０１３６】
図９Ａは、本開示の幾つかの実施形態による、ベースライン方策およびＲＬ方策の下での累積報酬を示す図である。図９Ａの横軸９１１はエネルギー価格を表し、図９Ａの縦軸９１３は累積報酬を表す。プロット９１２および９１８、９１０および９１６は、それぞれ冬季シーズンおよび夏季シーズンにおけるベースライン方策およびＲＬ方策の報酬を表す。図９Ａは、ＲＬ方策と呼ばれるＤＤＰＧアルゴリズムによって学習される方策と、様々な不変価格を有するベースライン方策との下での１日の間の中間報酬の合計である累積報酬のボックスプロットを提示している。ＲＬ方策の下での平均累積報酬は、２つのシナリオの双方におけるベースライン方策の下での平均累積報酬よりも高い。具体的には、冬季シナリオおよび夏季シナリオにおけるＲＬ方策の下での平均累積報酬は、それぞれ７．１１１ｋ＄および８．４８５ｋ＄である一方、ベースライン方策の下での最高平均累積報酬は、それぞれ６．９１４ｋ＄および８．０４１ｋ＄である。
【０１３７】
通常の１日の間のＲＬ方策の下での卸売エネルギー価格および小売エネルギー価格が図９Ｂに示される一方、同じ日の間の入札量および総エネルギー消費が図９Ｃに示される。３５＄／ＭＷｈの不変価格を有するベースライン方策の下での総エネルギー消費も、図９Ｃにプロットされている。
【０１３８】
図９Ｂは、本開示の幾つかの実施形態による、通常の１日の間のＲＬ方策の下での卸売エネルギー価格および小売エネルギー価格を示す図である。例えば、図９Ｂの横軸９２１は、その１日の時刻を表し、図９Ｂの縦軸９２３は、ＷＥＭ又はＲＥＭのエネルギー価格を表す。曲線９２０および９２６、９２２および９２８は、それぞれ冬季シナリオおよび夏季シナリオの下でのＷＥＭおよびＲＥＭの価格を表す。
【０１３９】
図９Ｃは、本開示の幾つかの実施形態による、通常の１日の間の入札量および総エネルギー消費を示す図である。例えば、図９Ｃの横軸９３１は、その１日の時刻を表し、図９Ｃの縦軸９３３は、エネルギー量を表す。曲線９３０および９３５、９３２および９３７、９３４および９３９は、それぞれ冬季シナリオおよび夏季シナリオの下での入札量、ＲＬ方策を使用したエネルギー消費および固定価格方策を使用したエネルギー消費を表す。
【０１４０】
ここで、図９Ｂおよび図９Ｃを参照して、２つの所見を述べる。第１に、最適な小売エネルギー価格は、卸売エネルギー価格と同様の傾向を有する。これは、累積報酬がこれらの２つの価格の差に依存することから当然である。第２に、ＲＬ方策の下での総エネルギー消費は、ベースライン方策の下での総エネルギー消費よりも低い変動を有し、その結果、負荷曲線はより滑らかになっている。これらの現象は、他の日のほとんどにおいても観察される。
【０１４１】
前述したように、長期挙動を考慮することは、将来の報酬が考慮されない近視眼的意思決定と比較して有益である。これを示すために、γ＝０．９を有するＲＬ方策の下での累積報酬と、近視眼的方策、すなわち、等価的にγ＝０を有するＲＬ方策の下での累積報酬とが比較される。
【０１４２】
図９Ｄは、本開示の幾つかの実施形態による、累積報酬に対する割引係数の影響を示す図である。例えば、図９Ｄは、累積報酬に対する割引係数の影響を示し、図９Ｄの横軸９４１はその月の日付を表し、図９Ｄの縦軸９４３は累積報酬を表す。曲線９４０および９４６、９４２および９４８は、それぞれ冬季シナリオおよび夏季シナリオの下での近視眼的戦略および長期戦略の累積報酬を表す。
【０１４３】
図９Ｄに示すように、γ＝０．９を有するＲＬ方策は、２つのシナリオの双方において近視眼的方策よりも性能が優れている。これは、同時入札／価格決定問題をＭＤＰとしてモデル化するという動機を確かに正当化するものである。
【０１４４】
図１０Ａは、本開示の実施形態による方法およびシステムの幾つかの技法を実施するのに用いることができるコンピューティング装置１０００Ａを非限定例として示す概略図である。コンピューティング装置又はデバイス１０００Ａは、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。
【０１４５】
コンピューティングデバイス１０００Ａは、電力源１００８、プロセッサ１００９、メモリ１０１０、記憶デバイス１０１１を備えることができる。これらは全てバス１０５０に接続されている。さらに、高速インターフェース１０１２、低速インターフェース１０１３、高速拡張ポート１０１４および低速接続ポート１０１５をバス１０５０に接続することができる。また、低速拡張ポート１０１６がバス１０５０と接続されている。特定の用途に応じて、非限定例として共通のマザーボード１０３０に実装することができる様々な構成要素の構成が考えられる。またさらに、入力インターフェース１０１７を、バス１０５０を介して外部受信機１００６および出力インターフェース１０１８に接続することができる。受信機１０１９を、バス１０５０を介して外部送信機１００７および送信機１０２０に接続することができる。外部メモリ１００４、外部センサ１００３、機械１００２および環境１００１もバス１０５０に接続することができる。さらに、１つ以上の外部入力／出力デバイス１００５をバス１０５０に接続することができる。ネットワークインターフェースコントローラ（ＮＩＣ）１０２１は、バス１０５０を通じてネットワーク１０２２に接続するように適合することができ、特にデータ又は他のデータは、コンピュータデバイス１０００Ａの外部のサードパーティーディスプレイデバイス、サードパーティー撮像デバイス、および／又はサードパーティー印刷デバイス上にレンダリングすることができる。
【０１４６】
メモリ１０１０は、コンピュータデバイス１０００Ａによって実行可能な命令、履歴データ、並びに本開示の方法およびシステムによって利用することができる任意のデータを記憶することができると考えられる。メモリ１０１０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。メモリ１０１０は、単数若しくは複数の揮発性メモリユニットおよび／又は単数若しくは複数の不揮発性メモリユニットとすることができる。メモリ１０１０は、磁気ディスク又は光ディスク等の別の形態のコンピュータ可読媒体とすることもできる。
【０１４７】
図１０Ａを更に参照すると、記憶デバイス１０１１は、コンピュータデバイス１０００Ａによって用いられる補助データおよび／又はソフトウェアモジュールを記憶するように適合することができる。例えば、記憶デバイス１０１１は、本開示に関して上述したような履歴データおよび他の関連データを記憶することができる。加えて又は代替的に、記憶デバイス１０１１は、本開示に関して上述したようなデータと同様の履歴データを記憶することができる。記憶デバイス１０１１は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせを含むことができる。さらに、記憶デバイス１０１１は、ストレージエリアネットワーク又は他の構成におけるデバイスを含めて、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、若しくはテープデバイス、フラッシュメモリ若しくは他の同様の固体メモリデバイス、又はデバイスのアレイ等のコンピュータ可読媒体を含むことができる。命令は情報担体に記憶することができる。命令は、１つ以上の処理デバイス（例えば、プロセッサ１００９）によって実行されると、上記で説明した方法等の１つ以上の方法を実行する。
【０１４８】
システムは、任意選択で、このシステムをディスプレイデバイス１０２５およびキーボード１０２４に接続するように適合されたディスプレイインターフェース又はユーザインターフェース（ＨＭＩ）１０２３にバス１０５０を通じてリンクすることができる。ディスプレイデバイス１０２５は、特に、コンピュータモニタ、カメラ、テレビ、プロジェクタ、又はモバイルデバイスを含むことができる。
【０１４９】
図１０Ａを更に参照すると、コンピュータデバイス１０００Ａは、バス１０５０を通じてプリンタインターフェース（図示せず）に接続するとともに、印刷デバイス（図示せず）に接続するように適合されたユーザ入力インターフェース１０１７を備えることができる。印刷デバイスは、特に、液体インクジェットプリンタ、固体インクプリンタ、大型商用プリンタ、サーマルプリンタ、ＵＶプリンタ、又は昇華型プリンタを含むことができる。
【０１５０】
高速インターフェース１０１２は、コンピューティングデバイス１０００Ａの帯域幅消費型動作を管理する一方、低速インターフェース１０１３は、より低い帯域幅消費型動作を管理する。そのような機能の割り当ては一例にすぎない。幾つかの実施態様では、高速インターフェース１０１２は、メモリ１０１０、ユーザインターフェース（ＨＭＩ）１０２３に結合することができ、（例えば、グラフィックスプロセッサ又はアクセラレータを通じて）キーボード１０２４およびディスプレイ１０２５に結合することができ、高速拡張ポート１０１４に結合することができる。この高速拡張ポートは、バス１０５０を介して様々な拡張カード（図示せず）を受容することができる。この実施態様では、低速インターフェース１０１３は、バス１０５０を介して記憶デバイス１０１１および低速拡張ポート１０１６に結合されている。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、無線イーサネット）を含むことができる低速拡張ポート１０１５は、１つ以上の入力／出力デバイス１００５、および他のデバイス、キーボード１０２４、ポインティングデバイス（図示せず）、スキャナ（図示せず）に結合することもできるし、スイッチ又はルーター等のネットワーク接続デバイスに、例えば、ネットワークアダプタを通じて結合することもできる。
【０１５１】
図１０Ａを更に参照すると、コンピューティングデバイス１０００Ａは、この図に示すように、複数の異なる形態で実施することができる。例えば、このコンピューティングデバイスは、標準的なサーバ１０２６として実施することもできるし、そのようなサーバが複数個ある一群のサーバとして実施することもできる。加えて、このコンピューティングデバイスは、ラップトップコンピュータ１０２７等のパーソナルコンピュータにおいて実施することができる。このコンピューティングデバイスは、ラックサーバシステム１０２８の一部として実施することもできる。或いは、コンピューティングデバイス１０００Ａからの構成要素は、モバイルコンピューティングデバイス等のモバイルデバイスにおける他の構成要素と組み合わせることができる。そのようなデバイスのそれぞれは、コンピューティングデバイス１０００Ａおよびモバイルコンピューティングデバイスのうちの１つ以上を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイスから構成することができる。
【０１５２】
図１０Ｂは、本開示の実施形態による、ネットワーク概観を含むシステムおよび方法を実施するのに使用することができる幾つかのコンピューティングデバイスを示すブロック図である。ローカルリソース割り当て市場（ＬＲＡＭ）１０５１を実施するネットワークの一例は、中央コンピュータ１０４２を含むことができ、すなわち、２つ以上の中央コンピュータ、並びに、ネットワーク化コンピュータ１０４４、１０４６、１０４８、１０５０および１０５２に通信接続されたネットワーク１０４９とすることができる。中央コンピュータ１０４２は、ＬＲＡＭ１０５１を管理および運用することができ、非限定的な例として、ネットワーク化コンピュータ１０４４、１０４６、１０４８、１０５０および１０５２に関連した電気負荷若しくはリソースを提供するか又はそれらの電気負荷若しくはリソースが設けられる電力システムを管理する運用機関（operator：オペレーター）と関連付けることができる。中央コンピュータ１０４２は、電力システム内の１つ以上のバス、１つ以上のタイプの変電所に関連付けることができる。また、ネットワーク１０４９は、非限定的な例として、電気デバイス、発電機等と接続されたコンピューティングハードウェアを含むことができ、このコンピューティングハードウェアは、本開示のシステムおよび方法を実行するように構造化された集積回路を含むことができる。中央コンピュータ１０４２は、コンピューティングデバイス１０４６、１０４８とすることができる最終使用消費者（ＥＵＣ）に関連付けられたコンピューティングデバイスから入札又は要求を受信することができ、コンピューティングデバイス１０４４、１０５０および１０５２とすることができる電力生産者／供給者に関連付けられたコンピューティングデバイスからオファーを受信することができる。運用機関又は中央コンピュータ１０４２は、次に、電力が送電される値を計算することができ、この送電される値をコンピューティングデバイス１０４４、１０４６、１０４８、１０５０および１０５２に送信することができる。送電される値は、現在の時間区間又は次の次期時間区間の電力の実際の価格、すなわち「需給均衡価格」を指す。時間区間は変動する可能性があり、例えば、３０分、１５分、１０分周期又は５分周期とすることができることに留意されたい。中央コンピュータ１０４２は、コンピューティングデバイス１０４４、１０４６、１０４８、１０５０および１０５２が、需要入札又は供給オファーを計算するのに使用することができる。中央コンピュータ１０４２は、ネットワーク化コンピュータに送信することができる将来の市場データ等の他のデータも有することができる。さらに、中央コンピュータ１０４２に、有線ネットワーク接続（例えば、イーサネットＩＥＥＥ規格８０２．３又は他の適切な規格）又は無線ネットワーク接続を使用するローカルエリアネットワーク（「ＬＡＮ：Local Area Network」）として使用することができるネットワーク１０４９を介してアクセスすることができる。
【０１５３】
例えば、上述したように、最終使用消費者（ＥＵＣ）は、コンピューティングデバイス１０４６、１０４８を使用して、それらの現在の電気ニーズに基づいてそれらの負荷供給事業体（ＬＳＥ）に電気、すなわち、電気デバイスに電力を供給する電気を要求することができる。コンピューティングデバイス１０４６、１０４８は、ＬＳＥに電気を要求するのに使用することができるトランザクティブ（transactive）コントローラ又はアクティブコントローラとすることができる。すなわち、トランザクティブコントローラは、ＬＳＥに入札を送信することが可能であるのに対して、アクティブコントローラは、入札の計算又はＬＳＥへの送信が可能でない機器を制御するのに使用されるが、適応的制御戦略から援助することができる。ＥＵＣは、それらが必要とする電気の量を、例えば、ウェブサイトを通じて入力し、ウェブサイトは、ＥＵＣの要求を、インターネットを介して、負荷供給事業体（ＬＳＥ）が電気を割り当てるのに使用する中央コンピュータ１０４２に送信する。そのような場合に、要求は、非一時的コンピュータ可読媒体（例えば、メモリ又は記憶装置）に記憶されたコンピュータ実行可能命令を実行することによって計算および送信することができる。電気要求は、必要とされる電気の量および要求される価格を含む。中央コンピュータ１０４２は、ＥＵＣに関連付けられたコンピューティングデバイス１０４６、１０４８から電気入札を受信することができ、電気／電力に関連付けられたコンピューティングデバイスからコンピューティングデバイス１０４４、１０５０および１０５２を介して電気オファーを受信することができることが可能である。
【０１５４】
図１０Ｂを更に参照すると、１０００Ｂは、送受信機１０５６Ａと通信するハードウェアプロセッサ１０５４Ａを含むコンピューティングデバイス１０５２Ａ（トランザクティブコントローラ又はアクティブコントローラ等のコントローラとすることができるコンピューティングデバイス１０５２）を含む。送受信機１０５６Ａは、電気デバイスが動作するエリアに関係した環境１００１からデータを収集するセンサ１００２又は複数のセンサと通信することができる。センサ１００２は、入力を信号に変換し、この信号は、メモリ１０５８Ａに記憶することができる。メモリ１０５８Ａが、アルゴリズム、命令および他のデータを含む記憶されたデータを含むように、ハードウェアプロセッサ１０５４Ａは、ハードウェアプロセッサ１０５４Ａによって実装することができるコンピュータ記憶メモリ、すなわちメモリ１０５８Ａと通信する。コンピューティングデバイス１０５２Ａは、コントローラ１０６０Ａ、外部メモリデバイス１０６２Ａ、ネットワーク対応サーバ１０６４Ａおよびクライアントデバイス１０６８Ａを更に含むことができる。
【０１５５】
ハードウェアプロセッサ１０５４Ａは、特定のアプリケーションの要件に応じて２つ以上のハードウェアプロセッサを含むことができることが考えられ、これらのプロセッサは、内部のものとすることもできるし、外部のものとすることもできる。他のデバイスの中でも特に出力インターフェースおよび送受信機を含む他の構成要素をシステム１０００Ｂに組み込むことができることは確かである。
【０１５６】
ネットワーク１０４９は、非限定例として、１つ以上のローカルエリアネットワーク（ＬＡＮ）および／又はワイドエリアネットワーク（ＷＡＮ：wide area networks）を含むことができることが可能である。ネットワーク接続環境は、企業全体のコンピュータネットワーク、イントラネットおよびインターネットと同様のものとすることができる。言及した全ての構成要素について、任意の数のクライアントデバイス、記憶構成要素、およびデータ源をシステム１０００Ｂ内で用いることができることが考えられる。それぞれは、単一のデバイスを含むこともできるし、分散環境において協働する複数のデバイスを含むこともできる。さらに、システム１０００Ｂは、１つ以上のデータ源（図示せず）を備えることができる。データ源は、入札応答関数および価格応答関数を表すようにニューラルネットワークをトレーニングするためのデータリソースを備えることができる。データ源によって提供されるデータは、履歴卸売入札および需給均衡された価格およびエネルギー量、並びに履歴小売エネルギー価格および総エネルギー消費を含むことができる。
【０１５７】
本開示は、既存の技術および技術分野、例えば、トランザクティブコントローラを使用する電力グリッド管理および電気デバイス制御の分野を改良する。例えば、コンピューティングハードウェアは、提出されたオファー額と小売価格との比較に基づいて電気デバイスを起動および起動停止する。具体的には、本開示のシステムおよび方法の構成要素は、電気デバイスに関連したトランザクティブコンピューティングデバイスを使用して最終使用電気デバイスの制御を改良するために有効に適用され、これによって、ひいては、電力グリッド管理が改良される。さらに、本開示のシステムおよび方法のステップは、電気デバイスに関連したコンピューティングハードウェアによって実行される。
【０１５８】
（特徴）
本開示の態様によれば、ユーザ選択所望動作レベルは、第１のユーザ所望動作レベルおよび第２のユーザ所望動作レベルから選択することができ、第２のユーザ所望動作レベルは、ユーザが、第１の所望の動作レベルと比較して、電気デバイスの所望動作レベルを達成するためにより多くの対価を支払うことを選択したレベルを表す。
【０１５９】
本開示の別の態様は、ＬＲＡＭは、独立系統運用機関（ＩＳＯ）によって運用される卸売電力市場（ＷＥＭ）であり、ユーザのユーザ選択所望動作レベルは、ＲＥＭにおける電気の最終使用顧客（ＥＵＣ）消費者であることを含みことができ、オファー額および小売価格は、負荷供給事業体（ＬＳＥ）によって利用される。さらに、一態様は、ＬＲＡＭは、リアルタイム電力市場又は１日前電力市場であるものとすることができる。
【０１６０】
本開示の別の態様は、電気デバイスは、空調ユニット、暖房ユニット、温水ヒーター、冷蔵庫、自動皿洗い機、洗濯機、ドライヤー、オーブン、電子レンジ、ポンプ、家庭用照明システム、電気自動車充電器、１つ以上の市販電気システム又は家庭用電気システムのうちの１つであることを含むことができる。さらに、一態様は、現在の環境データは、ユーザロケーションの環境データと、次期時間区間のユーザロケーションの予想環境データとを含むことができる。
【０１６１】
一態様は、記憶された履歴エネルギー先物市場データは、過去のエネルギー先物市場情報および過去のＬＲＡＭ情報を含むものとすることができ、オファー額を計算することは、過去のエネルギー先物市場情報からのオファー額情報に少なくとも部分的に基づくとともに過去のＬＲＡＭからのオファー額情報に少なくとも部分的に基づいて行われることが可能である。エネルギー先物市場情報からのオファー額情報は、リアルタイム電力市場からの固定時間枠からのオファー情報を含み、ＬＲＡＭ情報からのオファー額情報は、ローリング時間枠のオファー額情報を含む。
【０１６２】
別の態様は、オファー額および小売価格は、負荷供給事業体（ＬＳＥ）によって利用され、少なくとも１つのエネルギーバランス制約を条件とする、次期時間区間から開始する将来の利潤のＬＳＥ期待値と、小売価格と需給均衡されたＬＲＡＭ価格との間の差、並びに次期時間区間についてユーザによって消費される電気の量およびＬＲＡＭからの電気の需給均衡された価格に対応する需給均衡された電気の量に基づいて求められる次期時間区間の将来の利潤とを最大にすることによって同時に計算されることを含むことができる。一態様は、ユーザによって消費される電気の量は、小売価格と、次期時間区間よりも前の時間区間においてユーザによって消費された電気の量と、次期時間区間の計算された小売価格との動的需要応答関数であることを含むことができることが可能である。さらに、一態様は、動的な需要応答関数は、限られた数の以前の時間区間が使用されるときは多層フィードフォワードニューラルネットワークによって、又は、全ての利用可能な以前の時間区間が使用されるときはリカレントニューラルネットワーク（ＲＮＮ）若しくは長短期記憶（ＬＳＴＭ）ユニットネットワークによって、教師あり学習手法を使用して学習されるものとすることができる。
【０１６３】
一態様は、ＬＲＡＭからの電気の需給均衡された価格および電気の量は、次期時間区間の前の時間区間におけるＬＲＡＭによる電気の需給均衡された価格および量と、次期時間区間のＬＲＡＭへのオファー額との動的な入札応答関数であることを含むことができることが可能である。動的な入札応答関数は、限られた数の以前の時間区間が使用されるときは多層フィードフォワードニューラルネットワークによって、又は、全ての利用可能な以前の時間区間が使用されるときはリカレントニューラルネットワーク（ＲＮＮ）若しくは長短期記憶（ＬＳＴＭ）ユニットネットワークによって、教師あり学習手法を使用して学習される。
【０１６４】
さらに、別の態様は、負荷供給事業体（ＬＳＥ）のオファー額および小売価格は、同時に求められ、小売価格は、以前の状態情報に基づいて価格決定方策を使用して最初に計算され、オファー額は、その後に、以前の状態情報および計算された小売価格に基づいて入札方策を使用して計算されるものとすることができ、以前の状態情報は、次期時間区間の前の全ての時間区間のＬＳＥオファー額、ＬＲＡＭ需給均衡された価格および量、ユーザによって消費された電気の量、並びに小売価格を含む。
【０１６５】
別の態様は、負荷供給事業体（ＬＳＥ）のオファー額および小売価格は、同時に求められ、オファー額は、以前の状態情報に基づいて入札方策を使用して計算され、小売価格は、以前の状態情報、オファー額、並びに需給均衡された価格および量に基づいて価格決定方策を使用して計算されることを含むことができ、以前の状態情報は、次期時間区間の前の全ての時間区間のＬＳＥオファー額、ＬＲＡＭ需給均衡された価格および量、ユーザによって消費された電気の量、並びに小売価格を含む。
【０１６６】
別の態様は、負荷供給事業体（ＬＳＥ）の小売価格は、現在の状態情報に基づいて価格決定方策によって計算されることを含むことができ、状態情報は、次期時間区間に対する過去の対応する時間区間におけるユーザによる過去の個別のユーザ選択所望動作レベルと、次期時間区間に対する過去の対応する時間区間における小売電力市場（ＲＥＭ）での電気の過去の個別のＬＳＥ小売価格決定データと、次期時間区間に対する過去の対応する時間区間におけるＬＲＡＭからの電気の過去の需給均衡された価格決定データとを含む。
【０１６７】
一態様は、オファー額および小売価格の計算は、マルコフ決定過程を定式化することによって同時に行われ、アクタークリティック構造を有する深層決定論的方策勾配手法を使用して解かれることを含むことができることが可能であり、アクターは、オファー額および小売価格の候補を決定するニューラルネットワークによって実施され、クリティックは、性能を改善するようにニューラルネットワークのパラメータを調整するために、候補オファー額および候補小売価格のパフォーマンスを評価するニューラルネットワークによって実施される。アクターは、価格決定方策ネットワーク、入札方策ネットワーク、および価格決定方策ターゲットネットワークを含み、クリティックは、クリティックネットワークおよびクリティックターゲットネットワークを含み、ＬＳＥによって得られる全体の利潤を改善するように、価格決定方策ネットワークが、小売価格を計算するために最初に使用され、その後、入札方策ネットワークが、計算された小売価格を用いてオファー額を計算するために使用される。
【０１６８】
またさらに、アクターは、価格決定方策ネットワーク、入札方策ネットワーク、価格決定方策ターゲットネットワーク、および入札方策ターゲットネットワークを含み、クリティックは、クリティックネットワークおよびクリティックターゲットネットワークを含み、ＬＳＥによって得られる全体の利潤を改善するように、入札方策ネットワークが、オファー額を計算するために最初に使用され、その後、価格決定方策ネットワークが、計算されたオファー額に対応するＬＲＡＭからの需給均衡された価格および量を用いて小売価格を計算するために使用される。
【０１６９】
一態様は、オファー額を計算することは、オファー額を得るために、ユーザ選択所望動作レベルと、現在の環境データと、ローカルリソース割り当て市場（ＬＲＡＭ）への過去のオファー額およびＬＲＡＭによる電気の過去の需給均衡価格決定の時刻間相関挙動を求めるのに使用される記憶された履歴エネルギー先物市場データとを含む、次期時間区間の複数のファクタに基づいていることを含むことができる。
【０１７０】
（定義）
請求項１に記載のプロセッサは、非限定的な例として、本開示において説明されたアルゴリズムを実施するようにコンピュータを駆動する基本命令に応答して基本命令を処理するコンピュータハードウェア、すなわち、論理回路機構とすることができる。
【０１７１】
電気デバイスのユーザ選択所望動作レベルは、非限定的な例として、ユーザが決定する動作レベル、すなわち、冷感又は温感等のユーザ所望の感知感覚に従った電気の量を含む。ユーザは、温度、湿度等に従ったユーザ固有の要望に従って、ヒーターデバイス若しくは同様のデバイス、冷却デバイス若しくは同様のデバイス、又はそれらの双方等のデバイスの動作をユーザ所望の動作レベルに変更する。小売エネルギー価格の変化に従って、ユーザは、それに応じて利益を最大にするように動作レベルを変更することができる。次期時間区間の動作レベルは、次期時間区間の所与の小売エネルギー価格とともに価格応答関数を使用して求めることができる。
【０１７２】
次期時間区間は、現在時点における現在の時間区間又は現在の時間区間の前の時刻である過去の時間区間に相対する将来における時間区間である。
【０１７３】
オファー額を計算することは、ユーザ選択所望動作レベルで次期時間区間について電気デバイスを動作させるために供給される電気、すなわち電気の量が利用可能である値、すなわち価格を表すものを求めることを指す。オファー額は、入札量、すなわち、本明細書におけるユーザ選択所望動作レベルとともに、入札価格として卸売入札に含まれる。非限定的な例として、オファー額を計算することは、「卸売入札を計算すること」とラベル付けされた本明細書のセクションタイトルにおいて見ることができる。ただし、幾つかのセクションは、ラベル付けされていない場合がある。オファー額を計算することは、アルゴリズム１に記載したような深層強化学習プロセス内で小売価格を計算することと同時に実施されるか、又は、異なる同期メカニズムによるアルゴリズム２では、卸売市場行動と小売市場行動との間で使用される。
【０１７４】
リアルタイムアプリケーションの間、同期された行動メカニズムが卸売市場と小売市場との間で使用されるとき、次期時間区間のオファー額を計算することおよび小売価格を計算することは、以下の連続したステップを通じて達成される。
１．ＤＤＰＧアルゴリズム、および次期時間区間よりも前の履歴データを使用して、価格決定方策ネットワーク、入札方策ネットワークおよびクリティックネットワーク、並びに価格決定方策ターゲットネットワークおよびクリティックターゲットネットワークをトレーニング又は更新する。
２．次期時間区間よりも前のオファー額、需給均衡された卸売価格および卸売量、小売エネルギー価格、並びに小売エネルギー価格に対応するユーザ選択所望動作レベルを含む状態を環境から受信する。
３．環境から収集された状態が入力として取得されると、価格決定方策関数の出力を使用して価格を設定することによって小売エネルギー価格を計算する。価格決定方策関数は価格決定方策ネットワークによって表され、価格決定方策ネットワークはニューラルネットワークとして実施される。
４．計算された小売エネルギー価格、および環境から収集された状態が入力として取得されると、入札方策関数の出力を使用してオファー額を設定することによってオファー額を計算する。入札方策関数は、ニューラルネットワークとして実施される入札方策ネットワークによって表される。
【０１７５】
同様に、同期されていない行動メカニズムが卸売市場と小売市場との間で使用されるとき、次期時間区間のオファー額を計算することおよび小売価格を計算することは、以下の連続したステップを使用して達成される。
１．ＤＤＰＧアルゴリズム、および次期時間区間よりも前の履歴データを使用して、価格決定方策ネットワーク、入札方策ネットワークおよびクリティックネットワーク、並びに価格決定方策ターゲットネットワーク、入札方策ターゲットネットワークおよびクリティックターゲットネットワークをトレーニング又は更新する。
２．次期時間区間よりも前のオファー額、需給均衡された卸売価格および卸売量、小売エネルギー価格、並びに小売エネルギー価格に対応するユーザ選択所望動作レベルを含む状態を環境から受信する。
３．環境から収集された状態が入力として取得されると、入札方策関数の出力を使用してオファー額を設定することによってオファー額を計算する。入札方策関数は、ニューラルネットワークとして実施される入札方策ネットワークによって表される。
４．環境から収集された状態および計算されたオファー額が入力として取得されると、価格決定方策関数の出力を使用して価格を設定することによって小売エネルギー価格を計算する。価格決定方策関数は価格決定方策ネットワークによって表され、価格決定方策ネットワークはニューラルネットワークとして実施される。
【０１７６】
小売価格を計算することは、電気デバイスを動作させる電気の小売価格を求めることを指す。非限定的な例として、小売価格を計算することは、「小売価格を計算すること」とラベル付けされた本明細書のセクションタイトルにおいて見ることができる。ただし、幾つかのセクションは、ラベル付けされていない場合がある。小売価格を計算することは、アルゴリズム１に記載した深層強化学習プロセス内でオファー額を計算することと同時に実施されるか、又は、異なる行動同期メカニズムによるアルゴリズム２が、卸売市場と小売市場との間で使用される。詳細なステップは、オファー額を計算することに関する上記段落において見ることができる。
【０１７７】
ローカルリソース割り当て市場（ＬＲＡＭ）による電気の需給均衡価格は、運用機関によって需給均衡された価格であり、小売価格の計算を援助するために使用される価格である。電気の需給均衡価格は、卸売電力市場から購入され、その後、小売電力市場において転売される電気の需給均衡されたエネルギー量とともに求められる。例えば、電気（電力およびエネルギーの双方）は、購入、販売、および取引可能な商品である。電力市場は、一般に金銭交換又は債券交換の形態による購入入札を通じた購入、販売オファーを通じた販売、および短期取引を可能にするシステムである。入札およびオファーは、需要と供給の原理を使用して価格を設定する。電気の卸売取引（入札およびオファー）は、通常、市場運用機関又はその機能を独占的に担当する専用の独立した団体によって需給均衡および決済される。市場運用機関は、取引を需給均衡させないが、多くの場合に、発電および負荷のバランスを維持するために取引の知識を必要とする。例えば、市場の需給均衡は、購入構成要素および販売構成要素の双方の編成から開始することができる。購入者は、最も高い価格から最も低い価格に編成することができる。販売者は、最も低い価格から最も高い価格に編成することができる。その場合、１つの手法は、これらの編成された価格に関連した量を累算した合計によって購入者曲線および販売者曲線を作成するものとすることができる。これらの曲線は、必要な入力データが受信されると計算および記憶される曲線のコンピュータ使用可能表現として実施することができる。これらの曲線の表現は、値の群又は他のデータ要素若しくはデータ構造を含むことができる。２つのソートされた曲線は、その後、重ね合わせるか又は別の方法で解析して、曲線間の交点を求めることができる。一般に、市場は、市場の購入曲線および販売曲線の交点で需給均衡を行う。電力市場内の商品は、一般に電力およびエネルギーの２つのタイプからなる。電力は、任意の所与の瞬間におけるメーター計測された正味電気伝達レートであり、メガワット（ＭＷ）で測定される。エネルギーは、所与の時間区間の間にメーター計測点を通って流れる電気であり、メガワット時（ＭＷｈ）で測定される。エネルギー関連商品の市場は、通常、５分、１５分および６０分刻みの複数の区間の正味発電出力を取引する。
【０１７８】
ＬＲＡＭによる電気の過去の需給均衡価格決定は、過去時からの電気の需給均衡価格決定、すなわち、その時間における電気の履歴需給均衡価格決定である。
【０１７９】
ＲＥＭにおける電気の需給均衡価格は、ＲＥＭにおいて需給均衡された小売価格であり、ユーザは、所望の動作レベルにおいて電気デバイスを動作させる実際のエネルギー消費の代金をこの価格で請求される。
【０１８０】
ＲＥＭにおける電気の過去の需給均衡価格決定は、過去時からのＲＥＭにおける電気の需給均衡価格決定、すなわち、その時間におけるＲＥＭにおける電気の履歴需給均衡価格決定である。
【０１８１】
ローカルリソース割り当て市場（ＬＲＡＭ）へのオファー額と、ＬＲＡＭによる電気の需給均衡された価格および量との時刻間相関挙動は、オファー額と電気の需給均衡された価格および量との間に時間依存関係があることを指す。例えば、所与の時間区間の電気の需給均衡された価格および量は、その所与の時間区間のオファー額だけでなく、所与の時間区間よりも前の時間区間におけるオファー額並びに電気の需給均衡された価格および量にも依存する。
【０１８２】
ユーザによるユーザ選択所望動作レベルと、ＲＥＭにおける電気の価格決定と、ＬＲＡＭによる電気の需給均衡価格決定との時刻間相関挙動は、ユーザによるユーザ選択所望動作レベルと、ＲＥＭにおける電気の価格決定と、ＬＲＡＭによる電気の需給均衡価格決定との間に時間依存関係があることを指す。例えば、所与の時間区間のＲＥＭにおける電気の価格決定は、その所与の時間区間におけるＬＲＡＭによる電気の需給均衡価格決定と、以前の時間区間におけるユーザ選択所望動作レベル、ＬＲＡＭによる電気の需給均衡価格決定、およびＲＥＭにおける電気の価格決定とに関係する。
【０１８３】
エネルギーバランス制約は、非限定的な例として、卸売電力市場から購入された電気／エネルギーの量が小売電力市場に販売される電気／エネルギーの量に等しくなければならず、何らかの不整合が、ＥＵＣの総電力消費を調整することによって低減されなければならないか又は追加のコストとともに請求されなければならないことを指す。総電力消費を調整することは、電気デバイスのユーザ動作レベルを調整すること、時間区間ごとにエネルギー使用量をシフトすること、ＬＳＥによって所有される蓄電装置の充放電ステータスを調整すること、又はＬＳＥによって所有される分散型エネルギーリソースの動作レベルを調整することのいずれかを通じて達成することができる。
【０１８４】
提出されたオファー額を小売価格と比較することは、非限定的な例として、提出されたオファー額と小売価格との間に相違があるか否かを判断することを含むことができる。相違がある場合には、小売価格に基づいてユーザの利益を最大にするように、ユーザ動作レベルに対する調整が必要とされる。
【０１８５】
電気デバイスを起動又は起動停止することは、実際のユーザ動作レベルを調整するために、提出されたオファー額と小売価格とに関する比較結果に基づいて行うことができる。電気デバイスの起動又は起動停止は、電気を供給することによる電気デバイスの起動、若しくは、電気を供給しないことによる電気デバイスの起動停止、又は、電気デバイスの幾つかの構成要素の起動／起動停止を含むことができる。ユーザ所望動作レベルは、動的な需要応答関数を所与の小売価格とともに使用することによって求めることができる。例えば、ユーザは、複数の電気ヒーターからなる電気デバイスを有する。このユーザは、小売価格に対応する需要応答関数によって求められた電気の量と一致するように、幾つかのヒーターをオン又はオフに切り替えることによって、ユーザ動作レベルを調整することができる。
【０１８６】
（実施形態）
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨および範囲から逸脱することなく要素の機能および配置に行うことができる様々な変更が意図されている。
【０１８７】
以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、および他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、既知のプロセス、構造、および技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号および名称は、同様の要素を示す。
【０１８８】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。
【０１８９】
さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、機械、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、機械可読媒体に記憶することができる。プロセッサが、それらの必要なタスクを実行することができる。
【０１９０】
さらに、本開示の実施形態および本明細書において説明された機能動作は、本明細書に開示された構造およびそれらの構造的均等物を含むデジタル電子回路機構、有形に具現化されたコンピュータソフトウェア若しくはファームウェア、コンピュータハードウェア、又はそれらのうちの１つ以上のものの組み合わせにおいて実施することができる。さらに、本開示の幾つかの実施形態は、データ処理装置によって実行されるか又はデータ処理装置の動作を制御する１つ以上のコンピュータプログラム、すなわち、有形の非一時的プログラム担体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。またさらに、プログラム命令は、データ処理装置による実行のために、適した受信機装置への送信用の情報を符号化するように生成される人工的に生成された伝播信号、例えば、機械によって生成された電気信号、光信号、又は電磁信号において符号化することができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶デバイス基板、ランダムアクセスメモリデバイス若しくはシリアルアクセスメモリデバイス、又はそれらのうちの１つ以上のものの組み合わせとすることができる。
【０１９１】
本開示の実施形態によれば、用語「データ処理装置」は、データを処理する全ての種類の装置、デバイス、および機械を包含することができ、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む。
【０１９２】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、又はコードと呼称又は記載される場合もある）は、コンパイラー型言語若しくはインタープリター型言語、又は宣言型言語若しくは手続型言語を含む任意の形態のプログラミング言語で記述することができ、スタンドアローンプログラムとしての形態、又は、モジュール、構成要素、サブルーチン、若しくはコンピューティング環境における使用に適した他のユニットとしての形態を含む任意の形態で配備することができる。コンピュータプログラムは、ファイルシステムにおけるファイルに対応する場合があるが、必ずしも対応する必要はない。プログラムは、他のプログラム又はデータ、例えば、マークアップ言語ドキュメントに記憶された１つ以上のスクリプトを保持するファイルの一部分に記憶することもできるし、問題となっているプログラムに専用化された単一のファイルに記憶することもできるし、複数のコーディネートファイル、例えば、１つ以上のモジュール、サブプログラム、又はコード部分を記憶するファイルに記憶することもできる。コンピュータプログラムは、１つのコンピュータ上で実行されるように配備することもできるし、１つのサイトに配置された複数のコンピュータ上で、又は、複数のサイトにわたって分散されて通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように配備することもできる。コンピュータプログラムの実行に適したコンピュータは、例として、汎用マイクロプロセッサ若しくは専用マイクロプロセッサ若しくはそれらの双方、又は他の任意の種類の中央処理装置を含む。一般に、中央処理装置は、リードオンリーメモリ若しくはランダムアクセスメモリ又はそれらの双方から命令およびデータを受け取る。コンピュータの必須素子は、命令を遂行又は実行する中央処理装置と、命令およびデータを記憶する１つ以上のメモリデバイスとである。一般に、コンピュータは、データを含むか、又は、データを記憶する１つ以上のマスストレージデバイス、例えば、磁気ディスク、光磁気ディスク、若しくは光ディスクからのデータの受信若しくはそれらへのデータの転送若しくはそれらの双方を行うように作動結合される。ただし、コンピュータは、必ずしもそのようなデバイスを有するとは限らない。その上、コンピュータは、別のデバイスに組み込むことができ、例えば、数例を挙げると、モバイル電話機、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオプレーヤ若しくはモバイルビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又はポータブル記憶デバイス、例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブに組み込むことができる。
【図１Ａ】
2022501716.tif 000246
【図１Ｂ】
2022501716.tif 000247
【図１Ｃ】
2022501716.tif 000248
【図２】
2022501716.tif 000249
【図３】
2022501716.tif 000250
【図４Ａ】
2022501716.tif 000251
【図４Ｂ】
2022501716.tif 000252
【図５】
2022501716.tif 000253
【図６】
2022501716.tif 000254
【図７Ａ】
2022501716.tif 000255
【図７Ｂ】
2022501716.tif 000256
【図８Ａ】
2022501716.tif 000257
【図８Ｂ】
2022501716.tif 000258
【図９Ａ】
2022501716.tif 000259
【図９Ｂ】
2022501716.tif 000260
【図９Ｃ】
2022501716.tif 000261
【図９Ｄ】
2022501716.tif 000262
【図１０Ａ】
2022501716.tif 000263
【図１０Ｂ】
2022501716.tif 000264
【国際調査報告】
2022501716.tif 000265
2022501716.tif 000266
2022501716.tif 000267