(57)【特許請求の範囲】
【請求項１】
発電及び／又は電力消費が行われる拠点における電力売買を管理する電力取引管理システムであって、
前記拠点において発電した電力を蓄電するため、及び／又は蓄電された電力を前記拠点において消費するため、に用いられる蓄電装置と、
電力の購入時は前記拠点外から電力の供給を受けて前記蓄電装置に蓄電するとともに、電力の販売時は、前記蓄電装置に蓄電された電力を前記拠点外に放出するように電力の流入出を制御する電力制御部と、
電力の購買量又は売却量と購買価格又は売却価格とを示す情報を含む取引条件を決定する電力取引管理部と、を備え、
前記電力取引管理部は、
前記蓄電装置における蓄電残量を示す情報を含む状態情報から前記取引条件を決定するための方策に従って、前記状態情報から前記取引条件を決定する決定部と、
前記決定部によって決定した取引条件を前記拠点外の電力取引市場コンピュータに送信する送信部と、
前記電力取引市場コンピュータにおいて決済された決済量及び決済価格を、前記電力取引市場コンピュータから受信する受信部と、
前記受信部によって受信した決済量に応じた電力の流入出を電力制御部に行わせる取引実行処理部と、を備え、
前記決定部は、前記受信部によって受信した決済価格から算出される取引収支を含む報酬値が、最大化するように、前記状態情報から前記取引条件を決定するための方策の強化学習を行い、
前記報酬値は、前記取引収支に加えて、前記蓄電装置における蓄電量の容量オーバ発生、及び／又は前記蓄電装置における蓄電量不足発生が罰則値として反映されたものであることを特徴とする電力取引管理システム。
【請求項２】
前記取引条件は、電力の購買量又は売却量と、購買価格又は販売価格と、の関係を規定した入札曲線として表されたものである請求項１に記載の電力取引管理システム。
【請求項３】
前記取引条件は、購入可能な最大限の電力量における購入価格と、売却可能な最大限の電力量における売却価格と、を示す情報を含んだものである請求項１又は２に記載の電力取引管理システム。
【請求項４】
前記強化学習の学習則は、方策勾配法である請求項１〜３のいずれか１項に記載の電力取引管理システム。
【請求項５】
前記強化学習の学習則は、Ｎａｔｕｒａｌ  Ａｃｔｏｒ−Ｃｒｉｔｉｃである請求項１〜４のいずれか１項に記載の電力取引管理システム。
【請求項６】
購入した電力を蓄電装置に蓄電するとともに前記蓄電装置に蓄電された電力を販売するために行われる電力の流入出を制御する電力制御部を管理する管理装置であって、
前記蓄電装置の蓄電残量を示す情報を含む状態情報に基づいて、電力の購買量又は売却量と購買価格又は売却価格とを示す情報を含む取引条件を決定する決定部と、
前記決定部によって決定した取引条件を、電力取引市場コンピュータに送信する送信部と、
前記電力取引市場コンピュータにおいて決済された決済量及び決済価格を、前記電力取引市場コンピュータから受信する受信部と、
前記受信部によって受信した決済量に応じた電力の流入出を前記電力制御部に行わせる取引実行処理部と、を備え、
前記決定部は、前記受信部によって受信した決済価格から算出される取引収支を含む報酬値が、最大化するように、前記状態情報から前記取引条件を決定するための方策の強化学習を行い、
前記報酬値は、前記取引収支に加えて、前記蓄電装置における蓄電量の容量オーバ発生、及び／又は前記蓄電装置における蓄電量不足発生が罰則値として反映されたものであることを特徴とする管理装置。
【請求項７】
発電及び／又は電力消費が行われる拠点において発電した電力を蓄電するため、及び／又は蓄電された電力を前記拠点において消費するため、に用いられる蓄電装置と、
電力の購入時は前記拠点外から電力の供給を受けて前記蓄電装置に蓄電するとともに、電力の販売時は、前記蓄電装置に蓄電された電力を前記拠点外に放出するように電力の流入出を制御する電力制御部と、
電力の購買量又は売却量と購買価格又は売却価格とを示す情報を含む取引条件を決定する電力取引管理部と、を備えた電力取引管理システムにおける、電力取引方法であって、
前記電子取引管理部が、前記蓄電装置における蓄電残量を示す情報を含む状態情報から前記取引条件を決定するための方策に従って、前記状態情報から前記取引条件を決定するステップと、
前記電子取引管理部が、決定した前記取引条件を、前記拠点外の電力取引市場コンピュータに送信するステップと、
前記電子取引管理部が、前記電力取引市場コンピュータにおいて決済された決済量及び決済価格を、前記電力取引市場コンピュータから受信するステップと、
前記電子取引管理部が、受信した決済量に応じた電力の流入出を電力制御部に行わせるステップと、
受信した決済価格から算出される取引収支を含み、前記蓄電装置における蓄電量の容量オーバ発生、及び／又は前記蓄電装置における蓄電量不足発生が罰則値として反映された報酬値が最大化するように、前記電子取引管理部が、前記方策の強化学習を行うステップと、
を含むことを特徴とする電力取引方法。
【請求項８】
コンピュータに、請求項７に記載の電力取引方法における各ステップを実行させるための電力取引用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電力取引管理システム、管理装置、電力取引方法、及び電力取引用コンピュータプログラムに関するものである。
【背景技術】
【０００２】
非特許文献１には、ＥＣＯネット（Electric Power Cluster Oriented Network）と呼ばれる分散型の電力ネットワーク構想が開示されている。このＥＣＯネットでは、発電や電力消費を行うミニマル・クラスター間で、余剰電力を融通して分け合う。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】松本吉彦、柳父悟、「新世代に向けた電力システム構造のビジョン」、電気学会論文誌Ｂ（電力・エネルギー部門誌）、Vol.123, No.12, pp.1436-1442, 2003
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記ミニマル・クラスターは、太陽光発電、マイクロ水力発電、風力発電など非定常発電装置（供給）を備え時間に依存した電力負荷（需要）が存在する拠点であり、具体的には、一般家庭、小規模工場、共同住宅などが想定される。
【０００５】
このようなミニマル・クラスター間で、余剰電力を分け合う際に、無償で分け合うのでは、ミニマル・クラスターが太陽電池などの発電装置を導入するインセンティブが働かず、再生エネルギー利用の普及を阻害する可能性がある。
【０００６】
一方、固定価格で余剰電力を融通しようとすると、再生エネルギー発電の非定常性から実需給に合わない価格となる可能性があり、これも再生エネルギー利用のインセンティブを効率的に高めるとは言い難い。
【０００７】
そこで、電力売買が自由に行える電力取引市場を創設し、市場価格で余剰電力を融通することが望まれる。
しかしながら、電力売買を世帯単位や小規模事業所単位で行うことは、新たな問題を生む。すなわち、各世帯等において誰が売買を行うかという問題である。各世帯等で誰か一名を電力売買のデイトレードのために割くという発想は非現実的である。
【０００８】
そこで、本発明では、上記のミニマル・クラスターのような発電・電力消費拠点において自動的な電力融通を担う電力取引管理システム等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
（１）本発明は、発電及び／又は電力消費が行われる拠点における電力売買を管理する電力取引管理システムであって、前記拠点において発電した電力を蓄電するため、及び／又は蓄電された電力を前記拠点において消費するため、に用いられる蓄電装置と、電力の購入時は前記拠点外から電力の供給を受けて前記蓄電装置に蓄電するとともに、電力の販売時は、前記蓄電装置に蓄電された電力を前記拠点外に放出するように電力の流入出を制御する電力制御部と、電力の購買量又は売却量と購買価格又は売却価格とを示す情報を含む取引条件を決定する電力取引管理部と、を備え、前記電力取引管理部は、前記蓄電装置における蓄電残量を示す情報を含む状態情報から前記取引条件を決定するための方策に従って、前記状態情報から前記取引条件を決定する決定部と、前記決定部によって決定した取引条件を前記拠点外の電力取引市場コンピュータに送信する送信部と、前記電力取引市場コンピュータにおいて決済された決済量及び決済価格を、前記電力取引市場コンピュータから受信する受信部と、前記受信部によって受信した決済量に応じた電力の流入出を電力制御部に行わせる取引実行処理部と、を備え、前記決定部は、前記受信部によって受信した決済価格から算出される取引収支を含む報酬値が、最大化するように、前記状態情報から前記取引条件を決定するための方策の強化学習を行うことを特徴とする電力取引管理システムである。
【００１０】
（２）前記報酬値は、前記取引収支に加えて、前記蓄電装置における蓄電量の容量オーバ発生、及び／又は前記蓄電装置における蓄電量不足発生が罰則値として反映されたものであるのが好ましい。
【００１１】
（３）前記取引条件は、電力の購買量又は売却量と、購買価格又は販売価格と、の関係を規定した入札曲線として表されたものであるのが好ましい。
【００１２】
（４）前記取引条件は、購入可能な最大限の電力量における購入価格と、売却可能な最大限の電力量における売却価格と、を示す情報を含んだものであるのが好ましい。
【００１３】
（５）前記強化学習の学習則は、方策勾配法であるのが好ましい。
【００１４】
（６）前記強化学習の学習則は、Ｎａｔｕｒａｌ  Ａｃｔｏｒ−Ｃｒｉｔｉｃであるのが好ましい。
【００１５】
（７）他の観点からみた本発明は、購入した電力を蓄電装置に蓄電するとともに前記蓄電装置に蓄電された電力を販売するために行われる電力の流入出を制御する電力制御部を管理する管理装置であって、前記蓄電装置の蓄電残量を示す情報を含む状態情報に基づいて、電力の購買量又は売却量と購買価格又は売却価格とを示す情報を含む取引条件を決定する決定部と、前記決定部によって決定した取引条件を、電力取引市場コンピュータに送信する送信部と、前記電力取引市場コンピュータにおいて決済された決済量及び決済価格を、前記電力取引市場コンピュータから受信する受信部と、前記受信部によって受信した決済量に応じた電力の流入出を前記電力制御部に行わせる取引実行処理部と、前記決定部は、前記受信部によって受信した決済価格から算出される取引収支を含む報酬値が、最大化するように、前記状態情報から前記取引条件を決定するための方策の強化学習を行うことを特徴とする管理装置である。
【００１６】
（８）更に他の観点からみた本発明は、発電及び／又は電力消費が行われる拠点において発電した電力を蓄電するため、及び／又は蓄電された電力を前記拠点において消費するため、に用いられる蓄電装置と、電力の購入時は前記拠点外から電力の供給を受けて前記蓄電装置に蓄電するとともに、電力の販売時は、前記蓄電装置に蓄電された電力を前記拠点外に放出するように電力の流入出を制御する電力制御部と、電力の購買量又は売却量と購買価格又は売却価格とを示す情報を含む取引条件を決定する電力取引管理部と、を備えた電力取引管理システムにおける、電力取引方法であって、前記蓄電装置における蓄電残量を示す情報を含む状態情報から前記取引条件を決定するための方策に従って、前記状態情報から前記取引条件を決定するステップと、決定した前記取引条件を、前記拠点外の電力取引市場コンピュータに送信するステップと、前記電力取引市場コンピュータにおいて決済された決済量及び決済価格を、前記電力取引市場コンピュータから受信するステップと、受信した決済量に応じた電力の流入出を電力制御部に行わせるステップと、受信した決済価格から算出される取引収支を含む報酬値が最大化するように、前記方策の強化学習を行うステップと、を含むことを特徴とする電力取引方法である。
【００１７】
（９）更に他の観点からみた本発明は、コンピュータに、前記（８）に記載の電力取引方法における各ステップを実行させるための電力取引用コンピュータプログラムである。
【発明の効果】
【００１８】
本発明によれば、蓄電残量を示す状態情報から電力の取引条件を決定することができるため、自動的な電力取引を行うことができる。しかも、本発明では、取引収支を含む報酬値が、最大化するように、取引条件を決定するための方策の強化学習を行うため、適切な取引戦略を獲得することができる。
【図面の簡単な説明】
【００１９】
【図１】ＥＣＯネットの概念図である。
【図２】ミニマル・クラスターにおける電力取引システムの構成図である。
【図３】電力取引ネットワークシステムの構成図である。
【図４】電力取引エージェントの構成図である。
【図５】入札曲線の例を示す図である。
【図６】電力市場決済の概念図である。
【図７】図７（ａ）は学習者の存在しない系での各エージェントの獲得報酬遷移を示し、図７（ｂ）はＡ1のみが学習する系での各エージェントの獲得報酬遷移を示す。
【図８】図８（ａ）は学習初期の蓄電残量変化を示し、図８（ｂ）は学習終期の蓄電残量半価を示す。
【図９】各ミニマル・クラスターの所持金の変化を示し、図９（ａ）は学習エージェントが存在しない場合を示し、図９（ｂ）はエージェントＡ1のみが学習した場合を示す。
【図１０】全エージェントが同時に学習した場合の各エージェントの獲得報酬変化を示す。
【図１１】全エージェントが学習した場合の各ミニマル・クラスターの所持金の変化を示す。
【図１２】ローカル・クラスター全体での１日の電力ロス和の最終１００日平均値を示すグラフである。
【発明を実施するための形態】
【００２０】
以下、本発明の好ましい実施形態について添付図面を参照しながら説明する。
［１．ＥＣＯネットの概要］
本発明に係る電力取引管理システム等は、例えば、非特許文献１記載のＥＣＯネットに適用することができる。図１はＥＣＯネットの概念図を示している。ＥＣＯネットには、発電・電力消費するミニマル・クラスター（電力の生産消費者拠点）が存在しており、それらが、自らの持つ蓄電装置に電力を蓄え、また、余剰・不足分については、電力ルータを通じて電力を融通し合う。
【００２１】
このミニマル・クラスターが、地域社会内での各々の家庭や工場などに相当する。既存の電力システムでは大規模発電を行う電力系統を頂点とし、需要家を底辺に持つ放射状系統が基本であるのに対し、ＥＣＯネットでは分散型を成している。従来の電力ネットワーク構想が、少数の発電事業者と多数の末端消費者という二分法であったのに対して、全ての参加者を基本的に生産消費者（ｐｒｏｓｕｍｅｒ）として捉えるのがＥＣＯネットの特徴の一つである。
以下では、ＥＣＯネットに登場する概念の説明を行う。
【００２２】
「電力クラスター」：ＥＣＯネット上での電力クラスターとは、巨大な単一システムではなく、複数の電力システム（太陽光発電や、風力発電、燃料電池など）からなる電力のネットワークで構成されたものである。電力クラスターは基本的に電力を自給自足するものとするが、それぞれ供給（発電）と需要（電力消費）に過不足が生じても良いものとする。また、電力クラスターに存在しうるものは必ずしも発電機能・需要機能を備えていなくても良い。例えば、発電だけを行うクラスターや、蓄電のみ、あるいは電力消費のみを行うクラスターというものも例外的に考えられる。
【００２３】
「電力ルータ」：電力クラスターをノードとして、電力クラスター間の送電線をリンクとして、電力ネットワークが形成される。そして、電力クラスター間の電力のやり取りを制御する機能（電力制御部）が電力クラスターに備わっていなければならない。この機能を持つ装置を電力ルータとよぶ。電力ルータの基本機能は電気エネルギーのルーティングであり、どの近隣のクラスターを対象とするのか、エネルギーを送り出すのか受け取るのか、電力量の制御などである。なお、本実施形態における電力ルータは、電力売買における資金管理機能も有する。
【００２４】
「ミニマル・クラスター」：電力ネットワークの最小単位をミニマル・クラスター（Ｍｉｎｉｍａｌ  Ｃｌｕｓｔｅｒ）と呼ぶ。構成要素は、各種電気機器、給電線、蓄電装置、発電装置、そして電力ルータである。このミニマル・クラスターは、発電及び電力消費が行われる電力生産消費者拠点であり、一般家庭、小規模工場、共同住宅などが想定される。従来の電力系統が単一方向の電力エネルギーの流れを想定しているのに対し、ミニマル・クラスター同士の双方向の電力エネルギーのやり取りを基本とする。
【００２５】
「ローカル・クラスター」：ミニマル・クラスターを数個から一万個程度、ネットワーク接続した電力クラスターを、ローカル・クラスターと呼ぶ。ローカル・クラスターの構成要素は、中小規模発電装置（火力、水力、風力など）を持ち、そのローカル・クラスター内の電力が不足したミニマル・クラスターを支援し、近隣のローカル・クラスターとの電力の融通を行うための電力ルータを備える。
本実施形態では、電力取引市場として決済情報（決済条件）を各ミニマル・クラスターから集約し、市場決済する役割もローカル・クラスターが担う。つまり、ローカル・クラスターには、電力取引市場の市場決済処理を行う「電力取引市場コンピュータ」を構成要素として有している。
【００２６】
［２．ミニマル・クラスターにおける電力取引管理システムの概要］
図２は、ミニマル・クラスターに設置される電力取引管理システムの機器構成を示している。電力取引管理システムは、蓄電装置１、各種電気機器などの電力負荷２、太陽光発電・マイクロ水力発電・風力発電など非定常性の発電装置３、電力ルータ４、及びこれらの機器２，３，４を接続する給電線５及びミニマル・クラスター外部に接続される給電線５を備えている。
【００２７】
蓄電装置１は、そのミニマル・クラスターにおける発電装置３で発電した電力及びミニマル・クラスター外部から購入した電力を蓄電するためのものである。蓄電装置１に蓄電された電力は、そのミニマル・クラスターにおける電力負荷２での消費に用いられるとともに、ミニマル・クラスター外部への販売に用いられる。
蓄電装置１としては、具体的には、電気二重層コンデンサなどを採用することができる。なお、電力負荷２における消費電力量及び発電装置３における発電量は、時間に依存して変動する。  
【００２８】
電力ルータ４は、蓄電装置１、電力負荷２、発電装置３、及びミニマル・クラスター外部との間での電力の流れを制御するものであり、電力制御のための電力制御部６を備えている。
電力制御部６は、電力の流れを切り替える電力スイッチング機能を有しており、例えば、電力制御部６は、発電装置３から供給される電力を蓄電装置１又は負荷２に与える電力制御、ミニマル・クラスター外部から購入し供給される電力を蓄電装置１又は負荷２に与える電力制御、蓄電装置１に蓄電されている電力を負荷２に与える又はミニマル・クラスター外部に売却のために送電する電力制御などを行う。
【００２９】
さらに電力ルータ４は、蓄電装置１の蓄電残量を監視し、この蓄電残量が不足したり、容量オーバが生じたりしないように、ミニマル・クラスター外部との間での電力取引を管理する。
ミニマル・クラスターは、発電装置３によって発電した電力を、蓄電装置１に蓄積しておいて、負荷２で消費するという電力の自給自足を基本とする。しかし、蓄電装置１の蓄電容量が十分でない場合、負荷２における電力消費量（需要）が、発電装置３における発電量（供給）を上回ると、蓄電残量が低下し、蓄電残量不足のためミニマル・クラスターにおいて停電が発生するおそれがある。また、発電装置３における発電量（供給）が、負荷２における電力消費（需要）を上回ると、蓄電残量が上昇し、発電量が蓄電装置１における蓄電容量をオーバしてしまい、発電ロスが発生するおそれがある。
【００３０】
このような停電や発電ロスができるだけ生じないように、電力ルータ４は、蓄電残量不足が発生しそうであればミニマル・クラスター外部からの買電を行い、蓄電容量オーバが発生しそうであればミニマル・クラスター外部への売電を行う。このような電力売買を適切に行うことで、停電や発電ロスを回避することが可能である。
このような電力売買（自動電力取引）を管理するため、電力ルータ４は、電力取引エージェント７を備えている。電力ルータ４が自動電力取引機能を有しているため、人手によって取引を行う必要がなくなる。
【００３１】
電力取引エージェント７の具体的な主たる機能は、ａ）電力取引のために蓄電残量を監視すること、ｂ）電力の取引条件（売買量・売買価格）を決定し電力取引市場コンピュータに通信回線を介して送信すること、ｃ）電力取引市場において決済された決済量及び決済価格を電子取引市場コンピュータから通信回線を介して受信すること、ｄ）受信した決済量に応じて、ミニマル・クラスター外部との間での電力の流入出を電力制御部に行わせること、などである。
【００３２】
これらの機能を実現するため、電力ルータ４は、処理装置・記憶装置・外部との通信機能などを有するコンピュータを備えている。上記の電力取引エージェント７の各機能は、当該機能を前記コンピュータに実現させるための電力取引用コンピュータプログラムが、前記コンピュータによって実行されることで達成される。
【００３３】
［３．ローカル・クラスターにおける電力取引］
図３は、ローカル・クラスターに存在する複数のミニマル・クラスターＡ1〜Ａnが市場参加者となっている電力取引市場コンピュータネットワークシステムを示している。
この電力取引市場コンピュータネットワークシステムは、電力取引市場コンピュータ８及び電力取引市場コンピュータにネットワーク接続された電力取引エージェント７を有して構成されている。なお、電力取引市場コンピュータ９は、ローカル・クラスター用電力ルータ９の管理を行うこともできる。
【００３４】
本実施形態の電力取引市場ネットワークシステムでは、複数のミニマル・クラスターの各電力取引エージェントは、自ミニマル・クラスターにおける電力の需要・供給曲線を電力取引市場に、定期的に提出することにより電力取引を行う。
【００３５】
まず、電力市場におけるミニマル・クラスターの電力取引エージェントの集合をＭ＝｛Ａi：ｉ＝１，・・・，ｎ｝とする。エージェントＡiは、自らのミニマル・クラスターの蓄電量及びその他の諸条件（時刻・天候など）を勘案して、希望する取引条件（電力の購買量又は売却量と、電力の購買価格又は売却価格と、を示す情報）を決定し、ネットワーク（通信回線）を介して、電力取引市場コンピュータ８に送信する。
【００３６】
取引条件は、売買量ｓiに対する単位電力量あたりの価格Ｐi（ｓi）という形で表される。なお、売買量ｓiは、正の値であるときにはその絶対値が購買量を示し、負の値であるときにはその絶対値が売却量を示すものとする。
【００３７】
電力取引市場コンピュータ８は、各ミニマル・クラスターの電力取引エージェント７から取引条件を受信して集約し、市場決済を行う。具体的には、ローカル・クラスター内の全ての電力取引エージェント７の取引条件を積み上げる事によって、当該ローカル・クラスター内における需要曲線と供給曲線を決定する。その上で、両曲線の交点を計算することで、その時間の電力取引市場での電力量の単位当たり価格と各エージェントの取引量を決定して電力売買の決済を行う。
【００３８】
ここで、各市場参加者が注文数量と価格を市場に提出し、そのマッチングをとることにより取引を行う方法を板寄せ方式と呼ぶ。一方、本実施形態の決済方式では、各電力取引エージェント７は、連続的な価格と注文数量の関係を規定した関数を取引条件として市場に提出するが、広い意味では板寄せ方式の一種といえる。
本実施形態では、全エージェントが入札を一斉に行った後に市場価格により各エージェントの電力取引量（決済量）と電力単価（決済価格）が決定されるために、自らが「売り」か「買い」かも決済の時点で決定する。
【００３９】
そして、電力取引市場コンピュータ８は、決済価格及び各電力取引エージェント７についての決済量を含む決済収支情報を、各電力取引エージェント７に送信する。
各電力取引エージェント７は、電力取引コンピュータ８から、決済量及び決済価格を含む決済収支情報を受信する。そして、電力取引エージェント７は、電力制御部６に、決済量に応じた電力の流入出を行わせる。以上で、取引が完了する。
なお、上記のような取引条件の決定及び決済の詳細は後述する。
【００４０】
［４．電力取引エージェント（管理装置）］
図４は、電力取引をおこなう電力取引エージェント（管理装置）７の機能ブロックを示している。
電力取引エージェント７は、取引条件を決定する決定部（強化学習部）７１、取引条件を電力取引コンピュータ８に送信する送信部７２、取引収支情報（決済価格及び決済量）を電力取引コンピュータ８から受信する受信部７３、蓄電装置１における蓄電残量の検出値（蓄電残量を示す情報）を含む状態情報を生成する状態情報生成部７４、電力超過・不足ペナルティを算出するペナルティ算出部７５、取引収支情報及び電力超過・不足ペナルティから、強化学習のための報酬値を算出する報酬算出部７６、受信した決算量に応じた電力の流入出を電力制御部６に行わせる取引実行処理部７７を備えている。
【００４１】
前記決定部７１は、状態情報生成部７４が生成した状態情報から、所定の方策πiに従って、取引条件ｕiを決定する。前記方策πiは、状態情報ｘi（蓄電残量情報Ｓiなど）から、取引条件ｕiを決定するために前記決定部７１が保有するルールであり、この方策πiは、取引を繰り返すことによって、強化学習により最適化される。本実施形態における強化学習は、観測される状態情報ｘi（蓄電残量情報Ｓiなど）から取引条件ｕiを決定するための方策πiを、報酬値ｒiが最大化するように最適化する。
【００４２】
本実施形態における前記報酬値ｒiは、主に、電力の取引収支（売買収支）ｍiに基づいて決定される。取引収支ｍiは、黒字である場合は正の値で表され、赤字である場合は負の値で表される。
前記報酬値ｒiとして、電力の取引収支ｍiのほか、蓄電装置１における蓄電量の容量オーバ発生、及び／又は蓄電量不足発生が負の値である罰則値として反映される。このため、電力超過・不足ペナルティ算出部７５は、蓄電量の容量オーバ発生、及び／又は蓄電量不足発生が起こると、電力超過・不足ペナルティｒip（＝負の値）算出し、報酬算出部７６は、電力の取引収支ｍiと電力超過・不足ペナルティｒipの和を、報酬値ｒiとして算出する。
【００４３】
つまり、電力の取引収支ｍiの黒字が多くなれば、基本的に、報酬値ｒiは大きくなるが、蓄電容量の容量オーバを発生させて電力を無駄にした場合や蓄電量不足を発生させて停電が起きた場合にはそれをペナルティ（罰則値；負の値）として、報酬値ｒiが小さくなる。電力の取引収支だけを報酬値として扱うことも可能ではあるが、電力の取引収支だけを考慮すると、電力のロスや停電が考慮されないため、電力のロスや停電を罰則的に扱うことで、電力取引が適正化される。
【００４４】
さて、これまでの電力市場についての研究では、特に、既存の電力系統における電気事業者の価格決定を議論する場合が多く、ＥＣＯネットのように、生産消費者の集合として電力市場を捉えた場合の研究や、時々刻々と発電・消費量が変化する中での時間的な取引戦略の獲得についての研究については未だ少ない。
【００４５】
定常的な発電を行う原子力発電などの大規模な事業者による発電が主と捉えられたシステムでは時間単位での状態変化はクリティカルな問題ではない。しかし、太陽光などの再生可能エネルギーの非定常性の特質および蓄電装置の容量制約を考慮すると、状態変化を有する系としてモデル化する必要がある。本実施形態ではマルコフ決定過程（ＭＤＰ:Markov Decision Process）として各電力取引エージェント７によってのダイナミクスを捉える事で、決定部７１が強化学習に基づく最適な取引戦略（方策）の獲得を行う。
【００４６】
市場のような各々が利益を最大化しようと強化学習を行う集団は、マルチエージェント強化学習の系として捉えられる。しかし、この場合、複数の電力取引エージェント７が同時進行的に学習することにより各エージェントにとっての環境のＭＤＰ性が崩れ、学習が困難となる同時学習問題の存在がある。
【００４７】
例えば、マルチエージェント強化学習では、他のエージェントの行動目標や行動・状態などを観測できないことが多く、部分観測マルコフ決定過程（ＰＯＭＤＰ:Partially Observable MDP）となっている。これらの問題に対応するために、profit-sharingを行う方法やタスク構造に合わせた報酬分割を行う方法もある。
【００４８】
これに対し、通常のＭＤＰに対する強化学習の学習則であっても、方策を直接探索する方策勾配法と呼ばれる手法は、Ｑ−ｌｅａｒｎｉｇやＳＡＲＳＡ等の価値関数から間接的に方策を決定する手法に比べ、ＰＯＭＤＰ下でも頑強であると認識されている。
【００４９】
前記決定部（強化学習部）７１において採用できる強化学習の学習則は、特に限定されるものではないが、本実施形態では、ＰＯＭＤＰ下でも頑強である前記方策勾配法を採用する。しかも、方策勾配法の中でも、方策勾配の方向にパラメータ空間の情報幾何学的な特性を考慮した自然方策勾配法を採用する。なお、以下では、方策勾配法の一種であるNatural Actor-Criticに基づいて、取引戦略（方策）の適応的改善を行う。このNatural Actor-Criticは、一般的な方策勾配法よりも学習が効率的である。
【００５０】
［５．方策勾配法とNatural Actor-Criticの概要］
以下では、方策勾配法と自然方策勾配法の一種であるNatural Actor-Criticについての一般的な説明を行う。
［５．１  方策勾配法］
ＭＤＰに基づく強化学習では、エージェントが時間ｔにおいて環境の状態ｘt∈Ｘを観測した後に、方策π（ｘ，ｕ）に従い、行動意思決定を行い、行動ｕt∈Ｕを環境に出力する。行動ｕtを環境に出力した後に、遷移後の環境の状態ｘt+1を観測し、同時に報酬値ｒtがエージェントに与えられるという一連の流れを前提にしてエージェントが学習を行う。エージェントは将来に亘る獲得報酬の期待値を最大化するように学習を行う。
ここで、ＭＤＰとは、次状態の生起確率と報酬の期待値が現在の状態と行動のみに依存する事を指す。
【００５１】
強化学習には、主に、Ｑ−ｌｅａｒｎｉｇやＳＡＲＳＡ等といった行動価値関数を推定することで最適方策を求める価値に基づく方法と、Actor-Critic法のように「最適方策を直接推定する方策に基づく方法とが、ある。
後者の方策勾配法では、確率的な方策を陽に表現し、最適方策を直接近似するため、Ｑ−ｌｅａｒｉｎｉｇなどの価値に基づく方法のように行動価値関数の変化に対して急激に方策が変化する様なことが無い。そのため、評価関数を徐々に増加させるように、逐次的に方策自体を直接的に改善していけるため、ある程度のＰＯＭＤＰ下でも学習を進めることができる。
【００５２】
また、方策勾配法では直接方策を近似するため、行動価値に基づく方法に比べ、方策の出力値を連続値として設計することが容易である。本実施形態においては、行動出力が、「取引条件」の指定に相当し、この値は連続的に変化する。
【００５３】
方策勾配法では、次のように収益の期待値をＪ（θ）で表す。
【数１】
0005413831.tif 000002
【００５４】
Ｊ（θ）は、将来に亘って得られる累積報酬の割引和になっており、この評価値を最大化するように方策を最適化することが強化学習の課題となる。ここで、方策πθ（ｘ、ｕ）＝ｐ（ｕ｜ｘ；θ）はパラメータベクトルθによって表される方策であり、ｄπは割り引かれた状態分布である。次にＪをパラメータベクトルθに関して偏微分し、Ｊ（θ）の勾配を求める。
【００５５】
方策勾配法では、この勾配ベクトル∇θＪを用いて方策のモデルパラメータθを次のように更新することで局所最適な方策を探索する。
【数２】
0005413831.tif 000003
ここで、α＞０は、学習率、勾配∇θＪは収益の期待値におけるパラメータθの最急上昇方向を表すので方策勾配法は少なくとも局所最適解を得ることが出来る。
【００５６】
［５．２  Natural Actor-Critic］
収益の期待値をパラメータθに関して偏微分した∇θＪは、収益の期待値におけるθの最急上昇方向を表すとされるが、パラメータ空間が歪んでいるときにはプラトー減少などにより学習性能が悪化する。このプラトー問題を回避する有効な手段として提案された手法が自然勾配法である。自然勾配法では通常の勾配にフィッシャー情報行列Ｆの逆行列を乗ずる事で自然勾配を求めるが、強化学習においては自然勾配が比較的容易に計算し得る。
【００５７】
Natural Actor-Criticとは、自然勾配法を方策勾配法に適用した自然方策勾配法の一つである。自然勾配はアドバンテージ関数を∇θｌｏｇπを基底関数として推定したときの係数ベクトルに一致することが知られている。アドバンテージ関数とは行動価値と状態価値の差分によって表される関数であり、状態価値の寄与を除いた行動の価値を表現する関数である。
具体的な実装としては、価値関数の推定方法としてＬＳＴＤ−Ｑ（λ）を用いた無限区間タスクでのNatural Actor-Criticを用いる。ＬＳＴＤ−Ｑ（λ）は、価値関数の推定方法であり、旧来のＴＤ学習がＴＤ誤差に基づいて価値関数を更新するのに対し、価値関数が基底関数の線形和で表されることを利用し最小自乗法に基づき解く手法である。その解はＴＤ学習により得られる最適解と共通である。
【００５８】
Natural Actor-Criticでは、行動価値関数の一部であるアドバンテージ関数を正確に求める必要があるため、統計量から最適な価値関数を直接求める事のできるＬＳＴＤ−Ｑ（λ）を用いる。
【００５９】
Natural Actor-Criticのアルゴリズムは、以下の通りである。
【数３】
0005413831.tif 000004
【数４】
0005413831.tif 000005
【００６０】
本実施形態では、強化学習の学習則として、Natural Actor-Criticに基づく方策勾配法を用いる。なお、マルチエージェント系においては、方策更新を非同期にすることで、同時学習問題を緩和できるが、上記アルゴリズムを用いると、方策更新は価値関数の収束に伴い非同期的におこなわれるため、このような非同期的な方策更新を人為的に作り込むことなく自動的に生み出すことができる。
【００６１】
［６．ミニマル・クラスター及び電力取引制度のモデル化］
ミニマル・クラスターにおける情報の流れを説明する。まず、ローカル・クラスターにおける複数の電力取引エージェントのうち、ｉ番目のエージェントＡiの時刻ｔでの発電量、電力消費量をそれぞれ、Ｅi（ｔ）、Ｃi（ｔ）とする。これらの差分Ｄi（ｔ）＝Ｅi（ｔ）−Ｃi（ｔ）が、ミニマル・クラスター内部での蓄電装置１への流入出量となる。なお、差分Ｄi（ｔ）が正の値であれば、蓄電装置１への蓄電量を示し、負の値であれば蓄電装置１からの放電量を示す。
【００６２】
また、時刻ｔにおける売買による流入出は、電力取引エージェントＡiの決済量ｓi（ｔ）と等しくなる。なお、決済量ｓi（ｔ）は、正の値であれば電力購買量を示し、負の値であれば電力売却量を示す。
また、ミニマル・クラスターが有する蓄電装置１における、時刻ｔにおける蓄電残量をＳi（ｔ）とする。さらに、その蓄電装置１の最大容量をＳimax、最小容量をＳiminとする。蓄電装置１への電力の流入出により蓄電残量Ｓi（ｔ）は、次式に基づいて毎時刻変化する。なお、実際の電力取引管理システムでは、蓄電残量Ｓi（ｔ）は、蓄電装置１の蓄電残量検出装置（図示省略）から電力取引エージェント７に出力される。
【数５】
0005413831.tif 000006
【００６３】
本実施形態において、電力取引（取引条件の送信）は２時間に一度行われるものとし、２時間毎に時刻ｔは１加算される。ここでは、太陽光発電の下で、一定の生活パターンで居住者が生活する系を想定する。したがって、この系はノイズ程度の変化を除き２４時間周期の周期性を持つものと考え、時刻情報として、２４時間周期での時刻ｈ（ｔを１２（＝２４／２）で割った値）を用いる。
図４に示すように電力取引エージェント７の状態情報生成部７４は、蓄電残量Ｓi（ｔ）を示す情報に、時刻情報ｈを不可して、状態情報ｘi＝（Ｓi（ｔ），ｈ）を生成する。なお、状態情報としては、少なくとも蓄電残量Ｓi（ｔ）が含まれていれば良く、その他の情報として、例えば、天候など、発電量や電力消費量に影響を与えるその他の情報が含まれても良い。
【００６４】
電力エージェント７の決定部（強化学習部）７１は、前記状態情報ｘiを取得し、この状態情報ｘiに基づき、方策πiに従って、取引条件ｕiの決定を行う。決定した取引条件（行動出力）ｕiは、送信部７２によって、ネットワークを介して、電力取引コンピュータ８に送信される。
【００６５】
本実施形態において、取引条件ｕiは、ｕi＝（Ｐibuy，Ｐisell）という形式で表される。この取引条件は、それぞれ、購入可能な最大限の電力量（最大容量Ｓimax−蓄電残量Ｓi）における購入価格（Ｐibuy）と、売却可能な最大限の電力量（最小容量Ｓimin−蓄電残量Ｓi）における売却価格（Ｐisell）を示している。
【００６６】
この取引条件は、電力の購買量又は売却量と、購買価格又は販売価格と、の関係を規定した入札曲線（需要・供給曲線；価格ｐから数量ｓへの関数）を示すものである。本実施形態では、図５に示すように、入札曲線をなす関数を、上下限を持つ一次関数に制約することで、入札曲線の端点二点の値で入札曲線を示すことができる。なお、数量ｓは、正の値であれば購入量を示し、負の値であれば売却量を示す。
図５に示す入札曲線ｓi（ｐ）は、下記式で表される。
【数６】
0005413831.tif 000007
【００６７】
このように、本実施形態では、購入可能な最大限の電力量（Ｓimax−Ｓi）から売却可能な最大限の電力量（Ｓimin−Ｓi）までの連続した範囲における取引条件ｕiを、購入可能な最大限の電力量、購入可能な最大限の電力量での購入価格、売却可能な最大限の電力量、及び売却可能な最大限の電力量での売却価格という、４つの情報で簡単に表すことができる。
なお、取引条件の表し方は上記のものに限定されるわけではない。より詳細な入札曲線を用いる場合は，多くの代表点やパラメータを用いて表現する。
【００６８】
一般に、板寄せ方式の市場では取引量と価格を各取引主体が出力し、これを市場において合わせることで、需要・供給曲線が形成される。これと同様に、本実施形態の電力取引市場コンピュータ８も、各エージェント７から出力された取引条件ｕiを集約し、市場全体での需要・供給曲線を形成し、決済価格を決定する。
【００６９】
つまり、図６に示すように、取引条件ｕiのうち、数量ｓiの正の部分が買い手としての取引条件（需要曲線）であり、負の部分が売り手としての取引条件（供給曲線）である。電力取引市場コンピュータ８は、これらを数量の方向に足し合わせることで、市場全体の需要曲線・供給曲線を生成する。そして、需要曲線と供給曲線の交点を求めることで決済される際の価格Ｐ*が求まる。具体的には下記式を満たす均衡価格Ｐ*を決済価格とする。
【数７】
0005413831.tif 000008
なお、各エージェントの決済量（購入量・売却量）ｓiは、決済価格Ｐ*が決定されれば自ずと決定される。
【００７０】
決済が行われると、電力取引市場コンピュータ８は、各電力取引エージェント７に対し、決済量ｓi及び決済価格Ｐ*を、取引収支ｍiを示す情報として送信する。電力取引エージェント７は、取引収支ｍiを示す情報を受信部７３によって受信すると、当該情報から報酬値ｒiの算出や状態情報ｘiの生成を行う。
そして、決定部（強化学習部）７１は、報酬値ｒiが最大化するように、方策πiの最適化（強化学習）を行う。
【００７１】
ここで、時刻ｔにおける、電力取引市場での決済価格をＰ*（ｔ）とすると、電力取引エージェントＡiの取引収支（売買収支）は、ｍi（ｔ）＝−ｓi（ｔ）×Ｐ*（ｔ）となる。また、報酬値ｒiは、取引収支ｍiと電力超過・不足ペナルティ（罰則値）ｒipの和であり、電力超過・不足ペナルティ（罰則値）ｒipは、下記式に従って算出される。
【数８】
0005413831.tif 000009
ここで、上記式における定数は、超過・不足自体に係るペナルティｍ+，ｍ-＞０、超過・不足した単位電力あたりのペナルティζ+＞０，ζ-＞０である。より他の評価を考慮する場合は報酬値は任意の関数で置き換えても構わない。
【００７２】
このように系をモデル化することで、他のエージェント７の方策が一定であるとしたとき、この問題は他のエージェント７の蓄電残量を隠れ状態とし、周期的に変化する時間と自らの蓄電残量を状態とした強化学習課題として定式化される。これにより様々な強化学習手法をＥＣＯネット上の自動取引課題に適用することができる。
【００７３】
［７．電力取引エージェントの決定部（強化学習部）のモデル化］
以下、電力取引エージェントの決定部（強化学習部）の強化学習則として、Natural Actor-Criticアルゴリズムを採用した場合の強化学習モデルについて説明する。なお、以下では、一つの電力取引エージェント７について述べるため、エージェントの添え字ｉは省略する。
【００７４】
ここでは、方策関数π（ｘ，ｕ；θ）を、方策パラメータθ＝｛θ1，θ2，σ1，σ2｝とガウス関数を用いて下記のようにモデル化した。
【数９】
0005413831.tif 000010
上式において、ｆ1，ｆ2は行動出力（取引条件）分布の中心を表し、それに標準偏差σ1，σ2のガウスノイズが足されることで、探索を行いながら価格決定がなされる。ここで、ｕ1＝Ｐbuy，ｕ2＝Ｐsellとする。ここで、価値関数Ｖπ（ｘ）およびｆkを共通の基底関数φを用いて下記のように表す。
【００７５】
【数１０】
0005413831.tif 000011
【００７６】
また、アドバンテージ関数の係数ベクトルωについては、上記方策関数の定義に従い、式（６）に基づき定義するする。ここで基底関数φ（ｘ）の第ｊ成分φk（ｘ）はクロネッカーのδijを用いて、
【数１１】
0005413831.tif 000012
と表されるとする。
【００７７】
上段のクロネッカーのデルタで表される部分は、周期的に変化する時間に依存する項、下段の項は電池残量への依存性を三次の多項式で表現している。この前提の下で自然勾配計算のために∇θｌｏｇπ（ｘ，ｕ）を計算する。θkの第ｊ成分をθkjとして、
【数１２】
0005413831.tif 000013
となる。ただし、ε1＝Ｐbuy−ｆ1，ε2＝Ｐsell−ｆ2である。
【００７８】
よって、Natural Actor-Criticにおける各の基底関数の更新については、
【数１３】
0005413831.tif 000014
となる。
【００７９】
その後、Natural Actor-Criticアルゴリズムに沿って状態価値関数、アドバンテージ関数の近似式のパラメータベクトルを更新し、ある方向に収束したと判定されれば方策を更新する。収束判定は時間ｔ＋１と時間ｔ−τの間のそれぞれのパラメータベクトルのなす角のｃｏｓ値が十分１．０に近い閾値εに対し
【数１４】
0005413831.tif 000015
を満たせば収束したとみなし、方策パラメータを更新する。
【００８０】
［８．シミュレーション実験結果］
本実験は、仮想的なローカル・クラスターを計算機環境に構築して行った。
［８．１  実験条件］
上記モデルにおける電力取引学習エージェント７にとって、発電量Ｅiと消費量Ｃiは直接的には意味が無く、蓄電装置１への流入出量Ｄiのみが問題となる。本モデルでは、一日毎の発電・消費の周期性を仮定しているので、ミニマル・クラスターＡiの時間ｔにおける流入出量Ｄi（ｔ）を以下のようにｓｉｎ波形を用いて近似する。
【数１５】
0005413831.tif 000016
ここで、ｇi，ａi，ｂi，ｎi（ｔ）はそれぞれゲイン、パターンの時間方向のずれ、発電が消費に勝る度合い、ノイズ項となっている。本実験では、ｇiに対して５％の程度の幅を持つノイズ項を一様乱数で生成し付加する。
【００８１】
また、学習しないエージェントの方策、及び学習エージェントの初期方策は蓄電残量を参照しながら、十分に残量がある際には安く、少なくなった際には高く値付けするよう下記式に設定した。
【数１６】
0005413831.tif 000017
【００８２】
つまり、θ1,12＝２０，θ1,13＝−１０、θ2,12＝４０，θ2,13＝−２０とした。初期方策では時間に対する依存性は自明でないので設計しなかった。さらに価格の出力の変動幅（ガウス分布に従う）は、σ1＝σ2＝０．５としている。また、出力する取引条件についてＰisell＞Ｐibuy＞０を制約条件として与える。なお、実験結果は、状態遷移、行動等にノイズを含んでいるので各条件に対して５回実験を行い、その平均を示している。
【００８３】
実験条件として、１日の取引回数は１２回、学習率α＝１×１０-4、適格度トレースの割引率λ＝０．９８、十分統計量の保持率β＝０．８、方策勾配の収束判定のウィンドウ幅Ｗh＝１２×７＝１［ｗｅｅｋ］及び収束判定の閾値ε＝０．９９とした。
また、報酬関数の係数ｍ+＝ｍ-＝１．０×１０2，ζ+＝１．５×１０4，ζ-＝１．０×１０4とした。
勾配については更新ベクトルのノルム最大値を１．０として、急激な変更がなされないよう制約を与えた。他のパラメータは、ｇi＝２０，ｂi＝０，Ｓimax＝１００，Ｓimin＝２５とした。また、初期蓄電量はＳi（０）＝５０とする。
【００８４】
各ミニマル・クラスターの電力流入出の特性については、操作可能なパラメータが多い。本実験では、焦点を絞るために、式（３２）のａiを変化させることで、各ミニマル・クラスター毎の違いを設計した。ローカル・クラスターの条件設定としては、ｇiやｂiに多様性を持たせる事も検討の上では重要である。しかし、一方でａiが同一で、各ミニマル・クラスターにおいて発電消費パターンが同期してしまった場合、あるミニマル・クラスターで電力余剰が発生するときには他のミニマル・クラスターでも電力余剰が発生し、あるミニマル・クラスターで電力不足が発生した場合には、他のミニマル・クラスターでも不足が発生するということが起きる。
【００８５】
この場合、電力融通において適切な需給関係が構築できず、如何に学習エージェントが適切な電力売買を行っても電力ロスや停電を防ぐことはできなくなる。ａiにずれが存在し、発電消費パターンが非同期であることはネットワーク化により平準化を行う事でメリットが発生するための前提条件となる。
【００８６】
本実験では、６つのミニマル・クラスターにより構成されるローカル・クラスターを考える。各ミニマル・クラスターの発電消費の特性は（ａ1，ａ2，ａ3，ａ4，ａ5，ａ6）＝（０，２，４，６，８，１０）とし、発電消費パターンに十分な非同期性を持つように設定した。この条件下ではローカル・クラスター全体としては、全時刻で電力の流入と流出はバランスするため、適切に電力融通が行われれば電力ロスと停電を無くすことができる。
【００８７】
［８．２  単一エージェント学習環境での実験］
まず、６つの電力取引エージェントＡ1〜Ａ6のうち、エージェントＡ1のみに学習を行わせた。図７（ａ）は、全てのエージェントＡ1〜Ａ6が学習しない場合の各エージェントの獲得報酬の遷移を示し、図７（ｂ）は、エージェントＡ1のみが学習を行った場合の各エージェントの獲得報酬の遷移を示している。
【００８８】
図では、１日の獲得報酬の各週毎の平均を示している。学習を通して、エージェントＡ1が停電・電力ロスによる無駄を避けつつ有利な取引を行うことで、より多くの報酬を得ていることがわかる。
【００８９】
図８は、学習初期と学習終期での、エージェントＡ1の蓄電残量の時間的変化を比較するためのものである。学習初期には、蓄電残量がＳimaxにしばしば達することで電力ロスを生じていたのが、適切な取引戦略（方策）を得ることにより、過不足無く蓄電残量をコントロール出来るようになっていることがわかる。
【００９０】
また、学習を行うエージェントが存在しない場合と、エージェントＡ1のみが学習している場合での各ミニマル・クラスターの所持金（取引収支の累積値）の変化を図９に示す。エージェントＡ1が有利な取引を行う事で、電力の無駄をなくすのみならず、自らの所持金も増大させていることがわかる。
【００９１】
［８．３  多数エージェントの同時学習環境での実験］
次に、より多くのエージェントが動じに学習する条件下で実験を行った。１体以上のエージェントが同時に学習する場合は、しばしば部分観測や同時学習の問題が発生するため、学習が正常に進行しない可能性がある。
【００９２】
しかし、前述の理由により、方策勾配法、特に、Natural Actor-Criticはこれらの問題に対して、頑健性があると考えられ、多数のエージェントが動じに学習した場合でも、強化学習が適切に進行することが期待される。
実験を行った結果、多くの場合で問題なく、学習を行ったエージェントは獲得報酬を増大させることが出来た。図１０に６体のエージェントが学習を行った場合の各エージェントの獲得報酬の変化を示す。ここでは６体ものエージェントが同時学習を行っているにも関わらず、学習はほぼ安定的に進行している。これによりNatural Actor-Criticはこのようなローカルな市場取引というマルチエージェント強化学習系において有効な手法であることが示された。
【００９３】
本タスクは相互的な取引環境で競合的に学習を行っているために、一見、全員の報酬が同時に向上することのないゼロサム・ゲームとなるように感じられるが、実際には全エージェントが獲得報酬を像ださせている。これは、各エージェントが得る報酬のうち、ゼロサムであるのは金銭取引に関わる部分のみであり、電力ロスと停電に関わるペナルティはゼロサムではないためである。
【００９４】
６体のエージェントが学習した場合の各ミニマル・クラスターの所持金の変化を図１１に示す。学習エージェントが存在しない場合と比べ、金額の配分は変化しているが、金銭的報酬についてはゼロサム・ゲームである故に全エージェントを通じて増加していると言うことはないことがわかる。
しかしながら、系の内、１体ずつエージェントを学習ありに切り替えていった時には金銭的収益が増加することが観察された。これは実際に電力取引エージェントを組み込んだ電力ルータを市場投入する際に、ミニマル・クラスター所有者が電力ルータの導入を検討するインセンティブになると考えられ重要な点となる。
【００９５】
次に発電した電力のロスに着目して比較を行った。エージェントＡ1〜Ａk（ｋは図１２のグラフの横軸の値）が学習した際のローカル・クラスター全体でも１日の電力ロス和の最終１００日平均値を条件毎に図１２に示す。横軸は何体のエージェントが学習しているかを示しており、縦軸は１日当たりの平均電力ロスを標準偏差とともに示している。これから、各エージェントが学習を行う事でミニマル・クラスターの電力ロスは低下し、その結果、ローカル・クラスター全体としても電力ロスが低減されていっていることがわかる。なお、５体が学習した場合と６体が学習した場合で、６体の時の方がロスが増大しているようにみえるが、有意差はなかった。
【００９６】
これにより、各ミニマル・クラスターが電力ロスを低減しようとしながら、自らの利得が最大化されるように取引を行うことで、系全体としても電力ロスを低減することができた。
この系のようなマルチエージェント課題ではシングルエージェント用に開発された強化学習手法は必ずしもよい学習結果を得ることはできないと考えられている。これに対し、Natural Actor-Criticが頑健であった理由としては、方策を直接探索している点、及びＬＳＴＤにより勾配方向を決定するため、バッチ的な更新に成らざるを得ず、学習過程で各エージェントが断続的な定常状態を繰り返すために非同期的な更新が案目的に実現されているために動じ学習問題を回避できているなどの点が考えられる。
【００９７】
［９．付記］
なお、上記において開示した事項は、例示であって、本発明を限定するものではなく、様々な変形が可能である。
【符号の説明】
【００９８】
１  蓄電装置
２  電力負荷
３  発電装置
４  電力ルータ
５  電力線
６  電力制御部
７  電力取引エージェント
８  電力取引市場コンピュータ
９  ローカル・クラスター用電力ルータ
７１  決定部（強化学習部）
７２  送信部
７３  受信部
７４  状態情報生成部
７５  電力超過・不足ペナルティ算出部
７６  報酬算出部
７７  取引実行処理部
【図１】
0005413831.tif 000018
【図２】
0005413831.tif 000019
【図３】
0005413831.tif 000020
【図４】
0005413831.tif 000021
【図５】
0005413831.tif 000022
【図６】
0005413831.tif 000023
【図７】
0005413831.tif 000024
【図８】
0005413831.tif 000025
【図９】
0005413831.tif 000026
【図１０】
0005413831.tif 000027
【図１１】
0005413831.tif 000028
【図１２】
0005413831.tif 000029