(57)【要約】【課題】風速と回生電力の関係に応じて適切な制御を行うことができる制御システムを提供する。【解決手段】風力発電システムの風車の設置場所における風速を示す風速情報、風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び、風速と回生電力との関係情報と風速に対する電力情報に応じた報酬とに基づいて、前記風速と前記回生電力との対応情報を学習する学習部と、風速と回生電力との対応情報を記憶する記憶部と、回生電力を制御する電力制御パラメータを前記風力発電システムに設定した場合における回転情報、電力情報、及び風速情報を検出する状態検出部と、前記状態検出部により検出された前記回転情報と前記風速情報、及び前記対応情報に基づいて、前記電力情報の指令値を決定する決定部と、前記決定部により決定された前記指令値に基づいて、前記回生電力を制御する制御部とを備える。【選択図】図２
2019162003.tif 000002
【特許請求の範囲】
【請求項１】
風力発電システムにより発電された回生電力を制御する制御システムであって、
前記風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び、前記風速と前記回生電力との関係情報と前記風速に対する前記電力情報に応じた報酬とに基づいて、前記風速と前記回生電力との対応情報を学習する学習部と、
前記風速と前記回生電力との対応情報を記憶する記憶部と、
前記回生電力を制御する電力制御パラメータを前記風力発電システムに設定した場合における前記回転情報、前記電力情報、及び前記風速情報を検出する状態検出部と、
前記状態検出部により検出された前記回転情報と前記風速情報、及び前記対応情報に基づいて、前記電力情報の指令値を決定する決定部と、
前記決定部により決定された前記指令値に基づいて、前記回生電力を制御する制御部と
を備える
ことを特徴とする制御システム。
【請求項２】
前記状態検出部により検出された前記風速情報、及び前記電力情報に基づいて、前記報酬を算出する報酬算出部を更に備える
請求項１に記載の制御システム。
【請求項３】
前記報酬算出部は、前記風速情報に示される風速が所定の強風閾値以上であるか否かに基づいて、異なる報酬条件を用いて前記報酬を算出する
請求項２に記載の制御システム。
【請求項４】
前記報酬算出部は、前記状態検出部により検出された前記風速情報に示される風速が所定の強風閾値未満である場合、前記状態検出部により検出された前記回転情報に示される前記風車の回転数が所定の回転閾値以上である場合に第１レベルの報酬を算出し、前記回転数が所定の回転閾値未満である場合に前記第１レベルより低い第２レベルの報酬を算出する
請求項２又は請求項３に記載の制御システム。
【請求項５】
前記報酬算出部は、前記状態検出部により検出された前記風速情報に示される風速が所定の強風閾値以上である場合、前記状態検出部により検出された前記回転情報に示される前記風車の回転数が所定の回転閾値以上である場合に第３レベルの報酬を算出し、前記回転数が所定の回転閾値未満である場合、前記第３レベルより高い第４レベルの報酬を算出する
請求項２から請求項４の何れか一項に記載の制御システム。
【請求項６】
前記報酬算出部は、前記状態検出部により前記電力情報が検出された時点より過去に前記状態検出部により取得された前記風速情報に基づいて、報酬を算出する
請求項２から請求項５の何れか一項に記載の制御システム。
【請求項７】
風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び、前記風速と前記回生電力との関係情報と前記風速に対する前記電力情報に応じた報酬とに基づいて、前記風速と前記回生電力との対応情報を学習する学習部
を備える学習装置。
【請求項８】
風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び、前記風速と前記回生電力との関係情報と前記風速に対する前記電力情報に応じた報酬とに基づいて、前記風速と前記回生電力との対応情報を学習する学習部と、
前記回生電力を制御する電力制御パラメータを前記風力発電システムに設定した場合における前記回転情報、前記電力情報、及び前記風速情報を検出する状態検出部と、
前記状態検出部により検出された前記回転情報と前記風速情報、及び前記対応情報に基づいて、前記電力情報の指令値を決定する決定部と、
前記決定部により決定された前記指令値に基づいて、前記回生電力を制御する制御部と
を備える制御装置。
【請求項９】
風力発電システムにより発電された回生電力を制御する電力制御パラメータを前記風力発電システムに設定した場合における前記風力発電システムの風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び前記風車の設置場所における風速を示す風速情報を検出する状態検出部と、
前記状態検出部により検出された前記回転情報と前記風速情報、及び前記風速と前記回生電力との対応情報に基づいて、前記電力情報の指令値を決定する決定部と、
前記決定部により決定された前記指令値に基づいて、前記回生電力を制御する制御部と
を備える制御装置。
【請求項１０】
風力発電システムにより発電された回生電力を制御する制御方法であって、
学習部が、前記風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び、前記風速と前記回生電力との関係情報と風速に対する電力情報に応じた報酬とに基づいて、前記風速と前記回生電力との対応情報を学習し、
記憶部に、前記風速と前記回転との対応情報を記憶させ、
状態検出部が、前記回生電力を制御する電力制御パラメータを前記風力発電システムに設定した場合における前記回転情報、前記電力情報、及び前記風速情報を検出し、
決定部が、前記状態検出部により検出された前記回転情報と前記風速情報、及び前記対応情報に基づいて、前記電力情報の指令値を決定し、
制御部が、前記決定部により決定された前記指令値に基づいて、前記回生電力を制御する
制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御システム、学習装置、制御装置、及び制御方法に関する。
【背景技術】
【０００２】
従来、風力発電システムにおいて、風車が受ける風速に対して発電電力（回生電力）が最大となる風車の回転数は、風車ごとの固有の特性値として一義的に決められている。例えば、風速に応じて風車のトルクを調整することで風車の回転数を制御し、風速に応じた最大の発電電力が得られるように制御を行う。
風況は、風車の設置場所や季節によって変化する。このため、風車が設置された状態や、風車が設置された場所の環境、及び季節等に応じた制御が行われることが好ましい。
この対策として、機械学習エンジンを用いて、個々の風車から出力される回生電力が最大となる制御パラメータと風速との関係を学習させ、学習済みの機械学習エンジンから出力される制御パラメータに応じて個々の風車を制御する技術が開示されている（例えば、特許文献１）。また、機械学習の技法としては、強化学習を用いて回生電力が最大となる制御パラメータと風速との関係を学習させる方法もある。この場合、風車を制御した結果として発電された回生電力の大きさに応じた報酬を与えることで、回生電力が最大となるような風速と制御パラメータとの関係を学習させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１３−５２４７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、単に回生電力が増加した場合に高い報酬を与えると、制御パラメータが不適切であった場合でも、たまたま風速が適切に変化したことによって回生電力が増加した場合にも高い報酬が付与されてしまうことが考えられる。また、制御パラメータが適切であった場合でも、たまたま風速が想定外に変化したことによって回生電力が減少してしまった場合には低い報酬となってしまう。このため、学習モデルに誤った学習をさせてしまう問題があった。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、風速と回生電力の関係に応じて適切な制御を行うことができる風力発電システムの制御装置を提供することである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明の一実施形態は、風力発電システムにより発電された回生電力を制御する制御システムであって、前記風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び、前記風速と前記回生電力との関係情報と前記風速に対する前記電力情報に応じた報酬とに基づいて、前記風速と前記回生電力との対応情報を学習する学習部と、前記風速と前記回生電力との対応情報を記憶する記憶部と、前記回生電力を制御する電力制御パラメータを前記風力発電システムに設定した場合における前記回転情報、前記電力情報、及び前記風速情報を検出する状態検出部と、前記状態検出部により検出された前記回転情報と前記風速情報、及び前記対応情報に基づいて、前記電力情報の指令値を決定する決定部と、前記決定部により決定された前記指令値に基づいて、前記回生電力を制御する制御部とを備えることを特徴とする制御システムである。
【０００７】
また、本発明の一実施形態は、上述の制御システムであって、前記状態検出部により検出された前記風速情報、及び前記電力情報に基づいて、前記報酬を算出する報酬算出部を更に備える。
【０００８】
また、本発明の一実施形態は、上述の制御システムであって、前記報酬算出部は、前記風速情報に示される風速が所定の強風閾値以上であるか否かに基づいて、異なる報酬条件を用いて前記報酬を算出する。
【０００９】
また、本発明の一実施形態は、上述の制御システムであって、前記報酬算出部は、前記状態検出部により検出された前記風速情報に示される風速が所定の強風閾値未満である場合、前記状態検出部により検出された前記回転情報に示される前記風車の回転数が所定の回転閾値以上である場合に第１レベルの報酬を算出し、前記回転数が所定の回転閾値未満である場合に前記第１レベルより低い第２レベルの報酬を算出する。
【００１０】
また、本発明の一実施形態は、上述の制御システムであって、前記報酬算出部は、前記状態検出部により検出された前記風速情報に示される風速が所定の強風閾値以上である場合、前記状態検出部により検出された前記回転情報に示される前記風車の回転数が所定の回転閾値以上である場合に第３レベルの報酬を算出し、前記回転数が所定の回転閾値未満である場合、前記第３レベルより高い第４レベルの報酬を算出する。
【００１１】
また、本発明の一実施形態は、上述の制御システムであって、前記報酬算出部は、前記状態検出部により前記電力情報が検出された時点より過去に前記状態検出部により取得された前記風速情報に基づいて、報酬を算出する。
【００１２】
また、本発明の一実施形態は、風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び、前記風速と前記回生電力との関係情報と前記風速に対する前記電力情報に応じた報酬とに基づいて、前記風速と前記回生電力との対応情報を学習する学習部を備える学習装置である。
【００１３】
また、本発明の一実施形態は、風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び、前記風速と前記回生電力との関係情報と前記風速に対する前記電力情報に応じた報酬とに基づいて、前記風速と前記回生電力との対応情報を学習する学習部と、前記回生電力を制御する電力制御パラメータを前記風力発電システムに設定した場合における前記回転情報、前記電力情報、及び前記風速情報を検出する状態検出部と、前記状態検出部により検出された前記回転情報と前記風速情報、及び前記対応情報に基づいて、前記電力情報の指令値を決定する決定部と、前記決定部により決定された前記指令値に基づいて、前記回生電力を制御する制御部とを備える制御装置である。
【００１４】
また、本発明の一実施形態は、風力発電システムにより発電された回生電力を制御する電力制御パラメータを前記風力発電システムに設定した場合における前記風力発電システムの風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び前記風車の設置場所における風速を示す風速情報を検出する状態検出部と、前記状態検出部により検出された前記回転情報と前記風速情報、及び前記風速と前記回生電力との対応情報に基づいて、前記電力情報の指令値を決定する決定部と、前記決定部により決定された前記指令値に基づいて、前記回生電力を制御する制御部とを備える制御装置である。
【００１５】
また、本発明の一実施形態は、風力発電システムにより発電された回生電力を制御する制御方法であって、学習部が、前記風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、前記風力発電システムにより発電される回生電力に関する電力情報、及び、前記風速と前記回生電力との関係情報と前記風速に対する前記電力情報に応じた報酬とに基づいて、前記風速と前記回生電力との対応情報を学習し、記憶部に、前記風速と前記回転との対応情報を記憶させ、状態検出部が、前記回生電力を制御する電力制御パラメータを前記風力発電システムに設定した場合における前記回転情報、前記電力情報、及び前記風速情報を検出し、決定部が、前記状態検出部により検出された前記回転情報と前記風速情報、及び前記対応情報に基づいて、前記電力情報の指令値を決定し、制御部が、前記決定部により決定された前記指令値に基づいて、前記回生電力を制御する制御方法である。
【発明の効果】
【００１６】
以上説明したように、この発明によれば、風速と回生電力の関係に応じて適切な制御を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態に係る風力発電システム１の概略構成の一例を示すブロック図である。
【図２】第１の実施形態に係る風力発電システム１の制御装置６０及び学習装置７０の構成の一例を示すブロック図である。
【図３】第１の実施形態に係る強風時における報酬条件の例を示す図である。
【図４】第１の実施形態に係る制御装置６０の動作例を示すフローチャートである。
【図５】第２の実施形態に係る制御装置６０Ａの構成の一例を示すブロック図である。
【図６】第２の実施形態に係る応答時間推定部６９が応答時間を推定する処理を説明する図である。
【図７】第３の実施形態に係る報酬条件の例を示す図である。
【図８】第３の実施形態に係る報酬算出部６３Ｂが報酬を算出する処理を説明する図である。
【図９】第３の実施形態に係る制御システム５０Ｃの動作例を示すフローチャートである。
【図１０】第４の実施形態の変形例に係る風力発電システム１Ｄの概略構成の一例を示すブロック図である。
【図１１】第５の実施形態の変形例に係る風力発電システム１Ｅの概略構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、実施形態の制御システム、学習装置、制御装置を、図面を参照して説明する。
【００１９】
＜第１の実施形態＞
図１は、第１の実施形態に係る風力発電システム１の概略構成の一例を示すブロック図である。風力発電システム１は、風力発電機本体１０と制御システム５０とを備える。風力発電機本体１０と制御システム５０との間では、種々の情報がやりとりされる。
図１に示すように、例えば、制御システム５０から風力発電機本体１０に、風力発電機本体１０を制御する制御パラメータが出力される。
また、例えば、風力発電機本体１０から制御システム５０に、風力発電機本体１０の状態を示す状態パラメータが出力される。
【００２０】
制御パラメータは、例えば、発電機３０により発電される回生電力の電力量を制御する電力制御パラメータである。
また、状態パラメータは、例えば、風車２０の設置場所における風速を示す風速情報、風車２０の回転速度（以下、単に回転速度ともいう）を示す回転情報、及び発電機３０により発電された回生電力の電力量を示す電力情報である。
【００２１】
風力発電機本体１０は、風車２０と、発電機３０と、整流・昇圧部３１と、電圧検出部３２と、電流検出部３３と、風速センサ４１と、回転速度センサ４２とを備える。
風車２０は、例えば、垂直軸型風車として構成されており、鉛直方向に延びる回転軸の周囲に複数の直線翼が一体として回転可能に連結させた直線翼垂直軸風車などによって構成されている。
【００２２】
風車２０は、例えば、後述する発電機３０の回転子と回転軸を介して接続され、発電機３０の回転子と一体となって回転する。ここで、発電機３０の回転子は、発電機３０により発電される回生電力の電力量に応じた回転数で回転する。また、回生電力の電力量は、後述する制御システム５０によりＭＰＰＴ（Maximum Power Point Tracking）制御がなされる。このため、風車２０の回転数は、制御システム５０によるＭＰＰＴ制御により、間接的に制御される。
【００２３】
発電機３０は、風車２０の回転力を変換して電力を生じさせる装置であり、例えば、三相交流発電機として構成され、風車２０の回転と連動して回転する回転子が風車２０の回転軸に連結されて回転することにより交流電力を発電する。発電機３０は、発電した交流電力を整流・昇圧部３１に供給する。なお、発電機３０は、発電した電力を整流・昇圧部３１側に供給する発電機として動作する他、整流・昇圧部３１から交流電力が供給される電動機としても動作する。発電機３０は、例えば、風車２０の起動時に回転をアシストするアシスト制御を行う場合等に電動機として動作する。
【００２４】
整流・昇圧部３１は、発電機３０により発電された交流電力を直流電力に変換し、変換した直流電力の電圧を変換（昇圧）する。整流・昇圧部３１は、例えば、昇圧チョッパ回路である。ここで、整流・昇圧部３１から出力される直流電力は、「回生電力」の一例である。
【００２５】
整流・昇圧部３１は、例えば、ＰＷＭ（Pulse Width Modulation）サーボコントローラを備え、制御システム５０からのＭＰＰＴ制御に基づき、直流電力の電圧を変化させる。具体的には、整流・昇圧部３１は、制御システム５０からのＰＷＭ信号に応じたスイッチングを行い、ＰＷＭ信号のデューティ比の変化に応じた電圧となる直流電力を出力する。
【００２６】
なお、整流・昇圧部３１は、発電機３０に発電動作を行わせる場合には昇圧チョッパ回路として作動し、アシスト制御時等に発電機３０を電動機として動作させる場合にはインバ−タとして作動する回路である。なお、アシスト制御時の供給電力は、風力発電システム１のバッテリ（不図示）からの電力であってもよい。
【００２７】
電圧検出部３２は、公知の電圧計によって構成され、整流・昇圧部３１から出力される出力電圧を検出し、検出した出力電圧を制御システム５０に出力する。
電流検出部３３は、公知の電流計によって構成され、整流・昇圧部３１から出力される出力電流を検出し、検出した出力電流を制御システム５０に出力する。
【００２８】
風速センサ４１は、公知の風速センサによって構成され、例えば、風車２０の近傍の所定位置（例えば、風車２０における回転翼以外の部位）に設けられて風車が受ける風の風速を検出する。風速センサ４１は、検出した風速を示す情報を、制御システム５０に出力する。
【００２９】
回転速度センサ４２は、風車２０の回転速度を検出する。回転速度センサ４２は、風車２０の回転軸部（不図示）の回転速度を検出し得るセンサであればよく、公知の様々な回転速度センサを用いることができる。回転速度センサ４２は、検出した回転速度を示す情報を、制御システム５０に出力する。
【００３０】
制御システム５０は、制御装置６０と、学習装置７０とを備える。
制御装置６０は、風速センサ４１により検出された風速、回転速度センサ４２により検出された回転速度、及び電圧検出部３２と電流検出部３３とにより検出された回生電力の電力量に基づいて、学習装置７０を用いて電力制御パラメータを決定する。制御装置６０は、決定した電力制御パラメータを、風力発電機本体１０に設定することにより、発電機３０により発電される回生電力量を制御し、また、風車２０の回転数を（間接的に）制御する。
【００３１】
ここで、風速センサ４１により検出された風速は「風速情報」の一例である。回転速度センサ４２により検出された回転速度は、「回転情報」の一例である。また、電圧検出部３２と電流検出部３３とにより検出された回生電力の電力量は、「電力情報」の一例である。
【００３２】
学習装置７０は、例えば、強化学習を行う装置である。この場合、学習装置７０は、強化学習における学習する主体となるエージェントに相当し、制御対象（本実施形態では、風力発電機本体１０）とのやりとりにより、制御対象をより適切に制御するための学習を進める。
【００３３】
以下では、学習装置７０が強化学習を行う場合を例示して説明するが、これに限定されない。学習装置７０は、制御対象（風力発電機本体１０）に関する状態に基づいて、制御対象を制御するパラメータがより適切となるように学習するものであればよい。学習装置７０は、教師あり学習を行ってもよいし、教師なし学習を行ってもよいし、その他の学習を行ってもよい。ここで、制御対象（風力発電機本体１０）に関する状態とは、風力発電機本体１０及び風力発電機本体１０の周囲の状態であり、例えば、状態パラメータでしまされる風車２０における風速、風車２０の回転速度、及び発電機３０の発電量等の変数である。また、ここでの状態には、上述した風速等のような時々刻々変化する状態の他、予め定められた状態、例えば、風車２０の回転速度の限界値、風車２０の回転トルクの上下限、及び発電機３０が発電可能な最大の電力量等を含む。
【００３４】
本実施形態では、学習装置７０は、発電機３０により発電される回生電力の電力量を制御する電力制御パラメータを出力し、出力した電力制御パラメータが風力発電機本体１０に設定されることによる状態の変化を観察し、状態の変化に応じて次の電力制御パラメータを決定する。
【００３５】
また、学習装置７０は、学習装置７０が出力した電力制御パラメータが風力発電機本体１０に設定されることによる風力発電機本体１０の状態の変化に応じた報酬を受け取る。これにより、学習装置７０は、報酬を手掛かりとして自身が出力した電力制御パラメータの良し悪しを判断することにより学習を進め、より適した電力制御パラメータを出力することが可能となる。
【００３６】
図２は、本発明の一実施形態に係る風力発電システム１の制御装置６０の構成の一例を示すブロック図である。
図２に示すように、制御装置６０は、パラメータ取得部６１と、状態検出部６２と、報酬算出部６３と、報酬出力部６４とを備える。また、学習装置７０は、強化学習部７１を備える。ここで、強化学習部７１は、「学習部」の一例である。
【００３７】
パラメータ取得部６１は、強化学習部７１から出力される電力制御パラメータを取得する。パラメータ取得部６１は、取得した電力制御パラメータを、風力発電機本体１０に対して出力する。
【００３８】
状態検出部６２は、風力発電機本体１０の状態を示す状態パラメータを検出する。状態パラメータは、風力発電機本体１０に含まれる風車２０や発電機３０に関する情報であり、例えば、風速センサ４１により検出された風速、回転速度センサ４２により検出された回転速度、及び発電機３０により発電された回生電力を示す情報である。状態検出部６２は、検出した状態パラメータを、報酬算出部６３に出力する。
【００３９】
報酬算出部６３は、状態検出部６２により検出された風速情報、及び電力情報に基づいて、報酬を算出する。報酬算出部６３は、予め定めた所定の報酬条件に応じて報酬を算出する。報酬算出部６３は、算出した報酬を報酬出力部６４に出力する。
【００４０】
報酬出力部６４は、報酬算出部６３から取得した報酬を、強化学習部７１に出力する。
【００４１】
ここで、報酬条件は、例えば、風速が強風でない通常時においては、風速に対する回生電力の電力量に応じて決定される。つまり、発電量が大きい程、高い報酬が算出される。また、強風時においては、風車２０の安全性に応じて、風車２０の回転速度がより適切に制御されたと判定される場合に、より高い報酬が得られるように設定される。風車２０の安全性とは、風車２０が機械的な耐用限界等を考慮した場合に安全に回転することができる程度であり、例えば、風速が適切である通常状態においては風車２０の回転数が多少増加しても風車２０が破損する等の危険性がなく安全であるが、風速が強い強風状態で制御する場合においては回転数が多少増加した場合でも風車２０が破損する可能性があり危険であるというような、風車２０の安全性を示す度合である。なお、通常状態とは風速が所定の強風閾値未満であることをいい、強風状態とは風速が所定の強風閾値以上であることをいう。
【００４２】
風力発電では、強風時においては、特に風車２０の回転数を抑制して風車２０が過回転となって破損してしまうことを抑制する必要がある。風車２０の回転速度が過多になった場合には風車２０を強制停止するような安全対策が講じられる場合がほとんどである。風車２０が強制停止に至れば、回生電力を得ることができなくなってしまう。このため。強風時においては、風車２０の回転数が過多とならないように制御され、強制停止に至らないように制御されることが望ましい。
【００４３】
そこで、本実施形態では、報酬算出部６３は、風速が強風ではない通常状態においては、発電された回生電力が大きい程、高い報酬を算出する。また、報酬算出部６３は、風速が強風である強風状態においては、風車２０の回転数が過多とならないように制御されている場合に、高い報酬を算出する。
【００４４】
強化学習部７１は、風力発電機本体１０から状態パラメータを取得する。また、強化学習部７１は、報酬出力部６４から報酬を取得する。強化学習部７１は、取得した状態パラメータ、及び風速に対する風車２０の安全性を示す情報に基づいて、報酬を手掛かりとしてより高い報酬が得られるように学習を進め、より適切な電力制御パラメータを出力する。
【００４５】
図３は、第１の実施形態に係る報酬条件の例を示す図である。図３（ａ）は、風速が通常状態である場合における報酬条件の例、図３（ｂ）は、風速が強風状態である場合における報酬条件の例をそれぞれ示す。
図３（ａ）に示すように、風速が通常状態である場合において、風速に応じて基準となる発電電力を示す基準電力が予め決定される。この例では、通常の風速である風速１に対して基準電力１が、通常の風速である風速２に対して基準電力２が、それぞれ対応する基準となる発電電力である。また、報酬は、風速に応じた基準電力より発電された回生電力が高い（大きい）ほど、より高い報酬となる。
【００４６】
ここで、回生電力の電力量は、風速Ｖの３乗（Ｖ＾３）に比例することが知られている。このため、基準電力は、例えば、Ｐ／Ｖ＾３を指標として決定されてよい。
【００４７】
なお、風力発電においては、風車２０が受ける風速に対する回生電力の最大値は風車ごとに固有の特性値として一義的に定められている。そして、この回生電力の最大値が、風速に応じた回生電力の目標値として設定され、回生電力の目標値に近づくように回生電力が制御される。基準電力は、例えば、回生電力の最大値から所定のマージン値を減少させた値に設定される。
【００４８】
図３（ｂ）に示すように、風速が強風状態である場合において、強風時において基準となる風車２０の回転速度の基準を示す強風基準速度が予め決定される。また、報酬は、風車２０の回転速度が強風基準回転速度より低いほど、より高い報酬となる。
この場合において、単に風車２０の回転速度が強風基準回転速度より低いほど高い報酬を与えた場合、風車の回転速度が０（ゼロ）となった場合にも高い報酬が算出されてしまう場合がある。このための対策として、風車２０の回転速度の下限値が設定されてもよい。この場合、報酬は、風車２０の回転速度が強風基準回転速度より低く、尚且つ、風車２０の回転速度が風車２０の回転速度の下限値より高い（大きい）場合に、より高い報酬となる。
【００４９】
図４は、第１の実施形態に係る制御装置６０の動作例を示すフローチャートである。
まず、状態検出部６２は、状態パラメータを取得する（ステップＳ１１）。具体的には、状態検出部６２は、電力情報、風速情報、及び回転情報を取得する。状態検出部６２は、検出した状態パラメータを報酬算出部６３に出力する。
【００５０】
次に、報酬算出部６３は、報酬を算出する。
報酬算出部６３は、風速が通常であるか否かを判定する（ステップＳ１２）。報酬算出部６３は、風速が通常である場合、風速に応じた基準電力を取得する（ステップＳ１３）。基準電力は、例えば、制御装置６０の図示しない電力情報記憶部に記憶される。報酬算出部６３は、回生電力と基準電力との差分を算出し（ステップＳ１４）、差分に応じた報酬を算出する（ステップＳ１５）。具体的には、報酬算出部６３は、回生電力が基準電力に比べて大きい程、より高い報酬を算出する。
【００５１】
一方、ステップＳ１２において、風速が通常ではなく強風である場合、報酬算出部６３は、強風時における風車２０の回転速度の基準となる強風基準速度を取得する。強風基準速度は、例えば、制御装置６０の図示しない回転情報記憶部に記憶される。報酬算出部６３は、回転速度と強風基準速度との差分を算出し（ステップＳ１７）、差分に応じた報酬を算出する（ステップＳ１５）。具体的には、報酬算出部６３は、回転速度が強風基準速度に比べて小さいほど、より高い報酬を算出する。
【００５２】
＜第２の実施形態＞
次に第２の実施形態について説明する。
本実施形態では、制御システム５０Ａの制御装置６０Ａが応答時間を考慮した報酬を算出する点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
【００５３】
図５は、第２の実施形態に係る風力発電システム１Ａの構成の一例を示すブロック図である。図５に示すように、制御装置６０Ａは、応答時間推定部６９を備える。
応答時間推定部６９は、応答時間を推定する。応答時間は、風力発電機本体１０に電力制御パラメータが設定された時刻から、発電機３０により発電される回生電力が応答するまでの時刻である。回生電力が応答するとは、設定された電力制御パラメータに応じた電力値が出力されることである。
【００５４】
応答時間推定部６９は、風速情報と電力情報とを取得し、取得した風速情報の時系列変化と電力情報の時系列変化とを比較する。応答時間推定部６９は、ある電力情報の時系列変化を示す時間区間に対し、その電力情報の時系列変化と変化の傾向が一致する、又は似ている風速情報が示される時間区間を抽出する。
【００５５】
応答時間推定部６９は、例えば、ある電力情報の時系列変化を示す時間区間と、その時間区間に所定の検索単位時間遡った時間区間における電力情報の時系列変化との類似度合を算出する。応答時間推定部６９は、類似度合として、双方の時間区間の先頭の値から変化の方向を逐次比較する。変化の方向とは、例えば、値が増加しているか、又は減少しているかである。応答時間推定部６９は、変化の方向が一致している場合に類似、一致していない場合に非類似とし、時間区間の全体における類似する値の総和を類似度合として算出する。
【００５６】
応答時間推定部６９は、電力情報の時間区間を所定の検索単位時間ずつ遡った風速情報の時間区間に対する類似度合をそれぞれ算出し、算出した類似度合が最も高い風速情報の時間区間との差分を応答時間として推定する。応答時間推定部６９は、推定した応答時間を報酬算出部６３に出力する。
【００５７】
ここで、応答時間は、風車２０の持つ慣性（イナーシャ）により発生する。また、応答時間は、風速の変化に応じた時間である。つまり、風速の変化に対して回転速度に一定でない遅れが発生する。このため、応答時間推定部６９は、風速に応じた応答時間を推定する。すなわち、応答時間推定部６９は、風速が変化する度に応答時間を推定する処理を行うことが望ましい。実際の風速は時々刻々と変化するため、応答時間推定部６９は、電力情報を取得する度に、その取得した電力情報に応じた応答時間を推定するようにしてよい。
【００５８】
報酬算出部６３は、応答時間推定部６９により推定された応答時間に応じて、報酬を算出する。報酬算出部６３は、風速情報を取得した時点より、応答時間だけ時間が経過した後の電力情報に基づいて、報酬を算出する。報酬算出部６３は、例えば、風速が加速した時刻において回生電力を増加させるような電力制御パラメータが設定された場合、その時刻から応答時間経過後に、実際に発電された回生電力が増加していた場合に、適切な制御が行われたとしてより高い報酬を算出する。逆に、報酬算出部６３は、風速が加速した時刻において回生電力を増加させるような電力制御パラメータが設定された場合、その時刻から応答時間経過後に、実際に発電された回生電力が減少していた場合に、不適切な制御が行われたとしてより低い報酬を算出する。
【００５９】
図６は、第２の実施形態に係る応答時間推定部６９が応答時間を推定する処理を説明する図である。図６の上側では回生電力と時間の関係を示し、図６の下側では風速と時間の関係を示している。
図６に示すように、応答時間推定部６９がある時刻ｔ２における電力情報Ｐ（ｔ２）を取得した場合を例に説明する。まず、応答時間推定部６９は、電力情報Ｐ（ｔ２）を取得すると、時刻ｔ２を含む時間区間Ｔ１における電力情報の時系列変化を取得する。次に、応答時間推定部６９は、時間区間Ｔ１における電力情報の時系列変化と、時間区間Ｔ１から所定の検索単位時間αだけ遡った時間区間Ｔ２における風力発電の時系列変化との類似度合を算出する。次に、応答時間推定部６９は、時間区間Ｔ１における電力情報の時系列変化と、時間区間Ｔ１から所定の検索単位時間２αだけ遡った時間区間Ｔ３における風力発電の時系列変化との類似度合を算出する。このように、応答時間推定部６９は、順次、所定の検索単位時間αずつ遡った時間区間における風力発電の時系列変化との類似度合を算出し、算出した類似度合が最も大きい時間区間と、時間区間Ｔ１との差分を応答時間Ｄと推定する。この例では、時間区間Ｔ１における電力情報の時系列変化と、時間区間Ｔ１から時間２α遡った時間区間Ｔ３における風力情報の時系列変化の類似度合が最も大きくなる例を示している。この場合、応答時間推定部６９は、時間区間Ｔ１と時間区間Ｔ３との差分Ｄ（＝２α）を応答時間と推定する。
【００６０】
＜第３の実施形態＞
ここでは、第３の実施形態について、説明する。本実施形態では、風速の変化の方向に応じて報酬条件が異なる点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
【００６１】
図７は、第３の実施形態に係る報酬条件の例を示す図である。図７に示すように、本実施形態では、風速が増加している場合と減速している場合とで異なる報酬条件となる。
風速が増加している場合、報酬算出部６３Ｂは、他の実施形態と同様に、風速に応じた基準電力と回生電力の電力量に応じて、回生電力の電力量がより大きい場合により高い報酬を算出する。
風速が減速している場合、報酬算出部６３Ｂは、その風速が減速している時点における回生電力の電力量に応じて報酬を算出せず、その後に風速が加速した時点を考慮した回生電力の電力量に応じて報酬を算出する。
具体的には、報酬算出部６３Ｂは、風速が減速している場合、その時点から風速が加速に変化した後、所定時間が経過するまでの間の平均の風速に応じた基準電力を取得する。
また、報酬算出部６３Ｂは、風速が減速している場合、その時点から風速が加速に変化した後、所定時間が経過するまでの間の回生電力の平均である平均電力量を取得する。
そして、報酬算出部６３Ｂは、平均の風速に応じた基準電力と平均電力量とに基づいて、報酬を算出する。なお、報酬算出部６３Ｂは、応答時間を考慮した風速情報や電力情報を用いて報酬を算出してもよいし、応答時間を考慮せずに報酬を算出してもよい。
【００６２】
風力発電システム１においては、風速が減速する場合、風速に応じた最大の回生電力が得られる回転数で風車を回転させ続けると、発電負荷により風車の回転が失速してしまう場合がある。このため、風速が減速する場合には、風速の減速の度合い（単位時間あたりの風速の変化量）を考慮して、回生電力がなるべく維持されるように制御されることが望ましい。
しかしながら、風速が減速しているにも関わらず、その時点における回生電力の電力量に応じて、電力量が大きい場合に高い報酬を算出してしまうと、風車の回転が失速させてまで大きな電力量が得られるような制御がなされた場合にも高い報酬が算出されてしまうことになる。このような報酬が与えられた場合、強化学習部７１に、誤った学習をさせてしまう。
この対策として、本実施形態の報酬算出部６３Ｂは、風速が減速している場合、その時点から風速が加速に変化した後、所定時間が経過するまでの間の平均の風速に応じた基準電力を取得する。
なお、報酬算出部６３Ｂは、例えば、今回取得した風速情報と前回取得した風速情報との差分を算出し、算出した差分が正である場合に風速が加速していると判定し、差分が負である場合に風速が減速していると判定する。この場合、報酬算出部６３Ｂは、差分が０（ゼロ）である場合には、風速が加速していると判定してもよいし、風速が減速していると判定してもよい。
【００６３】
図８は、第３の実施形態に係る報酬算出部６３Ｂが報酬を算出する処理を説明する図である。図８の上側では回生電力と時間の関係を示し、図８の下側では風速と時間の関係を示している。図８では、報酬算出部６３Ｂが応答時間Ｄを考慮して報酬を算出する場合を例示している。
【００６４】
図８に示すように、報酬算出部６３Ｂがある時刻ｔ３における風速情報Ｖｍを取得した場合を例に説明する。まず、報酬算出部６３Ｂは、時刻ｔ３における風速の変化の方向を算出する。この例では、時刻ｔ３は風速が減速する減速区間Ｖｇに含まれている場合を示している。
報酬算出部６３Ｂは、時刻ｔ３における風速が減速している場合、その時刻ｔ３から風速が加速に変化した時刻ｔ４の後、所定時間Ｔ４が経過するまでの時間区間Ｖａｖｅの間の平均の風速、つまり風速情報Ｖｍ〜Ｖｍ＃までの平均の風速に応じた基準電力を取得する。なお、報酬算出部６３Ｂは、所定時間Ｔ４を風車の特性に応じて任意に決定してよい。
【００６５】
また、報酬算出部６３Ｂは、時間区間Ｖａｖｅに対応する時間区間Ｐａｖｅにおける回生電力の平均である平均電力量、つまり電力情報Ｐｍ〜Ｐｍ＃までの平均の電力量を取得する。なお、この例では、時間区間Ｖａｖｅに対し、所定の応答時間Ｄだけ遅延させた区間が時間区間Ｐａｖｅに相当する場合を示している。
報酬算出部６３Ｂは、時間区間Ｖａｖｅにおける平均の風速に応じた基準電力に対し、時間区間Ｐａｖｅにおける平均の電力量が大きい程、より高い報酬を算出する。
【００６６】
図９は、第３の実施形態に係る制御システム５０Ｃの動作例を示すフローチャートである。
まず、状態検出部６２は、状態パラメータを取得する（ステップＳ２１）。具体的には、状態検出部６２は、電力情報、風速情報、及び回転情報を取得する。状態検出部６２は、検出した状態パラメータを報酬算出部６３Ｂに出力する。
【００６７】
次に、報酬算出部６３Ｂは、報酬を算出する。
報酬算出部６３Ｂは、風速が加速であるか否かを判定する（ステップＳ２２）。報酬算出部６３Ｂは、風速が加速である場合、風速に対応する回生電力を取得する（ステップＳ２３）。報酬算出部６３Ｂは、風速の基準電力と回生電力とに応じた報酬を算出する（ステップＳ２４）。具体的には、報酬算出部６３Ｂは、回生電力が基準電力に比べて大きい程、より高い報酬を算出する。
【００６８】
一方、ステップＳ２２において、風速が加速ではなく減速である場合、報酬算出部６３Ｂは、その後風速が加速に変化した後、所定時間経過するまでの間における風速の平均値を取得する（ステップＳ２５）。報酬算出部６３Ｂは、風速の平均値を算出した時間区間に対応する時間区間における回生電力の電力量の平均算出する（ステップＳ２６）。報酬算出部６３Ｂは、風速の平均値に応じた基準電力と回生電力の平均値とに応じた報酬を算出する（ステップＳ２７）。
【００６９】
（第４の実施形態）
次に、第４の実施形態について説明する。
本実施形態では、制御装置６０Ｄ（図１０参照）が、学習済みモデルを用いて風車２０の回転数を制御する点において、上述した実施形態と相違する。
図１０は、第４の実施形態の変形例に係る風力発電システム１Ｄの概略構成の一例を示すブロック図である。図１０に示すように、制御装置６０Ｄは、学習済みモデル記憶部６５と、決定部６６と、制御部６７とを備える。
【００７０】
学習済みモデル記憶部６５は、学習済みモデルを記憶する。学習済みモデルは、制御対象である風力発電機本体１０の状態と、風力発電機本体１０に対する制御との関係を示す情報（関係情報）が格納されたデータベース（学習済みモデル）である。学習済みモデルは、風力発電機本体１０の状態に応じて、その状態に対応する風力発電機本体１０を制御する指標を示すパラメータ（以下、制御指標パラメータという）を推定するモデルである。
【００７１】
ここで、制御指標パラメータは、風力発電機本体１０を制御する指標となる情報であって、制御パラメータそのものであってもよいし、制御パラメータを導出するために用いられる情報であってもよい。
【００７２】
例えば、制御指標パラメータが回生電力を制御する指標となる情報である場合、制御指標パラメータは、電力制御パラメータそのものであってもよいし、回生電力の目標値を示すものであってもよいし、回生電力を増加させる、又は減少させるというような回生電力の制御を相対的に示すものであってもよい。
【００７３】
学習済みモデルは、例えば、上述した実施形態において強化学習部７１により学習が実施されることにより作成された学習済みモデルであってもよいし、他の風車であって、風車２０と似た構造を有し、風車２０が設置された地域と似たような地域に設けられた風車における風力発電システムの状態と制御との関係を学習した学習済みモデルであってもよい。
【００７４】
決定部６６は、取得した制御指標パラメータに基づいて、風力発電機本体１０に対する制御に関する制御情報を決定する。ここでの制御情報は、制御指標パラメータに応じて決定される制御を示す情報であり、例えば回生電力に関する電力情報の指令値である。つまり、決定部６６は、電力指標パラメータに基づいて電力情報の指令値を決定する。決定部６６は、決定した電力情報の指令値を、制御部６７に出力する。
【００７５】
ここでの、電力情報には、例えば、回生電力を増加させるか、或いは減少させるかといった回生電力の変化を示す情報の他、段階的に変化させるか、即時変化させるかといった回生電力を変化させる度合を示す情報も含まれる。
【００７６】
制御部６７は、決定部６６により決定された制御情報に基づいて、風力発電機本体１０を制御する制御パラメータを決定する。制御部６７は、例えば、決定部６６により決定された電力情報に基づいて、回生電力が指令値に近づくよう、回生電力を制御する電力制御パラメータを決定する。制御部６７は、決定した制御パラメータを、パラメータ取得部６１を介して風力発電機本体１０に出力する。
【００７７】
（第５の実施形態）
次に、第５の実施形態について説明する。
本実施形態では、制御装置６０Ｅが学習済みモデルを用いて出力した制御指標パラメータ（以下、単にパラメータという）と、学習装置７０が出力したパラメータとのいずれかを用いて、風車２０の回転数を制御する点において、上述した実施形態と相違する。
図１１は、第５の実施形態の変形例に係る風力発電システム１Ｅの概略構成の一例を示すブロック図である。図１１に示すように、制御装置６０Ｅは、選択部６８を備える。
【００７８】
選択部６８は、学習済みモデル記憶部６５に記憶される学習済みモデルから出力されるパラメータと、学習装置７０により出力されるパラメータとの何れか一方を決定部６６に出力する。選択部６８は、何れの一方を選択するかを、予め定められたフェーズに従って決定するようにしてよい。選択部６８は、例えば、風車２０の回転数の制御を学習装置７０に学習させる学習フェーズにおいては、学習装置７０により出力されるパラメータを選択する。一方、選択部６８は、風車２０の回転数の制御を学習済みの学習モデルが学習済みモデル記憶部６５に記憶され、学習済みモデルを用いて風車２０の回転数の制御する制御フェーズにおいては、学習済みモデル記憶部６５に記憶される学習済みモデルから出力されるパラメータを選択する。
【００７９】
また、上述した少なくとも一つの実施形態では、強化学習部７１が学習した内容を、学習済みモデル記憶部６５やその他の図示しない記憶部に記憶させておき、記憶させた内容に基づいて、更に学習を進めるようにしてよい。これにより、風車２０に共通するある程度の基本的な制御について学習したモデルを、風車２０が設けられた地域の風況や、季節の風況、昼夜の時間帯による風況の相違や、天候等の状態に応じた制御を行うことが可能となる。
【００８０】
以上説明したように、第５の実施形態の制御システム５０Ｅは、風力発電システム１により発電された回生電力を制御する制御システムであって、風力発電システム１の風車２０の設置場所における風速を示す風速情報、風車２０の回転に関する回転情報、風力発電システム１により発電される回生電力に関する電力情報、及び、風速と回生電力との関係情報と風速に対する電力情報に応じた報酬とに基づいて、風速と回生電力との対応情報を学習する強化学習部７１と、風速と回生電力との対応情報を記憶する学習済みモデル記憶部６５と、回生電力を制御する電力制御パラメータを風力発電システム１に設定した場合における回転情報、電力情報、及び風速情報を検出する状態検出部６２と、状態検出部６２により検出された回転情報と風速情報、及び対応情報に基づいて、電力情報の指令値を決定する決定部６６と、決定部６６により決定された指令値に基づいて、回生電力を制御する制御部６７とを備える。これにより、第５の実施形態の制御システム５０Ｅは、強化学習部７１に風速に対する電力情報に応じた報酬に基づいて学習させることができ、風速と回生電力の関係に応じて適切な制御を行うことができる。
【００８１】
また、第１の実施形態の制御システム５０は、状態検出部６２により検出された風速情報、及び電力情報に基づいて、報酬を算出する報酬算出部６３を更に備える。これにより、第１の実施形態の制御システム５０は、状態検出部６２により検出された風速と回生電力を用いての関係に応じてより適切な制御を行うことができる。
【００８２】
また、第１の実施形態の制御システム５０では、報酬算出部６３は、風速情報に示される風速が所定の強風閾値以上であるか否かに基づいて、異なる報酬条件を用いて前記報酬を算出する。これにより、第１の実施形態の制御システム５０は、強風時に通常時と同じ報酬条件で報酬を算出すると風車の安全性が確保され難くなる場合がある等誤った学習をさせてしまう可能性がある場合には、通常時と強風時とで報酬条件を変更することができるため、より適切な制御を行うことができる。
【００８３】
また、第１の実施形態の制御システム５０では、報酬算出部６３は、風速情報に示される風速が所定の強風閾値未満である場合、回転情報に示される風車２０の回転数が所定の回転閾値以上である場合に第１レベルの報酬を算出し、回転数が所定の回転閾値未満である場合に第１レベルより低い第２レベルの報酬を算出する。これにより、第１の実施形態の制御システム５０は、通常時には、発電量の大きくなるように制御された場合に、より高い報酬を算出することができ、より適切な制御を行うことができる。
【００８４】
また、第１の実施形態の制御システム５０では、報酬算出部６３は、風速情報に示される風速が所定の強風閾値以上である場合、回転情報に示される風車２０の回転数が所定の回転閾値以上である場合に第３レベルの報酬を算出し、回転数が所定の回転閾値未満である場合、第３レベルより高い第４レベルの報酬を算出する。これにより、第１の実施形態の制御システム５０は、強風時には、回転数を抑えて安全に制御された場合に、より高い報酬を算出することができ、より適切な制御を行うことができる。
【００８５】
また、第１の実施形態の制御システム５０では、報酬算出部６３は、電力情報が検出された時点より過去に取得された風速情報に基づいて、報酬を算出するようにしてもよい。これにより、第１の実施形態の制御システム５０は、電力制御パラメータが設定されてから、実際に電力が設定された値となるまでに所定の応答時間がかかる場合があっても、過去の風速に応じて報酬を算出することができるため、より適切な制御を行うことができる。
【００８６】
また、第１の実施形態の学習装置７０は、風力発電システム１の風車２０の設置場所における風速を示す風速情報、風車２０の回転に関する回転情報、風力発電システム１により発電される回生電力に関する電力情報、及び、風速と回生電力との関係情報と風速に対する電力情報に応じた報酬とに基づいて、風速と回生電力との対応情報を学習する強化学習部７１を備える。このため、第１の実施形態の学習装置７０は、風速に応じた電力に基づく報酬を手掛かりとして回生電力をどの様に制御すべきかを学習することが可能となるため、より適切な制御を行うことができる。
【００８７】
また、第１の実施形態の制御装置６０は、風力発電システム１の風車２０の設置場所における風速を示す風速情報、風車２０の回転に関する回転情報、風力発電システム１により発電される回生電力に関する電力情報、及び、風速と回生電力との関係情報と風速に対する電力情報に応じた報酬とに基づいて、風速と回生電力との対応情報を学習する強化学習部７１と、回生電力を制御する電力制御パラメータを風力発電システム１に設定した場合における回転情報、電力情報、及び風速情報を検出する状態検出部６２と、状態検出部６２により検出された回転情報と風速情報、及び対応情報に基づいて、電力情報の指令値を決定する決定部６６と、決定部６６により決定された指令値に基づいて、回生電力を制御する制御部６７とを備える。これにより、第１の実施形態の制御装置６０は、風速に対する電力情報に応じた報酬に基づいて学習する強化学習部７１により出力された電力制御パラメータを用いて回生電力を制御することができるため、より適切な制御を行うことができる。
【００８８】
また、第４の実施形態の制御装置６０は、回生電力を制御する電力制御パラメータを風力発電システム１に設定した場合における回転情報、電力情報、及び風速情報を検出する状態検出部６２と、状態検出部６２により検出された回転情報と風速情報、及び対応情報（例えば、学習済みモデル記憶部６５に記憶された風速と回生電力との対応情報）に基づいて、電力情報の指令値を決定する決定部６６と、決定部６６により決定された指令値に基づいて、回生電力を制御する制御部６７とを備える。これにより、第４の実施形態の制御装置６０は、対応情報に基づく電力制御パラメータに応じた制御を行うことができ、より適切な制御を行うことが可能となる。
【００８９】
以上説明したように、第５の実施形態の制御システム５０Ｅは、風力発電システム１により発電された回生電力を制御する制御システムであって、風力発電システム１の風車２０の設置場所における風速を示す風速情報、風車２０の回転に関する回転情報、風力発電システム１により発電される回生電力に関する電力情報、及び、風速と回生電力との関係情報と風速に対する回生電力の制御における応答時間が経過した後の電力情報に応じた報酬とに基づいて、風速と回生電力との対応情報を学習する強化学習部７１と、風速と回生電力との対応情報を記憶する学習済みモデル記憶部６５と、回生電力を制御する電力制御パラメータを風力発電システム１に設定した場合における回転情報、電力情報、及び風速情報を検出する状態検出部６２と、状態検出部６２により検出された回転情報と風速情報、及び対応情報に基づいて、電力情報の指令値を決定する決定部６６と、決定部６６により決定された指令値に基づいて、回生電力を制御する制御部６７とを備える。これにより、第５の実施形態の制御システム５０Ｅは、強化学習部７１に風速に対する応答時間を考慮した電力情報に応じた報酬に基づいて学習させることができ、応答時間に応じて制御を行うことができる。
【００９０】
また、第２の実施形態の制御システム５０Ａは、風速情報の時系列変化、及び電力情報の時系列変化に基づいて、応答時間を推定する応答時間推定部６９を更に備え、報酬算出部６３Ａは、応答時間推定部６９により推定された応答時間、状態検出部６２により検出された風速情報、及び電力情報に基づいて、風速情報が検出された時点より応答時間が経過した後の電力情報に応じた報酬を算出する。これにより、第２の実施形態の制御システム５０Ａは、応答時間推定部６９により風速情報と電力情報との双方の時系列変化に基づいて答時間が推定されるため、風速の変化の状況により応答時間が変化する場合であっても、その時々の時系列変化に応じた応答時間を推定することができ、より適切な応答時間に応じて制御を行うことができる。
【００９１】
また、第３の実施形態の制御システム５０Ｂでは、報酬算出部６３Ｂは、風速情報に示される風速が加速する加速区間にあるか否かに基づいて、異なった報酬条件を用いて報酬を算出する。これにより、第３の実施形態の制御システム５０Ｂは、減速時に加速時と同じ報酬条件で報酬を算出するとトータルの回生電力の電力量がしてしまう場合であっても、加速時と減速時とで報酬条件を変更することができるため、より適切な制御を行うことができる。
【００９２】
また、第３の実施形態の制御システム５０Ｂでは、報酬算出部６３Ｂでは、風速情報に示される風速が加速する加速区間にある場合、風速に応じた基準電力値と電力情報に示される電力値との差分に応じた報酬を算出する。これにより、第３の実施形態の制御システム５０Ｂは、加速時において風車２０が失速する可能性がほとんどない場合に発電力を大きくするような制御を学習させることができ、より適切な制御を行うことができる。
【００９３】
また、第３の実施形態の制御システム５０Ｂでは、報酬算出部６３Ｂは、風速情報に示される風速が減速する減速区間にある場合、風速が加速に変化した後の風速情報を含む風速に対応する電力情報に示される電力値に応じた報酬を算出する。これにより、第３の実施形態の制御システム５０Ｂは、減速時において、回生電力を大きくさせた場合に風車２０が失速する可能性がある場合に、発電力を大きくすることなく、風速が加速に転じた後に回生電力を増やすことでトータルの発電量を大きくするような制御を学習させることができ、より適切な制御を行うことができる。
【００９４】
また、第３の実施形態の制御システム５０Ｂでは、報酬算出部６３Ｂは、風速情報に示される風速が減速する減速区間にある場合、風速から所定時間経過するまでの風速の平均値と、風速から所定時間経過するまでの風速情報に対応する電力情報に示される電力値における平均値に応じた報酬を算出する。これにより、第３の実施形態の制御システム５０Ｂは、減速時において、回生電力を大きくさせた場合に風車２０が失速する可能性がある場合には発電力を大きくすることなく、その後に回生電力を増やすことでトータルの発電量を大きくするような制御を学習させることができ、より適切な制御を行うことができる。
【００９５】
また、第２の実施形態の学習装置７０は、風力発電システム１の風車２０の設置場所における風速を示す風速情報、風車２０の回転に関する回転情報、風力発電システム１により発電される回生電力に関する電力情報、及び、風速と回生電力との関係情報と風速に対する前記回生電力の制御における応答時間経過後の前記電力情報に応じた報酬とに基づいて、風速と回生電力との対応情報を学習する強化学習部７１を備える。このため、第１の実施形態の学習装置７０は、風速に応じた電力に基づく報酬を手掛かりとして回生電力をどの様に制御すべきかを学習することが可能となるため、より適切な制御を行うことができる。
【００９６】
また、第２の実施形態の制御装置６０Ａは、風力発電システム１の風車２０の設置場所における風速を示す風速情報、風車２０の回転に関する回転情報、風力発電システム１により発電される回生電力に関する電力情報、及び、風速と回生電力との関係情報と風速に対する前記回生電力の制御における応答時間経過後の前記電力情報に応じた報酬とに基づいて、風速と回生電力との対応情報を学習する強化学習部７１と、回生電力を制御する電力制御パラメータを風力発電システム１に設定した場合における回転情報、電力情報、及び風速情報を検出する状態検出部６２と、状態検出部６２により検出された回転情報と風速情報、及び対応情報に基づいて、電力情報の指令値を決定する決定部６６と、決定部６６により決定された指令値に基づいて、回生電力を制御する制御部６７とを備える。これにより、第１の実施形態の制御装置６０は、風速に対する電力情報に応じた報酬に基づいて学習する強化学習部７１により出力された電力制御パラメータを用いて回生電力を制御することができるため、より適切な制御を行うことができる。
【００９７】
上述した実施形態における制御システム５０、制御装置６０、及び学習装置７０の各々が行う処理の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００９８】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００９９】
１  風力発電システム
１０  風力発電機本体
２０  風車
３０  発電機
３１  整流・昇圧部
３２  電圧検出部
３３  電流検出部
４１  風速センサ
４２  回転速度センサ
５０  制御システム
６０  制御装置
６１  パラメータ取得部
６２  状態検出部
６３  報酬算出部
６４  報酬出力部
６５  学習済みモデル記憶部
６６  決定部
６７  制御部
６８  選択部
６９  応答時間推定部
７０  学習装置
７１  強化学習部
【図１】
2019162003.tif 000003
【図２】
2019162003.tif 000004
【図３】
2019162003.tif 000005
【図４】
2019162003.tif 000006
【図５】
2019162003.tif 000007
【図６】
2019162003.tif 000008
【図７】
2019162003.tif 000009
【図８】
2019162003.tif 000010
【図９】
2019162003.tif 000011
【図１０】
2019162003.tif 000012
【図１１】
2019162003.tif 000013