(57)【特許請求の範囲】
【請求項１】
自動監視作業および／または診断作業および／または制御作業に使用するために、ガスタービンまたは風力タービンの技術システムのデータドリブンモデル（ＮＭ）を計算機支援で形成する方法であって、
前記技術システムの複数の動作パラメタをそれぞれ表す複数のデータセットを含むトレーニングデータに基づいて前記データドリブンモデルを形成する、方法において、
−  所定数の繰り返しステップに対し、前記トレーニングデータ（ＴＤ）からなるデータセットを用いて、前記データドリブンモデル（ＮＭ）および密度推定器（ＤＥ）をそれぞれ学習させ、ただし、
前記密度推定器（ＤＥ）は、前記トレーニングデータからなる複数のデータセットに対して１つずつの信頼度尺度（ＣＭ）を出力し、ここで当該信頼度尺度（ＣＭ）は、各データセットと、前記トレーニングデータ（ＴＤ）からなる別のデータセットとの類似度が高ければ高いほど大きく、
前記データドリブンモデル（ＮＭ）は、それぞれ１つのモデルエラー（ＭＥ）を有する前記各トレーニングデータのデータセットを再構成し、
−  各繰り返しステップにおいて学習した前記データドリブンモデル（ＮＭ）および前記密度推定器（ＤＥ）を用いて、つぎの繰り返しステップにおける学習のため、前記トレーニングデータ（ＴＤ）からなるデータセットを選択するかまたは重み付けし、その際に低い信頼度尺度（ＣＭ）、および、大きなモデルエラー（ＭＥ）を有する、前記トレーニングデータ（ＴＤ）からなるデータセットがより前に選択されるかまたは大きく重み付けされるようにする、
ことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、
データドリブンモデル（ＮＭ）として、ニューラルネットワークを学習する、
ことを特徴とする方法。
【請求項３】
請求項１または２に記載の方法において、
前記技術システムの前記動作パラメタには、ガスタービンの以下の１つまたは複数の測定量、すなわち、
−  前記ガスタービンが動作する周囲環境における温度、
−  前記ガスタービンが動作する周囲環境における大気湿度、
−  前記ガスタービンが動作する周囲環境における気圧、
−  前記ガスタービンの性能、
−  前記ガスタービンの燃料良度、
−  前記ガスタービンの有害物質放出、
−  前記ガスタービンの１つまたは複数のタービン羽根の温度、
−  前記ガスタービンの排ガス温度、
−  前記ガスタービンの燃焼動的特性
が含まれる、
ことを特徴とする方法。
【請求項４】
請求項１から３までのいずれか１項に記載の方法において、
前記技術システムの前記動作パラメタには、ガスタービンの以下の１つまたは複数の操作量、すなわち、
−  前記ガスタービンにおける１つまたは複数の案内羽根の位置、
−  前記ガスタービンに供給されるガスの量、
−  前記ガスタービンの排ガス温度に対する目標値
が含まれる、
ことを特徴とする方法。
【請求項５】
請求項１から４までのいずれか１項に記載の方法において、
前記技術システムの前記動作パラメタには、風力タービンの以下の１つまたは複数の測定量、すなわち、
−  前記風力タービンによって形成される電力、
−  前記風力タービンが動作する周囲環境における風速、
−  前記風力タービンの回転数、
−  前記風力タービンの回転翼における曲げ力および／または撓みおよび／または応力変動、
−  前記風力タービンの塔の振動
が含まれる、
ことを特徴とする方法。
【請求項６】
請求項１から５までのいずれか１項に記載の方法において、
前記技術システムの前記動作パラメタには、風力タービンの以下の１つまたは複数の操作量、すなわち、
−  前記風力タービンの回転翼の迎え角、
−  回転数と、前記風力タービンによって形成される電力との間の関係を表す、前記風力タービンの特性マップ
が含まれる、
ことを特徴とする方法。
【請求項７】
請求項１から６までのいずれか１項に記載の方法において、
形成された前記データドリブンモデル（ＮＭ）を用い、１つまたは複数の最適化判定基準に基づいて、前記技術システムの動作に対する開ループ制御モデルおよび／または閉ループ制御モデルを計算し、
前記開ループ制御モデルおよび／または閉ループ制御モデルにより、前記技術システムの前記動作パラメタの１つまたは複数の測定量に依存して、前記技術システムの前記動作パラメタの１つまたは複数の操作量の変化を得る、
ことを特徴とする方法。
【請求項８】
請求項７に記載の方法において、
ガスタービンの前記開ループ制御モデルおよび／または閉ループ制御モデルを計算し、
前記１つまたは複数の最適化判定基準には、有害物質放出および／または燃焼動的特性および／または効率および／または出力が含まれる、
ことを特徴とする方法。
【請求項９】
請求項７または８に記載の方法において、
風力タービンの前記開ループ制御モデルおよび／または閉ループ制御モデルを形成し、
前記１つまたは複数の最適化判定基準には、前記風力タービンの効率および／または前記風力タービンの回転翼における曲げ力および／または撓みおよび／または応力変動が含まれる、
ことを特徴とする方法。
【請求項１０】
請求項７から９までのいずれか１項に記載の方法において、
前記学習した密度推定器（ＤＥ）により、前記技術システムの前記動作時に発生する動作パラメタからなる複数のデータセットの前記各信頼度尺度（ＣＭ）が求められるように前記開ループ制御モデルおよび／または閉ループ制御モデルを構成し、
相応する前記信頼度尺度（ＣＭ）が、あらかじめ設定した閾値を下回る場合、前記動作パラメタの１つまたは複数の操作量の前記変化を制限し、および／または、前記データドリブンモデルに関連する機能の動作および／または前記技術システムの動作を中断するかまたはスタートさせない、
ことを特徴とする方法。
【請求項１１】
請求項１から１０までのいずれか１項に記載の方法において、
形成した前記データドリブンモデルによって監視モデルを計算し、
該監視モデルは、前記技術システムの動作時に発生する１つまたは複数の動作パラメタが、形成した前記データドリブンモデル（ＮＭ）を介して再構成される１つまたは複数の相応する動作パラメタから、あらかじめ設定した量よりも偏差する場合、警告通知および／またはアラーム通知を出力し、および／または、前記技術システムの自動化されたセーフティ手段をトリガする、
ことを特徴とする方法。
【請求項１２】
請求項１１に記載の方法において、
前記技術システムの動作時に発生する動作パラメタからなるデータセットに対する各信頼度尺度（ＣＭ）が、前記学習された密度推定器によって求められるように前記監視モデルを構成し、
前記あらかじめ設定した量は、前記各信頼度尺度（ＣＭ）が小さければ小さいほど、大きくなるように設定され、前記あらかじめ設定した量に基づいて警告通知が形成される、
ことを特徴とする方法。
【請求項１３】
請求項７から１０までのいずれか１項に記載の方法において、
強化学習に基づき、および／または、モデル予想制御に基づき、および／または最適化方法に基づき、前記開ループ制御モデルおよび／または閉ループ制御モデルを計算する、
ことを特徴とする方法。
【請求項１４】
請求項７から１０までのいずれか１項に記載の方法において、
ニューラルネットワークに基づいて前記開ループ制御モデルおよび／または閉ループ制御モデルを学習する、
ことを特徴とする方法。
【請求項１５】
請求項１から１４までのいずれか１項に記載の方法において、
前記信頼度尺度（ＣＭ）および前記モデルエラー（ＭＥ）に依存する関数を介して、前記トレーニングデータ（ＴＤ）からなる前記データセットの前記選択または重み付けを行う、
ことを特徴とする方法。
【請求項１６】
請求項１から１５までのいずれか１項に記載の方法において、
つぎの繰り返しステップに対し、前記トレーニングデータからなる前記データセットが、前記データセットに対応づけられる確率に基づき、標本抽出によって取り出されるように前記トレーニングデータからなるデータセットを選択する、
ことを特徴とする方法。
【請求項１７】
請求項１から１６までのいずれか１項に記載の方法において、
前記トレーニングデータ（ＴＤ）からなる前記データセットに、前記密度推定器（ＤＥ）および前記データドリブンモデル（ＮＭ）を学習する際に考慮される重み付け（ｗ１，ｗ２，…，ｗＮ）を対応付け、
各繰り返しステップにおいて学習した前記密度推定器（ＤＥ）および前記データドリブンモデル（ＮＭ）により、低い信頼度尺度（ＣＭ）および高いモデルエラー（ＭＥ）を有する、前記トレーニングデータ（ＴＤ）からなるデータセットが、より大きく重み付けされるように、前記重み付け（ｗ１，ｗ２，…，ｗＮ）を更新する、
ことを特徴とする方法。
【請求項１８】
請求項１７に記載の方法において、
前記重み付け（ｗ）は、前記密度推定器（ＤＥ）および前記データドリブンモデル（ＮＭ）によって処理される確率を表す、
ことを特徴とする方法。
【請求項１９】
請求項１８に記載の方法において、
前記密度推定器（ＤＥ）および／または前記データドリブンモデル（ＮＭ）により、前記確率に基づき、前記学習のためまたは前記学習の枠内で、前記トレーニングデータ（ＴＤ）からなるデータセットを選択する、
ことを特徴とする方法。
【請求項２０】
請求項１から１９までのいずれか１項に記載の方法において、
前記トレーニングデータ（ＴＤ）からなるデータセットの部分集合（ＲＤ）により、または初期の重み付け（ｗ）を有する、前記トレーニングデータ（ＴＤ）からなるすべてのデータセットによって前記方法を初期化する、
ことを特徴とする方法。
【請求項２１】
請求項１から２０までのいずれか１項に記載の方法において、
前記密度推定器（ＤＥ）は、ニューラルクラウドアルゴリズムに基づく、
ことを特徴とする方法。
【請求項２２】
請求項１から２１までのいずれか１項に記載の方法において、
つぎの繰り返しステップに対して選択されるかまたは重み付けされたデータセットの前記モデルエラー（ＭＥ）の少なくとも１つのあらかじめ設定した割合が、あらかじめ設定した閾値を下回る場合、および／またはつぎの繰り返しステップに対して選択されるかまたは重み付けされたデータセットの前記信頼度尺度（ＣＭ）の少なくとも１つのあらかじめ設定した割合が、あらかじめ設定した閾値を上回る場合に、前記繰り返しを終了する、
ことを特徴とする方法。
【請求項２３】
技術システムを動作させる方法において、
請求項１から２２のいずれか１項に記載の方法によってデータドリブンモデルを形成し、引き続いて前記データドリブンモデルを使用し、前記技術システムの動作を解析する、および／または、当該技術システムの動作に影響を及ぼす、
ことを特徴とする方法。
【請求項２４】
請求項７から１０までのいずれか１項と組み合わせた請求項２３に記載の方法において、
前記開ループ制御モデルおよび／または閉ループ制御モデルによって前記技術システムを閉ループ制御および／または開ループ制御する、
ことを特徴とする方法。
【請求項２５】
請求項１１または１２に記載の方法において、
強化学習に基づき、および／または、モデル予想制御に基づき、および／または最適化方法に基づき、前記監視モデルを計算する、
ことを特徴とする方法。
【請求項２６】
請求項１１または１２または２５に記載の方法において、
ニューラルネットワークに基づいて前記監視モデルを学習する、
ことを特徴とする方法。
【請求項２７】
請求項１１または１２または２５または２６と組み合わせた請求項２３に記載の方法において、
前記技術システムを前記監視モデルによって監視する、
ことを特徴とする方法。
【請求項２８】
コンピュータプログラムであって、
請求項１から２７までのいずれか１項に記載の方法を
計算機に実行させる
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、殊にガスタービンまたは風力タービンのような技術システムのデータドリブンモデルを計算機支援で形成する方法ならびに相応するコンピュータプログラム製品に関する。
【０００２】
技術システムを自動で動作させるためには、この技術システムの動作パラメタを表す相応するトレーニングデータに基づいて学習することが可能なデータドリブンモデルを使用することができる。このように学習されたデータドリブンモデルは、上記の技術システムの挙動を反映しようするものであり、引き続き、相応する技術システムの監視モデルおよび／または制御モデルを形成するために使用することができる。つぎにこれらの監視モデルないしは制御モデルは、実際の動作パラメタに基づいてこのシステムの相応する操作量を調整するかまたはこの技術システムのエラー動作状態を自動的に確定するため、この技術システムの実際の動作に使用することができる。
【０００３】
一般的にはデータドリブンモデルを学習する上記のトレーニングデータは、技術システムの動作パラメタの状態空間内に均一に分散されてはいない。一般的には通常動作を表す技術システムの動作領域には、この技術システムの動作の境界領域におけるデータよりも、ないしはこの技術システムのエラー動作状態に対するデータよりも格段に多くのデータが存在する。この問題は殊に、損傷を回避するためにふつう境界領域では動作されないガスタービンおよび風力タービンを制御する際に発生する。したがってガスタービンないしは風力タービンの頻繁に利用される動作領域においては、極めて大量の有効なトレーニングデータセットが存在するが、その情報内容は大部分が冗長的である。これに対してまれに運転が行われる動作モードに対してはわずかなデータしか存在しないのである。
【０００４】
したがってデータドリブンモデルを学習するために使用されるトレーニングデータに対し、データ密度の相異なる複数の領域が存在するのである。一般的にはこのデータ密度は、相応するトレーニングデータを選択する際、およびこれに基づいて、相応する技術システムのモデルを形成する際には考慮されない。これにより、上記のデータドリブンモデルに基づいて計算される相応する制御モデルおよび監視モデルは、技術システムの動作時に誤ったないしは最適以下の制御動作または誤った警告を出力する結果にもなり得るのである。したがって例えば、ガスタービンないしは風力タービンの動作時に発生しかつ上記のデータドリブンモデルのトレーニングフェーズに含まれていなかった寒空イベントが、誤った警報をトリガすることにもなり得るのである。また典型的な動作状態に対するトレーニングデータだけで学習されるデータドリブンモデルは、多くのモデルエラーを生じさせ得るため、これに基づく閉ループ制御モデルないしは開ループ制御モデルは、技術システムの実際動作時に、例えばガスタービンおいて供給されるガスの量ないしは案内羽根の調整などの、相応する操作量を最適に調整しないのである。このことは技術システムの出力ないしは効率ないしは寿命の低下に結び付き得るのである。
【０００５】
従来、技術システムのデータドリブンモデルを形成する際には、異常値またはエラーを取り除いた後、トレーニングデータのすべてのデータセットを使用するか、またはこれらのデータセットをランダムに選択している。すべてのトレーニングデータを考慮することにより、極めて大量かつ常時増大し続けるトレーニングデータセットが形成され、このトレーニングデータセットは、相応するデータドリブンモデルの形成を遅くし、データドリブンモデルを形成する１つまたは複数の計算機の資源問題（例えば、メインメモリサイズ）に結び付き得るのである。トレーニングデータセットのランダムな選択に単純に制限することは、データドリブンモデルの計算を確かに高速化するが、技術システムについての関連する情報が失われるという危険性が高まる。この問題は、技術システムの動的特性を表すデータドリブンモデルにおいて、モデルを学習する際に、時間的に関連するデータセットからなる所定の１つの集合が、つねに共通に考慮されることによって増大するのである。
【０００６】
本発明の課題は、一層量少ない計算資源によって技術システムの良好なデータドリブンモデルを学習する、計算機支援によるデータドリブンモデルの形成する方法を提供することである。
【０００７】
この課題は、独立請求項によって解決される。本発明の発展形態は従属請求項に定められている。
【０００８】
本発明による方法は、技術システムのデータドリブンモデルおよび殊にガスタービンまたは風力タービンのデータドリブンモデルを計算機支援で形成するために使用される。このデータドリブンモデルは有利には、技術システムにおける自動監視作業および／または予測作業および／または制御作業（ＭＰＣ）に使用され、複数のトレーニングデータに基づいて形成される。これらのトレーニングデータには多くのデータセットが含まれており、これらのデータセットはそれぞれ、技術システムの複数の動作パラメタを表す。複数の動作パラメタとは、技術システムの測定量のことであり、また場合によっては操作量のことでもある。ここでこれらの測定量は、技術システムにおいてまたはその周囲環境において適切なセンサによって求められたものかまたはセンサ値から導出された量のことである。操作量は、技術システムの動作に影響を及ぼすために調整可能ないしは変更可能である、技術システムの動作パラメタのことである。
【０００９】
本発明による方法は繰り返して実行され、ここでは所定の回数の繰り返しステップに対してそれぞれ、トレーニングデータからならデータセットによって上記のデータドリブンモデルおよび１つ密度推定器が学習される。この場合に上記の繰り返しの終了後に学習されたデータドリブンモデルが、本発明による方法によって形成されるデータドリブンモデルである。上記の（学習された）密度推定器は、トレーニングデータからなる複数のデータセットに対して１つずつの信頼度尺度を出力し、この信頼度尺度は、トレーニングデータからなる各データセットと、別の複数のデータセットとの類似度が大きければ大きいほど高い。上記のデータセットの類似度は、有利な実施形態において、これらのデータセットによって表されるデータ点の空間における相応の間隔尺度によって表される。上記の密度推定器は、その信頼度尺度を介して、相応するデータセットに対し、上記のデータ空間において密度が高いか否か、ひいては類似した上記のトレーニングデータによるデータセットが多くあるか否かを出力する。上で今まさに説明した密度推定器を実現可能な方法は、従来技術から十分に公知であり、したがって詳しく説明しない。有利な１つの実施形態では、密度推定器として、ニューラルクラウドに基づく方法を使用する。有利には刊行物［１］に記載された方法を使用する。この刊行物の開示内容部全体は、参照によって本発明の内容にするものとする。
【００１０】
本発明による方法において繰り返しステップによって学習したデータドリブンモデルは、上記のトレーニングデータのデータセットを再構成するために使用される。ここでは、この再構成されるデータセットと、上記のデータセットによる実際のデータセットとの間の違いを表すモデルエラーが発生する。質的に良好なデータドリブンモデルにおいては、このモデルエラーを可能な限りに小さくしたい。ここでこのデータドリブンモデルは、殊に、トレーニングデータの各データセットの動作パラメタの第１の部分が、このデータドリブンモデルの入力値を表すのに対して、このデータドリブンモデルの出力値が、各データセットに含まれている動作パラメタの第２の部分になるように構成される。この場合に上記のモデルエラーは、上記のデータドリブンモデルを介して出力される動作パラメタの第２の部分と、トレーニングデータの相応するデータセットの動作パラメタの相応する第２の部分との差分によって得られる。
【００１１】
本発明による方法の枠内では、各繰り返しステップにおいた学習した上記の密度推定器およびデータドリブンモデルを用いて、つぎの繰り返しステップにおける学習のために上記のトレーニングデータからなるデータセットを選択するかまたは重み付けを行う。ここでは、トレーニングデータからなる信頼度尺度が低いデータセットおよびモデルエラーの大きいデータセットは、より前に選択されるかまたは大きく重み付けされる。すなわち、モデルエラーが同じ場合、別のデータセットよりも低い信頼度尺度を有する、トレーニングデータからなるデータセットは、上記の別のデータセットよりも前に選択されるかないしは大きく重み付けされるのである。また信頼度尺度が同じ場合、別のデータセットよりも大きなモデルエラーを有するデータセットは、上記の別のデータセットよりも有利に選択されるかないしは大きく重み付けされるのである。
【００１２】
本発明は、高い度合いで「新規性」を有するトレーニングデータ、すなわちその信頼度尺度が小さくかつその結果として類似のデータセットが少ないトレーニングデータを使用する場合に技術システムのデータドリブンモデルが極めて効率的に学習されるという知識に基づいている。同様に学習法に対して、モデルがまだエラーを有する、すなわちまだ大きなモデルエラーが発生するトレーニングデータの領域が関心の対象になる。したがって学習の新たな繰り返しステップにおいて信頼度尺度の低いないしはモデルエラーの大きなデータセットがより大きく考慮される適切な関係を上記のようにモデル化することにより、技術システムの良好なデータドリブンモデルを効率的に計算して形成できる学習が達成されるのである。
【００１３】
本発明による方法によれば、大きなトレーニングデータ集合内に存在する関係を適切に抽出することができ、またこの関係を技術システムの、殊にガスタービンまたは風力タービンの特性をモデル化するために利用することができる。相応する技術システムの良好なモデル化は、トレーニングデータのデータセットがわずかな動作パラメタしか含まないか、ないしはトレーニングデータの集合が少ないデータセットにわたって分散される場合であっても可能になる。本発明による方法では、トレーニングデータの重要な情報に関連するデータセットないしは領域だけを利用するため、相応するこのモデルは、高速かつ少ない計算資源で形成することができる。さらに本発明による方法により、形成されるデータドリブンモデルのパーセンタイルパフォーマンスが最適化される。このことは、上記のデータドリブンモデルが技術システムの計算機支援による制御または監視の枠内で使用される場合に殊に有利である。
【００１４】
本発明による方法はさらに、引き続いて技術システムの開ループ制御モデルおよび／または閉ループ制御モデルないしは監視モデルを計算する際に組み込み可能な学習型の密度推定器が、本発明によって提供されるという利点を有する。相応する開ループ制御モデルないしは監視モデルに使用されるこの密度推定器は、技術システムの実際の動作パラメタの重要性についての情報を供給する。殊に操作量の変化に対し、相応する報告の必要な閾値または最大値を動的に適合させることである。これにより、技術システムおよび殊にガスタービンまたは風力タービンをリアルタイムで監視する際のエラーアラームを回避することができる。さらに、形成されるデータドリブンモデルのオーソライズを、上記の信頼度尺度に依存させ、ひいては技術システムの実際の動作パラメタの相応するデータセットのデータ密度に依存させることができる。すなわち、データ密度が十分である場合にのみ、上記のデータドリブンモデルないしは技術システムの動作を受け入れるないしは継続するのである。これにより、例えば、ガスタービンの燃焼動的特性が大きすぎることによって技術システムの損傷に結び付き得る、技術システムの操作量設定を回避することができる。
【００１５】
本発明による方法によって形成されるデータドリブンモデルを用いれば、殊に技術システムの動的（すなわち時間に依存する）特性もモデル化することができる。この場合、データセットには、同じ時点の動作パラメタだけでなく、データドリブンモデルのアーキテクチャに相応し、関連している時点の一連の動作パラメタが含まれる。
【００１６】
本発明の方法によれば、データドリブンモデルとして有利にはニューラルネットワークが、また殊にリカレントニューラルネットワークが学習される。このようなリカレントニューラルネットワークを用いれば、相応するトレーニングデータに基づいて技術システムの特性を極めて良好に再構成することができる。上のニューラルネットワークの学習は、有利にはそれ自体公知のエラー・バックプロパブゲーション法によって行われる。殊に有利な実施形態では、ニューラルネットワークとして、刊行物DE 10 2010 011 221 A1に記載された、マルコフ決定過程抽出ネットワークとも称されるネットワークを使用する。
【００１７】
本発明による方法は、ガスタービンのモデル化に殊に良好に適している。データセットにおいて技術システムの動作パラメタとして考慮される、ガスタービンの適切な測定値には、以下の１つまたは複数のパラメタが含まれる。すなわち、
−  ガスタービンが動作する周囲環境における温度、
−  ガスタービンが動作する周囲環境における大気湿度、
−  ガスタービンが動作する周囲環境における気圧、
−  殊にパーセンタイルパフォーマンス値のような前記ガスタービンの性能、
−  前記ガスタービンの燃料良度、
−  例えば窒素酸化物および／または一酸化炭素の放出のようなガスタービンの有害物質放出、
−  ガスタービンの１つまたは複数のタービン羽根の温度、
−  ガスタービンの排ガス温度、
−  ガスタービンの燃焼動的特性
が含まれるのである。
【００１８】
ここで上で挙げた燃焼動的特性という概念は、適切なセンサで検出した、ガスタービンにおける圧力変動の振幅値に関するものである。
【００１９】
これに対し、ガスタービンについては、上記のデータセットにおける動作パラメタとして以下の１つまたは複数の操作量、すなわち、
−  ガスタービンにおける１つまたは複数の案内羽根の位置、
−  ガスタービンに供給されるガスの量、
−  ガスタービンの排ガス温度に対する目標値
が殊に有利であることが判明している。
【００２０】
ここで注意すべきであるのは、ガスタービンでは一般的に、適切な制御器によってタービンの排ガス温度に対する所望値を調整できることである。この値は、上述の目標値に相応する。
【００２１】
本発明の方法の別の有利な使用分野は、風力タービン用のデータドリブンモデルの形成である。ここでは、上記のデータセットにおける動作パラメタの測定量として、有利には以下の１つまたは複数の量、すなわち、
−  風力タービンによって形成される電力、
−  風力タービンが動作される周囲環境における風速、
−  風力タービンの回転数、
−  風力タービンの回転翼における曲げ力および／または撓みおよび／または応力変動、
−  風力タービンの塔の振動
が使用される。
【００２２】
風力タービンの上記の動作パラメタの操作量とし、上記のデータセットにおいて有利には、以下の１つまたは複数のパラメタ、すなわち、
−  風力タービンの前記回転翼の迎え角、
−  回転数と、風力タービンによって形成される電力との間の関係を表す、風力タービンの特性マップ
を使用する。
【００２３】
殊に有利な別の実施形態では、本発明による方法によって形成したデータドリブンモデルを用い、１つまたは複数の最適化判定基準に基づいて、技術システムの動作に対する開ループ制御モデルおよび／または閉ループ制御モデルを計算する。計算したこの開ループ制御モデルおよび／または閉ループ制御モデルにより、技術システムの動作パラメタの１つまたは複数の測定量に依存して、この技術システムの動作パラメタの１つまたは複数の操作量の変化が得られ、これによって技術システムの実際動作において、上記の操作量を適切に設定することができる。
【００２４】
ガスタービンの上記の開ループ制御モデルおよび／または閉ループ制御モデルが計算されると、有利にも上記の１つまたは複数の最適化判定基準に、可能な限りに少ない有害物質放出および／または可能な限りに少なくとも燃焼動的特性が含まれ、または可能な限りに高い効率（熱消費率）または可能な限りに高い出力も含まれる。これにより、ガスタービンの環境的に健全な動作ないしはタービンの長い寿命が保証されるのである。
【００２５】
風力タービンに対する上記の開ループ制御モデルおよび／または閉ループ制御モデルが計算されると、上記の１つまたは複数の最適化判定基準には殊に、風力タービンの回転翼における可能な限りに小さい曲げ力および／または可能な限りに高い風力タービンの効率が含まれる。これにより、風力タービンの最適な動作が保証され、ないしはここでも長い寿命が保証されるのである。
【００２６】
殊に有利な別の実施形態では、上記の開ループ制御モデルおよび／または閉ループ制御モデルを構成して、上記の学習した密度推定器により、技術システムの動作時に発生する動作パラメタからなる複数のデータセットの各信頼度尺度が求められているように上記の開ループ制御および／または閉ループ制御モデルを構成する。ここでは、相応する信頼度尺度が、あらかじめ設定した閾値を下回る場合、上記の動作パラメタの１つまたは複数の操作量の上記の変更を制限し、および／または、上記のデータドリブンモデルに関連する機能の動作および／または技術システムの動作を中断するかまたは最初からスタートさせない。これにより、上記の技術システムの動作パラメタが、十分に高いデータ密度を有する領域内にある場合にのみ、この技術システムの動作をオーソライズするために、本発明の方法の枠内で学習した上記の密度推定器を使用することも可能である。
【００２７】
本発明による方法の別の実施形態では、形成したデータドリブンモデルにより、監視モデルを計算する。ここでこの監視モデルは、技術システムの動作時に発生する１つまたは複数の動作パラメタが、形成したデータドリブンモデルを介して再構成される１つまたは複数の相応する動作パラメタから、あらかじめ設定した量よりも偏差する場合、警告通知および／またはアラーム通知を出力し、および／または、この技術システムの自動化されたセーフティ手段をトリガする。有利にはこのような監視モデルにおいて上記の学習した密度推定器を適当に考慮することもできる。この場合には、技術システムの動作時に発生する動作パラメタからなるデータセットに対する各信頼度尺度が、上記の学習された密度推定器によって求められるようにこの監視モデルを構成し、ここで上記のあらかじめ設定した量は、上記のモデルの入力量に対する信頼度尺度が小さければ小さいほど、大きくなるように設定され、このあらかじめ設定した量に基づいて警告通知が形成される。これにより、データ密度の低いデータセットに対する、報告の必要な閾値が上がる。場合によっては、各信頼度尺度が、あらかじめ設定した閾値よりも小さい場合、データ密度が小さすぎるために目下のところは警告通知を出力することができず、ひいては監視できないことの通知を出力することも可能である。
【００２８】
殊に有利な実施形態では上記の開ループ制御モデルおよび／または閉ループ制御モデルおよび／または監視モデルは、強化学習に基づき、および／または、モデル予測制御に基づき、および／または最適化方法に基づいて計算される。強化学習ならびにモデル予測制御の方法は、従来技術から十分に公知である。相応する最適化方法も公知である。例えば、この最適化方法は、上記の開ループ制御モデルないしは閉ループ制御モデルないしは監視モデルにしたがい、相応に設定される最適値を求めるグラジエントベースまたは確率的なサーチ方法に基づいて行うことができる。殊に有利な別の実施形態では、例えばリカレントニューラルネットワークのようなニューラルネットワークに基づいて上記の開ループ制御モデルおよび／または閉ループ制御モデルおよび／または監視モデルを学習する。
【００２９】
相応の開ループ制御モデルおよび／または閉ループ制御モデルないしは監視モデルを計算するための技術としては、例えば、刊行物DE 10 2007 001 025 A1（Recurrent-Control-Neural-Network  リカレントコントロールニューラルネットワーク）ないしはDE 10 2007 017 259 A1（Neural-Rewoards-Regression  ニューラル報酬回帰）ないしはDE 10 2007 042 440 B3（Policy-Gradient-Neural-Reward-Regression  ポリシィ勾配ニューラル報酬回帰）に記載されている方法が適している。相応する開ループ制御モデルおよび／または閉ループ制御モデルないしは監視モデルを計算するため、従来技術から公知のNeural-Fitted-Q-Iteration（刊行物［２］を参照されたい）も使用可能である。
【００３０】
場合によっては開ループ制御モデルおよび／または閉ループ制御モデルないしは監視モデルをニューラルネットワークによって学習する際にはレギュラリゼーション法を使用することができる。例えば、各データセットに対するエラーに加えて、上記のニューラルネットワークにおけるいわゆる重み付けに対するペナルティ項（英語ではweight penalty term）を追加し、これによってデータ密度の低い領域において一層線形であり、ひいては一層良好な外挿性を有するモデルを形成することができる。またそれ自体公知のInverse Kurtosis評価関数によって選択された、上記のニューラルネットワークの複数の重み付けをカットオフし、これによってデータ密度の小さいデータ領域において上記の方法を安定化させる。このことは、殊にガスタービンまたは風力タービンに対して開ループ制御モデルおよび／または閉ループ制御モデルを計算する際に有利である。
【００３１】
有利な実施形態では、上記のデータドリブンモデルを形成する際、上記のデータセットの重み付けないしは選択と、信頼度尺度ないしはモデルエラーとの間の関係を関数によってモデル化する。ここでは、信頼度尺度およびモデルエラーに依存する関数を定める。ここでこの関数は、データセットの上記の信頼度尺度およびモデルエラーに基づき、１つのデータセットを選択するか否か、ないしはこのデータセットの上記の重み付けをどの程度にするかを確定する。上記の関数は、適用事例に応じてさまざまに構成することが可能である。このような関数の具体的な決定は、当業者の行い得る範囲内にある。例えば、上記の関数は、上記の相応する関係を、階段によって不連続にモデル化するかまたは適当に連続にモデル化することができる。
【００３２】
本発明による方法の別の有利な実施形態では、上記のデータドリブンモデルを形成する際、上記のデータセットを選択して、このデータセットが、つぎの繰り返しステップに対し、上記の複数のデータセットに対応する確率に基づき、標本抽出によって取り出されるようにする。すなわち、上記のデータセットには、各信頼度尺度ないしはモデルエラーに基づいて適当に確率が割り当てられ、つぎにこれらがサンプリングの枠内で考慮されるのである。上記の確率の割り当ては、例えば、上で説明した関数によって行うことができる。
【００３３】
本発明による方法の別の実施形態では、上記のトレーニングデータからなるデータセットに、上記の密度推定器およびデータドリブンモデルを学習する際に考慮される重み付けを対応付ける。ここで各繰り返しステップにおいて学習した密度推定器またはデータドリブンモデルにより、低い信頼度尺度および大きなモデルエラーを有する、上記のトレーニングデータからなるデータセットがより大きく重み付けされるように、上記の重み付けを更新する。これらの重み付けは、種々異なる仕方で上記の密度推定器ないしはデータドリブンモデルよって考慮することが可能である。本発明の１つの変化形態において、上記の重み付けは、上記の密度推定器およびデータドリブンモデルによって処理される確率を表す。例えば、上記の密度推定器および／またはデータドリブンモデルにより、それらの確率に基づき、学習のためにトレーニングデータからなるデータセットを選択することができる。これらの確率は、学習の枠内において、例えば、上記の密度推定器またはデータドリブンモデルによって使用される確率的勾配降下法において適切に考慮することも可能である。
【００３４】
本発明による方法は、種々異なる仕方で初期化することができる。１つの実施形態では、例えばランダムに決定される、上記のトレーニングデータからなるデータセットの部分集合によって上記の方法を初期化する。また適切に決定した初期の重み付けを有する、トレーニングデータからなるすべてのデータセットによって上記の方法を初期化することも可能である。
【００３５】
本発明による方法の枠内で求めた上記のモデルエラーは、例えば、上記のデータドリブンモデルによって再構成したデータセット、ないしはこのデータセットの再構成された動作パラメタと、上記のトレーニングデータの相応するデータセット、ないしはこのデータセットの相応する動作パラメタとの偏差の絶対値によって表すことができる。また上記のモデルエラーは、相対的な偏差を表すこともでき、この相対的な偏差では、上記のデータセットのすべてのモデルエラーの標準偏差を基準にして上記の偏差の絶対値が求められ、これが各繰り返しステップにおいて再構成されるのである。
【００３６】
本発明による方法において出力される信頼度尺度も、例えばゼロと１との間の区間に適当に正規化され、ここで値ゼロは信頼度がない（すなわちデータ密度が低い）ことおよび値１は信頼度が高い（すなわちデータ密度）ことを表す。
【００３７】
本発明による方法の枠内で実行される繰り返しは、相異なる判定基準に基づいて終了させることが可能である。有利な実施形態では、つぎの繰り返しステップに対して選択されるかまた重み付けされたデータセットのモデルエラーの少なくとも１つのあらかじめ設定した割合が、あらかじめ設定した閾値を下回るか、および／または、つぎの繰り返しステップに対して選択されるかまたは重み付けされたデータセットの信頼度尺度の少なくとも１つのあらかじめ設定した割合が、あらかじめ設定した閾値を上回る場合に、上記の繰り返しを終了する。これによって保証されるのは、上記の学習したデータドリブンモデルが所定の最小品質に達した場合に上記の方法を終了することである。ここで上記のあらかじめ設定した割合は、例えば、すべてのモデルエラーないしは信頼度尺度の９５％または９９％以上とすることが可能である。
【００３８】
本発明による方法の別の実施形態では、つぎの繰り返しステップに対して選択および重み付けされたデータセットの平均モデルエラーが、先行する繰り返しステップに対してこれ以上は小さくならない、および／またはつぎの繰り返しステップに対して選択および重み付けされたデータセットのすべての信頼度尺度が、あらかじめ設定した閾値を上回る場合に、上記の繰り返しステップを終了する。
【００３９】
データドリブンモデルを形成する上記の方法に加え、本発明はさらに技術システムを動作させる方法に関しており、ここでは上記の本発明による方法を用いて、ないしは、本発明のよる方法の１つまたは複数の有利な変化形態を用いてデータドリブンモデルを形成するか、ないしは形成して引き続き、この技術システムの動作を解析するため、および／またはこれに影響（殊に直接の影響）を及ぼすために使用する。
【００４０】
したがってこの方法は、本発明によるこの方法は、技術システムの実際動作の枠内で、本発明によって形成した上記のデータドリブンモデルを使用するのである。ここでは有利には、開ループ制御モデルおよび／または閉ループ制御モデルないしは監視モデルを計算する変形形態を使用して上記のデータドリブンモデルを形成する。この場合に技術システムは、この開ループ制御モデルおよび／または閉ループ制御モデルおよび／または監視モデルにより、開ループ制御および／または閉ループ制御および／または監視される。
【００４１】
上で説明した方法に加え、本発明はさらに機械読み出し可能媒体に記憶されたプログラムコードを有するコンピュータプログラム製品に関しており、このコンピュータプログラムコードは、これが計算機で実行される場合に本発明による上記の方法、ないしは本発明による上記の方法の１つまたは複数の有利な変形形態を実行するためのものである。
【００４２】
以下では添付の図面に基づき、本発明の実施例を詳しく説明する。
【図面の簡単な説明】
【００４３】
【図１】本発明による方法の第１実施例の概略図である。
【図２】本発明による方法の第２実施例の概略図である。
【００４４】
以下で説明する本発明による方法の実施形態は、複数のデータセットを含むトレーニングデータを使用して、技術システムのデータドリブンモデルを形成する方法に使用される。これらの実施形態によって形成されるデータドリブンモデルは有利には、上で説明したように、技術システムに対する相応の開ループ制御モデルおよび／または閉ループ制御モデルないしは監視モデルを計算するために使用可能である。続いてこれらの開ループ制御モデルおよび／または閉ループ制御モデルないしは監視モデルは、同様に上で説明したように、技術システムの実際動作において使用することができる。以下で説明する実施形態の殊に有利な適用事例は、ガスタービンないしは風力タービン用のデータドリブンモデルの形成である。
【００４５】
ここで説明する実施形態において個々のデータセットは、技術システムの複数の動作パラメタを含むベクトルである。これらのような動作パラメタの例は、ガスタービンおよび風力タービンに対して上で挙げた。１つの実施形態において上記のベクトルの動作パラメタは、技術システムの時間的に連続する測定量および操作量を表すため、データドリブンモデルにより、技術システムの動的特性が学習される。上記のトレーニングデータにおける動作パラメタは、技術システムの実際動作において検出され、データベースに記憶されている。
【００４６】
本発明による方法の目的は、関連する情報を上記のトレーニングデータから抽出し、また冗長な情報を取り除くことであるため、上記のトレーニングデータによって学習されるデータドリブンモデルの品質が改善される。ここでは殊に、学習されるモデルのいわゆるパーセンタイルパフォーマンスを改善する。すなわち、技術システムの、データセットの少ない動作領域においてデータドリブンモデルの品質を高めようとしているのである。
【００４７】
図１には、本発明による方法の１つの実施形態が示されており、ここでは、相応するデータベースに格納されているトレーニングデータＴＤが処理される。すでに述べたように、これらのトレーニングデータは、技術システムの動作パラメタの形態のデータセットに関連しており、場合によっては事前にフィルタリングが行われているため、データドリブンモデルに関連するデータセットの所定の動作パラメタだけが、ないしは上記の方法における所定のデータセットだけが引き続いて処理される。図１の実施形態は、データドリブンモデルを学習するために、トレーニングデータＴＤの部分集合をサンプリング（すなわち標本抽出）によって適当に選択するというアイデアに基づいている。この方法を初期化する際にはまず、ステップＲＳ（ＲＳ＝Random Sampling）においてトレーニングデータの部分集合をランダムに選択する。この部分集合は、図１においてＲＤ（ＲＤ＝Reduced Dataset）と記されている。この部分集合により、ニューラルネットワークないしはニューラルモデルＮＭの形態のデータドリブンモデルを学習する。ここではこのために、例えば強化学習のようなそれ自体公知の学習方法を使用する。
【００４８】
これに並行して上記の部分集合により、密度推定器ないしはデータエンカプスレータＤＥを学習する。ここで説明している実施形態では、データエンカプスレータとして、刊行物［１］から公知のニューラルクラウドに基づく密度推定器を使用する。この方式に基づく密度推定器は公知であり、したがってここでは詳しく説明しない。この密度推定器の目標は、相応するデータセットないしはデータ点に対し、上記のトレーニングデータの別のデータセットが、観察中のデータセットにどの程度類似しているかという点についてその「新規性」を求めることである。ここでこの類似度は、データセット相互の距離によって表される。この距離は、データ空間におけるデータ点のユークリッド距離によって与えられる。刊行物［１］の密度推定器によりまず、min-max正規化法に基づき、個々のデータセットないしはデータ点の正規化を行う。引き続き、「拡張Ｋ平均」アルゴリズムとも称される従来技術から公知のＫ平均化アルゴリズムの変化形態に基づいて上記のデータ点のクラスリングを行う。このアルゴリズムにより、データ点の空間内に複数のクラスタ中心が得られる。つぎのステップでは、これらの中心にわたってガウスベルを配置し、引き続いてここれらのガウスベルの正規化を行う。つぎのこのアルゴリズムの最終形成物として、学習されたデータエンカプスレータが得られる。このデータエンカプスレータにより、各データセットに対して信頼度が求められ、この信頼度は、このデータセットと、トレーニングデータからなるデータセットとの類似度を表し、また上記の刊行物［１］では観察対象の技術システムに対する故障確率として評価される。
【００４９】
上記のニューラルネットワークＮＭの学習が終了した後、モデルエラーを除いて上記のトレーニングデータからなる複数のデータセットを再構成することができる。ここでは、データセットの動作パラメタの所定の割合が、上記のニューラルネットワークの入力ベクトルとして処理される。このニューラルネットワークはつぎに、相応するデータセットの別の動作パラメタを出力ベクトルとして供給する。上記のトレーニングデータによる実際の出力ベクトルと、上記のニューラルネットワークを介して計算した出力ベクトルとの間の差分により、相応するモデルエラーが得られる。
【００５０】
図１の実施形態では、データエンカプスレータＤＥの相応する信頼度ＣＭと、上記のニューラルネットワークＮＭの相応するモデルエラーＭＥとを使用して、重み付きサンプリングＷＳを実行する。この重み付きサンプリングを行うため、トレーニングデータＴＤからなるすべてのデータセットに対してそれぞれ、上記の学習したニューラルネットワークによって得られるモデルエラーと、上記のデータエンカプスレータによって得られる信頼度とを求める。これらの値の組み合わせ毎に、相応するデータセットに対して確率を求める。これらの確率は、すべてのデータセットに対して１に正規化される。これらの確率は有利には、モデルエラーが同じ場合には、信頼度の低いデータセットが、信頼度の高いデータセットよりも高い確率を有するように決定される。さらに上記の確率は、信頼度が同じ場合にモデルエラーの大きなデータセットが、モデルエラーの小さいデータセットよりも大きな確率を有するように決定される。引き続いてこれらの確率によって上記のサンプリングＷＳが行われる。ここでは、このサンプリングにより、信頼度が低いことによって新規性が高いかないしはこのデータドリブンモデルによっては良好には再構成できないデータセットが上記のトレーニングデータからあらかじめ取り出される。
【００５１】
標本抽出ＷＳを実行した後、データセットの新たな部分集合ＲＤが得られ、この部分集合は、つぎの繰り返しステップにおいてデータエンカプスレータＤＥおよびニューラルネットワークＮＭをさらに学習するために使用可能である。ここでも引き続き、新たに重み付けしたサンプリングＷＳが行われる。しかしながらこのために、このサンプリングに対する相応の確率は新たに、再度学習したデータエンカプスレータないしは再度学習したニューラルネットワークによって決定される。最終的に上記の方法は、新たに形成したデータセットの部分集合により、つぎの繰り返しステップにおいて継続されるのである。
【００５２】
データエンカプスレータないしはニューラルネットワークの上記の繰り返しの学習は、適当な停止判定基準に基づいて終了される。この停止断判定基準は、新たに形成した部分集合のすべてのデータセットに対して各モデルエラーがあらかじめ設定した閾値よりも小さく、かつ、各信頼度があらかじめ定めた引き位置よりも大きい場合に上記の方法が終了するように決定される。この方法の最終結果として、引き続いて技術システムの開ループ制御モデルおよび／または閉ループモデルないしは監視モデルを計算するのに使用可能な学習されたニューラルネットワークが得られるのである。
【００５３】
図２には、本発明による方法の第２の実施形態が示されている。図１とは異なり、上記のデータエンカプスレータＤＥおよびニューラルネットワークＮＭを学習する際には（場合によって事前にフィルタリングした）トレーニングデータＴＤのすべてのデータセットを使用する。しかしながらこれらのデータセットは、上記の学習したデータエンカプスレータないしは学習したニューラルネットワークを使用して適切に重み付けされる。図２に示した方法は、はじめに適当に初期化され、ここではこの初期化の枠内で、観察対象のＮ個のデータセットに対する相応する重み付けｗ１，ｗ２…，ｗＮが上記のトレーニングデータにしたがって求められる。これらの重み付けは、例えば、ランダムにまたは値１／Ｎで初期化することができる。ここで説明している実施形態においてこれらの重み付けは、データエンカプスレータＤＥまたはニューラルネットＮＭによって考慮される確率を表す。
【００５４】
図１の実施形態とは異なり、ここではすべてのトレーニングデータが事前の選択なしに考慮される。上記の重み付けによって表される確率により、刊行物［１］の密度推定器に相応するデータエンカプスレータは、相応するデータセットを選択する。上記の確率は、データエンカプスレータにおいて上記の正規化の際に組み込むことができ、ここではこれらの確率にしたがい、上記の正規化の際に考慮されるデータセットが選択される。ここではまた上で説明したクラスタリングの際に上記の確率を使用することも可能である。ここでは上記の確率により、クラスタ中心をサーチする際のどのデータセットを使用するのかを選択することができる。またここでは、上記のデータエンカプスレータにおいて使用されるクラスタ中心の距離計算を行う際に、これらの確率を使用することができる。ここでも、上記の距離を計算する際にどのデータセットを考慮するのかが、上記の確率によって決定される。上記の正規化、クラスタリングおよび距離の計算の枠内では、上記の相応に使用されるデータセットは、一度だけ求めるかないかはステップ毎に新たに別個に求めることができる。
【００５５】
さらに上記の重み付きにより、上記のニューラルネットワークの学習のために考慮されるかないしニューラルネットワークの学習の枠内で考慮される相応のデータが選択される。例えば上記の学習の際には上記のデータセットの選択に基づき、公知の確率的勾配降下法の枠内で上記のグラジエントを求めることができる。
【００５６】
上記のデータエンカプスレータないしはニューラルネットワークを学習した後、更新ステップＵＰが行われ、ここでは上記の学習したエンカプスレータおよび学習したニューラルネットワークに基づき、最初に初期化した重み付けが新たに計算される。これは、図１に類似してつぎのようにすることによって行われる。すなわち、上記のトレーニングデータからなるすべてのデータセットに対し、上記のデータエンカプスレータの相応する信頼度および上記のニューラルネットワークの相応するモデルエラーを求め、これにより、考察対象のデータセットの信頼度が小さければ小さいほど、ないしは考察対象のデータセットのモデルエラーが大きければ大きいほど確率が高くなるように、重み付けないしは確率を導出されることによって行われるのである。ここでは、例えば、１つの関数に基づく関係のような相応の関係を決定することは当業者がなし得ることである。例えば、相応する関数によって線形関係をモデル化することができる。
【００５７】
図２の方法は、ステップＵＰにおいて更新された重み付けにより、つぎの繰り返しステップにおいて継続される。この繰り返しステップでは、上記のデータエンカプスレータおよびニューラルネットワークはこれらの新たな重み付けを考慮して再度学習され、引き続き、学習したデータエンカプスレータないしは学習したニューラルネットワークにより、上記の重み付けが新たに更新される。この繰り返しの方法は、適切な中断判定基準によって終了し、この中断判定基準は、図１に類似して、各データセットに対して発生するデータエンカプスレータの信頼度が、あらかじめ設定した閾値を上回るか、ないしは各データセットに対して発生するニューラルネットワークのモデルエラーが、あらかじめ設定した閾値を下回る場合、上記の方法が終了するように決定される。このようにした学習したニューラルネットワークはここでも、引き続き、相応する技術システムを制御するため、ないしは監視するためのモデルの計算に使用することができる。
【００５８】
本発明の上で説明した実施形態は、一連の利点を有する。殊にトレーニングデータの大きな集合から、データセットのベースにある技術システムを良好に表すことができるデータセットを抽出することができる。ここでは上記のデータセットから部分集合を適当に選択することにより、ないしは上記のデータセットを重み付けることにより、少ないデータセットによって強力な領域が考慮されるデータドリブンモデルを学習することができる。したがって、通常動作からは逸脱する、技術システムの動作状態が一層強力に考慮されるのである。
【００５９】
本発明による方法によれば、関連するデータセットを上記のように選択することにより、トレーニングデータに基づき、相応するデータドリブンモデルを高速に学習することができる。さらに学習したこのデータドリブンモデルは、良好なパーセンタイルパフォーマンスを有する。なぜならば有利にも、データの少ない複数の領域において学習されるからである。良好なパーセンタイルパフォーマンスは、技術システムの動作において、エラーを正しく予測するために重要である。
【００６０】
参考文献
［１］  B. Lang et al., Neural Clouds for Monitoring of Complex Systems, Optical Memory and Neural Networks (Information Optics), 2008, Vol. 17, No.3, p.183-192
［２］  M. Riedmiller, Neural Fitted Q Iteration - First Experiences with a Data Efficient Neural Reinforcement Learning Method, Proc. of the European Conf. on Machine Learning, 2005, p.317 - 328
【図１】
0005832644.tif 000002
【図２】
0005832644.tif 000003