【手続補正書】
【提出日】平成25年9月9日(2013.9.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
技術システムの制御および／または調整をコンピュータ支援により学習する方法であって、
技術システムの運転が、運転中の技術システムの状態（ｓ）と、技術システムの運転中に実行され、技術システムのそれぞれの状態（ｓ）を連続状態に移行させる活動とによって特徴付けられる方法において、
・技術システムの運転中に求められた、状態（ｓ）、活動（ａ）および連続状態（ｓ’）を含むトレーニングデータに基づいて、品質関数（Ｑ）と活動選択ルール（π（ｓ））を学習するステップ；
ただし前記品質関数（Ｑ）は技術システムの最適運転をモデル化し、
前記活動選択ルール（π（ｓ））は、技術システムの運転中に当該技術システムのそれぞれの状態（ｓ）に対して実行すべき活動（ａ）を指示し、
・品質関数（Ｑ）および活動選択ルール（π（ｓ））の学習中に、品質関数（Ｑ）の統計的不確定性に対する尺度（σＱ）を、不確定性伝播によって求めるステップ；
・該統計的不確定性に対する尺度（σＱ）と、品質関数（Ｑ）への統計的に緩和された要求に相当する確率パラメータ（ζ）とに基づいて、変形された品質関数を決定するステップ；
ただし前記不確定性伝播は、非対角要素が無視された共分散マトリクスを使用し、
・変形された品質関数に基づいて、活動選択ルール（π（ｓ））を学習するステップ；
を有する方法。
【請求項２】
前記品質関数（Ｑ）を、評価（Ｒ）および状態活動確率（Ｐ）を考慮して学習し、
それぞれの評価（Ｒ）は、状態（ｓ）、当該状態で実行された活動（ａ）、および連続状態（ｓ’）からなる組合せの品質を、技術システムの最適運転の観点で評価し、
それぞれの状態活動確率（Ｐ）は、状態と当該状態で実行された活動（ａ）に依存して、連続状態（ｓ’）の確率（Ｐ）を指示する請求項１記載の方法。
【請求項３】
品質関数（Ｑ）と活動選択ルール（π（ｓ））を、ベルマン反復式に基づいて学習し、
各反復ステップで新たな品質関数（Ｑ）と、該品質関数（Ｑ）の統計的不確定性に対する新たな尺度を求め、それにより新たに変形された品質関数を決定し、
それぞれの反復ステップで共分散マトリクスを、前記品質関数（Ｑ）、状態活動確率（Ｐ）および評価（Ｒ）に依存し、非対角要素を無視して求める請求項２記載の方法。
【請求項４】
ベルマン反復法のｍ番目の反復ステップで、活動選択ルールを以下の活動αs,maxに基づいて求め、
【数１】
2011060290.tif 000001
ここで
【数２】
2011060290.tif 000002
は品質関数であり、
【数３】
2011060290.tif 000003
は変形された品質関数であり、
σＱｍ（ｓ，ａ）はｍ番目の反復ステップにおける品質関数（Ｑ）の統計的不確定性に対する尺度（σＱ）であり、
ここで
【数４】
2011060290.tif 000004
ζ∈［０，１］は非連続因子であり、
ζは確率パラメータであり、
【数５】
2011060290.tif 000005
が成り立ち、
Ｐ（ｓ’｜ｓ，ａ）は、状態ｓで活動ａが実行された際の連続状態ｓ’に対する状態活動確率であり、
Ｒ（ｓ，ａ，ｓ’）は、状態ｓで活動ａが実行された際の連続状態ｓ’の評価であり、
σＰ（ｓ’｜ｓ，ａ）は、状態−活動確率の統計的不確定性であり、
σＲ（ｓ，ａ，ｓ’）は、評価の統計的不確定性である請求項３記載の方法。
【請求項５】
状態活動確率（Ｐ）を状態活動確率分布としてモデル化し、および／または評価（Ｒ）を評価確率分布としてモデル化する請求項２から４までのいずれか一項記載の方法。
【請求項６】
状態活動確率（Ｐ）の統計的不確定性（σＰ）を、モデル化した状態活動確率分布から求め、評価の統計的不確定性（σＲ）を、モデル化した評価確率分布から求める請求項４および５記載の方法。
【請求項７】
状態活動確率分布および／または評価確率分布を、トレーニングデータからの相対的頻度としてモデル化し、
ここで状態活動確率分布は多項分布としてモデル化し、および／または評価確率分布は正規分布としてモデル化する請求項５または６記載の方法。
【請求項８】
状態活動確率分布を、アプリオリ分布とアポステリオリパラメータを用いたベイズの推定に基づいてモデル化し、ここでアポステリオリパラメータはトレーニングデータに依存する請求項５から７までのいずれか一項記載の方法。
【請求項９】
アプリオリ分布は、ディリクレ分布および／または正規分布である請求項８記載の方法。
【請求項１０】
ディリクレ分布のパラメータ（αｉｊｋ）は、連続状態（ｓ’）の平均数と、トレーニングデータによる状態（ｓ）の総数の商に相当する請求項９記載の方法。
【請求項１１】
学習すべき活動選択ルールは、決定論的活動選択ルールである請求項１から１０までのいずれか一項記載の方法。
【請求項１２】
ベルマン反復式のｍ番目の反復ステップにおける活動選択ルールπｍ（ｓ）は以下のとおりであり、
【数６】
2011060290.tif 000006
ここで
【数７】
2011060290.tif 000007
は、選択された活動である、請求項４にかかる請求項１１記載の方法。
【請求項１３】
学習すべき活動選択ルールは、技術システムの状態（ｓ）のために実行可能な活動（ａ）に対する確率分布を指示する確率論的活動選択ルール（π（ｓ））である請求項１から１０までのいずれか一項記載の方法。
【請求項１４】
前記ベルマン反復式の各反復ステップにおいて、実行可能な活動（ａ）に対する新たな確率分布として確率分布を求め、
該確率分布は、最後の反復ステップの確率分布を、変形された品質関数の値を最大にする活動（ａ）に比較的高い確率が割り当てられるよう変形する、請求項３にかかる請求項１３記載の方法。
【請求項１５】
当該方法により、タービンの制御および／または調整が学習される請求項１から１４までのいずれか一項記載の方法。
【請求項１６】
当該方法により、風力発電設備の制御および／または調整が学習される請求項１から１４までのいずれか一項記載の方法。
【請求項１７】
技術システムの運転方法であって、
該技術システムが、請求項１から１６までのいずれか１項記載の方法により学習された制御および／または調整に基づいて運転され、学習された活動選択ルールにより技術システムのそれぞれの状態（ｓ）で実行すべき活動（ａ）が選択される運転方法。
【請求項１８】
技術システムの運転中に、請求項１から１６までのいずれか１項記載の方法が反復され、
各反復の際に、技術システムが取る新たな状態（ｓ）および／または実行すべき活動（ａ）がトレーニングデータとして考慮される請求項１７記載の方法。
【請求項１９】
コンピュータに、
・技術システムの運転中に求められた、状態（ｓ）、活動（ａ）および連続状態（ｓ’）を含むトレーニングデータに基づいて、品質関数（Ｑ）と活動選択ルール（π（ｓ））を学習するステップ；
ただし前記品質関数（Ｑ）は技術システムの最適運転をモデル化し、
前記活動選択ルール（π（ｓ））は、技術システムの運転中に当該技術システムのそれぞれの状態（ｓ）に対して実行すべき活動（ａ）を指示し、
・品質関数（Ｑ）および活動選択ルール（π（ｓ））の学習中に、品質関数（Ｑ）の統計的不確定性に対する尺度（σＱ）を、不確定性伝播によって求めるステップ；
・該統計的不確定性に対する尺度（σＱ）と、品質関数（Ｑ）への統計的に緩和された要求に相当する確率パラメータ（ζ）とに基づいて、変形された品質関数を決定するステップ；
ただし前記不確定性伝播は、非対角要素が無視された共分散マトリクスを使用し、
・変形された品質関数に基づいて、活動選択ルール（π（ｓ））を学習するステップ；
を実行させるためのコンピュータプログラム。
【請求項２０】
コンピュータを備えた、技術システムの制御装置であって、
技術システムの運転が、運転中の技術システムの状態（ｓ）と、技術システムの運転中に実行され、技術システムのそれぞれの状態（ｓ）を連続状態に移行させる活動とによって特徴付けられる、制御装置において、
前記コンピュータは、
・技術システムの運転中に求められた、状態（ｓ）、活動（ａ）および連続状態（ｓ’）を含むトレーニングデータに基づいて、品質関数（Ｑ）と活動選択ルール（π（ｓ））を学習し、
ただし前記品質関数（Ｑ）は技術システムの最適運転をモデル化し、
前記活動選択ルール（π（ｓ））は、技術システムの運転中に当該技術システムのそれぞれの状態（ｓ）に対して実行すべき活動（ａ）を指示し、
・品質関数（Ｑ）および活動選択ルール（π（ｓ））の学習中に、品質関数（Ｑ）の統計的不確定性に対する尺度（σＱ）を、不確定性伝播によって求め、
・該統計的不確定性に対する尺度（σＱ）と、品質関数（Ｑ）への統計的に緩和された要求に相当する確率パラメータ（ζ）とに基づいて、変形された品質関数を決定し、
ただし前記不確定性伝播は、非対角要素が無視された共分散マトリクスを使用し、
・変形された品質関数に基づいて、活動選択ルール（π（ｓ））を学習する
ことを特徴とする制御装置。
【請求項２１】
前記コンピュータは、
前記品質関数（Ｑ）を、評価（Ｒ）および状態活動確率（Ｐ）を考慮して学習し、
それぞれの評価（Ｒ）は、状態（ｓ）、当該状態で実行された活動（ａ）、および連続状態（ｓ’）からなる組合せの品質を、技術システムの最適運転の観点で評価し、
それぞれの状態活動確率（Ｐ）は、状態と当該状態で実行された活動（ａ）に依存して、連続状態（ｓ’）の確率（Ｐ）を指示する請求項２０記載の制御装置。
【請求項２２】
前記コンピュータは、
品質関数（Ｑ）と活動選択ルール（π（ｓ））を、ベルマン反復式に基づいて学習し、
各反復ステップで新たな品質関数（Ｑ）と、該品質関数（Ｑ）の統計的不確定性に対する新たな尺度を求め、それにより新たに変形された品質関数を決定し、
それぞれの反復ステップで共分散マトリクスを、前記品質関数（Ｑ）、状態活動確率（Ｐ）および評価（Ｒ）に依存し、非対角要素を無視して求める請求項２１記載の制御装置。
【請求項２３】
前記コンピュータは、状態活動確率（Ｐ）を状態活動確率分布としてモデル化し、および／または評価（Ｒ）を評価確率分布としてモデル化する請求項２１または２２記載の制御装置。
【請求項２４】
前記コンピュータは、
状態活動確率（Ｐ）の統計的不確定性（σＰ）を、モデル化した状態活動確率分布から求め、評価の統計的不確定性（σＲ）を、モデル化した評価確率分布から求める請求項２３記載の制御装置。
【請求項２５】
前記コンピュータは、
状態活動確率分布および／または評価確率分布を、トレーニングデータからの相対的頻度としてモデル化し、
ここで状態活動確率分布は多項分布としてモデル化し、および／または評価確率分布は正規分布としてモデル化する請求項２３または２４記載の制御装置。
【請求項２６】
前記コンピュータは、
状態活動確率分布を、アプリオリ分布とアポステリオリパラメータを用いたベイズの推定に基づいてモデル化し、ここでアポステリオリパラメータはトレーニングデータに依存する請求項２３から２５までのいずれか１項記載の制御装置。
【請求項２７】
学習すべき活動選択ルールは、決定論的活動選択ルールである請求項２０から２６までのいずれか１項記載の制御装置。
【請求項２８】
学習すべき活動選択ルールは、技術システムの状態（ｓ）のために実行可能な活動（ａ）に対する確率分布を指示する確率論的活動選択ルール（π（ｓ））である請求項２０から２６までのいずれか１項記載の制御装置。
【請求項２９】
タービンまたは風力発電設備を制御する、
請求項２０から２８までのいずれか１項記載の制御装置。