(57)【特許請求の範囲】
【請求項１】
制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備え、決定された目標値を達成するように前記学習機能で学習するとともに、前記モデル出力目標値を決定する機能は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して決定するものであることを特徴とするプラントの制御装置。
【請求項２】
制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備え、決定された目標値を達成するように前記学習機能で学習するとともに、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。
【請求項３】
請求項１または請求項２に記載されたプラントの制御装置において、
計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。
【請求項４】
制御対象であるプラントに与える操作信号を生成する操作信号生成部を備えた制御装置において、
前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するようにモデル入力の生成方法を学習する学習手段と、前記制御対象から得られた計測信号と予め設定された計測信号の制限値を用いてモデル出力目標値の初期値を決定するモデル出力目標値決定手段と、モデル出力目標値を増加或いは減少するモデル目標値変更手段を用いて、はじめにモデル出力目標値の初期値を達成するようにモデル入力の生成方法を学習し、次いで変更後のモデル出力目標値を達成するようにモデル入力の生成方法を学習した学習結果が保存されているデータベースを参照しながら、前記操作信号生成部において操作信号を生成するようにしたことを特徴とするプラントの制御装置。
【請求項５】
制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、前記初期値及び変更後のモデル出力目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。
【請求項６】
請求項５に記載されたプラントの制御装置において、モデル出力目標値の初期値を決定する機能は、計測信号の最大値から平均値を減算した値の絶対値を計測信号の制限値から減算して決定するものであることを特徴とするプラントの制御装置。
【請求項７】
請求項５に記載されたプラントの制御装置において、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。
【請求項８】
請求項５に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。
【請求項９】
制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、
前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、
前記モデルの予測結果であるモデル出力が、モデル出力目標値を達成するように、前記モデルに与えるモデル入力の生成方法を学習する学習機能と、
前記学習の結果に従って制御対象に与える操作信号を決定する機能と、
予め設定された計測信号の制限値を保存するデータベースと、
前記制御対象の計測信号を取り込む外部入力インターフェイスと、
取り込んだ計測信号の値を保存する計測信号データベースと、
前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、
前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、
前記外部入力インターフェイスにて火力発電プラントの計測信号のうち、少なくとも一酸化炭素濃度と窒素酸化物濃度の１つを取り込み、前記計測信号の制限値を保存するデータベースに少なくとも一酸化炭素濃度と窒素酸化物濃度の１つの環境規制値を計測信号の制限値として保存し、前記出力目標値の初期値を決定する機能では少なくとも一酸化濃度と窒素酸化物濃度のモデル出力目標値の初期値を決定し、前記学習機能にて前記初期値を達成するモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合には、前記モデル出力目標値を減少或いは増加する機能において窒素酸化物のモデル出力目標値を減少或いは増加させた修正モデル出力目標値を決定し、前記学習機能にて前記修正モデル出力目標値を達成するモデル入力の生成方法を学習し、前記操作信号を決定する機能では学習結果に従って少なくとも空気ダンパ開度の操作信号を生成するようにしたことを特徴とする火力発電プラントの制御装置。
【請求項１０】
制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値の初期値を決定し、この初期値を達成するようにモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加し、更にその変更された目標値を達成するようにモデルの生成方法を学習することを特徴とするプラントの制御方法。
【請求項１１】
制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値を決定し、この目標値を達成するようにモデル入力の生成方法を学習するとともに、前記モデル出力目標値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して算出することを特徴とするプラントの制御方法。
【請求項１２】
請求項１０に記載されたプラントの制御方法において、前記モデル出力目標値の初期値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して算出することを特徴とするプラントの制御方法。
【請求項１３】
制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値を決定し、この目標値を達成するようにモデル入力の生成方法を学習するとともに、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。
【請求項１４】
請求項１０に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プラントの制御装置と制御方法に関する。また、火力発電プラントとその制御方法に関する。
【背景技術】
【０００２】
プラントの制御装置では、制御対象であるプラントから得られる計測信号を処理して、制御対象に与える操作信号を算出する。制御装置には、プラント計測信号が運転目標を達成するように、操作信号を計算するアルゴリズムが実装されている。
【０００３】
プラントの制御に用いられている制御アルゴリズムとしては、ＰＩ（比例・積分）制御アルゴリズムがある。このアルゴリズムは、運転目標値と計測信号の偏差に比例ゲインを乗じた値に、偏差を時間積分した値を加算することによって、操作信号を導出する。また、学習アルゴリズムを用いて、プラントの操作信号を導出することも知られている。
【０００４】
一方、近年、教師なし学習の分野で、強化学習と呼ばれる手法がある。強化学習は、制御対象との試行錯誤的な相互作用を通じて、制御対象から得られる計測信号が望ましいものとなるように、制御対象に与える操作信号の生成方法を学習する学習制御の枠組みとして知られている。
【０００５】
強化学習では、制御対象から得られる信号を用いて計算されるスカラー量の評価値（強化学習では、報酬と呼ばれている）を手がかりに、現状態から将来までに得られる評価値の期待値が最大となるように、操作信号の生成方法を学習する。
【０００６】
非特許文献１には、計測信号が運転目標値を達成した場合に正の評価値を与え、Actor-Critic、Ｑ学習、実時間Dynamic Programmingなどのアルゴリズムを用いて、操作信号の生成方法を学習する手法が記載されている。また、その手法を発展させた方式として、Dyna−アーキテクチャと呼ばれる枠組みが紹介されている。この枠組みでは、制御装置内に制御対象を模擬するモデルを持つ。モデルは、制御対象に与える操作信号をモデル入力として取り込み、制御対象の計測信号の予測値であるモデル出力を算出する。このモデルは物理式や統計的手法を用いて構築する。また、モデル出力を用いて計算される評価値を手がかりに、モデル入力の生成方法を学習する。
【０００７】
Dyna−アーキテクチャでは、モデル出力目標値を達成するようにモデル入力の生成方法を予め学習しておき、この学習結果に従って制御対象に印加する操作信号を決定する。
【０００８】
【非特許文献１】「強化学習」（Reinforcement Learning）、三上貞芳・皆川雅章共訳、森北出版株式会社、２０００年１２月２０日出版、第１４２〜１７２頁、第２４７〜２５３頁
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前述のプラントの制御装置を設計する際には、運転目標値及びモデル出力目標値を適切に設定する必要がある。特に、モデル出力目標値を決定する際には、以下に述べる課題を解決する必要がある。
【００１０】
前述のモデル出力が、制御対象計測信号の平均値となる場合がある。仮に、運転目標値とモデル出力目標値を同じ値に設定してしまうと、このモデル出力目標値を達成するモデル入力に従って生成した操作信号を制御対象に与えても、計測信号が運転目標を達成できない可能性がある。操作信号が一定の条件で制御対象を運転し、この時に得られる計測信号が変動するような場合には、計測信号の平均値が運転目標値以下であっても、ある時間帯では運転目標値を超えてしまう可能性がある。この場合、モデル出力が運転目標値を達成していても、計測信号は運転目標を達成していない。従って、計測信号が運転目標値を達成するためには、計測信号の変動幅を考慮してモデル出力目標値を決定する必要がある。
【００１１】
本発明の目的は、上述の課題を解決可能な運転目標値を計算する機能を備えたプラントの制御装置及び制御方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、制御対象であるプラントに与える操作信号を生成する操作信号生成部を備えた制御装置において、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記制御対象から得られた計測信号と予め設定された計測信号の制限値を用いてモデル出力目標値を決定するモデル出力目標値決定手段と、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するようにモデル入力の生成方法を学習する学習手段を用いて、モデル出力目標値を達成するモデル入力の生成方法を学習した結果が保存されているデーベースを参照しながら、前記操作信号生成部において操作信号を生成するようにしたことを特徴とするプラントの制御装置にある。
【発明の効果】
【００１３】
本発明の制御装置は、プラントの計測信号と、予め設定された計測信号の制限値を用いてモデル出力目標値を決定する機能を備えている。この機能を用いることにより、計測信号を処理し、計測信号の平均値，最大値，最小値を導出できる。
【００１４】
計測信号が変動する場合には、計測信号の制限値から、計測信号の最大値から平均値を減算した値の絶対値を減算した値をモデル出力目標値とすることができる。
【００１５】
このモデル出力目標値を達成するモデル入力の生成方法に従って、制御対象であるプラントに与える操作信号を決定すれば、モデル出力目標値と計測信号の平均値が一致する。その結果、計測信号が変動しても、計測信号がその制限値を超えることはない。
【００１６】
従って、計測信号が変動する場合でも、本発明のプラントの制御装置による操作信号をプラントに与えれば、計測信号が制限値を逸脱することを抑制できる。
【発明を実施するための最良の形態】
【００１７】
本発明では、更に以下の実施態様を提案する。
【００１８】
（１）  制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備え、決定された目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。
【００１９】
（２）  前記（１）に記載されたプラントの制御装置において、前記モデル出力目標値を決定する機能は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して決定するものであることを特徴とするプラントの制御装置。
【００２０】
（３）  前記（１）に記載されたプラントの制御装置において、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。
【００２１】
（４）  前記（１）に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。
【００２２】
（５）  制御対象であるプラントに与える操作信号を生成する操作信号生成部を備えた制御装置において、
前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するようにモデル入力の生成方法を学習する学習手段と、前記制御対象から得られた計測信号と予め設定された計測信号の制限値を用いてモデル出力目標値の初期値を決定するモデル出力目標値決定手段と、モデル出力目標値を増加或いは減少するモデル目標値変更手段を用いて、はじめにモデル出力目標値の初期値を達成するようにモデル入力の生成方法を学習し、次いで変更後のモデル出力目標値を達成するようにモデル入力の生成方法を学習した学習結果が保存されているデータベースを参照しながら、前記操作信号生成部において操作信号を生成するようにしたことを特徴とするプラントの制御装置。
【００２３】
（６）  制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、前記初期値及び変更後のモデル出力目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。
【００２４】
（７）  前記（６）に記載されたプラントの制御装置において、モデル出力目標値の初期値を決定する機能は、計測信号の最大値から平均値を減算した値の絶対値を計測信号の制限値から減算して決定するものであることを特徴とするプラントの制御装置。
【００２５】
（８）  前記（６）に記載されたプラントの制御装置において、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。
【００２６】
（９）  前記（６）に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。
【００２７】
（１０）  制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、
前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、
前記モデルの予測結果であるモデル出力が、モデル出力目標値を達成するように、前記モデルに与えるモデル入力の生成方法を学習する学習機能と、
前記学習の結果に従って制御対象に与える操作信号を決定する機能と、
予め設定された計測信号の制限値を保存するデータベースと、
前記制御対象の計測信号を取り込む外部入力インターフェイスと、
取り込んだ計測信号の値を保存する計測信号データベースと、
前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能を備え、
前記外部入力インターフェイスにて火力発電プラントの計測信号のうち、少なくとも一酸化炭素濃度と窒素酸化物濃度の１つを取り込み、前記計測信号の制限値を保存するデータベースに少なくとも一酸化炭素濃度と窒素酸化物濃度の１つの環境規制値を計測信号の制限値として保存し、前記出力目標値の初期値を決定する機能では少なくとも一酸化濃度と窒素酸化物濃度のモデル出力目標値の初期値を決定し、前記学習機能にて前記初期値を達成するモデル入力の生成方法を学習し、前記操作信号を決定する機能では学習結果に従って少なくとも空気ダンパ開度の操作信号を生成するようにしたことを特徴とする火力発電プラントの制御装置。
【００２８】
（１１）  制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、
前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、
前記モデルの予測結果であるモデル出力が、モデル出力目標値を達成するように、前記モデルに与えるモデル入力の生成方法を学習する学習機能と、
前記学習の結果に従って制御対象に与える操作信号を決定する機能と、
予め設定された計測信号の制限値を保存するデータベースと、
前記制御対象の計測信号を取り込む外部入力インターフェイスと、
取り込んだ計測信号の値を保存する計測信号データベースと、
前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、
前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、
前記外部入力インターフェイスにて火力発電プラントの計測信号のうち、少なくとも一酸化炭素濃度と窒素酸化物濃度の１つを取り込み、前記計測信号の制限値を保存するデータベースに少なくとも一酸化炭素濃度と窒素酸化物濃度の１つの環境規制値を計測信号の制限値として保存し、前記出力目標値の初期値を決定する機能では少なくとも一酸化濃度と窒素酸化物濃度のモデル出力目標値の初期値を決定し、前記学習機能にて前記初期値を達成するモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合には、前記モデル出力目標値を減少或いは増加する機能において窒素酸化物のモデル出力目標値を減少或いは増加させた修正モデル出力目標値を決定し、前記学習機能にて前記修正モデル出力目標値を達成するモデル入力の生成方法を学習し、前記操作信号を決定する機能では学習結果に従って少なくとも空気ダンパ開度の操作信号を生成するようにしたことを特徴とする火力発電プラントの制御装置。
【００２９】
（１２）  制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値を決定し、この目標値を達成するようにモデル入力の生成方法を学習することを特徴とするプラントの制御方法。
【００３０】
（１３）  制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値の初期値を決定し、この初期値を達成するようにモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加し、更にその変更された目標値を達成するようにモデルの生成方法を学習することを特徴とするプラントの制御方法。
【００３１】
（１４）  前記（１２）に記載されたプラントの制御方法において、前記モデル出力目標値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して算出することを特徴とするプラントの制御方法。
【００３２】
（１５）  前記（１３）に記載されたプラントの制御方法において、前記モデル出力目標値の初期値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して算出することを特徴とするプラントの制御方法。
【００３３】
（１６）  前記（１２）に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。
【００３４】
（１７）  前記（１３）に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。
【００３５】
（１８）  制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
前記計測信号のうち、一酸化炭素と窒素酸化物の少なくとも１つの環境規制値を制限値として設定し、
前記制限値が設定された計測信号の平均値，最大値，最小値の少なくとも１つの値と、前記制限値を用いて前記モデル出力目標値の初期値を決定し、
この初期値を達成するようにモデル入力の生成方法を学習し、この学習結果に従って少なくとも空気ダンパ開度の操作信号を生成することを特徴とする火力発電プラントの制御方法。
【００３６】
本発明は、計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と、前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備えることを特徴とする第一の発明と、前記第一の発明によって初期値を決定し、モデル出力がモデル出力目標値の初期値を達成した場合に、モデル出力目標値を減少あるいは増加する機能を備えた第二の発明に大別される。
【００３７】
第一の発明では、計測信号が変動する場合に、変動幅を考慮して、計測信号の制限値より小さな値にモデル出力目標値を修正することが可能であり、常に計測信号が制限値を達成できる。
【００３８】
プラントによっては、ある特定の計測信号の値を、可能な限り０に近づけることが運転目標である場合がある。仮に、モデル出力目標値を０に設定し、この値が達成不可能な値である場合には、第一の発明では、モデル入力の生成方法を学習できない事態が発生する。このような事象を回避し、適したモデル入力の生成方法を学習するには、モデル出力目標値の設定方法に工夫が必要である。
【００３９】
第二の発明では、可能な限り０に近づけることが運転目標である計測信号に関して、そのモデル出力目標値の初期値はある程度大きな値であり、その値は除々に０に近づくことになる。従って、モデル出力目標値を達成するモデル入力の生成方法を学習できないという事態が発生することはない。
【００４０】
以下、最良の実施形態による制御装置について、図面を参照しながら説明する。但し、本発明は以下の実施形態に限定されるものでは無い。
【００４１】
図１は、本実施形態に係る制御システムを、制御対象１００に適用した例のブロック図である。制御対象１００を制御する制御システムは、制御装置２００、入力装置９００、保守ツール９１０、画像表示装置９５０とで構成される。制御装置２００は、外部入力インターフェイス２１０を介して、制御対象１００からの計測信号１を取り込む。また、制御装置２００では、外部出力インターフェイス２２０を介して、制御対象１００に操作信号１６を送信する。
【００４２】
外部入力インターフェイス２１０で取り込んだ計測信号２は、操作信号生成部３００に伝送されると共に、計測信号データベース２３０に保存される。また、操作信号生成部３００にて生成する操作信号１５は、外部出力インターフェイス２２０に伝送されると共に、操作信号データベース２４０に保存される。
【００４３】
操作信号生成部３００では、学習情報データベース２８０に保存されている学習情報９と、制御ロジックデータベース２５０に保存されている制御ロジック情報６を用いて、制御対象１００からの計測信号１が運転目標値を達成するように操作信号１５を生成する。
【００４４】
学習情報データベース２８０に保存される情報は、学習部４００で生成される。学習部４００は、モデル５００及び評価値計算部６００と接続される。
【００４５】
モデル５００は、制御対象１００の特性を模擬する機能を持つ。すなわち、操作信号１６を制御対象１００に与え、その結果、計測信号１を得るのと同じように、モデル５００を動作させるためのモデル入力１２をモデル５００に与え、その結果としてモデル出力１３を得る。モデル出力１３は、計測信号１の予測値である。このモデル５００は、制御対象１００の特性を模擬するものであり、物理法則に基づくモデル式、あるいは統計的手法を用いて、モデル入力１２に対するモデル出力１３を計算する機能を持つ。
【００４６】
評価値計算部６００は、評価値計算パラメータデータベース２７０に保存されている評価値計算パラメータ８とモデル出力１３を用いて、評価値１４を生成する機能を持つ。評価値計算パラメータデータベース２７０に保存されている情報の一部に、モデル出力１３の目標値がある。このモデル出力目標値は、第１の目標値設定部７００及び第２の目標値設定部８００で生成される。
【００４７】
第１の目標値設定部７００は、計測信号データベース２３０に保存されている計測信号３と、評価値計算パラメータデータベース２７０に保存されている制限値信号１７を用いて、第１の目標値信号４を生成する。また、第２の目標値設定部８００は、計測信号データベース２３０に保存されている計測信号３と、評価値計算パラメータデータベース２７０に保存されている前回目標値信号１８と、モデル出力１３を用いて、第２の目標値信号５を生成する。
【００４８】
学習部４００は、学習情報データベース２８０に保存されている前回学習情報１１と、学習パラメータデータベース２６０に保存されている学習パラメータ７と、モデル出力１３を用いて、モデル入力１２を生成する。モデル５００で計算されたモデル出力１３を用いて、評価値計算部６００で計算した評価値１４が学習部４００に入力される。学習部４００では、評価値１４を用いて学習情報を更新し、更新学習情報１０を学習情報データベース２８０に送信する。
【００４９】
制御対象１００であるプラントの運転員は、キーボード９０１とマウス９０２で構成される入力装置９００と、画像表示装置９５０に接続されている保守ツール９１０を用いることにより、制御装置２００に備えられている種々のデータベースに保存されている情報にアクセスすることができる。
【００５０】
保守ツール９１０は、外部入力インターフェイス９２０と、データ送受信処理部９３０及び外部出力インターフェイス９４０で構成される。
【００５１】
入力装置９００で生成した入力信号３１は、外部入力インターフェイス９２０を介して保守ツール９１０に取り込まれる。データ送受信処理部９３０では、入力信号３２の情報に従って、制御装置２００に備えられているデータベース情報３０を取得する。また、データ送受信処理部９３０では、データベース情報３０を処理した結果得られる出力信号３３を、外部出力インターフェイス９４０に送信する。出力信号３４は、画像表示装置９５０に表示される。
【００５２】
尚、本実施形態ではデータベースが全て制御装置２００の内部に配置されているが、これらを制御装置２００の外部に配置することもできる。また、本実施形態では操作信号１６を生成するための信号処理機能が全て制御装置２００の内部に配置されているが、これらを制御装置２００の外部に配置してもよい。
【００５３】
以下では、本発明の制御システムを火力発電プラントに適用した場合を例にとり、データベースに保存されている情報、及び信号処理機能について説明する。
【００５４】
図２は、火力発電プラントを説明する図である。まず、火力発電プラントにおける発電の仕組みについて説明する。ボイラ１０１には、バーナー１０２を介して燃料となる石炭（微粉炭）と石炭搬送用の１次空気、及び燃焼調整用の２次空気が供給される。石炭と１次空気は配管１３４から、２次空気は配管１４１から導かれる。また、２段燃焼用のアフタエアを、アフタエアポート１０３を介してボイラ１０１に投入する。このアフタエアは、配管１４２から導かれる。
【００５５】
石炭の燃焼により発生した高温のガスは、ボイラ１０１の経路に沿って流れた後、エアーヒーター１０４を通過する。その後、排ガス処理した後、煙突を介して大気に放出される。
【００５６】
ボイラ１０１を循環する給水は、給水ポンプ１０５を介してボイラ１０１に導かれ、熱交換器１０６においてガスにより過熱され、高温高圧の蒸気となる。尚、本実施形態では熱交換器の数を１つとしているが、熱交換器を複数個配置してもよい。
【００５７】
熱交換器１０６を通過した高温高圧の蒸気は、タービンガバナ１０７を介して蒸気タービン１０８に導かれる。蒸気の持つエネルギーによって蒸気タービン１０８を駆動し、発電機１０９で発電する。
【００５８】
火力発電プラントには、様々な計測器が配置されており、この計測器から取得された情報は、計測信号１として制御装置２００に伝送される。例えば、図２には、流量計測器１５０、温度計測器１５１、圧力計測器１５２、発電出力計測器１５３、及び濃度計測器１５４が図示されている。流量計測器１５０では、給水ポンプ１０５からボイラ１０１に供給される給水の流量を計測する。また、温度計測器１５１及び圧力計測器１５２では、蒸気タービン１０８に供給される蒸気の温度や圧力を計測する。発電機１０９で発電された電力量は、発電出力計測器１５３で計測する。ボイラ１０１を通過中のガスに含まれている成分（ＣＯ、ＮＯｘなど）の濃度に関する情報は、濃度計測器１５４で計測することができる。尚、一般的には、図２に図示した以外にも、多数の計測器が火力発電プラントに配置されているが、図２では省略している。
【００５９】
次に、バーナー１０２から投入される１次空気と２次空気、及びアフタエアポート１０３から投入されるアフタエアの経路について説明する。
【００６０】
１次空気は、ファン１２０から配管１３０に導かれ、途中でエアーヒーター１０４を通過する配管１３２と通過しない配管１３１に分岐し、再び配管１３３にて合流し、ミル１１０に導かれる。エアーヒーター１０４を通過する空気は、ガスにより過熱される。この１次空気を用いて、ミル１１０において生成する微粉炭をバーナー１０２に搬送する。
【００６１】
２次空気及びアフタエアは、ファン１２１から配管１４０に導かれ、エアーヒーター１０４で過熱された後、２次空気用の配管１４１と、アフタエア用の配管１４２とに分岐し、それぞれバーナー１０２とアフタエアポート１０３に導かれる。
【００６２】
図３は、１次空気と２次空気及びアフタエアが通過する配管部、並びにエアーヒーター１０４の拡大図である。図３に示すように、配管には空気ダンパ１６０、１６１、１６２、１６３が配置されている。空気ダンパを操作することにより、配管における空気が通過する面積を変更することできるので、空気ダンパの操作によって配管を通過する空気流量を調整できる。
【００６３】
制御装置２００で生成される操作信号１６を用いて、給水ポンプ１０５、ミル１１０、空気ダンパ１６０、１６１、１６２、１６３などの機器を操作する。
【００６４】
次に、計測信号データベース２３０、及び操作信号データベース２４０に保存する情報について説明する。図４及び図５は、それぞれ計測信号データベース２３０及び操作信号データベース２４０に保存されている情報の態様を説明する図である。
【００６５】
図４に示すように、計測信号データベース２３０には、制御対象１００で計測した情報が、計測器毎に各計測時刻と共に保存される。例えば、図２における流量計測器１５０、温度計測器１５１、圧力計測器１５２、発電出力計測器１５３、濃度計測器１５４で計測した流量値Ｆ１５０、温度値Ｔ１５１、圧力値Ｐ１５２、発電出力値Ｅ１５３、排ガスに含まれるＮＯｘ濃度Ｄ１５４が、時間の情報と共に保存される。尚、図４では１秒周期でデータを保存しているが、データ収集のサンプリング周期は任意に設定することが可能である。また、操作信号データベース２４０に保存される情報も同様に、図５に示すように給水流量の指令信号などの操作信号が、時間の情報と共に保存される。
【００６６】
次に、学習部４００、モデル５００、評価値計算部６００の動作について説明する。
【００６７】
学習部４００は、制御対象１００の特性を模擬するモデル５００を対象に、モデル出力１３がモデル出力目標値を達成するように、モデル入力１２の生成方法を学習する。学習部４００では、モデル出力１３を入力とした評価値計算部６００の出力である評価値１４を用いて、この学習を実行する。
【００６８】
このような学習を実行するアルゴリズムとして、非特許文献１に記載されている強化学習理論がある。強化学習とは、評価値（報酬）情報を手がかりに、学習部４００とモデル５００との相互作用を通して、モデル出力目標値を達成するためのモデル入力１２の生成方法を学習することである。強化学習を適用することにより、現時刻から将来にわたって得られる評価値の期待値が最大となるようなモデル入力１２の生成方法を学習することが可能である。
【００６９】
本実施例では、強化学習アルゴリズムとして、アクタークリティック法を適用した例について述べる。尚、本発明の制御装置２００における学習方法としては、強化学習法以外に、遺伝的アルゴリズム或いは線形・非線形計画法などの最適化技術を適用することが可能である。
【００７０】
図６は、アクタークリティック法の概要を説明する図である。図６のように、アクタークリティック法では、モデル入力１２を生成する制御器４５０と、状態の価値を評価する評価器４６０を備える。評価器４６０では、モデル出力１３に基づいて状態価値を計算し、評価値計算部６００の出力信号である評価値１４を取得し、（１）式を用いてＴＤ誤差信号４７０を計算する。
【００７１】
【数１】
0004573783.tif 000002
【００７２】
ここで、δはＴＤ誤差、γは割引率、Ｖ（ｓ）は状態ｓの価値である。
【００７３】
評価器４６０から、制御器４５０に、（１）式で計算されたＴＤ誤差信号４７０が伝送される。
【００７４】
図７及び図８は、アクタークリティック法のフローチャートを説明する図である。尚、本フローチャートの実行に必要な設計パラメータ（例えば割引率γ）は学習パラメータデータベース２６０、評価値計算パラメータデータベース２７０、及び学習情報データベース２８０に保存されている。これらのデータベースに保存されている情報の形態、及び設計パラメータをデータベースに登録する方法については後述する。
【００７５】
図７に示すように、ステップ３０１では制御のサンプリング周期Ｔを取得する。次に、ステップ３０２では１エピソード学習を実行する。このステップ３０２において、学習部４００、モデル５００、及び評価値計算部６００が動作し、前述の強化学習アルゴリズムを実行する。ステップ３０３では学習終了判定を実行する。これは、制御のサンプリング周期以下で学習を終了させるために設けられたステップであり、学習実行時間がＴより小さい間はステップ３０２に戻り、Ｔを超えたら学習を終了する。図７のフローチャートは制御対象１００を制御している間繰り返し実施される。
【００７６】
図８は、図７におけるステップ３０２の１エピソード学習実行時の動作を説明するフローチャートである。
【００７７】
まずステップ４０１においてモデル入力の初期値をランダムに設定する。次にステップ４０２でステップ４０１にて生成したモデル入力１２をモデル５００に入力し、モデル出力１３を得る。
【００７８】
ステップ４０３では、評価値計算部６００において、モデル出力１３と評価値計算パラメータデータベース２７０に保存されているモデル出力の目標値とを比較し、モデル出力１３がモデル出力目標値を達成していればエピソードを終了し、達成していない場合はステップ４０４に進む。
【００７９】
ステップ４０４では学習部４００において、学習情報データベース２８０に保存されている情報を用いて、モデル入力変更幅Δａを決定する。Δａの決定方法は後述する。
【００８０】
ステップ４０５では、（２）式を用いてモデル入力１２を決定する。
【００８１】
【数２】
0004573783.tif 000003
【００８２】
ステップ４０６では、ステップ４０５で決定したモデル入力１２をモデル５００に入力し、モデル出力１３を得る。
【００８３】
ステップ４０７では、ステップ４０６で得たモデル出力１３を用いて、評価値計算部６００において評価値信号１４を計算する。
【００８４】
ステップ４０８では、学習情報データベース２８０に保存されている情報と、（１）式を用いてＴＤ誤差を計算する。
【００８５】
ステップ４０９では、ステップ４０８で計算したＴＤ誤差を用いて制御器４５０のパラメータを更新し、その更新した結果を学習情報データベース２８０に保存する。
【００８６】
ステップ４１０では、ステップ４０８で計算したＴＤ誤差を用いて評価器４６０のパラメータを更新し、その更新した結果を学習情報データベース２８０に保存する。
【００８７】
ステップ４１１では、ステップ４０３と同様の方法で終了判定を実施する。
【００８８】
以下では、制御器４５０において正規乱数を用いてモデル入力１２を生成し、評価器４６０においてタイルコーディング法を用いて状態価値を計算する場合について述べる。尚、本実施例で用いた方法以外の手法を用いて、制御器４５０及び評価器４６０を構成してもよい。
【００８９】
評価器４６０では、タイルコーディングを用いて状態を分割する。図９は、タイルコーディング法を説明する図である。タイルコーディングは、入力空間を分割し、どの領域に属するかを判別することによって、連続的な状態を離散的な状態として認識する手法である。１つ１つの領域は、タイルと呼ばれる。
【００９０】
例えば、モデル５００への入力信号１２が入力信号Ａと入力信号Ｂの２次元であり、入力信号Ａが０と１の間、入力信号Ｂが１と２の間にある場合は、図９における状態番号１のタイルに属する。学習情報データベース２８０には、図１０に示すような形態で、状態番号と価値関数とが対応した情報が保存されている。評価器４６０では、モデル出力１３が得られた時の入力信号１２の値と、学習情報データベース２８０に保存されている情報を用いて、状態の価値を計算する。
【００９１】
また、評価器４６０では、ＴＤ誤差δ１を用いて、状態価値を（３）式に従って更新する。ここで、β１は学習率である。
【００９２】
【数３】
0004573783.tif 000004
【００９３】
図１１は、ステップ４０４においてモデル入力変化幅を計算する方法と、ステップ４０９において制御器パラメータの更新方法を説明する図である。
【００９４】
図１１に示した正規分布は、正規分布の中心と標準偏差の２つのパラメータを用いて発生させる。ここで、横軸はモデル入力変化幅であり、縦軸は発生確率である。従って、モデル入力変化幅は正規乱数分布に従って決定される。
【００９５】
次に、制御器４５０のパラメータの更新方法を説明する。
【００９６】
まず、ある状態において、図１１（ａ）に示した乱数を発生させ、その乱数値に基づいてモデル入力を修正した結果、ＴＤ誤差が正であったとする。これは、このモデル入力を実行したことによって、予期していたよりもよい評価値が得られたことを意味する。そこで、次に同じ状態に到達したとき、この乱数値が選択される確率が大きくなるように、パラメータを更新する。具体的には、図１１（ｂ）に示すように中心をプラスの方向にシフトし、また、発生した乱数は標準偏差よりも内側であったので、標準偏差の値が小さくなるように更新する。
【００９７】
正規分布の中心ｃ（Ｓｔ）及び標準偏差σ（Ｓｔ）は、それぞれ（４）式、及び（５）式に従って更新する。ここで、β２及びβ３は学習率である。
【００９８】
【数４】
0004573783.tif 000005
【００９９】
【数５】
0004573783.tif 000006
【０１００】
図１２は、学習情報データベース２８０に保存されている情報であり、これは制御器４５０に関する情報である。前述のように、図１１の正規分布を発生させるためには中心と分散の２つのパラメータが必要であり、このパラメータは状態番号毎に与えられる。このパラメータ値が、状態番号と対応づけられ、図１２のような態様で学習情報データベース２８０に保存する。
【０１０１】
図１３は、学習パラメータデータベース２６０に保存されている情報の態様を説明する図である。図１３に示すように、図８のフローチャートにおけるステップ４０９、ステップ４１０を実行するのに必要な学習率などのパラメータが保存される。
【０１０２】
ステップ４０７では、評価値計算パラメータデータベース２６０とモデル出力１３を用いて評価値１４を生成する。
【０１０３】
強化学習では、評価値１４の期待値が最大となるように、モデル入力１２の生成方法を学習するので、モデル出力１３がモデル出力目標値を達成した場合に、評価値１４の値が大きくなることが望ましい。
【０１０４】
このような評価値１４の生成方法として、モデル出力１３が、モデル出力目標値を達成した場合に正の値、例えば「１」を評価値とする方法がある。また、モデル出力目標値を達成していない場合、モデル出力目標値とモデル出力１３の誤差に反比例するような関数を用いて、評価値１４を計算する方法がある。さらに、これらの方法を組み合わせて評価値１４を計算する方法も考えられる。
【０１０５】
評価値計算パラメータデータベース２７０には、モデル出力１３の目標値に関する情報が保存されている。
【０１０６】
図１４は、評価値計算パラメータデータベース２７０に保存されている情報の態様を説明する図である。図１４のように、計測信号１の制限値、要求及びモデル出力１３の制御目標値が保存されている。制限値、要求は、制御対象１００の運転員が設定するものであり、この設定方法については後述する。制限値は、計測信号１の制限値であり、制御対象１００から得られる計測信号１が超えてはならない値である。図１４に記載されている要求とは、この制限値の持つ属性であり、計測信号１が制限値以下となることが目標であるか、あるいは、計測信号１が制限値以下であり、さらに、可能な限り小さな値とすることを目標とするか、等を定義する属性である。最後に、図１４に記載されている目標値とは、あるモデル入力１２を設定したときのモデル出力１３の目標値である。
【０１０７】
図１における第１の目標値設定部７００、及び第２の目標値設定部８００を用いて、図１４における運転目標値が設定される。
【０１０８】
図１５は、第１の目標値設定部７００の動作を示すフローチャート図である。
【０１０９】
まず、ステップ７１０において、評価値計算パラメータデータベース２７０に保存されている計測信号評価項目のうち、制限値達成が目的である計測信号の項目と、その制限値を抽出する。次に、ステップ７２０において、ステップ７１０にて抽出した被制御量について、計測信号データベース２３０に保存されているデータを取得する。ステップ７３０では、ステップ７２０で取得したデータから、計測信号の最大値、最小値、平均値を計算する。図１６は、計測信号の最大値、最小値、平均値を説明する図である。これらの値は、第１の目標値設定部７００にて計算する。ステップ７４０では、（６）式を用いてモデル出力目標値を計算する。
【０１１０】
【数６】
0004573783.tif 000007
【０１１１】
ここで、Ｄｊ（ｋ）はモデル出力目標値、Ｈｊ（ｋ）は制限値、Ｍｊ（ｋ）は最大値、Ａｊ（ｋ）は平均値であり、ｋはステップ７１０で抽出された計測信号の項目数である。
【０１１２】
最後に、ステップ７５０において、（６）式で計算した目標値を、評価値計算パラメータデータベース２７０に保存する。
【０１１３】
次に、図１７を用いて第２の目標値設定部８００の動作を説明する。図１７は、第２の目標値設定部８００の動作を示すフローチャート図である。
【０１１４】
まず、ステップ８１０において、評価値計算パラメータデータベース２７０に保存されている計測信号評価項目のうち、制限値を達成し、かつ可能な限り低減することが運転の目的である計測信号の項目と、その制限値及び運転目標値を抽出する。次に、ステップ８２０において、ステップ８１０にて抽出した計測信号項目について、計測信号データベース２３０に保存されているデータを取得する。ステップ８３０では、ステップ８２０で取得したデータから、計測信号毎に最大値、最小値、平均値を計算する。また、ステップ８４０では、モデル出力１３を取得する。ステップ８５０では、（７）式を用いてモデル出力目標値の初期値を計算する。
【０１１５】
【数７】
0004573783.tif 000008
【０１１６】
ここで、Ｄｊ（ｋ）はモデル出力目標値、Ｈｊ（ｋ）は制限値、Ｍｊ（ｋ）は最大値、Ａｊ（ｋ）は平均値であり、ｌはステップ８１０で抽出された計測信号の評価項目数である。
【０１１７】
図７のフローチャートを実行中に、モデル出力１３の値がＤｊ（ｋ）より小さくなった場合、（８）式を用いてモデル出力目標値を小さな値に更新する。
【０１１８】
【数８】
0004573783.tif 000009
【０１１９】
ここで、ψは運転員の設定するパラメータである。
【０１２０】
また、学習を実施している最中に得られたモデル出力の最小値を、モデル出力目標値に設定することもできる。
【０１２１】
尚、本実施例ではモデル出力目標値を小さな値に更新する場合について述べたが、計測信号を可能な限り大きな値としたい場合には、モデル出力目標値を大きな値に更新することもできる。
【０１２２】
これにより、学習部４００では、可能な限り低減することが目標である計測信号の項目について、この要求を満足できるようにモデル入力１２の生成方法を学習することが可能となる。
【０１２３】
次に、制御対象１００の運転員が保守ツール９１０を用いて、画像表示装置９５０にデータベースの情報を表示させる方法について説明する。図１８〜図２３は、画像表示装置９５０に表示される画面の例である。運転員は、キーボード９０１、マウス９０２を用いてパラメータ値を入力するなどの操作を実行する。
【０１２４】
図１８は、画像表示装置９５０に表示される初期画面である。運転員は、制御ロジック作成ボタン９５１、学習条件設定ボタン９５２、情報表示ボタン９５３の中から必要なボタンを選択し、マウス９０２を用いてカーソル９５４を移動させ、マウス９０２をクリックすることによりボタンを押す。
【０１２５】
図１９は、制御ロジック作成ボタン９５１をクリックした時に表示される制御ロジック編集画面である。運転員は、予め登録してある標準要素モジュール９６３から必要なモジュールを選び、それをロジック編集画面９６１へと移動させる。モジュール間は、結線／消去９６２を用いて接続する。図１９により作成された制御ロジック図面は、保存ボタン９６４をクリックすることにより、データ送受信処理部９３０を通して制御ロジックデータベース２５０に保存される。操作信号生成部３００では、この制御ロジック図面の情報を用いて、計測信号２が入力されたときの操作信号１５を生成する。また、操作信号生成部３００では、学習情報データベース２８０に保存されている情報を併用して、操作信号１５を生成することができる。学習情報データベース２８０に保存されている図１２の情報の状態番号と中心の情報を用いることにより、モデル出力１３が望ましい値となるようなモデル入力１２と同じ値を持つ操作信号１５を生成できる。
【０１２６】
図１９で作成した制御ロジック図面を保存しない場合には、キャンセルボタン９６５をクリックする。また、戻るボタン９６６をクリックすることにより、図１８の画面に戻る。
【０１２７】
図２０は、学習条件設定画面を説明する図である。図１８において学習条件設定ボタン９５２をクリックすることにより、図２０の画面が表示される。
【０１２８】
運転員は、制限値入力欄９７１に、被制御量とその制限値に関する情報を入力する。また、その被制御量が制限値以下となることが目的である場合は要求欄に「Ａ」を、制限値以下になるとともに、可能な限り低減したい場合には要求欄に「Ｂ」を入力する。パラメータ設定欄９７２には、図７のフローチャートを実行するのに必要な設定パラメータを入力する。操作端設定欄９７３には、図７のフローチャートによって操作方法を学習するための操作端名称、動作範囲、及びタイルコーディングのための分割数を入力する。
【０１２９】
図２０における保存ボタン９７４をクリックすることにより、制限値入力欄９７１に入力された情報は評価値計算パラメータデータベース２７０に、パラメータ設定欄９７２に入力された情報は学習パラメータデータベース２６０に、操作端設定欄９７３に入力された情報は学習情報データベース２８０に保存される。
【０１３０】
キャンセルボタン９７５をクリックすると、制限値入力欄９７１、パラメータ設定欄９７２、操作端設定欄９７３に入力された情報がキャンセルされる。また、戻るボタン９７６をクリックすることにより、図１８の画面に戻る。
【０１３１】
図２１は、計測信号データベース２３０及び操作信号データベース２４０に保存されている情報を画像表示装置９５０に表示させるため、その条件を設定する画面である。図１８において、情報表示ボタン９５３をクリックすることにより図２１が表示される。
【０１３２】
運転員は、画像表示装置９５０に表示させたい計測信号或いは操作信号を、入力欄９８１に、そのレンジ（上限／下限）と共に入力する。また、表示させたい時間を時刻入力欄９８２に入力する。
【０１３３】
表示ボタン９８３をクリックすることにより、図２２に示すようにトレンドグラフが画像表示装置９５０に表示される。図２２の戻るボタン９９１をクリックすることにより、図２１の画面に戻る。
【０１３４】
また、図２１において、戻るボタン９８４をクリックすることにより、図１８の画面に戻ることができる。
【０１３５】
尚、以上で述べた画像以外にも、制御装置２００内のデータベースに保存されている任意の情報を、任意の態様で画像表示装置９５０に表示することもできる。
【０１３６】
以下では、制御対象１００が火力発電プラントである場合において、本発明の制御装置２００を適用することの効果について説明する。
【０１３７】
本発明の制御装置２００を用いて火力発電プラントの空気ダンパを操作することによって、ＣＯ、ＮＯｘを制御することができる。以下では、制御装置２００を用いて、ＣＯ、ＮＯｘを制御することによる効果について説明する。
【０１３８】
図２３は、ＣＯ、ＮＯｘの基本特性を説明する図である。図２３のように、一般にＣＯとＮＯｘはトレードオフの関係にあり、ＣＯを低減しようとするとＮＯｘが増加し、ＮＯｘを低減しようとするとＣＯが増加する。
【０１３９】
火力発電プラントの煙突から排出されるＣＯ及びＮＯｘには規制がかけられており、特にＮＯｘについては、ボイラ出口のガスを脱硝装置に導き、ここでの処理を通して規制を守っている。脱硝装置に用いられるアンモニアの消費量は、脱硝装置入口のＮＯｘ濃度が高いほど多くなる。脱硝装置入口ＮＯｘ量を可能な限り低減し、アンモニア消費量を抑制すれば、ランニングコストの低減につながる。
【０１４０】
そのため、ＣＯが規制値を超えないように、かつ、ＮＯｘを可能な限り低減することが望まれている。
【０１４１】
図２４は、制御装置２００における操作信号生成部３００において、学習情報データベース２８０に保存されている情報を用いた操作を実施する前と後について、脱硝装置入口のＣＯ濃度とＮＯｘ濃度のトレンドを説明する図である。
【０１４２】
図２４に示すように、ＣＯ及びＮＯｘの値は、時間と共に変動する。これらの変動に関する情報は、図１５のステップ７３０、及び図１７のステップ８３０にて計算される。
【０１４３】
ステップ７４０及びステップ８４０にて計算される目標値は（６）式及び（７）式で計算され、制限値から信号の最大値と平均の差を減算したものであるので、計測信号が変動しても制限値を超える可能性が低くなる。つまり、第１の目標値設定部７００及び第２の目標値設定部８００で計算される目標値は、計測値の変動分が考慮されたものであり、計測値が変動しても制限値を超えないようなモデル出力目標値になっている。
【０１４４】
これにより、操作信号生成部３００で生成される操作信号１５は、前述の運転目標値を満足するような制御方法に関する情報が保存されている学習情報データベース２８０の情報を用いて生成された信号となる。
【０１４５】
従って、図２４に示すように、操作後にもＣＯは制限値を超えることはない。さらに、ＮＯｘが操作前よりも低減するという効果が得られる。
【図面の簡単な説明】
【０１４６】
【図１】本発明の一実施形態による制御装置を制御対象に適用した場合の制御システムの構成を示すブロック図である。
【図２】本発明の一実施形態による制御装置によって制御される火力発電プラントの構成を示すシステムブロック図である。
【図３】本発明の一実施形態による制御装置によって制御される火力発電プラントにおける配管部、及びエアーヒーター部の拡大図である。
【図４】本発明の一実施形態による制御装置の中の計測信号データベースに記憶されるデータの態様を示す説明図である。
【図５】本発明の一実施形態による制御装置の中の操作信号データベースに記憶されるデータの態様を示す説明図である。
【図６】本発明の一実施形態による制御装置で用いられているアクタークリティック法の態様を示す説明図である。
【図７】本発明の一実施形態による制御装置で運用されるアルゴリズムのフローチャート図である。
【図８】本発明の一実施形態による制御装置で運用されるアルゴリズムのフローチャートにおける、１エピソード学習実行時に動作するフローチャート図である。
【図９】本発明の一実施形態による制御装置の学習部における評価器に適用した、タイルコーディングの説明図である。
【図１０】本発明の一実施形態による制御装置の中の学習情報データベースに記憶されるデータの一例を示す説明図である。
【図１１】本発明の一実施形態による制御装置の学習部における制御器に適用した、正規分布を用いてモデル入力変更幅を決定する方法に関する説明図である。
【図１２】本発明の一実施形態による制御装置の中の学習情報データベースに記憶されるデータの別の例を示す説明図である。
【図１３】本発明の一実施形態による制御装置の中の学習パラメータデータベースに記憶されるデータの態様を示す説明図である。
【図１４】本発明の一実施形態による制御装置の中の評価値計算パラメータデータベースに記憶されるデータの態様を示す説明図である。
【図１５】本発明の一実施形態による制御装置における第１の目標値設定部の動作フローチャート図である。
【図１６】計測データの最大、最小、平均に関する説明図である。
【図１７】本発明の一実施形態による制御装置における第２の目標値設定部の動作フローチャート図である。
【図１８】本発明の一実施形態による画像表示装置に表示される初期画面である。
【図１９】本発明の一実施形態による画像表示装置に表示される制御ロジック編集画面である。
【図２０】本発明の一実施形態による画像表示装置に表示される学習条件設定画面である。
【図２１】本発明の一実施形態による画像表示装置に表示される表示情報設定画面である。
【図２２】本発明の一実施形態による画像表示装置に表示される計測値のトレンドグラフである。
【図２３】火力発電プラントから排出されるＣＯ、ＮＯｘの基本特性を説明する図である。
【図２４】本発明の一実施形態による制御装置を用いて火力発電プラントを制御した時の効果を説明する図である。
【符号の説明】
【０１４７】
１００…制御対象、２００…制御装置、２１０…外部入力インターフェイス、２２０…外部出力インターフェイス、２３０…計測信号データベース、２４０…操作信号データベース、２５０…制御ロジックデータベース、２６０…学習パラメータデータベース、２７０…評価値計算パラメータデータベース、２８０…学習情報データベース、３００…操作信号生成部、４００…学習部、５００…モデル、６００…評価値計算部、７００…第１の目標値設定部、８００…第２の目標値設定部、９００…入力装置、９０１…キーボード、９０２…マウス、９１０…保守ツール、９２０…外部入力インターフェイス、９３０…データ送受信処理部、９４０…外部出力インターフェイス、９５０…画像表示装置。
【図１】
0004573783.tif 000010
【図２】
0004573783.tif 000011
【図３】
0004573783.tif 000012
【図４】
0004573783.tif 000013
【図５】
0004573783.tif 000014
【図６】
0004573783.tif 000015
【図７】
0004573783.tif 000016
【図８】
0004573783.tif 000017
【図９】
0004573783.tif 000018
【図１０】
0004573783.tif 000019
【図１１】
0004573783.tif 000020
【図１２】
0004573783.tif 000021
【図１３】
0004573783.tif 000022
【図１４】
0004573783.tif 000023
【図１５】
0004573783.tif 000024
【図１６】
0004573783.tif 000025
【図１７】
0004573783.tif 000026
【図１８】
0004573783.tif 000027
【図１９】
0004573783.tif 000028
【図２０】
0004573783.tif 000029
【図２１】
0004573783.tif 000030
【図２２】
0004573783.tif 000031
【図２３】
0004573783.tif 000032
【図２４】
0004573783.tif 000033