(57)【要約】【課題】制御対象を模擬したモデルと実際の制御対象との挙動との間に誤差がある場合でも、局所最適解に陥るリスクを極力排除して制御対象を安全で安定に運転制御して最適解を探索できるボイラプラントの制御装置を提供する。【解決手段】ボイラプラントの計測データを入力してプラント運転特性を模擬したプラントモデルに基づいてボイラプラントへの運転操作指令値を演算して運転を行うボイラプラントの制御装置に、運転データを蓄積した運転実績データベースと、蓄積した運転データから操作量の変化傾向を演算してボイラプラントの状態を判定する運転状態判定手段と、プラントモデルで計算したプロセス値とボイラプラントの計測値との誤差を計算するモデル誤差評価手段と、蓄積された過去のデータを含むプロセス値と操作指令値との相関関係をモデル化する運転データモデル化手段と、前記誤差値を用いて操作指令候補値を計算する探索点決定手段とを備えた。【選択図】図１
2008146371.tif 000002
【特許請求の範囲】
【請求項１】
ボイラプラントの状態量の計測データである運転データを入力してボイラプラントのプラント運転特性を模擬したプラントモデルに基づいてボイラプラントへの運転操作指令値を演算して運転を行うボイラプラントの制御装置において、前記制御装置にはボイラプラントの過去の運転データを蓄積した運転実績データベースと、この運転実績データベースに蓄積した運転データから操作量またはプロセス値少なくとも一方の変化傾向を演算してこの変化傾向情報と負荷変化指令値とからボイラプラントの状態を判定する運転状態判定手段と、プラントモデルで計算したプロセス値とボイラプラントの計測値との誤差を計算するモデル誤差評価手段と、運転実績データベースに蓄積された過去のデータを含むプロセス値と操作指令値または操作量との相関関係をモデル化する運転データモデル化手段と、モデル誤差評価手段で計算した誤差値と運転データモデル化手段で作成した運転データモデルで計算したプロセス値の計算結果との少なくとも一方を用いて操作指令候補値または操作量候補値を計算する探索点決定手段と、探索点決定手段で計算した操作指令候補値または操作量候補値と運転状態判定手段で判定した運転状態情報とを用いて制御対象であるボイラプラントの状態量の操作器に出力する操作指令値を決定する操作指令決定手段を備えさせたことを特徴とするボイラプラントの制御装置。
【請求項２】
ボイラプラントの状態量の計測データである運転データを入力してボイラプラントのプラント運転特性を模擬したプラントモデルに基づいてボイラプラントへの運転操作指令値を演算して運転を行うボイラプラントの運転制御装置において、前記制御装置にはボイラプラントの過去の運転データを蓄積した運転実績データベースと、プラントモデルで計算したプロセス値とプラントの計測値との誤差を計算するモデル誤差評価手段と、この運転実績データベースに蓄積された過去のデータを含むプロセス値と操作指令値または操作量との相関関係をモデル化する運転データモデル化手段と、モデル誤差評価手段で計算した誤差値と運転データモデル化手段で作成した運転データモデルで計算したプロセス値の計算結果との少なくとも一方を用いて操作指令候補値または操作量候補値を計算する探索点決定手段と、探索点決定手段で計算した操作指令候補値または操作量候補値を用いて制御対象であるボイラプラントの状態量の操作器に出力する操作指令値を決定する操作指令決定手段を備えさせたことを特徴とするボイラプラントの制御装置。
【請求項３】
請求項２に記載のボイラプラントの制御装置において、前記プラントモデルで模擬するプラントの運転特性は、排ガス中のＮＯｘ、ＣＯ、ＣＯ２、ＳＯｘ、Ｈｇ（水銀）量、フッ素、煤塵またはミストから成る微粒子類、ＶＯＣ（揮発性有機化合物）のうちの少なくとも一つであり、報酬値はこの少なくとも一つのプラントの運転特性の計測データを用いて計算し、前記操作指令値はバーナへ供給する燃料流量とバーナ空気流量、エアポートへ供給する空気流量、ボイラへ再循環させる排ガス再循環量、バーナ角度、供給空気温度のうちの少なくとも一つを対象としていることを特徴とするボイラプラントの制御装置。
【請求項４】
請求項２に記載のボイラプラントの制御装置において、前記プラントモデルで模擬するプラントの運転特性である排ガス中のＮＯｘ、ＣＯ、ＣＯ２、ＳＯｘ、Ｈｇ（水銀）量、フッ素、煤塵またはミストから成る微粒子類、ＶＯＣ（揮発性有機化合物）のうち少なくとも一つに対して、許容上限値または許容下限値、または、現状値からの許容変化量上限値または許容変化量下限値を前記探索点決定手段に入力する手段を備え、この探索点決定手段で計算した操作指令値と、入力された許容上限値または許容下限値または現状値からの許容変化量上限値または許容変化量下限値と、それらに対応するボイラプラントの計測値とを用いて、前記操作指令決定手段によって制御対象であるボイラプラントの状態量の操作器に出力する操作指令値を決定するように構成していることを特徴とするボイラプラントの制御装置。
【請求項５】
請求項１乃至請求項４の何れか１項に記載のボイラプラントの制御装置において、前記探索点決定手段は、前記プラントモデルまたは運転データモデル化手段で計算したプロセス値の予想値が許容上限値または許容下限値、または、現状値からの許容変化量上限値または許容変化量下限値の範囲を逸脱しないように操作指令候補値または操作量候補値を計算する機能を有することを特徴とするボイラプラントの制御装置。
【請求項６】
請求項１乃至請求項５の何れか１項に記載のボイラプラントの制御装置において、前記探索点決定手段は、前記プラントモデルの計算値と計測値との大小関係に応じて、操作指令候補値または操作量候補値の計算に用いる前記プラントモデルの計算値と前記運転データモデルの計算値の重み付けを決定する機能を有することを特徴とするボイラプラントの制御装置。
【請求項７】
請求項１乃至請求項６の何れか１項に記載のボイラプラントの制御装置において、前記探索点決定手段は、前記プラントモデルの計算値と計測値との誤差値に基づいて、操作指令候補値または操作量候補値を決める操作変化幅を決定する機能を有することを特徴とするボイラプラントの制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はボイラプラントの制御装置に関する。
【背景技術】
【０００２】
プラント制御の分野では、従来からＰＩＤ制御を基本とする制御ロジックが主流である。また、ニューラルネットワークに代表される教師付き学習機能により、プラントの特性に柔軟に対応できる技術も多数提案されている。
【０００３】
教師付き学習機能を用いて制御装置を構成するためには、教師データとなる成功事例を予め準備する必要があるため、教師なし学習方法も提案されている。
【０００４】
教師なし学習の例として強化学習法があるが、この強化学習法は制御対象などの環境との試行錯誤的な相互作用を通じて、環境から得られる計測信号が望ましいものとなるように環境への操作信号を生成する学習制御の枠組みである。
【０００５】
この強化学習法により、成功事例が予め準備できない場合でも、望ましい状態を定義しておくだけで、自ら環境に応じて望ましい行動を学習できるという利点がある。
【０００６】
強化学習では、環境から得られる計測信号を用いて計算されるスカラー量の評価値（強化学習では、報酬と呼ばれている）を手がかりに、現状態から将来までに得られる評価値の期待値が最大となるように、環境への操作信号を生成する学習機能を持つ。
【０００７】
このような学習機能を実装する方法として、例えば、技術文献の強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ  Ｌｅａｒｎｉｎｇ）に述べられているＡｃｔｏｒ−Ｃｒｉｔｉｃ、Ｑ学習、実時間Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇなどのアルゴリズムがある。
【０００８】
また、上述の手法を発展させた強化学習の枠組みとして、Ｄｙｎａ−アーキテクチャと呼ばれる枠組みが上記技術文献に紹介されている。これは、制御対象を模擬するモデルを対象にどのような操作信号を生成するのが良いかを予め学習し、この学習結果を用いて制御対象に印加する操作信号を決定する方法である。
【０００９】
また、強化学習を適用した技術として、特開２０００−３５９５６号公報に記載されている技術が挙げられる。この技術は、モデルと学習機能を有するシステムの組である強化学習モジュールを複数備えておき、各強化学習モジュールにおけるモデルと制御対象との予測誤差が小さいものほど大きな値を取る責任信号を求め、この責任信号に比例して各強化学習モジュールから生成される制御対象への操作信号を重み付けし、制御対象に印加する操作信号を決定する技術である。
【００１０】
【非特許文献１】強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ  Ｌｅａｒｎｉｎｇ）、三上貞芳・皆川雅章共訳、森北出版株式会社、２０００年１２月２０日出版
【特許文献１】特開２０００−３５９５６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、製造プロセスや自動車、列車、飛行機などのように実際の制御対象で試行錯誤運転をすることが困難な場合は、例えば特開２０００−３５９５６号公報に記載されたように制御対象を模擬したモデルを相手に事前学習する方法が有効である。
【００１２】
しかしながら、特開２０００−３５９５６号公報等に記載された技術では、モデルで完全に実際の制御対象の挙動を模擬して再現することは難しく、モデルと実際の制御対象との間にモデル誤差が存在するのが一般的である。また、実際の制御対象の挙動、そのプロセスが複雑であるほどモデル誤差は大きくなる傾向にある。
【００１３】
モデル誤差が大きくなった場合、モデルと実際の制御対象との挙動が異なる結果となるために、このモデルを相手に事前学習した結果を用いても、制御操作を行っても思ったほどの改善効果が得られない可能性がある。すなわち、学習結果がモデル特性に依存した局所最適解となってしまうことが危惧される。
【００１４】
また、特開２０００−３５９５６号公報等に記載された技術には、制御対象を安全で安定に運転制御しながら最適解を求めることについて開示も示唆もない。
【００１５】
本発明の目的は、制御対象を模擬したモデルと実際の制御対象との挙動との間に誤差がある場合でも、局所最適解に陥るリスクを極力排除して制御対象を安全で安定に運転制御しながら最適解を探索できるボイラプラントの制御装置を提供することにある。
【課題を解決するための手段】
【００１６】
本発明のボイラプラントの制御装置は、ボイラプラントの状態量の計測データである運転データを入力してボイラプラントのプラント運転特性を模擬したプラントモデルに基づいてボイラプラントへの運転操作指令値を演算して運転を行うボイラプラントの制御装置において、前記制御装置にはボイラプラントの過去の運転データを蓄積した運転実績データベースと、この運転実績データベースに蓄積した運転データから操作量またはプロセス値少なくとも一方の変化傾向を演算してこの変化傾向情報と負荷変化指令値とからボイラプラントの状態を判定する運転状態判定手段と、プラントモデルで計算したプロセス値とボイラプラントの計測値との誤差を計算するモデル誤差評価手段と、運転実績データベースに蓄積された過去のデータを含むプロセス値と操作指令値または操作量との相関関係をモデル化する運転データモデル化手段と、モデル誤差評価手段で計算した誤差値と運転データモデル化手段で作成した運転データモデルで計算したプロセス値の計算結果との少なくとも一方を用いて操作指令候補値または操作量候補値を計算する探索点決定手段と、探索点決定手段で計算した操作指令候補値または操作量候補値と運転状態判定手段で判定した運転状態情報とを用いて制御対象であるボイラプラントの状態量の操作器に出力する操作指令値を決定する操作指令決定手段を備えさせたことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、制御対象を模擬したモデルと実際の制御対象との挙動との間に誤差がある場合でも、局所最適解に陥るリスクを極力排除して制御対象を安全で安定に運転制御しながら最適解を探索できるボイラプラントの制御装置を実現する。
【発明を実施するための最良の形態】
【００１８】
本発明の実施例であるボイラプラントの制御装置について、図面を参照して以下に説明する。
【実施例】
【００１９】
図１は本発明の一実施例であるボイラプラントの制御装置を示す制御ブロック図である。
【００２０】
図１において、例えば制御対象を火力発電プラントのボイラプラントとした当該プラント１００の制御装置２００は、制御対象のプラント１００から各種プロセス値の計測情報２０５を受け取り、これらの計測情報２０５を使用して制御装置２００内に予めプログラムされた演算を行い、プラント１００に対して操作指令信号（制御信号）２８５を送信する。
【００２１】
プラント１００は制御装置２００から受け取った操作指令信号２８５に従って、プラント１００に備えられた操作機器である、例えばプラントの内部を流れる流体の流量を調節するバルブの開度やダンパ開度といったアクチュエータを動作させてプラント１００の状態をコントロールしている。
【００２２】
また、制御装置２００は中央給電指令所５０から受信する負荷指令信号５１に基づいて基本制御指令演算手段２３０によって演算を行い、この演算による操作指令信号（制御信号）２８５をプラント１００に送信してプラント１００の発電出力を制御する。
【００２３】
本実施例のボイラプラントの制御装置は火力発電プラントを構成するボイラプラントの燃焼制御に適用した例である。本実施例では特に、排ガス中のＮＯｘ及びＣＯ濃度を低下することを目的としたボイラプラントの制御装置による制御機能に適用した例を中心に説明する。
【００２４】
図２には制御対象である火力発電プラントを構成するボイラプラントの概略構成を示す。
【００２５】
図２において、燃料となる石炭はミル１１０にて粉砕して微粉炭として石炭搬送用の１次空気、及び燃焼調整用の２次空気と共にバーナー１０２を通じてボイラ１０１に投入し、ボイラ１０１の火炉内部で燃料の石炭を燃焼する。
【００２６】
燃料の石炭と１次空気は配管１３４から、２次空気は配管１４１からバーナー１０２に導かれる。また、２段燃焼用のアフタエアを、アフタエアポート１０３を通じてボイラ１０１に投入する。このアフタエアは、配管１４２からアフタエアポート１０３に導かれる。
【００２７】
燃料の石炭をボイラ１０１の火炉の内部で燃焼させて発生した高温の燃焼ガスは、ボイラ１０１の火炉を矢印で示した経路に沿って下流側に流れ、燃焼排ガスとなってボイラ１０１から排出されてボイラ１０１の外部に設置されたエアーヒーター１０４に流下する。
【００２８】
エアーヒーター１０４を通過した燃焼排ガスはその後、図示していない排ガス処理装置で燃焼排ガスに含まれている有害物質を除去した後に、煙突をから大気に放出される。
【００２９】
また、ボイラ１０１の火炉を流下した燃焼排ガスの一部は、火炉の下流側から排ガス再循環系統７０１を通じて導びかれ、ボイラ１０１の火炉の底部から火炉内に流入してボイラ１０１を再循環するように構成されている。この燃焼排ガスの再循環量は排ガス再循環系統７０１に設置した流量調整弁によって調節される。
【００３０】
ボイラ１０１を循環する給水は、タービ１０８に設置された図示していない復水器から給水ポンプ１０５を介してボイラ１０１に導かれ、ボイラ１０１の火炉に設置した熱交換器１０６においてボイラ１０１の火炉の内部を流下する燃焼ガスによって加熱されて高温高圧の蒸気となる。
【００３１】
尚、本実施例では熱交換器１０６の数を１個として図示しているが、熱交換器を複数個配置してもよい。
【００３２】
熱交換器１０６で発生した高温高圧の蒸気は、タービンガバナ１０７を介して蒸気タービン１０８に導かれ、蒸気の持つエネルギーによって蒸気タービン１０８を駆動し、発電機１０９を回転させて発電する。
【００３３】
次に、ボイラ１０１の火炉に設置されたバーナー１０２からボイラ１０１の火炉内に投入される１次空気及び２次空気、ボイラ１０１の火炉に設置されたアフタエアポート１０３からボイラ１０１の火炉内に投入されるアフタエアの経路について説明する。
【００３４】
１次空気は、ファン１２０から配管１３０に導かれ、途中でエアーヒーター１０４を通過する配管１３２と通過しない配管１３１とに分岐し、これらの配管１３２及び配管１３１を流下した１次空気は再び配管１３３にて合流してミル１１０に導かれる。
【００３５】
エアーヒーター１０４を通過する空気は、ボイラ１０１の火炉から排出される燃焼排ガスにより加熱される。
【００３６】
この１次空気を用いてミル１１０で生成される石炭（微粉炭）を配管１３３を通じてバーナー１０２に搬送する。
【００３７】
２次空気及びアフタエアは、ファン１２１から配管１４０に導かれ、エアーヒーター１０４で加熱された後に、２次空気用の配管１４１と、アフタエア用の配管１４２とに分岐して、それぞれボイラ１０１の火炉に設置されたバーナー１０２とアフタエアポート１０３に導かれるように構成されている。
【００３８】
本実施例であるボイラプラントの制御装置は、ＮＯｘおよびＣＯ濃度を低減するため、バーナー１０２からボイラ１０１に投入する空気量と、アフタエアポート１０３からボイラ１０１に投入する空気量を調整する機能を持っている。
【００３９】
ボイラプラントの制御装置２００は、図１に示すように基本操作指令演算手段２３０と、基本操作指令演算手段２３０から出力される基本操作指令値２３５を変更または補正する補正手段２５０と、プロセス計測値２０５、運転員の入力信号、上位制御システムからの指令信号等から成る運転実績データを蓄積・格納している運転実績データベース２４０と、制御対象プラント１００または運転員等とのデータ授受のための入出力インターフェース（入出力Ｉ／Ｆ）２２０と、運転員が各種データを見たり、設定値や運転モード、手動運転の際の操作指令等を入力したりするための入出力手段２２１とから構成されている。
【００４０】
基本操作指令演算手段２３０はＰＩＤ（比例・積分・微分）制御器を基本構成要素とし、中央給電指令所５０から受信する負荷指令信号５１に基づいて、プラント１００で検出して入出力Ｉ／Ｆ２２０を経由したプロセス計測値２０５、運転員の入力信号、上位制御システムからの指令信号等を入力として演算し、プラント１００に設置されているプラントの内部を流れる流体の流量を調節するバルブ、ダンパ、モータ等の各種動作機器に対する基本操作指令値２３５を計算して出力する。
【００４１】
本実施例のボイラプラントの制御装置では、図１に示すように、制御装置２００に基本操作指令値２３５を変更または補正する補正手段２５０が備えられており、以下にこの補正手段２５０について説明する。
【００４２】
補正手段２５０は強化学習手段２９０と、モデル誤差評価手段２６０と、運転データモデル化手段２６３と、運転状態判定手段２６５と、探索点決定手段２７０と、操作指令決定手段２８０とで構成されている。
【００４３】
補正手段２５０に備えられた強化学習手段２９０は運転実績データベース２４０に蓄積された運転データ２４５、計測データ２０５、数値解析手段４００で計算した数値解析結果４０１を用いて強化学習理論によりプラント状態に対応した適切な操作方法を学習する機能を有している。
【００４４】
数値解析手段４００は制御装置２００に設けられている構成として説明しているが、グリッドコンピュータ、スーパーコンピュータの如く求められる機能が大容量の計算能力を必要とする場合には、数値解析手段４００を制御装置２００から別置させて設けても良い。
【００４５】
強化学習理論の詳細な説明は、例えば前述した技術文献の“強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ  Ｌｅａｒｎｉｎｇ）、三上貞芳・皆川雅章共訳、森北出版株式会社、２０００年１２月２０日出版”に詳しく述べられているので、ここでは強化学習の概念のみを説明する。
【００４６】
図３に上記した強化学習理論による制御の概念を示す。
【００４７】
制御装置６１０は制御対象６００に対して操作指令６３０を出力する。制御対象６００は制御指令６３０に従って動作する。この時、制御指令６３０による動作により制御対象６００の状態が変化する。
【００４８】
制御装置６１０は変化した状態が制御装置６１０にとって望ましいか、または、望ましくないか、また、それらがどの程度かを示す量である報酬６２０を制御対象６００から受け取る。
【００４９】
実際には制御対象６００から受け取る情報は制御対象の状態量であって、それに基づいて制御装置６１０が報酬を計算するのが一般的である。一般に、望ましい状態に近づくほど報酬が大きくなり、望ましくない状態になるほど報酬が小さくなるように設定される。
【００５０】
制御装置６１０は試行錯誤的に操作を実施して、報酬が最大になる（すなわち、できるだけ望ましい状態に近づく）ような操作方法を学習することにより、制御対象６００の状態に応じて適切な操作（制御）ロジックが自動的に構築されるのである。
【００５１】
ニューラルネットワークに代表される教師付学習理論は、予め成功事例を教師データとして提供する必要があり、新規プラントで運転データがない場合や、現象が複雑で予め成功事例を準備できない場合には不向きである。
【００５２】
これに対して前記した強化学習理論は教師なし学習に分類され、自らが試行錯誤的に望ましい操作を生成する能力を持っている点で、制御対象の特性が必ずしも明確でない場合に対しても適用可能な利点を持っている。
【００５３】
しかし、プラントの運転データのみで学習するためには、学習に必要な運転データが十分蓄積されるまで待つ必要があるため、効果を発揮するまでに長時間を要する。また、試行錯誤的に学習するため、プラントの運転上望ましくない状態になる可能性もあり、好ましくないばかりか、場合によってはプラントの安全面で支障をきたす恐れもある。
【００５４】
そこで、本実施例であるボイラプラントの制御装置を構成する制御装置２００では、制御対象を模擬するモデルを対象にどのような操作信号を生成するのが良いかを予め学習しておく。
【００５５】
制御装置２００に備えられた数値解析手段４００はプラント１００のボイラ構造に基づいてプラント特性を模擬するものであり、その燃焼（反応）、ガス流動、伝熱のプロセスを差分法、有限体積法、有限要素法等の数値解析手法を用いて計算するものである。
【００５６】
本実施例は数値解析手法に特徴があるのでは無く、解析手法には依存しないため数値解析方法に関する説明は省略する。
【００５７】
数値解析手段４００による数値解析によって様々な操作条件における現象を計算し、プラント１００のプラント特性である排ガス中のＣＯ濃度又はＮＯｘ濃度について、これらの計測位置における両者の濃度を夫々計算する。
【００５８】
計測位置でのＣＯ濃度又はＮＯｘ濃度の計算結果は、その断面の計算格子（メッシュ）ごとに計算されるため、それを計測位置であるボイラ出口の流路断面の左・右、前・後、全体の３種類の領域に分けてその平均濃度を夫々計算する。
【００５９】
前記数値解析手段４００による数値解析によって前記プラントのモデルで模擬するプラントの運転特性として、排ガス中のＣＯ濃度又はＮＯｘ濃度を代表にして上記に説明したが、このＣＯ又はＮＯｘ以外にも排ガス中のＣＯ２、ＳＯｘ、Ｈｇ（水銀）量、フッ素、煤塵またはミストから成る微粒子類、ＶＯＣ（揮発性有機化合物）のうちの少なくとも一つについて濃度を模擬することが出来る。
【００６０】
図４に本実施例のボイラプラントの制御装置２００の補正手段２５０に備えられた強化学習手段２９０の構成を示す。数値解析手段４００で計算した計算結果４０１は強化学習手段２９０を構成する数値解析データベース２９６に蓄積される。
【００６１】
強化学習手段２９０を構成するモデル化手段２９１は数値解析データベース２９６から必要なデータ２９７を読込み、ＣＯ濃度、ＮＯｘ濃度の平均値を計算する。
【００６２】
このモデル化手段２９１は計算した平均濃度を教師信号、その時の操作条件を入力信号として、入力層、中間層、出力層からなるニューラルネットワークで、誤差逆伝播法（バックプロパゲーション法）を用いて入出力関係を学習する。
【００６３】
前記のニューラルネットワークの構成及び学習方法は一般的な方法であり、また、これらの方法が他の方法であっても良く、本実施例はニューラルネットワークの構成や学習方法には依存しないので、ここでは詳細な説明を省略する。
【００６４】
強化学習手段２９０を構成する学習手段２９２は、プラント１００が稼動する前（試運転前）にこのニューラルネットワークで学習した数値解析に基づくプラント特性を相手に、ＣＯ、ＮＯｘの発生量を抑制する操作方法を学習する。
【００６５】
学習手段２９２から出力される操作量に相当する操作信号２９３はボイラ１０１に設置されたバーナー１０２及びアフタエアポート１０３の各位置毎の空気流量、バーナー毎の燃料流量、並びに発電機１０９の発電機出力である。
【００６６】
本実施例では前記した燃料流量、空気流量、発電出力とＮＯｘ及びＣＯ濃度の関係をモデル化しているが、本実施例は入力項目及び出力項目をこれだけに限定するものではい。
【００６７】
また、本実施例ではモデル化方法もニューラルネットワークに限定するものではなく、回帰モデル等の他の統計モデルを用いても良い。
【００６８】
強化学習手段２９０を構成する学習手段２９２はモデル化手段２９１で作成したモデルに対して、ボイラ１０１に設置されたバーナー１０２及びアフタエアポート１０３の各位置毎の空気流量、バーナー毎の燃料流量からなる入力データ２９３を出力する。
【００６９】
学習手段２９２から出力される入力データ２９３はプラント１００の操作条件に対応しており、それぞれ上下限値、変化幅（刻み幅）、一回の操作で取り得る最大変化幅が設定してある。この入力データ２９３の各量は取り得る値の範囲内でランダムに各数値が決定される。
【００７０】
強化学習手段２９０のモデル化手段２９１では、作成済みのモデルに入力データ２９３を入力し、このモデル化手段２９１にてＮＯｘ濃度及びＣＯ濃度を計算して出力データ２９４として出力する。
【００７１】
強化学習手段２９０の学習手段２９２には、報酬値を計算する式（１）の演算式を構成する演算器が備えられており、モデル化手段２９１からの出力データ２９４を受信して前記演算器で式（１）の演算を行うことによって報酬値を計算する。
【００７２】
学習手段２９２の演算器で計算する報酬値の報酬は式（１）で定義されている。
【００７３】
ここで、Ｒは報酬値、ＯＮＯＸはＮＯｘ値、ＯＣＯはＣＯ値、ＳＮＯＸ及びＳＣＯはＮＯｘ及びＣＯの目標設定値、ｋ１、ｋ２、ｋ３、ｋ４は正の定数である。
【００７４】
【数１】
2008146371.tif 000003
・・・（１）
式（１）に示すように、ＮＯｘ、ＣＯ値が目標設定値のＳＮＯＸ、ＳＣＯよりも夫々低下した場合は報酬Ｒ１、及びＲ２を与え、さらに、ＮＯｘ、ＣＯ値が前記目標設定値のＳＮＯＸ、ＳＣＯよりも更に夫々低下した場合はその偏差に比例した報酬Ｒ１、及びＲ２を与えるようになっている。
【００７５】
なお、報酬の定義方法は他にも多様な方法が考えられ、式（３１の方法に限定されるものではない。
【００７６】
学習手段２９２の演算器では式（１）で計算される報酬が最大になるように入力データ２９３の組合せ、すなわち操作量を学習するために、結果的に現状態に対応してＮＯｘ、ＣＯを低減する操作量の組合せを学習することができる。
【００７７】
学習手段２９２は学習が終了した状態で、現在時刻のプラント１００の運転データ２０５を読込み、学習結果に基づいて式（１）の報酬が最大となる操作量２９５を演算器によって演算して出力する。
【００７８】
前記報酬値は前述した数値解析手段４００による数値解析によってプラントのモデルで模擬するプラントの運転特性である排ガス中のＣＯ、ＮＯｘ、ＣＯ２、ＳＯｘ、Ｈｇ（水銀）量、フッ素、煤塵またはミストから成る微粒子類、ＶＯＣ（揮発性有機化合物）のうちの少なくとも一つに対応する計測データを用いて計算し、前記操作指令値はボイラ１０１の火炉に設置されたバーナ１０２へ供給する燃料流量、バーナ１０２へ供給する空気流量、エアポート１０３へ供給する空気流量、ボイラ１０１へ再循環させる排ガス再循環量、バーナ１０１の設置角度、ボイラ１０１に供給される供給空気温度のうちの少なくとも一つが対象となる。
【００７９】
ただし、本実施例はこの報酬の与え方に依存するものではなく、他の方法であっても良い。
【００８０】
以上により、プラント１００の稼動前、すなわちプラント１００の運転実績データが無い状態でも強化学習によってＣＯ、ＮＯｘを抑制する運転操作方法が得られるので、プラント１００の試運転時から本実施例の制御装置２００が適用でき、効果を発揮することができる。
【００８１】
たとえば、プラント１００の運転実績データのみで学習する場合には、データの蓄積に数週間〜数ヶ月を必要とするため、その間は十分な制御性能が得られない可能性がある。そのため、ボイラプラントのＣＯ、ＮＯｘ濃度が高くなり環境性が悪化したり、脱硝装置で用いる薬品（アンモニア）の消費量が増加する可能性がある。
【００８２】
また、運転実績データが十分に蓄積されるまでは試行錯誤運転となるため、安全運転の面からも好ましくない状態になる可能性もある。
【００８３】
これに対して本実施例の運転操作方法によれば、プラント１００の稼動前の運転実績データが無い状態でも強化学習によってＣＯ濃度、ＮＯｘ濃度を抑制する運転操作方法が得られるので、前記したこれらのリスクを抑制・回避できる点で有効である。
【００８４】
ところで、本実施例でも数値解析結果の誤差（実機プラントの計測値との偏差）をゼロにすることは困難であるため、プラント１００が稼動した後は、プラント１００の運転実績データを用いてニューラルネットワークモデルの特性を補正するようにしている。
【００８５】
そのために、強化学習手段２９０を構成するモデル化手段２９１は運転実績データベース２４０に蓄積された運転データ２４５から上記の操作量とＣＯ濃度、ＮＯｘ濃度との関係データを数値解析データに加えて追加学習する機能を有している。
【００８６】
モデル化手段２９１での追加学習により、運転データ２４５の特性がニューラルネットワークの特性モデルに反映される。
【００８７】
また、この運転データ２４５で補正したモデルを相手に強化学習手段２９０の学習手段２９２が再度学習し直す機能もあり、これによって、より精度が高く制御性能が良い操作方法を学習できる。
【００８８】
当然ながら運転した操作条件についてのみ運転データは得られるので、それ以外の操作条件がもっと望ましい状態である可能性は残っている。すなわち局所最適解に陥る可能性がある。
【００８９】
これを回避するためには、全ての操作量に対して考えられる組合せで網羅的に運転してデータを取得すればよいが、実際のプラントでは安全かつ安定な運転を維持するために、このようなことは不可能である。
【００９０】
そこで本実施例では、局所最適解に陥るリスクを軽減するために、制御装置２００に備えられた補正手段２５０の中に運転状態判定手段２６５と、モデル誤差評価手段２６０と、運転データモデル化手段２６３と、探索点決定手段２７０を備えている。
【００９１】
プラント１００が定常状態にある場合、状態が安定すると操作指令値の変化は小さくなり、ほぼ一定値となるか同じ状態を繰返すようになる。
【００９２】
このような状態が局所最適解だとすると、普通は、他の状態に遷移することはないため、より良い操作条件を見つけることができなくなるが、本実施例では制御装置２００に備えられた補正手段２５０の中に設けた探索点決定手段２７０によって、意図的に変更する操作条件を決定して最良の操作条件を探索する機能を有している。
【００９３】
操作条件の変更は状態の悪化に繋がる危険性が大きいため、探索のための操作条件を決定することが難しい。
【００９４】
そこで本実施例では、制御装置２００に備えられた強化学習手段２９０に設けた前記モデル化手段２９１によって作成したニューラルネットワークモデルとプラント計測値との誤差及びプラント計測値、即ち運転実績データの傾向の両者を考慮して操作条件を決定するようにした。
【００９５】
探索のための操作条件を決定する手順と機能を図５のフローチャートに従って以下に説明する。
【００９６】
図５において、まず最初に、状態判別のステップ５００では、図１に示す制御装置２００を構成する補正手段２５０に設けた運転状態判定手段２６５によって、プラント１００が定常状態にあることを判定する。
【００９７】
即ち、運転状態判定手段２６５では制御装置２００に設けられた基本制御指令演算手段２３０から入力する負荷指令５２に変化があるかどうかを判定する。そして負荷指令５２の前回値との偏差の絶対値が予め設定した基準値以下の場合に、負荷変化なしと判断する。
【００９８】
運転状態判定手段２６５で負荷変化なしと判断された場合には、強化学習手段２９０から出力される操作量２９５について、前回値との偏差の絶対値が予め設定した基準値以下であり、かつ、所定の時間前からの操作量２９５の最大値と最小値が予め設定した基準値以下であるかを運転状態判定手段２６５によって更に判定する。
【００９９】
定常状態か否かを判断するステップ５０１では、上記の各種の値が全て基準値以下である場合に、プラント１００は定常状態にあると判定して、データ数が下限値よりも大きいか否かを判断するステップ５０２に進む。
【０１００】
定常状態か否かを判断するステップ５０１において、運転状態判定手段２６５で判断されて出力された状態判定結果２６６は、モデル誤差評価手段２６０と、運転データモデル化手段２６３に夫々入力する。
【０１０１】
尚、運転状態判定手段２６５で定常状態にないと判断された場合には操作条件の探索をせずに終了する。
【０１０２】
次に、データ数が下限値よりも大きいか否かを判断するステップ５０２では、運転状態判定手段２６５によって図２に示したボイラ１０１の火炉に設置された各バーナ１０２への現在の供給燃料流量と各バーナ１０２への空気流量、ボイラ１０１の火炉に設置された各アフタエアポート１０３への空気流量の値から予め定めた所定の偏差量の範囲に入っている運転実績データを検索し、その個数を基準値（データ個数下限値）と比較する。
【０１０３】
運転状態判定手段２６５による上記の検索によって、データ数が下限値よりも大きいか否かを判断するステップ５０２で検索されたデータ数の個数が基準値より多い、“ＹＥＳ”と判断された場合はモデル誤差計算のステップ５０５へ進み、データ数が基準値以下の、“ＮＯ”と判断された場合は警告表示のステップ５０３に進む。
【０１０４】
モデル誤差計算のステップ５０５は補正手段２５０に備えられたモデル誤差評価手段２６０の機能である。このモデル誤差評価手段２６０はデータ数が下限値よりも大きいか否かを判断するステップ５０２で抽出した運転実績データの全点について、モデル化手段２９１で作成したニューラルネットワークモデルとの誤差を計算して、次の相関モデル作成のステップ５０６に進む。
【０１０５】
モデル誤差計算のステップ５０５におけるモデル誤差評価手段２６０には、誤差値を計算する式（２）の演算式を構成する演算器が備えられており、運転実績データ点毎に強化学習手段２９０に設けたモデル化手段２９１で作成したニューラルネットワークモデルとの誤差を、誤差値Ｅ１として前記演算器により式（２）に基づいて計算する。
【０１０６】
【数２】
2008146371.tif 000004
・・・（２）
また、モデル誤差評価手段２６０には、平均誤差を計算する式（３）の演算式を構成する演算器が備えられており、平均誤差Ｅ２について前記演算器で（３）式に基づいて計算する。ここでｋは運転実績データ点数である。
【０１０７】
【数３】
2008146371.tif 000005
・・・（３）
データ数が下限値よりも大きいか否かを判断するステップ５０６は補正手段２５０に設けられた運転データモデル化手段２６３の機能である。この運転データモデル化手段２６３によってデータ数が下限値よりも大きいか否かを判断するステップ５０２で抽出した運転実績データの全点を用いて操作量とボイラプラントから排出される排ガスのＣＯ及びＮＯｘ濃度との相関モデルを作成する。
【０１０８】
相関モデルは重回帰式でもニューラルネットワークでも、他の統計モデルでも良く、操作量パラメータを入力するとボイラプラントから排出される排ガスのＣＯ、ＮＯｘ濃度を出力するモデルになっている。
【０１０９】
操作パラメータ決定のステップ５０７と操作パラメータ変更指令のステップ５０８は探索点決定手段２７０の機能である。
【０１１０】
操作パラメータ決定のステップ５０７では、補正手段２５０に備えられた探索点決定手段２７０によって、まず、操作パラメータ決定のステップ５０５のモデル誤差評価手段２６０で計算した誤差値２６１を読込む。
【０１１１】
図６は、ボイラプラントのプラント特性とそのモデルの特性との関係を説明する図面であり、図６（ａ）〜図６（ｂ）は縦軸にボイラプラントから排出される排ガスのＣＯ、ＮＯｘ濃度を、横軸に操作パラメータＡ、Ｂ、Ｃ、Ｄ、Ｅをとり、計測データを点で表示して実機プラントのプラント特性を破線で示し、モデルの特性を実線で夫々示している。
【０１１２】
また、図６（ｃ）は縦軸にボイラプラントの排ガスのＣＯ、ＮＯｘ濃度を、横軸に操作パラメータＡ、Ｂ、Ｃ、Ｄ、Ｅをとり、計測データを点で表示して、相関モデルと運転実績データとの関係を示している。
【０１１３】
そして、図６（ｄ）は縦軸にモデル誤差を、横軸に操作パラメータＡ、Ｂ、Ｃ、Ｄをとり、計測データを点で表示して、相関曲線を実線で示している。
【０１１４】
図６（ａ）において、破線のプラント特性と実線のモデル特性が図６（ａ）に示した関係にある時は、モデルの特性から求めるボイラプラントの排ガスのＣＯ、ＮＯｘ濃度が最小となる操作点はＢであるが、実際のプラント１００のプラント特性では排ガスのＣＯ、ＮＯｘ濃度が最小となる操作点はＣの操作点が最良である。
【０１１５】
操作点Ｂでプラント１００を運転すると、図６（ａ）に計測データを点で表示したプラント１００の運転実績データが得られる。計測データにばらつきがあるものの、プラント特性とモデル特性との間の誤差値Ｅ１は図６（ｄ）に相関曲線として示したものとなる。
【０１１６】
図６（ｄ）に示したように、操作点Ｂ付近はモデル誤差の誤差値が負、即ち、プラント１００の運転実績データの方がモデルで予想したボイラプラントの排ガスのＣＯ、ＮＯｘ濃度よりも小さいことを示している。この場合はモデルの予想値よりもさらにＣＯ、ＮＯｘ値を下げる操作条件が存在する可能性がある。
【０１１７】
図６（ｄ）に示した操作点Ｂ付近（現在状態付近）のモデル誤差値が予め設定した誤差範囲外の場合は、補正手段２５０に設けられた運転データモデル化手段２６３で作成した相関モデルによって操作量変更時の排ガスのＣＯ、ＮＯｘ濃度を予想する。
【０１１８】
図６（ｃ）に相関モデルと運転実績データとの関係を図示した。図６（ｃ）に示した運転実績データから相関モデルから操作条件を変更した時のボイラプラントの排ガスのＣＯ、ＮＯｘ濃度が予想できる。
【０１１９】
また、操作量の変更幅は図７（ａ）に示した入力画面から探索時の最大変化量を設定する。図７（ａ）の入力欄３２２は操作量ごとに最大変化量の値を入力する。
【０１２０】
そして入力欄３２２に最大変化量を入力後、設定終了ボタン３２１をマウスでクリックすると入力した値が保存される。デフォルト設定ボタン３２０を押すと、予め設定した各操作量に対する最大変化量の標準値が自動的に入力される。
【０１２１】
図５の操作パラメータ決定のステップ５０７では、探索点決定手段２７０に、後述する図７（ｂ）に示したように、探査を行う条件となる許容上限値と許容下限値が入力されるようになっている。
【０１２２】
そしてこの探索点決定手段２７０によって、設定した最大変化量の範囲内で操作量の値の組合せをランダムに変化させて最も相関モデルで計算したボイラプラントの排ガスのＣＯ、ＮＯｘの低減効果が大きい操作量を演算して、操作パラメータ変更指令出力のステップ５０８に進む。
【０１２３】
そして操作パラメータ変更指令出力のステップ５０８では、探索点決定手段２７０によって演算された排ガスのＣＯ、ＮＯｘの低減効果が大きい前記操作量を変更候補２７１として出力する。
【０１２４】
尚、ＣＯ、ＮＯｘ低減効果の評価方法は前述した強化学習の報酬値の定義と同じとする。
【０１２５】
現状の排ガスのＣＯ、ＮＯｘ濃度よりも報酬値が望ましい値になる操作条件が無い場合、すなわち図６（ｂ）に示した状態のように、現状操作点Ｂ付近では排ガスのＣＯ、ＮＯｘ濃度の値が増加する予想となる場合は、その予想値が設定した許容値の範囲内であるという条件のもとで探索点決定手段２７０によってランダムに変更操作量の候補を選択する。
【０１２６】
これにより、図６（ｂ）に示したようなプラント特性のボイラプラントの排ガスのＣＯ、ＮＯｘ濃度が最小となる操作点Ｄが発見できる可能性がある。
【０１２７】
排ガスのＣＯ、ＮＯ濃度の予想値の許容範囲は図７（ｂ）に示した許可条件設定の入力画面で設定する。図７（ｂ）の画面例では補正手段２５０に設けられた探索点決定手段２７０による最適操作条件の探索を許可する条件を入力するようになっている。
【０１２８】
図７（ｂ）に示した許可条件設定の入力画面では、濃度の許容上限値を排ガスのＣＯ濃度の入力欄３０５、及び排ガスのＮＯ濃度の入力欄３０６に夫々指定する場合と、現状濃度からの増加幅をＣＯ濃度の入力欄３０７、及びＮＯ濃度の入力欄３０８に夫々指定することを選択できる。どちらかにチェックし、それぞれの許容数値を入力欄３０５〜３０８に入力する。
【０１２９】
また、許可条件設定の入力画面の「オペレータの許可を求める」にチェックすると、探索点決定手段２７０で決定した変更操作量をオペレータに表示し、変更操作の可否をオペレータで判断できるようになる。また、この時、オペレータの判断で、変更操作量を修正して操作することもできる。
【０１３０】
そして前記した許容数値を入力後、設定終了ボタン３０３を押すと、入力情報が保存される。
【０１３１】
また、許可条件設定の入力画面の「探索を常に禁止する」にチェックすると、補正手段２５０に設置されたモデル誤差評価手段２６０、運転データモデル化手段２６３、運転状態判定手段２６５、探索点決定手段２７０はそれらの処理を実行しない。
【０１３２】
図６（ｄ）に示した操作点Ｂ付近のモデル誤差の誤差値が、予め設定した誤差範囲内の場合は、学習強化手段２９０に設置されたモデル化手段２９１で作成したモデルで操作量を変更した場合の排ガスのＣＯ、ＮＯｘ濃度を予想する。この時、モデルで計算した排ガスのＣＯ、ＮＯｘ値に誤差値Ｅ２分を加えて予想値とする。
【０１３３】
操作量を変更した時の運転データはモデルの補正と補正後のモデルを用いた操作方法の再学習に反映される。
【０１３４】
本実施例では図６（ｄ）に示した操作点Ｂ付近のモデル誤差の誤差値が許容誤差範囲内であるか否かによって、操作量を変更した場合の排ガスのＣＯ濃度又はＮＯｘ濃度を予想するためのモデルを切替えているが、前記探索点決定手段２７０にモデルの計算値と計測値との大小関係に応じて、操作指令候補値または操作量候補値の計算に用いるモデルの計算値と運転データモデルの計算値の重み付けを決定する機能を備えさせて、両モデルの計算結果を誤差値の大きさに応じて荷重平均してもよい。
【０１３５】
また、操作量の変更幅はモデルの計算値と計測地との誤差値に比例して決定するようにする。
【０１３６】
以上説明したように、プラント１００の状態が安定している定常状態に、意図的に操作量を変更することにより、モデルの局所最適解から脱出してより望ましい操作条件を学習可能となる。
【０１３７】
この時、操作量の変更幅は、現状操作点近傍の運転実績データから求めるボイラプラントの排ガスのＣＯ、ＮＯｘ濃度の予想値、またはモデルの予想値にモデル誤差を加味した予想値を用いて決定するため、操作量の変更によって予想外に状態が悪化するような危険性を抑制することができ、オペレータが設定した運転許容範囲内で安全かつ安定な運転が実現できる。
【０１３８】
万が一、操作条件を変更した結果として、図７（ｂ）の許可条件設定の入力画面で設定したボイラプラントの排ガスのＣＯ、ＮＯｘ濃度の許容値の範囲外となった場合は、操作条件の変更（探索）を一旦中止する。その時の操作量を記憶し、再度探索を開始するかどうかのメッセージをオペレータに表示し、オペレータの入力（判断）に従う。オペレータの入力が「中止」の場合は一連の処理を中止しする。
【０１３９】
オペレータの入力が「継続」の場合は、操作量変更の処理を継続するが、記憶した同じ操作量値±αの範囲は操作量変更候補として選択しないようにする。αは操作量毎に予め設定した近傍範囲を定義する設定値である。
【０１４０】
図８は本実施例の対象となるボイラプラントから排出される排ガス中のＣＯ及びＮＯｘ濃度の測定例を示すものである。図８に示したように、排ガスのＣＯ及びＮＯｘ濃度の測定位置はボイラ出口位置のガス流路である。
【０１４１】
ボイラ出口のガス濃度計側面は、図８の右側部分に拡大して示したようにガス流路を前後左右に１６分割し、この１６分割された各分割区域に排ガスのＣＯ及びＮＯｘ濃度を測定する濃度センサを夫々設置している。
【０１４２】
このようにボイラ出口の濃度センサをガス濃度計側面に配設することによって、ボイラプラントのガス流路断面の全域に亘って排ガスのＣＯ及びＮＯｘ濃度の濃度分布を測定することができる。
【０１４３】
図９も図８と同様に本実施例の対象となるボイラプラントから排出される排ガスのＣＯ及びＮＯｘ濃度をボイラ出口位置のガス流路で測定した一例を示すものであり、図９（ａ）及び図９（ｂ）は共にボイラ出口位置のガス流路を前後にＷ、Ｘ、Ｙ、Ｚに区切り、左右に１、２、３、４に区切った１６分割として、この１６分割された各分割区域で排ガスのＣＯ濃度を測定した結果を示している。
【０１４４】
図９（ａ）及び図９（ｂ）に示すように、ボイラ出口位置のガス流路を１６分割して各分割区域で測定した焼ガスのＣＯ濃度を濃度に応じて濃度を色分け、または単色の濃淡表示で表している。
【０１４５】
尚、図９（ａ）及び図９（ｂ）では、紙面の都合上、ＣＯ濃度の測定値のみを表示したが、ＮＯｘ濃度の測定値も同様に表示できることは言うまでもない。
【０１４６】
図９（ａ）及び図９（ｂ）の右側に示した排ガスのＣＯ濃度のグラフは、ガス流路を上記したように前後及び左右の領域に１６分割し、各分割区域で測定した排ガスのＣＯ濃度の平均値をガス流路の前後とガス流路の左右に集約してプロットした例である。
【０１４７】
図９（ａ）ではボイラ出口位置で１６分割されたガス流路における左右の領域での排ガスのＣＯ濃度の濃度差は小さいが、前後の領域での排ガスのＣＯ濃度の濃度差が大きい場合を示しており、また図９（ｂ）ではボイラ出口位置で１６分割されたガス流路における前後の領域での排ガスのＣＯ濃度の濃度差は小さいが、左右の領域での排ガスのＣＯ濃度の濃度差が大きい場合を示している。
【０１４８】
ボイラプラントではボイラ１０１を構成する火炉の前後または左右で火炉に供給する燃料流量や空気流量が均等になるように操作指令を与えた場合でも、プラントによっては図９（ａ）及び図９（ｂ）に示したようにボイラ出口位置でガス流路を１６分割した各分割区域における排ガスのＣＯ濃度に差を生じる可能性がある。
【０１４９】
これは、ボイラ１０１の火炉に空気や燃料を供給する配管の配置に起因する流量差やバーナの旋回、装置の製作誤差、バルブ、ダンパ等のアクチュエータの動作誤差等によるもので、これを事前に予測するのは困難な場合が多い。
【０１５０】
本実施例のボイラプラントの制御装置では、事前に数値解析結果に基づいて操作方法を学習するため、これらが原因の濃度差は事前の数値解析では予測できない。そこで、制御装置２００を構成する補正手段２５０に設けられたモデル誤差評価手段２６０によって図９（ａ）及び図９（ｂ）に示した前後または左右の領域のＣＯ濃度の平均値の計測データと、同じ操作条件における数値解析結果との誤差を計算する。
【０１５１】
両者の結果は図９（ｃ）にガス濃度分布として示す画面例のように、計測データと数値解析結果とを対比して表示する。
【０１５２】
図９（ｃ）の領域３１１及び領域３１３には図９（ａ）及び図９（ｂ）に示したＣＯ濃度の平均値とＮＯｘ濃度の計測データが夫々表示され、領域３１２及び領域３１４にはこれらと同じ操作条件における数値解析結果が夫々表示される。
【０１５３】
図９（ｃ）に表示する計測データは図９（ｃ）の下部にある実機データ選択ボタン３１５を押して表示される図１０（ａ）のガス濃度分布トレンド表示の画面から指定することができる。
【０１５４】
図１０（ａ）は本実施例によるボイラプラントの排ガスのガス濃度分布トレンド表示の画面であり、図１０（ａ）の画面の上部には時刻の経緯に沿って変化するＣＯ濃度のトレンドグラフ３３０と、ＮＯｘ濃度のトレンドグラフ３３１が夫々表示されている。
【０１５５】
これらのＣＯ濃度のトレンドグラフ３３０及びＮＯｘ濃度のトレンドグラフ３３１では、マウスで時刻指定線３３２を左右に移動させて選択する時刻を指定でき、選択した日付と時刻は領域３１０に表示されるようになっている。
【０１５６】
この図１０（ａ）の画面の下部には、マウスで指定した時刻におけるＣＯ濃度とＮＯｘ濃度との濃度分布が表示されるようになっている。
【０１５７】
また、図９（ｃ）のガス濃度分布を示す画面で、下部の数値解析実行ボタン３１６を押すと、図１０（ａ）で選択した時刻の操作条件を図１の制御装置２００に備えられた数値解析演算手段４００に送信して、この数値解析演算手段４００に計算実行命令を出す。
【０１５８】
数値解析演算手段４００での数値解析の計算が終了するとその数値解析結果を読込み、図９（ｃ）の領域３１２及び領域３１４にＣＯ及びＮＯｘ濃度の計算値を夫々表示する。
【０１５９】
また、図９（ｃ）の画面の下部のモデル修正ボタン３１７を押すと、数値解析演算手段４００による数値解析結果と測定データとに基づいて、ボイラ出口位置で１６分割されたガス流路における左右または前後の領域での排ガスのＣＯ及びＮＯｘ濃度に関する数値解析結果と測定データとの偏差を計算し、その偏差量に比例して数値解析の操作量条件に前後または左右の燃料流量差を設けて再計算する。
【０１６０】
前記の排ガスのＣＯ及びＮＯｘ濃度の左右または前後の偏差は、ボイラ１０１の火炉の前後に複数設けたバーナ１０２から火炉内に供給する燃料流量に何らかの原因で発生した燃料流量差に起因して生じる偏差である。
【０１６１】
本実施例では、燃料流量差に偏差を設けるが、変更する操作条件としてはボイラ１０１の火炉に設けたバーナ１０２に供給する空気流量やバーナ１０２に供給する空気の旋回強度などで調整してもよい。
【０１６２】
前記したように前後または左右の濃度偏差が数値解析で再現できるようになるので、この結果を用いて再度、制御装置２００の補正手段２５０を構成する強化学習手段２９０に設けられたモデル化手段２９１によって特性モデルを再構築し、このモデル化手段２９１によって再構築したモデルを使って操作方法を再学習することができる。
【０１６３】
このようにすることによって、より実機特性に合致した学習が可能になり、制御装置２００によるボイラプラントの制御性能が向上する。
【０１６４】
図１０（ｂ）は本実施例によるボイラプラントの燃焼制御の状況を示すものであり、
図１０（ｂ）に示した画面例のように、図１０（ａ）でマウスで選択した時刻の操作量を表示する。
【０１６５】
ボイラ１０１の火炉に設置された前壁及び後壁のバーナ１０２及びエアポート１０３の燃料流量、空気流量を画面の左右に棒グラフとデジタル数値で表示している。オペレータはこれらの表示データを参考にして、探索のための操作量の変更候補２７１を設定できる。
【０１６６】
探索のための操作量の変更候補２７１の設定はデジタル値表示の上部にそれぞれ数値を入力して操作量変更設定ボタン３３２を押すことで、入力した数値が変更候補２７１に設定される。
【０１６７】
図５の警告表示のステップ５０３では運転実績データが設定値よりも少ないことの警告をオペレータに表示し、継続の可否をオペレータに入力してもらう。
【０１６８】
判定のステップ５０４ではオペレータの入力を判定する。「自動継続」の場合はモデル誤差計算のステップ５０５へ進み、「手動継続」の場合は操作パラメータ変更値を入力のステップ５０９へ進み、「中止」の場合はそれ以降の処理を中止して終了する。
【０１６９】
図５の操作パラメータ変更値を入力のステップ５０９では図１０（ｂ）に示した燃焼制御の画面を表示し、オペレータが操作量の変更値を入力して操作パラメータ変更指令のステップ５０８へ進む。
【０１７０】
図１の制御装置２００を構成する補正手段２５０に設けられた操作指令決定手段２８０では、基本操作指令値２３５と、強化学習手段２９０から出力される操作量２９５と、探索点決定手段２７０から出力された操作変更候補２７１の３種類の操作量信号を受信する。
【０１７１】
操作指令決定手段２８０においては通常は強化学習結果である操作量２９５を選択して走査指令を決定し操作指令値２８５として出力するが、強化学習機能に不具合が生じた場合や、何らかの理由で制御結果が望ましい結果でないとオペレータが判断した場合は、基本操作指令値２３５を選択して操作指令値２８５として出力する。
【０１７２】
また、運転状態判定手段２６５による状態判定結果２６６が定常状態であって、自動探索が許可されている場合は、探索点決定手段２７０から出力される操作変更候補２７１をこの操作指令決定手段２８０によって選択して操作指令値２８５として出力する。
【０１７３】
本発明の実施例によれば、モデルと実際の制御対象との挙動との間に誤差がある場合でも、局所最適解に陥るリスクを極力排除し、制御対象を安全・安定に運転制御しながら最適解を探索できるボイラプラントの制御装置を実現することができる。
【産業上の利用可能性】
【０１７４】
本発明はボイラプラントの制御装置に適用可能である。
【図面の簡単な説明】
【０１７５】
【図１】本発明の一実施例であるボイラプラントの制御装置を示す構成図。
【図２】図１の本発明の実施例のボイラプラントを備えた火力発電プラントの構成を示す概略図。
【図３】図１の本発明の実施例の制御装置における強化学習の概念を説明する概略図。
【図４】図１の本発明の実施例の制御装置における補正手段に備えられた強化学習手段の詳細を示す構成図。
【図５】図１の本発明の実施例の制御装置における操作条件探索の手順を示すフローチャート。
【図６】ＣＯ、ＮＯｘのガス濃度の計測データとモデル特性との関係を示す説明図。
【図７】操作条件探索における操作パラメータ設定及び許可条件設定の画面を示す画面例。
【図８】ボイラプラントにおけるＣＯ、ＮＯｘのガス濃度を測定するガス濃度測定位置を説明する概略図。
【図９】ボイラプラントのガス濃度分布の例と計測データの例を示す表示画面例。
【図１０】ボイラプラントのガス濃度分布トレンド表示の例とボイラプラントの燃焼制御の状況の例を示す説明図。
【符号の説明】
【０１７６】
１００：制御対象のプラント、１０１：ボイラ、１０２：バーナー、１０３：アフタエアポート、１０４：エアーヒーター、２００：制御装置、２２０：入出力インターフェース、２２１：入出力手段、２３０：基本制御指令演算手段、２４０：運転実績データベース、２５０：補正手段、２６０：モデル誤差評価手段、２６３：運転データモデル化手段、２６５：運転状態判定手段、２７０：探索点決定手段、２８０：操作指令決定手段、２９０：強化学習手段、２９１：モデル化手段、２９２：学習手段、２９６：数値解析データベース、４００：数値解析演算手段。
【図１】
2008146371.tif 000006
【図２】
2008146371.tif 000007
【図３】
2008146371.tif 000008
【図４】
2008146371.tif 000009
【図５】
2008146371.tif 000010
【図６】
2008146371.tif 000011
【図７】
2008146371.tif 000012
【図８】
2008146371.tif 000013
【図９】
2008146371.tif 000014
【図１０】
2008146371.tif 000015