(57)【要約】【課題】低解像度のカメラや簡易な解析ソフトウェアでも容易に運転員による肢体表現がディスプレイ上の警報表示を確認したことを画像認識ができる。【解決手段】プラントを操作する運転員を撮影する監視カメラ103、及び監視カメラ103が撮影した運転員104による肢体表現がディスプレイ102上の警報表示121を確認したことを意味する予め設定された所定の肢体表現であるかどうかを判別する画像判定部113を備え、運転員104による肢体表現がディスプレイ102上の警報表示を確認したことを意味する予め設定された所定の肢体表現である場合にはその旨の表示122がディスプレイ102に表示される。【選択図】図１
2013190894.tif 000002
【特許請求の範囲】
【請求項１】
プラントのプロセス量から被監視量が計算機で演算されこの演算された被監視量が警報表示すべき値かどうか判定する警報判定部、この警報判定部の出力を入力し前記警報判定部によって被監視量が警報表示すべき値であると判定されると警報表示するディスプレイを備えたプラント監視制御システムであって、
プラントを操作する運転員を撮影する監視カメラ、及び前記監視カメラが撮影した前記運転員による肢体表現が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の肢体表現であるかどうかを判別する画像判定部を備え、前記運転員による肢体表現が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の肢体表現である場合にはその旨の表示が前記ディスプレイに表示される
ことを特徴とするプラント監視制御システム。
【請求項２】
請求項１に記載のプラント監視制御システムにおいて、
前記肢体表現が前記運転員の腕の動作のジェスチャである
ことを特徴とするプラント監視制御システム。
【請求項３】
請求項１に記載のプラント監視制御システムにおいて、
前記肢体表現が前記運転員の指差動作である
ことを特徴とするプラント監視制御システム。
【請求項４】
請求項３に記載のプラント監視制御システムにおいて、
前記指差動作が二点間の範囲を指し示す指差動作であり、前記画像判定部が前記二点間の範囲を指し示す指差動作を認識できる遷移動画を判別できる遷移動画像判定部である
ことを特徴とするプラント監視制御システム。
【請求項５】
請求項１〜請求項４の何れか一に記載のプラント監視制御システムにおいて、
前記運転員による発声が前記ディスプレイ上の警報表示を確認した意味する予め設定された所定の音声であるかどうかを判別する音声判定部を備え、
前記運転員による発声が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の音声である場合にはその旨の表示が前記ディスプレイに表示される
ことを特徴とするプラント監視制御システム。
【請求項６】
請求項１〜請求項５の何れか一に記載のプラント監視制御システムにおいて、
前記運転員に対して前記ディスプレイ上の警報表示を確認ように促す要求が、音声及び前記ディスプレイへの表示の少なくとも一方で行われる
ことを特徴とするプラント監視制御システム。
【請求項７】
請求項１〜請求項６の何れか一に記載のプラント監視制御システムにおいて、
前記ディスプレイが複数台設けられ、これら複数台のディスプレイが異なる場所に設けられている
ことを特徴とするプラント監視制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、プラントのプロセス量から被監視量が計算機で演算されこの演算された被監視量が警報表示すべき値かどうか判定する警報判定部の出力を入力し前記警報判定部によって被監視量が警報表示すべき値であると判定されると警報表示するディスプレイを備えたプラント監視制御システムに関するものである。
【背景技術】
【０００２】
従来の、監視カメラを備え、運転員の動作を監視するプラント監視制御システムにおいては、運転員の眼球・視線の情報を画像解析し、監視用のディスプレイを見ているか否かの判断に使用している。
例えば、特許文献１では、監視カメラで運転員の立っている位置、顔の向き、おおよび表情を画像処理装置で分析し利用する、としている。特許文献２及び特許文献３では、運転員の視線及び視線方向を検出し、対象を見ているか否かの判断を行う、としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２―２７７１９６号公報（第１図及びその説明）
【特許文献２】特開平１０―３３３７３７号公報（図１及びその説明）
【特許文献３】特開２０００―２２２０２７号公報（図１、図２及びその説明）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の、監視カメラを備え運転員の動作を監視するプラント監視制御システムの構成では、監視カメラで運転員の視線を捕捉しなければならず、人間の目の大きさを考慮した場合、高精細な解像度を持つ監視カメラが必要である。また、一瞬の目の瞬きや視線を外すことによって、視線方向が明確化されない問題にも対処するため、高度な画像処理を行う必要があった。さらに、帽子・眼帯・眼鏡類を使用していると、視線の検出がなされなかったり、誤操作するという問題点があった。
【０００５】
この発明は上記のような課題を解決するためになされたものであり、監視カメラを備え運転員の動作を監視するプラント監視制御システムにおいて、認識対象を視線でないジェスチャや指差動作等の肢体動作とすることで、低解像度のカメラや簡易な解析ソフトウェアでも容易に運転員による肢体表現がディスプレイ上の警報表示を確認したことを画像認識ができる装置を得ることを目的とする。また、プラント監視制御システムにおける警告対処への誤操作（警報内容を確認せずに消去してしまう等）を抑止し、より信頼性を高めた監視が可能となるプラント監視制御システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るプラント監視制御システムは、プラントのプロセス量から被監視量が計算機で演算されこの演算された被監視量が警報表示すべき値かどうか判定する警報判定部、この警報判定部の出力を入力し前記警報判定部によって被監視量が警報表示すべき値であると判定されると警報表示するディスプレイを備えたプラント監視制御システムであって、  プラントを操作する運転員を撮影する監視カメラ、及び前記監視カメラが撮影した前記運転員による肢体表現が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の肢体表現であるかどうかを判別する画像判定部を備え、前記運転員による肢体表現が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の肢体表現である場合にはその旨の表示が前記ディスプレイに表示されるものである。
【発明の効果】
【０００７】
この発明は、プラントのプロセス量から被監視量が計算機で演算されこの演算された被監視量が警報表示すべき値かどうか判定する警報判定部、この警報判定部の出力を入力し前記警報判定部によって被監視量が警報表示すべき値であると判定されると警報表示するディスプレイを備えたプラント監視制御システムであって、
プラントを操作する運転員を撮影する監視カメラ、及び前記監視カメラが撮影した前記運転員による肢体表現が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の肢体表現であるかどうかを判別する画像判定部を備え、前記運転員による肢体表現が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の肢体表現である場合にはその旨の表示が前記ディスプレイに表示されるので、低解像度のカメラや簡易な解析ソフトウェアでも容易に、運転員による肢体表現がディスプレイ上の警報表示を確認したことを画像認識ができる効果がある。また、プラント監視制御システムにおける警告対処への誤操作（警報内容を確認せずに消去してしまう等）を抑止することで、より信頼性を高めたプラント監視制御システムが得られるという付随的効果が得られる可能性もある。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１を示す図で、プラント監視制御システムの構成の一例を示す図である。
【図２】この発明の実施の形態１を示す図で、図１のプラント監視制御システムの動作をフローチャートで示す動作説明図ある。
【図３】この発明の実施の形態２を示す図で、プラント監視制御システムの構成の他の例を示す図である。
【図４】この発明の実施の形態２を示す図で、図３のプラント監視制御システムの動作をフローチャートで示す動作説明図ある。
【図５】この発明の実施の形態３を示す図で、プラント監視制御システムの構成の更に他の例を示す図である。
【図６】この発明の実施の形態３を示す図で、図５のプラント監視制御システムの動作をフローチャートで示す動作説明図ある。
【図７】この発明の実施の形態４を示す図で、プラント監視制御システムの構成の更に他の例を示す図である。
【図８】この発明の実施の形態４を示す図で、図７のプラント監視制御システムの動作をフローチャートで示す動作説明図ある。
【図９】この発明の実施の形態５を示す図で、プラント監視制御システムの構成の更に他の例を示す図である。
【図１０】この発明の実施の形態５を示す図で、図９のプラント監視制御システムの動作をフローチャートで示す動作説明図ある。
【発明を実施するための形態】
【０００９】
実施の形態１．
以下、この発明の実施の形態１を図１に基づいて説明する。
図１において、プラント監視制御システム100は、プラント計算機101、このプラント計算機101に接続された監視用のディスプレイ102、およびプラント計算機101に接続された監視カメラ103から構成されており、プラント計算機101と監視用のディスプレイ102との間は、画像入出力機能を持つケーブル105で接続されている。さらに、プラント計算機101と監視カメラ103の間は、LANケーブル106でネットワーク接続されている。なお、監視用のディスプレイ102は、プラントの中央監視センタ、プラント制御所、プラント内の設備の監視エリア、などに設置され、１プラントに複数台存在する。
【００１０】
またこのプラントにはプラント監視を行う運転員104が配置されている。運転員104は、監視用のディスプレイ102の前方などの監視カメラ103の撮影可能範囲内で、肢体など身体を使ってプラントの状態及びプラント状態に応じた運転員の対応に応じた所定のジェスチャ131で身体動作をして監視用のディスプレイ102によるプラントの異常状態の確認、異常状態解消操作の完了、監視用のディスプレイ102による異常状態解消の確認、などの表現（以下「運転員肢体表現」と記す）をするように義務付けられ、その運転員肢体表現の動作は監視カメラ103で撮影される。
【００１１】
ここでジェスチャ131は複数種類のジェスチャの設定可能である。例えば、運転員104による監視用のディスプレイ102による「プラントの異常状態の確認」は運転員104が監視用のディスプレイ102に向かって「右手の挙手」を行う運転員104の腕の動作のジェスチャ、運転員104による「異常状態解消操作の完了」は監視用のディスプレイ102に向かって「右手で監視用のディスプレイ102を指差す」動作のジェスチャ、運転員104による監視用のディスプレイ102による「異常状態解消の確認」は監視用のディスプレイ102に向かって「礼」の動作のジェスチャ、等の単純な大きな動作のジェスチャを設定し、運転員104はこれらの設定に応じたジェスチャで運転員肢体表現の動作をするように義務付けられる。
【００１２】
プラント計算機101は、プラント計算機101の内部のソフトウェアに、プラントのプロセス量（ボイラ温度、使用燃料量、蒸気圧、水位、流量、弁開度、電圧、電流、電力デマンド量、など）の数値を取得してプラント監視に必要な被監視量（ボイラ温度変動量、使用燃料変動量、蒸気圧変動量、水位変動量、流量変動量、弁開度変動量、電圧変動量、電流変動量、電力デマンド変動量、など）を演算する演算部111、演算した結果である被監視量が、警報を出力すべき値かどうかを判定する警報判定部112、監視カメラ103で撮影した運転員104の画像を解析し予め設定された所定のジェスチャのどれに該当するか判定し該当ジェスチャに対応する態様（「プラントの異常状態の確認」、「異常状態解消操作の完了」「異常状態解消の確認」）の態様情報を出力する画像判定部113を持っている。監視用のディスプレイ102は、プラント計算機101の指示により、被監視量が警報を出力すべき値の場合の警報を表示する警報表示121、画像判定部113の態様情報の出力に基づいて確認表示122等を出力表示することが出来る。
【００１３】
なお、これらは本発明実施の形態の一例であって、機器の構成台数や配置が制限されるべきものではない。
【００１４】
次に動作について図２に示すフローチャートを参照しながら説明する。
プラント監視制御システム100において、プラント計算機101の電源を投入するとメモリ等の初期化を行い、プラント計算機のシステムが起動する(ステップ200)。
システムの起動後、プラント計算機101は、例えば温度・流量・圧力などプラントの変化するプロセス量の数値データを受信することが出来、演算部111で、ソフトウェアによる数値データの記録およびプラント監視に必要な被監視量等の演算を行っている(ステップ201)。
演算部111で演算したデータは、警報判定部112に送られ、警報を発生させるかどうかの判断が行われる(ステップ202)。閾値を超過するなどして警報が発生した場合、画像入出力機能を持つケーブル105を介して、警報表示画面が監視用のディスプレイ102上に表示される(ステップ203)。
警報表示を目視で確認した運転員104は、ジェスチャ131のジェスチャＡ(例えば手を上げる動作であり、ジェスチャＡが警報に対する確認動作とする)を行う(ステップ204)。
【００１５】
監視カメラ103は、運転員104の動作を常時撮影しており、運転員104による所定のジェスチャ131を撮影する(ステップ205)。
撮影した画像は、LANケーブル106を介して、プラント計算機101に送られ、さらに画像判定部113に送られる。画像判定部113では、画像解析を行い運転員104により所定のジェスチャ131が実行されたかどうか、何れのジェスチャが行われたかを判定する(ステップ206)。
画像判定部113による判定結果がジェスチャＡであれば、警報を確認したと判断し、その旨の確認表示が監視用のディスプレイ102上に表示され、警報確認動作が終了する(207)。判定結果がジェスチャＡであると判定できなければ、203の警報表示を継続する。
【００１６】
これらの動作によって、運転員の表現するジェスチャを認識し、警報を出力し続けるか、または警報が確認されたとして警報を停止するかどうかの判断を自動的に行うことが可能となる。運転員104が手を上げる等の運転員104の単純な大きな動作で「運転員肢体表現」をするジェスチャを認識対象とするようにシステムを構成したので、低解像度のカメラや簡易な解析ソフトウェアでも容易に画像認識ができる。また、プラント監視制御システムにおける警告対処への誤操作が発生するという問題に対して、対処することができる。
【００１７】
実施の形態２．
以下、この発明の実施の形態２を図３に基づいて説明する。
図３において、プラント監視制御システム300は、プラント監視制御システム300は、プラント計算機101、プラント計算機101に接続する監視用のディスプレイ102およびプラント計算機101に接続する監視カメラ103から構成されており、プラント計算機101と監視用のディスプレイ102の間は、画像入出力機能を持つケーブル105で接続されている。
さらに、プラント計算機101と監視カメラ103の間は、LANケーブル106でネットワーク接続されている。
またこのプラントにはプラント監視を行う運転員104が配置されている。
プラント計算機101は、プラント計算機101の内部のソフトウェアに、プラントの各種プロセス量の数値を取得して被監視量を演算する演算部111、演算部111で演算した被監視量が警報を出力すべき値かどうかを判定する警報判定部112、監視カメラ103で撮影された運転員104の画像を解析する画像判定部113を持っている。ディスプレイ102は、プラント計算機101の指示により、警報表示121、確認表示122を出力表示することが出来る。
以上の構成は図１と同様である。
【００１８】
実施の形態２では、運転員104は身体を使って指差動作301を表現することが出来、その動作は監視カメラ103で撮影可能な構成である。ここで、指差動作301とは体から指先に向かって方向を示す動作であり、その方向は複数設定可能である。
【００１９】
このような構成の実施の形態２の動作について図４に示すフローチャートを参照しながら説明する。
プラント監視制御システム300において、プラント計算機101の電源を投入するとメモリ等の初期化を行い、プラント計算機のシステムが起動する(ステップ400)。
システムの起動後、プラント計算機101は、例えば温度・流量・圧力などプラントの変化するプロセス量の数値データを受信することが出来、演算部111で、ソフトウェアによる数値データの記録およびプラント監視に必要な被監視量等の演算を行っている(ステップ401)。
演算部111で演算したデータは、警報判定部112に送られ、警報を発生させるかどうかの判断が行われる(ステップ402)。閾値を超過するなどして警報が発生した場合、画像入出力機能を持つケーブル105を介して、警報表示画面121が監視用のディスプレイ102上に表示される(ステップ403)。
警報表示を目視で警報を確認した運転員104は、監視用のディスプレイ102の方向に向かって指差動作301を行うという所定の指差動作を行う(ステップ404)。監視カメラ103は、運転員の動作を常時撮影しており、前記指差動作301を撮影する(ステップ405)。
撮影した画像は、LANケーブル106を介して、プラント計算機101に送られ、さらに画像判定部113に送られる。
画像判定部113では、画像解析を行い運転員104の指差動作301が所定の指差動作であるかどうか（監視用のディスプレイ102の方向に向かって実行されたかどうか）を判定する(ステップ406)。
判定結果、指先方向が正しければ、警報を確認したと判断し、その旨の確認表示122が監視用のディスプレイ102上に表示され、警報確認動作が終了する(407)。
画像判定部113による判定結果が監視用のディスプレイ102に向かって指差動作を実施したと判定できなければ、ステップ403の警報表示121を継続する。
【００２０】
これらの動作によって、運転員の表現する指差動作を認識し、警報を出力し続けるか、または警報が確認されたとして警報を停止するかどうかの判断を自動的に行うことが可能となる。
【００２１】
本実施の形態２によれば、ジェスチャの一つとして指差動作を認識対象とするようにシステムを構成したので、低解像度のカメラで画像認識ができ、かつ視線を解析するのと同様に、方向性を明確化した形で警報確認を行うことができる。
【００２２】
実施の形態３．
以下、この発明の実施の形態３を図５に基づいて説明する。
図５において、プラント監視制御システム500は、プラント計算機101、プラント計算機101に接続する監視用のディスプレイ102およびプラント計算機101に接続する監視カメラ103から構成されており、プラント計算機101と監視用のディスプレイ102の間は、画像入出力機能を持つケーブル105で接続されている。
さらに、プラント計算機101と監視カメラ103の間は、LANケーブル106でネットワーク接続されている。またこのプラントにはプラント監視を行う運転員104が配置されている。
監視用のディスプレイ102は、プラント計算機101の指示により、警報表示121、確認表示122を出力表示することが出来る。以上の構成は図１と同様である。
【００２３】
本実施の形態３では、運転員104は身体を使って指差動作501を表現することが出来、その動作は監視カメラ103で撮影可能な構成である。ここで、指差動作501は、二点間を指し示す動作であり、すなわち体から指先に向かっての方向Ａを示した後、方向Ａから方向Ｂに指先を移動させる動作である。また、プラント計算機101は、プラント計算機101の内部のソフトウェアに、プラントの数値を取得して演算する演算部111、演算した結果が警報を出力すべき値かどうかを判定する警報判定部112、遷移する動画像を解析する画像判定部502を持っている。
【００２４】
このような構成の実施の形態３の動作について図６に示すフローチャートを参照しながら説明する。
プラント監視制御システム500において、プラント計算機101の電源を投入するとメモリ等の初期化を行い、プラント計算機のシステムが起動する(ステップ600)。
システムの起動後、プラント計算機101は、例えば温度・流量・圧力などプラントの変化するプロセス量の数値データを受信することが出来、演算部111で、ソフトウェアによる数値データの記録および必要な演算を行っている(ステップ601)。
演算部111で演算したデータは、警報判定部112に送られ、警報を発生させるかどうかの判断が行われる(ステップ602)。閾値を超過するなどして警報が発生した場合、画像入出力機能を持つケーブル105を介して、警報表示画面が監視用のディスプレイ102上に表示される(ステップ603)。
警報表示を目視で確認した運転員104は、監視用のディスプレイ102の方向に向かって、二点間を指し示す動作である指差動作501を行う(ステップ604)。
【００２５】
ここで、二点間を指し示す動作である指差動作501とは、監視用のディスプレイ102に表示されている警報表示文字列の先頭文字の方向を501の方向Ａ、最終文字の方向を501の方向Ｂとし、方向Ａから方向Ｂに向かって監視用のディスプレイの文字列を指先で辿りながら、運転員が文字列を確認する動作である。
監視カメラ103は、運転員の動作を常時撮影しており、指差動作501を撮影する(ステップ605)。監視カメラ103で撮影した画像は、LANケーブル106を介して、プラント計算機101に送られ、さらに遷移動画像判定部502に送られる。
遷移動画像判定部502では、時系列で変化する動画像の解析を行い、二点間を指し示す動作である指差動作501が、監視用のディスプレイ102に表示されている警報表示文字列の先頭文字から最終文字の方向に向かって実行されたかどうかを判定する(ステップ606)。
判定結果、指先方向が正しければ、運転員104が警報を確認したと判断し、その旨の確認表示が監視用のディスプレイ102上に表示され、警報確認動作が終了する(ステップ607)。
判定結果が監視用のディスプレイ102に向かって指差動作を実施したと判定できなければ、ステップ603の警報表示を継続する。
【００２６】
これらの動作によって、運転員の表現する二点間を指し示す指差動作を認識し、警報を出力し続けるか、または警報が確認されたとして停止するかどうかの判断を自動的に行うことが可能となる。
本実施の形態３によれば、指差動作に二点間を指し示す動作を追加し、これを認識対象とするようにシステムを構成したので、低解像度のカメラで画像認識ができることに加えて、警報表示画面上の表示文字列をすべて確認することの保証を取りつつ警報確認を行うことができるため、警報確認時の誤操作率をさらに低減させて信頼性を高めたシステムを得ることができる。
【００２７】
実施の形態４．
以下、この発明の実施の形態４を図７に基づいて説明する。
図７において、プラント監視制御システム700は、プラント計算機101、プラント計算機101に接続する監視用のディスプレイ102およびプラント計算機101に接続する監視カメラ103から構成されており、プラント計算機101と監視用のディスプレイ102の間は、画像入出力機能を持つケーブル105で接続されている。
さらに、プラント計算機101と監視カメラ103の間は、LANケーブル106でネットワーク接続されている。またこのプラントにはプラント監視を行う運転員104が配置されている。
プラント計算機101は、プラント計算機101の内部のソフトウェアに、プラントのプロセス量の数値を取得して被監視量を演算する演算部111、演算部111で演算した被監視量が警報を出力すべき値かどうかを判定する警報判定部112、監視カメラ103で撮影された運転員104画像を解析する画像判定部113を持っている。
監視用のディスプレイ102は、プラント計算機101の指示により、警報表示121、確認表示122を出力表示することが出来る。運転員104は身体を使って指差動作301を表現することが出来、その動作は監視カメラ103で撮影可能な構成である。
以上の構成は図３と同様である。
【００２８】
本実施の形態４では、運転員104は身体を使って指差動作301を表現する際に、「警報確認よし」というような特定の言葉での発声動作701を行うことが出来、その音声も監視カメラ103で録音することが出来る。また、プラント計算機101は、プラント計算機101の内部のソフトウェアに、音声を認識して解析する音声判定部702を持っている。
【００２９】
このような構成の実施の形態４の動作について図８に示すフローチャートを参照しながら説明する。
プラント監視制御システム700において、プラント計算機101の電源を投入するとメモリ等の初期化を行い、プラント計算機のシステムが起動する(ステップ800)。
システムの起動後、プラント計算機101は、例えば温度・流量・圧力などプラントの変化するプロセス量の数値データを受信することが出来、演算部111で、ソフトウェアによる数値データの記録および必要な演算を行っている(ステップ801)。
演算部111で演算したデータは、警報判定部112に送られ、警報を発生させるかどうかの判断が行われる(ステップ802)。閾値を超過するなどして警報が発生した場合、画像入出力機能を持つケーブル105を介して、警報表示画面が監視用のディスプレイ102上に表示される(ステップ803)。
警報表示を目視で確認した運転員104は、監視用のディスプレイ102の方向に向かって指差動作301と「警報確認よし」といった発声動作701を同時に行う(ステップ804)。
監視カメラ103は、運転員の動作を常時撮影しており、指差動作301を撮影し、701で発声した音声もマイクで集音する(ステップ805)。集音した音声データは、LANケーブル106を介して、プラント計算機101に送られ、さらに音声判定部702に送られる。
また、撮影した画像は、LANケーブル106を介して、プラント計算機101に送られ、さらに画像判定部113に送られる。音声判定部702では、音声の解析を行い、特定の言葉での発声があったかどうかを判定する(ステップ806)。
音声判定部702による判定結果、発声無しと判断されると803の警報表示を継続する。
音声判定部702による判定結果、発声有りと判断されると、画像判定部113で、画像解析を行い指差動作301が監視用のディスプレイ102の方向に向かって実行されたかどうかを判定する(ステップ807)。
画像判定部113による判定結果、指先方向が正しければ、運転員104が警報を確認したと判断し、その旨の確認表示が監視用のディスプレイ102上に表示され、警報確認動作が終了する(ステップ808)。
画像判定部113による判定結果が監視用のディスプレイ102に向かって指差動作を実施したと判定できなければ、ステップ803の警報表示を継続する。
【００３０】
これらの動作によって、運転員の表現する発声動作を確認した上で指差動作を認識し、警報を出力し続けるか、または警報が確認されたとして停止するかどうかの判断を自動的に行うことが可能となる。
本実施の形態４によれば、指差動作および発声動作を認識対象とするようにシステムを構成したので、特定の発声時のみ画像判定を行えば良い仕組みとなっている。このため、判断の必要のない指差動作やジェスチャを画像判定の対象外とすることが可能であり、判定間違いを抑止し、効率的な認識を行うことができる。さらに、視線検出時に比べて低解像度のカメラでの画像認識ができる。
【００３１】
実施の形態５．
以下、この発明の実施の形態５を図９に基づいて説明する。
図９において、プラント監視制御システム900は、プラント計算機101、プラント計算機101に接続する監視用のディスプレイ102およびプラント計算機101に接続する監視カメラ103から構成されており、プラント計算機101と監視用のディスプレイ102の間は、画像入出力機能を持つケーブル105で接続されている。
さらに、プラント計算機101と監視カメラ103の間は、LANケーブル106でネットワーク接続されている。
またこのプラントにはプラント監視を行う運転員104が配置されている。
プラント計算機101は、プラント計算機101の内部のソフトウェアに、プラントの各種プロセス量の数値を取得して演算する演算部111、演算した結果が警報を出力すべき値かどうかを判定する警報判定部112、監視カメラ103で撮影された運転員104の画像を解析する画像判定部113を持っている。監視用のディスプレイ102は、プラント計算機101の指示により、警報表示121、確認表示122を出力表示することが出来る。運転員104は身体を使って指差動作301を表現することが出来、その動作は監視カメラ103で撮影可能な構成である。
以上の構成は図３と同様である。
【００３２】
本実施の形態５では、プラント計算機101には、音声入出力機能を持つケーブル901で接続されたスピーカ902がつながっており、音声を出力することが可能である。また監視用のディスプレイ102は、プラント計算機101の指示により、「警報を確認する指差動作を開始してください」という旨の開始表示903を表示することが出来る。
【００３３】
このような構成の実施の形態５の動作について図１０に示すフローチャートを参照しながら説明する。
プラント監視制御システム900において、プラント計算機101の電源を投入するとメモリ等の初期化を行い、プラント計算機のシステムが起動する(ステップ1000)。
システムの起動後、プラント計算機101は、例えば温度・流量・圧力などプラントの変化するプロセス量の数値データを受信することが出来、演算部111で、ソフトウェアによる数値データの記録および必要な演算を行っている(ステップ1001)。
演算部111で演算したデータは、警報判定部112に送られ、警報を発生させるかどうかの判断が行われる(ステップ1002)。閾値を超過するなどして警報が発生した場合、画像入出力機能を持つケーブル105を介して、警報表示画面が監視用のディスプレイ102上に表示される(ステップ1003)。
続いて運転員に対し、音声入出力機能を持つケーブル901を介してスピーカ902から「警報を確認する指差動作を開始してください」という旨のメッセージが流れる。または、監視用のディスプレイ上に「警報を確認する指差動作を開始してください」という旨の開始表示903が表示される(ステップ1004)。
警報表示を目視で確認した運転員104は、監視用のディスプレイ102の方向に向かって指差動作301を行う(ステップ1005)。
監視カメラ103は、運転員104の動作を常時撮影しており、運転員104の指差動作301を撮影する(ステップ1006)。
監視カメラ103で撮影した画像は、LANケーブル106を介して、プラント計算機101に送られ、さらに画像判定部113に送られる。画像判定部113では、画像解析を行い指差動作301が監視用のディスプレイ102の方向に向かって実行されたかどうかを判定する(ステップ1007)。
画像判定部113による判定結果、指先方向が正しければ、警報を確認したと判断し、その旨の確認表示が監視用のディスプレイ102上に表示され、警報確認動作が終了する(ステップ1008)。
画像判定部113による判定結果が監視用のディスプレイ102に向かって指差動作を実施したと判定できなければ、ステップ1003の警報表示を継続する。また、ステップ1004では監視タイマを起動し、指定時間以内に指差動作を実施しない場合は、タイマがタイムアウトし、再度ステップ1004のメッセージが流れる。
【００３４】
これらの動作によって、運転員が指差動作を実施するにあたって、その実施タイミングを容易に把握することが可能となる。
【００３５】
本実施の形態５によれば、音声または監視用のディスプレイ表示で、指差動作の開始を促したうえで、指差動作を認識対象とするようにシステムを構成している。このため、運転員の意識を指差動作に集中させることが可能であり、判定間違いを抑止し、効率的な認識を行うことができる。さらに、視線検出時に比べて低解像度のカメラでの画像認識ができる。
【００３６】
前述の実施の形態１〜５は、要するに、プラント状態を監視して警報を表示することが可能な計算機及びディスプレイと、プラントを操作する運転員を撮影する監視カメラと、運転員の表現するジェスチャを認識し動作判断を行うことが可能な計算機を備えたプラント監視制御システムであり、運転員の表現するジェスチャとして指差動作を認識し、動作判断を行うことが可能な計算機を備えたプラント監視制御システムであり、運転員の指差動作として二点間の範囲を指し示す指差動作を認識し、動作判断を行うことが可能な計算機を備えたプラント監視制御システムであり、運転員の指差動作に加えて、音声による呼称も認識し、動作判断を行うことが可能な計算機を備えたプラント監視制御システムであり、音声またはディスプレイ表示によって運転員に指差動作確認を要求することが可能な計算機を備えたプラント監視制御システムでもある。
【００３７】
また、前述の実施の形態１〜５は、プラントのプロセス量から被監視量が計算機で演算されこの演算された被監視量が警報表示すべき値かどうか判定する警報判定部、この警報判定部の出力を入力し前記警報判定部によって被監視量が警報表示すべき値であると判定されると警報表示するディスプレイを備えたプラント監視制御システムであって、プラントを操作する運転員を撮影する監視カメラ、及び前記監視カメラが撮影した前記運転員による肢体表現が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の肢体表現であるかどうかを判別する画像判定部を備え、前記運転員による肢体表現が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の肢体表現である場合にはその旨の表示が前記ディスプレイに表示されるプラント監視制御システムであり、前記肢体表現が前記運転員の腕の動作のジェスチャであるプラント監視制御システムであり、前記肢体表現が前記運転員の指差動作であるプラント監視制御システムであり、前記指差動作が二点間の範囲を指し示す指差動作であり、前記画像判定部が前記二点間の範囲を指し示す指差動作を認識できる遷移動画を判別できる遷移動画像判定部であるプラント監視制御システムであり、前記運転員による発声が前記ディスプレイ上の警報表示を確認した意味する予め設定された所定の音声であるかどうかを判別する音声判定部を備え前記運転員による発声が前記ディスプレイ上の警報表示を確認したことを意味する予め設定された所定の音声である場合にはその旨の表示が前記ディスプレイに表示されるプラント監視制御システムであり、前記運転員に対して前記ディスプレイ上の警報表示を確認ように促す要求が、音声及び前記ディスプレイへの表示の少なくとも一方で行われるプラント監視制御システムであり、前記ディスプレイが複数台設けられこれら複数台のディスプレイが異なる場所に設けられているプラント監視制御システムでもある。
【００３８】
なお、本発明は、その発明の範囲内において、各実施の形態を適宜、変形、省略することができる。
なお、各図中、同一符合は同一または相当部分を示す。
【符号の説明】
【００３９】
100，300，500，700，900    プラント監視制御システム、
101    プラント計算機、            102    監視用のディスプレイ、
103    監視カメラ、                104    運転員、
105    ケーブル、                  106    LANケーブル、
111    演算部、                    112    警報判定部、
113    画像判定部、                121    警報表示、
122    確認表示、                  131    ジェスチャ、
301    指差動作、                  501    指差動作、
502    遷移動画像判定部、          701    発声動作、
702    音声判定部、                901    ケーブル、
902    スピーカ、                  903    開始表示。
【図１】
2013190894.tif 000003
【図２】
2013190894.tif 000004
【図３】
2013190894.tif 000005
【図４】
2013190894.tif 000006
【図５】
2013190894.tif 000007
【図６】
2013190894.tif 000008
【図７】
2013190894.tif 000009
【図８】
2013190894.tif 000010
【図９】
2013190894.tif 000011
【図１０】
2013190894.tif 000012