(57)【要約】【課題】プラントを制御するプラント制御装置において、プラント制御装置を操作するための要求入力がプラント制御装置の位置に依存せずに行えるプラント制御装置を提供する。【解決手段】プラント制御装置は、入力される要求コードに基づきプラントを制御するプラント制御装置において、オペレータのジェスチャの画像データから上記プラント制御装置に対して該オペレータが要求する操作内容を認識し、該操作内容を上記プラント制御装置が処理できるように該当する要求コードに変換する画像認識装置が備えられている。【選択図】図１
2006228040.tif 000002
【特許請求の範囲】
【請求項１】
入力される要求コードに基づきプラントを制御するプラント制御装置において、
オペレータのジェスチャの画像データから上記プラント制御装置に対して該オペレータが要求する操作内容を認識し、該操作内容を上記プラント制御装置が処理できるように該当する要求コードに変換する画像認識装置が備えられていることを特徴とするプラント制御装置。
【請求項２】
上記画像認識装置は、オペレータの階級毎に要求することが許されている操作内容が記憶され、上記オペレータの階級により属性が異なる着衣の画像データから該着衣を身に付けているオペレータの階級を識別し、識別された該階級に基づいて該オペレータのジェスチャから要求された操作内容が該階級に許されているときに該操作内容を該当する要求コードに変換することを特徴とする請求項１に記載するプラント制御装置。
【請求項３】
オペレータによるジェスチャが行われる位置を認識するための画像入力装置が備えられ、
上記画像認識装置は、上記位置毎に有効とみなされる操作内容が記憶され、ジェスチャが行われた位置に基づいて該ジェスチャから認識された操作内容が有効であるとみなされたときに該操作内容を該当する要求コードに変換することを特徴とする請求項１または２に記載するプラント制御装置。
【請求項４】
上記ジェスチャが行われた位置に基づいて決められた表示内容が表示される異なる向きに向けられた複数のディスプレイが備えられていることを特徴とする請求項３に記載するプラント制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、プラントを操作する制御装置に関する。
【背景技術】
【０００２】
従来、プラント操作に係わるマンマシンインタフェースは、マンマシン装置と、マンマシン制御装置と、プラント制御装置と、許可手段で構成される。マンマシン装置は、ＣＲＴとタッチスクリーンと操作指令ＰＢによって構成され、操作員がプラント操作情報の内で操作指令以外をタッチスクリーンでタッチして入力し、操作指令ＰＢをプッシュすることにより操作指令を入力し、ＣＲＴはプラント情報を表示出力する（例えば、特許文献１参照）。
しかし、入力装置としてユーザーとのインターフェース用のボタンやタッチパネルが必要であった。このような入力装置では、ユーザーが入力装置の前まで移動して操作する必要があり、制御室のレイアウトもオペレータの移動を考慮しなければならず、自由なレイアウトができないという問題がある。
そこで、ジェスチャを認識するマンマシンインタフェースが提案されている。このマンマシンインタフェースは、撮影手段と、前記撮影手段によって撮影された画像の動きを検出する動き検出手段と、前記検出された画像から動きのある部分を抽出する動き部分抽出手段と、前記抽出された部分の画像の動き及び／又は形状を認識する画像認識手段と、対象の操作機器とのインターフェースとなる操作機器インターフェース手段とからなり、前記認識された動き及び／又は形状の変化によって制御対象の操作機器を制御する（例えば、特許文献２参照）。
【０００３】
【特許文献１】特開平６−２２３７９号公報
【特許文献２】特開２００１−５９７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、ジェスチャに基づいて制御対象の操作機器を制御することは誰でも行えるので、ジェスチャによる入力が可能な制御ルームへの出入りを厳重に管理しなければならないという問題がある。
さらに、制御内容に因っては制御内容を熟知している特定のオペレータだけに制御する権限が与えられているときでも、オペレータの区別が行われていないので、権限の無いオペレータにより制御されてしまうという問題があり、できるだけ多くのオペレータに権限を与えるために頻繁にトレーニングを行わなければならないという問題がある。
【０００５】
この発明の目的は、プラントを制御するプラント制御装置において、操作要求のための入力がプラント制御装置の位置に依存せずに行えるプラント制御装置を提供する。
【課題を解決するための手段】
【０００６】
この発明に係わるプラント制御装置は、入力される要求コードに基づきプラントを制御するプラント制御装置において、オペレータのジェスチャの画像データから上記プラント制御装置に対して該オペレータが要求する操作内容を認識し、該操作内容を上記プラント制御装置が処理できるように該当する要求コードに変換する画像認識装置が備えられている。
【発明の効果】
【０００７】
この発明に係わるプラント制御装置の効果は、オペレータの任意の位置からのジェスチャによる操作入力を受け付けることができるので、制御盤の前などに操作を行う場所が限定されず、移動の時間が掛からず、オペレータが短時間で操作入力を行うことができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、この発明の実施の形態１に係わるプラント制御装置のブロック図である。
プラント制御装置１は、オペレータ２の体の所定の部分を動画像として取り込む画像入力装置３、オペレータ２の動画像から身振り手振り（以下、ジェスチャと称す。）に係わるジェスチャ特徴ベクトルを生成し、そのジェスチャ特徴ベクトルと画像パターンデータとの照合処理を行いジェスチャが意味する要求コードを確定する画像認識装置４、要求コードに基づいて制御対象のプラント５に係わる制御を行うデータ処理装置６、操作内容およびプラントに係わるデータが表示される表示装置７から構成されている。
【０００９】
画像入力装置３は、オペレータ２の像を所定の周期で画像データとして取り込むカメラ９、カメラ９からの画像データを画像認識装置４に送信する画像送信部１０から構成されている。
このカメラ９は、図示しない制御室の天井から吊り下げられ、オペレータ２が所在し得る領域全体を撮影して全画像データとして取り込んでいる。そして、画像認識装置４から画像データ取込指令信号を受けると、その信号に基づき撮影領域を縮小して該当するオペレータ２の画像データを取り込む。また、画像認識装置４から画像取込終了指令信号を受けると、撮影領域を全体にまで戻す。
また、画像送信部１０は、カメラ９から取り込まれた画像データを画像認識装置４に送信する。
【００１０】
画像認識装置４は、画像入力装置３から送られてくる画像データを受信する画像受信部１２、ジェスチャに係わる画像データとして取り込む対象のオペレータ２を特定する対象特定部１３、画像パターンデータが格納されている標準画像部１５、複数の画像データからジェスチャ特徴ベクトルを生成し、標準画像部１５に格納されている画像パターンデータとジェスチャ特徴ベクトルとを照合処理してジェスチャが意味する要求項目を求める画像照合部１７、求められた要求項目をデータ処理装置６で処理できるように要求コードに変換する要求コード変換部１８、画像項目に対応する要求コードが記憶されている要求コード表１９、要求コードをデータ処理装置６に送信する要求コード送信部２０から構成されている。
対象特定部１３は、全画像データから所定の色を抽出し、当該色が存在したとき縮小して撮影する領域の中心の座標を付加した画像データ取込指令信号を発信する。
画像パターンデータは、例えば、ジェスチャの開始と終了、表示の切換、表示対象の切換、制御対象の切換、制御の開始または終了、表示対象および制御対象の指定などに関し、ベクトルの移動のデータとして格納されている。
【００１１】
画像照合部１７は、画像データ上の特徴点を用いて画像データからジェスチャ特徴ベクトルを求め、それを一旦画像データ毎に記憶する。そして、ジェスチャの開始から当該の画像データのジェスチャ特徴ベクトルによりベクトルの動きを算出し、該動きと画像パターンデータとを照合してジェスチャの意味を求める。例えば、ジェスチャの開始を意味するジェスチャであったとき、次から得られるジャスチャはプラントの制御に係わるものであると判断する。また、ジェスチャの終了を意味するジェスチャであったとき、ジェスチャによる操作が終了したと判断し、カメラに画像取込指令信号を発信する。また、ジェスチャの意味が表示の切換、表示対象の切換、制御対象の切換、制御の開始または終了、表示対象および制御対象の指定などデータ処理装置のための入力データの場合、要求項目とする。
また、画像照合部１７は、要求項目がプラント制御装置１での処理に該当するか否かを判断し、該当しないときは操作手順を終了し、該当するときは要求項目を要求コード変換部１８に送る。
【００１２】
データ処理装置６は、プラント５の運転を制御するための運転制御データが格納されているプラント運転制御データベース２３、画像認識装置４から送られてくる要求コードを受信する要求コード受信部２４、プラント５からの状態データが入力され、プラント５の制御用データがプラント５に出力されるプラントデータ入出力部２５、要求コードに基づき、プラント５の状態データおよび運転制御データを処理して制御用データを生成するプラント運転制御処理部２６、要求コードに基づき該当する画面のための表示データを選択する画面選択部２７から構成されている。
【００１３】
表示装置７は、送られてくる表示データをディスプレイ２９上に表示する画面表示部２８、ディスプレイ２９から構成されている。
【００１４】
次に、この実施の形態１に係わるプラント制御装置１をオペレータ２が操作する手順について図２を参照して説明する。図２は、オペレータ２がジェスチャによりプラント制御装置１を操作する手順を示すフローチャートである。
このプラント制御装置１を操作することができる人はオペレータ２であり、オペレータ２は、オペレータでない人と区別してプラント制御装置１により識別できるように、属性として所定の色の着衣を着用している。そして、オペレータ２は、このプラント制御装置１を操作するとき、制御室内のジェスチャ入力領域に移動する。
【００１５】
そうすると、ステップ（以下、Ｓと略記する。）１０１で、カメラ９は、制御室のジェスチャ入力領域を撮影しているので、そのジェスチャ入力領域に移動してきたオペレータ２を認識し、オペレータ２が写された画像データを画像認識装置４に送信する。画像データは、所定の周期で撮影されたものなので、複数のフレームから構成されている。
そして、Ｓ１０２で、画像認識装置４は、送られてきた画像データを構成するフレーム毎からジェスチャに係わるジェスチャ特徴ベクトルを生成し、一旦記憶する。そして、複数のフレームのジェスチャ特徴ベクトルから画像データに関する移動ベクトルを求める。それから、移動ベクトルと画像パターンデータとを照合して、画像データに該当する画像パターンデータを特定し、要求項目を認識する。
Ｓ１０３で、画像認識装置４は、要求項目が処理に該当するか否かを判断し、該当しないとき、操作の手順を終了する。要求項目が処理に該当するとき、Ｓ１０４に進む。
Ｓ１０４で、画像認識装置４は、要求項目を要求コードに変換してデータ処理装置６に送信する。
【００１６】
次からのステップでは、要求項目がプラント５の図示しない発電機の状態を表示することであるとする。
Ｓ１０５で、プラント運転制御処理部２６は、要求コードに従い、プラント５の発電機の状態を示す電圧、電流、回転数などからなる状態データをプラントデータ入出力部２５から取り込む。
Ｓ１０６で、プラント運転制御処理部２６は、要求コードに従い、その状態データを画面選択部２７に送る。
Ｓ１０７で、画面選択部２７は、要求コードに従い、プラント５の発電機の状態データを含む画面データを選択して、その画面データを表示装置７に送信する。
このようにして画面データが送られてきた表示装置７では、プラント５の発電機の状態を示す状態データが表示される。
【００１７】
また、要求項目がプラント５の図示しない変圧器のタップを切り換えることである場合、Ｓ１０５で、要求コードに従い、プラント５の変圧器の状態データをプラントデータ入出力部２５から取り込む。
そして、Ｓ１０６で、プラント運転制御処理部２６は、その状態データを用いてプラント運転制御データベース２３から制御信号を求める。
Ｓ１０７で、プラントデータ入出力部２５は、その制御信号をプラント５の変圧器に送信する。
このようにして制御信号が送られてきたプラント５では、変圧器のタップが切り換えられる。
【００１８】
このようなプラント制御装置１は、オペレータ２の任意の位置からのジェスチャによる操作入力を受け付けることができるので、制御盤の前などに操作を行う場所が限定されず、移動の時間が掛からず、オペレータが短時間で操作入力を行うことができる。
【００１９】
なお、実施の形態１において、操作を行うオペレータ２を識別する方法として、所定の領域に入り込んだ所定の着衣の人をオペレータ２として識別しているが、例えば、操作するオペレータが光、音などによりプラント制御装置１に操作開始を指示し、カメラ９がそのオペレータを識別してもよい。
また、着衣の属性として色を取り上げているが、模様などの属性を用いてもよい。
【００２０】
実施の形態２．
図３は、この発明の実施の形態２に係わるプラント制御装置のブロック図である。
この実施の形態２に係わるプラント制御装置１Ｂは、実施の形態１に係わるプラント制御装置１と画像認識装置４Ｂが異なっており、その他は同様であるので、同じ符号を付記して同様な部分の説明は省略する。
また、このプラント制御装置１Ｂの操作に係わるオペレータ２は、階級が決められている。そして、階級は、操作が許されている操作項目の範囲が異なっていることを意味する。異なる階級のオペレータ２は、異なった色の着衣を身に付けるように定められている。例えば、経験年数が長くてスキルの高いオペレータ２は緑色、経験年数が短くてスキルの低いオペレータ２は黄色の着衣を身に付けている。なお、階級の数と着衣の色などはこれに限るものではない。
【００２１】
そして、実施の形態２に係わる画像認識装置４Ｂは、実施の形態１に係わる画像認識装置４に階級識別部１６が追加され、要求コード変換部１８Ｂと要求コード表１９Ｂとが異なっており、その他は同様であるので、同じ符号を付記して同様な部分の説明は省略する。
階級識別部１６は、画像データからオペレータ２の着衣の色座標を求め、その色座標からオペレータ２の階級を求め、要求コード変換部１８Ｂに送る。
【００２２】
要求コード表１９Ｂには、要求項目に関連付けられた要求コードと操作が許可されている階級とが格納されている。
要求コード変換部１８Ｂは、画像照合部１７で求められた要求項目と階級識別部１６で求められた階級とを用いて要求コード表１９Ｂを検索して該当する要求コードを求める。そして、要求コードが求まらなかったときは操作の手順を終了し、要求コードが求められたときはその要求コードを要求コード送信部２０に送る。
【００２３】
次に、この実施の形態２のプラント制御装置１Ｂをオペレータ２が操作する手順について図４を参照して説明する。図４は、オペレータ２がジェスチャによりプラント制御装置１を操作する手順を示すフローチャートである。
図４のフローチャートのＳ２０１〜Ｓ２０３、Ｓ２０７〜Ｓ２０９は、それぞれ図２のフローチャートのＳ１０１〜Ｓ１０３、Ｓ１０５〜Ｓ１０７と同様であるので、同じステップの説明は省略する。
【００２４】
Ｓ２０４で、階級識別部１６は、送られてきた画像データからオペレータの着衣の色座標を求め、色座標からオペレータの階級を求めて、要求コード変換部１８Ｂに送る。
Ｓ２０５で、要求コード変換部１８Ｂは、画像照合部１７で求められた要求項目と階級識別部１６で求められた階級とを用いて要求コード表１９Ｂを検索して該当する要求コードを求める。
Ｓ２０６で、要求コード変換部１８Ｂは、要求コードが求まらなかったとき操作処理を終了し、要求コードが求められたとき、要求コードを要求コード送信部２０に送る。
【００２５】
このようなプラント制御装置１Ｂは、オペレータ２の階級を識別する階級識別部１６を有し、階級毎に操作できる項目が決められているので、階級の低いオペレータが高度の経験が必要な操作を行おうとしても処理が終了してしまい、経験不足からくる誤操作を防ぐことができる。
【００２６】
なお、実施の形態２においてオペレータ２の階級を識別するために着衣の色を変えているが、着衣の模様を変える、または色と模様とをともに変えてもよい。
【００２７】
実施の形態３．
図５は、この発明の実施の形態３に係わるプラント制御装置のブロック図である。
この実施の形態３に係わるプラント制御装置１Ｃは、実施の形態２に係わるプラント制御装置１Ｂに同様な画像入力装置３Ｃが１台増設されている。また、画像入力装置３Ｃの増設に関連して、画像認識装置４Ｃが異なっており、その他は同様であるので、同じ符号を付記して同様な部分の説明は省略する。
【００２８】
２台の画像入力装置３、３Ｃにそれぞれ備えられているカメラ９、９Ｃは、ジェスチャ入力領域を異なった方向から撮影している。
画像認識装置４Ｃは、２台の画像入力装置３、３Ｃから画像データが入力されていることに関連して画像受信部１２Ｃ、同時刻に撮影された２つの画像データを配置データと照合してオペレータの位置を求めるロケーション認識部３１および配置データが格納されている配置データ格納部３２が追加されている。さらに、要求コード変換部１８Ｃと要求コード表１９Ｃが、実施の形態２に係わる要求コード変換部１８Ｂと要求コード表１９Ｂと異なっており、その他は同様であるので、同様な部分に同じ符号を付記して説明を省略する。
【００２９】
配置データ格納部３２に格納されている配置データは、予め２つのカメラ９、９Ｃからジェスチャ入力領域の各位置を撮影した画像の対であり、位置と関連付けられて格納されている。
ロケーション認識部３１は、２つのカメラ９、９Ｃで撮影された２つの画像データと配置データとを照合して撮影している位置を特定する。
【００３０】
また、要求コード１９Ｃには、要求項目に関連付けられて要求コード、許可されている階級および許可されている位置が格納されている。
そして、要求コード変換部１８Ｃは、画像照合部１７で求められた要求項目、階級識別部１６で求められた階級およびロケーション認識部３１で求められた位置を用いて要求コード表１９Ｃを検索して該当する要求コードを求める。そして、要求コードが求まらなかったときは操作の手順を終了し、要求コードが求められたときはその要求コードを要求コード送信部２０に送る。
【００３１】
次に、この実施の形態３のプラント制御装置１Ｃをオペレータ２が操作する手順について図６を参照して説明する。図６は、オペレータ２がジェスチャによりプラント制御装置１Ｃを操作する手順を示すフローチャートである。
図６のフローチャートのＳ３０１〜Ｓ３０４、Ｓ３０７〜Ｓ３１０は、それぞれ図４のフローチャートのＳ２０１〜Ｓ２０４、Ｓ２０６〜Ｓ２０９と同様であるので、同じステップの説明は省略する。
【００３２】
Ｓ３０５で、ロケーション認識部３１は、２つのカメラ９、９Ｃで撮影された２つの画像データと配置データとを照合して撮影している位置を特定する。
Ｓ３０６で、要求コード変換部１８Ｃは、画像照合部１７で求められた要求項目、階級識別部１６で求められた階級およびロケーション認識部３１で求められた位置を用いて要求コード表１９Ｃを検索して該当する要求コードを求める。
【００３３】
このようなプラント制御装置１Ｃは、オペレータ２がジェスチャで操作入力している位置を確認する手段を有し、妥当な位置からの操作入力のときだけプラント制御装置１Ｃが操作されるので、ジェスチャの認識の正確な方向から操作入力され、誤りの少ない操作入力ができる。
【００３４】
なお、実施の形態３において、実施の形態２のプラント制御装置１Ｂに位置を確認する手段を追加しているが、実施の形態１のプラント制御装置１に位置を確認する手段を追加してもよい。
【００３５】
実施の形態４．
図７は、この発明の実施の形態４に係わるプラント制御装置のブロック図である。
この実施の形態４に係わるプラント制御装置１Ｄは、実施の形態３に係わるプラント制御装置１Ｃの表示装置７が異なっており、その他は同様であるので、同じ符号を付記して同様な部分の説明は省略する。
実施の形態４に係わる表示装置７Ｄは、実施の形態３に係わるディスプレイ２９と異なった方向に正面が向けられたディスプレイ２９Ｄが追加されそれに画面を表示する画面表示部２８Ｄが付帯されている。
【００３６】
そして、要求コード変換部１８Ｄは、ロケーション認識部３１で求められたジェスチャが行われた位置に基づいて表示装置７Ｄのディスプレイ２９、２９Ｄに表示する内容が決まるような要求コードに変換する。
【００３７】
このようなプラント制御装置１Ｄは、異なった方向に向けられたディスプレイ２９、２９Ｄが具備されているので、制御室内の色々な場所からジェスチャによりプラント制御装置の操作入力ができるとともに色々な場所からプラントの状態を確認することができる。
【００３８】
なお、実施の形態４において、実施の形態３のプラント制御装置１Ｃにディスプレイ２９Ｄを追加しているが、実施の形態１または実施の形態２のプラント制御装置１、１Ｂにディスプレイを追加してもよい。
また、実施の形態４において、ディスプレイを１台追加しているが、制御室の形状によりディスプレイを増やしてもよい。
【図面の簡単な説明】
【００３９】
【図１】この発明の実施の形態１に係わるプラント制御装置のブロック図である。
【図２】ジェスチャにより実施の形態１に係わるプラント制御装置を操作する手順を示すフローチャートである。
【図３】この発明の実施の形態２に係わるプラント制御装置のブロック図である。
【図４】ジェスチャにより実施の形態２に係わるプラント制御装置を操作する手順を示すフローチャートである。
【図５】この発明の実施の形態３に係わるプラント制御装置のブロック図である。
【図６】ジェスチャにより実施の形態３に係わるプラント制御装置を操作する手順を示すフローチャートである。
【図７】この発明の実施の形態４に係わるプラント制御装置のブロック図である。
【符号の説明】
【００４０】
１、１Ｂ、１Ｃ、１Ｄ  プラント制御装置、２  オペレータ、３、３Ｃ  画像入力装置、４、４Ｂ、４Ｃ  画像認識装置、５  プラント、６  データ処理装置、７、７Ｄ  表示装置、９、９Ｃ  カメラ、１０  画像送信部、１２、１２Ｃ  画像受信部、１３  対象特定部、１５  標準画像部、１６  階級識別部、１７  画像照合部、１８、１８Ｂ、１８Ｃ  要求コード変換部、１９、１９Ｂ、１９Ｃ  要求コード表、２０  要求コード送信部、２３  プラント運転制御データベース、２４  要求コード受信部、２５  プラントデータ入出力部、２６  プラント運転制御処理部、２７  画面選択部、２８、２８Ｄ  画面表示部、２９、２９Ｄ  ディスプレイ、３１  ロケーション認識部、３２  配置データ格納部。
【図１】
2006228040.tif 000003
【図２】
2006228040.tif 000004
【図３】
2006228040.tif 000005
【図４】
2006228040.tif 000006
【図５】
2006228040.tif 000007
【図６】
2006228040.tif 000008
【図７】
2006228040.tif 000009