(57)【要約】【課題】  任意方向の視点からの３Ｄ合成映像による大局的な状況掌握と実監視映像による詳細な状況掌握を円滑に組み合せた監視を可能にする。【解決手段】  ３Ｄ合成映像生成表示処理手段により、立体形状モデルの各構成面に、監視対象物の一連のカメラ映像の中から立体形状モデルの視点方向に基づいた映像を選択してテキスチャ画像としてマッピングし、マッピング立体形状モデルを指定された視点方向から見た３Ｄ合成映像を生成表示し、実監視映像表示処理手段により、一連のカメラ映像から指定された映像を実監視映像として表示し、映像連係処理手段により、３Ｄ合成映像上で指定された領域または位置に対して現在表示の３Ｄ合成映像の視点方向、視野および領域または位置に基づいて監視対象物の部位を特定し、その部位が確認可能な撮影方向のカメラ映像を選択して表示する。【選択図】        図１
2005252831.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで監視対象物を同時撮影して得た一連のカメラ映像を用いて前記監視対象物を監視する設備監視支援装置において、
前記監視対象物の立体形状モデルのデータを格納した第１の記憶手段と、
前記第１の記憶手段から読み出した前記監視対象物の立体形状モデルの各構成面に対して、供給されるカメラ映像をテキスチャ画像としてマッピングし、マッピングされた立体形状モデルを指定された視点方向から見た３Ｄ合成映像を生成してモニタに表示する３Ｄ合成映像生成表示処理手段と、
一連のカメラ映像の中から前記立体形状モデルの視点方向に基づいたカメラ映像を選択して前記３Ｄ合成映像生成表示手段に供給する映像選択入力処理手段と、
一連のカメラ映像から指定された映像を実監視映像としてモニタに表示する実監視映像表示処理手段と、
前記３Ｄ合成映像生成表示処理手段および前記実監視映像表示処理手段の出力映像を相互に連係させる制御を行なう映像連係処理手段とを備え、
前記映像連係処理手段は、３Ｄ合成映像上で指定された領域または位置に対して現在表示されている３Ｄ合成映像の視点方向、視野および領域または位置に基づいて前記監視対象物の部位を特定し、一連のカメラ映像のうちで特定の部位が確認可能な撮影方向のカメラ映像を選択し、
前記実監視映像表示処理手段は、選択されたカメラ映像をモニタに表示するようにしたことを特徴とする設備監視支援装置。
【請求項２】
複数のカメラで監視対象物を同時撮影して得た一連のカメラ映像を用いて前記監視対象物を監視する設備監視支援装置において、
前記監視対象物の立体形状モデルのデータを格納した第１の記憶手段と、
前記第１の記憶手段から読み出した前記監視対象物の立体形状モデルの各構成面に対して、供給されるカメラ映像をテキスチャ画像としてマッピングし、マッピングされた立体形状モデルを指定された視点方向から見た３Ｄ合成映像を生成してモニタに表示する３Ｄ合成映像生成表示処理手段と、
一連のカメラ映像の中から前記立体形状モデルの視点方向に基づいたカメラ映像を選択して前記３Ｄ合成映像生成表示手段に供給する映像選択入力処理手段と、
一連のカメラ映像から指定された映像を実監視映像としてモニタに表示する実監視映像表示処理手段と、
前記３Ｄ合成映像生成表示処理手段および前記実監視映像表示処理手段の出力映像を相互に連係させる制御を行なう映像連係処理手段とを備え、
前記映像連係処理手段は、モニタに表示されている実監視映像の視点方向と同じ方向で、かつ前記監視対象物が視野に収まる位置にある仮想視点を算出し、
前記３Ｄ合成映像生成表示処理手段は、算出された仮想視点から眺めた３Ｄ合成映像を生成しモニタに表示するようにしたことを特徴とする設備監視支援装置。
【請求項３】
複数のカメラで監視対象物を同時撮影して得た一連のカメラ映像を用いて前記監視対象物を監視する設備監視支援装置において、
前記監視対象物の立体形状モデルのデータを格納した第１の記憶手段と、
各カメラの位置、姿勢、ズームに関する光学パラメータのデータを格納した第２の記憶手段と、
前記第１の記憶手段から読み出した前記監視対象物の立体形状モデルの各構成面に対して、供給されるカメラ映像をテキスチャ画像としてマッピングし、マッピングされた立体形状モデルを指定された視点方向から見た３Ｄ合成映像を生成してモニタに表示する３Ｄ合成映像生成表示処理手段と、
一連のカメラ映像の中から前記立体形状モデルの視点方向に基づいたカメラ映像を選択して前記３Ｄ合成映像生成表示手段に供給する映像選択入力処理手段と、
一連のカメラ映像から指定された映像を実監視映像としてモニタに表示する実監視映像表示処理手段と、
前記３Ｄ合成映像生成表示処理手段および前記実監視映像表示処理手段の出力映像を相互に連係させる制御を行なう映像連係処理手段とを備え、
前記映像連係処理手段は、指示を受けてモニタに表示されている３Ｄ合成映像の視点方向および視野に近い撮影方向のカメラを一つまたは複数選択し、選択されたカメラ映像が３Ｄ合成映像に機構上許される範囲で最も合致するように対応するカメラの位置、姿勢、ズームに関する光学パラメータを算出し、前記第２の記憶手段に格納された対応するカメラの光学パラメータを算出した値に更新し、
カメラ姿勢・ズーム制御手段は、更新後の光学パラメータの値に基づいて対応するカメラの位置、姿勢、ズームを変更制御し、変更後の新たな撮影方向のカメラ映像を得、
３Ｄ合成映像生成表示処理手段は、変更後のカメラ映像を用いて新たな３Ｄ合成映像を生成するようにしたことを特徴とする設備監視支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、監視対象となる設備の置かれている現場に複数台のカメラを設置し、その監視映像を用いて設備の遠隔監視を行なうための設備監視支援装置に関するものである。
【背景技術】
【０００２】
設備の遠隔監視をカメラの監視映像を用いて行なう場合、カメラの死角や視野の制限などから、現場に複数台のカメラを設置することが多い。この時、複数台のモニタを並べて監視映像を同時表示する方式あるいは１台のモニタで複数の監視映像を切替え表示する方式が採られる。しかしながら、事故発生時などの切迫した状況下では、監視員が現在目にしている監視映像がどのカメラからのものなのか、すなわち、どの設備をどの方向から撮影したものなのかを瞬時に把握することは困難で、判断を誤ったり間違った措置を講じたりしてしまうという問題があった。
【０００３】
この問題の解決方法として、パン、チルト、ズームおよびカメラ設置位置を含むカメラパラメータを計算機から制御可能な撮像装置により、撮影された映像をモニタ上に表示してプラントの監視、制御を行なう技術が提案されている（例えば特許文献１参照）。この技術では、監視制御対象のおよその存在位置を示す面を定義する複数の３次元平面モデルと、監視制御対象をこの３次元平面モデルの１つまたは複数の平面に透視投影にてマッピングした際のマッピング位置を記憶しておき、モニタに表示された映像の一部が指定されたとき、カメラのパラメータと３次元平面モデルとから、指定位置がどの３次元平面モデルを指定しているかを検出するようにしている。そして、検出された３次元平面にマッピングされている監視制御対象のマッピング位置から、どの監視制御対象を指しているかをオブジェクト検出手段で検出し、検出された監視制御対象をよりよく確認できる映像が得られるようにカメラをパン、チルト、ズーム制御することで、直感的な把握を実現しようとしている。
【０００４】
【特許文献１】特開平７−３１９５３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の技術は、以上のように構成されているが、次のような問題があった。上記技術の監視制御装置において、監視対象の状況確認がより容易に行なえる監視映像を得るためには、少なくとも監視対象物の一部が映像内に写っている必要があり、また、カメラの位置、姿勢、ズームを制御する操作は現在のモニタに表示された監視映像に対する相対的な操作となる。このため、詳細を確認したい部位にダイレクトにカメラを向けるような絶対的な操作を行なったり、複数台のカメラを用いて監視を行なう場合に、状況確認に最も適したカメラ映像に切替えたりするのが困難であった。したがって、事故発生時など切迫した状況下でも、判断を誤ることなく状況を把握するという課題については完全には解決し得ていなかった。
【０００６】
この発明は、上記問題点を解決するためになされたもので、任意方向の視点からの３Ｄ合成映像による大局的な状況掌握と実監視映像による詳細な状況掌握を円滑に組み合せた監視を可能にする設備監視支援装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る設備監視支援装置は、複数のカメラで監視対象物を同時撮影して得た一連のカメラ映像を用いて監視対象物を監視する設備監視支援装置において、監視対象物の立体形状モデルのデータを格納した第１の記憶手段と、第１の記憶手段から読み出した監視対象物の立体形状モデルの各構成面に対して、供給されるカメラ映像をテキスチャ画像としてマッピングし、マッピングされた立体形状モデルを指定された視点方向から見た３Ｄ合成映像を生成してモニタに表示する３Ｄ合成映像生成表示処理手段と、一連のカメラ映像の中から立体形状モデルの視点方向に基づいたカメラ映像を選択して３Ｄ合成映像生成表示手段に供給する映像選択入力処理手段と、一連のカメラ映像から指定された映像を実監視映像としてモニタに表示する実監視映像表示処理手段と、３Ｄ合成映像生成表示処理手段および実監視映像表示処理手段の出力映像を相互に連係させる制御を行なう映像連係処理手段とを備え、映像連係処理手段が、３Ｄ合成映像上で指定された領域または位置に対して現在表示されている３Ｄ合成映像の視点方向、視野および領域または位置に基づいて監視対象物の部位を特定し、一連のカメラ映像のうちで特定の部位が確認可能な撮影方向のカメラ映像を選択し、実監視映像表示処理手段が、選択されたカメラ映像をモニタに表示するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、複数台のカメラで同時撮影した映像を監視対象物の立体形状モデルにマッピングして任意の方向から確認可能な３Ｄ合成映像を用いて概略状況把握と、実監視映像による詳細状況把握とを交互に連携させて、それらを円滑に組み合せた監視を可能にすることにより、事故発生時など切迫した状況下でも、監視対象物の状況を直感的かつ多角的に把握でき、判断を誤ることなく状況を速やかに把握することができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１による監視支援装置の機能構成を示すブロック図である。図において、カメラ１０２〜１０５は、現場に置かれた監視対象物１０１に向けて設置され、監視対象物１０１を複数の方向から同時撮影して各カメラ映像を得る手段である。カメラ姿勢・ズーム制御部１０６は、各カメラの姿勢やズームを制御する機構である。モニタ１０７は、この監視支援装置で出力される各種の監視映像情報を表示する手段である。マウス１０８は、この監視支援装置への指示入力を設定操作する手段である。ユーザインタフェース処理部１０９は、モニタ１０７への表示出力やマウス１０８からの入力を制御する手段である。記憶装置（第１の記憶手段）１１０は、監視対象物１０１の立体形状モデルのデータを格納した手段である。記憶装置（第２の記憶手段）１１１は、各カメラの位置、姿勢、ズームなどに関する光学パラメータのデータを格納した手段である。
【００１０】
３Ｄ合成映像生成表示処理部１１２は、カメラ映像を立体形状モデルの構成面にマッピングし、指定された仮想視点から見た３Ｄ合成映像を生成し出力する手段である。映像選択入力処理部１１３は、一連のカメラ映像のうちから指定された組み合せの映像を選択する手段である。実監視映像表示処理部１１４は、一連のカメラ映像から指定された映像を実監視映像のままモニタ１０７に表示すべく出力する手段である。映像連係処理部１１５は、３Ｄ合成映像生成表示処理部１１３および実監視映像表示処理部１１４の出力映像を相互に連係させる制御を行なう手段である。なお、説明の都合上、図１ではカメラの台数は４台示されているが、４台に限定されるものではなく、複数台であればよい。また、監視支援装置は、ＣＰＵとプログラムを用いることで構成される部分が多い。
【００１１】
次に、この監視支援装置の動作について説明する。
図２は３Ｄ合成映像を生成する方法を示す。一連のカメラ１０２〜１０５で監視対象物１０１を撮影し、カメラ映像２０１〜２０４を得て映像選択入力処理部１１３および実監視映像表示処理部１１４に出力する。３Ｄ合成映像生成表示処理部１１２は、記憶装置１１０に格納された図２に示すような監視対象物１０１に関する立体形状モデル２００を読み出し、その構成面２０５〜２０９のそれぞれに対して、映像選択入力処理部１１３から選択供給されるカメラ映像２０１〜２０４の中から対応するものをテキスチャ画像としてマッピングし、これを指定される視点方向から眺めた３Ｄ合成映像２１０に生成する。
【００１２】
カメラ映像を選択供給する場合、立体形状モデル２００の各構成面２０５〜２０９に対してマッピング可能なカメラ映像が複数ある場合には、映像選択入力処理部１１３では、３Ｄ合成映像生成表示処理部１１２と連係して、生成すべき３Ｄ合成映像の視点方向および視野に最も近い撮影方向のカメラ映像を選択する。例えば、図２において、構成面２０６が映っているカメラ映像としては２０２、２０３、２０４の３映像がある。いずれの映像も構成面２０６にマッピング可能であるが、これらの中から、生成すべき合成映像の視点方向および視野に最も近いカメラ映像２０４を最終的に選択して構成面２０６へのマッピングに使うという選択処理が行われる。残りの構成面２０５，２０７〜２０９についても同様に選択処理が行なわれて３Ｄ合成映像全体が生成される。
【００１３】
３Ｄ合成映像の視点方向の指定は、例えばマウス１０８を用いて行なわれる。その操作入力データは、ユーザインタフェース処理部１０９を介して３Ｄ合成映像生成表示処理部１１２に入力される。また、３Ｄ合成映像２１０は、ユーザインタフェース処理部１０９を介してモニタ１０７上の所定の領域に表示される。このようにして表示された３Ｄ合成映像２１０は、視点を連続的に移動させることにより監視対象物１０１の形やその表面にマッピングされた映像が表す模様の変化から、より直感的に監視対象物を把握したり、監視対象物の損傷によって生じた凹凸や亀裂による段差などの微小な変形を発見したりするために用いることができる。
【００１４】
映像連係処理部１１５は、３Ｄ合成映像生成表示処理部１１２の出力映像と実監視映像表示処理部１１４の出力映像との連係を制御するもので、以下のいずれかの動作、またはそれらを組み合せた動作を行なう。
第１の動作は、３Ｄ合成映像生成表示処理部１１２がモニタ１０７に表示している３Ｄ合成映像２１０上でマウス１０８を用いて指示または領域で示した部位が指定された場合、指定された部位を最もよく確認できる撮影方向のカメラを選択し、実監視映像表示処理部１１４に対し、選択したカメラの映像に切替え表示するよう制御指令を送信することである。
【００１５】
この第１の動作例を図３により説明する。監視員がモニタ１０７に表示された３Ｄ合成映像３００上でマウス１０８を用いて矩形領域３０５を指定する。映像連係処理部１１５では、このような矩形領域３０５を入力データとして受け、現在表示されている３Ｄ合成映像の視点方向、視野および矩形領域３０５に基づいて監視対象物１０１の部位を特定する。次に、一連のカメラ映像３０１〜３０４のうちで特定の部位を最もよく確認できる映像を選択する。図３の例では、カメラ映像３０４が選択され、それを３Ｄ合成映像３００から切替えて表示する指令を実監視映像表示処理部１１４に送信し、実監視映像表示処理部１１４はモニタ１０７に実監視映像３０６として表示する。
【００１６】
第２の動作は、実監視映像表示処理部１１４がモニタ１０７に現在表示している実監視映像と同じ方向で、かつ監視対象物１０１が視野に収まる位置にある仮想視点を算出し、３Ｄ合成映像生成表示処理部１１２に対し、算出された仮想視点から眺めた３Ｄ合成映像を生成しモニタに表示するように制御指令を送信することである。
【００１７】
この第２の動作例を図４により説明する。一連のカメラ映像４０１〜４０４のうちでカメラ映像４０１がモニタ１０７上に実監視映像４０５として表示されているとする。この時、監視員の操作指示があたえられると、映像連係処理部１１５では、それに応答して、現在表示されている実監視映像４０５の視点方向と同じ方向にあり、かつより離れた位置、具体的には監視対象物１０１が視野に収まるような位置にある仮想視点を算出する。映像連係処理部１１５は、この算出された仮想視点を含む制御指令を３Ｄ合成映像生成表示処理部１１２に送信する。３Ｄ合成映像生成表示処理部１１２では、この制御指令を受けると、仮想視点から眺めた３Ｄ合成映像を生成しモニタ１０７上に表示させる。この結果、鳥瞰図の位置に相当する視点から眺めたときのように監視対象物１０１の全体が視野に収まった３Ｄ合成映像４０６を得ることができる。
【００１８】
第３の動作は、指示を受けて３Ｄ合成映像生成表示処理部１１２がモニタ１０７に表示している３Ｄ合成映像の視点方向および視野に近い撮影方向のカメラを一つまたは複数選択し、選択したカメラ映像がなるべく現在表示している３Ｄ合成映像に合致するように対応するカメラの位置・姿勢・ズームなどの光学パラメータを算出し、カメラ姿勢・ズーム制御部１０６に対して記憶装置１１１に格納された対応するカメラの位置・姿勢・ズームなどの光学パラメータを算出した値に更新し、更新後の光学パラメータに基づいて対応するカメラの位置・姿勢・ズームを変更制御するように指令をカメラ姿勢・ズーム制御部１０６に送信すると共に、３Ｄ合成映像生成表示処理部１１２に対して変更後のカメラ映像を用いて３Ｄ合成映像を生成するように制御指令を送信することである。
【００１９】
第３の動作例を図５により説明する。一連のカメラ映像５０１〜５０４を用いて生成された３Ｄ合成映像５０６がモニタ１０７に表示されているとする。この時、監視員の操作指示が与えられると、映像連係処理部１１５では、それに応答して、現在表示されている３Ｄ合成映像５０６の視点方向および視野に近い撮影方向のカメラを一つまたは複数選択する。図５の例では、カメラ映像５０４のカメラが選択されたことになる。そして、映像連係処理部１１５では、選択されたカメラ映像５０４が３Ｄ合成映像５０６に機構上許される範囲で最も合致するようにカメラの位置、姿勢、ズームなどの光学パラメータの値を計算する。記憶装置１１１の対応するカメラの光学パラメータを計算された値に更新し、この計算された光学パラメータを含む制御指令をカメラ姿勢・ズーム制御部１０６に送信する。カメラ姿勢・ズーム制御部１０６は、計算された光学パラメータの値に基づいて対応するカメラの位置、姿勢、ズームを制御する。その結果、制御されたカメラにより新たな撮影方向のカメラ映像５０５が得られ、対応した実監視映像５０７が得られる。さらにその映像を用いて３Ｄ合成映像が生成される。したがって、設備の大局的な状況掌握を目的とした３Ｄ合成映像をより自然な映像品質に向上させるとともに、詳細な状況掌握がより容易になるような撮影方向からの実監視映像を得ることができる。
【００２０】
以上のように、この実施の形態１によれば、監視支援装置をこのように構成することで、監視員は、任意の視点からの３Ｄ合成映像を用いて監視対象物の状況を大局的な見地から掌握できると共に、３Ｄ合成映像に連動した実監視映像を用いて異常部位などを詳細に掌握し、かつ瞬時に確認できる効果が得られる。また、直感的な操作で、より状況確認が容易な撮影方向のカメラ映像を取得できる効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】この発明の実施の形態１による監視支援装置の機能構成を示すブロック図である。
【図２】この発明の実施の形態１に係る３Ｄ合成映像の生成方法を示す説明図である。
【図３】この発明の実施の形態１に係る映像連係処理部の第１の動作を示す説明図である。
【図４】この発明の実施の形態１に係る映像連係処理部の第２の動作を示す説明図である。
【図５】この発明の実施の形態１に係る映像連係処理部の第３の動作を示す説明図である。
【符号の説明】
【００２２】
１０１  監視対象物、１０２〜１０５  固定カメラ、１０６  カメラ姿勢・ズーム制御部、１０７  モニタ、１０８  マウス、１０９  ユーザインタフェース処理部、１１０，１１１  記憶装置、１１２  ３Ｄ合成映像生成表示処理部、１１３  映像選択入力処理部、１１４  実監視映像表示処理、１１５  映像連係処理部。
【図１】
2005252831.tif 000003
【図２】
2005252831.tif 000004
【図３】
2005252831.tif 000005
【図４】
2005252831.tif 000006
【図５】
2005252831.tif 000007