(57)【要約】【課題】監視カメラの映像から視線を外すことなく監視カメラによる撮影の制御を行えるようにする。【解決手段】映像監視システムに、監視対象の領域を撮影する監視カメラ１と、監視カメラ１により撮影された映像を表示するディスプレイ５と、ディスプレイ５に表示された映像を見る監視者を撮影するユーザカメラ６と、ユーザカメラ６により撮影された映像に基づいて、監視者の目の動きを検出する画像処理装置７と、画像処理装置７により検出された監視者の目の動きに応じて、監視カメラ１による撮影の態様を制御するシステム管理サーバ８と、を設けた。【選択図】図１
2015065514.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の領域を撮影する第１のカメラと、
前記第１のカメラにより撮影された映像を表示する表示装置と、
前記表示装置に表示された映像を見るユーザを撮影する第２のカメラと、
前記第２のカメラにより撮影された映像に基づいて、前記ユーザの目の動きを検出する検出手段と、
前記検出手段により検出された前記ユーザの目の動きに応じて、前記第１のカメラによる撮影の態様を制御する制御手段と、
を備えたことを特徴とする映像監視システム。
【請求項２】
請求項１に記載の映像監視システムにおいて、
前記制御手段は、前記ユーザの目の動きに応じた前記第１のカメラによる撮影の態様の制御を、前記ユーザの目の動きの変化量に応じた制御量で行う、
ことを特徴とする映像監視システム。
【請求項３】
請求項１又は請求項２に記載の映像監視システムにおいて、
前記表示装置は、前記表示装置に表示された映像に対する前記ユーザの視線の位置に、前記ユーザの目の動きに対応する前記第１のカメラによる撮影の態様を示す形状のポインタ画像を表示する、
ことを特徴とする映像監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象の領域を監視カメラにより撮影して監視する映像監視システムにおける監視カメラの制御に関する。
【背景技術】
【０００２】
監視対象の領域を撮影する監視カメラと、当該監視カメラにより撮影された映像を表示する表示装置とをネットワークで接続して設け、当該表示装置に表示された映像を通じて監視対象の領域を遠隔監視できるようにした映像監視システムがある。
このような映像監視システムでは、監視カメラとして、電動の雲台（旋回台）に搭載された旋回式カメラが用いられ、監視ユーザによるハードスイッチ式操作器の押しボタン操作または操作端末の画面上でのマウス操作やタッチパネル操作により、監視カメラの旋回等の制御が行われていた。
【０００３】
上記のような映像監視システムに関し、従来より種々の発明が提案されている。
例えば、特許文献１には、監視カメラからの映像を表示する専用メガネに視点焦点センサと向き角度センサを設け、監視者の視線方向を読み取って監視カメラを制御する発明が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３３３１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の映像監視システムでは、監視映像と操作ボタンの両方を見て監視カメラの向き等を指示する操作を行う必要があるため、走っている侵入者を監視カメラで追尾する場合や、複数の対象物を１台の監視カメラで監視する場合などでは、監視映像を見ながら監視カメラの操作を行うことは非常に困難であった。
【０００６】
本発明は、上記従来の事情に鑑みて為されたものであり、監視カメラの映像から視線を外すことなく監視カメラによる撮影の制御を行うことが可能な技術を提案することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明では、映像監視システムを以下のように構成した。
すなわち、映像監視システムに、監視対象の領域を撮影する第１のカメラと、前記第１のカメラにより撮影された映像を表示する表示装置と、前記表示装置に表示された映像を見るユーザを撮影する第２のカメラと、前記第２のカメラにより撮影された映像に基づいて、前記ユーザの目の動きを検出する検出手段と、前記検出手段により検出された前記ユーザの目の動きに応じて、前記第１のカメラによる撮影の態様を制御する制御手段と、を設けた。
【０００８】
これにより、ユーザは、表示装置に表示されている映像を見ながらにして、その映像を撮影している第１のカメラによる撮影の態様を制御（旋回やズーム等）することができる。また、ユーザが映像中の気になる箇所に視線を向けて注視する等の自然な目の動きに応じて、その動きに反映されたユーザの意図に合致する映像が得られるように、第１のカメラによる撮影の態様の制御を行うことで、ユーザは特段の意識をすることなく所望の映像を得ることができる。
【０００９】
ここで、一構成例として、前記制御手段は、前記ユーザの目の動きに応じた前記第１のカメラによる撮影の態様の制御を、前記ユーザの目の動きの変化量に応じた制御量で行う構成としてもよい。
これにより、ユーザの目の動きの変化量と第１のカメラの制御量を連動させることができ、例えば、或る方向への素早い旋回やゆっくりとした旋回をユーザが簡易に調整することができる。
【００１０】
また、一構成例として、前記表示装置は、前記表示装置に表示された映像に対する前記ユーザの視線の位置に、前記ユーザの目の動きに対応する前記第１のカメラによる撮影の態様を示す形状のポインタ画像を表示する構成としてもよい。
これにより、ユーザは、表示装置に表示されている映像を見ながらにして、目の動きによって指示した制御の内容（第１のカメラによる撮影の態様）が自身の意図に合致するものか否かを判断できる。
【発明の効果】
【００１１】
本発明によれば、監視者は、表示装置に表示されている監視映像を見ながらにして、その映像を撮影している監視カメラによる撮影の態様を制御することができる。また、監視者が監視映像中の気になる箇所に視線を向けて注視する等の自然な目の動きに応じて、その動きに反映された監視者の意図に合致する映像が得られるように、監視カメラによる撮影の態様の制御を行うことで、監視者は特段の意識をすることなく所望の映像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る映像監視システムの概略的な構成の例を示す図である。
【図２】画像処理装置による画像処理のイメージを示す図である。
【図３】映像監視システムの初期設定の様子を示す図である。
【図４】ディスプレイ上における視線の位置に表示する視線ポインタの形状の例を示す図である。
【図５】監視カメラの旋回の態様を示す図である。
【図６】瞳孔の位置の時間的変化の例を示す図である。
【図７】目の大きさの変化に応じた監視カメラの制御を説明する図である。
【図８】頭部の動きに応じた監視カメラの制御を説明する図である。
【図９】メガネディスプレイを用いる場合について説明する図である。
【図１０】手のジェスチャに応じた監視カメラの制御を説明する図である。
【図１１】変形例に係る映像監視システムの概略的な構成の例を示す図である。
【発明を実施するための形態】
【００１３】
本発明の一実施形態に係る映像監視システムについて、図面を参照して説明する。
ここで、本例の映像監視システムは、監視カメラの雲台の制御（監視カメラの旋回制御）やレンズの制御（ズームやフォーカスの制御）におけるユーザインタフェースに関するものであり、監視者の視線、首の動き、ジェスチャ、声等による合図と監視カメラの各種操作を連動させることで、監視者が所望する映像を迅速に提供できるようにしてある。また、手動でカメラ操作を行うというステップを排除することで、画面の中で見たい方向を見る等の簡易かつ自然な作法で、監視者が所望する映像を提供できるようにしてある。また、監視カメラの雲台やレンズの操作だけでなく、プリセット選択や複数台の監視カメラからの選択（映像切替）等のシステム操作にも適用している。
【００１４】
すなわち、本例の映像監視システムでは、監視者の視線の動き、首の動き、ジェスチャ、声等による合図をトリガとして、当該合図に対応する態様で監視カメラによる撮影の制御を行う構成とすることで、監視者の自然な動作に応じて監視カメラを所望の方向に指向させること等を可能にして、監視効率の向上を図る。なお、複数の合図を融合して判断することで、ユーザインタフェースの精度向上を図ることもできる。
【００１５】
図１には、本例の映像監視システムの概略的な構成の例を示してある。本例の映像監視システムは、監視カメラ１と、ＩＰエンコーダ２と、ＩＰネットワーク網３と、操作端末４と、ディスプレイ（表示装置）５と、ユーザカメラ６と、画像処理装置７と、システム管理サーバ８と、を備えている。
【００１６】
監視カメラ１は、電動の雲台（旋回台）に搭載された旋回式カメラである。本例では、監視対象となる領域を撮影するために複数の監視カメラ１を設けてあり、監視カメラ１により撮影された映像の信号は、当該監視カメラ１に接続されたＩＰエンコーダ２により映像データに変換されて、ＩＰネットワーク網３へ配信される。
操作端末４は、ＩＰネットワーク網３を通じて受信した映像データに基づく監視映像を、当該操作端末４に接続されたディスプレイ５に表示出力させる。
【００１７】
ユーザカメラ６は、ディスプレイ５に表示された監視映像を見る監視者の上半身をディスプレイ５側の方向から撮影する高精細カメラである。本例では、目の動きだけでなく体の３次元的な動きを捉えるために、ユーザカメラ６として、監視者の上半身を右方向から撮影する右側カメラ６Ｒと、左方向から撮影する左側カメラ６Ｌとを備えたステレオカメラを用いている。なお、目の動きだけで（体の３次元的な動きを用いずに）監視カメラ１の制御を行う場合には、ステレオカメラでなく通常のカメラを用いてもよい。ユーザカメラ６により撮影された映像の信号は、ユーザカメラ６と接続された画像処理装置７に入力される。
【００１８】
画像処理装置７は、ユーザカメラ６により撮影された映像を、監視者の目の部分のみを切り出した映像と上半身全体の映像に分ける。その後、目の部分のみを切り出した映像を画像処理して、２次元平面における瞳孔の位置及び目や瞳孔の大きさ等を特定する。また、左右２方向から撮影した上半身全体の映像を画像処理して、監視者の頭部や手の３次元空間における位置等を特定する。画像処理装置７により特定された監視者の瞳孔の位置及び目や瞳孔の大きさ、監視者の頭部や手の位置等の指示情報は、ＩＰネットワーク網３を通じてシステム管理サーバ８へ送信される。
【００１９】
システム管理サーバ８は、画像処理装置７から送信された指示情報（監視者の瞳孔の位置及び目や瞳孔の大きさ、監視者の頭部や手の位置等の情報）に基づいて、ディスプレイ５による表示対象の監視映像を撮影している監視カメラ１に対する制御信号を送信する。すなわち、該当する監視カメラ１に宛てて、指示情報により特定される撮影の態様の制御（旋回やズーム等）を指示する制御信号をＩＰネットワーク網３を通じて送信する。
なお、撮影の態様とは、撮影の方向や画角等の監視カメラ１により機械的に調整可能な撮影条件をいう。
【００２０】
具体的には、例えば、監視者の視線が動いた場合（瞳孔の位置が変化した場合）には、視線移動の方向に追従して監視カメラ１を旋回させる制御信号を送信し、監視者の瞳孔の大きさが変化した場合には、監視カメラ１の望遠制御させる制御信号を送信し、監視者の目の大きさが変化した場合には、監視カメラ１のオートフォーカスを動作させる制御信号を送信する。
すなわち、監視者が監視映像中の気になる箇所に視線を向けて注視する等の自然な目（或いは体）の動きに応じて、その動きに反映された監視者の意図に合致する映像が得られるように、監視カメラ１による撮影の態様の制御（旋回やズーム等）を行う。
【００２１】
図２には、画像処理装置７による画像処理のイメージを示してある。
同図の例では、監視者の上半身を右方向から撮影する右側カメラ６Ｒによる映像１１を画像処理して、監視者の目の部分のみを切り出した映像１３を切り出しており、当該切り出した映像１３に基づいて、監視者の瞳孔１４の位置及び大きさ、監視者の目１５の全体の大きさを特定している。
また、監視者の上半身を右方向から撮影する右側カメラ６Ｒによる映像１１と、左方向から撮影する左側カメラ６Ｌによる映像１２とを画像処理して、これらの映像１１，１２を合成した合成映像１６を作成しており、当該作成した合成映像１６に基づいて、監視者の頭部や手の位置を特定している。
これらの処理（監視者の瞳孔の位置及び目や瞳孔の大きさ、監視者の頭部や手の位置等の特定）は周期的に繰り返され、その結果の情報がシステム管理サーバ８へ送信され、監視カメラ１に対する制御信号の生成に用いられる。
【００２２】
図３には、本例の映像監視システムの使用を開始する際に実行される初期設定の様子を示してある。
本例の映像監視システムにおける初期設定では、システム管理サーバ８による制御の下で、図３（ａ）に示すように、ディスプレイ５上の所定位置にポインタ２２を表示して監視者の視線を導くと共に、その際の監視者の目２１をユーザカメラ６で撮影することで、当該位置２２に視線を向けた際の監視者の目２１の状態を認識する。
【００２３】
初期設定の具体的な処理内容について、図３（ｂ）及び（ｃ）を参照して説明する。
システム管理サーバ８は、まず、画面の中央点Ａを指し示すポインタ３１をディスプレイ５に表示させ、ポインタ３１に視線を導くアナウンス指示（例えば、“表示されたポインタを見て下さい”といった音声アナウンス）を操作端末４に行わせる。なお、アナウンス指示は、画面上に文字を表示する等の他の態様により行わせてもよい。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の中央点Ａに監視者の視線が向いた状態の目４１における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔中心点（原点）として登録する。また、このときの目や瞳孔の大きさも、通常状態の大きさとして登録しておく。
【００２４】
次に、システム管理サーバ８は、中央点Ａから画面右端まで水平移動させた右端点Ｂを指し示すポインタ３２をディスプレイ５に表示させ、ポインタ３２に視線を導くアナウンス指示を操作端末４に行わせる。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の右端点Ｂに監視者の視線が向いた状態の目４２における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔右端点として登録する。
【００２５】
次に、システム管理サーバ８は、中央点Ａから画面左端まで水平移動させた左端点Ｃを指し示すポインタ３３をディスプレイ５に表示させ、ポインタ３３に視線を導くアナウンス指示を操作端末４に行わせる。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の左端点Ｃに監視者の視線が向いた状態の目４３における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔左端点として登録する。
【００２６】
次に、システム管理サーバ８は、中央点Ａから画面上端まで垂直移動させた上端点Ｄを指し示すポインタ３４をディスプレイ５に表示させ、ポインタ３４に視線を導くアナウンス指示を操作端末４に行わせる。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の上端点Ｄに監視者の視線が向いた状態の目４４における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔上端点として登録する。
【００２７】
次に、システム管理サーバ８は、中央点Ａから画面下端まで垂直移動させた下端点Ｅを指し示すポインタ３５をディスプレイ５に表示させ、ポインタ３５に視線を導くアナウンス指示を操作端末４に行わせる。画像処理装置７は、その際にユーザカメラ６で撮影された映像に基づいて、画面の下端点Ｅに監視者の視線が向いた状態の目４５における瞳孔の位置を特定し、その位置情報をシステム管理サーバ８に通知する。システム管理サーバ８は、通知された瞳孔の位置を瞳孔下端点として登録する。
【００２８】
このような初期設定を行って、瞳孔中心点（原点）、瞳孔右端点、瞳孔左端点、瞳孔上端点、瞳孔下端点を登録しておくことで、監視者の瞳孔の位置に基づいて、ディスプレイ５上における視線の位置（監視者が視線を向けている位置）を特定できる。
監視者の瞳孔の位置に基づく視線の位置の特定について、図３（ｄ）を参照して、監視者がディスプレイ５上の画面右上部を見た場合を例に説明する。ここで、瞳孔中心点から瞳孔右端点を見た瞳孔位置ベクトルを「＋Ｈ→」、瞳孔左端点を見た瞳孔位置ベクトルを「−Ｈ→」、瞳孔上端点を見た瞳孔位置ベクトルを「＋Ｖ→」、瞳孔下端点を見た瞳孔位置ベクトルを「−Ｖ→」とする。また、ディスプレイ５の画面の中央点Ａから右端点Ｂまでの距離を「＋Ｘ」、左端点Ｃまでの距離を「−Ｘ」、上端点Ｄまでの距離を「＋Ｙ」、下端点Ｅまでの距離を「−Ｙ」とする。
【００２９】
監視者がディスプレイ５における画面右上部を見た状態の目５１における瞳孔５２の位置は、瞳孔中心点から瞳孔５２を見た瞳孔位置ベクトル５３で表現できる。瞳孔位置ベクトル５３の水平方向の成分（水平ベクトル）５４を「＋ｈ→」、垂直方向の成分（垂直ベクトル）５５を「＋ｖ→」とし、ディスプレイ５の画面中心を原点とした場合の視線の位置の座標を（ｘ，ｙ）とすると、ｘ，ｙの各値は以下の式により算出できる。
ｘ＝（ｈ／Ｈ）Ｘ
ｙ＝（ｖ／Ｖ）Ｙ
以上のように、監視者の瞳孔の位置を示す瞳孔位置ベクトル５３に基づいて、ディスプレイ５上における視線の位置の座標（ｘ，ｙ）を算出できる。
【００３０】
このような初期設定を行っておくことで、監視者の目の状態（特に、瞳孔の位置）からディスプレイ５上での視線の位置を特定することができ、その結果、ディスプレイ５上での視線の位置に視線ポインタ（監視者が視線を向けている位置を指し示すポインタ画像）を表示する処理や、ディスプレイ５上での視線の位置を実空間での監視カメラ１の指向先に変換して旋回制御する処理などを実現することができる。
【００３１】
図４には、ディスプレイ５上における視線の位置に表示する視線ポインタの形状の例を示してある。
図４において、（ａ）〜（ｄ）は、それぞれ、監視カメラ１に対して右旋回、左旋回、上旋回、下旋回を指示した際の視線ポインタであり、丸マークに旋回方向を指し示す矢印を重畳した形状のポインタ画像となっている。また、（ｅ）は、監視カメラ１に対して望遠指示した際の視線ポインタであり、丸マークを通常より大きくした形状のポインタ画像となっている。また、（ｆ）は、監視カメラ１に対して広角指示した際の視線ポインタであり、丸マークを通常より小さくした形状のポインタ画像となっている。
【００３２】
このように、ディスプレイ５上における視線の位置に表示する視線ポインタの形状を、監視者の視線などによる監視カメラ１の制御の態様（すなわち、監視カメラ１による撮影の態様）の指示に応じて変化させることで、監視者に指示内容をフィードバックさせることができる。また、監視者は、自分が指示した内容がフィードバック表示されるので、指示内容が的確にシステムに反映されているかをリアルタイムで確認することができ、検知に適した視線の動かし方などを効率よく学習することができる。
【００３３】
次に、瞳孔の動き（位置の変化）に応じた監視カメラ１の旋回制御について、図３（ｄ）や図５などを参照して説明する。
ここで、図５（ａ）には、監視カメラ１を上面方向から見た様子を示してあり、水平方向の旋回では、基準位置６１から±１８０°回転させた位置６２まで旋回可能となっている。また、図５（ｂ）には、監視カメラ１を側面方向から見た様子を示してあり、垂直方向の旋回では、基準位置６３から＋９０°（上向きに９０°）回転させた位置６４及び−９０°（下向きに９０°）回転させた位置６５まで旋回可能となっている。つまり、本例の監視カメラ１の旋回可能角度の範囲は、水平方向では±１８０°、垂直方向では±９０°となっている。
なお、以下の説明では、監視者が右上方向に視線を向ける場合を例に説明するが、他の方向に視線を向けた場合でも同様な制御が可能であることは言うまでもない。
【００３４】
瞳孔の動き（位置の変化）に応じた監視カメラ１の旋回制御は、例えば、以下の［方法１−１］〜［方法１−３］により行うことができる。
［方法１−１］では、監視者が右上方向に視線を向けた際の瞳孔移動量（移動割合）を、監視カメラ１の旋回移動量（旋回割合）に等価変換して旋回制御する。
この場合、水平方向の旋回制御角度θH、垂直方向の旋回制御角度θVは、以下の式により算出できる。
θH＝１８０×（ｈ／Ｈ）
θV＝９０×（ｖ／Ｖ）
【００３５】
監視者が右上方向に視線を向けた際に、システム管理サーバ８は、θH、θVの角度で旋回させる制御信号を監視カメラ１に送信することで、監視者が視線を動かした方向に監視カメラ１を旋回させることができる。
なお、監視者が視線を正面に戻した場合には、監視カメラ１の旋回を停止させる。このとき、監視者の瞳孔が正面位置（瞳孔中心点）に戻るまではｈ→とｖ→が一時的にマイナスになるが、その過程での監視カメラ１の旋回制御は行わないものとする。すなわち、監視カメラ１の旋回制御は、監視者の瞳孔が正面位置から動いた場合のみ行うものとする。
上述した［方法１−１］の利点は、瞳孔の微量な動きで監視カメラ１を大きく旋回制御できることである。
【００３６】
［方法１−２］では、監視者が右上方向に視線を向けた際の瞳孔移動量（移動割合）を、監視カメラ１の旋回角速度に等価変換して旋回制御する。
この場合、水平方向の旋回制御角速度ωH、垂直方向の旋回制御角速度ωVは、定数Ωを用いて以下の式により算出できる。
ωH＝Ω×（ｈ／Ｈ）
ωV＝Ω×（ｖ／Ｖ）
【００３７】
監視者が右上方向に視線を向けた際に、システム管理サーバ８は、ωH、ωVの角速度で旋回させる制御信号を監視カメラ１に送信することで、監視者が視線を動かした方向に監視カメラ１を旋回させることができる。
［方法１−２］によれば、視線を動かした移動量により旋回角速度が変化するので、大きく視線を動かすと、その方向に監視カメラ１が速く旋回し、小さく視線を動かすと、その方向に監視カメラ１が遅く旋回することになる。
なお、［方法１−１］と同様に、監視者が視線を正面に戻した場合には監視カメラ１の旋回を停止させ、監視者の瞳孔が正面位置（瞳孔中心点）から動いた場合のみ監視カメラ１の旋回制御を行うものとする。
【００３８】
［方法１−３］では、監視者の瞳孔の位置の単位時間当たりの変化量（瞳孔の移動速度）を、監視カメラ１の旋回角速度に等価変換して旋回制御する。
図６には、瞳孔の位置の時間的変化の例を表してある。
ｔ＝０の時点では、瞳孔が正面位置（瞳孔中心点）にある状態のため、監視カメラ１も静止状態である。
ｔ＝１の時点では、ｔ＝０の時点の瞳孔の位置に対して瞳孔が水平方向及び垂直方向に移動しているので、監視カメラ１を旋回制御する。このとき、瞳孔の位置の位時間当たりの変化量（瞳孔の移動速度）を算出し、変化量が大きい場合には監視カメラ１を高速旋回させ、変化量が小さい場合には監視カメラ１を低速旋回させる。
ｔ＝２の時点では、ｔ＝１の時点の瞳孔の位置に対して瞳孔が水平方向及び垂直方向に移動しているので、監視カメラ１を旋回制御する。このときも、ｔ＝１の時点と同様に、瞳孔の位置の位時間当たりの変化量が大きい場合には監視カメラ１を高速旋回させ、変化量が小さい場合には監視カメラ１を低速旋回させる。
ｔ＝３の時点では、ｔ＝２の時点の瞳孔の位置に対して瞳孔が水平方向及び垂直方向に移動していないので、監視カメラ１をｔ＝２の時点と同速度（速度一定）で旋回制御させる。
ｔ＝４の時点では、瞳孔が正面位置に戻ったため、監視カメラ１の旋回を停止させる。ｔ＝３の時点の瞳孔の位置からｔ＝４の時点の瞳孔の位置（正面位置）に戻るまでの間はｈ→とｖ→が一時的にマイナスになるが、その過程での監視カメラ１の旋回制御は行わない。
【００３９】
ここで、ｔ＝ｔ1の時点の水平ベクトルを「ｈ1→」、ｔ＝ｔ2の時点の水平ベクトルを「ｈ2→」、ｔ＝ｔ1の時点の垂直ベクトルを「ｖ1→」、ｔ＝ｔ2の時点の垂直ベクトルを「ｖ2→」とすると、ｔ＝ｔ2の時点の瞳孔の水平方向の移動速度ＳH、垂直方向の移動速度ＳVは、以下の式により算出できる。
ＳH＝（ｈ2−ｈ1）／Δｔ＝（ｈ2−ｈ1）／（ｔ2−ｔ1）
ＳV＝（ｖ2−ｖ1）／Δｔ＝（ｖ2−ｖ1）／（ｔ2−ｔ1）
【００４０】
また、ｔ＝ｔ2の時点の水平方向の旋回制御角速度ωH、垂直方向の旋回制御角速度ωVは、定数Ωを用いて以下の式により算出できる。
ωH＝Ω×（ｈ2−ｈ1）／Δｔ＝Ω×（ｈ2−ｈ1）／（ｔ2−ｔ1）
ωV＝Ω×（ｖ2−ｖ1）／Δｔ＝Ω×（ｖ2−ｖ1）／（ｔ2−ｔ1）
【００４１】
なお、ｔ＝ｔ2の時点で正面位置以外の位置で瞳孔が静止した場合、ωH、ωVは０になるが、ｔ＝ｔ1の時点の角速度での旋回を監視カメラ１に継続させるものとする。また、監視カメラ１の旋回停止は、視線を正面に戻したときに行う。また、監視カメラ１の旋回制御は、瞳孔が正面位置から別の方向に動いた場合のみ行うものとする。
【００４２】
［方法１−３］によれば、監視者が視線を動かした方向と速度に応じて監視カメラ１の旋回制御が行われるため、監視者の視線の動きに応じて自然に監視カメラ１が旋回することになる。また、視線が正面以外の場所で一時的に静止しても旋回制御を引き継ぐため、監視カメラ１の旋回を長時間継続させたい場合に有効である。
【００４３】
次に、目や瞳孔の大きさの変化に応じた監視カメラ１の制御について、図７を参照して説明する。
図７（ａ）には、通常状態の目７１と、画像処理による目７１の検知エリア７２を示してある。また、図７（ｂ）には、見開いた状態の目７３と、画像処理による目７３の検知エリア７４を示してある。また、図７（ｃ）には、細めた状態の目７５と、画像処理による目７５の検知エリア７６を示してある。
このように、画像処理装置７による画像処理で、目の検知エリアの大きさを調べることで、監視者が目の大きさの変化（目を見開いたり細めたりしたこと）を検出できる。また、瞳孔の大きさの変化も同様に、瞳孔の検知エリアの大きさを調べることで検出できる。
【００４４】
システム管理サーバ８は、人が特定のポイントを注目する場合に瞳孔が開く動きを応用し、通常状態の目の大きさから目が大きくなる変化が生じた場合、若しくは瞳孔が大きくなる変化が生じてその状態が一定時間継続した場合に、監視カメラ１のレンズの望遠制御（ズーム）を行う。そして、目を閉じた状態が一定時間継続した場合に、ズームを元の状態に戻す。
また、システム管理サーバ８は、人がピントの合っていない対象物を見る場合に目を細める動きを応用し、目全体の大きさが小さくなる変化が生じた場合（目を細めた場合）に、視線ポインタが指し示す対象物にフォーカスが合うように、監視カメラ１のレンズのオートフォーカスを動作させる。
【００４５】
次に、監視者の頭部の動きに応じた監視カメラ１の制御について、図８を参照して説明する。
図８には、監視者が通常の状態の姿勢８１と、前方向に体を傾けた状態の姿勢８２と、後ろ方向に体を傾けた状態の姿勢８３を示してあり、監視者の前後運動に連動して頭部の位置が前後に変位していることが分かる。なお、監視者の頭部の３次元位置は、監視者の上半身を右方向から撮影した映像と左方向から撮影した映像との合成映像に基づいて特定できる。
システム管理サーバ８は、監視者が頭部を前方向に動かした場合に監視カメラ１のレンズの望遠制御を行い、逆に頭部を後方向に動かした場合に監視カメラ１のレンズの広角制御を行う。また、監視者が頭部を通常状態に戻すと、監視カメラ１のレンズの制御を停止する。本例では、これらのズーム制御を頭部の移動量に対応する制御量で行う。
【００４６】
次に、複数の監視カメラ１の中からディスプレイ５による表示対象の監視映像を撮影する監視カメラ１を選択する方法について、２通りを説明する。なお、各々の監視カメラ１は、カメラ番号＃ｎ（ｎは自然数）で識別されているものとする。
監視者の頭部の左右運動をカメラ選択操作とする場合、システム管理サーバ８は、例えば、カメラ番号＃３の監視カメラ１が選択されている状態で、頭部が左に振られた場合には、順番的に１つ前のカメラ番号＃２の監視カメラ１を選択し、頭部が右に振られた場合には、順番的に１つ後のカメラ番号＃４の監視カメラ１を選択する。
【００４７】
瞳孔の動き（左右方向の移動）をカメラ選択操作とする場合、システム管理サーバ８は、初期設定された瞳孔左端点又は瞳孔右端点を超過した位置に瞳孔がある場合に、監視カメラ１の旋回制御から監視カメラ１の選択制御に切り替える。例えば、カメラ番号＃３の監視カメラ１が選択されている状態で、瞳孔の位置が瞳孔左端点を超過した位置（視線が画面から左側に外れた位置）に一定時間以上ある場合には、順番的に１つ前のカメラ番号＃２の監視カメラ１を選択し、瞳孔の位置が瞳孔右端点を超過した位置（視線が画面から右側に外れた位置）に一定時間以上ある場合には、順番的に１つ後のカメラ番号＃４の監視カメラ１を選択する。
【００４８】
次に、メガネディスプレイを用いる場合について、図９を参照して説明する。
図９（ａ）には、メガネディスプレイ９１を頭部に装着した監視者が正面を向いた状態９２と、右に９０°（＋９０°）首を回した状態９３と、左に９０°（−９０°）首を回した状態９４を示してあり、図９（ｂ）には、監視カメラ１を基準位置に向けた状態９５と、右に９０°（＋９０°）旋回させた状態９６と、左に９０°（−９０°）旋回させた状態９７を示してある。
また、図９（ｃ）には、監視者が右上方向に首を振った状態９８を示してあり、図９（ｄ）には、そのときの監視者の頭部の３次元空間における位置座標（ｘ，ｙ，ｚ）を示してある。
【００４９】
メガネディスプレイ９１は、ジャイロセンサと加速度センサを備えており、監視者の首振り運動（左右回転）に応じて首振りの角度や角速度を検出し、その情報をシステム管理サーバ８に送信する。
システム管理サーバ８は、メガネディスプレイ９１から受信した首振りの角度や角速度の情報に基づいて、監視カメラ１を制御する。例えば、監視者が正面方向を向いている場合は監視カメラ１を基準位置に向け、監視者が右に９０°首を回すと監視カメラ１も右に９０°旋回させ、監視者が左に９０°首を回すと監視カメラ１も左に９０°旋回させる。
【００５０】
首（頭部）の動きに応じた監視カメラ１の旋回制御は、例えば、以下の［方法２−１］〜［方法２−３］により行うことができる。なお、初期設定において、基準の瞳孔位置の登録と同様に、基準の首角度の情報を登録しておくものとする。すなわち、ディスプレイ５上の所定位置にポインタ２２を表示して監視者の視線を導くと共に、その際の監視者の首振り角度を認識して、基準の首角度として登録しておく。
【００５１】
［方法２−１］では、監視者の首の回転量（回転割合）を監視カメラ１の旋回移動量（旋回割合）に等価変換して旋回制御する。
この場合、水平方向の旋回制御角度θH、垂直方向の旋回制御角度θVは、以下の式により算出できる。
θH＝ｔａｎ-1（ｚ／ｘ）
θV＝ｔａｎ-1（ｙ／√（ｘ2＋ｙ2））
【００５２】
監視者が首を振った際に、システム管理サーバ８は、θH、θVの角度で旋回させる制御信号を監視カメラ１に送信することで、監視者が首を動かした方向に監視カメラ１を旋回させることができる。
なお、監視者が首を正面に戻した場合には、監視カメラ１の旋回を停止させる。このとき、視線による制御に係る［方法１−１］と同様に、監視者の首が正面位置に戻る過程での監視カメラ１の旋回制御は行わないものとする。すなわち、監視カメラ１の旋回制御は、監視者の首が正面位置から動いた場合のみ行うものとする。
上述した［方法２−１］の利点は、首の微量な動きで監視カメラ１を大きく旋回制御できることである。
【００５３】
［方法２−２］では、監視者の首の回転量（回転割合）を、監視カメラ１の旋回角速度に等価変換して旋回制御する。
この場合、水平方向の旋回制御角速度ωH、垂直方向の旋回制御角速度ωVは、定数Ωを用いて以下の式により算出できる。
ωH＝Ω×（ｚ／ｘ）
ωV＝Ω×（ｙ／√（ｘ2＋ｙ2））
【００５４】
監視者が首を振った際に、システム管理サーバ８は、ωH、ωVの角速度で旋回させる制御信号を監視カメラ１に送信することで、監視者が首を動かした方向に監視カメラ１を旋回させることができる。
［方法２−２］によれば、首を回した回転量により旋回角速度が変化するので、大きく首を回すと、その方向に監視カメラ１が速く旋回し、小さく首を回すと、その方向に監視カメラ１が遅く旋回することになる。
なお、［方法２−１］と同様に、監視者が首を正面に戻した場合には監視カメラ１の旋回を停止させ、監視者の首が正面位置から動いた場合のみ監視カメラ１の旋回制御を行うものとする。
【００５５】
［方法２−３］では、監視者の首の角度の単位時間当たりの変化量（首の回転角速度）を、監視カメラ１の旋回角速度に等価変換して旋回制御する。
ここで、ｔ＝ｔ1の時点の首の位置座標を（ｘ1，ｙ1，ｚ1）とすると、その時点の水平方向の旋回制御角度θH1、垂直方向の旋回制御角度θV1は、以下の式により算出できる。
θH1＝ｔａｎ-1（ｚ1／ｘ1）
θV1＝ｔａｎ-1（ｙ1／√（ｘ12＋ｙ12））
【００５６】
同様に、ｔ＝ｔ2の時点の首の位置座標を（ｘ2，ｙ2，ｚ2）とすると、その時点の水平方向の旋回制御角度θH2、垂直方向の旋回制御角度θV2は、以下の式により算出できる。
θH2＝ｔａｎ-1（ｚ2／ｘ2）
θV2＝ｔａｎ-1（ｙ2／√（ｘ22＋ｙ22））
【００５７】
また、ｔ＝ｔ2の時点の水平方向の旋回制御角速度ωH、垂直方向の旋回制御角速度ωVは、定数Ωを用いて以下の式により算出できる。
ωH＝Ω×（θH2−θH1）／Δｔ＝Ω×（θH2−θH1）／（ｔ2−ｔ1）
ωV＝Ω×（θV2−θV1）／Δｔ＝Ω×（θV2−θV1）／（ｔ2−ｔ1）
【００５８】
なお、ｔ＝ｔ2の時点で正面位置以外の位置で首が静止した場合、ωH、ωVは０になるが、ｔ＝ｔ1の時点の角速度での旋回を監視カメラ１に継続させるものとする。また、監視カメラ１の旋回停止は、首を正面に戻したときに行う。また、監視カメラ１の旋回制御は、首が正面位置から別の方向に動いた場合のみ行うものとする。
【００５９】
［方法２−３］によれば、監視者が首を回した方向と速度に応じて監視カメラ１の旋回制御が行われるため、監視者の首の動きに応じて自然に監視カメラ１が旋回することになる。また、首が正面以外の場所で一時的に静止しても旋回制御を引き継ぐため、監視カメラ１の旋回を長時間継続させたい場合に有効である。
【００６０】
次に、手のジェスチャに応じた監視カメラ１の制御について、図１０を参照して説明する。
図１０において、（ａ）は人差し指を上方向に向けた様子、（ｂ）は人差し指を下方向に向けた様子、（ｃ）は人差し指を右方向に向けた様子、（ｄ）は人差し指を左方向に向けた様子、（ｅ）は掌を正面に向けた様子、（ｆ）は掌を前方向又は後方向に移動させた様子、（ｇ）は掌を右方向又は左方向に移動させた様子、（ｈ）は掌を回転させた様子、（ｉ）は握り拳を回した様子である。
【００６１】
画像処理装置７は、ユーザカメラ６（ステレオカメラ）の映像を元に、監視者の手の３次元位置と手の形状を周期的に特定し、その情報をシステム管理サーバ８に送信する。
システム管理サーバ８は、画像処理装置７から受信した手の３次元位置や手の形状の情報に基づいて、監視カメラ１を制御する。すなわち、人差し指が向けられた方向に応じて監視カメラ１を旋回させ、掌が正面に向けられた場合に旋回を停止させる。また、掌が前方向に移動された場合にレンズを望遠制御し、掌が後方向に移動された場合にレンズを広角制御する。また、掌が右方向に移動された場合にレンズのフォーカスを遠方向に制御し、掌が左方向に移動された場合にレンズのフォーカスを近方向に制御する。また、掌が回転された場合にワイパ制御を行い、握り拳が回された場合にその回転回数に応じてプリセット制御を行う。プリセット制御では、例えば、握り拳の回転回数が３回の場合には、プリセット番号＃３に登録されたポイントに向けて監視カメラ１を旋回させる。
【００６２】
次に、映像監視システムの変形例について、図１１を参照して説明する。
図１１に示す映像監視システムは、図１に示した映像監視システムに集音マイク９と音声処理装置１０を追加した構成となっている。
集音マイク９は、ディスプレイ５に表示された監視映像を見る監視者が発した声を集音し、当該集音した音声の信号を音声処理装置１０に出力する。
音声処理装置１０は、集音マイク９により集音された音声を、音声認識処理により予めパターン化した指示情報に置き換えてシステム管理サーバ８へ送信する。
【００６３】
システム管理サーバ８は、画像処理装置７から送信された指示情報と音声処理装置１０から送信された指示情報に基づいて、ディスプレイ５による表示対象の監視映像を撮影している監視カメラ１に対する制御信号を送信する。
本例では、画像処理装置７からの指示情報により特定される制御の態様と、音声処理装置１０からの指示情報により特定される制御の態様とが一致する場合にのみ、その態様の制御を指示する制御信号を送信しており、これにより、ユーザインタフェースの精度向上を図っている。
【００６４】
なお、画像処理装置７からの指示情報により特定される制御の態様と音声処理装置１０からの指示情報により特定される制御の態様とに不一致が生じた場合には、画像処理装置７で誤検知が発生したと判断するようにした。これは、現状、画像処理による検知よりも音声処理による検知の方が検知精度が高いためである。
画像処理装置７で誤検知が発生したと判断した場合には、画像処理装置７における画像処理の方法やパラメータ等について随時修正を行うようにすることで、監視者の目や体の動きに基づくユーザ指示の検知精度を向上させることができる。
【００６５】
以上のように、本発明に係る映像監視システムでは、監視カメラで撮影された監視映像を見ている監視者の目や首の動き等を３次元空間的に把握するために、ステレオカメラで監視者を撮像するようにした。
そして、監視者の目の部分のみを切り出した映像と監視者の上半身を撮像した映像の両方を画像処理することで監視者の指示を捉え、当該指示に応じて監視カメラの制御を行うようにした。すなわち、例えば、監視者の目の部分のみを切り出した映像を画像処理することで、視線の移動（瞳孔の移動）とその移動量を検出し、監視カメラの旋回制御に用いるようにした。また、例えば、監視者全体を撮像した映像を画像処理することで、首の前後移動とその移動量を検出し、監視カメラのズーム制御に用いるようにした。また、例えば、監視者の目の部分のみを切り出した映像を画像処理することで、瞳孔の大きさや目の大きさの時間的な変化を検出し、監視カメラのレンズのズームやフォーカスの制御に用いるようにした。
【００６６】
また、監視者の視線と視線ポインタの位置の整合性を測るために、システム立ち上げ時に初期設定を行うようにした。このとき、システム側からの視線移動の指示（音声アナウンスや画面上の文字）に従って移動した瞳孔の位置をシステムに登録するようにした。また、画面の各ポイント（画面中心、画面右端、画面左端、画面上端、画面下端）に視線を移動させ、その際の瞳孔位置を瞳孔中心点、瞳孔右端点、瞳孔左端点、瞳孔上端点、瞳孔下端点として登録するようにした。
【００６７】
また、監視映像が表示された画面上の視線位置に該当する箇所に表示させる視線ポインタを、監視者の視線による指示に応じて形状を変化させることで、監視者に指示内容をフィードバックするようにした。例えば、監視カメラの旋回指示の場合は視線ポインタ上に旋回方向を示す矢印を重畳表示させ、望遠指示の場合は視線ポインタを大きくし、広角指示の場合は視線ポインタを小さくする。これにより、監視者は自分が指示した内容が的確にシステムに反映されたかをリアルタイムで確認することができ、検知に適した目や体の動きを学習することが可能になる。
【００６８】
また、監視者を撮影した映像の画像処理によって監視者の瞳孔の動きを検出し、この検出結果に応じて監視カメラの旋回制御を行うようにした。すなわち、瞳孔の位置の時間的な変化に基づいて瞳孔の移動方向を特定し、瞳孔の移動方向に対応する方向へ監視カメラを旋回させるようにした。このとき、例えば、中心から移動した瞳孔の位置ベクトルと初期設定で登録された基準の瞳孔位置とに基づいて瞳孔の移動量（移動割合）を算出し、この算出値を監視カメラの旋回移動量（移動割合）または旋回角速度に等価変換するようにした。また、例えば、瞳孔の位置の単位時間あたりの変化量（瞳孔の移動速度）を算出し、この算出値を監視カメラの旋回角速度に等価変換するようにした。
【００６９】
また、監視者を撮影した映像の画像処理によって監視者の目または瞳孔の大きさの変化を検出し、この検出結果に応じて監視カメラのレンズのズームやフォーカスの制御を行うようにした。すなわち、監視者が画面の中の特定ポイントを注目した時に瞳孔が開く動きを応用し、例えば、通常状態（初期設定の状態）の大きさから目や瞳孔が大きく変化した場合に、レンズの望遠制御を行うようにした。また、ピントが合っていない対象物を見た時に目を細める動きを応用し、例えば、目全体の大きさが小さくなるように変化した場合（目を細めた場合）に、視線ポインタが指し示す対象物にフォーカスが合うようにオートフォーカスを動作させるようにした。
【００７０】
また、ステレオカメラで監視者の上半身を撮像した２つの映像を画像処理することで監視者の頭部の３次元位置の動きを検出し、この検出結果に応じて監視カメラのレンズのズームの制御を行うようにした。すなわち、監視者が頭部を前方向に動かした場合にレンズを望遠制御し、逆に頭部を後方向に動かした場合にレンズを広角制御するようにした。
【００７１】
また、加速度センサ及びジャイロセンサを備えたメガネディスプレイを監視者の頭部に装着させ、メガネディスプレイで監視者の首振り角度や首振り速度の情報を検出し、この検出結果に応じて監視カメラの旋回制御を行うようにした。すなわち、首の角度の時間的な変化に基づいて首の回転方向を特定し、首の回転方向にに対応する方向へ監視カメラを旋回させるようにした。このとき、例えば、中心から移動した首の角度と初期設定で登録された基準の首角度とに基づいて首の移動量（移動割合）を算出し、この算出値を監視カメラの旋回移動量（移動割合）または旋回角速度に等価変換するようにした。また、例えば、首の角度の単位時間当たりの変化量（首の回転角速度）を算出し、この算出値を監視カメラの旋回角速度に等価変換するようにした。
【００７２】
また、ステレオカメラにより撮像された監視者の手の映像を画像処理することで手の形状と３次元位置を検出し、この検出結果に応じて監視カメラの制御を行うようにした。すなわち、例えば、指の示す方向を監視カメラの旋回動作指示、手の前後運動をズームの望遠・広角動作指示、手の回転運動をワイパ動作指示やプリセット動作指示、手の左右運動をカメラ選択指示として認識し、監視カメラの制御を行うようにした。
【００７３】
また、集音マイクと音声処理装置を追加し、集音マイクで得た監視者の音声から音声処理装置で検知した指示（監視者の声による指示）を併用することで、画像処理装置で検知した指示（視線・首振り・ジェスチャによる指示）の検知精度を向上させるようにした。
また、画像処理装置での検知結果と音声処理装置での検知結果に不一致が生じて画像処理装置が誤検知したことが判明した場合、画像処理装置における画像処理の方法やパラメータについて随時修正を繰り返すフィードバック処理を行うようにすることで、画像処理装置による検知精度を向上させるようにした。
【００７４】
このような構成により、視線移動、首振り（左右回転）、手のジェスチャ等の動作を監視カメラの旋回制御等の映像監視システムの各種オペレーション（操作）に対応させることで、監視者の視線を監視映像中の監視対象物に指向させた状態で、監視者の要求する映像を迅速に提供することが可能となる。特に、逃げる侵入者を追尾したり、複数の対象物を同時に追尾したりする場合のように、操作が煩雑な状況になるほど有効である。
また、監視カメラの旋回操作の他に、レンズ操作、ワイパ操作、カメラ選択等の各種操作に適用することで、監視者は少ない動作で映像監視システムのオペレーションに必要な種々の指示を行うことが可能とある。
また、これらの動作による指示と声による指示とを連動させることで、より精度の高いユーザインタフェースを実現することが可能である。
【００７５】
ここで、本例の映像監視システムでは、監視カメラ１が本発明に係る第１のカメラに対応し、ディスプレイ５が本発明に係る表示装置に対応し、ユーザカメラ６が本発明に係る第２のカメラに対応し、画像処理装置７が本発明に係る検出手段に対応し、システム管理サーバ８が本発明に係る制御手段に対応している。
【００７６】
なお、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記憶する記憶媒体などとして提供することも可能である。
【産業上の利用可能性】
【００７７】
本発明は、カメラ撮影された映像を見る者がカメラ制御を行う種々の形式の映像監視システムに適用することができる。
【符号の説明】
【００７８】
１：監視カメラ、  ２：ＩＰエンコーダ、  ３：ＩＰネットワーク網、  ４：操作端末、  ５：ディスプレイ、  ６：ユーザカメラ、  ７：画像処理装置、  ８：システム管理サーバ、  ９：集音マイク、  １０：音声処理装置
【図１】
2015065514.tif 000003
【図２】
2015065514.tif 000004
【図３】
2015065514.tif 000005
【図４】
2015065514.tif 000006
【図５】
2015065514.tif 000007
【図６】
2015065514.tif 000008
【図７】
2015065514.tif 000009
【図８】
2015065514.tif 000010
【図９】
2015065514.tif 000011
【図１０】
2015065514.tif 000012
【図１１】
2015065514.tif 000013