(57)【要約】自動ビデオ追尾システムにおいてターゲットを選択する方法である。この方法は、追尾されるべきターゲットをもつシーンのビデオ画像データを表示するステップと、ビデオ画像データをフリーズさせて、そのフレームを表示するステップと、ビデオ画像データのフレームにおいて所望のターゲットを選択するステップとを含む。さらに、自動ビデオ追尾システムにおいてターゲットを選択する装置と、上記方法及び装置を使用する自動ビデオ追尾システムとが提供される。
2004519956.tif 000002
【特許請求の範囲】
【請求項１】
自動ビデオ追尾システムにおいてターゲットを選択する方法であって、
追尾されるべきターゲットをもつシーンのビデオ画像データを表示するステップと、
前記ビデオ画像データをフリーズさせて、そのフレームを表示するステップと、
前記ビデオ画像データの前記フレームにおいて所望のターゲットを選択するステップと
を有する方法。
【請求項２】
前記選択するステップの後に、前記ビデオ画像データをフリーズ解除させるステップと、
前記フリーズ解除されたビデオ画像データにおいて、前記選択された所望のターゲットを追尾するステップと
をさらに有する、請求項１に記載の方法。
【請求項３】
前記選択するステップが、入力デバイスを用いて前記所望のターゲットの少なくとも一部のまわりの形状を描画することを含む、請求項１に記載の方法。
【請求項４】
前記入力デバイスがコンピュータマウスであり、前記形状が矩形である、請求項３に記載の方法。
【請求項５】
前記選択するステップは、入力デバイスを用いて前記所望のターゲットがある領域を指し示すことを含む、請求項１に記載の方法。
【請求項６】
前記入力デバイスがコンピュータマウスであり、前記指し示すステップが前記領域上でクリックすることを含む、請求項５に記載の方法。
【請求項７】
自動ビデオ追尾システムにおいてターゲットを選択する装置であって、
追尾されるべき所望のターゲットをもつシーンのビデオ画像データを供給するカメラと、
前記ビデオ画像データを表示するディスプレイと、
前記ビデオ画像データをフリーズさせて、そのフレームを表示する手段と、
前記ビデオ画像データの前記フレームにおいて所望のターゲットを選択する入力デバイスと
を有する装置。
【請求項８】
前記所望のターゲットが選択された後に、前記ビデオ画像データをフリーズ解除させる手段と、
前記フリーズ解除されたビデオ画像データにおいて、前記選択された所望のターゲットを追尾するために、前記カメラを制御するコントローラをもつ自動ビデオ追尾システムと
をさらに有する、請求項７に記載の装置。
【請求項９】
前記入力デバイスが、前記所望のターゲットの少なくとも一部のまわりの形状を描画する手段を有する、請求項７に記載の装置。
【請求項１０】
前記入力デバイスがコンピュータマウスであり、前記形状が矩形である、請求項９に記載の装置。
【請求項１１】
前記入力デバイスは、前記所望のターゲットがある領域を指し示す手段を有する、請求項７に記載の装置。
【請求項１２】
前記入力デバイスがコンピュータマウスであり、前記指し示す手段が前記領域上でクリックすることを含む、請求項１１に記載の装置。
【請求項１３】
ビデオ追尾システムであって、
追尾されるべき所望のターゲットをもつシーンのビデオ画像データを供給するカメラと、
前記ビデオ画像データを表示するディスプレイと、
前記ビデオ画像データをフリーズさせて、そのフレームを表示する手段と、
前記ビデオ画像データの前記フレームにおいて前記所望のターゲットを選択する入力デバイスと、
前記所望のターゲットが選択された後に、前記ビデオ画像データをフリーズ解除させる手段と、
前記フリーズ解除されたビデオ画像データにおいて前記選択された所望のターゲットを追尾するために、前記カメラを制御するコントローラと
を有するビデオ追尾システム。
【請求項１４】
前記入力デバイスが、前記所望のターゲットの少なくとも一部のまわりの形状を描画する手段を有する、請求項１３に記載のビデオ追尾システム。
【請求項１５】
前記入力デバイスがコンピュータマウスであり、前記形状が矩形である、請求項１４に記載のビデオ追尾システム。
【請求項１６】
前記入力デバイスは、前記所望のターゲットがある領域を指し示す手段を有する、請求項１３に記載のビデオ追尾システム。
【請求項１７】
前記入力デバイスがコンピュータマウスであり、前記指し示す手段が前記領域上でクリックすることを含む、請求項１６に記載のビデオ追尾システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般にビデオ追尾システムに関し、より具体的には、自動ビデオ追尾システムにおいてターゲットを選択する方法に関する。
【０００２】
【従来の技術】
本開示の目的に関して、自動追尾とは、カメラビューを指定された移動中のターゲット上の中央に置き続けるために、可動ＰＴＺカメラのパン、チルト及びズーム（ＰＴＺ）モータを自動制御することとして定義されている。定義された自動追尾は、監視及びセキュリティモニタリングのような多数の異なる用途領域に使用されている。この領域において、ターゲットは普通は人間である。
【０００３】
自動追尾システムは、通常、幾つかのパーツ、ターゲット選択、モデル生成、及びカメラ制御を有する。ターゲットは、追尾用に選択される必要がある。この選択は、オペレータによって、さもなければ、自動動き探知モジュール又は他の侵入者探知システムによって成され得る。追尾システムがその後の画像においてターゲットを見つけることを可能にするために、当該ターゲットの外観の内部「モデル」が必要である。視野の中央にターゲットを保つようにカメラを動かすやり方を決定するために、カメラ動き制御モデルが必要である。
【０００４】
【発明が解決しようとする課題】
本開示は、ターゲット選択の問題に関する。ビデオシーンにおける潜在的な追尾候補者（すなわち所望のターゲット）の識別は、通常、自動追尾システムの機能の一部ではない。例えば、監視の領域において、ターゲット選択は、任意の監視用途の目的物について多くの背景的知識を必要とする。一方の監視用途、例えば小売店において「疑わしく」見えることが、他方の監視用途、例えば駐車場においては疑わしく見えない可能性がある。
【０００５】
例えば、夜間に倉庫をモニタリングするなどの用途によっては、いかなる動きの供給源でも疑わしいことがある。その場合、侵入探知センサ又は動きセンサが、追尾するターゲットを指定するために使われ得る。ターゲットを選択するためのルールが明らかに列挙されるとともに実現され得る限り、より精巧な自動モニタリング装置が、特定の他の用途に関してターゲットを指定するために使われることができる。しかし、一般的には、人間のオペレータがターゲットを追尾システムに指し示すだろうということが予想される。
【０００６】
オペレータが追尾システムのターゲットとしてビデオ画像においてある人物を指定する場合、当該ターゲットに関するオペレータの概念と追尾システムの概念との間には微妙な差がある。オペレータはある人物自身をターゲットとして指定しているけれども、追尾システムは単に画像のある領域をターゲットとして受け入れているだけである。このため、オペレータは、彼がその人物のどんな部分を選ぶのかということに関して過度に細かくこだわることはない。なぜならば、結局のところ、いかなる（人間の）オブザーバにとっても、どの人物を彼又は彼女が選択するのかは明らかであるからである。さらに、追尾システムは、「厳密に」どんな画像領域をオペレータが選択したのかに基づいて、ターゲットモデルを形成するだろう。上記システムは、所望のターゲットに関する個別の情報をもっていないので、教えられたこと以上に一般化することは不可能である。オペレータは動いているターゲットを選択しているので、したがって、彼又は彼女が間違ったターゲット、ターゲットの一部、又は可能性として人が居ない空間さえ選択する可能性があるという更なる問題が生じる。
【０００７】
したがって、本発明の目的は、従来技術のビデオ追尾システムに伴う問題を解決する、ビデオ追尾システムにおいてターゲットを選択する方法及び装置を提供することにある。
【０００８】
【課題を解決するための手段】
それゆえに、自動ビデオ追尾システムにおいてターゲットを選択する方法が提供される。この方法は、追尾されるべきターゲットをもつシーンのビデオ画像データを表示するステップと、ビデオ画像データをフリーズさせて、そのフレームを表示するステップと、ビデオ画像データのフレームにおいて所望のターゲットを選択するステップとを有する。好ましくは、この方法はさらに、選択するステップの後に、ビデオ画像データをフリーズ解除させるステップと、フリーズ解除されたビデオ画像データにおいて選択された所望のターゲットを追尾するステップとを有する。
【０００９】
上記選択するステップは、好ましくは、入力デバイス、例えばコンピュータマウスを用いて、所望のターゲットの少なくとも一部のまわりの形状、例えば矩形を描画することを含む。他の選択肢として、上記選択するステップは、入力デバイスを用いて所望のターゲットがある領域を指し示すこと、例えば、コンピュータマウスを用いて当該領域上でクリックすることを含む。
【００１０】
さらに、自動ビデオ追尾システムにおいてターゲットを選択する装置が提供される。この装置は、追尾されるべき所望のターゲットをもつシーンのビデオ画像データを供給するカメラと、ビデオ画像データを表示するディスプレイと、ビデオ画像データをフリーズさせて、そのフレームを表示する手段と、ビデオ画像データのフレームにおいて所望のターゲットを選択する入力デバイスとを有する。好ましくは、この装置はさらに、所望のターゲットが選択された後に、ビデオ画像データをフリーズ解除させる手段と、フリーズ解除されたビデオ画像データにおいて選択された所望のターゲットを追尾するために、カメラを制御するコントローラをもつ自動ビデオ追尾システムとを有する。
【００１１】
上記入力デバイスは、好ましくは、所望のターゲットの少なくとも一部のまわりの形状、例えば矩形を描画する手段を有する。他の選択肢として、この入力デバイスは、所望のターゲットがある領域を指し示す、例えば、当該領域上でクリックすることによって指し示す手段を有する。好ましくは、この入力デバイスはコンピュータマウスである。
【００１２】
さらに、ビデオ追尾システムであって、追尾されるべき所望のターゲットをもつシーンのビデオ画像データを供給するカメラと、ビデオ画像データを表示するディスプレイと、ビデオ画像データをフリーズさせて、そのフレームを表示する手段と、ビデオ画像データのフレームにおいて所望のターゲットを選択する入力デバイスと、所望のターゲットが選択された後に、ビデオ画像データをフリーズ解除させる手段と、フリーズ解除されたビデオ画像データにおいて選択された所望のターゲットを追尾するために、カメラを制御するコントローラとを有するビデオ追尾システムが提供される。
【００１３】
好ましくは、上記入力デバイスは、所望のターゲットの少なくとも一部のまわりの形状、例えば矩形を描画する手段を有する。他の選択肢として、この入力デバイスは、所望のターゲットがある領域を指し示す、例えば、該領域上でクリックすることによって指し示す手段を有する。好ましくは、この入力デバイスはコンピュータマウスである。
【００１４】
本発明の装置及び方法のこれらの及び他の特徴、態様及び利点は、以下の説明、添付の特許請求の範囲、及び添付の図面を参照してより明瞭に理解されるだろう。
【００１５】
【発明の実施の形態】
本発明は、ビデオ追尾システムの数多くのタイプ及び種々のタイプに対して応用可能であるけれども、とりわけセキュリティシステムの環境に役立つことが分かっている。したがって、本発明の適用性をセキュリティシステムに限定することなく、本発明はこのような環境において説明されるだろう。当業者であれば、本発明の方法及び装置は、テレビ会議及び民生用デバイスのためのマルチノードの（ｍｕｌｔｉ−ｎｏｄａｌ）インターフェースのような領域においても有用性を有することを理解するであろう。
【００１６】
図１を参照すると、参照符号１００によって概して示される本発明のビデオ追尾システムの好ましい実現が例示されている。この装置１００は、追尾されるべき所望のターゲット１０６をもつシーン１０４のビデオ画像データを供給するためのカメラ１０２を有している。カメラ１０２は、好ましくは、該カメラ１０２のパン（Ｐａｎ）、チルト（Ｔｉｌｔ）及びズーム（Ｚｏｏｍ）を制御するためのＰＴＺモータ１０８を備えるＰＴＺカメラである。このようなカメラ及び自身の制御用のモータは、当該技術において良く知られている。
【００１７】
この装置１００はさらに、カメラ１０２からのシーン１０４のビデオ画像データを表示するためのディスプレイ、例えばコンピュータモニタ１１０を含んでいる。コンピュータモニタのディスプレイは、本願明細書において参照符号１０４ａによって概して示される。ビデオ画像データにおいて所望のターゲット１０６ａを選択するために、入力デバイスが用いられている。参照符号１０６は、本願明細書において実際のターゲットを指し示すために用いられ、参照符号１０６ａは、モニタ１１０上に表示されるターゲットの画像を指し示す。入力デバイスは、好ましくはコンピュータプロセッサ１１４に接続されるコンピュータマウス１１２である。しかし、ビデオ画像ディスプレイにおいてターゲットを選択することが可能であればいかなる入力デバイスでも、本発明の範囲又は趣旨から逸脱することなく利用されることができる。こうした他の入力デバイスは、タッチパッド、タッチスクリーン、タッチペン、又はコンピュータ１１４に接続されるキーボード１１３であり得る。コンピュータマウス１１２は、好ましくは、ターゲット１０６ａの少なくとも一部のまわりの形状を描画することによって、ビデオ画像ディスプレイの当該ターゲットを指し示している。この形状は矩形であることが好ましいけれども、楕円形のような他のいかなる形状が用いられることも可能である。他の選択肢として、ターゲットを選択するための他の方法、例えば、ビデオ画像ディスプレイにおいてターゲット１０６ａの領域上で単にクリックする方法、及び従来技術で良く知られている領域を満たすアルゴリズム（ｒｅｇｉｏｎ−ｆｉｌｌｉｎｇ ａｌｇｏｒｉｔｈｍ）を使用してターゲットの位置を突き止める方法が利用されることも可能である。
【００１８】
いったんオペレータがターゲット１０６ａを選択すると、追尾システム１１６は、ビデオ画像データの連続フレームにおいてターゲット１０６ａの位置を突き止めるために使用され得るターゲット１０６ａのモデルを生成する。このような追尾システムは従来技術において良く知られている。図１では別々に示されているけれども、追尾システム１１６は、コンピュータプロセッサ１１４の周辺デバイス（図示略）に内蔵されるソフトウェアによって実現されることが好ましい。
【００１９】
通常は、ターゲット１０６ａを背景シーンと区別するか、又はターゲット１０６ａを他のふさいでいる（ｏｃｃｌｕｄｉｎｇ）ターゲットと区別するという、上記モデルが用いられる２つの「相互接続される」態様がある。このモデルはビデオ画像から収集されているので、外観についての情報を含むことしかできないことは明らかである。このことは、外観制約と称されている、自動追尾の振る舞いを制限する最も重要な制約を引き起こす。一般的には、ターゲットは、自身の外観により他の潜在的なターゲットと自身が区別される場合にのみ、首尾よく追尾されることができる。言い換えると、追尾装置（ｔｒａｃｋｅｒ）が動作している一種の視覚的環境の範囲内において、ターゲットが自身の外観について何かユニークなものをもっていない場合、そのときは当該ターゲットに関してユニークな「モデル」を構築することは不可能である。
【００２０】
いったんターゲット１０６ａのモデルが生成されると、コントローラ１１８は、ＰＴＺモータ１０８を制御して、選択されたターゲット１０６をカメラ１０２の視野の中央に置き続けるようにカメラを動かすことを、追尾システムによって命令される。このようなコントローラも従来技術において良く知られている。コントローラ１１８は、追尾システム１１６と同様に、コンピュータ１１４の周辺デバイスに内蔵されるソフトウェアによって実現されることが好ましい。従来技術において広く用いられている、カメラ１０２を制御するための２つの一般的なアプローチは、ターゲット１０６を中央に置き続けるようにカメラ１０２が時々動かされる不連続アプローチと、ターゲット１０６を連続的に中央に置き続けるようにカメラ１０２が動かされる連続アプローチとを含んでいる。
【００２１】
カメラ１０２を制御するためにどちらのアプローチが使われたとしても、その結果はコントローラ１１８に送られ、それにより、ターゲット１０６をカメラ１０２の視野の中央に置き続けるために必要なカメラの動きの量が決定される。コントローラ１１８は、ターゲット１０６をカメラ１０２の視野の中央に置き続けるようにとの命令を実行するために、カメラ１０２のＰＴＺモータ１０８に適切な信号を出力する。このようなシステムは従来技術において良く知られている。
【００２２】
ターゲットを選択するための本装置の更なる態様が、図２を参照して以下に説明されるだろう。図２は、図１のモニタディスプレイ１０４ａをより詳細に示している。メインビデオディスプレイ２００と称されている、ビデオ画像ディスプレイの一部は、カメラ１０２からのビデオ画像データを表示する。
【００２３】
ターゲット１０６ａは、上記に説明されたようにメインビデオディスプレイ２００において選択される。ただし、ターゲット１０６ａの適正な選択を確実にするために、オペレータは、ターゲット１０６ａを選択するのに先立って、ビデオ画像データをフリーズ（ｆｒｅｅｚｅ）させて、そのフレームをメインビデオディスプレイ部２００に表示するオプションを持つ。ビデオ画像データは、多くの手段によってフリーズされることができるが、モニタディスプレイ１０４ａに設けられるフリーズボタン２０２をクリックすることによってフリーズされることが好ましい。他の選択肢として、オペレータは、ビデオをフリーズさせるためにメインビデオディスプレイ２００上でクリックすることも可能である。
【００２４】
メインビデオディスプレイ２００をフリーズさせた後に、オペレータは上述されたようにターゲット１０６ａを選択すること、 好ましくはターゲット１０６ａの少なくとも一部のまわりに矩形２０４を描画することによって選択することができる。好ましくは、モニタディスプレイ１０４ａは、選択されたターゲット１０６ａを表示するターゲットディスプレイ２０６も含んでいる。通常のマイクロソフト社のＷｉｎｄｏｗｓ（Ｒ）用アプリケーションでは、マウスポインタをターゲット領域の右上に置いて右クリックし、右ボタンを押し下げたままの状態でマウスポインタをターゲット領域の左下の方へ動かしてから、右マウスボタンを放すことによって、矩形２０４が描画される。ターゲット領域（矩形２０４）を選択する際、オペレータは可能な限り背景部をほとんど含まないように努力するべきである。上記ボタンが放されると、矩形２０４はメインビデオディスプレイ２００上のターゲット領域のまわりに描画され、当該ターゲットのまわりの画像領域はターゲットディスプレイ２０６にコピーされるだろう。
【００２５】
それゆえに、オペレータが選択されたターゲットに満足しないならば、彼又は彼女は別のターゲットを選択することができる。満足の行くターゲット１０６ａが選択された後に、オペレータは、モニタディスプレイ１０４ａに設けられた別のボタンを用いることによって、又は好ましくはボタン２０２を用いることによって、メインビデオディスプレイ２００をフリーズ解除（ｕｎｆｒｅｅｚｅ）させる。その後に追尾システムは、満足の行くターゲットが選択された後に自動的に選択されたターゲットを追尾するか、又は追尾システム１１６に当該ターゲットを指し示すことによって、例えばモニタディスプレイ１０４ａに設けられるボタン２０８によって手動で選択されたターゲットを追尾する。
【００２６】
上述されたように、ターゲット１０６ａが選択されるとき、そのターゲット１０６ａの外観を表すためにコンピュータモデルが構築される。ターゲット１０６ａを追尾する間、追尾装置がターゲットモデルとマッチする画像の一部を見つけるときはいつでも、ターゲット１０６ａが当該モデルにどれくらい良好にマッチするのかを表す数字を計算することが好ましい。この数字は、例えば０％マッチから１００％マッチまでの範囲を変動し得る。この場合、１００％はターゲットが当該モデルに完全にマッチすることを指し示す。この値は、信頼値と呼ばれている。信頼レベル２１０を指し示すインジケータが、追尾装置のモニタディスプレイ１０４ａに加えられることができる。さらに、信頼度に関するスレショルド値２１２を指し示すためのコントロールが、モニタディスプレイ１０４ａに加えられることもできる。したがって、万一モデルがこのスレショルド値より低くターゲットにマッチする場合には、追尾装置は、オペレータに警告するか、さもなければ、追尾を停止してターゲットが行方不明になったと考えてもよい。
【００２７】
本発明の好ましい実施例であると考えられるものが図示され且つ説明されてきたけれども、もちろん、形態又は詳細において種々の変更例及び変化態様が本発明の趣旨から逸脱することなく容易に成され得ることが理解されるだろう。したがって、本発明は説明され且つ例示されたものと全く同じ形態に限定されることはなく、むしろ添付の請求項の範囲内に入る可能性のある全ての変更例に及ぶものとして構成されるべきであることが意図されている。
【図面の簡単な説明】
【図１】本発明の好ましいビデオ追尾システムを示す。
【図２】図１のビデオ追尾システムのターゲットを選択するための好ましい方法を示す。
【図１】
2004519956.tif 000003
【図２】
2004519956.tif 000004
【国際公開パンフレット】
2004519956.tif 000005
2004519956.tif 000006
2004519956.tif 000007
2004519956.tif 000008
2004519956.tif 000009
2004519956.tif 000010
2004519956.tif 000011
2004519956.tif 000012
2004519956.tif 000013
2004519956.tif 000014
2004519956.tif 000015
2004519956.tif 000016
2004519956.tif 000017
【国際調査報告】
2004519956.tif 000018
2004519956.tif 000019
2004519956.tif 000020