(57)【要約】【課題】広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる動体検出装置を実現する。【解決手段】広角画像を撮影するマスターカメラ１０１と、広角画像よりも狭い画角の狭角画像を撮影するスレーブカメラ１０７と、広角画像中における動体の位置を検出する動体位置検出部と、動体の位置にもとづいて、広角画像から動体を含む動体画像を切り出す画像切出部１０３と、動体画像から動体の特徴を示す特徴画像情報を作成する特徴画像情報作成部１２５と、特徴画像情報と狭角画像とを照合する照合部１０９とを備えた。【選択図】図１
2005072840.tif 000002
【特許請求の範囲】
【請求項１】
広角画像を撮影する第１の撮影部と、
前記広角画像よりも狭い画角の狭角画像を撮影する第２の撮影部と、
前記広角画像中における動体の位置を検出する動体位置検出部と、
前記動体の位置にもとづいて、前記広角画像から前記動体を含む動体画像を切り出す動体画像切出部と、
前記動体画像から前記動体の特徴を示す特徴画像情報を作成する特徴画像情報作成部と、
前記特徴画像情報と前記狭角画像とを照合する照合部と、
前記照合部の結果にもとづいて、前記広角画像および前記狭角画像を出力する出力部とを備えたことを特徴とする動体検出装置。
【請求項２】
前記動体位置検出部で検出された前記動体の位置にもとづいて、所定時間後における前記広角画像中の前記動体の移動位置を予測する動体位置予測部と、
前記動体位置予測部で予測された前記動体の位置の情報にもとづいて、前記第２の撮影部が前記動体を視野に捉えるように、前記第２の撮影部の位置または方向を移動させる移動部を備えたことを特徴とする請求項１に記載の動体検出装置。
【請求項３】
前記動体が人物であり、
前記動体位置検出部は、前記広角画像中における前記人物の頭部位置を決定し、前記移動位置予測部は、前記所定時間後における前記人物の頭部位置を予測することを特徴とする請求項２に記載の動体検出装置。
【請求項４】
前記第１の撮影部と前記第２の撮影部とを所定の距離に離間させて配置する離間手段を備えたことを特徴とする請求項１から請求項３のいずれか１項に記載の動体検出装置。
【請求項５】
前記特徴画像情報作成部が、前記動体画像から所定の物理量を抽出する物理量抽出部と、複数の前記動体画像から得られる前記所定の物理量から特徴情報を算出する特徴情報算出部を有することを特徴とする請求項１から請求項４までのいずれか１項に記載の動体検出装置。
【請求項６】
前記所定の物理量が前記動体画像の各画素における色彩値であり、前記特徴情報は複数の前記動体画像から得られる前記色彩値の安定性であることを特徴とする請求項５に記載の動体検出装置。
【請求項７】
前記照合部が、前記動体画像に対応する前記狭角画像における領域を照合領域として設定する照合領域設定部と、前記特徴情報を用いて前記照合領域の前記色彩値の照合領域ヒストグラムを算出する照合領域ヒストグラム算出部と、前記特徴情報を用いて前記動体画像の前記色彩値の動体画像ヒストグラムを算出する動体画像ヒストグラム算出部と、前記動体画像ヒストグラムと前記照合領域ヒストグラムとを比較照合するヒストグラム照合部とを有することを特徴とする請求項６に記載の動体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の撮影装置で撮影される画像から動体を検出し追跡するための動体検出装置に関する。
【背景技術】
【０００２】
人物を動体として検出して追跡する動体検出装置は、建物の入口でのビデオ監視システムや駅構内等における歩行者計測システム等、様々な用途に広く用いられている。
【０００３】
図１５は、このような従来の動体検出装置の構成の一例を示すブロック図である。従来の動体検出装置１１００においては、カメラ１１０１において撮影されたビデオ画像がフレーム毎にビデオメモリ１１０２に記憶される。各フレームは、ピーク検出部１１０３で処理されて、物体の輪郭（エッジ）の極大位置を特定することにより、フレーム中で極大位置を含む領域を人物領域として特定する。
【０００４】
次に、ピーク検出部１１０３で特定された人物領域が、ピーク追跡部１１０４によって複数の連続したフレームにわたって追跡される。識別部１１０５は、移動する人物領域の軌跡にもとづいて、その動き方の違いを利用して人物と他の動体とを識別する。そしてカウンタ１１０６が求められる人物の数を出力する（例えば、特許文献１を参照。）。
【特許文献１】特開平１−１７５６９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような従来の動体検出装置においては、動体検出装置に搭載されるカメラは１台であったので、例えば広角視野のカメラを用いた場合にはフレーム中の探知された人物は小さく撮影されてしまい、人相の確認や顔認証等の後処理を行うことが難しかった。逆に、視野の狭い狭角の望遠レンズを搭載したカメラを用いた場合には、拡大された解像度の高い人物の画像を得ることができるが、人物の追跡はカメラの画角内、つまり狭い視野領域内に限定されるので、広域にわたる人物の検出や追跡は難しかった。
【０００６】
本発明はこのような課題に鑑みてなされたもので、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる動体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような課題を解決するために、本発明の動体検出装置は、広角画像を撮影する第１の撮影部と、広角画像よりも狭い画角の狭角画像を撮影する第２の撮影部と、広角画像中における動体の位置を検出する動体位置検出部と、動体の位置にもとづいて、広角画像から動体を含む動体画像を切り出す動体画像切出部と、動体画像から動体の特徴を示す特徴画像情報を作成する特徴画像情報作成部と、特徴画像情報と狭角画像とを照合する照合部と、照合部の結果にもとづいて、広角画像および狭角画像を出力する出力部とを備えたことを特徴としている。
【０００８】
このような構成により、広角画像と狭角画像とを照合して出力することができ、広角画像で撮影された動体と、対応する狭角画像で撮影された解像度の高い動体の画像とを同時に出力することができるので、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる。
【０００９】
また、動体位置検出部で検出された動体の位置にもとづいて、所定時間後における広角画像中の動体の移動位置を予測する動体位置予測部と、動体位置予測部で予測された動体の位置の情報にもとづいて、第２の撮影部が動体を視野に捉えるように、第２の撮影部の位置または方向を移動させる移動部を備えた構成であってもよい。
【００１０】
このような構成により、広角画像中における動体の位置を予測して第２の撮影部の位置または方向を移動させ、動体の拡大画像を得ることができる。
【００１１】
また、動体が人物であり、動体位置検出部は、広角画像中における人物の頭部位置を決定し、移動位置予測部は、所定時間後における人物の頭部位置を予測する構成であってもよい。
【００１２】
このような構成によれば、検出対象となる動体が人物である場合に適した構成を実現できる。
【００１３】
また、第１の撮影部と第２の撮影部とを所定の距離に離間させて配置する離間手段を備えた構成であってもよい。
【００１４】
このような構成によれば、広角画像において動体の数と狭角画像における動体の数とが一致するとは限らないので、真の動体の数を確認することができる。
【００１５】
さらに、特徴画像情報作成部が、動体画像から所定の物理量を抽出する物理量抽出部と、複数の動体画像から得られる所定の物理量から特徴情報を算出する特徴情報算出部を有する構成であってもよい。
【００１６】
このような構成によれば、動体画像から所定の物理量を抽出して、複数の物理量から特徴情報を算出するので、より確実な照合を行うことができる。
【００１７】
また、所定の物理量が動体画像の各画素における色彩値であり、特徴情報は複数の動体画像から得られる色彩値の安定性である構成であってもよい。
【００１８】
このような構成によれば、カラー画像を用いて動体を特定する際に有効な構成を実現できる。
【００１９】
さらに、照合部が、動体画像に対応する狭角画像における領域を照合領域として設定する照合領域設定部と、特徴情報を用いて照合領域の色彩値の照合領域ヒストグラムを算出する照合領域ヒストグラム算出部と、特徴情報を用いて動体画像の色彩値の動体画像ヒストグラムを算出する動体画像ヒストグラム算出部と、動体画像ヒストグラムと照合領域ヒストグラムとを比較照合するヒストグラム照合部とを有する構成であってもよい。
【００２０】
このような構成によれば、狭角画像における動体の含まれる領域をさらに拡大した照合領域と動体画像とを比較照合できるので、より高い精度での照合が可能となる。また、より拡大された高解像度な動体の画像を出力、または表示することができる。
【発明の効果】
【００２１】
以上述べたように、本発明の動体検出装置によれば、広角画像を撮影するマスターカメラと狭角画像を撮影するスレーブカメラとを併用する構成により、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２３】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における動体検出装置１の構成を示すブロック図である。
【００２４】
図１に示したように、本発明の第１の実施の形態における動体検出装置１は、広角画像を撮影するマスターカメラ１０１、マスターカメラ１０１で撮影された広角画像を記憶する第１のビデオメモリ１０２、広角画像よりも狭い画角の狭角画像を撮影するスレーブカメラ１０７、スレーブカメラ１０７によって撮影された画像を記憶する第２のビデオメモリ１０８、マスターカメラ１０１とスレーブカメラ１０７とを離間させるための離間手段１１１、マスターカメラ１０１で撮影された画像中における動体の位置を示す位置情報を決定して動体画像を切り出す画像切出部１０３、後述する方法で位置情報から動体の特徴テンプレート情報を作成する特徴画像情報作成部１２５、動体の位置情報および特徴テンプレート情報を記憶する記憶部１０４、広角画像における動体の移動すべき位置を予測する移動位置予測部１０５、移動位置予測部１０５によって予測された動体の移動先位置に応じて、狭角画像の中に人物を視野に捉えるようにスレーブカメラ１０７を移動させる移動部１０６、狭角画像の中の動体と広角画像から抽出された動体との比較照合を行う照合部１０９、ならびに、広角画像および狭角画像から抽出された動体の画像や動体の検出結果等を表示する表示部１１０を備えている。
【００２５】
次に、本発明の第１の実施の形態における動体検出装置１の動作について説明する。図２は、本発明の第１の実施の形態における動体検出装置１の動作ステップを説明するための図である。
【００２６】
図２において、動体である人物１００１はマスターカメラ１０１の画角１０４０内を軌跡１００２に沿って動いているものと仮定して説明する。
【００２７】
マスターカメラ１０１は動画像を撮影し、その各フレーム画像（以下、広角画像と記す）１０１０（Ｎ−ｋ〜Ｎ、以下、カッコ内の記号はフレームの順番を示す）は第１のビデオメモリ１０２に順次記憶され、古い画像は消去されて更新される。
【００２８】
まず、画像切出部１０３が、第１のビデオメモリ１０２から広角画像１０１０（Ｎ−ｋ〜Ｎ）の各々のフレーム画像を読み出し、それぞれのフレーム画像において人物の頭部位置１０１１（Ｎ−ｋ〜Ｎ）を位置決めし、それにもとづいて頭部位置１０１１を中心に所定の大きさの画像（以下、人体画像と記す）１０１２（Ｎ−ｋ〜Ｎ）を切り出して出力する（Ｓ１００３）。
【００２９】
特徴画像情報作成部１２５は切り出された人体画像１０１２（Ｎ−ｋ〜Ｎ）から特徴テンプレート情報１０１３を作成する。特徴テンプレート情報１０１３は、頭部位置１０１１（Ｎ−ｋ〜Ｎ）を用いて作成され、記憶部１０４に格納される。特徴テンプレート情報１０１３の作成方法については、後述する（Ｓ１００４）。
【００３０】
移動位置予測部１０５は、広角画像１０１０（Ｎ−ｋ〜Ｎ）において位置決めされた頭部位置１０１１（Ｎ−ｋ〜Ｎ）から次のフレーム画像である広角画像１０１０（Ｎ＋）における頭部位置１０１９を予測する（Ｓ１００５）（以下、この頭部位置を予測頭部位置と記す）。例えば、予測頭部位置１０１９の予測にはＫａｌｍａｎ  ｆｉｌｔｅｒを用いることができる（例えば、参考文献１を参照。）。
【００３１】
参考文献１：Ｍ．  Ｒ．  ＤｏｂｉｅおよびＰ．  Ｈ．  Ｌｅｗｉｓ．“Ｔｈｅ  ａｐｐｌｉｃａｔｉｏｎ  ｏｆ  ａ  Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ｔｏ  ｏｂｊｅｃｔ  ｔｒａｃｋｉｎｇ”１９９２  Ｒｅｓｅａｒｃｈ  Ｊｏｕｒｎａｌ，Ｄｅｐａｒｔｍｅｎｔ  ｏｆ  Ｅｌｅｃｔｒｏｎｉｃｓ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｓｏｕｔｈａｍｐｔｏｎ，Ｐａｇｅｓ  ４５−４７，１９９２．
移動部１０６は、移動位置予測部１０５で予測された予測頭部位置１０１９にもとづいて、スレーブカメラ１０７に人物１００１を含む領域（画角１０４１）を撮影させるためにスレーブカメラ１０７の方向を変更する。予測頭部位置１０１９にもとづいて、例えばルックアップテーブルを用いて得られた、パン−チルト−ズーム信号が移動位置予測部１０５から移動部１０６に送信される（Ｓ１００６）。
【００３２】
スレーブカメラ１０７が所定の位置に移動されると、広角画像１０１０（Ｎ＋）に相当する、マスターカメラ１０１で撮影された新しい広角画像１０２０およびスレーブカメラ１０７で撮影された狭角画像１０１４が、各々第１のビデオメモリ１０２および第２のビデオメモリ１０８から照合部１０９に送られる。
【００３３】
照合部１０９は、まず広角画像１０２０の中で頭部を含む領域を人物領域１０１５として定め、照合のために、記憶部１０４に格納された特徴テンプレート情報１０１３を用いて狭角画像１０１４において、広角画像１０２０の人物領域１０１５に対応する拡大された領域を照合領域１０１６として設定する（Ｓ１００７）。移動位置予測部１０５から出力される予測頭部位置１０１９は、照合部１０９において狭角画像１０１４における照合領域１０１６を設定する際に用いられる。
【００３４】
照合部１０９は、広角画像１０２０における人物領域１０１５と、狭角画像１０１４における照合領域１０１６との間で照合を行い、その結果、領域間の類似関係が高ければ、両者は一致すると判定する（Ｓ１００８）。
【００３５】
表示部１１０は、照合領域１０１６の高解像度な画像１０１８ならびに広角画像１０２０および追跡軌跡１０１７を表示する（Ｓ１００９）。
【００３６】
本発明の第１の実施の形態における動体検出装置１においては、離間手段１１１がスレーブカメラ１０７をマスターカメラ１０１から離間させているので、広角画像１０２０において複数の人物が重なって１つになって見える場合に、その重なりを狭角画像１０１４において知ることができる。この効果について、図３を用いてさらに詳細に説明する。
【００３７】
図３（ａ）は、従来の技術で説明したような、カメラを１台備えた動体検出装置において撮影された広角画像７０５の一例である。図３（ａ）に示したように、広角画像７０５においては、２人の人物７０１、７０２をカメラ７０３によって撮影した場合、互いに重なる。一方、本発明の第１の実施の形態における動体検出装置１によれば、図３（ｂ）に示したように、離間手段１１１がマスターカメラ１０１およびスレーブカメラ１０７を所定の距離７０７離間させているので、狭角画像７０６には、複数の人物７０１、７０２が分離して撮影される。この２つの画像を比較することにより、広角画像７０５に撮影された人物が本当に１人であるのか否かを確認することができる。例えば、以降の処理において、広角画像７０５中の人物をカウントするような場合、撮影された人物が確実に１人であるか否かを知ることは重要である。広角画像７０５において１人であるとカウントされても、狭角画像７０６において複数のカウントがされた場合には、追跡すべき人物の設定等、さらに詳しい処理を行う必要が生じる。
【００３８】
次に、本発明の第１の実施の形態における動体検出装置１の各構成要素について、さらに詳細に説明する。
【００３９】
図４は、本発明の第１の実施の形態における動体検出装置１の画像切出部１０３および特徴画像情報作成部１２５の構成を示すブロック図である。
【００４０】
図４に示したように、第１のビデオメモリ１０２から出力された広角画像１０１０は、まず頭部検出部２０１に送られ、人物の頭部中心の位置、すなわち頭部位置１０１１が検出される。頭部検出部２０１で検出された頭部位置１０１１は、移動位置予測部１０５および人物領域切出部２０２に送られる。
【００４１】
続いて人物領域切出部２０２は、頭部検出部２０１で検出された頭部位置１０１１を中心に人体画像１０１２を切り出す。特徴画像情報作成部１２５は、人物領域切出部２０２において複数の広角画像１０１０（Ｎ−ｋ〜Ｎ）から切り出された人体画像１０１２（Ｎ−ｋ〜Ｎ）を用いて、特徴テンプレート情報１０１３を作り出し、特徴テンプレート情報１０１３は記憶部１０４に記憶される。なお、頭部検出部２０１で検出された頭部位置１０１１または人体画像１０１２の情報は、記憶部１０４に記憶される構成であってもよい。
【００４２】
頭部検出部２０１および人物領域切出部２０２における画像処理方法についてさらに詳細に説明する。図５は、本発明の第１の実施の形態における頭部検出部２０１および人物領域切出部２０２の動作を説明するための図である。図５（ａ）に示したような広角画像５０１から、頭部検出部２０１は、エッジ検出フィルタ（例えばＳｏｂｅｌ、Ｌａｐｌａｃｉａｎ（例えば、参考文献２を参照。））を用いて、図５（ｂ）に示したような２値化されたエッジマップ５０２を算出して、エッジが連続する線をリンクエッジ５０３として検出する。
【００４３】
参考文献２：Ｒ．  Ｈａｒａｌｉｃｋ  ａｎｄ  Ｌ．  Ｓｈａｐｉｒｏ，“Ｃｏｍｐｕｔｅｒ  ａｎｄ  Ｒｏｂｏｔ  Ｖｉｓｉｏｎ”，Ｖｏｌ．  １，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ  Ｐｕｂｌｉｓｈｉｎｇ  Ｃｏｍｐａｎｙ，ｐａｇｅｓ  ３４６−３５１，１９９２．
図５（ｃ）に示したように、頭部検出部２０１は、広角画像５０１における凸型のリンクエッジ５０３の中心位置を頭頂として頭部位置５０５を推定する。
【００４４】
人物領域切出部２０２は、リンクエッジ５０３により規定された最大輝度領域から図５（ｄ）に示したような所定の大きさの画像を切り出し、人体画像５０６とする。
【００４５】
次に、特徴画像情報作成部１２５における画像処理方法の一例を図６に示す。図６は本発明の第１の実施の形態における動体検出装置１の特徴画像情報作成部１２５の動作を説明するための図である。図６（ａ）に示したような、連続する広角画像５０１（Ｎ−２〜Ｎ）において各フレーム毎に頭部検出部２０１が頭部位置５０５（Ｎ−２〜Ｎ）を決定する。人物領域切出部２０２は、それぞれの広角画像５０１（Ｎ−２〜Ｎ）において、各フレーム毎に人体画像５０６（Ｎ−２〜Ｎ）を切り出す。
【００４６】
特徴画像情報作成部１２５は、図６（ｂ）に示したように、人体画像５０６（Ｎ−２〜Ｎ）の頭部位置５０５（Ｎ−２〜Ｎ）が同じ位置になるように重ねあわせることにより、人体画像５０６の各画素（ｘ，ｙ）における色彩を時刻ｔ方向にならべた３次元データ５２０を生成する。３次元データ５２０の各要素は、色彩値Ｃで色の３要素によって次式のようにあらわされる。
【００４７】
【数１】
2005072840.tif 000003
【００４８】
なお、ｒ、ｇ、ｂは各々、赤、緑、青の色要素をあらわす。
【００４９】
この３次元データ５２０から図６（ｃ）に示したような色彩値Ｃの安定性を示す特徴テンプレート情報５１３を作成することができる。特徴テンプレート情報５１３は、〔０，１〕の範囲内の値を持つ２次元関数ｓ（ｘ，ｙ）である。人体画像５０６（Ｎ−２〜Ｎ）は頭部位置５０５（Ｎ−２〜Ｎ）をもとに重ねると、人物の存在しない領域（非人物領域５１４）はｓ（ｘ，ｙ）＝０となる。それ以外の領域は人物領域５１５で、ｓ（ｘ，ｙ）＞０となり、ｓ（ｘ，ｙ）の値が大きくなるに従って、その場所に人物の存在する可能性が高くなる。
【００５０】
なお、この際カメラノイズや人物の動きのために画素の色彩値がフレーム毎に変化するため、ｓ（ｘ，ｙ）は変化する。ｓ（ｘ，ｙ）が、１．０、すなわち最大値となった場合には、その場所に人物がいる可能性が非常に高いことを示す。
【００５１】
人体画像５０６（Ｎ−２〜Ｎ）のそれぞれにおいて、画素（ｘ，ｙ）が人物領域の場合のｓ（ｘ，ｙ）の値は、次に説明するアルゴリズムによって計算される。
【００５２】
まず、３次元データ５２０を時間軸方向に平均した２次元データ
【００５３】
【数２】
2005072840.tif 000004
【００５４】
を求める。
【００５５】
（数２）は、次式に示すように、ｒ、ｇ、ｂの要素を持っている。
【００５６】
【数３】
2005072840.tif 000005
【００５７】
２次元データにする前に、図７に示すような時空間フィルタ５２１を施すことにより、３次元データＣ（ｃ，ｙ，ｔ）を平滑化した値μ（ｘ，ｙ，ｔ）を求める。図７に示す時空間フィルタ５２１では、フレームの人体画像５０６（Ｎ）のμ（ｘ，ｙ，ｔ）を求める際、ｘｙ方向または時間軸ｔ方向に近いものほど重み付けを大きくしてμ（ｘ，ｙ，ｔ）の値を求める様子を示している。図７では、ブロックの色が濃いほど重み付けが大きいことを示している。
【００５８】
次式は時空間フィルタ５２１によって、３次元データ５２０を平滑化する方法を示している。
【００５９】
【数４】
2005072840.tif 000006
【００６０】
次式は、平滑化した３次元データ５２０を時間軸方向に平均して、（数２）を求める方法を示している。
【００６１】
【数５】
2005072840.tif 000007
【００６２】
ｗ（ｘ，ｙ，ｔ）はガウス関数を示している。ｗ（ｘ，ｙ，ｔ）は、次式に示すように、ｒ、ｇ、ｂの要素で構成されている。
【００６３】
【数６】
2005072840.tif 000008
【００６４】
また、これらの要素は次式で示すものである。
【００６５】
【数７】
2005072840.tif 000009
【００６６】
このとき、σx，σy，σtは、分散をあらわす。
【００６７】
分散σx，σy，σtを求めるために、まず、次式のように各軸方向の平均値ｃx，ｃy，ｃtを求める。
【００６８】
【数８】
2005072840.tif 000010
【００６９】
そして、これらの平均値を用いて、分散σx，σy，σtを次式のように求めることができる。
【００７０】
【数９】
2005072840.tif 000011
【００７１】
ｓ（ｘ，ｙ）の値を求める際には、まず、求めた
【００７２】
【数１０】
2005072840.tif 000012
【００７３】
を用いて、３次元データ５２０の重み付けした分散λr，λg，λbを求める。
【００７４】
【数１１】
2005072840.tif 000013
【００７５】
【数１２】
2005072840.tif 000014
【００７６】
この過程において、
【００７７】
【数１３】
2005072840.tif 000015
【００７８】
を計算し、その最大値をλmaxとする。
【００７９】
この結果、ｓ（ｘ，ｙ）は次式によって求めることができる。
【００８０】
【数１４】
2005072840.tif 000016
【００８１】
次に、本発明の第１の実施の形態における動体検出装置１の記憶部１０４について説明する。図８は本発明の第１の実施の形態における動体検出装置１の記憶部１０４の機能を説明するための図である。記憶部１０４は、特徴画像情報作成部１２５で作成された特徴テンプレート情報３０３の値（例えば〔０，２５５〕の範囲内の値）を保持するための２次元データ格納部３０１、および、特徴テンプレート情報３０３の高さｈおよび幅ｗを記憶するテンプレートサイズ記憶部３０２を有する。記憶部１０４に記憶された情報は照合部１０９に送られる。
【００８２】
次に、本発明の第１の実施の形態における動体検出装置１の照合部１０９について説明する。図９は本発明の第１の実施の形態における動体検出装置１の照合部１０９の動作を説明するための図である。照合部１０９は、広角画像６０１から目標領域６０３を設定する。次に、照合部１０９は、広角画像６０１の目標領域６０３に対応する、狭角画像６０２における拡大された探索範囲６０５を設定する。続いて照合部１０９は、拡大された探索範囲６０５の範囲内でシフトされる照合領域６０４を設定する。設定された照合領域６０４は、シフトしながら特徴テンプレート情報５１３を用いて目標領域６０３と照合される。最も照合結果が良好であった照合領域６０４の位置が出力される。
【００８３】
ここで、照合部１０９の詳細な構成について説明する。図１０は、本発明の第１の実施の形態における動体検出装置１の照合部１０９の構成を示すブロック図である。
【００８４】
なお、以下、図９に示す座標６０６（Ｘｍ，Ｙｍ）、座標６０７（Ｘｓ，Ｙｓ）および座標６０８（ｘ，ｙ）が、それぞれ目標領域６０３、照合領域６０４および特徴テンプレート情報５１３における該当の座標をあらわすとして説明する。
【００８５】
目標領域設定部４０１は目標領域６０３を設定する。目標領域６０３とは、広角画像６０１において移動位置予測部１０５により与えられる、動体が移動すべき位置の近傍を人物領域切出部２０２で切り出された人体画像の占める領域のことをいう。
【００８６】
照合領域設定部４０２は、照合領域６０４を設定する。照合領域６０４の走査輪郭は、拡大率Ｚを用い目標領域６０３の外形を拡大することにより決定される。
【００８７】
【数１５】
2005072840.tif 000017
【００８８】
照合領域６０４は拡大された探索範囲６０５内においてその上下左右にシフトされる。目標領域６０３および照合領域６０４が一旦決められると、それぞれに対応した立体カラーヒストグラム（以下、ＳＣＨと記す）が作られる。ＳＣＨは、下記のように定義された５次元確率密度関数である。
【００８９】
定義：ＳＣＨ（ｘ，ｙ，ｒ，ｇ，ｂ）は画素（ｘ，ｙ）が色彩値（ｒ，ｇ，ｂ）を有する確率。
【００９０】
目標領域ヒストグラム算出部４０３は、第１のビデオメモリ１０２から広角画像６０１中を読みこみ、特徴テンプレート情報５１３における画素（ｘ，ｙ）に対応する目標領域６０３の画素（Ｘｍ，Ｙｍ）を選択する。選択された画素情報は、後述する目標領域ＳＣＨの算出に用いられる。
【００９１】
目標領域ヒストグラム算出部４０３における目標領域ＳＣＨ６２６の算出は、図１１に示されたアルゴリズムにより達成することができる。図１１は、本発明の第１の実施の形態における目標領域ＳＣＨ６２６の算出を説明するための図である。
【００９２】
特徴テンプレート情報５１３の画素６２０（ｘ，ｙ）に対応する、目標領域６０３の画素６２２（Ｘｍ，Ｙｍ）は、次の式を満たすように選択される。
【００９３】
（Ｘｍ，Ｙｍ）＝（ｘ，ｙ）
選択された画素６２２（Ｘｍ，Ｙｍ）が色彩値（ｒ，ｇ，ｂ）を有する場合、ヒストグラム値６２５（ｘ，ｙ，ｒ，ｇ，ｂ）は、下記の式により更新される。
【００９４】
ＳＣＨtarget（ｘ，ｙ，ｒ，ｇ，ｂ）＝ＳＣＨtarget（ｘ，ｙ，ｒ，ｇ，ｂ）＋ｓ（ｘ，ｙ）
なお、ｓ（ｘ，ｙ）は画素（ｘ，ｙ）における安定性の特徴テンプレート情報５１３の値である。
【００９５】
上述の処理が安定性の特徴テンプレート情報５１３上のすべての画素（ｘ，ｙ）について行われる。得られたヒストグラム値６２５は、通常の“ｎｏｎ−ｐａｒａｍｅｔｒｉｃ  ｄｅｎｓｉｔｙ  ｅｓｔｉｍａｔｏｒ（例えば、参考文献３を参照。）”により標準化され、平滑化されて目標領域ＳＣＨ６２６を得ることができる。
【００９６】
参考文献３：Ｂ．Ｗ．  Ｓｉｌｖｅｒｍａｎ．  “Ｄｅｎｓｉｔｙ  Ｅｓｔｉｍａｔｉｏｎ  ｆｏｒ  Ｓｔａｔｉｓｔｉｃｓ  ａｎｄ  Ｄａｔａ  Ａｎａｌｙｓｉｓ”．  Ｃｈａｐｍａｎ  ＆  Ｈａｌｌ，１９８６．
次に、照合領域ヒストグラム算出部４０４は、第２のビデオメモリ１０８から狭角画像６０２を読みこみ、特徴テンプレート情報５１３の画素（ｘ，ｙ）に対応する照合領域６０４における画素（Ｘｓ，Ｙｓ）周辺の領域を選択することにより、照合領域６０４内を反復的にサンプリングする。選択された画素の位置情報は、後述する照合領域ＳＣＨ６３６の算出に用いられる。
【００９７】
照合領域ヒストグラム算出部４０４における照合領域ＳＣＨ６３６の最適化は、図１２に示されたアルゴリズムにより実現することができる。図１２は、本発明の第１の実施の形態における照合領域ＳＣＨ６３６の最適化を説明するための図である。
【００９８】
なお、照合領域ヒストグラム算出部４０４により選択された領域を領域Ｒとあらわすものとする。
【００９９】
領域Ｒは、下記の式により定められる。
【０１００】
【数１６】
2005072840.tif 000018
【０１０１】
なお、Ｚは前述の拡大率Ｚであり、σは（ｚｘ，ｚｙ）を中心とする標準化された２次元立体ガウス加重関数ｈ（ｘs，ｙs）の分散である。
【０１０２】
【数１７】
2005072840.tif 000019
【０１０３】
最適化の過程中、領域Ｒの中心画素には、より大きな加重が行われる。領域Ｒ中の画素６３４（ｘs，ｙs）がカラー（ｒ，ｇ，ｂ）を有する場合、すなわちヒストグラム値６３５は、下記の式により更新される。
【０１０４】
【数１８】
2005072840.tif 000020
【０１０５】
なお、ｓ（ｘ，ｙ）は位置（ｘ，ｙ）における特徴テンプレート情報５１３の値である。
【０１０６】
このような処理は、特徴テンプレート情報５１３上のすべての画素（ｘ，ｙ）に対して反復される。得られたヒストグラムは、通常の“ｎｏｎ−ｐａｒａｍｅｔｒｉｃ  ｄｅｎｓｉｔｙ  ｅｓｔｉｍａｔｏｒ（例えば、参考文献３を参照。）”により標準化され、平滑化されて、照合領域ＳＣＨ６３６を得ることができる。
【０１０７】
次に、ヒストグラム判別部４０５は、目標領域ＳＣＨ６２６と照合領域ＳＣＨ６３６との間の類似性を求めるためにヒストグラムマッチングを行う。マッチングに用いるアルゴリズムの一例は、次に示されている“Ｂａｌｌａｒｄ’ｓ  ｈｉｓｔｏｇｒａｍ  ｉｎｔｅｒｓｅｃｔｉｏｎ（例えば、参考文献４を参照。）”。：
【０１０８】
【数１９】
2005072840.tif 000021
【０１０９】
参考文献４：Ｍ．  Ｊ．  Ｓｗａｉｎ  ａｎｄ  Ｄ．  Ｈ．  Ｂａｌｌａｒｄ．  “Ｃｏｌｏｒ  ｉｎｄｅｘｉｎｇ”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，７（１）．  Ｐａｇｅｓ  １１−３２，１９９１．
ヒストグラム判別部４０５からのマッチング出力値（以下、相関値と記す）は、０（相関なし、すなわち互いのＳＣＨがまったく異なっている）から１（完全相関、すなわち互いのＳＣＨが完全一致する）までの値を有する。
【０１１０】
また、最大出力検出部４０６は、拡大された探索範囲６０５内において、走査輪郭を反復的にシフトさせて設定される複数の照合領域６０４の各々と目標領域６０３との間での相関値の最大値を検出する。最も相関値の高い照合領域６０４およびその画素（Ｘｓ，Ｙｓ）の位置情報が、最大出力検出部４０６から表示部１１０に出力される。
【０１１１】
このような構成により、本発明の第１の実施の形態における動体検出装置によれば、広角画像を撮影できるマスターカメラおよび解像度の高い狭角画像を撮影できるスレーブカメラの２つのカメラを用いることによって、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができる。また、広角画像から抽出された人体等の動体と、狭角画像において対応する領域とをＳＣＨによって照合するので、高い精度での照合が可能である。
【０１１２】
（第２の実施の形態）
次に、本発明の第２の実施の形態における動体検出装置について説明する。
【０１１３】
図１３は本発明の第２の実施の形態における動体検出装置２の構成を示すブロック図である。また、図１４は本発明の第２の実施の形態における動体検出装置２の動作を説明するための図である。なお、説明を簡単にするために、図１３における動体検出装置２の各構成要素について、第１の実施の形態に説明した動体検出装置１の構成要素と同様の構成要素については同じ符号を付し、その説明を省略する。
【０１１４】
図１３に示すように、本発明の第２の実施の形態における動体検出装置２においては、マスターカメラ１０１およびスレーブカメラ１０７は可動プラットフォーム９０４に取り付けられている。可動プラットフォーム９０４の制御は、カメラシステム移動部８０２によって行われている。
【０１１５】
図１４（ａ）に示したように、例えば、移動する人物９０１が軌跡９０７における位置Ａにおいてマスターカメラ１０１の画角９０５内にあるとき、スレーブカメラ１０７は移動部１０６によって移動して人物９０１の拡大された画像を撮影する。
【０１１６】
図１４（ｂ）に示したように、人物９０１が位置Ｂに移動した場合には、スレーブカメラ１０７は移動部１０６によってスレーブカメラ１０７の画角９０６内に人物９０１の画像を撮影するために位置を移動する。
【０１１７】
しかしながら、図１４（ｃ）に示したように、人物９０１がマスターカメラ１０１の画角９０５から外れて位置Ｃにさらに移動した場合には、可動プラットフォーム９０４は、マスターカメラ１０１の画角に人物９０１を捉え続けるように、マスターカメラ１０１を移動させる。このとき、同時にスレーブカメラ１０７は、可動プラットフォーム９０４が動いている間スレーブカメラ１０７の画角９０６内に人物９０１の画像を撮影するように、移動部１０６によって位置を移動する。
【０１１８】
なお、図示しないが、図１３における移動位置予測部１０５は、人物９０１がマスターカメラ１０１の画角９０５から外れつつあるときには、移動する人物９０１をマスターカメラ１０１の画角９０５内に保持するためにカメラシステム移動部８０２にチルト信号またはパン信号またはズーム信号等を出力する構成であってもよい。
【０１１９】
このようにして、本発明の第２の実施の形態における動体検出装置によれば、動体がマスターカメラの画角から外れた位置に移動するような場合にも、可動プラットフォームによってマスターカメラが移動する構成により、第１の実施の形態で説明した動体検出装置と比較しても、さらに広い範囲で動体の検出が可能となる。
【０１２０】
なお、本発明の実施の形態においては、動体として人物を例として示したが、本発明の動体検出装置は検出する動体の種類を限定するものではない。動物や車両等、他のいかなる動体をも同様に検出できることはいうまでもない。
【産業上の利用可能性】
【０１２１】
本発明にかかる動体検出装置を用いれば、マスターカメラとスレーブカメラとを併用する構成により、広域における動体検出と解像度の高い動体の画像の出力とを同時に実現することができるという効果を有し、ビデオカメラ等の撮影装置で撮影される画像から動体を検出し追跡するための動体検出装置等として有用である。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１の実施の形態における動体検出装置の構成を示すブロック図
【図２】本発明の第１の実施の形態における動体検出装置の動作ステップを説明するための図
【図３】本発明の第１の実施の形態における動体検出装置の特徴を説明するための図
【図４】本発明の第１の実施の形態における動体検出装置の画像切出部および特徴画像情報作成部の構成を示すブロック図
【図５】本発明の第１の実施の形態における動体検出装置の頭部検出部および人物領域切出部の動作を説明するための図
【図６】本発明の第１の実施の形態における動体検出装置の特徴画像情報作成部の動作を説明するための図
【図７】本発明の第１の実施の形態における動体検出装置の特徴画像情報作成部での特徴テンプレート情報を作成するための時空間フィルタを説明するための図
【図８】本発明の第１の実施の形態における動体検出装置の記憶部の機能を説明するための図
【図９】本発明の第１の実施の形態における動体検出装置の照合部の動作を説明するための図
【図１０】本発明の第１の実施の形態における動体検出装置の照合部の構成を示すブロック図
【図１１】本発明の第１の実施の形態における動体検出装置の照合部の目標領域ＳＣＨの算出を説明するための図
【図１２】本発明の第１の実施の形態における動体検出装置の照合部の照合領域ＳＣＨの最適化を説明するための図
【図１３】本発明の第２の実施の形態における動体検出装置の構成を示すブロック図
【図１４】本発明の第２の実施の形態における動体検出装置の動作を説明するための図
【図１５】従来の動体検出装置の構成の一例を示すブロック図
【符号の説明】
【０１２３】
１，２    動体検出装置
１０１    マスターカメラ
１０２    第１のビデオメモリ
１０３    画像切出部
１０４    記憶部
１０５    移動位置予測部
１０６    移動部
１０７    スレーブカメラ
１０８    第２のビデオメモリ
１０９    照合部
１１０    表示部
１１１    離間手段
１２５    特徴画像情報作成部
２０１    頭部検出部
２０２    人物領域切出部
３０１    ２次元データ格納部
３０２    テンプレートサイズ記憶部
３０３，５１３，１０１３    特徴テンプレート情報
４０１    目標領域設定部
４０２    照合領域設定部
４０３    目標領域ヒストグラム算出部
４０４    照合領域ヒストグラム算出部
４０５    ヒストグラム判別部
４０６    最大出力検出部
５０１，６０１，７０５，１０１０，１０２０    広角画像
５０２    エッジマップ
５０３    リンクエッジ
５０５，１０１１    頭部位置
５０６，１０１２    人体画像
５１４    非人物領域
５１５，１０１５    人物領域
５２０    ３次元データ
５２１    時空間フィルタ
６０２，７０６，１０１４    狭角画像
６０３    目標領域
６０４，１０１６    照合領域
６０５    拡大された探索範囲
６０６，６０７，６０８    座標
６２０，６２２，６３４    画素
６２５，６３５    ヒストグラム値
６２６    目標領域ＳＣＨ
６３６    照合領域ＳＣＨ
７０１，７０２，９０１，１００１    人物
７０３    カメラ
７０７    （所定の離間）距離
８０２    カメラシステム移動部
９０４    可動プラットフォーム
９０５，１０４０    （マスターカメラの）画角
９０６，１０４１    （スレーブカメラの）画角
９０７，１００２    軌跡
１０１７    追跡軌跡
１０１８    高解像度な画像
１０１９    予測頭部位置
【図１】
2005072840.tif 000022
【図３】
2005072840.tif 000023
【図４】
2005072840.tif 000024
【図５】
2005072840.tif 000025
【図７】
2005072840.tif 000026
【図１０】
2005072840.tif 000027
【図１３】
2005072840.tif 000028
【図１４】
2005072840.tif 000029
【図１５】
2005072840.tif 000030
【図２】
2005072840.tif 000031
【図６】
2005072840.tif 000032
【図８】
2005072840.tif 000033
【図９】
2005072840.tif 000034
【図１１】
2005072840.tif 000035
【図１２】
2005072840.tif 000036