(57)【要約】【課題】より人物の特徴をとらえやすい顔の拡大画像が得られる画像監視装置を提供する。【解決手段】人物の検出と追跡を行ない、人物ごとに顔のズームショットを撮影したか否かを管理し、ズームショットが得られていない人物については顔のズーム撮影を行ない、代表顔画像を得る。一旦ズーム撮影が行なわれた人物でも、より大きな評価値の顔画像が得られると予測される場合には、ズーム撮影を再度行ない、代表顔画像を更新する。より大きな評価値の代表顔画像が得られるかの判定は人物の移動方向から判定する。【選択図】      図１
2005277726.tif 000002
【特許請求の範囲】
【請求項１】
監視領域内の画像を撮影して入力する第１の監視カメラと、
前記監視領域内の画像を撮影して入力する撮影倍率を変更可能な第２の監視カメラと、
前記第１の監視カメラから得られる画像に基づき前記監視領域内の人物を検出し追跡する人物検出追跡手段と、
前記第２の監視カメラから得られる画像に基づき前記監視領域内の人物の顔画像を検出する顔検出手段と、
この顔検出手段により検出された顔画像を評価して評価値を得る顔画像評価手段と、
前記人物検出追跡手段により人物が検出されると、前記顔画像評価手段から得られる評価値があらかじめ設定される第１の閾値よりも大きくなるまで、当該人物の顔画像を拡大撮影するように前記第２の監視カメラを制御する第１の制御手段と、
前記第２の監視カメラによる当該人物の顔画像の拡大撮影が終了したのに基づき、前記顔画像評価手段から得られる評価値があらかじめ設定される第２の閾値よりも小さい人物が前記監視領域内に存在するか否かを判定する第１の判定手段と、
この第１の判定手段による判定の結果、前記顔画像評価手段から得られる評価値があらかじめ設定される第２の閾値よりも小さい人物が前記監視領域内に存在する場合、前記顔画像評価手段から得られる評価値が前記第１の閾値よりも大きくなるまで、当該人物の顔画像を拡大撮影するように前記第２の監視カメラを再度制御する第２の制御手段と、
を具備したことを特徴とする画像監視装置。
【請求項２】
前記第１の監視カメラから得られる画像において、前記人物検出追跡手段により検出され追跡している人物の近傍に前記第２の監視カメラにより拡大撮影された当該人物の顔画像を付加し、かつ、当該人物の移動に応じて当該顔画像の位置を変えて表示する表示手段をさらに具備したことを特徴とする請求項１記載の画像監視装置。
【請求項３】
前記顔検出手段は、前記第２の監視カメラから複数の画像を連続的に受取り、この複数の画像に対しそれぞれ顔画像の検出を行ない、
前記顔画像評価手段は、前記顔検出手段から得られる複数の顔画像に対しそれぞれ評価し、最も高い評価値を評価結果として出力することを特徴とする請求項１記載の画像監視装置。
【請求項４】
前記第１の判定手段による判定の結果、前記顔画像評価手段から得られる評価値があらかじめ設定される第２の閾値よりも小さい人物が前記監視領域内に存在する場合、当該人物はより大きな評価値の顔画像が得られると予測される人物であるか否かを判定する第２の判定手段をさらに具備し、
前記第２の制御手段は、前記第２の判定手段による判定の結果、当該人物はより大きな評価値の顔画像が得られると予測される人物である場合、前記顔画像評価手段から得られる評価値が前記第１の閾値よりも大きくなるまで、当該人物の顔画像を拡大撮影するように前記第２の監視カメラを再度制御することを特徴とする請求項１記載の画像監視装置。
【請求項５】
前記第２の判定手段は、前記第１の監視カメラから得られる画像内における当該人物の移動方向に基づき、当該人物はより大きな評価値の顔画像が得られると予測される人物であるか否かを判定することを特徴とする請求項４記載の画像監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の監視カメラを備え、監視領域内に侵入する人物を検出して追跡しながら監視する画像監視装置に関する。
【背景技術】
【０００２】
この種の画像監視装置は、監視領域を撮影するように設置された監視カメラから画像を取込み、この取込んだ画像を計算機により処理することにより、監視領域内の人物および当該人物の顔を検出し、人物および顔が検出されたときには、表示装置において警報を出力して監視員に報知することで、監視員の画像の見落しを防ぐようにしている。  
また、監視領域内に現れた人物についての情報を、後で参照する目的で、人物およびその顔の画像をハードディスクなどの記憶装置に保存する。
【０００３】
このような画像監視装置に関わる従来技術として、たとえば、特許文献１および特許文献２に開示されているものがある。  
特許文献１の技術は、２つの監視カメラで、１つの監視領域を監視するもので、１つの監視カメラは監視領域全体を撮影する固定視野カメラであり、もう１つの監視カメラは人物のズームショット（拡大画像）を得るためのズームカメラである。固定視野カメラからの画像により監視領域内に侵入した人物を検出した場合に、ズームカメラにより当該人物のズーム撮影（拡大撮影）を行なう。
【０００４】
この特許文献１の目的は、広い監視領域を１つのカメラで撮影すると人物が画面中では小さく、人物の特徴がとらえにくくなるという問題を解決するための発明である。人物をズーム撮影することによリ、人物の特徴をよりとらえやすい画像を得ることができる。
【０００５】
特許文献２の技術は、特許文献１と同様、２つのカメラを用いて１つの監視領域を監視するもので、ズームカメラのズーム対象が、人物全体ではなく、人物の顔である。
【０００６】
図１１に、ズーム対象を決定する従来の処理方法を示す。この処理方法は、既にズーム撮影の対象となる人物がある場合には、対象人物が監視領域から立ち去るまで、あるいは、対象人物のズームショットが得られるまでズーム撮影を行なう。ズーム対象の人物がなく、ズーム撮影をまだ行なっていない人物がいる場合、または、固定視野カメラで新たな人物が検出された場合、その人物に対してズーム撮影を行なうものである。
【特許文献１】特開平６−２１７３１６号公報
【特許文献２】特開２００３−２８４０５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術では、一旦顔のズームショットを撮影し、その後、当該人物について、より良い顔画像得られる場合でも、ズーム撮影が行なわれないという問題がある。ここで、より良い顔画像とは、人物の特徴をとらえる点において良い画像とする。たとえば、横向きの顔よりも、正面向きの顔の方が良い画像とする。
【０００８】
図１２を例にして詳細に説明する。図１２は、監視領域内における固定視野カメラからの画像の系列であり、図１２（ａ）、（ｂ）、…、（ｆ）の順に時間が経過しているものとする。人物Ａは、図１２（ａ）で監視領域内に出現し、図面に対し右から左方向に移動するものとする。このとき、人物Ａの顔は、カメラに対して横向きである。人物Ａは、図１２（ｅ）において、カメラに対して正面に顔を向け、図１２（ｆ）では、カメラに向かって移動する。人物Ｂは、図１２（ｃ）において監視領域内に出現し、カメラに向かって移動し、図１２（ｅ）では、消失する。
【０００９】
従来の技術では、図１２（ａ）において、固定視野カメラから人物Ａを検出し、ズームカメラにより人物Ａの顔のズーム撮影を行なう。この場合、人物Ａについてのズームショットは、横向きのみの顔画像となる。図１２（ｃ）において、人物Ｂが検出され、ズームカメラにより人物Ｂの顔のズーム撮影を行なう。
【００１０】
図１２（ｅ）〜（ｆ）においては、人物Ａについては既に顔のズーム撮影を行なっているので、人物Ａの顔のズーム撮影は行なわれない。この結果、最終的に得られる顔のズームショットは、人物Ａは、図１２（ｅ）、（ｆ）において正面を向いているにも関わらず、図１３に示すように横顔のみとなる。
【００１１】
そこで、本発明は、より人物の特徴をとらえやすい顔の拡大画像が得られる画像監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像監視装置は、監視領域内の画像を撮影して入力する第１の監視カメラと、前記監視領域内の画像を撮影して入力する撮影倍率を変更可能な第２の監視カメラと、前記第１の監視カメラから得られる画像に基づき前記監視領域内の人物を検出し追跡する人物検出追跡手段と、前記第２の監視カメラから得られる画像に基づき前記監視領域内の人物の顔画像を検出する顔検出手段と、この顔検出手段により検出された顔画像を評価して評価値を得る顔画像評価手段と、前記人物検出追跡手段により人物が検出されると、前記顔画像評価手段から得られる評価値があらかじめ設定される第１の閾値よりも大きくなるまで、当該人物の顔画像を拡大撮影するように前記第２の監視カメラを制御する第１の制御手段と、前記第２の監視カメラによる当該人物の顔画像の拡大撮影が終了したのに基づき、前記顔画像評価手段から得られる評価値があらかじめ設定される第２の閾値よりも小さい人物が前記監視領域内に存在するか否かを判定する第１の判定手段と、この第１の判定手段による判定の結果、前記顔画像評価手段から得られる評価値があらかじめ設定される第２の閾値よりも小さい人物が前記監視領域内に存在する場合、前記顔画像評価手段から得られる評価値が前記第１の閾値よりも大きくなるまで、当該人物の顔画像を拡大撮影するように前記第２の監視カメラを再度制御する第２の制御手段とを具備している。
【発明の効果】
【００１３】
本発明によれば、より人物の特徴をとらえやすい顔の拡大画像が得られる画像監視装置を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照して説明する。  
図１は、本実施の形態に係る画像監視装置の構成を概略的に示すものである。この画像監視装置は、第１の監視カメラとしての固定監視カメラ１１、第２の監視カメラとしてのズームカメラ１２、人物検出追跡手段としての人物検出追跡部１３、顔検出手段としての顔検出部１４、制御手段および判定手段としての人物管理部１５、顔画像評価手段としての顔画像評価部１６、制御手段としてのズームカメラ制御部１７、表示手段としての検出結果表示部１８、および、記憶手段としての検出結果蓄積部１９を具備して構成されており、以下、各部の機能について詳細に説明する。
【００１５】
固定監視カメラ１１およびズームカメラ１２は、図２に示すように、あらかじめ定められた監視領域Ｅ内の画像を撮影するように設置されている。すなわち、一方の固定視野カメラ１１は、監視領域Ｅ全体を撮影するもので、監視領域Ｅ内での人物Ｍを検出し追跡する目的で用いられる。もう１つのズームカメラ１２は、監視領域Ｅ内に存在する人物の顔画像を検出し、ズーム撮影する目的で用いられる。ズームカメラ１２は、その撮影方向を上下および左右に制御可能であるとともに、ズーム率（撮影倍率）も制御可能である。  
なお、ズームカメラ１２は、監視領域Ｅ内に人物Ｍが検出されない場合には、固定視野カメラ１１とほぼ同じ画像が得られるような方向およびレンズのズーム率の設定で撮影するようになっている。
【００１６】
人物検出追跡部１３および顔検出部１４では、それぞれ固定視野カメラ１１およびズームカメラ１２からの画像信号を一定の時間間隔で画像情報として逐次取込み、処理を行なう。ここに、逐次取込まれる画像をフレームとも呼ぶ。
【００１７】
人物検出追跡部１３は、固定視野カメラ１１から得られる画像に基づき人物領域（人物）を検出し追跡する。検出した人物領域には固有のＩＤ（識別情報）を付与する。検出した人物領域は、その後、当該人物領域が監視領域内から存在しなくなるまで追跡される。図３に人物検出追跡部１３における処理の流れを示す。
【００１８】
まず、人物検出追跡部１３における処理の流れの概略を説明する。固定視野カメラ１１の画像信号を画像として取込み、得られた画像から変化領域を検出する。変化領域の検出は、たとえば、文献１（中井，“事後確率を用いた移動物体検出手法”，情処研報，９４−ＣＶ９０，ｐｐ．１−８，１９９４）の手法のように、背景画像との差分から検出する。これは、監視領域Ｅに人物が存在しない場合の画像を背景画像として持ち、背景画像と現在のフレームとの差分から変化のある領域を、変化領域として検出する。検出された変化領域の大きさや縦横比から、人間らしいと判定される領域を人物領域として検出する。
【００１９】
現在のフレームの人物領域は、追跡中の人物領域との対応付けを行なう。対応付けは、たとえば、１つ前のフレームでの人物領域との大きさと位置が近いもの同士を対応付けることにより行なう。現在のフレームで検出された人物領域のうち、追跡中の人物領域との対応付けが行なわれなかったたものは、新たなＩＤを付与し、追跡する人物として追加する。追跡中の人物で一定フレームＴｆ以上見付からない場合には、その人物が監視領域Ｅから立ち去ったものとして追跡を中止する。
【００２０】
以下、人物検出追跡部１３における処理の流れを図３を用いて具体的に説明する。まず、固定視野カメラ１１の画像信号を画像として取込み（ステップＳ１）、得られた画像から変化領域を検出する（ステップＳ２）。次に、検出された変化領域の大きさや縦横比から、人間らしいと判定される領域を人物領域として検出する（ステップＳ３）。
【００２１】
次に、現在のフレームから検出された人物領域と、過去に検出された人物領域（追跡中の人物領域）との対応付けを行なう（ステップＳ４）。次に、一定フレームＴｆ以上対応する人物領域が見付からない人物のＩＤがあるか否かをチェックし（ステップＳ５）、ない場合にはその人物が監視領域Ｅから立ち去ったものとして当該ＩＤを破棄して追跡を中止する（ステップＳ６）。
【００２２】
ステップＳ５におけるチェックの結果、一定フレームＴｆ以上対応する人物領域が見付からない人物のＩＤがある場合、現在のフレームでの人物領域で対応付けできないものがあるか否かをチェックし（ステップＳ７）、ある場合にはその人物領域を新たな人物領域として生成し、新たなＩＤを付加する（ステップＳ８）。  
ステップＳ７におけるチェックの結果、現在のフレームでの人物領域で対応付けできないものがない場合、あるいは、ステップＳ８の処理が終了すると、ステップＳ１に戻り、上記同様な処理を繰り返す。
【００２３】
図４に人物検出追跡部１３の処理例を示す。図中の破線で示す矩形は、各フレームで検出された人物領域である。図４において、（ａ）、（ｂ）、…、（ｈ）の順に時間が経過しているものとする。人物領域ＭＥ１は、図４（ａ）で監視領域Ｅ内に出現し、図面に対し右から左方向に移動する。このとき、人物領域ＭＥ１の顔は、カメラに対して横向きである。人物領域ＭＥ１は、図４（ｅ）において、カメラに対して正面に顔を向け、図４（ｆ）では、カメラに向かって移動する。人物領域ＭＥ１は、図４（ｇ）において、図面に対し左から右方向に移動しする。このとき、人物領域ＭＥ１の顔は、カメラに対して横向きである。人物領域ＭＥ１は、図４（ｈ）において、カメラに対して顔を後ろ向きとし、カメラから遠ざかる方向に移動する。人物領域ＭＥ２は、図４（ｃ）において監視領域Ｅ内に出現し、図４（ｅ）で消失する。  
図４の例では、人物領域ＭＥ１は「ＩＤ＝１」、人物領域ＭＥ２は「ＩＤ＝２」が付与された場合を示している。
【００２４】
顔検出部１４は、ズームカメラ１２から、一定時間間隔で複数の画像を連続的に取込み、この取込んだ複数の画像についてそれぞれ顔領域を検出する。顔領域の検出手法は、たとえば、文献２（三田，金子，堀“微小な差異を含む画像の照合に適した空間差分確率テンプレートの提案”，第９会画像センシングシンポジウム講演論文集，ＳＳＩＩ０３，２００３）の手法を用いることができる。
【００２５】
人物管理部１５は、人物検出追跡部１３で検出された人物についての情報を管理する。具体的には、人物検出追跡部１３で検出された人物のＩＤごとに人物領域、顔領域、代表顔画像、および、ズーム撮影が行なわれたか否かの情報を記憶する。図５に人物管理部１５における処理の流れを示す。
【００２６】
まず、人物管理部１５における処理の流れの概略を説明する。各人物のＩＤについて、人物検出追跡部１３から人物領域を得て、情報を更新する。次に、顔検出部１４から顔領域（少なくとも顔を含む画像、以下、顔画像と称す）と人物ＩＤを得る。顔画像は、１つの人物ＩＤについて複数得られる。得られた顔画像の集合を顔画像評価部１６に送り、最も評価値の高いものを代表顔画像とする。
【００２７】
ズーム撮影が行なわれていない人物については、ズーム撮影の対象とするように、ズームカメラ制御部１７に指示し、ズーム対象の人物の代表顔画像の評価値Ｅｅが第１の閾値Ｔｅ１よりも大きくなるまでズーム撮影を続ける。
【００２８】
監視領域Ｅ内の人物で、全ての人物についてズームショットを撮影した場合で、代表顔画像の評価値Ｅｅが第２の閾値Ｔｅ２よりも低い人物がいる場合には、その人物について再度、ズームショットの撮影を行なう。ただし、より大きな評価値の顔画像が得られる可能性を表す評価値Ｅｂが第３の閾値Ｔｂよりも大きい場合とする。
【００２９】
以下、人物管理部１５における処理の流れを図５を用いて具体的に説明する。まず、各人物のＩＤについて、人物検出追跡部１３から人物領域を得て、情報を更新する（ステップＳ１１）。次に、顔検出部１４から顔領域（顔画像）と人物ＩＤを得て、情報を更新する（ステップＳ１２）。顔画像は、１つの人物ＩＤについて複数得られる。得られた顔画像の集合を顔画像評価部１６に送り、最も評価値の高いものを代表顔画像とする。
【００３０】
次に、ズーム撮影を行なっている人物（ＩＤａ）が存在するか否かをチェックし（ステップＳ１３）、存在する場合、顔画像評価部１６から得られる評価値Ｅｅが第１の閾値Ｔｅ１よりも大きくなる人物（ＩＤａ）が存在するか否かをチェックし（ステップＳ１４）、存在しない場合、ステップＳ１１に戻って上記同様な動作を繰り返す。  
ステップＳ１４におけるチェックの結果、評価値Ｅｅが第１の閾値Ｔｅ１よりも大きくなる人物（ＩＤａ）が存在する場合、人物（ＩＤａ）に対するズーム撮影を終了し、ステップＳ１１に戻って上記同様な動作を繰り返す。
【００３１】
ステップＳ１３におけるチェックの結果、ズーム撮影を行なっている人物（ＩＤａ）が存在しない場合、まだズームショットを撮影していない人物（ＩＤｂ）が存在するか否かをチェックし（ステップＳ１６）、存在する場合、ズーム対象を当該人物（ＩＤｂ）に設定し、ステップＳ１１に戻って上記同様な動作を繰り返す。
【００３２】
ステップＳ１６におけるチェックの結果、まだズームショットを撮影していない人物（ＩＤｂ）が存在しない場合、顔画像評価部１６から得られる評価値Ｅｅが第２の閾値Ｔｅ２よりも小さくなる人物（ＩＤｃ）が存在するか否かをチェックし（ステップＳ１８）、存在しない場合、ステップＳ１１に戻って上記同様な動作を繰り返す。
【００３３】
ステップＳ１８におけるチェックの結果、評価値Ｅｅが第２の閾値Ｔｅ２よりも小さくなる人物（ＩＤｃ）が存在する場合、当該人物（ＩＤｃ）について、より大きな評価値の顔画像が得られる可能性を表わす評価値Ｅｂが第３の閾値Ｔｂよりも大きいか否かをチェックし（ステップＳ１９）、評価値Ｅｂが第３の閾値Ｔｂよりも大きくない場合、ステップＳ１１に戻って上記同様な動作を繰り返す。  
ステップＳ１９におけるチェックの結果、評価値Ｅｂが第３の閾値Ｔｂよりも大きい場合、ズーム対象を当該人物（ＩＤｃ）に設定し（ステップＳ２０）、ステップＳ１１に戻って上記同様な動作を繰り返す。
【００３４】
ここに、上記評価値Ｅｂは、固定視野カメラ１１から得られる画像内における当該人物の移動方向に基づき計算する。たとえば、カメラの方向に向かって移動する場合に高い評価値となるように定義する。図６の例を用いて説明する。図６（ａ）のように、人物Ｍがカメラに対して向かって移動する場合には、高い評価値Ｅｂを与える。また、図６（ｂ）のように、人物Ｍがカメラに対して横向きに移動する場合には、図６（ａ）よリも低い評価値Ｅｂを与える。図６（ｃ）のように、人物Ｍがカメラから遠ざかるような移動の場合には、図６（ａ），（ｂ）よりも小さな評価値Ｅｂを与えるようにする。
【００３５】
ただし、Ｅｅ＜Ｔｅ２かつＥｂ＞Ｔｂを満たす人物が複数いる場合には、人物Ｍが監視領域Ｅからいなくなるまでの時間を予測し、その時間が最も短い人物Ｍをズーム対象にする。監視領域Ｅからいなくなるまでの時間は、たとえば、人物Ｍの追跡結果から移動速度を計算し、画像の端に到達するまでの時間として予測する。
【００３６】
顔画像評価部１６では、与えられた顔画像について評価値を計算する。この場合、評価値は、たとえば、特開Ｐ２００２−１９１０４４号公報に開示されているように、顔領域の方向、顔領域の面積、顔領域コントラストなどから計算する。具体的には、顔領域の方向が正面向きに近いほど評価値が高くなるようにする。また、顔領域の面積が大きいほど評価値が高くなるようにする。顔領域のコントラストについても、コントラストが高いほど評価値が高くなるようにする。
【００３７】
ズームカメラ制御部１７は、ズーム対象の人物の顔に向かってズームを行ない、顔のズームショットを得る。図７にズームカメラ制御部１７における処理の流れを示す。
【００３８】
まず、ズームカメラ制御部１７における処理の流れの概略を説明する。ズーム対象の人物が設定されてなければ、ズームカメラ１２をニュートラルの位置に設定にする。ここに、ニュートラルの位置に設定とは、固定視野カメラ１１とほぼ同じ画像が得られるような方向およびレンズのズーム率の設定である。
【００３９】
ズーム対象の人物が設定されると、当該人物の顔領域に向かってズームを行なう。ズーム対象の人物は、人物管理部１５から固定視野カメラ１１の画像上での領域として与えられる。ズーム対象の設定が行なわれた時点では、ズームカメラ１２は、固定視野カメラ１１とほぼ同じ画像を得られるような視野設定になっているので、人物管理部１５から与えられた人物領域の頭部に向かってズームを行なう。
【００４０】
顔検出部１４で、与えられた人物領域中に顔領域が検出されれば、その顔領域を対象とし、検出されなければ、人物領域の上部を対象としてズームを行なう。この場合、ズームカメラ１２から得られる画像の中央部に顔領域が位置するように、ズームカメラ１２の向きを制御する。顔領域が画像の中央部に位置したら、顔領域が大きくなるようにズームインを行なう。ズームインは、顔領域の大きさが一定値以上になるまで行なう。顔領域が大きくなり過ぎた場合には、ズームカメラ１２をズームアウトする。
【００４１】
以下、ズームカメラ制御部１７における処理の流れを図７を用いて具体的に説明する。まず、ズーム対象の人物が設定されているか否かをチェックし（ステップＳ３１）、設定されていない場合は、ズームカメラ１２をニュートラルの位置に戻し（ステップＳ３２）、ステップＳ３１に戻って上記同様な動作を繰り返す。
【００４２】
ステップＳ３１におけるチェックの結果、ズーム対象の人物が設定されている場合、人物管理部１５から当該人物の顔領域を取得し（ステップＳ３３）、その顔領域がズームカメラ１２から得られる画像の中央部に位置するか否かをチェックする（ステップＳ３４）。このチェックの結果、画像の中央部に位置しない場合、ズームカメラ１２から得られる画像の中央部に当該顔領域が位置するように、ズームカメラ１２の向きを制御し（ステップＳ３５）、ステップＳ３１に戻って上記同様な動作を繰り返す。
【００４３】
ステップＳ３４におけるチェックの結果、顔領域がズームカメラ１２から得られる画像の中央部に位置している場合、当該顔領域の大きさが小さすぎるか否かをチェックする（ステップＳ３６）。このチェックの結果、当該顔領域の大きさが小さすぎる場合、ズームカメラ１２に対しズームイン制御を行なう（ステップＳ３７）。ズームイン制御は、顔領域の大きさが一定値以上になるまで行なう。その後、ステップＳ３１に戻って上記同様な動作を繰り返す。
【００４４】
ステップＳ３６におけるチェックの結果、当該顔領域の大きさが小さすぎない場合、当該顔領域の大きさが大きすぎるか否かをチェックする（ステップＳ３８）。このチェックの結果、当該顔領域の大きさが大きすぎる場合、ズームカメラ１２に対しズームアウト制御を行なう（ステップＳ３９）。ズームアウト制御は、顔領域の大きさが一定値以上になるまで行なう。
【００４５】
ステップＳ３８におけるチェックの結果、当該顔領域の大きさが大きすぎない場合、あるいは、ステップＳ３９の処理が終了すると、ステップＳ３１に戻り、上記同様な動作を繰り返す。
【００４６】
検出結果表示部１８は、固定視野カメラ１１から得られる画像において、追跡中の人物領域（人物）の付近に代表顔画像を付加し、人物領域の移動に応じて当該代表顔画像の位置を変えて表示する。また、代表顔画像が更新された場合には、表示している代表顔画像も変更する。
【００４７】
図８に検出結果表示部１８の表示例を示す。図中、ＭＥは検出し追跡中の人物領域（人物）を示し、ＦＥは当該人物領域の検出した代表顔画像を示している。なお、図８（ａ）は図４（ａ）から（ｇ）までの処理例に対応し、図８（ｂ）は図４（ａ）から（ｈ）までの処理例に対応している。
【００４８】
検出結果蓄積部１９は、監視領域Ｅ内に人物が存在するときの固定視野カメラ１１の画像と、各人物の侵入時刻、存在時間、各人物の各時刻の領域、および、各人物の代表顔画像などを履歴情報として保存する。  
検出結果蓄積部１９に保存された情報は、たとえば、図９に示すような一覧画像で検出結果表示部１８に表示することが可能である。図９の例では、図面に対し左から順に、顔画像、人物の全身の画像、侵入時刻、および、存在時間である。
【００４９】
以上説明したように、上記実施の形態によれば、前述した従来のズーム撮影の制御方法と比較して、より人物の特徴をとらえやすい顔のズームショットが得られる。  
すなわち、人物管理部１５において、人物ごとに顔のズームショットを撮影したか否かを管理し、一旦ズーム撮影が行なわれた人物でも、より大きな評価値の顔画像が得られると予測される場合には、ズーム撮影を再度行ない、代表顔画像を更新する処理によるものである。
【００５０】
前記実施の形態によれば、たとえば、図１２（ａ）において人物Ａを検出し、人物Ａの顔のズーム撮影を行なう。この時点で、人物Ａの代表顔画像は横向きの顔画像である。図１２（ｃ）において人物Ｂが検出され、人物Ｂの顔のズームショットの撮影を行なう。図１２（ｅ）〜（ｆ）においては、人物Ａについては既に顔のズームショットを撮影しているが、充分大きな評価値を持つ代表顔画像が得られておらず、かつ、人物Ａがカメラに向かって移動しており、より大きな評価値の顔画像が得られると判断され、ズーム対象となる。その結果、最終的に図１０に示すような正面の顔のズームショットが、人物Ａの代表顔画像となる。
【００５１】
また、検出結果の表示において、人物の特徴をとらえやすい顔のズームショットが、人物との対応が分かりやすいように表示される。  
すなわち、検出結果表示部１８において、人物の近傍に逐次更新される代表顔画像を表示し、常に人物の正面の顔がわかるようにする表示によるものである。図８に示す例の場合には、人物（人物領域）ＭＥがカメラに対して横を向いていたり（図８（ａ））、後ろを向いている（図８（ｂ））にも関わらず、その時点でその人物の特徴を最もとらえやすい顔画像ＦＥが、人物ＭＥの対応関係とともにわかりやすく、人物ＭＥの近傍に表示されている。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態に係る画像監視装置の構成を概略的に示すブロック図。
【図２】固定監視カメラおよびズームカメラの配置状態を示す模式図。
【図３】人物検出追跡部における処理の流れを具体的に説明するフローチャート。
【図４】人物検出追跡部の処理例を説明するための模式図。
【図５】人物管理部における処理の流れを具体的に説明するフローチャート。
【図６】監視領域内おける人物の移動方向例を説明するための模式図。
【図７】ズームカメラ制御部における処理の流れを具体的に説明するフローチャート。
【図８】検出結果表示部における検出結果の表示例を示す模式図。
【図９】検出結果蓄積部に蓄積された情報の一覧表示例を示す模式図。
【図１０】最終的に得られる正面の顔のズームショットを示す模式図。
【図１１】ズーム対象を決定する従来の処理方法を説明するフローチャート。
【図１２】固定視野カメラからの入力画像系列の例を示す模式図。
【図１３】従来技術における顔のズームショットを示す模式図。
【符号の説明】
【００５３】
１１…固定監視カメラ（第１の監視カメラ）、１２…ズームカメラ（第２の監視カメラ）、１３…人物検出追跡部（人物検出追跡手段）、１４…顔検出部（顔検出手段）、１５…人物管理部（制御手段、判定手段）、１６…顔画像評価部（顔画像評価手段）、１７…ズームカメラ制御部（制御手段）、１８…検出結果表示部（表示手段）、１９…検出結果蓄積部（記憶手段）、Ｅ…監視領域、Ｍ，Ａ，Ｂ…人物、ＭＥ…人物領域、ＦＥ…顔画像。
【図１】
2005277726.tif 000003
【図２】
2005277726.tif 000004
【図３】
2005277726.tif 000005
【図４】
2005277726.tif 000006
【図５】
2005277726.tif 000007
【図６】
2005277726.tif 000008
【図７】
2005277726.tif 000009
【図８】
2005277726.tif 000010
【図９】
2005277726.tif 000011
【図１０】
2005277726.tif 000012
【図１１】
2005277726.tif 000013
【図１２】
2005277726.tif 000014
【図１３】
2005277726.tif 000015