(57)【要約】【課題】監視空間を移動する複数の監視対象物を判別し、個々の監視対象物の動きを監視する監視装置を提供する。【解決手段】監視空間１０に向けて設置され、経時的に変化をする監視対象物１２、１３、１４を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔だけ離して、監視空間に向けて設置され、経時的に変化をする監視対象物を撮像する第２の撮像装置１８と、第１の撮像装置と第２の撮像装置により同時刻に撮像された画像と所定時間遅れて撮像された画像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部で形成された、第１の撮像装置による像の差画像と第２の撮像装置による像の差画像に基いて、複数の監視対象物の距離を各々相関演算すると共に、各監視対象物の輪郭を形成するエッジ上の少なくとも２点が同一監視対象物のエッジか否かを判定する演算部３０と、を備える。【選択図】  図１
2004240865.tif 000002
【特許請求の範囲】
【請求項１】
三次元の監視空間を移動する複数の監視対象物を監視する監視装置であって；
前記監視空間に向けて設置され、経時的に変化をする前記監視対象物を撮像する第１の撮像装置と；
前記第１の撮像装置から所定の間隔だけ離して、前記監視空間に向けて設置され、経時的に変化をする前記監視対象物を撮像する第２の撮像装置と；
前記第１の撮像装置と前記第２の撮像装置により同時刻に撮像された画像と所定時間遅れて撮像された画像との差画像を逐次形成する差画像形成部と；
前記差画像形成部で形成された、前記第１の撮像装置による像の差画像と前記第２の撮像装置による像の差画像に基いて、前記複数の監視対象物の距離を各々相関演算すると共に、各監視対象物の輪郭を形成するエッジ上の少なくとも２点が同一監視対象物のエッジか否かを判定する演算部と；
を備える監視装置。
【請求項２】
前記演算部は、前記第１及び第２の撮像装置による差画像に複数存在するエッジに対して、各々順番に番号を割り当て、隣接する２つの番号間のエッジ内パターンを相関演算し、略最大の相関ピーク位置で各々の距離を算出し、各々の距離に経時的な変化が検出されたときは、該２つの番号にはさまれた領域を物体領域と判定する請求項１に記載の監視装置。
【請求項３】
前記演算部は、差画像を形成するエッジ部の経時的な変化を検出することにより、当該複数の監視対象物が移動するベクトル方向を演算する請求項１に記載の監視装置。
【請求項４】
三次元の監視空間を移動する複数の監視対象物を監視する監視方法であって；
前記監視空間の中で移動する前記監視対象物を撮像し差画像を逐次形成する差画像生成工程と；
前記差画像に基いて、前記複数の監視対象物のエッジ部の経時的変化に基づいて、該監視対象物が移動するベクトル方向を演算するベクトル演算工程と；
前記複数の監視対象物が移動するベクトル方向に基づいて少なくとも２つのエッジ部を対応させ相関処理を実行する相関処理工程と；
前記相関処理の結果に基いて、前記監視対象物の距離を検出する距離測定工程と；
を備える監視対象物の監視方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、監視装置および監視方法に係り、特に撮像装置やＣＭＯＳセンサ等を用いて監視空間内を移動する複数の監視対象物を監視する監視装置および監視方法に関するものである。
【０００２】
【従来の技術】
一般に、ファイバーグレーティング素子の中心と撮像レンズの中心を平面に平行に所定の距離だけ離して設置し、撮像レンズから撮像装置の結像面までの距離と撮像レンズから平面までの距離に基づいて、撮像対象物の点から平面までの高さを演算処理し、撮像対象物が平面上に置かれたときに、結像面上の点が離れた点に移動したことを検知していた。このような距離又は高さの相互関係を演算処理して、トイレ内の人物などの姿勢を三次元的に監視をしていた（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００２−１２２４１７号公報（段落００１６、図１）
【０００４】
【発明が解決しようとする課題】
従来の監視装置は、上述の如く、撮像対象物の姿勢を三次元的に監視することができるが、結像面上の点の移動を検知しているため、複数の監視対象物から個々の監視対象物を特定して監視することが困難であった。
【０００５】
そこで本発明は、監視空間を移動する複数の監視対象物を判別し、個々の監視対象物の動きを監視する監視装置および監視方法を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視装置１は、例えば、図１に示すように、三次元の監視空間を移動する複数の監視対象物を監視する監視装置であって、監視空間１０に向けて設置され、経時的に変化をする監視対象物１２、１３、１４を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔Ｗだけ離して、監視空間１０に向けて設置され、経時的に変化をする監視対象物１２、１３、１４を撮像する第２の撮像装置１８と、第１の撮像装置１６と第２の撮像装置１８により同時刻に撮像された画像と所定時間遅れて撮像された画像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部２４、２５で形成された、第１の撮像装置１６による像の差画像と第２の撮像装置１８による像の差画像に基いて、複数の監視対象物１２、１３、１４の距離を各々相関演算すると共に、各監視対象物１２、１３、１４の輪郭を形成するエッジ上の少なくとも２点が同一監視対象物のエッジか否かを判定する演算部３０と、を備える。
【０００７】
ここで、請求項１に記載の第１の撮像装置１６と第２の撮像装置１８は、典型的にはＣＣＤエリヤセンサやＭＯＳセンサのような撮像装置を２式備え三角法で距離を測定するパッシブ型距離検出装置を用いることができる。
【０００８】
このように構成すると、複数の監視対象物１２、１３、１４の距離を各々相関演算すると共に、各監視対象物１２、１３、１４の輪郭を形成するエッジ上の少なくとも２点が同一監視対象物のエッジか否かを判定する演算部３０とを備えるので、個々の監視対象物の状態を監視することができる。
【０００９】
上記目的を達成するために、請求項２に係る発明による請求項１に記載の監視装置１は、例えば図１及び図４に示すように、演算部３０は、第１及び第２の撮像装置１６、１８による差画像に複数存在するエッジ１２ａ、１２ｂ、１３ａ、１３ｂ、１４ａ、１４ｂに対して、各々順番に番号を割り当て、隣接する２つの番号間のエッジ内パターンを相関演算し、略最大の相関ピーク位置で各々の距離を算出し、各々の距離に経時的な変化が検出されたときは、該２つの番号にはさまれた領域を物体領域と判定するように構成する。
【００１０】
このように構成すると、複数の監視対象物が同時刻に移動した場合でも、隣接する２つの番号に挟まれた領域を物体領域と判定することができる。
【００１１】
上記目的を達成するために、請求項３に係る発明による請求項１に記載の監視装置１は、例えば図１及び図４に示すように、演算部３０は、差画像を形成するエッジ部の経時的な変化を検出することにより、複数の監視対象物１２、１３、１４が移動するベクトル方向を演算するように構成する。
【００１２】
このように構成すると、複数の監視対象物１２、１３、１４が移動するベクトル方向を演算するため、個々の監視対象物が第１及び第２の撮像装置１６、１８に接近又は遠ざかるか判定することができる。
【００１３】
上記目的を達成するために、請求項４に係る発明による監視方法は、例えば図１に示すように、三次元の監視空間を移動する複数の監視対象物を監視する監視方法であって、監視空間１０の中で移動する監視対象物１２、１３、１４を撮像し差画像２４、２５を逐次形成する差画像生成工程と、差画像２４、２５に基いて、複数の監視対象物１２、１３、１４のエッジ部の経時的変化に基づいて、監視対象物が移動するベクトル方向を演算するベクトル演算工程と、複数の監視対象物１２、１３、１４が移動するベクトル方向に基づいて少なくとも２つのエッジ部を対応させ相関処理を実行する相関処理工程と、相関処理の結果に基いて、監視対象物の距離を測定する距離測定工程と、を備える。
【００１４】
このように構成すると、複数の監視対象物１２、１３、１４が移動するベクトル方向に基づいて少なくとも２つのエッジ部を対応させ相関処理を実行し、監視対象物１２、１３、１４の距離を測定することができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１６】
図１は、本発明による実施の形態である監視装置１の模式的な一部破段斜視図である。監視装置１は、三次元の監視空間１０を移動する複数の監視対象物としての人物１２、人物１３、人物１４を監視する。三次元の監視空間とは、例えば、水平方向（Ｘ軸）、垂直方向（Ｙ軸）、及び奥行（距離、Ｚ軸）の直交座標で定義することができる領域をいう。
【００１７】
監視装置１は、通路３６と壁面３７で構成された監視空間１０に向けて設置され、経時的に形状が変化する複数の人物１２、人物１３、人物１４を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔Ｗだけ離して、監視空間１０に向けて設置され、経時的に形状が変化する人物１２、人物１３、人物１４を撮像する第２の撮像装置１８を備え、第１と第２の撮像装置は、例えば、天井又は壁面に設置して人物１２、人物１３、人物１４を撮像している。
【００１８】
上記第１と第２の撮像装置は、制御部２にワイヤで接続され、ＮＴＳＣのビデオ信号を制御部２のインターフェースＩ／Ｆ部１９へ送信する。制御部２は、内部にＩ／Ｆ部１９と、Ｉ／Ｆ部１９に接続する演算部３０と、演算部３０に接続する記憶部３１と、演算部３０に接続するカウンタ部２９とを備える。
【００１９】
また、制御部２は、撮像している何れかの人物が通路３６に設定された基線３８を超えたことを検出し検出信号をカウンタ部２９へ送信する。このカウンタ部２９は、外部のディスプレイ又はＬＥＤ表示装置等の表示器３２に接続され、基線３８を通過した人数データを表示器３２へ送信する。表示器３２は、カウンタ部２９からの人数データを受信し、数字をデジタル表示する。
【００２０】
上記記憶部３１は、第１の撮像装置１６で撮像した撮像信号を逐次記憶する第１の時刻Ｔ０の撮像信号記憶部２０と第２の時刻Ｔ１の撮像信号記憶部２１と、第２の撮像装置１８で撮像した撮像信号を逐次記憶する第１の時刻Ｔ０の撮像信号記憶部２２と第２の時刻Ｔ１の撮像信号記憶部２３と、人物１２、人物１３、人物１４に各々対応する監視対象物と撮像装置との距離を逐次記憶する距離情報記憶部３４と、第１及び第２の撮像装置で撮像した差画像の走査線信号に現れるエッジに割り当てるエッジ番号を記憶するエッジ番号記憶部３５とが設けられている。また、上記距離情報記憶部３４にＸ−Ｙ−Ｚ軸の直交座標で設定するマスク領域アドレスを記憶させてもよい。
【００２１】
上記演算部３０は、第１の撮像装置１６による差画像を逐次形成する第１の差画像形成部２４と、第２の撮像装置１８による差画像を逐次形成する第２の差画像形成部２５と、人物１２、人物１３、人物１４に各々対応する監視対象物の位置情報や距離情報を演算処理する距離演算部２６と、人物１２、人物１３、人物１４人物１２の移動方向又はベクトル方向を演算処理する移動演算部２７と、差画像形成部２４と差画像形成部２５で形成された各差画像の走査線信号に現れる隣接する２つのエッジが、人物の輪郭を形成するエッジか否かを判定するペアリング判定部２８とを備える。
【００２２】
このペアリング判定部２８は、例えば、第１及び第２の撮像装置に向かって接近又は遠ざかる人物１２、人物１３、人物１４の各々の輪郭に対応する２つのエッジか否かを、２つのエッジが同一ベクトル方向に移動したことで、２つのエッジのペアリングを有効情報と判定し、異なるベクトルに移動しているときは２つのエッジのペアリングを無効情報と判定する。
【００２３】
図１の一部破段斜視図を参照して、監視装置１の動作について説明をする。監視空間１０には、人物１２、人物１３、人物１４が第１の撮像装置１６と第２の撮像装置１８で構成するステレオカメラに向かって移動している。例えば、通路３６を壁面３７に沿ってステレオカメラ方向に設けた基線３８領域が設定されている。
【００２４】
ここで、第１の撮像装置１６は所定本数の走査線を有し、第２の撮像装置１８は所定本数の走査線を有し、両撮像装置１６、１８は走査線方向を共通に並列に設置されている。また、本実施の形態では、第１の撮像装置１６と第２の撮像装置１８は、別体として説明するが一体として構成してもよい。
【００２５】
監視装置１は、基線３８を通過する人物をカウンタ部２９により計数することができ、各走査線に現れる２つのエッジのペアリング処理により、エッジに挟まれる領域を物体領域として演算処理し、人物が基線３８を通過したことを検知する。
【００２６】
また、第１と第２の撮像装置が具備する走査線の本数は、典型的には同数であり、各撮像装置の走査線の本数は、例えば、約５００本有し、各走査線には約５００ピクセルの画素を備えている。また本実施の形態では、第１の撮像装置１６と第２の撮像装置１８は、壁や天井に角度をもたせて三次元の監視空間１０に向けて設置しているが、不図示の柱等に設置し監視空間１０を水平方向に向けて人物達を監視することもできる。
【００２７】
制御部２は、第１の撮像装置１６と第２の撮像装置１８から撮像信号を受信し、互いに対応する走査線上（水平方向）に形成された画像を同期させて抽出する。また、同期させる走査線は、各撮像装置が有する５００本の走査線を抽出してもよく。撮像領域を所定の間隔に区切る本数でもよい。
【００２８】
例えば、人物の全体像を検出する場合は約１００ｍｍ間隔の映像を撮像する走査線を抽出し、人物の部位を検出する場合は約５０ｍｍ間隔の映像を撮像する走査線を抽出し、その他接近する物体を全て検出する場合は約１０ｍｍ間隔の映像を撮像する走査線を抽出するように個別に設定することもできる。例えば、人物の何れかの部位が監視空間１０に侵入したことを検知するには、少なくとも各撮像装置の走査線が約５００本としたときに、等間隔毎に１本を選択し約２０本の走査線を抽出すればよい。
【００２９】
さらに、同期させる走査線は、各走査線を時系列的に抽出するとよい。また、第１の撮像装置１６と第２の撮像装置１８から走査線を抽出する際には、外部からの同期信号で抽出処理を行うようにすると、対応する走査線を抽出して処理する回路を簡略化ができ、ソフトウエア的な処理も容易となる。
【００３０】
監視空間１０より遠方の人物は、第１及び第２の撮像装置により撮像されているが、マスク領域に存在し監視空間１０には存在していないものとして演算部３０により判定処理される。一方、マスク領域から監視空間１０に人物達が侵入した場合は、演算部３０により人物達の接近が判定処理される。
【００３１】
監視装置１は、第１の撮像装置１６が時刻Ｔ０に撮像した人物１２、人物１３、人物１４の画像信号をＩ／Ｆ部１９を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２０へ記憶する。並行して、第２の撮像装置１８により時刻Ｔ０に撮像した人物１２、人物１３、人物１４の画像信号をＩ／Ｆ部１９を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２２へ記憶する。
【００３２】
引き続き、第１の撮像装置１６が時刻Ｔ０より所定時間遅れて撮像された時刻Ｔ１の人物１２、人物１３、人物１４の画像信号をＩ／Ｆ部１９を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２１へ記憶する。並行して、第２の撮像装置１８により時刻Ｔ０より所定時間遅れて撮像された時刻Ｔ１の人物１２、人物１３、人物１４の画像信号をＩ／Ｆ部１９を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２３へ記憶する。
【００３３】
演算部３０は、各撮像信号に含まれる走査線上に形成される各画像の画像情報から差画像を形成する差画像形成手段としての機能を備えている。画像情報は、典型的には画像を構成する画素の画素値である。
【００３４】
演算部３０は、第１の撮像装置１６で撮像した時刻Ｔ０の人物１２、人物１３、人物１４の画像と時刻Ｔ１の人物１２、人物１３、人物１４の画像との差画像を逐次演算処理し、第１の撮像装置１６の差画像形成部２４に差画像を形成する。並行して、第２の撮像装置１８で撮像した時刻Ｔ０の人物１２、人物１３、人物１４の画像と時刻Ｔ１の人物１２の画像との差画像を逐次演算処理し、第２の撮像装置１８の差画像形成部２５に差画像を形成する。この形成された差画像は、人物１２、人物１３、人物１４の動いた部分を抽出した人物１２、人物１３、人物１４の輪郭（エッジ）を示す画像情報である。
【００３５】
差画像を形成するための２つの画像は、撮像時刻Ｔ０から所定の時間だけ遅れた撮像時刻Ｔ１により各々取得するが、ずらす遅延時間は、人物１２、人物１３、人物１４の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０秒〜１／３秒）とする。このような差画像を演算して取得すると人物１２、人物１３、人物１４の背景が除去され動きのある人物１２、人物１３、人物１４の像だけを抽出することができる。
【００３６】
また、演算部３０は、差画像を構成する各画素値の絶対値の中で、人物１２、人物１３、人物１４に各々対応する所定の閾値よりも大きな画素で区切られた領域を特定し、最大の領域を抽出する領域抽出機能を備えている。例えば、人物１２の輪郭に対応する撮像時刻Ｔ０の水平走査線上に並んだ複数の画素値（受光信号）を撮像時刻Ｔ１の水平走査線上に並んだ複数の画素値（受光信号）と合成し、一方の水平走査線を水平方向に１ピクセル単位でずらしながら、時刻Ｔ０と時刻Ｔ１の合成波形が最大となる点が両画像の一致点とみなすことができる。演算部３０は、この最大領域の抽出処理を所定の走査線毎に繰り返し、人物１２が動いた領域を抽出することができる。引き続き、人物１３と人物１４についても同様に、各々の輪郭に対応する複数の画素を合成し人物１３と人物１４の輪郭に対応する複数の画素を合成し動いた領域を抽出する。
【００３７】
各撮像装置の走査線上に各々形成された画像は、背景は動くことがないので、動いている人物１２、人物１３、人物１４の境界部はその画素値が急激に変化する。そこで、演算部３０は、第１の差画像形成部２４と第２の差画像形成部２５から各差画像を読み出し、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を人物１２、人物１３、人物１４の境界とみなすことができる。ここで、境界を最大の領域としたのは、人物１２、人物１３、人物１４が身に付けている服装、手袋等の模様の動きにより、境界部以外にも区切られた領域の中で、閾値の小さい画素値が変化する場合があるからである。
【００３８】
距離演算部２６は、差画像形成部２４と差画像形成部２５で形成された、第１の撮像装置１６による像の差画像と第２の撮像装置１８による像の差画像に基いて、相関処理を施すことにより第１及び第２の撮像装置と人物１２、人物１３、人物１４との各距離を各々演算処理し、人物１２、人物１３、人物１４の距離値を一時記憶する。
【００３９】
典型的には、距離演算部２６は、人物１２の差画像から抽出された最大の領域同士（動きがあった画素）の相関出力値を算出することで、三角法に基づき撮像装置と人物１２までの距離を算出する。
【００４０】
同様に、距離演算部２６は、人物１３の差画像から抽出された最大の領域同士（動きがあった画素）の相関出力値を算出することで、三角法に基づき撮像装置と人物１３までの距離を算出する。
【００４１】
同様に、距離演算部２６は、人物１４の差画像から抽出された最大の領域同士（動きがあった画素）の相関出力値を算出することで、三角法に基づき撮像装置と人物１４までの距離を算出する。
【００４２】
ここで、差画像から抽出された最大の領域は、走査線に形成された各人物の動きによって、背景とのコントラストの変化が激しかった点に対応し、第１の撮像装置１６の走査線と第２の撮像装置１８の走査線上に形成された差画像の最大領域の画像情報を抽出し、各々抽出された差画像の最大領域の画像情報（受光信号）を比較したときに、両撮像装置の視差の関係から僅かに各差画像の最大領域の位置が異なる。すなわち、この位置が異なる最大領域を走査線上で一致させるための変位が、両撮像装置と人物との距離に対応することとなる。
【００４３】
距離演算部２６による相関処理は、第１の撮像装置による差画像に対して第２の撮像装置による差画像を１ピクセル単位でずらし、その相関ピークが最大になった位置を計測することにより、２つの差画像間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を演算し距離情報を取得する。この相関処理は、上述の如く人物１２、人物１３、人物１４の各々に対して演算処理するように構成する。
【００４４】
ここで相関出力値とは、第１の撮像装置１６と第２の撮像装置１８との視差により発生する相対的結像位置差のことであり、相関処理により、典型的には画素数（ピクセル）で出力される値である。演算部３０は、この相関出力値により第１の撮像装置の走査線と第２の撮像装置の走査線との視差に基づき、三角法を用いて撮像装置と人物１２との距離を算出することができる。
【００４５】
また、相関処理とは、第１の撮像装置の走査線と第２の撮像装置の走査線からそれぞれ得られた画像のどちらか一方を、２つの画像がほぼ一致するまで画素単位でずらして、そのずらした量を例えば画素数により示して算出する処理である。２つの差画像が一致するか否かの判定は、一方の差画像を固定し他方の差画像をずらしながら比較したときに重なり合う信号全体の強さに基いて実行する。信号がピークになった座標が一致点であり相関ピーク位置である。
【００４６】
さらに、相関処理は、第１の撮像装置１６、第２の撮像装置１８により撮像された各々の画像に対応する差画像を適正な値で２値化し、そのエッジ部を抽出する事により、動きのある領域部分を抽出し、この抽出領域のみで相関処理を施すように構成してもよい。このように構成すると、相関処理は、２値化した差画像を用いるので、演算処理速度を向上させることができる。
【００４７】
距離演算部２６は、第１の撮像装置１６と第２の撮像装置１８により撮像された各々の画像に対応する差画像から抽出された最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれに基づき、両撮像装置と人物１２までの距離を算出するようにしてもよい。この場合、距離演算部２６は、前述のように差画像から抽出された最大の領域同士の相関出力値を算出せず、最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれを算出する。
【００４８】
距離演算部２６は、対応する画素の位置ずれ即ち両撮像装置の視差から三角法を用いて撮像装置から人物１２までの距離を算出する。これにより、距離演算部２６は、例えば、差画像に複数存在する閾値を超えた画素（エッジ）に対して、各々順番に同じ方向から番号を割り当て、隣接する２つの番号間のエッジ内パターンを相関処理し、対応した番号の画素同士の位置ずれから視差を求め、経時的変化のあったエッジ内パターンを検出したときは、２つの番号に挟まれた領域を物体領域と判定することができる。
【００４９】
このように構成することで、距離演算部２６は、図示した人物１２の左右端部、人物１３の左右端部、人物１４の左右端部を示す閾値を超えた画素（エッジ）を各々ペアリング（一組に）して、第１の撮像装置１６と第２の撮像装置１８により撮像された人物１２、人物１３、人物１４を各々第１の物体領域、第２の物体領域、及び第３の物体領域に区別する距離情報を各々演算することができる。
【００５０】
また、第１の撮像装置１６と第２の撮像装置１８の光軸を略水平方向に設定することにより、通路３６と人物とのコントラストの差が小さい場合に比して高い確率で背景と人物とのコントラストを得ることができる。しかも、人物の頭部から足先までに対応する両撮像装置の走査線に対応する画像が得られるため、複数の走査線の画像情報を平均化し監視精度を高めることができる。
【００５１】
例えば、撮像装置の走査線の本数をαとした場合、このα値を平均化することで画像情報の標準偏差はルートα分の１の精度が得られ、監視装置の信頼性を向上させることができる。この場合、人物１２、人物１３、人物１４の背景の動きや通路３６の遠方を歩行中の他の人物を同時に撮像することとなるが、第１の撮像装置１６と第２の撮像装置１８で撮像した画像情報に基づき、動く背景、遠方に存在する他の人物と、人物１２、人物１３、人物１４と撮像装置との距離を演算処理し、所定の距離以下の監視対象物である人物１２、人物１３、人物１４だけの距離を抽出し、他の動きのある画像情報を除去するように構成する。
【００５２】
演算部３０は、距離演算部２６により演算出力した人物１２、人物１３、人物１４の各々の距離情報を距離情報記憶部３４へ送信し、時刻Ｔ０と時刻Ｔ１に撮像された距離情報として順次的に記憶させる。
【００５３】
演算部３０は、引き続き、第１と第２の撮像装置から人物１２、人物１３、人物１４の撮像信号を受信しながら、次の時刻Ｔ０と時刻Ｔ１との画像から演算処理される差画像に基づき、人物１２、人物１３、人物１４の距離を算出する。
【００５４】
また、演算部３０は、距離情報記憶部３４に記憶された人物１２、人物１３、人物１４の各々の距離情報を読出し、距離演算部２６で取得した現時点の人物１２、人物１３、人物１４の各々の距離情報と比較する。この比較処理により、人物１２、人物１３、人物１４の経時的変化を検出し、各人物の移動ベクトルを演算することができる。
【００５５】
一方、第１の撮像装置１６と第２の撮像装置１８による差画像を相関処理した際に、ペアリングをしたエッジ同士が同一の移動ベクトルで移動していない場合がある。例えば、人物１２の右端部と人物１３の左端部に対応するエッジをペアとして相関処理を実行すると、算出する距離情報が人物１２と人物１３の間に位置する背景の距離となる。
【００５６】
この場合、演算部３０に設けられたペアリング判定部２８は、相関処理した２つのエッジに挟まれた部分が物体領域でなく、背景領域を示すと判定する。演算部３０は、ペアリング判定部２８の判定結果に基き、この２つのエッジのペアリングを無効とし、記憶部３１に設けたエッジ番号記憶部３５に記憶したエッジ番号の割り当てを再構成する。
【００５７】
例えば、差画像形成部２４に形成された第１の撮像装置１６による差画像に複数存在するエッジに対して、同一方向から再構成されたエッジ番号を割り当てる。また、差画像形成部２５に形成された第２の撮像装置１８による差画像に複数存在するエッジに対して、同一方向から再構成されたエッジ番号を割り当てる。
【００５８】
距離演算部２６は、エッジ番号記憶部３５の中で再構成されたエッジ番号に基づき、第１の撮像装置１６と第２の撮像装置１８による各差画像内のエッジに番号を割り当て、ペアリングされた２つのエッジに対して相関処理を実行し、２つのエッジ番号に挟まれた部分の距離を三角法に基づいて算出する。
【００５９】
演算部３０は、距離情報記憶部３４に記憶された人物１２、人物１３、人物１４の各々の距離情報を読出し、距離演算部２６で再演算した現時点の人物１２、人物１３、人物１４の各々の距離情報と比較する。この比較処理により、人物１２、人物１３、人物１４の経時的変化を検出し、各人物の移動ベクトルを演算することができる。
【００６０】
図２のフローチャートを参照して、監視装置の処理フローを例示する。ここで、左画像は第１の撮像装置１６で撮像された画像であり、右画像は第２の撮像装置１８で撮像された画像として説明する。処理はスタートステップＳ１０から開始し、ステップＳ１１で制御部２は、第１の撮像装置１６と第２の撮像装置１８で撮像された左画像と右画像を、Ｉ／Ｆ部１９を介してステレオ画像として取得する。また、取得したステレオ画像はマスク処理を施し監視空間１０の外側の画像情報を除去する。
【００６１】
制御部２は、監視空間の人物１２、人物１３、人物１４を時点ｔに撮像した第１の画像であるｔフレームの左画像を取得する（ステップＳ１３）。次に、所定時間のΔｔが経過した時点ｔ＋Δｔに撮像された第２の画像であるｔ＋Δｔフレームの左画像を取得する（ステップＳ１４）。
【００６２】
引き続き、ｔフレームの左画像とｔ＋Δｔフレームの左画像との差画像（左）を抽出する（ステップＳ１５）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ１６）を施してから、後続のステップＳ２１のエッジ番号処理（ペアリング）に移行する。
【００６３】
また、制御部２は、監視空間内の人物１２、人物１３、人物１４を時点ｔに撮像した第３の画像であるｔフレームの右画像を取得する（ステップＳ１７）。次に、所定時間のΔｔ経過した時点ｔ＋Δｔに撮像した第４の画像であるｔ＋Δｔフレームの右画像を取得する（ステップＳ１８）。
【００６４】
引き続き、ｔフレームの右画像とｔ＋Δｔフレームの右画像との差画像（右）を抽出する（ステップＳ１９）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ２０）を施してから、後続のステップＳ２１のエッジ番号処理（ペアリング）に移行する。
【００６５】
本実施の形態では、第１の撮像装置と第２の撮像装置は同時並列的に各時点（ｔ、ｔ＋Δｔ）で撮像を行う。この場合Δｔは、計数装置の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００６６】
次に、ステップＳ２１でｔフレームの左画像のコントラストが強い人物１２、人物１３、人物１４の輪郭をペアリングする。例えば、３人の人物が横に並んだ場合は、少なくとも同一走査線上に６個のエッジが存在するため、走査線の左から順番に整数のエッジ番号を割り当て近接する番号同士をペアリングすることができる。
【００６７】
このエッジ番号処理は、左端の人物１２に対してステレオカメラから見て左端部「１」と右端部「２」、中央の人物１３に対して左端部「３」と右端部「４」、右端の人物１４に対して左端部「５」と右端部「６」のように番号付けをしてもよく。右端の人物１４から左端の人物１２へ「１」から「６」の番号付けをしてもよい。
【００６８】
同様に、ステップＳ２１でｔフレームの右画像のコントラストが強い人物１２、人物１３、人物１４の輪郭をペアリングする。例えば、走査線の左から順番にエッジ番号を割り当て近接する番号同士をペアリングすることができ、左端の人物１２に対してステレオカメラから見て左端部「１」と右端部「２」、中央の人物１３に対して左端部「３」と右端部「４」、右端の人物１４に対して左端部「５」と右端部「６」のように番号付けをしてもよく。右端の人物１４から左端の人物１２へ「１」から「６」の番号付けをしてもよい。
【００６９】
引き続き、ステップＳ２２へ移行し、左画像の差画像と右画像の差画像との対応点を探索し相関処理を実行する。対応点の探索は、上述したエッジ番号処理により割り当てた整数番号を用いて左右の動的領域を相関処理するように構成する。すなわち、左差画像の或る走査線上に割り当てたエッジ番号「１」とエッジ番号「２」との間で受光した複数の画素信号と、右差画像の対応する走査線上に割り当てたエッジ番号「１」とエッジ番号「２」との間で受光した複数の画素信号と、各々対応させて相関処理し、略最大の相関ピーク位置でエッジに挟まれた領域各々の距離を算出し、エッジに挟まれた領域各々の距離に経時的な変化が検出されたときは、これら２つのエッジ番号に挟まれた領域を物体領域と判定することができる。この算出する距離はステレオカメラの視差によりずれているピクセル数に基き算出することができる。
【００７０】
同様に、左差画像の或る走査線上に割り当てたエッジ番号「２」とエッジ番号「３」との間で受光した複数の画素信号と、右差画像の対応する走査線上に割り当てたエッジ番号「２」とエッジ番号「３」との間で受光した複数の画素信号と、各々対応させて相関処理し、略最大の相関ピーク位置でエッジに挟まれた領域各々の距離を算出し、エッジに挟まれた領域各々の距離に経時的な変化が検出されたときは、これら２つのエッジ番号に挟まれた領域を物体領域と判定する。一方、エッジに挟まれた領域各々の距離に経時的な変化が検出されない場合は、背景を検出するものと見做し、ペアリングが無効であると判定する。
【００７１】
そして、処理はステップＳ２３へ移行し、最終ペア「５」と「６」の相関処理が完了されているか判定する。判定結果が是（Ｙｅｓ）であればステップＳ２４へ分岐し、判定結果が非（ＮＯ）であるときは、ステップＳ２２へ分岐し、最終ペア「５」と「６」とのエッジ番号の相関処理が完了するまで処理を繰り返す。
【００７２】
ステップＳ２３からステップＳ２２へ分岐したときは、ペアのエッジ番号を各々２つインクリメントし、次のペアであるエッジ番号「３」と「４」との相関処理を実行してステップＳ２３へ移行する。再度ステップＳ２３からステップＳ２２へ処理が分岐した場合も、ペアのエッジ番号を各々２つインクリメントし、最終ペアであるエッジ番号「５」と「６」との相関処理を実行してから、ステップＳ２３へ分岐する。
【００７３】
したがって、ステップＳ２２は、上記ペアリングされたエッジ番号「１」と「２」に対して、所定数の走査線を相関処理してから、次のペアリングされたエッジ番号「３」と「４」に対して所定数の走査線を相関処理し、最後に、ペアリングされたエッジ番号「５」と「６」に対して所定数の走査線を相関処理するように構成されている。
【００７４】
最終ペア「５」と「６」の相関処理が完了し、ステップＳ２４へ処理が分岐すると、上述したペアリングされたエッジ番号に挟まれた領域の相関処理により得られた対応点から、第１と第２の撮像装置と人物１２、人物１３、人物１４までの距離情報を算出する。例えば、左画像と右画像を一致させる画素数に基づき人物１２、人物１３、人物１４の各々の距離を演算出力する。
【００７５】
ステップＳ２５は、上記ステップＳ２４により得られた距離情報を時間軸に対応させて、人物１２、人物１３、人物１４の距離情報を含む時空間画像を距離情報記憶部３４に作成し、撮像された人物１２、人物１３、人物１４のエッジ（輪郭）の移動情報を演算する移動情報算出ステップである。
【００７６】
引き続き、ステップＳ２６は、直前の時刻に距離情報記憶部３４へ作成した時空間画像と現在の時空間画像とを比較し、現在の時空間画像の中に存在する人物１２、人物１３、人物１４に対応付けられた２つのエッジ番号に挟まれた領域の時間的変化の有無を判定する時間的変化有無判定ステップである。例えば、人物１２の輪郭を示すエッジ番号「１」とエッジ番号「２」に挟まれた領域がステレオカメラに接近しているか、遠ざかっているか否かを現時点の相関処理結果に基く距離情報から判定することができる。同様に、人物１３に対応するエッジ番号「３」とエッジ番号「４」に挟まれた領域、及び人物１４に対応するエッジ番号「５」とエッジ番号「６」に挟まれた領域ついても２つのエッジ番号に挟まれた領域の時間的変化の有無を判定する。
【００７７】
上記ステップＳ２６の判定結果により、ペアを構成するエッジ番号に挟まれた領域の何れか１つでも時間的変化がないとき（判定結果がＮＯ）は、無効情報として処理をステップＳ３０へ分岐させてエッジ番号を再構成してからステップＳ２２へ移行し、例えば、先頭のエッジ番号を無効にして次のエッジからエッジ番号を割り当てるような再構成されたエッジ番号で相関処理を実行する。一方、ペアを構成するエッジ番号に挟まれた領域に時間的変化がある場合（判定結果がＹｅｓ）は、有効情報として処理をステップＳ２７へ分岐させる。
【００７８】
ステップＳ２７は、監視対象物の距離と監視対象物のエッジ番号を距離情報記憶部３４へ記憶する処理である。逐次変化する人物の状態を監視するため、ペアリングされたエッジ番号を頼りに正確な人物１２、人物１３、人物１４の距離と各人物に対応するペアのエッジ番号を更新記憶するように構成し、ステップＳ２８へ移行する。
【００７９】
ここで、有効情報として処理された有効なペアを構成するエッジ番号に挟まれた領域を物体領域と判定する。なお、無効情報とされたペアのエッジ番号に挟まれた領域は背景領域として処理することもできる。
【００８０】
ステップＳ２８は、ステレオカメラで撮像された人物達の中で基線３８のラインを超えた人物を判定する処理である。ステレオカメラと人物１２、人物１３、人物１４との距離並びに移動方向（ベクトル方向）は、上述の如く、距離情報記憶部３４へ逐次的に記憶されているため、各人物の進行方向と距離などから基線３８を超えてステレオカメラの視野外に移動しているか否を判定することができる。
【００８１】
ステップＳ２８の判定結果が非（ＮＯ）のときは、処理を節点Ｎ１２へ分岐させて次のステレオ画像を取得する。一方、判定結果が是（Ｙｅｓ）の場合は、或る人物が基線３８を超えているため、ステップＳ２９へ分岐しカウンタ部２９をインクリメント（増分）してから、処理を節点Ｎ１２へ分岐させて次のステレオ画像を取得する。
【００８２】
本発明は、上記実施の形態のシーケンスに限定されるものではなく、例えば、ステップＳ１１を省略し、マスク処理を省略してステレオカメラで撮像した人物１２、人物１３、人物１４を監視することができる。また、左右画像フレームの差画像から人物１２だけの相関処理（ステップＳ２２）、距離情報算出（ステップＳ２４）、時間的変化一致（ステップＳ２６）を判定し、ステップＳ３０でエッジ番号の再構成を施すように構成することもできる。要は、ステレオカメラで複数の人物を撮像し、各人物の距離を監視することができるシーケンスであれば、各ステップを省略し又はフローを変更して監視装置を構成することができる。
【００８３】
このように、本実施の形態では三次元の監視空間１０を移動する複数の監視対象物（人物）を監視する監視方法であって、監視空間１０の中で移動する複数の監視対象物（人物１２、人物１３、人物１４）を撮像し差画像を逐次形成する差画像生成工程（ステップＳ１５、Ｓ１９）と、差画像に基いて、複数の人物（人物１２、人物１３、人物１４）のエッジ部（又はエッジ部に挟まれた領域）の経時的変化に基づいて、該人物が移動するベクトル方向を演算するベクトル演算工程（ステップＳ２５）と、複数の人物が移動するベクトル方向に基づいて少なくとも２つのエッジ部を対応させ相関処理を実行する相関処理工程（ステップＳ２２）と、相関処理の結果に基いて、人物の距離を検出する距離測定工程（ステップＳ２４）と、を備える監視対象物の監視方法を提供することができる。
【００８４】
ここで、図３の模式的なブロック図を参照して、三角法を用いた撮像装置と人物１２との距離の算出方法の原理について説明をする。人物１２を真横から観察し、第１の撮像装置１６と第２の撮像装置１８により垂直方向から人物１２を撮像したときの距離の測定方法を例示する。
【００８５】
ここで、ｗは第１の撮像装置１６と第２の撮像装置１８との光軸間距離（基線長）、ｆは各撮像装置の受光レンズを単一レンズとしたときのレンズ焦点距離、ｄは第１の撮像装置１６の結像面上の視差とする。ここでの焦点距離ｆは、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離ｆとする。これにより対象とする人物１２の頂部と撮像装置との距離ａは次式で算出できる。
ａ  ＝  ｗ  ×  ｆ／ｄ  ………（１）
【００８６】
このようにして、第１と第２の撮像装置１６、１８からステレオ画像を取得したセンサ制御部６０は、内部の差画像形成部６２により第１の撮像装置１６の差画像と第２の撮像装置１８の差画像を形成し、この２つの差画像を相関出力演算部６４により相関処理し、相関処理信号を制御部２へ出力することにより、撮像装置から人物１２までの距離（高さ）を算出する。
【００８７】
また、予め測定した通路と撮像装置との基準距離ｈから人物１２までの距離を減算して人物１２の高さｚを算出し、高さｚを距離演算部２６に一時記憶する。また、センサ制御部６０を介さずに直接２台の撮像装置から映像信号を制御部２へ送信するように構成することもできる。
【００８８】
このようにして監視装置は、監視空間１０内に位置する人物１２、人物１３、人物１４の存在と存在状態等を画像情報を経時的に測定することで的確に監視することができる。
【００８９】
撮像装置は、容易に画角を広くとること可能であるので、画角の広いものを用いることで、横方向の監視対象領域を十分に大きく取ることができる。このような監視装置を、種々の施設の監視に適用し、第１の撮像装置１６と第２の撮像装置１８の画角を増減し接近探知領域を任意の幅に設定することにより、例えば、通路を歩行する人物達を監視し、基線３８を通過する人物を計数することができる。
【００９０】
図４の概念図を参照して、本実施の形態による監視空間１０で撮像した人物１２、人物１３、人物１４の監視方法を説明する。第１の撮像装置１６と第２の撮像装置１８を並列に配置し共に、監視空間に光軸を略水平に設定する。
【００９１】
図４（ａ）は、ステレオカメラで撮像した画像フレームである。画像フレーム内に存在する人物達は、壁面３７に沿って通路３６を基線３８方向に歩行しているものとする。また、人物達は図中の実線で示す人物１２、人物１３、人物１４の輪郭で囲まれている。ここで、図中の一点鎖線で示す水平方向ラインは、人物達の頭部近傍を撮像する任意に抽出した画像フレーム中の１本の走査線４０である。
【００９２】
上記走査線４０上には、ステレオカメラから見て、人物１２の左端部エッジ１２ａと右端部エッジ１２ｂ、人物１３の左端部エッジ１３ａと右端部エッジ１３ｂ、人物１４の左端部エッジ１４ａと右端部エッジ１４ｂの各々が現れ、合計６個のエッジが示されている。また、この６個のエッジは、上述した相関処理を施した相関値に基き走査線４０上に示されている。
【００９３】
本実施の形態では、例えば、人物１２のエッジ１２ａとエッジ１２ｂとを１つのペアとしてエッジ番号「１」と「２」を割り当て、人物１３のエッジ１３ａとエッジ１３ｂとを１つのペアとしてエッジ番号「３」と「４」を割り当て、人物１４のエッジ１４ａとエッジ１４ｂとを１つのペアとしてエッジ番号「５」と「６」を割り当て構成する。すなわち、図示した左側の人物１２から順に整数のエッジ番号を「１」から「６」まで割り当てている。そして近接するエッジ番号同士をペアとして処理する。
【００９４】
図４（ｂ）は、或る時点の走査線の模式図である。図４（ａ）の走査線４０上の各エッジから鉛直方向に破線を各々延長して各エッジの位置を表した走査線４０ａを示している。すなわち、図中の左から順に左ペアのエッジ１２ａとエッジ１２ｂ、中ペアのエッジ１３ａとエッジ１３ｂ、右ペアのエッジ１４ａとエッジ１４ｂが同一の走査線４０ａ上に並んでいる。
【００９５】
図４（ｃ）は、所定時間経過後の走査線４０ｂの模式図である。図中の左ペアのエッジ１２ａとエッジ１２ｂは人物１２の経時的変化により、図４（ｂ）に比して相互に離れた位置に変化している。この状態を不図示の制御部２では、接近ベクトル「←  →」として処理することができる。
【００９６】
また、中ペアのエッジ１３ａとエッジ１３ｂは人物１３の経時的変化により、図４（ｂ）に比して相互に接近した位置に変化している。この状態を不図示の制御部２では、離間ベクトル「→  ←」として処理することができる。
【００９７】
さらに、右ペアのエッジ１４ａとエッジ１４ｂは人物１４の経時的変化により、図４（ｂ）に比して相互に離れた位置に変化している。この状態を不図示の制御部２では、接近ベクトル「←  →」として処理することができる。
【００９８】
制御部２は、この時点で各エッジが示す距離情報から離間ベクトル及び接近ベクトルを生成し、ペアとして処理した２つのエッジが同一方向に移動したことを検知している。また、左ペアのエッジの変化は人物１２がステレオカメラに接近した状態を測定しており、中ペアのエッジの変化は人物１３がステレオカメラから遠ざかった状態を測定しており、右ペアのエッジの変化は人物１４がステレオカメラに接近した状態を測定している。
【００９９】
図４（ｄ）は、さらに所定時間経過後の走査線４０ｃの模式図である。図中の左ペアのエッジ１２ａとエッジ１２ｂは人物１２の経時的変化により、図４（ｃ）に比して相互に離れた位置に変化している。この状態を制御部２は、接近ベクトル「←  →」として処理している。また、中ペアのエッジ１３ａとエッジ１３ｂは人物１３の経時的変化により、図４（ｃ）に比して相互に離れた位置に変化している。この状態を制御部２は、接近ベクトル「←  →」として処理している。さらに、右ペアのエッジ１４ａとエッジ１４ｂは人物１４の経時的変化により、図４（ｃ）に比して相互に離れた位置に変化している。この状態を制御部２は、接近ベクトル「←  →」として処理している。
【０１００】
制御部２は、この時点で各エッジが示す距離情報から離間ベクトル及び接近ベクトルを生成し、ペアとして処理した２つのエッジが同一方向に移動したことを検知している。但し、左ペアのエッジ１２ａとエッジ１２ｂの変化は人物１２が基線３８を通過しステレオカメラ方向に最接近した状態を測定している。
【０１０１】
第１の撮像装置１６と第２の撮像装置１８は、次の時点で撮像する画像フレームでは人物１２の左端部を示す輪郭を捉えることができない程度の画角に設置されていると仮定する。走査線上に現れる合計５個のエッジに対してエッジ番号の再構成処理を施さないと、左ペアの１つのエッジ１２ｂと中ペアの１つのエッジ１３ａが自動的にペアリングされエッジ番号「１」と「２」に挟まれた領域が無効情報と判定される。すなわち、背景を表す距離が測定されることとなる。
【０１０２】
したがって、上述した実施の形態のシーケンスに順じて、時間的変化が一致しない判定結果に基き、エッジ番号を再構成する。例えば、次の時点で画像フレームに現れた左端のエッジをスキップ又は左から２番目のエッジ番号をデクリメントして先頭ペアのエッジ番号に再構成する。
【０１０３】
図４（ｅ）は、次の時点の走査線４０ｄの模式図である。図中の左ペアのエッジは人物１２の最接近により、エッジ番号が再構成されペアリング処理から除外し、人物１２が基線３８を通過してカウントアップ１２ｃされた状態を示している。図中の走査線４０ｄ上には人物１２に対応する右端部（１２ｂ）のエッジが表示されていないが、ペアリングの対象から除外されていればエッジの位置を表示しても、表示しなくても、何れでもよい。
【０１０４】
また、中ペアのエッジ１３ａとエッジ１３ｂは、各々再構成されたエッジ番号「１」と「２」が付与され人物１３の経時的変化により、図４（ｄ）に比して相互に離れた位置に変化している。この状態を制御部２は、接近ベクトル「←  →」として処理している。さらに、右ペアのエッジ１４ａとエッジ１４ｂも同様に、各々再構成されたエッジ番号「３」と「４」が付与され人物１４の経時的変化により、図４（ｄ）に比して相互に離れた位置に変化している。この状態を制御部２は、接近ベクトル「←  →」として処理している。
【０１０５】
このように制御部２は、各エッジが示す距離情報から離間ベクトル及び接近ベクトルを生成し、ペアとして処理した２つのエッジが同一方向に移動したことを検知し、人物達が基線３８を通過したか、ステレオカメラ方向に接近若しくは遠ざかる状態を的確に測定することができ、同一画像フレーム上で撮像されている複数の人物を監視することができる。
【０１０６】
また、本実施の形態として、離間ベクトル「→  ←」と接近ベクトル「←  →」を用いて人物達の動きを検出したが、本発明はこれに限定するものではなく。例えば、並行移動している人物の移動ベクトルも検出することができる。すなわち、左右の差画像を相関処理し、距離情報とピクセルアドレスから人物の位置情報を得ることができるため、ステレオカメラに対して水平に移動している人物を撮像している場合であっても、監視装置は正確な水平方向の移動ベクトルを生成することができる。例えば、右に水平移動する人物を監視しているときは、人物の右端部エッジのベクトル方向「→」と左端部エッジのベクトル方向「→」を同一方向と算出することができる。
【０１０７】
さらに、監視対象物である人物達がステレオカメラ方向に接近するのに伴い、右の撮像装置と左の撮像装置との視差の関係から、一方の撮像装置には入射する人物の端点が他方の撮像装置には入射しない場合がある。例えば、上記図４（ｄ）中の端点１２ａ、端点１２ｂ、端点１３ａ、端点１３ｂ、端点１４ａ、端点１４ｂが左の撮像装置の走査線４０ｃ上に入射するが、右の撮像装置の走査線４０ｃには端点１２ａに対応する映像が入射しないような状態である。この左右の撮像装置の間で撮像した端点の数が相違する場合は、端点数の多い左側の撮像装置の走査線４０ｃ上に位置する端点１２ａと端点１２ｂとに挟まれた領域を他方（右側）の撮像装置の走査線４０ｃ又は上下に隣接する走査線の全域に亘って相関処理し、全領域の相関値が閾値を超えないときは、端点１２ａと端点１２ｂとに挟まれた領域を無効領域と判定し相関値を採用しないように処理する。一方、全領域の相関値が閾値を超えたときは、端点１２ａと端点１２ｂとに挟まれた領域を有効領域（物体領域）と判定し相関値を採用し、算出した相関ピーク位置に基き人物達とステレオカメラとの間の距離を各々算出することができる。
【０１０８】
以上のように、２台の撮像装置１６、１８の各々の走査線が対応するように設置する、または対応する走査線を選択する場合で説明したが、予め２台の撮像装置１６、１８の各々の走査線が対応するように調整し、固定したものを用いるようにしてもよい。このようにすると、２台の撮像装置１６、１８は、距離センサと同じような感覚で扱うことができるので、２台の撮像装置１６、１８の設置が非常に簡便になる。
【０１０９】
監視装置１は、監視空間１０に位置する人物１２、人物１３、人物１４を区別し、人物達の状態がどの位置で、立っている、座っている、倒れているか、また、その人物達は動いているか、停止しているのか、基線を通過したかといった一連の動きを簡単な装置で追従することができる。この場合、背景の基準距離からの差異を取得していると、距離が比較的正確でなくても状態の判断に使うことはできる。
【０１１０】
また、監視装置１は、差画像を用いるため、例えば、人物達に動きが無くなった場合には、領域の特定ができなくなるが、画像フレームの間隔を時間的に伸ばす等の方法で、一連の動きから総合的に人物達の状態の判定をすることができる。
【０１１１】
したがって、静止しているまたは動きがゆっくりした人物達の存在も自動的に監視できる。例えば、監視空間を歩行している人物達が動きの少ない場合に有効である。
【０１１２】
さらに、監視空間中に人物達が存在していない状態の場合の背景までの距離を基準距離として設定しておき、その状態からの監視対象物としての人物達の変化を追うことで、人物達の状態を判断することができる。
【０１１３】
以上のような本実施の形態によれば、監視空間中の人物達の状態を判断して、人物達が所定方向に移動していることや、所定のラインを通過しているといった監視を正確かつ非常に容易に行うことができる。しかも、撮像装置より画像フレーム全体の情報を取得し処理することがないため、複雑かつ大容量の画像処理を必要とせず、比較的簡単なデジタル回路やアナログ回路、もしくはこれらの組み合わせで、非常に安価な装置を構築することができる。
【０１１４】
【発明の効果】
以上のように本発明によれば、三次元の監視空間を移動する複数の監視対象物を監視する監視装置であって、監視空間１０に向けて設置され、経時的に変化をする監視対象物１２、１３、１４を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔Ｗだけ離して、監視空間１０に向けて設置され、経時的に変化をする監視対象物１２、１３、１４を撮像する第２の撮像装置１８と、第１の撮像装置１６と第２の撮像装置１８により同時刻に撮像された画像と所定時間遅れて撮像された画像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部２４、２５で形成された、第１の撮像装置１６による像の差画像と第２の撮像装置１８による像の差画像に基いて、複数の監視対象物１２、１３、１４の距離を各々相関演算すると共に、各監視対象物１２、１３、１４の輪郭を形成するエッジ上の少なくとも２点が同一監視対象物のエッジか否かを判定する演算部３０と、を備えるため、監視空間を移動する複数の監視対象物を判別し、個々の監視対象物の動きを監視する監視装置を提供する、という優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視装置の模式的な一部破断斜視図である。
【図２】本発明の実施の形態である監視装置のフローを示すフローチャート図である。
【図３】本発明の実施の形態に用いる監視方法の原理図である。
【図４】本発明の実施の形態の監視装置の画像フレームの概念図である。
【符号の説明】
１      監視装置
２      制御部
１０      監視空間
１２      人物
１３      人物
１４      人物
１６      第１の撮像装置
１８      第２の撮像装置
１９      Ｉ／Ｆ部
２０      撮像信号記憶部
２１      撮像信号記憶部
２２      撮像信号記憶部
２３      撮像信号記憶部
２４      差画像形成部
２５      差画像形成部
２６      距離演算部
２７      移動演算部
２８      ペアリング判定部
２９      カウンタ部
３０      演算部
３１      記憶部
３２      表示器
３４      距離情報記憶部
３５      エッジ番号記憶部
６０      センサ制御部
６２      差画像形成部
６４      相関出力演算部
【図１】
2004240865.tif 000003
【図２】
2004240865.tif 000004
【図３】
2004240865.tif 000005
【図４】
2004240865.tif 000006