(57)【要約】【課題】ステレオ画像を用いて三次元の監視空間を移動する監視対象物の位置情報を高速かつ高精度に得られる、特に監視対象物が遠方にある場合でも、近くにある場合と同等な精度で測定できる、簡易な構成の監視装置を提供することを目的とする。【解決手段】所定の間隔だけ離れた２つの撮像装置で、それぞれ、時刻をおいて形成された２つの差画像から、人物が占める範囲を動的領域として抽出し、また、２つの差画像の相関関係から、人物までの距離を演算する監視装置であって、２つの撮像装置から前記監視対象物の同一部分を走査する互いに対応する走査線を所定本数抽出し、抽出された走査線を動的領域に集中して走査させる。【選択図】  図３
2004304662.tif 000002
【特許請求の範囲】
【請求項１】
三次元の監視空間を移動する監視対象物を監視するステレオ画像を用いた監視装置であって；
前記監視空間に向けて設置され、経時的に変化をする前記監視対象物を撮像する第１の撮像装置と；
前記第１の撮像装置から所定の間隔だけ離して、前記監視空間に向けて設置され、経時的に変化をする前記監視対象物を撮像する第２の撮像装置と；
前記第１の撮像装置により第１の時刻に撮像された画像と前記第１の時刻から所定の時間だけ遅れた第２の時刻に撮像された画像との差画像である第１の差画像を逐次形成する第１の差画像形成手段と；
前記第２の撮像装置により前記第１の時刻に撮像された画像と前記第２の時刻に撮像された画像との差画像である第２の差画像を逐次形成する第２の差画像形成手段と；
前記第１の差画像と前記第２の差画像から、それぞれ、前記監視対象物が前記第１の差画像上と前記第２の差画像上に占める各々の領域を第１の動的領域と第２の動的領域として抽出する動的領域抽出手段と；
前記第１の撮像装置の走査線及び前記第２の撮像装置の走査線から、前記監視対象物の同一部分を走査する走査線を互いに対応する走査線とし、前記互いに対応する走査線から所定本数の走査線の対を抽出する走査線抽出手段と；
前記第１の撮像装置及び前記第２の撮像装置における前記所定本数の走査線を、それぞれ前記第１の動的領域及び前記第２の動的領域に集中して走査させる走査線集中手段と；
前記集中して走査された走査線を用いて形成された第１の動的領域と第２の動的領域に基づいて、前記監視対象物の所定の基準線からの距離を演算する距離情報演算手段を備える；
ステレオ画像を用いた監視装置。
【請求項２】
前記距離及びその経時的変化を記憶する距離情報記憶手段と；
前記距離の経時的変化に基づいて前記監視対象物の移動状態を判定する判定手段を備える；
請求項１に記載のステレオ画像を用いた監視装置。
【請求項３】
前記動的領域抽出手段は、前記第１の差画像又は前記第２の差画像を構成する各画素から、前記集中して走査した走査線毎に、画素値の絶対値が、第１の閾値より大きく、差画像の信号が生じた領域を挟み、信号がない領域との境界にある１対以上の画素領域を抽出して、隣接する走査線にて抽出された各１対以上の画素領域を互いに連結して形成された環状の画素領域を、又は前記環状の画素領域を周囲とする面状の画素領域を、それぞれ前記第１の動的領域又は前記第２の動的領域として抽出する；
請求項１又は２に記載のステレオ画像を用いた監視装置。
【請求項４】
前記動的領域抽出手段は、前記第１の差画像又は前記第２の差画像を構成する各画素から、前記集中して走査した走査線毎に、画素値の絶対値が、第１の閾値より大きく、最外部にある１対の画素領域を抽出して、隣接する走査線にて抽出された各１対の画素領域を互いに連結して形成された環状の画素領域を、又は前記環状の画素領域を周囲とする面状の画素領域を、それぞれ前記第１の動的領域又は前記第２の動的領域として抽出する；
請求項１又は２に記載のステレオ画像を用いた監視装置。
【請求項５】
前記走査線集中手段は、前記第１の動的領域又は前記第２の動的領域を構成する画素のうち、最上位の画素が最上位の走査線と次上位の走査線との間に、最下位の画素が最下位の走査線と次下位の走査線との間に来るように、前記所定本数の走査線を前記第１の動的領域又は前記第２の動的領域に集中して走査させる；
請求項１乃至４に記載のステレオ画像を用いた監視装置。
【請求項６】
前記走査線集中手段は、前記第１の動的領域又は前記第２の動的領域を抽出できなかった時は、直前のフレームにおける走査線の状態を維持し、さらに、所定の回数以上、前記第１の動的領域又は前記第２の動的領域を抽出できなかった時は、前記所定本数の走査線を監視空間全体に拡張する；
請求項１乃至５に記載のステレオ画像を用いた監視装置。
【請求項７】
前記距離情報演算手段は、前記第１の動的領域と前記第２の動的領域との相関関係から、前記第１の撮像装置と前記第２の撮像装置との視差に係る相関出力値を算出し、前記相関出力値から三角法を用いて前記監視対象物の所定の基準線からの距離を演算する；
請求項１乃至６に記載のステレオ画像を用いた監視装置。
【請求項８】
前記距離情報演算手段は、前記相関出力値のうち、最大の相関ピーク値を示す相関出力値と２番目の相関ピーク値を示す相関出力値を抽出し、前記最大の相関ピーク値と前記２番目の相関ピーク値との差が第２の閾値より大きい場合に限り、前記最大の相関ピーク値を示す相関出力値から、前記所定の基準線からの距離を演算する；
請求項７に記載のステレオ画像を用いた監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像を用いて三次元の監視空間を移動する監視対象物を監視する監視装置に関する。
【０００２】
【従来の技術】
監視対象物の位置情報の測定に関しては、２個の撮像装置を用い、ステレオ画像の差画像から、三角法により、三次元の監視空間を移動する監視対象物の位置情報を計測する装置が記載されている。このようなステレオ画像を用いる方法は、差分処理により三次元情報の取得が可能であり、一般的に使用されている（特許文献１参照）。
【特許文献１】
特開２００２―１７５５１３号公報（段落００３４〜００４０、００６４、図４、図８）
【０００３】
【発明が解決しようとする課題】
しかし、ステレオ画像を用いる方法は、演算部分において高度な処理能力を必要とし、装置規模が大きくなったり、処理時間が長くなるという問題があった。
他方、走査線数を少なくして処理を早めようとすると、測定精度が落ちるという問題があった。また、監視対象物が遠方になるほど距離の分解能が低下したり、遠方では監視対象物が走査線間に入って検出できなくなるという問題があった。
【０００４】
本発明は、ステレオ画像を用いて三次元の監視空間を移動する監視対象物の位置情報を高速かつ高精度に得られる簡易な構成の監視装置を提供すること、特に監視対象物が遠方にある場合でも、近くにある場合と同等な精度で測定できる監視装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載のステレオ画像を用いた監視装置は、三次元の監視空間１０を移動する監視対象物１２を監視するステレオ画像を用いた監視装置１であって、前記監視空間１０に向けて設置され、経時的に変化をする前記監視対象物１２を撮像する第１の撮像装置１６と、前記第１の撮像装置１６から所定の間隔ｗだけ離して、前記監視空間１０に向けて設置され、経時的に変化をする前記監視対象物１２を撮像する第２の撮像装置１８と、前記第１の撮像装置１６により第１の時刻Ｔ０に撮像された画像と前記第１の時刻Ｔ０から所定の時間ΔＴだけ遅れた第２の時刻Ｔ１に撮像された画像との差画像である第１の差画像を逐次形成する第１の差画像形成手段２４と、前記第２の撮像装置１８により前記第１の時刻Ｔ０に撮像された画像と前記第２の時刻Ｔ１に撮像された画像との差画像である第２の差画像を逐次形成する第２の差画像形成手段２５と、前記第１の差画像と前記第２の差画像から、それぞれ、前記監視対象物１２が前記第１の差画像上と前記第２の差画像上に占める各々の領域を第１の動的領域と第２の動的領域として抽出する動的領域抽出手段２７と、前記第１の撮像装置１６の走査線及び前記第２の撮像装置１８の走査線から、前記監視対象物１２の同一部分を走査する走査線を互いに対応する走査線とし、前記互いに対応する走査線から所定本数ｎの走査線の対を抽出する走査線抽出手段３２と、前記第１の撮像装置１６及び前記第２の撮像装置１８における前記所定本数ｎの走査線を、それぞれ前記第１の動的領域及び前記第２の動的領域に集中して走査させる走査線集中手段３３と、前記集中して走査された走査線を用いて形成された第１の動的領域と第２の動的領域に基づいて、前記監視対象物１２の所定の基準線からの距離を演算する距離情報演算手段２６を備える。
【０００６】
ここで、請求項１に記載の第１の撮像装置１６と第２の撮像装置１８は、典型的にはＣＣＤセンサやＣＭＯＳセンサのようなセンサを用い、三角法で距離を測定するパッシブ型距離検出装置を構成することができる。
【０００７】
このように構成すると、走査線を監視対象物１２の動作領域に集中させることにより、ステレオ画像を用いて三次元の監視空間１０を移動する監視対象物１２の位置情報を高速かつ高精度に得ることができる簡易な構成の監視装置１、特に監視対象物１２が遠方にある場合でも、近くにある場合と同等な精度で測定できる監視装置１を提供できる。
【０００８】
請求項２に記載の発明に係る請求項１に記載のステレオ画像を用いた監視装置は、前記距離及びその経時的変化を記憶する距離情報記憶手段３９と、前記距離の経時的変化に基づいて前記監視対象物の移動状態を判定する判定手段２８を備える。
【０００９】
このように構成すると、監視対象物１２の距離の経時変化から、監視対象物１２の移動方向を、効率的に検知できる。
【００１０】
請求項３に記載の発明に係る請求項１又は２に記載のステレオ画像を用いた監視装置において、前記動的領域抽出手段２７は、前記第１の差画像又は前記第２の差画像を構成する各画素から、前記集中して走査した走査線毎に、画素値の絶対値が、第１の閾値より大きく、差画像の信号が生じた領域を挟み、信号がない領域との境界にある１対以上の画素領域を抽出して、隣接する走査線にて抽出された各１対以上の画素領域を互いに連結して形成された環状の画素領域を、又は前記環状の画素領域を周囲とする面状の画素領域を、それぞれ前記第１の動的領域又は前記第２の動的領域として抽出する。
【００１１】
このように構成すると、多くの場合、監視対象物１２の輪郭が差画像の信号が生じる境界になるので、効率的に監視対象物１２の動的領域を把握できる。ここで、１対以上とあるのは、人物１２が手を胴体から離したり、足を開いたりした場合には、これらの部分を走査する走査線が複数回人物１２を横切り、それぞれ人物１２の輪郭に当たる領域が差画像の信号が生じる境界になるからである。また、動的領域として、人物１２の輪郭部分の画素領域、当該輪郭部分に囲まれた画素領域の２態様がある。ここで、人物の輪郭のうち、動きの少ない部分があれば、明度差の絶対値は小さくなるので、抽出された動的領域は、環状の一部が欠けたものになるが、一部が欠けても、明度差の絶対値が大きい部分がある程度抽出されれば、後の相関処理や距離の演算は可能であるので、環状は一部が欠けても良い。面状も同様に一部が欠けても良い。すなわち、前記環状の画素領域は、一部が欠けているものを含むものとする。また、前記面状の画素領域は一部が欠けているものを含むものとする。
【００１２】
請求項４に記載の発明に係る請求項１又は２に記載のステレオ画像を用いた監視装置において、前記動的領域抽出手段２７は、前記第１の差画像又は前記第２の差画像を構成する各画素から、前記集中して走査した走査線毎に、画素値の絶対値が、第１の閾値より大きく、最外部にある１対の画素領域を抽出して、隣接する走査線にて抽出された各１対の画素領域を互いに連結して形成された環状の画素領域を、又は前記環状の画素領域を周囲とする面状の画素領域を、それぞれ前記第１の動的領域又は前記第２の動的領域として抽出する。
【００１３】
このように構成すると、走査線毎に最外部にある１対の画素領域を動的領域として抽出するので、監視対象物１２を確実に動的領域の内側に収めることができる。また、動的領域として、人物１２の輪郭部分の画素領域、当該輪郭部分に囲まれた画素領域の２態様がある。環状や面状は一部が欠けても良い。すなわち、前記環状の画素領域は、一部が欠けているものを含むものとする。また、前記面状の画素領域は一部が欠けているものを含むものとする。
【００１４】
請求項５に記載の発明に係る請求項１乃至４に記載のステレオ画像を用いた監視装置において、前記走査線集中手段３３は、前記第１の動的領域又は前記第２の動的領域を構成する画素のうち、最上位の画素が最上位の走査線と次上位の走査線との間に、最下位の画素が最下位の走査線と次下位の走査線との間に来るように、前記所定本数ｎの走査線を前記第１の動的領域又は前記第２の動的領域に集中して走査させる。
【００１５】
このように構成すると、最上位の画素の下側を最上位の走査線が走査するようになった時、又は最下位の画素の上側を次下位の走査線が走査するようになった時には、所定本数ｎの走査線の集中させる範囲を広くするように、そして、最上位の画素の上側を次上位の走査線が走査するようになった時、又は最下位の画素の下側を次上位の走査線が走査するようになった時には、所定本数ｎの走査線の集中させる範囲を狭くするように、改めて走査線の間隔を、最上位の画素が最上位の走査線と次上位の走査線との間に、最下位の画素が最下位の走査線と次下位の走査線との間に来るように調整することにより、所定本数ｎの走査線を恒久的に監視対象物１２に集中させて、監視対象物１２の動作を一定の精度で把握できる。
【００１６】
請求項６に記載の発明に係る請求項１乃至５に記載のステレオ画像を用いた監視装置において、前記走査線集中手段３３は、前記第１の動的領域又は前記第２の動的領域を抽出できなかった時は、直前のフレームにおける走査線の状態を維持し、さらに、所定の回数以上、前記第１の動的領域又は前記第２の動的領域を抽出できなかった時は、前記所定本数ｎの走査線を監視空間１０全体に拡張する。
【００１７】
このように構成すると、動的領域が抽出できなかった時は監視対象物１２が静止しているとみなして、直前のフレームでの走査線の状態を維持して、監視を継続できる。さらに、所定の回数以上、動的領域が抽出できなかった時は、走査線の走査範囲を拡大して、監視対象物１２の位置を再確認できる。
【００１８】
請求項７に記載の発明に係る請求項１乃至６に記載のステレオ画像を用いた監視装置において、前記距離情報演算手段２６は、前記第１の動的領域と前記第２の動的領域との相関関係から、前記第１の撮像装置１６と前記第２の撮像装置１８との視差に係る相関出力値を算出し、前記相関出力値から三角法を用いて前記監視対象物１２の所定の基準線４３からの距離を演算する。
【００１９】
このように構成すると、簡単な装置構成で、監視対象物１２の距離情報を、効率的に把握できる。
【００２０】
請求項８に記載の発明に係る請求項７に記載のステレオ画像を用いた監視装置において、前記距離情報演算手段２６は、前記相関出力値のうち、最大の相関ピーク値を示す相関出力値と２番目の相関ピーク値を示す相関出力値を抽出し、前記最大の相関ピーク値と前記２番目の相関ピーク値との差が第２の閾値より大きい場合に限り、前記最大の相関ピーク値を示す相関出力値から、前記距離を演算する。
【００２１】
このように構成すると、相関ピ―ク値は通常、１つしかない真の相関出力値で飛び抜けて大きな値となるので、ノイズを誤って監視対象物１２の輪郭と把握することを防止できる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００２３】
図１は、本発明による実施の形態である監視装置１の模式的な一部破断斜視図である。監視装置１は、三次元の監視空間１０を移動又は侵入する監視対象物としての人物１２を監視する。三次元の監視空間とは、例えば、水平方向（Ｘ軸）、奥行方向（Ｙ軸）、及び垂直方向（Ｚ軸）の直交座標で定義することができる領域をいう。ＸＹ面である床面３上に人物１２が存在し、ＸＺ面とＹＺ面に壁面がある。
【００２４】
監視装置１は、監視空間１０に向けて設置され、経時的に形状が変化する人物１２を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔ｗだけ離して、監視空間１０に向けて設置され、経時的に形状が変化する人物１２を撮像する第２の撮像装置１８を備え、第１の撮像装置１６と第２の撮像装置１８は、例えば、壁面（ＸＺ面）４に設置して監視空間１０内の人物１２を撮像している。第１及び第２の撮像装置１６、１８はセンサとしてＣＣＤセンサを使用している。また、対物レンズの周囲に赤外線発光素子１７を配置し、ケーブルによりＩＦ部に接続され、暗闇状態で自動点灯するように制御され、昼夜監視できるようになっている。センサとしてＣＭＯＳも使用可能である。
【００２５】
第１の撮像装置１６と第２の撮像装置１８は、制御装置２に通信ケーブルで接続され、ビデオ信号を制御装置２のインターフェースであるＩＦ部１９へ送信する。制御装置２は、内部にＩＦ部１９と、ＩＦ部１９に接続する演算部３０と、演算部３０に接続する記憶部３１と、ＩＦ部１９及び演算部３０に接続する走査線制御部２９と、演算部３０に接続する入力部３７と、ＩＦ部１９及び演算部３０に接続する送信部３８とを備える。
【００２６】
制御装置２には、監視装置１を操作するための情報を入力する入力装置３５が入力部３７を介して接続され、監視装置１からの演算結果や判定結果を出力する出力装置３６及び撮像装置１６，１８からのビデオ信号を録画、再生する画像録画再生装置３４が、送信部３８を介して接続されている。入力装置３５は例えばタッチパネル、キーボード、マウス等であり、出力装置３６はディスプレイ、プリンタ、警報装置等である。図１では、入力装置３５と出力装置３６は制御装置２に外付けするものとして図示されているが、内蔵でも良い。また制御装置２は、赤外線発光素子１７の点灯、消灯を制御する図示しない発光制御部を備えていても良い。
【００２７】
記憶部３１には、第１の撮像装置１６で第１の時刻Ｔ０に撮像した撮像信号を記憶する撮像信号記憶部（ＣＣＤ１：Ｔ０）２０、第２の時刻Ｔ１に撮像した撮像信号を記憶する撮像信号記憶部（ＣＣＤ１：Ｔ１）２１、第２の撮像装置１８で第１の時刻Ｔ０に撮像した撮像信号を記憶する撮像信号記憶部（ＣＣＤ２：Ｔ０）２２、第２の時刻Ｔ１に撮像した撮像信号を記憶する撮像信号記憶部（ＣＣＤ２：Ｔ１）２３、及び監視対象物１２の位置情報を記憶する位置情報記憶部３９が設けられている。位置情報は距離情報とＸ方向及びＺ方向の位置情報を含み、位置情報記憶部３９は距離情報記憶手段としての機能を有している。また、演算途中で取得できるその他のデータ等も記憶する。
【００２８】
演算部３０には、第１の撮像装置１６による第１の差画像を形成する第１の差画像形成部（ＣＣＤ１：差）２４、第２の撮像装置１８による第２の差画像を形成する第２の差画像形成部（ＣＣＤ２：差）２５、人物１２等の監視対象物の位置情報を演算処理する位置演算部２６、第１の差画像と第２の差画像からそれぞれ第１の動的領域と第２の動的領域を抽出する動的領域抽出部２７、及び位置情報の経時変化から監視対象物１２である人物の移動状態を判定する判定部２８と、を備える。第１の差画像形成部２４と第２の差画像形成部２５はそれぞれ第１の差画像形成手段と第２の差画像形成手段としての機能を有し、位置演算部２６は距離情報演算手段としての機能を有し、動的領域抽出部２７は動的領域抽出手段としての機能を有し、判定部２８は判定手段としての機能を有する。
【００２９】
走査線制御部２９は、同期させる走査線の選択を行う走査線選択手段としての機能を有する走査線選択部３２と所定の本数ｎの走査線を動的領域に集中させる走査線集中部３３を備え、また、第１の撮像装置１６と第２の撮像装置１８の互いに対応する走査線を同期させる制御を行なう。
【００３０】
図１の一部破断斜視図を参照して、監視装置１の動作について説明をする。監視空間１０には、人物１２が壁面４に向かって接近したり、遠ざかったりするのを監視する範囲を設定するために、例えば、床面３上に、壁面４に沿って規定する内縁部４３（所定の基準線に該当する）と内縁部４３から所定の距離Ｄだけ遠方に離れて規定された外縁部４２が設定されている。内縁部４３には第１及び第２の撮像装置１６、１８が設置されている。
【００３１】
ここで、第１の撮像装置１６は第１の本数の走査線を有し、第２の撮像装置１８は第２の本数の走査線を有し、両撮像装置１６、１８は走査線方向を共通に並列に設置されている。また、本実施の形態では、第１の撮像装置１６と第２の撮像装置１８は、別体として説明するが一体として構成してもよい。監視空間１０は、外縁部４２と内縁部４３に挟まれた所定の距離Ｄを有する領域であり、第１及び第２の撮像装置１６、１８は、この監視空間１０内を移動する人物１２を撮像する。また本実施の形態では、第１の撮像装置１６と第２の撮像装置１８は、壁面４に設置し水平方向に向けているが、壁や天井に角度をもたせて三次元の監視空間に向けて設置してもよい。
【００３２】
また、第１の撮像装置１６と第２の撮像装置１８の走査線の本数は、典型的には同数であり、各撮像装置の走査線の本数は、例えば、５００本有し、各走査線には５００ピクセルの画素を備えている。また、第１の撮像装置１６と第２の撮像装置１８は、走査線方向に並べて水平に設置されていることが望ましい。
【００３３】
制御装置２は、第１の撮像装置１６と第２の撮像装置１８から撮像信号を受信し、互いに対応する走査線上（水平方向）に形成された画像を同期させて抽出する。互いに対応する走査線とは、監視対象物１２の同一部分を走査するものをいう。後に説明するように、これらの互いに対応する走査線上の画素データから相関演算や距離演算が行われる。そこで、第１の撮像装置１６と第２の撮像装置１８の最近撮影された画像の画素データを比較対照して、走査線の対応関係を予め把握しておく。
【００３４】
走査線選択部３２は、走査線抽出手段としての機能を有し、同期させる走査線として、互いに対応する走査線のうちから所定の本数ｎの走査線の対を抽出する。所定の本数ｎは２以上であるが、監視対象物１２の距離や位置に応じて自由に選択できる。所定の本数ｎは、例えば人物１２のプライバシーが保護される程度、または処理量の増大に伴い処理時間が遅くならない程度とし、１０〜２０程度でも良い。等間隔に選択したり、ランダムに選択したり、使用目的に応じて適宜変更できる。
【００３５】
各撮像装置が有する約５００本（互いに対応する走査線が上下方向にずれることがあるので、対応しないものを除く）の走査線を抽出してもよく、撮像領域を所定の間隔に区切る本数の走査線を抽出してもよい。例えば、人物１２を検出する場合は約１００ｍｍ間隔の映像を撮像する走査線を抽出し、小動物を検出する場合は約５０ｍｍ間隔の映像を撮像する走査線を抽出し、その他接近する物体を全て検出する場合は約１０ｍｍ間隔の映像を撮像する走査線を抽出するように個別に設定することもできる。例えば、人物１２の何れかの部分が監視空間１０に侵入したことを検知するには、少なくとも各撮像装置の走査線が約５００本としたときに、等間隔毎に約２０本の走査線を抽出すればよい。本実施の形態では所定の本数ｎとして２０本の走査線を抽出するものとする。
【００３６】
別のケースとして、第１の撮像装置１６の走査線の本数が５００本で第２の撮像装置１８の走査線の本数が６００本の場合を仮定する。この場合、撮影される全領域が同じであれば、第１の撮像装置１６の５本の走査線で走査された画像と第２の撮像装置１８の６本の走査線で走査された画像が対応関係をなす。すなわち、第１の撮像装置１６の５本中１本の走査線と第２の撮像装置１８の６本中１本の走査線とが互いに対応する走査線となる。したがって、互いに対応する走査線の本数は約１００本（互いに対応する走査線が上下方向にずれることがあるので、対応しないものを除く）となる。この場合においても約１００本の互いに対応する走査線から所定の本数ｎとして２０本の走査線を抽出できる。なお、第１の撮像装置１６で１本の走査に要する時間と第２の撮像装置１８で１本の走査に要する時間が異なる場合には、各々の走査線の走査開始時間を合わせるように同期させる。さらに、同期させる走査線は、各走査線を時系列的に抽出するとよい。
【００３７】
監視装置１は、第１の撮像装置１６が時刻Ｔ０に撮像した人物１２の画像情報をＩＦ部１９を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２０へ記憶する。並行して、第２の撮像装置１８により時刻Ｔ０に撮像した人物１２の画像情報をＩＦ部１９を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２２へ記憶する。画像情報は、典型的には画像を構成する画素の画素値（明度）の配列データである。
【００３８】
引き続き、第１の撮像装置１６が時刻Ｔ０より所定時間ΔＴ遅れて撮像された時刻Ｔ１の人物１２の画像情報をＩＦ部１９を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２１へ記憶する。並行して、第２の撮像装置１８により時刻Ｔ０より所定時間ΔＴ遅れて撮像された時刻Ｔ１の人物１２の画像情報をＩＦ部１９を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２３へ記憶する。
【００３９】
演算部３０内の第１の差画像形成部２４と第２の差画像形成部２５は、各撮像信号に含まれる走査線上に形成される各画像の画像情報から差画像を形成する、それぞれ第１の差画像形成手段、第２の差画像形成手段としての機能を備えている。
【００４０】
第１の差画像形成部２４は、第１の撮像装置１６で撮像した時刻Ｔ０の人物１２の画像と時刻Ｔ１の人物１２の画像との差画像である第１の差画像を逐次演算処理し、第１の差画像を一時記憶する。並行して、第２の差画像形成部２５は、第２の撮像装置１８で撮像した時刻Ｔ０の人物１２の画像と時刻Ｔ１の人物１２の画像との差画像である第２の差画像を逐次演算処理し、第２の差画像を一時記憶する。これらの差画像は、人物１２の動いた部分を抽出した人物１２の輪郭（エッジ）を示す画像情報である。
【００４１】
差画像を形成するための２つの画像は、撮像時刻Ｔ０及び撮像時刻Ｔ０から所定の時間ΔＴだけ遅れた撮像時刻Ｔ１に各々取得するが、ずらす遅延時間（所定の時間）ΔＴは、人物１２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０秒〜１／３秒）とする。このような差画像を演算して取得すると人物１２の背景が除去され、動きのある人物１２の像だけを抽出することができる。
【００４２】
各撮像装置１６、１８の走査線上に各々形成された画像は、背景は動くことがないので、動いている人物１２の境界部ではその画素値が急激に変化する。本実施の形態において、演算部３０内の動的領域抽出部２７は、第１の差画像形成部２４と第２の差画像形成部２５から各差画像を読み出し、監視対象物１２が各差画像上に占める領域をそれぞれ、第１の動的領域、第２の動的領域として抽出する動的領域抽出機能を有している。差画像を構成する各画素値（明度差）の絶対値が、第１の閾値よりも大きな画素のうち、差画像の信号が生じる境界の画素を人物１２の境界とみなし、各々の動的領域として抽出する。本実施の形態では、動的領域として環状の画素領域を抽出する場合について説明する。
【００４３】
通常、監視対象物１２の輪郭で画素値（明度差）の絶対値が大きくなる。差画像には明るくなった画素と暗くなった画素とがあり、例えば明るくなった場合の画素値を＋とすると、暗くなった場合の画素値が−になる。また、第１の閾値を設けたのはノイズを除去するためである。
【００４４】
図２に本実施の形態の監視装置１において、撮像装置により撮影された画像の例を示す。図２（ａ）及び（ｂ）は、それぞれ時刻Ｔ０及びＴ１において第１の撮像装置により撮影された画像の例を示す。時刻Ｔ０から時刻Ｔ１の間に、両腕を胴体から離し、両足を開いた状態の人物１２がそのまま左に移動すれば、その形状は図２（ｂ）の点線から実線のように変化する。そして、実線と点線の間の部分が第１の差画像として形成されるが、第１の差画像は人物の輪郭を表したものとほぼ一致する。
【００４５】
図２（ａ）、（ｂ）において、走査線を上からｍ１〜ｍ１３とする。走査線ｍ４上では領域ｐ１、ｐ２の２箇所が、明度差の絶対値が大きい領域となる。人物１２の移動に伴って顔の位置が変わるため、ｐ１、ｐ２間では差画像の信号が生じ、画素値は０でない。ｐ１の左側、ｐ２の右側では、背景が不変のため、差画像の画素値は０である。走査線ｍ７上では領域ｐ３〜ｐ８の６箇所が、明度差の絶対値が大きい領域となる。人物１２の移動に伴って衣服の位置が変わるため、ｐ３とｐ４間、ｐ５とｐ６間、ｐ７とｐ８間では、差画像の信号が生じ、画素値は０でない。他方、ｐ３の左側、ｐ４とｐ５間、ｐ６とｐ７間及びｐ８の右側では、背景が不変のため差画像の画素値は０である。また走査線ｍ１０ではｐ９〜ｐ１２の４箇所で、明度差の絶対値が大きい領域となる。ｐ９とｐ１０間、ｐ１１とｐ１２間では、差画像の信号が生じ、画素値は０でない。ｐ８の左側、ｐ９とｐ１０間及びｐ８の右側では、差画像の画素値は０である。
【００４６】
そこで、明度差の絶対値が大きい画素領域は、その間に差画像の信号が生じる領域、すなわち人物が占める領域を挟んだ対をなす領域であるといえる。すなわち、ｐ１とｐ２、ｐ３とｐ４、・・・、ｐ１１とｐ１２が、それぞれ、差画像の信号が生じた領域を挟み、信号がない領域との境界にある対をなす画素領域であり、人物が占める領域を挟んだ対をなす画素領域である。このような画素領域を集めて、隣接する走査線にて抽出された各１対以上の画素領域を互いに連結して形成された環状の画素領域が第１の動的領域として抽出される。すなわち抽出された第１の動的領域は、実質的に差画像の明度差の絶対値が大きい画素領域と殆ど一致し、実質的に人物１２が差画像上に占める領域として抽出される。このようにして抽出された第１の動的領域は人物の輪郭を表すものとなる。ここで、人物の輪郭のうち、動きの少ない部分があれば、明度差の絶対値は小さくなるので、抽出された動的領域は、環状の一部が欠けたものになる。しかし、一部が欠けても、明度差の絶対値が大きい部分がある程度抽出されれば、後の相関処理や距離の演算は可能である。
【００４７】
また、走査線ｍ４と走査線ｍ１１では差画像が形成されるが、走査線ｍ３と走査線ｍ１２では差画像が形成されないので、第１の動的領域の上端はｍ３とｍ４の間に、第１の動的領域の下端はｍ１１とｍ１２の間にあることが解る。また、右に移動した場合も、同様な差画像と動的領域を構成する点が得られる。また、正面にいる人物が前に移動した場合には、人物の輪郭は拡大し、後ろに移動した場合には、人物の輪郭は縮小するので、同様な差画像が形成され、第１の動的領域を抽出できる。また、同様にして、第２の差画像から第２の動的領域を抽出できる。
【００４８】
なお、走査線ｍ７やｍ１０のように、複数の対をなす画素領域が生じる場合には、第１の動的領域を構成する点として、走査線上の最外部にある１対の画素領域、ｐ３とｐ８、ｐ９とｐ１２のみを選んでも良い。このようにして選んだ対をなす画素領域を走査線毎に抽出し、集めて、隣接する走査線にて抽出された各１対の画素領域を連結して形成された環状の画素領域を第１の動的領域として抽出しても、人物１２が差画像上に占める領域は第１の動的領域の内側に含まれる。
そして、第２の動的領域も同様にして抽出すれば、相関処理をした場合に、手足の内側等の輪郭を除いて相関処理がされるが、手と胴、両足が離れていない場合も多く、実質的には複数対を選んで相関処理をした場合と同じ結果を得られることとなる。
【００４９】
もし、監視対象物１２である人物が静止していれば、動的領域は抽出されない。したがって、動的領域が抽出されなかった時には、人物は静止しているものと見なされる。
【００５０】
このように、演算部３０は、動的領域の抽出処理を、全ての走査線について行わなくても、互いに対応する所定の本数（本実施の形態では２０本）の走査線について行うことにより、人物１２が動いた領域を抽出することができる。
【００５１】
ところで、人物２の動きを監視するには、所定の本数の走査線を、撮影した画像の全域に広げなくても、その人物１２について抽出した動的領域に集中させれば十分である。
【００５２】
図３に所定の本数ｎの走査線を人物１２に集中させた場合に、人物１２を走査する走査線の状態を示す。図３（ａ）は人物１２が監視装置１から近距離にいる場合、図３（ｂ）は人物１２が監視装置１から遠距離にいる場合の状態を示す。
人物１２が内縁部４３の近くにいれば動的領域は大きくなり、外縁部４２の近くにいれば動的領域は小さくなり、人物１２が外縁部４２から内縁部４３に近づくにつれて動的領域は単調に増加する。
【００５３】
走査線集中部３３は、走査線集中手段としての機能を有する。走査線集中部３３は、所定の本数ｎの互いに対応する走査線を、動的領域に集中させて、ほぼ均等な間隔で抽出するようにする。人物１２が外縁部４２から内縁部４３に近づくにつれて、抽出する走査線の間隔を次第に広くし、人物１２が内縁部４３から外縁部４２に遠ざかるにつれて、抽出する走査線の間隔を次第に狭くしていく。このようにすれば、例えば上から３番目の走査線ｍ３は常に肩の近くを走査し、下から３番目の走査線ｍ１８は常に膝の近くを走査するようにできるので、人物の動作を同等の精度で監視することができる。また遠方の監視対象物１２が走査線の間に入って走査されず、検出できないということもなくなる。
【００５４】
また、最上部の走査線と最下部の走査線は人物１２の全体を余裕をもって収められるように選択する。例えば、第１の撮像装置１６と第２の撮像装置１８の走査線の本数は共に５００本で、互いに対応する走査線が約５００本の場合で、外縁部４２で人物１２の画像が撮影範囲の約１／３となる場合は、上から約１６０本目〜約３４０本目の約１８０本の走査線を約９本間隔で２０本を選択し、内縁部４３側の方向に近づき人物１２の画像が撮像画面一杯に広がる位置では約２５本間隔で２０本を選択し、その間で互いに対応する走査線の間隔を次第に変化させていけば良い。人物１２の画像が撮像画面一杯に広がる位置から〔さらに〕内縁部４３側では、約２５本間隔で２０本の状態を維持する。
【００５５】
また、例えば、第１の撮像装置１６の走査線の本数が５００本で第２の撮像装置１８の走査線の本数が６００本で、互いに対応する走査線が約１００本の場合で、外縁部４２で人物１２の画像が撮像画面の約１／３となる場合は、上から約３０本目〜約７０本目の約４０本の走査線を約２本間隔で２０本を選択し、内縁部４３側の方向に近づき人物１２の画像が撮像画面一杯に広がる位置では約５本間隔で２０本を選択し、その間で互いに対応する走査線の間隔を次第に変化させていけば良い。人物１２の画像が撮影範囲一杯に広がる位置から内縁部４３側では、約５本間隔で２０本の状態を維持する。
【００５６】
また、例えば、第１の動的領域又は第２の動的領域を構成する画素のうち、最上位の画素が最上位の走査線と次上位の走査線との間に、最下位の画素が最下位の走査線と次下位の走査線との間に来るように、所定本数ｎの走査線を第１の動的領域又は第２の動的領域に集中して走査させると、最上位の画素の下側を最上位の走査線が走査するようになった時、又は最下位の画素の上側を最下位の走査線が走査するようになった時には、所定本数ｎの走査線の集中させる範囲を広くするように、そして、最上位の画素の上側を次上位の走査線が走査するようになった時、又は最下位の画素の下側を次上位の走査線が走査するようになった時には、所定本数ｎの走査線の集中させる範囲を狭くするように、改めて走査線の間隔を、最上位の画素が最上位の走査線と次上位の走査線との間に、最下位の画素が最下位の走査線と次下位の走査線との間に来るように調整することにより、所定本数ｎの走査線を恒久的に監視対象物１２に集中させられ、監視対象物１２の動作を一定の精度で把握できる。調整は、例えば、最上位の走査線を最上位の画素より現時点における走査線間隔の１／２上にくるようにし、かつ、最下位の走査線を最下位の画素より現時点における走査線間隔の１／２下にくるようにして、その間を走査線間隔がほぼ均等になるようにｎ−２本の走査線を抽出する。
【００５７】
もし、動的領域が抽出されなかった時には、人物１２は静止しているものと見なされるので、直前のフレームにおける走査線の状態を維持する。さらに、所定の回数以上、動的領域が抽出されなかった時には、監視対象物１２の状態を再確認するために、所定本数ｎの走査線を監視空間全体に拡張する。動的領域が確認されれば、新たに抽出された動的領域に対して所定本数ｎの走査線を集中させる。
【００５８】
位置演算部２６は、距離情報演算手段としての機能を有する。第１の差画像と第２の差画像に基いて、相関処理を行うことにより内縁部４３（所定の基準線）と人物１２との距離及びＸ方向やＺ方向の位置を演算処理し、演算で取得した人物１２の各部分の位置情報を位置情報記憶部３９に一時記憶する。
【００５９】
また、位置演算部２６は、第１の差画像から抽出された第１の動的領域と第２の差画像から抽出された第２の動的領域間の相関出力値を算出する機能を有している。位置演算部２６は、演算した相関出力値に基づき所定の基準線（内縁部）４３、すなわち撮像装置の設置位置から人物１２までの距離を算出する。
【００６０】
位置演算部２６は、例えば、第１の差画像から、それぞれ画素値の絶対値が大きい画素領域、すなわち人物１２の動きによって、コントラストの変化が激しかった画素領域を動的領域として、その画像情報を抽出する。また、第２の差画像から画素値の絶対値が大きい画素領域を動的領域として、その画像情報を抽出する。各々抽出された動的領域の画像情報を比較した場合、両撮像装置１６，１８の視差の関係から２つ動的領域は対応する画素領域の位置が僅かに異なる画像であることがわかる。これは、２つの撮像装置１６，１８を一定の間隔ｗで設置し、同じ監視対象物１２を監視しているためである。
【００６１】
引き続き位置演算部２６は、第１の動的領域と第２の動的領域との相関処理を施し、１ピクセル単位で一方の画像をずらし、その相関ピークが最大になった位置（相関ピーク位置）を計測することにより、２つの動的領域間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を演算し取得する。
【００６２】
ここで相関出力値とは、第１の撮像装置１６と第２の撮像装置１８との視差により発生する相対的結像位置差のことであり、相関処理により、典型的には画素数（ピクセル）で出力される値である。位置演算部２６は、この相関出力値により第１の撮像装置１６の走査線と第２の撮像装置１８の走査線との視差に基づき、三角法を用いて撮像装置すなわち所定の基準線４３と人物１２との距離を算出する。
【００６３】
また、相関処理とは、第１の差画像と第２の差画像のどちらか一方を、又は第１の動的領域と第２の動的領域のどちらか一方を、２つの画像がほぼ一致するまで画素単位でずらして、そのずらした量を例えば画素数により示して算出する処理である。２つの差画像が一致するか否かの判定は、一方の差画像を固定し他方の差画像をずらしながら、又は一方の動的領域を固定し他方の動的領域をずらしながら、比較したときに重なり合う信号全体の強さに基づいて実行する。信号がピークになった座標が一致点であり相関ピーク位置である。
【００６４】
また、相関処理は、第１の差画像と第２の差画像を適正な閾値で二値化し、監視対象物１２のエッジ部を抽出することにより、動きのある監視対象物１２が存在する領域を抽出し、この抽出した領域のみについて相関処理を施しても良い。
このようにすると、相関処理は二値化した画像データを用いるので、処理が簡単になる。
【００６５】
真の相関出力値であれば、通常、相関ピーク値は飛び抜けて大きくなる。しかし、取得した相関出力値のデータが、そうでない場合も生じ得る。そこで、最大の相関ピーク値および２番目に大きな相関ピーク値の比較を行なう。相関ピーク値のレベル差が所定の閾値Ｒ以上の場合は、相関ピーク値が最大となる相関出力値を取得し、閾値Ｒ以下の場合には、相関ピーク値が最大となる相関出力値を取得しないこととする。すなわち、相関ピーク値は飛び抜けて大きくならない場合は信頼性のないデータとみなす。また、最大のピーク値がある場合でも、最大のピーク値が閾値Ｒ’以下の場合には、信頼性のないデータとみなして、相関ピーク値が最大となる相関出力値を取得しないこととする。
【００６６】
第１の撮像装置１６と第２の撮像装置１８を同じ機種とし、殆ど全ての互いに対応する走査線を用いる場合はもちろん、そうでなくても本実施の形態では抽出した走査線を動的領域全体に集中させ、しかも均等な間隔で抽出しているので、人物１２の頭部から足先までに対応する部分の画像が得られる。そして、互いに対応する各走査線から得られた差画像から抽出された動的領域について、相関処理により、各走査線上における人物１２の各部分についての距離を得ることができる。又は、所定本数ｎの走査線全体から得られた差画像から抽出された動的領域について、相関処理により、人物１２についての距離を得ることができる。また各部分の距離を集めて平均距離を算出しても良い。
【００６７】
監視対象物１２である人物のＸ方向やＺ方向の位置情報は、第１の差画像又は第２の差画像の、若しくは、第１の動的領域又は第２の動的領域のＸ方向やＺ方向の位置と距離情報から導かれる。位置情報記憶部３９は距離情報記憶手段としての機能を有し、距離情報、Ｘ方向やＺ方向の位置情報及びこれらの経時変化を一時記憶する。
【００６８】
判定部２８は判定手段としての機能を有し、距離情報の経時変化から、監視対象物１２である人物の移動状態を判定し、送信部３８を介して出力装置３６に移動状態についての判定結果を出力する。また、送信部３８を介して画像録画再生装置３４に移動状態を表示しても良い。人物の移動状態は、前後左右への移動、静止等の情報である。距離が短くなれば近づいており、長くなれば遠ざかっていると判定される。また、時間情報と組み合わせると、移動速度も演算可能である。また、動的領域の大きさを演算して、大きくなれば近づいており、小さくなれば遠ざかっていると判定しても良い。
【００６９】
図４に監視装置の処理フローのフローチャート図を例示する。ここで、左画像は第１の撮像装置１６で撮像された画像であり、右画像は第２の撮像装置１８で撮像された画像として説明する。処理はスタートステップＳ１０から開始し、まず、制御装置２は、第１の撮像装置１６と第２の撮像装置１８で、それぞれ左画像と右画像を撮像し（ステップＳ１１）、ＩＦ部１９を介してステレオ画像として取得する。
【００７０】
制御装置２は、走査線制御部２９の走査線選択部３２において、第１の撮像装置１６及び第２の撮像装置１８により最近撮像された画像を対比照合し、第１の撮像装置１６の走査線および第２の撮像装置１８の走査線から、監視対象物１２の同一部分を走査する互いに対応する走査線の対のデータを予め保持しておく。
走査線選択部３２は、互いに対応する走査線の対のデータに基づいて、第１の撮像装置１６の走査線および第２の撮像装置１８の走査線から、監視対象物１２の互いに対応する所定の本数ｎの走査線を抽出する（ステップＳ１２）。
【００７１】
制御装置２は、監視空間１０内の人物１２を第１の時刻Ｔ０に撮像されたＴ０フレームの左画像を取得する（ステップＳ１３）。次に、所定時間のΔＴが経過した第２の時刻Ｔ１＝Ｔ０＋ΔＴに撮像されたＴ１フレームの左画像を取得する（ステップＳ１４）。
【００７２】
次に、第１の差画像形成部２４は、Ｔ０フレームの左画像とＴ１フレームの左画像との差画像（左）である第１の差画像を抽出する（ステップＳ１５）。次に、動的領域抽出部２７は、第１の差画像をＴ０フレームまたはＴ１フレームの何れか一方のフレームに対応させて、第１の差画像からコントラストが強い人物１２の輪郭を抽出する第１の動的領域の抽出処理（ステップＳ１６）を施してから、後続のステップＳ２１の相関処理に移行する。
【００７３】
また、制御装置２は、監視空間１０内の人物１２を第１の時刻Ｔ０に撮像されたＴ０フレームの右画像を取得する（ステップＳ１７）。次に、所定時間のΔＴ経過した第２の時刻Ｔ１＝Ｔ０＋ΔＴに撮像されたＴ１フレームの右画像を取得する（ステップＳ１８）。
【００７４】
次に、第２の差画像形成部２５は、Ｔ０フレームの右画像とＴ１フレームの右画像との差画像（右）である第２の差画像を抽出する（ステップＳ１９）。次に、動的領域抽出部２７は、第２の差画像をＴ０フレームまたはＴ１フレームの何れか一方のフレームに対応させて、第２の差画像からコントラストが強い人物１２の輪郭を抽出する第２の動的領域の抽出処理（ステップＳ２０）を施してから、ステップＳ１２に戻る。
【００７５】
このとき、走査線制御部２９の走査線集中部３３は、所定の本数ｎの走査線を動作領域（第１及び第２の動的領域）に集中させるように、最上位の走査線、最下位の走査線、走査線の間隔等を算出し、走査線選択部３２は、算出結果に基づき、互いに対応する所定の本数ｎの走査線を選択する。所定の本数ｎの走査線がすでに動的領域に集中されている場合は、後続のステップＳ２１の相関処理に移行する。
【００７６】
本実施の形態では、第１の撮像装置と第２の撮像装置は同時並列的に各時刻（Ｔ０、Ｔ１＝Ｔ０＋ΔＴ）で撮像を行う。この場合ΔＴは、計数装置の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００７７】
次に、位置演算部２６は、Ｔ０フレームの左画像のコントラストが強い人物１２の輪郭である第１の動的領域を用いてＴ０フレームの右画像のコントラストが強い人物１２の輪郭である第２の動的領域の対応点を探索し相関処理を実行する（ステップＳ２１）。この相関処理により得られた対応点の情報から、所定の基準線としての内縁部４３から人物１２までの距離に対応する距離情報を算出する（ステップＳ２２）。例えば、左画像と右画像を一致させる画素数に基づき人物１２までの距離を演算する。
【００７８】
引き続き、判定部２８は、直前のフレームで作成した時空間画像と現在のフレームの時空間画像とを比較し、現在のフレームの時空間画像の中に存在する人物１２またはその部分が監視空間１０内で移動したか否かを距離情報やＸ方向の位置情報に基づいて判定する（ステップＳ２３）。距離が短くなる場合は人物１２又はその部分が壁面４に、すなわち所定の基準線４３に接近していると判定して、送信部３８を介して出力装置３６に判定結果を出力すると共に、人物１２が監視空間１０に存在する場合には、第１の撮像装置１６又は第２の撮像装置１８が撮像している人物１２のビデオ信号を送信部３８を介して画像録画再生装置３４に逐次記録（録画）し続けさせる等の処置をする（ステップＳ２４）。距離が長くなる場合は人物１２又はその部分が壁面４から遠ざかっていると判定する。また、Ｘ方向やＺ方向の位置情報の変化から、Ｘ方向やＺ方向での移動を判定する。なお、人物１２又はその部分の輪郭を示す画素アドレスの移動状態に基づいて判定しても良い。例えば、人物１２の輪郭アドレスが広がる場合は壁面４に接近していると判定し、狭まる場合は壁面４から遠ざかっていると判定する等である。以上で処理を終了し（ステップＳ２５）、又はスタートに戻る。
【００７９】
図５に本実施の形態における距離測定方法の原理を説明するための模式的なブロック図を示す。ここで、三角法を用いた撮像装置と人物１２との距離の算出方法について説明をする。図５は、人物１２を正面から観察し、第１の撮像装置１６と第２の撮像装置１８により水平方向から人物１２を撮像したときの、人物１２の左端部までの距離の測定方法を例示する。
【００８０】
ここで、ｗは第１の撮像装置１６と第２の撮像装置１８との光軸間距離（基線長）、ｆは各撮像装置１６、１８の受光レンズを単一レンズとしたときのレンズ焦点距離、ｄは第１の撮像装置１６の結像面上の視差（第２の撮像装置１８に対する）とする。ここでの焦点距離ｆは、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離ｆとする。これにより対象とする人物１２の左端部（左肩）と監視装置１との距離ａは次式で算出できる。
ａ  ＝  ｗ  ×  ｆ／ｄ  ………（１）
【００８１】
このようにして、第１と第２の撮像装置１６、１８（所定の基準線である内縁部４３に設置されている）からステレオ画像を取得したセンサ制御部６０は、内部の差画像形成部６２により第１の撮像装置１６の差画像（第１の差画像）と第２の撮像装置１８の差画像（第２の差画像）を形成し、さらに第１及び第２の差画像から第１及び第２の動的領域を抽出し、この２つの動的領域を相関出力演算部６４により相関処理し、相関処理信号を制御装置２へ出力することにより、撮像装置から人物１２までの距離を算出する。
【００８２】
また、予め測定した背景と撮像装置との基準距離ｈ（外縁部４２から計測される）から人物１２までの距離を減算して人物１２の侵入距離値ｚを算出し、侵入距離値ｚを位置演算部２６に一時記憶する。また、センサ制御部６０を介さずに直接２台の撮像装置から映像信号を制御装置２へ送信するように構成することもできる。
【００８３】
図６に本実施の形態における距離測定方法の原理を説明するための別の模式的なブロック図を示す。図６に示すように、対象とする人物１２の右端部（右肩）と撮像装置との距離ａ’も、第２の撮像装置１８の結像面上の視差ｄ’（第１の撮像装置１６に対する）から上述した式（１）で算出することができる（ただし、ａをａ’に、ｄをｄ’に変える）。センサ制御部６０は、差画像形成部６２により差画像を形成し、２つの差画像からそれぞれ動的領域を抽出し、２つの動的領域を相関出力演算部６４により相関処理し、相関処理信号を制御装置２へ出力することにより、撮像装置から人物１２までの距離を算出する。人物１２が左右対称な姿勢で正面を向いている場合には、ａ’はａに等しく、ｄ’はｄに等しい。
【００８４】
図１に戻って、さらに監視装置１の動作について説明する。演算部３０は、位置演算部２６に一時記憶された侵入距離値ｚにより、人物１２を監視することができる。
【００８５】
また、演算部３０は、位置情報記憶部３９に一時記憶された人物１２の左端部と右端部の侵入距離値ｚを時系列的に記憶し、それに基づき人物１２の位置情報（距離情報を含む）、大きさ、移動方向、姿勢等を判断するように構成する。すなわち、判定部２８において、外縁部４２までの基準距離ｈと、ある時刻の人物１２の侵入距離値ｚとを比較することにより、人物１２の存在、その位置情報、大きさ、移動方向、姿勢等を判断することができるように構成する。
【００８６】
さらに、位置演算部２６は、最終的な人物１２の存在、その位置情報、移動方向、姿勢等の判断を、撮像装置の走査線の中から抽出した複数の走査線にそれぞれに対応する判断結果から人物１２の位置情報を演算処理する。また人物１２の移動方向は、人物１２の位置の水平的な変化だけでなく、例えば、人物１２が立ったり座ったりするような鉛直的な変化も含むものとする。
【００８７】
なお、本発明の監視装置は、上述の実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００８８】
例えば、本実施の形態では、第１の動的領域と第２の動的領域について相関処理を施すことにより、所定の基準線４３から監視対象物１２までの距離を算出したが、位置演算部２６は、第１の動的領域と第２の動的領域からそれぞれ対応関係にある画素を求め、これら対応関係にある画素の位置ずれを算出し、位置ずれすなわち視差から三角測量の原理に基づいて監視対象物１２までの距離を算出するようにしても良い。
【００８９】
このようにすると、位置演算部２６は、相関処理を全く行なう必要がなく、非常に簡単な処理で視差を算出することができる。この手法は、人物２までの距離が近くなって、視差が大きくなった場合にも有効である。
【００９０】
また、本実施の形態では、動的領域を画素値の絶対値が第１の閾値より大きく、差画像の信号が生じた領域を挟み、信号がない領域との境界にある１対以上の画素領域を抽出して、隣接する走査線にて抽出された各１対以上の画素領域を互いに連結して形成された環状の画素領域として抽出したが、このようにして形成された環状の領域を周囲とする面状の画素領域として抽出しても良い。このようにすると、衣服の境界等も含めて抽出される。また、環状の画素領域や面状の画素領域は一部が欠けても、相関処理や距離の演算が可能なので、本発明の適用範囲といえる。
【００９１】
また、本実施の形態では、相関出力値を第１の動的領域と第２の動的領域との相関関係から算出したが、第１の差画像と第２の差画像との相関関係から算出しても良い。
【００９２】
【発明の効果】
以上説明したように、本発明によれば、ステレオ画像を用いて三次元の監視空間を移動する監視対象物の位置情報を高速かつ高精度に得られる簡易な構成の監視装置を、特に監視対象物が遠方にある場合でも、近くにある場合と同等な精度で測定できる監視装置を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視装置の模式的な一部破断斜視図である。
【図２】本発明の実施の形態において撮像装置により撮影された画像の例を示す図である。
【図３】本発明の実施の形態において監視対象物が近い場合と遠い場合の監視対象物を走査する走査線の状態を示す図である。
【図４】本発明の実施の形態である監視装置の処理フローを例示するフローチャート図である。
【図５】本発明の実施の形態に用いる距離測定方法の原理を説明するための図である。
【図６】本発明の実施の形態に用いる距離測定方法の原理を説明するための別の図である。
【符号の説明】
１        監視装置
２        制御装置
３        床面（ＸＹ面）
４        壁面（ＸＺ面）
１０      監視空間
１２      監視対象物（人物）
１６      第１の撮像装置
１７      赤外線発光素子
１８      第２の撮像装置
１９      Ｉ／Ｆ部
２０〜２３  撮像信号記憶部
２４      第１の差画像形成部
２５      第２の差画像形成部
２６      位置演算部
２７      動的領域抽出部
２８      判定部
２９      走査線制御部
３０      演算部
３１      記憶部
３２      走査線選択部
３３      走査線集中部
３４      画像録画再生装置
３５      入力装置
３６      出力装置
３７      入力部
３８      送信部
３９      位置情報記憶部
４０      移動方向
４２      外縁部
４３      内縁部
４４      壁面（ＹＺ面）
６０      センサ制御部
６２      差画像形成部
６４      相関出力演算部
【図１】
2004304662.tif 000003
【図２】
2004304662.tif 000004
【図３】
2004304662.tif 000005
【図４】
2004304662.tif 000006
【図５】
2004304662.tif 000007
【図６】
2004304662.tif 000008