(57)【要約】【課題】夜間あるいは暗闇において三次元の監視空間に侵入する監視対象物を監視する監視装置及び監視方法を提供する。【解決手段】赤外光を監視空間１０に照射する赤外線照射装置１７と、第１の時刻と第１の時刻から所定の時間だけ遅れた第２の時刻とに監視対象物１２から反射する赤外光を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔だけ離して、監視空間１０に向けて設置され、第１の時刻と第２の時刻とに監視対象物１２から反射する赤外光を撮像する第２の撮像装置１８と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部２４、２５と、差画像２４と差画像２５に基づいて、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、監視対象物１２が監視空間１０方向への接近を検知し検知信号を出力する接近報知部３２とを備える。【選択図】　図１
2004120009.tif 000002
【特許請求の範囲】
【請求項１】
三次元の監視空間に侵入する監視対象物を検出し検知信号を出力する監視装置であって；
前記監視空間の可視光線量の低下を示す所定の閾値信号に応答し赤外光を前記監視空間に照射する赤外線照射装置と；
前記監視空間に向けて設置され、第１の時刻と前記第１の時刻から所定の時間だけ遅れた第２の時刻とに前記監視対象物から反射する赤外光を撮像する第１の撮像装置と；
前記第１の撮像装置から所定の間隔だけ離して、前記監視空間に向けて設置され、前記第１の時刻と前記第２の時刻とに前記監視対象物から反射する赤外光を撮像する第２の撮像装置と；
前記第１の時刻に撮像された画像と前記第２の時刻とに撮像された画像との差画像を形成する差画像形成部と；
前記差画像形成部で形成された、前記第１の撮像装置による像の差画像と前記第２の撮像装置による像の差画像に基づいて、前記監視対象物の位置を演算する監視対象物の位置演算部と；
前記位置演算部の演算結果に基づいて、前記監視対象物が監視領域への接近を検知し前記検知信号を出力する接近報知部と；
を備える監視装置。
【請求項２】
前記監視空間の可視光線を検出する照度測定装置をさらに備える請求項１に記載の監視装置。
【請求項３】
前記位置演算部は、前記監視対象物の位置の経時的変化を検出し前記監視対象物の移動方向を演算する請求項１乃至請求項２の何れか１項に記載の監視装置。
【請求項４】
三次元の監視空間に接近する監視対象物を検知し検知信号を出力する監視方法であって；
前記監視空間の可視光量を測定し、所定の過小可視光量状態に達した段階で赤外光を発光する赤外線照射工程と；
前記監視空間を前記赤外光により撮像した複数の像に基づき差画像を形成し、前記監視対象物の高さ及び移動方向を演算する監視対象物の移動演算工程と；
前記移動演算工程の演算結果に基づいて、前記監視対象物が監視領域への接近を検知し前記検知信号を出力する接近報知工程と；
前記監視空間の可視光量を測定し、所定の可視光量状態に達した段階で前記赤外光の発光を停止する赤外線照射停止工程と；
を備える監視方法。
【請求項５】
三次元の監視空間に接近する監視対象物を検知し検知信号を出力する監視方法であって；
前記監視空間の可視光量を測定し、所定の可視光量状態に達した段階で赤外光の発光を停止する赤外線照射停止工程と；
前記監視空間を前記可視光により撮像した複数の像に基づき差画像を形成し、前記監視対象物の高さ及び移動方向を演算する監視対象物の移動演算工程と；
前記移動演算工程の演算結果に基づいて、前記監視対象物が監視領域への接近を検知し前記検知信号を出力する接近報知工程と；
を備える監視方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、夜間あるいは暗闇に対応する監視装置に係り、特にＣＣＤカメラやＣＭＯＳセンサ等を用いて監視空間内に侵入する人物、人体の指、手、腕、胴体等の高さや移動方向の変化を監視する監視装置及び監視方法に関するものである。
【０００２】
【従来の技術】
一般に、監視対象物の姿勢や室内照明光に対して影響を受けることなく夜間あるいは暗闇において、監視対象物の画像計測による監視装置が知られている。従来の監視装置は、所定の照明パターンを投光し、投光された波長の光を連続的に撮像する撮像手段を備え、この撮像手段により異なる時間に取得された２フレームの画像から照明パターンのフレーム間移動量を算出してから、フレーム間移動量を時系列に並べて移動量波形データを生成し、移動量波形データより監視対象物の動きを検出するように構成されていた。
【０００３】
【特許文献１】
特許公開２００２−１７５５８２号公報（段落番号００２９、第１図）
【０００４】
【発明が解決しようとする課題】
しかしながら、前述の如く、従来の監視装置によれば、時系列に並べた移動量波形データにより監視対象物の動きを検出するため、監視対象物の移動方向の演算処理が煩雑となり、所定領域へ監視対象物が接近探知することを短時間に検出することが困難であった。また、人工的な室内照明光や自然光を利用して監視対象物を監視する撮像装置では、夜間あるいは暗闇において、監視対象物のエッジ検出精度が低下し正確な監視対象物の動きを測定することが困難であった。
【０００５】
そこで本発明は、夜間あるいは暗闇において三次元の監視空間に侵入する監視対象物と撮像装置との距離を測定し、所定区域へ接近する監視対象物を監視する監視装置及び監視方法を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視装置１は、例えば、図１に示すように、三次元の監視空間に侵入する監視対象物を検出し検知信号を出力する監視装置であって、監視空間の可視光線量の低下を示す所定の閾値信号に応答し赤外光を監視空間１０に照射する赤外線照射装置１７と、監視空間１０に向けて設置され、第１の時刻と第１の時刻から所定の時間だけ遅れた第２の時刻とに監視対象物１２から反射する赤外光を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔だけ離して、監視空間１０に向けて設置され、第１の時刻と第２の時刻とに監視対象物１２から反射する赤外光を撮像する第２の撮像装置１８と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部２４、２５と、差画像形成部２４、２５で形成された、第１の撮像装置による像の差画像２４と第２の撮像装置による像の差画像２５に基づいて、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基づいて、監視対象物１２が監視領域４２、４３への接近を検知し検知信号を出力する接近報知部３２と、を備える。
【０００７】
このように構成すると、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基づいて、監視対象物１２が監視領域４２、４３への接近を検知し検知信号を出力する接近報知部３２とを備えるので、監視対象物１２が監視領域４２、４３への位置変化を判定し検知信号を出力することができる。
【０００８】
上記目的を達成するために、請求項２に係る発明による請求項１に記載の監視装置１は、例えば図１に示すように、監視空間１０の可視光線を検出する照度測定装置２９をさらに備える。
【０００９】
このように構成すると、赤外線照射装置１７は照度測定装置２９から送信される可視光線の低下を示す所定の閾値信号に応答し赤外光を監視空間１０に照射することができる。
【００１０】
上記目的を達成するために、請求項３に係る発明による請求項１乃至請求項２の何れか１項に記載の監視装置１は、例えば図１に示すように、位置演算部３０は、監視対象物１２の位置の経時的変化を検出し監視対象物１２の移動方向２７を演算する。
【００１１】
このように構成すると、監視対象物１２の位置の経時的変化を検出し監視対象物１２の移動方向２７を演算するため、移動中の監視対象物１２の位置の検出及び停止中の監視対象物１２の位置を検出することができる。
【００１２】
上記目的を達成するために、請求項４に係る発明による監視方法は、例えば、図１に示すように、三次元の監視空間に接近する監視対象物を検知し検知信号を出力する監視方法であって、監視空間１０の可視光量を測定し、所定の過小可視光量状態に達した段階で赤外光を発光する赤外線照射工程と、監視空間１０を赤外光により撮像した複数の像に基づき差画像２４、２５を形成し、監視対象物１２の高さ２６及び移動方向２７を演算する監視対象物１２の移動演算工程と、移動演算工程の演算結果に基づいて、監視対象物１２が監視領域４２、４３への接近を検知し検知信号３９を出力する接近報知工程と、監視空間１０の可視光量を測定し、所定の可視光量状態に達した段階で赤外光の発光を停止する赤外線照射停止工程と、を備える。
【００１３】
このように構成すると、監視対象物１２が監視領域４２、４３への接近を検知し検知信号３９を出力することができる。
【００１４】
上記目的を達成するために、請求項５に係る発明による監視方法は、例えば図１に示すように、三次元の監視空間に接近する監視対象物を検知し検知信号を出力する監視方法であって、監視空間１０の可視光量を測定２９し、所定の可視光量状態に達した段階で赤外光の発光１７を停止する赤外線照射停止工程と、監視空間１０を可視光により撮像した複数の像に基づき差画像を形成２４、２５し、監視対象物１２の高さ２６及び移動方向２７を演算する監視対象物の移動演算工程と、移動演算工程の演算結果に基づいて、監視対象物１２が監視領域４２、４３への接近を検知し検知信号３９を出力する接近報知工程と、を備える。
【００１５】
このように構成すると、監視空間１０を可視光により撮像した複数の像に基づき、移動演算工程の演算結果に基づいて、監視対象物１２が監視領域４２、４３への接近を検知し検知信号３９を出力することができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１７】
図１は、本発明による実施の形態である監視装置１の模式的な一部破段斜視図である。図中監視対象物１２は、床面上に直立し、ショーケース、金庫、商品保管庫、コンピュータのような警備対象物３８が設置されている監視空間１０の方向を観察している。本実施の形態では、監視対象物１２は、人物１２、人物の指、手、腕、胴体である。
【００１８】
監視装置１は、監視空間１０に向けて設置された第１の撮像装置１６と、第１の撮像装置１６から所定の間隔ｗだけ離して、監視空間１０に向けて設置された第２の撮像装置１８と、第１と第２の撮像装置に電気的に接続された制御装置２とを備える。
【００１９】
制御装置２は、内部に演算部３０、メモリ部３１、インターフェースＩ／Ｆ１９、報知部３２、照度測定装置としての照度測定部２９を備える。
【００２０】
監視装置１は、第１又は第２の撮像装置から伝送される撮像データをインターフェースＩ／Ｆ１９を経由して受信し、演算部３０により照度データを抽出し、照度測定部２９へ送信する。照度測定部２９は、受信した照度データと予め記憶した可視光線の低下を示す所定の閾値とを比較し、閾値を下回る照度データに応答して照度測定部２９から可視光線量の低下を示す信号を演算部３０へ送信する。
【００２１】
演算部３０は、可視光線量の低下を示す信号の受信に応答して、Ｉ／Ｆ１９を介して第１の撮像装置としての第１のＣＣＤカメラ１６と第２の撮像装置としての第２のＣＣＤカメラ１８に付設された複数の赤外線ライトエミッションデバイスＬＥＤ又は赤外線レーザダイオードを含む赤外線照射装置１７を発光させる制御信号を第１と第２のＣＣＤカメラ側に送信し、赤外線照射装置１７から赤外光を監視空間１０に向けて照射させる。また、赤外線照射装置１７の駆動電源は、Ｉ／Ｆ１９からユニバーサルシリアルバスＵＳＢ規格によるＤＣ電力を供給してもよく。ＤＣ電源アダプタ（不図示）から直接赤外線照射装置１７の駆動電源を供給してもよい。
【００２２】
ここで、第１と第２のＣＣＤカメラは、昼に撮像した場合はカラー映像信号を出力し、夜間に撮像した場合は白黒映像信号を出力するように映像信号量を増減させる自動切換え機能を備えてもよく。第１と第２のＣＣＤカメラを白黒ＣＣＤにより構成し、昼夜を問わず白黒映像信号を出力するように構成することもできる。
【００２３】
また、各赤外線照射装置１７を例示すると、約１０ルクス（Ｌｕｘ）の照度を有する赤外線照射装置１７を第１と第２のＣＣＤカメラに付設し合計２４個の赤外線照射装置１７により暗闇の中を約１０ｍの監視距離を確保する。同様に、合計５６個の赤外線照射装置１７により暗闇の中を約１５ｍの監視距離を確保する。同様に、合計１０４個の赤外線照射装置１７により暗闇の中を約２０ｍの監視距離を確保することができる。この赤外線照射装置１７の点灯と消灯は、上述の如く演算部３０から送信される制御信号により自動的に制御されている。
【００２４】
第１のＣＣＤカメラ１６は、第１の時刻に撮像した監視空間１０の撮像情報をＩ／Ｆ１９を介して制御装置２へ送信し、演算部３０によりアドレスを指定してメモリ部３１内部の撮像信号記憶領域２０へ記憶させる。また、第２のＣＣＤカメラも第１の時刻に撮像した監視空間１０の撮像情報をＩ／Ｆ１９を介して制御装置２へ送信し、演算部３０によりアドレスを指定してメモリ部３１内部の撮像信号記憶領域２２へ記憶させる。
【００２５】
第１のＣＣＤカメラ１６は、第１の時刻から所定の時間だけ遅れた第２の時刻に撮像した監視空間１０の撮像情報をＩ／Ｆ１９を介して制御装置２へ送信し、演算部３０によりアドレスを指定してメモリ部３１内部の撮像信号記憶領域２１へ記憶させる。また、第２のＣＣＤカメラも第１の時刻から所定の時間だけ遅れた第２の時刻に撮像した監視空間１０の撮像情報をＩ／Ｆ１９を介して制御装置２へ送信し、演算部３０によりアドレスを指定してメモリ部３１内部の撮像信号記憶領域２３へ記憶させる。
【００２６】
監視空間１０には、略中央に警備対象物３８を設置し、この警備対象物３８を中心に円筒状のマスク領域を設定し、警備対象物３８と監視領域外周との間に、床面上で鉛直方向に見えないカーテン領域を形成している。
【００２７】
この見えないカーテン領域は、警備対象物３８を水平３６０度方向から包囲する外縁部４２と内縁部４３と幅Ｄと高さＨを有し、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８により真上から撮像されている。
【００２８】
第１の撮像素子と第２の撮像素子は、典型的にはＣＣＤカメラを用いることができるが、ＣＭＯＳセンサを用いてもよい。ＣＣＤカメラ１６、１８は、典型的には撮像装置を２式備え三角法で距離を測定するパッシブ型距離検出装置として用いる。
【００２９】
第１と第２のＣＣＤカメラは、真上から同時に警備対象物３８より反射する赤外光を撮像し、又は所定の角度を持たせて上方から撮像する。この第１と第２のＣＣＤカメラ１６、１８は、所定の間隔ｗだけ離して設置され、両ＣＣＤカメラは所定の視差をもって見えないカーテン領域をも撮像している。
【００３０】
第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、信号線及びＩ／Ｆ１９を通じて制御装置２に接続され撮像した撮像信号を、上述したＵＳＢ規格のシリアル方式で制御装置２に送信している。
【００３１】
制御装置２は、内部に、インターフェースＩ／Ｆ１９、演算部３０、メモリ部３１、報知部３２を有し、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から受信した撮像信号をＩ／Ｆ１９を介して演算部３０に渡し、演算部３０が撮像信号をメモリ部３１へ送り記憶させる。
【００３２】
上記メモリ部３１には、第１の時刻に第１のＣＣＤカメラ１６で赤外線撮像した撮像信号を記憶する第１の時刻の撮像信号記憶部２０と、第２の時刻に第１のＣＣＤカメラ１６で赤外線撮像した撮像信号を記憶する第２の時刻の撮像信号記憶部２１と、第１の時刻に第２のＣＣＤカメラ１８で撮像した撮像信号を記憶する第１の時刻の撮像信号記憶部２２と、第２の時刻に第２のＣＣＤカメラ１８で撮像した撮像信号を記憶する第２の時刻の撮像信号記憶部２３と、を備える。
【００３３】
上記演算部３０には、第１のＣＣＤカメラ１６による差画像を論理演算し記憶する第１の差画像記憶部２４と、第２のＣＣＤカメラ１８による差画像を論理演算し記憶する第２の差画像記憶部２５と、見えないカーテン領域に侵入した人物１２の高さ又は床面の高さを論理演算し記憶する高さ記憶部２６と、人物１２の移動距離を論理演算し記憶する移動距離記憶部２７と、外部から設定する監視空間１０内のマスク領域のマスクアドレスを記憶するマスクアドレス記憶部２８を備える。
【００３４】
報知部３２は、演算部３０から出力される制御信号に応答し、ライン３９へ検知信号を出力して外部のアラーム発生部３７を起動させ、アラーム音を発生させる。また、同様に、演算部３０から出力される制御信号に応答しライン３４へ検知信号を出力し地上回線３６を介して遠隔地に所在する警備会社へ警報信号を自動発呼する。検知信号は、電話機３３と地上回線３６との間に挿入配置したターミナル３５へライン３４を通じて伝送することができる。さらに、電話機３３が使用する地上回線３６に代えて携帯電話キャリアへ無線通報することもできる。要は、警備会社へ連絡が取れる手段であれば、公衆回線、地上回線、無線キャリア、インターネット等の通信手段を用いて警報信号を送信すればよい。
【００３５】
図中の監視空間１０は、壁４４により仕切られた独立した部屋の中に設定されている。壁４４の手前には、通路４１が設けられ警備員１５が夜間に懐中電灯を携帯して警備している。この通路４１は、夜間に警備装置（不図示）により監視されているが、警備員１５が通路４１を巡回する際には、警備員１５により警備装置が解除されている。
【００３６】
監視装置１は、通路４１側の警備装置が解除された状態においても監視空間１０を監視し、警備員１５であろうと監視空間１０に侵入する者を検知し、警備対象物３８に接近する侵入者を判断して警報を発するように構成されている。つまり、監視空間１０は関係者以外立入禁止区域に指定されている。
【００３７】
図２の模式的な平面図を参照して、本発明の第２の実施の形態に適用する監視空間１０のマスク処理について説明をする。監視装置１は、Ｉ／Ｆ１９に接続された赤外線照射装置８から赤外光を警備対象物３８に向けて照射し、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８で監視空間１０から反射する赤外光を撮像し、同時に第１及び第２のＣＣＤカメラの画角に入る人物１２、見えないカーテン領域、警備対象物３８の高さ情報を取得する。
【００３８】
監視装置１は、図１の制御装置２により任意の範囲を見えないカーテン領域とマスク領域に設定することができる。制御装置２は、例えば、パーソナルコンピュータやマイクロプロッセサのようなソフトウエアプログラムにより制御処理を変更できるハードウエアで構成し、警備対象物３８を真上又は所定の角度から撮像する位置に第１及び第２のＣＣＤカメラ１６、１８を設置し、監視空間１０の映像をモニタで見ながら、図中破線で囲まれたマスク領域５０を任意の位置に設定することができる。
【００３９】
本実施の形態では、警備対象物３８を中心として半径の最大値をマスク領域５０の外周位置に設定し、第１及び第２のＣＣＤカメラで撮像しているマスク領域５０内の撮像信号を画像処理から除去することができる。
【００４０】
また、マスク領域５０を水平３６０度方向から包囲する図中ハッチングで示した見えないカーテン領域の外縁部４２と内縁部４３とを水平アドレス（ＸＹ直交座標）と垂直アドレス（Ｚ座標）で設定し、マスク領域５０を幅Ｄの見えないカーテン領域で囲み、この幅Ｄの範囲に侵入した人物１２、人物の指、手、腕、胴体等の高さの経時的変化を測定する。
【００４１】
したがって、見えないカーテン領域の外側に直立している人物１２から反射する赤外光は、第１及び第２のＣＣＤカメラによって撮像されているが、マスク領域５０と同様に人物１２の撮像信号を画像処理から除去することができる。
【００４２】
上記実施の形態では、ＣＣＤカメラ１６、１８と人物１２との距離を測定して人物１２の接近を検出する距離検出装置としての第１及び第２のＣＣＤカメラ１６、１８は、典型的には赤外線照射装置８から照射する赤外光の反射を撮像する撮像装置を２式備え三角法で距離を測定するパッシブ型距離検出装置として用いる。
【００４３】
上記カーテン領域は、床面に垂直方向に立設された平面又は円筒状曲面として説明したが、設定する距離は任意であるので、カーテン領域は自由な曲面、例えば、半球状や小判型に形成することもできる。
【００４４】
さらに、カーテン領域は外縁部４２と内縁部４３とに挟まれた厚さＤを有する領域として説明したが、これに限らず外縁部４２と内縁部４３が一致した、又は外縁部４２のみ、又は内縁部４３のみの、厚さがゼロの領域であってもよい。そのときは監視対象物１２がカーテン領域を通過するか否かで検知信号を出力する。
【００４５】
図１及び図２を参照して、監視装置１の動作について説明をする。第１のＣＣＤカメラ１６は所定本数の走査線を有し、第２のＣＣＤカメラ１８は所定本数の走査線を有し、両ＣＣＤカメラ１６、１８は走査線方向を共通に並列に設置されている。また、本実施の形態では、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、別体として説明するが一体として構成してもよい。マスク領域５０を囲むカーテン領域は、外縁部４２と内縁部４３とに挟まれた厚さＤを有する領域であり、第１及び第２のＣＣＤカメラは、夜間又は暗闇状態ではこのカーテン領域内を移動中の人物１２から反射される赤外光を撮像する。さらに、自然光や蛍光灯照射による人工光が入射する状態にあっては、赤外光の照射を止めて可視光の反射を撮像する。
【００４６】
また、第１と第２のＣＣＤカメラの走査線の本数は、典型的には同数であり、各ＣＣＤカメラの走査線の本数は、例えば、約５００本有し、各走査線には約５００ピクセルの画素を備えている。また本実施の形態では、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、天井に設置しているが、壁に角度をもたせて監視空間に向けて設置してもよい。
【００４７】
制御装置２は、演算部３０を備えており、監視装置としての監視システム１全体を制御している。また、演算部３０の内部では、第１及び第２のＣＣＤカメラで測定する測定距離と比較すべき基準距離を例えば高さ記憶部２６に記憶する。この基準距離は、監視時点の過去の時点の距離であればよく、典型的には見えないカーテン領域に人物１２が存在しない状態のいわば背景（床）の距離であるが、それに限らず、例えば周期的に背景の距離を検知している場合の１コマ分だけ前の距離であってもよい。
【００４８】
制御装置２は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から撮像信号を受信し、互いに対応する走査線上に形成された画像を同期させて抽出する。また、同期させる走査線は、各ＣＣＤカメラが有する５００本の走査線を抽出してもよく。見えないカーテン領域を所定の間隔に区切る間引いた本数でもよい。
【００４９】
例えば、人物１２の胴を検出する場合は約１００ｍｍ間隔の映像を撮像する走査線を抽出し、人物１２の手を検出する場合は約５０ｍｍ間隔の映像を撮像する走査線を抽出し、人物１２の指を検出する場合は約１０ｍｍ間隔の映像を撮像する走査線を抽出するように個別に設定することもでき、人物１２の何れかの部位が見えないカーテン領域に侵入したことを検知するには、少なくとも各ＣＣＤカメラの走査線が約５００本としたときに、等間隔毎に１本を選択し約２０本の走査線を抽出すればよい。
【００５０】
また、カーテン領域は床面に垂直方向に立設された平面又は円筒状曲面として説明したが、設定する距離は任意であるので、カーテン領域は自由な曲面、例えば半球状に形成することもできる。
【００５１】
上記カーテン領域は、外縁部４２と内縁部４３とに挟まれた厚さＤを有する領域として説明したが、これに限らず外縁部４２と内縁部４３が一致した、又は外縁部４２のみ、又は内縁部４３のみの、厚さがゼロの領域であってもよい。そのときは監視対象物がカーテン領域を通過するか否かで検知信号を出力する。
【００５２】
さらに、同期させる走査線は、各走査線を時系列的に抽出するとよい。また、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から走査線を抽出する際には、外部からの同期信号で抽出処理を行うようにすると、対応する走査線を抽出して処理する回路を簡略化ができ、ソフトウエア的な処理も容易となる。
【００５３】
制御装置２は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の各々について、異なるＴ０とＴ１の時刻に撮像された撮像信号を受信し、第１のＣＣＤカメラ１６がＴ０時刻に撮像した撮像信号を第１の時刻の撮像信号記憶部２０へ記憶し、第２のＣＣＤカメラ１８がＴ０時刻に撮像した撮像信号を第１の時刻の撮像信号記憶部２２へ記憶する。
【００５４】
また、制御装置２は、第１のＣＣＤカメラ１６がＴ１時刻に撮像した撮像信号を第２の時刻の撮像信号記憶部２１へ記憶し、第２のＣＣＤカメラ１８がＴ１時刻に撮像した撮像信号を第２の時刻の撮像信号記憶部２３へ記憶する。
【００５５】
演算部３０は、各撮像信号に含まれる走査線上に形成される各画像の画像情報に基づき、論理演算処理を実行し、第１のＣＣＤカメラの差画像データを内部の差画像記憶部２４（ＣＣＤ１：差）に記憶し、第２のＣＣＤカメラの差画像データを内部の差画像記憶部２５（ＣＣＤ２：差）に記憶する。引き続き、２つの差画像データに基づいて論理演算を実行し相関処理を遂行する。この相関処理により監視対象物の高さＨを高さ記憶部２６（高さＨ）へ記憶する画像データ処理機能を備えている。なお、画像情報は、典型的には画像を構成する画素の画素値である。
【００５６】
演算部３０は、第１のＣＣＤカメラ１６の撮像信号を記憶する撮像信号記憶部２０と２１からＴ０とＴ１の撮像信号を各々読み出し、各撮像信号に含まれる走査線上に形成された各画像の画像情報から差画像を形成し内部の第１の差画像記憶部２４に記憶する。また、第２のＣＣＤカメラ１８の撮像信号を記憶する撮像信号記憶部２２と２３からＴ０とＴ１の撮像信号を各々読み出し、各撮像信号に含まれる走査線上に形成された各画像の画像情報から差画像を形成し内部の第２の差画像記憶部２５に記憶する。
【００５７】
差画像を形成するための２つの画像は、撮像時刻Ｔ０から所定の時間だけ遅れた撮像時刻Ｔ１により各々取得するが、ずらす遅延時間は、人物１２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０秒〜１／３秒）とする。このような差画像を演算して取得すると人物１２の背景が除去され動きのある人物１２のエッジの像だけを抽出することができる。
【００５８】
また、演算部３０は、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段としての機能を備えている。
【００５９】
各ＣＣＤカメラの走査線上に各々形成された画像は、背景は動くことがないので、動いている人物１２の境界部はその画素値が急激に変化する。そこで、演算部３０は、内部の第１の差画像記憶部２４と第２の差画像記憶部２５から各差画像を読み出し、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を人物１２の境界とみなす論理演算を遂行することができる。ここで、境界を最大の領域としたのは、人物１２が身に付けている服装、手袋等の模様の動きにより、境界部以外にも区切られた領域の中で、閾値の小さい画素値が変化する場合があるからである。
【００６０】
また、演算部３０は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８により反射する赤外光又は可視光が撮像された各々の画像に対応する差画像から抽出された最大の領域同士の相関出力値を算出する相関出力算出手段としての論理演算機能を備えている。演算部３０は、論理演算した相関出力値に基づきＣＣＤカメラと人物１２までの距離を算出する。
【００６１】
演算部３０は、例えば、走査線により形成された差画像から抽出された最大の領域の画像情報を抽出し、人物１２の動きによって、コントラストの変化が激しかった点を特定する。また、第１のＣＣＤカメラ１６の走査線と同様に、第２のＣＣＤカメラ１８の走査線上に形成された差画像の最大領域の画像情報を抽出する。各々抽出された差画像の最大領域の画像情報を比較した場合、両ＣＣＤカメラの視差の関係から僅かに差画像の最大領域の位置が異なる領域画像を抽出したことになる。
【００６２】
引き続き、演算部３０は、第１のＣＣＤカメラによる差画像と第２のＣＣＤカメラによる差画像との相関処理を論理演算し、その相関ピークが最大になった位置を計測することにより、２つの差画像間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を論理演算し取得する。
【００６３】
ここで相関出力値とは、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８との視差により発生する相対的結像位置差のことであり、相関処理により、典型的には画素数で出力される値である。演算部３０は、この相関出力値により第１のＣＣＤカメラの走査線と第２のＣＣＤカメラの走査線との視差に基づき、三角法を用いてＣＣＤカメラと人物１２との距離を算出する。
【００６４】
また、相関処理とは、第１のＣＣＤカメラの走査線と第２のＣＣＤカメラの走査線からそれぞれ得られた画像のどちらか一方を、２つの画像がほぼ一致するまで画素単位でずらして、そのずらした量を例えば画素数により示して算出する処理である。２つの差画像が一致するか否かの判定は、一方の差画像を固定し他方の差画像をずらしながら比較したときに重なり合う信号全体の強さに基づいて実行する。信号がピークになった座標が一致点であり相関ピーク位置である。
【００６５】
相関処理は、第１のＣＣＤカメラ１６、第２のＣＣＤカメラ１８により撮像された各々の画像に対応する差画像を適正な値で２値化し、そのエッジ部を抽出する事により、動きのある領域部分を抽出し、この抽出領域のみで相関処理を施すように構成してもよい。このように構成すると、相関処理は、２値化した差画像を用いるので、演算処理速度を向上させることができる。
【００６６】
演算部３０は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８により反射する赤外光が撮像された各々の画像に対応する差画像から抽出された最大の領域の中で、それぞれ所定の閾値より大きな画素の対応を求め、対応する画素の位置ずれに基づき、ＣＣＤカメラと人物１２までの距離を論理演算するように処理してもよい。この場合、演算部３０は、前述のように差画像から抽出された最大の領域同士の相関出力値を算出せず、最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれを算出する。
【００６７】
演算部３０は、対応する画素の位置ずれ即ちＣＣＤカメラの視差から三角法を用いてＣＣＤカメラから人物１２までの距離を算出する。これにより、演算部３０は、例えば、閾値を超えた画素に対して、同じ方向から番号付けを行い、対応した番号の画素同士の位置ずれから視差を求めることができる。
【００６８】
このように構成することで、演算部３０は、相関処理を省略し、非常に簡単な処理で視差を算出することができる。また演算部３０は、例えば、抽出した領域内の模様等によるコントラストの変化によって、閾値を超える画素が多く検出された場合には、上述したエッジ部以外には番号付けを行なわないように処理する。これにより、視差による影響で対応する番号の画素が、本来対応すべき画素とずれてしまうことにより、位置ずれの値に誤差が生じてしまう現象を低減することができる。これは、人物１２までの距離が短いことで視差が大きくなった場合にも有効である。
【００６９】
図３は、本発明による他の実施の形態である監視装置の模式的な一部破段斜視図である。図中人物１２は、絵画館のような屋内の床面上に直立し、絵画５３が掛けられている壁５２の方向を向いている。本実施の形態でも監視対象物は、人物１２、人物の指、手、腕、胴体等である。
【００７０】
壁５２に対向して立設する壁５４は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８を埋設し、絵画５３に接近する人物１２を監視している。第１と第２のＣＣＤカメラのレンズ部分の周囲を囲むように設けられた赤外線照射装置１７は、夜間又は暗闇状態において発光動作し、赤外光を人物１２、壁５２、絵画５３に向けて照射する。
【００７１】
第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は所定の間隔ｗだけ離し光軸を平行に設定し、水平方向に壁５２に向けて設置されている。また、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８のビデオ出力信号は上述した実施の形態と同様に制御装置２へ送信しているので、重複する説明は省略する。
【００７２】
第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、壁５２前の通路をカバーする画角を有し、図中ハッチングで示す見えないカーテン領域５７を監視する。見えないカーテン領域５７は、絵画５３の近傍に設定され、高さＨと、幅Ｄで構成し、通路から絵画５３方向に接近する人物１２から反射する赤外光を撮像する。
【００７３】
また、上記見えないカーテン領域５７に隣接する通路側にはマスク領域を設定してもよい。この場合、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から送信される赤外光のステレオビデオ出力信号は、制御装置２によりマスク領域の撮像信号を除去されるように構成することができる。マスク領域の処理は上述した実施の形態と同様の処理を用いることができるので、重複する説明は省略する。
【００７４】
制御装置２は、通路を歩行するだけの人物と見えないカーテン領域５７に侵入し絵画５３に接近する人物とを識別する。すなわち、通路を歩行中の人物１２が絵画５３前の見えないカーテン領域５７に侵入しながら、絵画５３に接近する経時的な人物１２の位置変化を測定することにより絵画５３に接近する人物１２として判定する。判定結果に基き、人物１２の接近を探知した制御装置２は報知部を介して検知信号を出力し、外部に警報信号を発呼させる。
【００７５】
見えないカーテン領域５７は、人物１２の手が絵画５３へ届かない程度の範囲から絵画５３の直近の距離に設定し、例えば、絵画５３前の１０から１００センチメートルの幅Ｄで人物１２の接近を検知するように構成する。このように構成した場合、人物１２が絵画５３に接触する前に警報を発呼することができる。
【００７６】
上記実施の形態では、２台のＣＣＤカメラ１６、１８を絵画５３に対向する壁５４に埋設し、三次元の監視空間としての絵画５３の前方を監視するように構成したが、実施の変形例として、例えば、絵画５３を上方又は所定の角度をもって斜め方向から監視するように２台のＣＣＤカメラを設置することもできる。
【００７７】
典型的には、赤外光を照射して、絵画５３に接近する人物１２と、壁５２と絵画５３や床面とのコントラストの差から人物１２のエッジを抽出する。
【００７８】
このように構成すると、高い確率で背景と人物１２とのコントラストを得ることができる。しかも、人物１２の頭部から足先までに対応するＣＣＤカメラの走査線に対応する画像が得られるため、複数の走査線の画像情報を平均化し監視精度を高めることができる。
【００７９】
例えば、ＣＣＤカメラの走査線の本数をαとした場合、このα個に対応した距離値を平均化することで画像情報の標準偏差はルートα分の１の精度が得られ、監視装置の信頼性を向上させることができる。この場合、人物１２の動きや通路を歩行中の他の人物を同時に撮像することとなるが、２台のＣＣＤカメラ１６、１８で撮像した赤外光画像情報に基づき、他の人物、及び人物１２とＣＣＤカメラとの距離を演算処理し、所定の距離以上（見えないカーテン領域の幅Ｄ）に存在する監視対象物である人物１２だけの接近距離を抽出し、他の動きのある画像情報を除去するように構成する。
【００８０】
上記実施の形態では、赤外光の照射により静止した壁５２、絵画５３と動く人物１２とのコントラストに基づき、エッジを検出し差画像を形成してから相関処理を施して人物１２が絵画５３へ接近する状態を監視したが、他の実施の形態として、第１と第２のＣＣＤカメラを屋内に設置し、ガラス窓を通じて屋外の景色を赤外光撮像し、ガラス窓へ接近する人物を距離情報に基づいて検出することもできる。
【００８１】
この場合、景色の中で動く樹木や草花や走行中の自動車等と接近中の人物とを同時に撮像することになるが、２台のＣＣＤカメラ１６、１８で撮像した赤外光画像情報に基づき、動く背景及び人物１２とＣＣＤカメラとの距離を演算処理し、所定の距離以下の監視対象物である人物１２だけの接近距離を抽出し、他の動きのある画像情報を除去するように構成する。
【００８２】
このようにガラス窓から離れた距離に見えないカーテン領域とマスク領域を設定し、２台のＣＣＤカメラから所定の距離以下の領域に接近する人物の距離情報を抽出することにより人物の接近探知を検出することができる。
【００８３】
図４は、本発明の実施の形態に用いる撮像装置１６と赤外線照射装置１７の模式的な斜視図である。撮像装置１６は前面にレンズ１１を配置し、複数の赤外線照射装置１７はレンズ１１の周囲を３６０°取り囲むように配置されている。撮像装置１６と赤外線照射装置１７はインターフェースＩ／Ｆ１９に電気的に接続され、撮像装置１６に受光した可視光線の撮像データをインターフェースＩ／Ｆ１９へ送信するように構成する。赤外線照射装置１７は、可視光線の低下を示す所定の閾値信号に応答する発光信号をＩ／Ｆ１９を通じて受信し赤外光を監視空間に照射する。
【００８４】
また、赤外線照射装置１７は、撮像装置１６に受光した可視光線が所定の可視光量（照度）に達した段階で、発光停止信号をＩ／Ｆ１９を通じて受信し赤外光の発光を停止する。
【００８５】
図５は、本発明の実施の形態に用いる他の赤外線照射装置８の模式的な斜視図である。赤外線照射装置８は、スタンド４に支持され鉛直方向に立設されたスタンダローン型の赤外線照射装置である。スタンド４の上部に筐体を設置し、筐体の一主面に行列マトリクス状に配置された赤外線照射部７が８行４列に設けられている。
【００８６】
また、行列マトリクス状に配置された赤外線照射部７の下部には、可視光を測定する照度測定装置６が配置されている。この照度測定装置６は、例えば、ホトダイオード等の光センサを用い、前方に赤外線カットフィルタ（不図示）を設けて可視光だけを透過させて光量を検出することができる。
【００８７】
赤外線照射装置８は、ＡＣ電源プラグ５を経由して商用電源から電力の供給を受け、自立して監視空間の可視光を測定しながら、可視光線の低下を示す所定の閾値信号に応答し複数の赤外線照射部７から赤外光を監視空間へ照射する。一方、監視空間の可視光量が増加し所定の可視光量に達した段階で赤外光の発光を自立して停止する。
【００８８】
図６のフローチャートを参照して、三次元の監視空間の監視方法を例示する。ここで、監視装置は可視光及び赤外光に対応する共通の処理方法を用いることができる。左画像は第１のＣＣＤカメラ１６で撮像された画像であり、右画像は第２のＣＣＤカメラ１８で撮像された画像として説明する。処理はスタートステップＳ１０から開始し、ステップＳ１１で制御装置２は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８で撮像された左画像と右画像を、撮像装置用インターフェイスＩ／Ｆ１９を介してステレオ画像として取得する。また、取得したステレオ画像はマスク処理を施し見えないカーテン領域に囲まれたマスク領域５０と見えないカーテン領域の外側の画像情報を除去する。
【００８９】
制御装置２は、見えないカーテン領域内の人物１２を時点ｔに撮像した第１の画像であるｔフレームの左画像を取得する（ステップＳ１３）。次に、所定時間のΔｔが経過した時点ｔ＋Δｔに撮像された第２の画像であるｔ＋Δｔフレームの左画像を取得する（ステップＳ１４）。引き続き、ｔフレームの左画像とｔ＋Δｔフレームの左画像との差画像を抽出する（ステップＳ１５）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ１６）を施してから、後続のステップＳ２１の相関処理に移行する。
【００９０】
また、制御装置２は、見えないカーテン領域内の人物１２を時点ｔに撮像した第３の画像であるｔフレームの右画像を取得する（ステップＳ１７）。次に、所定時間のΔｔ経過した時点ｔ＋Δｔに撮像した第４の画像であるｔ＋Δｔフレームの右画像を取得する（ステップＳ１８）。引き続き、ｔフレームの右画像とｔ＋Δｔフレームの右画像との差画像を抽出する（ステップＳ１９）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ２０）を施してから、後続のステップＳ２１の相関処理に移行する。
【００９１】
本実施の形態では、第１のＣＣＤカメラと第２のＣＣＤカメラは同時並列的に各時点（ｔ、ｔ＋Δｔ）で撮像を行う。この場合Δｔは、計数装置の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００９２】
次に、ｔフレームの左画像のコントラストが強い人物１２の輪郭を用いてｔフレームの右画像の対応点を探索し相関処理を実行する（ステップＳ２１）。この相関処理により得られた対応点から、高さ情報を算出する（ステップＳ２２）。例えば、左画像と右画像を一致させる画素数に基づき人物１２の高さを演算出力する。
【００９３】
上記ステップＳ２２により得られた人物１２の高さ情報を見えないカーテン領域の座標情報と比較して、人物１２又はその部位の高さが見えないカーテン領域に侵入し且つ警備対象物３８に接近しているか否を判定する（ステップＳ２３）。
【００９４】
例えば、直前の時刻に取得した人物１２の高さ情報と現在の人物１２の高さ情報とを比較し、現在の人物１２またはその部位が警備対象物３８に接近したか否かを人物１２又はその部位の輪郭を示す画素アドレスに基づいて判定する。人物１２の輪郭アドレスが、図１に示す見えないカーテン領域幅Ｄの外縁部４２のアドレスから遠ざかり内縁部４３のアドレスに近づく場合は（ステップ２３がＹｅｓ）、人物１２又はその部位が警備対象物３８に接近していると判定してステップ２４へ分岐し、検知信号としての検出信号を出力してからステップ２５へ移行して処理を終了させることができる。
【００９５】
また、絵画館に応用する場合は、人物１２の輪郭アドレスが、図３に示す見えないカーテン領域５７の通路側アドレスから遠ざかり壁５２側のアドレスに近づく場合は（ステップ２３がＹｅｓ）、人物１２又はその部位が絵画５３に接近していると判定してステップ２４へ分岐し、検出信号を出力してからステップ２５へ移行して処理を終了させることができる。
【００９６】
一方、人物１２の輪郭アドレスと、図１に示す見えないカーテン領域幅Ｄの外縁部４２のアドレス及び内縁部４３のアドレスと比較し、カーテン領域幅Ｄの中で人物１２が停止している若しくは外縁部４２のアドレスに近づく場合は（ステップ２３がＮｏ）、節点Ｎ１２へ分岐し次の時刻のフレームを取得する。新たに取得した人物１２の高さ情報を算出し（ステップＳ２２）、ステップ２３により見えないカーテン領域と対応させて、人物１２の接近を判定する（ステップＳ２３）。
【００９７】
また、図３に示す監視装置を用いて上記ステップ２３の判断条件を説明する。人物１２が絵画５３の方向に進み、見えないカーテン領域幅Ｄに侵入している場合は、人物１２の輪郭アドレスが、図３に示す見えないカーテン領域幅Ｄの通路側アドレスから遠ざかり絵画５３側のアドレスに近づく場合は（ステップ２３がＹｅｓ）、人物１２又はその部位が絵画５３に接近していると判定してステップＳ２４へ分岐し、検出信号を出力する。その後ステップ２５へ移行して処理を終了させる。
【００９８】
一方、人物１２の輪郭アドレスと、図３に示す見えないカーテン領域幅Ｄの通路側アドレス及び絵画５３側のアドレスと比較し、カーテン領域幅Ｄの中で人物１２が停止している若しくは通路側アドレスに近づく場合は（ステップ２３がＮｏ）、節点Ｎ１２へ分岐し次の時刻のフレームを取得する。さらに人物１２の高さ情報を演算し見えないカーテン領域の幅Ｄ内の移動方向を検出する（ステップＳ２３）。
【００９９】
ここで、図７の模式的なブロック図を参照して、三角法を用いたＣＣＤカメラと人物１２との距離の算出方法について、鉛直上方から人物１２を撮像したときの距離（高さ）の測定方法を例示する。ここで、ｗは第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８との光軸間距離（基線長）、ｆは各ＣＣＤカメラの受光レンズを単一レンズとしたときそのレンズの焦点距離、ｄはＣＣＤカメラの結像面上の視差とする。ここでの焦点距離ｆは、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離ｆとする。これにより対象とする人物１２とＣＣＤカメラとの距離ａは次式で算出できる。
ａ　＝　ｗ　×　ｆ／ｄ　………（１）
このようにして、第１と第２のＣＣＤカメラ１６、１８からステレオ画像を取得したセンサ制御部６０は、内部の差画像形成部６２により第１のＣＣＤカメラ１６の差画像と第２のＣＣＤカメラ１８の差画像を形成し、この２つの差画像を相関出力演算部６４により相関処理し、相関処理信号を制御装置２へ出力することにより、ＣＣＤカメラから人物１２までの距離を算出する。また、予め測定した床とＣＣＤカメラとの基準距離ｈから人物１２までの距離を減算して人物１２の高さｚを算出し、高さｚ値を高さ記憶部２６に記憶する。また、センサ制御部６０を介さずに直接２台のＣＣＤカメラから映像信号を制御装置２へ送信するように構成することもできる。
【０１００】
図１に戻って、さらに監視システム１の動作について説明する。演算部３０は、内部の高さ記憶部２６に記憶された高さ値ｚにより、人物１２を監視することができる。
【０１０１】
また、演算部３０は、内部の高さ記憶部２６に記憶された人物１２の高さ値ｚを時系列的に記憶し、それに基づき人物１２の位置情報、移動方向、姿勢等を判断するように構成する。すなわち、基準距離ｈと、ある時点の人物１２の高さ値ｚとを比較することにより、人物１２の存在、その位置情報、移動方向、姿勢等を判断することができるように構成する。
【０１０２】
さらに、演算部３０は、最終的な人物１２の存在、その位置情報、移動方向、姿勢等の判断を、ＣＣＤカメラの走査線の中から抽出した複数の走査線にそれぞれに対応する判断結果から人物１２の位置情報を演算処理する。また人物１２の移動方向は、人物１２の位置の水平的な変化だけでなく、例えば、人物１２が立ったり座ったりするような鉛直的な変化も含むものとする。
【０１０３】
上記実施の形態では、人物１２の鉛直上方に設置した２台のＣＣＤカメラで監視空間１０を監視する監視装置１について説明をしたが、別の実施の形態として２台のＣＣＤカメラを監視空間１０の周辺に位置する壁や柱に設置し、所定の角度をもたせて監視空間１０に向けて見えないカーテン領域を監視することができる。
【０１０４】
例えば、床面から高さＨの壁又は柱に２台のＣＣＤカメラを据付け、２台のＣＣＤカメラから見えないカーテン領域までの水平方向の距離をＬとし、この見えないカーテン領域に侵入する人物１２の指、手、腕、胴等の部位と、２台のＣＣＤカメラ１６、１８との距離がＡと測定されたときは、人物１２の部位からＣＣＤカメラ１６、１８の設置位置までの鉛直方向の高さＨ１と、壁又は柱からの距離Ｌ１は、次式で求めることができる。
Ｈ１＝ＡＨ／（Ｈ２＋Ｌ２）１／２　　………（２）
Ｌ１＝ＡＬ／（Ｈ２＋Ｌ２）１／２　　………（３）
【０１０５】
また、人物１２の部位が監視空間１０に向かって移動する位置情報は、算出した高さＨ１、距離Ｌ１や２台のＣＣＤカメラ１６、１８の距離測定方向により逐次演算処理し、経時的変化の前後を比較することにより人物１２の部位が見えないカーテン領域の中で警備対象物３８の方向に近づく又は停止並びに遠ざかる状態を検出することができる。
【０１０６】
さらに、人物１２の部位の位置は、任意に抽出した本数の走査線の各々に対応する見えないカーテン領域の位置からも大まかに捉えることができる。このように、見えないカーテン領域に存在する人物１２の部位の位置情報を算出することができる。なお、床面に垂直な方向に２台のＣＣＤカメラ１６、１８を配置すれば、カメラの取り付けた位置そのものを、人物１２の位置とし、ＣＣＤカメラからの距離を高さとすることで、位置情報を簡単に取得することもできる。
【０１０７】
演算部３０が処理する人物１２の検出処理は、同一又は同一ではないＣＣＤカメラの走査線で直前の時刻に算出した人物１２の位置情報、例えば、１つ前の位置情報と所定の時間だけ遅れた時刻の位置情報と比較し、この人物１２の移動情報である移動距離と平均移動速度を算出する。
【０１０８】
例えば、移動距離は、最新の位置情報と１つ前の時刻の位置情報の高さＨ１や距離Ｌ１のデータの差により、また、平均移動速度は、このデータの差を所定の時間だけ遅れた距離の測定間隔時間で除算した値となる。さらに、演算部３０で演算出力した人物１２の移動距離、移動方向、移動速度を内部の移動距離記憶部２７に記憶する。
【０１０９】
このようにして、演算部３０は、算出した人物１２の位置情報と移動情報から、見えないカーテン領域において、人物１２の存在、その姿勢、位置、移動状態を判断することができる。
【０１１０】
例えば、人物１２の部位が停止している状態や、人物１２の部位が監視空間１０方向に接近している状態や、人物１２が監視空間１０から遠ざかる状態を的確に判断でき、また、人物１２が低い高さで存在し、かつ停止している場合には、この人物１２は見えないカーテン領域内で倒れている状態にあると判断できる。
【０１１１】
このようにして監視システム１は、見えないカーテン領域内に侵入した人物１２の部位や、人物１２の存在と存在状態等を画像情報を経時的に測定することで的確に監視することができる。
【０１１２】
ＣＣＤカメラは、容易に画角を広くとること可能であるので、画角の広いものを用いることで、横方向の監視対象領域を十分に大きく取ることができる。このような監視システム１を、種々の施設の監視に適用し、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の画角を増減し見えないカーテン領域を任意の幅に設定することにより、例えば、動物園の檻の前に人物１２の手が伸びた状態を検知したり、関係者以外立ち入り禁止区域に部外者が接近する状態を検知したり、自動ドアに接近する人物を検知することができる。
【０１１３】
監視装置１を自動ドアの鉛直上方に設置した場合、ドアに接近する人物が見えないカーテン領域に侵入しドア方向に歩行している状態を検知した時点で自動ドアの開扉制御を実行する。また、見えないカーテン領域で人物が停止している状態を検知したときは、そのままドアを開扉状態に保持するように構成することにより、無用な開閉動作を繰り返すことを防止することができる。しかも、見えないカーテン領域を包囲するマスク領域に他の人物が侵入しても自動ドアは無用な開扉動作を実行しないため、自動ドアの電力消費を低減させることができる。
【０１１４】
図８の模式的な平面図を参照して、見えないカーテン領域で撮像した人物１２の手１２ａを検出する方法を説明する。
【０１１５】
演算部３０は、走査線抽出処理により、２台のＣＣＤカメラ１６、１８の画像情報の中から見えないカーテン領域に侵入した人物の手１２ａの像を適当な間隔で配分されるような本数の走査線７１から７７を抽出する。また、手１２ａが侵入していない場合の床面までの距離を基準距離として設定しておくとよい。
【０１１６】
このように、２台のＣＣＤカメラ１６、１８を設定することで、ＣＣＤカメラと手１２ａまでの距離を測定すると同時に、どの走査線が手１２ａを検出したかにより、手１２ａの存在、床面からの高さを判断することができる。また各ＣＣＤカメラの差画像を取得し、撮像された画像上の手１２ａの像を抽出することにより、抽出された手１２ａの像の画像上の位置から、見えないカーテン領域内の位置情報も取得することができる。
【０１１７】
図中左端の画像フレーム８０は、第１の時刻に撮像された手１２ａの像を相関処理し走査線に対応させて表示している。手１２ａは、外縁部４２を通過し、内縁部４３方向に進行している。第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の走査線に各々対応させて高さ情報を得た段階の映像である。手１２ａは、例えば、第１の走査線７１と第２の走査線７２の上で結像されている。
【０１１８】
画像フレーム８０の右側に所定の時間だけ遅れた第２の時刻に撮像した画像フレーム８１を示す。手１２ａは、例えば、第１から第４の走査線７１〜７４の上で結像されているため、見えないカーテン領域の内縁部４３方向へ移動している。
【０１１９】
画像フレーム８１の右側に所定の時間だけ遅れた第３の時刻に撮像した画像フレーム８２を示す。手１２ａは、例えば、第１から第７の走査線７１〜７７の上で結像されているため、さらに見えないカーテン領域の内縁部４３方向へ移動している。演算部３０は、このような内縁部４３方向へ移動する手１２ａの位置変化を検出し、報知部３２へ検知信号を出力するよう制御信号を送信する。
【０１２０】
画像フレーム８２の右側に所定の時間だけ遅れた第４の時刻に撮像した画像フレーム８３を示す。手１２ａは、例えば、第１から第８の走査線７１〜７８の上で結像されているため、さらに見えないカーテン領域の内縁部４３方向へ移動していることがわかる。既に演算部３０は、報知部３２へ検知信号を出力するよう制御信号を送信させているが、他の実施の形態として画像フレーム８２を演算出力した時点で検知信号の送信準備処理に入り、画像フレーム８３を演算出力し手１２ａが内縁部４３方向に移動している位置変化を再度確認してから検知信号を出力されるように制御してもよい。
【０１２１】
図９の模式的な平面図を参照して、見えないカーテン領域で撮像した人物１２の手１２ａを検出する方法をさらに説明する。図中左端の画像フレーム８４は、第１の時刻に撮像された手１２ａの像を相関処理し走査線に対応させて表示している。手１２ａは、外縁部４２を通過し、内縁部４３方向に進行している。第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の走査線に各々対応させて高さ情報を得た段階の映像である。手１２ａは、例えば、第１の走査線７１と第２の走査線７２の上で結像されている。
【０１２２】
画像フレーム８４の右側に所定の時間だけ遅れた第２の時刻に撮像した画像フレーム８５を示す。手１２ａは、例えば、第１から第４の走査線７１〜７４の上で結像されているため、見えないカーテン領域の内縁部４３方向へ移動している。
【０１２３】
画像フレーム８５の右側に所定の時間だけ遅れた第３の時刻に撮像した画像フレーム８６を示す。手１２ａは上記画像フレーム８５と同様の位置に停止している。演算部３０はこの段階では検知信号を出力させないように待機している。
【０１２４】
画像フレーム８６の右側に所定の時間だけ遅れた第４の時刻に撮像した画像フレーム８７を示す。手１２ａは上記画像フレーム８６と同様の位置に停止している。演算部３０はこの段階でも検知信号を出力させないように待機し、画像フレーム８７の捜査線上の画素情報と後続の画像フレームの画素情報とを比較して、手１２ａが内縁部４３へ接近するか否かを監視する。
【０１２５】
ここで、２台のＣＣＤカメラ１６、１８の設置方法について説明する。まず監視装置１は、第１のＣＣＤカメラ１６の走査線と、この走査線に対応する第２のＣＣＤカメラ１８の走査線とがおよそ同一平面上に存在するように、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８との配置関係を定めるようにする。
【０１２６】
また、演算部３０は、第１のＣＣＤカメラ１６で手１２ａを走査する走査線と、第２のＣＣＤカメラ１８で手１２ａを走査する走査線に対して、相関値を演算する。演算された相関値が最大化されるように、第１のＣＣＤカメラ１６の走査線と第２のＣＣＤカメラ１８の走査線との位置対応関係を定める対応走査線選択処理を実行し、第１の差画像記憶部２４に記憶される走査線と第２の差画像記憶部２５に記憶される走査線の各アドレスを一致させるように走査線の先頭アドレスを決定し、第１の差画像記憶部２４又は第２の差画像記憶部２５若しくは不図示の先頭アドレス記憶領域内に先頭アドレスを記憶させる。
【０１２７】
ここで、２台のＣＣＤカメラの各々の走査線上に手１２ａが結像している場合、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、わずかに違う方向から手１２ａを撮像しているので、ほとんど変わらない画像が両方の走査線上に結像する。
【０１２８】
演算部３０は、２台のＣＣＤカメラからステレオ画像を受信し、例えば、第１のＣＣＤカメラ１６の走査線の任意の１本を選択する。この選択した走査線のライン信号と、第２のＣＣＤカメラ１８の走査線の第１ライン目のライン信号との相関処理を実行する。
【０１２９】
演算部３０による相関処理は、第１のＣＣＤカメラ１６内で選択した走査線のライン信号との相関処理を、第２のＣＣＤカメラ１８の走査線の第１ライン目から順番に最終ラインまで行なう。ここでの相関処理は、全体の信号の強さである相関値を基準に判定する。また相関処理は、第１のＣＣＤ１６内で選択した走査線のライン信号と、第２のＣＣＤ１８の第ｎ番目の走査線のライン信号との相関値が最大となるまで相関処理を繰り返して実行するように構成してもよい。ｎは、走査線の本数が例えば５００本の場合、１〜５００の自然数である。
【０１３０】
さらに、演算部３０は、対応走査線選択処理を実行し、相関処理により相関値が最大となるライン同士が対応している走査線であると判定しながら、第１のＣＣＤカメラ１６の走査線と第２のＣＣＤカメラ１８の走査線との位置対応関係を定める。例えば、演算部３０が第１のＣＣＤカメラ１６の第４番目の走査線と第２のＣＣＤカメラ１８の走査線の第７番目が対応している走査線であると判定した場合には、双方のＣＣＤカメラの走査線の位置対応関係は、そのまま第１のＣＣＤカメラ１６の５ライン目の走査線と第２のＣＣＤカメラの８ライン目の走査線１４が対応し、第１のＣＣＤカメラ１６の走査線の１００ライン目と第２のＣＣＤカメラ１８の走査線の１０３ライン目が対応する。
【０１３１】
また、監視装置１は、第１のＣＣＤカメラ１６の走査線と第２のＣＣＤカメラ１８の走査線の同じライン、例えば、第１と第２のＣＣＤカメラの４ライン目の走査線１３の相関値が最大となるように位置関係を定めてもよい。このようにすると、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の同じラインがおよそ同一平面の走査線が対応するように設置し、さらに相関値が最大となるように位置関係を定めるので、２台のＣＣＤカメラ１６、１８を効率良く、高精度に設置することができる。
【０１３２】
また、監視装置１は、２台のＣＣＤカメラ１６、１８の位置関係または双方の走査線との位置対応関係を定めた後に、２台のＣＣＤカメラ１６、１８の基線長ｗが設定値よりもずれた場合でも、予め定めた距離Ａ１を測定すれば、走査線方向のずれ分の補正を行うこともできる。この場合には、第１のＣＣＤカメラ１６の光軸と第２のＣＣＤカメラ１８の光軸の位置が走査線方向にＳだけずれているとすると、前述の式（１）を
ａ　＝　ｗ　×　ｆ／（ｄ＋Ｓ）　………（４）
とすることで走査線方向のずれを補正できる。
【０１３３】
このようにすれば、監視装置１は、正確に人物の手１２ａまでの距離を測定できるだけでなく、温度変化や経時変化があってＣＣＤカメラが僅かに動いたとしても、例えば、床の模様等を使って予め定めた距離Ａ１を測定することにより、正確さを維持することができる。また、この補正は、所定期間毎に繰り返し実行するとよい。
【０１３４】
以上では、２台のＣＣＤカメラ１６、１８の各々の走査線が対応するように設置する、または対応する走査線を選択する場合で説明したが、予め２台のＣＣＤカメラ１６、１８の各々の走査線が対応するように調整し、固定したものを用いるようにしてもよい。このようにすると、２台のＣＣＤカメラ１６、１８は、距離センサと同じような感覚で扱うことができるので、２台のＣＣＤカメラ１６、１８の設置が非常に簡便になる。
【０１３５】
以上のように監視装置１は、見えないカーテン領域にどの程度の大きさの人物１２又は手１２ａが侵入し、どのような人物１２又は手１２ａの状態（どの位置で、立っている、座っている、倒れている）にあるか、また、その人物１２は動いているか、停止しているのか、退出したかといった一連の動きを簡単な装置で追従することができる。この場合、基準距離からの差異を取得しているため、距離が比較的正確でなくても状態の判断に使うことはできる。
【０１３６】
また、監視装置１は、差画像を用いるため、例えば、人物１２に動きが無くなった場合には、領域の特定ができなくなるが、画像フレームの間隔を時間的に伸ばす等の方法で、一連の動きから総合的に人物１２の状態の判定をすることができる。
【０１３７】
したがって、静止しているまたは動きがゆっくりした人物１２の存在も自動的に監視できる。例えば、見えないカーテン領域に侵入した人物１２や手１２ａ等が動きの少ない場合に有効である。
【０１３８】
さらに、見えないカーテン領域の中に人物１２又は手１２ａが存在していない状態の場合の床面や壁までの距離を基準距離として設定しておき、その状態からの監視対象物の変化を追うことで、人物１２の状態を判断することができる。
【０１３９】
以上のような本実施の形態によれば、見えないカーテン領域の中の人物１２や手１２ａの状態を判断して、人物１２又は手１２ａが所定方向に移動していることや、不法侵入者が侵入しているといった監視を正確かつ非常に容易に行うことができる。しかも、ＣＣＤカメラより画像フレーム全体の情報を取得し処理することがないため、複雑かつ大容量の画像処理を必要とせず、比較的簡単なデジタル回路やアナログ回路、もしくはこれらの組み合わせで、非常に安価な装置を構築することができる。また抽出する走査線は、人物１２や手１２ａのプライバシーを守れる程度であるので、公共の施設での状態監視において非常に有効である。さらに、監視装置１は、可視光に近い赤外光の波長を使用しているため、侵入者に警戒されることなく監視活動を遂行することができる。
【０１４０】
上記実施の形態では、少なくとも可視光と赤外光を受光し撮像信号を出力するＣＣＤカメラを用いて監視装置を構成したが、他の実施の形態として、例えば、赤外線ＣＣＤカメラ（ＩＲＣＣＤ）を用いて、昼夜に亘り赤外光を撮像し監視対象物１２が監視領域４２、４３へ侵入する状態を監視する監視装置を提供することもできる。この場合、可視光線量が低下しても監視領域の撮像が可能であるため、赤外線照射装置１７を省略することができる。また、ＩＲＣＣＤは監視対象物としての人物１２から放射する赤外光（熱源）をも撮像することになるが、人物１２と背景とのコントラストに比して微弱な光量差であるため、人物１２と背景との境界の検出、人物のエッジ検出処理を妨げるものではない。
【０１４１】
尚、本発明の監視装置及び監視方法は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【０１４２】
【発明の効果】
以上のように本発明によれば、監視空間の可視光線量の低下を示す所定の閾値信号に応答し赤外光を監視空間１０に照射する赤外線照射装置１７と、監視空間１０に向けて設置され、第１の時刻と第１の時刻から所定の時間だけ遅れた第２の時刻とに監視対象物１２から反射する赤外光を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔だけ離して、監視空間１０に向けて設置され、第１の時刻と第２の時刻とに監視対象物１２から反射する赤外光を撮像する第２の撮像装置１８と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部２４、２５と、差画像形成部２４、２５で形成された、第１の撮像装置による像の差画像２４と第２の撮像装置による像の差画像２５に基づいて、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基づいて、監視対象物１２が監視領域４２、４３への接近を検知し検知信号を出力する接近報知部３２と、を備えるため、夜間あるいは暗闇において三次元の監視空間に侵入する監視対象物と撮像装置との距離を測定し、所定区域へ接近する監視対象物を監視する監視装置及び監視方法を提供する、という優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視装置の模式的な斜視図である。
【図２】本発明の実施の形態である監視装置の模式的平面図である。
【図３】本発明の他の実施の形態である監視装置の模式的な斜視図である。
【図４】本発明の実施の形態に用いる撮像装置と赤外線照射装置の模式的な斜視図である。
【図５】本発明の実施の形態に用いる他の赤外線照射装置の模式的な斜視図である。
【図６】本発明の実施の形態の監視装置のフローチャート図である。
【図７】本発明の実施の形態の監視装置のブロック図である。
【図８】本発明の実施の形態の模式的な平面図である。
【図９】本発明の実施の形態の模式的な平面図である。
【符号の説明】
１　　　監視装置
２　　　制御装置
６　　　照度測定装置
７　　　赤外線照射部
８　　　赤外線照射装置
１０　　　監視空間
１２　　　人物
１３　　　走査線
１４　　　走査線
１５　　　警備員
１６　　　ＣＣＤカメラ
１７　　　赤外線照射装置
１８　　　ＣＣＤカメラ
１９　　　撮像装置用インターフェイス
２０　　　撮像信号記憶部
２１　　　撮像信号記憶部
２２　　　撮像信号記憶部
２３　　　撮像信号記憶部
２４　　　差画像記憶部
２５　　　差画像記憶部
２６　　　高さ記憶部
２７　　　移動距離記憶部
２８　　　マスクアドレス記憶部
２９　　　照度測定部
３０　　　演算部
３２　　　報知部
３８　　　警備対象物
４２　　　監視領域
５０　　　マスク領域
５７　　　カーテン領域
６０　　　センサ制御部
６２　　　差画像形成部
６４　　　相関出力演算部
【図１】
2004120009.tif 000003
【図２】
2004120009.tif 000004
【図３】
2004120009.tif 000005
【図４】
2004120009.tif 000006
【図５】
2004120009.tif 000007
【図６】
2004120009.tif 000008
【図７】
2004120009.tif 000009
【図８】
2004120009.tif 000010
【図９】
2004120009.tif 000011