(57)【要約】【課題】監視員の労力の負担を軽減し、広大な撮影範囲から迅速かつ精確に状況の変化を検出する。【解決手段】撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像につき、各単位画像毎にサーバ５３へ順次記録しておき、サーバ５３から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で原色成分毎に輝度レベルを比較し、その比較結果に基づき、パノラマ画像を構成する単位画像毎に所定の情報をディスプレイ６を介して表示することにより、ユーザに注意を促す。【選択図】  図２
2004266317.tif 000002
【特許請求の範囲】
【請求項１】
撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像を監視する監視装置において、
上記パノラマ画像を構成する各単位画像を記録媒体へ順次記録する記録手段と、
上記記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、原色成分毎に輝度レベルを比較する比較手段と、
上記比較手段による比較結果に基づき、上記パノラマ画像を構成する上記単位画像毎に所定の情報を表示する表示手段とを備えること
を特徴とする監視装置。
【請求項２】
上記原色成分毎に所望の閾値を設定するための設定手段をさらに備え、
上記比較手段は、輝度レベルの差分値を上記原色成分毎に求め、
上記表示手段は、上記比較手段により求められた差分値が、その原色成分毎に設定された閾値を超えるときに、上記所定の情報を表示すること
を特徴とする請求項１記載の監視装置。
【請求項３】
上記設定手段は、さらに上記単位画像毎に所望の閾値が設定されること
を特徴とする請求項２記載の監視装置。
【請求項４】
上記比較手段は、上記単位画像を構成する各画素につき、輝度レベルの差分値を求めること
を特徴とする請求項２記載の監視装置。
【請求項５】
上記設定手段は、上記単位画像毎に参照画像領域がさらに設定され、
上記表示手段は、上記比較手段により求められた差分値が上記閾値を超える画素から構成される画像領域を順次抽出し、上記抽出した画像領域の縦方向及び横方向の各最大長が、上記設定された参照画像領域における縦方向及び横方向のサイズをそれぞれ超えるときに、上記所定の情報を表示すること
を特徴とする請求項４記載の監視装置。
【請求項６】
上記比較手段は、上記記録媒体から読み出した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、白黒画像信号の輝度レベルを比較し、当該比較結果に応じて上記読み出した一の単位画像の位置を移動させて、上記原色成分毎に輝度レベルを比較すること
を特徴とする請求項１記載の監視装置。
【請求項７】
上記比較手段は、上記記録媒体から読み出した単位画像を構成する少なくとも１つの基準ブロックを切り出し、また当該単位画像よりも先に記録されている同一撮影方向上の単位画像から探索ブロックを順次移動させて切り出し、上記切り出した基準ブロック及び探索ブロックとの間で上記白黒画像信号の輝度レベルにおける分散積分値を順次演算し、
上記表示手段は、上記比較手段より演算された分散積分値に基づき、上記所定の情報を表示すること
を特徴とする請求項６記載の監視装置。
【請求項８】
上記比較手段による比較結果に基づき、接続された通信網を介して、上記所定の情報を表示すべき単位画像を他の電子機器へ通知する通信制御手段をさらに備えること
を特徴とする請求項１記載の監視装置。
【請求項９】
撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像を監視する監視方法において、
上記パノラマ画像を構成する各単位画像を記録媒体へ順次記録し、
上記記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、原色成分毎に輝度レベルを比較し、
上記比較結果に基づき、上記パノラマ画像を構成する上記単位画像毎に所定の情報を表示すること
を特徴とする監視方法。
【請求項１０】
上記原色成分毎に所望の閾値が設定され、
輝度レベルの差分値を上記原色成分毎に求め、
上記求められた差分値が、その原色成分毎に設定された閾値を超えるときに、上記所定の情報を表示すること
を特徴とする請求項９記載の監視方法。
【請求項１１】
さらに上記単位画像毎に上記所望の閾値が設定されること
を特徴とする請求項１０記載の監視方法。
【請求項１２】
上記単位画像を構成する各画素につき、輝度レベルの差分値を求めること
を特徴とする請求項１０記載の監視方法。
【請求項１３】
上記単位画像毎に参照画像領域がさらに設定され、
上記求められた差分値が上記閾値を超える画素から構成される画像領域を順次抽出し、上記抽出した画像領域の縦方向及び横方向の各最大長が、上記設定された参照画像領域における縦方向及び横方向のサイズをそれぞれ超えるときに、上記所定の情報を表示すること
を特徴とする請求項１２記載の監視方法。
【請求項１４】
上記記録媒体から読み出した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、白黒画像信号の輝度レベルを比較し、当該比較結果に応じて上記読み出した一の単位画像の位置を移動させて、上記原色成分毎に輝度レベルを比較すること
を特徴とする請求項９記載の監視方法。
【請求項１５】
上記記録媒体から読み出した単位画像を構成する少なくとも１つの基準ブロックを切り出し、また当該単位画像よりも先に記録されている同一撮影方向上の単位画像から探索ブロックを順次移動させて切り出し、上記切り出した基準ブロック及び探索ブロックとの間で上記白黒画像信号の輝度レベルにおける分散積分値を順次演算し、
上記演算された分散積分値に基づき、上記所定の情報を表示すること
を特徴とする請求項１４記載の監視方法。
【請求項１６】
上記比較結果に基づき、接続された通信網を介して、上記所定の情報を表示すべき単位画像を他の電子機器へ通知すること
を特徴とする請求項９記載の監視方法。
【請求項１７】
撮影方向を順次変化させて撮影範囲を撮像することによりパノラマ画像の画像信号を生成する撮像手段と、
上記生成される画像信号に基づき、上記パノラマ画像を構成する各単位画像を記録媒体へ順次記録する記録手段と、
上記記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、原色成分毎に輝度レベルを比較する比較手段と、
上記比較手段による比較結果に基づき、上記パノラマ画像を構成する上記単位画像毎に所定の情報を表示する表示手段とを備えること
を特徴とする撮像装置。
【請求項１８】
上記原色成分毎に所望の閾値を設定するための設定手段をさらに備え、
上記比較手段は、輝度レベルの差分値を上記原色成分毎に求め、
上記表示手段は、上記比較手段により求められた差分値が、その原色成分毎に設定された閾値を超えるときに、上記所定の情報を表示すること
を特徴とする請求項１７記載の撮像装置。
【請求項１９】
上記設定手段は、さらに上記単位画像毎に所望の閾値が設定されること
を特徴とする請求項１８記載の撮像装置。
【請求項２０】
上記比較手段は、上記単位画像を構成する各画素につき、輝度レベルの差分値を求めること
を特徴とする請求項１８記載の撮像装置。
【請求項２１】
上記設定手段は、上記単位画像毎に参照画像領域がさらに設定され、
上記表示手段は、上記比較手段により求められた差分値が上記閾値を超える画素から構成される画像領域を順次抽出し、上記抽出した画像領域の縦方向及び横方向の各最大長が、上記設定された参照画像領域における縦方向及び横方向のサイズをそれぞれ超えるときに、上記所定の情報を表示すること
を特徴とする請求項２０記載の撮像装置。
【請求項２２】
上記比較手段は、上記記録媒体から読み出した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、白黒画像信号の輝度レベルを比較し、当該比較結果に応じて上記読み出した一の単位画像の位置を移動させて、上記原色成分毎に輝度レベルを比較すること
を特徴とする請求項１７載の撮像装置。
【請求項２３】
上記比較手段は、上記記録媒体から読み出した単位画像を構成する少なくとも１つの基準ブロックを切り出し、また当該単位画像よりも先に記録されている同一撮影方向上の単位画像から探索ブロックを順次移動させて切り出し、上記切り出した基準ブロック及び探索ブロックとの間で上記白黒画像信号の輝度レベルにおける分散積分値を順次演算し、
上記表示手段は、上記比較手段より演算された分散積分値に基づき、上記所定の情報を表示すること
を特徴とする請求項２２記載の撮像装置。
【請求項２４】
上記比較手段による比較結果に基づき、接続された通信網を介して、上記所定の情報を表示すべき単位画像を他の電子機器へ通知する通信制御手段をさらに備えること
を特徴とする請求項１７記載の撮像装置。
【請求項２５】
撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像を監視することをコンピュータに実行させるプログラムにおいて、
上記パノラマ画像を構成する各単位画像を記録媒体へ順次記録し、
上記記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、原色成分毎に輝度レベルを比較し、
上記比較結果に基づき、上記パノラマ画像を構成する上記単位画像毎に所定の情報を表示することをコンピュータに実行させるためのプログラム。
【請求項２６】
上記原色成分毎に所望の閾値が設定され、
輝度レベルの差分値を上記原色成分毎に求め、
上記求められた差分値が、その原色成分毎に設定された閾値を超えるときに、上記所定の情報を表示することをコンピュータに実行させる請求項２５記載のプログラム。
【請求項２７】
上記単位画像を構成する各画素につき、輝度レベルの差分値を求めることをコンピュータに実行させる請求項２６記載のプログラム。
【請求項２８】
上記単位画像毎に参照画像領域がさらに設定され、
上記求められた差分値が上記閾値を超える画素から構成される画像領域を順次抽出し、上記抽出した画像領域の縦方向及び横方向の各最大長が、上記設定された参照画像領域における縦方向及び横方向のサイズをそれぞれ超えるときに、上記所定の情報を表示することをコンピュータに実行させる請求項２７記載のプログラム。
【請求項２９】
上記記録媒体から読み出した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、白黒画像信号の輝度レベルを比較し、当該比較結果に応じて上記読み出した一の単位画像の位置を移動させて、上記原色成分毎に輝度レベルを比較することをコンピュータに実行させる請求項２５記載のプログラム。
【請求項３０】
上記記録媒体から読み出した単位画像を構成する少なくとも１つの基準ブロックを切り出し、また当該単位画像よりも先に記録されている同一撮影方向上の単位画像から探索ブロックを順次移動させて切り出し、上記切り出した基準ブロック及び探索ブロックとの間で上記白黒画像信号の輝度レベルにおける分散積分値を順次演算し、
上記演算された分散積分値に基づき、上記所定の情報を表示することをコンピュータに実行させる請求項２９記載のプログラム。
【請求項３１】
撮影方向を順次変化させて撮影範囲を撮像することによりパノラマ画像の画像信号を生成する撮像装置と、
上記生成される画像信号に基づき、上記パノラマ画像を構成する各単位画像を順次記録するサーバと、
上記サーバから選択した一の単位画像と当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で原色成分毎に輝度レベルを比較するサーバ制御手段と、
通信網を介して上記サーバ制御手段による比較結果が送信され、当該比較結果に基づき上記パノラマ画像を構成する上記単位画像毎に所定の情報を表示する端末装置とを備えること
を特徴とする監視システム。
【請求項３２】
上記端末装置は複数設けられてなること
を特徴とする請求項３１記載の監視システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する監視装置及び方法、撮像装置、プログラム並びに監視システムに関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。このため、従来では、カメラの撮影方向を順にシフトさせながら被写体を撮影し、これらを合成してパノラマ画像を得ることにより、広範囲の状況を監視することができるモニタリング方法が提案されている。
【０００３】
特に近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、この記録媒体に記録されている画像を利用して、撮影範囲における何らかの変化を検出する場合に、監視員は、１スキャン毎に刻々と入力される監視画像の状況を隅々まで観察しなければならなかった。特に監視員は、細かい画像の変化や、微小な対象物の出現等につき常に識別しなければならず、過大な労力や時間を必要とし、さらには、かかる監視員の眼に依存するシステムであるが故に、かかる状況変化の見落としが生じる危険性もあった。
【０００６】
また、撮影範囲における変化が検出された場合において、過去に記録されている画像データまで遡ってこれを参照し、詳細な状況や原因を解析しなければならず、監視員の労力の負担が更に増大するという問題点もあった。
【０００７】
そこで、本発明は、かかる監視員の労力の負担を軽減し、広大な撮影範囲から迅速かつ精確に状況の変化を検出することができる監視装置及び方法、撮像装置、プログラム並びに監視システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明者は、撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像につき、各単位画像毎に記録媒体へ順次記録しておき、記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で原色成分毎に輝度レベルを比較し、その比較結果に基づき、パノラマ画像を構成する単位画像毎に所定の情報を表示することにより、ユーザに注意を促すことで、上述した問題点の解決を図った。
【０００９】
すなわち、本発明を適用した監視装置は、撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像を監視する監視装置において、パノラマ画像を構成する各単位画像を記録媒体へ順次記録する記録手段と、記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、原色成分毎に輝度レベルを比較する比較手段と、比較手段による比較結果に基づき、パノラマ画像を構成する単位画像毎に所定の情報を表示する表示手段とを備える。
【００１０】
また、本発明を適用した監視方法は、撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像を監視する監視方法において、パノラマ画像を構成する各単位画像を記録媒体へ順次記録し、記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、原色成分毎に輝度レベルを比較し、比較結果に基づき、パノラマ画像を構成する単位画像毎に所定の情報を表示する。
【００１１】
また、本発明を適用した撮像方法は、撮影方向を順次変化させて撮影範囲を撮像することによりパノラマ画像の画像信号を生成する撮像手段と、生成される画像信号に基づき、パノラマ画像を構成する各単位画像を記録媒体へ順次記録する記録手段と、記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、原色成分毎に輝度レベルを比較する比較手段と、比較手段による比較結果に基づき、パノラマ画像を構成する単位画像毎に所定の情報を表示する表示手段とを備える。
【００１２】
また、本発明を適用したプログラムは、撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像を監視するプログラムにおいて、パノラマ画像を構成する各単位画像を記録媒体へ順次記録し、記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で、原色成分毎に輝度レベルを比較し、比較結果に基づき、パノラマ画像を構成する単位画像毎に所定の情報を表示することをコンピュータに実行させるためのプログラム。
【００１３】
また、本発明を適用した監視システムは、撮影方向を順次変化させて撮影範囲を撮像することによりパノラマ画像の画像信号を生成する撮像装置と、生成される画像信号に基づき、パノラマ画像を構成する各単位画像を順次記録するサーバと、サーバから選択した一の単位画像と当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で原色成分毎に輝度レベルを比較するサーバ制御手段と、通信網を介してサーバ制御手段による比較結果が送信され、当該比較結果に基づきパノラマ画像を構成する単位画像毎に所定の情報を表示する端末装置とを備える。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した監視システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、カメラユニット２により生成された画像信号が伝送される監視装置５と、監視装置５に接続されるディスプレイ６と、複数のユーザがアプリケーションを実行するための端末装置９と、監視装置５と各端末装置９との間で情報を送受信するためのネットワーク８と、端末装置９に接続される端末ディスプレイ１０と、ネットワーク８に接続されるネットワークサーバ１１とを備えている。
【００１５】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１６】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、監視装置５による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、監視装置５による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。このカメラ部４を一の監視装置５に対して複数設置することにより、同一の被写体につき、互いに異なる撮影角度で撮像することができ、多面的な画像情報を得ることも可能となる。
【００１７】
監視装置５は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器により構成され、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの監視装置５は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれを表示するように制御する。この監視装置５は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像を送信する。
【００１８】
ネットワーク８は、例えば監視装置５と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）／Ｂ（ｂｒｏａｄｂａｎｄ）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの監視システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）で構成してもよい。さらにこのネットワーク８は、静止画像に加えてＭＰＥＧ画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、ＭＰＥＧデータがある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。
【００１９】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して監視装置５から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの監視システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、監視装置５から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを監視装置５に対して送信する。なお端末装置９のブロック構成については、後述する監視装置５の構成を引用し、説明を省略する。
【００２０】
ネットワークサーバ１１は、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２１】
次に、本発明を適用した監視システム１におけるカメラユニット２，監視装置５の構成について詳細に説明する。
【００２２】
図２は、カメラユニット２，監視装置５の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに監視装置５の各構成要素が接続されている。
【００２３】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するＴｉｌｔ部３ａ、Ｐａｎ部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を監視装置５へ送信するためのＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ）１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２４】
また監視装置５は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２と、エンコーダ５２から出力される画像を蓄積するサーバ５３と、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続され、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０と、さらにこのＩ／Ｏポート５８に接続されるメモリカード６１並びに時計６２とを備えている。
【００２５】
Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２６】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００２７】
撮像部２４は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００２８】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００２９】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３０】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号をネットワークサーバ１１に記録するように制御することにより、サーバ５３をネットワークサーバ１１に代替することも可能となる。
【００３１】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３２】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、監視装置５内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている画像から最適なものを選択し、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３３】
次に本発明を適用した監視システム１における撮像動作について説明をする。
【００３４】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３５】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００３６】
同様にＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００３７】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００３８】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように圧縮される。この圧縮された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００３９】
図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この監視装置５は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また監視装置５は、パノラマ状の全体画像の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７１に表示させてもよい。
【００４０】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７９に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。
【００４１】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４２】
ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０，７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４３】
次に本発明を適用した監視システム１により、撮像した画像上に生じた差異を検出する方法について説明をする。
【００４４】
上述の如く一定の間隔で実行される撮像動作により、サーバ５３には最新の状況を撮像した全体画像が順次記録される。ここで、サーバ５３に記録されている全体画像のうち、上記撮影範囲の最新の状況を示す全体画像を比較全体画像といい、またこの比較全体画像の直前に撮像され記録されている全体画像を基本全体画像という。
【００４５】
監視システム１は、図５に示すように比較全体画像を構成する各単位画像と、基本全体画像を構成する各単位画像との間で、Ｒ，Ｇ，Ｂの原色成分毎に輝度レベルを比較する。この輝度レベルの比較は、同一座標（Ｍ，Ｎ）にある単位画像間で、換言すれば同一撮影方向にある単位画像間で実行する。これにより、基本全体画像に対する比較全体画像の各原色成分における輝度レベルの変化を、撮影方向毎に検出することができる。
【００４６】
また、輝度レベルを単位画像毎に比較した結果、例えば、座標（３，２）、（５，５）、（７，６）において差異が検出された場合には、かかる単位画像のみ色付きの枠を表示することによりユーザに対して注意を促す。このとき、表示画面４５において、色付きの枠を表示すると同時に比較する二つの単位画像を表示することにより、かかる差異の原因を即座に知らせるようにしてもよい。
【００４７】
これによりユーザは、表示画面４５上において、色付きの枠で表示されている単位画像のみ着目して、差異の詳細を調べることができるため、労力の負担を軽減させることができる。
【００４８】
ちなみに、本発明では、比較全体画像を構成する一部の単位画像のみについて、上述の如く輝度レベルを比較してもよい。このときユーザは、マウス６０等を用いて、所望の単位画像を指定することにより、かかる指定された単位画像のみにつき輝度レベルの差異の有無を識別することが可能となる。これにより、高精度、高感度な画像の差異検出が可能となる。
【００４９】
図６（ａ）は、原色成分のうちＲ（赤）の輝度レベルを比較する場合につき説明するための図である。縦軸は、比較する単位画像につき、対応する画素毎に演算した差分値（明るさ）を示している。また図６（ｂ）は、この図６（ａ）に示される差分値のうち水平方向における最大値を表示したものであり、図６（ｃ）は、図６（ａ）に示される差分値のうち垂直方向における最大値を表示したものである。
【００５０】
差異検出レベルＬ１並びに色レベルＬ２は、キーボード５９やマウス６０を用いて、ともにユーザにより自由に設定できるレベルである。演算された原色成分（Ｒ）の輝度レベルの差分値がこの差異検出レベルＬ１を超えたときに、差異が検出されたものと判定される。色レベルＬ２は、Ｓ／Ｎ比を向上させるべく、演算される差分値のゲインを設定するためのレベルである。例えば図６に示すように、一の差分値を色レベルＬ２まで増幅させることにより、他の差分値も同様に増幅されることになる。増幅された各差分値に対して所望の差異検出レベルＬ１を設定することにより、高精度な差異検出を実現することができる。すなわちユーザは、検出を望む差分値のレベルに対応させて自在に色レベルＬ２を設定することができ、またこの色レベルＬ２との関係において差異検出レベルＬ１を設定することにより、色レベルＬ２の割合に対してどの程度のレベル変化を起こしたら差異が検出されたものと判断するか自由に設定することができる。ちなみに、他の原色成分（Ｇ、Ｂ）に関しても同様にＬ１，Ｌ２を設定することができる。
【００５１】
なお、この差異検出レベルＬ１及び色レベルＬ２は、Ｒ、Ｇ、Ｂの原色成分毎に互いに異なるレベルに設定してもよく、また比較全体画像を構成する単位画像毎に、互いに異なるレベルに設定してもよい。
【００５２】
すなわち、監視システム１では、比較する単位画像について原色成分毎に演算した輝度レベルの差分値のうち、少なくとも一の原色成分において差異検出レベルＬ１を超える場合に、当該単位画像につき何らかの差異が検出されたものと判断することができる。このため、Ｒ、Ｇ、Ｂ毎に単独で差異を検出することができ、実際に表示画面４５上において表示される全体画像において、視覚的に検出することが不可能な微小な状況変化までも高精度に検出することができる。
【００５３】
また、本発明を適用した監視システム１では、差異を検出することができる対象物の大きさを選択することもできる。
【００５４】
図７（ａ）に示すようにユーザは、キーボード５９やマウス６０を用いて各単位画像毎に所望の参照画像領域を設定することができる。この設定される参照画像領域は、一の単位画像に対して１種のみ設定してもよいし、複数種設定してもよい。また原色成分毎に互いに異なるサイズからなる参照画像領域を設定してもよい。
【００５５】
ここで、ユーザにより図７（ｂ）に示すように、水平方向の長さをＷであり、また垂直方向の長さがｔである参照画像領域が設定された場合において、ＣＰＵ５６は、かかる参照画像領域が設定された単位画像につき、求められた差分値が差異検出レベルＬ１を超える被検出領域を識別する。ＣＰＵ５６は、この識別した被検出領域につき、参照画像領域との間でサイズを比較する。
【００５６】
例えば、図８に示すように、差分値が差異検出レベルＬ１を超える被検出領域として、先ず水平方向の長さがＷ１であり、垂直方向の長さがｔ１である被検出領域Ｒ１を識別した場合に、水平方向につき、参照画像領域の長さＷと、このＷ１とを比較し、また垂直方向につき、参照画像領域の長さｔと、このｔ１とを比較する。その結果、被検出領域Ｒ１のサイズが水平、垂直方向において共に参照画像領域のサイズを超える場合には、差異が検出されたものと判定する。また、この被検出領域Ｒ１において、水平、垂直方向のうちいずれか一方のサイズが、参照画像領域のサイズを下回る場合には、差異が検出されなかったものと判定する。
【００５７】
同様に、ＣＰＵ５６は、差分値が差異検出レベルＬ１を超える被検出領域として、水平方向の長さがＷ２であり、垂直方向の長さがｔ２である被検出領域Ｒ２を識別した場合には、水平方向につき、参照画像領域の長さＷと、このＷ２とを比較し、また垂直方向につき、参照画像領域の長さｔと、このｔ２とを比較し、差異の有無を判定する。
【００５８】
すなわち、本発明を適用した監視システム１では、ユーザにより設定された参照画像領域に基づき、差異を検出するための被検出領域を選択することができる。特に、参照画像領域のサイズを細かく調整することにより、微小な被検出領域につき、差異が検出されることはなくなる。その結果、かかる被検出領域を含む単位画像につき、上述の如く色付きの枠を表示されることがなくなるため、ユーザに対する過度の注意喚起を防ぐことができる。
【００５９】
また撮影範囲内に存在する被写体の中から、ある特定の対象につき、差異の検出を望む場合においても、参照画像領域のサイズを当該検出対象のサイズに応じて設定することにより実現することができる。特に撮影方向を順次変化させて被写体を撮像することにより得られる全体画像は、様々な撮影対象物を含む場合が多いため、単位画像間で互いに異なるサイズからなる参照画像領域を設定することにより、各撮影対象物につき、単一システムによる差異検出を実現することができる。
【００６０】
また、カメラ部４から遠距離にある撮影対象物と近距離にある撮影対象物は、仮に同一物であっても単位画像に表示されるサイズが異なる。例えばカメラ部４から遠距離位置に敷設されている道路上の自動車と、カメラ部４から近距離位置に敷設されている道路上の自動車では、同一種類のものであっても、後者の方が大きく表示される。このため、カメラ部４から遠距離位置に敷設されている道路を含む単位画像と、カメラ部４から近距離位置に敷設されている道路を含む単位画像との間で、設定する参照画像領域のサイズを変えることにより、かかる同一種類の自動車についても、カメラ部４からの遠近によらず精確な差異検出を実現することができる。
【００６１】
なお、本発明では、上述した実施の形態に限定されるものではなく、被検出領域のサイズが水平、垂直方向の何れか一方において、参照画像領域のサイズを超える場合に、差異が検出されたものと判定してもよい。
【００６２】
また、本発明を適用した監視システム１では、輝度レベルを比較する単位画像の位置ずれを調整するための位置合わせを行うこともできる。
【００６３】
ＣＰＵ５６は、輝度レベルを比較する二つの単位画像のうち、基本全体画像を構成する単位画像（先の単位画像）から、所定の画素数（例えば１６×１６画素）からなる基準ブロック９１を切り出す。この基準ブロック９１は、例えば図９に示すように、エッジ成分等のようないわゆる高周波領域を含むように設定される。
【００６４】
次にＣＰＵ５６は、比較全体画像を構成する単位画像（後の単位画像）において探索範囲９４を設定する。この探索範囲９４は、例えば、基準ブロック９１を中心としてそれぞれ水平、垂直方向に±４画素分拡張した２４×２４画素からなる領域として設定される。次にＣＰＵ５６は、後の単位画像において、さらにこの探索範囲９４内において探索ブロック９３を設定する。探索ブロック９３における水平、垂直方向の画素数は、上述した基準ブロック９１の水平、垂直方向の画素数と同等になるように設定される。
【００６５】
次にＣＰＵ５６は、探索ブロック９３を探索範囲９４内において水平、垂直方向へ順次移動させる。ＣＰＵ５６は、この探索ブロック９３につき、１画素ずつ移動させてもよいし、数画素おきに移動させてもよい。ＣＰＵ５６は、この順次移動する探索ブロック９３と基準ブロック９１との間で相似度を求める。そして、基準ブロック９１と最も高い相似度を示す探索ブロック９３の位置を検出する。
【００６６】
この相似度を求める場合において、ＣＰＵ５６は、先ず探索ブロック９３の白黒画像信号の輝度レベルと、基準ブロック９１の白黒画像信号の輝度レベルとの差分値ＲＤを演算する。白黒画像信号は、Ｒ，Ｇ，Ｂの原色成分から以下の式１に基づいて計算することができる。
白黒画像信号＝（Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１１）・・・式１
図１０（ａ）は、探索ブロック９３において、白黒画像信号の輝度レベル差が生じた領域を示している。この図１０（ａ）において斜線で示される領域は、後の単位画像において位置ずれが生じた結果、基準ブロック９１と探索ブロック９３との間で白黒画像信号の輝度レベルにつき格差が生じた領域である。
【００６７】
また図１０（ｂ）の横軸は、図１０（ａ）における点線上に位置する水平方向の画素に対応し、また、横軸はかかる点線上に位置する画素について求めた差分値ＲＤを８ビットデータで表示する例である。
【００６８】
ここでＣＰＵ５６は、かかる縦軸で表される差分値の平均である平均差分値ＲＡを求める。そして、求めた平均差分値ＲＡを基準として、点線上に位置する各画素について以下の式２を用いて分散積分値Ｆを求める。
分散積分値Ｆ＝∫（差分値ＲＤ−平均差分値ＲＡ）・・・・・・式２
この式２により求められた分散積分値Ｆは、図１０（ｂ）の斜線領域で表される。
【００６９】
ＣＰＵ５６は、このような分散積分値Ｆを、図１１（ａ）に示すように点線を垂直方向へ順次ずらしながら求めることができる。その結果、図１１（ｂ）の斜線領域に示されるように、垂直成分毎に求めた分散積分値Ｆを得ることができる。ＣＰＵ５６は、この分散積分値Ｆを利用し、最終的に以下の式３で示される分散積分値Ｆ’を求める。
分散積分値Ｆ’＝∬（差分値ＲＤ−平均差分値ＲＡ）・・・・・式３
このようにして、探索範囲９４内を順次移動する探索ブロック９３と基準ブロック９１との間で、上述の式に基づき分散積分値Ｆ’を順次求め、最も小さい分散積分値Ｆ’を示す探索ブロック９３の位置を、最も高い相似度を示す位置とする。そして、かかる探索ブロック９３について求めた基準ブロック９１に対する相対的な位置に基づき、後の単位画像の位置合わせを行う。
【００７０】
すなわち、本発明を適用した監視システム１は、全体画像を構成する全ての単位画像について上述の如く位置合わせを実行することができる。これにより、単なる単位画像の位置ずれにつき、差異検出されることはなくなる。特に広範な撮影範囲につき、撮影方向を順次変化させながら撮像する単位画像は、画素単位で位置ずれが生じる場合が多く、また撮像するカメラ部４の性能によりパンチルタ部３により制御される撮影方向に微妙にずれが生じる場合がある。かかる場合においても、各単位画像を最適な位置へ合わせ込むことにより、差異検出の精度をより向上させることが可能となる。
【００７１】
なお、上述した位置合わせでは、基準ブロック９１及び探索ブロック９３を各一ずつ設定する場合について説明をしたが、図９に示すようにそれぞれにつき複数設定してもよい。これにより、設定した基準ブロック９１の領域において、差異が発生する場合であっても他の基準ブロックにおいて、精確に位置合わせを行うことができる。
【００７２】
なお、この位置合わせにおいて、通常のブロックマッチング法に基づき、最も高い相似度を示す探索ブロック９３の位置を求めてもよいことは勿論である。
【００７３】
最後に、本発明を適用した監視システム１における動作手順の一例について説明をする。
【００７４】
図１２は、全体画像表示部７０において表示される単位画像につきユーザが各種設定をするためのフローチャートを示している。
【００７５】
先ずステップＳ１１において、基準ブロック９１の設定を行う。この基準ブロック９１の設定は、ユーザが所望の領域につきマウス６０等を用いて設定してもよいし、ＣＰＵ５６が、自らエッジ部分を優先的に抽出することにより設定してもよい。
【００７６】
次にステップＳ１２に移行し、基準ブロック９１を複数設ける場合には、ステップＳ１１と同様の処理を実行する。
【００７７】
次にステップＳ１３へ移行し、ユーザは、原色成分（Ｒ）につき、色レベルＬ２の設定を行い、さらに設定した色レベルＬ２に応じて差異検出レベルＬ１の設定を行う。このＬ１、Ｌ２の設定は、各単位画像毎に実行してもよいし、全体画像において一律に設定してもよい。
【００７８】
次にステップＳ１４へ移行し、ユーザは、原色成分（Ｇ）につき、色レベルＬ２の設定を行い、さらに設定した色レベルＬ２に応じて差異検出レベルＬ１の設定を行う。ステップＳ１５においても、原色成分（Ｂ）につき、同様にＬ１、Ｌ２の設定を行う。
【００７９】
次にステップＳ１５へ移行し、上述した参照画像領域の設定を各単位画像毎に実行する。このステップＳ１５までの設定処理を完了させることにより、全体画像を構成する各単位画像につき差異検出が可能となる。
【００８０】
図１３は、かかる各単位画像についての差異検出のフローチャートを示している。
【００８１】
撮像が実行されると、上述の如くサーバ５３には、撮像された画像信号に基づく単位画像が順次記録される。ＣＰＵ５６は、サーバ５３に新たに記録された比較全体画像を構成する後の単位画像につき、基本全体画像を構成する先の単位画像との間で位置合わせを実行する（ステップＳ２１）。
【００８２】
次にステップＳ２２へ移行し、原色成分（Ｒ）につき、各単位画像毎に輝度レベルの差分値を演算する。次にステップＳ２３へ移行し、かかる輝度レベルの差分値が差異検出レベルＬ１を超えているか否か判断する。
【００８３】
同様にステップＳ２４〜ステップＳ２５において、原色成分（Ｇ）につき、各単位画像毎に輝度レベルの差分値を演算し、また当該差分値が差異検出レベルＬ１を超えているか否か判断する。ステップＳ２６〜ステップＳ２７においても原色成分（Ｂ）につき同様に判断する。
【００８４】
次にステップＳ２８へ移行し、原色成分であるＲ，Ｇ，Ｂのうち少なくとも一色につき差異が検出されたか否か判断する。その結果、少なくとも一色につき差異が検出された場合には、ステップＳ２９へ移行する。一方、各原色成分において何らかの差異が検出されなかった場合には、ステップＳ３１へ移行し、比較の対象となる単位画像につき特にユーザに対して注意を喚起せずに、次の単位画像の差異検出へ移行する。
【００８５】
ステップＳ２９において、被検出領域と参照画像領域のサイズを比較する。その結果、上述の如く被検出領域の水平、垂直方向ともに参照画像領域のサイズを超える場合には、ステップＳ３０へ移行する。水平、垂直方向のうちいずれか一方のサイズが、参照画像領域のサイズを下回る場合には、ステップＳ３１へ移行する。ステップＳ３０では、比較の対象となる単位画像につき色付きの枠を表示することによりユーザに対して注意を促した後、ステップＳ３１へ移行する。
【００８６】
このステップＳ２１からステップ３１までの動作を全体画像を構成する全ての単位画像につき実行した後、次の撮像に入る。ちなみに、上述の処理における比較全体画像は、そのままサーバ５３へ記録され続け、次の撮像に基づく単位画像が新たにサーバに記録された場合には、基本単位画像として、差異検出時に参照されることになる。すなわち、この比較全体画像並びに基本全体画像は、新たな撮像が実行されることにより、順次更新されることになる。
【００８７】
なお、本発明を適用した監視システム１では、さらに図１４に示す手順により、端末装置９を操作するユーザに対しても検出した差異に関する情報を提供することができる。
【００８８】
先ずステップＳ４１において、端末装置９を操作する各ユーザは、ネットワーク８に接続されている監視装置５にアクセスする。
【００８９】
次にステップＳ４２に移行し、監視装置５は、自身のサーバ５３に記録されている全体画像のうち、ユーザに対して公開できるものについて、公開可能画像リストを作成し、これを端末装置９へ送信する。ちなみに、この公開可能画像リストには、各全体画像のファイル名やファイルサイズのみにならず、縮小された全体画像が貼り付けられる場合もある。この公開可能画像リストは、ネットワーク８、端末装置９を介して、端末ディスプレイ１０上に表示される。
【００９０】
次にステップＳ４３へ移行し、ユーザは、公開可能画像リストから所望の全体画像を選択する。端末装置９は、ユーザによる選択操作に応じて、全体画像送信要求Ｃ１を監視装置５へ送信する。
【００９１】
ステップＳ４４において、監視装置５は、かかる全体画像送信要求Ｃ１を受けて、ユーザにより選択された全体画像をサーバから読み出し、これを端末装置９へ送信する。送信された全体画像は、ネットワーク８、端末装置９を介して、端末ディスプレイ１０に表示される。
【００９２】
次にステップＳ４５へ移行し、ユーザは、端末ディスプレイ１０に表示される全体画像につき、各単位画像或いは所望の単位画像につき、マウス６０等を用いてポイント指定し、ステップＳ１１〜Ｓ１６に示す各種設定を行う。端末装置９は、かかるユーザの指定操作に応じて、所定の要求信号Ｃ２を送信する。
【００９３】
次にステップＳ４６へ移行し、監視装置５は、かかる要求信号Ｃ２を受けて、ステップＳ２１〜Ｓ３１に示す動作を実行する。そして監視装置５は、ステップＳ３０において、ユーザに対して注意を促すことが必要となる単位画像の座標を端末装置９へ通知する。その結果、ステップＳ４７において、端末装置９に接続される端末ディスプレイ１０上において、かかる差異が検出された単位画像につき色付きの枠が表示されることになる。
【００９４】
以上説明した手順を実行することにより、本発明を適用した監視システム１では、監視装置５を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な検出情報を提供することができる。
【００９５】
ちなみに、この図１４の例では、ステップＳ４６に示す動作をあくまで監視装置５が実行する場合につき説明をしたが、かかる場合に限定されるものではない。例えば、撮像した単位画像をネットワーク８に接続されているネットワークサーバ１１へ順次記録しておくことにより、端末装置５自身がかかるネットワークサーバ１１へアクセスして、単位画像を読み出し、ステップＳ４６に相当する動作を実行してもよい。これにより、複数の端末装置９からアクセスを受けた監視装置５につき負担を軽減させることができる。
【００９６】
また、この監視システム１では、過去に撮像した画像信号に基づく全体画像をサーバ５３に蓄積することにより、過去に生じた差異につき、事後的に分析することができる。かかる場合において、詳細な状況や原因を解析する際に、ＣＰＵ５６が単位画像間の輝度レベルを比較し、何らかの差異が発生した単位画像につき注意を促すことができるため、ユーザの労力の負担を解消することができる。
【００９７】
【発明の効果】
以上詳細に説明したように、本発明では、撮影方向を順次変化させて撮影範囲を撮像することにより得られたパノラマ画像につき、各単位画像毎に記録媒体へ順次記録しておき、記録媒体から選択した一の単位画像と、当該単位画像よりも先に記録されている同一撮影方向上の単位画像との間で原色成分毎に輝度レベルを比較し、その比較結果に基づき、パノラマ画像を構成する単位画像毎に所定の情報を表示する。
【００９８】
これにより、ユーザは、細かい画像の変化や、微小な対象物の出現等につき、常に注意を払う必要がなくなり、労力の負担を軽減させることができる。また、かかる差異の検出に要する時間を短縮化させることができる。さらに、ユーザの眼に依存する必要はなくなり、差異検出の精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明を適用した監視システムの構成を示す図である。
【図２】カメラユニット，監視装置のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】撮像した画像上に生じた差異を検出する方法について説明をするための図である。
【図６】原色成分毎に色レベル、差異検出レベルを設定する方法について説明するための図である。
【図７】差異を検出することができる対象物の大きさを選択する場合につき説明するための図である。
【図８】被検出領域と参照画像領域とのサイズ比較の一例を示す図である。
【図９】基準ブロック、探索ブロックの設定について説明するための図である。
【図１０】相似度を求める方法について説明するための図である。
【図１１】分散積分値の算出方法について説明するための図である。
【図１２】全体画像表示部において表示される単位画像につきユーザによる各種設定手順を示すフローチャートである。
【図１３】各単位画像についての差異検出の手順を示すフローチャートである。
【図１４】検出した差異に関する情報を端末装置を操作するユーザに対して提供する手順を示すフローチャートである。
【符号の説明】
１  画像情報提供システム、２  カメラユニット、３  パンチルタ部、４  カメラ部、５  画像信号処理装置、６  ディスプレイ、８  ネットワーク、９  ユーザ端末、１０  端末ディスプレイ、１１  ネットワークサーバ、２１  コントローラバス、２２  レンズ部、２３  レンズ制御部、２４  撮像部、２５  ＩＥＥＥ１３９４インターフェース、２８  ＧＰＳ受信部、２９  メタデータ生成部、５１  バッファメモリ、５２  エンコーダ、５３  サーバ、５４  画像圧縮部、５５    グラフィックコントローラ、５６  ＣＰＵ、５８  Ｉ／Ｏポート、５９  キーボード、６０  マウス、６１  メモリカード、６２  時計
【図１】
2004266317.tif 000003
【図２】
2004266317.tif 000004
【図３】
2004266317.tif 000005
【図４】
2004266317.tif 000006
【図５】
2004266317.tif 000007
【図６】
2004266317.tif 000008
【図７】
2004266317.tif 000009
【図８】
2004266317.tif 000010
【図９】
2004266317.tif 000011
【図１０】
2004266317.tif 000012
【図１１】
2004266317.tif 000013
【図１２】
2004266317.tif 000014
【図１３】
2004266317.tif 000015
【図１４】
2004266317.tif 000016