(57)【要約】【課題】オブジェクトの状態を低消費電力で検出する。【解決手段】  変化検知部１９が監視空間の状態の変化を検知した場合、マップマッチング部２０は、画像上のオブジェクトの状態とその状態のオブジェクトが存在する空間の明るさ信号との関係を表すマップを、マップ保持部１７から読み出し、そのマップと、フォトセンサ４が出力する監視空間内の明るさを表す信号に基づいて、画像上のオブジェクトの状態を検出する。本発明は、例えば、部屋を監視する監視システムに適用できる。【選択図】図２
2005051511.tif 000002
【特許請求の範囲】
【請求項１】
空間内のオブジェクトを撮像して得られる画像上の前記オブジェクトの状態を検出する状態検出装置であって、
前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得手段と、
前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出手段と
を備えることを特徴とする状態検出装置。
【請求項２】
前記状態検出装置は、１つ以上の明るさ検知手段を備える
ことを特徴とする請求項１に記載の状態検出装置。
【請求項３】
前記空間の状態の変化を検知する変化検知手段をさらに備え、
前記状態検出手段は、前記空間の状態の変化が検知されたとき、前記オブジェクトの状態を検出する
ことを特徴とする請求項１に記載の状態検出装置。
【請求項４】
前記変化検知手段は、前記明るさ検知手段が出力する明るさ信号に基づいて、前記空間の状態の変化を検知する
ことを特徴とする請求項３に記載の状態検出装置。
【請求項５】
前記関係情報を作成する作成手段をさらに備える
ことを特徴とする請求項１に記載の状態検出装置。
【請求項６】
前記作成手段は、前記空間内を撮像する撮像手段が出力する撮像画像を用いて、前記関係情報を作成する
ことを特徴とする請求項５に記載の状態検出装置。
【請求項７】
前記作成手段は、
前記撮像画像から背景画像を作成する背景画像作成手段と、
前記撮像画像と前記背景画像を用いて、前記オブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出手段と、
前記オブジェクト画像に基づき、前記関係情報を作成する関係情報作成手段と
を有する
ことを特徴とする請求項６に記載の状態検出装置。
【請求項８】
前記関係情報作成手段は、前記背景画像と前記オブジェクト画像に基づき、前記オブジェクトが前記空間に存在するときの前記空間の明るさの平均値を表す明るさ信号を求め、その明るさ信号に基づき、前記関係情報を作成する
ことを特徴とする請求項７に記載の状態検出装置。
【請求項９】
前記関係情報作成手段は、前記オブジェクト画像と、前記明るさ検知手段が出力する明るさ信号とに基づき、前記関係情報を作成する
ことを特徴とする請求項７に記載の状態検出装置。
【請求項１０】
前記関係情報作成手段は、さらに、作成した前記関係情報を更新する
ことを特徴とする請求項７に記載の状態検出装置。
【請求項１１】
前記空間の状態の変化を検知する変化検知手段をさらに備え、
前記空間の状態の変化が検知されたとき、
前記撮像手段は、前記空間内の撮像を開始し、
前記作成手段は、前記撮像画像を用いて、前記関係情報を作成する
ことを特徴とする請求項６に記載の状態検出装置。
【請求項１２】
空間内のオブジェクトを撮像して得られる画像上の前記オブジェクトの状態を検出する状態検出方法であって、
前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得ステップと、
前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出ステップと
を備えることを特徴とする状態検出方法。
【請求項１３】
空間内のオブジェクトを撮像して得られる画像上の前記オブジェクトの状態を検出する状態検出処理をコンピュータに行なわせるプログラムであって、
前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得ステップと、
前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出ステップと
を含むことを特徴とするプログラム。
【請求項１４】
空間内のオブジェクトを撮像して得られる画像上の前記オブジェクトの状態を検出する状態検出処理をコンピュータに行なわせるプログラムが記録されているプログラム記録媒体であって、
前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得ステップと、
前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出ステップと
を含むことを特徴とするプログラムが記録されているプログラム記録媒体。
【請求項１５】
空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成手段と、
前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出手段と、
前記オブジェクト画像に基づき、前記撮像画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成手段と
を備えることを特徴とする画像処理装置。
【請求項１６】
前記関係情報作成手段は、前記背景画像と前記オブジェクト画像に基づき、前記オブジェクトが前記空間に存在するときの前記空間の明るさの平均値を表す明るさ信号を求め、その明るさ信号を用いて、前記関係情報を作成する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記空間内の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得手段をさらに備え、
前記関係情報作成手段は、前記オブジェクト画像と、前記明るさ検知手段が出力する明るさ信号とに基づき、前記関係情報を作成する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１８】
前記空間の状態の変化を検知する変化検知手段をさらに備え、
前記空間の状態の変化が検知されたとき、
前記撮像手段は、前記空間内の撮像を開始し、
前記作成手段は、前記撮像画像を用いて、前記関係情報を作成する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１９】
空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成ステップと、
前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出ステップと、
前記オブジェクト画像に基づき、前記撮像画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成ステップと
を備えることを特徴とする画像処理方法。
【請求項２０】
空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成ステップと、
前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出ステップと、
前記オブジェクト画像に基づき、前記撮像画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラム。
【請求項２１】
空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成ステップと、
前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出ステップと、
前記オブジェクト画像に基づき、前記撮像画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されているプログラム記録媒体。
【請求項２２】
空間内のオブジェクトを撮像して得られる画像上の前記オブジェクトの状態と、前記オブジェクトが存在する空間の明るさの平均値を表す明るさ信号と
が対応付けられている
ことを特徴とするデータ構造。
【請求項２３】
空間内のオブジェクトを撮像して得られる画像上の前記オブジェクトの状態と、前記オブジェクトが存在する空間の明るさの平均値を表す明るさ信号と
が対応付けられている
ことを特徴とするデータ構造のデータが記録されているデータ記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、状態検出装置および方法、画像処理装置および方法、プログラム、プログラム記録媒体、データ構造、並びにデータ記録媒体に関し、特に、低消費電力でオブジェクトの状態を検出することができる状態検出装置および方法、画像処理装置および方法、プログラム、プログラム記録媒体、データ構造、並びにデータ記録媒体に関する。
【背景技術】
【０００２】
空間または室内の空間を監視する監視システムとしては、例えば、複数のカメラそれぞれに異常検知手段を設け、異常検知手段で異常が検知されたカメラの信号のみを表示することで、監視作業の効率化を図るものがある（例えば、特許文献１参照）。
【０００３】
また、監視システムとしては、撮像装置で撮像されたエリア中に設置されたセンサから送られてくるセンサ情報を、撮像装置で撮像された画像に重畳して表示することにより、多数のエリアから異常のあったエリアを即座に分かるようにしたものもある（例えば、特許文献２参照）。
【０００４】
さらに、監視システムの信頼性を高めるため、撮像センサからの画像情報を利用して、赤外線センサの感度やその出力の処理条件を補正する技術が提案されている（例えば、特許文献３参照）。
【特許文献１】特開平７−２１２７４８号公報
【特許文献２】特開平８−１２４０７８号公報
【特許文献３】特開２０００−３３９５５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視システムでは、監視している空間の異常（変化）を検知するセンサと、その空間を撮像するカメラとのいずれもが、常時動作状態になければならず、特に、カメラにおいて多くの電力が消費されていた。このため、監視システム全体としての電力消費も大であった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、オブジェクトの状態を低消費電力で監視することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の状態検出装置は、前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得手段と、前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出手段とを備えることを特徴とする。
【０００８】
本発明の状態検出方法は、前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得ステップと、前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出ステップとを備えることを特徴とする。
【０００９】
本発明の第１のプログラムは、前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得ステップと、前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出ステップとを含むことを特徴とする。
【００１０】
本発明の第１のプログラム記録媒体に記録されている第１のプログラムは、前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得ステップと、前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出ステップとを含むことを特徴とする。
【００１１】
本発明の画像処置装置は、空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成手段と、前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出手段と、前記オブジェクト画像に基づき、前記撮像画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成手段とを備えることを特徴とする。
【００１２】
本発明の画像処理方法は、空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成ステップと、前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出ステップと、前記オブジェクト画像に基づき、前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成ステップとを備えることを特徴とする。
【００１３】
本発明の第２のプログラムは、空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成ステップと、前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出ステップと、前記オブジェクト画像に基づき、前記撮像画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成ステップとを含むことを特徴とする。
【００１４】
本発明の第２のプログラム記録媒体に記録されているプログラムは、空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成ステップと、前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出ステップと、前記オブジェクト画像に基づき、前記撮像画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成ステップとを含むことを特徴とする。
【００１５】
本発明のデータ構造は、空間内のオブジェクトを撮像して得られる画像上の前記オブジェクトの状態と、前記オブジェクトが存在する空間の明るさの平均値を表す明るさ信号とが対応付けられていることを特徴とする。
【００１６】
本発明のデータ構造のデータが記録されているデータ記録媒体は、空間内のオブジェクトを撮像して得られる画像上の前記オブジェクトの状態と、前記オブジェクトが存在する空間の明るさの平均値を表す明るさ信号とが対応付けられていることを特徴とする。
【００１７】
本発明の状態検出装置、状態検出方法、第１のプログラムおよび第１のプログラム記録媒体に記録されているプログラムにおいては、空間の明るさの平均値を表す明るさ信号が取得され、その明るさ信号を用い、オブジェクトの状態とオブジェクトが存在する空間についての明るさ信号との関係情報に基づいてオブジェクトの状態が検出される。
【００１８】
本発明の画像処理装置、画像処理方法、第２のプログラムおよび第２のプログラム記録媒体に記録されているプログラムにおいては、撮像画像から背景画像が作成され、撮像画像と背景画像を用いてオブジェクト画像が抽出される。そしてオブジェクト画像に基づき、撮像画像上のオブジェクトの状態が求められ、オブジェクトの状態とオブジェクトが存在する空間の明るさ信号との関係を表す関係情報が作成される。
【００１９】
本発明のデータ構造、データ記録媒体に記録されているデータのデータ構造においては、撮像して得られた画像上のオブジェクトの状態と、オブジェクトが存在する空間の明るさ信号とが対応付けられている。
【発明の効果】
【００２０】
本発明によれば、低消費電力化を図ることができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、本発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項にすべて記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、即ち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２３】
請求項１に記載の状態検出装置は、空間内のオブジェクトを撮像して得られる画像上の前記オブジェクトの状態を検出する状態検出装置であって、
前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得手段（例えば、図９のステップ３２の処理）と、
前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出手段（例えば、図２のマップマッチング部２０）と
を備えることを特徴とする。
【００２４】
請求項３に記載の状態検出装置は、
前記空間の状態の変化を検知する変化検知手段（例えば、図９のステップＳ３１の処理）をさらに備え、
前記状態検出手段は、前記空間の状態の変化が検知されたとき、前記オブジェクトの状態を検出する
ことを特徴とする。
【００２５】
請求項５に記載の状態検出装置は、
前記関係情報を作成する作成手段（例えば、図２のマップ作成部１６）をさらに備える
ことを特徴とする。
【００２６】
請求項７に記載の状態検出装置は、
前記作成手段は、
前記撮像画像から背景画像を作成する背景画像作成手段（例えば、図１２のステップＳ４２の処理）と、
前記撮像画像と前記背景画像を用いて、前記オブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出手段（例えば、図１２のステップＳ４５の処理）と、
前記オブジェクト画像に基づき、前記関係情報を作成する関係情報作成手段（例えば、図１２のステップＳ５２の処理）と
を有する
ことを特徴とする。
【００２７】
請求項１１に記載の状態検出装置は、
前記空間の状態の変化を検知する変化検知手段（例えば、図７のステップＳ３の処理）をさらに備え、
前記空間の状態の変化が検知されたとき、
前記撮像手段は、前記空間内の撮像を開始し、
前記作成手段は、前記撮像画像を用いて、前記関係情報を作成する
ことを特徴とする。
【００２８】
請求項１２に記載の状態検出方法は、空間内のオブジェクトを撮像して得られる画像上のオブジェクトの状態を検出する状態検出方法であって、
前記空間の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得ステップ（例えば、図９のステップＳ３２の処理）と、
前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間についての前記明るさ信号との関係を表す関係情報に基づき、前記明るさ検知手段から得られた明るさ信号を用いて、前記オブジェクトの状態を検出する状態検出ステップ（例えば、図９のステップＳ３４の処理）と
を備えることを特徴とする。
【００２９】
請求項１３に記載のプログラムの各ステップおよび請求項１４に記載のプログラム記録媒体に記録されているプログラムの各ステップと、発明の実施の形態との対応関係は、請求項１２に記載の状態検出方法と同様である。
【００３０】
請求項１５に記載の画像処理装置は、
空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成手段（例えば、図１２のステップＳ４２の処理）と、
前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出手段（例えば、図１２のステップＳ４５の処理）と、
前記オブジェクト画像に基づき、前記撮像画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成手段（例えば、図１２のステップＳ５２の処理）と
を備えることを特徴とする。
【００３１】
請求項１７に記載の画像処理装置は、
前記空間内の明るさを検知し、その明るさの平均値を表す明るさ信号を出力する明るさ検知手段から前記明るさ信号を取得する取得手段（例えば、図９のステップＳ３２の処理）をさらに備え、
前記関係情報作成手段は、前記オブジェクト画像と、前記明るさ検知手段が出力する明るさ信号とに基づき、前記関係情報を作成する
ことを特徴とする。
【００３２】
請求項１８に記載の画像処理装置は、
前記空間の状態の変化を検知する変化検知手段（例えば、図９のステップＳ３１の処理）をさらに備え、
前記空間の状態の変化が検知されたとき、
前記撮像手段は、前記空間内の撮像を開始し、
前記作成手段は、前記撮像画像を用いて、前記関係情報を作成する
ことを特徴とする。
【００３３】
請求項１９に記載の画像処理方法は、
空間内を撮像する撮像手段が出力する撮像画像から背景画像を作成する背景画像作成ステップ（例えば、図１２のステップＳ４２の処理）と、
前記撮像画像と前記背景画像を用いて、前記空間に存在するオブジェクトの画像であるオブジェクト画像を抽出するオブジェクト画像抽出ステップ（例えば、図１２のステップＳ４５の処理）と、
前記オブジェクト画像に基づき、前記画像上のオブジェクトの状態と、その状態のオブジェクトが存在する前記空間の明るさの平均値を表す明るさ信号との関係を表す関係情報を作成する関係情報作成ステップ（例えば、図１２のステップＳ５２の処理）と
を備えることを特徴とする。
【００３４】
請求項２０に記載のプログラムの各ステップおよび請求項２１に記載のプログラム記録媒体に記録されているプログラムの各ステップと、発明の実施の形態との対応関係は、請求項１９に記載の画像処理方法と同様である。
【００３５】
以下、図を参照して、本発明の実施の形態について説明する。
【００３６】
図１は、本発明を適用した監視システムの一実施の形態の構成例を示している。
【００３７】
画像取り込み装置１Ａは、監視する空間（以下、適宜、監視空間という）の画像を取得する装置であって、取り込んだ画像データを情報処理装置２に供給する。また画像取り込み装置１Ａは、情報処理装置２からの信号を受けて電源をオンおよびオフするなど、電源の状態を変更することができる。
【００３８】
情報処理装置２には、画像取り込み装置１Ａから画像データが供給されるとともに、監視空間に設置されたセンサ４Ａの出力が供給される。情報処理装置２は、画像取り込み装置１Ａからの画像データや、センサ４Ａの出力、記録媒体に記憶された情報を適宜用いて、監視空間を監視する各種の処理を行なう。さらに、情報処理装置２は、ネットワーク５を介して情報端末装置６と通信可能になっており、監視空間の監視結果等を、必要に応じて遠隔の情報端末装置６に送信する。
【００３９】
記録媒体３は、例えば、磁気ディスクや、光ディスク、半導体メモリなどで構成され、情報処理装置２が処理を行うのに必要なデータ等を記憶する。
【００４０】
センサ４Ａは、画像取り込み装置１Ａが設置された空間と同一の空間、即ち、監視空間に設置されている。センサ４Ａは、監視空間内の明るさを検知し、その明るさの平均の輝度値である平均輝度値を出力する。センサ４Ａが出力する平均輝度値は、情報処理装置２に供給される。なお、センサ４Ａは、例えば、フォトセンサなどの、ある空間（領域）の明るさを検知し、その明るさの平均値を表す明るさ信号を出力することができるセンサであればよい。また、センサ４Ａでは、フォトセンサに色フィルタを用いることにより、色の明るさ、即ち、明度を検知するようにすることも可能である。空間内の明るさの検知を複数の色別で同時に行い、その複数の色の明るさを記述した後述するマップを作成することにより、後述するオブジェクトの状態検出精度を向上させることができる。
【００４１】
情報端末装置６は、例えば、インターネットや、無線または有線ＬＡＮ（Local Area Network）、電話回線等のネットワーク５を介して、遠隔地にある情報処理装置２に接続されている。情報端末装置６は、図１の監視システムのオペレータ等によって操作され、その操作に対応して、情報処理装置２を制御する信号を、ネットワーク５を介して情報処理装置２に送信する。また、情報端末装置６は、ネットワーク５を介して、情報処理装置２から送信されている、監視空間の監視結果のデータ等を受信して、図示せぬモニタに表示する等により、オペレータに提示する。
【００４２】
図２は、図１の画像取り込み装置１Ａ、情報処理装置２、記録媒体３、センサ４Ａの詳細な構成例を示している。
【００４３】
図２において、情報処理装置２は、背景画像作成部１１、オブジェクト抽出部１３、輝度平均処理部１５、マップ作成部１６、ＡＤ変換部１８、変化検知部１９、マップマッチング部２０、位置出力部２２、および制御部２３で構成されている。また、記録媒体３は、背景保持部１２、オブジェクト保持部１４、マップ保持部１７、および位置データ保持部２１で構成されている（となる記録領域に分けて構成されている）。
【００４４】
画像取り込み装置１Ａの一例であるカメラ（ビデオカメラ）１は、監視空間内を撮像し、その撮像によって得られる画像データを、背景画像作成部１１、オブジェクト抽出部１３、輝度平均処理部１５に供給する。なお、画像取り込み装置１Ａは、１台のカメラ１ではなく、複数台のカメラで構成することが可能である。また、画像取り込み装置１Ａには、カメラ１を回転等させることにより撮像方向を変化させるための駆動機構を備えることができる。
【００４５】
ここで、カメラ１は、制御部２３からの制御に従い、その電源をオンオフ（スタンバイ状態を含む）することができるようになっている。
【００４６】
背景画像作成部１１は、カメラ１から供給された、監視空間の撮像画像の画像データから背景画像データを作成する。背景画像作成部１１に供給された撮像画像は、動作するオブジェクト（例えば、監視空間を通り過ぎる通行人）などの背景以外のものを含んでいる可能性がある。そこで、背景画像作成部１１は、例えば、カメラ１から供給される長時間の画像データを時間平均処理することにより、即ち、連続する多数のフレームの画像データの平均値を求めることにより、背景画像データを作成する。背景画像作成部１１で作成された背景画像データは、背景画像作成部１１から背景保持部１２に出力されて記憶される。
【００４７】
なお、カメラ１において背景画像を撮像することができる場合は、背景画像作成部１１は、カメラ１から供給される、あるフレームの画像データを、そのまま背景画像データとして、背景画像保持部１２に供給する。
【００４８】
背景保持部１２は、背景画像作成部１１などで作成された背景画像データを記憶する。また、背景保持部１２は、記憶している背景画像データをマップ作成部１６に出力する。
【００４９】
オブジェクト抽出部１３は、カメラ１から供給された撮像画像と背景画像とを画像処理することによりオブジェクトを抽出する。即ち、オブジェクト抽出部１３は、例えば、カメラ１で取得した撮像画像データと背景保持部１２に記憶された背景画像データとの差を求め、その画像データ間の差が大きい範囲の画像を、撮像画像データからオブジェクト画像として抽出する処理を行う。なお、オブジェクト抽出部１３は、カメラ１からの画像データからオブジェクト画像を抽出する際、その画像データのフレーム上におけるオブジェクト（画像）の位置と面積を求める。ここで、オブジェクトの位置としては、オブジェクト画像が占める領域の重心位置などを採用することができる。また、オブジェクトの面積としては、オブジェクト画像が占める領域の画素数に対応する値などを採用することができる。オブジェクト抽出部１３で抽出されたオブジェクト画像は、その位置と面積と対応付けられ、オブジェクト保持部１４に出力されて記憶される。
【００５０】
オブジェクト保持部１４は、オブジェクト抽出部１３で抽出されたオブジェクト画像データと、そのオブジェクトの画像上の位置および面積とを記憶する。また、オブジェクト保持部１４は、記憶しているオブジェクト画像と、そのオブジェクトの位置と面積をマップ作成部１６に出力する。
【００５１】
輝度平均処理部１５は、背景画像保持部１２に記憶された背景画像やオブジェクト保持部１４に記憶されたオブジェクト画像の輝度値の平均値を算出する処理を行なう。即ち、輝度平均処理部１５は、背景画像を水平方向もしくは垂直方向に短冊状に区切り、短冊毎に輝度値の平均値を算出する処理を行なう。また、輝度平均処理部１５は、オブジェクト画像データの輝度値の平均値を求める。輝度平均処理部１５で算出された背景画像についての短冊毎の輝度値の平均値とオブジェクト画像の輝度値の平均値は、マップ作成部１６に出力される。
【００５２】
マップ作成部１６は、背景保持部１２に記憶された背景画像データ、オブジェクト保持部１４に記憶されたオブジェクト画像データ、輝度平均処理部１５で計算された各種画像の輝度値の平均値などからマップを作成する。マップ作成部１６で作成されたマップは、マップ保持部１７に出力される。なお、マップとは、オブジェクトの状態、即ち、ここでは、例えば、オブジェクトの画像上の位置と面積を軸にとり、その位置と面積とで特定される点に画像の輝度値の平均値を記述したものである。マップについては、本発明の原理とともに後述する。
【００５３】
センサ４Ａの一例であるフォトセンサ４は、カメラ１が撮像するのと同一の監視空間内の明るさを検知し、その明るさの平均値を表す明るさ信号としての、例えば、輝度値を出力する。ここで、フォトセンサ４では、輝度値ではなく、監視空間内のＲ、Ｇ、またはＢの光の明るさの平均に対応する明るさ信号を出力するようにしてもよい。フォトセンサ４に色フィルタを用いれば、その色に対応する色の明るさを検知することができる。また、監視空間内の明るさは、複数のフォトセンサで分割して検知してもよいし、重複して検知してもよい。なお、断りのない限り、ここでは最小単位である１つのフォトセンサの例について述べる。フォトセンサ４が検出する監視空間内の明るさの平均を表すフォトセンサ検出輝度値は、ＡＤ（Analog Digital）変換部１８に出力される。
【００５４】
ＡＤ変換部１８は、フォトセンサ４のフォトセンサ検出輝度値をアナログ信号からデジタル信号に変換し、変化検知部１９に出力する。
【００５５】
変化検知部１９は、ＡＤ変換部１８から供給されたフォトセンサ検出輝度値に基づいて、監視空間内の状態が変化したか否か、即ち、監視空間内に、人が侵入したり、その侵入した人が移動することなどによって、監視空間の状態に変化が生じたか否かを検知する。変化検知部１９は、監視空間内の状態の変化を検知した場合は、その旨を表す変化検知信号を制御部２３に出力するとともに、フォトセンサ検出輝度値をマップマッチング部２０に供給する。
【００５６】
マップマッチング部２０は、変化検知部１９から供給されたフォトセンサ検出輝度値と、マップ保持部１７に記憶されているマップとを比較し、フォトセンサ検出輝度値に近いマップ上の輝度値に対応する点によって特定されるオブジェクトの状態、即ち、カメラ１で監視空間内を撮像したときに得られる画像上のオブジェクトの位置と面積を、位置データ保持部２１に供給する。なお、フォトセンサ検出輝度値と、そのフォトセンサ検出輝度値に近いマップ上の輝度値とが所定の閾値より大の場合は、マップマッチング部２０は、制御部２３へエラー信号などを出力する。
【００５７】
位置データ保持部２１は、マップマッチング部２０から供給されたオブジェクトの状態（の情報）を記憶する。なお、位置データ保持部２１は、マップマッチング部２０から供給されるオブジェクトの状態を、現在時刻とともに記憶することができる。この場合、監視空間内のオブジェクトの状態を時系列で認識することが可能となる。
【００５８】
位置出力部２２は、位置データ保持部２１に記憶されたオブジェクトの状態（の情報）を読み出して出力する。即ち、位置出力部２２は、例えばオブジェクトの状態を、ネットワーク５を介して、情報端末装置６に送信し、あるいは、図示せぬディスプレイに表示させる。
【００５９】
制御部２３は、マップマッチング部２０から供給されるエラー信号や、変化検知部１９から供給される変化検知信号、図示せぬモジュールからの信号などに対応して、カメラ１の電源のオンオフ制御や、図示せぬモジュールの制御などを行なう。
【００６０】
ここで、図示せぬモジュールとしては、例えば、情報端末装置６から送信されてくる信号を受信して、制御部２３に供給するモジュールや、制御部２３の制御にしたがって、監視空間内の異常を知らせる情報などを、情報端末装置６に送信するモジュールなどがある。
【００６１】
次に、図３乃至図５を参照して、本発明の原理について説明する。
【００６２】
図３は、オブジェクトが存在しない状態の監視空間をカメラ１で撮像して得られる画像データ（撮像画像）を示している。なお、カメラ１とフォトセンサ４が同一の監視空間をモニタした場合には、カメラ１が出力する画像の輝度平均値（輝度値の平均値）とフォトセンサが出力するフォトセンサ検出輝度値とが、同一の値となるように、カメラ１またはフォトセンサ４が調整されているものとする。
【００６３】
いま、図３の背景画像を、例えば矢印の先のように、水平方向（Ｘ方向）に短冊Ａ乃至Ｈの８つに等分割した場合の、短冊Ａ乃至Ｈの輝度値の平均値が、それぞれ１０、２０、３０、４０、５０、６０、７０、８０であったとする。図３の背景画像の輝度値の平均値は、短冊Ａ乃至Ｈそれぞれの輝度値の平均値の平均値に等しいので、（１０＋２０＋３０＋４０＋５０＋６０＋７０＋８０）／８で計算することができ、図３の場合、４５となる。このときのフォトセンサ検出輝度値は、背景画像の輝度値の平均値４５と一致した値となる。
【００６４】
次に、監視空間内にオブジェクトが侵入した場合のフォトセンサ検出輝度値の変化について説明する。なお、ここでは、説明を簡単にするため、オブジェクトは、画像上において短冊の整数倍の大きさを有するものとする。
【００６５】
図４上側は、２つの短冊分の大きさのオブジェクトが、短冊Ｂと短冊Ｃの位置に存在している状態を示している。オブジェクトが短冊ＢとＣの位置に存在することにより、短冊Ｂと短冊Ｃの輝度値の平均値は、オブジェクトの輝度値の平均値となる。オブジェクトの輝度値の平均値を、例えば１００とすると、図４上側における場合の短冊Ａ乃至Ｈの輝度値の平均値は、それぞれ１０、１００、１００、４０、５０、６０、７０，８０となる。従って、オブジェクトが短冊Ｂと短冊Ｃの位置にいるときの画像の輝度値の平均値、即ち、フォトセンサ検出輝度値は６４となる。
【００６６】
ここで、短冊における輝度値の平均値を、以下、適宜、短冊輝度平均値という。
【００６７】
図４下側は、図４上側で説明した２つの短冊分のオブジェクトが、水平方向（Ｘ方向）に移動して、短冊Ｆと短冊Ｇの位置に存在している状態を示している。オブジェクトが移動したことにより、短冊Ｂと短冊Ｃの短冊輝度平均値は、１００と１００から、もとの背景画像における場合の２０と３０に、それぞれ戻り、短冊Ｆと短冊Ｇの短冊輝度平均値は、オブジェクトの輝度値の平均値となる。オブジェクトの輝度値の平均値が１００のまま変わらないとすると、図４下側における場合の短冊Ａ乃至Ｈの短冊輝度平均値は、それぞれ１０、２０、３０、４０、５０、１００、１００、８０となる。従って、オブジェクトが短冊Ｆと短冊Ｇの位置にいるときの画像の輝度値の平均値、即ち、フォトセンサ検出輝度値は５４となる。
【００６８】
以上のように、オブジェクトが存在する水平方向の位置によって、フォトセンサ検出輝度値が変化する。従って、フォトセンサ４が出力するフォトセンサ検出輝度値によって、オブジェクトの水平方向の位置を検出することができる。なお、垂直方向に並ぶ短冊を考えることにより、上述した場合と同様の原理で、フォトセンサ検出輝度値から、オブジェクトの垂直方向（Ｙ方向）を検出することができる。
【００６９】
次に、図５を参照して、オブジェクトの奥行き方向（Ｚ方向）の位置の検出方法について説明する。
【００７０】
図５上側は、図４上側と同一の図であり、２つの短冊分の大きさのオブジェクトが、短冊Ｂと短冊Ｃの位置に存在している状態を示している。この場合、図４上側で説明したように、短冊Ａ乃至Ｈの短冊輝度平均値は、それぞれ１０、１００、１００、４０、５０、６０、７０，８０となり、画像全体の輝度値の平均値、即ち、フォトセンサ検出輝度値は６４となる。
【００７１】
図５下側は、図５上側において２つの短冊分の大きさのオブジェクトがカメラ１（フォトセンサ４）の方向（Ｚ方向）に移動した状態を示している。図５下側では、オブジェクトがＺ方向に移動することにより、画像上でのオブジェクトの大きさが４つの短冊分になっている。そして、図５下側では、４つの短冊分の大きさのオブジェクトが短冊Ｂ乃至短冊Ｅの位置に存在している。いま、オブジェクトの輝度値の平均値を１００とすると、図５下側において、短冊Ａ乃至Ｈの短冊輝度平均値は、それぞれ１０、１００、１００、１００、１００、６０、７０、８０となる。オブジェクトが短冊Ｂ乃至短冊Ｅの位置にいるときの画像の輝度値の平均値、即ち、フォトセンサ検出輝度値は７８となる。
【００７２】
以上のように、オブジェクトが存在する奥行き方向（Ｚ方向）の位置によっても、フォトセンサ検出輝度値が変化する。従って、フォトセンサ４が出力するフォトセンサ検出輝度値によって、オブジェクトの奥行き方向の位置を検出することができる。
【００７３】
即ち、いま、説明を簡単にするために、Ｘ方向（水平方向）とＹ方向(垂直方向)のうちの、例えば、Ｘ方向だけを考えることとすると、オブジェクトのＸ方向の位置によって、そのオブジェクトのオブジェクト画像によって短冊輝度平均値が差し替わる短冊が変化し、これにより、フォトセンサ検出輝度値も変化する。
【００７４】
また、オブジェクトのＺ方向（奥行き方向）の位置によって、そのオブジェクトのオブジェクト画像の面積（大きさ）が変わり、そのオブジェクト画像によって短冊輝度平均値が変わる短冊の数が変化する。そして、この場合も、フォトセンサ検出輝度値が変化する。
【００７５】
従って、オブジェクトの状態、即ち、オブジェクト画像のＸ方向の位置、および面積は、フォトセンサ検出輝度値と対応付けることができ、図２のマップ作成部１６は、オブジェクト画像のＸ方向の位置および面積と、そのオブジェクト画像が得られるときのフォトセンサ検出輝度値とを対応付けたマップを作成する。
【００７６】
図６は、マップ作成部２０が作成したマップを模式的に示している。マップは、オブジェクト（画像）のＸ方向の位置と面積を軸として、各位置と面積で特定される欄（点）に、対応するフォトセンサ検出輝度値が記述される。このマップを用いることにより、監視空間内のオブジェクトの状態を、フォトセンサ４が出力するフォトセンサ検出輝度値から検出することができる。
【００７７】
即ち、例えば、フォトセンサ４がフォトセンサ検出輝度値としてＶ１を出力したとすると、図６のマップによれば、オブジェクトが左方向に、小さい面積で（遠い位置に）、画像上に存在している状態であることを検出することができる。また、例えば、フォトセンサ検出輝度値がＶ２のときは、図６のマップによれば、オブジェクトが、右方向に、小さい面積で（遠い位置に）、画像上に存在している状態であることを検出することができる。さらに、例えば、フォトセンサ検出輝度値がＶ３のときは、図６のマップによれば、オブジェクトが、中央に、大きい面積で（近い位置）に存在している状態であることを検出することができる。
【００７８】
マップは、背景保持部１２に記憶されている背景画像データと、オブジェクト保持部１４に記憶されているオブジェクト画像データに基づいて、マップ作成部１６で作成され、マップ保持部１７に供給されて記憶される。背景保持部１２とオブジェクト保持部１４は、各々複数の画像データを保持することができ、背景保持部１２で記憶している背景画像データと、オブジェクト保持部で記憶しているオブジェクト画像データとの組み合わせの数だけ、マップ作成部１６でマップを作成することができ、さらにマップ保持部１７に保持させることができる。
【００７９】
次に、図７のフローチャートを参照して、図２の情報処理装置２が行う、オブジェクトの状態を検出する検出処理について説明する。
【００８０】
制御部２３は、カメラ１の電源がオン状態になっている場合には、カメラ１を制御することにより、カメラ１の電源をオフ状態（またはスタンバイ状態）にする。そして、ステップＳ１において、変化検知部１９は、監視空間の状態が変化したか否かを、フォトセンサ４からＡＤ変換部１８を介して供給されたフォトセンサ検出輝度値が変化したか否かによって判定する。ステップＳ１において、変化検知部１９が、監視空間内の状態に変化がなかったと判定された場合、ステップＳ１に戻る。一方、監視空間の状態が変化したと判定した場合、即ち、例えば、監視空間内にオブジェクトが侵入し、フォトセンサ検出輝度値（例えば、所定の閾値以上）が変化した場合、変化検知部１９は、監視空間内の状態が変化したことを表す変化検知信号を、マップマッチング部２０と制御部２３に供給するとともに、フォトセンサ検出輝度値をマップマッチング部２０に供給し、ステップＳ２に進む。
【００８１】
マップマッチング部２０は、変化検知部１９からの変化検知信号を受信し、ステップＳ２において、マップが作成されているかどうか、即ち、マップがマップ保持部１７に記憶されているか否かを判定する。ステップＳ２において、マップが作成済みであると判定された場合、ステップＳ３に進み、マップマッチング部２０は、変化検知部１９から供給されたフォトセンサ検出輝度値とマップ保持部１７に記憶されたマップから、監視空間内に侵入したオブジェクトの位置を推定する。
【００８２】
ここで、図７のステップＳ３で行なわれるオブジェクトの位置の推定処理を、図８のフローチャートを用いて説明する。
【００８３】
まず、ステップＳ３１において、マップマッチング部２０は、変化検知部１９から供給されたフォトセンサ検出輝度値を取得し、ステップＳ３２に進む。
【００８４】
ステップＳ３２では、マップマッチング部２０は、マップ保持部１７からマップを読み込み、ステップＳ３３に進む。
【００８５】
ステップＳ３３では、マップマッチング部２０は、変化検知部１９から供給されたフォトセンサ検出輝度値とマップに記述された輝度値とを比較し、フォトセンサ検出輝度値と一致するマップ上の輝度値を探索し、ステップＳ３４に進む。なお、ここでは、フォトセンサ検出輝度値と一致するマップ上の輝度値とは、フォトセンサ検出輝度値に最も近く、かつその差が所定の閾値以内のマップ上の１つの輝度値でもよいし、また、フォトセンサ検出輝度値との差が所定の閾値以内の１以上の輝度値であってもよい。
【００８６】
ステップＳ３４で、マップマッチング部２０は、フォトセンサ検出輝度値と一致するマップ上の輝度値があったか否かを判定する。ステップＳ３４において、フォトセンサ検出輝度値と一致するマップ上の輝度値があると判定された場合、ステップＳ３５に進み、マップマッチング部２０は、フォトセンサ検出輝度値と一致するマップ上の輝度値が記述された欄から特定される画像上のオブジェクトのＸ方向の位置と面積を認識する。さらに、ステップＳ３５では、マップマッチング部２０は、例えば、認識されたＸ方向の位置と面積から、監視空間内に侵入したオブジェクトの位置（ここでは、例えば、水平方向と奥行き方向の位置）を推定し、位置データ保持部２１に供給して記憶させ、リターンする。なお、ステップＳ３５では、画像上のオブジェクトのＸ方向の位置と面積を、そのまま、位置データ保持部２１に供給することも可能である。
【００８７】
一方、ステップＳ３４において、フォトセンサ検出輝度値と一致するマップ上の輝度値がないと判定された場合、ステップＳ３６に進み、マップマッチング部２０は、フォトセンサ検出輝度値と一致する輝度値がマップ上にない旨のエラー信号を、制御部２３に出力し、リターンする。
【００８８】
ここで、マップマッチング部２０について図９を用いて詳細に説明する。図９は、マップマッチング部２０の詳細な構成例を示すブロック図である。なお、図９では、フォトセンサ４はＲＧＢ（Red，Green，Blue）の各色の明度（明るさ）を検知する３つのフォトセンサからなり、マップも同様にＲＧＢの各色用のマップが存在するものとする。
【００８９】
マップマッチング部２０には、変化検知部１９からフォトセンサ検出輝度値としての、フォトセンサ４が出力するＲ、Ｇ、Ｂの光の明るさに対応するＲ値、Ｇ値、Ｂ値が供給され、マップ保持部１７からマップが供給される。マップマッチング部２０は、フォトセンサ検出輝度値と一致するマップ上の輝度値（Ｒ値、Ｇ値、Ｂ値）の欄を探索し、その欄によって特定される、画像上のオブジェクトのＸ方向の位置と面積を認識する。さらに、マップマッチング部２０は、画像上のオブジェクトのＸ方向の位置と面積から監視空間内のオブジェクトの位置を推定し、出力する。
【００９０】
図９において、ＲＧＢそれぞれのフォトセンサ検出輝度値データ３１乃至３３（Ｒ値３１、Ｇ値３２、Ｂ値３３）は、変化検知部１９から、マップマッチング部２０の位置解析部３７乃至３９にそれぞれ供給される。ＲＧＢそれぞれ用のマップ３４乃至３６は、マップ保持部１７から、マップマッチング部２０の位置解析部３７乃至３９にそれぞれ供給される。位置解析部３７乃至３９は、フォトセンサ検出輝度値データ３１乃至３３と一致するマップ３４乃至３６上の輝度値（Ｒ値、Ｇ値、Ｂ値）をそれぞれ探索し、それぞれの輝度値の欄によって特定される画像上のオブジェクトのＸ方向の位置と面積を、オブジェクト位置推定部４０に出力する。オブジェクト位置推定部４０は、位置解析部３７乃至３９それぞれからの画像上のオブジェクトのＸ方向の位置と面積から監視空間におけるオブジェクトの信号を推定し、推定結果出力部４１に出力する。推定結果出力部４１は、オブジェクト位置推定部４０からのオブジェクトの位置の推定結果を、位置データ保持部２１に出力する。
【００９１】
なお、位置解析部３７では、フォトセンサ検出輝度値３１（Ｒ値）と一致するマップ３４上の輝度値（Ｒ値）が探索されるが、この探索の対象となる輝度値には、上述したように、フォトセンサ検出輝度値３１との差が所定の閾値以内のマップ３４上の輝度値（以下、適宜、探索輝度値という）と、フォトセンサ検出輝度値との差（の大きさ）が小であるほど、その探索輝度値のマップ３４上の欄によって特定される画像上のオブジェクトのＸ方向の位置と面積から推定される監視空間内のオブジェクトの位置の信頼性が高い。そこで、位置解析部３７においては、探索輝度値のマップ３４上の欄によって特定される画像上のオブジェクトのＸ方向の位置と面積の他、その探索輝度値とフォトセンサ検出輝度値との差の大きさの逆数などを、信頼度として求め、オブジェクト位置推定部４０に供給するようにすることができる。位置解析部３８と位置解析部３９においても、同様である。
【００９２】
また、オブジェクト位置推定部４０では、位置解析部３７乃至３９それぞれから供給される画像上のオブジェクトのＸ方向の位置と面積を、それぞれの信頼度に応じた重みで考慮して、監視空間内のオブジェクトの位置を推定するようにすることができる。即ち、オブジェクト位置推定部４０では、例えば、位置解析部３７乃至３９それぞれから供給される画像上のオブジェクトのＸ方向の位置と面積から、監視空間内のオブジェクトの位置を推定し、それぞれの推定値の、信頼度に対応する重み付け平均値を、最終的なオブジェクトの位置の推定結果とすることができる。あるいは、オブジェクト位置推定部４０では、位置解析部３７乃至３９の出力のうちの、最も信頼度が高いもののみを用いて、監視空間内のオブジェクトの位置を推定することもできる。
【００９３】
また、推定結果出力部４１では、信頼度を、オブジェクトの位置の推定結果とともに、位置データ保持部２１に出力するようにすることができる。
【００９４】
図７に戻り、ステップＳ３の処理後はステップＳ４に進み、マップマッチング部２０によるオブジェクトの位置の推定処理が成功したか否かを判定する。ステップＳ４において、処理が成功したと判定された場合、即ち、制御部２３が、マップマッチング部２０からエラー信号を受信しなかった場合、ステップＳ５に進み、位置出力部２２は、ステップＳ３で推定され、位置データ保持部２１に記憶された監視空間内のオブジェクトの位置を出力し、ステップＳ６に進む。ここで、ステップＳ５において、オブジェクトの位置を、例えばモニタに出力する場合には、モニタにおいて、オブジェクトの位置を、例えば、後述する図２１に示すような形で表示することができる。
【００９５】
なお、情報処理装置２にオペレータがついている場合は、ステップＳ３の推定処理が成功したかどうかを表す入力を、オペレータが行い、ステップＳ４の推定処理は、オペレータからの入力に基づいて行なうことができる。また、ステップＳ４では、いままでに行われたステップＳ３の処理によって得られたオブジェクトの位置の軌跡が不自然であるかどうかによって（例えば、オブジェクトの動きが不連続であるような軌跡であるかどうかによって）、ステップＳ３の推定処理が成功したかどうかを判定することもできる。
【００９６】
ステップＳ６では、制御部２３は、図７の検出処理の終了要求があったか否かを判定する。ステップＳ６において、終了要求があったと判定された場合、即ち、例えば、情報端末装置６からネットワーク５を介して終了要求を表す信号が送信されてきた場合、検出処理を終了する。また、ステップＳ６において、終了要求がなかったと判定された場合には、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００９７】
一方、ステップＳ２において、マップが作成されていないと判定された場合、またはステップＳ４において、ステップＳ３の推定処理が成功しなかったと判定された場合（例えば、制御部２３がマップマッチング部２０からエラー信号を受信した場合）、ステップＳ７乃至Ｓ１０に順次進み、マップの新規作成（あるいは更新）が行われる。
【００９８】
即ち、ステップＳ７では、制御部２３は、カメラ１を制御し、これにより、カメラ１をオフからオン状態にし（あるいは、スタンバイ状態から復帰させ）、監視空間の画像を開始させる。カメラ１が撮像を開始することによりカメラ１が出力する画像データは、背景作成部１１、オブジェクト抽出部１３、および輝度平均処理部１５に供給される。なお、カメラ１が出力する画像は、ネットワーク５を介して情報端末装置６に送信して表示させることも可能である。
【００９９】
ステップＳ７の処理後は、ステップＳ８に進み、カメラ１により取り込まれたオブジェクトを含む画像データを用いて、マップが作成される。
【０１００】
ここで、図１０乃至１２を参照して、図７のステップＳ８で行なわれるマップの作成処理について説明する。
【０１０１】
図１０は、図２のマップ作成部１６の構成例を示している。なお、ここでは、背景保持部１２に背景画像データが既に記憶されており、オブジェクト保持部１４にオブジェクト画像データが既に記憶されているものとする。
【０１０２】
マップ作成部１６は、背景保持部１２に記憶されている背景画像データとオブジェクト保持部１４に記憶されているオブジェクト画像データに基づいてマップを作成し、マップ保持部１７に供給して記憶させる。
【０１０３】
即ち、マップ作成部１６は、背景画像データの短冊毎の短冊輝度平均値を算出する背景短冊輝度平均算出部５１、オブジェクト画像データの輝度平均値を算出するオブジェクト輝度平均算出部５２、オブジェクトが監視空間内を水平方向もしくは垂直方向に移動した場合を想定した処理を行なう位置置換え輝度算出部５３、オブジェクトが監視空間内を奥行き方向（Ｚ方向）に移動した場合を想定した処理を行なうオブジェクト面積変更部５４、およびこれら算出した結果をマップにするマップ作成処理部５５からなる。
【０１０４】
背景短冊輝度平均算出部５１は、背景保持部１２から供給された背景画像データを、水平方向（Ｘ方向）もしくは垂直方向（Ｙ方向）に短冊状に区切り、短冊毎の短冊輝度平均値を算出して、位置置換え輝度算出部５３に供給する。背景画像を短冊状に区切ったときの、その短冊が並ぶ方向が、オブジェクトの位置を検出する方向となる。ここでは、図３乃至図５で説明したように、背景画像をＸ方向に並ぶ短冊状に区切り、オブジェクトの水平方向の位置を検出することとする。
【０１０５】
オブジェクト輝度平均算出部５２は、オブジェクト保持部１４から供給されたオブジェクト画像データから、その輝度の平均値であるオブジェクト輝度平均値と、その画素数に対応した値であるオブジェクト面積を算出し、オブジェクト面積変更部５４に出力する。
【０１０６】
位置置換え輝度算出部５３は、背景短冊輝度平均算出部５１から供給される背景画像を構成する短冊の短冊輝度平均値を、オブジェクト面積変更部５４から供給されるオブジェクト輝度平均値に置換して（差し替えて）、その置換後の背景画像全体の輝度値の平均値を算出する。さらに、位置置換え輝度算出部５３は、算出した背景画像の輝度値の平均値を、マップ作成処理部５５に出力する。
【０１０７】
オブジェクト面積変更部５４は、オブジェクト輝度平均算出部５２から供給されるオブジェクト面積を変更し、同じくオブジェクト輝度平均算出部５２から供給されるオブジェクト輝度平均値とともに位置置換え輝度算出部５３に出力する。
【０１０８】
マップ作成処理部５５は、位置置換え輝度算出部５３の出力を用いて、図６で説明したマップを作成する。即ち、画像上のＸ方向の位置とオブジェクト面積を軸にとり、各位置と面積で特定される欄（点）に輝度値を記述したマップを作成する。マップ作成処理部５５で作成されたマップは、マップ保持部１７に供給されて記憶される。
【０１０９】
図１１のフローチャートを参照して、図７のステップＳ８で行われるマップを作成する処理について説明する。
【０１１０】
情報処理装置２では、先ずステップＳ４１において、背景画像データが取得される。即ち、ステップＳ４１では、カメラ１が、監視空間内の撮像を開始し、その撮像によって得られる画像データを、背景画像作成部１１、オブジェクト抽出部１３、および輝度平均処理部１５に供給する。背景画像作成部１１、オブジェクト抽出部１３、および輝度平均処理部１５は、カメラ１からの画像データを取得して、ステップＳ４１からステップＳ４２に進む。
【０１１１】
ステップＳ４２では、背景画像作成部１１は、カメラ１からの画像データから背景画像データ（監視の初期状態の画像データ）を作成し、背景保持部１２に供給して保持させ、ステップＳ４３に進む。具体的には、背景画像作成部１１は、例えば、カメラ１が出力する長時間の画像データを時間平均処理することにより背景画像データを作成する。なお、背景画像データは、オペレータがカメラ１を操作することにより撮像し、背景保持部１２に記憶させることもできる。
【０１１２】
ここで、図１２のフローチャートを参照して、長時間の画像データを平均処理して背景画像を作成する場合の背景画像作成部１１の処理について具体的に説明する。ステップＳ２１において、背景画像作成部１１は、カメラ１が出力する1フレームの画像データを取り込み、ステップＳ２２に進む。ステップＳ２２では、背景画像作成部１１は、ステップＳ２１で取り込んだ画像データを一時蓄積し、ステップＳ２３に進む。ステップＳ２３では、背景画像作成部１１は、所定のフレーム数の画像データを蓄積したか否かを判定し、まだ蓄積していないと判定した場合、ステップＳ２１に戻り、以下、同様の処理を繰り返す。
【０１１３】
また、ステップＳ２３において、所定のフレーム数の画像データを蓄積したと判定された場合、ステップＳ２３に進み、背景画像作成部１１は、蓄積した所定のフレーム数分の画像データの平均値を求め、即ち、同一位置の画素の画素値の平均値で構成される画像データを求め、その画像データを、背景画像データとして、背景画像保持部１２に供給して、処理を終了する。
【０１１４】
図１１に戻り、ステップＳ４３では、図１０の背景短冊輝度平均算出部５１が、ステップＳ４２で作成されて背景保持部１２に記憶された背景画像を読み出し、水平方向に並ぶ短冊に分割する。さらに、背景短冊輝度平均算出部５１は、各短冊の短冊輝度平均値を算出し、位置置換え輝度算出部５３に供給して、ステップＳ４４に進む。
【０１１５】
ステップＳ４４では、制御部２３が、監視空間内にオブジェクトが存在するか否かを判定する。ステップＳ４４において、オブジェクトが存在しないと判定された場合、ステップＳ４４に戻り、同様の処理が繰り返される。
【０１１６】
また、ステップＳ４４において、オブジェクトが存在すると判定された場合、即ち、制御部２３が、変化検知部１９から変化検知信号を受信した場合、ステップＳ４５に進み、オブジェクト抽出部１３は、カメラ１が出力する画像からオブジェクトの部分（オブジェクト画像）を抽出する。即ち、オブジェクト抽出部１３は、図１３に示すように、カメラ１が出力する、背景にオブジェクトが含まれている画像から、背景保持部１２に記憶された背景画像を減算することにより、オブジェクト画像のみを抽出する。
【０１１７】
オブジェクト抽出部１３は、抽出したオブジェクト画像を、オブジェクト保持部１４に供給して記憶させ、図１１のステップＳ４５からステップＳ４６に進む。ステップＳ４６では、図１０のオブジェクト輝度平均算出部５２は、ステップＳ４５で抽出されてオブジェクト保持部１４に記憶されたオブジェクト画像を読み出し、オブジェクト輝度平均値を算出して、ステップＳ４７に進む。ステップＳ４７では、オブジェクト輝度平均算出部５２は、オブジェクト画像の面積（オブジェクト面積）を求め、オブジェクト輝度平均値、オブジェクト画像とともにオブジェクト面積変更部５４に供給する。オブジェクト面積変更部５４は、オブジェクト輝度平均算出部５２から供給されたオブジェクト画像からオブジェクト面積を算出し、オブジェクト輝度平均算出部から供給されたオブジェクト画像とともに、位置置換え輝度算出部５３に供給する。ステップＳ４８に進む。
【０１１８】
ここで、短冊輝度平均値とオブジェクト輝度平均値とは、図１０の背景短冊輝度平均算出部５１とオブジェクト輝度平均算出部５２でそれぞれ求めるのではなく、図２の輝度平均処理部１５で求めて、マップ作成部１６に供給するようにすることが可能である。
【０１１９】
そして、ステップＳ４７からステップＳ４８に進み、位置置換え輝度算出部５３は、オブジェクト面積変更部５４からのオブジェクト画像の面積を表す変数に、初期値としての、例えば１をセットし、ステップＳ４９に進む。ステップＳ４９では、位置置換え輝度算出部５３は、オブジェクト面積変更部５４からのオブジェクト画像の、背景画像上のＸ方向の位置を表す変数Ｘに、初期値としての、例えば、１をセットし、ステップＳ５０に進む。なお、ここでは、背景画像の左端において、Ｘ＝０であり、右端方向に進むにつれて、Ｘは増加するものとする。
【０１２０】
ステップＳ５０では、位置置換え輝度算出部５３は、オブジェクト面積変更部５４からのオブジェクト画像が、変数Ｓで表される面積を有しており、その面積Ｓのオブジェクト画像が、背景画像上の、変数Ｘで表される位置にあった場合に、その面積Ｓのオブジェクト画像と重なる背景画像の短冊を、短冊平均輝度値に置換する置換短冊として認識する。
【０１２１】
なお、ここでは、例えば、オブジェクト画像との重なりが、短冊の面積の所定数％となる短冊が、置換短冊として認識されるものとする。
【０１２２】
ステップＳ５０では、さらに、位置置換え輝度算出部５３が、置換短冊の短冊平均輝度値を、オブジェクト面積変更部５４からのオブジェクト輝度平均値に置換し、ステップＳ５１に進む。ステップＳ５１では、位置置換え輝度算出部５３は、ステップＳ５０で短冊平均輝度値が置換された短冊を含む、背景画像のすべての短冊の短冊平均輝度値の平均値を、面積Ｓのオブジェクト画像が位置Ｘに存在する場合の画像全体の輝度値の平均値として求め、面積Ｓおよび位置Ｘとともに、マップ作成処理部５５に供給して、ステップＳ５２に進む。
【０１２３】
ステップＳ５２では、マップ作成処理部５５が、位置置換え輝度算出部５３からの面積Ｓと位置Ｘとで特定されるマップ上の欄に、同じく位置置換え輝度算出部５３からの輝度値の平均値を記述（登録）し、ステップＳ５３に進む。
【０１２４】
ステップＳ５３では、位置置換え輝度算出部５３が、位置を表す変数Ｘを所定値（例えば、短冊の幅分）だけインクリメントして、ステップＳ５４に進む。
【０１２５】
ステップＳ５４では、位置置換え輝度算出部５３が、必要な位置Ｘすべてについて処理を行なったか否かを判定する。ステップＳ５４において、必要な位置Ｘすべてについて、まだ処理を行なっていないと判定された場合、ステップＳ５０に戻り、以下、同様の処理が繰り返される。
【０１２６】
また、ステップＳ５４において、必要な位置Ｘすべてについて処理を行なったと判定された場合、即ち、例えば、変数Ｘが表す位置が、画像の右端よりも右側となった場合、ステップＳ５５に進み、図１０のオブジェクト面積置換え部５４は、位置置換え輝度算出部５３を制御することにより、面積Ｓを所定値（例えば、短冊の面積分）だけインクリメントさせ、ステップＳ５６に進む。
【０１２７】
ステップＳ５６では、オブジェクト面積置換え部５４は、オブジェクト画像が背景画像全部を覆う面積に達したか否かを判定し、達していないと判定した場合、ステップＳ４９に戻って、以下、同様の処理を繰り返す。
【０１２８】
また、ステップＳ５６において、オブジェクト画像が背景画像全部を覆う面積に達したと判定された場合、ステップＳ５７に進み、マップ作成処理部５５は、それまでに輝度値を記述したマップを、マップ保持部１７に供給して記憶させ、処理を終了する。
【０１２９】
なお、上述の場合には、オブジェクト画像のオブジェクト輝度平均値が、面積Ｓにかかわらず、ステップＳ４６で求められた値のまま変化しないこととしたが、各面積のオブジェクト画像のオブジェクト輝度平均値は、ステップＳ４５で得られたオブジェクト画像を、面積Ｓに拡大または縮小する補間または間引きを行い、その補間または間引き後の画像から求めることも可能である。
【０１３０】
図７のステップＳ８では、以上のようにして、マップが作成される。そして、マップの作成後は、ステップＳ８からステップＳ９に進み、マップマッチング部２０は、マップ作成部１６およびマップ保持部１７を介して、オブジェクト保持部１４から、図１１のステップＳ４５で抽出されたオブジェクト画像を読み出し、そのオブジェクト画像の、画像上でのＸ方向の位置と面積を求める。さらに、ステップＳ９では、マップマッチング部２０は、そのＸ方向の位置と面積から、監視空間内のオブジェクトの位置を求め、位置データ保持部２１に供給して記憶させる。
【０１３１】
その後、ステップＳ９からステップＳ１０に進み、制御部２３は、カメラ１を制御することにより、カメラ１の電源をオンからオフ状態（あるいはスタンバイ状態）にし、ステップＳ５に進む。
【０１３２】
ステップＳ５では、位置出力部２２が、ステップＳ９でマップ保持部２１に記憶させたオブジェクトの位置を出力して、ステップＳ６に進み、以下、上述した処理が行なわれる。
【０１３３】
以上のように、図７の検出処理によれば、フォトセンサ４の出力とマップとを用いることによって、カメラ１で撮像される画像がなくても、監視空間内のオブジェクトの位置を求めることができるので、理論的には、カメラ１で調整される分だけ、システムの電力消費を低減することができる。
【０１３４】
なお、監視空間内の状態が変化した場合には、カメラ１の電源をオン状態にし、カメラ１で撮像される画像とともに、オブジェクトの位置を、情報処理装置２から情報端末装置６に送信することができる。この場合、情報端末装置６において、情報処理装置２からの画像とともに、オブジェクトの位置を表示することにより、情報端末装置６のオペレータは、監視空間内の状態の変化の原因となったオブジェクトを、即座に認識することができる。
【０１３５】
次に、図１１では、オブジェクト抽出を行なって得られるオブジェクト画像のＸ方向の位置と面積を変えながら、各位置と面積に対応するマップの欄に記述する輝度値を、背景画像中の置換短冊の短冊平均輝度値をオブジェクト輝度平均値に置換することにより求めることとしたため、その求められた輝度値は、実際の監視空間内の明るさの平均、即ち、フォトセンサ４の出力値に対して誤差を含むことがある。
【０１３６】
そこで、図１１で説明したようにして作成されたマップは、図１４に示すマップの更新処理によって更新することができる。なお、図１４の更新処理は、図７のステップＳ８におけるマップの作成処理として行なうことも可能である。
【０１３７】
図１４の更新処理は、カメラ１の電源がオン状態になっているときに行なうことができる。あるいは、図１４の更新処理は、その開始前に、カメラ１の電源をオン状態にして行われ、その終了後に、カメラ１の電源がオフ状態にされる。また、図１４の更新処理を行なうにあたっては、図２に点線で示すように、フォトセンサ４が出力するフォトセンサ検出輝度値を、ＡＤ変換部１８および変化検知部１９を介して、マップ作成部１６に供給するようにする必要がある。
【０１３８】
マップの更新処理では、まず最初に、ステップＳ６１とＳ６２において、図１１のステップＳ４１とステップＳ４２における場合と同様の処理が行なわれ、これにより、背景保持部１２に背景画像が記憶される。
【０１３９】
その後、ステップＳ６２からステップＳ６３に進み、マップ作成部１６は、マップ保持部１７に記憶されているマップを読み出し、ステップＳ６４に進む。なお、マップ保持部１７に、マップが記憶されていない場合、ステップＳ６３では、マップ作成部１６は、マップの、いわばひな形（欄に輝度値が記述されていないマップ）を作成する。
【０１４０】
ステップＳ６４では、変化検知部１９は、ＡＤ変換部１８を介してフォトセンサ４から供給されるフォトセンサ検出輝度値を解析し、監視空間の状態に変化があるか否かを判定する。ステップＳ６４において、変化検知部１９は、監視空間の状態に変化がなかったと判定した場合、即ち、フォトセンサ検出輝度値に変化がなかった場合、ステップＳ６４に戻り、同様の処理を繰り返す。一方、ステップＳ６４において、監視空間の状態に変化があったと判定した場合、即ち、フォトセンサ検出輝度値に変化があった場合、変化検知部１９は、マップ作成部１６に、フォトセンサ検出輝度値を出力してステップＳ６５に進む。
【０１４１】
ステップＳ６５では、オブジェクト抽出部１３は、カメラ１が出力する画像から、ステップＳ６２で背景保持部１２に記憶させた背景画像を減算することにより、カメラ１からの画像に含まれるオブジェクト画像を抽出し、オブジェクト保持部１４に供給して記憶させる。
【０１４２】
ステップＳ６５の処理後は、ステップＳ６６とステップＳ６７に順次進み、マップ作成部１６は、直前のステップＳ６５で抽出されてオブジェクト保持部１４に記憶されているオブジェクト画像の、カメラ１が出力する画像上の位置（ここでは、例えば、Ｘ方向の位置）と面積をそれぞれ算出し、ステップＳ６８に進む。
【０１４３】
ステップＳ６８では、マップ作成部１６は、変化検知部１９から供給されるフォトセンサ検出輝度値を取得し、ステップＳ６９に進む。
【０１４４】
ステップＳ６９では、マップ作成部１６は、ステップＳ６６で求めたオブジェクトの位置とステップＳ６７で求めたオブジェクトの面積とで特定される欄を認識し、その欄にステップＳ６８で得たフォトセンサ検出輝度値を記録（記述）する。
【０１４５】
その後、ステップＳ６９からステップＳ７０に進み、マップ作成部１６は、必要に応じて、マップ上の、まだ輝度値が記述されていない所定の欄に対して、輝度値が記述されている欄の輝度値を用いた補間処理などを行なうことによって、輝度値を記述するマップの補間処理を行い、ステップＳ７１に進む。なお、ステップＳ７０の処理（マップの補間処理）は、スキップすることが可能である。
【０１４６】
ステップＳ７１では、マップ作成部１６は、マップをマップ保持部１７に出力し、上書きする形で記憶させ、ステップＳ７２に進む。
【０１４７】
ステップＳ７２では、マップ作成部１６は、図１４の更新処理を終了するか否かを判定する。ステップＳ７２において、更新処理を終了しないと判定された場合、即ち、例えば、カメラ１の電源がオン状態になっており、更新処理を続行することができる場合、ステップＳ６４に戻り、以下、同様の処理が繰り返される。
【０１４８】
また、ステップＳ７２において、更新処理を終了すると判定された場合、即ち、例えば、カメラ１の電源がオフ状態になった場合、更新処理を終了する。
【０１４９】
以上のように、マップに対して、フォトセンサ４で実際に得られた輝度値（フォトセンサ検出輝度値）を記述することにより、精度の高いマップを作成することができる。
【０１５０】
次に、図１５を参照して、図１４のステップＳ７０行なわれるマップの補間処理について説明する。
【０１５１】
例えば、いま、監視空間内を左から右方向に移動するオブジェクトが存在し、監視空間に、そのようなオブジェクトが進入してきたときに、図１４の更新処理が行なわれたとする。
【０１５２】
さらに、過去に行なわれた更新処理によって、図１５に示すように、マップのある面積Ｓ１の行の欄には、輝度値が既に記述されているものとする。ここで、いまの場合、左から右方向に移動するオブジェクトが監視空間に侵入したことを前提としているので、そのようなオブジェクトを対象に、図１４の更新処理が行なわれることにより、マップのある面積Ｓ１の行の欄に、輝度値が記述される。
【０１５３】
図１４の更新処理が新たに行なわれた場合、その新たな更新処理によれば、図１５に示すように、マップのある面積Ｓ２の行に、輝度値が記述される。
【０１５４】
ここで、図１５においては、新たな更新処理は、過去に行なわれた更新処理の対象となったオブジェクトよりも手前側（カメラ１側）を左から右方向に移動するオブジェクトを対象として行なわれており、このため、新たな更新処理の対象となったオブジェクトの画像上の面積Ｓ２は、過去に行なわれた更新処理の対象となったオブジェクトの画像上の面積Ｓ１よりも大となっている。
【０１５５】
また、図１５において、手前側を移動するオブジェクトを対象とした新たな更新処理で輝度値が記述される区間は、奥側を移動するオブジェクトを対象とした過去の更新処理（過去に行なわれた更新処理）で輝度値が記述される区間よりも短くなっているが、これは、次のような理由による。
【０１５６】
即ち、オブジェクトが奥側に存在する場合は、画像上のオブジェクトの面積は小となり、一方、オブジェクトが手前側（カメラ側）に存在する場合は、画像上のオブジェクトの面積は大となる。
【０１５７】
また、マップには、例えば、オブジェクト全体が画像に表示されている場合の、監視空間の明るさの平均を表す輝度値が記述される。
【０１５８】
そして、面積が大のオブジェクト全体が画像上に表示されているＸ方向の距離は、面積が小のオブジェクト全体が画像上に表示されているＸ方向の距離よりも短くなる。
【０１５９】
このため、図１５において、手前側を移動するオブジェクトを対象とした新たな更新処理で輝度値が記述される区間は、奥側を移動するオブジェクトを対象とした過去の更新処理（過去に行なわれた更新処理）で輝度値が記述される区間よりも短くなっている。
【０１６０】
図１４のステップＳ７０におけるマップの補間処理では、例えば、過去の更新処理によって輝度値が記述された面積Ｓ１の行の２つの端点それぞれと、新たな更新処理によって輝度値が記述された面積Ｓ２の行の２つの端点それぞれとを結ぶ直線、およびＸ方向の位置を表すＸ軸で囲まれる３角形が求められる。
【０１６１】
さらに、その３角形の、Ｘ軸と対向する側の頂点から、Ｘ軸方向に引いた直線と、面積Ｓ１または面積Ｓ２の行との交点を、それぞれ、Ｄ１またはＤ２とすると、補間処理では、線分Ｄ１Ｄ２上の欄が、点Ｄ１と点Ｄ２それぞれに対応する欄に記述された輝度値の、例えば、線形補間によって求められる輝度値によって補間される。
【０１６２】
次に、図１６乃至図２２を用いて、マップを用いたオブジェクトの状態、即ち、画像上のオブジェクトの位置と面積の検出処理のシミュレーション結果について説明する。
【０１６３】
図１６は、シミュレーションで用いたマップを示している。図１６において、マップは、画像上のオブジェクトの位置と面積それぞれを軸としたもので、各位置と面積で特定される欄には、その位置と面積に対応するオブジェクトが存在する監視空間内の明るさの平均、即ち、フォトセンサ検出輝度値が記述されている。
【０１６４】
図１７は、図１６のマップの、ある面積の行、即ち、線分ＡＢ上の欄に記述された輝度値を示している。なお、図１７では（後述する図１８乃至図２０においても同様）、横軸を、画像上のＸ方向の位置とするとともに、縦軸を、マップに記述された輝度値としてある。
【０１６５】
また、図１７では、輝度値として、Ｒ（細線）、Ｇ（太線）、Ｂ（点線）それぞれの信号成分を示してある。
【０１６６】
ここで、以下では、説明を簡単にするため、図１８上側に示すように、図１７のマップ中のＲ（細線）の信号成分（Ｒ値）にだけ注目する。また、フォトセンサ４は、Ｒの光の明るさの平均値を表すR値を、フォトセンサ検出輝度値として出力するものとする。この場合、フォトセンサ検出輝度値として、例えば、１２５が得られたとすると、図１８下側に示すように、輝度値が１２５のマップ上の欄によって特定される横軸の値Ｃが、オブジェクトの画像上のＸ方向の位置として検出される。
【０１６７】
いま、マップやフォトセンサ４の精度を考慮して、フォトセンサ検出輝度値を中心とする所定の閾値ε以内の輝度値を、マップから検出するものとすると、フォトセンサ検出輝度値が、例えば、１２５であった場合には、図１９上側に示すように、オブジェクトのＸ方向の位置が、２６乃至２８であるという結果が得られる。
【０１６８】
一方、フォトセンサ検出輝度値が、例えば、１２８であった場合には、図１９下側に示すように、オブジェクトのＸ方向の位置は、２８乃至３５であるという結果が得られる。
【０１６９】
ここで、図１９のマップにおいては、輝度値が１２５付近と１２８付近との部分を比較すると、輝度値が１２５付近の部分の方が、輝度値が１２８付近の部分よりも、変化の割合が大きい。
【０１７０】
マップにおいて変化の割合が大きい部分の輝度値がフォトセンサ検出輝度値として得られた場合には、図１９上側に示したように、オブジェクトのＸ方向の位置を、例えば、２６乃至２８のように狭い範囲で特定することができる。一方、マップにおいて変化の割合が小さい部分の輝度値がフォトセンサ検出輝度値として得られた場合には、図１９下側に示したように、オブジェクトのＸ方向の位置は、例えば、２８乃至３５のようにある程度の幅をもった範囲によって特定される。
【０１７１】
従って、マップにおける輝度値の変化の割合が大である方が、小である場合に比較して、オブジェクトのＸ方向の位置を高精度で検出することができる。
【０１７２】
また、図２０は、ある設置条件＃１と設置条件＃２の監視空間において得られたマップを示している。図２０において、設置条件＃１の監視空間に対して得られたマップは、Ｒ１（実線）で示されており、設置条件＃２の監視空間に対して得られたマップは、Ｒ２（点線）で示されている。
【０１７３】
実線Ｒ１で示す設置条件＃１の監視空間で得られたマップは、点線Ｒ２で示す設置条件＃２の監視空間で得られたマップと比較して、全体として、輝度値の変化の割合が大になっている。フォトセンサ４のフォトセンサ検出輝度値が、例えば、１３５であったとき、設置条件＃１の監視空間では、図中Ｈ１で示すように、オブジェクトのＸ方向の位置を、３７乃至３９という狭い範囲で特定することができる。一方、設置条件＃２の監視空間では、図中Ｈ２で示すように、オブジェクトのＸ方向の位置が、２６乃至４０というある程度幅のある範囲で特定される。即ち、設置条件＃１の監視空間での方が、設置条件＃２の監視空間でよりも、オブジェクトの位置を精度良く検出することができる。
【０１７４】
図２１は、オブジェクトを含んだ実際の画像に対して、マップを用いたオブジェクトのＸ方向の位置の検出結果を重畳した模式図である。
【０１７５】
なお、図２１では、オブジェクトである人間が、監視空間内を左から右方向に移動している。また、図２１上側においては、監視空間のみの画像である背景は、コントラストの高い画像となっており、さらに、オブジェクトとの関係でも、全体としてコントラストの高い画像になっている。一方、図２１下側においては、監視空間のみの画像である背景は、全体としてコントラストの低い画像となっており、さらに、オブジェクトとの関係でも、全体としてコントラストの低い画像となっている。
【０１７６】
図２１においては、マップを用いて検出したオブジェクトのＸ方向の位置の範囲を、網掛けなしで示してある。図２１上側に示した場合においては、監視空間内を移動するオブジェクトが存在する位置の範囲（図中、Ａ１乃至Ａ３の範囲）が比較的精度良く検出されている。一方、図２１下側に示した場合においては、監視空間内を移動するオブジェクトが存在する位置の範囲（図中、Ａ４乃至Ａ６の範囲）が、比較的幅をもって検出されているものの、それでも、オブジェクトを含む範囲が検出されている。
【０１７７】
なお、オブジェクトが存在する位置の範囲の検出結果は、その幅が大であるほど、精度が低くなる傾向があるので、その幅は、検出結果の信頼度を表すパラメータとして用いることが可能である。
【０１７８】
次に、図１１のマップの作成処理では、監視空間内のある位置のオブジェクトについて、そのオブジェクト画像の、カメラ１が出力する画像上の位置と面積を求め、その位置と面積を変化させながら、背景画像の短冊の短冊輝度平均値を、オブジェクト画像の輝度平均値に置換した背景画像の輝度値の平均値を求めることにより、マップを作成した。
【０１７９】
一方、図１４のマップの作成処理（更新処理）では、監視空間内を水平方向（左から右方向）に移動するオブジェクトの存在を前提として、フォトセンサ４が出力するフォトセンサ検出輝度値を用いて、マップを作成した。
【０１８０】
図１１のマップ作成処理でも、図１４における場合と同様に、監視空間内を水平方向に移動するオブジェクトの存在を前提として、図２２および図２３に示すように、マップを作成することが可能である。
【０１８１】
即ち、図２２と図２３は、監視空間を水平方向に移動するオブジェクトが存在する場合に、カメラ１が出力する画像のみからマップを作成する作成方法を示している。なお、ここでは、監視空間のみの画像である背景画像Ｆ０は、その背景画像Ｆ０を短冊状に区分けしたときの水平方向に並ぶ各短冊の短冊輝度平均値とともに、既に、背景保持部１２に記憶されているものとする。
【０１８２】
図２２では、オブジェクトが、奥側を、水平方向に移動している。この場合、カメラ１は、オブジェクトを含んだ画像Ｆ１を撮像し、オブジェクト抽出部１３に出力する。オブジェクト抽出部１３は、オブジェクトを含んだ画像Ｆ１と背景画像Ｆ０の差から、オブジェクト画像Ｏ１を抽出し、オブジェクト保持部１４に供給して記憶させる。そして、マップ作成部１６は、オブジェクト保持部１４に記憶されたオブジェクト画像Ｏ１の画像Ｆ１上のオブジェクト位置Ｘ１およびオブジェクト面積Ｓ１を算出するとともに、オブジェクト画像Ｏ１の輝度値の平均値を求める。
【０１８３】
さらに、マップ作成部１６は、背景保持部１２に記憶された背景画像Ｆ０の短冊のうちの、オブジェクト画像Ｏ１が存在する位置にあるものを、置換短冊として、その置換短冊の短冊輝度平均値を、オブジェクト画像Ｏ１の輝度値の平均値に置換する。そして、マップ作成部１６は、短冊輝度平均値の置換後の背景画像の輝度値の平均値を演算し、その値を、マップ上の位置Ｘ１と面積Ｓ１で特定される欄に記述する。マップ作成部１６では、監視空間内を移動するオブジェクトのＸ方向の各位置について同様の処理を行い、これにより、図２２に示すように、マップの面積Ｓ１の行の欄に輝度値を記述する。
【０１８４】
図２３は、オブジェクトが監視空間内の、図２２における場合よりも手前側（カメラ１側）を水平方向に移動している状態を示している。この場合、カメラ１は、オブジェクトを含んだ画像Ｆ２を撮像し、オブジェクト抽出部１３に出力する。オブジェクト抽出部１３は、オブジェクトを含んだ画像Ｆ２と背景画像Ｆ０の差から、オブジェクト画像Ｏ２を抽出し、オブジェクト保持部１４に供給して記憶させる。そして、マップ作成部１６は、オブジェクト保持部１４に記憶されたオブジェクト画像Ｏ２の画像Ｆ２上のオブジェクト位置Ｘ２およびオブジェクト面積Ｓ２を算出するとともに、オブジェクト画像Ｏ２の輝度値の平均値を求める。
【０１８５】
さらに、マップ作成部１６は、背景保持部１２に記憶された背景画像Ｆ０の短冊のうちの、オブジェクト画像Ｏ２が存在する位置にあるものを、置換短冊として、その置換短冊の短冊輝度平均値を、オブジェクト画像Ｏ２の輝度値の平均値に置換する。そして、マップ作成部１６は、短冊輝度平均値の置換後の背景画像の輝度値の平均値を演算し、その値を、マップ上の位置Ｘ２と面積Ｓ２で特定される欄に記述する。マップ作成部１６では、監視空間内を移動するオブジェクトのＸ方向の各位置について同様の処理を行い、これにより、図２３に示すように、マップの面積Ｓ２の行の欄に輝度値を記述する。
【０１８６】
なお、図２２や図２３において、マップの各欄に、その欄によって特定される位置と面積に対応するオブジェクトが監視空間に存在する場合にフォトセンサ４が出力するフォトセンサ検出輝度値を記述しても良いが、この方法は、図１４で説明した方法に一致する。また、図２２および図２３に示した場合においても、図１４で説明した場合と同様に、面積Ｓ１とＳ２それぞれの行の間の各行における各欄の輝度値を、面積Ｓ１とＳ２それぞれの行の欄に記述された輝度値によって補間することが可能である。
【０１８７】
なお、図２の情報処理装置２は、オブジェクトの状態、即ち、画像上のオブジェクトの位置と面積を検出した場合に、制御部２３によって、カメラ１を制御することにより、カメラ１で撮像される画像を最適にすることができる。例えば、オブジェクトが人物である場合に、カメラ１の撮像方向やズームなどを制御して、人物の全体画像を取得したり、一部を拡大した画像を取得したりすることができる。
【０１８８】
また、図２の実施の形態では、変化検知部１９において、フォトセンサ４の出力に基づいて、監視空間内の状態の変化を検知することとしたが、図２４に示すように、赤外線センサ６１やマイクロ波センサ６２などを設け、変化検知部１９では、フォトセンサ４の出力の他、赤外線センサ６１や、マイクロ波センサ６２の出力にも基づいて、監視空間内の状態の変化を検知することが可能である。
【０１８９】
さらに、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、図２５に示されるような、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１９０】
図２５において、ＣＰＵ（Central  Processing  Unit）７１は、ＲＯＭ（Read  Only  Memory）７２に記憶されているプログラム、または記憶部７８からＲＡＭ（Random  Access  Memory）７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１９１】
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
【０１９２】
入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ（表示部）、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデム、ターミナルアダプタなどより構成される通信部７９が接続されている。通信部７９は、インターネットなどのネットワークを介しての通信処理を行う。
【０１９３】
入出力インタフェース７５にはまた、必要に応じてドライブ８０が接続され、ドライブ８０には、本発明のプログラムが記録された記録媒体が装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【０１９４】
記録媒体は、磁気ディスク８１、光ディスク８２、光磁気ディスク８３、或いは半導体メモリ８４などにより構成される。
【０１９５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１９７】
なお、本実施の形態では、マップの作成時に、カメラ１で撮像された画像から、その画像上でのオブジェクトの位置と面積を求めるようにしたが、監視空間内のオブジェクトの各位置に対して、カメラ１が出力する画像上のオブジェクトの位置と面積が、あらかじめわかっている場合には、フォトセンサ４の出力だけで、即ち、カメラ１なしで、マップを作成することが可能である。
【０１９８】
また、マップは、あらかじめ、カメラ１の電源をオンにして、精度の高いものを学習（作成または更新）するようにしても良いし、図７で説明したように、カメラ１の電源がオンにされるごとに学習するようにしても良い。カメラ１の電源がオンされるごとに、マップの学習をする場合には、カメラ１の消費電力を小とすることができるとともに、学習が進むにつれて、オブジェクトの状態の検出精度が高くなっていく。
【０１９９】
さらに、マップは、オブジェクトごと、即ち、例えば、異なる服装の人物ごとなどに作成するようにすることができる。但し、異なる制服の人物であっても、同じような明るさの服装の人物については、１つのマップでオブジェクトの状態の検出が可能である。
【０２００】
なお、図１の監視システムとは、例えば、不審者の侵入を監視するシステム、さらには、年配者や病気がちな人の異常を監視するシステムなどに適用することができる。
【図面の簡単な説明】
【０２０１】
【図１】本発明を適用した監視システムの一実施の形態の構成例を示す図である。
【図２】画像取り込み装置１Ａ、情報処理装置２、記録媒体３、センサ４Ａの詳細な構成例を示すブロック図である。
【図３】背景画像を短冊状に区分けした状態を示す図である。
【図４】オブジェクトの存在による背景画像の輝度値の変化を説明する図である。
【図５】オブジェクトの存在による背景画像の輝度値の変化を説明する図である。
【図６】マップを説明する図である。
【図７】監視システムによる検出処理を説明するフローチャートである。
【図８】オブジェクトの状態を検出する処理を説明するフローチャートである。
【図９】マップマッチング部２０の構成例を示すブロック図である。
【図１０】マップ作成部１６の構成例を示すブロック図である。
【図１１】マップを作成する処理を説明するフローチャートである。
【図１２】背景画像の作成処理を説明するフローチャートである。
【図１３】オブジェクトの抽出方法を説明する図である。
【図１４】マップを更新（作成）する処理を説明するフローチャートである。
【図１５】マップの補間の方法を示した図である。
【図１６】マップの模式図である。
【図１７】マップの、ある面積の行を示す図である。
【図１８】マップの、ある面積の行を示す図である。
【図１９】マップの、ある面積の行を示す図である。
【図２０】マップの、ある面積の行を示す図である。
【図２１】シミュレーション結果を示す図である。
【図２２】マップの作成方法を示す図である。
【図２３】マップの作成方法を示す図である。
【図２４】監視空間の変化の検知方法を説明するためのブロック図である。
【図２５】本発明が適用されるコンピュータのハードウェア構成例を示すブロック図である。
【符号の説明】
【０２０２】
１Ａ  画像取り込み装置，  １  カメラ，  ２  情報処理装置，  ３  記録媒体，  ４Ａ  センサ，  ４  フォトセンサ，  ５  ネットワーク，  ６  情報端末装置，  １１  背景画像作成部，  １２  背景保持部，  １３  オブジェクト抽出部，  １４  オブジェクト保持部，  １５  輝度平均処理部，  １６  マップ作成部，  １７  マップ保持部，  １８  ＡＤ変換部，  １９  変化検知部，  ２０  マップマッチング部，  ２１  位置データ保持部，  ２２  位置出力部，２３  制御部，  ３７  位置解析部Ｒ，  ３８  位置解析部Ｇ，  ３９  位置解析部Ｂ，  ４０  オブジェクト位置推定部，  ４１  推定結果出力部，  ６１  赤外線センサ，  ６２  マイクロ波センサ，７１  ＣＰＵ，  ７２  ＲＯＭ，  ７３  ＲＡＭ，  ７４  バス，  ７５  入力インタフェース，  ７６  入力部，  ７７  出力部，  ７８  記憶部，  ７９  通信部，  ８０  ドライブ，  ８１  磁気ディスク，  ８２  光ディスク，  ８３  光磁気ディスク，  ８４  半導体メモリ  
【図１】
2005051511.tif 000003
【図２】
2005051511.tif 000004
【図３】
2005051511.tif 000005
【図４】
2005051511.tif 000006
【図５】
2005051511.tif 000007
【図６】
2005051511.tif 000008
【図７】
2005051511.tif 000009
【図８】
2005051511.tif 000010
【図９】
2005051511.tif 000011
【図１０】
2005051511.tif 000012
【図１１】
2005051511.tif 000013
【図１２】
2005051511.tif 000014
【図１３】
2005051511.tif 000015
【図１４】
2005051511.tif 000016
【図１５】
2005051511.tif 000017
【図１６】
2005051511.tif 000018
【図１７】
2005051511.tif 000019
【図１８】
2005051511.tif 000020
【図１９】
2005051511.tif 000021
【図２０】
2005051511.tif 000022
【図２１】
2005051511.tif 000023
【図２２】
2005051511.tif 000024
【図２３】
2005051511.tif 000025
【図２４】
2005051511.tif 000026
【図２５】
2005051511.tif 000027