(57)【要約】【課題】対象物固有の分光反射率を求め、撮影領域内の入射光の違いを考慮した物体検知を行うことができるようにする。【解決手段】複数の監視カメラで撮影された画像データ内に存在する固体の分光分布を求める際に、予め被写体となる背景物固体の分光分布を保持し、対象物に近傍する背景物より入射光の分光分布を求め、その入射光の分光分布を用いて対象物固有の分光反射率を求めることにより、撮影領域内の入射光の違いを考慮した物体検知を行うことができるようにする。【選択図】図６
2016025522.tif 000002
【特許請求の範囲】
【請求項１】
監視制御装置および複数の監視装置により構成され、前記複数の監視装置において撮影された画像データを解析し対象物の特定を行う画像処理装置において、
撮影される画像領域内に存在する物体の位置情報および物体固体の分光分布情報をもつ背景物情報を保持する保持手段と、
追跡対象物固体に近傍する背景物を抽出し、前記抽出した背景物の背景物情報を取得する抽出手段と、
前記抽出した背景物情報と撮影された画像データの分光反射率より背景物への入射光の分光分布を求める算出手段と、
前記背景物への入射光の分光分布と撮影された画像データより追跡対象物の分光反射率を求めて、前記追跡対象物固体の分光分布を求める算出手段と、
前記追跡対象物と同様に、異なる撮影画像データ内の追跡対象物の候補となるオブジェクトへの入射光の分光分布を求める算出手段と、
前記算出した入射光の分光分布と前記追跡対象物の候補となるオブジェクトの分光反射率より、追跡対象物の候補となるオブジェクトの固体の分光分布を求める算出手段と、
前記求めた追跡対象物固体の分光分布と前記求めた追跡対象物の候補となるオブジェクトの固体の分光分布とを比較し、類似度に基づいて追跡対象物の候補となるオブジェクトの情報を決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
監視制御装置および複数の監視装置により構成され、前記複数の監視装置において撮影された画像データを解析し対象物の特定を行う画像処理装置において、
追跡対象物を撮影した分光画像データを監視装置より取得する第１の取得手段と、
前記第１の取得手段で取得した分光画像データより追跡対象物の分光反射率を取得する第２の取得手段と、
追跡対象物を撮影した監視装置に保持している背景物情報より、追跡対象物に対応する背景物を特定し、その背景物の分光反射率を分光画像データより取得する第３の取得手段と、
追跡対象物を撮影した監視装置に保持している背景物情報より、背景物の固体の分光分布を取得する第４の取得手段と、
前記第４の取得手段で取得した背景物の固体の分光分布と、前記第３の取得手段で取得した背景物の分光反射率より追跡対象物への入射光の分光分布を求める第１の算出手段と、
前記第１の算出手段で求めた入射光の分光分布と、前記第２の取得手段で取得した追跡対象物の分光反射率より追跡対象物固体の分光分布を求める第２の算出手段と、
前記追跡対象物を特定した監視装置以外の監視装置にて撮影した分光画像データを監視装置より取得する第５の取得手段と、
前記第５の取得手段で取得した分光画像データより追跡対象物の候補となるオブジェクトの分光反射率を取得する第６の取得手段と、
追跡対象物の候補となるオブジェクトを撮影した監視装置に保持している背景物情報より、追跡対象物の候補となるオブジェクトに対応する背景物を特定し、その背景物の分光反射率を前記分光画像データより取得する第７の取得手段と、
追跡対象物の候補となるオブジェクトを撮影した監視装置に保持している背景物情報より背景物の固体の分光分布を取得する第８の取得手段と、
前記第８の取得手段で取得した背景物の固体の分光分布と前記第７の取得手段で取得した背景物の分光反射率より、追跡対象物の候補となるオブジェクトへの入射光の分光分布を求める第３の算出手段と、
前記第３の算出手段で求めた入射光の分光分布と前記第６の取得手段で取得した追跡対象物の候補となるオブジェクトの分光反射率より追跡対象物の候補となるオブジェクトの固体の分光分布を求める第４の算出手段と、
前記第２の算出手段で求めた追跡対象物固体の分光分布と前記第４の算出手段で求めた追跡対象物の候補となるオブジェクトの固体の分光分布とを比較し、類似度に基づいて追跡対象物の候補となるオブジェクトの情報を決定する決定手段と、
を有することを特徴とする画像処理装置。
【請求項３】
前記背景物情報は、各監視装置が予め保持し、
撮影領域を分割した領域ごとに、分割した領域の情報、分割した撮影領域に存在する背景物の位置情報、背景物の固体の分光分布を保持することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記背景物情報は、監視制御装置が予め保持し、
撮影領域を分割した領域ごとに、分割した領域の情報、分割した撮影領域に存在する背景物の位置情報、背景物の固体の分光分布を保持することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
監視制御装置および複数の監視装置により構成され、前記複数の監視装置において撮影された画像データを解析し対象物の特定を行う画像処理装置の制御方法において、
撮影される画像領域内に存在する物体の位置情報および物体固体の分光分布情報をもつ背景物情報を保持する保持工程と、
追跡対象物固体に近傍する背景物を抽出し、前記抽出した背景物の背景物情報を取得する抽出工程と、
前記抽出した背景物情報と撮影された画像データの分光反射率より背景物への入射光の分光分布を求める算出工程と、
前記背景物への入射光の分光分布と撮影された画像データより追跡対象物の分光反射率を求めて、前記追跡対象物固体の分光分布を求める算出工程と、
前記追跡対象物と同様に、異なる撮影画像データ内の追跡対象物の候補となるオブジェクトへの入射光の分光分布を求める算出工程と、
前記算出した入射光の分光分布と前記追跡対象物の候補となるオブジェクトの分光反射率より、追跡対象物の候補となるオブジェクトの固体の分光分布を求める算出工程と、
前記求めた追跡対象物固体の分光分布と前記求めた追跡対象物の候補となるオブジェクトの固体の分光分布とを比較し、類似度に基づいて追跡対象物の候補となるオブジェクトの情報を決定する決定工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項６】
監視制御装置および複数の監視装置により構成され、前記複数の監視装置において撮影された画像データを解析し対象物の特定を行う画像処理装置の制御方法において、
追跡対象物を撮影した分光画像データを監視装置より取得する第１の取得工程と、
前記第１の取得工程で取得した分光画像データより追跡対象物の分光反射率を取得する第２の取得工程と、
追跡対象物を撮影した監視装置に保持している背景物情報より、追跡対象物に対応する背景物を特定し、その背景物の分光反射率を分光画像データより取得する第３の取得工程と、
追跡対象物を撮影した監視装置に保持している背景物情報より、背景物の固体の分光分布を取得する第４の取得工程と、
前記第４の取得工程で取得した背景物の固体の分光分布と、前記第３の取得工程で取得した背景物の分光反射率より追跡対象物への入射光の分光分布を求める第１の算出工程と、
前記第１の算出工程で求めた入射光の分光分布と、前記第２の取得工程で取得した追跡対象物の分光反射率より追跡対象物固体の分光分布を求める第２の算出工程と、
前記追跡対象物を特定した監視装置以外の監視装置にて撮影した分光画像データを監視装置より取得する第５の取得工程と、
前記第５の取得工程で取得した分光画像データより追跡対象物の候補となるオブジェクトの分光反射率を取得する第６の取得工程と、
追跡対象物の候補となるオブジェクトを撮影した監視装置に保持している背景物情報より、追跡対象物の候補となるオブジェクトに対応する背景物を特定し、その背景物の分光反射率を前記分光画像データより取得する第７の取得工程と、
追跡対象物の候補となるオブジェクトを撮影した監視装置に保持している背景物情報より背景物の固体の分光分布を取得する第８の取得工程と、
前記第８の取得工程で取得した背景物の固体の分光分布と前記第７の取得工程で取得した背景物の分光反射率より、追跡対象物の候補となるオブジェクトへの入射光の分光分布を求める第３の算出工程と、
前記第３の算出工程で求めた入射光の分光分布と前記第６の取得工程で取得した追跡対象物の候補となるオブジェクトの分光反射率より追跡対象物の候補となるオブジェクトの固体の分光分布を求める第４の算出工程と、
前記第２の算出工程で求めた追跡対象物固体の分光分布と前記第４の算出工程で求めた追跡対象物の候補となるオブジェクトの固体の分光分布とを比較し、類似度に基づいて追跡対象物の候補となるオブジェクトの情報を決定する決定工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項７】
監視制御装置および複数の監視装置により構成され、前記複数の監視装置において撮影された画像データを解析し対象物の特定を行う画像処理装置の制御方法をコンピュータに実行させるプログラムにおいて、
撮影される画像領域内に存在する物体の位置情報および物体固体の分光分布情報をもつ背景物情報を保持する保持手順と、
追跡対象物固体に近傍する背景物を抽出し、前記抽出した背景物の背景物情報を取得する抽出手順と、
前記抽出した背景物情報と撮影された画像データの分光反射率より背景物への入射光の分光分布を求める算出手順と、
前記背景物への入射光の分光分布と撮影された画像データより追跡対象物の分光反射率を求めて、前記追跡対象物固体の分光分布を求める算出手順と、
前記追跡対象物と同様に、異なる撮影画像データ内の追跡対象物の候補となるオブジェクトへの入射光の分光分布を求める算出手順と、
前記算出した入射光の分光分布と前記追跡対象物の候補となるオブジェクトの分光反射率より、追跡対象物の候補となるオブジェクトの固体の分光分布を求める算出手順と、
前記求めた追跡対象物固体の分光分布と前記求めた追跡対象物の候補となるオブジェクトの固体の分光分布とを比較し、類似度に基づいて追跡対象物の候補となるオブジェクトの情報を決定する決定手順と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
監視制御装置および複数の監視装置により構成され、前記複数の監視装置において撮影された画像データを解析し対象物の特定を行う画像処理装置の制御方法をコンピュータに実行させるプログラムにおいて、
追跡対象物を撮影した分光画像データを監視装置より取得する第１の取得手順と、
前記第１の取得手順で取得した分光画像データより追跡対象物の分光反射率を取得する第２の取得手順と、
追跡対象物を撮影した監視装置に保持している背景物情報より、追跡対象物に対応する背景物を特定し、その背景物の分光反射率を分光画像データより取得する第３の取得手順と、
追跡対象物を撮影した監視装置に保持している背景物情報より、背景物の固体の分光分布を取得する第４の取得手順と、
前記第４の取得手順で取得した背景物の固体の分光分布と、前記第３の取得手順で取得した背景物の分光反射率より追跡対象物への入射光の分光分布を求める第１の算出手順と、
前記第１の算出手順で求めた入射光の分光分布と、前記第２の取得手順で取得した追跡対象物の分光反射率より追跡対象物固体の分光分布を求める第２の算出手順と、
前記追跡対象物を特定した監視装置以外の監視装置にて撮影した分光画像データを監視装置より取得する第５の取得手順と、
前記第５の取得手順で取得した分光画像データより追跡対象物の候補となるオブジェクトの分光反射率を取得する第６の取得手順と、
追跡対象物の候補となるオブジェクトを撮影した監視装置に保持している背景物情報より、追跡対象物の候補となるオブジェクトに対応する背景物を特定し、その背景物の分光反射率を前記分光画像データより取得する第７の取得手順と、
追跡対象物の候補となるオブジェクトを撮影した監視装置に保持している背景物情報より背景物の固体の分光分布を取得する第８の取得手順と、
前記第８の取得手順で取得した背景物の固体の分光分布と前記第７の取得手順で取得した背景物の分光反射率より、追跡対象物の候補となるオブジェクトへの入射光の分光分布を求める第３の算出手順と、
前記第３の算出手順で求めた入射光の分光分布と前記第６の取得手順で取得した追跡対象物の候補となるオブジェクトの分光反射率より追跡対象物の候補となるオブジェクトの固体の分光分布を求める第４の算出手順と、
前記第２の算出手順で求めた追跡対象物固体の分光分布と前記第４の算出手順で求めた追跡対象物の候補となるオブジェクトの固体の分光分布とを比較し、類似度に基づいて追跡対象物の候補となるオブジェクトの情報を決定する決定手順と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項９】
請求項７または８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理装置の制御方法に関し、特に、複数の監視カメラで撮影された画像内に存在する対象物を追跡し、色による対象物の特定を行う技術に関する。
【背景技術】
【０００２】
従来、人物や車両などを監視対象物とし、複数のカメラ間において対象物の照合を行う技術が存在している。例えば、人物を対象とした場合は顔認識や歩行状態を解析した技術、車両を対象物とした場合は車両の形状、車両ナンバーを解析した技術が存在している。これらの技術は、撮影された対象物の向きや撮影位置などにより必ずしも認識に適した画像が得られるとは限らない。
【０００３】
色の特徴量を抽出する従来技術（非特許文献１）では、色の特徴量としてＲＧＢの三次元色ヒストグラムを用いている。求めたヒストグラム間の類似度の差により人物の対応付けを行っている。このようなＲＧＢ値の色空間では、光源の影響を除去した場合、異なる物体になる可能性がある。特に、屋外を含めた広領域に設置された監視カメラでは、物体への入射光が同じであることは稀である。そのため、判定精度が低下する場合がある。
【０００４】
前述のように、光源により見え方が変わる色空間ではなく、分光を用いた画像処理により照明用光源を除去して求めた色特徴量を用いる技術が存在する（特許文献１）。特許文献１では、画像により色が変化する要因となる光源特性及び被写体の分光反射率を推定することで、光源変動の影響を除去した被写体固有の色を推定する。これにより、光源環境に依存しない色にて対象物の比較を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２３１９２１号公報
【非特許文献】
【０００６】
【非特許文献１】本田拓也、他４名、「入退室解析の色特徴量を用いた人物対応付けに関する検討」電子情報通信学会総合大会講演論文集２００９年＿情報・システム（２）、２２５、２００９−０３−０４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
物体の色は光により変動する。しかしながら、監視カメラの撮影領域内は常に光が一様にあたるとは限らない。特に、屋外などに設置された撮影領域では建物や木などの影にあたる箇所は暗くなる。前述の特許文献１では、撮影領域内の入射光の違いを考慮して物体の分光反射率を求めておらず、異なる入射光により色の特徴量を求めているので、物体検知の精度が低下する問題点があった。
本発明は前述の問題点に鑑み、対象物固有の分光反射率を求め、撮影領域内の入射光の違いを考慮した物体検知を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、監視制御装置および複数の監視装置により構成され、前記複数の監視装置において撮影された画像データを解析し対象物の特定を行う画像処理装置において、撮影される画像領域内に存在する物体の位置情報および物体固体の分光分布情報をもつ背景物情報を保持する保持手段と、追跡対象物固体に近傍する背景物を抽出し、前記抽出した背景物の背景物情報を取得する抽出手段と、前記抽出した背景物情報と撮影された画像データの分光反射率より背景物への入射光の分光分布を求める算出手段と、前記背景物への入射光の分光分布と撮影された画像データより追跡対象物の分光反射率を求めて、前記追跡対象物固体の分光分布を求める算出手段と、前記追跡対象物と同様に、異なる撮影画像データ内の追跡対象物の候補となるオブジェクトへの入射光の分光分布を求める算出手段と、前記算出した入射光の分光分布と前記追跡対象物の候補となるオブジェクトの分光反射率より、追跡対象物の候補となるオブジェクトの固体の分光分布を求める算出手段と、前記求めた追跡対象物固体の分光分布と前記求めた追跡対象物の候補となるオブジェクトの固体の分光分布とを比較し、類似度に基づいて追跡対象物の候補となるオブジェクトの情報を決定する決定手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、追跡対象物と同じ入射光の背景物を取得し、予め保持している背景物の固体の分光分布より追跡対象物の入射光の分光分布を推定し、追跡対象物固体の分光分布を取得することにより、物体検知の精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る画像処理装置の構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態に係る監視装置の構成の一例を示すブロック図である。
【図３】本発明の第１の実施形態に係る画像処理装置の一構成要素である監視制御装置及び対象物検知装置で使用されるコンピュータシステムの構成の一例を示すブロック図である。
【図４】本発明の第１の実施形態に係る監視装置の一構成要素である撮像装置の構成例を示すブロック図である。
【図５】本発明の第１の実施形態に係る監視制御装置の処理手順の一例を示すフローチャートである。
【図６】本発明の第１の実施形態に係る追跡対象物情報の取得処理の一例を示すフローチャートである。
【図７】本発明の第１の実施形態に係る追跡対象物及び対象物の候補に係る情報を格納するための追跡対象物情報テーブルの一例を示す図である。
【図８】本発明の第１の実施形態に係る追跡対象物撮影画像の一例を示す図である。
【図９】本発明の第１の実施形態に係る追跡対象物情報の検知処理の一例を示すフローチャートである。
【図１０】本発明の第１の実施形態に係る背景物情報テーブルの取得処理の一例を示すフローチャートである。
【図１１】本発明の第１の実施形態に係る撮影領域を分割した一例を示す図である。
【図１２】本発明の第１の実施形態に係る背景物情報テーブルの一例を示す図である。
【図１３】本発明の第１の実施形態に係る分光反射率における比較の一例を示す図である。
【図１４】本発明の第２の実施形態に係る画像処理装置の構成要素の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して。本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
［第１の実施形態］
図１は、本発明の実施形態における画像処理装置の一例を示すブロック図である。本実施形態の画像処理装置は、監視制御装置１０１及び２つ以上の複数の監視装置（１０２から１０７）により構成され、複数の監視装置において撮影された画像データを解析し、対象物の特定を行う。これらの監視制御装置１０１、監視装置（１０２から１０７）はネットワーク１０８で接続されている。
【００１２】
監視制御装置１０１は、追跡対象物がいずれかの監視装置（１０２から１０７）により検出された場合、その追跡対象物の情報を、ネットワーク１０８を経由して他の監視装置へ転送する。そして、追跡対象物と類似する色特徴量を持つ対象物が撮影されたかどうかを検出させる。
【００１３】
また、監視制御装置１０１は、各監視装置（１０２から１０７）より検出結果が送付された場合、候補となる対象物の情報を取得し、検出された監視装置やその候補となる対象物の情報や画像データを、後述する出力装置３０８に表示する。その他の監視制御装置１０１及び各情報の詳細については、後述する「監視制御装置」にて説明する。
【００１４】
いずれかの監視装置（１０２から１０７）である監視装置２０１は、図２に示すように撮像装置２０２と対象物検知装置２０３で構成される。
撮像装置２０２は、分光特性が取得可能な撮像装置、例えばマルチバンドカメラなどの撮像装置を用いて構成され、分光画像データを生成する。
【００１５】
対象物検知装置２０３は、撮像装置２０２で生成された分光画像データより追跡対象物の検出を行う。
監視制御装置１０１より送られてきた追跡対象物情報より撮像装置２０２で撮影された画像データにおいて、追跡対象物と類似する対象物を検知し、候補対象物があれば候補対象物情報を監視制御装置１０１に転送する。その他の監視装置及び各情報の詳細については、「監視装置における撮像装置」及び「監視装置における対象物検知装置」にて説明する。
【００１６】
以下に各装置の構成について説明する。
＜監視制御装置＞
本実施形態における画像処理装置の一構成要素である監視制御装置１０１は、図３に示すようなコンピュータシステムにより構成される。
具体的には、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、外部記憶装置３０４、Ｉｎｐｕｔ Ｉ／Ｆ３０５、入力装置３０６、ＯｕｔｐｕｔＩ／Ｆ３０７、出力装置３０８、ネットワークＩ／Ｆ３０９を具備する。
【００１７】
ＣＰＵ３０１は、コンピュータシステムの全体の制御処理を行うものである。
ＲＯＭ（Read Only Memory）３０２は、読出し専用メモリである。ＲＯＭ３０２は、使用者が電気的にプログラムを書き込むことができるＰＲＯＭ（Programmable ROM）と製造するときに内容を書き込むマスクＲＯＭとがあるが、本実施形態においては何れのＲＯＭであってもよい。
【００１８】
ＲＡＭ（Random Access Memory）３０３は、自由書き込み・自由読出しができるメモリである。ＲＡＭ３０３は、本実施形態の処理を行う際に一時的にデータを蓄える等の機能を有する。
【００１９】
外部記憶装置３０４は、不揮発性の記憶装置である。外部記憶装置３０４には、例えば、ＨＤドライブ、ＦＤドライブ、ＭＯドライブ、ＣＤ−ＲＷドライブ、ＤＶＤ−ＲＷドライブ、Ｂｌｕ−ｒａｙ（登録商標）ドライブ等がある。外部記憶装置３０４は、プログラムデータを格納するとともに、プログラムデータの動作に必要なデータを格納することができる。
【００２０】
ＩｎｐｕｔＩ／Ｆ３０５は、コンピュータシステムが具備するキーボード、マウスなどからの入力装置３０６からの入力信号を処理するものであり、コンピュータシステムの操作及びデータ入力に用いられるものである。
【００２１】
入力装置３０６は、ＩｎｐｕｔＩ／Ｆ３０５を経由してコンピュータシステムへ入力信号を送るためのキーボード、マウスなどがある。
ＯｕｔｐｕｔＩ／Ｆ３０７はコンピュータシステムに接続されるモニタやプリンタなどからの出力信号を処理するものであり、コンピュータシステムの操作及びデータ出力に用いられるものである。
【００２２】
出力装置３０８は、ＯｕｔｐｕｔＩ／Ｆ３０７を経由してコンピュータシステムからの出力信号を受信して処理する出力装置を示している。この出力装置３０８はＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、リアプロジェクションテレビまたはフロントプロジェクタおよびその制御回路を用いて実現される。
【００２３】
システムバス３１０は、コンピュータシステム内の各ブロック間の各種データのやりとり及び電力の供給をするものである。システムバス３１０は、アドレス線、データ線、制御線、電源・グラウンド線等からなる。
【００２４】
ネットワークＩ／Ｆ３０９は、イントラネットなどのネットワークに接続するための通信制御を処理し、ユーザの環境に応じてさまざまな通信インタフェースが適用される。無線ＬＡＮやイーサーネットインタフェースに接続される。
【００２５】
＜監視装置における撮像装置＞
本実施形態における監視装置２０１の一構成要素である撮像装置２０２は、分光特性が取得可能な撮像装置を用いる。本撮像装置の一例を図４において説明する。
図４において、４０１はレンズやシャッターで構成される入光部、４０２は異なる分光透過率を持つ４種類以上のカラーフィルタ、４０３はイメージセンサである。また、４０４はゲイン調整部（ＡＧＣ）、４０５はＡ／Ｄ変換部、４０６は信号処理部、４０７は外部記憶装置、４０８はＤ／Ａ変換部、４０９は表示部である。４１０はＣＰＵであり各構成の処理全てに係る。４１１はＲＯＭ、４１２はＲＡＭであり、ＣＰＵ４１０の処理に必要なプログラム、データ、作業領域等を格納する。４１３はユーザがカメラの動作を指示するための操作部である。
【００２６】
前述した撮像装置２０２の処理の一例を説明する。
撮像した対象物からの光は入光部４０１及びカラーフィルタ４０２を介してイメージセンサ４０３へ到達し、光電変換によって電気信号に変換される。イメージセンサ４０３で変換された電気信号は、ゲイン調整部４０４で予め設定されたゲイン値によりゲイン調整が行われる。
【００２７】
ゲイン調整された電気信号が、Ａ／Ｄ変換部４０５でデジタル信号に変換される。その後、変換されたデジタル信号は信号処理部４０６でデモザイキング、ノイズリダクション等の画像処理が行われ、分光画像データが生成される。また、信号処理部４０６によって生成された分光画像データは記憶装置４０７に格納される。
信号処理部４０６によって生成された分光画像データよりＲＧＢ値に変換され、Ｄ／Ａ変換部４０８によって電圧に変換され、表示部４０９に表示される。
【００２８】
＜監視装置における対象物検知装置＞
次に、本実施形態における監視装置２０１の一構成要素である対象物検知装置２０３について説明する。
本実施形態における対象物検知装置は、図３に示すようなコンピュータシステムにより構成される。図３に示すコンピュータシステムに関しては既に「監視制御装置」にて説明しているため省略する。
【００２９】
ここまで、本実施形態における画像処理装置の構成に関して説明した。以下に、本実施形態における監視制御装置及び監視装置の処理に関して説明する。
＜監視制御装置の処理＞
本実施形態における監視制御装置１０１の処理に関して、図５を用いて説明する。
ネットワーク１０８に接続されている任意の監視装置において、追跡する対象物に関する情報（以降、「追跡対象物情報」と述べる）が転送された場合、Ｓ５０１にて、追跡対象物情報及び転送した監視装置の識別情報を取得しＲＡＭ３０３に保持する。
【００３０】
Ｓ５０２において、追跡対象物情報を転送した監視装置以外の監視装置に、取得した追跡対象物情報を転送し、追跡対象物の検知処理を実行する。追跡対象物の検知処理については以降の「監視装置における追跡対象物の検知処理」で詳細に述べる。各監視装置において、追跡対象物と類似する対象物があった場合、追跡対象物候補としてその画像データ等（以降、「追跡対象物候補情報」と述べる）が転送される。
【００３１】
Ｓ５０３において、ネットワーク１０８を経由して、取得した追跡対象候補情報と転送した監視装置の識別情報をＲＡＭ３０３に保存する。
Ｓ５０４において、送付された追跡対象物候補情報を監視装置の識別情報と共に出力装置３０８に表示する。
前記、追跡対象物情報及び追跡対象物候補情報の詳細については、「監視装置における追跡対象物情報の取得処理」及び「監視装置における追跡対象物情報の検知処理」で説明する。
【００３２】
＜監視装置における追跡対象物情報の取得処理＞
ネットワーク１０８に接続されている監視装置（１０２を例として説明する）が、追跡対象物情報を監視制御装置１０１に転送するまでの処理（追跡対象物の取得処理）について、図６及び図７、図８を用いて説明する。図６は追跡対象物の取得処理のフローチャートを示す。図７は追跡対象物に係る情報を格納する追跡対象物情報テーブルを示す。また、図８は追跡対象物撮影画像の一例を示す。
【００３３】
Ｓ６０１において、撮像装置２０２に係る背景物情報テーブルの取得を行う。この背景物情報テーブルは、撮像装置２０２で撮影される画像領域内で静止している被写体に関する情報、例えば、撮影される画像領域内に存在する物体の位置情報および物体固体の分光分布情報をもつ背景物情報に関する情報を格納したテーブルである。この背景物情報テーブルおよびこのテーブルの作成方法に関しては、「監視装置の背景物情報テーブルの取得処理」にて詳細に説明する。
【００３４】
Ｓ６０２において、監視装置１０２の撮像装置２０２で撮影された映像より追跡すべき被写体が映っている画像データ（以降、「追跡対象物撮影画像データ」と述べる）の取得を行う。追跡対象物撮影画像データは、記憶装置４０７に格納されている撮像装置２０２で生成された画像を出力装置３０８に表示し、ユーザが入力装置３０６により画像データを選択することにより取得する。
【００３５】
選択された画像データは、ＲＧＢ画像とそのＲＧＢ画像に対応した分光画像データが取得される。また、この分光画像データより追跡対象物の分光反射率を取得する。例えば、追跡対象物撮影画像データを、監視装置１０２のディスプレイなどの出力装置３０８に表示した一例を図８（ａ）に示す。取得された追跡対象物撮影画像データは、追跡対象物情報テーブルの対象物撮影画像データ７０２に格納され、ＲＡＭ３０３に保持される。
【００３６】
Ｓ６０３において、ユーザが入力装置３０６を用いて、Ｓ６０２で求めた対象物撮影画像データ内に存在する追跡対象物を指定する。以降、指定された画像データを「追跡対象物画像データ」と述べる。指定された追跡対象物画像データは、追跡対象物情報テーブルの対象物画像データ７０３として、ＲＡＭ３０３に保持される。本実施形態においては、追跡対象物画像データを画像データとして格納するがこれに限らず、対象物撮影画像データ７０２における座標領域を保持することも可能である。
【００３７】
また、ユーザが追跡対象物を指定する方法は、画像データ内に存在するオブジェクトを自動的に抽出し、抽出された各オブジェクトの画像データを選択することにより指定してもよい。
例えば、図８（ａ）に示した追跡対象物撮影画像データにおいて、追跡対象物を選択した場合の一例を（ｂ）に示す。太線で選択された箇所が追跡対象物情報テーブルの対象物画像データ７０３となる。追跡対象物情報テーブルの対象物画像データ７０３はＲＡＭ３０３に保持される。
【００３８】
Ｓ６０４において、追跡対象物に近傍している被写体（以降「追跡対象物の背景物」と述べる）情報を求める。本処理に関しては、「監視装置の背景物情報テーブルの取得処理」にて詳細に述べる。取得した追跡対象物の背景物情報は、ＲＡＭ３０３に保持される。すなわち、追跡対象物固体に近傍する背景物を抽出し、背景物情報を取得する。また、被写体情報は、追跡対象物を撮影した監視装置から取得する。すなわち、追跡対象物を撮影した監視装置に保持している背景物情報より、追跡対象物に対応する背景物を特定し、その背景物の分光反射率を、分光画像データより取得する。この分光画像データは、Ｓ６０２で取得された分光画像データである。
【００３９】
Ｓ６０５において、Ｓ６０４より取得された追跡対象物の背景物情報より、Ｓ６０１で取得した背景物情報テーブルから背景物の固体の分光分布（Rx（λ））を求める。追跡対象物を撮影した監視装置に保持している背景物情報より、背景物の固体の分光分布を取得する。この背景物の固体の分光分布は、監視装置に保持している背景情報に含まれる背景物の物体固体の分光分布情報である。例えば、Ｓ６０４で取得した追跡対象物の背景物が壁の場合、Ｓ６０５では壁の分光分布を求める。
Ｓ６０６において、Ｓ６０５で取得した背景物の固体の分光分布（Rx（λ））と、Ｓ６０２で求めた対象物撮影画像データ７０２より背景物の分光反射率（Cｘ（λ））を取得し、以下の式１より入射光の分光分布（Ex(λ)）を算出する。
Ex(λ)＝Cx(λ)/Rｘ（λ）    ・・・式１
算出された入射光の分光分布（Ex(λ)）は追跡対象物情報テーブルの撮影入射光情報７０５としてＲＡＭ３０３に格納される。このように、Ｓ６０５で取得した背景物情報とＳ６０２で求めた撮影画像データの分光反射率より、背景物への入射光の分光分布を求める。そして、Ｓ６０５で取得した背景物の固体の分光分布と、Ｓ６０２で取得した背景物の分光反射率より、追跡対象物への入射光の分光分布を求める。
【００４０】
Ｓ６０７において、Ｓ６０６で取得した入射光の分光分布（Ex(λ)）とＳ６０３で取得した追跡対象物画像データより追跡対象物画像の分光反射率（Cy（λ））を取得し、追跡対象物固体の分光分布（Ry(λ)）を式２により算出する。
Ry(λ)=Cy(λ)×Ex(λ)    ・・・式２
求めた追跡対象物固体の分光分布（Ry(λ)）は、追跡対象物情報テーブルの対象物固体の分光反射率７０４に格納される。このように、背景物への入射光の分光分布と撮影された画像データより追跡対象物の分光反射率を求めて、追跡対象物固体の分光分布を求める。すなわち、Ｓ６０６で求めた入射光の分光分布と、Ｓ６０３で取得した追跡対象物の分光反射率より、追跡対象物固体の分光分布を求める。
【００４１】
Ｓ６０８において、追跡対象物情報テーブルの撮像装置の設置場所情報７０１に撮像装置を識別する情報として撮像装置の設置場所を格納する。また、撮像装置の記憶装置４０７に格納されている撮影された時間情報を取得し、追跡対象物情報テーブルの撮影時間情報７０６に格納する。前述したＲＡＭ３０３に格納されている追跡対象物情報テーブルを追跡対象物情報として監視制御装置１０１に転送する。
【００４２】
前述したように、本実施形態では、追跡対象物と同じ入射光の背景物を取得し、予め保持している背景物の固体の分光分布より追跡対象物の入射光の分光分布を推定し、追跡対象物固体の分光分布を取得する。
【００４３】
＜監視装置の背景物情報テーブルの取得処理＞
本実施形態における背景物情報テーブルの取得処理の一例を、図１０及び図１１、図１２を用いて説明する。図１０は、背景物情報テーブルの取得処理の一例を説明するフローチャートである。図１１は、撮影領域を分割した一例を示す。図１２は背景物情報テーブルの一例を示す。以下の処理で取得された背景物情報テーブルは対象物検知装置２０３のＲＯＭ３０２もしくはＲＡＭ３０３、外部記憶装置３０４に保存される。
【００４４】
Ｓ１００１において、撮影装置の場所を原点として人物が動作可能な撮影領域を等間隔に分割する。撮影領域を分割した一例を図１１（ａ）及び（ｂ）に示す。例えば、図１１（ｂ）は、上空から撮影領域を監視装置から等距離間隔で領域を分割した図である。図１１（ａ）は、監視装置で撮影される領域を地面と平行に等距離間隔で分割し、更に図１１（ｂ）と同様に上空から撮影領域を監視装置から等距離間隔で分割した図である。
【００４５】
分割した撮影領域は、番号で管理され背景物情報テーブルの撮影領域分割番号１２０１に番号が格納される。また、分割された領域は背景物情報テーブルの撮影領域情報１２０２に格納される。
【００４６】
Ｓ１００２において、分割された領域ごとに撮影画像に写される背景物をユーザが判断する。例えば、図１１（ａ）のように分割された領域ごとに写される被写体となる背景物が何か判断する。
具体的に述べると、図１１（ａ）の領域１４では壁が背景物と判断する。抽出された背景物の位置情報を撮像装置のセンサーにより取得する。取得した位置情報は背景物位置情報１２０３に格納される。
【００４７】
Ｓ１００３において、Ｓ１００２において、取得した背景物に対しユーザが分光測色器により背景物固体の分光分布（Rx（λ））を取得する。取得した背景物固体の分光分布（Rx（λ））を分割された領域の識別番号と共に対象物検知装置２０３の入力装置３０６により入力し、背景物情報テーブルの背景物固体の分光分布１２０４に格納する。本実施形態では、領域ごとに背景物の固体の分光分布を取得したが、同じ背景物であれば一度測色するだけでもよい。また、本実施形態では、領域ごとに背景物固体の分光分布を格納するが、背景物情報テーブルと、背景物固体の分光分布を別テーブルにして別管理しても構わない。
【００４８】
＜監視装置における追跡対象物の検知処理＞
本実施形態における追跡対象物の検知処理について図９のフローチャートを用いて説明する。
Ｓ９０１において、監視制御装置１０１より各監視装置（例として、監視装置１０３で説明する）に転送された追跡対象物情報を、ネットワーク１０８を経由して取得する。取得した追加対象物情報は監視装置１０３のＲＡＭ３０３に保持される。
【００４９】
Ｓ９０２において、監視装置１０３の背景物情報テーブルの取得を行う。この背景物情報テーブルの取得処理は、「追跡対象物の取得処理」のＳ６０１の「背景物情報テーブルの取得処理」と同じである。ここでは、追跡対象物固体に近傍する背景物を抽出し、抽出した背景物の背景物情報を取得する。
【００５０】
Ｓ９０３において、監視装置１０３で撮影された映像データから追跡対象物の候補を取得するために注目画像データを記憶装置４０７から取得する。すなわち、追跡対象物を特定した監視装置以外の監視装置にて撮影した分光画像データを、その監視装置より取得する。この分光画像データは、注目画像データである。
Ｓ９０４において、注目画像データ内に存在するオブジェクトを自動抽出する。そして、抽出されたオブジェクトにおいて、対象物候補画像データに設定する。そして、Ｓ９０３で取得した分光画像データより追跡対象物の候補となるオブジェクトの分光反射率を取得する。ここで、抽出されたオブジェクトの全てに対して色特徴量による人物検出を行うのではなく、従来の認識技術（顔認識や歩行の状態を検知して認識）を用いて、予め色特徴量を求めるオブジェクトを選択して決定しておいてもよい。
【００５１】
Ｓ９０５において、対象物候補画像の背景物情報の取得を行う。この処理は、「追跡対象物の取得処理」のＳ６０４の「追跡対象物の背景物情報の取得」と同様に行う。すなわち、追跡対象物の候補となるオブジェクトを撮影した監視装置に保持している背景物情報より、追跡対象物の候補となるオブジェクトに対応する背景物を特定し、その背景物の分光反射率を、Ｓ９０３で取得した分光画像データより取得する。
Ｓ９０６において、Ｓ９０５で求めた背景物情報とＳ９０２で求めた背景物情報テーブルより背景物固体の分光分布（Rｍ（λ））を取得する。すなわち、追跡対象物の候補となるオブジェクトを撮影した監視装置に保持している背景物情報より背景物の固体の分光分布を取得する。
【００５２】
Ｓ９０７において、Ｓ９０６で取得した背景物の固体の分光分布（Rm（λ））とＳ９０３で求めた注目画像データより背景物の分光反射率（Cｍ（λ））を取得し、以下の式３より入射光の分光分布（Eｍ（λ））を算出する。すなわち、Ｓ９０６で取得した背景物の固体の分光分布とＳ９０５で取得した背景物の分光反射率より、追跡対象物の候補となるオブジェクトへの入射光の分光分布を求める。すなわち、追跡対象物と同様に、異なる撮影画像データ内の追跡対象物の候補となるオブジェクトへの入射光の分光分布を求める。
Eｍ(λ)＝Cｍ(λ)/Rｍ（λ）    ・・・式３
算出された入射光の分光分布（Eｍ(λ)）は対象物候補情報テーブルの撮影入射光情報７０５としてＲＡＭ３０３に格納される。
【００５３】
Ｓ９０８において、Ｓ９０７で取得した入射光の分光分布（Eｍ(λ)）とＳ９０４で取得した注目画像データより対象物候補の分光反射率（Cn（λ））を取得し、対象物候補の固体の分光分布（Rn(λ)）を式４により算出する。以上のように、Ｓ９０７で求めた入射光の分光分布とＳ９０４で取得した追跡対象物の候補となるオブジェクトの分光反射率より、追跡対象物の候補となるオブジェクトの固体の分光分布を求める。すなわち、Ｓ６０６で算出した入射光の分光分布とＳ９０８で算出した追跡対象物の候補となるオブジェクトの分光反射率より、追跡対象物の候補となるオブジェクトの固体の分光分布を求める。
Rn(λ)=Cn(λ)×Eｍ(λ)    ・・・式４
求めた対象物候補の固体の分光分布（Rn(λ)）は、対象物候補情報テーブルの対象物固体画像の分光反射率７０４に格納される。
【００５４】
Ｓ９０９において、Ｓ９０１で取得した追跡対象物情報より追跡対象物固体の分光分布（Ry（λ））をＲＡＭ３０３より取得する。
Ｓ９１０において、Ｓ９０８で求めた追跡対象物候補の固体の分光分布（Rn(λ)）とＳ９０９で取得した追跡対象物固体の分光分布（Ry（λ））を取得し比較して類似度を求める。なお、追跡対象物と追跡対象物候補の画像は必ずしも大きさが一致するとは限らない。そのため、例えば、対象物における分光反射率において各波長の最大・最小範囲を求め比較を行う。
【００５５】
図１３を例にあげると、追跡対象物固体の分光反射率が図１３（ａ）のような範囲であったとする。また、追跡対象物の候補において固体の分光反射率が図１３（ｂ）のような範囲であった場合、２つを比較すると図１３（ｃ）に示すような差異が発生する。
各波長において定められた閾値内に分光反射率が含まれる場合、Ｓ９１２において追跡対象物の候補として、監視制御装置１０１に追跡対象物候補情報として、対象物候補情報テーブルを転送する。なお、取得した対象物候補は類似度の高いものから転送する。このように、Ｓ６０７で求めた追跡対象物固体の分光分布とＳ９０８で求めた追跡対象物の候補となるオブジェクトの固体の分光分布とを比較し、類似度に基づいて追跡対象物の候補となるオブジェクトの情報を決定する。以上のように、本実施形態では、追跡対象物の固体の分光分布と追跡対象物の候補のオブジェクトの固体の分光分布を比較する。其々の固体の分光分布は、以下のようにして求める。すなわち、撮影された画像データより、背景物を抽出し、その背景物の入射光の分光分布を求め、その入射光の分光分布を用いて、追跡対象物もしくは追跡対象物の候補のオブジェクトの分光反射率より、固体の分光分布を求める。
【００５６】
［第２の実施形態］
本発明の第１の実施形態における監視装置２０１は、監視制御装置へ転送するデータを削減し対象物の検知処理を分散させるために、各監視装置２０１内に対象物検知装置２０３を含め、撮像装置２０２と対象物検知装置２０３で構成されていた。しかし、第２の実施形態では、各監視装置２０１における対象物検知装置２０３の設置負担を考え、監視制御装置にて対象物の検知処理を実施する。
【００５７】
第２の実施形態における画像処理装置の構成要素の一例を、図１４を用いて説明する。
図１４に示すように、本実施形態の画像処理装置においては、監視制御装置１４０１は監視制御部１４０２と、対象物検知部１４０３で構成される。また、監視装置は撮像装置１４１０で構成される。
この場合、撮像装置１４１０で撮影された映像データはネットワーク１０８を経由して監視制御装置１４０１に逐次転送される。
【００５８】
また、この映像データは転送した撮像装置と対応づけて管理される。また、各監視装置で保持されていた背景情報テーブルは対象物検知部１４０３により、監視装置と背景情報テーブルで対応づけて管理される。これにより、映像データの撮影は分散された撮像装置１４１０（監視カメラ）上で実施され、画像データ等のデータ管理及び検知処理等は監視制御装置１４０１において実施する。
【００５９】
第１の実施形態における画像処理装置の監視装置の背景物情報テーブルの取得処理では、人が背景物に対して分光測色器により背景物の固体の分光分布を求めていた。しかし、第３の実施形態における画像処理装置では、これに限らず、既存の背景物の固体の分光分布を保持するデータベースがあった場合、それより求めても構わない。
【００６０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（または、ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６１】
１０１  監視制御装置
１０２〜１０７  監視装置
１０８  ネットワーク
【図１】
2016025522.tif 000003
【図２】
2016025522.tif 000004
【図３】
2016025522.tif 000005
【図４】
2016025522.tif 000006
【図５】
2016025522.tif 000007
【図６】
2016025522.tif 000008
【図７】
2016025522.tif 000009
【図９】
2016025522.tif 000010
【図１０】
2016025522.tif 000011
【図１２】
2016025522.tif 000012
【図１３】
2016025522.tif 000013
【図１４】
2016025522.tif 000014
【図８】
2016025522.tif 000015
【図１１】
2016025522.tif 000016