(57)【要約】【課題】動体が遠方であるか近接した位置であるかにかかわらず精度よく動体検出を行えるようにする。【解決手段】動体検出部３３の動体検出処理部３３１，３３２は、現在画像と過去画像を用いて動き検出領域の動体検出を行う。検出結果処理部３４は、動体検出処理部３３１，３３２のいずれかで動体が検出されたとき、動き検出領域で動体が検出されたとして、動き検出領域の動体検出結果が検出結果処理部３４から出力される。動体検出部３３では、動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる動体検出処理部３３１，３３２が用いられる。このため、動体が遠方であるか近接した位置であるかにかかわらず精度よく動体検出を行うことができるようになる。【選択図】        図３
2010267055.tif 000002
【特許請求の範囲】
【請求項１】
現在画像と過去画像を用いて動き検出領域の動体検出を行う複数の動体検出処理部と、
前記複数の動体検出処理部のいずれかで動体が検出されたとき、前記動き検出領域で動体が検出されたとして、前記動き検出領域の動体検出結果を出力する検出結果処理部とを備え、
前記複数の動体検出処理部として、前記動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる複数の動体検出処理部を用いた動体検出装置。
【請求項２】
前記複数の動体検出処理部は、前記現在画像における動き検出領域と前記過去画像における動き検出領域との相関に基づいて動体検出を行う第１の動体検出処理部と、前記現在画像と前記過去画像を用いて算出した前記現在画像における動き検出領域の動きベクトルに基づいて動体検出を行う第２の動体検出処理部を備える
請求項１記載の動体検出装置。
【請求項３】
前記第１の動体検出処理部は、前記第２の動体検出処理部に比べて、前記動き検出領域の広い領域サイズと、前記動き検出領域の低い解像度と、時間方向の高い解像度の、少なくともいずれかを用いることで、前記第２の動体検出処理部よりも、近接した前記動体に対する動体検出を行う
請求項２記載の動体検出装置。
【請求項４】
前記複数の動体検出処理部は、前記動き検出領域の領域サイズを複数設定して、領域サイズ毎に動体検出を行い、狭い領域サイズで動体検出を行うことで離れている前記動体に対する動体検出を行い、広い領域サイズで動体検出を行うことで近接している前記動体に対する動体検出を行う
請求項１記載の動体検出装置。
【請求項５】
前記複数の動体検出処理部は、前記動き検出領域の解像度を複数設定して、解像度毎に動体検出を行い、高い解像度で動体検出を行うことで離れている前記動体に対する動体検出を行い、低い解像度で動体検出を行うことで近接している前記動体に対する動体検出を行う
請求項４記載の動体検出装置。
【請求項６】
前記複数の動体検出処理部は、時間方向の解像度を複数設けて、解像度毎に動体検出を行い、低い解像度の画像を用いて動体検出を行うことで離れている前記動体に対する動体検出を行い、高い解像度の画像を用いて動体検出を行うことで近接している前記動体に対する動体検出を行う
請求項１記載の動体検出装置。
【請求項７】
前記検出結果処理部は、前記動体検出結果に、前記動体検出処理部のいずれで動きが検出されたかを示す情報を含める
請求項１記載の動体検出装置。
【請求項８】
動体検出処理部において、現在画像と過去画像を用いて動き検出領域の動体検出を複数の動体検出設定で行うステップと、
検出結果処理部において、前記複数の動体検出設定のいずれかにおける設定で動体が検出されたとき、前記動き検出領域で動体が検出されたとして、前記動き検出領域の動体検出結果を出力するステップとを有し、
前記複数の動体検出設定では、前記動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる複数の設定を行う動体検出方法。
【請求項９】
コンピュータを、
現在画像と過去画像を用いて動き検出領域の動体検出を複数の動体検出設定で行う機能手段と、
前記複数の動体検出設定のいずれかにおける設定で動体が検出されたとき、前記動き検出領域で動体が検出されたとして、前記動き検出領域の動体検出結果を出力する機能手段と、
前記複数の動体検出設定では、前記動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる複数の設定を行う機能手段として機能させるためのコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動体検出装置と動体検出方法とコンピュータ・プログラムに関する。詳しくは、動体が遠方であるか近接した位置であるかにかかわらず精度よく検出できるようにする。
【背景技術】
【０００２】
従来の監視カメラにおける侵入検知システムでは動体検出が行われている。例えば特許文献１では、誤差発生ブロック数に応じて動きを検出することが行われている撮像した画像データが複数エリアのブロックに分割される。また、各画像ブロックの平滑化された画像データの状態変化の有無が検出されて、検出された状態変化有無ブロックのマップと、既に検出されている状態変化有無ブロックのマップを比較して、状態変化有りブロックの移動に伴う誤差発生ブロック数が算出される。さらに、算出された誤差発生ブロック数が予め設定した数値を超えたときに動きを検知したと判断されている。
【０００３】
また、特許文献２の発明では、過去の複数枚の画像データが参照画像データとして保存される。この保存されている複数枚の参照画像データと撮影された画像データとで画素あるいは小領域での各々の差異が検出される。さらに、検出された差異の連続性あるいは出現性を元に画像データ中の移動物体が検出されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０２５５６号公報
【特許文献２】特開２００６−１０７４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、状態変化有りブロックの移動に伴う誤差発生ブロックの数が予め設定した数値を超えたとき動きを検知したと判別する場合、動体が遠方に位置していると、動き検知の精度低下を招くおそれがある。すなわち、動体が遠方であると、撮影画像における動体の画像サイズが小さい。したがって、動体が遠方であると誤差発生ブロックの数は大きくならず、動きを検知することができない。
【０００６】
また、撮影された画像データと参照画像データとで画素あるいは小領域での各々の差異から動体を検出する場合においても、動体が遠方であるか近接した位置であるかに応じて、差異の連続性や出現性が大きく変化する。したがって、動体が遠方であるときと近接した位置にあるときで、動体の検知精度が大きく変化してしまうおそれがある。
【０００７】
そこで、この発明では、動体が遠方であるか近接した位置であるかにかかわらず精度よく検出できる動体検出装置と動体検出方法を提供する。
【課題を解決するための手段】
【０００８】
この発明の第１の側面は、現在画像と過去画像を用いて動き検出領域の動体検出を行う複数の動体検出処理部と、前記複数の動体検出処理部のいずれかで動体が検出されたとき、前記動き検出領域で動体が検出されたとして、前記動き検出領域の動体検出結果を出力する検出結果処理部とを備え、前記複数の動体検出処理部として、前記動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる複数の動体検出処理部を用いた動体検出装置にある。
【０００９】
この発明においては、複数の動体検出処理部として、例えば現在画像における動き検出領域と過去画像における動き検出領域との相関に基づいて動体検出を行う第１の動体検出処理部と、現在画像と過去画像を用いて算出した現在画像における動き検出領域の動きベクトルに基づいて動体検出を行う第２の動体検出処理部を備える。第１の動体検出処理部は、第２の動体検出処理部に比べて、動き検出領域の広い領域サイズと、動き検出領域の低い解像度と、時間方向の高い解像度の、少なくともいずれかを用いることで、第２の動体検出処理部よりも、近接した動体の検出を行う。
【００１０】
また、複数の動体検出処理部は、動き検出領域の領域サイズを複数設定して、領域サイズ毎に動体検出を行い、狭い領域サイズで動体検出を行うことで離れている動体を検出して、広い領域サイズで動体検出を行うことで近接している動体を検出する。また、動き検出領域の解像度を複数設定して、解像度毎に動体検出を行い、高い解像度で動体検出を行うことで離れている動体を検出して、低い解像度で動体検出を行うことで近接している動体を検出する。また、時間方向の解像度を複数設けて、解像度毎に動体検出を行い、低い解像度の画像を用いて動体検出を行うことで離れている動体を検出して、高い解像度の画像を用いて動体検出を行うことで近接している動体を検出する。このような動体検出を行うことで、例えば動き検出領域の相関に基づいた動体検出と動き検出領域において算出した動きベクトルに基づいた動体検出のいずれかで動体検出を行う場合にも、離れている動体の検出や近接している動体の検出を行う。
【００１１】
この発明の第２の側面は、動体検出処理部において、現在画像と過去画像を用いて動き検出領域の動体検出を複数の動体検出設定で行うステップと、検出結果処理部において、前記複数の動体検出設定のいずれかにおける設定で動体が検出されたとき、前記動き検出領域で動体が検出されたとして、前記動き検出領域の動体検出結果を出力するステップとを有し、前記複数の動体検出設定では、前記動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる複数の設定を行う動体検出方法にある。
【００１２】
この発明の第３の側面は、コンピュータを、現在画像と過去画像を用いて動き検出領域の動体検出を複数の動体検出設定で行う機能手段と、前記複数の動体検出設定のいずれかにおける設定で動体が検出されたとき、前記動き検出領域で動体が検出されたとして、前記動き検出領域の動体検出結果を出力する機能手段と、前記複数の動体検出設定では、前記動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる複数の設定を行う機能手段として機能させるためのコンピュータ・プログラムにある。
【００１３】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【００１４】
この発明によれば、現在画像と過去画像を用いて動き検出領域の動体検出が複数の動体検出処理部によって行われる。また、複数の動体検出処理部のいずれかで動体が検出されたとき、動き検出領域で動体が検出されたとして、動き検出領域の動体検出結果が検出結果処理部から出力される。また、複数の動体検出処理部では、動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる複数の動体検出処理部が用いられる。このため、動体が遠方であるか近接した位置であるかにかかわらず精度よく動体検出を行うことができるようになる。
【図面の簡単な説明】
【００１５】
【図１】動体検出装置を撮像装置と一体に構成した場合を示す機能ブロック図である。
【図２】カメラヘッド部と別個に構成されている画像処理装置に動体検出装置を設けた場合を示す機能ブロック図である。
【図３】動体検出部の構成を示す図である。
【図４】動体検出範囲で画素毎に検出された動きベクトルを例示している。
【図５】第１の動体検出動作を説明するための図である。
【図６】第２の動体検出動作を説明するための図である。
【図７】第３の動体検出動作を説明するための図である。
【図８】第４の動体検出動作を説明するための図である。
【図９】動体の遠近状態に応じた動体検出方法と動き検出領域と時間方向の解像度の設定を例示した図である。
【図１０】コンピュータ装置の構成を示す図である。
【発明を実施するための形態】
【００１６】
以下、発明を実施するための形態について説明する。この発明では、複数の動体検出処理部を設けて動体検出を行い、動体が遠方の位置または近接した位置のいずれであっても、いずれかの動体検出処理部で動体を検出できるようにする。この複数の動体検出処理部では、例えば動体検出方法、空間方向の動き検出領域のサイズや解像度、時間方向の解像度の少なくともいずれかを変えて動体検出処理を行う。なお、説明は以下の順序で行う。
１．動体検出装置の構成
２．動体検出方法
３．動体検出動作
４．ソフトウェア処理で動体検出を行う場合の構成
【００１７】
＜１．動体検出装置＞
図１は、動体検出装置を撮像装置と一体に構成した場合を示す機能ブロック図である。撮像装置１０は、撮像部１１、信号処理部１２、符号化処理部１３、動体検出部３０、伝送部４０を備えている。
【００１８】
撮像部１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を用いて構成されている。撮像部１１は、例えば監視対象領域を撮像して画像信号を出力する。
【００１９】
信号処理部１２は、撮像部１１から出力された画像信号に対して、ノイズ除去やカラー処理、適切な諧調へ圧縮する等を行う処理である。
【００２０】
符号化処理部１３は、信号処理部１２で処理された画像信号に対して所定の符号化方式で画像信号の圧縮処理を行う。例えばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ４（Moving Picture Experts Group phase 4）等の方式で画像信号の符号化処理を行う。また、符号化処理部１３は、符号化処理を行って得られた符号化信号を伝送部４０に出力する。
【００２１】
動体検出部３０は、信号処理部１２から出力された画像信号に基づいて動体検出を行う。また、動体検出部３０は、動体検出結果を伝送部４０に出力する。
【００２２】
伝送部４０は、動体検出部３０からの動体検出結果、および符号化処理部１３で得られた符号化信号を、ネットワーク等を介して外部機器例えば監視制御を行う監視制御装置に供給する。
【００２３】
図２は、カメラヘッド部と別個に構成されている画像処理装置に動体検出装置を設けた場合を示す機能ブロック図である。画像処理装置２０は、画像入力部２１、信号処理部２２、符号化処理部２３、動体検出部３０、伝送部４０を備えている。
【００２４】
画像入力部２１は、カメラヘッド部（図示せず）を画像処理装置に接続するためのインタフェースである。画像入力部２１は、例えばカメラヘッド部からアナログの画像信号が供給されたとき、アナログの画像信号をディジタルの画像信号に変換する処理を行う。
【００２５】
信号処理部２２は、カメラヘッド部から供給された画像信号に対して、ノイズ除去やカラー処理、適切な諧調へ圧縮する等を行う。
【００２６】
符号化処理部２３は、信号処理部２２で処理された画像信号に対して所定の圧縮符号化方式で圧縮符号化を行う。例えばＪＰＥＧやＭＰＥＧ４等の方式で画像信号の圧縮符号化処理を行う。また、符号化処理部２３は、圧縮符号化処理を行って得られた符号化信号を伝送部４０に出力する。
【００２７】
動体検出部３０は、信号処理部２２から出力された画像信号に基づいて動体検出を行う。また、動体検出部３０は、動体検出結果を伝送部４０に出力する。
【００２８】
伝送部４０は、動体検出部３０からの動体検出結果、および符号化処理部２３で得られた符号化信号を、ネットワーク等を介して外部機器例えば監視制御を行う監視制御装置に供給する。
【００２９】
図３は、動体検出部の構成を示している。動体検出部３０は、ユーザが指定した位置を基準として、動体検出を行う。動体検出部３０は、座標指定部３１、過去画像保持部３２、検出処理部３３、検出結果処理部３４を備えている。
【００３０】
座標指定部３１は、検出処理部３３で動体検出を行う動き検出領域を、ユーザ操作に応じて設定する。例えば、ユーザが指定した位置を動き検出領域の基準として、検出処理部３３に通知する。
【００３１】
過去画像保持部３２は、検出処理部３３で動体検出を行う際に必要とされる過去画像を記憶する。また、過去画像保持部３２は、保持している過去画像を時間の経過と共に更新する。
【００３２】
検出処理部３３は、現在画像と過去画像を用いて動き検出領域の動体検出を行う複数の動体検出処理部で構成されている。複数の動体検出処理部は、動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が各動体検出処理部で異なる設定とされている。
【００３３】
例えば検出処理部３３は、複数の動体検出処理部として近距離動体検出処理部３３１と遠距離動体検出処理部３３２を有している。近距離動体検出処理部３３１と遠距離動体検出処理部３３２は、過去画像保持部３２に保持されている過去画像の画像信号と、信号処理部１２，２２から供給された現在画像の画像信号を用いて、動き検出領域に対する動体検出を行う。ここで、近距離動体検出処理部３３１は、近接している動体の検出を行うことができるように動体検出の設定を行う。また、遠距離動体検出処理部３３２は、離れている動体の検出を行うことができるように動体検出の設定を行う。複数の動体検出処理部における動体検出の設定では、例えば、動体検出方法、座標指定部３１から通知された位置を基準とした動き検出領域の範囲の設定、動き検出領域の解像度、時間方向の解像度等の設定を行う。
【００３４】
検出結果処理部３４は、検出処理部３３における複数の動体検出処理部の検出結果を統合処理して、伝送部４０に出力する。例えば、検出結果処理部３４は、複数の動体検出処理部のいずれかで動体が検出されたとき、動き検出領域で動体が検出されたとして、動き検出領域の動体検出結果を伝送部４０に出力する。また、検出結果処理部３４は、動体検出結果に、複数の動体検出処理部のいずれで動体が検出されたかを示す情報を含めるようにしてもよい。複数の動体検出処理部のいずれで動体が検出されたかを示す情報を動体検出結果に含めれば、検出された動体が近接した位置であるか離れた位置であるか判別できるようになる。
【００３５】
＜２．動体検出方法＞
検出処理部３３は、現在画像と過去画像を用いた動体検出方法として、正規化相互相関を用いた動体検出や動きベクトルを用いた動体検出を用いる。
【００３６】
正規化相互相関を用いた動体検出では、動き検出領域において、現在画像における動き検出領域の画像信号Ｏと、過去画像における動き検出領域の画像信号Ｐを用いて式（１）に基づき係数Ｒznccを算出する。なお、「Ｏavg」は画像信号Ｏの平均値、「Ｐavg」は画像信号Ｐの平均値を示している。
【００３７】
【数１】
2010267055.tif 000003
【００３８】
正規化相互相関の係数Ｒznccは、動体が動き検出領域内に含まれたとき係数Ｒznccが低い値となり、動体が画像内に含まれていないとき係数Ｒznccが高い値となる。したがって、係数Ｒznccが閾値よりも低い値となったとき動体が検出されたと判別する。
【００３９】
次に、動きベクトルを用いた動体検出について説明する。動きベクトルを用いた動体検出では、指定された座標周辺の一定範囲における動きベクトルを画素毎に計算する。
【００４０】
動きベクトルは、例えば勾配法やブロックマッチング法を用いて算出する。ここで、勾配法について説明する。ある点（ｘ，ｙ）およびフレームにおける画像の濃淡値をＩ（ｘ、ｙ、ｔ）とする。ここで、物体が移動したとき物体内のある点の濃淡値が変化しない場合、濃淡値Ｉの時間に関する微分値は式（２）に示すように「０」となる。
ｄＩ／ｄｔ＝０      ・・・（２）
【００４１】
また、式（２）をテイラー展開して、オプティカルフローにおけるｘ成分の時間に関する微分を「ｕ」、ｙ成分の時間に関する微分を「ｖ」とすると、式（３）に示す拘束条件式を得ることができる。なお、式（３）において、Ｉｘは、濃淡値Ｉについてのｘに関する偏微分である。また、Ｉｙ，Ｉｔは、濃淡値Ｉについてのｙ，ｔに関する偏微分である。
Ｉｘｕ＋Ｉｙｖ＋Ｉｔ＝０        ・・・（３）
【００４２】
さらに、式（３）の拘束条件式と、例えば広い範囲でオプティカルフローの空間的変化が最小となる拘束条件式、あるいは局所領域でオプティカルフローを一定とした拘束条件式を用いて、２次元方向の動きベクトルを求める。
【００４３】
また、ブロックマッチング法では２つの画像フレームから共通部分を検出して、２つのフレーム間での共通部分の移動方向や移動距離から動きベクトルを算出する。
【００４４】
なお、動きベクトルの算出方法は、勾配法やブロックマッチング法に限られるものではなく、他の方法を用いてもよい。
【００４５】
ここで、一定範囲に動体が含まれるときは、同じ方向で同じ大きさの動きベクトルをもつ画素の数が多くなる。また、一定範囲に動体が含まれていないときは、同じ方向で同じ大きさの動きベクトルをもつ画素の数は少ない。したがって、同じ方向で同じ大きさの動きベクトルをもつ画素の数が閾値よりも高い値となったとき動体が検出されたと判別する。
【００４６】
図４は、動体検出範囲で画素毎に検出された動きベクトルを例示している。例えば図４の（Ａ）に示すように、同じ方向で同じ大きさの動きベクトルをもつ画素の数が多く閾値を超えているときは、動体が検出されたと判別する。また、図４の（Ｂ）に示すように、同じ方向で同じ大きさの動きベクトルをもつ画素の数が少なく閾値を超えていないときは、動体が検出されていないと判別する。
【００４７】
動きベクトルの算出は、動き検出領域の全画素毎に算出してもよく、動き検出領域に含まれる特徴点や選択した箇所についてのみ動きベクトルを算出するようにしてもよい。
【００４８】
このように、検出処理部３３は、現在画像と過去画像を用いて正規化相互相関の係数や動きベクトル等を算出して、算出した係数や動きベクトル等に基づいて動体検出を行う。
【００４９】
なお、検出処理部３３は、現在画像と過去画像の画像信号を用いて動体検出を行うものとしたが、動体検出における演算結果を次の動体検出で利用できる場合には、この演算結果を記憶しておき、記憶されている演算結果と新たな現在画像を用いて動体検出を行うものとしてもよい。
【００５０】
＜３．動体検出動作＞
動体検出動作では、動体検出方法、空間方向の範囲、空間方向や時間方向の解像度の少なくともいずれかを変えて複数の動体検出処理を行い、動き検出領域の画像から検出される動体の遠近状態にかかわらず、動体を検出できるようにする。
【００５１】
ここで、動体が近接していると、画面上での移動が速く、画面上での表示サイズが大きい。また、動体が離れていると、画面上での移動が遅く、画面上での表示サイズが小さい。すなわち、近接している動体を検出するためには、動体検出範囲が広く、時間方向の解像度が高いことが望ましい。また、離れている動体を検出するためには、動体検出範囲における空間方向の解像度が高いことが望ましい。したがって、近距離動体検出処理部３３１では、近接している動体の検出を精度よく行うことができるように、動体検出方法、空間方向の範囲、空間方向や時間方向の解像度を設定する。また、遠距離動体検出処理部３３２では、離れている動体の検出を精度よく行うことができるように、動体検出方法、空間方向の範囲、空間方向や時間方向の解像度を設定する。
【００５２】
［第１の動体検出動作］
第１の動体検出動作では、動体検出方法として正規化相互相関を用いる場合について説明する。また、第１の動体検出動作では、近接している動体または離れている動体のいずれを検出するかに応じて、動体検出範囲すなわち動き検出領域の領域サイズと空間方向の解像度の設定を行う。
【００５３】
図５は、第１の動体検出動作を説明するための図であり、図５の（Ａ）は、近距離動体検出処理部３３１における動体検出の設定、図５の（Ｂ）は、遠距離動体検出処理部３３２における動体検出の設定を示している。
【００５４】
近距離動体検出処理部３３１と遠距離動体検出処理部３３２は、座標指定部３１で指定された位置を基準として動き検出領域ＡＲを設定する。ここで、図５に示すように、近距離動体検出処理部３３１は、遠距離動体検出処理部３３２に比べて動き検出領域を広く設定する。また、近距離動体検出処理部３３１は、遠距離動体検出処理部３３２に比べて動き検出領域の解像度を高く設定する。
【００５５】
このような設定を行うと、近距離動体検出処理部３３１は、動き検出領域が広くされているので、画面上での移動が速く画面上での表示サイズが大きい動体、すなわち近接している動体を精度よく検出できるようになる。また、遠距離動体検出処理部３３２は、動き検出領域が狭くても解像度が高くされているので、画面上での移動が遅く画面上での表示サイズが小さい動体、すなわち離れている動体を精度よく検出できるようになる。また、近距離動体検出処理部３３１は、遠距離動体検出処理部３３２よりも空間方向の解像度を低くすることで、動き検出領域が広くても相関の算出を容易に行うことができる。なお、空間方向の解像度を低くする方法としては、例えば画素の間引き等を行えばよい。また、複数画素単位で平均値を算出して、この平均値を用いるものとしてもよい。
【００５６】
［第２の動体検出動作］
第２の動体検出動作では、動き検出領域の領域サイズと空間方向の解像度の設定に加えて、時間方向の解像度の設定を行う。
【００５７】
図６は、第２の動体検出動作を説明するための図であり、図６の（Ａ）は、近距離動体検出処理部３３１における動体検出の設定、図６の（Ｂ）は、遠距離動体検出処理部３３２における動体検出の設定を示している。
【００５８】
近距離動体検出処理部３３１は、近接している動体が撮像装置またはカメラヘッドの前を通過したとき、現在画像と過去画像の少なくともいずれかに動体の画像が含まれるように、現在画像ＧＯと過去画像ＧＰのフレーム間隔を設定する。また、遠距離動体検出処理部３３２は、図６に示すように、現在画像と過去画像のフレーム間隔を近距離動体検出処理部３３１よりも長く設定する。
【００５９】
このような設定を行うと、近距離動体検出処理部３３１は、動体検出における時間方向の解像度が高いので、画面上での移動が速い動体、すなわち近接している動体を精度よく検出できるようになる。また、遠距離動体検出処理部３３２は、動体検出における時間方向の解像度が低いので、解像度が高い場合に比べて画面上での移動量が大きくなる。このため、画面上での移動が遅い動体、すなわち離れている動体を精度よく検出できるようになる。
【００６０】
［第３の動体検出動作］
第３の動体検出動作では、動体検出方法として動きベクトルを用いる場合について説明する。また、第３の動体検出動作では、近接している動体または離れている動体のいずれを検出するかに応じて、動き検出領域の領域サイズと空間方向の解像度の設定を行う。
【００６１】
図７は、第３の動体検出動作を説明するための図であり、図７の（Ａ）は、近距離動体検出処理部３３１における動体検出の設定、図７の（Ｂ）は、遠距離動体検出処理部３３２における動体検出の設定を示している。
【００６２】
近距離動体検出処理部３３１と遠距離動体検出処理部３３２は、座標指定部３１で指定された位置を基準として動き検出領域ＡＲを設定する。ここで、図７に示すように、近距離動体検出処理部３３１は、遠距離動体検出処理部３３２に比べて動き検出領域を広く設定する。また、近距離動体検出処理部３３１は、遠距離動体検出処理部３３２に比べて動き検出領域の解像度を高く設定する。
【００６３】
このような設定を行うと、近距離動体検出処理部３３１は、動き検出領域が広くされているので、画面上での移動が速く画面上での表示サイズが大きい動体、すなわち近接している動体の動きベクトルを算出できる。したがって、算出した動きベクトルに基づき、近接している動体を精度よく検出できるようになる。また、遠距離動体検出処理部３３２は、動き検出領域が狭くても解像度が高くされているので、画面上での移動が遅く画面上での表示サイズが小さい動体、すなわち離れている動体の動きベクトルを算出できる。したがって、算出した動きベクトルに基づき、離れている動体を精度よく検出できるようになる。
【００６４】
また、図７において、黒丸印は動きベクトルの算出を行う画素を示しており、遠距離動体検出処理部３３２に比べて近距離動体検出処理部３３１の解像度を低く設定する。このようにすれば、表示サイズが大きい近接した物体の検出が行われるときに算出する動きベクトルの数が多くなってしまうことを防止できる。
【００６５】
なお、動きベクトルの算出でブロックマッチング法を用いる場合、近距離動体検出処理部３３１と遠距離動体検出処理部３３２で探索範囲を異なる設定とすれば、検出する動き物体に対応した動きベクトルの算出処理を行うことができる。すなわち、近距離動体検出処理部３３１では画面上での移動が速い物体についての動きベクトルを算出する必要がある。しかし、遠距離動体検出処理部３３２では、画面上での移動が遅い物体についての動きベクトルを算出する。したがって、近距離動体検出処理部３３１では動き探索範囲を広く設定して、遠距離動体検出処理部３３２では動き探索範囲を近距離動体検出処理部３３１よりも狭く設定して、動きベクトルの算出を行う。このようにすれば、検出する動き物体に対応させて探索範囲を設定できるので、効率よく動きベクトルを算出できる。
【００６６】
［第４の動体検出動作］
第４の動体検出動作では、動き検出領域の領域サイズと空間方向の解像度の設定に加えて、時間方向の解像度の設定を行う。
【００６７】
図８は、第４の動体検出動作を説明するための図であり、図８の（Ａ）は、近距離動体検出処理部３３１における動体検出の設定、図８の（Ｂ）は、遠距離動体検出処理部３３２における動体検出の設定を示している。
【００６８】
近距離動体検出処理部３３１は、近接している動体が撮像装置またはカメラヘッドの前を通過したとき、現在画像と過去画像のいずれにも動体の画像が含まれるように、現在画像ＧＯと過去画像ＧＰのフレーム間隔を設定する。また、遠距離動体検出処理部３３２は、図８に示すように、現在画像ＧＯと過去画像ＧＰのフレーム間隔を近距離動体検出処理部３３１よりも長く設定する。
【００６９】
このような設定を行うと、近距離動体検出処理部３３１は、動体検出における時間方向の解像度が高いので、画面上での移動が速い動体について動きベクトルを算出できる。したがって、算出した動きベクトルに基づき、近接している動体を精度よく検出できるようになる。また、遠距離動体検出処理部３３２は、動体検出における時間方向の解像度が低いので、解像度が高い場合に比べて画面上での移動量が大きくなる。このため、画面上での移動が遅い動体、すなわち離れている動体の動きベクトルを正しく算出できる。したがって、算出した動きベクトルに基づき、離れている動体を精度よく検出できるようになる。
【００７０】
［第５の動体検出動作］
第５の動体検出動作では、動体検出方法として正規化相互相関と動きベクトルを用いる場合について説明する。
【００７１】
動体検出方法において、近距離動体検出処理部３３１は正規化相互相関を用いて近接した動体の検出を行う。遠距離動体検出処理部３３２は、動きベクトルを用いて離れた動体の検出を行う。
【００７２】
近接した動体は、上述したように、画面上で移動が速い。すなわち、現在画像と過去画像とのフレーム間隔を短くして、現在画像と過去画像の両方で動体を含むようにしないと動きベクトルを算出できない。しかし、正規化相互相関を用いれば、現在画像と過去画像のいずれか一方のみに動体が含まれていれば、動体検出が可能となる。したがって、近接した動体の検出では正規化相互相関を用いることが好ましい。
【００７３】
また、離れた動体は、上述したように、画面上での表示サイズが小さい。したがって、離れた動体が動き検出領域に含まれたことによって正規化相互相関の係数Ｒznccを変化させるためには、動き検出領域を小さくしなければならない。しかし、動き検出領域が小さく、動体の表示サイズも小さくなると、係数Ｒznccはノイズ等の影響を受けやすくなる。すなわち、離れた動体の動体検出に正規化相互相関を用いると、ノイズに対する頑健性が失われてしまうおそれがある。したがって、離れた動体の検出では動きベクトルを用いることが好ましい。
【００７４】
［他の動体検出動作］
動体検出動作では、第１〜第５の動体検出動作のいずれかを用いるだけでなく、複数の動体検出動作を組み合わせて行えば、動体が遠方であるか近接した位置であるかにかかわらず、さらに精度よく動体検出を行うことができる。
【００７５】
近距離動体検出処理部３３１は正規化相互相関を用いて近接した動体の検出を行う。遠距離動体検出処理部３３２は、動きベクトルを用いて離れた動体の検出を行う。さらに、近距離動体検出処理部３３１は、遠距離動体検出処理部３３２に比べて、動き検出領域の広い領域サイズと、動き検出領域の低い解像度と、時間方向の高い解像度の、少なくともいずれかを用いることで、遠距離動体検出処理部３３２よりも、近接した動体に対する動体検出を行う。すなわち、第５の動体検出動作に、第１〜第４の動体検出動作の少なくともいずれかを組み合わせて行うようにすれば、正規化相互相関または動きベクトルのいずれかを用いて動体検出を行う場合よりも、精度よく動体検出を行うことができる。
【００７６】
さらに、第１〜第５の動体検出動作を組み合わせることで、動体の遠近状態を細かに区分して動体検出を行うことができる。図９は、動体の遠近状態に応じた動体検出方法と動き検出領域と時間方向の解像度の設定を例示している。なお、図９は、動体の遠近状態を４つに区分して動体検出を行う場合である。また、検出処理部３３には、区分毎に動体検出処理部を設ける。
【００７７】
第１の動体検出処理部は、正規化相互相関の係数を算出して、係数が閾値を超えたか否かに基づいて動体の検出を行う。また、正規化相互相関の係数の算出では、動き検出領域における空間方向の解像度を低解像度として動き検出領域を広く設定する。また、現在画像と過去画像のフレーム間隔を短くして、すなわちフレームレートを高くして時間方向の解像度を高解像とする。
【００７８】
第２の動体検出処理部は、動きベクトルを算出して、同じ方向で同じ大きさの動きベクトルをもつ画素の数が閾値を超えたか否かに基づいて動体の検出を行う。また、動きベクトルの算出では、動き検出領域における空間方向の解像度を低解像度として動き検出領域を広く設定する。また、現在画像と過去画像のフレーム間隔を短くして、すなわちフレームレートを高くして時間方向の解像度を高解像とする。
【００７９】
第３の動体検出処理部は、動きベクトルを算出して、同じ方向で同じ大きさの動きベクトルをもつ画素の数が閾値を超えたか否かに基づいて動体の検出を行う。また、動きベクトルの算出では、動き検出領域における空間方向の解像度を高解像度として動き検出領域を狭く設定する。また、現在画像と過去画像のフレーム間隔を短くして、すなわちフレームレートを高くして時間方向の解像度を高解像とする。
【００８０】
第４の動体検出処理部は、動きベクトルを算出して、同じ方向で同じ大きさの動きベクトルをもつ画素の数が閾値を超えたか否かに基づいて動体の検出を行う。また、動きベクトルの算出では、動き検出領域における空間方向の解像度を高解像度として動き検出領域を狭く設定する。また、現在画像と過去画像のフレーム間隔を長くして、すなわちフレームレートを低くして時間方向の解像度を低解像とする。
【００８１】
第１〜第４の動体検出処理部で動体検出を行うと、動体が近接しているときには、この動体を第１の動体検出処理部で精度よく検出できる。また、動体が近接している状態から離れたときは、この動体を第２の動体検出処理部で精度よく検出できる。さらに、動体が離れているときは、この動体を第３の動体検出処理部で精度よく検出できる。さらに、動体が離れていると、この動体を第４の動体検出処理部で精度よく検出できる。
【００８２】
このように、動体の遠近状態に応じて４段階で動体検出を行うことが可能となり、動体までの距離依存性を低減させて精度よく動体検出を行うことができる。また、動体検出結果に、第１〜第４の動体検出処理部のいずれで動体が検出されたかを示す情報を含めるようにすれば、検出された動体が近接した位置であるか離れた位置であるか、さらに詳細に判別できるようになる。
【００８３】
＜４．ソフトウェア処理で動体検出を行う場合の構成＞
また、上述した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、コンピュータ・プログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。あるいは、各種処理が実行可能な汎用コンピュータにコンピュータ・プログラムをインストールして実行させる。
【００８４】
図１０は、上述した処理をコンピュータ・プログラムにより実行するコンピュータの構成を例示した図である。コンピュータ６０のＣＰＵ６１（Central Processing Unit）は、ＲＯＭ（Read Only Memory)６２、または記録部６８に記録されているコンピュータ・プログラムにしたがって各種の処理を実行する。
【００８５】
ＲＡＭ６３（Random Access Memory）には、ＣＰＵ６１が実行するコンピュータ・プログラムやデータなどが適宜記憶される。これらのＣＰＵ６１、ＲＯＭ６２、およびＲＡＭ６３は、バス６４により相互に接続されている。
【００８６】
ＣＰＵ６１にはまた、バス６４を介して入出力インタフェース６５が接続されている。入出力インタフェース６５には、タッチパネルやキーボード、マウス、マイクロフォンなどのユーザインタフェース部６６、画像信号を入力するための入力部６７、ディスプレイなどよりなる出力部６８が接続されている。ＣＰＵ６１は、ユーザインタフェース部６６から入力される指令に対応して、入力部６７から入力された画像信号を用いて各種の処理を実行する。そして、ＣＰＵ６１は、処理の結果を出力部６８に出力する。
【００８７】
入出力インタフェース６５に接続されている記録部６９は、例えばハードディスクからなり、ＣＰＵ６１が実行するコンピュータ・プログラムや各種のデータを記録する。通信部７０は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。
【００８８】
ドライブ７１は、リムーバブルメディア７２が装着されたとき、それらを駆動して、記録されているコンピュータ・プログラムやデータなどを取得する。取得されたコンピュータ・プログラムやデータは、必要に応じてＲＯＭ６２やＲＡＭ６３または記録部６９に転送される。
【００８９】
なお、コンピュータ・プログラムは、例えばハードディスクやＲＯＭ（Read Only Memory)に予め記録しておく。または、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルメディア７２に、一時的あるいは永続的に格納（記録）しておき、ドライブ７１で読み出すようにする。さらに、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータでは、通信部７０を介して転送されてきたコンピュータ・プログラムを受信し、内蔵するハードディスク等の記録媒体にインストールするようにしてもよい。
【００９０】
ＣＰＵ６１は、コンピュータ・プログラムを実行して、コンピュータ装置６０を、現在画像と過去画像を用いて動き検出領域の動体検出を複数の動体検出設定で行う機能手段として機能させる。また、コンピュータ装置６０を、複数の動体検出設定のいずれかにおける設定で動体が検出されたとき、動き検出領域で動体が検出されたとして、動き検出領域の動体検出結果を出力する機能手段として機能させる。さらに、コンピュータ装置６０を、複数の動体検出設定では、動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる複数の設定を行う機能手段として機能させる。
【００９１】
このようにすれば、入力部６７から入力された画像信号や、通信部７０を介して供給された画像信号に基づいて、動体が遠方であるか近接した位置であるかにかかわらず精度よく動体検出を行うことができる。
【００９２】
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【００９３】
この発明によれば、現在画像と過去画像を用いて動き検出領域の動体検出が複数の動体検出処理部によって行われる。また、複数の動体検出処理部のいずれかで動体が検出されたとき、動き検出領域で動体が検出されたとして、動き検出領域の動体検出結果が検出結果処理部から出力される。また、複数の動体検出処理部では、動き検出領域の画像から検出される動体の遠近状態に応じて動体検出特性が異なる複数の動体検出処理部が用いられて、動体が遠方であるか近接した位置であるかにかかわらず精度よく動体検出を行うことができる。このため、監視装置や侵入検知システム等に適している。
【符号の説明】
【００９４】
１０・・・撮像装置、１１・・・撮像部、１２，２２・・・信号処理部、１３，２３・・・符号化処理部、２０・・・画像処理装置、２１・・・画像入力部、２３・・・符号化処理部、３０・・・動体検出部、３１・・・座標指定部、３２・・・過去画像保持部、３３・・・検出処理部、３４・・・検出結果処理部、４０・・・伝送部、６０・・・コンピュータ装置、６１・・・ＣＰＵ、６２・・・ＲＯＭ、６３・・・ＲＡＭ、６４・・・バス、６５・・・入出力インタフェース、６７・・・入力部、６８・・・出力部、６９・・・記録部、７０・・・通信部、７１・・・ドライブ、７２・・・リムーバブルメディア、３３１・・・近距離動体検出処理部、３３２・・・遠距離動体検出処理部
【図１】
2010267055.tif 000004
【図２】
2010267055.tif 000005
【図３】
2010267055.tif 000006
【図４】
2010267055.tif 000007
【図５】
2010267055.tif 000008
【図６】
2010267055.tif 000009
【図７】
2010267055.tif 000010
【図８】
2010267055.tif 000011
【図９】
2010267055.tif 000012
【図１０】
2010267055.tif 000013