(57)【要約】      （修正有）【課題】動体の大きさに拘わらず、常に精度よく動体検出を行う。【解決手段】ブロック分割部１０４および１０５は第１および第２の画像１０１、１０２を第１の分割数で分割して第１および第２の上位階層画像を得る。ブロック分割部１０６および１０７は第１および第２の画像を第１の分割数よりも少ない第２の分割数で分割して第１および第２の上位階層画像を得る。動体検出部１０８は第１および第２の上位階層画像の着目ブロック領域を比較して着目ブロック領域が動体領域に該当するか否かを検出して第１の動体検出結果を得、動体検出部１０９は第１および第２の上位階層画像の着目ブロック領域を比較して着目ブロック領域が動体領域に該当するか否かを検出して第２の動体検出結果を得る。そして、動体検出結果合成部１１２は、第１および第２の動体検出結果と動体ブロック密度判定結果および動体内部判定結果に応じて、新たな動体検出結果１１４を生成する。【選択図】図１
2015176441.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置であって、
前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割手段と、
前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の上位階層画像および第２の上位階層画像を得る第２のブロック分割手段と、
前記第１の上位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出手段と、
前記第１の下位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出手段と、
前記第２の動体検出結果において前記着目ブロック領域が前記動体領域に含まれているか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成手段と、
を有することを特徴する画像処理装置。
【請求項２】
前記生成手段は、前記第２の動体検出結果において前記着目ブロック領域が前記動体領域に含まれていると、前記着目ブロック領域については前記第２の動体検出結果を用いるようにしたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記第２の動体検出結果において着目ブロック領域が動体領域に含まれていない場合に、前記第２の動体検出結果の着目ブロック領域に対応する前記第１の動体検出結果の着目ブロック領域において前記動体領域に属するブロックの数が所定の閾値よりも大きいと、前記着目ブロック領域については前記第１の動体検出結果を用いるようにしたことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記第２の動体検出結果において着目ブロック領域が動体領域に含まれていない場合に、前記第２の動体検出結果の着目ブロック領域に対応する前記第１の動体検出結果の着目ブロック領域において前記動体領域に属するブロックの数が前記所定の閾値以下であると、前記着目ブロック領域については前記第２の動体検出結果を用いるとこを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記第１の画像および前記第２の画像を撮像した際の感度に応じて、前記閾値を変更するようにしたことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記生成手段は、前記感度が高くなるにつれて前記閾値を大きくすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記生成手段は、前記第１の分割数よりも小さくかつ前記第２の分割数よりも大きい第３の分割数のブロックで第３の動体検出結果を得る際、前記第３の動体検出結果の着目ブロック領域のブロックに対応する前記第１の動体検出結果の領域において前記動体領域に属するブロックの数が所定の閾値以上であると、前記第３の動体検出結果の着目ブロック領域のブロックが前記動体領域に含まれているとし、前記第３の動体検出結果において着目ブロック領域が前記動体領域に含まれていると、当該着目ブロック領域については前記第３の動体検出結果を用いるようにしたことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記生成手段は、前記第２の動体検出結果において前記着目ブロック領域が前記動体領域に含まれていると、前記着目ブロック領域については前記第２の動体検出結果を用いるようにしたことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記生成手段は、前記第３の動体検出結果において着目ブロック領域が前記動体領域に含まれていないと、当該着目ブロック領域については前記第１の動体検出結果を用いるようにしたことを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
前記第１の検出手段は、前記第１の上位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域における画素値の差分の絶対値和が所定のブロック閾値よりも大きいと当該着目ブロック領域が前記動体領域に含まれるとし、
前記第２の検出手段は、前記第１の下位階層画像および前記第２の下位階層画像の各々に設定された着目ブロック領域における画素値の差分の絶対値和が所定のブロック閾値よりも大きいと当該着目ブロック領域が前記動体領域に含まれるとすることを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置の制御方法であって、
前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割ステップと、
前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の上位階層画像および第２の上位階層画像を得る第２のブロック分割ステップと、
前記第１の上位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出ステップと、
前記第１の下位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出ステップと、
前記第２の動体検出結果において前記着目ブロック領域が前記動体領域に含まれているか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成ステップと、
を有することを特徴する制御方法。
【請求項１２】
互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割ステップと、
前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の上位階層画像および第２の上位階層画像を得る第２のブロック分割ステップと、
前記第１の上位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出ステップと、
前記第１の下位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出ステップと、
前記第２の動体検出結果において前記着目ブロック領域が前記動体領域に含まれているか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成ステップと、
を実行させることを特徴する制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、異なる時間に撮像された画像において動体を検出処理する画像処理装置に関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの画像処理装置において、撮像の結果得られた画像において動体を検出処理することが行われている。例えば、動体の遠近状態に応じて、動体検出特性が異なる複数の動体検出処理を行って、いずれかの動体検出処理において動体が検出された場合に動体が検出されたとする手法がある（特許文献１参照）。
【０００３】
なお、動体検出特性が異なる動体検出処理とは、例えば、画像を複数のブロック領域に分割して動体検出を行う際にそのブロックサイズを異ならせて動体検出を行うことをいい、さらには、動体検出処理において解像度を異ならせて動体検出を行うことをいう。
【０００４】
さらに、動体検出処理を行う際、小さな動体に対応できるように、画像を所定の大きさのブロック領域に分割して、ブロック領域毎に輝度平均値又はエッジ情報などの特徴情報を求めて、その差分から動体検出を行うようにしたものがある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２６７０５５号公報
【特許文献２】特開２００８−９７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の手法においては、動体検出と誤検出とのトレードオフが発生することがある。例えば、動体検出特性としてブロックサイズを異ならせる場合、大きいサイズのブロックについては、近景の比較的大きい動体を検出することができる一方、検出精度が粗くなってしまう。一方、小さいサイズのブロックについて、遠景の比較的小さい動体を検出することができる半面、ノイズなどの信号変化を動体として検出する恐れがある。
【０００７】
よって、特許文献１に記載の手法では、精度よく動体検出を行うことが難しい。さらに、特許文献１に記載の手法においては、複数の動体検出処理を行う結果、不可避的に処理量および処理時間が増加することになる。
【０００８】
また、特許文献２に記載の手法では、小さい動体については微小変化又はエッジなどの代表値の変化に応じて動体の検出を行うものの、特許文献１に記載の手法と同様にノイズなどの信号変化を誤検出する恐れがある。このため、特許文献２に記載の手法においても精度よく動体検出を行うことが難しい。
【０００９】
そこで、本発明の目的は、動体の大きさに拘わらず、常に精度よく動体検出を行うことができる画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による画像処理装置は、互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置であって、前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割手段と、前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の上位階層画像および第２の上位階層画像を得る第２のブロック分割手段と、前記第１の上位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出手段と、前記第１の下位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出手段と、前記第２の動体検出結果において前記着目ブロック領域が前記動体領域に含まれているか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成手段と、を有することを特徴する。
【００１１】
本発明による制御方法は、互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置の制御方法であって、前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割ステップと、前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の上位階層画像および第２の上位階層画像を得る第２のブロック分割ステップと、前記第１の上位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出ステップと、前記第１の下位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出ステップと、前記第２の動体検出結果において前記着目ブロック領域が前記動体領域に含まれているか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成ステップと、を有することを特徴する。
【００１２】
本発明による制御プログラムは、互いに異なる時間に撮像された第１の画像および第２の画像において動体を示す動体領域を検出する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記第１の画像および前記第２の画像を第１の分割数で複数のブロックに分割してそれぞれ第１の上位階層画像および第２の上位階層画像を得る第１のブロック分割ステップと、前記第１の画像および前記第２の画像を前記第１の分割数よりも少ない第２の分割数で複数のブロックに分割して第１の上位階層画像および第２の上位階層画像を得る第２のブロック分割ステップと、前記第１の上位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第１の動体検出結果を得る第１の検出ステップと、前記第１の下位階層画像および前記第２の上位階層画像の各々に設定された着目ブロック領域を比較して当該着目ブロック領域が前記動体領域に該当するか否かを検出して第２の動体検出結果を得る第２の検出ステップと、前記第２の動体検出結果において前記着目ブロック領域が前記動体領域に含まれているか否かに応じて、前記着目ブロック領域について前記第１の動体検出結果および前記第２の動体検出結果のいずれを用いるか否かを決定して、前記第１の画像および前記第２の画像における前記動体領域を求める生成ステップと、を実行させることを特徴する。
【発明の効果】
【００１３】
本発明によれば、第２の動体検出結果において着目ブロック領域が動体領域に含まれているか否かに応じて、当該着目ブロック領域について第１の動体検出結果および第２の動体検出結果のいずれを用いるか否かを決定して動体領域を求める。これによって、動体の大きさに拘わらず、常に精度よく動体検出を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。
【図２】図１に示す密度判定部で行われる動体ブロック密度判定および動体内部判定部で行われる動体内部判定を説明するための図である。
【図３】図１に示す画像処理装置で行われる動体検出処理を説明するためのフローチャートである。
【図４Ａ】図１に示す画像処理装置で行われる動体検出処理において下位階層の着目ブロック領域が動体内部ブロックである際の処理を示す図である。
【図４Ｂ】図１に示す画像処理装置で行われる動体検出処理において下位階層の着目ブロック領域が非動体内部ブロックである際の処理を示す図である。
【図５】本発明の第２の実施形態による画像処理装置の一例についてその構成を示すブロック図である。
【図６】図６に示す画像処理装置で行われる動体検出処理を説明するためのフローチャートである。
【図７】図５に示す画像処理装置で行われる動体検出処理を説明するための図である。
【発明を実施するための形態】
【００１５】
以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
【００１６】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。
【００１７】
図示の画像処理装置１００は動体検出対象画像を取り込む。ここでは、説明の便宜上、動体検出対象画像を第１の入力画像１０１および第２の入力画像１０２とするが、これら第１の入力画像１０１および第２の入力画像１０２は同一の画像であって、時系列的に、例えば、連続的に撮像された画像である。つまり、画像処理装置１００は第１の入力画像１０１および第２の入力画像１０２の各々について少なくとも２フレーム分（つまり、互いに撮像された時間が異なる画像）を取り込むことになる。
【００１８】
画像処理装置１００は、後述するようにして、後述するようにして、第１の入力画像１０１および第２の入力画像１０２について動体検出処理（画像処理）を行って、動体検出結果１１４を出力する。例えば、画像処理装置は、互いに異なる２つのブロックサイズで第１の入力画像１０１および第２の入力画像１０２を分割して動体検出を行い、ブロック領域毎の動体検出結果に応じて最終的な動体検出結果を生成する。
【００１９】
なお、以下の説明では、互いに異なるブロックサイズで第１の入力画像１０１および第２の入力画像１０２を分割して動体検出処理を行うことを階層処理という。そして、小さいブロックサイズを上位階層といい、大きいブロックサイズを下位階層という。また、互いに異なるブロックサイズで得られた動体検出結果を用いて新たな動体検出結果を生成することを階層合成処理という。
【００２０】
画像処理装置１００は画像入力部１０３を有しており、この画像入力部１０３は第１の入力画像１０１および第２の入力画像１０２を取り込むための入力インターフェースである。画像入力部１０３にはブロック分割部１０４〜１０７が接続されている。ブロック分割部１０４および１０５は上位階層処理のためのブロック分割部であって、ブロック分割部１０４には現在（つまり時間的に後）の第１の入力画像１０１が入力され、ブロック分割部１０５には過去（つまり、時間的に前）の第１の入力画像１０１が入力される。そして、ブロック分割部１０４および１０５はそれぞれ第１の入力画像１０１をＮ１×Ｎ１（第１の分割数）の複数のブロック領域に分割して（以下このブロック領域を第１のブロック領域と呼ぶ）、第１の現在分割画像（第１の上位階層画像）および第１の過去分割画像（第２の上位階層画像）を出力する。
【００２１】
ブロック分割部１０６および１０７は下位階層処理のためのブロック分割部であって、ブロック分割部１０６には現在の第２の入力画像１０２が入力され、ブロック分割部１０７には過去の第２の入力画像１０２が入力される。そして、ブロック分割部１０６および１０７はそれぞれ第１の入力画像１０１をＮ２×Ｎ２（第２の分割数）の複数のブロック領域に分割して（以下このブロック領域を第２のブロック領域と呼ぶ）、第２の現在分割画像（第１の下位階層画像）および第２の過去分割画像（第２の下位階層画像）を出力する。
【００２２】
なお、ブロック領域のサイズは任意であり、例えば、動体検出を行う画像のサイズに応じて任意に決定される。また、ここでは、Ｎ１＞Ｎ２である。
【００２３】
動体検出部１０８および１０９は、ブロック分割部１０４〜１０７の出力である分割画像を受けて、これら分割画像を比較してブロック領域毎に当該ブロック領域に動体が存在するか否か、つまり、ブロック領域が動体ブロックであるか否かを判定する。
【００２４】
例えば、動体検出部１０８は、第１の現在分割画像および第１の過去分割画像について、互いに対応するブロック領域において当該ブロック領域の画素値の差分を求める。そして、動体検出部１０８はこれら差分の絶対値和を算出して、差分絶対値和が所定の差分閾値よりも大きいと、このブロック領域を動体ブロックであると判定する。一方、差分絶対値和が所定の差分閾値以下であると、動体検出部１０８はこのブロック領域を非動体ブロックであると判定する。そして、動体検出部１０８は全てのブロック領域について動体ブロックであるか否かを示す第１のブロック判定結果（第１の動体検出結果ともいう）を出力する。
【００２５】
同様にして、動体検出部１０９は、第２の現在分割画像および第２の過去分割画像について、互いに対応するブロック領域において当該ブロック領域の画素値の差分を求める。そして、動体検出部１０９はこれら差分の絶対値和を算出して、差分絶対値和が所定の差分閾値よりも大きいと、このブロック領域を動体ブロックであると判定する。一方、差分絶対値和が所定の差分閾値以下であると、動体検出部１０９はこのブロック領域を非動体ブロックであると判定する。そして、動体検出部１０９は全てのブロック領域について動体ブロックであるか否かを示す第２のブロック判定結果（第２の動体検出結果ともいう）を出力する。
【００２６】
なお、上述の閾値は、例えば、ユーザによって設定される。さらには、撮影条件などを考慮して動的に変更するようにしてもよい。
【００２７】
前述の第１の動体検出結果は密度判定部１１０および動体検出結果合成部１１２に送られる。また、第２の動体検出結果は動体内部判定部１１１および動体検出結果合成部１１２に送られる。
【００２８】
密度判定部１１０は、第１の動体検出結果に応じて、所定の着目ブロック領域の周辺に動体ブロックが集中しているか否かを判定する。例えば、密度判定部１１０は、所定の着目ブロック領域を含む周辺ブロック領域において動体ブロックの数を求める。そして、密度判定部１１０は動体ブロックの数が所定のブロック閾値よりも大きいと、着目ブロック領域に関して動体ブロック密度が高いと判定する。
【００２９】
一方、密度判定部１１０は、動体ブロックの数が所定のブロック閾値以下であると、着目ブロック領域に関して動体ブロック密度が低いと判定する。そして、密度判定部１１０は動体ブロック密度を示す動体ブロック密度判定結果を動体検出結果合成部１１２に送る。
【００３０】
動体内部判定部１１１は、第２の動体検出結果に応じて、所定の着目ブロック領域が動体の内部（つまり、動体の領域）に位置するか否かを判定する。例えば、動体内部判定部１１１は、着目ブロック領域を含む周辺ブロック領域についてその全ブロック領域が動体ブロックであると、着目ブロックが動体内部に位置する動体内部ブロックであると判定する。
【００３１】
一方、着目ブロック領域を含む周辺ブロック領域について少なくとも一つのブロック領域が非動体ブロックであると、動体内部判定部１１１は、着目ブロック領域が動体内部に位置しない非動体内部ブロックであると判定する。そして、動体内部判定部１１１は動体内部ブロックであるか否かを示す動体内部判定結果を動体検出結果合成部１１２に送る。
【００３２】
図２は、図１に示す密度判定部１１０で行われる動体ブロック密度判定および動体内部判定部１１１で行われる動体内部判定を説明するための図である。
【００３３】
前述のように、上位階層においては、第１の入力画像１０１はＮ１×Ｎ１のブロック領域２０２に分割されて、第１の分割画像２０１とされる。一方、第２の入力画像１０２はＮ２×Ｎ２のブロック領域２０４に分割されて、第１の分割画像２０３とされる。
【００３４】
上位階層の動体検出結果を示す第１の動体検出結果２０５において、灰色ブロック領域は動体ブロック２０５ａを示し、白色ブロック領域は非動体ブロック２０５ｂを示す。そして、実線で囲まれたブロック領域は着目ブロック領域２０５ｃをしめし、点線で囲まれたブロック領域は着目ブロック領域２０５ｃを中心とする周辺ブロック領域２０５ｄを示す。
【００３５】
いま、ブロック閾値が６ブロックであるとすると、着目ブロック領域２０５ｃの周辺に動体ブロック２０５ａが着目ブロック領域２０５ｃを含めて９ブロック中７ブロック存在する。よって、図示の第１の動体検出結果２０５においては、密度判定部１１０は着目ブロック領域２０５ｃの周辺には動体ブロック２０５ａが集中していると判定して、着目ブロック領域に関して動体ブロック密度が高いと判定する。
【００３６】
下位階層の動体検出結果を示す第２の動体検出結果２０６においては、着目ブロック領域２０６ｃを含む周辺ブロック領域２０６ｄの全てが動体ブロック２０６ａである。よって、動体内部判定部１１１は、着目ブロック領域２０６ｃが着目ブロック領域２０６ｃは動体内部ブロックであると判定することになる。
【００３７】
前述のように、動体検出結果合成部１１２は、第１および第２の動体検出結果と動体ブロック密度判定結果および動体内部判定結果を受ける。そして、動体検出結果合成部１１２は、第１および第２の動体検出結果と動体ブロック密度判定結果および動体内部判定結果に応じて、後述するようにして新たな動体検出結果を生成する。
【００３８】
動体検出結果出力部１１３は動体検出結果合成部１１２で生成された新たな動体検出結果を入力画像における動体検出結果として出力する。
【００３９】
図３は、図１に示す画像処理装置で行われる動体検出処理を説明するためのフローチャートである。
【００４０】
動体検出処理を開始すると、ユーザ操作に応じて、図示しない制御部は入力画像の分割ブロックサイズと階層数を決定する（ステップＳ４０１）。ここでは、階層数は２、上位階層の分割ブロックサイズはＮ１、下位階層の分割ブロックサイズはＮ２である（Ｎ１＜Ｎ２、例えば、Ｎ１＝４Ｎ２である）。
【００４１】
続いて、制御部の制御下で画像入力部１０３は第１の入力画像１０１および第２の入力画像１０２を取り込む（ステップＳ４０２）。ここでは、図１で説明したように、第１の入力画像１０１および第２の入力画像１０２は同一の画像であり、各々少なくとも２フレーム分が入力される。
【００４２】
続いて、ブロック分割部１０４および１０５は、前述のように、第１の入力画像１０１を分割ブロックサイズＮ１で分割して、それぞれ第１の現在分割画像および第１の過去分割画像を出力する。また、ブロック分割部１０６および１０７は、前述のように、第２の入力画像１０２を分割ブロックサイズＮ２で分割して、それぞれ第２の現在分割画像および第２の過去分割画像を出力する（ステップＳ４０３）。
【００４３】
次に、動体検出部１０８は、第１の現在分割画像および第１の過去分割画像に応じて前述のようにして、第１の動体検出結果を求める。同様に、動体検出部１０９は、第２の現在分割画像および第２の過去分割画像に応じて、第２の動体検出結果を求める（ステップＳ４０４）。そして、動体内部判定部１１１は、下位階層の着目ブロック領域が動体内部ブロックであるか否かを判定する（ステップＳ４０５）。
【００４４】
図４Ａは、図１に示す画像処理装置で行われる動体検出処理において下位階層の着目ブロック領域が動体内部ブロックである際の処理を示す図である。また、図４Ｂは、図１に示す画像処理装置で行われる動体検出処理において下位階層の着目ブロック領域が非動体内部ブロックである際の処理を示す図である。
【００４５】
図４Ａに示すように、第１の動体検出結果３０１および第２の動体検出結果３０４が得られたとする。下位階層の動体検出結果である第２の動体検出結果３０４において、着目ブロック領域３０５および３０７に関して、それぞれ周辺ブロック領域３０６および３０８が全て動体ブロック３０６ａおよび３０８ａである。この結果、動体内部判定部１１１は、下位階層の着目ブロック領域３０５および３０７が動体内部ブロックであると判定する。
【００４６】
一方、図４Ｂに示すように、第１の動体検出結果３２１および第２の動体検出結果３２４が得られたとする。下位階層の動体検出結果である第２の動体検出結果３２４において、着目ブロック領域３２５および３２７に関して、それぞれ周辺ブロック領域３２６および３２８にはそれぞれ動体ブロック３２６ａおよび３２８ａと非動体ブロック３２６ｂおよび３２８ｂとが存在する。この結果、動体内部判定部１１１は、下位階層の着目ブロック領域３２５および３２７がともに非動体内部ブロックであると判定する。
【００４７】
動体内部判定部１１１によって着目ブロック領域が動体内部ブロックであると判定されると（ステップＳ４０５において、ＹＥＳ）、動体検出結果合成部１１２は、下位階層の着目ブロック領域が動体内部ブロックである場合の階層合成処理を行う（ステップＳ４０６）。
【００４８】
図４Ａに示すように、上位階層の動体検出結果である第１の動体検出結果３０１において、着目ブロック領域３０５に対応する着目ブロック領域３０２には動体ブロック３０２ａおよび非動体ブロック３０２ｂが存在する。一方、前述のように、着目ブロック領域３０５は動体内部ブロックであるので、動体検出結果合成部１１２は、着目ブロック領域３０２を、全てのブロックが動体ブロック３０９ａである着目ブロック領域３０９とする。
【００４９】
つまり、下位階層において着目ブロック領域が動体内部ブロックと判定された際に、上位階層において対応する着目ブロック領域に非動体ブロックが存在すると判定され場合、当該上位階層の着目ブロック領域は動体領域であるにも拘わらず、上位階層において動体領域として未検出となった可能性が高い。このため、前述のように、動体検出結果合成部１１２は、着目ブロック領域３０２を、全てのブロックが動体ブロック３０９ａである着目ブロック領域３０９とする。
【００５０】
同様にして、着目ブロック領域３０７に対応する上位階層の着目ブロック領域３０３についても、動体ブロック３０３ａおよび非動体ブロック３０３ｂが存在するが、動体検出結果合成部１１２は、着目ブロック領域３０３を、全てのブロックが動体ブロック３１０ａである着目ブロック領域３１０とする。
【００５１】
つまり、ここでは、当該着目ブロック領域に関しては、動体検出結果合成部１１２は第２の動体検出結果を最終的な検出結果とすることになる。
【００５２】
動体内部判定部１１１によって着目ブロック領域が非動体内部ブロックであると判定されると（ステップＳ４０５において、ＮＯ）、制御部の制御下で、密度判定部１１０は上位階層の動体検出結果である第１の動体判定結果において着目ブロック領域に関して動体ブロックの密度を判定する（ステップＳ４０７）。
【００５３】
図４Ｂに示すように、下位階層の着目ブロック領域３２５に対応する上位階層の着目ブロック領域３２２においては、動体ブロック３２２ａの数が非動体ブロック３２２ｂの数よりも多い。よって、密度判定部１１０は着目ブロック領域３２２には動体ブロック３２２ａが集中していると判定して、着目ブロック領域３２２に関して動体ブロック密度が高いと判定する。
【００５４】
一方、下位階層の着目ブロック３２７に対応する上位階層の着目ブロック領域３２３については、動体ブロック３２３ａの数が非動体ブロック３２３ｂの数よりも少ない。よって、密度判定部１１０は着目ブロック領域３２３に関して動体ブロック密度が低いと判定する。
【００５５】
密度判定部１１０によって着目ブロック領域の動体ブロック密度が高いと判定されると（ステップＳ４０７において、ＹＥＳ）、動体検出結果合成部１１２は上位階層において密度が高い場合の階層合成処理を行う（ステップＳ４０８）。
【００５６】
下位階層の着目ブロック領域３２５に対応する上位階層の着目ブロック領域３２２の動体ブロック密度が高い。ステップＳ４０８の処理においては、動体検出結果合成部１１２は、着目ブロック領域３２５が非動体ブロックであったとしても、着目ブロック領域３２２を、そのまま動体ブロック３２２ａおよび非動体ブロック３２２ｂを有する着目ブロック領域３１０として出力する。
【００５７】
つまり、下位階層において着目ブロック領域が非動体内部ブロックと判定された際に、上位階層において対応する着目ブロック領域の動体ブロック密度が高いと、小さい動体又は遠景にある動体である可能性が高い。このため、前述のように、動体検出結果合成部１１２は、着目ブロック領域３２２を、そのまま動体ブロック３２２ａおよび非動体ブロック３２２ｂを有する着目ブロック領域３１０として出力する。
【００５８】
ここでは、当該着目ブロック領域に関しては、動体検出結果合成部１１２は第１の動体検出結果を最終的な動体検出結果とすることになる。
【００５９】
密度判定部１１０によって着目ブロック領域の動体ブロック密度が低いと判定されると（ステップＳ４０７において、ＮＯ）、動体検出結果合成部１１２は、上位階層において密度が低い場合の階層合成処理を行う（ステップＳ４０９）。
【００６０】
下位階層の着目ブロック領域３２７に対応する上位階層の着目ブロック領域３２３の動体ブロック密度が低い。ステップＳ４０９の処理においては、動体検出結果合成部１１２は、着目ブロック領域３２３に代えて、全てが非動体ブロック３３０ｂである着目ブロック領域３３０を出力する。
【００６１】
つまり、下位階層において着目ブロック領域が非動体内部ブロックと判定された際に、上位階層において対応する着目ブロック領域の動体ブロック密度が低いと、ノイズなどを動体として誤検出した可能性が高い。このため、前述のように、動体検出結果合成部１１２は、着目ブロック領域３２３に代えて、全てが非動体ブロック３３０ｂである着目ブロック領域３３０を出力する。
【００６２】
ここでは、当該着目ブロック領域に関しては、動体検出結果合成部１１２は第２の動体検出結果を最終的な動体検出結果とすることになる。
【００６３】
ステップＳ４０６、Ｓ４０８、又はＳ４０９の処理に続いて、動体検出結果合成部１１２は第１および第２の入力画像１０１および１０２について全ブロック領域について動体検出処理が完了したか否かを判定する（ステップＳ４１０）。全ブロック領域について動体検出処理が完了すると（ステップＳ４１０において、ＹＥＳ）、動体検出結果合成部１１２は動体検出処理を終了する。
【００６４】
一方、全ブロック領域について動体検出処理が完了していないと（ステップＳ４１０において、ＮＯ）、処理はステップＳ４０４に戻って、次のブロック領域について階層処理が行われる。
【００６５】
なお、上述の説明では、階層を２階層としてブロックサイズの関係をＮ２＝４×Ｎ１であるとして説明したが、階層数およびブロックサイズの関係が変えても、同様にして動体検出処理を行うようにすればよい。
【００６６】
さらに、ステップＳ４０７で用いられるブロック閾値は、画像を撮像した際の感度に応じて変更するようにしてもよい。例えば、高感度下で撮像を行った場合にはノイズの影響を受けやすくなるので、ブロック閾値を高くする。これによって、ノイズの影響が除去された動体検出結果をブロック密度の判定に用いることができる。
【００６７】
このように、本発明の第１の実施形態では、ノイズの影響を除いて、かつ動体の大きさに拘わらず、常に精度よく動体の検出を行うことができる。
【００６８】
［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置について説明する。
【００６９】
第２の実施形態による画像処理装置では、上位階層で得られた動体検出結果（第１の動体検出結果）に基づいて仮想的に中間階層の動体検出結果（第３の動体検出結果）を生成する。そして、これら第１〜第３の動体検出結果に応じて最終的な動体検出結果を生成する。
【００７０】
図５は、本発明の第２の実施形態による画像処理装置の一例についてその構成を示すブロック図である。なお、図５において、図１に示す画像処理装置と同一の構成要素については同一の参照番号を付して説明を省略する。
【００７１】
図示の画像処理装置は、中間階層結果生成部５１５を有しており、さらに、図１に示す動体検出結果合成部１１２とその機能が異なる動体検出結果合成部５１２を有している。図示の画像処理装置においては、第１の実施形態と同様に、分割ブロックサイズは上位階層のブロックサイズをＮ１とし、下位階層のブロックサイズをＮ２とする。そして、Ｎ２＝４×Ｎ１であるとする。
【００７２】
さらに、ここでは、上位階層と下位階層との中間にある中間階層のブロックサイズＮ３を、ブロックサイズＮ１とブロックサイズＮ２の中間とする。例えば、Ｎ３＝２×Ｎ１（Ｎ３＝Ｎ２／２）とする。つまり、中間階層では、Ｎ３×Ｎ３（第３の分割数）の複数のブロック領域に分割されることになる。
【００７３】
図６は、図６に示す画像処理装置で行われる動体検出処理を説明するためのフローチャートである。なお、図６に示すフローチャートにおいて、図３に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
【００７４】
動体検出処理を開始すると、図３で説明したステップＳ４０１〜Ｓ４０４の処理が行われる。ステップＳ４０４の処理が行われた後、中間階層結果生成部５１５は、上位階層の動体検出結果である第１の動体検出結果に基づいて中間階層の動体検出結果である第３の動体検出結果を生成する（ステップＳ７０１）。
【００７５】
図７は、図５に示す画像処理装置で行われる動体検出処理を説明するための図である。
【００７６】
図７においては、下位階層の着目ブロック領域が非動体内部ブロックである場合の例が示されている。
【００７７】
下位階層の動体検出結果である第２の動体検出結果において、着目ブロック領域６０２を含む周辺ブロック領域６０２１には動体ブロック６０２ａおよび６０２ｂが存在するので、着目ブロック領域６０２は非動体内部ブロックと判定される。
【００７８】
上位階層の動体検出結果である第１の動体検出結果において、着目ブロック領域６０２に対応する着目ブロック領域６０１には動体ブロック６０１ａおよび非動体ブロック６０１ｂが存在する。
【００７９】
中間階層の動体検出結果である第３の動体検出結果において、着目ブロック領域６０１および６０２に対応する着目ブロック領域６０３は４つの分割ブロック領域６０４〜６０７を有する。つまり、着目ブロック領域６０３はブロックサイズＮ３の分割ブロック領域４つで構成されることになる。
【００８０】
ここで、中間階層結果生成部５１５は、分割ブロック領域６０４〜６０７の各々について、上位階層の対応する領域においてその動体ブロックの数が所定のブロック閾値以上であると。当該分割ブロック領域を動体ブロックとする。
【００８１】
いま、ブロック閾値を”２”とすると、分割ブロック領域６０４〜６０６については、上位階層の対応する領域において動体ブロックの数が２つ以上あるので、中間階層結果生成部５１５は分割ブロック領域６０４〜６０６の各々を動体ブロックとする。一方、分割ブロック領域６０７については、上位階層の対応する領域において動体ブロックの数が１つあるので、中間階層結果生成部５１５は分割ブロック領域６０７を非動体ブロックとする。
【００８２】
このようにして、中間階層結果生成部５１５は上位階層の動体検出結果である第１の動体検出結果に応じて、中間階層の動体検出結果である第３の動体検出結果を生成する。
【００８３】
図３で説明したように、ステップＳ４０５において、着目ブロック領域が動体内部ブロックであると判定されると、ステップＳ４０６の処理が行われる。一方、下位階層における着目ブロック領域が非動体内部ブロックであると判定されると（ステップＳ４０５において、ＮＯ）、中間階層結果生成部５１５は、中間階層の動体検出結果である第３の動体検出結果において着目ブロック領域が動体内部ブロックであるか否かを判定する動体内部判定を行う（ステップＳ７０２）。
【００８４】
中間階層の動体検出結果である第３の動体検出結果において着目ブロック領域が動体内部ブロックであると判定されると（ステップＳ７０２において、ＹＥＳ）、動体検出結果合成部５１２は中間階層における着目ブロック領域が動体内部ブロックである場合の階層合成処理を行う（ステップＳ７０３）。なお、ステップＳ７０３に係る処理は、前述したステップＳ４０６の処理と同様である。この際には、下位階層の動体検出結果の代わりにこの中間階層の動体検出結果が用いられることになる。
【００８５】
一方、中間階層の動体検出結果である第３の動体検出結果において着目ブロック領域が非動体内部ブロックであると判定されると（ステップＳ７０２において、ＮＯ）、動体検出結果合成部５１２は、中間階層の着目ブロック領域が非動体内部ブロックである場合の階層合成処理を行う（ステップＳ７０４）。そして、ステップＳ７０４の処理においては、動体検出結果合成部５１２は、上位階層の動体検出結果である第１の動体検出結果を出力する。
【００８６】
このようにして、動体検出処理を行うと、図７に示す分割ブロック領域６０４〜６０６の各々については上位階層に対応する４つのブロックの全てが動体ブロックとされる。一方、分割ブロック領域６０７については当該分割ブロック領域６０７を構成する上位階層に対応する４つのブロックのうちブロック６０９のみが動体ブロックとされる。この結果、最終的な動体検出結果として動体検出結果６０８が得られる。
【００８７】
なお、ステップＳ４０６、Ｓ７０３、又はＳ７０４の処理の後、図３で説明したステップＳ４１０の処理が行われる。
【００８８】
上述の第２の実施形態においては、階層数を３として、これら３階層においてブロックサイズの関係をＮ２＝４×Ｎ１、Ｎ３＝２×Ｎ１としたが、階層数およびブロックサイズの関係を変えても同様にして処理を行うようにすればよい。
【００８９】
このように、本発明の第２の実施形態においても、ノイズの影響を除いて、かつ動体の大きさに拘わらず、常に精度よく動体の検出を行うことができる。
【００９０】
上述の説明から明らかなように、図１に示す例においては、ブロック分割部１０４および１０５が第１のブロック分割手段として機能し、ブロック分割部１０６および１０７が第２のブロック分割手段として機能する。また、動体検出部１０８が第１の検出手段として機能し、動体検出部１０９が第２の検出手段として機能する。さらに、密度判定部１１０、動体内部判定部１１１、および動体検出結果合成部１１２は生成手段として機能する。
【００９１】
なお、図５に示す例では、密度判定部１１０、動体内部判定部１１１、中間階層結果生成部５１５、および動体検出結果合成部５１２が生成手段として機能する。
【００９２】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００９３】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００９４】
上記の制御方法および制御プログラムの各々は、少なくとも第１のブロック分割ステップ、第２のブロック分割ステップ、第１の検出ステップ、第２の検出ステップ、および生成ステップを有している。
【００９５】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９６】
１０３  画像入力部
１０４〜１０７  ブロック分割部
１０８  動体検出部（上位階層）
１０９  動体検出部（下位階層）
１１０  密度判定部
１１１  動体内部判定部
１１２，５１２  動体検出結果合成部（階層合成）
１１３  動体検出結果出力部
５１５  中間階層結果生成部
【図１】
2015176441.tif 000003
【図２】
2015176441.tif 000004
【図３】
2015176441.tif 000005
【図４Ａ】
2015176441.tif 000006
【図４Ｂ】
2015176441.tif 000007
【図５】
2015176441.tif 000008
【図６】
2015176441.tif 000009
【図７】
2015176441.tif 000010