(57)【要約】      （修正有）【課題】大小複数の移動体に対して、誤検出を抑えながら移動体の微小な動きを精度よく検出する。【解決手段】画像処理装置は、第１の画像データ、及び第２の画像データをそれぞれ複数の領域に分割する分割手段と、分割手段により分割された各領域の周波数情報を取得するとともに、第１の画像データ、及び第２の画像データの同じ領域から得られる周波数情報がいずれも高周波のとき、前記同じ領域のサイズを小さく設定する設定手段と、第１の画像データ、及び第２の画像データの撮影時のシャッタ速度と感度とを取得するとともに、取得した前記シャッタ速度が予め定めた値より遅い場合、及び前記感度が予め定めた値より高い場合は、設定手段で設定した前記領域のサイズを大きいサイズに変更する変更手段と、変更手段によりサイズが変更された後の第１の画像データ、及び第２の画像データの各領域に動きがあったか否かを判定する判定手段とを備える。【選択図】図２
2014186634.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像データ、及び第２の画像データをそれぞれ複数の領域に分割する分割手段と、
前記分割手段により分割された各領域の周波数情報を取得するとともに、前記第１の画像データ、及び前記第２の画像データの同じ領域から得られる周波数情報がいずれも高周波のとき、前記同じ領域のサイズを小さく設定する設定手段と、
前記第１の画像データ、及び前記第２の画像データの撮影時のシャッタ速度と感度とを取得するとともに、取得した前記シャッタ速度が予め定めた値より遅い場合、及び／又は前記感度が予め定めた値より高い場合は、前記設定手段で設定した前記領域のサイズを大きいサイズに変更する変更手段と、
前記変更手段によりサイズが変更された後の前記第１の画像データ、及び前記第２の画像データの各領域に動きがあったか否かを判定する判定手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記判定手段による判定結果に基づき、前記第１の画像データと前記第２の画像データとを合成処理する合成手段を備え、
前記合成手段は、前記合成処理に際して、前記判定手段により動きがあったと判定されなかった領域に対しては、前記第１の画像データ、及び前記第２の画像データの画素の平均値を新たな画素値として出力し、前記判定手段により動きがあったと判定された領域に対しては、合成を行わず前記第１の画像データの画素値をそのまま出力する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像データ、及び前記第２の画像データから被写体の特徴部位と前記特徴部位のうちの動きが予想される部位とを検出する検出手段を備え、
前記分割手段は、前記検出手段により検出された特徴部位のうち、動きが予想される部位を含む領域のサイズが前記特徴部位の領域以外の領域のサイズより大きくなるように分割することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記検出手段により検出された前記特徴部位に動きがあったと判定した領域が少なくとも一つ存在する場合は、前記特徴部位のすべての領域を動きがあったと判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
第１の画像データ、及び第２の画像データをそれぞれ複数の領域に分割する分割ステップと、
前記分割ステップで分割された各領域の周波数情報を取得するとともに、前記第１の画像データ、及び前記第２の画像データの同じ領域から得られる周波数情報がいずれも高周波のとき、前記同じ領域のサイズを小さく設定する設定ステップと、
前記第１の画像データ、及び前記第２の画像データの撮影時のシャッタ速度と感度とを取得するとともに、取得した前記シャッタ速度が予め定めた値より遅い場合、及び／又は前記感度が予め定めた値より高い場合は、前記設定ステップで設定した前記領域のサイズを大きいサイズに変更する変更ステップと、
前記変更ステップでサイズが変更された後の前記第１の画像データ、及び前記第２の画像データの各領域に動きがあったか否かを判定する判定ステップと、を備えることを特徴とする画像処理方法。
【請求項６】
第１の画像データ、及び第２の画像データをそれぞれ複数の領域に分割する分割ステップと、
前記分割ステップで分割された各領域の周波数情報を取得するとともに、前記第１の画像データ、及び前記第２の画像データの同じ領域から得られる周波数情報がいずれも高周波のとき、前記同じ領域のサイズを小さく設定する設定ステップと、
前記第１の画像データ、及び前記第２の画像データの撮影時のシャッタ速度と感度とを取得するとともに、取得した前記シャッタ速度が予め定めた値より遅い場合、及び／又は前記感度が予め定めた値より高い場合は、前記設定ステップで設定した前記領域のサイズを大きいサイズに変更する変更ステップと、
前記変更ステップでサイズが変更された後の前記第１の画像データ、及び前記第２の画像データの各領域に動きがあったか否かを判定する判定ステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラ等で連続して撮影された画像に含まれる局所的な移動領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等で撮影された複数のフレーム画像を用いて、連続する画像において局所的に移動する被写体を検出する画像処理装置が知られている。また、複数枚の画像を合成する際に、移動体領域の検出結果を合成処理に反映することにより、適切な画像合成を行う画像処理装置が知られている。
【０００３】
移動する被写体が含まれる領域を検出する技術に関しては、例えば、ある特定の移動体をパターンマッチングすることにより、位置を検出する手段や、分割したブロックあるいは画素ごとに複数枚の画像の差分値を用いて動きを検出する方法が知られている。
【０００４】
しかし、目標となる移動体とその背景が同じような輝度を示す場合には、１値（例えば輝度）のみに基づいて的確に移動体を検出することは困難である。また、分割したブロックごとに移動体の動き検出をする際、分割の単位が大きいと、小さな移動体の検出を精度よく行えず、分割の単位が小さいと、処理時間が増大する等の問題がある。
【０００５】
そこで、移動体の検出において、複数の情報、例えば輝度平均、エッジ密度、各色成分などを用いる手段や、ブロックを分割するときの分割サイズを領域ごとに変える手段が提案されている。
【０００６】
例えば特許文献１では、２枚の画像を所定サイズに分割したブロックごとの動きベクトルを算出し、そのベクトルの分布から移動体の領域を検出する手段が開示されている。
【０００７】
また、特許文献２では、複数枚の画像を所定サイズに分割したブロックごとの類似度から移動体を含むブロックを検出し、連続する検出ブロックを基に分割のサイズを変えて、さらに移動体領域を検出する手段が開示されている。
【０００８】
更に、特許文献３では、画像データをブロック単位で符号化するときのブロックサイズをブロックの分散値を基に変える手段が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１０−２８３４８２号公報
【特許文献２】特開２００６−０２４１４９号公報
【特許文献３】特開平０９−１３０８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、上記特許文献１では、移動体が画面内から消失あるいは新たに侵入したときに得られる動きベクトルが不確かなものとなり、その結果、正しい移動体の検出結果が得られない可能性がある。
【００１１】
また、上記特許文献２では、連続するブロック内に移動体が存在したときに細かいブロックサイズで動き判定を行うため、小さい移動体や動きの小さい移動体の検出精度が低下する可能性がある。
【００１２】
更に、上記特許文献３では、高周波領域に対してはブロックのサイズが大きくならないことから、移動体の検出結果がばらつき、複数枚の画像合成に適用したときに二重像が現れ、画質が劣化する可能性がある。
【００１３】
そこで、本発明は、大小複数の移動体に対して、誤検出を抑えながら移動体の微小な動きを精度よく検出する仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の画像処理装置は、第１の画像データ、及び第２の画像データをそれぞれ複数の領域に分割する分割手段と、前記分割手段により分割された各領域の周波数情報を取得するとともに、前記第１の画像データ、及び前記第２の画像データの同じ領域から得られる周波数情報がいずれも高周波のとき、前記同じ領域のサイズを小さく設定する設定手段と、前記第１の画像データ、及び前記第２の画像データの撮影時のシャッタ速度と感度とを取得するとともに、取得した前記シャッタ速度が予め定めた値より遅い場合、及び／又は前記感度が予め定めた値より高い場合は、前記設定手段で設定した前記領域のサイズを大きいサイズに変更する変更手段と、前記変更手段によりサイズが変更された後の前記第１の画像データ、及び前記第２の画像データの各領域に動きがあったか否かを判定する判定手段と、を備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、大小複数の移動体に対して、誤検出を抑えながら移動体の微小な動きを精度よく検出することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態である画像処理装置の概略構成例を示すブロック図である。
【図２】画像処理装置の動作例を説明するためのフローチャート図である。
【図３】（ａ）及び（ｂ）は、２枚の入力画像の一例を示す図である。
【図４】（ａ）は図３（ａ）に示す画像をブロック数が１４×１０個となるように分割した状態を示す図、（ｂ）は図３（ｂ）に示す画像をブロック数が１４×１０個となるように分割した状態を示す図である。（ｃ）は、分割したブロックに対して番号（座標）を付した状態を示す図である。
【図５】初期ブロックサイズとして１２８×１２８画素に分割されたブロックにおいて、偶数ラインにあるブロックの周波数情報を基に、各ブロックを分割あるいは結合する処理を示すフローチャート図である。
【図６】初期ブロックサイズとして１２８×１２８画素に分割されたブロックにおいて、奇数ラインにあるブロックの周波数情報を基に、各ブロックを分割あるいは結合する処理を示すフローチャート図である。
【図７】撮影情報取得部により取得したＴｖ値及びＩＳＯ感度に基づくブロックサイズの変更例を示す図である。
【図８】図２のステップＳ２５０で最終的に決定された各周波数領域のブロックサイズに応じて分割された画像例を示す図である。
【図９】（ａ）は動き判定部により、移動体が含まれると判定された領域を有する画像を示す図、（ｂ）は針葉樹が検出された画像を示す図、（ｃ）は動き判定処理での検出結果を示す図である。
【図１０】（ａ）及び（ｂ）は本発明の第２の実施形態である画像処理装置において、２枚の入力画像の一例を示す図、（ｃ）及び（ｄ）はそれぞれ（ａ）に示す画像、及び（ｂ）に示す画像に対して顔領域が検出された結果を示す図である。
【図１１】撮影情報取得部により取得したＴｖ値及びＩＳＯ感度に基づくブロックサイズの変更例を示す図である。
【図１２】図２のステップＳ２５０で最終的に決定された各周波数領域のブロックサイズに応じて分割された画像例を示す図である。
【図１３】動き判定部により、移動体が含まれると判定された領域を有する画像を示す図である。
【図１４】画像合成部により合成された画像を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面を参照して説明する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態である画像処理装置の概略構成例を示すブロック図である。
【００１９】
図１に示すように、本実施形態の画像処理装置は、画像入力部１００、被写体検出部１０１、ブロックサイズ決定部１０２、周波数解析部１０３、撮影情報取得部１０４、画像分割部１１０、動き判定部１３０、及び画像合成部１４０を備える。
【００２０】
画像入力部１００には、デジタルカメラ等の撮像装置で連続して撮影された画像が順次入力される。被写体検出部１０１は、入力された画像から特定の被写体の位置を検出する。ブロックサイズ決定部１０２は、入力された画像を領域ごとに分割するときのブロックサイズを決定する。周波数解析部１０３は、入力された画像の周波数情報を取得する。
【００２１】
撮影情報取得部１０４は、入力された画像からＩＳＯ感度・絞り値・Ｔｖ値など撮影時の情報を取得する。画像分割部１１０は、入力された画像に対してＨ（水平）およびＶ（垂直）方向に所定サイズのブロックに分割する。動き判定部１３０は、画像分割部１１０で分割されたブロックごとに移動体が含まれる領域があるかを判定する。画像合成部１４０は、複数枚の画像を合成して合成画像を生成する。
【００２２】
次に、図２を参照して、上記構成の画像処理装置の動作例について説明する。図２での各処理は、画像処理装置のＲＯＭやハードディスク等に記憶された画像処理プログラムがＲＡＭにロードされて、ＣＰＵにより実行される。
【００２３】
ステップＳ２００では、ＣＰＵは、画像入力部１００から複数の画像が入力されると、ステップＳ２１０に進む。なお、ここでは、デジタルカメラ等の撮像装置で連続して撮影された２枚の画像３００，３１０（図３参照）が順次入力されたものとする。ここで、画像３００は、本発明の第１の画像データの一例に相当し、画像３１０は、本発明の第２の画像データの一例に相当する。
【００２４】
ステップＳ２１０では、ＣＰＵは、被写体検出部１０１により２枚の画像３００，３１０に人物の顔が検出されたかを判定する。ここでは、人物の顔が検出されなかったものとして、ステップＳ２２０に進む。
【００２５】
ステップＳ２２０では、ＣＰＵは、ブロックサイズ決定部１０２により、２枚の画像３００，３１０について、ブロックサイズを決定し、ステップＳ２３０に進む。具体的には、ＣＰＵは、ブロックサイズ決定部１０２により、予め定められたブロックサイズとして入力画像をＨ（水平）方向に１４分割、Ｖ（垂直）方向に１０分割するようにブロックサイズを決定する。
【００２６】
ステップＳ２３０では、ＣＰＵは、画像分割部１１０により、画像３００，３１０をステップＳ２２０で決定したブロックサイズで分割し、ステップＳ２４０に進む。
【００２７】
図４（ａ）に示す画像３０１、及び図４（ｂ）に示す画像３１１は、それぞれ図３（ａ）に示す画像３００、及び図３（ｂ）に示す画像３１０をブロック数が１４×１０個となるように分割したものである。ここで、一つのブロックサイズは、１２８×１２８画素である。図４（ｃ）に示す画像３２０は、分割したブロックに対して番号（座標）を付したものである。
【００２８】
ステップＳ２４０では、ＣＰＵは、周波数解析部１０３により、ステップＳ２３０で分割された各ブロックに対して、特定の周波数帯域を抽出するバンドパスフィルタ等の公知の技術を用いて周波数情報を取得する。そして、ＣＰＵは、取得した周波数情報に基づき、ブロックサイズを設定し、ステップＳ２５０に進む。
【００２９】
ステップＳ２４０では、具体的には、周波数解析部１０３により取得した周波数情報に基づき、各ブロックごとに高周波、中周波、低周波の３種類の帯域に分類する。ここで、２枚の画像３０１，３１１の同じブロック領域から得られる周波数情報が異なった場合には、より低周波であると分類された結果を用いる。これは、移動体が含まれる領域に対しては、背景ではなくその被写体の周波数情報をブロックサイズに反映させるためである。さらに分類された周波数帯域に応じて、ブロックサイズを高周波：６４×６４画素、中周波：１２８×１２８画素、低周波：２５６×２５６画素と定める。
【００３０】
図５及び図６を参照して、ステップＳ２４０の処理について更に詳述する。図５は、初期ブロックサイズとして１２８×１２８画素に分割されたブロックにおいて、偶数ラインにあるブロックの周波数情報を基に、各ブロックを分割あるいは結合する処理を示すフローチャート図である。
【００３１】
図５において、ステップＳ２４１では、ＣＰＵは、着目ブロックの周波数情報が高周波、中周波、低周波のいずれの領域であるかを判定する。そして、ＣＰＵは、着目ブロックの周波数情報が高周波領域と判定した場合は、ステップＳ２４２に進み、低周波領域と判定した場合は、ステップＳ２４３に進む。また、ＣＰＵは、着目ブロックの周波数情報が中周波領域と判定した場合は、各ブロックを分割あるいは結合することなく、処理を終了する。
【００３２】
ステップＳ２４２では、ＣＰＵは、高周波領域であると判定したブロックに対して、Ｈ（水平）、Ｖ（垂直）方向にそれぞれ×１／２に分割し、処理を終了する。
【００３３】
ステップＳ２４３では、ＣＰＵは、低周波領域であると判定されたブロックに対して、右、下、及び右下に位置するブロックが低周波領域であるかどうかを判定する。そして、ＣＰＵは、右、下、及び右下に位置するブロックが低周波領域であると判定した場合は、ステップＳ２４４に進み、低周波領域でないと判定した場合は、各ブロックを分割あるいは結合することなく、処理を終了する。
【００３４】
ステップＳ２４４では、ＣＰＵは、ステップＳ２４３で低周波領域と判定した４つのブロックを結合し、新たなブロックとし、処理を終了する。
【００３５】
以上の処理を偶数ラインの全ブロックに対して行った後、奇数ラインにあるブロックの周波数情報を基に、各ブロックを分割あるいは結合していく。図６は、初期ブロックサイズとして１２８×１２８画素に分割されたブロックにおいて、奇数ラインにあるブロックの周波数情報を基に、各ブロックを分割あるいは結合する処理を示すフローチャート図である。
【００３６】
図６において、ステップＳ２４５では、ＣＰＵは、着目ブロックの周波数情報が高周波、中周波、低周波のいずれの領域であるかを判定する。そして、ＣＰＵは、着目ブロックの周波数情報が高周波領域と判定した場合は、ステップＳ２４６に進み、低周波領域と判定した場合は、ステップＳ２４７に進む。また、ＣＰＵは、着目ブロックの周波数情報が中周波領域と判定した場合は、各ブロックを分割あるいは結合することなく、処理を終了する。
【００３７】
ステップＳ２４６では、ＣＰＵは、高周波領域であると判定したブロックに対して、Ｈ（水平）、Ｖ（垂直）方向にそれぞれ×１／２に分割し、処理を終了する。
【００３８】
ステップＳ２４７では、ＣＰＵは、低周波領域であると判定されたブロックに対して、右、下、及び右下に位置するブロックが低周波領域で、かつ未結合であるかどうかを判定する。そして、ＣＰＵは、右、下、及び右下に位置するブロックが低周波領域で、かつ未結合であると判定した場合は、ステップＳ２４８に進み、低周波領域で、かつ未結合でないと判定した場合は、各ブロックを分割あるいは結合することなく、処理を終了する。
【００３９】
ステップＳ２４８では、ＣＰＵは、ステップＳ２４７で低周波領域で、かつ未結合である判定した４つのブロックを結合し、新たなブロックとし、処理を終了する。
【００４０】
以上の処理を奇数ラインの全ブロックに対して行うことにより、全領域に対するブロックサイズを設定する。これにより、後述する動き判定処理の際、高周波な領域であるほどわずかな動き量に対しても敏感度を高くすることができ、移動体の微小な動きを検出しやすくすることが可能となる。
【００４１】
図２に戻って、ステップＳ２５０では、ＣＰＵは、撮影情報取得部１０４により、入力画像３００，３１０の撮影時のＴｖ値（シャッタ速度）とＩＳＯ感度を取得する。そして、ＣＰＵは、取得したＴｖ値とＩＳＯ感度に基づき、ステップＳ２４０で決定したブロックサイズに変更して、ステップＳ２６０に進む。
【００４２】
ステップＳ２５０では、具体的には、ステップＳ２４０で設定したブロックサイズに対し、撮影された画像のＴｖ値が予め定められた値である１／１２５秒以上、即ち、シャッタ速度が遅い場合は、Ｈ、Ｖ方向をそれぞれ２倍する。また、ステップＳ２４０で決定したブロックサイズに対し、撮影された画像のＴｖ値が予め定められた値である１／６４０秒より小さい場合は、Ｈ、Ｖ方向をそれぞれ１／２倍する。
【００４３】
これは、２枚の画像３００，３１０の撮影間隔が短い場合には動き量も小さいことから、後述する動き判定処理の際、わずかな動き量に対しても敏感度を高くすることで動きを検出しやすくするためである。ただし、ここでは、撮影情報取得部１０４により取得したＴｖ値が１／２５０であったとして、ブロックサイズの変更は行わない。
【００４４】
また、ステップＳ２４０で決定したブロックサイズに対し、撮影された画像の感度がＩＳＯ８００以上である場合には、Ｈ、Ｖ方向をそれぞれ２倍する。これは、後述する動き判定処理の際、高感度時にノイズの影響による誤判定を抑えるためである。
【００４５】
図７に、撮影情報取得部１０４により取得したＴｖ値及びＩＳＯ感度に基づくブロックサイズの変更例を示す。図８は、ステップＳ２５０で最終的に決定された各周波数領域のブロックサイズに応じて分割された画像例を示す図である。図８に示すように、木の葉などの高周波な領域は、６４×６４画素と小さなブロックサイズで分割され、背景の空などの低周波な領域は、２５６×２５６画素と大きなブロックサイズで分割されていることがわかる。
【００４６】
ステップＳ２６０では、ＣＰＵは、動き判定部１３０により、入力画像３００，３１０に対して、分割されたブロックごとに動きがあったか否かを判定し、ステップＳ２７０に進む。
【００４７】
ステップＳ２６０では、具体的には、動き判定部１３０は、画像３０１，３１１における同じ領域のブロック画像に対して、１画素毎に輝度成分と色差成分の差分絶対値をそれぞれ算出し、さらにブロック内の総和を求める。そして、動き判定部１３０は、ステップＳ２２０で決定されたブロックごとの輝度成分及び色差成分の差分絶対値の総和を閾値と比較し、差分絶対値の総和の少なくとも一つが閾値以上であれば、そのブロックは移動体の領域であると判定する。すなわち、次式（１）乃至（３）のうち、いずれか一つでも満たせば、移動体の領域であると判定する。
【００４８】
【数１】
2014186634.tif 000003
【００４９】
【数２】
2014186634.tif 000004
【００５０】
【数３】
2014186634.tif 000005
【００５１】
上式（１）乃至（３）において、Ｉｍｇ１及びＩｍｇ２は、それぞれ入力された１枚目の画像３００と２枚目の画像３１０の画素値の輝度成分（Ｙ）及び色差成分（Ｕ，Ｖ）を示すものであり、ブロック内の全画素について差分絶対値を算出し、総和を求める。また、Ｔｈ＿Ｙ，Ｔｈ＿Ｕ，Ｔｈ＿Ｖは、判定のための輝度成分、色差成分の閾値である。
【００５２】
図９（ａ）は、動き判定部１３０により、移動体が含まれると判定された領域６００ａ〜６００ｃを有する画像６００を示す図である。図９（ａ）に示すように、車と人が動いている領域に対しては上記差分絶対値の総和が大きくなり、移動体領域と判定されていることがわかる。
【００５３】
ステップＳ２７０では、ＣＰＵは、ステップＳ２６０で得られたブロックごとの動き判定結果を用いて、画像合成部１４０により、画像３００，３１０に対して合成処理を行い、処理を終了する。
【００５４】
ここでの合成処理に際し、画像合成部１４０は、動き判定部１３０により移動体が含まれると判定されなかった領域に対しては、画像３００，３１０の画素の平均値を新たな画素値として出力する。これにより、ノイズを抑えた合成画像を得ることができる。また、画像合成部１４０は、動き判定部１３０により移動体が含まれると判定された領域に対しては、合成を行わず画像３００の画素値をそのまま出力する。これにより、合成によって二重像が現れるのを防ぐことが可能となる。
【００５５】
なお、本実施形態では、ブロック数が１４×１０個となるように入力画像を分割した場合を例示したが、ブロック数を１４×１０個より多くあるいは少なくしてもよい。また、本実施形態では、全てのブロックを正方ブロックとしたが、高周波領域の分布に応じて、縦長あるいは横長のブロックとしてもよい。
【００５６】
更に、本実施形態では、移動体が含まれると判定されなかった領域に対して画像を合成する際に、画像３００，３１０の画素の平均値を出力する場合を例示したが、上記差分絶対値の総和から算出した重み係数を基に加重加算する構成としてもよい。
【００５７】
また、画像から針葉樹のような特定の高周波領域を検出する手段を備える場合、その領域内の動き判定結果がばらついていたときには、領域全体に対して動いていると判定するようにしても良い。
【００５８】
すなわち、入力された画像における領域ごとの周波数および色情報を解析し、高周波かつ感度信号の値が大きい場合には、針葉樹であると判定し、領域の位置および大きさを出力する手段を備えるものとする。図９（ｂ）は、針葉樹が検出された画像６１０を示す図である。葉の動きによってステップＳ２６０の動き判定処理で図９（ｃ）に示す検出結果６２０が得られたとき、合成時に２枚の入力画像の切り替わりが目立って不自然に見える可能性がある。
【００５９】
そこで、針葉樹領域で一つでも動いていると判定されたブロックが存在する場合には、図９（ｃ）に示す判定結果６３０のように、領域全体を動いていると判定することにより、上述したような不自然さを抑えることが可能となる。
【００６０】
以上説明したように、本実施形態では、移動体領域の検出をブロック単位に行う場合に、分割するブロックサイズを被写体の周波数情報およびＴｖ値、感度などの撮影情報に応じて変更する。これにより、大小複数の移動体に対して、誤検出を抑えながら移動体の微小な動きを精度よく検出することが可能となる。また、複数枚の画像を合成する場合においても、移動している被写体が二重になることなく、合成画像を生成することが可能となる。
【００６１】
（第２の実施形態）
次に、図１０乃至図１３等を参照して、本発明の第２の実施形態である画像処理装置について説明する。なお、本実施形態では、上記第１の実施形態の図及び符号を流用しつつ、上記第１の実施形態と重複する部分については詳細な説明を省略する。
【００６２】
本実施形態の画像処理装置では、図２のステップＳ２１０で被写体検出部１０１により２枚の画像から人物の顔が検出された場合を例に採る。
【００６３】
ステップＳ２００では、ＣＰＵは、画像入力部１００から画像が入力されると、ステップＳ２１０に進む。なお、ここでは、デジタルカメラ等の撮像装置で連続して撮影された２枚の画像７００，７１０（図１０（ａ）及び図１０（ｂ）参照）が順次入力されたものとする。
【００６４】
ステップＳ２１０では、ＣＰＵは、被写体検出部１０１により２枚の画像７００，７１０に人物の顔が検出されたかを公知の顔画像認識回路等を用いて判定する。ここでは、人物の顔が検出されたものとして、ステップＳ２２０に進む。図１０（ｃ）に示す画像７０１、及び図１０（ｄ）に示す画像７１１は、それぞれ図１０（ａ）に示す画像７００、及び図１０（ｂ）に示す画像７１０に対して顔領域が検出された結果を示したものである。
【００６５】
ここで、被写体検出部１０１は、画像から顔が検出された場合、検出した顔および目の座標位置および大きさを出力する。このとき、顔領域の大きさとして、７６８×６４０画素が得られたものとする。
【００６６】
ステップＳ２２０では、ＣＰＵは、ブロックサイズ決定部１０２により、２枚の画像７００，７１０について、ブロックサイズを決定し、ステップＳ２３０に進む。ステップＳ２２０では、ブロックサイズ決定部１０２は、目の領域に対しては被写体検出部１０１の出力を基に目の位置と大きさを決定し、口の領域に対しては被写体検出部１０１の出力を基に口の位置と大きさを推定する。そして、ブロックサイズ決定部１０２は、動きが予想される目及び口がそれぞれ包含されるようなブロックサイズとして、２５６×１２８画素を設定する。これにより、目の瞬きや口の動きを一つの領域として検出する。
【００６７】
また、ブロックサイズ決定部１０２は、顔領域における目および口以外の領域に対しては、６４×６４画素と小さなブロックサイズを設定する。これは、人物のわずかな動き量に対しても敏感度を高くすることで動きを検出しやすくするためである。
【００６８】
ステップＳ２３０では、ＣＰＵは、画像分割部１１０により、画像７００，７１０を所定のブロックサイズで分割し、ステップＳ２４０に進む。ここで、画像分割部１１０は、顔領域に対してはステップＳ２２０で決定されたブロックサイズで分割し、顔領域以外の領域に対しては、上記第１の実施形態と同様に、１２８×１２８画素のブロックサイズで分割する。
【００６９】
ステップＳ２４０では、ＣＰＵは、周波数解析部１０３により、ステップＳ２３０で分割された各ブロックに対して、特定の周波数帯域を抽出するバンドパスフィルタ等の公知の技術を用いて周波数情報を取得する。そして、ＣＰＵは、上記第１の実施形態と同様に、取得した周波数情報に基づき、ブロックサイズを決定し、ステップＳ２５０に進む。
【００７０】
ステップＳ２５０では、ＣＰＵは、撮影情報取得部１０４により、入力画像７００，７１０の撮影時のＴｖ値とＩＳＯ感度を取得する。そして、ＣＰＵは、取得したＴｖ値とＩＳＯ感度に基づき、ステップＳ２４０で決定したブロックサイズに変更して、ステップＳ２６０に進む。
【００７１】
本実施形態では、Ｔｖ値が１／３０であったことから、ステップＳ２４０で決定したブロックサイズに対してＨ、Ｖ方向にそれぞれ２倍する。ただし、顔領域および目および口などの顔器官領域に対しては、Ｔｖ値に応じてブロックサイズを変更せず、高感度（ＩＳＯ８００以上）時にのみブロックサイズをＨ、Ｖ方向にそれぞれ２倍する。これは、ポートレート撮影などでは人物の顔は動き量が小さい場合が多いことから、顔領域における動き検出に対しては、ステップＳ２４０で決定されたブロックサイズを用いることでわずかな動きも検出できるようにするためである。
【００７２】
図１１に、撮影情報取得部１０４により取得したＴｖ値及びＩＳＯ感度に基づくブロックサイズの変更例を示す。図１２は、ステップＳ２５０で最終的に決定された各周波数領域のブロックサイズに応じて分割された画像例を示す図である。図１２に示すように、人物の顔領域においては、撮影情報に関わらず各器官の大きさに応じたブロックサイズで分割されており、各器官以外の領域においては、６４×６４画素の固定サイズで分割されていることがわかる。
【００７３】
ステップＳ２６０では、ＣＰＵは、動き判定部１３０により、上記第１の実施形態と同様にして、入力画像７００，７１０に対して、分割されたブロックごとに動きがあったか否かを判定し、ステップＳ２７０に進む。
【００７４】
図１３は、動き判定部１３０により、移動体が含まれると判定された領域８００ａ，８００ｂを有する画像８００を示す図である。図１３に示すように、瞬きが起きた目の領域、及びわずかに動いた顔の周辺領域において、２枚の画像７００，７１０の上記差分絶対値の総和が大きくなり、動き判定がなされていることがわかる。
【００７５】
ステップＳ２７０では、ＣＰＵは、ステップＳ２６０で得られたブロックごとの動き判定結果を用いて、上記第１の実施形態と同様して、画像合成部１４０により、画像７００，７１０に対して合成処理を行い、処理を終了する。
【００７６】
ここで、２回の撮影期間に人物が瞬きをした場合、画像合成部１４０は、目の領域に対しては合成処理を行わず画像７００の画素値をそのまま出力することにより、合成によって画像が不自然になるのを防ぐことが可能となる。図１４は、画像合成部１４０により合成された画像を示す図である。図１４に示すように、移動体の領域に対して二重に合成されることなく、２枚の画像７００，７１０を合成できていることがわかる。
【００７７】
なお、本実施形態では、被写体の特徴部位として、人物の顔を検出する場合を例示したが、検出する特徴部位は、顔に限定されない。また、移動体領域と判定されたブロックに一つでも顔の領域を含むブロックが存在した場合には、顔の領域を含む全てのブロックを移動体領域と判定するようにしてもよい。画像合成時に、顔の領域全体に対して１枚の入力画像を用いることで、動きの影響を受けずに、より自然な合成画像を得ることが可能となる。
【００７８】
また、入力された画像を予め定められたフレームレートで電子ファインダに表示して公知の技術により移動体を追尾する手段を備える場合は、得られる移動体の動く方向と速さに基づきブロックサイズを決定しても良い。移動体を含む領域に対して適切なブロックサイズを適用することにより、高精度に動きを検出することが可能となる。
【００７９】
以上説明したように、本実施形態では、移動体領域の検出をブロック単位に行う場合に、分割するブロックサイズを検出した被写体の特徴部位の大きさに応じて変更する。これにより、大小複数の移動体に対して、誤検出を抑えながら移動体の微小な動きを精度よく検出することが可能となる。また、複数枚の画像を合成する場合においても、移動している被写体が二重になることなく合成画像を生成することが可能となる。
【００８０】
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【００８１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ（ＣＰＵ，プロセッサ）にて実行することでも実現できる。
【符号の説明】
【００８２】
１００  画像入力部
１０１  被写体検出部
１０２  ブロックサイズ決定部
１０３  周波数解析部
１０４  撮影情報取得部
１１０  画像分割部
１３０  動き判定部
１４０  画像合成部
【図１】
2014186634.tif 000006
【図２】
2014186634.tif 000007
【図３】
2014186634.tif 000008
【図４】
2014186634.tif 000009
【図５】
2014186634.tif 000010
【図６】
2014186634.tif 000011
【図７】
2014186634.tif 000012
【図８】
2014186634.tif 000013
【図１０】
2014186634.tif 000014
【図１１】
2014186634.tif 000015
【図１２】
2014186634.tif 000016
【図１４】
2014186634.tif 000017
【図９】
2014186634.tif 000018
【図１３】
2014186634.tif 000019