(57)【要約】【課題】被写体の動きが微小であっても動被写体として抽出して、複数枚の画像から一枚の画像を合成する。【解決手段】基準画像選択部１０５は被写体を連続して撮影して得た複数の画像から少なくとも２つの画像を基準画像として選択する。動きベクトル検出部１０６は複数の画像の各々を動きベクトル検出対象とし、２つの基準画像のいずれか１つを選択基準画像として、動きベクトル検出対象と選択基準画像とによって動きベクトルを検出する。動被写体抽出部１０７は複数の画像の各々について動き量が所定の閾値以上である領域を動体画像として抽出し、合成処理部１０８は複数の画像のうちの１つを背景画像として当該背景画像に動体画像を合成して合成画像を得る。【選択図】図１
2016134060.tif 000002
【特許請求の範囲】
【請求項１】
被写体を連続して撮影して得た複数の画像を合成して合成画像を得る画像処理装置であって、
前記複数の画像から少なくとも２つの画像を基準画像として選択する選択手段と、
前記複数の画像の各々を動きベクトル検出対象とし、前記少なくとも２つの基準画像のいずれか１つを選択基準画像として、前記動きベクトル検出対象と前記選択基準画像とによって前記被写体の動きを示す動きベクトルを検出する検出手段と、
前記複数の画像の各々について前記動きベクトルによって示される動き量が所定の閾値以上である領域を動体画像として抽出し、前記複数の画像のうちの１つを背景画像として当該背景画像に前記動体画像を合成して前記合成画像を得る合成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記動きベクトル検出対象と最も時間的に離れた基準画像を前記選択基準画像とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記複数の画像のうち最初に撮影された画像と最後に撮影された画像とを前記基準画像として選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記選択手段は、前記複数の画像において前記被写体の動き方向が変化した画像を基準画像として選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択手段は、前記被写体の動き方向の変化量が予め設定された変化閾値以上である画像を前記基準画像として選択することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
被写体を連続して撮影して複数の画像を得る撮像手段と、
請求項１〜５のいずれか１項に記載の画像処理装置と、
前記画像処理装置で得られた合成画像を記録する記録手段と、
を有することを特徴とする撮像装置。
【請求項７】
被写体を連続して撮影して得た複数の画像を合成して合成画像を得る画像処理装置の制御方法であって、
前記複数の画像から少なくとも２つの画像を基準画像として選択する選択ステップと、
前記複数の画像の各々を動きベクトル検出対象とし、前記少なくとも２つの基準画像のいずれか１つを選択基準画像として、前記動きベクトル検出対象と前記選択基準画像とによって前記被写体の動きを示す動きベクトルを検出する検出ステップと、
前記複数の画像の各々について前記動きベクトルによって示される動き量が所定の閾値以上である領域を動体画像として抽出し、前記複数の画像のうちの１つを背景画像として当該背景画像に前記動体画像を合成して前記合成画像を得る合成ステップと、
を有することを特徴とする制御方法。
【請求項８】
被写体を連続して撮影して得た複数の画像を合成して合成画像を得る画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記複数の画像から少なくとも２つの画像を基準画像として選択する選択ステップと、
前記複数の画像の各々を動きベクトル検出対象とし、前記少なくとも２つの基準画像のいずれか１つを選択基準画像として、前記動きベクトル検出対象と前記選択基準画像とによって前記被写体の動きを示す動きベクトルを検出する検出ステップと、
前記複数の画像の各々について前記動きベクトルによって示される動き量が所定の閾値以上である領域を動体画像として抽出し、前記複数の画像のうちの１つを背景画像として当該背景画像に前記動体画像を合成して前記合成画像を得る合成ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、連続的な撮影で得られた複数枚の画像から被写体を抽出して一枚の画像を合成する画像処理装置に関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの撮像装置において、連続的に複数枚の画像を撮影して、これら複数枚の画像から動く被写体を抽出して一枚の画像に合成するようにしたものがある。例えば、所定のタイミングでキャプチャされた複数のフレームから複数の動く被写体（動被写体という）を検出して、複数の動被写体から選択された動被写体の軌跡上に位置する画像と静止画像とを合成するようにした撮像装置がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６２３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、上述の特許文献１に記載の撮像装置においては、時系列的に隣接するフレーム間において動被写体であるか否かを判定している。この結果、被写体の動きが小さい（微小である）場合には、動きなしと判定されることがある。そして、動きなしと判定された領域について動被写体として抽出されず、複数枚の画像から動被写体を抽出して一枚の画像に合成することができないことがある。
【０００５】
従って、本発明の目的は、被写体の動きが微小であっても動被写体として抽出して、複数枚の画像から一枚の画像を合成することのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本発明による画像処理装置は、被写体を連続して撮影して得た複数の画像を合成して合成画像を得る画像処理装置であって、前記複数の画像から少なくとも２つの画像を基準画像として選択する選択手段と、前記複数の画像の各々を動きベクトル検出対象とし、前記少なくとも２つの基準画像のいずれか１つを選択基準画像として、前記動きベクトル検出対象と前記選択基準画像とによって前記被写体の動きを示す動きベクトルを検出する検出手段と、前記複数の画像の各々について前記動きベクトルによって示される動き量が所定の閾値以上である領域を動体画像として抽出し、前記複数の画像のうちの１つを背景画像として当該背景画像に前記動体画像を合成して前記合成画像を得る合成手段と、を有することを特徴とする。
【０００７】
本発明による撮像装置は、被写体を連続して撮影して複数の画像を得る撮像手段と、上記の画像処理装置と、前記画像処理装置で得られた合成画像を記録する記録手段と、を有することを特徴とする。
【０００８】
本発明による制御方法は、被写体を連続して撮影して得た複数の画像を合成して合成画像を得る画像処理装置の制御方法であって、前記複数の画像から少なくとも２つの画像を基準画像として選択する選択ステップと、前記複数の画像の各々を動きベクトル検出対象とし、前記少なくとも２つの基準画像のいずれか１つを選択基準画像として、前記動きベクトル検出対象と前記選択基準画像とによって前記被写体の動きを示す動きベクトルを検出する検出ステップと、前記複数の画像の各々について前記動きベクトルによって示される動き量が所定の閾値以上である領域を動体画像として抽出し、前記複数の画像のうちの１つを背景画像として当該背景画像に前記動体画像を合成して前記合成画像を得る合成ステップと、を有することを特徴とする。
【０００９】
本発明による制御プログラムは、被写体を連続して撮影して得た複数の画像を合成して合成画像を得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数の画像から少なくとも２つの画像を基準画像として選択する選択ステップと、前記複数の画像の各々を動きベクトル検出対象とし、前記少なくとも２つの基準画像のいずれか１つを選択基準画像として、前記動きベクトル検出対象と前記選択基準画像とによって前記被写体の動きを示す動きベクトルを検出する検出ステップと、前記複数の画像の各々について前記動きベクトルによって示される動き量が所定の閾値以上である領域を動体画像として抽出し、前記複数の画像のうちの１つを背景画像として当該背景画像に前記動体画像を合成して前記合成画像を得る合成ステップと、を実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、基準画像として少なくとも２つの画像を選択して、複数の画像の各々について動きベクトルによって示される動き量が所定の閾値以上である領域を動体画像として抽出し、背景画像に動体画像を合成する。これによって、被写体の動きが微小であっても動体画像（動被写体）を抽出して、複数枚の画像から一枚の画像を合成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラで行われる画像処理の一例を説明するためのフローチャートである。
【図３】図１に示すカメラで行われた連続的撮影の結果得られた画像の一例を示す図である。
【図４】本発明の第２の実施形態に係るカメラで行われた連続的撮影の結果得られた画像の一例を示す図である。
【図５】本発明の第２の実施形態に係るカメラで行われる画像処理の一例を説明するためのフローチャートである。
【図６】図５に示す中間基準画像判定を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
【００１３】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【００１４】
図示の撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、レンズユニット１０１、撮像素子１０２、ＡＦＥ（アナログフロントエンド）１０３、画像信号処理部１０４、基準画像選択部１０５、動きベクトル検出部１０６、動被写体抽出部１０７、合成処理部１０８、外部記録メモリ１０９、メモリ１１０、不揮発性メモリ１１１、およびシステム制御部１１２を有している。そして、これらブロックは内部バス１５０によって相互に接続されている。
【００１５】
レンズユニット１０１はフォーカスレンズを含む複数のレンズを有しており、ＡＦの際にフォーカスレンズを光軸に沿って駆動するとともに、焦点距離を含むレンズ情報を取得する。レンズユニット１０１を介して光学像（被写体像）が撮像素子１０２に結像する。撮像素子１０２は、例えば、ＣＣＤ又はＣＭＯＳイメージセンサであり、光学像に応じた電気信号（アナログ信号）に出力する。
【００１６】
ＡＦＥ１０３は、撮像素子１０２の出力であるアナログ信号をデジタル信号（画像データ）に変換する。
【００１７】
画像信号処理部１０４は、ＡＦＥ１０３の出力である画像データ、又はシステム制御部１１２が外部記録メモリ１０９又はメモリ１１０から読み出した画像データに対して各種の画像処理を施す。画像信号処理部１０４で行われる画像処理には、例えば、符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、および色変換処理などがある。
【００１８】
基準画像選択部１０５は、画像信号処理部１０４の出力である複数の画像データ（以下単に画像とも呼ぶ）から動きベクトル検出部１０６で用いる基準画像を選択する。なお、基準画像選択部１０５は、基準画像として複数枚の画像を選択するようにしてもよい。
【００１９】
動きベクトル検出部１０６は２枚の画像において動きベクトルを検出して、当該動きベクトルを示す動きベクトル情報を出力する。動きベクトル検出の際には、動きベクトル検出部１０６は２枚の画像の各々を複数の小領域に分割して、小領域の一つである注目領域とその周辺領域とについてテンプレートマッチングを行って、動きベクトルを検出する。
【００２０】
動被写体抽出部１０７は、動きベクトル検出部１０６で検出された動きベクトルに応じて、その動き量が所定の閾値以上である小領域を動被写体領域として抽出する。合成処理部１０８は、画像信号処理部１０４の出力である複数枚の画像のうちの１つの画像を背景画像して、動被写体抽出部１０７で抽出された動被写体領域（動体画像ともいう）を背景画像に合成する。背景画像は合成の際の基準となる画像であり、合成処理部１０８は、当該背景画像に動体画像が順次合成される。
【００２１】
外部記録メモリ１０９は、例えば、メモリカードなどの記録媒体である。不揮発性メモリ１１１は、例えば、ハードディスク（ＨＤＤ）又はＲＯＭなどであり、不揮発性メモリ１１１には、例えば、画像データ、音声データ、その他のデータ、システム制御部１１２で動作するための各種プログラムなどが格納される。なお、メモリ１１０は、例えば、ＲＡＭなどの揮発性メモリである。
【００２２】
システム制御部１１２は、不揮発性メモリ１１１に格納されたプログラムに基づいて、メモリ１１０をワークメモリとして用いてカメラ全体の制御を行う。なお、システム制御部１１２は、内部バス１５０を介して外部記録メモリ１０９から画像データを読み出すとともに、当該外部記録メモリ１０９に画像データを書き込む。
【００２３】
図２は、図１に示すカメラで行われる画像処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システム制御部１１２の制御下で行われ、システム制御部１１２は不揮発性メモリ１１１に記録されたプログラムをメモリ１１０に展開してフローチャートに係る処理を実行する。
【００２４】
画像処理を開始すると、システム制御部１１２は、連続的撮影によって得られたＮ（Ｎは２以上の整数）枚の画像をメモリ１１０に取り込む（ステップＳ１０１）。この場合、システム制御部１１２は、レンズユニット１０１、撮像素子１０２、ＡＦＥ１０３、および画像信号処理部１０４を制御して連続的撮影を行って、撮影の結果得られた画像をメモリ１１０に格納する。
【００２５】
図３は、図１に示すカメラで行われた連続的撮影の結果得られた画像の一例を示す図である。ここでは、時間的に連続してＮ枚の画像４０１〜４０２が撮影されたものとする。
【００２６】
図２および図３を参照して、続いて、システム制御部１１２は、基準画像選択部１０５を制御して、メモリ１１０に格納されたＮ枚の画像から１枚目の画像とＮ枚目の画像とをそれぞれ基準画像として選択する（ステップＳ１０２）。そして、システム制御部１１２は、１枚目の画像を合成の基準となる背景画像として設定する（ステップＳ１０３）。そして、後述するように、背景画像に対して抽出された動体画像が順次合成される。
【００２７】
ここで、１枚目の画像を背景画像として設定しているが、これに限定されず、Ｎ枚の撮影画像から選択される画像であってもよい。また、例えば、Ｎ枚の撮影画像など、複数枚の画像を合成して１枚の背景画像を生成して用いてもよい。
【００２８】
次に、システム制御部１１２は、Ｎ枚の画像において２枚目の画像を初期画像として設定する（ステップＳ１０４）。そして、システム制御部１１２は、メモリ１１０からＮ枚の画像においてｎ枚目の画像（動きベクトル検出対象）を選択する（ステップＳ１０５）。以後、システム制御部１１２はｎ枚目の画像について、動きベクトルの検出および動被写体の抽出を行う。なお、ここでは、２≦ｎ≦Ｎ−１である。
【００２９】
続いて、システム制御部１１２は、ステップＳ１０５で選択されたｎ枚目の画像に対していずれの基準画像を用いて動きベクトルの検出を行うかについて判定する（ステップＳ１０６）。図示の例では、前述のように、１枚目の画像とＮ枚目の画像とが基準画像として選択されている。このような場合には、Ｎ／２枚目の画像を境界として、システム制御部１１２は基準画像を１枚目の画像（最初の画像）からＮ枚目の画像（最後の画像）に切り替える。動きベクトルを検出する際に用いる基準画像は選択基準画像と呼ばれる。
【００３０】
ステップＳ１０６の処理では、システム制御部１１２は、基準画像を切り替える境界に達したか否かを判定することになる。つまり、システム制御部１１２はｎ≦Ｎ／２であるか否かを判定する。ｎ≦Ｎ／２であると（ステップＳ１０６において、ＹＥＳ）、システム制御部１１２はＮ枚目の画像を基準画像として選択する（ステップＳ１０７）。一方、ｎ＞Ｎ／２であると（ステップＳ１０６において、ＮＯ）、システム制御部１１２は１枚目の画像を基準画像として選択する（ステップＳ１０８）。
【００３１】
ステップＳ１０７又はＳ１０８の処理の後、システム制御部１１２は、メモリ１１０から基準画像およびｎ枚目の画像を動きベクトル検出部１０６に送る。そして、動きベクトル検出部１０６は、基準画像とｎ枚目の画像とに基づいて被写体についてその動きベクトルを検出して動きベクトル情報を得る（ステップＳ１０９）。
【００３２】
システム制御１１２は、動きベクトル検出部１０６で得られた動きベクトル情報を動被写体抽出部１０７に送る。動被写体抽出部１０７は動きベクトル情報に応じてその動き量が所定の閾値以上である小領域を検出して、ｎ枚目の画像における動被写体部分（動体画像）を抽出する（ステップＳ１１０）。
【００３３】
続いて、システム制御１１２は、合成処理部１０８を制御して、動被写体抽出部１０７で抽出された動体画像とメモリ１１０に格納された背景画像と合成して合成画像とする（ステップＳ１１１）。そして、システム制御部１１２は当該合成画像をメモリ１１０に格納する。
【００３４】
次に、システム制御部１１２は、ｎ＝ｎ＋１として次の画像を選択する（ステップＳ１１２）。そして、システム制御部１１２はＮ枚の画像全てについて合成処理を行ったか否かを判定する。つまり、システム制御部１１２はｎ≧Ｎであるか否かを判定することになる（ステップＳ１１３）。
【００３５】
ｎ≧Ｎであると判定すると（ステップＳ１１３において、ＹＥＳ）、システム制御部１１２は画像処理を終了する。一方、ｎ＜Ｎであると判定すると（ステップＳ１１３において、ＮＯ）、システム制御部１１２はステップＳ１０５の処理に戻る。
【００３６】
このように、第１の実施形態では、動きベクトルの検出に用いる基準画像を複数設定する。そして、動きベクトルを検出する際、検出対象の画像から撮影時間が最も時間的に離れた基準画像を用いる。これによって、被写体の動きが小さい場合においても、動き判定を行って動被写体として抽出することができる。
【００３７】
なお、本実施形態において、撮影間隔が略一定であるとみなして、選択画像を切り替える境界としてＮ／２の画像を用いているが、これに限定されない。連続撮影中の被写体の動きに応じて境界となる画像を変更することも可能である。例えば、連続撮影の開始直後の被写体の動きが小さく、徐々に大きくなる場合には、境界の画像をＮ／２枚目よりも後の画像にすることで、被写体の動きベクトルを正確に取得することができる。
【００３８】
さらに、本実施形態において、２枚の基準画像から一方の選択基準画像を選択した後に、この選択基準画像に基づいて動きベクトルを検出するようにしているが、２枚の基準画像をともに選択基準画像として動きベクトルを夫々算出しておき、動き量が所定の閾値以上の動きベクトルを選択的に用いてｎ枚目の画像における動被写体部分（動体画像）を抽出するようにしてもよい。
【００３９】
［第２の実施形態］
次に、本発明の第２の実施形態による画像処理装置を備えるカメラの一例について説明する。なお、第２の実施形態に係るカメラの構成は、図１に示すカメラと同様である。
【００４０】
第２の実施形態においては、所定の期間において被写体の動き方向が変化する場合の処理（つまり、合成処理）について説明する。
【００４１】
図４は、本発明の第２の実施形態に係るカメラで行われた連続的撮影の結果得られた画像の一例を示す図である。
【００４２】
ここでは、時間的に連続してＮ枚の画像５０１〜５０３が撮影されたものとし、被写体は矢印で示す方向に動いたものとする。図４に示す例では、被写体が動く方向を変えているので、最後の画像５０３が他の画像と重なってしまうことになる。このため、被写体の動く方向が変化した場合には動きが小さいと判定されて、動体画像を適切に抽出できないことがある。
【００４３】
図５は、本発明の第２の実施形態に係るカメラで行われる画像処理の一例を説明するためのフローチャートである。
【００４４】
画像処理を開始すると、システム制御部１１２はステップＳ２０１〜Ｓ２０４の処理を行う。ステップＳ２０１〜Ｓ２０４の処理は、図２で説明したステップＳ１０１〜Ｓ１０４の処理と同様であるので、ここでは説明を省略する。
【００４５】
ステップＳ２０４において、Ｎ枚の画像において２枚目の画像を初期画像として設定した後、システム制御部１１２は、被写体の動きが変化したフレーム（つまり、画像）を対象とする中間基準画像の枚数を初期化する（ｉ＝０：ステップＳ２０５）。そして、システム制御部１１２は、後述するようにして中間基準画像判定を行い（ステップＳ２０６）、中間基準画像判定によって得られた中間基準画像の総枚数Ｉｍａｘをメモリ１１０に記憶する。
【００４６】
続いて、システム制御部１１２は、ｎ＝ｎ＋１として次の画像を選択する（ステップＳ２０７）。そして、システム制御部１１２は、全ての画像に対して中間基準画像判定を行ったか否かを判定する（ステップＳ２０８）。つまり、システム制御部１１２はｎ≧Ｎであるか否かを判定する。
【００４７】
ｎ＜Ｎであると判定すると（ステップＳ２０８において、ＮＯ）、システム制御部１１２はステップＳ２０６の処理に戻る。一方、ｎ≧Ｎであると判定すると（ステップＳ２０８において、ＹＥＳ）、システム制御部１１２は、Ｍ［０］枚目を初期中間基準画像として設定する（ステップＳ２０９）。そして、システム制御部１１２は、２枚目の画像を初期画像として選択する（ステップＳ２１０）。
【００４８】
次に、システム制御部１１２は、ｎ枚目の画像が基準画像を切り替える切り替え境界に達したか否かを判定する（ステップＳ２１１）。つまり、システム制御部１１２は、ｎ＜Ｍ［ｉ］であるか否かを判定する。Ｎ≧Ｍ［ｉ］であると判定すると（ステップＳ２１１において、ＮＯ）、システム制御部１１２は、基準画像選択部１０５を制御して中間基準画像からＭ［ｉ−１］枚目とＭ［ｉ］枚目を基準画像として選択する（ステップＳ２１２）。
【００４９】
続いて、システム制御部１１２は、ｎ枚目の画像が基準画像を切り替える切り替え境界に達したか否かを判定する（ステップＳ２１３）。ここでは、システム制御部１１２は、ステップＳ２１２で選択した基準画像Ｍ［ｉ−１］およびＭ［ｉ］においてどちらがｎ枚目の画像から時間的に最も離れているかを判定することになる。つまり、システム制御部１１２は、ｎ≦（Ｍ［ｉ］＋Ｍ［ｉ−１］）／２であるか否かを判定する。
【００５０】
ｎ≦（Ｍ［ｉ］＋Ｍ［ｉ−１］）／２であると判定すると（ステップＳ２１３において、ＹＥＳ）、システム制御部１１２は、基準画像選択部１０５を制御してＭ［ｉ］枚目の画像を基準画像として選択する（ステップＳ２１４）。一方、ｎ＞（Ｍ［ｉ］＋Ｍ［ｉ−１］）／２であると判定すると（ステップＳ２１３において、ＮＯ）、システム制御部１１２は、基準画像選択部１０５を制御してＭ［ｉ−１］枚目の画像を基準画像として選択する（ステップＳ２１５）。
【００５１】
Ｎ＜Ｍ［ｉ］であると判定すると（ステップＳ２１１において、ＹＥＳ）、システム制御部１１２は、システム制御部１１２は、全ての中間基準画像を選択したか否かを判定する（ステップＳ２１６）。つまり、システム制御部１１２はｉ＝ｉｍａｘであるか否かを判定することになる。
【００５２】
ｉ＝ｉｍａｘであると判定すると（ステップＳ２１６において、ＹＥＳ）、システム制御部１１２はｎ枚目の画像が基準画像を切り替える切り替え境界に達したか否かを判定する（ステップＳ２１７）。ここでは、システム制御部１１２は、基準画像Ｍ［ｉ］およびＮにおいてどちらがｎ枚目の画像から時間的に最も離れているかを判定することになる。つまり、システム制御部１１２は、ｎ≦（Ｎ＋Ｍ［ｉ］）／２であるか否かを判定する。
【００５３】
ｎ≦（Ｎ＋Ｍ［ｉ］）／２であると判定すると（ステップＳ２１７において、ＹＥＳ）、システム制御部１１２は、基準画像選択部１０５を制御してＮ枚目の画像を基準画像として選択する（ステップＳ２１８）。一方、ｎ＞（Ｎ＋Ｍ［ｉ］）／２であると判定すると（ステップＳ２１７において、ＮＯ）、システム制御部１１２は、基準画像選択部１０５を制御してＭ［ｉ］枚目の画像を基準画像として選択する（ステップＳ２１９）。
【００５４】
ｉ＝ｉｍａｘでないと判定すると（ステップＳ２１６において、ＮＯ）、システム制御部１１２は、ｉ＝ｉ＋１として次の中間基準画像を選択する（ステップＳ２２０）。そして、システム制御部１１２はステップＳ２１１の処理に戻る。
【００５５】
ステップＳ２１４、Ｓ２１５、Ｓ２１８、又はＳ２１９の処理の後、システム制御部１１２は、ステップＳ２２１〜Ｓ２２５の処理を行う。ステップＳ２２１〜Ｓ２２５の処理は、図２で説明したステップＳ１０９〜Ｓ１１３の処理と同様であるので、ここでは説明を省略する。そして、ステップＳ２２５においてｎ＜Ｎであると判定すると、システム制御部１１２はステップＳ２１１の処理に戻る。
【００５６】
図６は、図５に示す中間基準画像判定を説明するためのフローチャートである。
【００５７】
中間基準画像判定処理を開始すると、システム制御部１１２は、動きベクトル検出部１０６を制御して、ｎ枚目の画像とその一つ前の（ｎ−１）枚目の画像間とにおいて被写体の動きベクトルを検出する（ステップＳ３０１）。続いて、システム制御部１１２は、動きベクトル検出部１０６を制御して、ｎ枚目の画像とその一つ後の（ｎ＋１）枚目の画像とにおいて被写体の動きベクトルを検出する（ステップＳ３０２）。
【００５８】
次に、システム制御部１１２は、ステップＳ３０１およびＳ３０２において検出した動きベクトルの方向を比較する（ステップＳ３０３）。そして、システム制御部１１２は、動きベクトルの方向の変化量が予め設定された変化閾値以上に変化しているか否か判定する（ステップＳ３０４）。
【００５９】
動きベクトルの方向の変化量が変化閾値以上であると判定すると（ステップＳ３０４において、ＹＥＳ）、システム制御部１１２は、動きベクトルの方向の変化量が変化閾値以上であるとしたｎ枚目の画像を中間基準画像Ｍ［ｉ］として基準画像に追加する。つまり、システム制御部１１２は、Ｍ［ｉ］＝ｎ、ｉ＝ｉ＋１、Ｉｍａｘ＝ｉとする。そして、システム制御部１１２は中間基準画像判定処理を終了して、図５に示すステップＳ２０７の処理に進む。
【００６０】
一方、動きベクトルの方向の変化量が変化閾値未満であると判定すると（ステップＳ３０４において、ＮＯ）、システム制御部１１２は中間基準画像判定処理を終了して、図５に示すステップＳ２０７の処理に進む。
【００６１】
このように、第２の実施形態では、動きベクトルの方向が変化した画像を中間基準画像として追加するようにしたので、被写体の動きが変化した際においても動き判定を行うことができ、適切に動被写体を抽出して合成画像を生成することができる。
【００６２】
上述の説明から明らかなように、図１に示す例では、システム制御部１１２および基準画像選択部１０５が選択手段として機能し、動きベクトル検出部１０６およびシステム制御部１１２が検出手段として機能する。また、システム制御部１１２、動被写体抽出部１０７、および合成処理部１０８が合成手段として機能する。
【００６３】
さらに、レンズユニット１０１、撮像素子１０２、ＡＦＥ１０３、および画像信号処理部１０４が撮像手段として機能し、システム制御部１１２および外部記録メモリ１０９が記録手段として機能する。
【００６４】
なお、図１に示す例では、少なくとも基準画像選択部１０５、動きベクトル検出部１０６、動被写体抽出部１０７、合成処理部１０８、メモリ１１０、不揮発性メモリ１１１、およびシステム制御部１１２が画像処理装置を構成する。
【００６５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００６６】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００６７】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６８】
１０１  レンズユニット
１０２  撮像素子
１０３  ＡＦＥ
１０４  画像信号処理部
１０５  基準画像選択部
１０６  動きベクトル検出部
１０７  動被写体抽出部
１０８  合成処理部
１１０  メモリ
１１２  システム制御部
【図１】
2016134060.tif 000003
【図２】
2016134060.tif 000004
【図３】
2016134060.tif 000005
【図４】
2016134060.tif 000006
【図５】
2016134060.tif 000007
【図６】
2016134060.tif 000008