(57)【要約】【課題】例えば被写体が奥行き方向に移動する場合においても、流し撮りによって得られる画像と同様の効果が与えられた画像を容易に得ることができる画像処理装置を提供する。【解決手段】流し撮り画像の生成時、CMOSセンサ１２においては連続して撮影が行われる。動き検出部１５は、各画像に写る被写体の動きを検出するとともに、動体の移動速度と移動方向を特定する。位置調整部１７は、複数の画像に含まれる動体の、動きの方向に対する先頭位置を検出し、検出した先頭位置がそれぞれの画像上において同じ位置になるように、動体の位置を調整する。合成部１８は、位置調整部１７から供給された、動体の位置調整後の画像に対してフィルタ処理を施し、フィルタ処理を施して得られた画像を合成する。本発明はデジタルカメラに適用することができる。【選択図】図１
2012109899.tif 000002
【特許請求の範囲】
【請求項１】
動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出手段と、
前記動き検出手段により検出された前記被写体の、前記動きの方向に対する先頭位置が一致するように、前記複数の画像を合成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記合成手段は、前記複数の画像のうちの最後に撮影された画像を最前面にして前記複数の画像を合成する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記合成手段は、前記被写体の移動方向および移動速度の少なくとも一方を検出し、検出した前記被写体の移動方向または移動速度若しくは両方に従って、合成時に前記複数の画像のそれぞれに施すフィルタ処理の係数を変える
ことを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像処理装置であって、
前記合成手段により前記複数の画像が合成されることによって得られた合成画像に対して輪郭を強調する処理を施す画像処理手段をさらに備える
ことを特徴とする画像処理装置。
【請求項５】
動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出ステップと、
前記動き検出ステップにより検出された前記被写体の、前記動きの方向に対する先頭位置が一致するように、前記複数の画像を合成する合成ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
複数の画像を合成する画像処理をコンピュータに行わせるプログラムにおいて、
動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出ステップと、
前記動き検出ステップにより検出された前記被写体の、前記動きの方向に対する先頭位置が一致するように、前記複数の画像を合成する合成ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出手段と、
前記動き検出手段により検出された前記被写体を含む所定の範囲を前記複数の画像のそれぞれから抽出し、前記被写体の大きさが同じ大きさになるように、抽出した前記所定の範囲の画像の大きさを調整する電子ズーム処理手段と、
前記電子ズーム処理手段により大きさが調整された前記所定の範囲の画像を、前記被写体の位置が一致するように合成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記合成手段は、前記動き検出手段により検出された前記被写体の、前記動きの方向に対する先頭位置が一致するように、前記複数の画像を合成する
ことを特徴とする画像処理装置。
【請求項９】
請求項７に記載の画像処理装置であって、
前記合成手段により前記複数の画像が合成されることによって得られた合成画像に対して輪郭を強調する処理を施す画像処理手段をさらに備える
ことを特徴とする画像処理装置。
【請求項１０】
動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出ステップと、
前記動き検出ステップにより検出された前記被写体を含む所定の範囲を前記複数の画像のそれぞれから抽出し、前記被写体の大きさが同じ大きさになるように、抽出した前記所定の範囲の画像の大きさを調整する電子ズーム処理ステップと、
前記電子ズーム処理ステップにより大きさが調整された前記所定の範囲の画像を、前記被写体の位置が一致するように合成する合成ステップと
を含むことを特徴とする画像処理方法。
【請求項１１】
複数の画像を合成する画像処理をコンピュータに行わせるプログラムにおいて、
動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出ステップと、
前記動き検出ステップにより検出された前記被写体を含む所定の範囲を前記複数の画像のそれぞれから抽出し、前記被写体の大きさが同じ大きさになるように、抽出した前記所定の範囲の画像の大きさを調整する電子ズーム処理ステップと、
前記電子ズーム処理ステップにより大きさが調整された前記所定の範囲の画像を、前記被写体の位置が一致するように合成する合成ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびその制御プログラムに関し、特に、流し撮りによって得られる画像と同様の効果が与えられた画像を容易に得ることが可能な画像処理装置、画像処理方法およびその制御プログラムに関する。
【背景技術】
【０００２】
走行中の新幹線等の動体を撮影する手法として、被写体の動きにあわせてカメラを動かし、背景が流れているような画像を撮影する“流し撮り”が知られている。この流し撮りによれば、被写体のスピード感を強調することが可能になる。
【０００３】
ところで、被写体の動きにあわせてカメラを動かして実際に流し撮りを行うことが難しいことから、流し撮りによって得られる画像と同様の効果が表現された画像を画像処理によって生成する技術が各種提案されている。
【０００４】
例えば、特許文献１には、連続して撮影して合成用として複数の画像を生成し、その合成用画像のそれぞれから動体を検出し、検出した動体の位置がほぼ一致するように複数の合成用画像を合成して１枚の合成画像を生成する技術が開示されている。
【０００５】
図９は、流し撮りによって得られる画像と同様の効果が表現された画像を得るための従来の画像処理の例を示す図である。
【０００６】
図９の左側に示す画像Ｐ１０１〜Ｐ１０４は、通常の流し撮りのようにカメラを動かすようなことはせずに、そのままの位置で、連続して撮影した結果得られた画像である。画像Ｐ１０１〜Ｐ１０４は、その順で撮影されたものである。画像Ｐ１０１〜Ｐ１０４のそれぞれには、実線矢印で示すように右から左に移動する電車が被写体として含まれ、山が背景として含まれている。カメラの位置は固定であるから、背景は変わらずに、各画像中における被写体の位置が左から右に少しずつずれていくことになる。なお画像Ｐ１０１〜Ｐ１０４にある実線矢印は、この説明のために示したものであり、被写体の画像として、画像Ｐ１０１〜Ｐ１０４に含まれるものではない。
【０００７】
このような画像Ｐ１０１〜Ｐ１０４から動体としての電車を検出し、検出した電車の位置が一致するように画像Ｐ１０１〜Ｐ１０４を合成することによって、図９の右側に示す合成画像Ｐ１１１が得られる。合成画像Ｐ１１１においては、流し撮りによって得られる画像と同様に、電車は静止している一方で、背景は、画像Ｐ１０１〜Ｐ１０４のそれぞれの画像における電車との相対的な位置のずれによって流れているような画像になっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−２５３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した技術によれば、画像上において被写体が横方向に移動する場合には被写体が静止した合成画像を得ることができるが、例えば、遠方から近づいてきている被写体を撮影することによって、被写体が左上から右下、または右上から左下、すなわち、画面上において斜め方向に移動する場合には、合成画像において被写体を静止させることが困難であるという課題があった。
【００１０】
本発明の目的は、例えば、被写体が奥行き方向に移動する場合においても、流し撮りによって得られる画像と同様の効果が与えられた画像を容易に得ることができる画像処理装置、画像処理方法およびその制御プログラムを提供することである。
【課題を解決するための手段】
【００１１】
本発明の一側面は、動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出手段と、前記動き検出手段により検出された前記被写体の、前記動きの方向に対する先頭位置が一致するように、前記複数の画像を合成する合成手段とを備えることを特徴とする。
【００１２】
本発明の一側面は、動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出ステップと、前記動き検出ステップにより検出された前記被写体の、前記動きの方向に対する先頭位置が一致するように、前記複数の画像を合成する合成ステップとを含むことを特徴とする。
【００１３】
本発明の一側面は、動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出ステップと、前記動き検出ステップにより検出された前記被写体の、前記動きの方向に対する先頭位置が一致するように、前記複数の画像を合成する合成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１４】
本発明の一側面は、動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出手段と、前記動き検出手段により検出された前記被写体を含む所定の範囲を前記複数の画像のそれぞれから抽出し、前記被写体の大きさが同じ大きさになるように、抽出した前記所定の範囲の画像の大きさを調整する電子ズーム処理手段と、前記電子ズーム処理手段により大きさが調整された前記所定の範囲の画像を、前記被写体の位置が一致するように合成する合成手段とを備えることを特徴とする。
【００１５】
本発明の一側面は、動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出ステップと、前記動き検出ステップにより検出された前記被写体を含む所定の範囲を前記複数の画像のそれぞれから抽出し、前記被写体の大きさが同じ大きさになるように、抽出した前記所定の範囲の画像の大きさを調整する電子ズーム処理ステップと、前記電子ズーム処理ステップにより大きさが調整された前記所定の範囲の画像を、前記被写体の位置が一致するように合成する合成ステップとを含むことを特徴とする。
【００１６】
本発明の一側面は、動きのある被写体を複数回連続して撮影して得られた複数の画像のそれぞれの画像から前記被写体を検出する動き検出ステップと、前記動き検出ステップにより検出された前記被写体を含む所定の範囲を前記複数の画像のそれぞれから抽出し、前記被写体の大きさが同じ大きさになるように、抽出した前記所定の範囲の画像の大きさを調整する電子ズーム処理ステップと、前記電子ズーム処理ステップにより大きさが調整された前記所定の範囲の画像を、前記被写体の位置が一致するように合成する合成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、例えば、被写体が奥行き方向に移動する場合においても、流し撮りによって得られる画像と同様の効果が与えられた画像を容易に得ることが可能な画像処理装置、画像処理方法およびその制御プログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る撮影装置の構成例を示すブロック図である。
【図２】動体の位置の調整の例を示す図である。
【図３】図１の合成部の構成例を示す図である。
【図４】合成画像の例を示す図である。
【図５】図１の撮影装置の流し撮り画像生成処理について説明するフローチャートである。
【図６】撮影装置の他の構成例を示すブロック図である。
【図７】動体の大きさの調整の例を示す図である。
【図８】図６の撮影装置の流し撮り画像生成処理について説明するフローチャートである。
【図９】従来の画像処理の例を示す図である。
【発明を実施するための形態】
【００１９】
［本発明の第１の実施の形態］
図１は、本実施形態に係る撮影装置１の構成例を示すブロック図である。撮影装置１はデジタルカメラであり、ユーザによるレリーズ操作に応じて撮影を行う。
【００２０】
撮影装置１には、この例の場合、１秒間に１５フレームなどの複数の画像を撮影する連写機能が搭載されている。後に詳述するように、撮影装置１においては、連写機能によって撮影された複数の画像を用いて、流し撮りによって撮影した画像と同様の効果が表現された画像を生成する処理が行われる。以下、適宜、撮影装置１による処理によって生成される、流し撮りによって得られる画像と同様の効果が表現された画像を流し撮り画像という。
【００２１】
CPU１１は、所定のプログラムを実行し、撮影装置１の全体の動作を制御する。例えば、CPU１１は、動き検出部１５により特定された、それぞれの画像上における動体の位置を表す情報を位置調整部１７に出力する。
【００２２】
また、CPU１１は、動き検出部１５により特定された動体の移動速度と移動方向に応じたフィルタ係数を用いて、合成部１８に合成用画像のフィルタ処理を行わせる。例えば、CPU１１は、動体の移動速度が速いほど、背景部分をよりぼかすようなフィルタ処理を行わせる。また、CPU１１は、各合成用画像の背景部分を、動体の移動方向と同じ方向に流すようなフィルタ処理を行わせる。
【００２３】
CMOS（Complementary Metal Oxide Semiconductor）センサ１２は、レンズにより取り込まれた光の光電変換を行い、光電変換によって得られた画像信号のA/D（Analog to Digital）変換を行う。CMOSセンサ１２は、A/D変換によって得られた画像データをメモリ１３に記憶させる。例えば、流し撮り画像の生成時、CMOSセンサ１２においては連続して撮影が行われ、複数の画像データがメモリ１３に記憶される。流し撮り画像の生成時の撮影は、撮影装置１の位置はそのままの状態（すなわち流し撮りを実際に行う場合とは異なり、撮影者が撮像装置１を被写体の動きにあわせて動かさない状態）で行われる。
【００２４】
画像処理部１４は、メモリ１３に記憶された複数の画像を例えば撮影順に読み出し、動き検出部１５に出力する。また、画像処理部１４は、メモリ１３に記憶された複数の画像のうちの合成に用いる画像である合成用画像をメモリ１６に出力して記憶させる。
【００２５】
動き検出部１５は、画像処理部１４から供給されたそれぞれの画像間の、対応する画素の画素値の差を求めるなどして、画像に写るそれぞれの被写体の動きを検出する。また、動き検出部１５は、検出した動きに基づいて、画像に含まれる動体（動きのある被写体）を検出するとともに、動体の移動速度と移動方向を特定する。
【００２６】
位置調整部１７は、CPU１１から供給された情報に基づいて、複数の画像に含まれる動体の、動きの方向に対する先頭位置を検出し、検出した先頭位置がそれぞれの画像上において同じ位置になるように、動体の位置を調整する。CPU１１からは、それぞれの画像に写る動体の位置と移動方向を表す情報が位置調整部１７に対して供給されている。
【００２７】
図２は、位置調整部１７による動体の位置の調整の例を示す図である。
【００２８】
画像Ｐ１〜Ｐ４は、撮影装置１の位置がそのままの状態において、その順番で連続して撮影して得られた画像である。画像Ｐ１〜Ｐ４のそれぞれには、左上から右下方向（光軸に対して左奥から右手前の方向）に移動する電車Ｔが被写体として含まれ、山が背景として含まれている。
【００２９】
撮影装置１の位置はほぼ同じであるから、背景は変わらずに、各画像中における電車Ｔの位置が、左上から右下に少しずつずれていくことになる。水平方向の位置（Ｘ軸上の位置）について説明すると、画像Ｐ１においては、電車Ｔの先頭位置は位置ｘで表され、画像Ｐ２においては位置ｘ＋α１で表される。また、画像Ｐ３においては、電車Ｔの先頭位置は位置ｘ＋α２で表され、画像Ｐ４においては位置ｘ＋α３で表される。α１＜α２＜α３の関係となっている。なお画像Ｐ１〜Ｐ４にある破線は、この説明のために示したものであり、被写体の画像として、画像Ｐ１〜Ｐ４に含まれるものではない。
【００３０】
この場合、位置調整部１７は、例えば基準の位置として位置ｘ＋α３を選択し、各画像における電車Ｔの先頭位置が位置ｘ＋α３になるように、各画像に写る電車Ｔの位置を調整する。すなわち、位置調整部１７は、画像Ｐ１を対象として、画像Ｐ１に写る電車Ｔの位置（電車Ｔの領域）をCPU１１から供給された情報に基づいて特定し、電車Ｔの位置をα３の分だけ右方向にずらす処理を行う。
【００３１】
また、位置調整部１７は、画像Ｐ２を対象として、画像Ｐ２に写る電車Ｔの位置をCPU１１から供給された情報に基づいて特定し、電車Ｔの位置を、α３−α１の分だけ右方向にずらす処理を行う。同様に、位置調整部１７は、画像Ｐ３を対象として、画像Ｐ３に写る電車Ｔの位置をCPU１１から供給された情報に基づいて特定し、電車Ｔの位置を、α３−α２の分だけ右方向にずらす処理を行う。
【００３２】
これにより、画像Ｐ１〜Ｐ４のそれぞれにおいて、電車Ｔの先頭位置は、水平方向において位置ｘ＋α３で表される位置になる。位置調整部１７は、このようにして動体の位置を調整した画像を合成部１８に順次出力する。
【００３３】
なお先頭位置は、たとえば、動体の動きベクトルを求め、そのベクトルに直交して動体の輪郭に接する接線上の接点を、動体の先頭とし、その位置を先頭位置とすることで求めることができる。また接線と、その接線と平行な線であって接線から所定の距離だけ離れた線との間の領域に存在する動体の輪郭部分を動体の先頭とし、その位置全体を先頭位置とすることができる。
【００３４】
合成部１８は、位置調整部１７から供給された、動体の位置調整後の画像に対してフィルタ処理を施し、フィルタ処理を施して得られた画像を合成する。
【００３５】
図３は、合成部１８の構成例を示す図である。合成部１８は、フィルタ処理部１８Ａと加算部１８Ｂから構成される。位置調整部１７から出力された、動体の位置調整後の画像と、CPU１１から供給されたフィルタ係数の情報はフィルタ処理部１８Ａに入力され、メモリ１６から読み出された合成画像（合成部１８による合成済みの画像）は加算部１８Ｂに入力される。
【００３６】
フィルタ処理部１８Ａは、合成用画像として位置調整部１７から供給された動体の位置調整後の画像に対して、CPU１１により選択されたフィルタ係数に従ってフィルタ処理を行う。上述したように、フィルタ処理部１８Ａにおいては、画像の背景部分を動体の移動速度に応じてぼかしたり、動体の移動方向に応じて流したりする処理が行われる。フィルタ処理部１８Ａは、フィルタ処理を施して得られた合成用画像を撮影順に１枚ずつ加算部１８Ｂに出力する。
【００３７】
加算部１８Ｂは、対応する画素の画素値を加算するなどして、フィルタ処理部１８Ａから供給された合成用画像と、メモリ１６から読み出した合成画像とを合成する。
【００３８】
例えば、図２の画像Ｐ１〜Ｐ４の動体の位置が位置調整部１７により調整された場合、初めに、画像Ｐ１のフィルタ処理がフィルタ処理部１８Ａにおいて行われ、フィルタ処理が施された画像Ｐ１が加算部１８Ｂから出力される。加算部１８Ｂから出力された画像Ｐ１は、１／Ｎ処理部１９に供給されるとともにメモリ１６に記憶される。
【００３９】
次に、画像Ｐ２のフィルタ処理がフィルタ処理部１８Ａにおいて行われ、フィルタ処理が施された画像Ｐ２と、メモリ１６に記憶されていた画像Ｐ１とが加算部１８Ｂにおいて合成される。画像の合成は、例えば、撮影順で後の画像が前面に位置するように、画像Ｐ１に画像Ｐ２を重ねるようにして行われる。合成画像は加算部１８Ｂから出力され、１／Ｎ処理部１９に供給されるとともにメモリ１６に記憶される。
【００４０】
同様に、画像Ｐ３のフィルタ処理がフィルタ処理部１８Ａにおいて行われ、フィルタ処理が施された画像Ｐ３と、メモリ１６に記憶されていた、画像Ｐ１とＰ２の合成画像とが加算部１８Ｂにおいて合成される。画像Ｐ１とＰ２の合成画像に対して画像Ｐ３を重ねるようにして得られた合成画像は加算部１８Ｂから出力され、１／Ｎ処理部１９に供給されるとともにメモリ１６に記憶される。
【００４１】
次に、画像Ｐ４のフィルタ処理がフィルタ処理部１８Ａにおいて行われ、フィルタ処理によって得られた画像Ｐ４と、メモリ１６に記憶されていた、画像Ｐ１とＰ２とＰ３の合成画像とが加算部１８Ｂにおいて合成される。画像Ｐ１とＰ２とＰ３の合成画像に対して画像Ｐ４を重ねるように、すなわち、最後に撮影された画像が最前面に位置するようにして合成が行われる。
【００４２】
図４は、合成画像の例を示す図である。図４の上段に示す合成画像Ｐ１１は、電車Ｔの位置を調整することなく、画像Ｐ１〜Ｐ４をそのまま合成した場合に得られる合成画像を示す。電車Ｔの位置の調整が行われていないから、合成画像Ｐ１１においては、メインの被写体となる電車Ｔの先頭付近がピントの合っていない状態になっている。
【００４３】
これに対して、撮影装置１においては、合成前に、先頭位置が同じ位置になるように各画像における動体の位置が調整されるから、合成部１８により最終的に得られる合成画像は、図４の白抜き矢印の先に示すような合成画像Ｐ１２となる。
【００４４】
合成画像Ｐ１２においては、電車Ｔの先頭付近がぼけることなく、ピントがあった状態になっている。また、背景部分は、画像Ｐ１〜Ｐ４のそれぞれの画像における電車Ｔとの相対的な位置のずれによって流れているような状態で写っている。すなわち、合成画像Ｐ１２は、流し撮りによって得られた画像と同様の効果が与えられた画像になっている。このような合成画像が加算部１８Ｂから出力され、１／Ｎ処理部１９に供給される。
【００４５】
１／Ｎ処理部１９は、合成部１８から供給された合成画像の各画素の画素値を１／Ｎ（Ｎは合成用画像の数）にする処理などを行い、合成画像を画像処理部２０に出力する。
【００４６】
画像処理部２０は、輪郭を強調する処理などの各種の画像処理を１／Ｎ処理部１９から供給された合成画像に対して施す。たとえば、輪郭強調等の画像処理が、合成前の画像（合成用画像）を対象として行われるのではなく、合成後の画像（合成画像）を対象として行われる。画像処理部２０は、各種の画像処理を施した合成画像をメモリ２１に出力し、記憶させる。
【００４７】
出力部２２は、メモリ２１から合成画像を読み出し、撮影装置１に対して着脱可能なメモリカードに記憶させたり、外部の装置に送信したりする。LCD（Liquid Crystal Display）２３は、メモリ２１に記憶されている合成画像を表示する。
【００４８】
次に、図５のフローチャートを参照して、流し撮り画像を生成する撮影装置１の一連の処理について説明する。図５の処理は、例えば、流し撮り画像を生成するモードがユーザによる操作に応じて設定された状態で、レリーズ操作が行われたときに開始される。
【００４９】
ステップＳ１において、CMOSセンサ１２は、レリーズ操作が行われたことに応じて連続して撮影を行う。
【００５０】
ステップＳ２において、CMOSセンサ１２から出力された複数の画像がメモリ１３に記憶される。メモリ１３に記憶された画像は、撮影順に、１枚ずつ、画像処理部１４により読み出されて動き検出部１５に供給されるとともに、メモリ１６に記憶される。
【００５１】
ステップＳ３において、動き検出部１５は、画像処理部１４から供給された１枚の画像に注目し、画像の被写体の動きを検出する。動き検出部１５は、画像に写る動体の位置を特定するとともに、動体の移動速度と移動方向を特定する。動き検出部１５により特定された動体の位置を表す情報と移動方向を表す情報はCPU１１から位置調整部１７に供給される。また、動体の移動速度と移動方向に応じたフィルタ係数の情報がCPU１１から合成部１８に供給される。
【００５２】
ステップＳ４において、位置調整部１７は、注目する画像における動体の位置を、動体の先頭位置が所定の位置になるように調整する。
【００５３】
ステップＳ５において、合成部１８は、動体の位置調整後の画像に対してフィルタ処理を施し、フィルタ処理を施して得られた動体の位置調整後の画像と、メモリ１６に記憶されている合成画像とを合成する。注目している画像が撮影順で１枚目の画像である場合には、フィルタ処理を施して得られた動体の位置調整後の画像は合成部１８からそのまま出力され、メモリ１６に記憶される。
【００５４】
ステップＳ６において、CPU１１は合成終了か否かを判定し、全ての画像の合成を行っていないことから合成終了ではないと判定した場合、ステップＳ４に戻り、撮影順で次の画像に注目し、同様の処理を繰り返す。
【００５５】
一方、合成終了であるとステップＳ６において判定された場合、ステップＳ７において、１／Ｎ処理部１９は、合成部１８により得られた合成画像に対して１／Ｎ処理を施す。
【００５６】
ステップＳ８において、画像処理部２０は、１／Ｎ処理が施された合成画像に対して所定の画像処理を施し、画像処理を施した合成画像を流し撮り画像としてメモリ２１に出力する。
【００５７】
ステップＳ９において、流し撮り画像がメモリ２１に記憶される。メモリ２１に記憶された流し撮り画像は、出力部２２を介してメモリカードに記憶されたり、LCD２３に表示されたりする。その後、処理は終了される。
【００５８】
［発明の第１の実施の形態における効果］
以上のように、ユーザは、被写体が奥行き方向に移動している場合であっても、画像において、動体の先頭位置が一致するように合成したので、たとえば、先頭部分の動きを止めることができ、流し撮りによって撮影した画像と同様の効果が表現された画像を容易に得ることができる。
【００５９】
また、以上のように、画像を合成する際、最後に撮影された画像が最前面に位置するようにして合成するようにしたので、たとえば、時間的に前に撮影された画像から後に撮影された画像の順番で、画像がより強調されるので、時間の流れに応じた画像、すなわちより動きのある画像を生成することができる。
【００６０】
また、以上のように、体の移動速度と移動方向に応じたフィルタ係数を用いて、合成用画像のフィルタ処理を行うようにしたので、たとえば、動体の移動速度が速いほど、背景部分がよりぼけるようにしたり、背景部分を、動体の移動方向と同じ方向に流れるようにすることができ、より効果的に流し撮り効果を表現することができる。
【００６１】
また以上のように、輪郭強調等の画像処理を合成前の画像（合成用画像）を対象として行われるのではなく、合成後の画像（合成画像）を対象として行うようにしたので、ぼけていない部分の輪郭を強調することができ、動体の輪郭をより効果的に強調することができる。
【００６２】
［本発明の第２の実施の形態］
図６は、本発明の第２の実施の形態としての撮影装置１の構成例を示す図である。図６に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付し、重複する説明については適宜省略する。図６に示す撮影装置１の構成は、メモリ１６と位置調整部１７の間に電子ズーム処理部３１が設けられている点で図１に示す構成と異なる。
【００６３】
図１の撮影装置１においては、先頭位置を同じ位置にするようにして動体の位置を調整し、動体の位置調整後の画像を合成するものとしたが、図６の撮影装置１においては、動体の位置だけでなく大きさをも調整し、動体の位置と大きさの調整後の画像を合成するようになされている。動体の大きさの調整は、電子ズームによって行われる。
【００６４】
電子ズーム処理部３１は、メモリ１６に記憶された画像を１枚ずつ撮影順に読み出し、各画像における動体の大きさが同じ位置になるように、画像の所定の範囲を抽出し、抽出した範囲の画像を拡大／縮小する処理である電子ズーム処理を行う。
【００６５】
図７は、電子ズーム処理部３１による動体の大きさの調整の例を示す図である。
【００６６】
図７の左側に示す画像Ｐ１〜Ｐ４は、図２の画像Ｐ１〜Ｐ４と同じ画像である。すなわち、画像Ｐ１〜Ｐ４のそれぞれには、左上から右下方向に移動する電車Ｔが被写体として含まれ、山が背景として含まれている。撮影装置１の位置は固定であるから、背景は変わらずに、大きさが大きくなりつつ、各画像中における電車Ｔの位置が、左上から右下に少しずつずれていくことになる。
【００６７】
この場合、電子ズーム処理部３１は、例えば、最後に撮影した画像Ｐ４に写る電車Ｔの大きさを基準の大きさとして選択し、各画像における電車Ｔの大きさが画像Ｐ４に写る電車Ｔの大きさと同じ大きさになるように、各画像の電子ズームを行う。被写体の動きの検出結果に基づいて、位置だけでなく、各画像に写る動体の大きさも動き検出部１５により特定されており、特定された大きさの情報がCPU１１から電子ズーム処理部３１に供給されている。
【００６８】
電子ズーム処理部３１は、画像Ｐ１に対して範囲Ｌ１を抽出範囲として設定し、矢印Ａ１の先に示すように、範囲Ｌ１の画像を画像Ｐ１と同じ大きさになるように拡大する。矢印Ａ１の先に示す画像Ｐ１’は、範囲Ｌ１の画像を拡大した画像である。なお画像Ｐ１〜Ｐ４，Ｐ１’〜Ｐ４’にある破線は、この説明のために示したものであり、被写体の画像として、それらの画像に含まれるものではない。
【００６９】
また、電子ズーム処理部３１は、画像Ｐ２に対して範囲Ｌ２を抽出範囲として設定し、矢印Ａ２の先に示すように、範囲Ｌ２の画像を画像Ｐ２と同じ大きさになるように拡大する。矢印Ａ２の先に示す画像Ｐ２’は、範囲Ｌ２の画像を拡大した画像である。
【００７０】
同様に、電子ズーム処理部３１は、画像Ｐ３に対して範囲Ｌ３を抽出範囲として設定し、矢印Ａ３の先に示すように、範囲Ｌ３の画像を画像Ｐ３と同じ大きさになるように拡大する。矢印Ａ３の先に示す画像Ｐ３’は、範囲Ｌ３内の画像を拡大した画像である。電車Ｔの大きさは撮影順に大きく写るから、図７に示すように、画像Ｐ１〜Ｐ３に設定される抽出範囲の大きさは徐々に大きくなる。
【００７１】
これにより、画像Ｐ１〜Ｐ４のそれぞれにおいて、電車Ｔの大きさは、画像Ｐ４に写る電車Ｔの大きさと同じ大きさになる。なお、画像Ｐ４に写る電車Ｔの大きさは基準の大きさであるから、図７の矢印Ａ４の先に示すように、一部の範囲を画像Ｐ４から抽出することは行われない。
【００７２】
電子ズーム処理部３１は、このようにして動体の大きさを調整した画像Ｐ１’〜Ｐ３’と、基準となった大きさの電車Ｔを含む画像Ｐ４を位置調整部１７に順次出力する。位置調整部１７においては、上述したように、先頭位置が同じ位置になるように、各画像に写る動体の位置が調整される。
【００７３】
このように、動体の大きさをも調整することにより、先頭位置だけでなく、動体全体にピントがあった状態の流し撮り画像を生成することが可能になる。
【００７４】
次に、図８のフローチャートを参照して、流し撮り画像を生成する図６の撮影装置１の一連の処理について説明する。図８の処理も、例えば、流し撮り画像を生成するモードがユーザによる操作に応じて設定された状態で、レリーズ操作が行われたときに開始される。
【００７５】
図８の処理は、動体の大きさを調整するための電子ズーム処理が含まれる点を除いて、基本的に、図５の処理と同様の処理である。すなわち、ステップＳ２１において、CMOSセンサ１２は、レリーズ操作が行われたことに応じて連続して撮影を行う。
【００７６】
ステップＳ２２において、メモリ１３は、CMOSセンサ１２から出力された複数の画像を記憶する。メモリ１３に記憶された画像は、撮影順に、１枚ずつ、画像処理部１４により読み出されて動き検出部１５に供給されるとともに、メモリ１６に記憶される。
【００７７】
ステップＳ２３において、動き検出部１５は、画像処理部１４から供給された１枚の画像に注目し、画像の被写体の動きを検出する。動き検出部１５は、画像に写る動体の位置、大きさ、移動速度、および移動方向を特定する。動き検出部１５により特定された動体の位置を表す情報と移動方向を表す情報はCPU１１から位置調整部１７に供給され、動体の移動速度と移動方向に応じたフィルタ係数の情報がCPU１１から合成部１８に供給される。また、動体の大きさを表す情報がCPU１１から電子ズーム処理部３１に供給される。
【００７８】
ステップＳ２４において、電子ズーム処理部３１は、注目する画像における動体の大きさを、基準となる画像に写る動体の大きさと同じ大きさになるように電子ズーム処理を行う。
【００７９】
ステップＳ２５において、位置調整部１７は、注目する画像（電子ズーム処理によって動体の大きさが調整された画像）における動体の位置を、先頭位置が所定の位置になるように調整する。
【００８０】
ステップＳ２６において、合成部１８は、動体の大きさと位置の調整後の画像に対してフィルタ処理を施し、フィルタ処理を施して得られた画像と、メモリ１６に記憶されている合成画像とを合成する。
【００８１】
ステップＳ２７において、CPU１１は合成終了か否かを判定し、全ての画像の合成を行っていないことから合成終了ではないと判定した場合、ステップＳ２４に戻り、撮影順で次の画像に注目し、同様の処理を繰り返す。
【００８２】
一方、合成終了であるとステップＳ２７において判定された場合、ステップＳ２８において、１／Ｎ処理部１９は、合成部１８により得られた合成画像に対して１／Ｎ処理を施す。
【００８３】
ステップＳ２９において、画像処理部２０は、１／Ｎ処理が施された合成画像に対して所定の画像処理を施し、画像処理を施した合成画像を流し撮り画像としてメモリ２１に出力する。
【００８４】
ステップＳ３０において、メモリ２１は流し撮り画像を記憶する。メモリ２１に記憶された流し撮り画像は、出力部２２を介してメモリカードに記憶されたり、LCD２３に表示されたりする。その後、処理は終了される。
【００８５】
［発明の第２の実施の形態における効果］
以上のように、ユーザは、動体の全体にピントが合った状態の流し撮り画像を容易に得ることができる。
【００８６】
［変形例］
以上においては、流し撮り画像を生成する処理がデジタルカメラにおいて行われるものとしたが、デジタルカメラで連続して撮影された画像を取り込んだパーソナルコンピュータなどの情報処理装置において、流し撮り画像を生成する上述した処理が行われるようにしてもよい。
【００８７】
また、以上においては、奥から手前方向に動体が移動する場合について説明したが、手前から奥に動体が移動する場合においても、同様の処理によって流し撮り画像を生成することが可能である。さらに、以上においては、動体が電車である場合について説明したが、車や人物など、各種の被写体を動体として流し撮り画像を生成することも可能である。
【００８８】
また、以上においては、動体の移動速度と移動方向に応じたフィルタ係数を用いて合成用画像のフィルタ処理を行ったり、輪郭強調等の画像処理が、合成前の画像（合成用画像）を対象として行われるのではなく、合成後の画像（合成画像）を対象として行われるなどの処理が行われたが、背景が流れているように表現できるものであれば、他の処理であってもよい。たとえば、先頭部分から後方において明るさや色が変わるようにすることもできる。
【００８９】
また図５、８に示した処理における各処理が、上述したようにすべて実行される場合に限らず、一部の処理のみが実行されるようにすることもできる。すなわち動体の先頭位置を一致させる合成処理において、最後に撮影された画像を最前面に出す処理、被写体の移動方向または移動速度に従ってフィルタ処理の係数を変える処理、そして合成前の画像（合成用画像）を対象として行われるのではなく、合成後の画像（合成画像）を対象として輪郭強調する処理をすべて行う場合を例として説明したが、それらの処理の一部のみを実行することもできる。またその順番も適宜変更することができる。
【００９０】
また、以上においては、動体の先頭位置を検出し、その位置が一致するように複数の画像を合成するようにしたが、ユーザが、指定した位置が一致するように複数の画像を合成することもできる。その場合、撮像装置１には、ユーザが、表示された画像の位置を指定できる機能を有し、位置調整部１７は、ユーザにより指定された位置が一致するように複数の画像を合成する。このようにすることで、たとえば、先頭位置をより正確に決定することができたり、また先頭位置に限らず、ユーザが望む位置の動きが止まった流し撮り画像を生成することができる。
【００９１】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９２】
この発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化したり、上記実施の形態に開示されている複数の構成要素を適宜組み合わせたりすることにより種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態に亘る構成要素を適宜組み合わせても良い。
【符号の説明】
【００９３】
１  撮影装置
１１  CPU
１２  CMOSセンサ
１５  動き検出部
１７  位置調整部
１８  合成部
１８Ａ  フィルタ処理部
１８Ｂ  加算部
３１  電子ズーム処理部
【図１】
2012109899.tif 000003
【図２】
2012109899.tif 000004
【図３】
2012109899.tif 000005
【図４】
2012109899.tif 000006
【図５】
2012109899.tif 000007
【図６】
2012109899.tif 000008
【図７】
2012109899.tif 000009
【図８】
2012109899.tif 000010
【図９】
2012109899.tif 000011