(57)【要約】【課題】撮像装置と被写体の移動速度の差が光学系の補正によって補正可能な範囲を超える場合であっても、流し撮りを有効に支援な撮像装置を提供する。【解決手段】撮像装置は、撮像装置を移動させながら、移動する被写体を撮影するための撮影モードを有する。撮像装置は、撮影モードにおいて、撮像装置と被写体との速度差を検出する検出手段と、検出した速度差が、撮像装置の光学系の補正によって補正可能な範囲を超えていると判定される場合、補正可能な範囲内での複数回の撮影を行うための撮影条件を設定する設定手段と、撮影条件に従った複数回の撮影で得られた複数の画像を用いた合成画像を生成する合成手段を有する。【選択図】図２
2015233211.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を移動させながら、移動する被写体を撮影するための撮影モードを有する撮像装置であって、
前記撮影モードにおいて、前記撮像装置と前記被写体との速度差を検出する検出手段と、
前記検出した速度差が、前記撮像装置の光学系の補正によって補正可能な範囲を超えていると判定される場合、前記補正可能な範囲内での複数回の撮影を行うための撮影条件を設定する設定手段と、
前記撮影条件に従った複数回の撮影で得られた複数の画像を用いた合成画像を生成する合成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記設定手段は、予め設定されている前記撮影モードのための露光時間と前記検出した速度差とから得られる速度が、前記撮像装置の光学系の補正によって補正可能な速度を超える場合、前記検出した速度差が、前記撮像装置の光学系の補正によって補正可能な範囲を超えていると判定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記設定手段は、前記検出した速度差が、前記撮像装置の光学系の補正によって補正可能な範囲を超えていると判定される場合、前記複数回の撮影の露光時間の合計が、前記撮影モードのための露光時間と同等になるように、前記撮影条件を設定することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記設定手段は、前記検出した速度差と、前記撮像装置の光学系の補正によって補正可能な範囲とから得られる、前記撮像装置の光学系の補正によって補正可能な範囲で撮影するための露光時間に基づいて、前記撮影条件を設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記光学系の補正が、前記光学系の光軸と、前記撮像装置が有する撮像素子との相対位置の補正であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記光学系の補正が、手振れ補正機構を用いて行われることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
撮像装置を移動させながら、移動する被写体を撮影するための撮影モードを有する撮像装置であって、
前記撮像装置と前記被写体との移動速度の差による、撮影画像における前記被写体のブレを補正するための第１の補正量を算出する算出手段と、
前記第１の補正量が、撮像面に対する前記被写体の結像位置を制御することにより補正できる第２の補正量より大きい場合、前記第２の補正量の範囲で複数回の撮影を行って前記第１の補正量を実現するための撮影条件を設定する設定手段と、
前記撮影条件により撮影された複数の画像を用いた合成画像を生成する合成手段と、
を有することを特徴とする撮像装置。
【請求項８】
前記設定手段は、前記第１の補正量が前記第２の補正量より大きい場合、前記複数回の撮影のそれぞれの露光時間を、前記第１の補正量を得るために必要な露光時間に基づいて設定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記設定手段は、前記第１の補正量が前記第２の補正量より大きい場合、前記複数回の撮影のそれぞれの露光時間が、前記第２の補正量を得るための時間を下回るように設定することを特徴とする請求項７または請求項８に記載の撮像装置。
【請求項１０】
前記設定手段は、前記第１の補正量が前記第２の補正量より大きい場合、前記複数回の撮影のそれぞれの露光時間の合計が、前記第１の補正量を得るための時間となるように、前記複数回の撮影のそれぞれの露光時間を設定することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記第２の補正量は、光学系を駆動して撮像面に対する被写体の結像位置を制御することにより補正できる最大の補正量であることを特徴とする請求項７乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記合成手段は、前記被写体の背景が、前記被写体の移動方向に流れた合成画像を生成することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記合成手段は、前記複数の画像のうち少なくともいずれかの画像データに対して前記被写体の背景を前記被写体の移動方向に平滑化した画像を生成し、該画像を用いて合成した前記合成画像を生成することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記合成手段は、前記複数回の撮影に必要な露光時間と撮影するフレームレートから算出した合成枚数の前記複数の画像を合成した前記合成画像を生成することを特徴とする請求項１または請求項７に記載の撮像装置。
【請求項１５】
前記合成手段は、前記撮像装置の移動速度と焦点距離の関係から求めた前記被写体の背景の画像上の移動量で、前記被写体の背景を平滑化した画像を生成し、該画像を用いて合成した前記合成画像を生成することを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
撮像装置を移動させながら、移動する被写体を撮影するための撮影モードを有する撮像装置の制御方法であって、
検出手段と、前記撮影モードにおいて、前記撮像装置と前記被写体との速度差を検出する検出工程と、
設定手段が、前記検出した速度差が、前記撮像装置の光学系の補正によって補正可能な範囲を超えていると判定される場合、前記補正可能な範囲内での複数回の撮影を行うための撮影条件を設定する設定工程と、
合成手段が、前記撮影条件に従った複数回の撮影で得られた複数の画像を用いた合成画像を生成する合成工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１７】
撮像装置を移動させながら、移動する被写体を撮影するための撮影モードを有する撮像装置の制御方法であって、
算出手段が、前記撮像装置と前記被写体との移動速度の差による、撮影画像における前記被写体のブレを補正するための第１の補正量を算出する算出工程と、
設定手段が、前記第１の補正量が、撮像面に対する前記被写体の結像位置を制御することにより補正できる第２の補正量より大きい場合、前記第２の補正量の範囲で複数回の撮影を行って前記第１の補正量を実現するための撮影条件を設定する設定工程と、
合成手段が、前記撮影条件により撮影された複数の画像を用いた合成画像を生成する合成工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１８】
コンピュータを、請求項１乃至１５のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法ならびにプログラムに関し、特に流し撮り撮影のための画像生成技術に関する。
【背景技術】
【０００２】
移動している被写体のスピード感を表現する撮影技術として流し撮りがある。この撮影技術は、撮影者が被写体の動きに合わせてカメラを動かす（パンニング）することにより、移動している被写体を静止させて背景は流した表現となる。一般的な流し撮りは、撮影したい被写体の移動速度に合わせて露光時間を通常より長めに調節することで撮影を行う。特許文献１には、流し撮り撮影の際に背景の流し量を十分に確保できる露光時間で撮影を行う構成が開示されている。
【０００３】
流し撮り撮影では撮影者が被写体の動きに合わせてパンニングをする必要があるが、パンニング速度が速すぎるまたは遅すぎることによって被写体の移動速度とパンニング速度の間に差が生じると、被写体までぶれた画像となる。このような問題に対して、光学的に手ぶれ補正を行うためのシフトレンズを移動させ、被写体の移動速度とパンニング速度の差を吸収する技術が知られている。特許文献２には、検出した被写体を画像中央に位置させるため、シフトレンズの移動により被写体の位置を補正して流し撮り撮影を行う構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２４５７７４号公報
【特許文献２】特開２００６−３１７８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２で開示されているシフトレンズによる補正では、シフトレンズの稼働範囲が限られるため、被写体の移動速度とパンニング速度の差が大きい場合はシフトレンズによって補正できる量（最大補正可能角度）を超える場合がある。
【０００６】
このような状況を例示すると、例えば図７に示すようになる。図７は、カメラがパンニングする角速度と、カメラのパンニング中心を回転の基準とした被写体の角速度を示している。例えば、被写体の角速度が３０ｄｅｇ／ｓｅｃ、カメラのパンニング角速度が２４ｄｅｇ／ｓｅｃの場合は、その差の６ｄｅｇ／ｓｅｃをカメラ内部で補正する必要がある。最終的にカメラ内部で必要となる補正角度は、カメラ内部で補正する必要のある角速度に露光時間を乗算したものとなる。仮にシフトレンズの最大補正可能角度を０．４度、露光時間を１／１６秒として撮影した場合、最終的に必要となる補正角度は式１のようになる。
【０００７】
【数１】
2015233211.tif 000003
【０００８】
この場合、補正角度が最大補正可能角度内に収まっているため、シフトレンズによる補正が可能である。一方、露光時間を１／８秒と長くして撮影した場合、最終的に必要な補正角度は式２のようになる。
【０００９】
【数２】
2015233211.tif 000004
【００１０】
この場合、最終的に必要な補正角度がシフトレンズによる最大補正可能角度を超えているため、シフトレンズによって補正ができなくなる。このように、露光時間によっては最大補正可能角度を超えるため、補正ができずに撮影した被写体までぶれた画像となってしまう場合がある。上述したように、流し撮り撮影においては露光時間を長くとる必要があるため、十分に補正ができない不都合がより顕著となることが想定される。
【００１１】
本発明は、上述の従来技術の問題点に鑑みてなされ、撮像装置と被写体の移動速度の差が光学系の補正によって補正可能な範囲を超える場合であっても、流し撮りを有効に支援可能な撮像装置、制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、撮像装置を移動させながら、移動する被写体を撮影するための撮影モードを有する撮像装置であって、撮影モードにおいて、撮像装置と被写体との速度差を検出する検出手段と、検出した速度差が、撮像装置の光学系の補正によって補正可能な範囲を超えていると判定される場合、補正可能な範囲内での複数回の撮影を行うための撮影条件を設定する設定手段と、撮影条件に従った複数回の撮影で得られた複数の画像を用いた合成画像を生成する合成手段と、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮像装置と被写体の移動速度の差が光学系の補正によって補正可能な範囲を超える場合であっても、流し撮りを有効に支援可能になる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】実施形態１に係る流し撮りアシスト処理（ａ）、露光時間制限処理（ｂ）、および画像合成処理（ｃ）の一連の動作を示すフローチャート
【図３】実施形態１に係る像面上の被写体の角速度の算出方法を示す図
【図４】実施形態１に係る撮影条件の設定例を示す図
【図５】実施形態１に係るシフトレンズを移動させて撮影した被写体の領域を模式的に示す図
【図６】実施形態１に係る合成処理を模式的に示す図
【図７】流し撮り撮影において必要な補正量を示す図
【図８】実施形態２に係る流し撮りアシスト処理（ａ）、露光時間制限処理（ｂ）の一連の動作を示すフローチャート
【図９】実施形態２に係る流し撮り合成処理の一連の動作を示すフローチャート
【図１０】実施形態２に係る撮り流し撮影画像を合成により生成する場合の課題を示す図
【図１１】実施形態２に係るＬＰＦのタップ数の算出について説明する図
【図１２】実施形態２に係る移動ベクトルの算出例を示す図
【図１３】実施形態２に係るデジタルカメラの角速度を用いた画素の移動量の算出について説明する図
【図１４】実施形態２に係る合成処理を説明する図
【発明を実施するための形態】
【００１５】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、流し撮り撮影の可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、流し撮り撮影が可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。
【００１６】
（１  デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１７】
光学系１０１は、レンズ、シャッター、絞り、シフトレンズから構成されており、制御部１０３の制御によって被写体からの光学像を撮像素子１０２に結像させる。シフトレンズは、手振れ補正機構を実現するものであり、レンズの光軸と撮像素子１０２との相対位置を変化させ、撮像面に対する被写体の結像位置を補正する。
【００１８】
撮像素子１０２は、結像された被写体からの光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル画像信号（画像データ）を出力する。撮像素子１０２は、ＣＣＤ（Charge-Coupled Device）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーなどの撮像素子であってよい。
【００１９】
制御部１０３は、例えばＣＰＵあるいはＭＰＵであり、二次記憶装置１０８に格納されたプログラムを一次記憶装置１０４の作業エリアに展開し、実行することにより、デジタルカメラ１００全体を制御する制御部である。後述する流し撮り撮影における流し撮りアシスト処理の全体や露光時間制限処理、画像合成処理等の各処理を制御する。
【００２０】
一次記憶装置１０４は、例えばＲＡＭのような揮発性の記憶媒体であり、一時的なデータを記憶し、制御部１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、必要に応じて画像処理部１０６で利用されるほか、記録媒体制御部１０７を介して記録媒体に記録される。
【００２１】
二次記憶装置１０８は、例えばＥＥＰＲＯＭのような不揮発性の記憶媒体であり、デジタルカメラ１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、制御部１０３によって利用される。
【００２２】
角速度センサ１０５は、ジャイロセンサ等で構成され、デジタルカメラ１００の移動量を表す角速度を検出して電気信号に変換して制御部１０３へ通知する。
【００２３】
画像処理部１０６は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整なども行う。なお、画像処理部１０６の機能の少なくとも一部は、制御部１０３がソフトウェア的に実現しても良い。
【００２４】
記録媒体制御部１０７は、一次記憶装置１０４に記憶されている、撮影により得られた画像データなどを記録媒体に記録する。記録媒体は、例えば半導体メモリカードのようにデジタルカメラ１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。記録媒体制御部１０７は記録媒体の着脱機構および読み書き機能を有する。
【００２５】
表示部１０９は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。
【００２６】
操作部１１０は、ユーザの操作を受け付けて制御部１０３へ入力情報を通知する入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であっても良い。ユーザは撮影を行うための撮影モードを設定可能であり、１枚ずつ撮影する設定や本実施形態の流し撮り撮影モードを選択して選択できる。また、撮影した画像に適用する画像処理のパターンを複数有し、これらのパターンも撮影モードとして操作部１１０から設定可能である。
【００２７】
（２  流し撮りアシスト処理に係る一連の動作）
次に、図２を参照して、流し撮りアシスト処理に係る一連の動作を説明する。本実施形態における流し撮りアシスト処理は、流し撮り撮影において複数枚の画像を撮影し、撮影した画像データを合成した流し撮り画像の生成を行う。なお、本処理は、例えばユーザが動く被写体に対してデジタルカメラ１００をパンニングしている状態で、操作部１１０に含まれるシャッターボタンを半押しした場合に開始される。また本処理は、制御部１０３が二次記憶装置１０８に記憶されたプログラムを一次記憶装置１０４の作業用領域に展開し、実行することにより実現される。
【００２８】
Ｓ２０１において制御部１０３は、撮像素子１０２から入力した画像データに対して被写体領域の抽出を行う。なお、被写体領域の抽出は、特許文献２に記載される公知の方法、例えば入力した２枚の画像データから動きベクトルを求め、周囲よりも動きベクトルが小さい領域を被写体領域として抽出できる。制御部１０３は所定の大きさの矩形領域または画素ごとに被写体領域を特定し、被写体領域を表す情報として一次記憶装置１０４に記憶する。
【００２９】
Ｓ２０２において制御部１０３は、角速度センサ１０５で検出されたデジタルカメラ１００の角速度情報をパンニング角速度として取得し、Ｓ２０３に処理を進める。
【００３０】
Ｓ２０３において制御部１０３は被写体の角速度の算出を行う。本実施形態においてはパンニング角速度を用いて被写体の角速度の計算を行うため、図３に示すように、主点を中心とした角速度を算出する。図３では、被写体がｔ［ｓｅｃ］の間に点Ａから点Ｂへ移動し、それに応じてセンサ上に結像した被写体像が点Ｃから点Ｄへと移動したことを示している。ここで、点Ｃから点Ｄへの像面移動量をｖ［ｐｉｘｅｌ］、焦点距離をｆ［ｍｍ］、センサの画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とした時、像面上の被写体の角速度ω［ｒａｄ／ｓｅｃ］は式３で表わされる。
【００３１】
【数３】
2015233211.tif 000005
ここで、デジタルカメラ１００をパンニングしていた場合、像面上の被写体の角速度ωは、被写体自身の角速度（被写体角速度）ωsとＳ２０２で取得したパンニング角速度ωpの速度差となる。（式４）
【００３２】
【数４】
2015233211.tif 000006
【００３３】
そこで、被写体角速度ωsを求めるにあたり、角速度センサ１０５で検出されたデジタルカメラ１００のパンニング角速度ωpから、式５により被写体角速度ωsが算出される。
【００３４】
【数５】
2015233211.tif 000007
【００３５】
なお、本実施形態では、被写体角速度ωsは像面上の被写体の角速度ωとパンニング角速度ωpから算出したが、予め操作部１１０を介してユーザにより指定あるいは選択された値を使用するようにしてもよい。被写体角速度ωsが算出されると、制御部１０３はＳ２０４に処理を進める。
【００３６】
Ｓ２０４において制御部１０３は、自動露出設定を行う。自動露出設定では、例えば通常撮影で設定される露光時間よりも長い、流し撮り撮影のための予め定めた露光時間を設定する。図４において後述するが、例えば通常撮影で設定される露光時間が１／８０とすると、本ステップでは設定値等により定められた所定の１／１０などの長い露光時間を設定する。なお、Ｓ２０４において算出した被写体角速度ωsに応じて露光時間を算出して設定するようにしてもよい。
【００３７】
Ｓ２０５において制御部１０３は、さらに最長露光時間の算出を行う。Ｓ２０４において設定した露出時間を用いると、シフトレンズによる最大補正可能角度を超えてしまう場合がある。このため、複数の撮影を行ってＳ２０４で設定した露光時間を満たした流し撮り撮影を行い、各撮影には、以下で算出する最長露光時間を下回る露光時間において撮影を行う。最長露光時間の算出処理の詳細について、図２（ｂ）を参照して一連の動作を説明する。
【００３８】
まず、Ｓ２３１において制御部１０３は、補正角速度ωrの算出を行う。ここでは被写体角速度ωsおよびパンニング角速度ωpを用いて、式６により補正角速度ωrを算出する。
【００３９】
【数６】
2015233211.tif 000008
【００４０】
Ｓ２３２において制御部１０３は、最大補正可能角度の取得を行う。上述のように、この最大補正可能角度はシフトレンズを有する光学系１０１が補正できる最大の角度を表す。光学系１０１がデジタルカメラ１００の本体に予め固定されている場合、制御部１０３は、二次記憶装置１０８に予め記録された光学系１０１の最大補正可能角度を読みだす。一方、光学系１０１が取り外し可能な場合、制御部１０３は、取り付けられた光学系１０１の最大補正可能角度を光学系１０１との通信により取得する、または二次記憶装置１０８等に予め記録された各光学系に対応した最大補正可能角度を読みだす。
【００４１】
Ｓ２３３において制御部１０３は、最大補正可能角度を取得すると最長露光時間の算出を行う。例えば最大補正可能角度をθmax［ｄｅｇ］、Ｓ２３１において算出した補正角速度をωrとした場合、最長露光時間tmaxは式７のように求められる。
【００４２】
【数７】
2015233211.tif 000009
【００４３】
Ｓ２３４において制御部１０３は、このようにして算出した最長露光時間tmaxに基づいて撮影条件の更新を行う。撮影条件の更新処理の例を、図４を参照して説明する。図４はＳ２０４およびＳ２０５において定められる撮影条件の例を示しており、撮像素子１０２に被写体像を露光させる時間をＴｖ、撮像素子１０２の電気的利得をＩＳＯとして表記している。例えば通常撮影の撮影条件では（Ｔｖ＝１／８０，ＩＳＯ＝８００）となるような撮影条件を設定して流し撮り撮影を行うものとする。これに対して、Ｓ２０４において設定される撮影条件は、通常よりも長い露光時間で同程度の明るさで撮影できるよう（Ｔｖ＝１／１０、ＩＳＯ＝１００）となる撮影条件を設定する。このように撮影条件を設定すると、例えば補正角速度ωrが６ｄｅｇ／ｓｅｃであった場合、最終的に補正する角度は設定された露光時間との関係から式８のようになる。
【００４４】
【数８】
2015233211.tif 000010
【００４５】
これに対して、制御部１０３は得られた最終的に補正する角度（第１の補正量）と最大補正可能角度（第２の補正量）を比較して、最大補正可能角度がこの最終的に補正する角度以上であれば補正可能であると判定する。一方、例えば最大補正可能角度が０．４ｄｅｇである場合は補正をすることが出来ないものと判定する。
【００４６】
そして、最大補正可能角度が最終的に補正する角度を下回る場合、例えば最大補正可能角度０．４ｄｅｇ、補正角速度６ｄｅｇ／ｓｅｃを式７に代入すると式９のように最長露光時間tmaxが求められる。
【００４７】
【数９】
2015233211.tif 000011
つまり、最大補正可能角度が０．４ｄｅｇである場合には、１／１５［ｓｅｃ］が補正可能な最長露光時間となる。
【００４８】
【数１０】
2015233211.tif 000012
【００４９】
制御部１０３は、複数枚の撮影を行って撮り流し撮影を行うために、式１０に示すように各撮影に対する撮影条件を設定する。ここで、ＴｖmaxはＳ２０４で定めた露光時間であり、複数枚の撮影にわたる露光時間の設定として累計露光時間設定という。式１０を用いることで累計露光時間設定に対する各撮影における露光時間が得られ、図４に示すように各撮影における撮影条件を設定することができる。例えば、１枚目の撮影における撮影条件をＳ２３３で求めた設定値（Ｔｖ＝１／１５、ＩＳＯ＝１００）とすると、２枚目の撮影には別途Ｓ２１６で設定する設定値（Ｔｖ＝１／３０、ＩＳＯ＝１００）を設定することができる。なお、ｎ回目の撮影時の露光時間tnを分割露光時間、１回目からｎ回目の撮影時の露光時間の合計を累計露光時間という。制御部１０３は、１枚目の撮影に対する撮影条件の更新を行うと露光時間制限処理を終了してＳ２０６に処理を進める。
【００５０】
Ｓ２０６において制御部１０３は、露光動作を行うかの判定を行う。制御部１０３は、操作部１１０に含まれる図示しないシャッターボタンの全押しがなされたかを判定する。操作部１１０からの通知によりシャッターボタンの全押しがなされていないと判定した場合、制御部１０３はＳ２０１に処理を再び戻してＳ２０１からＳ２０５までの動作を繰り返す。一方、シャッターボタンの全押しがなされていると判定した場合、撮影を開始するためにＳ２０７に処理を進める。
【００５１】
Ｓ２０７において制御部１０３は、光学系１０１に含まれるシャッターを制御して露光を開始し、Ｓ２３４またはＳ２１６において設定した分割露光時間の経過がＳ２０９で判定されるまで、露光が行われる。Ｓ２０８において制御部１０３は光学系１０１のシフトレンズを動作させる。
【００５２】
Ｓ２０９において制御部１０３は、分割露光時間を経過したと判定すると、Ｓ２１０において制御部１０３は、光学系１０１に含まれるシャッターを制御して露光を終了する。制御部１０３は、経過した分割露光時間を累計露光時間に加算して累計露光時間を更新するとともに、撮像素子１０２から出力された画像データを一次記憶装置１０４に記憶させる。一方、Ｓ２０９において制御部１０３は、分割露光時間を経過していないと判定した場合、Ｓ２０８に処理を再び戻す。
【００５３】
Ｓ２１１において制御部１０３は、累計露光時間が累計露光時間設定に達しているか、即ち連続撮影を全て終えているかを判定し、連続撮影が終わっていると判定した場合、Ｓ２１２に処理を進め、終わっていない場合はＳ２１５に処理を進める。
【００５４】
Ｓ２１５において制御部１０３は、光学系１０１に対する指示によりシフトレンズの位置を戻し、再度撮影を行う。シフトレンズの戻す位置については、連続撮影時にシフトレンズにて補正可能な範囲内であればどこでも構わない。
【００５５】
シフトレンズを動作させた場合に撮影される被写体の領域について図５を参照して説明する。なお、説明を簡単にするためシフトレンズの駆動による被写体の領域の変化を示しており、パンニングによる領域の変化はない場合を示している。
【００５６】
図５（ａ）に示す領域５０１は、シフトレンズを動作させる前、即ちＳ２０７の時点で撮像素子１０２により画像データとして得られる被写体の領域を示している。これに対して図５（ｂ）に示す領域５０２は、Ｓ２０８において主被写体の移動方向にシフトレンズを動作させてレンズシフトさせた時点で撮像素子１０２により画像データとして得られる被写体の領域を示している。図５（ｃ）に示す領域５０３は、主被写体の移動方向に移動させたシフトレンズの位置を逆方向に移動させて、Ｓ２１５において位置を戻した際の被写体の領域を示している。さらに、図５（ｄ）に示す領域５０４は、２枚目の撮影を行う際にＳ２０８において再び主被写体の移動方向にシフトレンズを動作させた被写体の領域を示している。図５（ｅ）に示す領域５０５は、１枚目に撮影した画像と２枚目に撮影した画像、即ち図５（ｂ）に示した被写体の領域５０２と図５（ｄ）に示した被写体の領域５０４を主被写体が重なるように位置合わせを行って重ねた様子を示している。領域５０２と領域５０３とにおいて重なる領域、即ち領域５０４の左端の領域から領域５０２の右端の領域までの部分が共通部分５０６となる。領域５０５において共通部分の左側の領域５０７は、重ね合わせにより生じるずれの領域であり、１枚目の画像には存在するが２枚目の画像には存在しない領域を示している。同様に領域５０８は、１枚目の画像に存在しないが２枚目の画像に存在する領域である。共通部分５０６は、後に説明する画像合成処理において合成可能な領域である。
【００５７】
Ｓ２１６において制御部１０３は、次の撮影において露光するための分割露光時間を上述の式１０に基づいて設定するとＳ２０７に処理を戻す。
【００５８】
Ｓ２１２において画像処理部１０６は、画像合成処理を行う。画像合成処理の詳細を、図２（ｃ）を参照して説明する。
【００５９】
Ｓ２５１において画像処理部１０６は、撮像素子１０２から出力された画像データに対して色補間処理を行ってＲＧＢプレーン化する処理を行う。また、上述の累計露光時間に応じて複数の撮影が行われているため、一次記憶装置１０４に記憶されている画像データがある場合は当該画像データを参照する。
【００６０】
Ｓ２５２において画像処理部１０６は、複数の撮影によって得られた複数の画像データについて、移動する主被写体の領域が重なるように画像間の位置合わせを行う。位置合わせ処理についても公知の位置合わせ技術を用いることができる。位置合わせの処理は、例えばＳ２０１において特定した１枚目の画像データに対する被写体領域を表す情報を一次記憶装置１０４から読み出して、２枚目以降の画像データにおいて当該主被写体領域と整合する領域を特定する。
【００６１】
Ｓ２５３において画像処理部１０６は、主被写体以外の領域、即ち背景領域に対して平滑化を行うためのフィルタ処理を行い、さらにＳ２５４において画像処理部１０６は、Ｓ２５３で得られた画像を加算合成する。ここで、Ｓ２５３のフィルタ処理およびＳ２５４における合成処理の詳細を、図６を参照して説明する。
【００６２】
図６において、画像６０１は連続して撮影した複数回の撮影のうち１枚目の撮影において露光を開始したときの画像を、画像６０２は２枚目の撮影において露光を開始したときの画像を示している。これらの画像について分割露光時間にわたって露光した画像がそれぞれ画像６０３および画像６０４となる。露光した状態のまま主被写体である車に対してパンニングを行っているため、背景の被写体は連続的に流れるようになっている。１枚目の撮影により得た画像６０３と２枚目の撮影により得られた画像６０４とを、Ｓ２５２において位置合わせ処理を行うと画像６０５に示すように背景が途切れた画像となる。これは、複数回の撮影を行うため非露光期間が存在し、当該非露光期間中にも主被写体が動いていることによるものである。このため、１度の露光による１枚のみの撮影によって得られる画像６０６とは異なるものとなる。背景の途切れる間隔は、主被写体の画像に対する移動量に相当する。
【００６３】
画像処理部１０６は、非露光期間中の背景の移動部分、即ち背景の途切れた部分の画素を補う処理を行う。具体的には、Ｓ２５２において得られた画像６０３に、非露光期間の主被写体の像面移動量をタップ数としたローパスフィルタ（ＬＰＦ）処理を適用して、非露光期間中の背景を表現した画像６０７（背景補間画像）を生成する。そして、背景補間画像と連続して撮影した画像（例えば画像６０４等）を合成して、背景が途切れない流し撮り画像を生成する。
【００６４】
Ｓ２５４において画像処理部１０６は、背景補間画像と連続して撮影した画像とを加算合成処理して出力画像である合成画像を生成する。なお、ＬＰＦを適用する画像は連続して撮影したどの画像でもよく、また、合成する際も、複数の背景補間画像を混合することで生成してもよい。画像処理部１０６は、画像合成処理を終了して処理を呼び出し元に戻す。
【００６５】
次にＳ２１３において画像処理部１０６は、制御部１０３の指示のもと、合成画像に対して色調の調整等の現像処理を行って画像データを出力する。Ｓ２１４において画像処理部１０６は、連続して撮影した画像を重ね合わせた場合に共通する領域のみをクロップ処理して生成した撮り流し画像を二次記憶装置１０８または記録媒体制御部１０７を介して記録媒体に記録する。制御部１０３は、画像処理部１０６による二次記憶装置または記録媒体への書き込みを終えると、流し撮りアシスト処理の一連の動作を終了する。
【００６６】
なお、本実施形態においてはＳ２０４における自動露出設定において設定した撮影条件をＳ２３４において撮影条件の更新を行うようにした。しかし、例えばＳ２０４における自動露出設定を行わずにＳ２３４における撮影条件の設定のみを行うようにしても同じ流し撮り撮影による画像を得られる。そして、撮影条件として露光時間を設定したが、シャッタースピードや露光量を適用しても同様の流し撮り撮影による画像を得られる。また、Ｓ２５３において連続して撮影した画像の１枚についてＬＰＦを適用する処理を行ったが、まず連続して撮影された画像を合成したうえで背景領域にＬＰＦを適用しても上述した合成画像と同様の合成画像が得られる。
【００６７】
また、本実施形態においてはシフトレンズによる、撮像面に対する被写体の結像位置を補正する例を示したが、例えば撮像素子１０２自体をシフトさせるなどといった形態でも上述した流し撮り画像が得られる。
【００６８】
以上説明したように本実施形態では、被写体の移動に対する補正角度がシフトレンズによる補正可能範囲を超える場合、露光時間を分割して複数回の撮影を行ったうえで撮影された画像に平滑化処理を施し、これらの画像を合成した画像を生成するようにした。このようにすることで、撮像装置と被写体の移動速度の差が光学系の補正によって補正可能な範囲を超える場合であっても、流し撮りを有効に支援できる。
【００６９】
（実施形態２）
次に実施形態２について説明する。実施形態１では、最大補正可能角度を超える補正が必要と判断した場合にシフトレンズによって補正可能な範囲で露光時間を分割して複数回の撮影を行った。これに対して実施形態２では、最大補正可能角度を超える補正が必要な場合に、シフトレンズのような光学補正を使用せずに複数枚の撮影を行って合成することで流し撮り画像を生成する。このため、本実施形態の流し撮りアシスト処理は、補正が必要な角度と最大補正可能角度の比較に応じて複数の撮影を行う構成は同一である。また、複数の撮影を行った後の処理、即ち流し撮り画像を生成するためのフィルタ適用や合成処理も実施形態１と同一の構成をとることができる。但し、本実施形態の説明では、画像合成処理について実施形態１にも適用可能な変形例を適用した例を説明する。なお、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
【００７０】
実施形態２における流し撮りアシスト処理の一連の動作について、図８を参照して説明する。
【００７１】
Ｓ８０１において制御部１０３は、算出された最長露光時間がＳ２０４において算出された露光時間よりも短い場合、Ｓ２０４で算出した露光時間（例えば１／１０秒）を、１／１０秒の相当シャッター速度として設定する。なお、相当シャッター速度は、合成画像に対する仮想的なシャッター速度を意味し、１枚の撮影で流し撮り撮影を行う場合に動き度合いを表現する所定のシャッター速度を設定することに相当する。また、本実施形態では、１枚ごとの撮影は予め設定された所定のフレームレート（例えば６０ｆｐｓ）に応じて行われる。
【００７２】
Ｓ８０２において制御部１０３は、操作部１１０のシャッターボタンが全押しされたかを判定し、全押しがされたと判定した場合はＳ８０３に処理を進め、全押しされていないと判定した場合はＳ２０１に処理を戻す。
【００７３】
Ｓ８０３において制御部１０３は、不図示の測光センサを用いて被写体の露出を計測し、シャッター速度と絞り値、ＩＳＯ感度を用いて適切な露出を決定して光学系１０１に含まれる絞りを調節する。
【００７４】
Ｓ８０４において制御部１０３は、例えば撮像素子１０２から出力される位相差に基づいて光学系１０１のレンズ駆動量を算出し、合焦位置を特定する。
【００７５】
Ｓ８０５において制御部１０３は、角速度センサ１０５で検出されたデジタルカメラ１００の角速度情報をパンニング角速度として取得する。なお、Ｓ８０３〜Ｓ８０５の処理の順序に依存関係はないため、処理に応じて順序を変更してもよい。
【００７６】
Ｓ８０６において制御部１０３は、Ｓ２３４において更新された露光時間にわたって露光すると、制御部１０３は、撮像素子１０２から出力された画像データを一次記憶装置１０４に記憶させる。
【００７７】
Ｓ８０７において制御部１０３は、被写体領域のうち重要となる領域の認識処理を行う。被写体領域の認識処理は公知の認識技術、例えば顔検出や人体検出を行う技術や合焦位置などを用いて実現することができるため、詳細な説明は省略する。制御部１０３は、被写体にうち例えば人物検出により検出された領域を重要となる領域として一次記憶装置１０４に記憶させる。
【００７８】
Ｓ８０８において画像処理部１０６は、制御部１０３の指示により現像処理を行う。画像処理部１０６は、Ｓ８０６において露光して一次記憶装置１０４に記憶された画像データに現像処理を施して現像後の画像データを生成する。また、Ｓ８０７において認識した重要となる領域が合成処理において最適となるように、色や明るさ、シャープネスなどを予め設定された値になるよう調節しても良い。
【００７９】
Ｓ８０９において操作部１１０のシャッターボタンが全押しされているかを判定し、当該ボタンが全押しされ続けていると判定する限り、制御部１０３はＳ８０３〜Ｓ８０８の動作を繰り返し行う。なお、一次記憶装置１０４に新しいデータを記憶する空き容量がある場合は、Ｓ８０７やＳ８０８の処理と並行してＳ８０３の処理に進めても良い。一方、シャッターボタンの全押しが終了したと判定した場合、Ｓ８１０に処理を進める。
【００８０】
Ｓ８１０において制御部１０３は、一次記憶装置１０４に記憶された全ての画像データが現像処理されて現像後の画像データが生成されたかを判定する。全ての画像データが生成されていない場合、Ｓ８１１における被写体認識処理およびＳ８１２における現像処理を繰り返す。ここで、Ｓ８１２およびＳ８１３の各処理は、Ｓ８０７における被写体認識処理およびＳ８０８における現像処理と同一の処理である。
【００８１】
Ｓ８１３において制御部１０３は、現像された画像に対して主被写体領域の認識処理を行なう。制御部１０３は、例えば、Ｓ８０７またはＳ８１１で取得した重要となる領域を一次記憶装置１０４から読み出して、画像の中心から予め定められた範囲において最も大きな領域を主被写体領域として認識する。
【００８２】
Ｓ８１４において制御部１０３は、現像後の連続する各画像間において、各画像に探索用ブロックを設定し、探索用ブロック内の移動ベクトルを検出する。移動ベクトルは、演算量を低減するために主被写体領域についてのみ検出するものとするが画像全体に対して検出しても良い。
【００８３】
なお、Ｓ８１３およびＳ８１４の処理の順番は入れ替えてもよい。順番を入れ替えた場合のＳ８１３における被写体認識処理では、まずＳ８１４において検出した、重要となる被写体領域に対する移動ベクトルに基づいて、予め定められた移動量以下となる領域を主被写体領域として認識しても良い。このときＳ８０５で取得したデジタルカメラ１００の角速度と移動ベクトルを用いて、動体と静止体を区別しても良い。重要となる被写体領域と同等な移動ベクトルを持つ周辺の領域を抽出するようにしても良い。
【００８４】
Ｓ８１５において制御部１０３は、Ｓ８１３において抽出した主被写体領域と、Ｓ８１４において検出した移動ベクトルの情報を用いて、現像された全ての画像について主被写体領域が重なるように位置を合わせる。このとき、重要となる領域の移動ベクトルやデジタルカメラ１００の角速度を考慮してもよい。
【００８５】
Ｓ８１６において画像処理部１０６は、Ｓ８１５において求めた位置合わせの情報を用いて流し撮り合成処理を行って各画像を重ね合わせ、流し撮り画像を生成する。流し撮り合成処理については、図９を参照して詳細を後述する。
【００８６】
Ｓ８１７において制御部１０３は、生成した流し撮り画像を表示部１０９に表示し、Ｓ８１８において画像処理部１０６は、制御部１０３の制御に応じて、記録媒体制御部１０７を介して記録媒体に流し撮り画像を記録する。このとき画像処理部１０６は、生成した流し撮り画像を予め定められた圧縮形式に圧縮して記録媒体に出力する。制御部１０３は、記録媒体への流し撮り画像の記録が完了すると、流し撮りアシスト処理の一連の動作を終了する。
【００８７】
つぎに、Ｓ８１６において実行される流し撮り合成処理の一連の動作を、図９を参照して説明する。
【００８８】
Ｓ９０１において画像処理部１０６は、Ｓ８１５において位置合わせした複数の画像について加算合成を行って、１枚の合成画像を作成する。そして、Ｓ９０２において画像処理部１０６は、Ｓ９０１で合成した画像に対してＬＰＦ処理に用いるタップ数を算出し、Ｓ９０３において、合成画像に対して算出したＬＰＦ処理を適用することで、背景の流れを表現した画像を作成する。なお、ＬＰＦ処理に用いるタップ数の算出処理およびＬＰＦ処理の詳細は後述する。
【００８９】
Ｓ９０４において画像処理部１０６は、Ｓ９０１で合成した画像の主被写体領域と、Ｓ９０３でＬＰＦをかけた画像の主被写体領域以外の領域とを合成し、全体として流し撮りと同様の効果を持つ画像を生成する。画像処理部１０６が画像の生成を完了すると、制御部１０３は、処理をＳ８１７に進める。
【００９０】
ここで、Ｓ９０２におけるＬＰＦ処理に用いるタップ数の算出処理について、図１０乃至図１３を参照して詳細に説明する。
【００９１】
一般的な流し撮りは、１回の露光で撮影するため、背景は連続的に流れるように変化する。このため、図１０に示す画像１００１と画像１００２における背景１００３の変化は、画像１００４の背景のように連続的に流れるように変化することが望ましい。しかし、画像１００１と画像１００２を合成すると背景１００５のようになり、連続的に流れるように変化したものにならない。このため、背景のギャップ部分１００６における背景１００３の不足画素を補って画像１００４の背景のような表現にする必要がある。
【００９２】
本実施形態では、Ｓ８０１において設定された相当シャッター速度の画像を生成するために、フレームレートと合成枚数の関係を用いる。例えば、６０ｆｐｓで画像を撮影した場合、相当シャッター速度が０秒〜１／６０秒に設定された場合は１枚の画像から、１／３０秒に設定された場合は２枚の画像から合成することにより流し量を表現する。本実施形態において、相当シャッター速度として１／１０秒、フレームレートを６０ｆｐｓとした場合、６枚の連続する画像が合成に用いられることとなる。
【００９３】
図１１（ａ）には、各ブロックを画像上の１画素として、背景１００３の画像上の位置が、撮影ごとに順に画素１１０１、１１０２、１１０３と変化する様子を示している。撮影画像ごとに背景１００３の位置が離散的に表れるため、画素１１０１と１１０２の間の画素群１１０４、画素１１０２と１１０３の間の画素群１１０５を補間する必要がある。また、設定された相当シャッター速度で実際に撮影した場合は、１１０３と１１０６の間も背景は流れるため、１１０３と１１０６の間の画素群１１０７も補間する必要がある。図１１（ｂ）〜（ｄ）はそれぞれ１１０１〜１１０３に背景１００３が現れたタイミングで撮影された画像と補間すべき区間が示されている。
【００９４】
本実施形態では、複数撮影した画像を合成した後に、合成した画像に対して画素群１１０４（あるいは、１１０５、１１０７）の幅をタップ数とするＬＰＦ処理を適用し、全体的な流し量を画素幅１１０８とする合成画像を生成する。生成される合成画像の流し量は図１１（ｅ）に示すようになる。
【００９５】
画素群１１０４の幅に相当するタップ数を算出するため、撮影した画像間における画素の移動量を求める。以下では、画像間における画素の移動量をデジタルカメラ１００の角速度を用いて算出する方法について図１３を参照して説明する。
【００９６】
【数１１】
2015233211.tif 000013
【００９７】
図１３は、中心点１３０６を中心にデジタルカメラ１００が１３０１に示す方向にパンニングして背景の被写体１３０２を撮影する様子と中心点１３０６を主点とした場合の像面における被写体像の移動を重ね合わせて表示している。
【００９８】
式１１は、デジタルカメラ１００が１３０３の角度でパンニングした場合に変化する被写体１３０２の画像間における移動量に基づいてＬＰＦのタップ数を算出する式である。
【００９９】
まず、画像処理部１０６は、デジタルカメラ１００の画像間における回転角度１３０３［ｒａｄ］と焦点距離１３０４［ｍｍ］から、撮像素子１０２における像面上の移動量１３０５［ｐｉｘｅｌ］を算出する。このとき、デジタルカメラ１００の画像間における回転角度１３０３は、デジタルカメラ１００の平均角速度［ｒａｄ／ｓｅｃ］とフレームレート［ｆｒａｍｅ／ｓｅｃ］から算出する。そして、画素ピッチ［ｍｍ／ｐｉｘｅｌ］を用いて、撮像素子１０２面上の移動量１３０５を画像上の移動量に変換したものを、ＬＰＦ処理に用いるタップ数として扱う。上述の式から得られたタップ数でＬＰＦ処理を施した画像をさらに、ユーザが任意に設定した相当シャッター速度に応じて複数枚合成することにより、相当シャッター速度に対応した流し量を再現することができる。
【０１００】
次に、Ｓ９０３において適用するＬＰＦ処理の詳細を、図１４を参照して説明する。
【０１０１】
図１４において画像１４０１および１４０２は連続して撮影された画像であり、移動する主被写体１４０３をパンニングしながら撮影した画像である。上述したＳ８１３における主被写体認識を行うことにより被写体領域が分離される。例えば、被写体領域を表す情報１４０４は、主被写体領域を白、その他の領域を黒で表している。主被写体認識により主被写体と背景の境界で正確に分離できる場合、Ｓ９０４の画像合成において、ＬＰＦを適用した後の画像（即ち、背景領域の画素）に主被写体領域の画素が影響を及ぼすことはほとんどない。このため、主被写体領域を除いた領域のみに対してタップ内の係数が均一なＬＰＦを適用した画像を背景画像１４０５とする。
【０１０２】
最後に、Ｓ９０４においては、主被写体画像１４０６の主被写体領域と背景画像１４０５の主被写体領域を除いた領域を合成する。
【０１０３】
ところで、上述の合成処理では、主被写体が正確に抽出できている場合は主被写体の周囲に残像がほとんど発生しない利点がある一方、主被写体が正確に抽出できていない場合は、主被写体と背景の境界に違和感のある画像が生成される場合がある。
【０１０４】
一般的に、主被写体と背景の境界を正確に分離することが困難となる様々な場合が存在する。例えば、主被写体と背景の境界にコントラスト差がほとんどない場合は、背景まで主被写体領域として抽出されてしまう可能性や、主被写体の一部が背景領域に分類されてしまう可能性がある。
【０１０５】
このため、主被写体が正確に抽出できていない場合に対して、主被写体画像１４０６と背景画像１４０７の境界を滑らかに変化させた合成画像を生成する処理を行う。まず、背景画像１４０７を生成する。具体的には、Ｓ２０２またはＳ８０５において取得したデジタルカメラ１００のパンニング角速度を用いて、画像全体としてパンニング方向と移動量の大きさを検出する。そして、主被写体領域を除いた画像を生成したうえで、当該主被写体領域を背景の画素を用いて補間する処理を行う。具体的には、主被写体領域の周辺の画素に対して、上述のパンニング方向と大きさを適用することにより、主被写体領域を補間する。このようにすることで、主被写体領域であった領域を、背景を構成した画素で埋めた背景画像１４０７を生成することができる。さらに、主被写体領域の主被写体と背景の境界に対して平滑化処理を行い、被写体領域を示す情報１４０８に示すように主被写体領域の主被写体と背景の境界をぼかしたうえで、主被写体領域の画素値の重み付け加算を行い、主被写体画像と背景画像を合成する。
【０１０６】
このようにすれば主被写体と背景の境界が徐々に変化するため、主被写体が正確に抽出できていない場合であっても、違和感の少なく滑らかに合成した画像を生成することができる。なお、主被写体画像１４０６および背景画像１４０７の境界の境界に対する平滑化処理に代えて画像の縮小拡大による解像度低下と同様の処理によって境界をぼかすようにしてもよい。
【０１０７】
さらに上述した合成方法では対応が難しい場合があり得る。例えば、主被写体自体が低コントラストな場合、被写体領域の認識精度が下がり、主被写体領域に中抜け１４０９のような状態が発生する可能性がある。
【０１０８】
【数１２】
2015233211.tif 000014
【０１０９】
このため、まず１４１０のように、主被写体領域の主被写体と背景の境界に平滑化処理を行って、中抜けの影響を軽減させる。そして、式１２のような主被写体領域の画素値を係数としたＬＰＦを画像全体に適用することで、画像全体をぼかしつつ、主被写体領域の画素が周囲へ広まりにくいようにした背景画像１４１１を作成する。
【０１１０】
このときＳ９０４において制御部１０３は、主被写体領域１４１０の画素値に重み付け加算により主被写体画像１４０６と背景画像１４１１を合成し、流し撮り画像１４１２を生成する。
【０１１１】
このようにすることで、主被写体領域の画素が周囲へ広がることを抑制するだけではなく、主被写体において中抜けが発生するような場合にも中抜けの影響を軽減することができる。主被写体領域として認識された周囲の画素があまり用いられなくなるため、低コントラストな領域の画素をぼかしたような画像となり、目立ちにくい。さらに、主被写体画像と合成することで、より目立たなくなる。
【０１１２】
なお、本実施形態では、ＬＰＦのタップ数を算出する際の画素の移動量を求めるためにデジタルカメラ１００の角速度を用いた。しかし、図１２に示すように画像間で求めた移動ベクトルの長さを用いてもよい。より具体的には、連続する２枚の画像１２０１および画像１２０２が撮影されている場合に、画像内に設けた探索用ブロックの画像間における対応を求めることにより２画像の間における背景１２０３の移動ベクトル１２０４を算出する。この算出した移動ベクトルの長さをＬＰＦのタップ数としてもよい。
【０１１３】
以上説明したように本実施形態では、被写体の移動に対する補正角度がシフトレンズによる補正可能角度を超える場合、設定フレームレートで撮影した短秒の複数の画像を合成し、背景に対して平滑化を行って背景の流れを表現した画像を生成した。このようにすることで、実施形態１と同様に撮像装置と被写体の移動速度の差が光学系の補正によって補正可能な範囲を超える場合であっても、流し撮りを有効に支援できる。また、露出時間が短くぶれのない画像を用いて合成するため、一般的な流し撮りでは撮影が難しいような低速のシャッター速度に相当する表現においてぶれの少ない主被写体を表現した流し撮り画像が得られる。さらに、主被写体に対する位置合わせにより画像と合成することで、光学補正を必要とすることなく流し撮り画像を生成することができる。
【０１１４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１５】
１０１…光学系、１０２…撮像素子、１０３…制御部、１０５…角速度センサ、１０６…画像処理部
【図１】
2015233211.tif 000015
【図２】
2015233211.tif 000016
【図３】
2015233211.tif 000017
【図４】
2015233211.tif 000018
【図５】
2015233211.tif 000019
【図６】
2015233211.tif 000020
【図７】
2015233211.tif 000021
【図８】
2015233211.tif 000022
【図９】
2015233211.tif 000023
【図１０】
2015233211.tif 000024
【図１１】
2015233211.tif 000025
【図１２】
2015233211.tif 000026
【図１３】
2015233211.tif 000027
【図１４】
2015233211.tif 000028