(57)【要約】【課題】構成が簡単で優れた画像品質を実現可能な撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】画像データ取得手段は、被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置で画像データを取得する。露出変更手段は、各相対移動位置における当該画像データ取得時の露出を変更する。ダイナミックレンジ調整手段は、画像データ取得手段が取得した当該画像データのダイナミックレンジを調整する。画像データ合成手段は、各画像データ間の位置ずれ量とダイナミックレンジに基づいて各画像データの合成画像データを得る。【選択図】図５
2019169940.tif 000002
【特許請求の範囲】
【請求項１】
被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置で画像データを取得する画像データ取得手段と、
前記各相対移動位置における当該画像データ取得時の露出を変更する露出変更手段と、
前記画像データ取得手段が取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整手段と、
前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像データ合成手段と、
を有することを特徴とする撮影装置。
【請求項２】
前記ダイナミックレンジ調整手段は、前記各画像データにおける被写体輝度のオーバーラップ量を調整する、
ことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記各画像データの第１の画像データに第１の画素が含まれている場合、前記各画像データの第２の画像データの第２の画素により前記第１の画像データの前記第１の画素を補完する画素補間部をさらに有する、
ことを特徴とする請求項１又は請求項２に記載の撮影装置。
【請求項４】
前記第１の画素は欠損画素であり、前記第２の画素は補間画素である、
ことを特徴とする請求項３に記載の撮影装置。
【請求項５】
被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置で画像データを取得する画像データ取得ステップと、
前記各相対移動位置における当該画像データ取得時の露出を変更する露出変更ステップと、
前記画像データ取得ステップで取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整ステップと、
前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像合成ステップと、
を有することを特徴とする撮影方法。
【請求項６】
被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置で画像データを取得する画像データ取得ステップと、
前記各相対移動位置における当該画像データ取得時の露出を変更する露出変更ステップと、
前記画像データ取得ステップで取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整ステップと、
前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像合成ステップと、
をコンピュータに実行させることを特徴とする撮影プログラム。
【請求項７】
被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置でそれぞれ露出を変更した画像データを取得する画像データ取得手段と、
前記画像データ取得手段が取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整手段と、
前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像データ合成手段と、
を有することを特徴とする画像処理装置。
【請求項８】
第１の画像と、前記第１の画像とは露出が異なる第２の画像とを少なくとも含む複数の画像データからなる画像セットにおいて、
前記画像セットに含まれる前記複数の画像データの位置ずれ量を検出する検出手段と、
前記画像セットに含まれる前記複数の画像データのダイナミックレンジを調整するダイナミックレンジ調整手段と、
前記各画像データの位置ずれ量と前記ダイナミックレンジに基づいて前記画像セットの合成画像データを得る画像データ合成手段と、
を有することを特徴とする画像処理装置。
【請求項９】
被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置でそれぞれ露出を変更した画像データを取得する画像データ取得ステップと、
前記画像データ取得ステップで取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整ステップと、
前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像合成ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置でそれぞれ露出を変更した画像データを取得するステップと、
前記画像データ取得ステップで取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整ステップと、
前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像合成ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、光学的に被写体像を入力する光学的入力手段と撮像手段を相対的に変位させる撮像装置が開示されている。変位で得られた同一被写体の複数のカラー画像情報に基づき一定の色で１画面分のカラー画像情報を求めてから、その一定の色のカラー画像情報に基づき１画面分のカラー画像情報を求めることで、疑色や手ブレの発生を防止し、高精細（高画質、高精度）な画像を得ることができる。
【０００３】
特許文献２には、ｎ秒の光蓄積を繰り返してビデオ信号を形成する第１の撮像モードと、ｎ秒の光蓄積及びｍ（＜ｎ）秒の光蓄積を交互に行い、ｎ秒蓄積画及びｍ秒蓄積画を合成して１画面のビデオ信号を形成する第２の撮像モードとを具備する撮像装置が開示されている。通常の第１の撮像モードにおけるｎ秒蓄積画により、当該第１及び第２の撮像モードの切換信号並びに、第２の撮像モード時のｎ秒蓄積画とｎ秒蓄積画の画素合成制御信号を形成する制御を行うことで、ダイナミックレンジを実質的に拡げることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３３６６８６号公報
【特許文献２】特開平０１−０６０１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１、２の撮像装置は、撮影時間、撮影工程、メモリやＣＰＵの容量が増大して構成が複雑になるとともに、画像品質も高いものとは言えなかった。
【０００６】
本発明は、以上の問題意識に基づいてなされたものであり、構成が簡単で優れた画像品質を実現可能な撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的の１つとする。
【課題を解決するための手段】
【０００７】
本実施形態による撮影装置は、被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置で画像データを取得する画像データ取得手段と、前記各相対移動位置における当該画像データ取得時の露出を変更する露出変更手段と、前記画像データ取得手段が取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整手段と、前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像データ合成手段と、を有することを特徴としている。
【０００８】
本実施形態による撮影方法は、被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置で画像データを取得する画像データ取得ステップと、前記各相対移動位置における当該画像データ取得時の露出を変更する露出変更ステップと、前記画像データ取得ステップで取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整ステップと、前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像合成ステップと、を有することを特徴としている。
【０００９】
本実施形態による撮影プログラムは、被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置で画像データを取得する画像データ取得ステップと、前記各相対移動位置における当該画像データ取得時の露出を変更する露出変更ステップと、前記画像データ取得ステップで取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整ステップと、前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像合成ステップと、をコンピュータに実行させることを特徴としている。
【００１０】
本実施形態による画像処理装置は、被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置でそれぞれ露出を変更した画像データを取得する画像データ取得手段と、前記画像データ取得手段が取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整手段と、前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像データ合成手段と、を有することを特徴としている。
【００１１】
本実施形態による画像処理装置は、第１の画像と、前記第１の画像とは露出が異なる第２の画像とを少なくとも含む複数の画像データからなる画像セットにおいて、前記画像セットに含まれる前記複数の画像データの位置ずれ量を検出する検出手段と、前記画像セットに含まれる前記複数の画像データのダイナミックレンジを調整するダイナミックレンジ調整手段と、前記各画像データの位置ずれ量と前記ダイナミックレンジに基づいて前記画像セットの合成画像データを得る画像データ合成手段と、を有することを特徴としている。
【００１２】
本実施形態による画像処理方法は、被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置でそれぞれ露出を変更した画像データを取得する画像データ取得ステップと、前記画像データ取得ステップで取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整ステップと、前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像合成ステップと、を有することを特徴としている。
【００１３】
本実施形態による画像処理プログラムは、被写体光束に対して撮像素子の撮像面が相対移動した複数の相対移動位置でそれぞれ露出を変更した画像データを取得するステップと、前記画像データ取得ステップで取得した当該画像データのダイナミックレンジを調整するダイナミックレンジ調整ステップと、前記各画像データ間の位置ずれ量と前記ダイナミックレンジに基づいて前記各画像データの合成画像データを得る画像合成ステップと、をコンピュータに実行させることを特徴としている。
【発明の効果】
【００１４】
本発明によれば、構成が簡単で優れた画像品質を実現可能な撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを搭載したカメラユニット付き電子機器の概略構成を示すブロック図である。
【図２】マルチショット合成モードの一例を示す概念図である。
【図３】各相対移動位置で露出を変更した４枚の画像データの一例を示す概念図である。
【図４】画像処理装置（プロセッサ）の内部構成の一例を示す機能ブロック図である。
【図５】ダイナミックレンジ調整部によるダイナミックレンジ調整処理の一例を示す概念図である。
【図６】画像データ合成部による画像データ合成処理の一例を示す概念図である。
【図７】ダイナミックレンジ調整後の各画像データの合成処理の一例を示す概念図である。
【図８】画素補間部による欠損画素の補間処理の一例を示す第１の概念図である。
【図９】画素補間部による欠損画素の補間処理の一例を示す第２の概念図である。
【図１０】画素補間部による欠損画素の補間処理の一例を示す第３の概念図である。
【図１１】画素補間部による欠損画素の補間処理の一例を示す第４の概念図である。
【図１２】第１実施形態の撮影処理の一例を示す第１のフローチャートである。
【図１３】第１実施形態の撮影処理の一例を示す第２のフローチャートである。
【図１４】第１実施形態の撮影処理の一例を示す第３のフローチャートである。
【図１５】第２実施形態の画像処理装置（プロセッサ）の内部構成を示す機能ブロック図である。
【図１６】複数の画像を互いに対応する画像領域に分割する場合の一例を示す図である。
【図１７】第２実施形態による撮影処理の一例を示すフローチャートである。
【図１８】防振ユニットの構成の一例を示す背面図と断面図である。
【図１９】防振ユニットの可動ステージを示す背面図である。
【図２０】Ｘ方向用磁石とＸ駆動用コイルを含むＸ駆動部を拡大して示す断面図である。
【図２１】Ｚ方向用磁石とＺ駆動用コイルとＺ方向用ホール素子を含むＺ駆動部を拡大して示す断面図である。
【図２２】ＸＹ平面内の回転方向の像振れによる悪影響の一例を示す図である。
【図２３】複数の画像を互いに異なるサイズの画像領域に分割する場合の一例を示す図である。
【発明を実施するための形態】
【００１６】
≪第１実施形態≫
図１は、第１実施形態の撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラムを搭載したカメラユニット付き電子機器１の概略構成を示すブロック図である。第１実施形態の撮影方法、撮影プログラム、画像処理方法及び画像処理プログラムは、電子機器１に内蔵されたコンピュータに所定の処理ステップを実行させることにより実現される。
【００１７】
電子機器１は、例えば、デジタルカメラ、携帯電話、ゲーム機器等の撮影機能を搭載した各種機器とすることができるが、第１実施形態では、電子機器１がデジタルカメラである場合を例示して説明する。あるいは、電子機器１は、撮影機能を搭載することなく、画像の入力を受けて当該画像に画像処理を施すＰＣ等の各種機器とすることもできる。
【００１８】
デジタルカメラ１は、カメラボディＣＢの内部に、カメラユニット（画像データ取得手段）１０と、画像処理装置（プロセッサ）２０と、メモリ（例えばＲＡＭ）３０と、記録媒体（例えばＵＳＢメモリ）４０と、表示装置（例えばＬＣＤ）５０と、入力装置６０と、センサ７０と、防振ユニット８０と、ＣＰＵ９０と、露出変更手段１００と、これらの各構成要素を直接的又は間接的に接続するバス１１０とを有している。露出変更手段１００は、ＣＰＵ９０の１つの構成要素として搭載される態様及び／又はＣＰＵ９０とは別の構成要素として搭載される態様（例えばカメラユニット１０に内蔵する態様）が可能である。なお、画像処理装置（プロセッサ）２０とＣＰＵ９０は、同一のハードウェアにより構成されてもよいし、別々のハードウェアにより構成されてもよい。
【００１９】
カメラユニット１０は、撮影光学系（図示略）と、イメージセンサ（撮像素子）１１（図２）とを有している。撮影光学系による被写体像はイメージセンサ１１の受光面上に結像され、マトリックス状に配置された検出色の異なる複数の画素によって電気信号に変換され、画像として画像処理装置２０に出力される。画像処理装置２０は、カメラユニット１０による画像に所定の画像処理を施す。画像処理装置２０により画像処理が施された画像は、メモリ３０に一時的に記録される。メモリ３０に記録された画像は、ユーザの選択・決定に従って、記録媒体４０に保存され、表示装置５０に表示される。
【００２０】
入力装置６０は、例えば、電源スイッチ、レリーズスイッチ、各種機能の選択・設定を実行するためのダイヤルスイッチ、四方向スイッチ、タッチパネル等から構成される。センサ７０は、例えば、デジタルカメラ１のボディ本体に加えられる加速度、角速度、角加速度を検出する加速度検出器、角速度検出器、角加速度検出器等から構成される。センサ７０による出力は、デジタルカメラ１のボディ本体の振れを示す振れ検出信号として、ＣＰＵ９０に入力される。
【００２１】
防振ユニット８０は、カメラユニット１０の撮影光学系とイメージセンサ１１の少なくとも一方を移動部材（駆動部材）として、当該移動部材を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）駆動する。ＣＰＵ９０は、防振ユニット８０を駆動制御する。ＣＰＵ９０は、センサ７０からデジタルカメラ１のボディ本体の振れを示す振れ検出信号の入力を受けて、防振ユニット８０によって移動部材を撮影光学系の光軸と異なる方向に駆動する。これにより、イメージセンサ１１における被写体像の結像位置を変位させて、手振れに起因する像振れを補正することができる。なお、防振ユニット８０の構成については後に詳細に説明する。
【００２２】
デジタルカメラ１は、防振ユニット８０を利用して、カメラユニット１０のイメージセンサ１１を撮影光学系の光軸と異なる方向に（例えば撮影光学系の光軸と直交する平面内で）微細に移動させながら時系列に複数回の撮影を行い、その画像を１枚に合成（画像の単純な加算ではなくデータ上の画像処理による特殊演算を行っての合成）することで、超高精細（高画質、高精度）な画像を生成する撮影モード（マルチショット合成モード、マルチショット高解像度撮影モード）を搭載している。「マルチショット合成モード」では、１画素あたり１つの色情報のみを取得する従来のベイヤ方式と異なり、１画素毎にＲＧＢ各色の情報を得ることで、細部までのディティールや色再現に優れた極めて高精細な画像を描き出すことができる。また、モアレや偽色が発生することが無く、高感度ノイズを低減する効果が得られる。
【００２３】
図２Ａ〜図２Ｄは、第１実施形態のマルチショット合成モードの一例を示す概念図である。図２Ａ〜図２Ｄにおいて、イメージセンサ１１は、受光面にマトリックス状に所定の画素ピッチで配置された多数の画素を備え、各画素の前面にベイヤ配列のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂのいずれかが配置されている。各画素は、前面のカラーフィルタＲ、Ｇ（Ｇｒ、Ｇｂ）、Ｂを透過して入射した被写体光線の色を検出、つまり、色成分（特定の波長域）の光を光電変換し、その強さ（輝度）に応じた出力が得られる。より具体的に、図２Ａの基準位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ下方に相対移動させた図２Ｂの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ右方に相対移動させた図２Ｃの位置で１枚の画像を撮影し、そこから太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチだけ上方に相対移動させた図２Ｄの位置で１枚の画像を撮影し、最後に図２Ａの基準位置に戻る。このように、光軸直交平面内で、太枠で囲んだ光束領域をイメージセンサ１１に対して１画素ピッチの正方形を描くように駆動しながら時系列に撮影した４枚の画像が、ＲＡＷ画像データとして、画像処理装置２０に入力される。画像処理装置２０は、イメージセンサ１１で時系列に撮影した４枚の画像を合成して合成画像を得る。なお、図２Ａ〜図２Ｄの例では、光束領域（撮影領域）をイメージセンサ１１に対して１画素ピッチで相対移動させているが、４画素でベイヤ配列となっているものでは、奇数画素ピッチで相対移動させればよいので、１画素ピッチに限定されるものではない。例えば、光束領域（撮影領域）をイメージセンサ１１に対して３画素ピッチや５画素ピッチで相対移動させることも可能である。
【００２４】
防振ユニット８０を利用したマルチショット合成では、イメージセンサ１１の画素単位の移動を保証するために、デジタルカメラ１のボディ本体を三脚等で位置決め固定しなければならない。これに対し、第１実施形態では、防振ユニット８０を利用することなく、且つ、デジタルカメラ１のボディ本体を撮影者が手持ちした状態でも、マルチショット合成を実行可能である。すなわち、イメージセンサ１１を能動的に動かすのではなく、撮影者の手振れ（揺らぎ）によるショット毎の画像のずれを利用して、マルチショット合成を行う。以下では、この撮影モードを「手振れ利用マルチショット合成モード」と呼ぶことがある。
【００２５】
手振れ利用マルチショット合成モードでは、例えば、カメラユニット１０が撮影した複数の画像データが手振れ利用マルチショット合成に適しているか否かを判定し、手振れ利用マルチショット合成に適していると判定された複数の画像データの画素ずれ量を検出し、検出した複数の画像データの画素ずれ量に応じて複数の画像データから合成対象画像データを選択し、検出した複数の画像データの画素ずれ量に応じて選択した合成対象画像データを相対移動して合成画像を得ることができる。
【００２６】
デジタルカメラ１の入力装置６０を操作することで、「手振れ利用マルチショット合成モード」と「防振ユニット８０を利用したマルチショット合成モード」を切り替えることができる。また、デジタルカメラ１０の表示装置５０は、「手振れ利用マルチショット合成モード」と「防振ユニット８０を利用したマルチショット合成モード」のいずれが設定されているかを表示することができる。また、第１実施形態の特定の撮影モード（特定の画像処理モード）は、上述した「手振れ利用マルチショット合成モード」と「防振ユニット８０を利用したマルチショット合成モード」の他にも、手振れを利用することなく連写撮影によって得た複数の画像データ、さらに指定のフォルダ、クラウドストレージ、動画等といった記録済みの画像データ群が存在する中から、構図やアングル、撮影時間、画質的特徴が近しい複数の画像データを選択・抽出したものに適用する撮影モード（画像処理モード）を含むものとする。デジタルカメラ１の入力装置６０と表示装置５０は、この広い概念の特定の撮影モード（特定の画像処理モード）の切り替えと表示を実行可能である。
【００２７】
露出変更手段１００は、例えば、レンズの絞り開口値（Ｆ値）及び／又は露光時間（シャッター速度）などを調整することにより露出（露出値）の変更を行う。１度に複数回の撮影が行われるマルチショット合成の場合も、撮影画像データ毎に露出を変更し、露光量の異なる撮影画像データを出力することができる。例えば、露出変更手段１００は、マルチショット合成におけるイメージセンサ１１の各相対移動位置における画像データ取得時の露出を変更することができる。また入力装置６０を利用して、ユーザが所望の露出（露出値）を設定することもできる。
【００２８】
マルチショット合成では、被写体光束に対してイメージセンサ１１の撮像面が相対移動した複数の相対移動位置でそれぞれ被写体の画像を画像データとして取得する。具体的に、防振ユニット８０を利用したマルチショット合成では、被写体光束に対してイメージセンサ１１の撮像面を画素単位で相対移動させながら複数の画像データを取得する。
【００２９】
露出変更手段１００は、被写体光束に対するイメージセンサ１１の各相対移動位置における露出（露出値）を変更する。例えば、図２Ａ〜図２Ｄの相対移動位置に向けて段階的に露出（露出値）を大きく又は小さくすることが可能である。この場合、例えば、図２Ａの相対移動位置で露出（露出値）をアンダー領域に設定し、図２Ｂ、図２Ｃの相対移動位置で露出（露出値）を適正領域に設定し、図２Ｄの相対移動位置で露出（露出値）をオーバー領域に設定することができる。あるいは、図２Ａの相対移動位置で露出（露出値）をオーバー領域に設定し、図２Ｂ、図２Ｃの相対移動位置で露出（露出値）を適正領域に設定し、図２Ｄの相対移動位置で露出（露出値）をアンダー領域に設定することができる。
【００３０】
図３Ａ〜図３Ｄは、各相対移動位置で露出を変更した４枚の画像データの一例を示している。図３Ａは露出（露出値）をアンダー領域に設定した画像データであり、図３Ｂ、図３Ｃは露出（露出値）を適正領域に設定した画像データであり、図３Ｄは露出（露出値）をオーバー領域に設定した画像データである。
【００３１】
アンダー画像は、光の量を減らして露出不足の状態で撮影を行ったものである。適正画像は、ほぼ肉眼で見たままの色やトーンが再現できる適正（標準）の露出量で撮影を行ったものである。オーバー画像は、光の量を増やして露出過多の状態で撮影を行ったものである。本明細書における適正画像は、ユーザの好みの露出（露光量）で撮影された画像データと、被写体に対応する適正露出（標準露出）で撮影された画像データの両方の意味を含むものとする。
【００３２】
画像処理装置２０は、各相対移動位置で露出を変更した各画像データのダイナミックレンジを調整して、各画像データの位置ずれ量に応じて各画像データを変更することにより、各画像データの合成画像データを得る機能を持つ。以下では、この機能に関する画像処理装置２０の構成及び作用効果について詳細に説明する。なお、以下では、適宜、各画像データとして、マルチショット合成のために取得した４枚の画像データを用いる場合を例示して説明する。
【００３３】
図４は、画像処理装置（プロセッサ）２０の内部構成の一例を示す機能ブロック図である。図４に示すように、画像処理装置（プロセッサ）２０は、画像データ取得部（画像データ取得手段、画像データ入力手段）２１と、画素ずれ量検出部（画素ずれ量検出手段、検出手段）２２と、ダイナミックレンジ調整部（ダイナミックレンジ調整手段）２３と、画像データ合成部（画像データ合成手段）２４と、画素補間部（画素補間手段）２５とを有している。
【００３４】
画像データ取得部２１は、被写体光束に対してイメージセンサ１１の撮像面が相対移動した複数の相対移動位置でそれぞれ当該被写体の画像を画像データとして取得する（複数の相対移動位置で画像データを取得する）（カメラユニット１０のイメージセンサ１１が取得した各画像データが入力する）。各画像データのいずれかの画像データを「第１の画像データ」とする一方、各画像データのその他の画像データを「第２の画像データ」とすることができる。第１の画像データと第２の画像データは、同一のイメージセンサ１１から出力することができる。第１の画像データと第２の画像データは、それぞれ異なる像位置関係とすることができる。第１の画像データと第２の画像データは、例えば、互いに異なる露出で撮像されたものとすることができる。
【００３５】
画素ずれ量検出部２２は、画像データ取得部２１が取得した各画像データ（４枚の画像データ）の画素ずれ量（位置ずれ量）を検出する。画素ずれ量検出部２２は、例えば、特許第４７６０９２３号公報に開示されているブロックマッチング等の周知技術を用いて、各画像データの画素ずれ量を確実かつ精密に検出することができる。
【００３６】
画素ずれ量検出部２２は、イメージセンサ１１の画素出力に基づいて、ピクセル毎又はサブピクセル毎に、各画像データの画素ずれ量を検出することができる。また画素ずれ量検出部２２は、イメージセンサ１１の画素出力に基づいて、ＲＧＢプレーン毎に、各画像データの画素ずれ量を検出することができる。その際、画素ずれ量検出部２２は、ＲＧＢプレーンのうちの特定のＲＧＢプレーンだけを使用してもよいし、使用するＲＧＢプレーンを変動させてもよい。例えば、ある画像データ間の位置ずれ量を検出するときにはＧプレーンを使用し、その他の画像データ間の位置ずれ量を検出するときにはＲプレーンを使用するといった柔軟な対応が可能である。また画素ずれ量検出部２２は、上記画像データの位置ずれ情報と、センサ７０を構成する加速度検出器、角速度検出器、角加速度検出器の少なくとも１つの出力に基づいて、各画像データの位置ずれ量を検出することができる。
【００３７】
画素ずれ量検出部２２は、上述したセンサ７０の出力を利用した検出態様とイメージセンサ１１の画素出力を利用した検出態様を組み合わせることができる。すなわち、センサ７０の出力を利用して画素ずれ量の方向性におおよその見当をつけた後に、イメージセンサ１１の画素出力を利用して精密な画素ずれ量を検出することができる。
【００３８】
画素ずれ量検出部２２は、イメージセンサ１１の画素出力に特定用途の画素出力が含まれている場合、当該特定用途の画素出力を当該画素以外の周辺の画素を利用して補間、補正するか、当該特定用途の画素出力を除外するか、低い重み付けを与えて画素ずれ量を検出することができる。特定用途の画素出力とは、例えば、撮影に無関係な位相差検出画素などを含むことができる。
【００３９】
ダイナミックレンジ調整部２３は、画像データ取得部２１が取得した各画像データ（４枚の画像データ）のダイナミックレンジを調整する。ダイナミックレンジ調整部２３は、画像データ取得部２１が取得した各画像データ（４枚の画像データ）の被写体輝度に応じて、イメージセンサ１１からの画素の出力値を合わせ込むことで、レベルの調整を行う。
【００４０】
図５Ａ、図５Ｂはダイナミックレンジ調整部２３によるダイナミックレンジの調整処理の一例を示す概念図である。図５Ａはダイナミックレンジ調整前（撮影時の各画像データ）の被写体輝度と画素出力のレベル関係を示しており、図５Ｂはダイナミックレンジ調整後（合成時の各画像データ）の被写体輝度と画素出力のレベル関係を示している。図５Ａ、図５Ｂにおいて、各画像データは、露出（露出値）をアンダー領域に設定した１枚のアンダー画像と、露出（露出値）をオーバー領域に設定した１枚のオーバー画像と、露出（露出値）を適正領域に設定した２枚の適正画像との合計４枚の画像データを含んでいる。
【００４１】
アンダー画像は、相対的に見て被写体輝度が高い（明るい）範囲の撮像画像である。オーバー画像は、相対的に見て被写体輝度が低い（暗い）範囲の撮像画像である。適正画像は、被写体輝度が中間の範囲の撮像画像となる。２枚の適正画像は露光量が等しいため、被写体輝度は略重複する。このため、図５Ａ、図５Ｂでは、各１枚のアンダー画像とオーバー画像が別個独立の直線で描かれているのに対して、２枚の適正画像は一本の直線で描かれている。具体的に、各１枚のアンダー画像とオーバー画像に対応する直線の中間に、２枚の適正画像に対応する直線が挟まれている（ここでは各直線の傾きが同じである）。ちなみに、同じ被写体輝度であっても、露光量の異なる画像では画素の出力値が異なる。
【００４２】
図５Ａ、図５Ｂにおいて、オーバーラップＡは、オーバー画像と適正画像の被写体輝度がオーバーラップしている範囲であり、オーバーラップＢは、アンダー画像と適正画像の被写体輝度がオーバーラップしている範囲である。
【００４３】
これら４枚の画像データは後で１枚の出力画像データとして合成される。よって合成後の画像データでは、オーバー画像の被写体輝度の下限値とアンダー画像の被写体輝度の上限値の間がダイナミックレンジの範囲となる。つまり、図５Ａの撮影時の各画像データの単独でのダイナミックレンジの範囲と、図５Ｂの調整後の各画像の合成値としてのダイナミックレンジの範囲からもわかるように、１枚で撮影した画像データよりも、露光量の異なる４枚の画像データに基づいてダイナミックレンジ調整部２３によりダイナミックレンジを調整して合成した方が、ダイナミックレンジを拡大した良好な画像データを得ることができる。
【００４４】
複数回（４枚）の撮影画像において、オーバーラップＡ、オーバーラップＢのような被写体輝度が重複している範囲は、複数の画素情報を含む。よって、被写体輝度がオーバーラップしている領域は、画像の解像度が高くなる。適正画像は、適正な露出（露出値）で複数枚（２枚）の撮影が行われているため、２枚の適正画像の被写体輝度の範囲はオーバーラップしており（オーバーラップＣ）、更に画像の解像度が高くなる。
【００４５】
すなわち、適正画像の被写体輝度の上限と下限の間に注目したとき、オーバーラップＡとオーバーラップＣが重複して被写体輝度が相対的に低めの領域では、２枚の適正画像と１枚のオーバー画像の合計３枚の画像データによる被写体輝度と画素情報の重複により、合成時の解像度を高めることができる。また、オーバーラップＢとオーバーラップＣが重複して被写体輝度が相対的に高めの領域では、２枚の適正画像と１枚のアンダー画像の合計３枚の画像データによる被写体輝度と画素情報の重複により、合成時の解像度を高めることができる。また、オーバーラップＣのうちオーバーラップＡ、Ｂと重複しない被写体輝度の中間領域であっても、２枚の適正画像による被写体輝度と画素情報の重複により、合成時の解像度を高めることができる。
【００４６】
ダイナミックレンジ調整部２３は、ユーザが入力装置６０を操作するなどして、各画像データにおける被写体輝度のオーバーラップ量を調整することができる。ダイナミックレンジ調整部２３は、オーバー画像と適正画像がオーバーラップする被写体輝度の領域（オーバーラップＡ）を拡大し、且つ／又は、アンダー画像と適正画像がオーバーラップする被写体輝度の領域（オーバーラップＢ）を拡大することにより、各画像データにおいて被写体輝度と画素情報が重複する領域を広げて、合成時の解像度を高めることが可能である。
【００４７】
ダイナミックレンジ調整部２３は、ユーザが入力装置６０を操作するなどして、ダイナミックレンジ拡大効果を大、中、小と選択できる機能を持つ。ダイナミックレンジ拡大効果を大とした場合は、複数の画像データ間での露光量（露出）の差を大きく設定して撮影を行う。このことにより被写体輝度のオーバーラップ領域は少なくなるが、ダイナミックレンジはより拡大する。またダイナミックレンジ拡大効果を小とした場合は、複数の画像間での露光量（露出）の差を小さくして撮影を行う。このことにより被写体輝度のオーバーラップ領域が大きくなるためダイナミックレンジが拡大し、より高解像度な画像データが取得可能となる。このように、ユーザの撮影用途によって、解像度の高さとダイナミックレンジのバランスを調整することができる。
【００４８】
画像データ合成部２４は、画素ずれ量検出部２２が検出した各画像データ（４枚の画像データ）の画素ずれ量（位置ずれ量）に応じて、各画像データを変更して各画像データの合成画像データを得る。画像データ合成部２４は、各画像データ間の画素ずれ量（位置ずれ量）とダイナミックレンジに基づいて、各画像データの合成画像データを得る。例えば、画像データ合成部２４は、画像データ取得部２１が取得した各画像データを合成して合成画像データを得る、所謂マルチショット合成を実行する。画像データ合成部２４は、画素ずれ量検出部２２が検出した各画像データの画素ずれ量に応じて、各画像データの位置合わせ演算処理を実行し、この位置合わせ演算処理の結果に基づいて各画像データを相対移動して合成画像データを得る。ここで、「各画像データを相対移動する」とは、当該各画像データが相対移動するように当該各画像データのデータを修正すること（各画像の相対移動を加味した上で画像データを抽出すること）を意味する。
【００４９】
図６Ａ、図６Ｂは画像データ合成部２４による画像データ合成処理の一例を示す概念図である。図６Ａに示すように、オーバー画像については、被写体輝度に対する画素出力の傾きが小さくなるような方向の合成処理が行われて、アンダー画像については、被写体輝度に対する画素出力の傾きが大きくなるような方向の合成処理が行われる。また、適正画像については、被写体輝度が相対的に大きい領域と小さい領域に分けた上で、大きい領域については被写体輝度に対する画素出力の傾きが小さくなるような方向の合成処理が行われて、小さい領域については被写体輝度に対する画素出力の傾きが大きくなるような方向の合成処理が行われる。その結果、図６Ｂに示すように、ダイナミックレンジ調整後の各１枚のオーバー画像とアンダー画像および２枚の適正画像を合成した合成画像データが得られる。合成画像データの被写体輝度と画素出力の関係を示す直線は、オーバー画像において被写体輝度と画素出力が最小となる座標位置と、アンダー画像において被写体輝度と画素出力が最大となる座標位置とを結んだものに相当する。
【００５０】
図６Ｂの合成画像データにおけるＸで示した部分（オーバー画像と適正画像の重畳部分）の合成を行う場合には、アンダー画像のＲ画素が欠損する場合がある。その場合は、例えば、２枚の適正画像の一方又は双方から当該Ｒ画素を補間して合成画像データを求めることができる。
【００５１】
図６Ｂの合成画像データにおけるＹで示した部分（オーバー画像の単独部分）の合成を行う場合には、適正画像及びアンダー画像に画素欠損が発生する場合がある。その場合には、オーバー画像から欠損画素を補間するための補間画素を取得して、当該補間画素により適正画像及びアンダー画像を補間して、合成画像データを求めることができる。
【００５２】
図７Ａ〜図７Ｄは、ダイナミックレンジ調整後の各画像データの合成処理の一例を示す概念図である。図７Ａ〜図７Ｄでは、ダイナミックレンジ調整後の各画像データにおいて、ベイヤ配列された４つの画素（Ｒ’、Ｇ０’、Ｇ１’、Ｂ’）を描いている。図示は省略しているが、ダイナミックレンジ調整前の各画像データは、ベイヤ配列された４つの画素（Ｒ、Ｇ０、Ｇ１、Ｂ）を有している。図７Ａはアンダー画像に対応し、図７Ｂ、図７Ｃは適正画像に対応し、図７Ｄはオーバー画像に対応している。各画像データ間の画素ずれ量を差し引き、各画像データにおける画素位置を一致させて、共通する着目画素の位置情報を求める。図７Ａでは画素Ｒ’を着目画素に設定し、図７Ｂでは画素Ｇ０’を着目画素に設定し、図７Ｃでは画素Ｇ１’を着目画素に設定し、図７Ｄでは画素Ｂ’を着目画素に設定している。そして、各画像データの位置合わせ演算処理を実行し、この位置合わせ演算処理の結果に基づいて各画像データを相対移動して合成画像データを得る。このとき、各画像データを実際に移動・合成して位置を合わせる処理を行う必要はない（演算のみで十分である）。つまり、着目画素は各画像データ間で対応関係にあり、着目画素は各画像データにおける位置情報は異なるが、理想的には被写体の同じ位置を指している。
【００５３】
画素補間部２５は、各画像データのいずれかの画像データ（第１の画像データ）に欠損画素（第１の画素）が含まれている場合、各画像データのその他の画像データ（第２の画像データ）の補完画素（第２の画素）により、いずれかの画像データ（第１の画像データ）の欠損画素（第１の画素）を補完する。
【００５４】
上述したように、図６Ｂの合成画像データにおけるＸで示した部分の合成を行う場合、アンダー画像のＲ画素が欠損する場合がある。これは、Ｘ部分では適正画像とオーバー画像が重畳しているがアンダー画像が重畳していないため、アンダー画像の着目画素が欠損することに起因する。その場合、画素補間部２５は、例えば、２枚の適正画像の一方又は双方から当該Ｒ画素（欠損画素である着目画素）を補間することができる。
【００５５】
図８Ａ〜図８Ｄは画素補間部２５による欠損画素の補間処理の一例を示す第１の概念図である。図８Ａ〜図８Ｄでは、ダイナミックレンジ調整後の各画像データにおいて、ベイヤ配列された４つの画素（Ｒ’、Ｇ０’、Ｇ１’、Ｂ’）を描いている。図示は省略しているが、ダイナミックレンジ調整前の各画像データは、ベイヤ配列された４つの画素（Ｒ、Ｇ０、Ｇ１、Ｂ）を有している。図８Ａはアンダー画像に対応し、図８Ｂ、図８Ｃは適正画像に対応し、図８Ｄはオーバー画像に対応している。図８Ａに示すように、アンダー画像の着目画素であるＲ画素が欠損画素Ｒｃとなっている。
【００５６】
画素補間部２５は、アンダー画像のＲ画素の欠損画素Ｒｃを補間する。欠損画素Ｒｃの補間の方法は限定されないが、一例としては、複数回撮影された他のデータから画素を取得することで、同一の画像の周辺画素から補間するよりも自然な画素値で補間することができる。勿論、アンダー画像の欠損画素の周辺画素から当該欠損画素を補間してもよい。
【００５７】
図９は、画素補間部２５による欠損画素の補間処理の一例を示す第２の概念図である。図９は、図８Ａのアンダー画像のＲ画素が欠損画素Ｒｃである場合に、図８Ｂ、図８Ｃの適正画像の着目画素周辺のＲ画素を参照して補間（補正値）を算出し、該補間値（補正値）により欠損画素Ｒｃを補間（補正）する場合を描いている。図９に示すように、図８Ｂの適正画像の中央のＧ２の画素座標位置、及び／又は、図８Ｃの適正画像の中央のＧ７の画素座標位置のＲ画素出力Ｘは、Ｘ＝（Ｒ０＋Ｒ１＋Ｒ２＋Ｒ３）／４により求めることができる。そして、Ｒ画素出力Ｘに所定の係数Ｋを乗算することにより、アンダー画像の欠損画素Ｒｃを求めることができる（Ｒｃ＝Ｘ・Ｋ）。
【００５８】
なお、適正画像とアンダー画像が重畳しているがオーバー画像が重畳していない部分では、オーバー画像に欠損画素が発生する可能性が高くなる。この場合も上記と同様にして、オーバー画像の欠損画素を補間するための補間画素を求めることができる。
【００５９】
図６Ｂの合成画像データにおけるＹで示した部分については、オーバー画像のみで構成されており、適正画像とアンダー画像は重畳されない。このため、Ｙ部分の被写体輝度において各画像データ（４枚の画像データ）を合成する場合、２枚の適正画像と１枚のアンダー画像の着目画素が欠損画素となる可能性がある。この場合、画素補間部２５は、２枚の適正画像と１枚のアンダー画像の着目画素である欠損画素を補完する。
【００６０】
図１０Ａ〜図１０Ｄは画素補間部２５による欠損画素の補間処理の一例を示す第３の概念図である。図１０Ａに示すように、アンダー画像の着目画素が欠損画素Ｘ’Ｒとなっており、図１０Ｂ、図１０Ｃに示すように、適正画像の着目画素が欠損画素Ｘ’Ｇとなっている。
【００６１】
画素補間部２５は、アンダー画像のＲ画素の欠損画素Ｘ’Ｒ、及び、適正画像のＧ画素の欠損画素Ｘ’Ｇを補間する。欠損画素の補間の方法は限定されないが、一例としては、複数回撮影された他のデータから画素を取得することで、同一の画像の周辺画素から補間するよりも自然な画素値で補間することができる。勿論、アンダー画像の欠損画素の周辺画素から当該欠損画素を補間してもよい。
【００６２】
図１１は、画素補間部２５による欠損画素の補間処理の一例を示す第４の概念図である。図１１に示すように、５×５の２５画素の画像データを一例として想定したときに、中央画素に位置するＲ画素、Ｇ画素、Ｂ画素が欠損画素ＸＲ、ＸＧ、ＸＢであるものとする。このとき、欠損画素ＸＲの画素出力はＸＲ＝Ｒ４で求められ、欠損画素ＸＧの画素出力はＸＧ＝（Ｇ３＋Ｇ５＋Ｇ６＋Ｇ７）／４で求められ、欠損画素ＸＢの画素出力はＸＢ＝（Ｂ０＋Ｂ１＋Ｂ２＋Ｂ３）／４で求められる。そして、ダイナミックレンジ調整後のレベルに合わせるように、合成に使用する各欠損画素の画素出力Ｘ’Ｒ、Ｘ’Ｇ、Ｘ’Ｂを求める。すなわち、ダイナミックレンジ調整前に対応する画素出力ＸＲ、ＸＧ、ＸＢに基づいて、ダイナミックレンジ調整後に対応する画素出力Ｘ’Ｒ、Ｘ’Ｇ、Ｘ’Ｂを求める。
【００６３】
図１２は、第１実施形態の撮影処理の一例を示す第１のフローチャートである。
【００６４】
ステップＳＴ１では、通常撮影を行うかマルチショット合成を行うかを判断する。通常撮影を行う場合はステップＳＴ２に進み、マルチショット合成を行う場合はステップＳＴ３に進む。
【００６５】
ステップＳＴ２では、通常撮影で１枚の撮影画像を撮影して、処理を終了する。
【００６６】
ステップＳＴ３では、ダイナミックレンジ調整処理（ダイナミックレンジ拡大処理）を行うか否かを判断する。ダイナミックレンジ調整処理を行わない場合（ステップＳＴ３：Ｎｏ）はステップＳＴ４に進み、ダイナミックレンジ調整処理を行う場合（ステップＳＴ３：Ｙｅｓ）はステップＳＴ５に進む。
【００６７】
ステップＳＴ４では、防振ユニット８０を利用して、イメージセンサ１１を微細に移動させながら時系列に複数枚（４枚）の撮影を行う。このとき、露出変更手段１００により露出（露出値）を一定として、同じ露光量の複数の撮影画像データを得る。
【００６８】
ステップＳＴ５では、防振ユニット８０を利用して、イメージセンサ１１を微細に移動させながら時系列に複数枚（４枚）の撮影を行う。このとき、複数枚の撮影の中で少なくとも１回以上は、露出変更手段１００により露出（露出値）を変更して撮影し、異なる露光量の複数の撮像画像データを得る。
【００６９】
ステップＳＴ６では、ステップＳＴ５で得られた露光量の異なる複数の画像データに対してダイナミックレンジ調整処理を実行する。ステップＳＴ６のダイナミックレンジ調整処理については、後にサブルーチンとして詳細に説明する。
【００７０】
ステップＳＴ７では、ステップＳＴ４で得られた同じ露光量の複数の撮影画像データ、又は、ステップＳＴ５で得られた露光量の異なる複数の画像データにステップＳＴ６でダイナミックレンジ調整処理を施したものに対して画像合成処理を施すことで、マルチショット合成による単一の画像データを取得する。複数の撮影画像データに対して画像合成処理を施す処理については、後にサブルーチンとして詳細に説明する。
【００７１】
なお、ステップＳＴ１における通常撮影を行うかマルチショット合成を行うかの判断、及び／又は、ステップＳＴ３におけるダイナミックレンジ調整処理を行うか否かの判断は、例えば、ユーザが入力装置６０を操作するなどして、適宜、選択・設定することができる。
【００７２】
図１３は、第１実施形態の撮影処理の一例を示す第２のフローチャートである。図１３の第２のフローチャートは、図１２のステップＳＴ６のダイナミックレンジ調整処理をサブルーチンとして示している。
【００７３】
ステップＳＴ６１では、ダイナミックレンジ調整部２３が、ステップＳＴ５で得られた露光量の異なる複数の画像データに対して画素出力レベルの調整（ダイナミックレンジの調整）を行う。より具体的に、ダイナミックレンジ調整部２３は、露出（露光）の出力差を、被写体輝度が同じ部分（重複する部分）で合わせこみ、画素の出力値の調整を行う。各画像データは露出差によって露光量が異なるため、露光量が異なる複数の画像の合成を行うために、画素レベルを調整する。
【００７４】
ステップＳＴ６２では、画素補間部２５が、画素出力レベルの調整（ダイナミックレンジの調整）が行われた複数の画像データに対して、必要に応じて補間処理を行う。より具体的に、画素補間部２５は、何らかの理由で欠損した画素（欠損画素とする）に対して、画素の補間を行う。欠陥画素周辺の画素値から補正値を算出してもよいし、複数回撮影を行った別の画像の画素に基づいて算出してもよい。欠損画素は、例えば、センサを原因とする画素値が正しく出力されなかった欠陥画素や、ある被写体輝度においてオーバーラップしていない箇所の画素を含んでいる。なお、補間処理は撮影画像の状態によっては必須ではなく、行うか否かを適宜決定することができる。
【００７５】
図１４は、第１実施形態の撮影処理の一例を示す第３のフローチャートである。図１４の第３のフローチャートは、図１２のステップＳＴ７の画像合成処理を施す処理をサブルーチンとして示している。
【００７６】
ステップＳＴ７１では、各画像データの位置合わせ演算処理を実行する。より具体的に、画像データ合成部２４が、画素ずれ量検出部２２が検出した各画像データの画素ずれ量に応じて、各画像データの位置合わせ演算処理を実行する。
【００７７】
ステップＳＴ７２では、各画像データからＲＧＢ値を取得する。
【００７８】
ステップＳＴ７３では、各画像データを合成して高解像度画像データを取得する（マルチショット合成）。より具体的に、画像データ合成部２４が、ステップＳＴ７１の位置合わせ演算処理の結果に基づいて各画像データを相対移動することにより、合成画像データを得る。
【００７９】
このように第１実施形態では、画像データ取得手段１０、２１が、被写体光束に対して撮像素子１１の撮像面が相対移動した複数の相対移動位置で画像データを取得し、露出変更手段１００が、各相対移動位置における当該画像データ取得時の露出を変更し、ダイナミックレンジ調整手段２３が、画像データ取得手段１０、２１が取得した当該画像データのダイナミックレンジを調整し、画像データ合成手段２４が、各画像データ間の位置ずれ量とダイナミックレンジに基づいて各画像データの合成画像データを得る。あるいは（別言すると）、第１の画像と、第１の画像とは露出が異なる第２の画像とを少なくとも含む複数の画像データからなる画像セットにおいて、次のような各処理を実行する。すなわち、画素ずれ量検出部（検出手段）２２が、画像セットに含まれる複数の画像データの位置ずれ量を検出する。ダイナミックレンジ調整部（ダイナミックレンジ調整手段）２３が、画像セットに含まれる複数の画像データのダイナミックレンジを調整する。画像データ合成部（画像データ合成手段）２４が、各画像データの位置ずれ量とダイナミックレンジに基づいて、画像セットの合成画像データを得る。このため、構成が簡単で優れた画像品質を実現可能とすることができる。簡単な構成により、画像の撮影枚数や撮影時間を低減することができる。優れた画像品質により、高い解像度かつ広いダイナミックレンジを実現することができる。
【００８０】
従来は、高解像化用の画像と、ダイナミックレンジ調整用（拡大用）の画像を、別々に撮影していたため、処理が膨大となっていた。例えば、高解像度のために４枚の画像を撮影し、ダイナミックレンジを広げるために２枚の画像を撮影する場合を想定する。それぞれの方法があってこれを単純に組み合わせる場合、４枚の高解像度用の画像を２回分撮影する必要があり、最低でも８枚の撮影が必要になり、撮影枚数が多くなり時間も掛かる。
【００８１】
これに対して、第１実施形態では、高解像度の画像を得るために画素をずらして撮影するときに露光量を変化させる。このとき、高解像度の画像を得るために露出を合わせて（ダイナミックレンジを調整して）合成する。ハイライトやシャドーなどの不足する部分は、撮影枚数より少ない枚数で合成を行い、又は、１枚の画像で再現（現像）して処理を行うことで、大幅に撮影枚数を削減することができる。
【００８２】
以上の第１実施形態では、露出（露出値）を異ならせた複数の画像データとして、各１枚のオーバー画像とアンダー画像および２枚の適正画像を用いた場合を例示して説明したが、画像データの枚数や露出（露出値）を異ならせる手法には自由度があり、種々の設計変更が可能である。例えば、露出（露出値）をそれぞれ異ならせた２枚、３枚又は５枚以上の画像データを用いることもできる。但し、露出（露出値）を異ならせた少なくとも２枚の画像データの間で被写体輝度が重複（オーバーラップ）することが要求される。
【００８３】
画像データ取得手段（カメラユニット１０及び／又は画像処理装置２０の画像データ取得部２１）から出力される画像データは、それぞれ光学的黒領域（オプティカルブラック（ＯＢ）領域）の信号成分の除去やホワイトバランス補正などの補正を行った後にダイナミックレンジ調整処理（ダイナミックレンジ拡大処理）を行ってもよい。
【００８４】
画像データ取得手段（カメラユニット１０及び／又は画像処理装置２０の画像データ取得部２１）は、被写体光束とイメージセンサ１１の撮像面が相対的に移動していればよく、イメージセンサ１１をセンサ駆動で（防振ユニット８０により）意図的に動かす場合と、手振れ等により能動的に（やむをえず）動く場合と、の両方を含んでいる。
【００８５】
なお、第１実施形態において、ダイナミックレンジ調整部（ダイナミックレンジ調整手段）２３が行う複数の画像のダイナミックレンジの調整は、上記に示した手法以外であっても、例えば、ハイダイナミックレンジ合成（ＨＤＲ合成）と呼ばれる露出違いの画像を合成する手法等、コントラストを調整するための一般的な処理を用いることができる。ここで、ハイダイナミックレンジ合成（ＨＤＲ合成）とは、通常の（一般的な）撮影技法に比べてより幅広いダイナミックレンジを表現するための写真技法の一種である。
【００８６】
また、合成対象画像の選択と、ダイナミックレンジの調整を実行するフローの順序は、特に限定されないが、合成対象画像の選択を先に行うことが好ましい。なぜなら、複数の画像同士でダイナミックレンジの調整を行った後に、それらの画像を合成対象画像として選択できなかった場合、処理を最初からやり直さなければならないからである。
【００８７】
≪第２実施形態≫
図１５〜図１７を参照して第２実施形態について説明する。第１実施形態と重複する内容については説明を省略する。
【００８８】
図１５に示すように、画像処理装置（プロセッサ）２０は、画像データ取得部２１と画素ずれ量検出部２２とダイナミックレンジ調整部２３と画像データ合成部２４と画素補間部２５に加えて、分割部２６を有している。
【００８９】
分割部２６は、複数の画像を互いに対応する画像領域に分割する。図１６Ａ〜図１６Ｄは複数の画像を互いに対応する画像領域に分割する場合の一例を示す図である。図１６Ａでは、第１の画像が縦横同サイズのマトリクス状の画像領域１−１、１−２、・・・、１−Ｎに分割されている。図１６Ｂでは、第２の画像が縦横同サイズのマトリクス状の画像領域２−１、２−２、・・・、２−Ｎに分割されている。図１６Ｃでは、第３の画像が縦横同サイズのマトリクス状の画像領域３−１、３−２、・・・、３−Ｎに分割されている。図１６Ｄでは、第４の画像が縦横同サイズのマトリクス状の画像領域４−１、４−２、・・・、４−Ｎに分割されている。各画像領域のブロックサイズには自由度があるが、例えば、各画像領域のブロックサイズを１２８画素×１２８画素とすることができる。
【００９０】
画素ずれ量検出部２２は、複数の画像の互いに対応する画像領域毎の位置ずれ量（画素ずれ量）を検出する。図１６Ａ〜図１６Ｄの例に沿って説明すると、画素ずれ量検出部２２は、第１の画像の画像領域１−１と、第２の画像の画像領域２−１と、第３の画像の画像領域３−１と、第４の画像の画像領域４−１との位置ずれ量（画素ずれ量）を計算する。また、画素ずれ量検出部２２は、第１の画像の画像領域１−２と、第２の画像の画像領域２−２と、第３の画像の画像領域３−２と、第４の画像の画像領域４−２との位置ずれ量（画素ずれ量）を計算する。また、画素ずれ量検出部２２は、第１の画像の画像領域１−Ｎと、第２の画像の画像領域２−Ｎと、第３の画像の画像領域３−Ｎと、第４の画像の画像領域４−Ｎとの位置ずれ量（画素ずれ量）を計算する。このように、画素ずれ量検出部２２は、各画像の同じ位置のブロック同士で、例えば、サブピクセル推定によって相関を演算する。
【００９１】
画素ずれ量検出部２２は、自身が検出した相関値である位置ずれ量（画素ずれ量）に応じて、複数の画像から合成対象画像領域を選択する。例えば、画素ずれ量検出部２２は、いずれかの画像の画像領域を基準画像領域に設定し、その他の画像の画像領域を比較画像領域に設定して、基準画像領域との位置ずれ量（画素ずれ量）が所定の閾値以内であり、且つ、最もずれ量が小さく奇数画素分または偶数画素分ずれている比較画像領域を合成対象画像領域として選択することができる。例えば、図１６Ａの第１の画像の画像領域１−１〜１−Ｎを基準画像領域に設定した場合、基準画像領域１−１に対する合成対象画像領域として画像領域２−１、３−１、４−１の中から少なくとも１つを選択することができ、基準画像領域１−２に対する合成対象画像領域として画像領域２−２、３−２、４−２の中から少なくとも１つを選択することができ、基準画像領域１−Ｎに対する合成対象画像領域として画像領域２−Ｎ、３−Ｎ、４−Ｎの中から少なくとも１つを選択することができる。
【００９２】
画像データ合成部２４は、画素ずれ量検出部２２が検出した相関値である位置ずれ量（画素ずれ量）と、画素ずれ量検出部２２が選択した合成対象画像領域とに基づいて、合成画像を得る。画像データ合成部２４は、画素ずれ量検出部２２が検出した相関値である位置ずれ量（画素ずれ量）に応じて、画素ずれ量検出部２２が選択した合成対象画像領域の画像演算を実行することにより、合成画像を得る。例えば、画像データ合成部２４は、図１６Ａの基準画像領域１−１に、図１６Ｂ〜図１６Ｄの比較画像領域２−１〜４−１の中から画素ずれ量検出部２２が選択した合成対象画像領域を合成または置換する。また、画像データ合成部２４は、図１６Ａの基準画像領域１−２に、図１６Ｂ〜図１６Ｄの比較画像領域２−２〜４−２の中から画素ずれ量検出部２２が選択した合成対象画像領域を合成または置換する。また、画像データ合成部２４は、図１６Ａの基準画像領域１−Ｎに、図１６Ｂ〜図１６Ｄの比較画像領域２−Ｎ〜４−Ｎの中から画素ずれ量検出部２２が選択した合成対象画像領域を合成または置換する。
【００９３】
このようにして、画像データ合成部２４は、分割部２６が分割した複数の画像領域の各々について、画素ずれ量検出部２２が求めた合成対象画像領域による画像演算（合成または置換）を実行することにより、１枚の合成画像を得る。
【００９４】
つまり、１枚の基準画像の各基準画像領域は、その他の比較画像の各比較画像領域から選択された合成対象画像領域に基づいて合成または置換される。例えば、基準画像である第１の画像の基準画像領域１−１を第２の画像の合成対象画像領域２−１で合成または置換し、第１の画像の基準画像領域１−２を第３の画像の合成対象画像領域３−２で合成または置換し、第１の画像の基準画像領域１−Ｎを第４の画像の合成対象画像領域４−Ｎで合成または置換することができる。
【００９５】
なお、基準画像のある基準画像領域について、比較画像の比較画像領域から適切な合成対象画像領域を選択できなかった場合は、当該基準画像領域の合成または置換を行うことなく、当該基準画像領域をそのまま利用してもよい。
【００９６】
図１７は、第２実施形態による撮影処理の一例を示すフローチャートである。
【００９７】
ステップＳＴ１１０では、複数の画像を互いに対応する画像領域に分割する。
【００９８】
ステップＳＴ１２０では、複数の画像の互いに対応する画像領域の位置ずれ量（画素ずれ量）を検出する。
【００９９】
ステップＳＴ１３０では、相関値である位置ずれ量（画素ずれ量）に応じて、複数の画像から合成対象画像領域を選択する。
【０１００】
ステップＳＴ１４０では、全ての画像領域について合成対象画像領域を選択したか否かを判定する。全ての画像領域について合成対象画像領域を選択していない場合（ステップＳＴ１４０：ＮＯ）、ステップＳＴ１３０に戻って、全ての画像領域について合成対象画像領域を選択し終わるまで、ステップＳＴ１３０〜ステップＳＴ１４０の処理ループを繰り返す。全ての画像領域について合成対象画像領域を選択した場合（ステップＳＴ１４０：ＹＥＳ）、ステップＳＴ１５０に進む。
【０１０１】
ステップＳＴ１５０では、相関値である位置ずれ量（画素ずれ量）と選択した合成対象画像領域に基づいて、合成画像を得る。
【０１０２】
以上説明した第２実施形態では、複数の画像を互いに対応する画像領域に分割し、複数の画像の互いに対応する画像領域毎の位置ずれ量を検出し、位置ずれ量に応じて複数の画像から合成対象画像領域を選択し、位置ずれ量と合成対象画像領域に基づいて合成画像を得る。従って、画像単位で位置ずれ量を検出して合成対象画像を選択して合成画像を得る第１実施形態よりも、優れた画像品質（高詳細、モアレや偽色や高感度ノイズの低減等）を実現することができる。
【０１０３】
第１実施形態では、各相対移動位置における画像データ取得時の露出を変更し、取得した画像データのダイナミックレンジを調整し、各画像データ間の位置ずれ量とダイナミックレンジに基づいて各画像データの合成画像データを得ることが特徴の１つとなっている。
【０１０４】
ここで、露出の異なる複数の画像データを取得（入力）するという前段処理と、画像合成前にダイナミックレンジを調整するという中段処理と、ダイナミックレンジ調整後の画像データを合成するという後段処理とを想定する。例えば、複数の画像の位置ずれ量を検出し、位置ずれ量に応じて複数の画像から合成対象画像を選択し、位置ずれ量と合成対象画像に基づいて合成画像を得ることが考えられる。すなわち、複数の画像の画素ずれ量を検出し、複数の画像のいずれかの画像を基準画像に設定するとともに残りの画像を比較画像に設定して、基準画像と比較画像の画素ずれ量に応じて、比較画像から合成対象画像を選択し、位置ずれ量に応じて基準画像と合成対象画像を相対移動して合成画像を得ることが考えられる。
【０１０５】
上記の基準画像と比較画像（合成対象画像）に本願の露出・ダイナミックレンジを調整する複数の画像を当てはめた場合において、露出・ダイナミックレンジを調整した複数の画像を合成したとき、高解像（高品質）な合成画像を得ることが可能になる。
【０１０６】
第２実施形態では、各画像を複数の画像領域に分割して、各画像領域をペアリングして比較演算を行う場合を例示して説明した。しかし、例えば、イメージセンサを１画素ずつ相対移動させるマルチショット合成を行うような場合には、画像領域への分割並びに画像領域毎のペアリング及び比較演算を行うことなく、画像同士でのペアリング及び比較演算を行うことも可能である。
【０１０７】
≪第３実施形態≫
上記の第１、第２実施形態のデジタルカメラ１は、マルチショット合成モードにおいて、防振ユニット８０を利用した移動部材（例えばイメージセンサ１１）の駆動（例えば像振れ補正駆動）を実行していない場合を想定している。しかし、画像が特定の位置で完全に固定されず（複数の画像の位置ずれを完全に補正せず）、大まかな像振れ位置決め補正を行う程度であれば、防振ユニット８０を利用した像振れ補正駆動を実行することができる。
【０１０８】
つまり、防振ユニット８０による像振れ補正駆動を行った場合であっても厳密な意味で（完全に）像振れをゼロにすることはできない（ミクロン単位のずれ量は発生する）ので、むしろこのずれ量を積極的に利用してマルチショット合成を実行するのが第３実施形態である。これは、防振ユニット８０による像振れ補正駆動の駆動量とマルチショット合成に要求される各画像の位置ずれ量（画素ずれ量）を比較したときに、前者が後者よりも格段に大きいという着眼に基づいている。
【０１０９】
第３実施形態では、マルチショット合成モード（いわば防振ユニット８０による像振れ補正駆動ありの手振れ利用マルチショット合成モード）の設定をした後に、例えば、連写撮影によって複数の画像を得る。そして、複数の画像に基づく画像合成処理によって１枚の合成画像を得る。
【０１１０】
例えば、複数の画像の画素ずれ量を検出し、複数の画像のいずれかの画像を基準画像に設定するとともに残りの画像を比較画像に設定して、基準画像と比較画像の画素ずれ量に応じて、比較画像から合成対象画像を選択し、位置ずれ量に応じて基準画像と合成対象画像を相対移動して合成画像を得ることができる。
【０１１１】
あるいは、複数の画像を互いに対応する画像領域に分割し、複数の画像の互いに対応する画像領域毎の位置ずれ量を検出し、位置ずれ量に応じて複数の画像から合成対象画像領域を選択し、位置ずれ量と合成対象画像領域に基づいて合成画像を得ることができる。
【０１１２】
図１８〜図２１を参照して、防振ユニット８０の構成について詳細に説明する。各図において、撮影光学系の光軸Ｏと平行な方向を第１の方向（Ｚ方向、Ｚ軸方向）、第１の方向と直交する方向を第２の方向（Ｘ方向、Ｘ軸方向）、第１の方向及び第２の方向の双方と直交する方向を第３の方向（Ｙ方向、Ｙ軸方向）とする。例えば、Ｘ軸、Ｙ軸及びＺ軸を３次元の直交座標系の座標軸と仮定すると、光軸ＯをＺ軸としたとき、Ｚ軸と直交し、かつ互いに直交する二方向の軸がＸ軸及びＹ軸になる。カメラが正位置（横位置）にあるとき、第１の方向（Ｚ方向、Ｚ軸、光軸Ｏ）及び第２の方向（Ｘ方向、Ｘ軸）は水平になり、第３の方向（Ｙ方向、Ｙ軸）は鉛直になる。
【０１１３】
デジタルカメラ１は、カメラボディＣＢの振れ（振動）を検出する検出手段として、ロール（Ｚ方向回りの傾動（回転））検出部、ピッチ（Ｘ方向回りの傾動（回転））検出部、ヨー（Ｙ方向回りの傾動（回転））検出部、Ｘ方向加速度検出部、Ｙ方向加速度検出部、及びＺ方向加速度検出部を備えている。これらの各検出手段は、例えば６軸センサ、または３軸ジャイロセンサと３軸加速度センサによって構成されている。これらの各検出手段は、図１のセンサ７０の一部として構成されていてもよい。
【０１１４】
撮像ブロック（例えば図１のカメラユニット１０）は、撮像素子１１０Ａと、撮像素子１１０Ａを支持したステージ装置１２０とを有している。ステージ装置１２０は、撮像素子１１０Ａが搭載された可動ステージ１２１と、可動ステージ１２１の前後に位置する前固定ヨーク１２２と後固定ヨーク１２３とを備え、少なくとも通電時には、可動ステージ１２１を前後の固定ヨーク１２２、１２３に対して、浮上（重力に抗して浮上させ、静止状態に保持）させることができる。ステージ装置１２０は、浮上状態の可動ステージ１２１を、Ｚ方向（第１の方向）並進、Ｚ方向と直交するＸ方向（第２の方向）並進、Ｚ方向及びＸ方向の双方と直交するＹ方向（第３の方向）並進、Ｘ方向（第２の方向）回りの傾動（回転）、Ｙ方向（第３の方向）回りの傾動（回転）、及びＺ方向（第１の方向）回りの傾動（回転）（６自由度の移動、６軸移動）させることができる。
【０１１５】
ボディＣＰＵ（例えば図１のＣＰＵ９０）は、ピッチ（Ｘ方向回りの傾動（回転））、ヨー（Ｙ方向回りの傾動（回転））、ロール（Ｚ方向回りの傾動（回転））、Ｘ方向加速度、Ｙ方向加速度、及びＺ方向加速度に基づいてデジタルカメラ１０のぶれ方向、ぶれ速度等を演算する。ボディＣＰＵは、撮像素子１１０Ａに投影された被写体像が撮像素子１１０Ａに対して相対移動しないように撮像素子１１０Ａを駆動する方向、駆動速度、駆動量などを演算し、演算結果に基づいてステージ装置１２０を並進、傾動、傾動中の並進、傾動後に並進及び並進後に傾動駆動する。
【０１１６】
ステージ装置１２０は、撮像素子１１０Ａが固定された可動ステージ１２１を前固定ヨーク１２２と後固定ヨーク１２３に対して、並進、傾動、傾動中の並進、及び傾動後に並進自在に保持する。可動ステージ１２１は、正面視で、撮像素子１１０Ａより大きい長方形の板状部材である。前固定ヨーク１２２と後固定ヨーク１２３は、平面視、外形が可動ステージ１２１より大きい同一形状の長方形の枠状部材からなり、中央部にそれぞれ、正面視で（Ｚ方向から見て）、撮像素子１１０の外形より大きい長方形の開口１２２ａと１２３ａが形成されている。
【０１１７】
前固定ヨーク１２２の後面（被写体側と反対側の面）にはＹ軸を中心線としＺ軸を挟んで開口１２２ａの少なくとも左右（Ｘ方向）の一方、図示実施形態では左右両側部に位置する態様で、同一仕様の左右一対の永久磁石からなるＸ方向用磁石ＭＸが固定されている。前固定ヨーク１２２及び後固定ヨーク１２３が左右のＸ方向用磁石ＭＸの磁束を通すことにより、左右のＸ方向用磁石ＭＸと後固定ヨーク１２３の対向部の間にＸ方向（第２の方向）の推力を発生する磁気回路が形成される。
【０１１８】
前固定ヨーク１２２の後面には開口１２２ａの下方にＹ軸を中心線としてＺ軸から離間して位置する態様で、同一仕様の一対の永久磁石からなるＹ方向用磁石ＭＹＡと同一仕様の一対のＹ方向用磁石ＭＹＢが固定されている。前固定ヨーク１２２及び後固定ヨーク１２３がＹ方向用磁石ＭＹＡとＹ方向用磁石ＭＹＢの磁束を通すことにより、Ｙ方向用磁石ＭＹＡ及びＹ方向用磁石ＭＹＢと後固定ヨーク１２３との間に、Ｙ方向（第３の方向）の推力を発生する磁気回路が形成される。
【０１１９】
前固定ヨーク１２２の後面には、Ｘ方向用磁石ＭＸ、Ｙ方向用磁石ＭＹＡとＭＹＢとは異なる３カ所に、同一仕様の永久磁石からなるＺ方向用磁石ＭＺＡとＭＺＢとＭＺＣが固定されている。３個のＺ方向用磁石ＭＺＡとＭＺＢとＭＺＣは、Ｚ軸を中心としてＺ軸直交平面内に略等間隔に配置されている。前固定ヨーク１２２及び後固定ヨーク１２３がＺ方向用磁石ＭＺＡとＭＺＢとＭＺＣの磁束を通すことにより、Ｚ方向用磁石ＭＺＡ、ＭＺＢ、ＭＺＣと後固定ヨーク１２３との間に、Ｚ方向（第１の方向）の推力を発生する複数の磁気回路が形成される。
【０１２０】
可動ステージ１２１の中央部には正面視長方形の撮像素子取付孔１２１ａが穿設され、撮像素子取付孔１２１ａに撮像素子１１０Ａが嵌合固定されている。撮像素子１１０Ａは、撮像素子取付孔１２１ａから可動ステージ１２１の光軸Ｏ方向前方に突出している。
【０１２１】
可動ステージ１２１には、撮像素子１１０Ａの左右の両辺（短辺）の外方部に位置させて、一対のＸ駆動用コイルＣＸが固定され、撮像素子１１０Ａの下方の一辺（長辺）の下方部に位置させて、左右に離して一対のＹ駆動用コイルＣＹＡとＹ駆動用コイルＣＹＢが固定されている。可動ステージ１２１にはさらに、一対のＹ駆動用コイルＣＹＡとＣＹＢの間（中間位置）に位置させて円形のＺ駆動用コイルＣＺＡが固定され、一対のＸ駆動用コイルＣＸより上方に位置させて円形の一対のＺ駆動用コイルＣＺＢとＺ駆動用コイルＣＺＣが固定されている。
【０１２２】
以上のＸ駆動用コイルＣＸ、Ｙ駆動用コイルＣＹＡとＹ駆動用コイルＣＹＢ、Ｚ駆動用コイルＣＺＡとＺ駆動用コイルＣＺＢとＺ駆動用コイルＣＺＣは、アクチュエータ駆動回路（図示略）に接続され、当該アクチュエータ駆動回路を介して通電制御される。
【０１２３】
可動ステージ１２１には、Ｘ駆動用コイルＣＸの空芯領域に位置するＸ方向用ホール素子ＨＸと、Ｙ駆動用コイルＣＹＡとＣＹＢの空芯領域にそれぞれ位置するＹ方向用ホール素子ＨＹＡとＹ方向用ホール素子ＨＹＢと、各Ｚ駆動用コイルＣＺＡ、ＣＺＢ、ＣＺＣの空芯領域にそれぞれ位置するＺ方向用ホール素子ＨＺＡ、Ｚ方向用ホール素子ＨＺＢ、Ｚ方向用ホール素子ＨＺＣとが固定されている。
【０１２４】
位置検出回路（図示略）は、Ｘ方向用ホール素子ＨＸ、Ｙ方向用ホール素子ＨＹＡ、ＨＹＢ、及びＺ方向用ホール素子ＨＺＡ、ＨＺＢ、ＨＺＣが出力した検出信号により可動ステージ１２１のＸ方向位置、Ｙ方向位置、Ｚ方向位置、Ｘ方向回りの傾動位置（Ｘ方向回りの傾動（回転）角、ピッチ角）、Ｙ方向回りの傾動位置（Ｙ方向回りの傾動（回転）角、ヨー角）、及びＺ方向回りの傾動位置（Ｚ方向回りの傾動（回転）角、ロール角）を検出する。
【０１２５】
位置検出回路（図示略）の検出結果に応じて、アクチュエータ駆動回路（図示略）が、Ｘ駆動用コイルＣＸ、Ｙ駆動用コイルＣＹＡとＹ駆動用コイルＣＹＢ、Ｚ駆動用コイルＣＺＡとＺ駆動用コイルＣＺＢとＺ駆動用コイルＣＺＣを通電制御することにより、撮像素子１１０Ａ（可動ステージ１２１）を駆動することができる。例えば、防振ユニット８０は、撮影部の少なくとも一部である撮像素子１１０Ａを駆動部材として、当該駆動部材を光軸Ｏ（Ｚ軸）と異なる方向に駆動することで像振れを補正する手ぶれ補正機構（駆動機構）として機能する。なお、駆動対象となる駆動部材は撮像素子１１０Ａに限定されず、例えば、撮影レンズの一部を像振れ補正レンズとすることも可能である。
【０１２６】
本発明者は、一例として挙げた上記のような六軸駆動ユニット（但し像振れ補正の態様は問わない）によって像振れ補正駆動を実行しながらマルチショット合成を実行する技術について鋭意研究を重ねた結果、次のような知見を得た。すなわち、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の平行方向のずれが残存していても、マルチショット合成の画像品質に与える悪影響は小さいが、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の回転方向のずれが残存していると、マルチショット合成の画像品質に悪影響を与えることが判明した。
【０１２７】
上述したように、本実施形態では、複数の画像又は画像領域の位置ずれ量（画素ずれ量）の検出等の画像演算は、ＸＹ平面内のＸＹ座標軸に基づいて行われるので、ＸＹ平面内の回転方向のずれ量が大きいと、複数の画像同士又は複数の画像領域同士で相関が得られず、適切な画像演算が困難になるおそれがある。
【０１２８】
図２２は、ＸＹ平面内の回転方向の像振れによる悪影響の一例を示す図である。図２２に示すように、ＸＹ平面内の回転方向の像振れ量は、光軸Ｏ（Ｚ軸）に近いほど（画像中心部寄りのほど）小さくなり、光軸Ｏ（Ｚ軸）から遠いほど（画像周辺部寄りのほど）大きくなる。
【０１２９】
本実施形態では、防振ユニット８０によって、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における平行方向のずれ量のみならず、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における回転方向のずれ量を補正することによって、画像演算の精度を高めて、マルチショット合成の画像品質を向上することができる。また、画像演算の処理負荷及び処理時間を低減することができる。
【０１３０】
防振ユニット（駆動機構）８０は、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の平行方向の駆動成分（駆動量）を相対的に小さくし、光軸Ｏ（Ｚ軸）と直交する平面内（ＸＹ平面内）における駆動部材（撮像素子）の回転方向の駆動成分（駆動量）を相対的に大きくしてもよい。これにより、マルチショット合成の画像品質に与える悪影響が小さい駆動部材（撮像素子）の平行方向のずれ成分（ずれ量）が残存することをある程度許容し、マルチショット合成の画像品質に大きな悪影響を与える駆動部材（撮像素子）の回転方向のずれ成分（ずれ量）を積極的に除去して、マルチショット合成の画像品質を向上することができる。
【０１３１】
また第２実施形態のように、分割部２６によって複数の画像を互いに対応する画像領域に分割して、各画像領域について位置ずれ量（画素ずれ量）を演算することにより、駆動部材（撮像素子）の回転方向のずれ量の悪影響を低減することができる。
【０１３２】
この場合、分割部２６は、複数の画像を互いに異なるサイズの画像領域に分割することが好ましい。より具体的に、分割部２６は、複数の画像の中央側を相対的に大きいサイズの画像領域に分割し、複数の画像の周辺側を相対的に小さいサイズの画像領域に分割することが好ましい。
【０１３３】
図２３は、複数の画像を互いに異なるサイズの画像領域に分割する場合の一例を示している。図２３では、最小ブロック単位で縦８ブロック×横１０ブロックの計８０ブロックに相当する画像領域を、画像中央側の最大画像領域ブロックと、最大画像領域ブロックの左右両側に位置する２つの中間画像領域ブロックと、最大画像領域ブロックと２つの中間画像領域ブロックの周囲を取り囲む画像周辺側の最小画像領域ブロックとに分割している。最大画像領域ブロックは、最小画像領域ブロック（最小ブロック単位）が縦横４つずつの１６ブロック分のサイズであり、中間画像領域ブロックは、最小画像領域ブロック（最小ブロック単位）が縦横２つずつの４ブロック分のサイズである。
【０１３４】
例えば、複数の画像の間で回転方向のずれがある場合、そのずれ量は、画像中心部寄りであるほど小さくなり、画像周辺部寄りであるほど大きくなる（図２２を参照）。そこで、回転方向のずれ量が小さい画像中心部の画像領域を大きい（粗い）ブロックに分割する一方、回転方向のずれ量が大きい画像周辺部の画像領域を小さい（細かい）ブロックに分割することで、各画像領域ブロック（特に画像周辺部の画像領域ブロック）において、より高い精度の画像演算を実行して、マルチショット合成の画像品質を向上することができる。また、画像演算の処理負荷及び処理時間を低減することができる。仮に、図２３において、全ての画像領域ブロックを最小画像領域ブロック（最小ブロック単位）に分割すると、画像演算の処理負荷及び処理時間が増大してしまう。また、図２３において、全ての画像領域ブロックを最大画像領域ブロックに分割すると、回転方向のずれ量が大きい画像周辺部において、画像領域ブロック同士の相関がとれなくなる（画素ずれ量が演算できなくなる）おそれがある。
【符号の説明】
【０１３５】
１  デジタルカメラ（カメラユニット付き電子機器）
１０  カメラユニット（画像データ取得手段）
１１  イメージセンサ
２０  画像処理装置（プロセッサ）
２１  画像データ取得部（画像データ取得手段、画像データ入力手段）
２２  画素ずれ量検出部（画素ずれ量検出手段、検出手段）
２３  ダイナミックレンジ調整部（ダイナミックレンジ調整手段）
２４  画像データ合成部（画像データ合成手段）
２５  画素補間部（画素補間手段）
２６  分割部
３０  メモリ
４０  記録媒体
５０  表示装置
６０  入力装置
７０  センサ
８０  防振ユニット（手振れ補正機構、駆動部材）
９０  ＣＰＵ
１００  露出変更手段
１１０  バス
１１０Ａ  撮像素子（駆動部材）
１２０  ステージ装置
１２１  可動ステージ
１２２  前固定ヨーク
１２３  後固定ヨーク
ＣＢ  カメラボディ
【図１】
2019169940.tif 000003
【図２】
2019169940.tif 000004
【図３】
2019169940.tif 000005
【図４】
2019169940.tif 000006
【図５】
2019169940.tif 000007
【図６】
2019169940.tif 000008
【図７】
2019169940.tif 000009
【図８】
2019169940.tif 000010
【図９】
2019169940.tif 000011
【図１０】
2019169940.tif 000012
【図１１】
2019169940.tif 000013
【図１２】
2019169940.tif 000014
【図１３】
2019169940.tif 000015
【図１４】
2019169940.tif 000016
【図１５】
2019169940.tif 000017
【図１６】
2019169940.tif 000018
【図１７】
2019169940.tif 000019
【図１８】
2019169940.tif 000020
【図１９】
2019169940.tif 000021
【図２０】
2019169940.tif 000022
【図２１】
2019169940.tif 000023
【図２２】
2019169940.tif 000024
【図２３】
2019169940.tif 000025