(57)【要約】【課題】視差を有する複数の画像を用いて、精度良く画像の位置合わせを行うことができる画像処理装置を提供する。【解決手段】デジタルカメラ１００が、視差を有する複数の画像データを含む入力画像データを取得する。デジタルカメラ１００が、複数の入力画像データを用いて、画像データの位置合わせを行う。デジタルカメラ１００は、入力画像データを複数の画像領域に分割し、分割された画像領域内の画素値に応じて、上記位置合わせに用いる画像データを切り替える。【選択図】図１
2019047380.tif 000002
【特許請求の範囲】
【請求項１】
視差を有する複数の画像データを含む入力画像データを取得する取得手段と、
複数の前記入力画像データを用いて、画像データの位置合わせを行う制御手段とを備え、
前記制御手段は、前記入力画像データを複数の画像領域に分割し、分割された画像領域の画素値に応じて、前記位置合わせに用いる画像データを切り替える
ことを特徴とする画像処理装置。
【請求項２】
前記入力画像データは、撮像光学系の異なる瞳部分領域を通過した光をそれぞれ受光する複数の光電変換部のうちのいずれかから得られる第１の画像データと、前記複数の光電変換部から得られる第２の画像データとを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記分割された画像領域のうち、所定の割合以上の画素値が閾値以上である第１の領域については、前記第１の画像データを用い、前記第１の領域と異なる第２の領域については、前記第２の画像データを用いて前記位置合わせを行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制御手段は、
複数の前記入力画像データのそれぞれから前記第２の画像データを取得し、
前記第１の領域については、前記第１の領域の画素値を、前記第１の画像データをゲインアップして得られる画像データの画素値で置換する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記分割された画像領域のうち、所定の割合以上の画素値が閾値以下である第１の領域については、前記第２の画像データを用い、前記第１の領域と異なる第２の領域については、前記第１の画像データを用いて前記位置合わせを行う
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記制御手段は、
複数の前記入力画像データのそれぞれから前記第１の画像データを取得し、
前記第１の領域については、前記第１の領域の画素値を前記第２の画像データの画素値で置換する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記制御手段は、前記位置合わせされた画像データの合成を行う
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記制御手段が行う合成は、ダイナミックレンジの拡張に係る合成である
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
請求項１乃至８のいずれか１項に記載の画像処理装置と、一つのマイクロレンズに対応する複数の光電変換部を有する撮像素子とを有することを特徴とする撮像装置。
【請求項１０】
撮像素子の瞳分割領域の一部を通過した光束に基づく第１画像信号と、瞳分割領域のそれぞれを通過した光束の加算に基づく第２画像信号とを含む入力画像データを取得する取得手段と、
前記取得手段によって取得された複数の前記入力画像データを用いて、画像の位置合わせを行う制御手段とを備え、
前記制御手段は、前記入力画像データの画素値の大きさに応じて、前記第１画像信号と第２画像信号のいずれかを用いて前記位置合わせを行う
ことを特徴とする画像処理装置。
【請求項１１】
視差を有する複数の画像データを含む入力画像データを取得する取得工程と、
複数の前記入力画像データを用いて、画像データの位置合わせを行う制御工程とを有し、
前記制御工程では、前記入力画像データを複数の画像領域に分割し、分割された画像領域の画素値に応じて、前記位置合わせに用いる画像データを切り替える
ことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および制御方法に関する。
【背景技術】
【０００２】
複数の静止画データ間で動きベクトルを算出し、画像合成や動画圧縮などを行う技術が提案されている。画像合成の例として、複数の画像を合成することにより、白とびや黒つぶれのないハイダイナミックレンジ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ：ＨＤＲ）画像を生成する手法などが提案されている。特許文献１は、画像の位置ずれを補正してＨＤＲ画像合成を行う画像処理装置を開示している。また、特許文献２は、また、特許文献２は、１回の撮影で複数の視差画像を取得し、視差画像の一部と、視差画像を加算して生成された通常画像とで構成される画像データを生成する撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２４００３１号公報
【特許文献２】特開２０１６−２１３６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影時に白飛びまたは黒潰れした領域においては、画素値の階調が失われている。特許文献１が開示する画像処理装置では、撮影時に白飛びまたは黒潰れしている領域の画素データが無視されているので、画像合成の際の位置合わせを精度良く実行することができない。本発明は、視差を有する複数の画像を用いて、精度良く画像の位置合わせを行うことができる画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の画像処理装置は、視差を有する複数の画像データを含む入力画像データを取得する取得手段と、複数の前記入力画像データを用いて、画像データの位置合わせを行う制御手段とを備える。前記制御手段は、前記入力画像データを複数の画像領域に分割し、分割された画像領域の画素値に応じて、前記位置合わせに用いる画像データを切り替える。
【発明の効果】
【０００６】
本発明の画像処理装置によれば、視差を有する複数の画像を用いて、精度良く画像の位置合わせを行うことができる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の外観の一例である。
【図２】デジタルカメラの構成例を示す図である。
【図３】撮像素子における画素の配置例を示す図である。
【図４】画像処理部の構成例を示す図である。
【図５】デジタルカメラの撮影時における動作例を説明する図である。
【図６】画像ファイルの構成例を示す図である。
【図７】瞳強度分布とセンサの像面における入射角感度特性を説明する図である。
【図８】シェーディング特性を説明する図である。
【図９】画像合成によるダイナミックレンジ拡張を説明する図である。
【図１０】シェーディング補正係数を説明する図である。
【図１１】ダイナミックレンジ拡張部の動作を説明する図である。
【図１２】デジタルカメラの動作を説明するフローチャートである。
【図１３】デジタルカメラの動作を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
図１は、本実施形態の撮像装置の外観の一例である。
図１には、本発明を適用可能な撮像装置の一例としてのデジタルカメラ１００の外観を示す。図１（Ａ）は、デジタルカメラ１００の前面斜視図である。図１（Ｂ）は、デジタルカメラ１００の背面斜視図である。
【０００９】
表示部２８は、カメラ背面に設けられ、画像その他の各種情報を表示する。ファインダ外表示部４３は、カメラ上面に設けられた表示部である。ファインダ外表示部４３は、シャッタ速度や絞り等の、カメラの様々な設定値を表示する。シャッタボタン６１は、撮影指示を行うための操作部である。モード切替スイッチ６０は、各種モードを切り替えるための操作部である。端子カバー４０は、外部機器との接続ケーブルとデジタルカメラ１００とを接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。
【００１０】
メイン電子ダイヤル７１は、図２の操作部７０に含まれる回転操作部材である。ユーザは、メイン電子ダイヤル７１を回すことで、シャッタ速度や絞りなどの設定値の変更等を行うことができる。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は、操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りを行うために用いられる。
【００１１】
十字キー７４は、操作部７０に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。十字キー７４の押した部分に応じた操作が可能である。ＳＥＴボタン７５は、操作部７０に含まれる押しボタンであり、主に選択項目の決定などに用いられる。ＬＶボタン７６は、操作部７０に含まれ、メニューボタンにおいてライブビュー（以下、ＬＶ）のＯＮとＯＦＦを切り替えるために用いられる。動画撮影モードにおいては、ＬＶボタン７６は、動画撮影（記録）の開始、停止の指示に用いられる。
【００１２】
拡大ボタン７７は、操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦ，及び拡大モード中の拡大率の変更を行うために用いられる。拡大ボタン７７は、再生モードにおいては、再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。縮小ボタン７８は、操作部７０に含まれ、拡大された再生画像の拡大率を低減させ、表示された画像を縮小させるために用いられる。
【００１３】
再生ボタン７９は、操作部７０に含まれ、撮影モードと再生モードとを切り替えるために用いられる。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。クイックリターンミラー１２は、システム制御部５０から指示されて、不図示のアクチュエータによりアップダウンされる。
【００１４】
通信端子１０は、デジタルカメラ１００がレンズ側（着脱可能）と通信を行う為の通信端子である。接眼ファインダ１６は、図２のフォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダである。蓋２０２は、記録媒体２００を格納ひたスロットの蓋である。グリップ部９０は、ユーザがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。
【００１５】
図２は、デジタルカメラ１００の構成例を示す図である。
レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は、通常、複数枚のレンズから構成されるが、図２では、一枚のレンズのみを示している。通信端子６は、レンズユニット１５０がデジタルカメラ１００側と通信を行うために用いられる。通信端子１０は、デジタルカメラ１００がレンズユニット１５０側と通信を行うために用いられる。レンズユニット１５０は、通信端子６，１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して、絞り１の制御を行い、ＡＦ駆動回路３を介して、レンズ１０３の位置を変位させることで焦点を調節する。
【００１６】
ＡＥセンサ１７は、２次元配列された光電変換素子で構成され、レンズユニット１５０を通した被写体の輝度を測光する。本実施形態では、ＡＥセンサ１７は、Ｂａｙｅｒ配列で配列されたＲ（ＩＲ）ＧＢ画素の画素配列を有し、測色や被写体検出、測距なども行うことができる。本実施形態では、ＡＥセンサ１７は、撮像部２２の撮像素子より画素数が少ないので、撮像素子から得られる信号により行える画像解析よりも解像度の低い解析結果となる。
【００１７】
焦点検出部１１は、システム制御部５０にデフォーカス量情報を出力する。システム制御部５０は、デフォーカス量情報に基づいて、レンズユニット１５０を制御し、位相差ＡＦを行う。クイックリターンミラー（以下、「ミラー」と記述）１２は、露光、ライブビュー撮影、動画撮影の際にシステム制御部５０から指示されて、不図示のアクチュエータによりアップダウンされる。ミラー１２は、レンズ１０３から入射した光束をファインダ１６側と撮像部２２側とに切り替える。ミラー１２は、通常時はファインダ１６へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像部２２へと光束を導くように上方に跳ね上がり光束中から待避する（ミラーアップ）。また、ミラー１２は、中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部１１に入射するように透過させる。
【００１８】
ユーザは、ペンタプリズム１４とファインダ１６を介して、フォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認が可能となる。シャッタ１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッタである。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子１１０を有する。撮像素子１１０は、複数のマイクロレンズを有し、各マイクロレンズには複数の光電変換素子が割り当てられる。したがって、各マイクロレンズ下の各光電変換素子にはレンズ１０３を含む撮像光学系の射出瞳における異なる瞳部分領域（撮像素子の瞳分割領域）からの光束がそれぞれ入射される。これにより、各マイクロレンズ下の各光電変換素子から得られる信号は、互いに視差を有する、異なる視点からの信号となる。
【００１９】
Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。画像処理部２４は、Ａ／Ｄ変換器２３からのデータまたはメモリ制御部１５からのデータに対し以下の処理を行う。画像処理部２４は、撮像する装置に起因する画素欠陥などの補正処理や、デモザイキング処理、ホワイトバランス補正処理、ガンマ補正処理などを含む現像処理、色変換処理、符号化・圧縮処理などを行う。本実施形態では、現像処理は、上記の処理の少なくとも一部を含む処理を指し、現像処理が行われていない画像のためのデータをＲＡＷデータとする。また、本実施形態では、画像処理部２４は、撮像素子から得られた複数の視点画像の画像データを用いて、視差情報を利用したリフォーカス処理、視点変更処理等の画像処理、明るさの違いを利用したＨＤＲ（ハイダイナミックレンジ）処理を行う。さらに、画像処理部２４は、撮像素子からの複数の視点画像間の位相差に基づいた像ずれ量の算出を行う。算出された像ずれ量は、画像内の被写体の、奥行き方向の相対的な位置関係を示す深度情報であり、必要に応じて、撮像素子１１０やレンズ１０３に起因する係数（Ｋ値）を用いてデフォーカス量、さらには被写体距離の深度情報に換算することができる。画像処理部２４の利用する深度情報としては、上記のように換算されたものに限られない。画像処理部２４は、他の方法で生成、取得された深度情報を用いて、各種画像処理を行ってもよい。
【００２０】
また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、画像処理部２４による演算結果に基づいて、露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４は、更に、撮像した画像データを用いて、所定の演算処理を行い、得られた演算結果に基づいて、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００２１】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、あるいは、メモリ制御部１５を介して、メモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られてＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を持つ。
【００２２】
また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１９を介して、表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデジタル信号は、Ｄ／Ａ変換器１９によってアナログ変換され、表示部２８に逐次転送されて表示される。これにより、電子ビューファインダが実現され、スルー画像表示（ライブビュー表示）を行える。
【００２３】
ファインダ内液晶表示部４１には、ファインダ内表示部駆動回路４２を介して、現在オートフォーカスが行われている測距点を示す枠（ＡＦ枠）や、カメラの設定状態を表すアイコンなどが表示される。また、ファインダ外液晶表示部４３には、ファインダ外表示部駆動回路４４を介して、シャッタ速度や絞りをはじめとするカメラの様々な設定値が表示される。不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。このプログラムは、本実施形態にて後述する各種フローチャートを実行するためのプログラムである。
【００２４】
システム制御部５０は、少なくとも１つのプロセッサーを有する制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２にはＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１９、表示部２８等を制御することにより、表示制御を行う。
【００２５】
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、シャッタボタン６１、第１シャッタスイッチ６２、第２シャッタスイッチ６４、操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッタ速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッタ速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、これらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。また、動画撮影モードにも複数のモードが含まれていてもよい。
【００２６】
第１シャッタスイッチ６２は、デジタルカメラ１００に設けられたシャッタボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタスイッチ信号ＳＷ１を発生する。第１シャッタスイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作が開始される。
【００２７】
第２シャッタスイッチ６４は、シャッタボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタスイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタスイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２８】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると、各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に各種設定を行うことができる。
【００２９】
操作部７０は、ユーザからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、例えば、シャッタボタン６１、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３が含まれる。また、操作部７０には、例えば、十字キー７４、ＳＥＴボタン７５、ＬＶボタン７６、拡大ボタン７７、縮小ボタン７８、再生ボタン７９が含まれる。
【００３０】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等を有し、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、上記検出結果とシステム制御部５０からの指示に基づいて、ＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ/ Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等を有する。
【００３１】
通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネットと接続可能である。通信部５４は、撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能である。また、通信部５４は、外部機器から画像データ、その他の各種情報を受信することができる。
【００３２】
姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部５５として、加速度センサやジャイロセンサなどを用いることができる。
【００３３】
図３は、撮像素子１１０における画素の配置例を示す図である。
図３では、画素が横４画素×縦４画素配列された領域を代表的に示している。撮像素子１１０は、撮影光学系１０１の瞳部分領域を瞳分割方向に分割して、異なる瞳部分領域を通過した光束に基づく信号から複数の画像信号を生成可能に構成されている。具体的には、各画素の光電変換領域が水平方向（瞳分割方向）に２分割されており、各光電変換領域が副画素として機能する。従って、図３に示す領域は、副画素が横８画素×縦４画素配列された領域とも言える。
【００３４】
図３の左上の２×２の画素群２１０は、撮像素子１１０に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。したがって、Ｒ（赤）の分光感度を有する画素２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２１０Ｂが右下に配置されている。また、右上の画素に代表的に示すように、各画素は、横２×縦１に等分割され、被写体光を受光して光電変換する光電変換部を有している。左半分の光電変換部が第１副画素２１１、右半分の光電変換部が第２副画素２１２として利用可能である。
【００３５】
副画素２１１の出力を取得して得られる１つの画像と、副画素２１２の出力を取得して得られる１つの画像とが、視点の異なる１組の画像（視点画像）を構成する。視点画像は、互いに視差を有するので、視差画像ともいう。デジタルカメラ１００は、１回の撮影によって複数の視差画像を生成することができる。また、各画素の第１副画素２１１と第２副画素２１２で得られる信号を加算することで、瞳分割がなされていない１つの通常画素の画素信号として利用することができる。視差画像の各々は、通常画素の画素信号に対しても視差を有する。
【００３６】
本実施形態では、各マイクロレンズに対応する各画素の回路が、瞳分割された複数の光電変換部で共通の電化蓄積部（フローティングデフュージョン部：ＦＤ部）を有して構成されている。したがって、ＦＤ部への電荷の転送と、ＦＤ部の電荷のリセットを制御することにより、各副画素からの電荷に基づく画素信号および各副画素からの電荷が混合されて出力された画素信号とが出力可能である。以下では、各副画素に入射される異なる瞳部分領域を通過した光束に基づく光学像をＡ像、Ｂ像と記述し、各副画素からの電荷が混合されて出力された信号に係る光学像を（Ａ＋Ｂ）像と記述する。また、各光学像に基づく信号（電荷）をＡ像信号、Ｂ像信号と記述する。Ａ像信号、Ｂ像信号は、それぞれ、撮像素子の瞳分割領域の一部を通過した光束に基づく第１画像信号である。また、各副画素からの信号が混合された信号を（Ａ＋Ｂ）像信号と記述する。（Ａ＋Ｂ）像信号は、瞳部活領域のそれぞれを通過した光束の加算に基づく第２画像信号である。本実施形態では、通常の撮影モードとして、撮像時に（Ａ＋Ｂ）像信号のみを読み出し、多視点撮影モードとして（Ａ＋Ｂ）像信号に加えてＡ像信号を読み出し、各撮影モードでの記録では、読み出された各画像信号に対応する画像データを記録するものとする。
【００３７】
図４は、画像処理部２４の構成例を示す図である。また、図５は、デジタルカメラ１００の撮影時における動作例を説明するフローチャートである。図４に示すように、画像処理部２４は、可逆圧縮処理部２４１乃至ダイナミックレンジ拡張部２４７を備える。
【００３８】
図５に示すフローチャートの処理は、システム制御部５０が撮影開始指示（例えば第２シャッタスイッチ６４のオン）を検知したことによって開始される。撮像素子システム制御部５０は、撮影準備処理において決定した露出条件に従って絞り１およびシャッタ１０１の動作を制御し、撮像部２２を露光する。
【００３９】
Ｓ３０１において、画像処理部２４が、システム制御部５０を通じて、撮像部２２から（Ａ＋Ｂ）像とＡ像を取得する。Ｓ３１０と、Ｓ３２０およびＳ３２１と、Ｓ３３０とは並列処理が可能であるが、メモリ１２０の空き状況や、画像処理部２４の処理スピード等に応じて、少なくとも一部を順序処理してもよい。
【００４０】
Ｓ３１０において、可逆圧縮部２４１が、（Ａ＋Ｂ）像に対して可逆圧縮処理を適用して可逆圧縮画像を生成し、メモリ制御部１５を介してメモリ３２に保存する。Ｓ３２０において、現像処理部２４３が、（Ａ＋Ｂ）像に対して現像処理を適用し、メモリ制御部１５を介してメモリ３２に保存する。Ｓ３２１において、非可逆圧縮処理部２４２が、Ｓ３２０でメモリ３２に保存された現像処理後の（Ａ＋Ｂ）像に対して非可逆圧縮処理を適用して非可逆圧縮画像を生成する。また、非可逆圧縮処理部２４２は、非可逆圧縮画像を縮小してサムネイル画像を生成する。この例では、非可逆圧縮画像を表示用画像とする。画像処理部２４は、非可逆圧縮画像（表示用画像）とサムネイル画像をメモリ制御部１５を介してメモリ３２に保存する。
【００４１】
Ｓ３３０において、可逆圧縮処理部２４１が、Ａ像に対して可逆圧縮処理を適用して可逆圧縮画像（Ａ）を生成し、メモリ制御部１５を介してメモリ３２に保存する。Ｓ３１０、Ｓ３２１、Ｓ３３０の処理が完了すると、画像処理部２４は、処理をＳ３４０へ進め、画像ファイルの生成を行う。画像処理部２４は、可逆圧縮画像、可逆圧縮画像（Ａ）、表示用画像、サムネイル画像をメモリ３２から読み出して画像ファイルを生成する。Ｓ３４０で行う画像ファイルの生成処理および画像ファイル構成の詳細については後述する。Ｓ３４１において、画像処理部２４が、生成した画像ファイルを、記録媒体２００に保存し、撮影処理を終了する。
【００４２】
＜画像ファイル構成＞
図６は、画像ファイルの構成例を示す図である。
図６（Ａ）に示す画像ファイル４００は、１つのファイルに複数ページの画像データを格納したマルチページファイルに対応したファイルフォーマット例としてのＴＩＦＦ（ＴａｇｇｅｄＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）形式に準拠した構造を持つ。画像ファイル４００は、ＴＩＦＦヘッダ部４０１、複数のＩＦＤ（ＩｍａｇｅＦｉｌｅＤｉｒｅｃｔｏｒｙ）部４０２〜４０５、複数の画像データ部４０６〜４０９で構成されている。領域４０１は、画像ファイル４００のＴＩＦＦヘッダ部であり、ＴＩＦＦ形式のファイル構造であることを識別するためのデータや、最初のＩＦＤ部へのオフセットなどを格納する領域である。
【００４３】
ＩＦＤ部４０２〜４０５は、画像データ部４０６〜４０９に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ〜Ｄと、画像データ部４０６〜４０９までのオフセット値Ｅ〜Ｈ、次のＩＦＤ部へのオフセットを格納する領域である。最後のＩＦＤ部には、次のＩＦＤ部が存在しないことを示す特定のオフセット値が格納される。ＩＦＤ部４０２〜４０５は、メタデータＡ〜Ｄに以下の情報を有する。それぞれのメタデータは、画像データ部に格納されている画像データのサイズ（縦横の画素数）、縮小画像であるかを示す情報、画像データがＡ像、Ｂ像、（Ａ＋Ｂ）像のうちのどの光学像に基づく画像信号に対応するかの情報を有する。従って、画像ファイル４００を用いた処理を行う装置は、ＩＦＤ部４０２〜４０５を参照することで、複数の画像データの中から用途に応じた適切な画像データを読み出すことができる。０ｔｈＩＦＤ部４０２は、０ｔｈ画像データ部４０６に対応した領域である。１つのＩＦＤ部は、一つの画像データ部に対応しており、ＩＦＤ部４０２〜４０５のオフセット値Ｅ〜Ｈにより、画像ファイル４００内の各画像データの開始位置が特定される。
【００４４】
図６（Ｂ）は、本実施形態において画像処理部２４が生成する画像ファイル１４０の構造を示す。図６（Ｂ）では、撮影時に生成した非可逆圧縮画像（表示用画像）、サムネイル画像、可逆圧縮画像（（Ａ＋Ｂ）像）、可逆圧縮画像（Ａ像）を格納する画像ファイルをＴＩＦＦ形式で生成した場合の構造例を示している。
【００４５】
画像ファイル１４０は、ＴＩＦＦヘッダ部４１１、０ｔｈＩＦＤ部４１２〜３ｒｄＩＦＤ部４１５、表示用画像部４１６、サムネイル画像部４１７、（Ａ＋Ｂ）像部４１８、Ａ像部４１９で構成されている。ＴＩＦＦヘッダ部４１１は、ＴＩＦＦファイル構造であることを識別するためのデータを格納する。０ｔｈＩＦＤ部４１２は、表示用画像部４１６に関連する撮影情報やパラメータなどのメタデータＡと表示用画像部４１６までのオフセット値Ｅを格納する。
【００４６】
１ｓｔＩＦＤ部４１３は、サムネイル画像部４１７に関連する撮影情報やパラメータなどのメタデータＢとサムネイル画像部４１７までのオフセット値Ｆを格納する。２ｎｄＩＦＤ部４１４は、（Ａ＋Ｂ）像部４１８に関連する撮影情報やパラメータなどのメタデータＣと（Ａ＋Ｂ）像部４１８までのオフセット値Ｇを格納する。３ｒｄＩＦＤ部４１５は、Ａ像部４１９に関連する撮影情報やパラメータなどのメタデータＤとＡ像部４１９までのオフセット値Ｈを格納する。オフセット値Ｅ〜Ｈにより、画像ファイル内の各画像データの開始位置を特定できる。
【００４７】
表示用画像部４１６は、表示部２８などに表示するために、画像処理部２４で生成された表示用画像を格納する。本実施形態では表示用画像をＪＰＥＧ形式としている。また、サムネイル画像部４１７は、表示部２８などにメモリ３２の画像一覧画面などのインデックス表示を行う際などに利用するためのサムネイル画像を格納する。サムネイル画像は、表示用画像を間引くなどして縮小した画像である。
【００４８】
また、（Ａ＋Ｂ）像部４１８は、Ａ像とＢ像を加算もしくは合成した画像であって、現像処理前のいわゆるＲＡＷ形式の（Ａ＋Ｂ）像を格納する。Ａ像部４１９は、ＲＡＷ形式のＡ像を格納する。（Ａ＋Ｂ）像からＡ像を減算することでＢ像に相当する画像を生成することができる。Ａ像とＢ像とから、リフォーカス処理や視点変更処理、立体画像生成処理などを行うことができる。
【００４９】
画像ファイル１４０においては、サムネイル画像や表示用画像といった、汎用的な表示処理に用いられる現像処理後の画像のデータを、現像処理が必要な（Ａ＋Ｂ）像や、視差画像を取り扱わないアプリケーションでは使用しないＡ像よりも前に配置している。したがって、使用される可能性の高い画像データの読み出し開始までに要する時間を短縮することができる。
【００５０】
なお、本実施形態では、（Ａ＋Ｂ）像およびＡ像をＲＡＷ形式で格納する構成としたが、画像処理部２４で可逆圧縮した画像データを格納する構成としてもよい。このような構成とすることで、画像ファイルのサイズを削減することが可能である。また、本実施形態では、（Ａ＋Ｂ）像とＡ像を画像ファイルに格納するが、Ａ像の代わりにＢ像を記録する構成としてもよい。この場合、多視点撮影モードにおいて読み出す画像信号を（Ａ＋Ｂ）像信号とＢ像信号とすればよい。
【００５１】
＜ダイナミックレンジ拡張＞
以下に、本実施形態におけるダイナミックレンジ拡張処理の例について説明する。まず、複数の副画素から得られる画像（瞳分割画像）ごとに瞳強度分布が異なること、及びそれに基づくシェーディング特性について、従来例を交えて図７乃至図１０を参照して説明する。
【００５２】
図７は、センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明する図である。図８は、シェーディング特性を説明する図である。また、図９は、画像合成によるダイナミックレンジ拡張を説明する図である。また、図１０は、シェーディング補正係数を説明する図である。
【００５３】
図７に示すＪ１０７は、センサ瞳面である。Ｊ１０８は、マイクロレンズアレイである。Ｊ１０９は、画素アレイであり、撮像素子を構成している。Ｊ１１１は、主画素であり、副画素Ｊ１１０ａと副画素Ｊ１１０ｂから構成されている。主画素Ｊ１１１から生成される画像が（Ａ＋Ｂ）像（図９の４０１ａｂ）、副画素Ｊ１１０ａの瞳分割画像がＡ像（図９のＪ２０１ａ）、副画素Ｊ１１０ｂの瞳分割画像がＢ像（図９のＪ２０１ｂ）である。Ａ像、Ｂ像は主画素Ｊ１１１を２つに瞳分割した副画素Ｊ１１０ａまたは副画素Ｊ１１０ｂから生成されるので、（Ａ＋Ｂ）像に対して１段（１ＥＶ）アンダーな露出となる。瞳強度分布は、瞳のケラレにより副画素Ｊ１１０ａの瞳強度分布はＪ１０１ａ、副画素Ｊ１１０ｂの瞳強度分布はＪ１０１ｂのようになる。
【００５４】
瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面中央での入射角感度特性はＪ１０３ａ、Ｊ１０３ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０３ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０３ｂである。Ｊ１１２は絞りなどで制限される入射光の角度範囲である。像面中央では、副画素Ｊ１１０ａ、Ｊ１１０ｂに入射する光量は等しい。
【００５５】
また、瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面端での入射角感度特性はＪ１０５ａ、Ｊ１０５ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０５ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０５ｂである。像面端と像面中央で結像位置が異なるので、像面端の入射角感度特性は像面中央に対して偏心したプロファイルとなる。このため、像面端では、図７に示す場合は、副画素Ｊ１１０ａに入射する光量よりも副画素Ｊ１１０ｂに入射する光量のほうが多くなる。上記のことから、像面上の画素位置（Ｘ）と画素値の関係を表すシェーディング特性は、図８のようになる。
【００５６】
図８に示すＪ２０１ａは、図７の副画素Ｊ１１０ａのシェーディング特性、Ｊ２０１ｂは図７の副画素Ｊ１１０ｂのシェーディング特性である。図７の像面中央は、図８のＸ＝０、像面端はＸ＝５００に対応する。それぞれの画像に図８のシェーディング特性の逆特性をシェーディング補正係数として乗算することで、シェーディング補正が行われる。シェーディング補正係数は、図１０のようになり、Ｊ４０１ａはＡ像Ｊ２０１a に適用される。また、Ｊ４０１ｂは、Ｂ像Ｊ２０１ｂに適用される。
【００５７】
最終的に、（Ａ＋Ｂ）像４０１ａｂを適正露出画像４０２、Ａ像Ｊ２０１ａをアンダー露出画像４０３とし、アンダー露出画像４０３をシェーディング補正した補正後アンダー露出画像４０４が取得される。そして、適正露出画像４０２と補正後アンダー露出画像４０４において、像面の全面で１段分（１ＥＶ分）の露出差を得ることができるため、画像合成してダイナミックレンジを拡大することができる。
【００５８】
次に、図４、図９乃至図１１を参照して、ダイナミックレンジ拡張に係る画像処理部２４の構成と動作を説明する。
図２に示す画像処理部２４が備えるシェーディング補正部２４６は、図９のアンダー露出画像４０３に対して、図１０のシェーディング補正係数Ｊ４０１ａを乗算することで、シェーディング補正をする。これにより、分割瞳のケラレ量ムラによる明暗ムラが補正される。シェーディング補正に用いるシェーディング補正係数は、図２の不揮発性メモリ５６から読み出される。アンダー露出画像入力部２４４は、副画素Ｊ１１０ａ、Ｊ１１０ｂのうち一方の画素からアンダー露出画像を取得する。
【００５９】
ダイナミックレンジ拡張部２４７は、図９の補正後アンダー露出画像４０４と適正露出画像４０２を画像合成して、ダイナミックレンジ拡大をする。すなわち、ダイナミックレンジ拡張部２４７は、階調表現レンジの拡張された合成画像を生成する。ダイナミックレンジ拡張部２４７は、位置補正部２４７ａ、判定部２４７ｂ、選択部２４７ｃを有する。適正露出画像入力部２４５は、副画素Ｊ１１０ａから得られる画像データおよび副画素Ｊ１１０ｂから得られる画像データを加算した適正露出画像を取得する。ダイナミックレンジ拡張部２４７は、被写体の明るさに応じて、補正後アンダー露出画像４０４（詳細には、後述のゲインアップ後アンダー露出画像）と適正露出画像４０２とを合成して、合成画像を生成する。
【００６０】
図１１は、ダイナミックレンジ拡張部２４７の動作を説明する図である。
図１１に示すグラフの縦軸は画素値である。また、横軸は、被写体の明るさである。被写体の明るさについては、例えば補正後アンダー露出画像の画素値を参照すればよい。
３０１は、補正後アンダー露出画像を示す。３０３は、適正露出画像を示す。ＴＨ２は、画素の飽和レベルを示す。明るい被写体を適正露出で撮像した場合、画素値は飽和レベルＴＨ２でクリップされる。ＴＨ１は、適正露出の飽和レベルに対応する被写体明るさである。３０２は、補正後アンダー露出画像３０１を１段ゲインアップしたゲインアップ後アンダー露出画像を示す。補正後アンダー露出画像３０１は、適正露出より１段アンダーなので、１段ゲインアップすることで、適正露出画像３０３と明るさを合わせることができる。
【００６１】
図４に示すダイナミックレンジ拡張部２４７が備える位置補正部２４７ａは、補正後アンダー露出画像３０１、適正露出画像３０３を比較して、領域ごとに輝度を基づいて差分絶対値和等を利用して最も類似している位置からシフト量を算出する。そして、位置補正部２４７ａは、シフト量を用いて位置合わせを行う。
【００６２】
判定部２４７ｂは、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する。また、選択部２４７ｃは、判定部２４７ｂの判定結果に応じて、補正後アンダー露出画像３０１または適正露出画像３０３のいずれかを選択する。選択部２４７ｃは、被写体の明るさが閾値未満である場合は、適正露出画像３０３を選択する。選択部２４７ｃは、被写体の明るさが閾値以上である場合は、補正後アンダー露出画像３０１を選択する。ダイナミックレンジ拡張部２４７は、選択部２４７ｃにより補正後アンダー露出画像３０１が選択された場合は、補正後アンダー露出画像３０１をゲインアップする。被写体明るさがＴＨ１未満の画素位置では適正露出画像３０３を、それ以外の画素位置ではゲインアップ後アンダー露出画像３０２を出力することで、ダイナミックレンジ拡大された画像を出力することができる。
【００６３】
最後に、ダイナミックレンジ拡張の手法の動作手順について説明する。本手法はシステム制御部５０によって制御され、不揮発性メモリ５６に格納されているプログラムをメモリ３２に展開し、ＣＰＵが実行することにより実現される。
［手順１］：ダイナミックレンジ拡張部２４７が、シェーディング補正部２４６から補正後アンダー露出画像３０１を取得する。
［手順２］：ダイナミックレンジ拡張部２４７が、適正露出画像入力部２４５を介して、適正露出画像３０３を取得する。
［手順３］：位置補正部２４７ａが、所定の画素位置における補正後アンダー露出画像３０１と適正露出画像３０３に対して位置合わせを行う。
［手順４］：判定部２４７ｂが、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する。被写体の明るさが閾値以上である場合は、処理が［手順５］に進み、閾値未満である場合は、処理が［手順６］に進む。
［手順５］：選択部２４７ｃが、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、補正後アンダー露出画像３０１を選択する。
［手順６］：選択部２４７ｃが、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、適正露出画像３０３を選択する。
［手順７］：ダイナミックレンジ拡張部２４７が、［手順５］、［手順６］で選択された画像データに基づいて合成画像を生成する。被写体明るさが閾値以上の画素位置では、補正後アンダー露出画像３０１をゲインアップして、ゲインアップ後アンダー露出画像３０２を生成する。つまり、ダイナミックレンジ拡張部２４７は、補正後アンダー露出画像３０１が選択された場合は、ゲインアップ後アンダー露出画像３０２を生成する。
【００６４】
＜実施例１＞
図１２は、実施例１におけるデジタルカメラ１００の動作を説明するフローチャートである。
実施例１では、画像合成モードを備えた撮像装置において、複数の入力画像データを用いて、画像の位置合わせを行う。撮像装置は、入力画像データの画素値の大きさに応じて、第１画像信号（Ａ像信号またはＢ像信号）と第２画像信号（（Ａ＋Ｂ）像信号）のいずれかを用いて上記位置合わせを行う。具体的には、図６（Ｂ）の画像データ（画像ファイル１４０）２つを入力画像データとして取得し、画像間の位置合わせ処理と画像合成処理を実行する。画像間の位置合わせ処理においては、デジタルカメラ１００は、図６（Ｂ）の（Ａ＋Ｂ）像部４１８から得られる（Ａ＋Ｂ）像を複数の画像領域（ブロック領域）に分割する。そして、デジタルカメラ１００は、分割したブロック領域ごとにずれ量検出を行う。ブロック領域内の画素の半数以上が飽和していた場合、正確なずれ量検出を行うことができないので、デジタルカメラ１００は、Ａ像に基づいた画素値を用いて位置合わせ処理を行う。なお、本実施例では、不揮発性メモリ５６に格納されているプログラムをメモリ３２に展開し、ＣＰＵが実行することにより、フローチャートの処理が実現される。
【００６５】
図１２のフローチャートにしたがう処理は、ユーザが操作部７０を操作し、メニューから画像合成モードを有効にした状態で、図６（Ｂ）に示されるデータ構造を持ち、露出設定の異なる２枚の画像データを指定することで開始される。
【００６６】
Ｓ５００において、システム制御部５０が、ユーザによって指定された２枚の画像データ（以下、画像データＸ及び画像データＹとする）の（Ａ＋Ｂ）像部に格納された（Ａ＋Ｂ）像を、記録媒体２００から取得する。続いて、Ｓ５０１において、システム制御部５０が、Ｓ５０１で取得した（Ａ＋Ｂ）像を、複数個のブロック領域に分割する。
【００６７】
Ｓ５０２において、システム制御部５０が、画像データＸ及び画像データＹそれぞれの、Ｓ５０１で分割した全てのブロック領域について、所定の割合以上の画素値が飽和しているか、すなわち閾値以上であるかを判定する。この例では、システム制御部５０は、半数以上の画素値が閾値以上であるかを判定する。半数以上の画素値が閾値以上である場合は、処理がＳ５０３に進む。半数以上の画素値が閾値以上である場合以外の場合、例えば、閾値以上である画素値が半数未満である場合は、処理がＳ５０４に進む。この例では、半数以上の画素値が飽和すなわち閾値以上であるかを判定したが、他の割合を判定基準としてもよく、例えば１画素でも飽和しているかを判定してもよい。また、全画素が飽和しているかを判定するようにしてもよい。
【００６８】
次に、Ｓ５０３において、システム制御部５０が、飽和画素置換処理を行う。飽和画素置換処理の詳細は後述する。飽和画素置換処理が終了すると、処理がＳ５０４に進む。Ｓ５０４において、システム制御部５０が、画像データＸと画像データＹとの間で位置合わせ処理を行う。そして、処理がＳ５０５に進む。続いて、Ｓ５０５において、システム制御部５０が、位置合わせ後の画像データＸ及び画像データＹを用いて、画像合成処理を行う。なお、画像合成処理の内容は、本発明の本質ではないため、説明を省略する。画像合成処理が終了すると、処理がＳ５０６に進む。Ｓ５０６において、システム制御部５０が、Ｓ５０５で生成した合成画像を表示部２８に表示し、処理を終了する。
【００６９】
図１２のステップＳ５０３における飽和画素置換処理の動作について説明する。飽和画素置換処理は、以下の手順で行われる。
［手順１］システム制御部５０が、Ｓ５０２で半数以上の画素値が飽和していると判定されたブロック領域について、画像データＸ及び画像データＹそれぞれのＡ像部からＡ像を取得する。そして、システム制御部５０が、ダイナミックレンジ拡張部２４７に指示して、補正後アンダー露出画像３０１をゲインアップした画像データを生成する。
［手順２］システム制御部５０が、画像データＸ及び画像データＹそれぞれの飽和している画素値を、手順１で生成した画像データの画素値で置換する。これにより、全ブロック領域のうち、画素値が飽和している領域（第１の領域）については、Ａ像を用いてシェーディング補正とゲインアップを行った画像データの画素値に基づいて位置合わせ処理が行われる。第１の領域と異なる第２の領域については、（Ａ＋Ｂ）像を用いて位置合わせ処理が行われる。
【００７０】
図１２のＳ５０４における位置合わせ処理の動作について説明する。位置合わせ処理は、以下の手順で行われる。
［手順１］システム制御部５０が、ブロック領域ごとにエッジ検出処理を行う。エッジ検出方法として、入力画像にローパスフィルタをかけることで大ボケ画像を作成し、入力画像から大ボケ画像を減算することでエッジ画像を生成する。システム制御部５０が、公知の微分フィルタやプリューウィットフィルタなどを用いる方法を適用してもよい。
［手順２］システム制御部５０が、ブロック領域ごとに、ずれ量検出を行う。システム制御部５０は、例えば、画像データＸと画像データＹのエッジ画像について、ブロック領域ごとに各画素値の差の絶対値の総和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出する。そして、システム制御部５０は、総和が最も小さくなるような移動量と移動方向を、ブロック領域の動きベクトルとする。
［手順３］システム制御部５０が、画像データＸと画像データＹの間で幾何変換係数を算出する。例えば、システム制御部５０は、各ブロック領域から求めた動きベクトルを用いてアフィン係数を求める。位置合わせ処理は、上述した手法に限定されない。位置合わせ処理に用いる手法としては、周波数解析から２枚の画像のずれ量を検出するなど、他にも様々な手法があり、精度や処理負荷、処理速度など、デジタルカメラに適した手法であれば適用可能である。
【００７１】
実施例１では、デジタルカメラ１００は、図６（Ｂ）のデータ構造を持つ画像データ２つを入力とし、画像合成処理を行う際、画素値が飽和している領域に対してはＡ像を用いてシェーディング補正とゲインアップを行った画像データの画素値を用いる。これにより、高精度な位置合わせを行うことが可能である。また、デジタルカメラ１００は、画素値が飽和している領域のみで画素値の置換を行うので、画像全体に対してシェーディング補正処理を行うよりも処理量を削減することができる。なお、システム制御部５０が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。
【００７２】
＜実施例２＞
実施例２の撮像装置においても、実施例１と同様に、複数の入力画像データを取得し、入力画像データの画素値の大きさに応じて、第１画像信号（Ａ像信号またはＢ像信号）と第２画像信号（（Ａ＋Ｂ）像信号）のいずれかを用いて画像の位置合わせを行う。例えば、画素値が閾値より大きい領域については、デジタルカメラ１００は、複数の画像データ（画像ファイル１４０）のそれぞれから取得されるＡ像部のデータを用いて位置合わせを行う。画素値が閾値以下の領域、例えば、画素値が０に近い領域については、画素値の階調が失われ、正確なずれ量検出を行えない。したがって、この領域については、デジタルカメラ１００は、（Ａ＋Ｂ）像に基づいた画素値を用いて位置合わせ処理を行う。また、実施例１では、ユーザが２枚の画像データを選択することで処理を開始する例を示したが、実施例２では、ユーザが１枚の画像データを選択した後、新たに撮影した画像データを２枚目の入力として処理が開始される。
【００７３】
図１３は、実施例２におけるデジタルカメラ１００の動作を説明するフローチャートである。
図１３のフローチャートにしたがう処理は、ユーザが操作部７０の操作によって画像合成モードを有効にした状態で、図６（Ｂ）に示す画像データを１枚指定した後、露出設定を異ならせて１回の撮影操作を行うことで開始される。すなわち、デジタルカメラ１００は、指定された画像データと、上記撮影操作により撮影された画像データとを入力画像データとして取得する。Ｓ６０１、Ｓ６０４乃至Ｓ６０６は、それぞれ、図１２のＳ５０１、Ｓ５０４乃至Ｓ５０６と同様の処理であるので、説明を省略する。
【００７４】
Ｓ６００において、システム制御部５０が、ユーザによって指定された１枚の画像データと、新たに撮影された１枚の画像データ（以下、画像データＸ及び画像データＹとする）のＡ像部に格納されたＡ像を記録媒体２００から取得する。システム制御部５０は、取得したＡ像に対してシェーディング補正とゲインアップを行う。Ｓ６０２において、システム制御部５０が、画像データＸ及び画像データＹそれぞれの、Ｓ６０１で分割した全てのブロック領域について、所定の割合以上の画素値が閾値以下であるかを判定する。この例では、システム制御部５０は、半数以上の画素値が閾値以下であるかを判定する。半数以上の画素値が閾値以下である場合には、処理がＳ６０３に進む。半数以上の画素値が閾値以下である場合以外の場合、例えば、閾値以下である画素値が半数未満の場合は、処理がＳ６０４に進む。この例では、半数以上の画素値が閾値以下であるかを判定したが、他の割合を判定基準としてもよく、例えば、システム制御部５０が、１画素でも閾値以下であるかを判定してもよい。また、全画素が閾値以下であるかを判定するようにしてもよい。Ｓ６０３において、システム制御部５０が、ゼロ画素置換処理を行う。ゼロ画素置換処理が終了すると、処理がＳ６０４に進み、位置合わせ処理が実行される。
【００７５】
図１２のステップＳ６０３におけるゼロ画素置換処理の動作について説明する。ゼロ画素置換処理は以下の手順で行われる。
［手順１］システム制御部５０が、Ｓ６０２で半数以上の画素値が閾値以下であると判定されたブロック領域について、画像データＸ及び画像データＹそれぞれの（Ａ＋Ｂ）像部のデータを取得する。
［手順２］システム制御部５０が、画像データＸ及び画像データＹそれぞれの閾値以下である画素値を、手順１で取得した（Ａ＋Ｂ）像部のデータの画素値で置換する。これにより、全ブロック領域のうち、半数以上の画素値が閾値以下である領域については、（Ａ＋Ｂ）像を用いて位置合わせ処理が行われる。これにより、高精度な位置合わせを行うことが可能である。半数以上の画素値が閾値以下である領域以外の領域については、Ａ像を用いて位置合わせ処理が行われる。
【００７６】
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。
また、上述した実施例においては、本発明をデジタルカメラに適用した場合を例にして説明したが、本発明は、撮像された画像データを保存・表示できる画像処理装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどにも適用可能である。
【００７７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７８】
２４  画像処理部
１００  デジタルカメラ
【図１】
2019047380.tif 000003
【図２】
2019047380.tif 000004
【図３】
2019047380.tif 000005
【図４】
2019047380.tif 000006
【図５】
2019047380.tif 000007
【図６】
2019047380.tif 000008
【図７】
2019047380.tif 000009
【図８】
2019047380.tif 000010
【図９】
2019047380.tif 000011
【図１０】
2019047380.tif 000012
【図１１】
2019047380.tif 000013
【図１２】
2019047380.tif 000014
【図１３】
2019047380.tif 000015