(57)【要約】【課題】ダイナミックレンジ拡張、不要成分低減の効果を両立可能な画像処理装置、及びプログラムを提供すること。【解決手段】複数の視差画像を入力する画像入力手段と、前記複数の視差画像を用いて、不要成分を検出する不要成分検出手段と、不要成分を低減する処理を行う不要成分低減処理手段と、不要成分を低減する処理を行うかどうかを決定する不要成分低減処理実行決定手段と、前記複数の視差画像を用いて、ダイナミックレンジ拡張画像を生成するダイナミックレンジ拡張画像生成手段と、前記不要成分低減処理実行決定手段の結果により、前記ダイナミックレンジ拡張画像生成手段の処理を切り替えるダイナミックレンジ拡張処理切替手段と、を有することを特徴とする。【選択図】図２
2019029780.tif 000002
【特許請求の範囲】
【請求項１】
複数の視差画像を入力する画像入力手段と、
前記複数の視差画像を用いて、不要成分を検出する不要成分検出手段と、
不要成分を低減する処理を行う不要成分低減処理手段と、
不要成分を低減する処理を行うかどうかを決定する不要成分低減処理実行決定手段と、
前記複数の視差画像を用いて、ダイナミックレンジ拡張画像を生成するダイナミックレンジ拡張画像生成手段と、
前記不要成分低減処理実行決定手段の結果により、前記ダイナミックレンジ拡張画像生成手段の処理を切り替えるダイナミックレンジ拡張処理切替手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記不要成分検出手段において、不要成分が検出できなかった場合、前記不要成分低減処理実行決定手段は、不要成分低減処理を行わないことを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ダイナミックレンジ拡張処理切替手段は、前記不要成分検出手段により、不要成分が検出された領域のみ処理を切り替えることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像のダイナミックレンジ拡張処理方法に関する。
【背景技術】
【０００２】
撮影レンズの射出瞳をマイクロレンズアレイで複数の領域に瞳分割し、分割された瞳領域に応じた複数の画素で受光する撮像装置がある。このような撮像装置においては、異なる瞳領域に応じた複数の画素の信号値を組み合わせることによって、一度の撮影で露出の異なる複数の画像が撮影可能である。
【０００３】
そして、同時に撮影された露出の異なる視差画像を用いて、高輝度領域のダイナミックレンジ拡張処理を行う方法が特許文献１、特許文献２として開示されている。
【０００４】
また、撮像された各画素の各色信号の飽和レベルを算出し、各色信号の飽和レベルを比較して画素値を置換していくことで、高輝度領域の階調を失うことなく現像する方法が、特許文献３として開示されている。
【０００５】
カメラ等の撮像装置により撮像を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射して、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、密度の高いスポット像を形成したり被写体像の広範囲に被ったりしてゴーストやフレアとなり、これらゴーストやフレアは不要成分として撮影画像中に現れる。
【０００６】
そして、複数の視差画像から不要成分を決定し、不要成分を低減する方法が特許文献４として開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１５−１４４４１６号公報
【特許文献２】特開２０１６−５８９９３号公報
【特許文献３】特開２０１５−１５６６１５号公報
【特許文献４】特開２０１６−１００６６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１、２に記載の従来技術では露出の異なる視差画像を用いてダイナミックレンジ拡張を行うが、特許文献４のような視差画像の差分から不要成分を決定して低減する手法と同時に行うことが考慮されておらず、どちらかの効果が弱まってしまうことがあった。
【０００９】
上述した課題に鑑み、本発明は、ダイナミックレンジ拡張、不要成分低減の効果を両立可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る画像処理装置は、
複数の視差画像を入力する画像入力手段と、
前記複数の視差画像を用いて、不要成分を検出する不要成分検出手段と、
不要成分を低減する処理を行う不要成分低減処理手段と、
不要成分を低減する処理を行うかどうかを決定する不要成分低減処理実行決定手段と、
前記複数の視差画像を用いて、ダイナミックレンジ拡張画像を生成するダイナミックレンジ拡張画像生成手段と、
前記不要成分低減処理実行決定手段の結果により、前記ダイナミックレンジ拡張画像生成手段の処理を切り替えるダイナミックレンジ拡張処理切替手段と、
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ダイナミックレンジ拡張、不要成分低減の効果を両立可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態におけるデジタルカメラの概観を示す図である。
【図２】本発明の実施形態におけるデジタルカメラの構成例を示すブロック図である。
【図３】本発明の実施形態における画素配列の概略を示す図である。
【図４】本発明の実施形態における画像処理部の構成を示す図である。
【図５】本発明の実施形態におけるデジタルカメラの多視点撮影モードの動作を示すフローチャートである。
【図６】本発明の実施形態における画像ファイルの構造を説明するための模式図である。
【図７】センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明するための図である。
【図８】シェーディング特性を説明するための図である。
【図９】本発明の実施形態における画像処理部の動作を説明するための図である。
【図１０】シェーディング補正係数を説明するための図である。
【図１１】本発明の実施形態におけるダイナミックレンジ拡張部の動作を説明するための図である。
【図１２】本発明の実施形態における画像処理の操作画面の図である。
【図１３】本発明の実施形態における画像処理の操作画面を表示するフローチャートである。
【図１４】本発明の実施形態における不要成分の検出処理を説明するための図である。
【図１５】図２に示すＷＢ調整部で行われるＷＢ調整処理の一例を示す図である。
【図１６】図２に示す信号置換部で行われる置換処理の一例を説明するためのフローチャートである。
【図１７】図１６に示す置換処理によって生成された置換処理後のＲＡＷデータを説明するための図であり、（ａ）はＷＢ調整後において色信号の全てが飽和レベルに達している状態を示す図、（ｂ）はＷＢ調整後において色信号の一部が飽和レベルに達している状態の一例を示す図、（ｃ）はＷＢ調整後において色信号の一部が飽和レベルに達している状態の他の例を示す図、（ｄ）はＷＢ調整後において色信号の１つが飽和レベルに達している状態を示す図である。
【図１８】本発明の実施例１における、ダイナミックレンジ拡張処理のフローチャートである。
【図１９】本発明の実施例２における、ダイナミックレンジ拡張処理のフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の好適な実施形態を説明する。
【実施例】
【００１４】
図１（ａ）、（ｂ）に本発明を適用可能な装置の一例としてのデジタルカメラ１００の外観図を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。
【００１５】
図１において、表示部２８は画像や各種情報を表示する、カメラ背面に設けられた表示部である。ファインダー外表示部４３は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は該部機器との接続ケーブルとデジタルカメラ１００とを接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。
【００１６】
メイン電子ダイヤル７１は操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。
【００１７】
サブ電子ダイヤル７３は操作部７０に含まれ、操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行える。十字キー７４は操作部７０に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。十字キー７４の押した部分に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。ＬＶボタン７６は操作部７０に含まれ、メニューボタンにおいてライブビュー（以下、ＬＶ）のＯＮとＯＦＦを切り替えるボタンである。動画撮影モードにおいては、動画撮影（記録）の開始、停止の指示に用いられる。
【００１８】
拡大ボタン７７は操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦ，及び拡大モード中の拡大率の変更を行うための操作ボタンである。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。縮小ボタン７８は操作部７０に含まれ、拡大された再生画像の拡大率を低減させ、表示された画像を縮小させるためのボタンである。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することで再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８に表示させることができる。
【００１９】
クイックリターンミラー１２は、システム制御部５０から指示されて、不図示のアクチュエータによりアップダウンされる。通信端子１０はデジタルカメラ１００がレンズ側（着脱可能）と通信を行う為の通信端子である。接眼ファインダー１６はフォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダーである。蓋２０２は記録媒体２００を格納ひたスロットの蓋である。グリップ部９０は、ユーザーがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。
【００２０】
図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。
【００２１】
図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。
【００２２】
レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００側と通信を行う為の通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６，１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行い、ＡＦ駆動回路３を介して、レンズ１０３の位置を変位させることで焦点を調節する。
【００２３】
ＡＥセンサー１７は、２次元配列された光電変換素子で構成され、レンズユニット１５０を通した被写体の輝度を測光する。本実施形態では、ＡＥセンサー１７はＢａｙｅｒ配列で配列されたＲ（ＩＲ）ＧＢ画素の画素配列となっており、測色や被写体検出、測距なども行うことができる。本実施形態では、撮像部２２の撮像素子よりは画素数が少ないため、撮像素子から得られる信号により行える画像解析よりも解像度の低い解析結果となる。
【００２４】
焦点検出部１１は、システム制御部５０にデフォーカス量情報を出力する。システム制御部５０はそれに基づいてレンズユニット１５０を制御し、位相差ＡＦを行う。
【００２５】
クイックリターンミラー１２（以下、ミラー１２）は、露光、ライブビュー撮影、動画撮影の際にシステム制御部５０から指示されて、不図示のアクチュエータによりアップダウンされる。ミラー１２は、レンズ１０３から入射した光束をファインダ１６側と撮像部２２側とに切替えるためのミラーである。ミラー１２は通常時はファインダ１６へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像部２２へと光束を導くように上方に跳ね上がり光束中から待避する（ミラーアップ）。またミラー１２はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部１１に入射するように透過させる。
【００２６】
撮影者は、ペンタプリズム１４とファインダー１６を介して、フォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認が可能となる。
【００２７】
シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。
【００２８】
撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子１１０を有する。撮像素子１１０は、複数のマイクロレンズを有し、各マイクロレンズには複数の光電変換素子が割り当てられることで、各マイクロレンズ下の各光電変換素子にはレンズ１０３を含む撮像光学系の射出瞳における異なる瞳領域からの光束がそれぞれ入射される。これにより各マイクロレンズ下の各光電変換素子から得られる信号は互いに視差を有する、異なる視点からの信号となる。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。
【００２９】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し、撮像する装置に起因する画素欠陥などの補正処理や、デモザイキング処理、ホワイトバランス補正処理、ガンマ補正処理などを含む現像処理、色変換処理、符号化・圧縮処理などを行う。本実施形態では、現像処理は上記の処理の少なくとも一部を含む処理を指し、これらの現像処理が行われていない画像のためのデータをＲＡＷデータとする。また、特に本実施形態では、画像処理部２４は、上述した撮像素子から得られた複数の視点画像の画像データを用いて、それらの視差情報を利用したリフォーカス処理、視点変更処理などの画像処理や、明るさの違いを利用したＨＤＲ（ハイダイナミックレンジ）処理を行う。
【００３０】
さらに、画像処理部２４は、撮像素子からの複数の視点画像間の位相差に基づいた像ずれ量の算出を行う。算出された像ずれ量は画像内の被写体の、奥行き方向の相対的な位置関係を示す深度情報であり、必要に応じて、撮像素子１１０やレンズ１０３に起因する係数（Ｋ値）を用いてデフォーカス量、さらには被写体距離の深度情報に換算することができる。画像処理部２４の利用する深度情報としてはこれに限らず、何らかの別の手段で生成、取得された深度情報を用いて各種画像処理を行ってもよい。
【００３１】
また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００３２】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００３３】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１９を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１９においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。
【００３４】
ファインダー内液晶表示部４１には、ファインダー内表示部駆動回路４２を介して、現在オートフォーカスが行われている測距点を示す枠（ＡＦ枠）や、カメラの設定状態を表すアイコンなどが表示される。
【００３５】
ファインダー外液晶表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
【００３６】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００３７】
システム制御部５０は、少なくとも１つのプロセッサーを有する制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１９、表示部２８等を制御することにより表示制御も行う。
【００３８】
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００３９】
モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００４０】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。
【００４１】
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、これらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００４２】
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００４３】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００４４】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００４５】
操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、少なくとも以下の操作部が含まれる。シャッターボタン６１、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、ＬＶボタン７６、拡大ボタン７７、縮小ボタン７８、再生ボタン７９。
【００４６】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００４７】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００４８】
通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。
【００４９】
姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。
【００５０】
図３は、撮像素子１１０における画素の配置例を模式的に示す図であり、画素が横４画素×縦４画素配列された領域を代表的に示している。
【００５１】
撮像素子１１０は、撮影光学系１０１の瞳領域を瞳分割方向に分割して、異なる瞳部分領域を通過した光束に基づく信号から複数の画像信号を生成可能に構成されている。具体的には、各画素の光電変換領域が水平方向（瞳分割方向）に２分割されており、各光電変換領域が副画素として機能する。従って、図３は、副画素が横８画素×縦４画素配列された領域とも言うことができる。
【００５２】
本実施形態において、図３の左上の２×２の画素群２１０は、撮像素子１１０に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素２１０Ｒが左上に、Ｇ（緑）の分光感度を有する画素２１０Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２１０Ｂが右下に配置されている。
【００５３】
また、図２の右上の画素に代表的に示すように、各画素は、横２×縦１に等分割された光電変換部を有しており、左半分の光電変換部が第１副画素２１１、右半分の光電変換部が第２副画素２１２として利用可能である。副画素２１１の出力を取得して得られる１つの画像と、副画素２１２の出力を取得して得られる１つの画像とが、１組の視点画像を構成する。したがって、デジタルカメラ１００は１回の撮影によって２つの視点画像を生成することができる。また、各画素の第１副画素２１１と第２副画素２１２で得られる信号を加算することで、瞳分割がなされていない１つの通常画素の画素信号として利用することができる。
【００５４】
ここで、本実施形態では、各マイクロレンズに対応する各画素の回路が、瞳分割された複数の光電変換部で共通の電化蓄積部（フローティングデフュージョン部：ＦＤ部）を有して構成されているため、該ＦＤ部への電荷の転送と、ＦＤ部の電荷のリセットを制御することにより、各副画素からの電荷に基づく画素信号および各副画素からの電荷が混合されて出力された画素信号とが出力可能になっている。ここで各副画素に入射される異なる瞳部分領域を通過した光束に基づく光学像をＡ像、Ｂ像、各光学像に基づく信号（電荷）をＡ像信号、Ｂ像信号、各副画素からの信号が混合された信号を（Ａ＋Ｂ）像信号と便宜上呼ぶものとする。
【００５５】
本実施形態では、通常の撮影モードとして、撮像時に（Ａ＋Ｂ）像信号のみを読み出し、多視点撮影モードとして（Ａ＋Ｂ）像信号に加えてＡ像信号を読み出し、各撮影モードでの記録では、読み出された各画像信号に対応する画像データを記録するものとする。
【００５６】
次に、画像処理部２４の構成を示す図４および、図５に示すフローチャートを参照して、本実施形態のデジタルカメラ１００の撮影時における動作を、画像処理部２４の動作を中心に説明する。図５の処理は、システム制御部５０が撮影開始指示（例えば第２シャッタースイッチ６４のオン）を検知したことによって開始される。撮像素子システム制御部５０は、撮影準備処理において決定した露出条件に従って絞り１およびシャッター１０１の動作を制御し、撮像部２２を露光する。
【００５７】
Ｓ１０１では、画像処理部２４はシステム制御部５０を通じて撮像部２２から（Ａ＋Ｂ）像とＡ像を取得する。
【００５８】
次のＳ１１０と、Ｓ１２０およびＳ１２１と、Ｓ１３０とは並列処理が可能であるが、メモリ１２０の空き状況や、画像処理部２４の処理スピード等に応じて、少なくとも一部を順序処理してもよい。
【００５９】
Ｓ１１０で可逆圧縮部２４１は、（Ａ＋Ｂ）像に対して可逆圧縮処理を適用して可逆圧縮画像を生成し、メモリ制御部１５を介してメモリ３２に保存する。
【００６０】
Ｓ１２０で現像処理部２４３は、（Ａ＋Ｂ）像に対して現像処理を適用し、メモリ制御部１５を介してメモリ３２に保存する。
【００６１】
Ｓ１２１で非可逆圧縮処理部２４２は、Ｓ１２０でメモリ３２に保存された現像処理後の（Ａ＋Ｂ）像に対して非可逆圧縮処理を適用して非可逆圧縮画像を生成するとともに、非可逆圧縮画像を縮小してサムネイル画像を生成する。ここでは、非可逆圧縮画像を表示用画像とする。画像処理部２４は非可逆圧縮画像（表示用画像）とサムネイル画像をメモリ制御部１５を介してメモリ３２に保存する。
【００６２】
Ｓ１３０で可逆圧縮処理部２４１は、Ａ像に対して可逆圧縮処理を適用して可逆圧縮画像（Ａ）を生成し、メモリ制御部１５を介してメモリ３２に保存する。
【００６３】
Ｓ１１０、Ｓ１２１、Ｓ１３０の処理が完了すると、画像処理部２４は処理をＳ１４０へ進め、画像ファイルの生成を行う。画像処理部２４は、可逆圧縮画像、可逆圧縮画像（Ａ）、表示用画像、サムネイル画像をメモリ３２から読み出して画像ファイルを生成する。Ｓ１４０で行う画像ファイルの生成処理および画像ファイル構成の詳細については後述する。
【００６４】
Ｓ１４１で画像処理部２４は、生成した画像ファイルを、記録媒体２００に保存し、撮影処理を終了する。
【００６５】
ここでは（Ａ＋Ｂ）像、Ａ像の記録について記載したが、Ａ像と同様の処理を行いＢ像を追加で記録してもよい。
【００６６】
＜画像ファイル構成＞
図６（ａ）は、画像ファイル１０００の概念図である。画像ファイル１０００は、１つのファイルに複数ページの画像データを格納したマルチページファイルに対応したファイルフォーマットの一例としてのＴＩＦＦ（Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）形式に準拠した画像ファイルの構造を持つ。画像ファイル１０００は、ＴＩＦＦヘッダ部１００１、複数のＩＦＤ（Ｉｍａｇｅ  Ｆｉｌｅ  Ｄｉｒｅｃｔｏｒｙ）部１００２〜１００５、複数の画像データ部１００６〜１００９で構成されている。
【００６７】
１００１は画像ファイル１０００のＴＩＦＦヘッダ部であり、ＴＩＦＦ形式のファイル構造であることを識別するためのデータや、最初のＩＦＤ部へのオフセットなどを格納する領域である。
【００６８】
ＩＦＤ部１００２〜１００５は、それぞれ後述する画像データ部１００６〜１００９に格納される画像データに関連する撮影情報やパラメータなどのメタデータＡ〜Ｄと、画像データ部１００６〜１００９までのオフセット値Ｅ〜Ｈ、次のＩＦＤ部へのオフセットを格納する領域である。最後のＩＦＤ部には、次のＩＦＤ部が存在しないことを示す特定のオフセット値が格納される。また、ＩＦＤ部１００２〜１００５のそれぞれは、対応する画像データ部に格納されている画像データのサイズ（縦横の画素数）や、縮小画像であるかどうかの情報や、画像データがＡ像、Ｂ像、（Ａ＋Ｂ）像のうちのどの光学像に基づいた画像信号に対応するかの情報をメタデータＡ〜Ｄに含んでいる。従って、画像ファイル１０００を用いた処理を行う装置は、ＩＦＤ部１００２〜１００５を参照することで、複数の画像データの中から用途に応じた適切な画像データを読み出すことができる。
【００６９】
０ｔｈＩＦＤ部１００２は０ｔｈ画像データ部１００６に対応した領域である。１つのＩＦＤ部はひとつの画像データ部に対応しており、ＩＦＤ部１００２〜１００５のオフセット値Ｅ〜Ｈにより画像ファイル１０００内の各画像データの開始位置が特定される。
【００７０】
図６（ｂ）は、本実施形態のデジタルカメラ１００（画像処理部２４）が生成する画像ファイル１１００の構造例を示す図である。ここでは、撮影時に生成した非可逆圧縮画像（表示用画像）、サムネイル画像、可逆圧縮画像（（Ａ＋Ｂ）像）、可逆圧縮画像（Ａ像）を格納する画像ファイルをＴＩＦＦ形式で生成した場合の構造例を示している。
【００７１】
画像ファイル１１００はＴＩＦＦヘッダ部１１０１、０ｔｈＩＦＤ部１１０２〜３ｒｄＩＦＤ部１１０５、サムネイル画像部１１０７、表示用画像部１１０６、（Ａ＋Ｂ）像部１１０８、Ａ像部１１０９で構成されている。
【００７２】
ＴＩＦＦヘッダ部１１０１はＴＩＦＦファイル構造であることを識別するためのデータを格納する。
【００７３】
０ｔｈＩＦＤ部１１０３は、表示用画像部１１０６に関連する撮影情報やパラメータなどのメタデータＢと表示用画像部１１０６までのオフセット値Ｆを格納する。
【００７４】
１ｓｔＩＦＤ部１１０２は、サムネイル画像部１１０７に関連する撮影情報やパラメータなどのメタデータＡとサムネイル画像部１１０７までのオフセット値Ｅを格納する。
【００７５】
２ｎｄＩＦＤ部１１０４は、（Ａ＋Ｂ）像部１１０８に関連する撮影情報やパラメータなどのメタデータＣと（Ａ＋Ｂ）像部１１０８までのオフセット値Ｇを格納する。
【００７６】
３ｒｄＩＦＤ部１１０５は、Ａ像部１１０９に関連する撮影情報やパラメータなどのメタデータＤとＡ像部１１０９までのオフセット値Ｈを格納する。
【００７７】
これらオフセット値Ｅ〜Ｈにより、画像ファイル内の各画像データの開始位置を特定できる。
【００７８】
表示用画像部１１０６は表示部２８などに表示するために、画像処理部２４で生成された表示用画像を格納する領域である。本実施形態では表示用画像をＪＰＥＧ形式としている。
【００７９】
サムネイル画像部１１０７は表示部２８などにメモリ３２の画像一覧画面などのインデックス表示を行う際などに利用するためのサムネイル画像を格納する領域であり、表示用画像を間引くなどして縮小した画像である。
【００８０】
（Ａ＋Ｂ）像部１１０８は、Ａ像とＢ像を加算もしくは合成した画像であって、現像処理前のいわゆるＲＡＷ形式の（Ａ＋Ｂ）像を格納する領域である。
【００８１】
右画像部１１０９は、ＲＡＷ形式のＡ像を格納する領域である。（Ａ＋Ｂ）像からＡ像を減算することでＢ像に相当する画像を生成することができる。Ａ像とＢ像とから、リフォーカス処理や視点変更処理、立体画像生成処理などを行うことができる。
【００８２】
サムネイル画像や表示用画像といった汎用的な表示処理に用いられる現像処理後の画像のデータを、現像処理が必要な（Ａ＋Ｂ）像や、視差画像を取り扱わないアプリケーションでは使用しないＡ像よりも前に配置している。そのため、使用される可能性の高い画像データの読み出し開始までに要する時間を短縮することができる。
【００８３】
なお、本実施例では（Ａ＋Ｂ）像およびＡ像をＲＡＷ形式で格納する構成としたが、画像処理部２４で可逆圧縮した画像データを格納する構成としてもよい。このような構成とすることで、画像ファイルのサイズを削減することが可能である。
【００８４】
また、本実施例では（Ａ＋Ｂ）像とＡ像を画像ファイルに格納する構成について説明したが、Ａ像の代わりにＢ像を記録する構成としてもよい。この場合、多視点撮影モードにおいて読み出す画像信号を（Ａ＋Ｂ）像信号とＢ像信号とすればよい。
【００８５】
＜ダイナミックレンジ拡張手法１＞
本実施例における、ダイナミックレンジ拡張処理の手法を詳述する。
【００８６】
まず、複数の副画素から得られる瞳分割画像ごとに瞳強度分布が異なること、及びそれに基づくシェーディング特性について、従来例を交えて図７〜図１０を用いて説明する。図７は、センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明するための図である。
【００８７】
Ｊ１０７はセンサ瞳面である。Ｊ１０８はマイクロレンズアレイ、Ｊ１０９は画素アレイであり、撮像素子を構成している。Ｊ１１１は主画素であり、副画素Ｊ１１０ａと副画素Ｊ１１０ｂから構成されている。主画素Ｊ１１１から生成される画像が（Ａ＋Ｂ）像（図９の４０１ａｂ）、副画素Ｊ１１０ａの瞳分割画像がＡ像（図９のＪ２０１ａ）、副画素Ｊ１１０ｂの瞳分割画像がＢ像（図９のＪ２０１ｂ）である。Ａ像、Ｂ像は主画素Ｊ１１１を２つに瞳分割した副画素Ｊ１１０ａまたは、副画素Ｊ１１０ｂから生成されるため、（Ａ＋Ｂ）像に対して１段（１ＥＶ）アンダーな露出となる。
【００８８】
瞳強度分布は、瞳のケラレにより副画素Ｊ１１０ａの瞳強度分布はＪ１０１ａ、副画素Ｊ１１０ｂの瞳強度分布はＪ１０１ｂのようになる。
【００８９】
瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面中央での入射角感度特性はＪ１０３ａ、Ｊ１０３ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０３ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０３ｂである。Ｊ１１２は絞りなどで制限される入射光の角度範囲である。像面中央では、副画素Ｊ１１０ａ、Ｊ１１０ｂに入射する光量は等しい。
【００９０】
また瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面端での入射角感度特性はＪ１０５ａ、Ｊ１０５ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０５ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０５ｂである。像面端と像面中央で結像位置が異なるので、像面端の入射角感度特性は像面中央に対して偏心したプロファイルとなる。このため、像面端では、図７の場合だと副画素Ｊ１１０ａに入射する光量よりも副画素Ｊ１１０ｂに入射する光量のほうが多くなる。
【００９１】
上記のことから、像面上の画素位置（Ｘ）と画素値の関係を表すシェーディング特性は、図８のようになる。図８のＪ２０１ａは図７の副画素Ｊ１１０ａのシェーディング特性、Ｊ２０１ｂは図７の副画素Ｊ１１０ｂのシェーディング特性である。図７の像面中央は図８のＸ＝０、像面端はＸ＝５００、に対応する。
【００９２】
それぞれの画像に図８のシェーディング特性の逆特性をシェーディング補正係数として乗算することでシェーディング補正が行われる。シェーディング補正係数は図１０のようになり、Ｊ４０１ａはＡ像Ｊ２０１ａ、Ｊ４０１ｂはＢ像Ｊ２０１ｂに適用される。
【００９３】
最終的に、（Ａ＋Ｂ）像４０１ａｂを適正露出画像４０２、Ａ像Ｊ２０１ａをアンダー露出画像４０３とし、アンダー露出画像４０３をシェーディング補正した補正後アンダー露出画像４０４が取得される。そして、適正露出画像４０２と補正後アンダー露出画像４０４において、像面の全面で１段分（１ＥＶ分）の露出差を得ることができるため、画像合成してダイナミックレンジを拡大することができる。
【００９４】
続いて、図４、図９、図１０、図１１を用いて、本手法における図２の画像処理部２４の構成と動作を説明する。
【００９５】
図４は、図２の画像処理部２４の構成を説明するための図である。
【００９６】
２４６はシェーディング補正部であり、図９のアンダー露出画像４０３に対して、図１０のシェーディング補正係数Ｊ４０１ａを乗算することで、シェーディング補正をする（分割瞳のケラレ量ムラによる明暗ムラを補正する）。シェーディング補正に用いるシェーディング補正係数は図２の不揮発性メモリ５６から読み出される。
【００９７】
２４４はアンダー露出画像入力部である。アンダー露出画像入力部２４４は、副画素Ｊ１１０ａ、Ｊ１１０ｂのうち一方の画素からアンダー露出画像を取得する。
【００９８】
２４７は図９の補正後アンダー露出画像４０４と適正露出画像４０２を画像合成してダイナミックレンジ拡大をする（すなわち、階調表現レンジの拡張された合成画像を生成する）ダイナミックレンジ拡張部である。２４５は適正露出画像入力部である。適正露出画像入力部２４５は、副画素Ｊ１１０ａから得られる画像データおよび副画素Ｊ１１０ｂから得られる画像データを加算した適正露出画像を取得する。ダイナミックレンジ拡張部２４７は、被写体の明るさに応じて、補正後アンダー露出画像４０４（詳細には、後述のゲインアップ後アンダー露出画像）と適正露出画像４０２とを合成して合成画像を生成する。
【００９９】
図１１は、ダイナミックレンジ拡張部２４７の動作を説明するための図である。縦軸は画素値、横軸は被写体の明るさである。被写体の明るさは例えば補正後アンダー露出画像の画素値を参照すればよい。
【０１００】
３０１は補正後アンダー露出画像、３０３は適正露出画像である。ＴＨ２は画素の飽和レベルで、明るい被写体を適正露出で撮像した場合、画素値は飽和レベルＴＨ２でクリップされる。ＴＨ１は適正露出の飽和レベルに対応する被写体明るさである。３０２は補正後アンダー露出画像３０１を１段ゲインアップしたゲインアップ後アンダー露出画像である。補正後アンダー露出画像３０１は適正露出より１段アンダーなので、１段ゲインアップすることで適正露出画像３０３と明るさを合わせることができる。
【０１０１】
ダイナミックレンジ拡張部２４７は、補正後アンダー露出画像３０１、適正露出画像３０３を比較して、領域ごとに輝度を基づいて差分絶対値和等を利用して最も類似している位置からシフト量を算出し、シフト量を用いて位置合わせを行う位置補正部２４７ａを有する。そして、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する判定部２４７ｂを有し、判定部２４７ｂの判定結果に応じて補正後アンダー露出画像３０１または適正露出画像３０３のいずれかを選択する選択部２４７ｃを有する。
【０１０２】
ここで、選択部２４７ｃは、被写体の明るさが閾値未満である場合は適正露出画像３０３を選択し、被写体の明るさが閾値以上である場合は補正後アンダー露出画像３０１を選択する。そして、ダイナミックレンジ拡張部２４７は、選択部２４７ｃにより補正後アンダー露出画像３０１が選択された場合は、補正後アンダー露出画像３０１をゲインアップする。
【０１０３】
被写体明るさがＴＨ１未満の画素位置では適正露出画像３０３を、それ以外の画素位置ではゲインアップ後アンダー露出画像３０２を出力することで、ダイナミックレンジ拡大された画像を出力することができる。
【０１０４】
最後に、本手法の動作手順について説明する。本手法はシステム制御部５０によって制御され、不揮発性メモリ５６に格納されているプログラムをメモリ３２に展開し、ＣＰＵが実行することにより実現される。
［手順１］：ダイナミックレンジ拡張部２４７は、シェーディング補正部２４６から補正後アンダー露出画像３０１を取得する。
［手順２］：ダイナミックレンジ拡張部２４７は、適正露出画像入力部２４５を介して、適正露出画像３０３を取得する。
［手順３］：位置補正部２４７ａにより、所定の画素位置における補正後アンダー露出画像３０１と適正露出画像３０３に対して位置合わせを行う。
［手順４］：判定部２４７ｂにより、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する。被写体の明るさが閾値以上である場合は次の［手順５］に進み、閾値未満である場合は［手順６］に進む。
［手順５］：選択部２４７ｃは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、補正後アンダー露出画像３０１を選択する。
［手順６］：選択部２４７ｃは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、適正露出画像３０３を選択する。
［手順７］：ダイナミックレンジ拡張部２４７は、［手順５］、［手順６］で選択された画像データに基づいて合成画像を生成する。このとき、被写体明るさが閾値以上の画素位置では（すなわち、選択部２４７ｃにより補正後アンダー露出画像３０１が選択された場合は）、補正後アンダー露出画像３０１をゲインアップして、ゲインアップ後アンダー露出画像３０２を生成する。
【０１０５】
＜ダイナミックレンジ拡張を行うためのＵＩ＞
図１２は、図６（ｂ）の画像を読み込んだ後に表示部２８に表示されるＵＩ画面４０００である。このＵＩ画面４０００で操作者は、操作部７０を操作し、解像感調整、ボケシフト、ゴースト低減、シャープネス、ガンマ調整の画像処理を行うことが出来る。
【０１０６】
４００１は、読み込んだ画像の現像結果である。ＵＩ画面上の各種画像処理を行った場合は、その結果を表示する。
【０１０７】
４００２は、解像感補正を行うかどうかのチェックボックスである。解像感補正は、瞳分割の視差を利用して行う処理でピント位置をずらす（奥から手前）ことで補正を行う。
【０１０８】
４００３は、ピント位置をずらす（奥から手前）量を調整するスライダである。
【０１０９】
４００４は、解像感補正の強さを設定するスライダである。解像感補正の強さは、視差画像から取得した距離マップを考慮したて掛けるシャープネス処理の強さである。
【０１１０】
４００５は、ボケシフト処理を行うかどうかのチェックボックスである。Ａ像信号、Ｂ像信号では異なる光路を通るためボケの現れ方が変化する。（Ａ＋Ｂ）像信号を作る際により好ましいボケになるようにＡ像信号、Ｂ像信号の割合を調整する機能である。
【０１１１】
４００６は、領域を選択するモードに遷移するときのボケシフト領域選択ボタンである。ボケシフトを行う領域は、画面全体が設定されているが、任意の領域に対して掛けることも出来る。そのための領域を設定する時に使用する。
【０１１２】
４００７は、ボケシフトの動作する領域を境界線で表示する機能である。設定した、ボケシフトの範囲の境界線が４００１上に表示される。
【０１１３】
４００８は、ボケシフトで水平方向に分割しているＡ像信号とＢ像信号のどちら側を利用するか調整するスライダである。スライダを左右に動かすことで、Ａ像信号、Ｂ像信号の利用割合の設定が行われる。
【０１１４】
４００９は、ゴースト低減処理を行うかどうかのチェックボックスである。ゴースト低減処理は、Ａ像信号とＢ像信号のでは異なる光路を通った信号であることを利用して、Ａ像とＢ像の差分からゴーストの成分を検出し除去する。
【０１１５】
４０１０は、領域を選択するモードに遷移するときのゴースト低減領域選択ボタンである。ゴースト低減を行う領域は、画面全体が設定されているが、任意の領域に対して掛けることも出来る。そのための領域を設定する時に使用する。
【０１１６】
４０１１は、ゴースト低減の動作する領域を境界線で表示する機能である。設定した、ゴースト低減の範囲の境界線が４００１上に表示される。
【０１１７】
４０１２は、シャープネス処理を行うかどうかのチェックボックスである。
【０１１８】
４０１４は、シャープネスの強さを調整するスライダである。この調整スライダで画面全体のシャープネス調整を行う。
【０１１９】
４０１４は、ガンマ調整処理を行うかどうかのチェックボックスである。ガンマ調整は、現像処理で行われるホワイトバランス調整で、入力画像のビット数を超えてしまうビットを現像後の画像に反映する時の調整量を設定する処理である。
【０１２０】
４０１５は、ガンマ調整の調整エリアである。このエリアには、後述するヒストグラム４０１６とホワイトポイント４０１７が表示される。
【０１２１】
４０１６は、画像４００１のヒストグラムである。ヒストグラムは、（Ａ＋Ｂ）像信号の画素信号をホワイトバランス調整した結果で表示する。副画素信号をホワイトバランス調整した結果で表示するなどがある。
【０１２２】
４０１７は、ヒストグラム４０１６のホワイトポイントである。ホワイトポイントとは、（Ａ＋Ｂ）像信号の画素信号をホワイトバランス調整した結果のＲとＧとＢの値がＲＡＷ画像のビット数と同じビットでクリップするポイント。副画素信号をホワイトバランス調整した結果のＲとＧとＢの値がＲＡＷ画像のビット数と同じビットでクリップするポイントとなどがある。ホワイトポイントを右に動かすことで、現像時にＲＡＷ画像のビット数を超えてあふれているデータを画像に反映する高輝度改善処理が行われる。
【０１２３】
図１３を使用して、本実施例のＵＩ画面を表示部２８上に表示する例を説明する。
【０１２４】
図３は、操作者が操作部７０を操作し図６（ｂ）の画像を読み込むことで動作を開始する。
【０１２５】
ステップＳ４０１０でシステム制御部５０が、ＵＩ表示を行う。図１２の画面４０００、４００２から４０１５までの各設定ＵＩを表示する。４００１と４０１６と４０１７は、後述する処理で表示される。
【０１２６】
ステップＳ４０２０でシステム制御部５０が、（Ａ＋Ｂ）像信号の画素信号のホワイトバランス調整を行う。
【０１２７】
ステップＳ４０３０でシステム制御部５０が、ステップＳ４０２０でホワイトバランス調整した結果のＲ，Ｇ，Ｂの出力値を取得する。
【０１２８】
ステップＳ４０４０でシステム制御部５０が、副画素信号のホワイトバランス調整を行う。
ステップＳ４０５０でシステム制御部５０が、ステップＳ４０４０でホワイトバランス調整した結果のＲ，Ｇ，Ｂの出力値を取得する。
【０１２９】
ステップＳ４０６０でシステム制御部５０が、ヒストグラム４０１６の表示を行う。ヒストグラムは、ステップＳ４０３０で取得した（Ａ＋Ｂ）像信号のホワイトバランス調整後に得られた結果、もしくは、ステップＳ４０５０で取得した副画素信号のホワイトバランス調整後に得られた結果のどちらを利用しても作成してもよい。また、両方の手法の最大値で表示するような表示方法も考えられる。副画素信号から作成されたヒストグラムは、（Ａ＋Ｂ）像信号と比べて開口率が異なるので、開口率を考慮してゲインアップしてもよい。
【０１３０】
ステップＳ４０７０でシステム制御部５０が、現像画像４００１の表示に対応したホワイトポイント４０１７の位置を算出し、表示を行う。
【０１３１】
ステップＳ４０８０でシステム制御部５０が、現像画像を４００１に表示する。
【０１３２】
＜不要成分検出手法＞
図１４（Ａ−１）、（Ｂ−１）は不要成分ＧＳＴなどの差はあるが、全体的には似ている。そこで、画像内の不要成分ＧＳＴを検出するために類似画像分析を行って「画像類似度値」を求める。「画像類似度値」とは、二つの画像（部分画像でもよい）を比較した際に、どれだけその二つの画像が似ているかを表した数値（評価値）のことである。簡単のために、最も似ている場合を五段階評価において「画像類似度値＝５」とし、最も似ていない場合を「画像類似度値＝１」とする。さらに簡単のために、図１４（Ａ−１）、（Ｂ−１）において縦横同じピッチで領域を分割して、同じ位置範囲の領域を比較する。
【０１３３】
図１４（Ａ−１）、（Ｂ−１）をそれぞれ領域に分割した結果が図１４（Ａ−２）、（Ｂ−２）である。「同じ位置範囲の領域」とは図１４（Ａ−２）の領域１１ａ、図１４（Ｂ−２）の領域１１ｂのような位置関係にあるものを指す。なお、すべての領域で縦と横の長さが同じ網目状となるように分割しなくてもよい。左から順に領域を等ピッチで分割し、右端では半端な長さになっても構わない。画像類似度値は二つの視差画像間で比較するため、二つの視差画像間において同じ位置範囲で領域が決まっていればよい。
【０１３４】
画像類似度値を算出する方法の一つとして、例えばヒストグラムを利用して画像類似度値を計算する方法がある。最もシンプルな計算方法は、領域分割した視差画像を白黒の二値画像（グレースケールで、かつ画素値が０と２５５の二つのみで構成された画像）にして、白（画素値＝２５５）であるピクセル数を数える方法である。なお、カラー画像から二値画像を得るための手法は公知の技術が種々あるためここでは省略し、特にその手法にも限定しない。例えば、縦横２０×２０ピクセルの領域があったとして、ピクセルの総数は４００個となる。そのうち、白のピクセルが２６０個あったとしたら、その領域内のヒストグラムは（白、黒）＝（２６０、１４０）となる。このようにして、図１４（Ａ−２）画像の領域と、図１４（Ｂ−２）画像の領域でヒストグラムを計算する。
【０１３５】
そして、図１４（Ａ−２）、（Ｂ−２）の同じ位置範囲の各領域のヒストグラムを比較する。ヒストグラムが同じであれば画像類似度値を５とし、比較する二つの領域同士のヒストグラムの乖離が大きくなればなるほど画像類似度値を低くする。本実施例では、画像類似度値について、差分が１０％未満は５、１０〜２０％は４、２０〜３０％は３、３０〜４０％は２、４０％超は１としている。そして、画像類似度値が２以下であれば、不要成分領域であると判定している。
このようにして、図１４（Ａ−３）、（Ｂ−３）に示すように、視差画像中における不要成分領域を検出することができる。なお、画像類似度値の計算方法は種々の公知の技術があり、上述した方法に限定するものではない。
【０１３６】
＜ダイナミックレンジ拡張手法２＞
本実施例における、二つ目のダイナミックレンジ拡張処理の手法を詳述する。
【０１３７】
本手法においては、図４の適正露出画像入力部２４５、ホワイトバランス（ＷＢ）調整部２４８、信号置換部２４９が用いられる。
【０１３８】
本手法は、適正露出画像入力部２４５から適正露出画像（Ａ＋Ｂ像）が入力される。
【０１３９】
ＷＢ調整部２４８は色信号の各々の信号値にＷＢ係数（ホワイトバランス係数）を乗算する。これによって、ＷＢ調整部２４８は色信号のレベルを調整して、グレーの被写体を、各色信号のレベルが揃ったグレーとして出力する。
【０１４０】
ここでは、適正露出画像の一部領域から色信号の信号値を抽出してＷＢ係数を求め、撮像部２２が適正露出画像とともにＷＢ係数を画像処理部２４に送るものとする。なお、撮像部２２が測光部の測光結果などその他の公知方法によってＷＢ係数を求めてもよい。
【０１４１】
ＷＢ係数は、色信号毎に求められる、各色信号に対するゲイン量を示す値であって、色信号の信号値にＷＢ係数を乗算すると、グレーの被写体において各色信号が同一の信号値となる。ここでは、上述のように、撮像部２２が適正露出画像とともにＷＢ係数を画像処理部２４に送るものとしたが、標準的な光源下の撮影におけるＷＢ係数を予め画像処理部２４に設定するようにしてもよい。さらには、ユーザが入力した色温度に基づいて、ＷＢ調整部２４８がＷＢ係数を算出するようにしてもよい。また、ＷＢ調整部２４８は、適正露出画像に付加されたＷＢ係数を用いることなく、現像の際にユーザが指定した手法でＷＢ係数を算出するようにしてもよい。なお、ユーザの入力は操作部７０を介してで受け付けるものとする。
【０１４２】
図１５は、図４に示すＷＢ調整部２４８で行われるＷＢ調整処理の一例を示す図である。
【０１４３】
図１５において、縦軸は、各色信号（Ｒ，Ｇ，Ｂ）の信号値の大きさを示す。図示のように、第２画像データは色信号Ｒ、Ｇ、およびＢを有しており、ここでは、撮像素子（イメージセンサー）のセンサ飽和値が参照番号５２１で示されている。このセンサ飽和値５２１は撮像素子の分光感度特性、撮像部２２の処理精度、および所定の閾値によって定まる色信号の信号値の上限値である。なお、図示の例では、色信号の各々についてセンサ飽和値５２１は同一であるが、センサ飽和値５２１は色信号毎に異なるようにしてもよい。
【０１４４】
図示の適正露出画像について、ＷＢ調整部２４８がＷＢ係数を乗算した結果がＷＢ調整後の信号値である。ＷＢ係数を乗算することによって、色信号毎の上限値が変わる。図示の例では、色信号Ｒに係るＷＢ係数が”２”、色信号Ｂに係るＷＢ係数が”１．５”、そして、色信号ＧのＷＢ係数が”１”とした。
【０１４５】
ここで、色信号Ｒに係る飽和レベルは飽和レベル５２３であり、当該飽和レベル５２３はセンサ飽和値５２１の２倍となる。色信号Ｂに係る飽和レベルは飽和レベル５２４であり、当該飽和レベル５２４はセンサ飽和値５２１の１．５倍となる。色信号Ｇに係る飽和レベルは飽和レベル５２５であり、当該飽和レベル５２３はセンサ飽和値５２１と等しい。
【０１４６】
図１６は、図４に示す信号置換部２４９で行われる置換処理の一例を説明するためのフローチャートである。
【０１４７】
なお、図示のフローチャートに係る処理においては、ＷＢ調整後の信号値において、色信号Ｇの飽和レベルが最小であり、色信号Ｒの飽和レベルが最大又は２番目であるものとして説明を行う。このように、色信号における飽和レベルを規定すると、撮像部１の特性によって起こりえない処理を省いて処理を高速化することができる。
【０１４８】
置換処理を開始すると、信号置換部２４９は第２画像データにおいて色信号毎の飽和レベルを求める（ステップＳ１）。例えば、信号置換部２４９は、第２画像データに応じてセンサ飽和値５２１を求める。そして、信号置換部２４９は、ＷＢ調整部２４８で用いられるＷＢ係数をセンサ飽和値５２１に乗算して、色信号Ｒの飽和レベル５２３をＭｒ、色信号Ｂの飽和レベル５２４をＭｂ、色信号Ｇの飽和レベル５２５をＭｇとして算出する。
【０１４９】
続いて、信号置換部２４９は、画像（つまり、適正露出画像）において第１番目の画素の信号値（色信号値）ｒ（赤）、ｇ（緑）、およびｂ（青）を取得する（ステップＳ２）。
【０１５０】
次に、信号置換部２４９は、第２画像データの画素毎に次の処理を行う。まず、信号置換部２４９は、色信号Ｒの飽和レベルＭｒと色信号Ｂの飽和レベルＭｂとを比較して、飽和レベルＭｂ＜飽和レベルＭｒであるか否かを判定する（ステップＳ３）。飽和レベルＭｂ＜飽和レベルＭｒであると（ステップＳ３において、ＹＥＳ）、信号置換部２４９は、色信号値ｂが飽和レベルＭｂに達し（つまり、Ｍｂ≦ｂ）、かつ色信号値ｒが色信号値ｂより大きい（つまり、ｂ＜ｒ）か否かを判定する（ステップＳ４）。
【０１５１】
飽和レベルＭｂ≦色信号値ｂでかつ色信号値ｂ＜色信号値ｒであると（ステップＳ４において、ＹＥＳ）、信号置換部２４９は、色信号値ｂ（置換対象）を色信号値ｒ（置換元）で置換する。つまり、信号置換部２４９は、信号値ｂ＝信号値ｒとする（ステップＳ５）。
【０１５２】
飽和レベルＭｂ≧飽和レベルＭｒであると（ステップＳ３において、ＮＯ）、信号置換部２４９は、色信号値ｒが飽和レベルＭｒに達し（つまり、Ｍｒ≦ｒ）、かつ色信号値ｂが色信号値ｒより大きい（つまり、ｒ＜ｂ）か否かを判定する（ステップＳ６）。
【０１５３】
飽和レベルＭｒ≦色信号値ｒでかつ色信号値ｒ＜色信号値ｂであると（ステップＳ６において、ＹＥＳ）、信号置換部２４９は、色信号値ｒを色信号値ｂで置換する。つまり、信号置換部２４９は、信号値ｒ＝信号値ｂとする（ステップＳ７）。
【０１５４】
続いて、信号置換部２４９は、色信号値ｇを置換する置換候補値ｍｉｘを求める。例えば、信号置換部２４９は、色信号値ｒと色信号値ｂとの平均値を置換候補値ｍｉｘとする。つまり、信号置換部２４９は、置換候補値ｍｉｘ＝（ｒ＋ｂ）／２とする（ステップＳ８）。
【０１５５】
ステップＳ５において色信号値ｂの置換を行っている場合には、置換処理後の色信号値ｂを置換候補値ｍｉｘの算出に用いることになる。置換処理後の色信号値ｂを置換候補値ｍｉｘの算出に用いれば、置換処理後の色信号値ｇの飽和レベルを色信号値ｒおよび置換処理後の色信号値ｂの飽和レベルに統一することができる。
【０１５６】
また、ステップＳ５において色信号値ｂの置換を行う前に色信号値ｂの飽和レベルＭｂが飽和レベルＭｒとなるよう正規化した上で、ステップＳ８において置換候補値ｍｉｘ＝（ｒ＋ｂ・Ｍｒ／Ｍｂ）／２としてもよい。飽和レベルＭｂを飽和レベルＭｒに正規化した色信号値ｂを置換候補値ｍｉｘの算出に用いれば、置換処理後の色信号値ｇの飽和レベルを色信号値ｒおよび置換処理後の色信号値ｂの飽和レベルに統一することができる。
【０１５７】
同様にして、ステップＳ７において色信号値ｒの置換を行っている場合には、置換処理後の色信号値ｒを置換候補値ｍｉｘの算出に用いることになる。置換処理後の色信号値ｒを置換候補値ｍｉｘの算出に用いれば、置換処理後の色信号値ｇの飽和レベルを色信号値ｂおよび置換処理後の色信号値ｒの飽和レベルに統一することができる。この場合も、上述したのと同様に、ステップＳ７において色信号値ｒの置換を行う前に色信号値ｒの飽和レベルＭｒが飽和レベルＭｂとなるよう正規化した上で、ステップＳ８において置換候補値ｍｉｘ＝（ｂ＋ｒ・Ｍｒ／Ｍｂ）／２としてもよい。
【０１５８】
なお、飽和レベルＭｂ＞色信号値ｂであるか又は色信号値ｂ≧色信号値ｒであると（ステップＳ４において、ＮＯ）、信号置換部２４９はステップＳ８の処理に進む。同様にして、飽和レベルＭｒ＞色信号値ｒであるか又は色信号値ｒ≧色信号値ｂであると（ステップＳ６において、ＮＯ）、信号置換部２４９はステップＳ８の処理に進む。
【０１５９】
続いて、信号置換部２４９は、色信号値ｇが飽和レベルＭｇに達し（つまり、Ｍｇ≦ｇ）、かつ置換候補値ｍｉｘが色信号値ｇより大きい（つまり、ｇ＜ｍｉｘ）か否かを判定する（ステップＳ９）。
【０１６０】
飽和レベルＭｇ≦色信号値ｇでかつ色信号値ｇ＜置換候補値ｍｉｘであると（ステップＳ９において、ＹＥＳ）、信号置換部２４９は色信号値ｇを置換候補値ｍｉｘで置換する。つまり、信号置換部２４９は色信号値ｇ＝置換候補値ｍｉｘとする（ステップＳ１０）。
【０１６１】
そして、信号置換部２４９は、第２画像データの全ての画素について置換処理が終了したか否かを判定する。つまり、信号置換部２４９は、最終画素まで置換処理が終了したか否かを判定する（ステップＳ１１）。
【０１６２】
最終画素まで置換処理が終了していないと（ステップＳ１１において、ＮＯ）、信号置換部２４９は、ステップＳ２の処理に戻って、次の画素について色信号値ｒ、ｇ、およびｂを取得する。一方、最終画素まで置換処理が終了すると（ステップＳ１１において、ＹＥＳ）、信号置換部２４９は、第２画像データに係る置換処理を終了する。
【０１６３】
なお、飽和レベルＭｇ＞色信号値ｇであるか又は色信号値ｇ≧置換候補値ｍｉｘであると（ステップＳ９において、ＮＯ）、信号置換部２４９はステップＳ１１の処理に進む。
【０１６４】
ステップＳ８における置換候補値ｍｉｘの算出方法は、上記の方法（平均値）以外であってもよい。例えば、置換候補値ｍｉｘ＝ｒ・ｂ／（ｒ＋ｂ）とする手法や、色信号値ｒまたは色信号値ｂの大きい方を選択する大値選択によって求めてもよい。ただし、置換候補値ｍｉｘ≫色信号値ｒまたは置換候補値ｍｉｘ≫色信号値ｂとなりうる算出方法を採用する場合には、ステップＳ１０において色信号値ｒまたは色信号値ｂの小さい方に置換候補値ｍｉｘ−色信号値ｇに所定の係数を乗算した値を加算する。このように色信号値ｇに加算した値を他の信号値にも加算することで、置換による色比の変化を抑制することができる。
【０１６５】
図１７は、図１６に示す置換処理によって生成された置換処理後の第２画像データを説明するための図である。そして、図１７（ａ）はＷＢ調整後において色信号Ｒ、Ｇ、およびＢの全てが飽和レベルに達している状態を示す図であり、図１７（ｂ）はＷＢ調整後において色信号ＧおよびＢが飽和レベルに達している状態を示す図である。また、図１７（ｃ）はＷＢ調整後において色信号ＲおよびＧが飽和レベルに達している状態を示す図であり、図１７（ｄ）はＷＢ調整後において色信号Ｇのみが飽和レベルに達している状態を示す図である。
【０１６６】
図１７において、図１７の縦軸は、信号値（つまり、色信号値）の大きさを示す。
【０１６７】
図１７（ａ）に示す例では、ＷＢ調整後の色信号Ｒ、Ｇ、およびＢの信号値の全てがそれぞれ飽和レベル５２３、５２５、および５２４に達している。これら色信号Ｒ、Ｇ、およびＢについて、図１６で説明した置換処理を行うと、ステップＳ５において色信号Ｂが色信号Ｒで置換され、さらに、ステップＳ１０において色信号Ｇが置換候補値ｍｉｘで置換される。この結果、置換後の色信号Ｒ、Ｇ、およびＢの信号値は飽和レベル２３に達することになる。
【０１６８】
図１７（ｂ）に示す例では、ＷＢ調整後の色信号ＧおよびＢの信号値がそれぞれ飽和レベル５２５および５２４に達している。色信号Ｒ、Ｇ、およびＢについて、図１６で説明した置換処理を行うと、ステップＳ４において、色信号Ｒが色信号Ｂより小さいので、色信号Ｂの置換は行われない。一方、ステップＳ１０において、色信号Ｇが置換候補値ｍｉｘで置換される。
【０１６９】
この結果、置換後の色信号Ｒの信号値はＷＢ調整後の色信号Ｒの信号値と同一となり、置換後の色信号Ｇの信号値は、ＷＢ調整後の色信号ＲおよびＢの信号値の平均値となる。そして、置換後の色信号Ｂの信号値はＷＢ調整後の色信号Ｂの信号値と同一となる。
【０１７０】
図１７（ｃ）に示す例では、ＷＢ調整後の色信号ＲおよびＧの信号値がそれぞれ飽和レベル５２３および５２５に達している。色信号Ｒ、Ｇ、およびＢについて、図１６で説明した置換処理を行うと、ステップＳ４において、色信号Ｂが飽和していないので、色信号Ｂの置換は行われない。一方、ステップＳ１０において、色信号Ｇが置換候補値ｍｉｘで置換される。
【０１７１】
この結果、置換後の色信号Ｒの信号値はＷＢ調整後の色信号Ｒの信号値と同一となり、置換後の色信号Ｇの信号値は、ＷＢ調整後の色信号ＲおよびＢの信号値の平均値となる。そして、置換後の色信号Ｂの信号値はＷＢ調整後の色信号Ｂの信号値と同一となる。
【０１７２】
図１７（ｄ）に示す例では、ＷＢ調整後の色信号Ｇの信号値が飽和レベル５２５に達している。色信号Ｒ、Ｇ、およびＢについて、図１６で説明した置換処理を行うと、ステップＳ４において、色信号Ｂが飽和していないので、色信号Ｂの置換は行われない。
【０１７３】
一方、ステップＳ９において、置換候補値ｍｉｘが色信号Ｇの信号値よりも小さいので、色信号Ｇについても置換は行われない。この結果、置換後の色信号Ｒ、Ｇ、およびＢの信号値はＷＢ調整後の色信号Ｒ、Ｇ、およびＢの信号値と同一となる。
【０１７４】
このようにして、本発明の第１の実施形態では、信号置換部２４９による置換処理によって画像の高輝度領域における階調が改善されるという効果がある。
【０１７５】
以下、図１８を参照して、本発明の各実施例の動作を説明する。
【０１７６】
＜実施例１＞
実施例１では、Ａ像、（Ａ＋Ｂ）像が記録されている画像ファイルを用いた場合のダイナミックレンジ拡張方法の例を述べる。
【０１７７】
図１８は実施例１におけるダイナミックレンジ拡張処理のフローチャートである。このフローチャートおける各処理は、図２のシステム制御部５０が不揮発性メモリ５６に格納されたプログラムをメモリ３２に展開して実行することにより実現される。
【０１７８】
Ｓ１００１では、画像入力手段により記録媒体２００に記録された画像ファイルからＡ像、（Ａ＋Ｂ）像を取得して、メモリ３２に格納する。
【０１７９】
Ｓ１００２では、（Ａ＋Ｂ）像、Ａ像の差分を計算し、Ｂ像を抽出し、メモリ３２に格納する。
【０１８０】
Ｓ１００３では、Ａ像、Ｂ像をメモリ３２から読み出し、図４の画像処理部２４の不要成分検出部２５０で、前述の不要成分検出手法を用いて不要成分を検出し、検出結果をメモリ３２に格納する。
【０１８１】
Ｓ１００４では、Ｓ１００３で不要成分が検出できたかどうかを判定する。検出できた場合はＳ１００５に進み、そうでない場合はＳ１０１３に進む。
【０１８２】
Ｓ１００５では、操作部７０よりユーザから不要成分低減処理を行うように指定されたかどうかを判定する。不要成分低減処理を行う場合はＳ１００６に進み、そうでない場合はＳ１００８に進む。
【０１８３】
Ｓ１００６では、（Ａ＋Ｂ）像をメモリ３２から読み出し、検出された不要成分を（Ａ＋Ｂ）像から減算することで不要成分低減処理を行い、不要成分低減画像を（Ａ＋Ｂ）像としてメモリ３２に再度格納する。
【０１８４】
Ｓ１００７では、Ｓ１００３で検出された不要成分がＡ像から検出されたかどうかを判定する。不要成分がＡ像から検出された場合はＳ１００９に進み、そうでない場合はＳ１０１０に進む。
Ｓ１００８では、Ｓ１００７と同様の判定を行う。不要成分がＡ像から検出された場合はＳ１０１１に進み、そうでない場合は、Ｓ１０１２に進む。
【０１８５】
Ｓ１００９では、（Ａ＋Ｂ）像をメモリ３２から読み出し、画像処理部２４において前述のダイナミックレンジ拡張手法２を用いてダイナミックレンジ拡張処理を行い、生成されたダイナミックレンジ拡張画像を記録媒体２００に記録する。
【０１８６】
Ｓ１０１０では、ダイナミックレンジ拡張手法の判断を行う。詳細な手順については後述する。本ステップにおいては、Ａ像に不要成分が映り込んでおらず、ダイナミックレンジ拡張手法１でＡ像を用いた場合も不要成分が加算されてしまうことはなく、ユーザの意図通りに不要成分低減が可能である。
【０１８７】
Ｓ１０１１では、ダイナミックレンジ拡張手法の判断を行う。詳細な手順については後述する。本ステップにおいては、Ａ像に不要成分が映り込んでいるため、ダイナミックレンジ拡張手法１でＡ像を用いた場合も不要成分が消えてしまうことはなく、ユーザの意図通りに不要成分低減を行わないことが可能である。
【０１８８】
Ｓ１０１２では、（Ａ＋Ｂ）像をメモリ３２から読み出し、画像処理部２４において前述のダイナミックレンジ拡張手法２を用いてダイナミックレンジ拡張処理を行い、生成されたダイナミックレンジ拡張画像を記録媒体２００に記録する。
【０１８９】
Ｓ１０１３では、ダイナミックレンジ拡張手法の判断を行う。詳細な手順については後述する。本ステップでは、不要成分が検出されていないため、ダイナミックレンジ拡張手法への影響はない。
【０１９０】
Ｓ１０１０、Ｓ１０１１、Ｓ１０１３でのダイナミックレンジ拡張手法判断の手順について説明する。
【０１９１】
Ｓ１０２１では、Ａ像、（Ａ＋Ｂ）像をメモリ３２から読み出し、露出値、ダイナミックレンジ情報を比較し、Ａ像の方がダイナミックレンジが広いかどうかを判定する。Ａ像の方がダイナミックレンジが広い場合はＳ１０２２に進み、そうでない場合はＳ１０２３に進む。
【０１９２】
Ｓ１０２２では、Ａ像、（Ａ＋Ｂ）像をメモリ３２から読み出し、画像処理部２４において前述のダイナミックレンジ拡張手法１を用いてダイナミックレンジ拡張処理を行い、生成されたダイナミックレンジ拡張画像を記録媒体２００に記録する。
【０１９３】
Ｓ１０２３では、（Ａ＋Ｂ）像をメモリ３２から読み出し、画像処理部２４において前述のダイナミックレンジ拡張手法２を用いてダイナミックレンジ拡張処理を行い、生成されたダイナミックレンジ拡張画像を記録媒体２００に記録する。
【０１９４】
以上のように、実施例１によれば、ユーザの指定した不要成分低減処理と、ダイナミックレンジ拡張処理を両立した画像処理が可能となる。
【０１９５】
＜実施例２＞
実施例２では、Ａ像、Ｂ像、（Ａ＋Ｂ）像が記録されている画像ファイルを用いた場合のダイナミックレンジ拡張方法の例を述べる。
【０１９６】
図１９は実施例２におけるダイナミックレンジ拡張処理のフローチャートである。このフローチャートおける各処理は、図２のシステム制御部５０が不揮発性メモリ５６に格納されたプログラムをメモリ３２に展開して実行することにより実現される。
【０１９７】
Ｓ１１０１では、画像入力手段により記録媒体２００に記録された画像ファイルからＡ像、Ｂ像、（Ａ＋Ｂ）像を取得して、メモリ３２に格納する。
【０１９８】
Ｓ１１０２では、Ａ像、Ｂ像をメモリ３２から読み出し、図４の画像処理部２４の不要成分検出部２５０で、前述の不要成分検出手法を用いて不要成分を検出し、検出結果をメモリ３２に格納する。
【０１９９】
Ｓ１１０３では、Ｓ１１０２で不要成分が検出できたかどうかを判定する。検出できた場合はＳ１１０４に進み、そうでない場合はＳ１１１２に進む。
【０２００】
Ｓ１１０４では、操作部７０よりユーザから不要成分低減処理を行うように指定されたかどうかを判定する。不要成分低減処理を行う場合はＳ１１０５に進み、そうでない場合はＳ１１０７に進む。
【０２０１】
Ｓ１１０５では、（Ａ＋Ｂ）像をメモリ３２から読み出し、検出された不要成分を（Ａ＋Ｂ）像から減算することで不要成分低減処理を行い、不要成分低減画像を（Ａ＋Ｂ）像としてメモリ３２に再度格納する。
【０２０２】
Ｓ１１０６では、Ｓ１１０２で検出された不要成分がＡ像から検出されたかどうかを判定する。不要成分がＡ像から検出された場合はＳ１１０８に進み、そうでない場合はＳ１１０９に進む。
【０２０３】
Ｓ１１０７では、Ｓ１１０６と同様の判定を行う。不要成分がＡ像から検出された場合はＳ１１１０に進み、そうでない場合はＳ１１１１に進む。
【０２０４】
Ｓ１１０８では、ダイナミックレンジ拡張に用いる視差画像としてＢ像を選択する。不要成分低減処理を行うため、不要成分が映り込んでいるＡ像は使用不可である。
【０２０５】
Ｓ１１０９では、ダイナミックレンジ拡張に用いる視差画像としてＡ像を選択する。不要成分低減処理を行うため、不要成分が映り込んでいるＢ像は使用不可である。
【０２０６】
Ｓ１１１０では、ダイナミックレンジ拡張に用いる視差画像としてＡ像を選択する。不要成分低減処理を行わないため、不要成分が映り込んでいるＡ像を用いる。
【０２０７】
Ｓ１１１１では、ダイナミックレンジ拡張に用いる視差画像としてＢ像を選択する。不要成分低減処理を行わないため、不要成分が映り込んでいるＢ像を用いる。
【０２０８】
Ｓ１１１２では、ダイナミックレンジ拡張に用いる視差画像としてＡ像、Ｂ像を選択する。不要成分が検出されていないため、Ａ像、Ｂ像のどちらを用いてもよい。
【０２０９】
Ｓ１１１３では、選択した視差画像、（Ａ＋Ｂ）像をメモリ３２から読み出し、露出値、ダイナミックレンジ情報を比較し、選択した視差画像の方がダイナミックレンジが広いかどうかを判定する。選択した視差画像の方がダイナミックレンジが広い場合はＳ１１１４に進み、そうでない場合はＳ１１１５に進む。
【０２１０】
Ｓ１１１４では、選択した視差画像、（Ａ＋Ｂ）像をメモリ３２から読み出し、画像処理部２４において前述のダイナミックレンジ拡張手法１を用いてダイナミックレンジ拡張処理を行い、生成されたダイナミックレンジ拡張画像を記録媒体２００に記録する。
【０２１１】
Ｓ１０２３では、（Ａ＋Ｂ）像をメモリ３２から読み出し、画像処理部２４において前述のダイナミックレンジ拡張手法２を用いてダイナミックレンジ拡張処理を行い、生成されたダイナミックレンジ拡張画像を記録媒体２００に記録する。
【０２１２】
以上のように、実施例２によれば、ユーザの指定した不要成分低減処理と、ダイナミックレンジ拡張処理を両立した画像処理が可能となる。
【０２１３】
なお、システム制御部５０が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。
【０２１４】
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【０２１５】
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず撮像された画像を取得可能である画像処理装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレームなどに適用可能である。
【符号の説明】
【０２１６】
２８  表示部、６０  モード切替スイッチ、１００  デジタルカメラ
【図１】
2019029780.tif 000003
【図２】
2019029780.tif 000004
【図３】
2019029780.tif 000005
【図４】
2019029780.tif 000006
【図５】
2019029780.tif 000007
【図６】
2019029780.tif 000008
【図７】
2019029780.tif 000009
【図８】
2019029780.tif 000010
【図９】
2019029780.tif 000011
【図１０】
2019029780.tif 000012
【図１１】
2019029780.tif 000013
【図１２】
2019029780.tif 000014
【図１３】
2019029780.tif 000015
【図１４】
2019029780.tif 000016
【図１５】
2019029780.tif 000017
【図１６】
2019029780.tif 000018
【図１７】
2019029780.tif 000019
【図１８】
2019029780.tif 000020
【図１９】
2019029780.tif 000021