(57)【要約】【課題】  ノイズ増加や、色づきの発生を防ぎつつ、画像データのダイナミックレンジ拡張処理を行う。【解決手段】  光学系の異なる瞳領域を通過した光を撮像素子の第１画素と第２画素で受光して得られる画像データを対して画像処理を行う画像処理装置であって、第１画素と第２画素の一方で受光して得られた第１画像データと、第１画素と第２画素のそれぞれで得られた画像データの加算に対応する第２画像データとを用いて、ダイナミックレンジを拡張した画像データを生成する生成手段を備え、生成手段は、第１画像データと第２画像データを用いてダイナミックレンジ拡張画像を生成する第１のダイナミックレンジ拡張処理手段と、第２画像データの各色信号の飽和を判定してダイナミックレンジ拡張画像を生成する第２のダイナミックレンジ拡張処理手段と、第１と第２のダイナミックレンジ拡張処理手段により生成された画像を合成する画像合成処理手段と、有する。【選択図】  図２
2018110298.tif 000002
【特許請求の範囲】
【請求項１】
単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を撮像素子の第１画素と第２画素で受光して得られる画像データを対して画像処理を行う画像処理装置であって、
前記第１画素と第２画素の一方で受光して得られた第１画像データと、前記第１画素と第２画素のそれぞれで得られた画像データの加算に対応する第２画像データとを用いて、ダイナミックレンジを拡張した画像データを生成する生成手段を備え、
前記生成手段は、
前記第１画像データと前記第２画像データを用いてダイナミックレンジ拡張画像を生成する、第１のダイナミックレンジ拡張処理手段と、
前記第２画像データの各色信号の飽和を判定してダイナミックレンジ拡張画像を生成する、第２のダイナミックレンジ拡張処理手段と、
前記第１と第２のダイナミックレンジ拡張処理手段により生成された画像を合成する画像合成処理手段と、有することを特徴とする画像処理装置。
【請求項２】
前記第１画像データと前記第２画像データの撮影時の情報を取得する撮影情報取得手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成処理手段は、前記第１画像データと第２画像データの合成比率を決定する合成比率決定手段を有すること、を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像合成処理手段は、前記第１画像データと第２画像データに含まれるノイズの量を算出するノイズ量算出手段を有し、前記ノイズ量算出手段によって算出されたノイズ量に応じて合成比率を決定すること、を特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像合成手段は、前記第１のダイナミックレンジ拡張処理手段による処理において、前記第１の画像データに適用されたゲイン値を算出するゲイン値算出手段を有し、
前記ゲイン値算出手段により算出されたゲイン値により合成比率を決定すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第２のダイナミックレンジ拡張処理手段は、
前記第２の画像データにおいて、色信号の各々の飽和レベルを算出する算出手段と、
前記第２画像データの画素の各々における色信号値を得る取得手段と、
前記飽和レベルおよび前記色信号値に応じて前記色信号の置換を行うか否かを判定する判定手段と、
前記判定手段によって置換を行うと判定された画素においては、対応する前記第１画像データの色差情報を用いて前記色信号を置換する置換処理手段と、を有することを特徴とする請求項１の画像処理装置。
【請求項７】
単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を撮像素子の第１画素と第２画素で受光して得られる画像データを対して画像処理を行う画像処理方法であって、
前記第１画素と第２画素の一方で受光して得られた第１画像データと、前記第１画素と第２画素のそれぞれで得られた画像データの加算に対応する第２画像データとを用いて、ダイナミックレンジを拡張した画像データを生成する生成ステップを備え、
前記生成ステップは、
前記第１画像データと前記第２画像データを用いてダイナミックレンジ拡張画像を生成する、第１のダイナミックレンジ拡張処理ステップと、
前記第２画像データの各色信号の飽和を判定してダイナミックレンジ拡張画像を生成する、第２のダイナミックレンジ拡張処理ステップと、
前記第１と第２のダイナミックレンジ拡張処理手段により生成された画像を合成する画像合成処理ステップと、有することを特徴とする画像処理方法。
【請求項８】
単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を受光する第１画
素および第２画素のうち一方の画素から第１画像データを取得する第１取得手段と、
前記第１画素から得られる画像データおよび前記第２画素から得られる画像データを加
算した第２画像データを取得する第２取得手段と、
前記第２画像データにおいて、色信号の各々の飽和レベルを算出する算出手段と、
前記第２画像データの画素の各々における色信号値を得る取得手段と、
前記飽和レベルおよび前記色信号値に応じて前記色信号の置換を行うか否かを判定する判定手段と、
前記判定手段によって置換を行うと判定された画素においては、対応する前記第１画像データの色差情報を用いて前記色信号を置換する置換処理手段と、
前記置換処理手段によって置換処理が施された第２画像データに所定の処理を施す処理手段と、を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像のダイナミックレンジ拡張処理を行う画像処理に関する。
【背景技術】
【０００２】
撮影レンズの射出瞳をマイクロレンズアレイで複数の領域に瞳分割し、分割された瞳領域に応じた複数の画素で受光する撮像装置がある。このような撮像装置においては、異なる瞳領域に応じた複数の画素の信号値を組み合わせることによって、一度の撮影で露出の異なる複数の画像が撮影可能である。そして、同時に撮影された露出の異なる画像を用いて、高輝度領域のダイナミックレンジ拡張処理を行う方法が特許文献１、特許文献２として開示されている。
【０００３】
また、撮像された各画素の各色信号の飽和レベルを算出し、各色信号の飽和レベルを比較して画素値を置換していくことで、高輝度領域の階調を失うことなく現像する方法が、特許文献３として開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１４４４１６号公報
【特許文献２】特開２０１６−０５８９９３号公報
【特許文献３】特開２０１５−１５６６１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１、特許文献２では露出の異なる画像を用いて、高輝度領域の階調を生成するために低露出の画像に対してゲインアップを行っており、ノイズが増加してしまう可能性がある。また、特許文献３では、画素値を推定することで高輝度領域の階調を生成しているため、推定が間違うことで色づきなどが発生してしまう場合がある。
【０００６】
そこで、本発明の目的は、ノイズ増加や、色づきの発生を防ぎつつ、ダイナミックレンジ拡張処理を行うことを可能とする画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の１実施態様は、単一のマイクロレンズを共有して光学系の異なる瞳領域を通過した光を撮像素子の第１画素と第２画素で受光して得られる画像データを対して画像処理を行う画像処理装置であって、第１画素と第２画素の一方で受光して得られた第１画像データと、第１画素と第２画素のそれぞれで得られた画像データの加算に対応する第２画像データとを用いて、ダイナミックレンジを拡張した画像データを生成する生成手段を備え、生成手段は、第１画像データと第２画像データを用いてダイナミックレンジ拡張画像を生成する第１のダイナミックレンジ拡張処理手段と、第２画像データの各色信号の飽和を判定してダイナミックレンジ拡張画像を生成する第２のダイナミックレンジ拡張処理手段と、第１と第２のダイナミックレンジ拡張処理手段により生成された画像を合成する画像合成処理手段と、有する。
【発明の効果】
【０００８】
本発明は、ノイズ増加や、色づきの発生を防ぎつつ、ダイナミックレンジ拡張処理を行うことを可能とする画像処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の機能構成を示したブロック図である。
【図２】本発明の実施形態に係る画像処理部の構成を説明するための図である。
【図３】本発明の実施形態に係る画像合成部の動作を説明するための図である。
【図４】画像処理部の動作を説明するための図である。
【図５】センサ瞳面における瞳強度分布と撮像素子（センサ）の像面における入射角感度特性を説明するための図である。
【図６】シェーディング特性を説明するための図である。
【図７】露出の異なる２つの画像を取得する様子を説明するための図である。
【図８】シェーディング補正係数を説明するための図である。
【図９】図２に示すＷＢ調整部で行われるＷＢ調整処理の一例を示す図である。
【図１０】図２に示す信号置換部で行われる置換処理の一例を説明するためのフローチャートである。
【図１１】図１０に示す置換処理によって生成された置換処理後のＲＡＷデータを説明するための図であり、（ａ）はＷＢ調整後において色信号の全てが飽和レベルに達している状態を示す図、（ｂ）はＷＢ調整後において色信号の一部が飽和レベルに達している状態の一例を示す図、（ｃ）はＷＢ調整後において色信号の一部が飽和レベルに達している状態の他の例を示す図、（ｄ）はＷＢ調整後において色信号の１つが飽和レベルに達している状態を示す図である。
【図１２】第１の実施形態に係る撮像装置が備える処理手段を示す図である。
【図１３】第１の実施形態に係る撮像装置において、実行される処理のフローチャートである。
【図１４】第２の実施形態に係る画像処理部の構成を説明するための図である。
【図１５】第２の実施形態に係る撮像装置が備える処理手段を示す図である。
【図１６】第２の実施形態に係る撮像装置において、実行される処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の実施形態について添付の図面に基づいて詳細に説明する。
【００１１】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００１２】
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。
【００１３】
ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。
【００１４】
ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１５】
光学系１０４は、被写体像を撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、単一のマイクロレンズの下に配置される主画素を有し、複数の主画素から構成される。主画素は、単一のマイクロレンズを共有して光学系１０４の異なる瞳領域を通過した光を受光する複数の副画素から構成されている。すなわち、主画素は、少なくとも第１画素および第２画素（以下、「副画素」と呼ぶ。）を有している。本実施形態においては、１つの主画素に対し副画素が２つ設けられているが、２以上（例えば、３つや４つ）の副画素を有していてもよい。なお、本発明においては、各副画素において画像撮影時のシャッター秒時を同じに設定している。
【００１６】
撮像部１０５は、光学系１０４により形成された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。
【００１７】
Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。
【００１８】
画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して所定の画像処理を行う。
【００１９】
記録媒体１０８は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像などが、記録画像として記録される。
【００２０】
入力部１０９は、タッチパネル等であり、ユーザによる操作を受け付け、各ブロックに伝達を行う。
【００２１】
図４は、２つの異なる露出の画像を取得する手順を説明するための図であり、横軸が画素位置（Ｘ）、縦軸が画素値を示している。Ｊ２０１ａは図５の副画素Ｊ１１０ａの瞳分割画像（Ａ像）、Ｊ２０１ｂは図５の副画素Ｊ１１０ｂの瞳分割画像（Ｂ像）、４０１ａｂは図５の副画素Ｊ１１０ａと副画素Ｊ１１０ｂの加算画像（（Ａ＋Ｂ）像）である。
【００２２】
焦点検出用の非加算読みだしモードを用いれば、図１の撮像部１０５から同じ露出のＡ像とＢ像をそれぞれ独立に読み出して、画像処理部１０７でＡ像とＢ像を加算してより高い露出である（Ａ＋Ｂ）像を作ることも可能である。
【００２３】
その一方で、図１の撮像部１０５からＡ像と（Ａ＋Ｂ）像を独立に読み出すことも可能である。つまり、非加算読みだしモードでＡ像読み出しの後にＢ像が読みだされる場合、Ｂ像読み出しの直前のＦＤ領域をリセットしなければ、Ｂ像の信号をＦＤ領域に転送した時にＡ像の信号と加算することができる。これにより、Ｂ像の代わりに（Ａ＋Ｂ）像を読み出すことができる。このようにすれば、（Ａ＋Ｂ）像は画素レベルでの信号加算で得られるため、加算時にアンプノイズの影響を受けず、Ａ／Ｄ変換後の画像を加算することでは得られない高Ｓ／Ｎの画像を得ることができる。
【００２４】
（Ａ＋Ｂ）像に対してＡ像は画素の開口が１段分アンダーとなるため、図１の画像処理部１０７でＡ像と（Ａ＋Ｂ）像を画像合成し、１段分のダイナミックレンジ拡大効果を得ることができる。よって、Ａ像Ｊ２０１ａをアンダー露出画像４０３、（Ａ＋Ｂ）像４０１ａｂを適正露出画像４０２となる。なお、アンダー露出画像４０３をシェーディング補正して補正後アンダー露出画像４０４を生成する。
【００２５】
本実施形態では、このように生成されたＡ像および（Ａ＋Ｂ）像を入力画像として用いる。
【００２６】
次に、本実施形態における、第１のダイナミックレンジ拡張処理の手法を詳述する。
【００２７】
まず、複数の副画素から得られる瞳分割画像ごとに瞳強度分布が異なること、及びそれに基づくシェーディング特性について、図５〜１０を用いて説明する。図５は、センサ瞳面における瞳強度分布とセンサ像面における入射角感度特性を説明するための図である。
【００２８】
Ｊ１０７はセンサ瞳面である。Ｊ１０８はマイクロレンズアレイ、Ｊ１０９は画素アレイであり、撮像素子を構成している。Ｊ１１１は主画素であり、副画素Ｊ１１０ａと副画素Ｊ１１０ｂから構成されている。
【００２９】
瞳強度分布は、瞳のケラレにより副画素Ｊ１１０ａの瞳強度分布はＪ１０１ａ、副画素Ｊ１１０ｂの瞳強度分布はＪ１０１ｂのようになる。
【００３０】
瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面中央での入射角感度特性はＪ１０３ａ、Ｊ１０３ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０３ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０３ｂである。Ｊ１１２は絞りなどで制限される入射光の角度範囲である。像面中央では、副画素Ｊ１１０ａ、Ｊ１１０ｂに入射する光量は等しい。
【００３１】
また瞳強度分布Ｊ１０１ａ、Ｊ１０１ｂに対応する像面端での入射角感度特性はＪ１０５ａ、Ｊ１０５ｂのようになる。副画素Ｊ１１０ａの入射角感度特性はＪ１０５ａ、副画素Ｊ１１０ｂの入射角感度特性はＪ１０５ｂである。像面端と像面中央で結像位置が異なるので、像面端の入射角感度特性は像面中央に対して偏心したプロファイルとなる。このため、像面端では、図５の場合だと副画素Ｊ１１０ａに入射する光量よりも副画素Ｊ１１０ｂに入射する光量のほうが多くなる。
【００３２】
上記のことから、像面上の画素位置（Ｘ）と画素値の関係を表すシェーディング特性は、図６のようになる。図６のＪ２０１ａは図５の副画素Ｊ１１０ａのシェーディング特性、Ｊ２０１ｂは図５の副画素Ｊ１１０ｂのシェーディング特性である。図５の像面中央は図６のＸ＝０、像面端はＸ＝５００、に対応する。
【００３３】
図７は、図５の副画素Ｊ１１０ａとＪ１１０ｂで取得された異なる瞳分割画像ごとに、露出の異なる複数の画像を取得する様子を説明するための図である。副画素Ｊ１１０ｂを適正露出にして撮像した瞳分割画像がＪ３０３で、副画素Ｊ１１０ａを１段（１ＥＶ）アンダー露出にして撮像した瞳分割画像がＪ３０２である。それぞれの画像に対して、図６で示されるシェーディング特性の逆特性をシェーディング補正係数として乗算することで、Ｊ３０３はＪ３０５、Ｊ３０２はＪ３０４のようにシェーディング補正される。シェーディング補正係数は図８のようになり、Ｊ４０１ａは副画素Ｊ１１０ａの瞳分割画像、Ｊ４０１ｂは副画素Ｊ１１０ｂの瞳分割画像、に適用される。最終的に、Ｊ３０５が適正露出画像、Ｊ３０４がアンダー露出画像として取得され、像面の全面で１段分（１ＥＶ分）の露出差を得ることができる。このようにすることで、異なる瞳分割画像のそれぞれをシェーディング補正したのちに、ダイナミックレンジ拡大合成することができる。
【００３４】
続いて、図２から図４を用いて、画像処理部１０７の構成と動作を説明する。
【００３５】
図２は、画像処理部１０７の構成を説明するための図である。
【００３６】
２０３は、シェーディング補正部であり、図４のアンダー露出画像４０３（Ａ像）に対して、図８のシェーディング補正係数Ｊ４０１ａを乗算することで、シェーディング補正をする（分割瞳のケラレ量ムラによる明暗ムラを補正する）。シェーディング補正に用いるシェーディング補正係数は、ＲＯＭ１０２から読み出される。
【００３７】
２０１はアンダー露出画像入力部である。アンダー露出画像入力部（第１取得手段）２０１は、副画素Ｊ１１０ａ、Ｊ１１０ｂのうち一方の画素からアンダー露出画像（第１画像データ）を取得する。
【００３８】
２０４は、図４の補正後アンダー露出画像４０４と適正露出画像４０２を画像合成処理してダイナミックレンジ拡大をする（すなわち、階調表現レンジの拡張された合成画像を生成する）ダイナミックレンジ拡張部である。２０２は適正露出画像入力部である。適正露出画像入力部（第２取得手段）２０２は、副画素Ｊ１１０ａから得られる画像データおよび副画素Ｊ１１０ｂから得られる画像データを加算した適正露出画像（第２画像データ）を取得する。ダイナミックレンジ拡張部２０４は、被写体の明るさに応じて、補正後アンダー露出画像４０４（詳細には、後述のゲインアップ後アンダー露出画像）と適正露出画像４０２とを合成して合成画像を生成する。
【００３９】
図３は、ダイナミックレンジ拡張部２０６の動作を説明するための図である。縦軸は画素値、横軸は被写体の明るさである。被写体の明るさは例えば補正後アンダー露出画像の画素値を参照すればよい。
【００４０】
３０１は補正後アンダー露出画像、３０３は適正露出画像である。ＴＨ２は画素の飽和レベルで、明るい被写体を適正露出で撮像した場合、画素値は飽和レベルＴＨ２でクリップされる。ＴＨ１は適正露出の飽和レベルに対応する被写体明るさである。３０２は補正後アンダー露出画像３０１を１段ゲインアップしたゲインアップ後アンダー露出画像である。補正後アンダー露出画像３０１は適正露出より１段アンダーなので、１段ゲインアップすることで適正露出画像３０３と明るさを合わせることができる。
【００４１】
ダイナミックレンジ拡張部２０４は、補正後アンダー露出画像３０１、適正露出画像３０３を比較して、領域ごとに輝度を基づいて差分絶対値和等を利用して最も類似している位置からシフト量を算出し、シフト量を用いて位置合わせを行う位置補正部２０４ａ（位置合わせ手段）を有する。そして、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する判定部２０４ｂ（判定手段）を有し、判定部２０４ｂの判定結果に応じて補正後アンダー露出画像３０１または適正露出画像３０３のいずれかを選択する選択部２０４ｃ（選択手段）を有する。
【００４２】
ここで、選択部２０４ｃは、被写体の明るさが閾値未満である場合は適正露出画像３０３を選択し、被写体の明るさが閾値以上である場合は補正後アンダー露出画像３０１を選択する。そして、ダイナミックレンジ拡張部２０４は、選択部２０４ｃにより補正後アンダー露出画像３０１が選択された場合は、補正後アンダー露出画像３０１をゲインアップする。
【００４３】
被写体明るさがＴＨ１未満の画素位置では適正露出画像３０３を、それ以外の画素位置ではゲインアップ後アンダー露出画像３０２を出力することで、ダイナミックレンジ拡大された画像を出力することができる。
【００４４】
次に、本手法のダイナミックレンジ拡張部２０４の動作を図９のフローチャートを用いて説明する。図９のフローチャートは、制御部１０１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ１０２に格納されているプログラムをＲＡＭ１０３に展開し、ＣＰＵが実行することにより実現される。
【００４５】
最後に、本手法の動作手順について説明する。本手法は制御部１０１によって制御され、ＲＯＭ１０２に格納されているプログラムをＲＡＭ１０３に展開し、ＣＰＵが実行することにより実現される。
【００４６】
以上述べたように、以下の手順にて入力画像を取得してから第１のダイナミックレンジ拡張処理までの処理が実行される。
【００４７】
ダイナミックレンジ拡張部２０４は、シェーディング補正部２０３から補正後アンダー露出画像３０１を取得する（手順１）。
【００４８】
ダイナミックレンジ拡張部２０４は、適正露出画像入力部２０５を介して、適正露出画像３０３を取得する（手順２）。
【００４９】
位置補正部２０４ａにより、所定の画素位置における補正後アンダー露出画像３０１と適正露出画像３０３に対して位置合わせを行う（手順３）。
【００５０】
判定部２０４ｂにより、所定の画素位置における被写体の明るさが閾値（ＴＨ１）以上であるか否かを判定する（手順４）。被写体の明るさが閾値以上である場合は次の手順５に進み、閾値未満である場合は手順６に進む。
【００５１】
選択部２０４ｃは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、補正後アンダー露出画像３０１を選択する（手順５）。
【００５２】
選択部２０４ｃは、取得した補正後アンダー露出画像３０１および適正露出画像３０３のうち、適正露出画像３０３を選択する（手順６）。
【００５３】
ダイナミックレンジ拡張部２０４は、手順５、手順６で選択された画像データに基づいて合成画像を生成する（手順７）。このとき、被写体の明るさが閾値以上の画素位置では（すなわち、選択部２０４ｃにより補正後アンダー露出画像３０１が選択された場合は）、補正後アンダー露出画像３０１をゲインアップして、ゲインアップ後アンダー露出画像３０２を生成する。
【００５４】
次に、本実施形態における、第２のダイナミックレンジ拡張処理の手法を詳述する。
【００５５】
本手法において図２の画像処理部１０７では、アンダー露出画像入力部（第１取得手段）２０１、適正露出画像入力部（第２取得手段）２０２、ホワイトバランス（ＷＢ）調整部２０５、信号置換部２０６が用いられる。
【００５６】
本手法は、アンダー露出画像入力部２０１からアンダー露出画像（第１画像データ）、および適正露出画像入力部２０２から適正露出画像（第２画像データ）が入力される。
【００５７】
ＷＢ調整部２０５は色信号の各々の信号値にＷＢ係数（ホワイトバランス係数）を乗算する。これによって、ＷＢ調整部２０５は色信号のレベルを調整して、グレーの被写体を、各色信号のレベルが揃ったグレーとして出力する。
【００５８】
ここでは、第２画像データの一部領域から色信号の信号値を抽出してＷＢ係数を求め、撮像部１０５が第２画像データとともにＷＢ係数を画像処理部１０７に送るものとする。なお、撮像部１０５が測光部の測光結果などその他の公知方法によってＷＢ係数を求めてもよい。
【００５９】
ＷＢ係数は、色信号毎に求められる、各色信号に対するゲイン量を示す値であって、色信号の信号値にＷＢ係数を乗算すると、グレーの被写体において各色信号が同一の信号値となる。ここでは、上述のように、撮像部１が第２画像データとともにＷＢ係数を現像部２に送るものとしたが、標準的な光源下の撮影におけるＷＢ係数を予め現像部２に設定するようにしてもよい。さらには、ユーザが入力した色温度に基づいて、ＷＢ調整部２０５がＷＢ係数を算出するようにしてもよい。また、ＷＢ調整部２０５は、第２画像データに付加されたＷＢ係数を用いることなく、現像の際にユーザが指定した手法でＷＢ係数を算出するようにしてもよい。なお、ユーザの入力は入力部１０９を介して受け付けるものとする。
【００６０】
図９は、図１に示すＷＢ調整部２０５で行われるＷＢ調整処理の一例を示す図である。図９において、縦軸は、各色信号（Ｒ，Ｇ，Ｂ）の信号値の大きさを示す。図示のように、第２画像データは色信号Ｒ、Ｇ、およびＢを有しており、ここでは、撮像素子（イメージセンサー）のセンサ飽和値が参照番号２１で示されている。このセンサ飽和値２１は撮像素子の分光感度特性、撮像部１の処理精度、および所定の閾値によって定まる色信号の信号値の上限値である。なお、図示の例では、色信号の各々についてセンサ飽和値２１は同一であるが、センサ飽和値２１は色信号毎に異なるようにしてもよい。
【００６１】
図示の第２画像データについて、ＷＢ調整部２０５がＷＢ係数を乗算した結果がＷＢ調整後の信号値である。ＷＢ係数を乗算することによって、色信号毎の上限値が変わる。図示の例では、色信号Ｒに係るＷＢ係数が”２”、色信号Ｂに係るＷＢ係数が”１．５”、そして、色信号ＧのＷＢ係数が”１”とした。
【００６２】
ここで、色信号Ｒに係る飽和レベルは飽和レベル２３であり、当該飽和レベル２３はセンサ飽和値２１の２倍となる。色信号Ｂに係る飽和レベルは飽和レベル２４であり、当該飽和レベル２４はセンサ飽和値２１の１．５倍となる。色信号Ｇに係る飽和レベルは飽和レベル２５であり、当該飽和レベル２３はセンサ飽和値２１と等しい。
【００６３】
図１０は、図２に示す信号置換部２０６で行われる置換処理の一例を説明するためのフローチャートである。
【００６４】
なお、図示のフローチャートに係る処理においては、ＷＢ調整後の信号値において、色信号Ｇの飽和レベルが最小であり、色信号Ｒの飽和レベルが最大又は２番目であるものとして説明を行う。このように、色信号における飽和レベルを規定すると、撮像部１の特性によって起こりえない処理を省いて処理を高速化することができる。
【００６５】
置換処理を開始すると、信号置換部２０６は第２画像データにおいて色信号毎の飽和レベルを求める（ステップＳ１）。例えば、信号置換部２０６は、第２画像データに応じてセンサ飽和値２１を求める。そして、信号置換部２０６は、ＷＢ調整部２０５で用いられるＷＢ係数をセンサ飽和値２１に乗算して、色信号Ｒの飽和レベル２３をＭｒ、色信号Ｂの飽和レベル２４をＭｂ、色信号Ｇの飽和レベル２５をＭｇとして算出する。
【００６６】
続いて、信号置換部２０６は、画像（つまり、第２画像データ）において第１番目の画素の信号値（色信号値）ｒ（赤）、ｇ（緑）、およびｂ（青）を取得する（ステップＳ２）。色補間部１２においてデベイヤー処理が事前に行われていない場合には、信号置換部２０６は不足分の色信号値を周囲の画素を参照して求めることになる。
【００６７】
次に、信号置換部２０６は、第２画像データの画素毎に次の処理を行う。まず、信号置換部２０６は、色信号Ｒの飽和レベルＭｒと色信号Ｂの飽和レベルＭｂとを比較して、飽和レベルＭｂ＜飽和レベルＭｒであるか否かを判定する（ステップＳ３）。
【００６８】
飽和レベルＭｂ＜飽和レベルＭｒであると（ステップＳ３において、ＹＥＳ）、信号置換部２０６は、色信号値ｂが飽和レベルＭｂに達し（つまり、Ｍｂ≦ｂ）、かつ色信号値ｒが色信号値ｂより大きい（つまり、ｂ＜ｒ）か否かを判定する（ステップＳ４）。
【００６９】
飽和レベルＭｂ≦色信号値ｂでかつ色信号値ｂ＜色信号値ｒであると（ステップＳ４において、ＹＥＳ）、信号置換部２０６は、色信号値ｂ（置換対象）を色信号値ｒ（置換元）で置換する。つまり、信号置換部２０６は、信号値ｂ＝信号値ｒとする（ステップＳ５）。
【００７０】
飽和レベルＭｂ≧飽和レベルＭｒであると（ステップＳ３において、ＮＯ）、信号置換部２０６は、色信号値ｒが飽和レベルＭｒに達し（つまり、Ｍｒ≦ｒ）、かつ色信号値ｂが色信号値ｒより大きい（つまり、ｒ＜ｂ）か否かを判定する（ステップＳ６）。
【００７１】
飽和レベルＭｒ≦色信号値ｒでかつ色信号値ｒ＜色信号値ｂであると（ステップＳ６において、ＹＥＳ）、信号置換部２０６は、色信号値ｒを色信号値ｂで置換する。つまり、信号置換部２０６は、信号値ｒ＝信号値ｂとする（ステップＳ７）。
【００７２】
続いて、信号置換部２０６は、色信号値ｇを置換する置換候補値のｇ’を求める。
【００７３】
信号置換部２０６は、シェーディング補正部２０３で生成したシェーディング補正後のアンダー露出画像３０１を取得する（ステップＳ２１）。
【００７４】
次に、信号置換部２０６は、シェーディング補正後のアンダー露出画像３０１に対して各画素値に対してＷＢ調整を行い、更に各画素値を２倍することで輝度調整を行う（ステップＳ２２）。
【００７５】
次に、信号置換部２０６は、置換を行う画素と同位置の輝度調整後画像の画素値から色差情報を取得する（ステップＳ２３）。
【００７６】
次に、信号置換部２０６は、ステップＳ２３で取得した色差と色信号値ｒ，ｇ’，ｂの色差の差が最小となる色信号値ｇ’を求める（ステップＳ２４）。つまり、適正露出画像（第２画像データ）とアンダー露出画像（第１画像データ）の夫々の色差信号が等しくなるようにして信号値を推定する。
【００７７】
このステップ２１からステップ２４の処理により、適正露出画像（第２画像データ）の色信号の信号値が飽和している場合であっても、アンダー露出画像（第１画像データ）の色信号の信号値の情報を推定することが可能となる。本実施形態ではｇの色信号を推定しているが、他の色信号（ｒ、ｂ）を推定してもよい。
【００７８】
次に、ステップＳ５において色信号値ｂの置換を行っている場合には、置換処理後の色信号値ｂを置換候補値ｇ’の算出に用いることになる。置換処理後の色信号値ｂを置換候補値ｇ’の算出に用いれば、置換処理後の色信号値ｇの飽和レベルを色信号値ｒおよび置換処理後の色信号値ｂの飽和レベルに統一することができる。
【００７９】
また、ステップＳ５において色信号値ｂの置換を行う前に色信号値ｂの飽和レベルＭｂが飽和レベルＭｒとなるよう正規化した上で、ステップＳ８において置換候補値ｇ’＝（ｒ＋ｂ・Ｍｒ／Ｍｂ）／２としてもよい。飽和レベルＭｂを飽和レベルＭｒに正規化した色信号値ｂを置換候補値ｇ’の算出に用いれば、置換処理後の色信号値ｇの飽和レベルを色信号値ｒおよび置換処理後の色信号値ｂの飽和レベルに統一することができる。
【００８０】
同様にして、ステップＳ７において色信号値ｒの置換を行っている場合には、置換処理後の色信号値ｒを置換候補値ｇ’の算出に用いることになる。置換処理後の色信号値ｒを置換候補値ｇ’の算出に用いれば、置換処理後の色信号値ｇの飽和レベルを色信号値ｂおよび置換処理後の色信号値ｒの飽和レベルに統一することができる。この場合も、上述したのと同様に、ステップＳ７において色信号値ｒの置換を行う前に色信号値ｒの飽和レベルＭｒが飽和レベルＭｂとなるよう正規化した上で、ステップＳ８において置換候補値ｇ’＝（ｂ＋ｒ・Ｍｒ／Ｍｂ）／２としてもよい。
【００８１】
なお、飽和レベルＭｂ＞色信号値ｂであるか又は色信号値ｂ≧色信号値ｒであると（ステップＳ４において、ＮＯ）、信号置換部２０６はステップＳ８の処理に進む。同様にして、飽和レベルＭｒ＞色信号値ｒであるか又は色信号値ｒ≧色信号値ｂであると（ステップＳ６において、ＮＯ）、信号置換部２０６はステップＳ８の処理に進む。
【００８２】
続いて、信号置換部２０６は、色信号値ｇが飽和レベルＭｇに達し（つまり、Ｍｇ≦ｇ）、かつ置換候補値ｇ’が色信号値ｇより大きい（つまり、ｇ＜ｇ’）か否かを判定する（ステップＳ９）。
【００８３】
飽和レベルＭｇ≦色信号値ｇでかつ色信号値ｇ＜置換候補値ｇ’であると（ステップＳ９において、ＹＥＳ）、信号置換部２０６は色信号値ｇを置換候補値ｇ’で置換する。
つまり、信号置換部２０６は色信号値ｇ＝置換候補値ｇ’とする（ステップＳ１０）。そして、信号置換部２０６は、第２画像データの全ての画素について置換処理が終了したか否かを判定する。つまり、信号置換部２０６は、最終画素まで置換処理が終了したか否かを判定する（ステップＳ１１）。
【００８４】
最終画素まで置換処理が終了していないと（ステップＳ１１において、ＮＯ）、信号置換部２０６は、ステップＳ２の処理に戻って、次の画素について色信号値ｒ、ｇ、およびｂを取得する。一方、最終画素まで置換処理が終了すると（ステップＳ１１において、ＹＥＳ）、信号置換部２０６は、第２画像データに係る置換処理を終了する。
【００８５】
なお、飽和レベルＭｇ＞色信号値ｇであるか又は色信号値ｇ≧置換候補値ｇ’であると（ステップＳ９において、ＮＯ）、信号置換部２０６はステップＳ１１の処理に進む。
【００８６】
ステップＳ８における置換候補値ｇ’の算出方法は、上記の方法（平均値）以外であってもよい。例えば、置換候補値ｇ’＝ｒ・ｂ／（ｒ＋ｂ）とする手法や、色信号値ｒまたは色信号値ｂの大きい方を選択する大値選択によって求めてもよい。ただし、置換候補値ｇ’≫色信号値ｒまたは置換候補値ｇ’≫色信号値ｂとなりうる算出方法を採用する場合には、ステップＳ１０において色信号値ｒまたは色信号値ｂの小さい方に置換候補値ｇ’−色信号値ｇに所定の係数を乗算した値を加算する。このように色信号値ｇに加算した値を他の信号値にも加算することで、置換による色比の変化を抑制することができる。
【００８７】
図１１は、図１０に示す置換処理によって生成された置換処理後の第２画像データを説明するための図である。そして、図１１（ａ）はＷＢ調整後において色信号Ｒ、Ｇ、およびＢの全てが飽和レベルに達している状態を示す図であり、図１１（ｂ）はＷＢ調整後において色信号ＧおよびＢが飽和レベルに達している状態を示す図である。また、図１１（ｃ）はＷＢ調整後において色信号ＲおよびＧが飽和レベルに達している状態を示す図であり、図１１（ｄ）はＷＢ調整後において色信号Ｇのみが飽和レベルに達している状態を示す図である。
【００８８】
図１１において、図１１の縦軸は、信号値（つまり、色信号値）の大きさを示す。図１１（ａ）に示す例では、ＷＢ調整後の色信号Ｒ、Ｇ、およびＢの信号値の全てがそれぞれ飽和レベル２３、２５、および２４に達している。これら色信号Ｒ、Ｇ、およびＢについて、図１０で説明した置換処理を行うと、ステップＳ５において色信号Ｂが色信号Ｒで置換され、さらに、ステップＳ１０において色信号Ｇが置換候補値ｇ’で置換される。この結果、置換後の色信号Ｒ、Ｇ、およびＢの信号値は飽和レベル２３に達することになる。
【００８９】
図１１（ｂ）に示す例では、ＷＢ調整後の色信号ＧおよびＢの信号値がそれぞれ飽和レベル２５および２４に達している。色信号Ｒ、Ｇ、およびＢについて、図１０で説明した置換処理を行うと、ステップＳ４において、色信号Ｒが色信号Ｂより小さいので、色信号Ｂの置換は行われない。一方、ステップＳ１０において、色信号Ｇが置換候補値ｇ’で置換される。
【００９０】
この結果、置換後の色信号Ｒの信号値はＷＢ調整後の色信号Ｒの信号値と同一となり、置換後の色信号Ｇの信号値は、ＷＢ調整後の色信号ＲおよびＢの信号値の平均値となる。そして、置換後の色信号Ｂの信号値はＷＢ調整後の色信号Ｂの信号値と同一となる。
【００９１】
図１１（ｃ）に示す例では、ＷＢ調整後の色信号ＲおよびＧの信号値がそれぞれ飽和レベル２３および２５に達している。色信号Ｒ、Ｇ、およびＢについて、図１０で説明した置換処理を行うと、ステップＳ４において、色信号Ｂが飽和していないので、色信号Ｂの置換は行われない。一方、ステップＳ１０において、色信号Ｇが置換候補値ｇ’で置換される。
【００９２】
この結果、置換後の色信号Ｒの信号値はＷＢ調整後の色信号Ｒの信号値と同一となり、置換後の色信号Ｇの信号値は、ＷＢ調整後の色信号ＲおよびＢの信号値の平均値となる。そして、置換後の色信号Ｂの信号値はＷＢ調整後の色信号Ｂの信号値と同一となる。
【００９３】
図１１（ｄ）に示す例では、ＷＢ調整後の色信号Ｇの信号値が飽和レベル２５に達している。色信号Ｒ、Ｇ、およびＢについて、図１０で説明した置換処理を行うと、ステップＳ４において、色信号Ｂが飽和していないので、色信号Ｂの置換は行われない。一方、ステップＳ９において、置換候補値ｇ’が色信号Ｇの信号値よりも小さいので、色信号Ｇについても置換は行われない。この結果、置換後の色信号Ｒ、Ｇ、およびＢの信号値はＷＢ調整後の色信号Ｒ、Ｇ、およびＢの信号値と同一となる。
【００９４】
このようにして、本発明の第１の実施形態では、信号置換部２０６による置換処理によって画像の高輝度領域における階調が改善されるという効果がある。
【００９５】
図１２は、本実施形態に係るデジタルカメラが備える処理手段を示す図である。
【００９６】
図１２に示される各種の処理手段は制御部１０１が記憶媒体１０８に記憶された所定のプログラムなどをＲＡＭ１０３に展開、実行し、デジタルカメラ１００が備える各部が制御部１０１からの指令に基づいて所定の動作を行うことにより実現される。
【００９７】
デジタルカメラ１００は、第１取得手段１０００、第２取得手段１００１、第１のダイナミックレンジ拡張処理手段１００２、第２のダイナミックレンジ拡張処理手段１００３、撮影情報取得手段１００４、ノイズ量算出手段１００５、ゲイン値算出手段１００６、画像合成比率決定手段１００７、画像合成手段１００８を備える。
【００９８】
第１取得手段１０００は、アンダー露出画像（第１画像データ）を撮像部１０５から取得する。取得された画像は、アンダー露出画像入力部２０１を経由して、画像処理部１０７に受け渡されて処理される。
【００９９】
第２取得手段１００１は、適正露出画像（第２画像データ）を撮像部１０５から取得する。取得された画像は、適正露出画像入力部２０２を経由して、画像処理部１０７に受け渡されて処理される。
【０１００】
第１のダイナミックレンジ拡張処理手段１００２は、前述の第１のダイナミックレンジ拡張手法を画像処理部１０７において行い、ダイナミックレンジが拡張された画像（第１拡張画像と記述）を生成する。
【０１０１】
第２のダイナミックレンジ拡張処理手段１００３は、前述の第２のダイナミックレンジ拡張手法を画像処理部１０７において行い、ダイナミックレンジが拡張された画像（以降、第２拡張画像と記述）を生成する。
【０１０２】
撮影情報取得手段１００４は、第１画像データおよび第２画像データに付加された撮影情報を取得する。撮影情報とは、画像を撮影した際の撮像装置の設定情報などである。本実施例ではＩＳＯ感度の設定値を取得するが、撮影時の設定に関する情報ならば限定せずに取得可能である。
【０１０３】
ノイズ量算出手段１００５は、前記撮影情報取得手段１００４で取得したＩＳＯ感度を用いてノイズ量を算出する。本実施例では以下の式でノイズ量を算出することとする。
ノイズ量＝ＩＳＯ感度÷１００
※ノイズ量の値は０〜１００とし、上下限でのクリップを行う。
【０１０４】
また、ノイズ量の算出手段としては、種々の公知の技術があり、上述した方法に限定するものではない。
【０１０５】
ゲイン値算出手段１００６は、画素毎に前記第１のダイナミックレンジ拡張手法において用いたシェーディング補正係数、およびアンダー露出画像に適用したゲイン値を取得し、それらを乗算したゲイン値を算出する。ゲイン値は１を等倍として算出する。
【０１０６】
画像合成比率決定手段１００７は、前記ノイズ量算出手段１００５で算出されたノイズ量、前記ゲイン値算出手段１００６で算出されたゲイン値を用いて、合成比率を決定する。本実施例では、百分率で比率を表すこととし、以下の計算で算出して決定することとする。
第１拡張画像の合成比率（％）＝１００−（ノイズ量×ゲイン値）
第２拡張画像の合成比率（％）＝１００−（第１拡張画像の合成比率）
【０１０７】
なお、画像合営比率決定手段１００７の計算方法は、上記の計算に限定しない。
【０１０８】
本実施例で用いる、第１のダイナミックレンジ拡張処理手段１００２は、アンダー露出画像に対してゲインアップを行うため、第１拡張画像のノイズが適正露出画像に対して多くなる傾向がある。そのため、ＩＳＯ感度が高いほどノイズが増えること、ゲインアップが大きいほどアンダー露出画像のノイズ比率が高いことを考慮し、第１拡張画像の合成比率を決定している。
【０１０９】
画像合成手段１００８は、前記第１のダイナミックレンジ拡張処理手段１００２、および前記第２のダイナミックレンジ拡張処理手段１００３で生成された画像を入力とし、前記画像合成比率決定手段１００７で決定された合成比率で合成した画像を生成する。
【０１１０】
次に実施形態に係るデジタルカメラの動作手順を示すフローチャートを図１３に示す。
【０１１１】
ステップＳ１００では、第１取得手段１０００、第２取得手段１００１により第１画像データ、および第２画像データを取得する。
【０１１２】
ステップＳ１０１では、第１のダイナミックレンジ拡張処理手段１００２、第２のダイナミックレンジ拡張処理手段１００３により、前記第１画像データおよび前記第２画像データを用いてダイナミックレンジ拡張処理を行い、２つのダイナミックレンジ拡張画像（第１拡張画像、第２拡張画像）を生成する。
【０１１３】
ステップＳ１０２では、画像情報取得手段１００４により、撮影時のＩＳＯ感度の設定値を取得する。前記第１画像データ、前記第２画像データは同時に撮影されたものであるため、ＩＳＯ感度の設定値は同等となる。
【０１１４】
ステップＳ１０３では、ノイズ量算出手段１００５により、ノイズ量を算出する。
【０１１５】
ステップＳ１０４では、ゲイン値算出手段１００６により、ゲイン値を取得する。
【０１１６】
ステップＳ１０５では、合成比率決定手段１００７により、ステップＳ１０２で生成された２つのダイナミックレンジ拡張画像の合成比率を決定する。
【０１１７】
ステップＳ１０６では、画像合成手段１００８により、ステップＳ１０２で生成された２つのダイナミックレンジ拡張画像と、ステップＳ１０５で決定された合成比率を用いて画像同士の加重加算を行い、合成画像を出力する。
【０１１８】
以上の構成により、ノイズ増加や色づきの発生を防ぎつつ、ダイナミックレンジ拡張処理を行うことを可能とした。
【０１１９】
（第２の実施形態）
次に本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の構成である箇所については説明を省略する。
【０１２０】
第２のダイナミックレンジ拡張処理手段は、ＷＢ調整後の画像に対して処理を行うため、第１のダイナミックレンジ拡張処理手段と同時に適用可能である。そこで、２つの処理を併用することでより広いダイナミックレンジ拡張処理を行う。
【０１２１】
図１４は本発明の第２の実施形態に係る画像処理部１０７の構成を示す図である。各構成要素については図２に準じており、行う処理は同様である。
【０１２２】
図１５は本発明の第２の実施形態に係るデジタルカメラが備える処理手段を示す図である。
【０１２３】
図１２に示される各種の処理手段は制御部１０１が記憶媒体１０８に記憶された所定のプログラムなどをＲＡＭ１０３に展開、実行し、デジタルカメラ１００が備える各部が制御部１０１からの指令に基づいて所定の動作を行うことにより実現される。
【０１２４】
デジタルカメラ１００は、第１取得手段２０００、第２取得手段２００１、第１のダイナミックレンジ拡張処理手段２００２、第２のダイナミックレンジ拡張処理手段２００３を備える。
【０１２５】
第１取得手段２０００は、アンダー露出画像（第１画像データ）を撮像部１０５から取得する。取得された画像は、アンダー露出画像入力部２０１を経由して、画像処理部１０７に受け渡されて処理される。
【０１２６】
第２取得手段２００１は、適正露出画像（第２画像データ）を撮像部１０５から取得する。取得された画像は、適正露出画像入力部２０２を経由して、画像処理部１０７に受け渡されて処理される。
【０１２７】
第１のダイナミックレンジ拡張処理手段２００２は、前述の第１のダイナミックレンジ拡張手法を画像処理部１０７において行い、ダイナミックレンジが拡張された画像（第１拡張画像と記述）を生成する。
【０１２８】
第２のダイナミックレンジ拡張処理手段２００３は、入力画像として第１拡張画像を用いて、前述の第２のダイナミックレンジ拡張手法を画像処理部１０７において行う。
【０１２９】
次に本実施形態に係るデジタルカメラの動作手順を示すフローチャートを図１６に示す。
【０１３０】
ステップＳ２００では、第１取得手段２０００、第２取得手段２００１により第１画像データ、および第２画像データを取得する。
【０１３１】
ステップＳ２０１では、第１のダイナミックレンジ拡張処理手段２００２を用いて、第１拡張画像を生成する。
【０１３２】
ステップＳ２０２では、第１拡張画像に対して第２のダイナミックレンジ拡張処理手段２００３を行い、ダイナミックレンジ拡張画像を出力する。
【０１３３】
以上の構成により、第１のダイナミックレンジ拡張処理手段、第２のダイナミックレンジ拡張処理手段を併用することで、より広くダイナミックレンジを拡張することを可能とした。
【０１３４】
なお、本発明は、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワークまたは各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行することで実現してもよい。
【符号の説明】
【０１３５】
１０７  画像処理部
２０４  ダイナミックレンジ拡張部
２０５  ＷＢ調整部
２０６  信号置換部
２０７  画像合成部
【図１】
2018110298.tif 000003
【図２】
2018110298.tif 000004
【図３】
2018110298.tif 000005
【図４】
2018110298.tif 000006
【図５】
2018110298.tif 000007
【図６】
2018110298.tif 000008
【図７】
2018110298.tif 000009
【図８】
2018110298.tif 000010
【図９】
2018110298.tif 000011
【図１０】
2018110298.tif 000012
【図１１】
2018110298.tif 000013
【図１２】
2018110298.tif 000014
【図１３】
2018110298.tif 000015
【図１４】
2018110298.tif 000016
【図１５】
2018110298.tif 000017
【図１６】
2018110298.tif 000018