(57)【要約】【課題】露出の異なる複数の画像を合成する際に、合成する画像の境界部分で違和感のない合成画像を得ることができるようにする。【解決手段】まず、適正露出、アンダー露出、オーバー露出の３つの画像を合成してＨＤＲ画像を得る。続いてアンダー露出画像に対してゲインアップ処理を行い、画角維持用画像を生成する。そして、ＨＤＲ画像の外周部分の輝度と画角維持用画像の同一部分の輝度とを比較し、輝度差が所定値以上であるか否かを判定する。この判定の結果、輝度差が所定値以上である場合は、調整領域における輝度の傾き（変化の割合）が所定値以下になるように調整領域を設定し、ＨＤＲ画像と画角維持用画像とを合成する。【選択図】図５
2016208118.tif 000002
【特許請求の範囲】
【請求項１】
露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する第１の合成手段と、
前記第１の合成手段によって生成された合成画像の周囲に前記複数の画像の中のいずれかを画角維持用の画像として、ゲインを調整して合成する第２の合成手段とを有し、
前記第２の合成手段は、前記画角維持用の画像と前記合成画像との境界に、前記境界における前記画角維持用の画像と前記合成画像との輝度差を調整する調整領域を設け、前記輝度差に応じて前記調整領域の幅を変更し、前記画角維持用の画像と前記合成画像とを合成することを特徴とする画像処理装置。
【請求項２】
前記第２の合成手段は、前記画角維持用の画像と前記合成画像とを合成した場合の前記調整領域における輝度の変化の割合が所定値以下となるように前記調整領域の幅を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の合成手段は、前記境界における水平方向および垂直方向それぞれの輝度差のうち、最大の輝度差となる位置に基づいて前記調整領域の幅を決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する第１の合成手段と、
前記第１の合成手段によって生成された合成画像の周囲に前記複数の画像の中のいずれかを画角維持用の画像として、ゲインを調整して合成する第２の合成手段とを有し、
前記第２の合成手段は、前記画角維持用の画像と前記合成画像との境界に、前記境界における前記画角維持用の画像と前記合成画像との輝度差を調整する調整領域を設け、前記画角維持用の画像を生成する際のゲインを調整した量に応じて前記調整領域の幅を決定し、前記画角維持用の画像と前記合成画像とを合成することを特徴とする画像処理装置。
【請求項５】
前記第２の合成手段は、前記画角維持用の画像と前記合成画像とを合成した場合の前記調整領域における輝度の変化の割合が所定値以下となるように前記調整領域の幅を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記複数の画像を撮影した際に用いられたレンズに係る情報を取得する取得手段をさらに備え、
前記第２の合成手段は、前記ゲインを調整した量及び前記取得手段によって取得されたレンズに係る情報に基づいて、前記調整領域の幅を決定することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記第２の合成手段は、前記ゲインを調整した量及び前記レンズに係る情報に基づいて、前記調整領域の幅の最小値を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第２の合成手段によって合成された画像に対して所定の画像処理を行う画像処理手段をさらに有することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する第１の合成工程と、
前記第１の合成工程において生成された合成画像の周囲に前記複数の画像の中のいずれかを画角維持用の画像として、ゲインを調整して合成する第２の合成工程とを有し、
前記第２の合成工程においては、前記画角維持用の画像と前記合成画像との境界に、前記境界における前記画角維持用の画像と前記合成画像との輝度差を調整する調整領域を設け、前記輝度差に応じて前記調整領域の幅を変更し、前記画角維持用の画像と前記合成画像とを合成することを特徴とする画像処理方法。
【請求項１０】
露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する第１の合成工程と、
前記第１の合成工程において生成された合成画像の周囲に前記複数の画像の中のいずれかを画角維持用の画像として、ゲインを調整して合成する第２の合成工程とを有し、
前記第２の合成工程においては、前記画角維持用の画像と前記合成画像との境界に、前記境界における前記画角維持用の画像と前記合成画像との輝度差を調整する調整領域を設け、前記画角維持用の画像を生成する際のゲインを調整した量に応じて前記調整領域の幅を決定し、前記画角維持用の画像と前記合成画像とを合成することを特徴とする画像処理方法。
【請求項１１】
露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する第１の合成工程と、
前記第１の合成工程において生成された合成画像の周囲に前記複数の画像の中のいずれかを画角維持用の画像として、ゲインを調整して合成する第２の合成工程とをコンピュータに実行させ、
前記第２の合成工程においては、前記画角維持用の画像と前記合成画像との境界に、前記境界における前記画角維持用の画像と前記合成画像との輝度差を調整する調整領域を設け、前記輝度差に応じて前記調整領域の幅を変更し、前記画角維持用の画像と前記合成画像とを合成することを特徴とするプログラム。
【請求項１２】
露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する第１の合成工程と、
前記第１の合成工程において生成された合成画像の周囲に前記複数の画像の中のいずれかを画角維持用の画像として、ゲインを調整して合成する第２の合成工程とをコンピュータに実行させ、
前記第２の合成工程においては、前記画角維持用の画像と前記合成画像との境界に、前記境界における前記画角維持用の画像と前記合成画像との輝度差を調整する調整領域を設け、前記画角維持用の画像を生成する際のゲインを調整した量に応じて前記調整領域の幅を決定し、前記画角維持用の画像と前記合成画像とを合成することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、露出の異なる画像を合成するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮影対象に極端な明るさの違いがある場合でも両方の特徴を表した画像を得る手法が知られている。このような手法としては、露出の異なる複数の画像を撮影し、これらの画像を合成して実質的なダイナミックレンジを拡張した画像を得る手法がある。ところがこの手法で画像を合成すると、適正露出で撮影された画像と異なる露出で撮影された画像で置き換えた部分の境界において輝度が不連続になり、違和感を生じる場合がある。そこで、露出の異なる画像を合成する際に、このような境界部分の違和感を減じるための手法が提案されている（特許文献１参照）。
【０００３】
一方、複数の画像を合成してＨＤＲ（ハイダイナミックレンジ）画像を得る場合には、撮影時の手ぶれにより複数の画像間で同一の画角が得られないため、撮像素子から出力された画像に対してＨＤＲ画像の画角が狭くなる。この問題に対して、複数枚撮影された画像の中の１枚を画角維持用画像として、ＨＤＲ画像の外側に付加する手法が知られている。
【０００４】
図３は、従来のＨＤＲ合成処理の概要を説明するための図である。ＨＤＲ画像３０１に対し、画角維持用画像３０２を周辺に合成することにより、出力画像３０３を生成している。この処理では、ＨＤＲ合成用に撮影した複数の画像の中の１枚を画角維持用画像３０２として選択し、ＨＤＲ合成後の中心輝度に合うように現像処理している。境界部分の処理については、ＨＤＲ画像３０１の外側の領域には画角維持用画像の領域しか存在しないため、ＨＤＲ画像の内側の領域３０４を処理している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３１９２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画角維持のために用いる画像には、ＨＤＲ合成用として撮影した画像の中の１枚を用いるが、中心輝度が揃うように現像するため、合成画像との境界部分では輝度差が大きくなることがある。
【０００７】
図４は、画角維持用画像とＨＤＲ画像とを合成した際の境界部分の輝度の分布を説明するための図であり、図３の水平ライン３０５における輝度分布を示している。ＨＤＲ画像の輝度４０１はＨＤＲ合成を行った画像の輝度であり、画素位置４０３よりも内側の領域で使用される。画角維持用画像の輝度４０２は、ＨＤＲ合成後の中心輝度に合うように現像処理した画像の輝度であり、画素位置４０４の外側の領域で使用される。調整領域４０５は画素位置４０４におけるＨＤＲ画像の輝度４０１と画角維持用画像の輝度４０２との間の輝度差を緩和するための領域である。輝度４０６は、調整領域４０５において輝度差を緩和するために調整された輝度である。図４に示すように、画角維持用画像は中心輝度が揃うように現像されるため、調整処理後の輝度４０６でも急激な輝度変化が発生し、境界部分で違和感のある出力画像になってしまうことがある。
【０００８】
本発明は前述の問題点に鑑み、露出の異なる複数の画像を合成する際に、合成する画像の境界部分で違和感のない合成画像を得ることができるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する第１の合成手段と、前記第１の合成手段によって生成された合成画像の周囲に前記複数の画像の中のいずれかを画角維持用の画像として、ゲインを調整して合成する第２の合成手段とを有し、前記第２の合成手段は、前記画角維持用の画像と前記合成画像との境界に、前記境界における前記画角維持用の画像と前記合成画像との輝度差を調整する調整領域を設け、前記輝度差に応じて前記調整領域の幅を変更し、前記画角維持用の画像と前記合成画像とを合成することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、露出の異なる複数の画像を合成する際に、合成する画像の境界部分で違和感のない合成画像を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係るデジタルカメラの構成例を示すブロック図である。
【図２】第１の実施形態におけるデジタルカメラのＨＤＲ合成処理の手順の一例を示すフローチャートである。
【図３】ＨＤＲ合成処理の概要を説明するための図である。
【図４】従来の方法により画角維持用画像とＨＤＲ画像とを合成した際の境界部分の輝度の分布を説明するための図である。
【図５】第１の実施形態により画角維持用画像とＨＤＲ画像とを合成した際の境界部分の輝度の分布を説明するための図である。
【図６】境界部分の輝度差が小さい場合に合成した際の境界部分の輝度の分布を説明するための図である。
【図７】第２の実施形態におけるデジタルカメラのＨＤＲ合成処理の手順の一例を示すフローチャートである。
【図８】第３の実施形態におけるデジタルカメラのＨＤＲ合成処理の手順の一例を示すフローチャートである。
【図９】第４の実施形態におけるデジタルカメラのＨＤＲ合成処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、図面を参照しながら本発明を実施するための形態について説明する。
図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、ＣＰＵ１０１、不揮発性メモリ１０２、メモリ１０３、撮像部１０４、画像処理部１０５、ディスプレイ１０６、入力部１０７、ドライブ装置１０８、及び通信Ｉ／Ｆ１１０が内部バス１５０を介して接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができる。
【００１３】
不揮発性メモリ１０２は、例えばＲＯＭで構成され、不揮発性メモリ１０２には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納されている。メモリ１０３は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０２に格納されるプログラムに従い、メモリ１０３をワークメモリとして用いて、デジタルカメラ１００の各部を制御する。
【００１４】
撮像部１０４は、ズームレンズやフォーカスレンズを含むレンズ群、シャッター、ＣＣＤやＣＭＯＳ等で構成される撮像素子などからなる。画像処理部１０５は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０２や記録媒体１０９に格納された画像データなどに対して各種画像処理を施す。画像処理部１０５が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部１０５は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部１０５を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。
【００１５】
ディスプレイ１０６は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０６に表示するための映像信号を生成してディスプレイ１０６に出力するようにデジタルカメラ１００の各部を制御する。ディスプレイ１０６は、出力された映像信号に基づいて映像を表示する。
【００１６】
入力部１０７は、ユーザの操作を受け付けるための入力デバイスであり、シャッターボタンや、その他のボタン、ダイヤル、タッチパネル、ジョイスティックなどを含む。なお、タッチパネルは、ディスプレイ１０６に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。また、シャッターボタンの操作途中、いわゆる半押し（撮影準備指示）した状態では、シャッタースイッチ（ＳＷ１）がＯＮにされ、シャッターボタンの操作完了、いわゆる全押し（撮影指示）した状態では、シャッタースイッチ（ＳＷ２）がＯＮにされる。
【００１７】
ドライブ装置１０８は、着脱可能な記録媒体１０９を装着するための装置であり、ＣＰＵ１０１の制御に基づき、装着された記録媒体１０９からデータを読み出したり、記録媒体１０９に対してデータを書き込んだりする。通信Ｉ／Ｆ１１０は、外部装置１１１や通信ネットワークなどと接続し、映像信号や音声信号、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
【００１８】
また、本実施形態に係るデジタルカメラ１００は、中央１点ＡＦ（オートフォーカス）や顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
【００１９】
次に、ＨＤＲ（ハイダイナミックレンジ）画像の合成処理について説明する。シャッタースイッチ（ＳＷ２）がＯＮにされて撮影指示がなされると、ＣＰＵ１０１は、例えば青空のように高輝度の被写体が適正露出となるように撮像部１０４を制御し、アンダー露出画像を得る。次にＣＰＵ１０１は、プログラムに従い主被写体が適正露出となるように撮像部１０４を制御して適正露出画像を得る。さらにＣＰＵ１０１は適正露出では黒潰れするような低輝度の被写体が適正な露出となるように撮像部１０４を制御してオーバー露出画像を得る。画像処理部１０５はＣＰＵ１０１の制御に基づいて、高輝度部分はアンダー露出画像、低輝度部分はオーバー露出画像、となるように得られた３種類の露出の画像を合成し、低輝度から高輝度までダイナミックレンジが拡張されたＨＤＲ画像を生成する。
【００２０】
さらにＣＰＵ１０１は、画像処理部１０５を制御して前記アンダー露出画像に対してゲインアップ処理を行い、画角維持用画像を生成する。このとき、例えばＨＤＲ合成後のＨＤＲ画像の中心輝度に合うようにゲインアップ処理を行う。この画角維持用画像をＨＤＲ画像の周囲（外周部分）に合成し、撮影画角を維持したＨＤＲ出力画像を得ることができる。
【００２１】
図２は、本実施形態におけるデジタルカメラ１００のＨＤＲ合成処理の手順の一例を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０１が不揮発性メモリ１０２に格納されたプログラムを、メモリ１０３に展開して実行することにより実現される。
ＨＤＲ合成処理が開始されると、ステップＳ２０１において、ＣＰＵ１０１は画像処理部１０５を制御して３種類の画像からＨＤＲ画像を生成し、メモリ１０３に記憶する。具体的な手順は前述した手順のとおりである。
【００２２】
次に、ステップＳ２０２において、ＣＰＵ１０１は画像処理部１０５を制御してアンダー露出画像をゲインアップ処理し、画角維持用画像を生成してメモリ１０３に記憶する。続いてステップＳ２０３において、ＣＰＵ１０１はＨＤＲ画像の外周部分の画素から１つを選択し、その画素の輝度と画角維持用画像の同一部分の輝度とを比較する。そして、ステップＳ２０４において、ＨＤＲ画像と画角維持用画像との対応する部分の輝度差が所定値以上であるか否かを判定する。この判定の結果、輝度差が所定値未満である場合は、ＣＰＵ１０１はステップＳ２０７において基準調整領域（第１の調整領域）を画像処理部１０５に対して設定する。なお、この処理の詳細については後述する。
【００２３】
一方、ステップＳ２０４の判定の結果、輝度差が所定値以上である場合は、ステップＳ２０５において、ＣＰＵ１０１は輝度変化が所定値以下になるように、調整領域（第２の調整領域）を決定する。そして、ステップＳ２０６において、画像処理部１０５が処理する調整の範囲を設定する。なお、第２の調整領域を決定する詳細な手順については後述する。
【００２４】
次に、ステップＳ２０８において、ＨＤＲ画像の水平方向および垂直方向のすべての外周部分の画素について輝度の比較を行ったか否かを判定する。この判定の結果、全ての外周部分の画素について輝度の比較を行った場合は、ステップＳ２０９に進む。一方、まだ輝度差の比較を行っていない画素が存在する場合は、ステップＳ２０３に戻り、ＨＤＲ画像の外周部分の別の画素について輝度の比較を行う。
【００２５】
次に、ステップＳ２０９において、画像処理部１０５は設定されたそれぞれの調整領域に従ってＨＤＲ画像と画角維持用画像とを合成し、ＨＤＲ出力画像を得る。
【００２６】
図５は、ＨＤＲ画像と画角維持用画像との境界部分の輝度差が所定値以上である場合における画角維持用画像を合成する手順を説明するための図である。図５に示す例では、図２のステップＳ２０３では、ＣＰＵ１０１は画素位置５０４におけるＨＤＲ画像の輝度５０１と画角維持用画像の輝度５０２とを比較する。ステップＳ２０５では、ＣＰＵ１０１は調整領域５０５における調整輝度５０６の傾き（変化の割合）が所定値以下になるように調整開始画素位置５０３を調整し、調整領域５０５の幅を決定する。ステップＳ２０９では、決定された調整開始画素位置５０３に基づいてＨＤＲ画像の輝度５０１と画角維持用画像の輝度５０２との割合を変化させながら調整輝度５０６を算出し、調整輝度５０６に従って調整領域５０５において輝度を調整する。これにより、境界部分での輝度差が大きい場合において急激な輝度変化が起こらないようにすることができる。
【００２７】
ここで、調整輝度の傾き（輝度変化）について説明する。本実施形態では、調整輝度の傾きを調整開始画素位置５０３と、画素位置５０４との間の区間の傾きとしているが、輝度分布によっては調整輝度５０６のカーブが大きくなることもある。そこで、調整領域５０５を複数の区間に分割し、それぞれの区間において調整輝度５０６に対する傾き（変化の割合を求め、これらの傾きの最大値と最小値との差が所定値以下となる条件を加えて調整開始画素位置５０３を決定するようにしてもよい。
【００２８】
図６は、ＨＤＲ画像と画角維持用画像との境界部分の輝度差が所定値未満である場合における画角維持用画像を合成する手順を説明するための図である。図６に示す例では、図２のステップＳ２０３では、ＣＰＵ１０１は画素位置６０４におけるＨＤＲ画像の輝度６０１と画角維持用画像の輝度６０２とを比較する。輝度差が所定値未満であるため、ＣＰＵ１０１はステップＳ２０７において、基準調整領域６０５となる調整開始画素位置６０３を決定する。ステップＳ２０９では、決定された調整開始画素位置６０３に基づいてＨＤＲ画像の輝度６０１と画角維持用画像の輝度６０２との割合を変化させながら調整輝度６０６を算出し、調整輝度６０６に従って基準調整領域６０５において輝度を調整する。
【００２９】
以上のように本実施形態によれば、境界部分の輝度差に応じて第１の調整領域または第２の調整領域を設定し、画角維持用画像とＨＤＲ画像の合成処理において境界部分の輝度差が大きい場合に輝度変化が緩やかになるように調整領域の幅を設定するようにした。これにより、境界部分で違和感が無いＨＤＲ出力画像を得ることができる。このようにＨＤＲ画像毎に境界部分の位置によって調整領域の幅を変更し、それぞれのＨＤＲ画像において、境界部分で違和感のない合成画像を得ることができる。
【００３０】
なお、画角維持用画像とＨＤＲ画像との合成処理では、ＨＤＲ画像の外周に沿って直線的に合成されるという特徴がある。そこで、さらに合成画像の範囲内の合成処理とは異なる境界処理（例えば境界部分におけるぼかし処理など）を適用してもよい。
【００３１】
また、本実施形態においては、外周部分において画素単位で調整領域を決定したが、例えば１辺を複数に分割した領域ごとに調整領域を決定してもよい。この場合、その領域における輝度差の最大値と所定値とを比較し、その最大値となる画素位置において調整輝度５０６の傾き（変化の割合）が所定値以下になるように調整開始画素位置５０３を調整し、調整領域５０５の幅を決定する。
【００３２】
（第２の実施形態）
本実施形態では、第１の実施形態に係る処理とは異なり、境界部分で最大輝度差となる位置に基づいて第２調整領域を決定することにより、より高速に合成処理を実行する例について説明する。なお、本実施形態に係るデジタルカメラの構成について図１と同様であるため、説明は省略する。以下、第１の実施形態と異なる点について説明する。
【００３３】
図７は、本実施形態におけるＨＤＲ合成処理の手順の一例を示すフローチャートである。ステップＳ７０１及びＳ７０２については、それぞれ図２のステップＳ２０１及びＳ２０２と同様のため説明は省略する。
【００３４】
ステップＳ７０３においては、ＣＰＵ１０１は、ＨＤＲ画像の外周部分の輝度と画角維持用画像の同一部分の輝度との輝度差について、境界部分の水平方向、垂直方向それぞれについて全ラインの画素における輝度差を取得する。そして、ステップＳ７０４において、ＣＰＵ１０１は、水平方向及び垂直方向それぞれの中で最大の輝度差を取得する。
【００３５】
続いてステップＳ７０５において、ＣＰＵ１０１は最大輝度差が所定値以上であるか否かを判定する。この判定の結果、最大輝度差が所定値以上である場合は、ステップＳ７０６において、図２のステップＳ２０５と同様の手順により第２の調整領域を決定する。このとき、最大輝度差となった境界部分における輝度の変化の割合から第２の調整領域の幅を決定する。そして、ステップＳ７０７において、ＣＰＵ１０１は、ステップＳ７０６で決定された第２の調整領域を境界部分の水平方向及び垂直方向の全ラインに設定する。一方、Ｓ７０５の判定の結果、最大輝度差が所定値未満である場合は、ステップＳ７０８において、ＣＰＵ１０１は、基準調整領域を境界部分の水平方向及び垂直方向の全ラインに設定する。
【００３６】
ステップＳ７０９では、図２のステップＳ２０８と同様に、画角維持用画像の合成処理を実行する。本実施形態においては、水平方向及び垂直方向の全ラインで調整領域の幅が同一の設定値となるため、一括処理を行うことによってより高速に合成処理を実行することができる。このように本実施形態においては、ＨＤＲ画像毎に調整領域の幅を変更し、それぞれ境界部分で違和感のない合成画像を得ることができる。
【００３７】
（第３の実施形態）
本実施形態では、画角維持用画像のゲインアップ量に応じて第２の調整領域の幅を決定することにより、より高速に合成処理を実行する例について説明する。なお、本実施形態に係るデジタルカメラの構成について図１と同様であるため、説明は省略する。以下、第２の実施形態と異なる点について説明する。
【００３８】
図８は、本実施形態におけるＨＤＲ合成処理の手順の一例を示すフローチャートである。なお、ステップＳ８０１、Ｓ８０２およびＳ８０６〜Ｓ８０８は、それぞれ図７のステップＳ７０１、Ｓ７０２、Ｓ７０７〜Ｓ７０９と同様のため説明は省略する。
【００３９】
ステップＳ８０３においては、ＣＰＵ１０１は、ステップＳ８０２で画角維持用画像を生成した際のゲインアップ量を取得する。そして、ステップＳ８０４において、ゲインアップ量が所定値以上であるか否かを判定する。この判定の結果、ゲインアップ量が所定値以上である場合は、ステップＳ８０５において、ＣＰＵ１０１は、ゲインアップ量に応じた第２の調整領域を決定する。第２の調整領域の幅とゲインアップ量との関係は、デジタルカメラ１００の撮像部１０４の備える撮像素子、レンズのもつ光学特性に基づいてあらかじめ決定されており、不揮発性メモリ１０２にテーブルとして格納している。ＣＰＵ１０１がゲインアップ量に応じて不揮発性メモリ１０２からテーブルを参照し、第２の調整領域の幅を選択する。
【００４０】
以上のように本実施形態によれば、ゲインアップ量に応じて調整領域の幅を決定するようにした。輝度差の比較処理を省略することができるため、より高速に第２の調整領域を決定することができる。このようにＨＤＲ画像毎にゲインアップ量が異なるため、それぞれのゲインアップ量に応じて調整領域の幅を変更し、それぞれ境界部分で違和感のない合成画像を得ることができる。
【００４１】
（第４の実施形態）
本実施形態では、第３の実施形態におけるＨＤＲ合成処理において、さらにレンズ交換式デジタルカメラの光学特性によって調整領域の最小値を決定する例について説明する。なお、本実施形態に係るデジタルカメラの構成について図１と同様であるため、説明は省略する。以下、第３の実施形態と異なる点について説明する。
【００４２】
デジタルカメラ１００の撮像部１０４にはレンズマウントが備えられており、光学特性の異なるレンズを装着することにより、様々な撮影に対応することができる。交換用レンズによっては、撮影画像の四隅で光量が減少する周辺光量落ちの特性を持つものがある。周辺光量が減少するレンズでは、ＨＤＲ合成した画像の境界部分と、アンダー画像をゲインアップ現像した画角維持用画像の該当する部分とで輝度差が大きくなりやすい。ゲインアップ量のみで第２の調整領域を決定した場合、レンズの種類による周辺光量落ちの影響に対応できない可能性がある。そこで本実施形態では、レンズに係る情報及びゲインアップ量に基づいて調整領域の幅を決定するようにする。
【００４３】
図９は、本実施形態におけるＨＤＲ合成処理の手順の一例を示すフローチャートである。なお、ステップＳ９０１、Ｓ９０２およびＳ９０５〜Ｓ９１０は、それぞれ図８のステップＳ８０１、Ｓ８０２、Ｓ８０３〜Ｓ８０８と同様のため説明は省略する。
【００４４】
ステップＳ９０３においては、ＣＰＵ１０１は、撮像部１０４に装着された交換レンズの情報を取得する。次に、ステップＳ９０４において、ＣＰＵ１０１は、取得した交換レンズの情報に基づいて、ステップＳ９０５で用いるゲインアップ量の判定基準値、およびステップＳ９０９で使用する基準調整領域を更新する。これらの値を更新する際には、例えば通信Ｉ／Ｆ１１０を介して外部装置１１１からこれらの値を予め取得して不揮発性メモリ１０２にテーブルとして格納しておく。そして、交換レンズのＩＤによってテーブルを選択するようにする。また、交換レンズから光学特性データを取得してＣＰＵ１０１による演算によりこれらの値を生成するようにしてもよい。これにより、交換レンズのもつ光学特性に応じて適切な調整領域を設定することができる。
【００４５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４６】
１０１  ＣＰＵ
１０４  撮像部
１０５  画像処理部
【図１】
2016208118.tif 000003
【図２】
2016208118.tif 000004
【図３】
2016208118.tif 000005
【図４】
2016208118.tif 000006
【図５】
2016208118.tif 000007
【図６】
2016208118.tif 000008
【図７】
2016208118.tif 000009
【図８】
2016208118.tif 000010
【図９】
2016208118.tif 000011