(57)【要約】【課題】ノイズや色再現の悪化を抑制できるハイダイナミックレンジ合成を実現する。【解決手段】露出条件を変えて撮像される複数枚の画像を合成する撮像装置において、露出条件を変えて複数枚の画像を撮像する撮像手段と、前記露出条件の異なる複数枚の画像を合成して合成画像を生成する画像合成手段と、前記撮像手段が第１の画像を撮像する場合は、前記第１の画像よりも露出条件を明るくした第２の画像を撮像する場合よりもＩＳＯ感度を低下させるように露出を制御する制御手段と、を有する。【選択図】図４
2013225724.tif 000002
【特許請求の範囲】
【請求項１】
露出条件を変えて撮像される複数枚の画像を合成する撮像装置において、
露出条件を変えて複数枚の画像を撮像する撮像手段と、
前記露出条件の異なる複数枚の画像を合成して合成画像を生成する画像合成手段と、
前記撮像手段が第１の画像を撮像する場合は、前記第１の画像よりも露出条件を明るくした第２の画像を撮像する場合よりもＩＳＯ感度を低下させるように露出を制御する制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１の画像と前記第２の画像との間で、シャッター秒時及び絞り値を変えずにＩＳＯ感度を変えることで露出条件を変えて、前記撮像手段に前記第１の画像及び第２の画像を撮像させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記撮像手段に前記第２の画像よりも露出条件を明るくした第３の画像を撮像させ、前記第３の画像の露出条件での撮像については、シャッター秒時を他の露出条件よりも長秒にすることで露出を制御することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、前記撮像手段に前記第２の画像よりも露出条件を明るくした第３の画像を撮像させ、前記第２の画像と前記第３の画像との間で、ＩＳＯ感度及び絞り値を変えずにシャッター秒時を変えることで露出条件を変えて、前記撮像手段に前記第２の画像及び第３の画像を撮像させることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記制御手段は、前記ＩＳＯ感度が前記撮像装置で設定可能な下限値に達した場合、シャッター秒時を高速側に設定することで露出を制御することを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
【請求項６】
前記第１の画像に対するノイズ低減処理を他の露出条件で撮像された画像よりも強くすることを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
【請求項７】
前記画像合成手段は、
前記複数枚の画像を現像する現像手段と、
前記現像された複数枚の画像の位置ずれを検出する位置ずれ検出手段と、
前記検出された位置ずれを補正する補正手段と、
前記複数枚の画像から移動体領域を検出する移動体領域検出手段と、
前記検出された移動体領域を合成する移動体領域合成手段と、を有し、
前記現像手段は、前記複数枚の画像の輝度レベルを揃えるために各画像それぞれに異なるガンマ変換処理を施し、
前記画像合成手段は、前記複数枚の画像を合成して生成される合成画像の移動体領域を、前記複数枚の画像のうち最も暗い露出条件で撮像した画像に置き換えることを特徴とする請求項１乃至６のいずれか１つに記載の撮像装置。
【請求項８】
前記画像合成手段は、前記複数枚の画像を合成して生成される合成画像の移動体領域を、前記複数枚の画像のうち最も暗い露出条件で撮像した画像に置き換える際に、当該最も暗い露出条件で撮像した画像の彩度を他の露出条件で撮像された画像より低くすることを特徴とする請求項７に記載の撮像装置。
【請求項９】
露出条件を変えて撮像される複数枚の画像を合成する撮像装置の制御方法であって、
露出条件を変えて複数枚の画像を撮像する撮像工程と、
前記露出条件の異なる複数枚の画像を合成して合成画像を生成する画像合成工程と、
前記撮像工程において第１の画像を撮像する場合は、前記第１の画像よりも露出条件を明るくした第２の画像を撮像する場合よりもＩＳＯ感度を低下させるように露出を制御する制御工程と、を有することを特徴とする制御方法。
【請求項１０】
コンピュータを、請求項１乃至８のいずれか１つに記載された撮像装置の各手段として機能させるためのプログラム。
【請求項１１】
コンピュータを、請求項１乃至８のいずれか１つに記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露出を変えて撮影した複数枚の画像を合成することで幅広いダイナミックレンジを持つ画像を生成する技術に関する。
【背景技術】
【０００２】
白飛びが少ない画像と黒潰れが少ない画像を、露出条件を変えて複数枚撮影し、これらを合成することで幅広いダイナミックレンジを持つ画像を生成する手法がある。これはハイダイナミックレンジ（ＨＤＲ）合成と呼ばれている。
【０００３】
ここで、例えば露光量の異なる３枚の画像を合成する場合について説明する。
【０００４】
露光量の異なる３枚の画像のうち、中間の明るさの画像（適正画像）の輝度レベルを基準にして、図８に示す輝度レベルに応じた合成比率に従って、画素毎に加重加算することで１枚のＨＤＲ合成画像を生成する。なお、ＨＤＲ合成は後述するガンマ処理後の画像を用いることとする。
【０００５】
図８において、８０１は３枚のうち最も明るい画像（オーバー画像）、８０２は適正画像、８０３は最も暗い画像（アンダー画像）の合成比率を例示している。例えば輝度レベル２５５カウントの画素値に対応する合成比率は、アンダー画像８０３が１００％、その他の画像は０％となり、アンダー画像８０３の画素値が１００％使われる。また、輝度レベル１７５カウントの画素値に対応する合成比率は、アンダー画像８０３が５０％、適正画像８０２が５０％、アンダー画像８０１が０％となり、アンダー画像の画素値が５０％、適正画像の画素値が５０％の割合で使われる。
【０００６】
次に、露光量の異なる３枚の画像に対して、図９（ａ）に示すガンマカーブを適用してガンマ変換処理を施した場合を考える。
【０００７】
図９（ａ）のガンマカーブにおいて、出力値Ｂ（８ビット）は１８％グレーの均一輝度面を撮影したときに適正な明るさとして表される値とし、このときの入力値はＡ（１２ビット）である。また図９（ｂ）は図９（ａ）に対して横軸を露光量の段数で表したものであり、横軸の０は前記適正な明るさである入力値Ａに対応している。また、横軸の１はＡの１段明るいＡ×２、−１はＡの１段暗いＡ／２にそれぞれ対応している。
【０００８】
このようなガンマカーブでガンマ変換処理された露光量の異なる３枚の画像を前述した手法により輝度レベルに応じて合成すると、例えば図１０の１００１のように、階調のつながりが悪い歪んだガンマカーブと同等の出力結果となってしまう。図１０において、１００２はオーバー画像、１００３は適正画像、１００４はアンダー画像のガンマカーブをそれぞれ示している。
【０００９】
これに対して、階調のつながりを保つために、露光量の異なる３枚の画像それぞれに図１１（ａ）に示すような異なるガンマカーブを適用する。なお、図１１（ｂ）は図１１（ａ）を前述した図１０と同様に横軸を段数表示で表したものである。図１１（ｂ）において、１１０３から１１０４のカーブはオーバー画像、１１０４から１１０５のカーブは適正画像、１１０５から１１０６はアンダー画像のガンマカーブをそれぞれ表している。図１１（ｂ）のように、横軸段数表示したときに各ガンマカーブが重なるようにすることでＨＤＲ合成後の画像の階調のつながりを滑らかにすることができる。
【００１０】
例えば、特許文献１には、撮像装置のＩＳＯ感度を固定し、レンズの絞りやシャッター速度を変更することで、露光量の異なる複数回の撮影を行う方法が記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００３−２５９２００号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記特許文献１のＨＤＲ合成では、以下のような課題がある。
【００１３】
図１１に例示するガンマカーブでガンマ変換処理を行うと、露出の異なる３枚の画像のうち、暗い画像ほど大きなデジタルゲインがかかることになり、同じＩＳＯ感度で撮影してもガンマ処理後のノイズ感が異なってしまう。この状態でＨＤＲ合成を行うと、明るさによってノイズ感が異なる画像になってしまう。
【００１４】
また、ＨＤＲ合成において、画像中に移動被写体が存在すると、図１２に示すように移動被写体の位置に応じて輝度が異なっている合成画像が生成されてしまう。図１２（ａ）〜（ｃ）は、アンダー画像、適正画像、オーバー画像を図５のガンマカーブでそれぞれガンマ変換処理を施した画像である。また、図１２において、１２０１は部分的に輝度が異なる移動被写体を示しており、３枚の画像を前述の方法で明るさに応じて合成すると、図１２（ｄ）に示すように同一の被写体が部分的に異なる位置に合成された画像になってしまう。
【００１５】
このような不都合を解消するために、明るさに応じた合成処理とは別にガンマ処理後の画像において明るさに差がある画素についてはアンダー画像の使用割合を１００％にするという手法が考えられる。この手法によれば図１２（ａ）〜（ｃ）を合成した結果、図１２（ｅ）に示すように移動被写体については最も暗い画像が使用され、同一被写体が部分的に異なる位置に合成されることを防止することができる。
【００１６】
しかしながら、このような手法を用いた場合、図１２の１２０２，１２０３の領域はアンダー画像に対して、ガンマ処理でデジタルゲインがかかっているため、その領域だけノイズの多い画像になってしまう。また、暗い画像に対してデジタルゲインで明るくした信号が使用されるため、撮像素子の線形性が悪い場合、色曲がり等により色が正しく表現されないこともある。
【００１７】
特に、特許文献１にこの手法を用いると、特に高感度において非常にノイズの多い画像になってしまう。
【００１８】
本発明は、上記課題に鑑みてなされ、その目的は、ノイズや色再現の悪化を抑制できるハイダイナミックレンジ合成を実現することである。
【課題を解決するための手段】
【００１９】
上記課題を解決し、目的を達成するために、本発明は、露出条件を変えて撮像される複数枚の画像を合成する撮像装置において、露出条件を変えて複数枚の画像を撮像する撮像手段と、前記露出条件の異なる複数枚の画像を合成して合成画像を生成する画像合成手段と、前記撮像手段が第１の画像を撮像する場合は、前記第１の画像よりも露出条件を明るくした第２の画像を撮像する場合よりもＩＳＯ感度を低下させるように露出を制御する制御手段と、を有する。
【発明の効果】
【００２０】
本発明によれば、ノイズや色再現の悪化を抑制したハイダイナミックレンジ合成を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態の撮像装置の構成を示すブロック図。
【図２】本実施形態のＨＤＲ合成処理を示すフローチャート。
【図３】ＨＤＲ撮影用のプログラム線図を示す図。
【図４】本実施形態の画像処理部の構成を示すブロック図。
【図５】位置ずれ検出結果を例示する図。
【図６】本実施形態の移動体領域検出部の構成を示すブロック図。
【図７】本実施形態の移動被写体の合成結果を例示する図。
【図８】ＨＤＲ合成比率を例示する図。
【図９】通常撮影のガンマカーブを例示する図。
【図１０】通常撮影のガンマカーブをＨＤＲ合成に適用した例を示す図。
【図１１】ＨＤＲ合成用のガンマカーブを例示する図。
【図１２】移動被写体のＨＤＲ合成結果を例示する図。
【発明を実施するための形態】
【００２２】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００２３】
［実施形態１］以下、本発明を、例えば、画像を撮影するデジタルカメラなどの撮像装置に適用した実施形態について説明する。なお、本発明は、撮影レンズを介して撮影された、複数の色プレーンからなる画像に対し適用できるため、本発明の対象となる画像は、ＲＡＷデータや、現像処理後のＪＰＥＧデータなどに限定されるものではない。
【００２４】
＜装置構成＞図１乃至図７を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。
【００２５】
図１において、１００は被写体像Ｌを撮像素子上に結像させる撮影レンズ、１０１は光量を調節する絞り、１０２はシャッター、１０３は被写体像を電気信号に変換する撮像素子である。１０４は撮像素子１０３から出力されるアナログ信号をデジタルデータに変換するＡ／Ｄ変換器である。タイミング発生部１０５は、メモリ制御部１０８及びシステム制御部１３０により制御されて、撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１０６にクロック信号や制御信号を供給することにより、各部の動作タイミングを制御する。
【００２６】
画像処理部１１３ではＡ／Ｄ変換器１０４からのデータ或いはメモリ制御部１０８からのデータに対して画像処理を施す。画像処理は、ホワイトバランス処理、周知のＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、色相補正などである。また、後述するように、画像処理部１１３は、撮影した複数枚の画像を合成してＨＤＲ合成画像を作成する処理も行う。
【００２７】
メモリ制御部１０８は、Ａ／Ｄ変換器１０４、タイミング発生部１０５、画像処理部１１３、画像表示用メモリ１０９、Ｄ／Ａ変換器１０６、メモリ１１０、圧縮／伸張部１１１をそれぞれ制御する。これにより、Ａ／Ｄ変換器１０４でＡ／Ｄ変換されたデジタルデータは画像処理部１１３及びメモリ制御部１０８を介して、或いは直接メモリ制御部１０８を介して、画像表示用メモリ１０９或いはメモリ１１０に書き込まれる。
【００２８】
表示メモリ１０９は第１表示部１０７に表示するデータを記憶しており、この表示用メモリ１０９に記憶されているデータは、Ｄ／Ａ変換器１０６を介してＴＦＴ・ＬＣＤ等の第１表示部１０７に出力されて、表示される。また第１表示部には、ホワイトバランス選択メニューなどのカメラを制御するための様々なメニューの表示が行われる。これらのメニューの表示や選択は第１操作部１２４を操作することで行われる。
【００２９】
メモリ１１０は、撮影した静止画像を格納するために、所定枚数の静止画像を格納するのに十分な記憶容量を備えている。また、このメモリ１１０はシステム制御部１３０や画像処理部１１３の作業領域としても使用することが可能である。圧縮／伸張部１１１は画像データを圧縮及び伸張する。圧縮／伸張部１１１は、メモリ１１０に格納された画像データを読み込んで圧縮処理を行ったり、或いは圧縮された画像データを読み込んで伸張処理を行い、その処理を終えたデータをメモリ１１０に書き込むことができる。外部記憶装置１１２はＣＦカードやＳＤカードといった着脱可能な外付けの記録媒体である。メモリ１１０に一時的に記録された画像データは最終的にこの外部記憶装置１１２に記録される。
【００３０】
測光センサ１１９は、撮影画面と共役に関係付けられたそれぞれの画素の輝度を測定する。この測光センサ１１９の出力に応じて、システム制御部１３０にて適切な露光量が算出されると、露光制御部１１４は、その露光量に応じた絞り１０１、シャッター１０２、撮像素子１０３のＩＳＯ感度を制御する。
【００３１】
測距センサ１１８はユーザにより任意に選択された測距点の距離情報を検出する。測距制御部１１５は測距センサ１１８の出力によりレンズ１００のフォーカシングを制御する。
【００３２】
ズーム制御部１１６は手動で行われたレンズ１００のズーミング量（焦点距離）を検知する。または、ズーミングをカメラの第２操作部１２５を用いて自動で行う場合にレンズのズーム量を制御する。
【００３３】
自動フラッシュユニット１２６は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００３４】
角速度センサ１１７はカメラの水平／垂直方向の振れを検知するセンサで、周知の手ぶれ補正処理や縦位置撮影、横位置撮影の判定などに用いられる。
【００３５】
システム制御部１３０は、撮像装置全体の動作を制御している。メモリ１２０は、システム制御部１３０の動作用の定数、変数プログラム、画像処理用パラメータ等を記憶しており、ワークメモリとしても使用される。また、メモリ１２０には後述するＨＤＲ撮影用の自動露出制御用プログラム線図も記録されている。
【００３６】
第２表示部１２１は、システム制御部１３０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージなどを表示するＬＣＤパネルユニット、スピーカ等を含む。第２表示部１２１の表示内容としては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残記録可能枚数表示等、シャッタースピード表示、絞り値表示、露出補正表示、電池残量表示、エラー表示、外部記録メモリ１１２の着脱状態表示等がある。
【００３７】
不揮発性メモリ１２２は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。レリーズ釦１２３、第２操作部１２５、システム制御部１３０の各種の動作指示を入力する為の操作ユニットである。レリーズ釦１２３はＳＷ１とＳＷ２の２段階のスイッチを備えている。ＳＷ１はレリーズ釦１２３の第１ストロークでＯＮし、測光、測距を開始するスイッチとなる。ＳＷ２はレリーズ釦１２３の第２ストロークでＯＮし、露光動作を開始するスイッチとなる。また、第２操作部１２５はシングルショット／連写撮影／セルフタイマーの切り替え、マニュアルフォーカス／オートフォーカス切り替え、シャッタースピード、絞り値、露出補正の設定等で使用される。
【００３８】
また、電源スイッチ１２７は、撮像装置のメイン電源をオン／オフするスイッチである。電源制御部１２８は電池検出部、ＤＣ−ＤＣコンバータ、通電するブロック等を切り替えるスイッチ部等を備える。電源制御部１２８は電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びシステム制御部１３０の支持に基いてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。電源１２９には、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池或いはＡＣアダプタ等を備える。
【００３９】
［ＨＤＲ合成処理］図２を参照して、本実施形態のＨＤＲ合成処理について説明する。
【００４０】
以下では、異なる露出条件で３枚の画像を撮影し、それらの画像を合成することで１枚のＨＤＲ合成画像を作成する処理を説明する。なお、図２の処理は、システム制御部１３０が、ＲＯＭ１２２に格納された制御プログラムを、ＲＡＭ１２０のワークエリアに展開し、実行することで実現される。
【００４１】
図２において、ステップＳ２０１では、システム制御部１３０は、レリーズ釦１２３のＳＷ１が押されると測光センサ１１９により測光動作を行う。この測光動作により、被写体のＢＶ値が算出される。システム制御部１３０は、算出された被写体のＢＶ値を用いて、メモリ１２０に記録されているＨＤＲ撮影用のプログラム線図（図３）に応じて、ＨＤＲ撮影用の３つの異なる露出条件を決定する。図３に示すように、本実施形態ではＨＤＲ撮影用の３枚の画像の撮影条件として、中間露出（適正露出）に対して、±２段の露出差をつけて撮影する。露出差条件についてはこれに限るものではなく、±１、±３またはそれ以上であってもよい。また１段刻みではなく±１／３段等としてもよい。なお、プログラム線図は露出差毎に異なる。
【００４２】
ここで、図３のプログラム線図について詳細に説明する。
【００４３】
図３（ａ）はＢＶ値（ｘ軸）に対するシャッター秒時（ｙ軸）の関係を示している。図３（ａ）の３０１は３つの露出条件のうち、中間の露出（適正露出）のシャッター秒時を示している。同様に、３０２は暗い側の露出（アンダー露出）、３０３は明るい側の露出（オーバー露出）におけるシャッター秒時をそれぞれ示している。
【００４４】
図３（ｂ）はＢＶ値（ｘ軸）に対するレンズの絞り（ｙ軸）の関係を示している。図３（ｂ）の３０４は適正、アンダー、オーバーの各露出条件で絞り条件が共通であることを示している。
【００４５】
図３（ｃ）はＢＶ値（ｘ軸）に対するＩＳＯ感度（ｙ軸）の関係を示している。図３（ｃ）の３０５は適正、オーバーのＩＳＯ感度条件で、３０６はアンダーのＩＳＯ感度条件を示している。
【００４６】
図３のプログラム線図によれば、ＢＶ値が２以下では、適正、アンダー撮影におけるシャッター秒時条件は等しく、ＩＳＯ感度条件はアンダー撮影が適正撮影よりも２段分低く設定される。オーバー撮影の条件については適正撮影と同じである。
【００４７】
ＢＶ値が４以上の場合、ＩＳＯ感度については適正、アンダー、オーバー共に等しく、シャッター秒時はアンダー撮影は適正撮影よりも２段分高速秒時に設定され、オーバー撮影は適正撮影よりも２段分低速秒時に設定される。
【００４８】
ＢＶ値が２から４についてはＢＶ値２以下と４以上の制御が線形補間でつながるように設定されている。
【００４９】
なお、絞りについては全てのＢＶ値で適正、アンダー、オーバー共に共通の設定としている。これは背景のボケ具合が絞りによって変化してしまうため、絞りを変えて撮影すると後述するＨＤＲ合成画像が違和感のある画像になってしまうためである。
【００５０】
本プログラム線図によれば、適正、オーバー画像のＩＳＯ感度が、本実施形態で設定できる最小のＩＳＯ感度であるＩＳＯ１００よりも大きくなるＢＶ値においては、アンダー画像はＩＳＯ感度を相対的に低く設定することで作成する。これにより、アンダー画像のノイズが相対的に少なくなるように制御している。
【００５１】
また、アンダー画像のＩＳＯ感度が本実施形態で設定できる最小のＩＳＯ感度であるＩＳＯ１００となる条件においては、撮影秒時を高速側に設定することで、アンダー画像を得るように制御している。
【００５２】
なお、オーバー画像を撮影するにあたってＩＳＯ感度を適正画像よりも高く設定するとノイズが増えてしまうため、適正画像と同じＩＳＯ感度とし、シャッター秒時を適正露出よりも長秒にすることで、オーバー画像を得るように制御している。
【００５３】
なお、本実施形態では被写体のＢＶ値から自動的に露出条件を決定する例を示しているが、ユーザが手動で撮影条件を設定してもよい。この場合、ユーザは適正露出の撮影条件とＨＤＲ合成用の３枚の画像の露出差のみ設定できるものとする。
【００５４】
手動で設定した場合も図３のプラグラム線図で示した制御と同様に、アンダー画像は適正画像に対して設定された露出差条件の量だけ相対的にＩＳＯ感度を低くすることで実現する。但し、図３のプログラム線図と同様に、アンダー画像のＩＳＯ感度が本実施形態の撮像装置において設定可能なＩＳＯ感度の下限値であるＩＳＯ１００となった場合は、シャッター秒時を高速側に設定すればよい。オーバー画像についても図３のプログラム線図と同様に、シャッター秒時を適正画像よりも長秒にすることで実現する。
【００５５】
以上のようにして露出条件が決定される（Ｓ２０１）。なお、本発明の第１の画像、第２の画像、第３の画像は、本実施形態のアンダー画像、適正画像、オーバー画像にそれぞれ対応している。
【００５６】
図２に戻り、ステップＳ２０２では、システム制御部１３０は、レリーズ釦１２３のＳＷ２が押されると、ステップＳ２０１で決定されたアンダー画像の撮影条件にてアンダー画像を撮影する。撮影された画像はＡ／Ｄ変換器１０４にてデジタルデータに変換され１２ビットＲＡＷ画像として一旦メモリ１１０に保持される。
【００５７】
ステップＳ２０３では、システム制御部１３０は、ステップＳ２０２で押されたレリーズ釦１２３のＳＷ２に従って、ステップＳ２０１で決定された撮影条件にてＨＤＲ合成用の適正画像の撮影を行う。適正画像もステップＳ２０２のアンダー画像と同様に１２ビットＲＡＷ画像として一旦メモリ１１０に保持される。
【００５８】
同様にステップＳ２０４でもステップＳ２０１で決定された撮影条件にてＨＤＲ合成用のオーバー画像の撮影が行われ、メモリ１１０に保持される。
【００５９】
ステップＳ２０５では、システム制御部１３０は、メモリ１１０に保持されたＨＤＲ合成用の３枚の画像の合成を行う。
【００６０】
ここで、ステップＳ２０６からＳ２１５までの動作について図４の画像処理部１１３の構成を参照して説明する。
【００６１】
ステップＳ２０６では、現像処理部４０１０がメモリ１１０に記録されているアンダー画像の現像処理を行う。現像処理部４０１０では、まずホワイトバランス処理部４０１１においてホワイトバランス処理が施される。具体的には画像の白くあるべき領域のＲ，Ｇ，Ｂが同じ信号値になるようなゲインがＲ，Ｇ，Ｂ各々にかけられる。次にノイズ低減処理部４０１２において入力画像の被写体像に由来しないセンサ起因のノイズなどを低減する。続く色補間部４０１３では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂ３プレーンの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部４０１４及びガンマ変換部４０１５によって基本的なカラー画像が生成される。その後、色調整部４０１６でカラー画像の彩度、色相、明度の補正処理が行われる。
【００６２】
ガンマ変換部４０１５では、前述した図１１（ａ）の１１０３に示すガンマカーブが使用される。
【００６３】
同様にステップＳ２０７、Ｓ２０８ではそれぞれ適正画像、オーバー画像の現像処理が施される。ここではガンマ変換部４０１５のガンマカーブのみそれぞれ異なるが他の処理はアンダー画像と同様の処理となる。ガンマカーブについては図１１（ａ）の１１０２が適正画像に適用され、１１０１がオーバー画像に適用される。
【００６４】
以上のようなガンマカーブに従って現像された画像によって、前述したように階調が滑らかなＨＤＲ合成画像を作成することができる。
【００６５】
なお、前述したように、ガンマカーブはアンダー画像ほどゲインが多くかかるカーブとなっているため、現像処理後はアンダー画像ほどノイズ増加が多くなる。特に高感度ほどそれによる画質劣化の影響が顕著になる。しかしながら、本実施形態ではステップＳ２０１の露出条件決定時に、アンダー画像撮影時のＩＳＯ感度を、適正画像やオーバー画像撮影時のＩＳＯ感度よりも低く設定しているため、適正画像に対するノイズ感の差は抑制される。
【００６６】
次にステップＳ２０９からＳ２１２では、位置ずれ検出部４０４０及び位置ずれ補正部４０３０が、現像処理を行った各画像の位置合わせを行う。
【００６７】
ここで、位置合わせ処理の詳細について説明する。
【００６８】
まず、画像を複数個のブロック領域に分割して、それぞれのブロック毎にエッジ検出処理を行う。エッジ検出方法として、入力画像にローパスフィルタをかけることで低周波画像を作成し、入力画像から上記低周波画像を減算することでエッジを検出する。もしくは、公知の微分フィルタやプリューウィットフィルタなどを用いる方法が考えられる。エッジ検出では、センサ起因のノイズではなく、被写体像のエッジのみを検出した方が位置ずれ検出精度を向上することができる。
【００６９】
次に、画像のブロック領域の中でエッジ検出ができたブロック領域に対してずれ量検出を行う。エッジ検出ができたブロック領域に対してのみずれ量検出をすることで、位置ずれ検出精度を向上することができる。ずれ量検出方法として、ブロック領域内の全画素の位置基準用画像の画素値（輝度）と位置ずれ検出画像の画素値（輝度）の差の絶対値の総和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出し、その総和が最小となるような移動量と移動方向をそのブロックの動きベクトルとする方法がある。図５はずれ量検出方法を例示している。図５（ａ）は、位置基準画像の対象ブロック領域の画素値を示している。
【００７０】
一方、図５（ｂ）は、位置ずれ検出画像の画素値を示している。図５の場合、画素値の差の絶対値が最も小さくなる移動量は、（ｘ、ｙ）＝（１、２）と求まる。同様の処理を画像の全ブロック領域に対して行い、全てのブロック領域の動きベクトルを求める。ずれ量検出では、位置基準用画像と位置ずれ検出画像の同じ被写体領域が同じ明るさである方が位置ずれ検出精度を向上することができる。
【００７１】
最後に、幾何変換係数を算出する。幾何変換係数としてはアフィン係数を用いる。アフィン係数とは線形変換と平行移動を組み合わせたアフィン変換に用いる行列であり、以下の式１で表される。
【００７２】
【数１】
2013225724.tif 000003
【００７３】
ここで、補正前画像の座標を（ｘ，ｙ）、補正後画像の座標を（ｘ’，ｙ’）とし、３×３行列をアフィン係数と呼ぶ。各ブロック領域から求めた動きベクトルを用いて、アフィン係数を求める。
【００７４】
以上が、位置ずれ検出部４０２０における位置ずれ検出方法であるが、本発明は、これに限定するものではない。位置ずれ検出方法としては、周波数解析から２枚の画像のずれ量を検出するなど、他にもさまざまな方法がある。
【００７５】
図２の説明に戻り、ステップＳ２１１からＳ２１２では、位置ずれ補正部４０３０は、上記位置ずれ検出処理で算出したアフィン係数に基づいて、適正画像及びオーバー画像を補正（アフィン変換）する。
【００７６】
ステップＳ２１３〜Ｓ２１４では、移動体領域検出部４０４０は、アンダー画像及び、位置合わせ後の適正画像、オーバー画像に対して移動体領域を検出する。図６は移動体領域検出部４０４０の構成を示している。図６において、基準画像４０４１はアンダー画像であり、図７（ａ）のようなシーンであるとする。一方、位置合わせ済み画像４０４２は位置合わせ済み適正画像もしくは位置合わせ済みオーバー画像であり、図７（ｂ）のように（ａ）に対して少しだけ右側に移動したシーンとする。動体検出部４０４３は、基準画像４０４１と位置合わせ済み画像４０４２から動体領域を検出する。動体領域を検出する方法としては幾つか考えられるが、例えば２つの画像間の差分をとる方法が考えられる。差分Ｄｉｆｆは色及び輝度信号を用いて以下の式２で算出する。
【００７７】
【数２】
2013225724.tif 000004
【００７８】
ここでＹは輝度信号、Ｕ、Ｖは色信号を表している。従って差分Ｄｉｆｆは色差を意味する。
【００７９】
次に、白飛び黒潰れ領域除外部４０４４が差分Ｄｉｆｆに対して、アンダー画像や適正画像の黒潰れ輝度域及び、適正画像やオーバー画像の白飛び輝度域の除外を行う。これは白飛びや黒潰れ領域が動体検出部４０４３にて差分として現れ、移動体領域と誤判定されることを防止する目的で行う。基準画像４０４１から黒潰れ輝度ｔｈ１以下の信号の領域と位置合わせ済み画像４０４２の白飛び輝度ｔｈ２以上の信号の領域を差分Ｄｉｆｆから除外（信号値を０にする）する。結果は図７（ｃ）のようになる。
【００８０】
その後、差分Ｄｉｆｆの結果を参照しながら移動体領域を補正する処理に移行するが、それに先立って差分Ｄｉｆｆから誤検出による、極小な移動体や移動体内の非移動体などの孤立領域を孤立領域除去部４０４５により除去しておくことで移動体領域の境界を滑らかで自然な描写にすることができる。孤立領域を除去する方法は幾つか考えられるが、例えば差分Ｄｉｆｆを縮小及び拡大することを考える。縮小の段階で移動体と誤判定された小さな領域を除去することができ、元のサイズに拡大する段階で、移動体領域の内部に存在する非移動体領域を収縮することができる。
【００８１】
以上の移動体領域検出処理により抽出された移動体領域は図７（ｄ）のようになる。画像信号は非移動体領域が０として表わされ、移動体領域が２５５（８ｂｉｔの場合）として表わされる。移動体領域と非移動体領域の境界については、１〜２４４の間で表わされる。
【００８２】
ステップＳ２１５では、移動体領域合成部４０５０は、移動体領域検出部４０４０から出力される、アンダー画像と適正画像の移動体領域と、アンダー画像とオーバー画像の移動体領域とを合成する。具体的にはアンダー画像と適正画像の移動体検出画像と、アンダー画像とオーバー画像の移動体検出画像とを大値選択する。移動体領域は１以上の信号で表わされているため大値選択をすることで、全ての移動体領域を検出した画像を得ることができる。
【００８３】
ステップＳ２１６では、画像合成部４０６０は、アンダー画像と位置合わせ済みの適正画像とオーバー画像を用いて別途、輝度別合成処理を行い、ＨＤＲ合成画像を生成する。具体的には、「背景技術」の欄で述べたように適正画像の輝度レベルを基準輝度として、図８に示す合成比率に応じて、アンダー画像、適正画像、オーバー画像を合成する。この合成処理で生成された画像は「発明が解決しようとする課題」の欄で述べたように、移動体領域については正しく合成されていない。
【００８４】
そこで、ステップＳ２１７において、移動体処理部４０７０は、移動体検出画像を参照しながらＨＤＲ合成画像内の移動体領域を修正する。具体的には、ステップＳ２１６で作成したＨＤＲ合成画像に対して、ステップＳ２１５で算出した移動体領域をアンダー画像に置き換える。
【００８５】
ここで、移動体領域を単純にアンダー画像に置き換えてしまうと、移動体が暗い場合、アンダー画像の暗い領域の画像が使用されてしまう。特にアンダー画像の暗い領域はガンマ変換処理で大きなゲインがかかるため、ノイズの増加だけでなく、撮像素子１０３の信号の線形性が十分に得られず、色被り等が発生し被写体の色が適切に再現できない場合がある。
【００８６】
そこで、ステップＳ２０６のアンダー画像の現像処理を行う際に、ノイズ低減処理部４０１２が、適正画像・オーバー画像よりも相対的に強めのノイズ低減処理を施したり、色調整部４０１６で暗部の彩度を低下させる処理を行う。
【００８７】
また、アンダー画像の彩度のみを低下させてしまうと移動体部分のみ彩度が低下してしまうため、ステップＳ２０７、Ｓ２０８の適正画像やオーバー画像の現像処理にも同様に彩度を低下させる処理を施すような構成としてもよい。
【００８８】
最後にステップＳ２１８で、ＨＤＲ合成画像がメモリ１１０に保持された後、圧縮／伸張部１１１にてＪＰＥＧ圧縮処理が施され、外部記録装置１１２に記録されて一連の処理が終了する。
【００８９】
本実施形態によれば、アンダー画像のＩＳＯ感度を適正画像よりも相対的に下げて撮影することで、ガンマ変換処理によるアンダー画像のノイズの増加を抑えることができる。また、アンダー画像の暗部に対して彩度を低下させる処理を施すことで、移動体領域の色曲がり等の影響も抑制することができる。
【００９０】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2013225724.tif 000005
【図２】
2013225724.tif 000006
【図３】
2013225724.tif 000007
【図４】
2013225724.tif 000008
【図５】
2013225724.tif 000009
【図６】
2013225724.tif 000010
【図８】
2013225724.tif 000011
【図９】
2013225724.tif 000012
【図１０】
2013225724.tif 000013
【図１１】
2013225724.tif 000014
【図７】
2013225724.tif 000015
【図１２】
2013225724.tif 000016