(57)【要約】【課題】複数の画像の画像データの各々に適正に重み付けをして合成することによって合成画像の暗部におけるノイズを抑止し、輝度の線形性を保ち、しかも擬似輪郭の発生を防いで高品質の画像を生成することができる画像処理装置を提供する。【解決手段】露光量の異なる複数の画像データを合成して合成画像を生成する画像処理装置において、画像データＡ、Ｂ、Ｃの合成の割合を調整するための重みを画像データＡ、Ｂ、Ｃに付加する重み付け部１００を備え、重み付け部１００が、画像データＡ、Ｂ、Ｃの輝度に関するデータ同士を足し合わせて合成輝度データを生成する明るさ情報算出部１１１と、合成輝度データに基づいて画像データに付加される重みを決定する重み付け計算部１１２と、を設ける。【選択図】図１
2009049547.tif 000002
【特許請求の範囲】
【請求項１】
異なる露光量で撮影して得られた複数の画像をデジタルデータ化して得られた複数の画像データを合成することによって合成画像を生成する画像処理装置であって、
前記画像データの合成の割合を調整する重みを、複数の前記画像データのうち少なくとも一つに付加する重み付け手段を備え、
前記重み付け手段は、
複数の前記画像データの輝度に関するデータ同士を合成して合成輝度データを生成する輝度データ生成手段と、
前記輝度データ生成手段によって生成された合成輝度データに基づいて前記画像データに付加される重みを決定する重み決定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
複数の前記画像データを正規化して各画像データの明るさを統一する正規化手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
複数の前記画像データに前記重み決定手段によって決定された重みを付加して合成した画像データである合成画像データを、被写体の輝度に対して線形化する線形化手段を備えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記重み決定手段が輝度に応じて画像データと重みとを対応つける参照テーブルまたは関数によって前記重みを決定し、前記正規化手段は、前記参照テーブルまたは前記関数によって前記複数の画像データを正規化することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記重み決定手段が輝度に応じて画像データと重みとを対応つける参照テーブルまたは関数によって重みを決定し、前記線形化手段は、前記参照テーブルまたは前記関数によって前記合成画像データを線形化することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
異なる露光量で撮影して得られた複数の画像をデジタルデータ化して得られた複数の画像データを合成することによって合成画像を生成する画像処理装置において実行される画像処理方法であって、
前記画像データの合成の割合を調整する重みを、複数の前記画像データのうち少なくとも一つに付加する重み付け工程を含み、
前記重み付け工程は、
複数の前記画像データの輝度に関するデータ同士を合成して合成輝度データを生成する輝度データ生成工程と、
前記輝度データ生成工程において生成された合成輝度データに基づいて画像データに付加される重みを決定する重み決定工程と、
を含むことを特徴とする画像処理方法。
【請求項７】
コンピュータに、異なる露光量で撮影して得られた複数の画像をデジタルデータ化して得られた複数の画像データを合成することによって合成画像を生成する画像処理を実現させるための画像処理プログラムであって、
前記画像データの合成の割合を調整する重みを、複数の前記画像データのうち少なくとも一つに付加する重み付け機能を有し、
前記重み付け機能は、
複数の前記画像データの輝度に関するデータ同士を合成して合成輝度データを生成する輝度データ生成機能と、
前記輝度データ生成機能によって生成された合成輝度データに基づいて画像データに付加される重みを決定する重み決定機能と、
を有することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムに関する。
【背景技術】
【０００２】
画像の撮影をする場合の露光時間は、撮影された画像の品質を決定する重要な要素である。不適切な露光時間を設定して撮影した場合、人間の目であれば視認できるにも関わらず、画像上では黒く潰れて撮影の対象を判別することができない場合がある。また、反対に反射光が画像上で白く撮像され、いわゆる白飛びが発生するおそれがある。白飛びの派生によっても、撮影の対象を判別することができないことがある。
【０００３】
このような課題を解決するための従来技術として、露光量が異なる複数の画像の明るさが適正な画像を切り出して合成し、一枚の画像を構成するＨＤＲ（High Dynamic Range）合成に関する特許文献１がある。なお、露光量が異なる画像の撮像は、通常の露光時間での露光（通常露光）で画像を撮像し、この露光時間よりも短い時間での露光（短時間露光）、長い時間での露光（長時間露光）によって画像を撮像することによって簡易に実現できる。
【０００４】
画像の合成では、画像の輝度信号を露光時間に応じて正規化するため、短時間露光の画像のノイズが合成後の画像の特に暗い部分（暗部）に大きく影響することになる。このような不具合は、暗部については長時間露光して撮像された画像を主に使用するように、画像に重み付けをすることによって解消することができる。
画像に重み付けして合成する従来技術としては、例えば、特許文献２が挙げられる。特許文献２に記載された発明では、通常露光によって撮像された画像の輝度信号の強さに応じて通常露光で撮像された画像（通常露光画像）、短時間露光で撮像された画像（短時間露光画像）、長時間露光で撮像された画像（長時間露光画像）を重み付けする。
【０００５】
図１０（ａ）ないし（ｄ）は、特許文献２を説明するための図である。図１０（ａ）、（ｃ）は、撮像装置のカメラによって出力される輝度信号を縦軸に、通常露光で撮影した被写体の輝度を横軸に表したグラフである。また、図１０（ｂ）、（ｄ）は、通常露光画像、短時間露光画像、長時間露光画像が合成される際に付される重みを縦軸に、撮影した被写体の輝度を横軸に表したグラフである。なお、グラフ中、通常露光画像の重みを実線で、長時間露光画像の重みを破線で、短時間露光画像の重みを二点鎖線で示す。
【０００６】
通常露光画像が（ａ）に示した出力特性を得た場合、通常露光画像、短時間露光画像、長時間露光画像は、（ｂ）の重みが付されて合成される。（ｂ）によれば、特許文献２の合成画像の低輝度の部分では長時間露光画像が強く、中間の輝度の部分では通常露光時間画像が強く、高輝度の部分では短時間露光画像が強く影響することがわかる。
このような特許文献２によれば、短時間露光画像のノイズが拡大されて合成画像の輝度の低い部分も影響することを防ぐことができる。
【特許文献１】特開昭６３−３０６７７７号公報
【特許文献２】特開平１１−３１７９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、通常露光画像にも黒潰れや白飛びが発生しているおそれがあって、通常露光画像が常に重み付けの基準に適する画像であるとはいえない。すなわち、通常露光画像が（ｃ）に示した出力特性を得る場合がある。（ｃ）に示した出力特性では、通常露光画像の低輝度の領域では黒潰れが発生し、高輝度の領域では白飛びが発生している。このような通常露光画像を参照し特許文献２の重みを決定するとすれば、図１０（ｄ）のように、重みが画像の低輝度、高輝度領域で輝度によらず一定の値を持つことになる。
【０００８】
また、（ｃ）に示した通常露光画像をそのまま短時間露光画像や長時間露光画像に合成すると、黒潰れや白飛びも合成されるために合成画像の出力特性（入力された信号の輝度レベルに対する合成画像の輝度）が非線形になる。出力特性が非線形になると、合成画像の出力特性の直線性が崩れて擬似輪郭が発生する等して合成画像の画像品質が低下するおそれがある。
【０００９】
本発明は、上記した点に鑑みてなされたものであって、複数の画像の各々に適正に重み付けをして合成することによって合成画像の暗部におけるノイズを抑止し、輝度の線形性を保ち、しかも擬似輪郭の発生を防いで高品質の画像を生成することができる画像処理装置、画像処理方法、コンピュータに画像処理制御を実現させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
〔形態１〕  以上の課題を解決するため、本発明の形態１の画像処理装置は、異なる露光量で撮影して得られた複数の画像をデジタルデータ化して得られた複数の画像データを合成することによって合成画像を生成する画像処理装置であって、前記画像データの合成の割合を調整する重みを、複数の前記画像データのうち少なくとも一つに付加する重み付け手段を備え、前記重み付け手段は、複数の前記画像データの輝度に関するデータ同士を合成して合成輝度データを生成する輝度データ生成手段と、前記輝度データ生成手段によって生成された合成輝度データに基づいて前記画像データに付加される重みを決定する重み決定手段と、を備えることを特徴とする。
【００１１】
このような形態によれば、異なる露光量で撮影して得られた複数の画像データの輝度に関するデータ同士を合成した合成輝度データに基づいて画像データの重みを決定することができる。合成輝度データは輝度信号レベルが線形の範囲が通常の露光時間露光された画像の輝度よりも広い。このため、露光時間の異なる画像のうち、通常の露光時間で撮影された画像を基準にするよりも広い輝度の範囲で適正な重み付けをすることができる。また、擬似輪郭の発生を抑えて画像品質の低下を防ぐことができる。さらに、合成画像における長時間露光画像の割合を抑え、ノイズの少ない高画質の合成画像を得ることができる。
したがって、このような形態１は、複数の画像の各々に適正に重み付けすることによって合成画像の暗部におけるノイズを抑止し、輝度の線形性を保ち、しかも擬似輪郭の発生を防いで高品質の画像を生成することができる画像処理装置を提供することができる。
【００１２】
〔形態２〕  また、形態２の画像処理装置は、形態１の画像処理装置において、複数の前記画像データを正規化して各画像データの明るさを統一する正規化手段を備えることを特徴とする。
このような形態によれば、複数の画像データの露光量の相違による明るさの相違が統一される。このため、合成画像の作成にあたって正規化された画像データにそのまま重みをつけて合成すればよく、合成画像作成処理を簡易化することができる。
【００１３】
〔形態３〕  また、形態３の画像処理装置は、形態１または２に記載の画像処理装置において、複数の前記画像データに前記重み決定手段によって決定された重みを付加して合成した画像データである合成画像データを、被写体の輝度に対して線形化する線形化手段を備えることを特徴とする。
このような形態によれば、合成画像データの輝度を線形化することができる。このため、輝度の変化が一様な高画質の合成画像を得ることができる。
【００１４】
〔形態４〕  また、形態４の画像処理装置は、形態２の画像処理装置において、前記重み決定手段が輝度に応じて画像データと重みとを対応つける参照テーブルまたは関数によって重みを決定し、前記正規化手段は、前記参照テーブルまたは前記関数によって前記複数の画像データを正規化することを特徴とする。
このような形態によれば、参照テーブルや関数を使って重みの決定と併せて画像データを正規化することができる。このため、正規化にかかる機能や処理を別途用意することが必要なくなって装置構成を簡易化することができる。
【００１５】
〔形態５〕  また、形態５の画像処理装置は、形態３に記載の画像処理装置において、前記重み決定手段が画像データの輝度と重みとを対応つける参照テーブルまたは関数によって重みを決定し、前記線形化手段は、前記参照テーブルまたは前記関数によって前記合成画像データを線形化することを特徴とする。
このような形態によれば、参照テーブルや関数を使って重みの決定と併せて合成画像データを線形化することができる。このため、線形化にかかる機能や処理を別途用意することが必要なくなって装置構成を簡易化することができる。
【００１６】
〔形態６〕  形態６の画像処理方法は、異なる露光量で撮影して得られた複数の画像をデジタルデータ化して得られた複数の画像データを合成することによって合成画像を生成する画像処理装置において実行される画像処理方法であって、前記画像データの合成の割合を調整する重みを、複数の前記画像データのうち少なくとも一つに付加する重み付け工程を含み、前記重み付け工程は、複数の前記画像データの輝度に関するデータ同士を合成して合成輝度データを生成する輝度データ生成工程と、前記輝度データ生成工程において生成された合成輝度データに基づいて画像データに付加される重みを決定する重み決定工程と、を含むことを特徴とする。
【００１７】
このような形態によれば、異なる露光量で撮影して得られた複数の画像データの輝度に関するデータ同士を合成した合成輝度データに基づいて画像データの重みを決定することができる。合成輝度データは輝度信号レベルが線形の輝度の範囲が通常の露光時間露光された画像の輝度よりも広い。このため、露光時間の異なる画像のうち、通常の露光時間で撮影された画像を基準にするよりも広い輝度の範囲で適正な重み付けをすることができる。また、擬似輪郭の発生を抑えて画像品質の低下を防ぐことができる。さらに、合成画像における長時間露光画像の割合を抑え、ノイズの少ない高画質の合成画像を得ることができる。
したがって、このような形態６は、複数の画像の各々に適正に重み付けすることによって合成画像の暗部におけるノイズを抑止し、輝度の線形性を保ち、しかも擬似輪郭の発生を防いで高品質の画像を生成することができる画像処理方法を提供することができる。
【００１８】
〔形態７〕  形態７の画像処理プログラムは、コンピュータに、異なる露光量で撮影して得られた複数の画像をデジタルデータ化して得られた複数の画像データを合成することによって合成画像を生成する画像処理を実現させるための画像処理プログラムであって、前記画像データの合成の割合を調整する重みを、複数の前記画像データのうち少なくとも一つに付加する重み付け機能を有し、前記重み付け機能は、複数の前記画像データの輝度に関するデータ同士を合成して合成輝度データを生成する輝度データ生成機能と、前記輝度データ生成機能によって生成された合成輝度データに基づいて画像データに付加される重みを決定する重み決定機能と、を有することを特徴とする。
【００１９】
このような形態によれば、異なる露光量で撮影して得られた複数の画像データの輝度に関するデータ同士を合成した合成輝度データに基づいて画像データの重みを決定することができる。合成輝度データは輝度信号レベルが線形の輝度の範囲が通常の露光時間露光された画像の輝度よりも広い。このため、露光時間の異なる画像のうち、通常の露光時間で撮影された画像を基準にするよりも広い輝度の範囲で適正な重み付けをすることができる。また、擬似輪郭の発生を抑えて画像品質の低下を防ぐことができる。さらに、合成画像における長時間露光画像の割合を抑え、ノイズの少ない高画質の合成画像を得ることができる。
したがって、このような形態７は、複数の画像の各々に適正に重み付けすることによって合成画像の暗部におけるノイズを抑止し、輝度の線形性を保ち、しかも擬似輪郭の発生を防いで高品質の画像を生成することができる画像処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、図を参照して本発明に係る画像処理装置、画像処理方法、コンピュータに画像処理制御を実現させるためのプログラムの実施形態１、実施形態２を説明する。
(実施形態１）
図１は、本発明の実施形態１の画像処理装置の構成を説明するための図である。図示した画像処理装置は、ＣＣＤカメラ１０１、ＣＣＤカメラ１０１によって撮影されたデータ（画像データ）を複数のメモリ１０３ａ、１０３ｂ、１０３ｃに振分けるスイッチ（ＳＷ）１０２、メモリ１０３ａ〜１０３ｃに振分けられて蓄積された画像データを正規化して明るさを統一する正規化部１０４、正規化された画像データをＨＤＲ合成するＨＤＲ合成部１０５、合成された画像データを被写体の輝度に対して線形化し、特性の線形性を確保する線形化部１０６、合成後の画像データを表示するディスプレイ画面等の表示部１０７及び画像データを保存する画像保存部１０８を備えている。
【００２１】
このような画像処理装置は、露光量の異なる複数の画像データを合成して合成画像を生成する画像処理装置である。なお、本実施形態では、画像データとは画像を撮像して得られるデジタルデータを指すものとする。画像データは、画像を複数の画素によって表していて、画素は画像における位置（座標）と輝度やＲ、Ｇ、Ｂの色成分に関する情報を含んでいる。
実施形態１では、ＣＣＤカメラ１０１が１回の撮像で露光量の異なる複数の画像データを生成する。露光量の異なる画像データの生成は、例えば、ＣＣＤカメラ１０１にある電子シャッタ機能によってＣＣＤに蓄積された電荷の読み出しタイミングを変化させることによって実現できる。
【００２２】
例えば読み出しタイミングを３段階に変化させる場合、最も早いタイミングでＣＣＤから読み出された画像データを最も露光量の小さい画像データＡとする。また、次に早いタイミングでＣＣＤから読み出された画像データを通常露光の画像データＢとする。さらに、最も遅いタイミングでＣＣＤから読み出された画像データを露光量の大きい画像データＣとする。このような構成は、露光時間を変更することによって露光量を変更することになる。なお、実施形態１では、画像データＡを取得した露光時間をＴａ、画像データＢを取得した露光時間をＴｂ、画像データＣを取得した露光時間をＴｃとすると、Ｔａ、Ｔｂ、Ｔｃの比を、以下のように定めた。
【００２３】
Ｔａ：Ｔｂ：Ｔｃ＝１５：１００：５００
メモリ１０３ａは、画像データＡの蓄積に使用される。メモリ１０３ｂは画像データＢの蓄積に、メモリ１０３ｃが画像データＣの蓄積にそれぞれ使用されるものとする。なお、実施形態１は、露光時間によって露光量を変える構成に限定されるものでなく、ＣＣＤカメラ１０１が絞りを変えて複数回画像を撮像することによって露光量の異なる複数の画像データを生成するものであってもよい。
【００２４】
また、実施形態１の画像処理装置は、前記したように、複数の画像データを合成することによって合成画像を生成する。実施形態１の画像処理装置は、この合成における各画像データの合成の割合を調整する重みを、メモリ１０３ａ、１０３ｂ、１０３ｃに蓄積された画像データＡ、Ｂ、Ｃに付加する重み付け部１００を備えている。重み付け部１００は、画像データＡ、Ｂ、Ｃの輝度に関するデータ同士を合成して合成輝度データを生成する明るさ情報算出部１１１、明るさ情報算出部１１１によって生成された合成輝度データに基づいて画像データに付加される重みを決定する重み付け計算部１１２を備えている。
【００２５】
実施形態１において、明るさ情報算出部１１１が輝度データ生成手段、重み付け計算部１１２が重み決定手段として機能する。また、正規化部１０４は正規化手段、線形化部１０６は線形化手段として機能する。
なお、実施形態１では、画像データＡ、Ｂ、Ｃの全てに重みを付加するものとしたが、本発明はこのような構成に限定されるものでなく、画像データＡ、Ｂ、Ｃの少なくとも一つに重みを付加するものであってもよい。
【００２６】
ＣＣＤカメラ１０１は、被写体を撮影する。撮影によってＣＣＣカメラ１０１のＣＣＤに電荷が蓄積され、異なるタイミングで読み出される。読み出された電荷は、図示しないＡＦＥ（Analog Front End）を介してＡ／Ｄ変換部に入力されてデジタルデータ（画像データＡ、Ｂ、Ｃ）となる。ＳＷ１０２は、画像データＡをメモリ１０３ａに、画像データＢをメモリ１０３ｂに、画像データＣをメモリ１０３ｃに振分けて蓄積させる。
【００２７】
蓄積された画像データＡ、Ｂ、Ｃは、正規化、ＨＤＲ合成といった処理の後に線形化されて合成画像データとなる。また、正規化される以前の画像データＡ、Ｂ、Ｃは、重み付け部１００にも入力される。重み付け部１００では、ＨＤＲ合成部１０５における画像合成に使用される重みが算出されてＨＤＲ合成部１０５に渡される。
ＨＤＲ合成部１０５は、算出された重みを正規化された画像データに付加しながら画像データＡ、Ｂ、Ｃを合成して合成画像を生成する。線形化部１０６は、合成画像の線形性を確保して表示部１０７あるいは画像保存部１０８に出力する。
以下、以上の構成の動作についてより詳細に説明する。
【００２８】
（重み付け）
図２は、画像データＡ、Ｂ、Ｃの重み付けの手順を説明するための図であって、いずれも縦軸には０〜２５５の輝度信号レベルを、横軸には被写体の明るさ（輝度）を示している。横軸の被写体輝度は、ＣＣＤカメラ１０１によって撮影された被写体の輝度［ｃｄ／ｍ2］である。縦軸は、被写体を撮影した画像の輝度信号レベル０〜２５５を示している。図から明らかなように、被写体の輝度が同一であっても、露光時間の異なる画像データＡ、Ｂ、Ｃ間では輝度が画像上でどのような輝度信号レベルで表されるかが相違する。
【００２９】
図２（ａ）は、撮影された画像データＡ、Ｂ、Ｃ各々の輝度信号レベルと被写体輝度との関係を表した直線２０１ａ、２０１ｂ、２０１ｃを示している。直線２０１ａは画像データＡの輝度の特性を示し、直線２０１ｂは画像データＢの輝度の特性を示し、直線２０１ｃは画像データＣの輝度の特性を示している。直線２０１ａ、２０１ｂ、２０１ｃは、各々画像データＡ、Ｂ、Ｃの輝度に関するデータに相当する。
【００３０】
図２（ａ）によれば、露光時間の短い画像データＡは白飛びが起こり難く、輝度の高い被写体に対応できることがわかる。また、露光時間が長い画像データＣは黒潰れが起こり難く、輝度の低い被写体に対応できることがわかる。したがって、ＨＤＲ合成は、３つの画像データＡ、Ｂ、Ｃを画像の明るさに対応して合成することにより、輝度の範囲が広い画像に対応して黒潰れや白飛びが少ない高品質の画像を生成することが可能になる。
【００３１】
図２（ｂ）は、（ａ）に示した直線２０１ａ、２０１ｂ、２０１ｃの輝度信号レベルを合成した折れ線２０２を示している。このような折れ線２０２は、画像データＡ、Ｂ、Ｃの輝度に関するデータを合成して得られる合成輝度データを示している。なお、合成は、直線２０１ａ、２０１ｂ、２０１ｃの輝度信号レベルを足し合わせて３で除算して平均値を得ることによって行われる。このようにして生成された直線群２０２は、実施形態１の合成輝度データであり、その輝度信号レベルを以下カメラ輝度と呼ぶ。なお、直線群２０２においても、画像データＡ、Ｂ、Ｃの全てについて輝度信号レベルが飽和している場合、飽和領域においてカメラ輝度はクリップされることになる。
【００３２】
合成輝度データは、連続性を有するものの、直線２０１ａ、２０１ｂ、２０１ｃの飽和値も足しあわされるために傾きが変化している（図２（ｂ））。実施形態１では、傾きの変化を除去するため、参照テーブル（１ＤＬＵＴ（１D Look up Table））または関数によって直線群２０２を傾きが一定の直線２０３に補正する。図２（ｃ）は、変換後の傾きが一定の直線２０３を示している。また、図３は、直線群２０２の補正に使用される１ＤＬＵＴを例示した図である。なお、実施形態１では、１ＤＬＵＴや関数は、画像処理装置に予め用意されているものとする。
【００３３】
以上示したように、従来技術のように重み付けに通常露光の画像データＢの特性（直線２０１ｂ）を使った場合、被写体輝度が図２（ａ）中に示したＬ１より大きい範囲で輝度信号レベルが一定になってしまう。一方、合成輝度データは画像データＡ、Ｂ、Ｃを合成して生成されているから、通常露光の画像データよりも広い輝度の範囲においてカメラ輝度が一定になることがない。したがって、実施形態１は、従来技術よりも広い輝度の範囲で輝度信号レベルを適正に設定し、黒潰れや白飛びの少ない画像を基準にして画像合成することができる。
重み付け計算部１１２は、以上のようにして生成された合成輝度データに基づいて重みを決定し、画像データＡ、Ｂ、Ｃに付加する。重みの決定は、カメラ輝度に応じて画像データと重みとを対応つける関数または１ＤＬＵＴによって行われる。
【００３４】
図４は、重み付け計算部１１２による重みの決定に使用される１ＤＬＵＴを例示した図である。図４の縦軸は画像データＡ、Ｂ、Ｃの各々に付加される重みを示し、横軸には合成輝度データのカメラ輝度を示している。図中に示した曲線４０１は、画像データＢの重みを示している。また、曲線４０２は画像データＣの重みを、曲線４０３は画像データＡの重みを示している。
【００３５】
図４にしたがって画像データに重みを付加すれば、被写体の輝度が低い部分、すなわち合成画像の輝度が低い部分では長い露光時間を使って取得された画像データＣに比較的大きな重み付けがされる。このため、合成画像の輝度の低い部分では画像データの割合が大きくなる。また、合成画像の輝度が高くなるにつれ画像データＢの割合が大きくなり、輝度が中間値よりも大きくなるにつれて露光時間の短い画像データＡの合成画像における割合が大きくなる。
【００３６】
重みは、画像データＡ、Ｂ、Ｃの画素ごとに決定される。例えば、露光時間がＴａの画像データＡの座標（ｘ，ｙ）に位置する画素に付加された重みＷ＿Ｔａは、Ｗ＿Ｔａ（ｘ，ｙ）と表される。また、露光時間がＴｂの画像データＢの座標（ｘ，ｙ）に位置する画素に付加された重みＷ＿ＴｂはＷ＿Ｔｂ（ｘ，ｙ）、露光時間がＴｃの画像データＣの座標（ｘ，ｙ）に位置する画素に付加された重みＷ＿ＴｃはＷ＿Ｔｃ（ｘ，ｙ）と表される。
【００３７】
なお、図９（ｃ）は図４の横軸であるカメラ輝度を被写体輝度に変換したものである。実施形態１は、前記したように、従来技術での重み付けを表す図９（b）よりも図９（ｃ）の横軸において重み付け可能な範囲を被写体輝度の広い範囲とすることができる。このような実施形態１は、通常露光の画像データを基準にする従来技術よりも、ダイナミックレンジの高い画像に対応することが可能になるものといえる。
【００３８】
（ＨＤＲ合成）
次に、メモリ１０３ａ、１０３ｂ、１０３ｃから正規化部１０４を介してＨＤＲ合成部１０５に送られた画像データＡ、Ｂ、Ｃの処理について説明する。
正規化部１０４は、露光時間が異なる画像データＡ、Ｂ、Ｃの明るさを揃えるように正規化する。正規化は、以下の式（１）、（２）、（３）によって表されるように行われる。なお、式において、正規化前の画像データＡはＩＭＧ＿Ｔａ、正規化後の画像データＡはＩＭＧ＿Ｔａ＿Ｎ、正規化前の画像データＢはＩＭＧ＿Ｔｂ、正規化後の画像データＡはＩＭＧ＿Ｔｂ＿Ｎ、正規化前の画像データＣはＩＭＧ＿Ｔｃ、正規化後の画像データＡはＩＭＧ＿Ｔｃ＿Ｎとして表されている。
【００３９】
ＩＭＧ＿Ｔａ＿Ｎ＝ＩＭＧ＿Ｔａ×Ｔｃ／Ｔａ                  …（１）
【００４０】
ＩＭＧ＿Ｔｂ＿Ｎ＝ＩＭＧ＿Ｔｂ×Ｔｃ／Ｔｂ            …（２）
【００４１】
ＩＭＧ＿Ｔｃ＿Ｎ＝ＩＭＧ＿Ｔｃ                        …（３）
【００４２】
ＨＤＲ合成部１０５は、画像データＡ、Ｂ、Ｃの同じ座標に位置する画素同士を重みを付加して合成する。合成画像の座標（ｘ，ｙ）に位置する画素の値ＨＤＲ（ｘ，ｙ）は、以下の式（４）によって求められる。
【００４３】
ＨＤＲ（ｘ，ｙ）＝Ｗ＿Ｔａ（ｘ，ｙ）×ＩＭＧ＿Ｔａ＿Ｎ
＋Ｗ＿Ｔｂ（ｘ，ｙ）×ＩＭＧ＿Ｔｂ＿Ｎ
＋Ｗ＿Ｔｃ（ｘ，ｙ）×ＩＭＧ＿Ｔｃ＿Ｎ          …（４）
【００４４】
図５は、以上のようにしてＨＤＲ合成された合成画像データの特性を例示した図である。図５（ａ）、（ｂ）の縦軸は正規化された画像データＡ、Ｂ、Ｃを合成した合成画像の輝度信号レベル、横軸は被写体の輝度を示している。なお、図５（ａ）、（ｂ）の縦軸に示した輝度信号レベルの８５００という値は、２５５×Ｔｃ／ＴａすなわちＩＭＧ＿Ｔａ＿Ｎの最大値であり、ＨＤＲ輝度合成した画像の輝度信号レベルの最大値でもある。
【００４５】
合成画像の特性が図５（ａ）のように表される場合、画像の階調が一様に変化せずに画像の品質を低下させる。線形化部１０６は、画像の輝度信号レベルが輝度に応じて直線的に変化するよう、図５（ａ）の曲線５０１で表される特性を補正して図５（ｂ）に示す直線にする。なお、補正は、予め設定された関数または１ＤＬＵＴによって行ってもよいし、（ａ）の特性を逆変換して得られる関数や１ＤＬＵＴを使って行うことが可能である。なお、図８（ｃ）は曲線５０１の補正に使用される１ＤＬＵＴを例示した図である。
【００４６】
図６は、以上述べた実施形態１の画像処理装置で実行される画像処理方法を説明するためのフローチャートである。図６（ａ）は、画像データＡ、Ｂ、Ｃを合成して得られる合成輝度データを使って重みを決定する処理を説明するためのフローチャートである。また、（ｂ）は、決定した重みを画像データに付加してＨＤＲ合成する処理を説明するためのフローチャートである。
【００４７】
ＣＣＤカメラ１０１によって生成された画像データＡ、Ｂ、Ｃは、各々メモリ１０３ａ、１０３ｂ、１０３ｃに蓄積される。蓄積された画像データＡ、Ｂ、Ｃは、ＨＤＲ合成のために正規化部１０４に送られて、重み付け部１００に入力される。
重み付け部１００では、図６（ａ）に示したように、明るさ情報算出部１１１において画像データＡ、Ｂ、Ｃが合成される（ステップＳ６０１）。また、明るさ情報算出部１１１は、画像データＡ、Ｂ、Ｃを合成して得た０〜２５５の輝度信号レベルに対してカメラ輝度を割り当てて合成輝度データを生成する（ステップＳ６０２）。なお、実施形態1では、カメラ輝度の生成に際し、データを補正して直線としている。
【００４８】
次に、重み付け計算部１１２は、画像データＡ、Ｂ、Ｃを合成して得たカメラ輝度に基づいて、各画像データＡ、Ｂ、Ｃの各々に付加すべき重みを決定する。重みの決定は、図４に示したＬＵＴを参照して行われる。
重み付け計算部１１２は、画像データＡ、Ｂ、Ｃの全ての座標について画素の重み付けが決定したか否か判定する（ステップＳ６０３）。そして、重み付けが未だされていない画素がある場合には（ステップＳ６０３：Ｎｏ）、重みを決定する処理を継続する。一方、全ての座標に位置する画素について重み付けが決定すると、処理を終了する。
また、正規化部１０４は、図６（ｂ）のフローチャートに示したように、画像データＡ、Ｂ、Ｃを正規化する（ステップＳ６１１）。正規化は、各画像データＡ、Ｂ、Ｃの露光時間の相違による明るさの相違を統一するように行われる。
【００４９】
次に、ＨＤＲ合成部１０５は、図６（ａ）に示したフローチャートによって決定された重みを受け取ってＨＤＲ合成をして合成画像データを生成する（ステップＳ６１２）。そして、合成画像の全ての画素について合成がされたか否か判断し（ステップＳ６１３）、合成がされていなければＨＤＲ合成を継続する（ステップＳ６１３：Ｎｏ）。また、合成がされていれば（ステップＳ６１３：Ｙｅｓ）、線形化部１０６が合成画像を線形化し（ステップＳ６１４）、処理が終了する。
以上述べたフローチャートにおいて、（ａ）のステップＳ６０１、６０２が実施形態１の輝度データ生成工程となる。また、ステップＳ６０３、６０４が実施形態１の重み決定工程となる。
【００５０】
なお、以上述べた実施形態１の画像処理方法は、コンピュータによって実行される実施形態１の画像処理プログラムによって実行される。実施形態１の画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、実施形態１の画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
また、実施形態１の画像処理プログラムは、コンピュータで読み取り可能なＲＯＭ、フラッシュメモリ、メモリカード、ＵＳＢ接続型フラッシュメモリ等のメモリデバイスに記録されて提供してもよい。
【００５１】
以上述べた実施形態１によれば、異なる露光量で撮影して得られた複数の画像データの輝度に関するデータ同士を合成した合成輝度データに基づいて画像データの重みを決定することができる。合成輝度データは輝度信号レベルが線形である輝度の範囲が通常の露光時間画像の輝度よりも広い。このため、露光時間の異なる画像のうち、通常の露光時間で撮影された画像の輝度を基準にするよりも広い輝度の範囲で適正な重み付けをすることができる。また、擬似輪郭の発生を抑えて画像品質の低下を防ぐことができる。さらに、合成画像における短時間露光画像の割合を抑え、ノイズの少ない高画質の合成画像を得ることができる。
【００５２】
（実施形態２）
次に、本発明の実施形態２を説明する。実施形態２は、実施形態１の画像処理装置の正規化部１０４を省き、機能構成及び処理工程を簡易化するものである。簡易化のため、実施形態２では、正規化部１０４、線形化部１０６を省き、重み付けに使用される１ＤＬＵＴまたは関数によって画像データＡ、Ｂ、Ｃを正規化または正規化する。このような実施形態２では、重み付け部７００（図７）が、正規化手段及び線形化手段としても機能する。
【００５３】
図７は、実施形態２の画像処理装置の構成を説明するための図である。図７中の実施形態１で説明した構成と同様の構成には同様の符号を付し、説明を一部略すものとする。実施形態２の画像処理装置は、実施形態１と同様に、ＣＣＤカメラ１０１、ＳＷ１０２、メモリ１０３ａ、１０３ｂ、１０３ｃ、ＨＤＲ合成部１０５、明るさ情報算出部７１１と重み付け計算部７１２を有する重み付け部７００、表示部１０７及び画像保存部１０８を備えている。
【００５４】
ただし、実施形態２の画像処理装置は、正規化部１０４及び線形化部１０６を有してない点で実施形態１と相違していて、画像データＡ、Ｂ、Ｃを規格化することなくＨＤＲ合成部１０５に入力している。また、ＨＤＲ合成された画像を改めて線形化することなく表示部１０６や画像保存部１０８に出力する。
ＣＣＤカメラ１０１によって得られた画像データＡ、Ｂ、Ｃは、それぞれメモリ１０３ａ、１０３ｂ、１０３ｃに保存される。そして、明るさ情報算出部７１１において合成される。合成の結果、合成輝度データが作成される。ただし、明るさ情報算出部７１１は、合成後の画像データを線形化する補正をせず、図２（ｂ）に示した直線群２０２をそのまま合成輝度データのカメラ輝度として使用する。重み付け計算部７１２は直線群２０２に基づいて重みを決定する。決定された重みは、ＨＤＲ合成部１０５に入力する。
【００５５】
この際、重み付け計算部７１２は、非線形の合成輝度データに基づいて重みを決定するため、図８（ｄ）に示した１ＤＬＵＴを使って重みを決定する。図８（ａ）、（ｂ）、（ｃ）に示した１ＤＬＵＴは、図８（ｄ）を生成する過程での１ＤＬＵＴを示しており、いずれも縦軸に画像データＡ、Ｂ、Ｃに付加される重みを示し、横軸には０〜２５５のカメラ輝度を示している。
【００５６】
ここで、図８（ｄ）を生成する過程を説明する。実施形態２では、ＨＤＲ合成される画像データＡ、Ｂ、Ｃの輝度信号レベルが実際の画像の輝度に対して線形でないため、図８（ａ）に示す１ＤＬＵＴを使って画像データの重み付けを決定する必要がある。この１ＤＬＵＴは、図４に示した１ＤＬＵＴに図３に示した１ＤＬＵＴの直線群２０２の補正を考慮した１ＤＬＵＴである。
【００５７】
また、実施形態２では、画像データが正規化されていないため、正規化を考慮した係数Ｔ３／Ｔ１、Ｔ２／Ｔ１、Ｔ３／Ｔ３を図８（ａ）のＬＵＴが示す特性に乗算する必要がある。図８（ｂ）は、乗算の結果得られる１ＤＬＵＴを示す。
さらに、実施形態２では、重み付け計算部１１２が、合成後に得られる合成画像の線形化も考慮して作成された１ＤＬＵＴを使って重みを決定する必要がある。図８（ｃ）は、合成画像を線形化するための１ＤＬＵＴであり、図８（ｄ）は、図８（ｂ）に示した１ＤＬＵＴに図８（ｃ）に示した１ＤＬＵＴを合成した１ＤＬＵＴを示している。
【００５８】
以上述べた処理によって生成された図８（ｄ）の１ＤＬＵＴは、合成輝度データの線形化、画像データＡ、Ｂ、Ｃの正規化、ＨＤＲ合成後の線形化を考慮した重み決定の１ＤＬＵＴとして重み付け計算部７１２にて機能する。
ここで、本発明の実施形態１、実施形態２で得られる効果についてまとめて述べる。すなわち、実施形態１、実施形態２の発明は、画像を合成する際の重みの調整においてキーとなる情報は被写体の明るさであることに着目してなされている。このため、被写体の明るい部分を撮影した画像では短露光時間の画像をメインにし、露光時間がより短い画像と合成することによってＳ／Ｎ比の良好な画像を得ることが可能になる。
【００５９】
被写体の明るさ（輝度）を判断する基準として、従来では、通常露光画像（図２の直線２０１ｂ）を使っていたが、通常露光画像においても黒潰れや白飛びは発生している。このため、黒潰れや白飛びが発生する輝度における画像情報が欠落し、この輝度の範囲では適正な重み付けができないという不具合が発生する。
一方、実施形態１、実施形態２では、露光時間の異なる複数の画像データを合成して合成輝度データを作成し、重み付けの基準としている。合成輝度データは通常露光画像よりも輝度信号レベルが飽和する範囲が少ないため、より高い輝度の範囲まで適正な重みを決定することができる。
【００６０】
次に、重み付けの基準となる画像と画像品質との関係について説明する。図９は、実施形態１、実施形態２の効果を従来技術と比較して説明するための図である。図９（ａ）は、理想的な重み付けの１ＤＬＵＴを示している。しかし、輝度信号レベルが白飛びする標準露光画像を基準として重み付けした場合、画像の多くが明るい画像であると判定される。したがって、比較的早い段階で重みが一定の値をとり、図９（ｂ）のように短時間露光の割合が大きい合成画像が生成される。
【００６１】
短時間露光画像は一般的にノイズが多く、合成画像における短時間露光画像の割合が大きくなると合成画像のノイズ（粒状間）が大きくなって画像品質が低下するおそれがある。
本発明の実施形態１、実施形態２のように、露光時間が異なる画像データを合成した合成輝度データに基づいて画像の重み付けをすると、図９（ｃ）のように、図９（ａ）に示した理想的な重み付けを実現することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態１の画像処理装置の構成を説明するための図である。
【図２】本発明の実施形態１の画像データＡ、Ｂ、Ｃの重み付けの手順を説明するための図である。
【図３】図２（ｂ）に示した直線群の補正に使用される１ＤＬＵＴを例示した図である。
【図４】図１に示した重み付け計算部による重みの決定に使用される１ＤＬＵＴを例示した図である。
【図５】本発明の実施形態１のＨＤＲ合成された合成画像データの特性を例示した図である。
【図６】本発明の実施形態１の画像処理装置で実行される画像処理方法を説明するためのフローチャートである。
【図７】本発明の実施形態２の画像処理装置の構成を説明するための図である。
【図８】本発明の実施形態２の重みを決定する参照テーブルを示した図である。
【図９】実施形態１、実施形態２の効果を従来技術と比較して説明するための図である。
【図１０】従来技術を説明するための図である。
【符号の説明】
【００６３】
１０１  ＣＣＤカメラ、１０３ａ，１０３ｂ，１０３ｃ  メモリ、１０４  正規化部、１０５  ＨＤＲ合成部、１０６  線形化部、１０７  表示部、１０８  画像保存部、１１１，７１１  明るさ情報算出部、１１２，７１２  重み付け計算部
【図１】
2009049547.tif 000003
【図２】
2009049547.tif 000004
【図３】
2009049547.tif 000005
【図４】
2009049547.tif 000006
【図５】
2009049547.tif 000007
【図６】
2009049547.tif 000008
【図７】
2009049547.tif 000009
【図８】
2009049547.tif 000010
【図９】
2009049547.tif 000011
【図１０】
2009049547.tif 000012