(57)【要約】【課題】  高感度画像信号と低感度画像信号と合成して広ダイナミックレンジの合成画像を生成するに際し、Ｓ／Ｎが良好で且つ輝度反転や色ズレを少なくする。【解決手段】  被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを加重加算回路１４で合成するとき、下記合成式        ＧC＝ｋ・Ｈ＋（１−ｋ）・Ｌ    ここで、ｋは合成パラメータ（０≦ｋ≦１）で合成する。このとき、前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値をｋ値決定部１９で画素位置毎に決定して加重加算回路１４に出力する。【選択図】  図２
2005072965.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを合成式
ＧC＝ｋ・Ｈ＋（１−ｋ）・Ｌ
ここで、ｋは合成パラメータ（０≦ｋ≦１）
で合成して合成画像信号ＧCを生成するに際し、前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値（以下、ｋ値という。）を画素位置毎に決定して前記合成式で合成することを特徴とする画像合成方法。
【請求項２】
前記合成式で用いる高感度画像信号Ｈは、固体撮像素子から出力される高感度画像信号ＤHを高感度画像信号用非線形特性ＧHで変換した後の信号ＧH（ＤH）であり、前記合成式で用いる低感度画像信号Ｌは、固体撮像素子から出力される低感度画像信号ＤLを低感度画像信号用非線形特性ＧLで変換した後の信号ＧL（ＤL）であることを特徴とする請求項１に記載の画像合成方法。
【請求項３】
前記高感度画像信号のリニア値が所定レベルより低い信号レベルの領域で、前記合成式で用いる非線形変換前の低感度画像信号ＤLまたは非線形変換後の低感度画像信号ＧL（ＤL）を、非線形変換前の高感度画像信号ＤHまたは非線形変換後の高感度画像信号ＧH（ＤH）から生成した低感度画像信号に置き換えることを特徴とする請求項２に記載の画像合成方法。
【請求項４】
高感度画像信号／低感度画像信号＝感度比としたとき〔高感度画像信号／感度比〕の信号と低感度画像信号とを加重平均した信号で低感度画像信号を置き換えると共に、前記所定レベルからゼロレベルへの低感度画像信号の変化に応じて前記加重平均する低感度画像信号を１００％から０％に変化させることを特徴とする請求項３に記載の画像合成方法。
【請求項５】
前記高感度画像信号用非線形特性ＧH及び前記低感度画像信号用非線形特性ＧLは共に単調増大関数且つ二次微分値の変化すなわち傾きの変化が常に正または零の単調減少関数となる特性であり、前記高感度画像信号用非線形特性ＧHと前記低感度画像信号用非線形特性ＧLとが同一特性または異なる特性であることを特徴とする請求項２乃至請求項４のいずれかに記載の画像合成方法。
【請求項６】
注目画素位置のｋ値を決定するとき該注目画素位置を中心とした所定範囲内の光学像の平均的な明暗に応じて、該光学像が相対的に暗いときはｋ値を“１”に近い値に決め、前記光学像が相対的に明るいときはｋ値を“０”に近い値に決めることを特徴とする請求項１乃至請求項５のいずれかに記載の画像合成方法。
【請求項７】
被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを合成式
ＧC＝ｋ・Ｈ＋（１−ｋ）・Ｌ
ここで、ｋは合成パラメータ（０≦ｋ≦１）
で合成して合成画像信号ＧCを生成するとき前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値を画素位置毎に決定し前記合成式で合成処理する画像処理手段を備えることを特徴とする固体撮像装置。
【請求項８】
前記画像処理手段は、請求項２乃至請求項６のいずれかに記載の画像合成方法で合成処理を行うことを特徴とする請求項７に記載の固体撮像装置。
【請求項９】
請求項７または請求項８に記載の固体撮像装置を搭載したことを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して得られた高感度画像信号と低感度画像信号とを合成してダイナミックレンジの広い画像信号を生成する画像合成方法等に係り、特に、輝度反転が起き難くＳ／Ｎが高い合成画像を得るのに好適な画像合成方法及び固体撮像装置並びにデジタルカメラに関する。
【背景技術】
【０００２】
ＣＣＤイメージセンサやＣＭＯＳイメージセンサに代表される固体撮像素子を使用した固体撮像装置で撮像される画像は、ダイナミックレンジが狭いという欠点がある。このため、ダイナミックレンジの広い撮影シーン、例えば、逆光の人物像や、暗い室内から窓越しの昼下がりの庭等の光学像を綺麗に撮ることができない。
【０００３】
そこで、従来のデジタルカメラでは、下記特許文献１に記載されている様に、電荷蓄積期間を制御できる固体撮像素子を搭載し、被写体を長時間露光した画像信号を読み出し、次に連続して同じ被写体を短時間露光して得た画像信号を読み出し、２つの画像信号を合成処理することで、広いダイナミックレンジの被写体画像を得る様にしている。
【０００４】
また、下記特許文献２に記載されている従来技術では、画素配列の１／２を高感度画素として形成し、残り１／２を低感度画素として形成した固体撮像素子を使用し、同一の露光時間で得られた高感度画素からの画像信号と低感度画素からの画像信号とを合成処理し、広いダイナミックレンジの被写体画像を得る様にしている。
【０００５】
尚、固体撮像素子から出力される長時間露光の画像信号あるいは高感度画素から得られる画像信号を高感度画像信号といい、短時間露光の画像信号あるいは低感度画素から得られる画像信号を低感度画像信号と呼ぶことにする。
【０００６】
一般的に、デジタルカメラで処理する画像信号には、デジタルデータとしての制約がある。例えば、合成前の高感度画像信号や低感度画像信号が夫々８ビットの信号であっても、合成画像の画像信号を計１６ビットの信号とすることはコスト的に無理である。このため、ダイナミックレンジの広い合成画像の画像信号も８ビットの信号になるように合成処理する必要がある。
【０００７】
そのため、広いダイナミックレンジを持つ合成画像は、部分的に画像の階調差が小さくなり、メリハリが少なく、単調な画像になってしまうという欠点がある。
【０００８】
そこで、下記特許文献３に記載された従来技術では、図９に示すガンマ特性を用いて全画面の各画素位置における合成画像データを生成している。即ち、高感度画像信号は、高レベルを極端に抑えたガンマ特性Ｉ（実線）で非線形変換処理を行い、低感度画像信号はガンマ特性II（破線）で非線形変換処理を行い、変換処理後の高感度画像信号と低感度画像信号とを加算処理することで、合成画像信号を得ている。得られた合成画像信号は、高感度画像信号が飽和して白飛びする範囲や低感度画像信号が黒潰れする範囲での階調差が表現されるため、メリハリのある合成画像信号となる。
【０００９】
【特許文献１】特開平６―１４１２２９号公報
【特許文献２】特開昭５９―２１０７７５号公報
【特許文献３】特開２００２―１３５６４９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述した図９のガンマ特性を用いるデジタルカメラでは、高感度画像信号用のガンマ特性Ｉが高レベル領域を極端に抑えたガンマ特性となっているため、この高レベル領域でのＳ／Ｎが悪くなるという課題がある。
【００１１】
また、非線形な高感度画像信号用ガンマ特性や低感度画像信号用ガンマ特性を予め多数用意し、撮影シーンに合わせて高感度画像信号用ガンマ特性及び低感度画像信号用ガンマ特性を選択する必要があるため、ガンマ特性を記憶するメモリ容量が大きくなり、デジタルカメラをコストアップさせてしまうという課題もある。
【００１２】
更に、図９に示す入射露光量レベルＸ１〜Ｘ３の範囲でのガンマ特性Ｉとガンマ特性IIを合成したガンマ特性は、入射露光量レベルが増大するに従って信号量が減少する特性となる。即ち、この範囲Ｘ１〜Ｘ３では、入射露光量レベルＸ２の素地に薄い白線があると、レベルが反転しているため黒い線になってしまい、逆に、薄い黒線は白線になるという輝度反転が発生するという問題が生じる。この輝度反転は、カラー画像の場合には色ズレとして現れる。範囲Ｘ１〜Ｘ３に入る画像部分の全画面中に占める割合が小さい程この問題は小さいが、輝度反転を起こす範囲Ｘ１〜Ｘ３の画像部分が広いと、違和感のある合成画像が生成されてしまう。
【００１３】
本発明の目的は、Ｓ／Ｎが良好で且つ輝度反転や色ズレが少なく、メリハリのある広いダイナミックレンジを持つ画像を合成することができる画像合成方法及び固体撮像装置並びにデジタルカメラを提供することにある。
【課題を解決するための手段】
【００１４】
本発明の画像合成方法は、被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを合成式
ＧC＝ｋ・Ｈ＋（１−ｋ）・Ｌ
ここで、ｋは合成パラメータ（０≦ｋ≦１）
で合成して合成画像信号ＧCを生成するに際し、前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値（以下、ｋ値という。）を画素位置毎に決定して前記合成式で合成することを特徴とする。
【００１５】
この構成により、画面内の明るい領域では低感度画像信号が支配的に合成され、画面内の暗い領域では高感度画像信号が支配的に合成されるため、輝度反転や色ズレの少ない良好な合成画像を得ることができる。また、高レベル部分を極端に抑えたガンマ特性を使用する必要が無くなるため、Ｓ／Ｎも良好となる。
【００１６】
本発明の画像合成方法の前記合成式で用いる高感度画像信号Ｈは、固体撮像素子から出力される高感度画像信号ＤHを高感度画像信号用非線形特性ＧHで変換した後の信号ＧH（ＤH）であり、前記合成式で用いる低感度画像信号Ｌは、固体撮像素子から出力される低感度画像信号ＤLを低感度画像信号用非線形特性ＧLで変換した後の信号ＧL（ＤL）であることを特徴とする。
【００１７】
この構成により、画面内の明るい領域では低感度画像信号の階調が多く割り当てられ、画面内の暗い領域では高感度画像信号に多くの階調が割り当てられ、画面全体で黒潰れや白飛びのない合成画像が得られる。
【００１８】
本発明の画像合成方法は、前記高感度画像信号のリニア値が所定レベルより低い信号レベルの領域で、前記合成式で用いる非線形変換前の低感度画像信号ＤLまたは非線形変換後の低感度画像信号ＧL（ＤL）を、非線形変換前の高感度画像信号ＤHまたは非線形変換後の高感度画像信号ＧH（ＤH）から生成した低感度画像信号に置き換えることを特徴とする。
【００１９】
この構成により、合成画像信号のうち低レベルの信号のＳ／Ｎが更に向上し、良好な合成画像を得ることが可能となる。
【００２０】
本発明の画像合成方法は、高感度画像信号／低感度画像信号＝感度比としたとき〔高感度画像信号／感度比〕の信号と低感度画像信号とを加重平均した信号で低感度画像信号を置き換えると共に、前記所定レベルからゼロレベルへの低感度画像信号の変化に応じて前記加重平均する低感度画像信号を１００％から０％に変化させることを特徴とする。
【００２１】
この構成により、Ｓ／Ｎの悪い低感度画像信号の合成画像中の割合が減り、より一層綺麗な合成画像を得ることが可能となる。
【００２２】
本発明の画像合成方法は、前記高感度画像信号用非線形特性ＧH及び前記低感度画像信号用非線形特性ＧLは共に単調増大関数且つ二次微分値の変化すなわち傾きの変化が常に正または零の単調減少関数となる特性であり、前記高感度画像信号用非線形特性ＧHと前記低感度画像信号用非線形特性ＧLとが同一特性または異なる特性であることを特徴とする。
【００２３】
この構成により、更に輝度反転や色ズレが起こり難くなり、また、輝度反転や色ズレが生じてもそれが目立たない合成画像を得ることが可能となる。
【００２４】
本発明の画像合成方法は、注目画素位置のｋ値を決定するとき該注目画素位置を中心とした所定範囲内の光学像の平均的な明暗に応じて、該光学像が相対的に暗いときはｋ値を“１”に近い値に決め、前記光学像が相対的に明るいときはｋ値を“０”に近い値に決めることを特徴とする。
【００２５】
この構成により、所定範囲内の平均的明暗によって高感度画像信号と低感度画像信号の合成割合が調整されるため、より一層見易く綺麗な合成画像を得ることができる。
【００２６】
本発明の固体撮像装置は、被写体を撮像して得た高感度画像信号Ｈと低感度画像信号Ｌとを合成式
ＧC＝ｋ・Ｈ＋（１−ｋ）・Ｌ
ここで、ｋは合成パラメータ（０≦ｋ≦１）
で合成して合成画像信号ＧCを生成するとき前記高感度画像信号Ｈ及び前記低感度画像信号Ｌから前記合成パラメータｋの値を画素位置毎に決定し前記合成式で合成処理を行う画像処理手段を備えることを特徴とする。
【００２７】
この構成により、画面内の明るい領域では低感度画像信号が支配的に合成され、画面内の暗い領域では高感度画像信号が支配的に合成されるため、輝度反転や色ズレの少ない良好な合成画像を生成し出力することが可能となる。
【００２８】
本発明の固体撮像装置の前記画像処理手段は、上記のいずれかに記載の画像合成方法で合成処理を行うことを特徴とする。
【００２９】
この構成により、より一層、輝度反転や色ズレの少ない合成画像を生成し出力することが可能となる。
【００３０】
本発明のデジタルカメラは、上記の固体撮像装置を搭載したことを特徴とする。
【００３１】
この構成により、輝度反転や色ズレの少ない良好な合成画像を生成し記録メディアに格納することが可能となる。
【発明の効果】
【００３２】
本発明によれば、Ｓ／Ｎが良好で、且つ、輝度反転や色ズレが少なく、メリハリのある広いダイナミックレンジを持つ画像を合成することができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の一実施形態について、図面を参照して説明する。
【００３４】
〔第１実施形態〕
図１は、本発明の第１実施形態に係るデジタルカメラの構成図である。このデジタルカメラはデジタルスチルカメラであるが、本発明はデジタルビデオカメラ等の他の種類のデジタルカメラにも適用可能である。
【００３５】
図１において、本実施形態に係るデジタルカメラは、レンズ等の光学系１と、光学系１の背部に設けられたメカニカルシャッタ２と、光学系１によって結像された被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の固体撮像素子３と、固体撮像素子３から出力されるアナログの撮像信号をデジタルの信号に変換するアナログデジタル変換回路（ＡＤＣ）４と、デジタルカメラ全体を統括制御するシステム制御部５と、システム制御部５からの指令信号に基づいて光学系１，メカニカルシャッタ２，固体撮像素子３，ＡＤＣ４を駆動制御する駆動部６と、ＡＤＣ４から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の画像信号を取り込んで最適露光条件を算出しこれらをシステム制御部５に出力する露光条件決定部７とを備える。
【００３６】
固体撮像素子３は、上述した特許文献１に記載されている様に、同一感度の画素がアレイ状に配列され、長時間露光により得られた高感度画像信号と短時間露光により得られた低感度画像信号とが出力される形式のものでもよく、また、上述した特許文献２に記載されている様に、高感度画素と低感度画素とが半導体基板表面に平面的に隣接してアレイ状に配列され、高感度画素により得られた高感度画像信号と低感度画素により得られた低感度画像信号とが出力される形式のものでもよい。更にまた、固体撮像素子の半導体基板の深さ方向に高感度画素と低感度画素とを層構造に形成し、夫々の画素から高感度画像信号と低感度画像信号とを取り出す形式のものでもよい。本実施形態のデジタルカメラでは、高感度画素と低感度画素とが半導体基板表面に平面的に隣接して形成された固体撮像素子３を搭載しているものとして説明する。
【００３７】
デジタルカメラは更に、動画の画像処理部８と、静止画の画像処理部９とを備える。動画の画像処理部８は、ＡＤＣ４から出力されるＲＧＢの画像信号を取り込み、システム制御部５からの指令に基づいて画像処理を行い、動画像信号を出力する。この動画像信号は、例えばカメラ背面等に搭載されているカラー液晶表示部等にスルー画像として表示されたり、あるいは記録メディアに記録される。
【００３８】
静止画の画像処理部９は、システム制御部５からの指令に基づいて画像処理を行い、ＡＤＣ４から出力されるＲＧＢの高感度画像信号及び低感度画像信号を後述の様に合成処理することで、ワイドダイナミックレンジ（ＷＤＲ）の被写体画像データを生成し、出力する。
【００３９】
図２は、図１に示す画像処理部９の詳細構成図である。この静止画の画像処理部９は、ＡＤＣ４から取り込む画像信号が高感度画像信号であるか低感度画像信号であるかにより出力パスを切り替えるスイッチ１０と、スイッチ１０から高感度画像信号を取り込んでホワイトバランス補正を行うホワイトバランス回路１１と、ホワイトバランス補正後の高感度画像信号ＤHを一時保持するメモリ１２と、メモリ１２を介して取り込んだ高感度画像信号ＤHに対して非線形処理であるガンマ変換処理ＧHを施しガンマ変換後の高感度画像信号ＧH（ＤH）を後段の加重加算回路１４に出力するガンマ変換回路１３とを備える。
【００４０】
画像処理部９は、更に、スイッチ１０から低感度画像信号を取り込んでホワイトバランス補正を行うホワイトバランス回路１５と、ホワイトバランス補正後の低感度画像信号ＤLを一時保持するメモリ１６と、メモリ１６を介して取り込んだ低感度画像信号ＤLに対して非線形処理であるガンマ変換ＧLを施しガンマ変換後の低感度画像信号ＧL（ＤL）を後段の加重加算回路１４に出力するガンマ変換回路１７と、加重加算回路１４で加算合成された合成信号に対して公知の同時化処理を施して合成静止画画像信号を出力する信号処理部１８と、両ホワイトバランス回路１１，１５の出力値を取り込んで後述のｋ値（合成パラメータｋの値）を決定してこのｋ値を加重加算回路１４に出力するｋ値決定部１９とを備える。ｋ値は、０≦ｋ≦１の値をとる。
【００４１】
加重加算回路１４は、ガンマ変換回路１３から取り込んだ高感度画像信号ＧH（ＤH）に対して合成パラメータｋの値を乗算した信号〔ｋ・ＧH（ＤH）〕を出力する乗算回路２１と、ガンマ変換回路１７から取り込んだ低感度画像信号ＧL（ＤL）に対して上記のｋ値を“１”から減算した値（１−ｋ）を乗算した信号〔（１−ｋ）・ＧL（ＤL）〕を出力する乗算回路２２と、乗算回路２１，２２の各出力信号を加算し加算信号ＧC〔＝ｋ・ＧH（ＤH）＋（１−ｋ）・ＧL（ＤL）〕を合成信号として信号処理部１８に出力する加算回路２３とを備える。
【００４２】
次に、上述した構成のデジタルカメラの動作について説明する。
【００４３】
このデジタルカメラでは、図示しない電源がＯＮされ撮影モードになっている間は、常時、固体撮像素子３から所定周期で画像信号が読み出されており、露光条件決定部７は、ＡＤＣ４から出力される画像信号を常時取り込み、その時々の最適露光条件を算出し、システム制御部５に出力する。即ち、露光条件決定部７は、高感度画像信号と低感度画像信号とを取り込み、その撮影シーンに対する最適な露光時間を決める。
【００４４】
最適な露光時間は、例えば次のように決定される。最適な露光時間の基で得られる高感度画像信号のヒストグラムをとると、２つの山ができる。一つの山は中央付近にでき、他の山は飽和出力を越えた位置にできる。同様にして最適露光時間の基で得られる低感度画像信号のヒストグラムをとると、これも２つの山ができる。一つの山は中央付近にでき、他の山はゼロに近い領域、つまり、高感度画像信号の領域にできる。このようなヒストグラムの山ができる様な露光時間を最適露光時間として決定する。
【００４５】
システム制御部５は、上述の最適露光時間となるように駆動部６に制御指令を出力し、光学系１，メカニカルシャッタ２，固体撮像素子３の動作パルス等を制御する。
【００４６】
ここで、ユーザがデジタルカメラの図示しないシャッタボタンを押下すると、電子シャッタが開き、決められた露光時間後にメカニカルシャッタ２が閉じられる。固体撮像素子３からは先ず高感度画素から高感度画像信号が読み出され、ＡＤＣ４から出力された高感度画像信号は、図２のスイッチ１０を介してホワイトバランス回路１１でホワイトバランス補正が施された後、メモリ１２に格納される。
【００４７】
次に、固体撮像素子３の低感度画素から低感度画像信号が読み出され、ＡＤＣ４から出力された低感度画像信号は、図２のスイッチ１０を介してホワイトバランス回路１５でホワイトバランス補正が施され、その後、低感度画像信号はメモリ１６に格納される。
【００４８】
そして、これらのメモリ１２，１６からは、同一画素位置の高感度画素からの高感度画像信号と低感度画素からの低感度画像信号とが一画素単位に読み出されて夫々ガンマ変換回路１３，１７でガンマ変換され、次に、合成パラメータｋの値を用いて画像加重加算回路１４で合成処理される。
【００４９】
図３は、本実施形態に係る信号合成の説明図である。図３の曲線ＧHは、高感度画像信号に対するガンマ特性（ガンマ変換回路１３の変換特性）であり、次のような特徴がある。入射露光量レベル（横軸）が飽和レベルＩHm以上で、高感度画像信号（ガンマ特性ＧH）は飽和値Ｇm（普通は、８ビット精度で“２５５”の値となる。）で一定となる。このガンマ特性ＧHの傾きは、常に“０”または正であり、単調に増大する。そして、入射露光量レベルの増大と共に傾きは小さくなり、飽和レベルＩHm付近で傾きは“０”となる。
【００５０】
傾きの変化は急峻でなく、滑らかに（連続的に）変化するように設定されている。ただし、０付近で雑音が目立つことを避けるためＳ字特性を持たせることがあり、その場合には、０付近の傾きは一時増加する。
【００５１】
図３の曲線ＧLは、低感度画像信号に対するガンマ特性（ガンマ変換回路１７の変換特性）であり、次のような特徴がある。入力露光量レベルが飽和レベルＩLmで低感度画像信号（ガンマ特性ＧL）は飽和値Ｇmとなる。このガンマ特性ＧLの傾きは、常に“０”または正であり、単調に増大する。そして、入射露光量レベルの増大と共に傾きは小さくなる。
【００５２】
ガンマ特性ＧLは、ガンマ特性ＧHのように飽和レベルＩLm付近で傾きを“０”とする必要は無いが、傾き“０”に選んでも良い。傾きの変化は急峻でなく、滑らかに（連続的に）変化するように設定されている。低感度画像信号は、飽和レベルＩLm以上で、飽和値Ｇmで一定となる。
【００５３】
本実施形態では、高感度画像信号ＧH（ＤH）と低感度画像信号ＧL（ＤL）とを、合成式
ＧC＝ｋ・ＧH（ＤH）＋（１−ｋ）・ＧL（ＤL）
によりｋ値に応じて合成している。
【００５４】
図３に、ｋ倍した高感度画像信号ＧH（ＤH）（“ＧH”とだけ図示）と（１−ｋ）倍した低感度画像信号ＧL（ＤL）（“ＧL”とだけ図示）と、合成信号ＧCとを例示する。
【００５５】
この高感度画像信号と低感度画像信号との加重加算は、高感度画像信号に対するガンマ特性ＧHと低感度画像信号に対するガンマ特性ＧLとを加重加算したものと同じであり、合成パラメータｋの値は、合成信号中の高感度画像信号の階調（ビット）割り当てに相当するものである。
【００５６】
即ち、合成パラメータｋの値が“１”に近ければ、画像全体に対して、高感度画像信号が支配的となり、反対に、合成パラメータｋの値が“０”に近い値になると、画像全体に対して低感度画像信号が支配的となる。ｋ＝１／２の場合は両者の中間であり、画像全体に対して高感度画像信号と低感度画像信号がバランスすることになる。
【００５７】
図２に示すｋ値決定部１９は、画像合成するときに使用する上述したｋ値を、ホワイトバランス補正後の高感度画像信号と低感度画像信号とから画素位置毎に決定する。即ち、本実施形態のｋ値決定部１９は、画面の明るい部分では低感度画像信号の寄与分が大きくなるようにｋ値を決め、画面の暗い部分は高感度画像信号の寄与分が大きくなるように決め、１つの画面内の部分領域毎にｋ値が最適値となるように演算処理して求めることを特徴とする。
【００５８】
ｋ値決定部１９は、例えば次の様にして、ある注目画素位置（ｘ，ｙ）における最適ｋ値を決定する。８ビット２５６階調の場合、例えばその８０％程度の“２０５”を閾値として、各画素位置における高感度画像信号の信号レベルが“２０５”以上のとき判定値を“０”、それ未満のとき判定値を“１”とする。
【００５９】
そして、注目画素位置を中心とした（２Ｎ＋１）2画素数（但し、Ｎは正整数。Ｎは固体撮像素子３のｘ方向画素数またはｙ方向画素数の数分の１から数１０分の１程度が良い。）の正方領域内の各画素位置における各判定値（“１”，“０”）を求め、これらを加算平均した値Ａavからｋ値を決定する。Ａav値は、（２Ｎ＋１）2個の“１”，“０”の判定値を加算平均した値であるため、０≦Ａav≦１の値となる。
【００６０】
Ａav値からｋ値を求める関数は任意である。例えば、図４に示す関数（ｋ＝Ａav）を用いたり、あるいは図５に示す関数を用いる。尚、上記の判定値“１”，“０”を決める閾値は、上記の例では高感度画像信号の飽和値の８０％の値としたが、この値は任意に設定でき、また、高感度画像信号で各画素位置における“１”，“０”値を判定するのではなく、低感度画像信号で判定してもよく、更に、高感度画像信号と低感度画像信号の両方で判定してもよい。
【００６１】
このようにして決定したｋ値を用いて合成した合成ガンマ特性ＧCは、図３から分かるとおり、ｋ値が一定または変化が少なければ、ｋ値の大小に関わらず、単調増加関数となり、輝度反転現象は起きない。
【００６２】
また、室内の暗い領域では、ｋ値は“１”に近いため、合成式ＧCでは、高感度画像信号ＧH（ＤH）が支配的となり、黒潰れの無い鮮明な画像となる。更に、明るい領域である窓の景色は、ｋ値が“０”に近いため、低感度画像信号ＧL（ＤL）が支配的となり、白飛びの無い良好な画像となる。窓と室内との境界付近では、ｋ値は“１”付近の大きい値から“０”付近の小さな値に徐々に変化するので、輝度反転が起きてもこの輝度反転は目立たなくなる。
【００６３】
更にまたは、本実施形態のｋ値を用いた画像合成では、局所的な薄い黒線や薄い白線に対してｋ値の変化は小さいので、輝度反転が起きることはなく、自然な画像となり、カラー画像の場合には色ズレ現象は起きない。
【００６４】
以上述べた実施形態によれば、Ｓ／Ｎが良好で且つ輝度反転や色ズレが少なく、メリハリのある広いダイナミックレンジを持つ画像を合成することが可能となる。
【００６５】
尚、上記の判定値を加算平均する範囲を決めるＮ値やｋ値の決定方法を撮影シーンに合わせて変えることでもよい。また、図２の実施形態では、ホワイトバランス回路１１，１５から出力されるリニアな高感度画像信号，低感度画像信号を用いてｋ値を決定したが、ガンマ変換後の高感度画像信号，低感度画像信号からｋ値を決定することでもよい。
【００６６】
即ち、ｋ値決定部は、注目画素位置を中心とする所定範囲における光学像の明暗に応じて注目画素のｋ値を決定するものであり、光学像が相対的に暗い場合にはｋ値を相対的に大きな値（“１”に近い値）に決め、光学像が相対的に明るい場合にはｋ値を相対時に小さな値（“０”に近い値）に決めるという条件を満たせばよい。
【００６７】
また、上述した実施形態では、デジタルカメラの画像処理部９が高感度画像信号と低感度画像信号とを合成処理し合成後の静止画像データを出力する例を説明したが、高感度画像信号と低感度画像信号とをＲＡＷデータとして記録メディアに格納しておき、パーソナルコンピュータ等でこれらのＲＡＷデータを読み出して画像合成する場合にも本発明を適用可能である。
【００６８】
〔第２実施形態〕
図６は、本発明の第２実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態と同じである。
【００６９】
本実施形態では、ホワイトバランス回路１４で低感度画像信号に対しホワイトバランス補正を行い一時保存するメモリ１６の後段に、低感度画像信号のＳ／Ｎを向上させる加重加算回路２５を挿入し、この加重加算回路２５の出力をガンマ変換回路１７に入力する構成としている点が第１実施形態と異なり、他の点は第１実施形態と同じである。
【００７０】
加重加算回路２５には、ホワイトバランス回路１２からメモリ１２を介して出力される高感度画像信号と、ホワイトバランス回路１５からメモリ１６を介して出力される低感度画像信号と、感度比Ｒとが入力される。感度比Ｒは、図１の露光条件決定部７が最適露光時間を決定すると、必然的に、同一光入力に対する高感度画像信号／低感度画像信号＝感度比Ｒとして決定され、システム制御部５から加重加算回路２５に出力される。
【００７１】
第１実施形態では、低感度画像信号のうち信号レベルが低レベルの部分もそのまま合成信号として画像合成に使用している。しかし、低レベルの低感度画像信号は、Ｓ／Ｎが良くないので、合成画像の画質を劣化させる。そのため、本実施形態では、加重加算回路２５を追加し、ホワイトバランス回路１５から出力される低感度画像信号ＤLのうち、信号レベルが低い低感度画像信号ＤLを、Ｓ／Ｎの高い信号Ｄ’Lに置き換えている。この置き換えに使用する信号Ｄ’Lは、次式で示されるように、ホワイトバランス回路１１から出力されるＳ／Ｎの高い高感度画像信号ＤHを用いて生成する。
【００７２】
Ｄ’L＝ＤL                              （ＤH＞ＤH2）
Ｄ’L＝ＤH／Ｒ                          （ＤH＜ＤH1）
Ｄ’L＝α・ＤL＋（１−α）・ＤH／Ｒ    （その他の場合）
ここで、ＤLは低感度画像信号のリニア値であり、ＤHは高感度画像信号のリニア値であり、ＤH1，ＤH2は、それぞれ〔ＤH1＜ＤH2＜高感度画像信号のリニア飽和値〕を満たす高感度画像信号の所定リニア値であり、α＝（ＤH−ＤH1）／（ＤH2−ＤH1）である。
【００７３】
このように、高感度画像信号ＤHのリニア値が所定値ＤH1より低い信号レベルの領域で、前記合成式で用いるガンマ変換前の低感度画像信号を、高感度画像信号ＤHを感度比Ｒで除算した信号と低感度画像信号ＤLとの加重平均信号で置き換えることで、合成画像信号のうち低レベルのＳ／Ｎを改善することが可能となる。
【００７４】
〔第３実施形態〕
図７は、本発明の第３実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態，第２実施形態と同じである。
【００７５】
本実施形態では、第２実施形態の加重加算回路２５がガンマ変換回路１７の前段に設けられたのに対し、加重加算回路２６をガンマ変換回路１７の後段に設けた点が第２実施形態と異なり、他の点は第２実施形態と同じである。
【００７６】
第２実施形態では、低感度画像信号のＳ／Ｎ改善を低感度画像信号のリニア値に対して対策したのに対し、本実施形態では、ガンマ変換後の低感度画像信号に対して対策した点が異なる。この加重加算回路２６には、ガンマ変換回路１３から出力される高感度画像信号ＧH（ＤH）と、ガンマ変換回路１７から出力される低感度画像信号ＧL（ＤL）と、上述した感度比Ｒとが入力される。尚、以下、ＧH（ＤH），ＧL（ＤL）等の（ＤH），（ＤL）は省略してＧH，ＧLのみとする。
【００７７】
即ち、本実施形態では、ガンマ変換回路１７から出力される低感度画像信号ＧLのうち、信号レベルが低い低感度画像信号ＧLを、Ｓ／Ｎの高い高感度画像信号ＧHから生成した低感度画像信号Ｇ’Lに置き換えている。この置き換えに使用する信号Ｇ’Lは、次式で置き換えられる。
【００７８】
Ｇ’L＝ＧL                                （ＧH＞ＧH2）
Ｇ’L＝ＧH／Ｒ’                          （ＧH＜ＧH1）
Ｇ’L＝β・ＧL＋（１−β）・ＧH／Ｒ’    （その他の場合）
ここで、ＧH1，ＧH2は、それぞれ〔ＧH1＜ＧH2＜ガンマ変換後の高感度画像信号の飽和値〕を満たす所定値であり、β＝（ＧH−ＧH1）／（ＧH2−ＧH1）である。また、Ｒ’は、高感度画像信号を低感度画像信号に換算するための感度比であり、感度比Ｒをガンマ変換した後の感度比である。感度比Ｒ’は、１≦Ｒ’≦Ｒの間の定数となる。
【００７９】
このように、高感度画像信号ＧHの値が所定値ＧH1より低い信号レベルの領域で、前記合成式で用いるガンマ変換後の低感度画像信号ＧLを、高感度画像信号ＧHを感度比Ｒ’で除算した信号と低感度画像信号ＧLとの加重平均信号で置き換えることで、合成画像信号のうち低レベルのＳ／Ｎを更に改善することが可能となる。
【００８０】
〔第４実施形態〕
図８は、本発明の第４実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態と同じである。
【００８１】
前述した第１実施形態の画像処理部９が、高感度画像信号と低感度画像信号とを合成した後に信号処理部１８で同時化処理したのに対し、本実施形態の画像処理部９では、ホワイトバランス回路１１，１５でホワイトバランス補正を行いメモリ１２，１６に一時保存された高感度画像信号と低感度画像信号とを夫々ガンマ補正回路１３，１７でガンマ変換し、スイッチ３１を介して信号処理部１８に入力させ、先に同時化処理を行い、この後に、ｋ値を用いて合成信号を生成する様にした点が異なる。
【００８２】
即ち、本実施形態の画像処理部では、信号処理部１８で同時化処理を行ってからスイッチ３２によって高感度画像信号をメモリ３３に取り込ませ、スイッチ３２によって低感度画像信号をメモリ３４に取り込ませ、同時化処理後の高感度画像信号と低感度画像信号とからｋ値を決定し、メモリ３３内の高感度画像信号とメモリ３４内の低感度画像信号とをｋ値を用いて加重加算回路１４で合成している。このようにすることでも、本実施形態は、第１実施形態と同様の効果を得ることができる。
【００８３】
また、本実施形態の構成に対して、第２実施形態の加重加算回路２５または第３実施形態の加重加算回路２６を付加することで、第２，第３実施形態と同様に低レベル信号のＳ／Ｎを更に向上させることができる。
【００８４】
尚、本実施形態では、同時化処理後の高感度画像信号と低感度画像信号とからｋ値を決定しているが、ｋ値は、同時化処理前の高感度画像信号と低感度画像信号から決定することでもよい。
【００８５】
また、上述した各実施形態では、カラー画像を撮像するデジタルカメラを例に説明したが、当然のことながら、本発明は白黒画像を撮像するデジタルカメラにも適用可能である。また、上述した各実施形態では、高感度画像信号をガンマ変換するガンマ特性と、低感度画像信号をガンマ変換するガンマ特性を異なるガンマ特性としたが、これらを同一のガンマ特性とすることでも本発明を実施可能である。この場合、ガンマ特性のテーブルに必要なメモリ容量が削減される。
【００８６】
更に、上述した第２実施形態と第３実施形態では、加重加算回路２５，２６をデジタルカメラに内蔵したが、これら加重加算回路が行う信号処理は、高感度画像信号と低感度画像信号のＲＡＷデータに対してパーソナルコンピュータ上で実施できることはいうまでもない。
【産業上の利用可能性】
【００８７】
本発明は、高感度画像信号と低感度画像信号とを合成して広いダイナミックレンジの被写体画像を生成するとき画面中の明暗領域に応じて高感度画像信号（あるいは低感度画像信号）の階調を調整するため良好な合成画像を生成することができ、デジタルカメラや画像合成方法、固体撮像装置として有用である。
【図面の簡単な説明】
【００８８】
【図１】本発明の第１実施形態に係るデジタルカメラの構成図である。
【図２】図１に示す静止画の（ＷＤＲ）画像処理部の詳細構成図である。
【図３】本発明の第１実施形態に係る画像合成方法の説明図である。
【図４】本発明の第１実施形態に係る画像処理部で行うｋ値の決定方法を説明する関数を示す図である。
【図５】本発明の第１実施形態に係る画像処理部で行うｋ値の決定方法を説明する別の関数を示す図である。
【図６】本発明の第２実施形態に係るデジタルカメラの画像処理部の詳細構成図である。
【図７】本発明の第３実施形態に係るデジタルカメラの画像処理部の詳細構成図である。
【図８】本発明の第４実施形態に係るデジタルカメラの画像処理部の詳細構成図である。
【図９】従来技術の不具合の説明図である。
【符号の説明】
【００８９】
１  光学系
３  固体撮像素子
４  アナログデジタル変換回路（ＡＤＣ）
５  システム制御部
７  露光条件決定部
９  静止画の画像処理部
１１，１５  ホワイトバランス回路
１３，１７  ガンマ変換回路（非線形変換回路）
１４  画像合成用の加重加算回路
１８  信号処理部
１９  ｋ値決定部
２１，２２  乗算回路
２３  加算回路
２５，２６  Ｓ／Ｎ改善用の加重加算回路
【図１】
2005072965.tif 000003
【図２】
2005072965.tif 000004
【図３】
2005072965.tif 000005
【図４】
2005072965.tif 000006
【図５】
2005072965.tif 000007
【図６】
2005072965.tif 000008
【図７】
2005072965.tif 000009
【図８】
2005072965.tif 000010
【図９】
2005072965.tif 000011