(57)【要約】【課題】  高感度画像信号と低感度画像信号とを合成して広いダイナミックレンジの被写体画像を生成するとき、高感度画像信号の飽和付近で不自然な画像が生成されない様にする。【解決手段】  被写体を撮像した固体撮像素子から出力される高感度画像信号ＧHと低感度画像信号ＧLとを合成して被写体の画像信号を生成する画像合成方法において、固体撮像素子の同一画素位置から出力され非線形変化した後の高感度画像信号ＧH及び低感度画像信号ＧLを入射光レベルの全範囲で加重加算して被写体の画像信号ＧCを合成する。これにより、入射光レベルの全範囲で非線形変換特性が滑らかに繋がり、高感度画像信号の飽和付近で不自然な画像が生成されることがなくなる。【選択図】  図３
2005051695.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像した固体撮像素子から出力される高感度画像信号と低感度画像信号とを合成して前記被写体の画像信号を生成する画像合成方法において、前記固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成することを特徴とする画像合成方法。
【請求項２】
前記高感度画像信号ＳHを非線形変換した後の信号をＧH（ＳH）とし、前記低感度画像信号ＳLを非線形変換した後の信号をＧL（ＳL）とし、前記合成した画像信号をＧCとしたとき、前記加重加算は
ＧC＝ｋ・ＧH（ＳH）＋（１−ｋ）・ＧL（ＳL）
ここで、合成パラメータｋは０≦ｋ≦１の値
の合成式で行うことを特徴とする請求項１に記載の画像合成方法。
【請求項３】
前記合成パラメータｋの値は、前記固体撮像素子の各画素から出力される前記高感度画像信号のヒストグラムと前記低感度画像信号のヒストグラムの各形状により決定することを特徴とする請求項２に記載の画像合成方法。
【請求項４】
前記合成パラメータｋの値は、前記高感度画像信号と前記低感度画像信号との感度比により決定することを特徴とする請求項２または請求項３に記載の画像合成方法。
【請求項５】
前記高感度画像信号のリニア値が所定レベルより低い信号レベルの領域で、前記合成式で用いる非線形変換後の低感度画像信号または非線形変換前の低感度画像信号を、高感度画像信号／低感度画像信号＝感度比としたとき〔高感度画像信号／感度比〕の信号と低感度画像信号とを加重平均した信号で置き換えることを特徴とする請求項２乃至請求項４のいずれかに記載の画像合成方法。
【請求項６】
前記非線形変換は単調増大関数且つ二次微分値の変化すなわち傾きの変化が常に正または零の単調減少関数となるガンマ変換であり、前記高感度画像信号に施すガンマ変換特性と前記低感度画像信号に施すガンマ変換特性とが異なることを特徴とする請求項１乃至請求項５のいずれかに記載の画像合成方法。
【請求項７】
被写体を撮像し高感度画像信号と低感度画像信号とを出力する固体撮像素子と、該固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成し合成後の画像信号を出力する信号処理手段とを備えることを特徴とする固体撮像装置。
【請求項８】
前記信号処理手段は、請求項２乃至請求項６のいずれかに記載の画像合成方法で画像信号を合成することを特徴とする請求項７に記載の固体撮像装置。
【請求項９】
被写体を撮像し高感度画像信号と低感度画像信号とを出力する固体撮像素子と、前記被写体の光学像を前記固体撮像素子に結像させる光学手段と、前記固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成し合成後の画像信号を出力する信号処理手段とを備えることを特徴とするデジタルカメラ。
【請求項１０】
前記信号処理手段は、請求項２乃至請求項６のいずれかに記載の画像合成方法で画像信号を合成することを特徴とする請求項９に記載のデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して得られた高感度画像信号と低感度画像信号とを合成してダイナミックレンジの広い画像信号を生成する画像合成方法等に係り、特に、高感度画像信号の飽和点付近で合成画像が不自然とならない画像合成方法及び固体撮像装置並びにデジタルカメラに関する。
【背景技術】
【０００２】
ＣＣＤイメージセンサやＣＭＯＳイメージセンサに代表される固体撮像素子を使用した固体撮像装置で撮像される画像は、ダイナミックレンジが狭いという欠点がある。このため、ダイナミックレンジの広い撮影シーン、例えば、逆光の人物像や、暗い室内から窓越しの昼下がりの庭等の光学像を綺麗に撮ることができない。
【０００３】
そこで、従来のデジタルカメラでは、下記特許文献１に記載されている様に、電荷蓄積期間を制御できる固体撮像素子を搭載し、被写体を長時間露光した画像信号を読み出し、次に連続して同じ被写体を短時間露光して得た画像信号を読み出し、２つの画像信号を合成処理することで、広いダイナミックレンジの被写体画像を得る様にしている。
【０００４】
また、下記特許文献２に記載されている従来技術では、画素配列の１／２を高感度画素として形成し、残り１／２を低感度画素として形成した固体撮像素子を使用し、同一の露光時間で得られた高感度画素からの画像信号と低感度画素からの画像信号とを合成処理し、広いダイナミックレンジの被写体画像を得る様にしている。
【０００５】
尚、固体撮像素子から出力される長時間露光の画像信号あるいは高感度画素から得られる画像信号を高感度画像信号といい、短時間露光の画像信号あるいは低感度画素から得られる画像信号を低感度画像信号と呼ぶことにする。
【０００６】
高感度画像信号と低感度画像信号を合成する場合、固体撮像素子から出力された画像信号をリニア値のままで合成すると、合成処理に必要なビット数が増大し、ガンマ特性のルックアップテーブルデータ量も増加し、信号処理を行う信号処理回路が大規模化してコスト的に不利である。
【０００７】
そのため、例えば、下記特許文献３に記載されている様に、高感度画像信号と低感度画像信号に対して夫々異なるガンマ特性を使用してガンマ特性変換（非線形処理）を行い、その後、両信号を加算することで信号合成を行う方法が実用に適している。
【０００８】
図９は、この信号合成の一例を示す図であり、横軸が入射露光量レベルであり、縦軸が信号レベルである。高感度画像信号Ｈは、僅かな入射露光量レベルから比較的に急に立ち上がるため、僅かな入射露光量レベルの変化も画像信号として反映するが、入射露光量レベルが所定値ｔに達すると飽和してしまい、明るい被写体の画像が白飛びしてしまうという欠点がある。
【０００９】
これに対し、低感度画像信号Ｌは、入射露光量レベルが高いときでも被写体の画像が白飛びすることはないが、入射露光量レベルが低いと被写体画像が黒潰れしてしまうという欠点がある。この２つの画像信号Ｈ，Ｌを合成した合成信号Ｇは、入射露光量レベルの高低に関わらずその変化が画像信号Ｇの変化として反映するため、上記の白飛びや黒潰れが少なくなり、ダイナミックレンジの広い画像を得ることが可能となる。
【００１０】
【特許文献１】特開平６―１４１２２９号公報
【特許文献２】特開昭５９―２１０７７５号公報
【特許文献３】特開２００２―１３５７８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
一般的に、高感度画像信号Ｈと低感度画像信号Ｌの感度比は、固体撮像素子が持つシェーディング等のため画面全体で一定値でない。また、ホワイトバランスのアンプ利得等により信号レベルの飽和点も変化する。従って、高感度画像信号Ｈの飽和点と低感度画像信号Ｌの始まりとがずれることが起きてしまう。
【００１２】
このような時に、特許文献３の従来技術を適用した信号合成を行うと、高感度画像信号Ｈと低感度画像信号Ｌの繋がり部分で合成信号Ｇが滑らかにならず、この繋がり部分で不自然な画像になってしまうという不都合が生じる。
【００１３】
また、撮影シーンにより最適な感度比やガンマ特性が異なるため、これらに対応するために多数のガンマ特性のルックアップテーブルデータをデジタルカメラのメモリに予め用意しておくことが必要となり、デジタルカメラのコストを上昇させてしまう。
【００１４】
更に、多数のガンマ特性が予め用意されていたとしても、ある撮影シーンを撮像したときデジタルカメラが信号合成処理のためのテーブルデータの書き換えに時間がかかるため、次の撮影シーンのシャッタチャンスを逃す虞が高くなるという問題もある。
【００１５】
本発明の目的は、感度比が変化しても、高感度画像信号と低感度画像信号の繋がり部分が滑らかな合成ガンマ特性となり、不自然な画像とならない広いダイナミックレンジを持つ画像合成方法等を実現すると共に、比較的簡単な処理回路により、様々な撮影シーンに対処できる画像合成方法及び固体撮像装置並びにデジタルカメラを提供することにある。
【課題を解決するための手段】
【００１６】
本発明の画像合成方法は、被写体を撮像した固体撮像素子から出力される高感度画像信号と低感度画像信号とを合成して前記被写体の画像信号を生成する画像合成方法において、前記固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成することを特徴とする。
【００１７】
この構成により、非線形変換を行う関数が入射光レベルの全範囲で滑らかに繋がり、合成画像に不自然な部分がなくなる。また、画像合成する処理回路の回路規模が小さくなる。
【００１８】
本発明の画像合成方法は、前記高感度画像信号ＳHを非線形変換した後の信号をＧH（ＳH）とし、前記低感度画像信号ＳLを非線形変換した後の信号をＧL（ＳL）とし、前記合成した画像信号をＧCとしたとき、前記加重加算は
ＧC＝ｋ・ＧH（ＳH）＋（１−ｋ）・ＧL（ＳL）
ここで、合成パラメータｋは０≦ｋ≦１の値
の合成式で行うことを特徴とする。
【００１９】
この構成により、合成パラメータｋの値を変化させることで最適な合成画像の解像度を決定でき、その調整が容易となる。また、多数の非線形変換データを用意する必要がないため、メモリ容量が削減される。更に、テーブル書き換えの時間が不要となるため、シャッタチャンスを逃すこともなくなる。
【００２０】
本発明の画像合成方法の前記合成パラメータｋの値は、前記固体撮像素子の各画素から出力される前記高感度画像信号のヒストグラムと前記低感度画像信号のヒストグラムの各形状により決定することを特徴とする。
【００２１】
この構成により、その時その時の撮影シーンに最適な合成パラメータｋの値を自動的に決定することができる。
【００２２】
本発明の画像合成方法の前記合成パラメータｋの値は、前記高感度画像信号と前記低感度画像信号との感度比により決定することを特徴とする。
【００２３】
この構成により、感度比に応じた合成画像を生成することが可能となり、感度比が変動した場合でも高感度画像信号の飽和点付近で合成画像が不自然になることがない。
【００２４】
本発明の画像合成方法は、前記高感度画像信号のリニア値が所定レベルより低い信号レベルの領域で、前記合成式で用いる非線形変換後の低感度画像信号または非線形変換前の低感度画像信号を、高感度画像信号／低感度画像信号＝感度比としたとき〔高感度画像信号／感度比〕の信号と低感度画像信号とを加重平均した信号で置き換えることを特徴とする。
【００２５】
この構成により、画像合成に用いる低感度画像信号のＳ／Ｎを改善することができ、合成画像のＳ／Ｎが改善する。
【００２６】
本発明の画像合成方法の前記非線形変換は単調増大関数且つ二次微分値の変化すなわち傾きの変化が常に正または零の単調減少関数となるガンマ変換であり、前記高感度画像信号に施すガンマ変換特性と前記低感度画像信号に施すガンマ変換特性とが異なることを特徴とする。
【００２７】
この構成により、画質の優れた合成画像を生成することが可能となる。
【００２８】
本発明の固体撮像装置は、被写体を撮像し高感度画像信号と低感度画像信号とを出力する固体撮像素子と、該固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成し合成後の画像信号を出力する信号処理手段とを備えることを特徴とする。
【００２９】
この構成により、固体撮像装置から出力される広いダイナミックレンジの被写体画像のデータに、不自然な画像部分がなくなり、出力画像の品質が向上する。
【００３０】
本発明の固体撮像装置の前記信号処理手段は、上述したいずれかの画像合成方法で画像信号を合成することを特徴とする。
【００３１】
この構成により、固体撮像装置の回路規模を更に小さくすることができる。
【００３２】
本発明のデジタルカメラは、被写体を撮像し高感度画像信号と低感度画像信号とを出力する固体撮像素子と、前記被写体の光学像を前記固体撮像素子に結像させる光学手段と、前記固体撮像素子の同一画素位置から出力された前記高感度画像信号及び前記低感度画像信号を夫々非線形変換した後に入射光レベルの全範囲で加重加算して前記被写体の画像信号を合成し合成後の画像信号を出力する信号処理手段とを備えることを特徴とする。
【００３３】
この構成により、広いダイナミックレンジの品質の優れた被写体画像を撮像可能となる。
【００３４】
本発明のデジタルカメラの前記信号処理手段は、上述したいずれかの画像合成方法で画像信号を合成することを特徴とする。
【００３５】
この構成により、デジタルカメラの回路規模を小さくでき、低コストで高品質な被写体画像を撮像可能となる。
【発明の効果】
【００３６】
本発明によれば、高感度画像信号と低感度画像信号との繋がりが入射露光量レベルの全範囲で滑らかになるため広いダイナミックレンジの被写体画像が不自然になることがなくなる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の一実施形態について、図面を参照して説明する。
【００３８】
〔第１実施形態〕
図１は、本発明の第１実施形態に係るデジタルカメラの構成図である。このデジタルカメラはデジタルスチルカメラであるが、本発明はデジタルビデオカメラ等の他の種類のデジタルカメラにも適用可能である。
【００３９】
図１において、本実施形態に係るデジタルカメラは、レンズ等の光学系１と、光学系１の背部に設けられたメカニカルシャッタ２と、光学系１によって結像された被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等の固体撮像素子３と、固体撮像素子３から出力されるアナログの撮像信号をデジタルの信号に変換するアナログデジタル変換回路（ＡＤＣ）４と、デジタルカメラ全体を統括制御するシステム制御部５と、システム制御部５からの指令信号に基づいて光学系１，メカニカルシャッタ２，固体撮像素子３，ＡＤＣ４を駆動制御する駆動部６と、ＡＤＣ４から出力されるＲ（赤），Ｇ（緑），Ｂ（青）の画像信号を取り込んで後述のパラメータｋの値や最適露光条件を算出しこれらをシステム制御部５に出力する露光条件決定部７とを備える。
【００４０】
固体撮像素子３は、上述した特許文献１に記載されている様に、同一感度の画素がアレイ状に配列され、長時間露光により得られた高感度画像信号と短時間露光により得られた低感度画像信号とが出力される形式のものでもよく、また、上述した特許文献２に記載されている様に、高感度画素と低感度画素とが隣接してアレイ状に配列され、高感度画素により得られた高感度画像信号と低感度画素により得られた低感度画像信号とが出力される形式のものでもよいが、このデジタルカメラでは、高感度画素と低感度画素とが形成された固体撮像素子３を搭載しているものとして説明する。
【００４１】
デジタルカメラは更に、動画の画像処理部８と、静止画の画像処理部９とを備える。動画の画像処理部８は、ＡＤＣ４から出力されるＲＧＢの画像信号を取り込み、システム制御部５からの指令に基づいて処理し、動画像信号を出力する。この動画像信号は、例えばカメラ背面等に搭載されているカラー液晶表示部等にスルー画像として表示されたり、あるいは記録メディアに記録される。
【００４２】
静止画の画像処理部９は、ＡＤＣ４から出力されるＲＧＢの高感度画像信号及び低感度画像信号を後述の様に合成処理することで、ワイドダイナミックレンジ（ＷＤＲ）の被写体画像データを生成し、出力する。
【００４３】
図２は、図１に示す画像処理部９の詳細構成図である。この静止画の画像処理部９は、高感度画像信号を取り込んでホワイトバランス補正を行うホワイトバランス回路１１と、ホワイトバランス補正後の高感度画像信号に対して非線形処理であるガンマ変換処理を施しガンマ変換後の高感度画像信号を後段の加重加算回路１３に出力するガンマ変換回路１２と、低感度画像信号を取り込んでホワイトバランス補正を行うホワイトバランス回路１４と、ホワイトバランス補正後の低感度画像信号をガンマ変換しガンマ変換後の低感度画像信号を後段の加重加算回路１３に出力するガンマ変換回路１５と、加重加算回路１３で加算合成された合成信号に対して公知の同時化処理やＲＧＢ／ＹＣ変換処理等の信号処理を施して合成静止画画像信号を出力する信号処理部１６とを備える。
【００４４】
加重加算回路１３は、ガンマ変換回路１２から取り込んだ高感度画像信号ＧH（ＳH）に対してパラメータｋの値を乗算した信号〔ｋ・ＧH（ＳH）〕を出力する乗算回路１７と、ガンマ変換回路１５から取り込んだ低感度画像信号ＧL（ＳL）に対して上記のパラメータ値ｋを“１”から減算した値（１−ｋ）を乗算した信号〔（１−ｋ）・ＧL（ＳL）〕を出力する乗算回路１８と、乗算回路１７，１８の各出力信号を加算し加算信号ＧC〔＝ｋ・ＧH（ＳH）＋（１−ｋ）・ＧL（ＳL）〕を合成信号として信号処理部１６に出力する加算回路１９とを備える。
【００４５】
次に、上述した構成のデジタルカメラの動作について説明する。
【００４６】
このデジタルカメラでは、図示しない電源がＯＮされ撮影モードになっている間は、常時、固体撮像素子３から所定周期で画像信号が読み出されており、露光条件決定部７は、ＡＤＣ４から出力される画像信号を常時取り込み、その時々の最適露光条件と最適な合成パラメータｋの値を算出し、システム制御部５に出力する。
【００４７】
即ち、露光条件決定部７は、高感度画像信号と低感度画像信号とを取り込み、その撮影シーンに対する最適な露光時間を決めると共に、ガンマ特性の合成に使用する合成パラメータｋの値を決める。
【００４８】
最適な露光時間は、例えば次のように決定される。最適な露光時間の基で得られる高感度画像信号のヒストグラムをとると、２つの山ができる。一つの山は中央付近にでき、他の山は飽和出力を越えた位置にできる。同様にして最適露光時間の基で得られる低感度画像信号のヒストグラムをとると、これも２つの山ができる。一つの山は中央付近にでき、他の山はゼロに近い領域、つまり、高感度画像信号の領域にできる。このようなヒストグラムの山ができる様な露光時間を最適露光時間として決定する。
【００４９】
また、合成パラメータｋの値は、例えば次の様に決める。最適露光時間が決まると、必然的に感度比Ｒ（同一光入力に対する高感度画像信号／低感度画像信号）が決まる。この感度比Ｒと、前述のヒストグラムの形状から、最適な合成パラメータｋの値を決める。ｋの値は０≦ｋ≦１の値をとる。
【００５０】
システム制御部５は、このようにして得られた最適露光時間となるように駆動部６に制御指令を出力し、光学系１，メカニカルシャッタ２，固体撮像素子３の動作パルス等を制御する。
【００５１】
ここで、ユーザがデジタルカメラの図示しないシャッタボタンを押下すると、電子シャッタが開き、決められた露光時間後にメカニカルシャッタ２が閉じられる。固体撮像素子３からは先ず高感度画素から高感度画像信号が読み出され、ＡＤＣ４から出力された高感度画像信号が図示しないメモリに格納され、次に、低感度画素から低感度画像信号が読み出され、ＡＤＣ４から出力された低感度画像信号が図示しないメモリに格納される。そして、これらのメモリから一画素単位に読み出された高感度画像信号と低感度画像信号とが静止画の画像処理部９に入力され、同一画素位置から出力された高感度画像信号と低感度画像信号とが合成パラメータｋを用いて信号合成される。
【００５２】
図３は、本実施形態に係る信号合成の説明図である。図３の曲線ＧHは、高感度画像信号に対するガンマ特性であり、次のような特徴がある。入力露光量レベル（横軸）が飽和レベルＩHm以上で、高感度画像信号（ガンマ特性ＧH）は飽和値Ｇm（普通は、８ビット精度で“２５５”の値となる。）で一定となる。このガンマ特性ＧHの傾きは、常に“０”または正であり、単調に増大する。そして、入力露光量レベルの増大と共に傾きは小さくなり、飽和レベルＩHm付近で傾きは“０”となる。
【００５３】
傾きの変化は急峻でなく、滑らかに（連続的に）変化するように設定されている。ただし、０付近で雑音が目立つことを避けるためＳ字特性を持たせることがあり、その場合には、０付近の傾きは一時増加する。
【００５４】
図３の曲線ＧLは、低感度画像信号に対するガンマ特性であり、次のような特徴がある。入力露光量レベルが飽和レベルＩLmで低感度画像信号（ガンマ特性ＧＬ）は飽和値Ｇmとなる。このガンマ特性ＧLの傾きは、常に“０”または正であり、単調に増大する。そして、入射露光量レベルの増大と共に傾きは小さくなる。
【００５５】
ガンマ特性ＧLは、ガンマ特性ＧHのように飽和レベルＩLm付近で傾きを“０”とする必要は無いが、傾き“０”に選んでも良い。傾きの変化は急峻でなく、滑らかに（連続的に）変化するように設定されている。低感度画像信号は、飽和レベルＩLm以上で、飽和値Ｇmで一定となる。
【００５６】
本実施形態では、高感度画像信号と低感度画像信号とを、合成式〔ＧC＝ｋ・ＧH（ＳH）＋（１−ｋ）・ＧL（ＳL）〕により合成信号ＧCを得ている。図３にｋ倍した高感度画像信号ＧH（（ＳH）は図示省略）と（１−ｋ）倍した低感度画像信号ＧL（（ＳL）は図示省略）と、合成信号ＧCとを図示する。この高感度画像信号と低感度画像信号との加重加算は、高感度画像信号に対するガンマ特性と低感度画像信号に対するガンマ特性とを加重加算したものと同じであり、合成パラメータｋの値は、合成信号中の高感度画像信号の階調（ビット）割り当てに相当するものである。
【００５７】
即ち、合成パラメータｋの値が“１”に近ければ、画像全体に対して、高感度画像信号が支配的となり、反対に、合成パラメータｋの値が“０”に近い値になると、画像全体に対して低感度画像信号が支配的となる。ｋ＝１／２の場合は両者の中間であり、画像全体に対して高感度画像信号と低感度画像信号がバランスすることになる。
【００５８】
図４は、設定条件から外れた高感度画像信号（感度比が大きい場合）を示す図である。高感度画像信号に対するガンマ特性は、ＧHからＧ’Hに変化する。しかし、このガンマ特性が高感度画像信号の飽和レベルＩHm付近で傾きが“０”となっているので、感度比が多少設定値から外れても、合成特性Ｇ’Cは滑らかに繋がり、ガンマ特性不連続に起因する不自然な画像は現れることがない。
【００５９】
図５は、空を被写体としたとき空が白飛びしない様に、周囲の画質は最適に近く、明るい部分だけもう少し解像感を向上したい例（空の色や雲）を示す図である。この例の場合、明るい部分を少し改善すれば良いので、例えば、ｋ＝０．７５のように合成パラメータｋの値を“１”に近い値に設定すれば良い。低レベルの周囲は高感度画像信号で十分階調が得られ、高レベル領域は階調は少ないが、解像できるようになり、全体として広いダイナミックレンジの良好な画像が得られる。
【００６０】
図６は、被写体画像中の暗い部分の黒潰れを改善する例を示す図である。黒潰れを改善したい場合には、例えばｋ＝０．２５のように小さい値に選ぶと良い。全体的な画質は、低感度画像信号の階調で保持され、暗い部分のみ、黒潰れが無くなる。また、逆光の人物や窓越しの景色等のように低レベル部分と高レベル部分も両方目一杯解像したい場合には、ｋ＝０．５に設定すると良い。
【００６１】
この様に、合成パラメータｋの値を撮影シーンに応じて最適な値に設定することで、広いダイナミックレンジの被写体画像中に不自然な部分が入ることがなくなる。また、合成パラメータｋの値を用いて画像合成を行うため、画像処理部の回路規模は小さくて済み、多種類のガンマ特性を用意する必要もなくなり、更に、短時間に画像合成が行われるため次のシャッタチャンスを逃すこともなくなる。
【００６２】
尚、上述した実施形態では、デジタルカメラの画像処理部９が高感度画像信号と低感度画像信号とを合成処理し合成後の静止画像データを出力する例を説明したが、高感度画像信号と低感度画像信号とをＲＡＷデータとして記録メディアに格納しておき、パーソナルコンピュータ等でこれらのＲＡＷデータを読み出して画像合成する場合にも本発明を適用可能である。
【００６３】
この場合、例えば、画像合成に使用する合成パラメータｋの値はユーザが任意に選択可能であるが、そのときの撮影シーンに対してデジタルカメラが最適と判断した合成パラメータｋの値を参考にできるように、デジタルカメラが最適と判断した合成パラメータｋの値もＲＡＷデータにタグ情報として付加しておくのがよい。
【００６４】
また、上述したデジタルカメラでは、合成パラメータｋの値を露光条件決定部７が自動決定したが、ユーザが手操作で指定入力する機能をデジタルカメラに付加することでもよい。これにより、ユーザの好みに合わせた絵作りが可能となる。
【００６５】
〔第２実施形態〕
図７は、本発明の第２実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態と同じである。
【００６６】
本実施形態では、低感度画像信号に対してホワイトバランス補正を行うホワイトバランス回路１４の後段に、低感度画像信号のＳ／Ｎを向上させる加重加算回路２１を挿入し、この加重加算回路２１の出力をガンマ変換回路１５に入力する構成としている点が第１実施形態と異なり、他の点は第１実施形態と同じである。
【００６７】
加重加算回路２１には、ホワイトバランス回路１１から出力される高感度画像信号とホワイトバランス回路１４から出力される低感度画像信号と上述した感度比Ｒとが入力される。
【００６８】
第１実施形態では、低感度画像信号のうち信号レベルが低レベルの部分もそのまま合成信号として画像合成に使用される。しかし、低レベルの低感度画像信号は、Ｓ／Ｎが良くないので、合成画像の画質を劣化させる。そのため、本実施形態では、加重加算回路２１を追加し、ホワイトバランス回路１４から出力される低感度画像信号ＳLのうち、信号レベルが低い低感度画像信号ＳLを、Ｓ／Ｎの高い信号Ｓ’Lに置き換えている。この置き換えに使用する信号Ｓ’Lは、次式で示されるように、ホワイトバランス回路１１から出力されるＳ／Ｎの高い高感度画像信号ＳHを用いて生成する。
【００６９】
Ｓ’L＝ＳL                              （ＳH＞ＳH2）
Ｓ’L＝ＳH／Ｒ                          （ＳH＜ＳH1）
Ｓ’L＝α・ＳL＋（１−α）・ＳH／Ｒ    （その他の場合）
ここで、ＳH1，ＳH2は、それぞれ〔ＳH1＜ＳH2＜高感度画像信号のリニア飽和値〕を満たす高感度画像信号の所定リニア値であり、α＝（ＳH−ＳH1）／（ＳH2−ＳH1）である。
【００７０】
このように、高感度画像信号ＳHのリニア値が所定値ＳH1より低い信号レベルの領域で、前記合成式で用いるガンマ変換前の低感度画像信号を、高感度画像信号ＳHを感度比Ｒで除算した信号と低感度画像信号ＳLとの加重平均信号で置き換えることで、合成画像信号のうち低レベルのＳ／Ｎを改善することが可能となる。
【００７１】
〔第３実施形態〕
図８は、本発明の第３実施形態に係るデジタルカメラの画像処理部９の詳細構成図である。デジタルカメラ全体の構成は図１の第１実施形態，第２実施形態と同じである。
【００７２】
本実施形態では、第２実施形態の加重加算回路２１がガンマ変換回路１５の前段に設けられたのに対し、加重加算回路２２をガンマ変換回路１５の後段に設けた点が第２実施形態と異なり、他の点は第２実施形態と同じである。
【００７３】
第２実施形態では、低感度画像信号のＳ／Ｎ改善を低感度画像信号のリニア値に対して対策したのに対し、本実施形態では、ガンマ変換後の低感度画像信号に対して対策した点が異なる。この加重加算回路２２には、ガンマ変換回路１２から出力される高感度画像信号ＧH（ＳH）とガンマ変換回路１５から出力される低感度画像信号ＧL（ＳL）と上述した感度比Ｒとが入力される。尚、以下、ＧH（ＳH），ＧL（ＳL）等の（ＳH），（ＳL）は省略してＧH，ＧLのみとする。
【００７４】
即ち、本実施形態では、ガンマ変換回路１５から出力される低感度画像信号ＧLのうち、信号レベルが低い低感度画像信号ＧLを、Ｓ／Ｎの高い高感度画像信号ＧHから生成した低感度画像信号Ｇ’Lに置き換えている。この置き換えに使用する信号Ｇ’Lは、次式で置き換えられる。
【００７５】
Ｇ’L＝ＧL                                （ＧH＞ＧH2）
Ｇ’L＝ＧH／Ｒ’                          （ＧH＜ＧH1）
Ｇ’L＝β・ＧL＋（１−β）・ＧH／Ｒ’    （その他の場合）
ここで、ＧH1，ＧH2は、それぞれ〔ＧH1＜ＧH2＜ガンマ変換後の高感度画像信号の飽和値〕を満たす所定値であり、β＝（ＧH−ＧH1）／（ＧH2−ＧH1）である。また、Ｒ’は、高感度画像信号を低感度画像信号に換算するための感度比であり、感度比Ｒをガンマ変換した後の感度比である。感度比Ｒ’は、１≦Ｒ’≦Ｒの間の定数となる。
【００７６】
このように、高感度画像信号ＧHの値が所定値ＧH1より低い信号レベルの領域で、前記合成式で用いるガンマ変換後の低感度画像信号ＧLを、高感度画像信号ＧHを感度比Ｒ’で除算した信号と低感度画像信号ＧLとの加重平均信号で置き換えることで、合成画像信号のうち低レベルのＳ／Ｎを改善することが可能となる。
【００７７】
上述した各実施形態では、カラー画像を撮像するデジタルカメラを例に説明したが、当然のことながら、本発明は白黒画像を撮像するデジタルカメラにも適用可能である。また、上述した各実施形態では、高感度画像信号をガンマ変換するガンマ特性と、低感度画像信号をガンマ変換するガンマ特性を異なるガンマ特性としたが、これらを同一のガンマ特性とすることでも本発明を実施可能である。この場合、ガンマ特性のテーブルに必要なメモリ容量が削減される。
【００７８】
尚、上述した第２実施形態と第３実施形態では、加重加算回路２１，２２をデジタルカメラに内蔵したが、これら加重加算回路が行う信号処理は、高感度画像信号と低感度画像信号のＲＡＷデータに対してパーソナルコンピュータ上で実施できることはいうまでもない。
【産業上の利用可能性】
【００７９】
本発明は、高感度画像信号と低感度画像信号とを合成して広いダイナミックレンジの被写体画像を生成するとき不自然な画像部分が生じることないため、デジタルカメラや画像合成方法、固体撮像装置として有用である。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１実施形態に係るデジタルカメラの構成図である。
【図２】図１に示す静止画の（ＷＤＲ）画像処理部の詳細構成図である。
【図３】本発明の第１実施形態に係る画像合成方法の説明図である。
【図４】本発明の第１実施形態に係る画像合成方法の別例の説明図である。
【図５】本発明の第１実施形態に係る画像合成方法の更に別例の説明図である。
【図６】本発明の第１実施形態に係る画像合成方法の更に別例の説明図である。
【図７】本発明の第２実施形態に係るデジタルカメラの画像処理部の詳細構成図である。
【図８】本発明の第３実施形態に係るデジタルカメラの画像処理部の詳細構成図である。
【図９】従来技術の不具合の説明図である。
【符号の説明】
【００８１】
１  光学系
３  固体撮像素子
４  アナログデジタル変換回路（ＡＤＣ）
５  システム制御部
７  露光条件決定部
９  静止画の画像処理部
１１，１４  ホワイトバランス回路
１２，１５  ガンマ変換回路
１３  画像合成用の加重加算回路
１６  信号処理部
１７，１８  乗算回路
１９  加算回路
２１，２２  Ｓ／Ｎ改善用の加重加算回路
【図１】
2005051695.tif 000003
【図２】
2005051695.tif 000004
【図３】
2005051695.tif 000005
【図４】
2005051695.tif 000006
【図５】
2005051695.tif 000007
【図６】
2005051695.tif 000008
【図７】
2005051695.tif 000009
【図８】
2005051695.tif 000010
【図９】
2005051695.tif 000011