(57)【要約】【課題】高感度画像と低感度画像とを合成し、色バランスとホワイトバランスのとれた広いダイナミックレンジの画像を撮像する。【解決手段】高出力画像データの色信号と低出力画像データの色信号とを出力する撮像素子と、前記高出力画像データをガンマ補正すると共に前記低出力画像データをガンマ補正するガンマ補正手段と、該ガンマ補正手段による補正後の前記高出力画像データと前記補正手段による補正後の前記低出力画像データとを加算すると共にシーンに応じたトータルゲインを乗算して画像合成する画像合成手段と、該画像合成された合成画像データを輝度信号及び色差信号に変換する変換手段と、該変換手段によって得られた前記輝度信号と前記合成画像データのダイナミックレンジとに応じて前記色差信号に彩度補正処理を施す彩度補正手段とを設ける。【選択図】  図３
2004208000.tif 000002
【特許請求の範囲】
【請求項１】
高出力画像データの色信号と低出力画像データの色信号とを夫々ガンマ補正した後に画像合成し、合成画像データの色信号を輝度信号及び色差信号に変換する画像合成方法であって、シーンに応じたトータルゲインを前記高出力画像データと前記低出力画像データとの加算データに乗算して前記合成画像データとし、該合成画像データのダイナミックレンジと輝度値に応じて該合成画像データの彩度補正を行うことを特徴とする画像合成方法。
【請求項２】
前記トータルゲインの値を前記ダイナミックレンジに対応した値として使用し前記彩度補正を行うことを特徴とする請求項１に記載の画像合成方法。
【請求項３】
前記彩度補正は前記色差信号の値に彩度補正係数を乗算することで行うことを特徴とする請求項１または請求項２に記載の画像合成方法。
【請求項４】
前記彩度補正係数は、所定輝度以上の高輝度側で係数値“１”以下となるルックアップテーブルで用意されていることを特徴とする請求項３に記載の画像合成方法。
【請求項５】
高出力画像データの色信号と低出力画像データの色信号とを出力する撮像素子と、前記高出力画像データをガンマ補正すると共に前記低出力画像データをガンマ補正するガンマ補正手段と、該ガンマ補正手段による補正後の前記高出力画像データと前記補正手段による補正後の前記低出力画像データとを加算すると共にシーンに応じたトータルゲインを前記高出力画像データと前記低出力画像データとの加算データに乗算して画像合成する画像合成手段と、該画像合成された合成画像データを輝度信号及び色差信号に変換する変換手段と、該変換手段によって得られた前記輝度信号と前記合成画像データのダイナミックレンジとに応じて前記色差信号に彩度補正処理を施す彩度補正手段とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像合成方法および撮像装置に係り、特に、ホワイトバランスと色バランスをとりながらダイナミックレンジを広げた画像信号を得ることができる画像合成方法および撮像装置に関する。
【０００２】
【従来の技術】
デジタルスチルカメラ等の撮像装置で、例えば室内風景を撮像した場合、室内に存在する被写体の映像は良く映っても、窓から見える青い空が白飛びしてしまい、全体的に不自然な画像になってしまうことがある。これは画像のダイナミックレンジが狭いためであり、この問題を解決するために、従来から、２枚の画像を撮像し合成することで、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露光画像（低感度画像）を撮像し、これに連続して低速シャッタを切って２枚目の長時間露光画像（高感度画像）を撮像し、２枚の画像を合成することで、低感度画像中に映っている窓の外の風景が、室内風景の良く映っている高感度画像に重なるようにしている。
【０００４】
この様な画像合成を行う場合、高感度画像の赤（Ｒ）信号が緑（Ｇ）や青（Ｂ）の信号に比べて飽和しにくいため全体としてシアンがかっており、このため合成画像もこのシアンがかった高感度画像の色信号の影響を受けて、全体的に色バランスが崩れてしまうという問題がある。
【０００５】
そこで、例えば特開平７―１３１７９６号公報（特許文献１）記載の従来技術では、合成する一方の画像の色信号をｋ倍して他方の画像に合成し、合成画像の彩度を調整するようにしている。
【０００６】
【特許文献１】
特開平７―１３１７９６号公報
【０００７】
【発明が解決しようとする課題】
上述した従来技術では、２枚の撮像画像の色信号を合成するときにグレーの色バランスをとるようにしているが、両方の画像のホワイトバランスのズレに関しては考慮していない。このため、合成画像中の高感度画像と低感度画像とでホワイトバランスが異なり、撮影シーンによって違和感のある合成画像になってしまうという問題がある。
【０００８】
近年では、例えば固体撮像素子に高感度画素と低感度画素の両方を搭載し、高感度画素で撮像した高感度画像（以下、高出力画像ともいう。）と低感度画素で撮像した低感度画像（低出力画像ともいう。）とを合成処理して１枚の画像データとして出力するデジタルスチルカメラ等の撮像装置が提案されており、斯かる撮像装置で画像合成を行うとき、色バランスのみならずホワイトバランスをとる必要が生じる。
【０００９】
本発明の目的は、色バランス及びホワイトバランスをとりながらダイナミックレンジの広い画像を合成し出力することができる画像合成方法および撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成する画像合成方法は、高出力画像データの色信号と低出力画像データの色信号とを夫々ゲイン補正及びガンマ補正した後に画像合成し、合成画像データの色信号を輝度信号及び色差信号に変換する画像合成方法であって、シーンに応じたトータルゲインを前記高出力画像データと前記低出力画像データとの加算データに乗算して前記合成画像データとし、該合成画像データのダイナミックレンジと輝度値に応じて該合成画像データの彩度補正を行うことを特徴とする。
【００１１】
この構成により、色バランスとホワイトバランスのとれたダイナミックレンジの広い画像を得ることが可能となる。
【００１２】
本発明の画像合成方法は更に、前記トータルゲインの値を前記ダイナミックレンジに対応した値として使用し前記彩度補正を行うことを特徴とする。この構成により、ダイナミックレンジに応じた彩度補正を容易に行うことが可能となる。
【００１３】
本発明の画像合成方法は更に、前記色差信号の値に彩度補正係数を乗算することで前記彩度補正を行うことを特徴とする。この構成により、彩度補正の演算処理を容易に行うことが可能となる。
【００１４】
本発明の画像合成方法は更に、前記彩度補正係数を、所定輝度以上の高輝度側で係数値“１”以下となるルックアップテーブルで用意していることを特徴とする。この構成により、彩度補正の演算処理が更に容易となる。
【００１５】
本発明の撮像装置は、高出力画像データの色信号と低出力画像データの色信号とを出力する撮像素子と、前記高出力画像データをガンマ補正すると共に前記低出力画像データをガンマ補正するガンマ補正手段と、該ガンマ補正手段による補正後の前記高出力画像データと前記補正手段による補正後の前記低出力画像データとを加算すると共にシーンに応じたトータルゲインを前記高出力画像データと前記低出力画像データとの加算データに乗算して画像合成する画像合成手段と、該画像合成された合成画像データを輝度信号及び色差信号に変換する変換手段と、該変換手段によって得られた前記輝度信号と前記合成画像データのダイナミックレンジとに応じて前記色差信号に彩度補正処理を施す彩度補正手段とを備えることを特徴とする。
【００１６】
この構成により、色バランスとホワイトバランスのとれたダイナミックレンジの広い画像を撮像することが可能となる。
【００１７】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１８】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラ等の他の種類の撮像装置にも本発明を適用可能である。また、本実施形態の画像合成処理は、後述するデジタル信号処理部２６がソフトウェアにて実行処理するが、これをハードウェア回路にて実現することも可能である。
【００１９】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００２０】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００２１】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００２２】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００２３】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００２４】
図２は、本実施形態で使用する固体撮像素子１１の画素配置図である。広ダイナミックレンジの画像を撮像するＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素を避けるように蛇行配置される構成をとっている。
【００２５】
そして、本実施形態に係る各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素２と、残りの約４／５を占める高感度画素３とに分割して設けられ、各低感度画素２の信号電荷と、各高感度画素３の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。尚、画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図２は単なる例示に過ぎない。
【００２６】
本実施形態の撮像装置では、１回の撮像で、低感度画像（低感度画素２で得られた画像）と高感度画像（高感度画素３で得られた画像）を同時に取得し、各画像を各画素２，３から順次読み出し、詳細は後述する様に合成して出力する様になっている。
【００２７】
尚、固体撮像素子１１は、図２に示す様なハニカム画素配置のＣＣＤを例に説明したが、ベイヤー方式のＣＣＤやＣＭＯＳセンサでも良い。
【００２８】
図３は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、高感度画像信号と低感度画像信号とを夫々ガンマ補正した後に加算処理する対数加算方式を採用しており、図１に示すＡ／Ｄ変換回路２３から出力される高感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ａと、オフセット補正回路４１ａの出力信号のホワイトバランスをとるゲイン補正回路４２ａと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ａと、図１に示すＡ／Ｄ変換回路２３から出力される低感度画像のデジタル信号でなるＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１ｂと、オフセット補正回路４１ｂの出力信号のホワイトバランスをとるゲイン補正回路４２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ｂとを備える。オフセット補正後の信号に対してリニアマトリクス処理などを行う場合には、ゲイン補正回路４２ａ，４２ｂとガンマ補正回路４３ａ，４３ｂとの間で行う。
【００２９】
デジタル信号処理部２６は、更に、各ガンマ補正回路４３ａ，４３ｂの両出力信号を取り込んで詳細は後述する様にして画像合成処理を行う画像合成処理回路４４と、画像合成後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙや色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、色差信号Ｃｒ，Ｃｂに対して色差マトリクス〔Ｃ―ＭＴＸ〕を乗算して色調補正を行う色差マトリクス回路４８と、色差マトリクス回路４８から出力される色差信号に対して後述するように輝度に応じた彩度補正を行う彩度補正回路４９とを備える。
【００３０】
ＲＧＢ補間演算部４５は、３板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ，Ｇ，Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ，Ｂの色信号がどの程度になるかを、周りの画素のＧ，Ｂ信号から補間演算により求めるものである。
【００３１】
上述した画像合成処理回路４４は、ガンマ補正回路４３ａから出力される高感度画像信号と、ガンマ補正回路４３ｂから出力される低感度画像信号とを次の数１に基づいて画素単位に合成し、出力する。
【００３２】
[数１]
data＝〔high＋MIN(high/th,1）×low〕×MAX〔（−ｋ×high/th）＋α,ｐ〕
ここで、high：高感度（高出力）画像信号のガンマ補正後のデータ
low：低感度（低出力）画像信号のガンマ補正後のデータ
ｐ：total_gain（トータルゲイン）
ｋ：係数
th：閾値
α：シーンにより決める値（≒１）
である。
【００３３】
閾値thとは、ガンマ補正後のデータが８ビットデータ（２５６階調）であれば、例えば値０〜２５５のうちの“２１９”とデジタルスチルカメラの使用者あるいはデジタルスチルカメラの設計者が指定する値である。
【００３４】
数１の第１項は、高感度画像データhighが閾値thを越えているとき高感度画像データhighにそのまま低感度画像データlowを加算し、高感度画像データhighが閾値th以下のときは、高感度画像データhighの閾値thに対する割合に対し低感度画像データlowを乗算した値を高感度画像データhighに加算することを示している。
【００３５】
本実施形態では、この第１項で求めた加算データをそのまま合成画像データとするのではなく、この第１項に、第２項（MAX〔（−ｋ×high/th）＋α,ｐ〕）を乗算した値を合成画像のデータとすることを特徴とする。
【００３６】
この第２項において、係数ｋは、図２に示す実施形態の固体撮像素子１１では、値“０．２”を用いるのが良い。図２に示す固体撮像素子１１の様に、高感度画素３と低感度画素２の信号電荷の飽和比が異なる場合、係数ｋは、次の数２で便宜的に求めることができる。
【００３７】
[数２]
係数ｋ＝１−Ｓh／（Ｓh＋Ｓl）
ここで、Ｓh：高感度画素の信号電荷飽和量
Ｓl：低感度画素の信号電荷飽和量
【００３８】
図２に示す例で、フォトダイオードの面積比がそのまま飽和比になるわけではないが、便宜的に面積比と見ることができ、上記例を当てはめると、
2004208000.tif 000003
となる。
【００３９】
高感度画素と低感度画素とを合わせ持つ固体撮像素子は、図２に例示するものに限らず、例えば、図５に示す様に、同一寸法形状に形成された多数のフォトダイオード（図示せず）の上に設けるマイクロレンズの開口面積を変え、高感度画素３と低感度画素２とを設けるものが考えられる。
【００４０】
この場合には、高感度画素と低感度画素の信号電荷の飽和量は同じになるため数２は適用できないが、係数ｋの値を実験的に求めたり、あるいはマイクロレンズ等の開口面積などから係数値を求めることで、数１を適用することができる。この係数ｋの値は、固体撮像素子の構成によって決まってしまう値であり、使用者が任意に変更するものではなく、撮像装置の出荷時に固定値に設定されるものである。
【００４１】
数１において、トータルゲインｐの値として、本実施形態では、実験的に定めた値を採用する。ｐは、合成画像データの全体に対するゲインであり、本実施形態では、このｐの値を制御することで、画像のダイナミックレンジの制御を行う。このトータルゲインｐの値が小さいほどダイナミックレンジは広く、ｐの値が大きいほどダイナミックレンジは狭くなる。
【００４２】
具体的には、コントラストの高いシーン（真夏の晴天など）では、ｐ＝０．８、曇りや日陰ではｐ＝０．８６、室内蛍光灯下ではｐ＝０．９というように、シーンに応じてｐの値を変化させる。これにより、ガンマ補正後のデータが８ビットデータである場合、８ビット階調値をより有効に使用することが可能となる。
【００４３】
ｐの値は、ユーザが図１に示す操作部２１でシーンの種類を指定することでｐの値を設定することでも、デジタルスチルカメラ自体が各種センサの検出値に基づいて撮像画像のシーンを自動判定し自動設定することでもよい。例えば、積算部２８による測光データの積算値からホワイトバランスのゲイン量を求めるが、このホワイトバランスの値から如何なるシーンであるかを自動判別可能であるため、ｐの値の自動設定は可能である。
【００４４】
図４は、ｐの値を変えたときのダイナミックレンジの変化の様子を示す図である。トータルゲインｐの値を大きくしたときの特性線イはダイナミックレンジが小さく、トータルゲインｐの値を小さくしていくとダイナミックレンジが大きい特性線ロまで変化する。
【００４５】
このように、本実施形態によれば、高感度画像データと低感度画像データとを加算した後にシーンに応じたトータルゲインを乗算するため、ホワイトバランスのとれたダイナミックレンジの広い画像を生成可能となる。また、対数加算方式を採用して高感度画像データと低感度画像データの夫々のビット数を落としてから画像合成するため、回路規模が小さくて済み、低コスト化を図ることが可能となる。
【００４６】
しかし、画像合成の度合いや、グレーの非線形性（白色光の強度を変化させたときにＲ，Ｇ，Ｂの各信号が線形な変化をするか否か）によって、合成画像のハイライト部分に色が付いてしまうことがある。即ち、合成処理回路４４が使用したトータルゲインｐの値によって、ハイライト部分に色が付くことがある。そこで、本実施形態では、彩度補正回路４９によってハイライト部分の彩度を抑制し、ハイライト部分の色付きを目立たなくする。
【００４７】
今、色差信号Ｃｒ，Ｃｂが入力する色差マトリクス回路４８で使用される色差マトリクス〔Ｃ―ＭＴＸ〕を
[数３]
2004208000.tif 000004
としたとき、色差マトリクス回路４８からは、次の数４で算出される色差信号Ｃｒ’，Ｃｂ’が出力される。
【００４８】
[数４]
2004208000.tif 000005
【００４９】
彩度補正回路４９は、画像合成処理回路４４が使用したトータルゲインｐの値と、ノイズ低減回路４７から出力される輝度信号Ｙとを取り込み、入力してくる色差信号Ｃｒ’，Ｃｂ’に対して次の数５の演算処理を施して色差信号Ｃｒ”，Ｃｂ”を出力する。
【００５０】
[数５]
Ｃｒ”＝YC_gain・Ｃｒ’
Ｃｂ”＝YC_gain・Ｃｂ’
【００５１】
ここで、YC_gainは、図６に示すルックアップテーブルで求めた値である。図６では、ｐ＝０．８、ｐ＝０．９、ｐ＝１．０の場合の３つのルックアップテーブルを重ねて表示してあり、横軸が輝度値Ｙ、縦軸が彩度補正係数値YC_gainである。これらのルックアップテーブルは、高輝度側においてYC_gain値を１以下に低下させているが、ｐの値が小さい程（即ち、合成画像のダイナミックレンジが広い程）、低輝度位置からYC_gain値を低下させている。これにより、合成画像のハイライト部分の彩度が抑制され、色付きが目立たなくなる。
【００５２】
尚、数１において、αの値は、撮像画像のシーンに応じた値とすることも可能であるが、固定値“１”を採用することでもよい。
【００５３】
上述した実施形態では、デジタルスチルカメラで撮像した高出力画像（高感度画像）と低出力画像（低感度画像）とをデジタルスチルカメラ内で合成する例について述べたが、撮像装置で撮像された高感度画像データと低感度画像データとをメモリに格納して撮像装置から取り出し、この高感度画像データおよび低感度画像データ（ＣＣＤ―ＲＡＷデータ）をパソコン等に読み込み、上述した実施形態で述べたデジタル信号処理部２６と同様の画像合成処理を行う場合にも適用でき、ホワイトバランス調整と色バランスの両方がとれたダイナミックレンジの広い合成画像を生成することができる。
【００５４】
また、上述した実施形態では、低感度画素で撮像した画像を低感度画像といい、高感度画素で撮像した画像を高感度画像といったが、本発明は感度の違う画像を合成する場合に制限されるものではなく、同一画素で撮像した画像であって絞りの開口量が異なる複数の撮像画像を合成する場合にも適用できる。例えば、コントラストの高い静物を露出をふって複数枚連続して撮像した場合、開口量の広い絞りで撮像した画像は固体撮像素子の各画素からの出力レベルが高いため上述した高出力画像となり、開口量の狭い絞りの基で撮像した画像は高出力画像よりも各画素からの出力レベルが低いため上述した低出力画像となる。この両画像データを合成する場合にも、上記実施形態を適用できる。
【００５５】
【発明の効果】
本発明によれば、ホワイトバランスと色バランスの両方がとれたダイナミックレンジの広い画像を合成することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラの構成図である。
【図２】図１に示す固体撮像素子の画素配置例を示す図である。
【図３】図１に示すデジタル信号処理部の詳細構成図である。
【図４】ダイナミックレンジの変化の様子を示す図である。
【図５】固体撮像素子の別実施形態に係る画素配置図である。
【図６】図２に示す彩度補正回路に用意されたルックアップテーブルの一例を示す図である。
【符号の説明】
１  画素
２  低感度画素
３  高感度画素
１０  レンズ
１１  固体撮像素子
１５  ＣＰＵ
２６  デジタル信号処理部
４３ａ，４３ｂ  ガンマ補正回路
４４  画像合成処理回路
４９  彩度補正回路
イ  トータルゲイン大（ダイナミックレンジ小）の特性線
ロ  トータルゲイン小（ダイナミックレンジ大）の特性線
【図１】
2004208000.tif 000006
【図２】
2004208000.tif 000007
【図３】
2004208000.tif 000008
【図４】
2004208000.tif 000009
【図５】
2004208000.tif 000010
【図６】
2004208000.tif 000011