(57)【要約】【課題】高感度画像と低感度画像とをホワイトバランスをとりながら合成し広いダイナミックレンジを持った合成画像を生成する。【解決手段】固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出するホワイトバランスゲイン算出回路４０と、算出回路４０で算出されたゲイン値を用いて高出力画像の画像データのホワイトバランス調整を行う第１ゲイン補正回路４２ａと、前記ゲイン値を用いて低出力画像の画像データのホワイトバランス調整を行う第２ゲイン補正回路４２ｂを備える。これにより、合成画像のホワイトバランスのズレが小さくなり、ダイナミックレンジの広い画像を生成することが可能となる。【選択図】　図２
2004048563.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記高出力画像の画像データのホワイトバランス調整を行うと共に該ゲイン値を用いて前記低出力画像の画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする撮像装置。
【請求項２】
固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記合成画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする撮像装置。
【請求項３】
固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記高出力画像の画像データのホワイトバランス調整を行うゲイン値と前記低出力画像の画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする画像処理方法。
【請求項４】
固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記合成画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は撮像装置および画像処理方法に係り、特に、ホワイトバランスをとりながらダイナミックレンジを広げた画像信号を得ることができる撮像装置および画像処理方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラ等の撮像装置で、例えば室内風景を撮像した場合、室内に存在する被写体の映像は良く映っても、窓から見える青い空が白飛びしてしまい、全体的に不自然な画像になってしまうことがある。これは画像のダイナミックレンジが狭いためであり、この問題を解決するために、従来から、２枚の画像を撮像し合成することで、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露光画像（低感度画像）を撮像し、これに連続して低速シャッタを切って２枚目の長時間露光画像（高感度画像）を撮像し、２枚の画像を合成することで、低感度画像中に映っている窓の外の風景が、室内風景の良く映っている高感度画像に重なるようにしている。
【０００４】
特開２０００―３０７９６３号公報に記載されている従来の撮像装置では、２枚の画像を合成するとき、動きのある被写体部分が低感度画像と高感度画像とでピッタリ一致しないため、マスクを使って部分毎に高感度画像と低感度画像を置き換え、画像合成を行う様にしている。
【０００５】
【発明が解決しようとする課題】
上述した従来技術では、２枚の撮像画像の画像信号をマスクを使って合成しているが、ホワイトバランスのズレに関しては考慮していない。このため、合成画像中の高感度画像と低感度画像とでホワイトバランスが異なってしまい、撮影シーンによって違和感のある合成画像になってしまうという問題がある。
【０００６】
本発明の目的は、ホワイトバランスをとりながらダイナミックレンジの広い画像を合成し出力することができる撮像装置および画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成する撮像装置は、固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記高出力画像の画像データのホワイトバランス調整を行うと共に該ゲイン値を用いて前記低出力画像の画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする。この構成により、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【０００８】
上記目的を達成する撮像装置は、固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記合成画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする。この構成によっても、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【０００９】
上記目的を達成する画像処理方法は、固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記高出力画像の画像データのホワイトバランス調整を行うゲイン値と前記低出力画像の画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする。この構成により、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【００１０】
上記目的を達成する画像処理方法は、固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記合成画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする。この構成によっても、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１２】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例にしているが、デジタルビデオカメラ等の他の種類の撮像装置にも本発明を適用可能である。
【００１３】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１４】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。
【００１５】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００１６】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データを積算し積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１７】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００１８】
図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。本実施形態では、高速シャッタで撮像した低感度画像（各画素からの出力値が低いため、以下、低出力画像ともいう。）と、これに連続して低速シャッタで撮像した高感度画像（各画素からの出力値が低出力画像のデータより高くなるため、以下、高出力画像ともいう。）とを合成する場合のデジタル信号処理部２６の機能構成について説明する。
【００１９】
図示する例のデジタル信号処理部２６は、図１に示す積算部２８の出力データを取り込んでホワイトバランス調整用のゲイン値を算出するホワイトバランスゲイン算出回路４０と、Ａ／Ｄ変換回路２３から出力される高出力画像のＲＧＢ色信号を取り込んでオフセット処理を行う第１オフセット補正回路４１ａと、第１オフセット補正回路４１ａの出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行う第１ゲイン補正回路４２ａと、第１ゲイン補正回路４２ａから出力される高出力画像データに対して高出力画像用のγ値を用いてガンマ補正を行う第１ガンマ補正回路４３ａとを備える。
【００２０】
デジタル信号処理部２６は、更に、Ａ／Ｄ変換回路２３から出力される低出力画像のＲＧＢ色信号を取り込んでオフセット処理を行う第２オフセット補正回路４１ｂと、第２オフセット補正回路４１ｂの出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行う第２ゲイン補正回路４２ｂと、第２ゲイン補正回路４２ｂから出力される低出力画像データに対して低出力画像用のγ値を用いてガンマ補正を行う第２ガンマ補正回路４３ａと、第１ガンマ補正回路４３ａの出力データと第２ガンマ補正回路４３ｂの出力データとを画素単位に合成する画像合成回路４４とを備える。
【００２１】
デジタル信号処理部２６は更に、合成した画像データ（画像合成回路４４の出力データ）のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、ノイズ低減後の色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００２２】
ＲＧＢ補間演算部４４は、固体撮像素子１１が３板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ，Ｇ，Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ，Ｂの色信号がどの程度になるかを、周りの画素のＧ，Ｂ信号から補間演算により求めるものである。
【００２３】
次に、上述した構成のデジタルスチルカメラの動作を説明する。ユーザが操作部２１を操作してダイナミックレンジの広い合成画像の撮像を指示入力した場合、ＣＰＵ１５は、先ず高速シャッタを切って被写体の低感度画像を撮像し、次に低速シャッタを切って同一被写体の高感度画像を撮像し、２枚の画像データをデジタル信号処理部２６が取り込んで合成することになる。
【００２４】
高感度画像のＲＧＢ信号（デジタル信号）は画素単位にデジタル信号処理部２６に取り込まれ、先ず第１オフセット補正回路４１ａでオフセット処理された後、第１ゲイン補正回路４２ａにてホワイトバランス調整が行われる。このホワイトバランス調整で使用するゲイン値は、ホワイトバランスゲイン算出回路４０で算出されたゲイン値を用いるが、ホワイトバランスゲイン算出回路４０は、このゲイン値を、積算部２８で積算された高感度画像の積算値から算出する。ゲイン補正された高感度画像データは、第１ガンマ補正回路４３ａにより、高感度画像用のγ値を用いてガンマ補正され、画像合成回路４４に出力される。
【００２５】
一方、低感度画像のＲＧＢ信号（デジタル信号）も画素単位にデジタル信号処理部２６に取り込まれ、先ず第２オフセット補正回路４１ｂでオフセット処理された後、第２ゲイン補正回路４２ｂにてホワイトバランス調整が行われる。このホワイトバランス調整で使用するゲイン値も、ホワイトバランスゲイン算出回路４０で算出されたゲイン値を用いるが、本実施形態では、低感度画像のホワイトバランス調整用ゲイン値も、積算部２８で積算された高感度画像の積算値から算出する。ゲイン補正された低感度画像データは、第２ガンマ補正回路４３ｂにより、低感度画像用のγ値を用いてガンマ補正され、画像合成回路４４に出力される。
【００２６】
画像合成回路４４では、画素単位に高感度画像データと低感度画像データとを加算合成し、ＲＧＢ補間演算部４５、ＲＧＢ／ＹＣ変換回路４６、ノイズフィルタ４７、輪郭補正回路４８、色差マトリクス回路４９と通すことで、広いダイナミックレンジを持ち、且つホワイトバランスが調整された違和感の無いの画像データが輝度信号Ｙと色差信号Ｃｒ，Ｃｂとして出力され、記録媒体２９に格納される。
【００２７】
この様に、本実施形態では、高感度画像（高出力画像）と低感度画像（低出力画像）とを合成する場合に、低感度画像のホワイトバランス調整を、高感度画像の画像データから求めたゲイン値にて行うため、低感度画像と高感度画像の合成画像でホワイトバランスのズレが無くなり、違和感の無い合成画像を得ることが可能となる。
【００２８】
同一被写体を時間を置かずに撮像した高感度画像と低感度画像は、共に同一光源下で撮像した画像であるため、ホワイトバランス調整を行うゲイン値は本来同一値である。しかし、低感度画像の画像データは、ホワイトバランスのゲイン値算出の追従が不可能な領域となる見込みが強く、高感度画像の画像データから求めたゲイン値から大きく外れた値が算出される虞がある。そこで、本実施形態では、色再現性や色のつながりの観点から、低感度画像のホワイトバランスも高感度画像データから算出したゲイン値を用いて調整することとしている。
【００２９】
尚、本実施形態では、低感度画像と高感度画像の全画素データを加算合成して合成画像を生成したが、従来技術（特開２０００―３０７９６３号）の様にマスクを用いて部分部分毎に低感度画像と高感度画像とを合成する場合にも、ホワイトバランスのズレの少ない合成画像を得ることができる。
【００３０】
図２のデジタル信号処理部２６で行う画像合成は対数加算方式といわれ、ガンマ変換した後の低感度画像と高感度画像とを画像合成する方式である。これに対し、ガンマ変換前の低感度画像と高感度画像とを画像合成し、その後にガンマ変換する真数加算方式といわれる画像合成方式もある。図３は、真数加算方式の画像合成を行うデジタルスチルカメラに本発明を適用した第２の実施形態に係るデジタル信号処理部２６の構成図である。
【００３１】
この第２の実施形態に係るデジタル信号処理部２６は、ホワイトバランスゲイン算出回路４０と、高感度画像のＲＧＢ色信号と低感度画像のＲＧＢ色信号とを画素単位に取り込み加算合成する画像合成回路４４と、画像合成回路４４の出力データ（合成画像データ）にニー補正処理を施すニー補正回路３９と、ニー補正後の合成画像データにホワイトバランス等のゲイン補正を施すゲイン補正回路４２と、ゲイン補正後の合成画像データにガンマ補正を施すガンマ補正回路４３と、ＲＧＢ補間回路４５と、ＲＧＢ／ＹＣ変換回路４６と、ノイズフィルタ４７と、輪郭補正回路４８と、色差マトリクス回路４９とからなる。
【００３２】
斯かる構成の第２の実施形態に係るデジタル信号処理部２６でも、ゲイン補正回路４２で使用するホワイトバランス用のゲイン値として、ホワイトバランスゲイン算出回路４０が高感度画像データの積算値から算出したゲイン値を使用し、低感度画像データはゲイン値算出には用いない。この第２の実施形態のデジタル信号処理部２６で真数加算方式で合成した合成画像でも、ホワイトバランスのズレが無く違和感の少ないダイナミックレンジの広い再生画像を生成することが可能である。
【００３３】
尚、上述した実施形態では、高速シャッタを切って撮像した画像を低感度画像といい、低速シッャタを切って撮像した画像を高感度画像といったが、本発明は感度の違う画像を合成する場合に制限されるものではなく、シャッタ速度は同じであっても絞りの開口量が異なる複数の画像を合成する場合にも適用できる。
【００３４】
例えば、コントラストの高い静物を露出をふって複数枚連続して撮像した場合、開口量の広い絞りで撮像した画像は固体撮像素子１１の各画素からの出力レベルが高いため上述した高出力画像となり、開口量の狭い絞りの基で撮像した画像は高出力画像よりも各画素からの出力レベルが低いため上述した低出力画像となる。
【００３５】
また、上述した実施形態では、高速シャッタと低速シッャタを連続して切って得た複数枚の画像を合成する例について述べたが、高感度画像を撮像する固体撮像素子と低感度画像を撮像する固体撮像素子を複数枚撮像装置に搭載し、両固体撮像素子から得られる画像を合成する場合にも本発明を適用することができる。
【００３６】
更に、１枚の固体撮像素子に、高感度画素と低感度画素の両方を搭載し、高感度画素から読み出した画像と低感度画素から読み出した画像とを合成する場合にも適用できる。これらの場合、同一シッャタ速度同一絞りで信号電荷蓄積量が大きくなる固体撮像素子や高感度画素からの高出力画像を基準としてホワイトバランスのゲイン値を算出することになる。
【００３７】
尚、上述した実施形態では、デジタルスチルカメラで撮像した高出力画像と低出力画像とをデジタルスチルカメラ内で合成する例について述べたが、撮像装置で撮像された高感度画像データと低感度画像データとをメモリに格納して撮像装置から取り出し、この高感度画像データと低感度画像データとをパソコン等に読み込み、上述した実施形態で述べたデジタル信号処理部２６の同様の画像処理を行う場合にも適用でき、ホワイトバランス調整のとれたダイナミックレンジの広い合成画像を生成することができる。
【００３８】
【発明の効果】
本発明によれば、複数の画像をホワイトバランスをとりながら合成しダイナミックレンジを広げることができるため、違和感の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラの構成図である。
【図２】図１に示すデジタル信号処理部の詳細構成図である。
【図３】別実施形態に係るデジタル信号処理部の詳細構成図である。
【符号の説明】
１１　固体撮像素子
１５　ＣＰＵ
２６　デジタル信号処理部
２８　積算部
４０　ホワイトバランスゲイン算出回路
４１ａ，４１ｂ　オフセット補正回路
４２，４２ａ，４２ｂ　ゲイン補正回路
４３，４３ａ，４３ｂ　ガンマ補正回路
４４　画像合成回路
【図１】
2004048563.tif 000003
【図２】
2004048563.tif 000004
【図３】
2004048563.tif 000005