(57)【要約】【課題】高解像、広ダイナミックレンジ、高画質の撮影を実現し、信号処理による負荷を低減する。【解決手段】カラーフィルタ３６を備えた第１のＣＣＤ１８とカラーフィルタを備えない第２のＣＣＤ２１に同時に露光を行う。第１のＣＣＤ１８よりも第２のＣＣＤ２１の方が低感度に露光される。それぞれの画像データから、デジタル信号処理回路２５において、異なるガンマカーブでガンマ変換された後、第１のＣＣＤ１８の輝度信号Ｙ１と第２のＣＣＤ２１の輝度信号Ｙ２を算出する。このＹ１とＹ２を所定の比率で混合して輝度信号Ｙ３を算出し、さらにＹ３から色差信号Ｃｂ２、Ｃｒ２を算出する。輝度信号Ｙ３及び色差信号Ｃｂ２、Ｃｒ２から広ダイナミックレンジの画像を生成する。【選択図】  図５
2009164723.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光手段と、
前記第１の被写体光を受光するカラー撮像素子を有し、３原色の第１の画像信号を取得する第１の撮像手段と、
前記第２の被写体光を受光する白黒撮像素子を有し、前記第１の画像信号よりもダイナミックレンジの広い第２の画像信号を取得する第２の撮像手段と、
前記第１の画像信号に基づいて画素毎の第１の輝度信号を算出する手段と、
前記第２の画像信号に基づいて画素毎の第２の輝度信号を算出する手段と、
前記第１の輝度情報と前記第２の輝度信号とを混合してダイナミックレンジの広い第３の輝度信号を算出する手段と、
前記第１の画像信号と前記３の輝度信号とに基づいて画素毎の色差信号を算出する手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記分光手段は、前記第１の被写体光の光量よりも前記第２の被写体光の光量が少なくなるように分光することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の撮像手段は、前記第２の撮像手段より撮影感度が高く設定されていることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第１の撮像手段のカラー撮像素子は高感度素子を有し、前記第２の撮像手段の白黒撮像素子は低感度素子を有することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記第１の画像データと前記第２の画像データで異なる階調変換処理を行う階調変換処理手段を備え、
前記第１の画像信号に基づいて画素毎の第１の輝度信号を算出する手段は、前記階調変換処理手段により階調変換処理された前記第１の画像信号に基づいて画素毎の第１の輝度信号を算出し、前記第２の画像信号に基づいて画素毎の第２の輝度信号を算出する手段は、前記階調変換処理手段により階調変換処理された前記第２の画像信号に基づいて画素毎の第２の輝度信号を算出することを特徴とする請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記第２の画像データに基づいてフォーカスレンズを合焦位置へ移動させる自動合焦手段を備えたことを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項７】
撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光工程と、
前記第１の被写体光を受光するカラー撮像素子により、３原色の第１の画像信号を取得する第１の撮像工程と、
前記第２の被写体光を受光する白黒撮像素子により、前記第１の画像信号よりもダイナミックレンジの広い第２の画像信号を取得する第２の撮像工程と、
前記第１の画像信号に基づいて画素毎の第１の輝度信号を算出する工程と、
前記第２の画像信号に基づいて画素毎の第２の輝度信号を算出する工程と、
前記第１の輝度情報と前記第２の輝度信号とを混合してダイナミックレンジの広い第３の輝度信号を算出する工程と、
前記第１の画像信号と前記第３の輝度信号とに基づいて画素毎の色差信号を算出する工程と、
を備えたことを特徴とする撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像制御方法に係り、特に２つの撮像素子で同時に撮像した撮像データから広ダイナミックレンジの画像を得る撮像装置及び撮像制御方法に関する。
【背景技術】
【０００２】
今日のカメラ撮影処理においては、高解像でかつ広ダイナミックレンジな画像が求められている。このような画像を得る一般的な手法として、同一シーンにおいて露光量の異なる複数の画像を撮影し、これらの複数画像を合成処理して広ダイナミックレンジ画像を得る手法が知られている。
【０００３】
また、別な手法として、特許文献１には、１つの撮像面に対して複数の光学系を用意し、撮像エリア毎の感度を変え、合成処理を施すことで広ダイナミックレンジ処理を実現する装置が記載されている。この技術によれば、ダイナミックレンジの広い撮像系を実現することができると共に、複数の光学系での撮影を同時に行うことができるため、動きのある被写体にも対応することができる。
【特許文献１】特開２００２−１７１４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、同一シーンにおいて露光量の異なる複数の画像を撮影する手法においては、大量のメモリ領域を必要とすることや、撮影後に処理時間が必要となるという欠点があった。また、特許文献１に記載の装置は、解像度が損なわれる上、各エリアデータの位相差調整が必要となる欠点があった。また、合成処理により、色補間処理時に発生する偽色の影響が増大するという問題点があった。
【０００５】
本発明はこのような事情に鑑みてなされたもので、高解像、広ダイナミックレンジ、高画質の撮影を実現し、信号処理による負荷を低減する撮像装置及び撮像制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するために請求項１に記載の撮像装置は、撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光手段と、前記第１の被写体光を受光するカラー撮像素子を有し、３原色の第１の画像信号を取得する第１の撮像手段と、前記第２の被写体光を受光する白黒撮像素子を有し、前記第１の画像信号よりもダイナミックレンジの広い第２の画像信号を取得する第２の撮像手段と、前記第１の画像信号に基づいて画素毎の第１の輝度信号を算出する手段と、前記第２の画像信号に基づいて画素毎の第２の輝度信号を算出する手段と、前記第１の輝度情報と前記第２の輝度信号とを混合してダイナミックレンジの広い第３の輝度信号を算出する手段と、前記第１の画像信号と前記第３の輝度信号とに基づいて画素毎の色差信号を算出する手段とを備えたことを特徴とする。
【０００７】
これにより、高解像、広ダイナミックレンジの撮影を実現し、信号処理による負荷を低減することができる。
【０００８】
請求項２に示すように請求項１に記載の撮像装置において、前記分光手段は、前記第１の被写体光の光量よりも前記第２の被写体光の光量が少なくなるように分光することを特徴とする。
【０００９】
これにより、ダイナミックレンジの広い画像信号を取得することができる。
【００１０】
請求項３に示すように請求項１に記載の撮像装置において、前記第１の撮像手段は、前記第２の撮像手段より撮影感度が高く設定されていることを特徴とする。
【００１１】
これにより、ダイナミックレンジの広い画像信号を取得することができる。
【００１２】
請求項４に示すように請求項１に記載の撮像装置において、前記第１の撮像手段のカラー撮像素子は高感度素子を有し、前記第２の撮像手段の白黒撮像素子は低感度素子を有することを特徴とする。
【００１３】
これにより、ダイナミックレンジの広い画像信号を取得することができる。
【００１４】
請求項５に示すように請求項１から４のいずれかに記載の撮像装置において、前記第１の画像データと前記第２の画像データで異なる階調変換処理を行う階調変換処理手段を備え、前記第１の画像信号に基づいて画素毎の第１の輝度信号を算出する手段は、前記階調変換処理手段により階調変換処理された前記第１の画像信号に基づいて画素毎の第１の輝度信号を算出し、前記第２の画像信号に基づいて画素毎の第２の輝度信号を算出する手段は、前記階調変換処理手段により階調変換処理された前記第２の画像信号に基づいて画素毎の第２の輝度信号を算出することを特徴とする。
【００１５】
これにより、適切な階調の広ダイナミックレンジの画像を取得することができる。
【００１６】
請求項６に示すように請求項１から５のいずれかに記載の撮像装置において、前記第２の画像データに基づいてフォーカスレンズを合焦位置へ移動させる自動合焦手段を備えたことを特徴とする。
【００１７】
これにより、暗いシーン等で精度よく合焦が可能となる。
【００１８】
前記目的を達成するために請求項７に記載の撮像制御方法は、撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光工程と、前記第１の被写体光を受光するカラー撮像素子により、３原色の第１の画像信号を取得する第１の撮像工程と、前記第２の被写体光を受光する白黒撮像素子により、前記第１の画像信号よりもダイナミックレンジの広い第２の画像信号を取得する第２の撮像工程と、前記第１の画像信号に基づいて画素毎の第１の輝度信号を算出する工程と、前記第２の画像信号に基づいて画素毎の第２の輝度信号を算出する工程と、前記第１の輝度情報と前記第２の輝度信号とを混合してダイナミックレンジの広い第３の輝度信号を算出する工程と、前記第１の画像信号と前記３の輝度信号とに基づいて画素毎の色差信号を算出する工程とを備えたことを特徴とする。
【００１９】
これにより、高解像、広ダイナミックレンジの撮影を実現し、信号処理による負荷を低減することができる。
【発明の効果】
【００２０】
本発明によれば、高解像、広ダイナミックレンジ、高画質の撮影を実現し、信号処理による負荷を低減する撮像装置及び撮像制御方法を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、添付図面に従って本発明を実施するための最良の形態について説明する。
【００２２】
＜第１の実施の形態＞
図１は、本発明が適用されたデジタルカメラ１０の電気的構成を示すブロック図である。
【００２３】
同図に示すように、本実施の形態のデジタルカメラ１０は、ＣＰＵ１１、操作部１２、ズームレンズ用モータドライバ１３、フォーカスレンズ用モータドライバ１４、ズームレンズ１５、フォーカスレンズ１６、分光器１７、第１のＣＣＤ１８、第１のアナログ信号処理部１９、第１のＡ／Ｄ変換器２０、第２のＣＣＤ２１、第２のアナログ信号処理部２２、第２のＡ／Ｄ変換器２３、画像入力コントローラ２４、画像信号処理回路２５、圧縮伸張処理回路２６、表示回路２７、ＬＣＤモニタ２８、バス２９、ＡＥ検出回路３０、ＡＦ検出回路３１、ＲＯＭ３２、メモリ３３、メディアコントローラ３４、記録メディア３５等を備えて構成される。
【００２４】
各部はＣＰＵ１１に制御されて動作し、ＣＰＵ１１は、操作部１２からの入力に基づき所定の制御プログラムを実行することにより、デジタルカメラ１０の各部を制御する。
【００２５】
ＲＯＭ３２にはＣＰＵ１１が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ１１は、ＲＯＭ３２に記録された制御プログラムをメモリ３３に読み出し、逐次実行することにより、デジタルカメラ１０の各部を制御する。
【００２６】
なお、このメモリ３３は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。
【００２７】
操作部１２は、レリーズボタンの他、電源スイッチや撮影モードダイヤル等のカメラの一般的な操作手段を含み、操作に応じた信号をＣＰＵ１１に出力する。図示しないレリーズボタンは、半押し時にＯＮしてフォーカスロック、測光等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして画像の取り込みを行わせるスイッチＳ２とを有している。
【００２８】
ズームレンズ１５は、ズームレンズ用モータドライバ１３に駆動されて、フォーカスレンズ１６の光軸上を前後移動する。ＣＰＵ１１は、ズームレンズ用モータドライバ１３を介してズームレンズ１５の移動を制御し、ズーミングを行う。
【００２９】
フォーカスレンズ１６は、フォーカスレンズ用モータドライバ１４に駆動されて、ズームレンズ１５の光軸上を前後移動する。ＣＰＵ１１は、フォーカスレンズ用モータドライバ１４を介してフォーカスレンズ１６の移動を制御し、フォーカシングを行う。
【００３０】
分光部１７は、フォーカスレンズ１６の後段に配置されており、フォーカスレンズ１６を透過した被写体光を２等分割するプリズム等の光学部材である。
【００３１】
第１のＣＣＤ１８は、分光部１７により分割された被写体光の一方を受光する。第１のＣＣＤ１８は画面の１画素に対して１つの素子が対応している。図２（ａ）に示すように、その受光面には多数の受光素子が二次元的に配列されており、各受光素子に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタ３６が所定の配列構造で配置されている。
【００３２】
また、分光部１７により分割されたもう一方の被写体光は、第２のＣＣＤ２１が受光する。第２のＣＣＤ２１は、第１のＣＣＤ１８と素子の数及び配列が同様に構成されており、第１のＣＣＤ１８と同じ被写体像を撮像することが可能であるが、図２（ｂ）に示すように、受光素子の表面にカラーフィルタが配置されていないところが異なっている。また、第２のＣＣＤ２１は、広いダイナミックレンジの処理に対応させるために、第１のＣＣＤ１８よりも素子感度が低く設定されている。図３に、第１のＣＣＤ１８と第２のＣＣＤ２１の入力光量と出力値の関係を示す。図３の例では、第２のＣＣＤ２１は、第１のＣＣＤ１８の半分の感度となっている。
【００３３】
このように、分光部１７により分割された被写体光は、第１のＣＣＤ１８及び第２のＣＣＤ２１の受光面上に結像され、それぞれ各受光素子によって電気信号に変換される。
【００３４】
なお、第１のＣＣＤ１８及び第２のＣＣＤ２１は、ＣＣＤに代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。
【００３５】
また、画像信号の出力は、デジタルカメラ１０が撮影モードにセットされると開始される。すなわち、デジタルカメラ１０が撮影モードにセットされると、ＬＣＤモニタ２８にスルー画像を表示するため、画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると、一旦停止され、本撮影が終了すると、再度開始される。
【００３６】
第１のＣＣＤ１８から出力される画像信号は、アナログ信号であり、このアナログの画像信号は、第１のアナログ信号処理部１９に取り込まれる。第１のアナログ信号処理部１９は、相関二重サンプリング回路（ＣＤＳ）、及び自動ゲインコントロール回路（ＡＧＣ）を含んで構成される。ＣＤＳは、画像信号に含まれるノイズの除去を行い、ＡＧＣは、ノイズ除去された画像信号を所定のゲインで増幅する。この第１のアナログ信号処理部１９で所要の信号処理が施されたアナログの画像信号は、第１のＡ／Ｄ変換器２０に取り込まれる。
【００３７】
第１のＡ／Ｄ変換器２０は、取り込んだアナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。この画像信号は、いわゆるＲＡＷデータであり、画素ごとＲ、Ｇ、Ｂの濃度を示す階調値を有している。
【００３８】
第２のアナログ信号処理部２２、第２のＡ／Ｄ変換器２３は、第１のアナログ信号処理部１９、第１のＡ／Ｄ変換器２０と同様の内部構成となっている。第２のＣＣＤ２１から出力されるアナログの画像信号は、第２のアナログ信号処理部２２で所要の信号処理が施された後、第２のＡ／Ｄ変換器２３において所定ビットの階調幅を持ったデジタルの画像信号に変換される。第２のＣＣＤ２１にはカラーフィルタが配置されていないため、第２のＣＣＤ２１から出力される画像信号には、Ｒ、Ｇ、Ｂの情報がないが、全画素において輝度情報のサンプリングが可能であり、高精度かつ広ダイナミックな輝度情報を得ることができる。
【００３９】
画像入力コントローラ２４は、所定容量のラインバッファを内蔵しており、第１のＡ／Ｄ変換器２０や第２のＡ／Ｄ変換器２３から出力された１コマ分の画像信号を蓄積する。この画像入力コントローラ２４に蓄積された１コマ分の画像信号は、バス２９を介してメモリ３３に格納される。なお、メモリ３３には２コマ分以上の画像信号が蓄積可能であり、第１のＣＣＤ１８と第２のＣＣＤ２１で同時に撮影した画像データをともに蓄積することができる。
【００４０】
バス２９には、上記ＣＰＵ１１、メモリ３３、画像入力コントローラ２４のほか、デジタル信号処理回路２５、圧縮伸張処理回路２６、表示回路２７、メディアコントローラ３４、ＡＥ検出回路３０、ＡＦ検出回路３１等が接続されており、これらはバス２９を介して互いに情報を送受信できるようにされている。
【００４１】
ＡＥ検出回路３０は、ＣＰＵ１１の指令に従い、画像入力コントローラ２４を介してメモリ３３に格納された第１のＡ／Ｄ変換器２０の出力信号であるＲ、Ｇ、Ｂの画像信号を取り込み、ＡＥ制御に必要な積算値を算出する。ＣＰＵ１１は、積算値から輝度値を算出し、輝度値から露出値を求める。また露出値から所定のプログラム線図に従って、絞り値及びシャッタスピードを決定する。
【００４２】
ＡＦ検出回路３１は、ＣＰＵ１１の指令に従い、画像入力コントローラ２４を介してメモリ３３に格納された第２のＡ／Ｄ変換器２３の出力信号を取り込み、ＡＦ（Automatic Focus）制御に必要な焦点評価値を算出する。このＡＦ検出回路３１は、画面に設定された所定のフォーカス領域内の信号を切り出すフォーカス領域抽出部、及び、フォーカス領域内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカス領域内の絶対値データを焦点評価値としてＣＰＵ１１に出力する。ＣＰＵ１１は、ＡＦ制御時、このＡＦ検出回路３１から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１６を移動させることにより、主要被写体への焦点合わせを行う。
【００４３】
第２のＣＣＤ２１にはカラーフィルタがないため、可視光全域についてサンプリングが可能となる。したがって、カラーフィルタ３６を備えた第１のＣＣＤ１８の出力信号を用いて焦点評価値を算出する場合よりも、暗いシーン等で精度よく合焦が可能となる。また、Ｓ／Ｎ比が向上し、ノイズの影響を受けにくくなる利点もある。
【００４４】
なお、ＡＦ検出回路３１は、第１のＡ／Ｄ変換器２０の出力値であるＲ、Ｇ、Ｂの画像信号に基づいて焦点評価値を算出してもよい。この場合は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、及び絶対値化処理部が必要となる。
【００４５】
デジタル信号処理回路２５は、点順次に取り込んだＲ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。図４に示すように、デジタル信号処理回路２５は、積算値データからホワイトバランスゲイン調整用のゲイン値を算出するホワイトバランスゲイン算出回路４０と、Ｒ、Ｇ、Ｂの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正回路４１の出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行うゲイン補正回路４２と、ゲイン補正回路４２から出力される信号に対して所定のγ値を用いガンマ変換を行うガンマ補正回路４３とを備えている。デジタル信号処理回路２５は更に、ガンマ補正回路４３から出力されるＲＧＢの色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４４と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃｒ、Ｃｂからノイズを低減するノイズフィルタ４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃｒ、Ｃｂに対して色差マトリクス（Ｃ−ＭＴＸ）を乗算して色調補正を行う色差マトリクス回路４８と、積算値データを取り込んで光源種別を判定し、色差マトリクス回路４８に色差マトリクス選択信号を出力する光源種別判定回路４９とを備えている。
【００４６】
ＲＧＢ補間演算部４４は、撮像素子が３板色の撮像素子であれば不要であるが、本実施の形態で使用する第１のＣＣＤ１８は単板式の固体撮像素子であり、各画素からは、Ｒ、Ｇ、Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ、Ｂの色信号がどの程度になるかを、周りの画素のＧ、Ｂ信号から補間演算により求めるものである。
【００４７】
光源種別判定回路４９は、撮像した一画面を例えば８×８＝６４の領域に分割し、各分割領域における信号電荷のΣＲ、ΣＧ、ΣＢの値を積算値から求め、ΣＲ／ΣＧのデータとΣＢ／ΣＧのデータの組を求め、これら６４組のデータをＲ／Ｇ軸とＢ／Ｇ軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する。色差マトリクス回路４８には、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路４９が求めた光源種別に応じて使用する色差マトリクスを切り替え、この切り替え後の色差マトリクス（Ｃ−ＭＴＸ）を、入力してくる色差信号Ｃｒ、Ｃｂに乗算し、色調補正された色差信号Ｃｒ’、Ｃｂ’を出力する。
【００４８】
以上のように、デジタル信号処理回路２５は、点順次に取り込んだＲ、Ｇ、Ｂの画像信号に所定の信号処理を施して、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。
【００４９】
圧縮伸張処理回路２６は、ＣＰＵ１１からの圧縮指令に従い、入力された輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。
【００５０】
表示回路２７は、ＣＰＵ１１からの指令に従い、ＬＣＤモニタ２８への表示を制御する。
【００５１】
メディアコントローラ３４は、ＣＰＵ１１からの指令に従い、記録メディア３５に対してデータの読み／書きを制御する。なお、記録メディア３５は、メモリカードのようにカメラ本体に対して着脱自在なものでもよいし、また、カメラ本体に内蔵されたものでもよい。着脱自在とする場合は、カメラ本体にカードスロットを設け、このカードスロットに装填して使用する。
【００５２】
次に、図５を用いてデジタルカメラ１０の広ダイナミックレンジ撮影について説明する。図５は、デジタルカメラ１０の広ダイナミックレンジ撮影モードの動作を示すフローチャートである。
【００５３】
デジタルカメラ１０が広ダイナミックレンジ撮影モードに設定され、レリーズボタンが
全押しされると、第１のＣＣＤ１８及び第２のＣＣＤ２１に同時に露光が行われる（ステップＳ１、Ｓ２）。露光が終了後、第１のＣＣＤ１８及び第２のＣＣＤ２１のデータの取り込みを行う（ステップＳ３、Ｓ４）。第１のＣＣＤ１８のデータについては、第１のアナログ信号処理部１９で所定の処理が施された後、第１のＡ／Ｄ変換器２０において、デジタルの画像信号に変換される。また、第２のＣＣＤ２１のデータについては、第２のアナログ信号処理部２２で所定の処理が施された後、第２のＡ／Ｄ変換器２３において、デジタルの画像信号に変換される。これらの画像信号を画像入力コントローラ２４がメモリ３３に格納する。
【００５４】
次に、第１のＣＣＤ１８で撮像した画像データ、即ち第１のＡ／Ｄ変換器２０の出力信号について、デジタル信号処理回路２５において信号処理を行う（ステップＳ５〜Ｓ７）。デジタル信号処理回路２５には、メモリ３３から第１のＡ／Ｄ変換器２０の出力データの他、ＡＥ検出回路３０において算出された積算値データが入力される。これらのデータについて、ガンマ補正回路４３において、図７（ａ）に示すガンマカーブを用いてガンマ変換を行い（ステップＳ５）、ＲＧＢ補間演算部４４において補間演算をして各画素位置におけるＲＧＢ３色の信号を算出する（ステップＳ６）。さらに、ＲＧＢ／ＹＣ変換回路４５において、このＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂとを算出し、ノイズフィルタ４６において、輝度信号Ｙと色差信号Ｃｒ、Ｃｂからノイズを低減する。輪郭補正回路４７は、ノイズ低減後の輝度信号Ｙ１に対して輪郭補正を行い、色差マトリクス回路４８は、ノイズ低減後の色差信号Ｃｒ、Ｃｂに対して色差マトリクス（Ｃ−ＭＴＸ）を乗算して色調補正を行う。
【００５５】
以上のように、第１のＡ／Ｄ変換器２０の出力信号から、輝度信号Ｙ１と色差信号Ｃｒ１、Ｃｂ１を生成する。図６（ａ）は、第１のＣＣＤ１８の各画素の輝度信号Ｙ１、及び色差信号Ｃｒ１、Ｃｂ１をイメージした図である。
【００５６】
次に、第２のＣＣＤ２１で撮像した画像データ、即ち第２のＡ／Ｄ変換器２３の出力信号について、デジタル信号処理を行う。第２のＡ／Ｄ変換器２３の出力信号については、ガンマ補正回路４３において図７（ｂ）に示すガンマカーブを用いてガンマ変換（ステップＳ８）した値が、そのまま輝度信号Ｙ２となる。図６（ｂ）は、第２のＣＣＤ２１の各画素の輝度信号Ｙ２をイメージした図である。
【００５７】
なお、図７（ａ）、図７（ｂ）に示すように、ガンマ補正回路４３で施されるガンマ変換処理において、第１のＣＣＤ１８についての処理と第２のＣＣＤ２１についての処理では、使用するガンマカーブが異なっている。
【００５８】
次に、輝度信号Ｙ１とＹ２を所定の混合比で混合して、輝度信号Ｙ３を生成する（ステップＳ９）。この混合比率は、ユーザ操作により調整可能となっており、輝度信号Ｙ２の混合比率を上げるほど、よりダイナミックレンジの広い画像を得ることができる。また、メリハリのついた画像を求めるときには、輝度信号Ｙ１の混合比率を上げればよい。なお、予め設定されている混合比率に応じて撮影感度及びガンマカーブを変更してもよい。
【００５９】
次に、生成した輝度信号Ｙ３に応じて色差信号を算出する（ステップＳ１０）。色差信号Ｃｂ２、Ｃｒ２は、下記の式に従って生成する。
【００６０】
[数１]
Ｃｂ２＝Ｂ−Ｙ３
[数２]
Ｃｒ２＝Ｒ−Ｙ３
ここで、Ｂ及びＲは、メモリ３３に蓄積されている、第１のＡ／Ｄ変換器２０の出力値であるＢ、Ｒ各色の画像信号である。
【００６１】
なお、色差信号Ｃｂ２、Ｃｒ２は、生成した輝度信号Ｙ３に応じて色差信号Ｃｂ１、Ｃｒ１を補正することにより算出してもよい。図８は、輝度信号Ｙ１、Ｙ２、色差信号Ｃｒ１、Ｃｂ１から輝度信号Ｙ３、色差信号Ｃｒ２、Ｃｂ２を生成する様子を示した図である。
【００６２】
このように算出したＣｂ２、Ｃｒ２、Ｙ３信号に基づいて、画像を生成する（ステップＳ１１）。
【００６３】
以上のように、２つのＣＣＤを備え、一方のＣＣＤについてはカラーフィルタを外して低感度での撮影をすることで、広ダイナミックレンジの輝度データを取得する。さらに、この輝度データを通常のカラーフィルタを備えたＣＣＤのＲＡＷデータと組み合わせて信号処理することで、白飛び、黒つぶれのない、広ダイナミックレンジで高画質な撮影を行うことができる。また、色差データについては、輝度信号の変化に応じて調整することで、高画質な出力結果を得ることができる。さらに、２つのＣＣＤ面に対して共通の光学系を用いることで、少ない部品点数、小型が可能になる。
【００６４】
本実施の形態においては、分光器１７において被写体光を２等分割し、第１のＣＣＤ１８と第２のＣＣＤ２１に同じ光量を受光させ、第１のＣＣＤ１８の素子感度を第２のＣＣＤ２１の素子感度より高く構成したが、第１のＣＣＤ１８と第２のＣＣＤ２１とを同じ素子感度とし、分光器１７において第１のＣＣＤ１８の光量を多くしてもよい。例えば、第１のＣＣＤ１８と第２のＣＣＤ２１の感度の比を２：１で同光量を受光させる代わりに、同じ感度に構成して受光量が２：１になるように分光器１７を構成してもよい。また、分光器１７において被写体光を２等分割し、第２のＣＣＤ２１の光路に光量を減光するためのＮＤフィルタを挿入してもよい。
【図面の簡単な説明】
【００６５】
【図１】図１は、本発明が適用されたデジタルカメラ１０の電気的構成を示すブロック図である。
【図２】図２は、第１のＣＣＤ１８及び第２のＣＣＤ２１の素子の配列とカラーフィルタ３６を示す図である。
【図３】図３は、第１のＣＣＤ１８と第２のＣＣＤ２１の入力光量と出力値の関係を示す図である。
【図４】図４は、デジタル信号処理回路２５の内部構成を示す図である。
【図５】図５は、デジタルカメラ１０の広ダイナミックレンジ撮影モードの動作を示すフローチャートである。
【図６】図６は、第１のＣＣＤ１８及び第２のＣＣＤ２１の各画素の輝度信号、色差信号をイメージした図である。
【図７】図７は、ガンマ補正回路４３で用いるガンマカーブを示す図である。
【図８】図８は、輝度信号Ｙ１、Ｙ２、色差信号Ｃｒ１、Ｃｂ１から輝度信号Ｙ３、色差信号Ｃｒ２、Ｃｂ２を生成する様子を示した図である。
【符号の説明】
【００６６】
１０…デジタルカメラ、１１…ＣＰＵ、１７…分光器、１８…第１のＣＣＤ、１９…第１のアナログ信号処理回路、２０…第１のＡ／Ｄ変換器、２１…第２のＣＣＤ、２２…第２のアナログ信号処理回路、２３…第２のＡ／Ｄ変換器、２４…画像入力コントローラ、２５…デジタル信号処理回路、３０…ＡＥ検出回路、３１…ＡＦ検出回路、４２…ゲイン補正回路、４３…ガンマ補正回路、４４…ＲＧＢ補間回路、４５…ＲＧＢ／ＹＣ変換回路
【図１】
2009164723.tif 000003
【図２】
2009164723.tif 000004
【図３】
2009164723.tif 000005
【図４】
2009164723.tif 000006
【図５】
2009164723.tif 000007
【図６】
2009164723.tif 000008
【図７】
2009164723.tif 000009
【図８】
2009164723.tif 000010