(57)【要約】【課題】解像度を実質的に低下させることなくダイナミックレンジを拡大させることができる撮像装置を提供する。【解決手段】ハニカム配列で高感度画素と低感度画素を有する固体撮像素子を利用する撮像装置である。ステップＳ２０１で、ＲＡＷ画像データに対する補正処理後、ステップＳ２０２では、高感度画像データと低感度画像データの合成処理を行う。ステップＳ２０３での同時化処理、ステップＳ２０４でのＹ／Ｃ変換処理後、ステップＳ２０５で輝度データと色差データの拡大処理を行う。ステップＳ２０６では、高感度画像データと低感度画像データを利用して高解像度輝度データを生成する。ステップＳ２０７では、高解像輝度データと拡大処理をした輝度データとを混合し、混合輝度データと拡大処理をした色差データをカラー画像データとして出力する。【選択図】図１
2004336468.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカラー画像データを出力する撮像装置であって、
固体撮像素子と、
前記固体撮像素子からの撮像信号に対する画像処理を行う画像処理部と備え、前記固体撮像素子は、行方向とこれに直交する列方向にＮ行Ｍ列の正方格子状に配列され、相対的に高感度の光電変換を行う（Ｍ×Ｎ）個の高感度光電変換素子と、行方向とこれに直交する列方向にＮ行Ｍ列の正方格子状に配列され、相対的に低感度の光電変換を行う（Ｍ×Ｎ）個の低感度光電変換素子とを含み、
前記高感度光電変換素子と前記低感度光電変換素子は、複数種類の分光感度特性を有するものからなるとともに、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されており、
前記画像処理部は、
前記高感度光電変換素子からの撮像信号に基づく（Ｍ×Ｎ）個の高感度画像データと前記低感度光電変換素子からの撮像信号に基づく（Ｍ×Ｎ）個の低感度画像データとを合成し、（Ｍ×Ｎ）個の合成輝度データ及び合成色差データを生成する合成画像データ生成部と、
前記（Ｍ×Ｎ）個の合成輝度データ及び合成色差データを拡大して、２Ｎ行２Ｍ列の４（Ｍ×Ｎ）個の拡大合成輝度データ及び拡大合成色差データを生成する拡大データ生成部と、
前記（Ｍ×Ｎ）個の高感度画像データと前記（Ｍ×Ｎ）個の低感度画像データに基づいて、２Ｎ行２Ｍ列の４（Ｍ×Ｎ）個の高解像度輝度データを生成する高解像度輝度データ生成部と、
前記４（Ｍ×Ｎ）個の高解像度輝度データと前記４（Ｍ×Ｎ）個の拡大合成輝度データを混合して４（Ｍ×Ｎ）個の混合輝度データを生成する混合輝度データ生成部とを含み、
前記混合輝度データと前記拡大合成色差データに基づくデジタルカラー画像データを生成するものである、
撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記画像処理部は、さらに、前記４（Ｍ×Ｎ）個の混合輝度データと前記４（Ｍ×Ｎ）個の拡大合成色差データに基づく画像の縮小処理を行い、所望の画素数のカラー画像データを生成するリサイズ処理部を含む撮像装置。
【請求項３】
請求項１又は２記載の撮像装置であって、
前記正方格子状の高感度光電変換素子及び前記正方格子状の低感度光電変換素子は、ともに、赤と緑の分光感度特性を有する光電変換素子が交互に配列された行と青と緑の分光感度特性を有する光電変換素子が交互に配列された行とが、交互に配列されているものである撮像装置。
【請求項４】
請求項３記載の撮像装置であって、
前記合成画像データ生成部が行う処理は、同一の分光感度特性を有する前記高感度光電変換素子及び前記低感度光電変換素子であって、斜め方向に隣接する光電変換素子からの撮像信号に基づく画像データを合成する処理を含むものである撮像装置。
【請求項５】
請求項１ないし４のいずれか１項記載の撮像装置であって、
前記高解像度輝度データ生成部は、前記低感度画像データに対して、前記高感度光電変換素子の光電変換感度と前記低感度光電変換素子の光電変換感度との比を乗算する感度調整処理を行うものである撮像装置。
【請求項６】
請求項１ないし５のいずれか１項記載の撮像装置であって、
前記混合輝度データ生成部は、混合輝度データの高周波成分が前記高解像度輝度データの混合比率が高くなる演算を行うものである撮像装置。
【請求項７】
固体撮像素子からの撮像信号に対する画像処理を行う画像処理方法であって、
前記固体撮像素子は、行方向とこれに直交する列方向にＮ行Ｍ列の正方格子状に配列され、相対的に高感度の光電変換を行う（Ｍ×Ｎ）個の高感度光電変換素子と、行方向とこれに直交する列方向にＮ行Ｍ列の正方格子状に配列され、相対的に低感度の光電変換を行う（Ｍ×Ｎ）個の低感度光電変換素子とを含み、前記高感度光電変換素子と前記低感度光電変換素子は、複数種類の分光感度特性を有するものからなるとともに、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されているものであり、
前記高感度光電変換素子からの撮像信号に基づく（Ｍ×Ｎ）個の高感度画像データと前記低感度光電変換素子からの撮像信号に基づく（Ｍ×Ｎ）個の低感度画像データとを合成し、（Ｍ×Ｎ）個の合成輝度データ及び合成色差データを生成する合成画像データ生成ステップと、
前記（Ｍ×Ｎ）個の合成輝度データ及び合成色差データを拡大して、２Ｎ行２Ｍ列の４（Ｍ×Ｎ）個の拡大合成輝度データ及び拡大合成色差データを生成する拡大データ生成ステップと、
前記（Ｍ×Ｎ）個の高感度画像データと前記（Ｍ×Ｎ）個の低感度画像データに基づいて、２Ｎ行２Ｍ列の４（Ｍ×Ｎ）個の高解像度輝度データを生成する高解像度輝度データ生成ステップと、
前記４（Ｍ×Ｎ）個の高解像度輝度データと前記４（Ｍ×Ｎ）個の拡大合成輝度データを混合して４（Ｍ×Ｎ）個の混合輝度データを生成する混合輝度データ生成ステップとを含む画像処理方法。
【請求項８】
請求項７記載の画像処理方法であって、
さらに、前記４（Ｍ×Ｎ）個の混合輝度データと前記４（Ｍ×Ｎ）個の拡大合成色差データに基づく画像の縮小処理を行うリサイズ処理ステップを含む画像処理方法。
【請求項９】
請求項７又は８記載の画像処理方法であって、
前記高解像度輝度データ生成ステップは、前記低感度画像データに対して、前記高感度光電変換素子の光電変換感度と前記低感度光電変換素子の光電変換感度との比を乗算する感度調整処理を含む画像処理方法。
【請求項１０】
請求項７ないし９のいずれか１項記載の画像処理方法であって、
前記混合輝度データ生成ステップは、混合輝度データの高周波成分が前記高解像度輝度データの混合比率が高くなる演算を行うものである画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカラー画像データを出力する撮像装置及び画像処理方法に関し、特に、相対的に高感度の光電変換素子と相対的に低感度の光電変換素子を有する固体撮像素子を利用する撮像装置及び画像処理方法に関する。
【０００２】
【従来の技術】
デジタルカメラに利用される固体撮像素子は、光電変換素子（以下、「画素」と記述する場合もある。）によって画像信号に対応する電荷を検出するため、一般にダイナミックレンジを広げるのが困難である。そこで、広ダイナミックレンジの画像を得るため、相対的に高感度の光電変換素子（以下、「高感度画素」と記述する場合もある。）と、相対的に低感度の光電変換素子（以下、「低感度画素」と記述する場合もある。）を有する固体撮像素子を利用することが提案されている。
【０００３】
特許文献１には、いわゆるハニカム構造の固体撮像素子を利用する撮像装置が記載されている。特許文献１の固体撮像素子は、それぞれ正方格子状に配列された相対的に高感度の光電変換素子と相対的に低感度の光電変換素子を有しており、それらは互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されている。また、各光電変換素子に対応して所定の配列パターンの色分解フィルタが配設され、それぞれ対応する分光感度の撮像信号を出力する。そして、相対的に高感度の光電変換素子からの撮像信号と相対的に低感度の光電変換素子からの撮像信号を合成することによって、ダイナミックレンジを拡大した撮像信号を得るものである。
【０００４】
【特許文献１】
特開２０００−１２５２０９号公報
【０００５】
【発明が解決しようとする課題】
しかし、特許文献１に記載された撮像装置でダイナミックレンジを拡大させた画像を得ようとすると、解像度が１／２になってしまう。
【０００６】
本発明は、上記事情に鑑みなされたもので、解像度を実質的に低下させることなくダイナミックレンジを拡大させることができる撮像装置、及び画像処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の撮像装置は、デジタルカラー画像データを出力する撮像装置であって、固体撮像素子と、前記固体撮像素子からの撮像信号に対する画像処理を行う画像処理部と備え、前記固体撮像素子は、行方向とこれに直交する列方向にＮ行Ｍ列の正方格子状に配列され、相対的に高感度の光電変換を行う（Ｍ×Ｎ）個の高感度光電変換素子と、行方向とこれに直交する列方向にＮ行Ｍ列の正方格子状に配列され、相対的に低感度の光電変換を行う（Ｍ×Ｎ）個の低感度光電変換素子とを含み、前記高感度光電変換素子と前記低感度光電変換素子は、複数種類の分光感度特性を有するものからなるとともに、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されており、前記画像処理部は、前記高感度光電変換素子からの撮像信号に基づく（Ｍ×Ｎ）個の高感度画像データと前記低感度光電変換素子からの撮像信号に基づく（Ｍ×Ｎ）個の低感度画像データとを合成し、（Ｍ×Ｎ）個の合成輝度データ及び合成色差データを生成する合成画像データ生成部と、前記（Ｍ×Ｎ）個の合成輝度データ及び合成色差データを拡大して、２Ｎ行２Ｍ列の４（Ｍ×Ｎ）個の拡大合成輝度データ及び拡大合成色差データを生成する拡大データ生成部と、前記（Ｍ×Ｎ）個の高感度画像データと前記（Ｍ×Ｎ）個の低感度画像データに基づいて、２Ｎ行２Ｍ列の４（Ｍ×Ｎ）個の高解像度輝度データを生成する高解像度輝度データ生成部と、前記４（Ｍ×Ｎ）個の高解像度輝度データと前記４（Ｍ×Ｎ）個の拡大合成輝度データを混合して４（Ｍ×Ｎ）個の混合輝度データを生成する混合輝度データ生成部とを含み、前記混合輝度データと前記拡大合成色差データに基づくデジタルカラー画像データを生成するものである。
【０００８】
このような撮像装置によれば、４（Ｍ×Ｎ）個の混合輝度データと４（Ｍ×Ｎ）個の拡大合成色差データとに基づく画像は、広いダイナミックレンジを有するとともに、２（Ｍ×Ｎ）個の光電変換素子に見合った解像度を有しているので、解像度を実質的に低下させることなくダイナミックレンジを拡大させることができる。
【０００９】
本発明の撮像装置は、前記画像処理部が、さらに、前記４（Ｍ×Ｎ）個の混合輝度データと前記４（Ｍ×Ｎ）個の拡大合成色差データに基づく画像の縮小処理を行い、所望の画素数のカラー画像データを生成するリサイズ処理部を含むものを含む。
【００１０】
本発明の撮像装置は、前記正方格子状の高感度光電変換素子及び前記正方格子状の低感度光電変換素子が、ともに、赤と緑の分光感度特性を有する光電変換素子が交互に配列された行と青と緑の分光感度特性を有する光電変換素子が交互に配列された行とが、交互に配列されているものであるものを含む。
【００１１】
本発明の撮像装置は、前記合成画像データ生成部が行う処理が、同一の分光感度特性を有する前記高感度光電変換素子及び前記低感度光電変換素子であって、斜め方向に隣接する光電変換素子からの撮像信号に基づく画像データを合成する処理を含むものを含む。
【００１２】
本発明の撮像装置は、前記高解像度輝度データ生成部が、前記低感度画像データに対して、前記高感度光電変換素子の光電変換感度と前記低感度光電変換素子の光電変換感度との比を乗算する感度調整処理を行うものであるものを含む。
【００１３】
本発明の撮像装置は、前記混合輝度データ生成部が、混合輝度データの高周波成分が前記高解像度輝度データの混合比率が高くなる演算を行うものであるものを含む。このような演算を行うと、混合輝度データの高周波成分が、高解像度輝度データの比率が高くなった輝度データとなるので、混合輝度データは、高解像度で、かつ低周波成分の色バランスがよい輝度データとなる。
【００１４】
本発明の画像処理方法は、固体撮像素子からの撮像信号に対する画像処理を行う画像処理方法であって、前記固体撮像素子は、行方向とこれに直交する列方向にＮ行Ｍ列の正方格子状に配列され、相対的に高感度の光電変換を行う（Ｍ×Ｎ）個の高感度光電変換素子と、行方向とこれに直交する列方向にＮ行Ｍ列の正方格子状に配列され、相対的に低感度の光電変換を行う（Ｍ×Ｎ）個の低感度光電変換素子とを含み、前記高感度光電変換素子と前記低感度光電変換素子は、複数種類の分光感度特性を有するものからなるとともに、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されているものであり、前記高感度光電変換素子からの撮像信号に基づく（Ｍ×Ｎ）個の高感度画像データと前記低感度光電変換素子からの撮像信号に基づく（Ｍ×Ｎ）個の低感度画像データとを合成し、（Ｍ×Ｎ）個の合成輝度データ及び合成色差データを生成する合成画像データ生成ステップと、前記（Ｍ×Ｎ）個の合成輝度データ及び合成色差データを拡大して、２Ｎ行２Ｍ列の４（Ｍ×Ｎ）個の拡大合成輝度データ及び拡大合成色差データを生成する拡大データ生成ステップと、前記（Ｍ×Ｎ）個の高感度画像データと前記（Ｍ×Ｎ）個の低感度画像データに基づいて、２Ｎ行２Ｍ列の４（Ｍ×Ｎ）個の高解像度輝度データを生成する高解像度輝度データ生成ステップと、前記４（Ｍ×Ｎ）個の高解像度輝度データと前記４（Ｍ×Ｎ）個の拡大合成輝度データを混合して４（Ｍ×Ｎ）個の混合輝度データを生成する混合輝度データ生成ステップとを含むものである。
【００１５】
本発明の画像処理方法は、さらに、前記４（Ｍ×Ｎ）個の混合輝度データと前記４（Ｍ×Ｎ）個の拡大合成色差データに基づく画像の縮小処理を行うリサイズ処理ステップを含むものである。
【００１６】
本発明の画像処理方法は、前記高解像度輝度データ生成ステップが、前記低感度画像データに対して、前記高感度光電変換素子の光電変換感度と前記低感度光電変換素子の光電変換感度との比を乗算する感度調整処理を含むものを含む。
【００１７】
本発明の画像処理方法は、前記混合輝度データ生成ステップが、混合輝度データの高周波成分が前記高解像度輝度データの混合比率が高くなる演算を行うものを含む。
【００１８】
【発明の実施の形態】
本発明の実施の形態について図面を用いて説明する。図５は、本発明の実施の形態のデジタルカメラの概略構成を示す図である。図５のデジタルカメラは、撮像部１、アナログ信号処理部２、Ａ／Ｄ変換部３、駆動部４、ストロボ５、デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、メディアインタフェース１１、記録メディア１２、操作部１３を含んで構成される。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、及びメディアインタフェース１１は、システムバス２０に接続されている。
【００１９】
撮像部１は、撮影レンズ１ａ等の光学系及び固体撮像素子１ｂを含み、被写体の撮影を行うものであって、アナログの撮像信号を出力する。撮像部１で得られた撮像信号は、アナログ信号処理部２に送られ、所定のアナログ信号処理が施され、Ａ／Ｄ変換部３でデジタル信号に変換された後、いわゆるＲＡＷ画像データとしてデジタル信号処理部６に送られる。ＲＡＷ画像データは、撮像部１からの撮像信号の形式のままデジタル化したデジタル画像データである。
【００２０】
撮影に際しては、駆動部４を介して撮像部１が制御される。ＣＣＤイメージセンサ等の固体撮像素子１ｂは、半導体基板表面に行方向とこれに直交する列方向に配設された複数の光電変換素子（例えばフォトダイオード）を有し、入射光に対応して発生し、蓄積された信号電荷に基づいたアナログ電圧信号を出力するものである。固体撮像素子１ｂは、操作部１３の一部であるレリーズボタン（図示せず）の操作によるレリーズスイッチ（図示せず）オンを契機として、所定のタイミングで、駆動部４に含まれるタイミングジェネレータ（図５ではＴＧと記載）からの駆動信号によって駆動される。駆動部４は、システム制御部９の制御に基づいて所定の駆動信号を出力するものであり、アナログ信号処理部２及びＡ／Ｄ変換部３に対する駆動信号も出力する。固体撮像素子１ｂの詳細については、後述する。
【００２１】
ストロボ５は、被写体の輝度が所定値以下の場合等に動作するものであり、システム制御部９によって制御される。
【００２２】
デジタル信号処理部６は、Ａ／Ｄ変換部３からのデジタル画像データに対して、操作部１３によって設定された動作モードに応じたデジタル信号処理を行うものである。デジタル信号処理部６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理（撮像部からの原色信号に対して、撮像素子の光電変換特性に起因する混食成分を除去する補正を行う処理。ＲＢＧ入力に対する３×３のマトリクス演算による。）、ホワイトバランス調整処理（ゲイン調整）、ガンマ補正処理、画像合成処理、同時化処理、Ｙ／Ｃ変換処理等が含まれる。デジタル信号処理部６の画像合成処理については、後述する。
【００２３】
デジタル信号処理部６は、例えばＤＳＰで構成される。圧縮／伸張処理部７は、デジタル信号処理部６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施すものである。
【００２４】
表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影され、デジタル信号処理を経た画像データに基づく画像を表示する。記録メディアに記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【００２５】
内部メモリ１０は、例えばＤＲＡＭであり、デジタル信号処理部６、システム制御部９のワークメモリとして利用される他、記録メディアに１２に記録される撮影画像データを一時的に記憶するバッファメモリ、表示部８への表示画像データのバッファメモリとしても利用される。メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。
【００２６】
システム制御部９は、撮影動作を含むデジタルカメラ全体の制御を行う。システム制御部９は、具体的には所定のプログラムによって動作するプロセッサを主体に構成される。
【００２７】
操作部１３は、デジタルカメラ使用時の各種操作を行うもので、デジタルカメラの動作モード（撮影モード、再生モード等）、撮影時の撮影方法、撮影条件、設定等を行う。操作部１３は、それぞれの機能に対応する操作部材を設けてもよいが、表示部８の表示と連動して操作部材を共用してもよい。また、操作部１３には、撮影動作を起動するためのレリーズボタンも含まれる。
【００２８】
次に、固体撮像素子１ｂについてさらに詳細に説明する。図６は、固体撮像素子１ｂの一例の概略構成を示す図である。図６の固体撮像素子は、いわゆるハニカム構造の固体撮像素子であって、相対的に高感度の光電変換を行う複数の高感度光電変換素子（高感度画素）７０と、相対的に低感度の光電変換を行う複数の低感度光電変換素子（低感度画素）８０とを含んでおり、複数の高感度光電変換素子７０及び複数の低感度光電変換素子８０は、それぞれ行方向（Ｘ方向）とこれに直交する列方向（Ｙ方向）に正方格子状に配列されている。複数の高感度光電変換素子７０及び複数の低感度光電変換素子８０で発生した信号電荷は、複数の垂直転送部３０、水平転送部４０を経て、出力部５０に信号電荷を転送し、出力部５０から信号電荷に対応する電圧信号５１を出力するものである。なお、図６では、高感度光電変換素子７０、低感度光電変換素子８０、及び垂直転送部３０について一部にのみ符号を付してある。
【００２９】
高感度光電変換素子７０及び低感度光電変換素子８０からの電圧信号５１である高感度撮像信号及び低感度撮像信号は、ともにアナログ信号処理部２、Ａ／Ｄ変換部３を経てデジタル画像データに変換され、デジタル信号処理部６に送られる。
【００３０】
高感度光電変換素子７０の配列ピッチと低感度光電変換素子８０の配列ピッチは、同じであり、低感度光電変換素子７０と高感度光電変換素子８０は、互いに配列ピッチの１／２だけ行方向（Ｘ方向）及び列方向（Ｙ方向）にずれた位置に配列されている。高感度光電変換素子７０及び低感度光電変換素子８０を構成するフォトダイオード等の光電変換素子の感度を変化させるには、光電変換素子の受光面の面積を変化させてもよいし、光電変換素子上方に設けたマイクロレンズによって、集光面積を変化させてもよい。これらの感度を変化させる方法は、いずれも周知であるので説明を省略する。
【００３１】
また、図６の固体撮像素子は、カラー画像信号を検出するために、高感度光電変換素子７０及び低感度光電変換素子８０の上方にカラーフィルタ（図示せず）を有し、カラーフィルタの色に応じた異なる分光感度特性を有する。カラーフィルタの配列は、高感度光電変換素子７０上方の配列と低感度光電変換素子８０上方の配列とで同一である。図６では、カラーフィルタがベイヤー配列となっており、対応する光電変換素子（図６では、各素子を色毎に異なる模様で示してある。）は、それぞれ、赤色光、緑色光、青色光に対応する電荷を検出する高感度光電変換素子７０によって検出される赤色光、緑色光、青色光に対応する信号をＲ信号、Ｇ信号、Ｂ信号（あるいは単に、Ｒ、Ｇ、Ｂ）、高感度光電変換素子８０によって検出される赤色光、緑色光、青色光に対応する信号をｒ信号、ｇ信号、ｂ信号（あるいは単に、ｒ、ｇ、ｂ）と、記述する場合もある。
【００３２】
垂直転送部３０は、高感度光電変換素子７０及び低感度光電変換素子８０からの電荷を列方向Ｙに転送するもので、半導体基板上に形成された複数本の垂直転送チャネル（図示せず）、垂直転送チャネルの各々を平面視上交差するように形成された複数本の垂直転送電極１０１〜１０４、高感度光電変換素子７０及び低感度光電変換素子８０の電荷を垂直転送チャネルに読み出す電荷読み出し領域（図６では、模式的に矢印で示してある。）を含む。
【００３３】
垂直転送チャネルは、高感度光電変換素子７０及び低感度光電変換素子８０の間を全体として列方向（Ｙ方向）に延在する蛇行形状を呈するものであり、その上方に形成された垂直転送電極１０１〜１０４によって、電荷が蓄積、転送される領域が区分される。垂直転送電極１０１〜１０４は、高感度光電変換素子７０及び低感度光電変換素子８０それぞれに対応して４つ設けられ（図では、１行分の高感度画素に対応するもののみに符合を付してある。）、高感度光電変換素子７０及び低感度光電変換素子８０の間を全体として行方向（Ｘ方向）に延在する蛇行形状を呈するものである。図６では、電荷が蓄積、転送される領域区分の形状を接続して記載してあるが、実際には、ほぼ同一の幅の導電体で形成される。
【００３４】
垂直転送電極１０１〜１０４には、端子１１１〜１１４を介して４相の垂直転送パルスが印加され、垂直転送チャネルの電荷が列方向Ｙに転送される。垂直転送パルスは、垂直転送部３０と水平転送部４０の間の転送電極１０５、１０６にも印加され、垂直転送パルスの１周期毎に、１行分の高感度光電変換素子７０及び低感度光電変換素子８０で検出された電荷が、水平転送部４０に送られる。高感度光電変換素子７０及び低感度光電変換素子８０から垂直転送チャネルへの読出しは、垂直電荷転送開始直後の第１相パルス（端子１１１に印加される垂直転送パルス）、及び第３相パルス（端子１１３に印加される垂直転送パルス）に読出しパルスを重畳させることによって行う。
【００３５】
なお、図６では記載していないが、垂直転送チャネルの間には、チャネルストップが形成される。また、図６では、垂直転送電極１０１〜１０４を高感度光電変換素子７０及び低感度光電変換素子８０に比べて大きく示しているが、実際には、もっと小さい。
【００３６】
水平転送部４０は、垂直転送部３０からの電荷を、行方向（Ｘ方向）に転送するものであり、水平転送チャネル及び水平転送電極（いずれも図示せず）を含む。水平転送電極には、端子１２１、１２２を介して２相の水平転送パルスが印加され、垂直転送部３０から転送された、１行分の、高感度光電変換素子７０と１行分の低感度光電変換素子８０の信号電荷が、出力部５０に転送される。
【００３７】
撮影時、被写界からの入射光の強度に応じて高感度光電変換素子７０及び低感度光電変換素子８０に蓄積された電荷は、第１相及び第３相の垂直転送パルスに重畳される読み出しパルスによって、垂直転送チャネルに読み出される。そして、垂直転送パルスに応じて垂直転送チャネル内を転送され、水平転送チャネルの所定の領域に保持される。次いで、水平転送パルスが印加されると、保持された電荷は、順次出力部５０に送られ、電荷量に対応する電圧信号５１が出力される。以上のように、図６に示す固体撮像素子の水平転送部からは、高感度画素信号と低感度画素信号が交互に出力される。例えば、図６の初段の水平転送においては、「ＧｇＲｒＧｇＲｒＧｇＲｒ・・・ＧｇＲｒ」の順に出力され、次段の水平転送においては、「ＢｂＧｇＢｂＧｇＢｂＧｇ・・・ＢｂＧｇ」の順に出力される。
【００３８】
以上、固体撮像素子としてＣＣＤ型固体撮像素子について説明したが、固体撮像素子１ｂとしては、ＭＯＳ型固体撮像素子を利用してもよい。また、各光電変換素子上方に配設するカラーフィルタとして原色フィルタを用い、ベイヤー配列としたが、配列方法はベイヤー配列に限らない。カラーフィルタも原色に限らず、シアン、緑、黄色、マゼンタの補色フィルタを利用してもよい。
【００３９】
次に、デジタル信号処理部６の機能を、画像合成処理を中心に説明する。図１は、デジタル信号処理部６の概略動作フローの一例を示す図である。固体撮像素子１ｂが、図６に示すような配列で、（Ｍ×Ｎ）個の高感度光電変換素子７０と（Ｍ×Ｎ）個の低感度光電変換素子８０を含む場合、図３に示すような位置関係のＲＡＷ画像データが入力される（以降、ＲＡＷ画像データが存在する位置を「実画素位置」と記述する。）。２（Ｍ×Ｎ）個の画像データは、２Ｍ列、２Ｎ行の４（Ｍ×Ｎ）個の格子点の内の１／２の格子点に分布しているが、図３には一部（１２列、１２行の格子点）の画像データの配置のみを示してある。また、図３において、Ｒ、Ｇ、Ｂは、それぞれ赤色光、緑色光、青色光に対応する高感度画像データを示し、ｒ、ｇ、ｂは、それぞれ赤色光、緑色光、青色光に対応する低感度画像データ（網掛も付してある。）を示す。以降の説明において、ｘ列ｙ行の各格子点を、格子（ｘ，ｙ）と記述し、格子（ｘ，ｙ）における画像データを、例えばＧ（ｘ，ｙ）のように記述する。Ｇ（ｘ，ｙ）は、格子（ｘ，ｙ）における高感度緑データを示す。
【００４０】
ステップＳ２０１では、Ａ／Ｄ変換部３からのＲＡＷ画像データに対する補正処理を行う。ここでの補正処理には、ＯＢ処理、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理等が含まれる。
【００４１】
ステップＳ２０２では、補正処理が施された画像データを利用して合成処理を行う。ここでの合成処理は、同一の分光感度特性を有し、隣接する高感度画素と低感度画素の画像データを合成するものである。図３に示すように、固体撮像素子１ｂの高感度画素と右斜め上方に隣接する低感度画素とは、互いに同一の分光感度特性を有しているので、このような位置関係で隣接する高感度画素及び低感度画素の画像データを合成する。合成方法の一例を（１）式に示す。
【００４２】
Ｓｃ＝αＳＨ＋（１−α）ＳＬ      ・・・（１）
【００４３】
ここで、Ｓｃは合成画像データであって、赤合成データＲｃ、緑合成データＧｃ、青合成データＢｃのいずれかである。ＳＨ及びＳＬは、高感度画像データ及び低感度画像データであって、赤画像データＲ及びｒ、緑画像データＧ及びｇ、青画像データＢ及びｂのいずれかである。また、αは合成比率を決定する係数であり、０＜α＜１に設定される。望ましいα値は、撮影シーンに依存するが、０．５から０．８の範囲である。
【００４４】
ステップＳ２０２の処理を行うと、Ｍ列Ｎ行の格子位置に対応して（Ｍ×Ｎ）個の合成画素データが得られる。図４に、合成画像データＲｃ、Ｇｃ、Ｂｃの位置関係を示す。合成画像データＲｃ、Ｇｃ、Ｂｃは、それぞれ図３の２格子点の重心位置の画像データを示すので、図４は、図３における行及び列の番号に対応させて示してある。以降の説明では、（Ｍ×Ｎ）個の合成画素データをそれぞれの位置に対応させて記述する場合、便宜的に、図３の格子点（ｘ，ｙ）（ただし、ｘ及びｙは奇数である。）を使用する。例えば、図３に示す高感度画像データＧ（３，３）と低感度画像データｇ（４，４）を合成して得た合成画像データは、Ｇｃ（３，３）と記述する。
【００４５】
ステップＳ２０３では、合成画像データＲｃ、Ｇｃ、Ｂｃに基づく同時化処理を行い、図４の各格子点のＲＧＢデータを求める。次いで、ステップＳ２０４で、ＲＧＢデータを、輝度データＹ１と色差データＣｒ１、Ｃｂ１に変換するＹ／Ｃ変換処理を行う。同時化処理及びＹ／Ｃ変換処理は周知であるので説明を省略する。輝度データＹ１と色差データＣｒ１、Ｃｂ１についても、それぞれの位置に対応させて記述する場合、同様に、図３の格子点（ｘ，ｙ）（ただし、ｘ及びｙは奇数である。）を使用する。ステップＳ２０３及びステップＳ２０４で得られた（Ｍ×Ｎ）画素の画像データは、合成画像データＲｃ、Ｇｃ、Ｂｃに基づくものであるので、広いダイナミックレンジを持つ。
【００４６】
ステップＳ２０５では、ステップＳ２０４で得た画像データ（輝度データＹ１と色差データＣｒ１、Ｃｂ１）の拡大処理を行い、列方向（Ｘ方向）及び行方向（Ｙ方向）ともに２倍の画像データ（輝度データＹ４と色差データＣｒ４、Ｃｂ４）に変換する。拡大処理は、（２）式にしたがって行う。
【００４７】
Ｙ４（ｘ，ｙ）＝Ｙ１（ｘ，ｙ）
Ｙ４（ｘ＋１，ｙ）＝Ｙ１（ｘ，ｙ）
Ｙ４（ｘ，ｙ＋１）＝Ｙ１（ｘ，ｙ）
Ｙ４（ｘ＋１，ｙ＋１）＝Ｙ１（ｘ，ｙ）
Ｃｒ４（ｘ，ｙ）＝Ｃｒ１（ｘ，ｙ）
Ｃｒ４（ｘ＋１，ｙ）＝Ｃｒ１（ｘ，ｙ）
Ｃｒ４（ｘ，ｙ＋１）＝Ｃｒ１（ｘ，ｙ）
Ｃｒ４（ｘ＋１，ｙ＋１）＝Ｃｒ１（ｘ，ｙ）
Ｃｂ４（ｘ，ｙ）＝Ｃｂ１（ｘ，ｙ）
Ｃｂ４（ｘ＋１，ｙ）＝Ｃｂ１（ｘ，ｙ）
Ｃｂ４（ｘ，ｙ＋１）＝Ｃｂ１（ｘ，ｙ）
Ｃｂ４（ｘ＋１，ｙ＋１）＝Ｃｂ１（ｘ，ｙ）・・・（２）
【００４８】
なお、（２）式は、単純に同じ信号を４画素に置き換えるものであるが、（２）式の処理に換えて近接画素の加重平均によって拡大画像データを生成してもよい。
【００４９】
ステップＳ２０６では、図３に示す位置関係にある（Ｍ×Ｎ）個の高感度画像データＲ、Ｇ、Ｂと（Ｍ×Ｎ）個の低感度画像データを利用して高解像輝度データＹＨ４を生成する。図２に、高解像輝度データＹＨ４の生成処理の概略フローを示す。
【００５０】
ステップＳ６０１では、低感度画像データの感度調整処理を行う。この処理は、高感度画像データと低感度画像データのレベルを同じにするためのもので、リニアな値の低感度画像データに感度比（高感度画素の感度／低感度画素の感度）を乗算することによって、低感度画像データのレベルを調整する。この例では、ステップＳ２０１で低感度画像データに既にガンマ補正処理が施されているので、逆ガンマ変換を施してリニアな低感度画像データに変換してから感度調整を行う。そして、感度調整されたデータに対して再度ガンマ補正を施す。ステップＳ６０１の処理により、実画素位置について、レベルが統一された画像データが得られる。
【００５１】
なお、ステップＳ２０１ではガンマ補正を行わずに、ステップＳ２０２において合成データに対するガンマ補正を行うとともに、ステップＳ６０１での感度調整処理を行ったあとに高感度画像データ及び低感度画像データに対してガンマ補正を施してもよい。
【００５２】
ステップＳ６０２では、実画素位置の輝度データの生成処理を行う。輝度データの生成は、その実画素位置の画像データと周辺の画像データを利用して行う。周辺の画像データを利用した実画素位置の輝度データの生成処理は周知であるので説明を省略する。
【００５３】
ステップＳ６０３では、周辺の実画素位置の輝度データを利用して虚画素位置（図３において画像データが存在しない格子点位置）の輝度データを生成する。虚画素位置の輝度データの生成処理は、すべての虚画素位置について同一の処理を行ってもよいが、被写体の形状等の特徴に応じて処理内容を変更してもよい。処理内容を変更する場合、例えば（３）式〜（５）式によって虚画素位置での高解像度輝度データＹＨ４（ｘ，ｙ）を求める。
【００５４】
被写体画像がＸ方向相関を有する画像（例えば、虚画素近傍の形状がＸ方向に延びる境界や線状パターン）の場合、（３）式を利用する。
【００５５】
ＹＨ４（ｘ，ｙ）＝（ＹＨ４（ｘ−１，ｙ）＋ＹＨ４（ｘ＋１，ｙ））／２・・・（３）
【００５６】
被写体画像がＹ方向相関を有する画像（例えば、虚画素近傍の形状がＸ方向に延びる境界や線状パターン）の場合は、（４）式を利用する。
【００５７】
ＹＨ４（ｘ，ｙ）＝（ＹＨ４（ｘ，ｙ−１）＋ＹＨ４（ｘ，ｙ＋１））／２・・・（４）
【００５８】
また、被写体画像がＸ方向相関もＹ方向相関も有しない場合は、（５）式を利用する。
ＹＨ４（ｘ，ｙ）＝（ＹＨ４（ｘ−１，ｙ）＋ＹＨ４（ｘ＋１，ｙ）＋ＹＨ４（ｘ，ｙ−１）＋ＹＨ４（ｘ，ｙ＋１））／４・・・（５）
【００５９】
ただし、（３）式〜（５）式において、ＹＨ４（ｘ−１，ｙ）、ＹＨ４（ｘ＋１，ｙ）、ＹＨ４（ｘ，ｙ−１）、及びＹＨ４（ｘ，ｙ＋１）は、実画素の輝度データである。また、すべての虚画素位置について同一の処理を行う場合は、例えば（５）式を利用する。
【００６０】
図２に示すような処理を行って高解像度輝度データが得られると、ステップＳ２０７で、混合輝度データＹＭＩＸ４の生成処理を行う。混合輝度データの生成処理は、ステップＳ２０５で拡大処理を施した広ダイナミックレンジの輝度データＹ４と、ステップＳ０６で求めた高解像度の輝度データＹＨ４と混合する処理である。混合するに際して、混合輝度データＹＭＩＸ４の高周波成分は、高解像度の輝度データＹＨ４の比率を高めた演算で求め、混合輝度データＹＭＩＸ４の低周波成分は、広ダイナミックレンジの輝度データＹ４の比率を高めた演算で求める。
【００６１】
混合輝度データＹＭＩＸ４は、例えば（６）式の演算により求める。
【００６２】
ＹＭＩＸ４＝ＹＨ４＋ＬＰＦ（Ｙ４−ＹＨ４）    ・・・（６）
【００６３】
ただし、（６）式においてＬＰＦ（Ｙ４−ＹＨ４）は、（Ｙ４−ＹＨ４）の高周波成分をカットしたデータである。このような演算を行うことにより、混合輝度データＹＭＩＸ４の低周波成分は、ほぼ同一の比率で合成した輝度データとなり、混合輝度データＹＭＩＸ４の高周波成分は、高解像度の輝度データＹＨ４の比率が高くなった輝度データとなる。したがって、混合輝度データＹＭＩＸ４は、高解像度で、かつ低周波成分の色バランスがよい輝度データとなる。
【００６４】
ステップＳ２０８では、ステップＳ２０８で求めた混合輝度データＹＭＩＸ４とステップＳ２０５で求めた色差データＣｒ４、Ｃｂ４をリサイズする。リサイズは、画素数を１／２倍、すなわち、Ｓ２０４で得られる（Ｍ×Ｎ）画素の画像の２倍の画素数に縮小するものである。この画像は、２（Ｍ×Ｎ）画素の撮像データから求めた４（Ｍ×Ｎ）画素の輝度データを利用しているので、解像度が向上した画像となっている。なお、縮小画像の大きさは任意である。また、縮小処理を省略してもよい。
【００６５】
なお、図１のフローでは、ステップＳ２０２からステップＳ２０５で合成処理及び拡大処理を行った後に、ステップＳ２０６の高解像度輝度データ生成処理を行ったが、ステップＳ２０６の処理は、ステップＳ２０２からステップＳ２０５の処理の前に行っても途中で行ってもよい。また、デジタル信号処理部６の能力によっては、両処理を並行して行ってもよい。
【００６６】
また、図５に示すデジタルカメラでは、図１のフローに基づいて説明した各処理をＤＳＰを含むデジタル信号処理部６で実行するが、各処理の一部又は全部を異なるデジタル信号処理部あるいは専用のハードウェアで実行するようにしてもよい。
【００６７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、解像度を実質的に低下させることなくダイナミックレンジを拡大させることができる撮像装置、及び画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】デジタル信号処理部の概略動作フローの一例を示す図
【図２】高解像輝度データの生成処理の概略フローを示す図
【図３】デジタル信号処理部に入力される画像データの位置関係の一例を示す図
【図４】合成画像データの位置関係の一例を示す図
【図５】本発明の実施の形態のデジタルカメラの概略構成を示す図
【図６】固体撮像素子の一例の概略構成を示す図
【符号の説明】
１・・・撮像部
１ａ・・・撮影レンズ
１ｂ・・・固体撮像素子
２・・・アナログ信号処理部
３・・・Ａ／Ｄ変換部
４・・・駆動部
５・・・ストロボ
６・・・デジタル信号処理部
７・・・圧縮／伸張処理部
８・・・表示部
９・・・システム制御部
１０・・・内部メモリ
１１・・・メディアインタフェース
１２・・・記録メディア
１３・・・操作部
２０・・・システムバス
３０・・・垂直転送部
４０・・・水平転送部
５０・・・出力部
５１・・・電圧信号
７０・・・高感度光電変換素子
８０・・・低感度光電変換素子
１０１〜１０４・・・垂直転送電極
１０５、１０６・・・転送電極
１２１、１２２・・・水平転送パルス用端子
１１１〜１１４・・・垂直転送パルス用端子
【図１】
2004336468.tif 000003
【図２】
2004336468.tif 000004
【図３】
2004336468.tif 000005
【図４】
2004336468.tif 000006
【図５】
2004336468.tif 000007
【図６】
2004336468.tif 000008