(57)【要約】【課題】縦方向及び横方向の解像度を実質的に低下させることなくダイナミックレンジを拡大させることができる固体撮像素子を提供する。【解決手段】半導体基板表面に行方向とこれに直交する列方向に正方格子状に配設された複数の光電変換素子を含む。光電変換素子は、相対的に高感度の光電変換を行う複数の高感度光電変換素子Ｒ、Ｇ、Ｂと、相対的に低感度の光電変換を行う複数の低感度光電変換素子ｒ、ｇ、ｂとを含む。複数の高感度光電変換素子Ｒ、Ｇ、Ｂ及び複数の低感度光電変換素子ｒ、ｇ、ｂは、それぞれ市松状に配列されている。それぞれ斜め４５度方向に正方格子状に配列される高感度光電変換素子Ｒ、Ｇ、Ｂ及び低感度光電変換素子ｒ、ｇ、ｂは、それぞれ２×２周期の色コーディング配列を有している。【選択図】図１
2004336469.tif 000002
【特許請求の範囲】
【請求項１】
半導体基板表面に行方向とこれに直交する列方向に正方格子状に配設された複数の光電変換素子を含む固体撮像素子であって、
前記光電変換素子は、相対的に高感度の光電変換を行う複数の高感度光電変換素子と、相対的に低感度の光電変換を行う複数の低感度光電変換素子とを含み、前記複数の高感度光電変換素子及び前記複数の低感度光電変換素子は、それぞれ市松状に配列されている固体撮像素子。
【請求項２】
請求項１記載の固体撮像素子であって、
同一の位置関係で隣接する前記高感度光電変換素子及び前記低感度光電変換素子は、感度比が一定で、同一の相対分光感度特性を有するものである固体撮像素子。
【請求項３】
請求項２記載の固体撮像素子であって、
前記光電変換素子は、３色又は４色の分光感度のいずれかを有するものであり、
それぞれ斜め４５度方向に正方格子状に配列される前記高感度光電変換素子及び低感度光電変換素子は、それぞれ２×２周期の色コーディング配列を有するものである固体撮像素子。
【請求項４】
請求項３記載の固体撮像素子であって、
前記２×２周期の色コーディング配列は、ベイヤー配列である固体撮像素子。
【請求項５】
請求項１ないし４のいずれか１項記載の固体撮像素子を有する撮像装置であって、
前記固体撮像素子から出力される撮像信号に基づく信号処理を行う信号処理部を備え、
前記信号処理部が行う信号処理は、同一の位置関係で隣接する前記高感度光電変換素子及び前記低感度光電変換素子からの高感度撮像信号及び低感度光電変換信号の合成信号を生成する合成処理と、前記合成処理で得られた市松配列位置の合成信号の同時化処理及び合成信号がない市松配列位置の補間処理を含む撮像装置。
【請求項６】
請求項１ないし４のいずれか１項記載の固体撮像素子を有する撮像装置であって、
前記固体撮像素子から出力される撮像信号に基づく信号処理を行う信号処理部を備え、
前記信号処理部が行う信号処理は、前記高感度光電変換素子からの高感度撮像信号に基づいて前記正方格子配列全ての格子位置の信号を含む高感度画像信号を生成する処理、前記低感度光電変換素子からの低感度撮像信号に基づいて前記正方格子配列全ての格子位置の信号を含む低感度画像信号を生成する処理、前記高感度画像信号と前記低感度画像信号を前記正方格子状配列の格子位置毎に合成する処理を含む撮像装置。
【請求項７】
請求項１ないし４のいずれか１項記載の固体撮像素子から出力される撮像信号に基づく信号処理を行う画像処理方法であって、
同一の位置関係で隣接する前記高感度光電変換素子及び前記低感度光電変換素子からの高感度撮像信号及び低感度光電変換信号の合成する合成処理ステップと、
前記合成処理ステップで得られた市松状配列位置の合成撮像信号に基づいて、前記市松状配列の中間位置の画像信号を生成する補間処理ステップとを含む画像処理方法。
【請求項８】
請求項１ないし４のいずれか１項記載の固体撮像素子から出力される撮像信号に基づく信号処理を行う画像処理方法であって、
前記高感度光電変換素子からの高感度撮像信号に基づいて前記正方格子配列全ての格子位置の信号を含む高感度画像信号を生成する第１の画像生成処理ステップと、
前記低感度光電変換素子からの低感度撮像信号に基づいて前記正方格子配列全ての格子位置の信号を含む低感度画像信号を生成する第２の画像生成処理ステップと、
前記高感度画像信号と前記低感度画像信号を前記正方格子状配列の格子位置毎に合成する合成処理ステップとを含む画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、半導体基板表面に行方向とこれに直交する列方向に正方格子状に配設された複数の光電変換素子を含む固体撮像素子に関する。
【０００２】
【従来の技術】
デジタルカメラに利用される固体撮像素子は、光電変換素子（以下、「画素」と記述する場合もある。）によって画像信号に対応する電荷を検出するため、一般にダイナミックレンジを広げるのが困難である。そこで、広ダイナミックレンジの画像を得るため、相対的に高感度の光電変換素子（以下、「高感度画素」と記述する場合もある。）と、相対的に低感度の光電変換素子（以下、「低感度画素」と記述する場合もある。）を有する固体撮像素子を利用することが提案されている（特許文献１〜３参照）。
【０００３】
特許文献１に記載された撮像素子は、同一色成分で透過率が異なるカラーフィルタをもつ４つ又は２つの画素単位からなるカラー画素群を格子状に配列したものである。この撮像素子を利用する際、各カラー画素群画素群内の４つ又は２つの画素の信号を合成して出力することによって、広ダイナミックレンジの撮影画像信号を得ることができる。
【０００４】
特許文献２に記載された撮像素子は、周期的色コーディング配列を施した単位配列（ブロック）として異なる感度のものを用意し、高感度ブロックと低感度ブロックをそれぞれ市松状に配列したものである。この撮像素子を利用する際、高感度ブロックの画素の信号と低感度ブロックの画素の信号とを選択的に加算して出力することによって、広ダイナミックレンジの撮影画像信号を得ることができる。
【０００５】
特許文献３に記載された撮像素子は、垂直２ライン毎に高感度領域と低感度領域が交互に配置されたものである。この撮像素子から読み出された画像信号に基づく画像は、高感度領域から度画像と低感度画像をライン毎に別々に生成される。そして、それぞれ補間処理をして拡大した後、所定の混合比で合成することにより、広ダイナミックレンジの撮影画像信号を得ることができる。
【０００６】
【特許文献１】
特開２０００−６９４９１号公報
【特許文献２】
特開２０００−３１６１６３号公報
【特許文献３】
特開２００１−２３８１２６号公報
【０００７】
【発明が解決しようとする課題】
しかし、特許文献１〜３に記載された撮像素子は、ダイナミックレンジを拡大した撮影画像を得ようとすると、縦方向及び横方向の少なくとも一方の解像度が低下するという問題がある。
【０００８】
本発明は、上記事情に鑑みなされたもので、縦方向及び横方向の解像度を実質的に低下させることなくダイナミックレンジを拡大させることができる固体撮像素子、撮像装置、及び画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の固体撮像素子は、半導体基板表面に行方向とこれに直交する列方向に正方格子状に配設された複数の光電変換素子を含む固体撮像素子であって、前記光電変換素子は、相対的に高感度の光電変換を行う複数の高感度光電変換素子と、相対的に低感度の光電変換を行う複数の低感度光電変換素子とを含み、前記複数の高感度光電変換素子及び前記複数の低感度光電変換素子は、それぞれ市松状に配列されているものである。このような固体撮像素子を利用すると、隣接する高感度光電変換素子と低感度光電変換素子による撮像信号を合成して得る場合、合成信号は２画素の重心に位置する単独画素とみなすことができ、仮想的に市松状配列の画像信号となる。したがって、縦方向及び横方向の解像度を実質的に低下させることなくダイナミックレンジを拡大させることができる。
【００１０】
本発明の固体撮像素子は、同一の位置関係で隣接する前記高感度光電変換素子及び前記低感度光電変換素子が、感度比が一定で、同一の相対分光感度特性を有するものであるものを含む。光電変換素子の分光感度特性をこのようにすると、カラー画像の取得を簡単に行うことができる。
【００１１】
本発明の固体撮像素子は、前記光電変換素子が、３色又は４色の分光感度のいずれかを有するものであり、それぞれ斜め４５度方向に正方格子状に配列される前記高感度光電変換素子及び低感度光電変換素子は、それぞれ２×２周期の色コーディング配列を有するものであるものを含む。
【００１２】
本発明の固体撮像素子は、前記２×２周期の色コーディング配列が、ベイヤー配列であるものを含む。
【００１３】
本発明の撮像装置は、上記した固体撮像素子を有する撮像装置であって、前記固体撮像素子から出力される撮像信号に基づく信号処理を行う信号処理部を備え、前記信号処理部が行う信号処理は、同一の位置関係で隣接する前記高感度光電変換素子及び前記低感度光電変換素子からの高感度撮像信号及び低感度光電変換信号の合成信号を生成する合成処理と、前記合成処理で得られた市松配列位置の合成信号の同時化処理及び合成信号がない市松配列位置の補間処理を含むものである。
【００１４】
本発明の撮像装置は、上記した固体撮像素子を有する撮像装置であって、前記固体撮像素子から出力される撮像信号に基づく信号処理を行う信号処理部を備え、前記信号処理部が行う信号処理は、前記高感度光電変換素子からの高感度撮像信号に基づいて前記正方格子配列全ての格子位置の信号を含む高感度画像信号を生成する処理、前記低感度光電変換素子からの低感度撮像信号に基づいて前記正方格子配列全ての格子位置の信号を含む低感度画像信号を生成する処理、前記高感度画像信号と前記低感度画像信号を前記正方格子状配列の格子位置毎に合成する処理を含むものである。
【００１５】
本発明の画像処理方法は、上記した固体撮像素子から出力される撮像信号に基づく信号処理を行う画像処理方法であって、同一の位置関係で隣接する前記高感度光電変換素子及び前記低感度光電変換素子からの高感度撮像信号及び低感度光電変換信号の合成する合成処理ステップと、前記合成処理ステップで得られた市松状配列位置の合成撮像信号に基づいて、前記市松状配列の中間位置の画像信号を生成する補間処理ステップとを含むものである。
【００１６】
本発明の画像処理方法は、上記した固体撮像素子から出力される撮像信号に基づく信号処理を行う画像処理方法であって、前記高感度光電変換素子からの高感度撮像信号に基づいて前記正方格子配列全ての格子位置の信号を含む高感度画像信号を生成する第１の画像生成処理ステップと、前記低感度光電変換素子からの低感度撮像信号に基づいて前記正方格子配列全ての格子位置の信号を含む低感度画像信号を生成する第２の画像生成処理ステップと、前記高感度画像信号と前記低感度画像信号を前記正方格子状配列の格子位置毎に合成する合成処理ステップとを含むものである。
【００１７】
【発明の実施の形態】
本発明の実施の形態を図面を用いて説明する。図７は、本発明の実施の形態のデジタルカメラの概略構成を示す図である。図７のデジタルカメラは、撮像部１、アナログ信号処理部２、Ａ／Ｄ変換部３、駆動部４、ストロボ５、デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、メディアインタフェース１１、記録メディア１２、操作部１３を含んで構成される。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、及びメディアインタフェース１１は、システムバス２０に接続されている。
【００１８】
撮像部１は、撮影レンズ１００等の光学系及び固体撮像素子１０１を含み、被写体の撮影を行うものであって、アナログの撮像信号を出力する。撮像部１で得られた撮像信号は、アナログ信号処理部２に送られ、所定のアナログ信号処理が施され、Ａ／Ｄ変換部３でデジタル信号に変換された後、いわゆるＲＡＷ画像データとしてデジタル信号処理部６に送られる。ＲＡＷ画像データは、撮像部１からの撮像信号の形式のままデジタル化したデジタル画像データである。
【００１９】
撮影に際しては、駆動部４を介して撮像部１が制御される。ＣＣＤイメージセンサ等の固体撮像素子１０１は、半導体基板表面に行方向とこれに直交する列方向に正方格子状に配設された複数の光電変換素子（例えばフォトダイオード）を有し、入射光に対応して発生し、蓄積された信号電荷に基づいたアナログ電圧信号を出力するものである。固体撮像素子１０１は、操作部１３の一部であるレリーズボタン（図示せず）の操作によるレリーズスイッチ（図示せず）オンを契機として、所定のタイミングで、駆動部４に含まれるタイミングジェネレータ（図７ではＴＧと記載）からの駆動信号によって駆動される。駆動部４は、システム制御部９の制御に基づいて所定の駆動信号を出力するものであり、アナログ信号処理部２及びＡ／Ｄ変換部３に対する駆動信号も出力する。固体撮像素子１０１の詳細については、後述する。
【００２０】
ストロボ５は、被写体の輝度が所定値以下の場合等に動作するものであり、システム制御部９によって制御される。
【００２１】
デジタル信号処理部６は、Ａ／Ｄ変換部３からのデジタル画像データに対して、操作部１３によって設定された動作モードに応じたデジタル信号処理を行うものである。デジタル信号処理部６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理（撮像部からの原色信号に対して、撮像素子の光電変換特性に起因する混色成分を除去する補正を行う処理。ＲＢＧ入力に対する３×３のマトリクス演算による。）、ホワイトバランス調整処理（ゲイン調整）、ガンマ補正処理、画像合成処理、同時化処理、Ｙ／Ｃ変換処理等が含まれる。デジタル信号処理部６の画像合成処理については、後述する。
【００２２】
デジタル信号処理部６は、例えばＤＳＰで構成される。圧縮／伸張処理部７は、デジタル信号処理部６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施すものである。
【００２３】
表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影され、デジタル信号処理を経た画像データに基づく画像を表示する。記録メディアに記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【００２４】
内部メモリ１０は、例えばＤＲＡＭであり、デジタル信号処理部６、システム処理部９のワークメモリとして利用される他、記録メディアに１２に記録される撮影画像データを一時的に記憶するバッファメモリ、表示部８への表示画像データのバッファメモリとしても利用される。メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。
【００２５】
システム制御部９は、撮影動作を含むデジタルカメラ全体の制御を行う。システム制御部９は、具体的には所定のプログラムによって動作するプロセッサを主体に構成される。
【００２６】
操作部１３は、デジタルカメラ使用時の各種操作を行うもので、デジタルカメラの動作モード（撮影モード、再生モード等）、撮影時の撮影方法、撮影条件、設定等を行う。操作部１３は、それぞれの機能に対応する操作部材を設けてもよいが、表示部８の表示と連動して操作部材を共用してもよい。また、操作部１３には、撮影動作を起動するためのレリーズボタンも含まれる。
【００２７】
次に、固体撮像素子１０１についてさらに詳細に説明する。固体撮像素子１０１の正方格子状に配列された光電変換素子は、相対的に高感度の光電変換を行う複数の高感度光電変換素子と、相対的に低感度の光電変換を行う複数の低感度光電変換素子とを含んでおり、複数の高感度光電変換素子及び複数の低感度光電変換素子は、それぞれ市松状に配列されている。高感度光電変換素子及び低感度光電変換素子からの高感度撮像信号及び低感度撮像信号は、共にアナログ信号処理部２、Ａ／Ｄ変換部３を経てデジタル画像データに変換され、デジタル信号処理部６に送られる。
【００２８】
なお、各光電変換素子に蓄積された信号電荷は、ＣＣＤ型固体撮像素子の場合は、図示しない電荷転送路を介して外部に取り出され、取り出された信号電荷の量に応じた電圧信号がアナログの撮像信号として出力される。また、ＭＯＳ型固体撮像素子の場合は、各光電変換沿いに蓄積された信号電荷の量に応じた電圧信号が、マトリックス状に配置した配線を介して取り出される。このようなＣＣＤ型固体撮像素子及びＭＯＳ型固体撮像素子は周知であるので、具体的な構成及び撮像信号の出力方法等については説明を省略する。
【００２９】
感度の異なる光電変換信号は、光電変換素子の開口面積を変化させたり（例えば特開２００１−８１０４号公報参照）、光電変換素子上方に設けたフィルタの光透過率を変化させたり（例えば特許文献１、特許文献２参照）、同じく光電変換素子上方に設けたマイクロレンズの形状を変化させたりする（例えば特開２００１−８１０４号公報参照）ことによって得ることができる。
【００３０】
図１に、本発明の固体撮像素子１０１の光電変換素子の配列の一例を模式的に示す。図１では簡単のために８×８個の光電変換素子について示してあるが、実際にはさらに多くの光電変換素子を有している。図１の固体撮像素子は、各光電変換素子の上方に色フィルタが配置され、それぞれ赤色（以下、単に「Ｒ」又は「ｒ」と記述する場合もある。）、緑色（以下、単に「Ｇ」又は「ｇ」と記述する場合もある。）、青色（以下、単に「Ｂ」又は「ｂ」と記述する場合もある。）の分光感度を有する。
【００３１】
市松状に配列された高感度光電変換素子（図１では、ＲＧＢいずれかの符号を付してある。）は、赤色、緑色、青色３色のいずれかの分光感度を有しており、その色コーディング配列は、斜め４５度方向にみたときの正方格子に２×２周期の配列となっている。また、同じく市松状に配列された高感度光電変換素子（図１では、ｒｇｂいずれかの符号を付すとともに網掛をしてある。）は、赤色、緑色、青色３色のいずれかの分光感度を有しており、斜め４５度方向にみたときの正方格子に２×２周期の配列となっている。２×２周期の配列は、例えば図１に示すようにベイヤー配列である。
【００３２】
図１から明らかなように、高感度光電変換素子の色コーディング配列と低感度光電変換素子の色コーディング配列とは、縦方向に１画素分ずれた関係になっている。すなわち、高感度光電変換素子と縦方向下方（Ｘ方向）に隣接する低感度光電変換素子とは、感度比が一定で、互いに同一の相対分光感度特性を有している。高感度光電変換素子の色コーディング配列と低感度光電変換素子の色コーディング配列とは、横方向（Ｙ方向）に１画素分ずれた関係となっていてもよい。
【００３３】
図１の固体撮像素子は、原色の色フィルタを使用しているが、補色の色フィルタを使用したものでもよい。この場合、緑色、黄色、シアン色、マゼンタ色の４色の色フィルタとなる。なお、図１の固体撮像素子は、カラー撮影画像を取得するために、分光感度特性が異なる光電変換素子を配列しているが、カラー撮影が不要な場合は、すべての光電変換素子の相対分光感度特性を同一にするだけで充分である。
【００３４】
次に、デジタル信号処理部６の機能を、画像合成処理を中心に説明する。図２は、デジタル信号処理部６の概略動作フローの一例を示す図である。ステップＳ２０１では、Ａ／Ｄ変換部３からのＲＡＷ画像データに対する補正処理を行う。ここでの補正処理には、ＯＢ処理、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理等が含まれる。ＲＡＷ画像データは、固体撮像素子１０１の全画素の信号について順次Ａ／Ｄ変換部３から出力される（ＣＣＤ型の固体撮像素子である場合は、プログレッシブ走査型とする。）。すなわち、図１の配置の場合、１行目の画素についてＧｒＧｂＧｒＧｂの信号が出力された後、２行目のｇＢｇＲｇＢｇＲの信号が出力され、順次３行目〜８行目の信号が出力される。
【００３５】
ステップＳ２０２では、補正処理が施された画像データを利用して合成処理を行う。ここでの合成処理は、同一の相対分光感度特性を有し、同一の位置関係で隣接する高感度画素と低感度画素の画像データを合成するものである。図１に示すように、固体撮像素子１０１の高感度画素と縦方向下方（Ｘ方向）に隣接する低感度画素とは、互いに同一の相対分光感度特性を有しているので、縦方向に隣接する画素の画像データを合成する。合成方法の一例を（１）式に示す。
【００３６】
Ｓｃ＝αＳＨ＋（１−α）ＳＬ              （１）
【００３７】
ここで、Ｓｃは合成信号であって、カラー画像の場合は、赤合成信号Ｒｃ、緑合成信号Ｇｃ、青合成信号Ｂｃである。ＳＨ及びＳＬは、高感度画像信号及び低感度画像信号であって、カラー画像の場合は、赤合成信号Ｒ及びｒ、緑合成信号Ｇ及びｇ、青合成信号Ｂ及びｂである。また、αは合成比率を決定する係数であり、０＜α＜１に設定される。望ましいα値は、撮影シーンに依存するが、０．５から０．８の範囲である。
【００３８】
図１の画素配置の場合、縦方向に隣接する高感度画素と低感度画素の信号を合成するので、合成信号Ｒｃ、Ｇｃ、Ｂｃは、仮想的に図１の黒丸「・」の位置の撮像信号を示すことになる。黒丸「・」は、便宜的に高感度画素と低感度画素の中間に示してあるが、両画素の重心位置である。したがって、合成信号Ｒｃ、Ｇｃ、Ｂｃは、図３に示すように、市松状位置の画像信号を示すことになる。なお、図３における白丸「○」は、画像信号が得られていない格子位置である。
【００３９】
このような合成演算は、隣接する２行分の画像データを利用して行うので、Ａ／Ｄ変換部３からのデータ入力をしながらリアルタイムで行うことができる。複数回の読み出しで全画素の画像データを読み出すインタレース型の固体撮像素子の場合は、全画素の画像信号を一旦内部メモリ１０等に記憶した後、合成処理を行う。
【００４０】
図３に示すような市松状位置の画像信号が得られると、ステップＳ２０３で同時化及び補間処理を行う。すなわち、赤、緑、青の１色の信号しか得られていない画素について他の色信号を求めるとともに、画像信号が得られていない白丸「○」の位置の画像信号を求め、全格子位置のＲＧＢ信号を得る。同時化及び補間処理に具体的演算については、各種方法が提案されているので説明を省略する。
【００４１】
全格子位置でのＲＧＢ信号が得られると、ステップＳ２０４でＹ／Ｃ変換処理を行う。Ｙ／Ｃ変換処理は、ＲＧＢデータからＹ／Ｃデータに変換するものであり、得られたＹ／Ｃデータは、圧縮／伸張処理部７に送られる。
【００４２】
以上の処理によって得られた画像データは、図３に示すように、市松状位置の合成画像データに基づくものであるので、縦方向及び横方向の解像度は実質的に低下しない。図２の処理のこれまでの説明は、原色の色フィルタの固体撮像素子を前提としたものであるが、図２の処理は、白黒の固体撮像素子にも適用できる。この場合、原色色フィルタの説明とは２点で異なる。第１点は、原色の色フィルタでは、隣接する高感度光電変換素子と低感度光電変換素子の合成の組み合わせが固体撮像素子により一義的に決まるが、白黒の場合、色に無関係となり、行列方向に４方向の組み合わせが可能となる。そこで、どれか１つを選択することになる。第２点は、（１）式で色と無関係になり、Ｓｃ、ＳＨ、ＳＬがそれぞれ輝度信号の合成信号、高感度画素信号、低感度画素信号となることである。
【００４３】
図４は、デジタル信号処理部６の概略動作フローの他の例を示す。図２の処理では、合成処理を行った後に同時化及び補間処理を行ったが、この例では、同時化及び補間処理を行った後に合成処理を行うものである。
【００４４】
ステップＳ４０１では、図２のステップＳ２０１と同様、Ａ／Ｄ変換部３からのＲＡＷ画像データに対する補正処理を行う。次いで、ステップＳ４０２で、補正処理が施された高感度画素の画像データを利用して同時化及び補間処理を行い、ステップＳ４０３で、補正処理が施された低感度画像データを利用して同時化及び補間処理を行う。
【００４５】
高感度画像データは、図５に示されるような配置の画像データである（白丸「○」は画像信号が得られていない位置を示す。）ので、ステップＳ４０２において図２のステップＳ２０３の同時化及び補間処理と同様の処理を行い、赤、緑、青の１色の信号しか得られていない画素について他の色信号を求めるとともに、画像信号が得られていない白丸「○」の位置の画像信号を求め、全格子位置の高感度のＲＧＢ信号を得る。また、低感度画像データも、図６に示されるような市松状配置の画像データである（白丸「○」は画像信号が得られていない位置を示す。）ので、ステップＳ４０３において同様の処理を行い、赤、緑、青の１色の信号しか得られていない画素について他の色信号を求めるとともに、画像信号が得られていない白丸「○」の位置の画像信号を求め、全格子位置の低感度のＲＧＢ信号を得る。
【００４６】
ステップＳ４０２の処理は、処理に必要な高感度画像データを取得でき次第順次該当画素の同時化及び補間処理を行う。その際、処理に利用しない低感度画像データは、内部メモリ１０等に記憶しておく。そして、ステップＳ４０３では、記憶しておいた低感度画像データを利用して同時化及び補間処理を行う。なお、インタレース型の固体撮像素子の場合は、全画素の画像信号を一旦内部メモリ１０等に記憶した後、高感度画像データの同時化及び補間処理を行い、次いで低感度画像データの同時化及び補間処理を行う。ステップＳ４０２とＳ４０３の処理は、順序が逆でもよい。
【００４７】
ステップＳ４０２とステップＳ４０３が終了すると、全格子位置の高感度ＲＧＢ信号及び低感度ＲＧＢ信号が得られるので、ステップＳ４０４で、高感度ＲＧＢ信号と低感度ＲＧＢ信号との合成処理を行う。ここでの合成処理は、それぞれの格子位置毎、色信号毎に行う。合成方法の一例を（２）式に示す。
【００４８】
Ｒｃ（ｘ，ｙ）＝αＲ（ｘ，ｙ）＋（１−α）ｒ（ｘ，ｙ）
Ｇｃ（ｘ，ｙ）＝αＧ（ｘ，ｙ）＋（１−α）ｇ（ｘ，ｙ）        （２）
Ｂｃ（ｘ，ｙ）＝αＢ（ｘ，ｙ）＋（１−α）ｂ（ｘ，ｙ）
【００４９】
ここで、Ｒｃ（ｘ，ｙ）、Ｇｃ（ｘ，ｙ）、Ｂｃ（ｘ，ｙ）は、それぞれ画素位置（ｘ，ｙ）における合成赤信号、合成緑信号、合成青信号であり、Ｒ、Ｇ、Ｂは、それぞれ画素位置（ｘ，ｙ）における高感度赤信号、高感度緑信号、高感度青信号であり、ｒ、ｇ、ｂは、それぞれ画素位置（ｘ，ｙ）における低感度赤信号、低感度緑信号、低感度青信号である。また、αは合成比率を決定する係数であり、０＜α＜１に設定される。望ましいα値は、撮影シーンに依存するが、０．５から０．８の範囲である。
【００５０】
全格子位置での合成ＲＧＢ信号が得られると、ステップＳ４０５で、図２のステップＳ２０４と同様のＹ／Ｃ変換処理を行う。以上の合成処理は、同一画素位置の信号を合成するものであるので、解像度の低下がさらに少なくなることが期待できる。これまでの説明は、原色の色フィルタの固体撮像素子に限られることなく、白黒の固体撮像素子や補色色フィルタの固体撮像素子にも適用できる。
【００５１】
図４のステップＳ４０４では、高感度ＲＧＢ信号と低感度ＲＧＢ信号との合成を行ったが、高感度ＲＧＢ信号から高感度輝度信号と高感度色差信号（Ｙ／Ｃ信号）を求め、低感度ＲＧＢ信号から低感度輝度信号と低感度色差信号（Ｙ／Ｃ信号）を求め、それらを合成して合成Ｙ／Ｃデータを求めてもよい。
【００５２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、縦方向及び横方向の解像度を実質的に低下させることなくダイナミックレンジを拡大させることができる固体撮像素子及び撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の固体撮像素子の光電変換素子の配列の一例を示す図
【図２】本発明のデジタル信号処理の概略動作フローの一例を示す図
【図３】合成画像信号の位置関係を示す図
【図４】本発明のデジタル信号処理の概略動作フローの他の例を示す図
【図５】高感度画像データの位置関係を示す図
【図６】低感度画像データの位置関係を示す図
【図７】本発明の実施の形態のデジタルカメラの概略構成を示す図
【符号の説明】
１・・・撮像部
２・・・アナログ信号処理部
３・・・Ａ／Ｄ変換部
４・・・駆動部
５・・・ストロボ
６・・・デジタル信号処理部
７・・・圧縮／伸張処理部
８・・・表示部
９・・・システム制御部
１０・・・内部メモリ
１１・・・メディアインタフェース
１２・・・記録メディア
１３・・・操作部
２０・・・システムバス
１００・・・撮影レンズ
１０１・・・固体撮像素子
【図１】
2004336469.tif 000003
【図２】
2004336469.tif 000004
【図３】
2004336469.tif 000005
【図４】
2004336469.tif 000006
【図５】
2004336469.tif 000007
【図６】
2004336469.tif 000008
【図７】
2004336469.tif 000009