(57)【要約】      （修正有）【課題】上層部に光電変換膜を有し、下層部にシリコンからなる光電変換素子を有するハイブリッド型の固体撮像素子を含む撮像装置において、高品質のカラー画像データを生成可能にする。【解決手段】半導体基板１上方に積層される光電変換膜、半導体基板１に配列され、光電変換膜で検出される色とは異なる色を検出する２種類の光電変換素子を含む複数の光電変換素子２，４、及び、半導体基板１に形成され、複数の光電変換素子２，４及び光電変換膜に蓄積される信号電荷に応じた色信号を外部に読み出す信号読み出し回路を含む固体撮像素子１００と、複数の光電変換素子２，４に蓄積される信号電荷と、該光電変換素子に隣接して配列されている同一種類の光電変換素子に蓄積される信号電荷とに基づいて、１画素データを構成する色信号を生成する色信号生成手段とを備える。【選択図】図１
2006165663.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像してカラー画像データを生成する撮像装置であって、
半導体基板上方に積層される光電変換膜、前記半導体基板に配列され、前記光電変換膜で検出される色とは異なる色を検出する少なくとも２種類の光電変換素子を含む複数の光電変換素子、及び、前記半導体基板に形成され、前記複数の光電変換素子に蓄積される信号電荷及び前記光電変換膜で発生する信号電荷に応じた色信号を外部に読み出す信号読み出し回路を含む固体撮像素子と、
前記複数の光電変換素子のうちの前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷と、該光電変換素子に隣接して配列されている該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷とに基づいて、前記１画素データを構成する色信号を生成する色信号生成手段とを備える撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
前記色信号生成手段は、前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷に応じた色信号と、該光電変換素子に隣接する該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷に応じた色信号とを所定の割合で加算して、前記１画素データを構成する色信号を生成する撮像装置。
【請求項３】
請求項１記載の撮像装置であって、
前記信号読み出し回路は、前記複数の光電変換素子に蓄積される信号電荷及び前記光電変換膜で発生する信号電荷をそれぞれ前記半導体基板上の特定方向に転送する垂直転送路と、前記垂直転送路から転送されてきた信号電荷を前記特定方向と直交する方向に転送する水平転送路と、前記水平転送路から転送されてきた信号電荷に応じた色信号を出力する出力部とを含み、
前記色信号生成手段は、前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷と、該光電変換素子に隣接する該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷とが前記垂直転送路及び前記水平転送路内で混合されるように前記固体撮像素子を駆動することで、前記１画素データを構成する色信号を生成する撮像装置。
【請求項４】
請求項１〜３のいずれか記載の撮像装置であって、
前記固体撮像素子は、前記半導体基板に設けられ、前記光電変換膜で発生する信号電荷を蓄積する信号電荷蓄積部を有し、前記半導体基板には、前記少なくとも２種類の光電変換素子を交互に配列した行と前記信号電荷蓄積部を配列した行とが、前記行方向の光電変換素子及び信号電荷蓄積部のそれぞれの配列ピッチの略１／２ピッチ行方向にずらして配列される撮像装置。
【請求項５】
請求項１〜３のいずれか記載の撮像装置であって、
前記固体撮像素子は、前記半導体基板に設けられ、前記光電変換膜で発生する信号電荷を蓄積する信号電荷蓄積部を有し、
前記複数の光電変換素子と前記信号電荷蓄積部は、正方格子状に配列され、且つ、それぞれが市松状に配列される撮像装置。
【請求項６】
請求項１又は２記載の撮像装置であって、
前記信号読み出し回路は、ＭＯＳトランジスタと該ＭＯＳトランジスタに接続された信号線とを含んで構成され、
前記複数の光電変換素子は、前記半導体基板の深さ方向に重層された前記少なくとも２種類の光電変換素子が、前記半導体基板の同一平面上に配列されたものである撮像装置。
【請求項７】
請求項１〜６のいずれか記載の撮像装置であって、
前記固体撮像素子は、前記光電変換膜の上方に、前記複数の光電変換素子の各々に光を集光する複数のマイクロレンズを備える撮像装置。
【請求項８】
請求項１〜６のいずれか記載の撮像装置であって、
前記固体撮像素子は、前記光電変換膜と前記複数の光電変換素子との間に、前記複数の光電変換素子の各々に光を集光する複数のマイクロレンズを備える撮像装置。
【請求項９】
請求項１〜８のいずれか記載の撮像装置であって、
前記光電変換膜は、緑色の光を検出し、
前記少なくとも２種類の光電変換素子は、赤色の光を検出する光電変換素子と青色の光を検出する光電変換素子とを含む撮像装置。
【請求項１０】
請求項１〜９のいずれか記載の撮像装置であって、
前記光電変換膜は、有機材料を含んで構成される撮像装置。
【請求項１１】
請求項１〜１０のいずれか記載の撮像装置を用いて撮像を行うデジタルカメラ。
【請求項１２】
被写体を撮像してカラー画像データを生成するカラー画像データ生成方法であって、
半導体基板上方に積層される光電変換膜、前記半導体基板に配列され、前記光電変換膜で検出される色とは異なる色を検出する少なくとも２種類の光電変換素子を含む複数の光電変換素子、及び、前記半導体基板に形成され、前記複数の光電変換素子に蓄積される信号電荷及び前記光電変換膜で発生する信号電荷に応じた色信号を外部に読み出す信号読み出し回路を含む固体撮像素子の、前記複数の光電変換素子のうちの前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷と、該光電変換素子に隣接して配列されている該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷とに基づいて、前記１画素データを構成する色信号を生成する色信号生成ステップを有するカラー画像データ生成方法。
【請求項１３】
請求項１２記載のカラー画像データ生成方法であって、
前記色信号生成ステップは、前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷に応じた色信号と、該光電変換素子に隣接する該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷に応じた色信号とを所定の割合で加算して、前記１画素データを構成する色信号を生成するカラー画像データ生成方法。
【請求項１４】
請求項１２記載のカラー画像データ生成方法であって、
前記信号読み出し回路は、前記複数の光電変換素子に蓄積される信号電荷及び前記光電変換膜で発生する信号電荷をそれぞれ前記半導体基板上の特定方向に転送する垂直転送路と、前記垂直転送路から転送されてきた信号電荷を前記特定方向と直交する方向に転送する水平転送路と、前記水平転送路から転送されてきた信号電荷に応じた色信号を出力する出力部とを含み、
前記色信号生成ステップは、前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷と、該光電変換素子に隣接する該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷とが前記垂直転送路及び前記水平転送路内で混合されるように前記固体撮像素子を駆動することで、前記１画素データを構成する色信号を生成するカラー画像データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像してカラー画像データを生成する撮像装置に関する。
【背景技術】
【０００２】
従来、カラーフィルタを用いない構成の固体撮像素子として、例えば特許文献１記載の積層型固体撮像素子が提案されている。この積層型固体撮像素子は、半導体基板上方に赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の光を検出する３つの有機材料からなる光電変換膜を積層し、各膜で発生した信号電荷を半導体基板上に形成された蓄積ダイオードに蓄積し、蓄積ダイオードに蓄積した信号電荷を、半導体基板上に形成されている垂直ＣＣＤ及び水平ＣＣＤ等の信号読み出し回路で読み出して転送するという構成になっている。この積層型固体撮像素子によれば、光利用効率を向上させ、偽色を抑えて、高画質のカラー画像を生成することが可能となる。
【０００３】
上記積層型固体撮像素子は、半導体基板上方に積層した各光電変換膜を挟む２つの電極膜の一方と半導体基板上に形成された蓄積ダイオードとを接続するコンタクト配線が必要となる。このコンタクト配線の材料は、タングステン、銅、モリブテン等の金属であり、配線構造を形成するためには３００度以上の高温が必要となる。一方、半導体基板上方に積層される光電変換膜は、有機材料で構成されているため、２００度以上の高温にさらされると明らかに性能が劣化してしまう。上記積層型固体撮像素子は、例えば、コンタクト配線を形成した後、光電変換膜を形成するという製造工程を３度繰り返すため、先に形成した光電変換膜の性能が、コンタクト配線の形成時の温度によって劣化してしまうという問題があった。
【０００４】
そこで、このような問題を解決する固体撮像素子として、半導体基板上にＲとＢを検出するシリコンからなる光電変換素子を集積すると共に、その半導体基板上方にＧを検出する有機材料からなる光電変換膜を１つ積層したハイブリッド型のものが提案されている（例えば特許文献２参照）。このハイブリッド型の固体撮像素子は、シリコンが３００度以上の高温であっても性能劣化しないことから、下層部（光電変換素子やコンタクト配線）を高温プロセスで先に形成した後、光電変換膜を低温プロセスで形成することで製造が可能であり、光電変換膜の性能劣化を防ぐことができる。
【０００５】
【特許文献１】特開２００２−８３９４６号公報
【特許文献２】特開２００３−３３２５５１号公報（段落００３５）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記ハイブリッド型の固体撮像素子では、上層部の光電変換膜の開口率はほぼ１００％となるが、下層部の光電変換素子の開口率は上層部の光電変換膜よりも低い。又、上層部の光電変換膜に接続されるコンタクト配線等の影響で、下層部の光電変換素子に入射できる光の量は上層部の光電変換膜よりも少なくなる。このため、一定光量に対して上層部の光電変換膜で発生する信号電荷は、一定光量に対して下層部の光電変換素子で発生する信号電荷よりも多くなり、感度のばらつきが生じたり、下層部の光電変換素子から得られる信号のＳＮが劣化したりするといった問題が生じる。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、その目的は、上層部に光電変換膜を有し、下層部にシリコンからなる光電変換素子を有するハイブリッド型の固体撮像素子を含む撮像装置において、高品質のカラー画像データを生成可能にすることにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、被写体を撮像してカラー画像データを生成する撮像装置であって、半導体基板上方に積層される光電変換膜、前記半導体基板に配列され、前記光電変換膜で検出される色とは異なる色を検出する少なくとも２種類の光電変換素子を含む複数の光電変換素子、及び、前記半導体基板に形成され、前記複数の光電変換素子に蓄積される信号電荷及び前記光電変換膜で発生する信号電荷に応じた色信号を外部に読み出す信号読み出し回路を含む固体撮像素子と、前記複数の光電変換素子のうちの前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷と、該光電変換素子に隣接して配列されている該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷とに基づいて、前記１画素データを構成する色信号を生成する色信号生成手段とを備える。
【０００９】
この構成により、生成される色信号の感度アップ又はＳ／Ｎ向上を図ることができ、高品質のカラー画像データを生成することが可能となる。
【００１０】
本発明の撮像装置は、前記色信号生成手段が、前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷に応じた色信号と、該光電変換素子に隣接する該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷に応じた色信号とを所定の割合で加算して、前記１画素データを構成する色信号を生成する。
【００１１】
この構成により、アナログ又はデジタルの色信号に信号処理を施すことで、カラー画像データを構成する色信号の感度アップ又はＳ／Ｎ向上を図ることができる。
【００１２】
本発明の撮像装置は、前記信号読み出し回路が、前記複数の光電変換素子に蓄積される信号電荷及び前記光電変換膜で発生する信号電荷をそれぞれ前記半導体基板上の特定方向に転送する垂直転送路と、前記垂直転送路から転送されてきた信号電荷を前記特定方向と直交する方向に転送する水平転送路と、前記水平転送路から転送されてきた信号電荷に応じた色信号を出力する出力部とを含み、前記色信号生成手段は、前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷と、該光電変換素子に隣接する該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷とが前記垂直転送路及び前記水平転送路内で混合されるように前記固体撮像素子を駆動することで、前記１画素データを構成する色信号を生成する。
【００１３】
この構成により、光電変換素子に蓄積される信号電荷を混合させることで、カラー画像データを構成する色信号の感度アップ又はＳ／Ｎ向上を図ることができる。
【００１４】
本発明の撮像装置は、前記固体撮像素子が、前記半導体基板に設けられ、前記光電変換膜で発生する信号電荷を蓄積する信号電荷蓄積部を有し、前記半導体基板には、前記少なくとも２種類の光電変換素子を交互に配列した行と前記信号電荷蓄積部を配列した行とが、前記行方向の光電変換素子及び信号電荷蓄積部のそれぞれの配列ピッチの略１／２ピッチ行方向にずらして配列される。
【００１５】
この構成により、信号読み出し回路として蛇行形状の垂直転送路を採用することが可能となるため、信号電荷の転送容量を増加させることができる。したがって、光電変換膜や光電変換素子の面積を大きくすることができ、より高品質のカラー画像データの生成が可能となる。
【００１６】
本発明の撮像装置は、前記固体撮像素子が、前記半導体基板に設けられ、前記光電変換膜で発生する信号電荷を蓄積する信号電荷蓄積部を有し、前記複数の光電変換素子と前記信号電荷蓄積部は、正方格子状に配列され、且つ、それぞれが市松状に配列される。
【００１７】
この構成により、高解像度のカラー画像データを生成することができる。
【００１８】
本発明の撮像装置は、前記信号読み出し回路が、ＭＯＳトランジスタと該ＭＯＳトランジスタに接続された信号線とを含んで構成され、前記複数の光電変換素子は、前記半導体基板の深さ方向に重層された前記少なくとも２種類の光電変換素子が、前記半導体基板の同一平面上に配列されたものである。
【００１９】
本発明の撮像装置は、前記固体撮像素子が、前記光電変換膜の上方に、前記複数の光電変換素子の各々に光を集光する複数のマイクロレンズを備える。
【００２０】
本発明の撮像装置は、前記固体撮像素子が、前記光電変換膜と前記複数の光電変換素子との間に、前記複数の光電変換素子の各々に光を集光する複数のマイクロレンズを備える。
【００２１】
本発明の撮像装置は、前記光電変換膜が緑色の光を検出し、前記少なくとも２種類の光電変換素子は、赤色の光を検出する光電変換素子と青色の光を検出する光電変換素子とを含む。
【００２２】
本発明の撮像装置は、前記光電変換膜が有機材料を含んで構成される。
【００２３】
本発明のデジタルカメラは、前記撮像装置を用いて撮像を行う。
【００２４】
本発明のカラー画像データ生成方法は、被写体を撮像してカラー画像データを生成するカラー画像データ生成方法であって、半導体基板上方に積層される光電変換膜、前記半導体基板に配列され、前記光電変換膜で検出される色とは異なる色を検出する少なくとも２種類の光電変換素子を含む複数の光電変換素子、及び、前記半導体基板に形成され、前記複数の光電変換素子に蓄積される信号電荷及び前記光電変換膜で発生する信号電荷に応じた色信号を外部に読み出す信号読み出し回路を含む固体撮像素子の、前記複数の光電変換素子のうちの前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷と、該光電変換素子に隣接して配列されている該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷とに基づいて、前記１画素データを構成する色信号を生成する色信号生成ステップを有する。
【００２５】
本発明のカラー画像データ生成方法は、前記色信号生成ステップが、前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷に応じた色信号と、該光電変換素子に隣接する該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷に応じた色信号とを所定の割合で加算して、前記１画素データを構成する色信号を生成する。
【００２６】
本発明のカラー画像データ生成方法は、前記信号読み出し回路が、前記複数の光電変換素子に蓄積される信号電荷及び前記光電変換膜で発生する信号電荷をそれぞれ前記半導体基板上の特定方向に転送する垂直転送路と、前記垂直転送路から転送されてきた信号電荷を前記特定方向と直交する方向に転送する水平転送路と、前記水平転送路から転送されてきた信号電荷に応じた色信号を出力する出力部とを含み、前記色信号生成ステップは、前記カラー画像データの１画素データに対応する光電変換素子に蓄積される信号電荷と、該光電変換素子に隣接する該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷とが前記垂直転送路及び前記水平転送路内で混合されるように前記固体撮像素子を駆動することで、前記１画素データを構成する色信号を生成する。
【発明の効果】
【００２７】
本発明によれば、上層部に光電変換膜を有し、下層部にシリコンからなる光電変換素子を有するハイブリッド型の固体撮像素子を含む撮像装置において、高品質のカラー画像データを生成することができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態について図面を参照して説明する。
【００２９】
（第一実施形態）
図１は、本発明の第一実施形態を説明するための固体撮像素子１００の表面模式図である。図２は、図１のI―I線断面模式図である。
半導体基板１の表面部には、シリコンからなる複数の光電変換素子２，４及び複数の信号電荷蓄積部３が、行方向（図１のＸ方向）及び列方向（図１のＹ方向）に配列されている。本実施形態において、光電変換素子２と光電変換素子４とを併せた数は、信号電荷蓄積部３の数と等しいものとする。信号電荷蓄積部３の数は、固体撮像素子１００から得られる色信号に基づいて生成可能なカラー画像データの最大画素データ数に等しい。
【００３０】
図１に示すように、奇数行には、赤色（Ｒ）を検出すると共に、それに応じた赤色の信号電荷を発生して蓄積する光電変換素子（フォトダイオード、以下Ｒ光電変換素子という）２と、青色（Ｂ）を検出すると共に、それに応じた青色の信号電荷を発生して蓄積する光電変換素子（フォトダイオード、以下Ｂ光電変換素子という）４とが交互に配列されており、偶数行には緑色の信号電荷を蓄積する信号電荷蓄積部３（蓄積ダイオード）が配列されている。奇数行は、Ｒ光電変換素子２から配列が開始される行と、Ｂ光電変換素子４から配列が開始される行とが列方向に交互に配列されている。奇数行と偶数行とは、それぞれの行方向の配列ピッチの略１／２だけ行方向にずらして配列されている。
【００３１】
半導体基板１の表面の上方には、緑色の光を検出すると共に、それに応じた緑色の信号電荷を発生する光電変換膜１９（図２参照）が積層されている。光電変換膜１９に設けられた画素電極膜５は、信号電荷蓄積部３と、それに隣接するＲ光電変換素子２またはＢ光電変換素子４とを覆うように設けられている。光電変換膜１９は、有機材料を含んで構成される。
【００３２】
半導体基板１の表面部には、光電変換素子２，４及び信号電荷蓄積部３に蓄積された信号電荷をＹ方向に転送する垂直転送路６（垂直ＣＣＤ）が設けられており、半導体基板１の下辺部には垂直転送路６から転送されてきた信号電荷をＸ方向に転送する水平転送路７（水平ＣＣＤ）と、記水平転送路７から転送されてきた信号電荷に応じた色信号を出力する出力部８とが設けられている。垂直転送路６、水平転送路７、及び出力部８は、特許請求の範囲の信号読み出し回路を構成している。
【００３３】
垂直転送路６は、Ｘ方向に配列される光電変換素子２，４の間と、Ｘ方向に配列される信号電荷蓄積部３の間に、それぞれ２つづつ設けられ、且つ、光電変換素子列と信号電荷蓄積部列の間を蛇行してＹ方向に延びるように形成されている。
【００３４】
このような構成にすることにより、Ｘ方向に隣り合う垂直転送路６同士が、光電変換素子又は信号電荷蓄積部同士の間で隣接することができるため、ここの部分に垂直転送路同士を接続する配線を設けることができる。したがって、インターラインＣＣＤのような構成に比べて、垂直転送路６の信号電荷転送容量を大きくすることができ、光電変換素子２，４や信号電荷蓄積部３に蓄積される信号電荷量の増大にも十分対応することができる。
【００３５】
尚、図１に示す垂直転送路６の構成は、特開平１０―１３６３９１号公報に詳細が記載されているため、これを参照されたい。
【００３６】
Ｒ光電変換素子２，信号電荷蓄積部３，Ｂ光電変換素子４に蓄積された信号電荷は、読み出しゲート２０（図１では模式的に矢印で示してある）から垂直転送路６に読み出されて水平転送路７まで転送され、その後に水平転送路７によって出力部８まで転送された後、出力部８から各信号電荷に応じた色信号（赤色信号，緑色信号，青色信号）が出力される。このようにして、固体撮像素子１００から赤色信号，緑色信号，青色信号が読み出される。
【００３７】
Ｒ光電変換素子２、Ｂ光電変換素子４、及び信号電荷蓄積部３の各読み出しゲート２０は、Ｒ光電変換素子２、Ｂ光電変換素子４、及び信号電荷蓄積部３のそれぞれの左側に配置された垂直転送路６側に設けられる。つまり、信号電荷蓄積部３の左側に配置された垂直転送路６は、緑色の信号電荷のみを転送するための専用の転送路となり、光電変換素子２,４の左側に配置された垂直転送路６は、赤色及び青色の信号電荷のみを転送するための専用の転送路となる。
【００３８】
図２に示すように、ｎ型半導体基板１の表面部にはｐウェル層１１が形成され、ｐウェル層１１の表面部の青色（Ｂ）画素領域にはｎ領域４が形成され、ｐウェル層１１とｎ領域４との間に、Ｂ光電変換素子４としてのフォトダイオードが形成され、発生した信号電荷は、ｎ領域４に蓄積される。
【００３９】
図示の例では、２つのｎ領域４の間のｐウェル層１１の表面部にｎ領域３が形成され、このｎ領域３が、緑色の信号電荷蓄積部３となる。各ｎ領域３,４の右側には、夫々少し離間してｎ領域６が設けられ、夫々のｎ領域６が、図１に示す垂直転送路６を構成する。ｎ領域６の表面部にはｎ領域３，４まで達する読み出し電極１２を兼用する転送電極が形成され、各転送電極の上には、遮光膜１３が設けられている。読み出し電極１２と重なるｐウェル層１１の部分が、図１の読み出しゲート２０に相当する。
【００４０】
各ｎ領域３，４の左側面部及び表面部にはｐ＋領域１４が設けられ、隣接垂直転送路６との分離が図られると共に、表面部の欠陥準位低減が図られる。半導体基板１の最表面には、図示しない酸化シリコン膜が形成され、その上に、上記の転送電極１２が形成される。
【００４１】
ｎ領域４の上方の遮光膜１３の開口位置の上部には、青色を透過するカラーフィルタ１５が設けられる。カラーフィルタ１５及び遮光膜１３，転送電極１２は透明の絶縁層１７内に埋設される。
【００４２】
絶縁層１７の表面には、図１で説明した透明の画素電極膜５が区分けして形成され、各画素電極膜５とｎ領域３とは、縦配線１８によって接続される。この縦配線１８は、接続される画素電極膜５及びｎ領域３以外とは電気的に絶縁される。各画素電極膜５の上には、半導体基板１全面にわたる光電変換膜１９が積層され、その上に、共通の透明の対向電極膜２０が形成される。画素電極膜５は、光電変換膜１９における光電変換領域を決定するものであり、対向電極膜２０と画素電極膜５で挟まれた光電変換膜１９の領域が、光電変換領域となる。そして、信号電荷蓄積部３には、この光電変換領域で発生した信号電荷が蓄積される。
【００４３】
尚、図２はＢ光電変換素子４と信号電荷蓄積部３とを含む部分の断面を示したが、Ｒ光電変換素子２と信号電荷蓄積部３とを含む部分の断面については、図２においてｎ領域４がｎ領域２となり、カラーフィルタ１５が赤色を透過する赤色用カラーフィルタになる以外は同様の構成であるため、その説明を省略する。
【００４４】
斯かる構成の固体撮像素子１００に光が入射すると、入射光の内の緑色の波長領域の光は光電変換膜１９に吸収され、緑色の信号電荷が光電変換膜１９内に発生するが、この信号電荷は、画素電極膜５にバイアス電位を印加することで、縦配線１８を通ってｎ領域３に流れ込み、ここで蓄積される。
【００４５】
入射光のうちの赤色（Ｒ）及び青色（Ｂ）の波長領域の光は光電変換膜１９を透過し、赤色光は赤色用カラーフィルタを透過してｎ領域２に入射する。これにより、赤色光の光量に応じた信号電荷が発生しｎ領域２に蓄積される。同様に、青色光はカラーフィルタ１５を透過してｎ領域４に入射し、青色光の光量に応じた信号電荷がｎ領域４に蓄積される。
【００４６】
各ｎ領域２，３，４に蓄積された赤色，緑色，青色の各信号電荷は、読み出し電極１２に高電位が加わることで垂直転送路６に読み出され、ここから水平転送路７まで転送され、水平転送路７において出力部８まで転送された後、出力部８から各信号電荷に応じた色信号が出力される。
【００４７】
以上のように、本実施形態の固体撮像素子１００によれば、垂直転送路６の電荷転送容量を、インターライン型ＣＣＤよりも大きくすることができる。図２に示すような構成の固体撮像素子１００において、信号読み出し回路として電荷転送容量の大きい垂直転送路を採用することは、画素電極膜５の面積や光電変換素子の大きさの拡大を図ることに繋がり、より高品質のカラー画像データを生成することが可能になる。
【００４８】
又、本実施形態の固体撮像素子１００によれば、既存のＣＣＤ型イメージセンサの信号読み出し方式をそのまま適用可能となり、製造コストの低減を図ることができる。
【００４９】
又、本実施形態の固体撮像素子１００によれば、半導体基板１として、既存の単板式カラーＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサの設計をそのまま利用して半導体基板１を製造し、既存のセンサで設ける必要のある緑色のカラーフィルタの代わりに縦配線１８を形成し、上層部に画素電極膜５，光電変換膜１９，対向電極膜２０を形成するだけで製造することができるため、製造コストの低減を図ることができる。
【００５０】
尚、本実施形態の固体撮像素子１００においては、図３に示すように、対向電極膜２０の上部にマイクロレンズ５０を搭載し、赤色，青色の入射光を各ｎ領域２，４の遮光膜１３開口内側に集光するのが好ましい。又、図４に示すように、カラーフィルタ１５及び赤色カラーフィルタと画素電極膜５との間にマイクロレンズ６０を搭載し、赤色，青色の入射光を各ｎ領域２，４の遮光膜１３開口内側に集光するのが好ましい。
【００５１】
又、Ｒ光電変換素子２，Ｂ光電変換素子４，信号電荷蓄積部３の配置や、Ｒ光電変換素子２，Ｂ光電変換素子４，画素電極膜５の大きさや形状等は、図１に示したものに限らず、図５や図６に示したような構成をとることもできる。図５及び図６において図１と同様の構成には同一符号を付してある。
【００５２】
図５に示した構成は、Ｒ光電変換素子２及びＢ光電変換素子４と、画素電極膜５とが重ならないようにしたものである。このような構成にした場合には、画素電極膜５と光電変換素子２，４とが重ならないため、画素電極膜５をアルミニウムやタングステン等の透明でない金属で形成することが可能になり、その製造が容易になるという利点がある。又、図５のような構成にした場合には、緑色信号の重心位置が、信号電荷蓄積部３の位置と完全に一致するため、信号処理が容易であるという利点がある。
【００５３】
又、本実施形態では、固体撮像素子１００の半導体基板に、赤色を検出する光電変換素子と、青色を検出する光電変換素子の２種類の光電変換素子を設けた構成としているが、これに限らず、２種類以上の光電変換素子を設けた構成であっても良い。
【００５４】
又、本実施形態では、信号読み出し回路をＣＣＤ型イメージセンサと同様に電荷転送路で構成したが、各ｎ領域２，３，４の脇に信号読み出し用のＭＯＳトランジスタを形成し、従来のＣＭＯＳ型イメージセンサと同様に各ｎ領域２，３，４から色信号を読み出すことも可能である。
【００５５】
固体撮像素子１００は、図２に示すように、下層部に設けられたＲ光電変換素子２やＢ光電変換素子４の開口率が、上層部に設けられた光電変換膜１９の開口率よりも遥かに低い。又、一定光量の入射光が固体撮像素子１００に入射した場合、下層部に設けられたＲ光電変換素子２やＢ光電変換素子４に入射する光の量は、カラーフィルタ、遮光膜１３、縦配線１８、及び開口率等の影響により、光電変換膜１９に入射する光の量よりも少なくなる。このため、上層部で得られる色信号の感度と下層部で得られる色信号の感度にばらつきが生じたり、下層部で得られる色信号のＳ／Ｎ（信号対雑音比）が劣化したりして、固体撮像素子１００から得られる色信号を用いてカラー画像データを生成した場合、その品質が低下してしまう。以下、上記感度ばらつきやＳ／Ｎの劣化を防ぐことが可能な撮像装置について説明する。
【００５６】
本発明の第一実施形態を説明するための撮像装置は、被写体を撮影してカラー画像データを生成することが可能なものであり、例えばデジタルカメラである。
【００５７】
図７は、本発明の第一実施形態を説明するためのデジタルカメラの概略構成を示す図である。
図７のデジタルカメラは、撮像部３１と、アナログ信号処理部３２と、Ａ／Ｄ変換部３３と、駆動部３４と、ストロボ３５と、デジタル信号処理部３６（特許請求の範囲の色信号生成手段に該当）と、圧縮／伸張処理部３７と、表示部３８と、システム制御部３９と、内部メモリ４０と、メディアインタフェース４１と、記録メディア４２と、操作部４３とを備える。デジタル信号処理部３６、圧縮／伸張処理部３７、表示部３８、システム制御部３９、内部メモリ４０、及びメディアインタフェース４１は、システムバス４４に接続されている。
【００５８】
撮像部３１は、撮影レンズ等の光学系及び図１に示した固体撮像素子１００によって被写体の撮影を行うものであり、アナログの色信号（赤色信号、青色信号、及び緑色信号）を出力する。アナログ信号処理部３２は、撮像部３１で得られた色信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部３３は、アナログ信号処理部３２で処理後のアナログの色信号をデジタル変換する。
【００５９】
撮影に際しては、駆動部３４を介して光学系及び固体撮像素子１００の制御が行われる。固体撮像素子１００は、操作部４３の一部であるレリーズボタン（図示せず）の操作によるレリーズスイッチ（図示せず）オンを契機として、所定のタイミングで、駆動部３４に含まれるタイミングジェネレータ（図７ではＴＧと記載）からの駆動信号によって駆動され、Ｒ光電変換素子２，Ｂ光電変換素子４，信号電荷蓄積部３に蓄積された信号電荷に応じたアナログの色信号がアナログ信号処理部３２に出力される。本実施形態では、固体撮像素子１００からの色信号の読み出しを、固体撮像素子１００の奇数行と偶数行の２回に分けて読み出すインターレース読み出しにより行うが、奇数行と偶数行とを一緒に読み出すプログレッシブ読み出しを採用することも可能である。駆動部３４は、システム制御部３９によって所定の駆動信号を出力する。
【００６０】
デジタル信号処理部３６は、Ａ／Ｄ変換部３３からのデジタルの色信号に対して、操作部４３によって設定された動作モードに応じたデジタル信号処理を行う。デジタル信号処理部３６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、カラー画像データ生成処理、及びＹ／Ｃ変換処理等が含まれる。デジタル信号処理部３６は、例えばＤＳＰで構成される。
【００６１】
圧縮／伸張処理部３７は、デジタル信号処理部３６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア４２から得られた圧縮画像データに対して伸張処理を施す。
【００６２】
表示部３８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経たカラー画像データに基づくカラー画像を表示する。記録メディア４２に記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【００６３】
内部メモリ４０は、例えばＤＲＡＭであり、デジタル信号処理部３６やシステム制御部３９のワークメモリとして利用される他、記録メディア４２に記録される撮影画像データを一時的に記憶するバッファメモリや表示部３８への表示画像データのバッファメモリとしても利用される。メディアインタフェース４１は、メモリカード等の記録メディア４２との間のデータの入出力を行うものである。
【００６４】
システム制御部３９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ全体の制御を行う。
【００６５】
操作部４３は、デジタルカメラ使用時の各種操作を行うものである。
【００６６】
図７に示すデジタルカメラは、カラー画像データの１画素データを構成する緑色信号については、固体撮像素子１００の上層部から得られる緑色信号をそのまま用い、カラー画像データの１画素データを構成する赤色信号，青色信号については、下層部から得られる赤色信号，青色信号を用いてカラー画像データの画素数分の赤色信号，青色信号を生成することで、カラー画像データを生成する。つまり、本実施形態のデジタルカメラは、カラー画像データの画素数に等しい数の緑色信号のみを出力する固体撮像素子と、カラー画像データの画素数に等しい数の赤色信号及び青色信号のみを出力する固体撮像素子の２つの固体撮像素子を用いてカラー画像データを生成するデジタルカメラと同じ処理を行うものであり、公知の２板式や３板式ＣＣＤ型イメージセンサを備えるデジタルカメラと同様の処理によってカラー画像データを生成する。
【００６７】
以下、図７に示すデジタルカメラの動作について説明する。
レリーズスイッチがオンとなると、駆動部３４によって固体撮像素子１００が駆動され、固体撮像素子１００により被写体の撮像が行われる。まず、Ｒ光電変換素子２，Ｂ光電変換素子４に蓄積された信号電荷に応じた赤色信号及び青色信号が固体撮像素子１００からアナログ信号処理部３２に出力され、次に、信号電荷蓄積部３に蓄積された信号電荷に応じた緑色信号が固体撮像素子１００からアナログ信号処理部３２に出力される。赤色信号，青色信号，緑色信号は、アナログ信号処理部３２、Ａ／Ｄ変換部３３を経て、デジタル信号処理部３６に入力される。
【００６８】
デジタル信号処理部３６は、入力された赤色信号，青色信号，緑色信号を、各色信号が得られたｎ領域２，３，４の配置と対応付けて内部メモリ４０上でマッピングする。
【００６９】
以下では、カラー画像データの１画素データに対応する光電変換素子２又は４を中心とする３行３列の９つの光電変換素子から得られた色信号と、カラー画像データの１画素データに対応する信号電荷蓄積部３を中心とする３行３列の９つの信号電荷蓄積部３から得られた色信号とを用いて、デジタル信号処理部３６によるカラー画像データ生成処理を説明する。
【００７０】
図８は、内部メモリ４０にマッピングされた色信号を示す図である。図８（ａ）は、カラー画像データの１画素データに対応する信号電荷蓄積部３を中心とする９つの信号電荷蓄積部３から得られた色信号（図では“Ｇ”で示す）をマッピングした状態を示す図であり、図８（ｂ）は、カラー画像データの１画素データに対応するＲ光電変換素子２を中心とする９つの光電変換素子から得られた色信号（図では赤色信号を“Ｒ”、青色信号を“Ｂ”で示す）をマッピングした状態を示す図である。尚、図１に示す構成では、緑色信号の重心位置は、実際には画素電極膜５の中心位置になるが、本実施形態では、緑色信号の重心位置を信号電荷蓄積部３の位置とした。
【００７１】
図８では、各色信号において、カラー画像データの１画素データに対応する点をサンプル点と定義し、各サンプル点に符号ａ〜ｉを付した。
【００７２】
デジタル信号処理部３６は、図８に示す各サンプル点に赤色信号、青色信号、緑色信号の３色の信号を持たせて１画素データを生成する処理を行う。
【００７３】
以下、各サンプル点にカラー画像データを生成するときの信号処理について説明する。
【００７４】
各サンプル点には、緑色信号が存在しており、この緑色信号については、上述したように十分な信号量が得られており、Ｓ／Ｎも良好であるため、デジタル信号処理部３６は、各サンプル点における緑色信号を、そのまま１画素データを構成する緑色信号とする（図９（ａ）参照）。
【００７５】
赤色信号と青色信号については、Ｒ光電変換素子２，Ｂ光電変換素子４に蓄積された信号電荷に応じた色信号であるため、上述したように信号量が少なく、Ｓ／Ｎが良くない。
【００７６】
そこで、デジタル信号処理部３６は、赤色信号のあるサンプル点については、そのサンプル点にある赤色信号と、そのサンプル点に隣接するサンプル点にある赤色信号（そのサンプル点にある信号が得られた光電変換素子に隣接して配列されている該光電変換素子と同一色を検出する光電変換素子からの信号）とを用いて、赤色信号のあるサンプル点に、１画素データを構成する赤色信号を生成する（図９（ｂ）参照）。
【００７７】
例えば、サンプル点ａと、それに隣接するサンプル点ｆ〜ｉにある各赤色信号に予め定めた係数を乗じて、係数を乗じた後の各赤色信号を積算して得られる信号を、サンプル点ａにおける１画素データを構成する赤色信号とする。この係数は例えば、１／５（図１０（ａ）参照）や１等の任意の数値にすることができる。
【００７８】
係数を１／５とした場合、新しく生成したサンプル点ａの赤色信号の信号量は、１つのＲ光電変換素子２から得られる赤色信号の信号量とほぼ同じであり、赤色信号の感度を上げることはできないが、その分、Ｓ／Ｎは良くすることができる。一方、係数を１とした場合、新しく生成したサンプル点ａの赤色信号の信号量は、１つのＲ光電変換素子２から得られる赤色信号の信号量の５倍にすることができるため、赤色信号の感度を上げることはできるが、その分、Ｓ／Ｎは劣化する。
【００７９】
デジタル信号処理部３６は、青色信号についても同様に、青色信号のあるサンプル点については、そのサンプル点にある青色信号と、そのサンプル点に隣接するサンプル点にある青色信号（そのサンプル点にある信号が得られた光電変換素子に隣接して配列されている該光電変換素子と同一色を検出する光電変換素子からの信号）とを用いて、青色信号のあるサンプル点に、１画素データを構成する青色信号を生成する。
【００８０】
次に、デジタル信号処理部３６は、１画素データを構成する赤色信号又は青色信号が存在していないサンプル点に、１画素データを構成する赤色信号又は青色信号を補間する処理を行う。この補間は公知の様々な手法を用いることができる。例えば、サンプル点ａに青色信号を補間する場合には、サンプル点ａの周辺のサンプル点ｂ〜ｅにある各青色信号に、予め定めた係数を乗じて、係数を乗じた後の各青色信号を積算して得られる信号を、サンプル点ａにおける１画素データを構成する青色信号とする。この係数は例えば１／４（図１０（ｂ）参照）や１等の任意の数値にすることができる。
【００８１】
このようにしてデジタル信号処理部３６は、各サンプル点に１画素データを構成する赤色信号，青色信号，緑色信号を持たせる処理を行う。
【００８２】
カラー画像データを構成する赤色信号及び青色信号の生成は、感度を優先するのか、Ｓ／Ｎを優先するのかを、デジタルカメラの動作モードに応じて決定することが可能である。例えば、撮影ＩＳＯ感度が高く設定された場合や光量が足りないシーンでの撮影の場合等には、上記係数を１にして感度をアップさせたカラー画像データを生成したり、撮影ＩＳＯ感度が低く設定された場合や光量が多すぎるシーンでの撮影の場合等には、上記係数を１／４や１／５にしてＳ／Ｎを良好にしたカラー画像データを生成したりすれば良い。
【００８３】
サンプル点のマップ上の座標を、サンプル点ａを原点として（ｍ，ｎ）としたとき、赤色信号が存在するサンプル点に、１画素データを構成する赤色信号、青色信号、緑色信号を生成する際の上記処理を数式で示すと以下のようになる。
【００８４】
以下の式において、ｋ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点に設定される係数、ｇ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理前の緑色信号（１画素データに対応する信号電荷蓄積部３から得られた緑色信号）、ｂ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理前の青色信号（１画素データに対応するＢ光電変換素子４から得られた青色信号）、ｒ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理前の赤色信号（１画素データに対応するＲ光電変換素子２から得られた赤色信号）、Ｇ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理後の緑色信号、Ｂ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理後の青色信号、Ｒ（ｍ，ｎ）は座標（ｍ，ｎ）のサンプル点における１画素データの生成処理後の赤色信号である。
【００８５】
Ｇ（ｍ，ｎ）＝ｇ（ｍ，ｎ）
Ｂ（ｍ，ｎ）＝ｋ（ｍ，ｎ＋１）＊ｂ（ｍ，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｂ（ｍ−１，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｂ（ｍ＋１，ｎ）＋ｋ（ｍ，ｎ−１）＊ｂ（ｍ，ｎ−１）
Ｒ（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｒ（ｍ−１，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｒ（ｍ＋１，ｎ＋１）＋ｋ（ｍ，ｎ）＊ｒ（ｍ，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｒ（ｍ−１，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｒ（ｍ＋１，ｎ−１）
ただし、ｂ（ｍ，ｎ）は、加算処理後の新しく生成した青色信号とする。
【００８６】
一方、青色信号が存在するサンプル点に、１画素データを構成する赤色信号、青色信号、緑色信号を生成する際の上記処理を数式で示すと以下のようになる。
【００８７】
Ｇ（ｍ，ｎ）＝ｇ（ｍ，ｎ）
Ｂ（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｂ（ｍ−１，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｂ（ｍ＋１，ｎ＋１）＋ｋ（ｍ，ｎ）＊ｂ（ｍ，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｂ（ｍ−１，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｂ（ｍ＋１，ｎ−１）
Ｒ（ｍ，ｎ）＝ｋ（ｍ，ｎ＋１）＊ｒ（ｍ，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｒ（ｍ−１，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｒ（ｍ＋１，ｎ）＋ｋ（ｍ，ｎ−１）＊ｒ（ｍ，ｎ−１）
ただし、ｒ（ｍ，ｎ）は、加算処理後の新しく生成した赤色信号とする。
【００８８】
以上のように本実施形態のデジタルカメラによれば、被写体を撮影してカラー画像データを生成する際、カラー画像データの各画素データを構成する赤色信号及び青色信号の感度をアップさせたり、又はＳ／Ｎを向上させたりすることができるため、高品質のカラー画像データを生成することができる。
【００８９】
尚、以上の説明では、デジタル信号処理部３６によってカラー画像データを生成するものとしたが、デジタル信号処理部３６の行う処理を、アナログ信号処理部３２において行うことも可能である。この場合、アナログ信号処理部３２は、撮像部３１から入力されたアナログの赤色信号，青色信号，緑色信号を用い、上記デジタル信号処理部３６が行ったのと同じ処理を行って、アナログのカラー画像データを生成すれば良い。又、アナログ信号処理部３２では、赤色信号同士の加算処理や青色信号同士の加算処理をローパスフィルタを用いて行うことも可能である。
【００９０】
又、以上の説明では、撮像部３１から出力された色信号に信号処理を行うことで、高品質のカラー画像データを生成可能としているが、信号処理ではなく、色信号の読み出し方法を制御することでも、同様の効果を得ることが可能である。
【００９１】
この場合は、駆動部３４が、固体撮像素子１００から色信号を読み出す駆動制御を行う際に、１画素データに対応する光電変換素子に蓄積される信号電荷と、その光電変換素子に隣接して配列されている該光電変換素子と同一色を検出する光電変換素子に蓄積される信号電荷とが、垂直転送路６及び水平転送路７において混合されるように固体撮像素子１００を駆動すれば良い。
【００９２】
例えば、１画素データに対応する光電変換素子を、図１に示す固体撮像素子１００の３行目の左から２番目のＲ光電変換素子２とすると、駆動部３４は、Ｒ光電変換素子２に蓄積される信号電荷と、Ｒ光電変換素子２に隣接して配列されている４つのＲ光電変換素子２の各々に蓄積される４つの信号電荷とが垂直転送路６及び水平転送路７において混合されるように駆動パルスのタイミングを制御する。
又、駆動部３４は、Ｂ光電変換素子４についても同様に、Ｂ光電変換素子４に蓄積される信号電荷と、Ｂ光電変換素子４に隣接して配列されている４つのＢ光電変換素子４の各々に蓄積される４つの信号電荷とが垂直転送路６及び水平転送路７において混合されるように駆動パルスのタイミングを制御する。
【００９３】
そして、デジタル信号処理部３６は、固体撮像素子１００から得られた赤色信号及び青色信号を用いて信号補間処理を行い、固体撮像素子１００から得られた緑色信号と共にカラー画像データを生成すれば良い。
【００９４】
この場合は、固体撮像素子１００から得られる赤色信号及び青色信号の数がそれぞれ１／５となってしまうため、解像度が落ちてしまうが、デジタル信号処理部３６が行う処理で用いる係数を１にしたのと同様の効果を得ることができる。したがって、固体撮像素子１００からは高感度の赤信号，青信号，緑信号を取り出すことができ、高品質のカラー画像データを生成することができる。
【００９５】
又、以上の説明では、固体撮像素子１００のＲ光電変換素子２，Ｂ光電変換素子４，信号電荷蓄積部３の配列を図１に示したものとしたが、これに限らず、例えば図１１に示したような配列にすることもできる。図１１において図１と同様の機能を持つ構成には同一符号を付してある。又、図１１のＩ−Ｉ断面を示す図は、図２に示す断面図において、左側にあるｎ領域４をｎ領域２とし、カラーフィルタ１５を赤色のカラーフィルタにしたものと同じである。
【００９６】
図１１に示す固体撮像素子は、半導体基板１にＲ光電変換素子２，Ｂ光電変換素子４，信号電荷蓄積部３が正方格子状に配列されており、且つ、Ｒ光電変換素子２及びＢ光電変換素子４と信号電荷蓄積部３がそれぞれ市松状に配列された構成となっている。そして、垂直転送路６は蛇行しておらず、各列に沿って直線状にＹ方向に延びている。
【００９７】
図１１に示す固体撮像素子において、例えば、Ｒ光電変換素子２，Ｂ光電変換素子４，信号電荷蓄積部３から得られる色信号が内部メモリ上に図１２のようにマッピングされる場合、デジタル信号処理部３６は、図１２中の斜線を付したサンプル点については、そのサンプル点の色信号と、そのサンプル点に隣接する点の同一色の色信号とを所定の割合で加算して、高感度又はＳ／Ｎの良好な色信号を生成する。そして、生成した赤色信号及び青色信号と緑色信号をそれぞれ用いて公知の手法で同時化処理や信号補間処理を行い、各サンプル点について、Ｒ，Ｇ，Ｂの３色の色信号を持たせることで、カラー画像データを生成する。図１１の構成によれば、高品質のカラー画像データを生成することができると共に、信号補間によって高解像度を実現することができる。
【００９８】
又、本実施形態で説明したカラー画像データ生成のための信号処理や電荷混合処理は、図１３に示すような構成の固体撮像素子２００にも適用することができる。
【００９９】
図１３は、本実施形態の固体撮像素子の別の構成例を示す概略断面図である。図１３には、カラー画像データの１画素データに対応する部分のみを示してあるが、実際には図１３の固体撮像素子が同一平面上で２次元状に配列される。
【０１００】
図１３に示す固体撮像素子２００は、Ｐ型半導体基板（例えば、シリコン基板）７０表面からその内部に向かって、Ｎ型半導体層６７、Ｐ型半導体層６８、Ｎ型半導体層６９がこの順に重層された構造となっている。Ｎ型半導体層６７にはＭＯＳトランジスタ６２が接続され、Ｎ型半導体層６９にはＭＯＳトランジスタ６４が接続されている。Ｐ型半導体基板７０及びＰ型半導体層６８はそれぞれバイアス電位Ｖｂに保たれている。
【０１０１】
Ｐ型半導体基板７０の上方には、図２に示した固体撮像素子１００の上層部と同じように、画素電極膜５と対向電極膜２０によって挟まれた光電変換膜１９が、支持部７１を介して積層されている。そして、対向電極膜２０はバイアス電位Ｖｂに保たれ、画素電極膜５には、ＭＯＳトランジスタ６３が接続されている。
【０１０２】
ＭＯＳトランジスタ６２，６３，６４は、それぞれに共通のリセット用のＭＯＳトランジスタ６１と、それぞれに共通の増幅用のＭＯＳトランジスタ６５に接続され、ＭＯＳトランジスタ６５には信号選択用のＭＯＳトランジスタ６６が接続されている。各ＭＯＳトランジスタ同士と固体撮像素子２００とは信号線によって接続されている。ＭＯＳトランジスタ６１〜６６及びそれらと固体撮像素子２００とを接続する信号線が、信号読み出し回路６０を構成する。信号読み出し回路６０は、Ｐ型半導体基板７０に形成されており、ＸＹアドレス方式によって色信号を読み出す。
【０１０３】
Ｎ型半導体層６７とＰ型半導体層６８のＰＮ接合の接合部のＰ型半導体基板７０の表面からの深さは、青色の光を吸収する深さとなっている。したがって、Ｎ型半導体層６７とＰ型半導体層６８との間のＰＮ接合は、それらの２つの領域の間に、青色の光を検出してそれに応じた信号電荷を蓄積するフォトダイオード７２（Ｂ光電変換素子７２）を形成する。
【０１０４】
Ｎ型半導体層６９とＰ型半導体基板７０のＰＮ接合の接合部のＰ型半導体基板７０の表面からの深さは、赤色の光を吸収する深さとなっている。したがって、Ｎ型半導体層６９とＰ型半導体基板７０との間のＰＮ接合は、それらの２つの領域の間に、赤色の光を検出してそれに応じた信号電荷を蓄積するフォトダイオード７３（Ｒ光電変換素子７３）を形成する。
【０１０５】
光電変換膜１９，Ｂ光電変換素子７２，Ｒ光電変換素子７３に信号電荷が蓄積された後、画素電極膜５とＮ型半導体層６７とＮ型半導体層６９にバイアス電位を加えると、光電変換膜１９の両端，Ｂ光電変換素子７２の両端，Ｒ光電変換素子７３の両端に電位差が生じるため、この電位差が信号読み出し回路６０によって読み出され、光電変換膜１９，Ｂ光電変換素子７２，Ｒ光電変換素子７３の各々に蓄積された信号電荷に応じた色信号が、固体撮像素子２００から出力される。
【０１０６】
図７に示すデジタルカメラにおいて、固体撮像素子１００の代わりに固体撮像素子２００を用いた場合、各サンプル点に対応する固体撮像素子２００の同一位置から赤色信号，青色信号，緑色信号を全て得ることができる。このため、３板式のカラーＣＭＯＳ型イメージセンサと同様の方法でカラー画像データを生成することができる。そして、赤色信号と青色信号については、上述したような信号処理（サンプル点における色信号と、サンプル点に隣接する同じ色の色信号とを所定の割合で加算する処理）や、電荷混合処理（１画素データに対応する光電変換素子に蓄積された信号電荷と、その光電変換素子に隣接して配列されている同一色を検出する光電変換素子に蓄積された信号電荷とを混合する処理）を行うことで、感度アップ又はＳ／Ｎの向上を図ることができ、高品質のカラー画像データを生成することができる。
【０１０７】
又、固体撮像素子２００は、赤色信号，青色信号，緑色信号を同一位置から得ることができるため、同時化処理が不要となり、カラー画像データの生成処理を簡略化することができる。
【０１０８】
尚、半導体基板７０の深さ方向に光電変換素子を複数重層した構成のカラーイメージセンサについては、特表２００２−５１３１４５号公報に詳細が記載されているので、これを参照されたい。
【０１０９】
又、固体撮像素子２００も固体撮像素子１００と同様、対向電極膜２０の上方又は半導体基板７０と画素電極膜５との間に、Ｒ光電変換素子７２及びＢ光電変換素子７３の受光領域に光を集光するマイクロレンズを設けることが好ましい。
【０１１０】
又、固体撮像素子２００は、半導体基板に赤色を検出する光電変換素子と、青色を検出する光電変換素子の２種類の光電変換素子を設けた構成としているが、これに限らず、２種類以上の光電変換素子を設けた構成であっても良い。
【０１１１】
又、本実施形態では、固体撮像素子の上層部に設ける光電変換膜を緑色を検出する光電変換膜とし、下層部に設ける光電変換素子を赤色及び青色を検出する光電変換素子としているが、これに限らない。本発明を実現するためには、上層部に設ける光電変換膜で検出する色と、下層部に設ける光電変換素子で検出する色とが異なっていれば良い。例えば、上層部に赤色を検出する光電変換膜を設け、下層部に青色と緑色を検出する光電変換素子を設けた構成や、上層部に青色を検出する光電変換膜を設け、下層部に赤色と緑色を検出する光電変換素子を設けた構成にすることも可能である。緑色は人間の視感度が他の色に比べて高いため、最も受光面積を大きくとることのできる上層部の光電変換膜を、緑色を検出するものにすることで、人間の感覚に近いカラー画像データを生成することができる。
【０１１２】
（第二実施形態）
図１に示したように、緑色信号についてはカラー画像データの全画素データ数分が出力されるが、赤色及び青色信号についてはそれぞれカラー画像データの全画素データ数分が出力されないような固体撮像素子の場合は、赤色信号及び青色信号を補間する処理を行うため、偽色が発生する恐れがある。本実施形態では、この偽色の発生を抑えることが可能な信号処理について説明する。この信号処理は、図７に示すデジタル信号処理部３６又はアナログ信号処理部３２で実行される。
【０１１３】
以下では、カラー画像データの１画素データに対応する光電変換素子２又は４を中心とする３行３列の９つの光電変換素子から得られた色信号と、カラー画像データの１画素データに対応する信号電荷蓄積部３を中心とする３行３列の９つの信号電荷蓄積部３から得られた色信号とを用いて、信号処理方法を説明する。
【０１１４】
図１４は、内部メモリ４０にマッピングされた色信号を示す図である。図１４（ａ）は、カラー画像データの１画素データに対応する信号電荷蓄積部３を中心とする９つの信号電荷蓄積部３から得られた色信号（図では“Ｇ”で示す）をマッピングした状態を示す図であり、図１４（ｂ）は、カラー画像データの１画素データに対応する光電変換素子４を中心とする９つの光電変換素子から得られた色信号（図では赤色信号を“Ｒ”、青色信号を“Ｂ”で示す）をマッピングした状態を示す図である。
【０１１５】
図１４において、各色信号のサンプル点には符号ａ〜ｉを付した。又、図１４において、サンプル点ａの座標を原点（ｍ，ｎ）とし、座標（ｍ，ｎ）に設定される係数をｋ（ｍ，ｎ）とする。又、座標（ｍ，ｎ）にある緑色信号をｇ（ｍ，ｎ）、座標（ｍ，ｎ）にある赤色信号をｒ（ｍ，ｎ）、座標（ｍ，ｎ）にある青色信号をｂ（ｍ，ｎ）とする。
【０１１６】
以下、各サンプル点にカラー画像データを生成するときの信号処理について説明する。
【０１１７】
図１５は、本実施形態のデジタルカメラのデジタル信号処理部が行う信号処理を説明するためのフローチャートである。
デジタル信号処理部３６は、固体撮像素子１００から緑色信号（第１の色信号）、赤色信号（第２の色信号）、及び青色信号（第３の色信号）を取得し（Ｓ１）、各サンプル点ａ〜ｉの赤色又は青色信号から、それらのサンプル点と同一のサンプル点にある緑色信号を減算して、各サンプル点について赤色信号と緑色信号の差分である色信号ｘ（第４の色信号）と、青色信号と緑色信号の差分である色信号ｙ（第４の色信号）を生成する（Ｓ２，図１６参照）。座標（ｍ，ｎ）にある色信号ｘをｘ（ｍ，ｎ）、座標（ｍ，ｎ）にある色信号ｙをｙ（ｍ，ｎ）とすると、ｘ（ｍ，ｎ）及びｙ（ｍ，ｎ）は以下の式（１）、（２）により求まる。
【０１１８】
ｘ（ｍ，ｎ）＝ｒ（ｍ，ｎ）−ｇ（ｍ，ｎ）      （１）
ｙ（ｍ，ｎ）＝ｂ（ｍ，ｎ）−ｇ（ｍ，ｎ）      （２）
【０１１９】
次に、デジタル信号処理部３６は、各サンプル点に色信号ｘ及び色信号ｙの２つが存在するように、色信号ｘや色信号ｙの信号補間を行う（Ｓ３，図１７参照）。例えば、色信号ｘの存在しないサンプル点に、そのサンプル点の周辺の色信号ｘを用いて色信号ｘを補間したり、色信号ｙの存在しないサンプル点に、そのサンプル点の周辺の色信号ｙを用いて色信号ｙを補間したりする。信号補間については様々な手法があるので、ここでは説明を省略する。
【０１２０】
次に、デジタル信号処理部３６は、各サンプル点にある緑色信号、色信号ｘ、又は色信号ｙと、各サンプル点の周辺のサンプル点にある緑色信号、色信号ｘ、又は色信号ｙとを所定の割合で加算して、各サンプル点に、色信号ｘをぼかした色信号Ｘ（第５の色信号），色信号ｙをぼかした色信号Ｙ（第５の色信号），緑色信号をぼかした色信号Ｇ’を生成する（Ｓ４）
【０１２１】
デジタル信号処理部３６は、例えば、サンプル点ａにある色信号ｘと、サンプル点ａの周辺のサンプル点ｂ〜ｉにある各色信号ｘに予め定めた係数を乗じて、係数を乗じた後の各色信号ｘを積算して得られる信号を、サンプル点ａの色信号Ｘとする（図１８（ａ）参照）。
又、サンプル点ａにある色信号ｙと、サンプル点ａの周辺のサンプル点ｂ〜ｉにある各色信号ｙに予め定めた係数を乗じて、係数を乗じた後の各色信号ｙを積算して得られる信号を、サンプル点ａの色信号Ｙとする（図１８（ｂ）参照）。
又、サンプル点ａにある緑色信号と、サンプル点ａの周辺のサンプル点ｂ〜ｉにある各緑色信号に予め定めた係数を乗じて、係数を乗じた後の各緑色信号を積算して得られる信号を、サンプル点ａの色信号Ｇ’とする（図１８（ｃ）参照）。
【０１２２】
各サンプル点に設定する係数としては、例えば、図１９（ａ）に示すようにサンプル点ａに重み付けしたものや、図１９（ｂ）に示すように各点に均等にしたものを用いる。
【０１２３】
座標（ｍ，ｎ）のサンプル点に生成する色信号Ｘ（ｍ，ｎ），色信号Ｙ（ｍ，ｎ），色信号Ｇ’（ｍ，ｎ）は以下の式（３）、（４）、（５）により求まる。
【０１２４】
Ｇ’（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｇ（ｍ−１，ｎ＋１）＋ｋ（ｍ，ｎ＋１）＊ｇ（ｍ，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｇ（ｍ＋１，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｇ（ｍ−１，ｎ）＋ｋ（ｍ，ｎ）＊ｇ（ｍ，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｇ（ｍ＋１，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｇ（ｍ−１，ｎ−１）＋ｋ（ｍ，ｎ−１）＊ｇ（ｍ，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｇ（ｍ＋１，ｎ−１）      （３）
【０１２５】
Ｘ（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｘ（ｍ−１，ｎ＋１）＋ｋ（ｍ，ｎ＋１）＊ｘ（ｍ，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｘ（ｍ＋１，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｘ（ｍ−１，ｎ）＋ｋ（ｍ，ｎ）＊ｘ（ｍ，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｘ（ｍ＋１，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｘ（ｍ−１，ｎ−１）＋ｋ（ｍ，ｎ−１）＊ｘ（ｍ，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｘ（ｍ＋１，ｎ−１）      （４）
【０１２６】
Ｙ（ｍ，ｎ）＝ｋ（ｍ−１，ｎ＋１）＊ｙ（ｍ−１，ｎ＋１）＋ｋ（ｍ，ｎ＋１）＊ｙ（ｍ，ｎ＋１）＋ｋ（ｍ＋１，ｎ＋１）＊ｙ（ｍ＋１，ｎ＋１）＋ｋ（ｍ−１，ｎ）＊ｙ（ｍ−１，ｎ）＋ｋ（ｍ，ｎ）＊ｙ（ｍ，ｎ）＋ｋ（ｍ＋１，ｎ）＊ｙ（ｍ＋１，ｎ）＋ｋ（ｍ−１，ｎ−１）＊ｙ（ｍ−１，ｎ−１）＋ｋ（ｍ，ｎ−１）＊ｙ（ｍ，ｎ−１）＋ｋ（ｍ＋１，ｎ−１）＊ｙ（ｍ＋１，ｎ−１）      （５）
【０１２７】
色信号ｘは、もともと赤色信号から緑色信号を減算した信号であるため、ぼけた色信号Ｘにぼけた色信号Ｇ’を加算すると、ぼけた赤色の色信号Ｒを得ることができる。同様に、色信号ｙは、青色信号から緑色信号を減算した信号であるため、ぼけた色信号Ｙにぼけた色信号Ｇ’を加算すると、ぼけた青色の色信号Ｂを得ることができる。デジタル信号処理部３６は、以下の式（６）、（７）により、ぼけた色信号Ｒ及び色信号Ｂを求める（Ｓ５）。
【０１２８】
Ｒ（ｍ，ｎ）＝Ｘ（ｍ，ｎ）＋Ｇ’（ｍ，ｎ）      （６）
Ｂ（ｍ，ｎ）＝Ｙ（ｍ，ｎ）＋Ｇ’（ｍ，ｎ）      （７）
ここで、Ｒ（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点にあるぼけた色信号Ｒ、Ｂ（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点にあるぼけた色信号Ｂ
【０１２９】
最後に、デジタル信号処理部３６は、ぼけた色信号Ｒとぼけた色信号Ｂから、１画素データを構成する赤色の色信号Ｒ’と、１画素データを構成する青色の色信号Ｂ’とを以下の式（８）、（９）により求め、１画素データを構成する緑色の色信号Ｇ’’を以下の式（１０）により求める（Ｓ６）。
【０１３０】
Ｒ’（ｍ，ｎ）＝Ｒ（ｍ，ｎ）＋｛ｇ（ｍ，ｎ）−Ｇ’（ｍ，ｎ）｝＝Ｘ（ｍ，ｎ）＋ｇ（ｍ，ｎ）      （８）
Ｂ’（ｍ，ｎ）＝Ｂ（ｍ，ｎ）＋｛ｇ（ｍ，ｎ）−Ｇ’（ｍ，ｎ）｝＝Ｙ（ｍ，ｎ）＋ｇ（ｍ，ｎ）      （９）
Ｇ’’（ｍ，ｎ）＝Ｇ’（ｍ，ｎ）＋｛ｇ（ｍ，ｎ）−Ｇ’（ｍ，ｎ）｝＝ｇ（ｍ，ｎ）      （１０）
ここで、Ｒ’（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点に生成する色信号Ｒ’、Ｂ’（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点に生成する色信号Ｂ’、Ｇ’’（ｍ，ｎ）：座標（ｍ，ｎ）のサンプル点に生成する色信号Ｇ’’
【０１３１】
デジタル信号処理部３６は、以上の信号処理により、各サンプル点に赤色信号Ｒ’，青色信号Ｂ’，緑色信号Ｇ’’を生成する。
【０１３２】
以上のように、本実施形態の信号処理によれば、全てのサンプル点について存在している緑色信号を利用して、１画素データを構成する色信号Ｒ’及び色信号Ｂ’を生成しているため、各サンプル点にある赤色信号又は青色信号のみを用いて色信号Ｒ’及び色信号Ｂ’を生成する場合に比べて、偽色を目立たなくすることができる。
【０１３３】
尚、以上の説明では、図１５のＳ５において、色信号Ｒ、Ｂを一旦生成しているが、ここで色信号Ｒ、Ｂを生成せず、Ｓ４の後、色信号Ｘに緑色信号を直接加算して色信号Ｒ’を生成し、色信号Ｙに緑色信号を直接加算して色信号Ｂ’を生成することも可能である。
【０１３４】
又、以上の説明では、図１５のＳ４において、各サンプル点に色信号Ｘ、色信号Ｙ、色信号Ｇ’を生成しているが、Ｓ２の処理後に色信号ｘが存在するサンプル点（赤色信号が存在しているサンプル点と等価）については、そのサンプル点に存在している赤色信号を、そのまま色信号Ｒ’として扱うことができるため、そのサンプル点については、色信号Ｘを生成してから緑色信号を加算して色信号Ｒ’を生成する処理は行わなくても良い。
【０１３５】
同様に、Ｓ２の処理後に色信号ｙが存在するサンプル点（青色信号が存在しているサンプル点と等価）については、そのサンプル点に存在している青色信号を、そのまま色信号Ｂ’として扱うことができるため、そのサンプル点については、色信号Ｙを生成してから緑色信号を加算して色信号Ｂ’を生成するする処理は行わなくても良い。
【０１３６】
又、本実施形態の信号処理においては、図１５のＳ１の処理の前に、第一実施形態で説明したような信号処理（各サンプル点にある赤色信号又は青色信号と、それに隣接するサンプル点にある赤色信号又は青色信号とを所定の割合で加算して、新たな赤色信号又は青色信号を生成する処理）を行っておき、この信号処理によって得られた赤色信号及び青色信号を用いて、図１５のＳ１以降の処理を行うことが好ましい。このようにすることで、偽色が目立たず、且つ、感度アップ又はＳ／Ｎ向上がなされたカラー画像データを生成することができる。
【図面の簡単な説明】
【０１３７】
【図１】本発明の第一実施形態を説明するための固体撮像素子の表面模式図
【図２】図１のI―I線断面模式図
【図３】本発明の第一実施形態を説明するための固体撮像素子にマイクロレンズを搭載した状態の断面模式図
【図４】本発明の第一実施形態を説明するための固体撮像素子にマイクロレンズを搭載した状態の断面模式図
【図５】本発明の第一実施形態を説明するための固体撮像素子の光電変換素子及び信号電荷蓄積部の別の配列例を示す図
【図６】本発明の第一実施形態を説明するための固体撮像素子の光電変換素子及び信号電荷蓄積部の別の配列例を示す図
【図７】本発明の第一実施形態を説明するためのデジタルカメラの概略構成を示す図
【図８】本発明の第一実施形態を説明するための固体撮像素子から得られる色信号をメモリ上にマッピングした状態を示す図
【図９】カラー画像データ生成処理を説明するための図
【図１０】カラー画像データ生成処理に用いる係数を示す図
【図１１】本発明の第一実施形態を説明するための固体撮像素子の別の構成例を示す図
【図１２】本発明の第一実施形態を説明するための固体撮像素子の別の構成例から得られる色信号をメモリ上にマッピングした状態を示す図
【図１３】本発明の第一実施形態を説明するための固体撮像素子の別の構成例を示す概略断面図
【図１４】本発明の第二実施形態を説明するための固体撮像素子から得られる色信号をメモリ上にマッピングした状態を示す図
【図１５】本発明の第二実施形態における信号処理を説明するためのフローチャート
【図１６】本発明の第二実施形態における信号処理方法を説明するための図
【図１７】本発明の第二実施形態における信号処理方法を説明するための図
【図１８】本発明の第二実施形態における信号処理方法を説明するための図
【図１９】本発明の第二実施形態における信号処理方法にて用いる係数の一例を示す図
【符号の説明】
【０１３８】
１００  固体撮像素子
１  半導体基板
２  Ｒ光電変換素子
３  信号電荷蓄積部
４  Ｂ光電変換素子
５  画素電極膜
６  垂直転送路
７  水平転送路
８  出力部
１８  縦配線
２０  読み出しゲート
【図１】
2006165663.tif 000003
【図２】
2006165663.tif 000004
【図３】
2006165663.tif 000005
【図４】
2006165663.tif 000006
【図５】
2006165663.tif 000007
【図６】
2006165663.tif 000008
【図７】
2006165663.tif 000009
【図８】
2006165663.tif 000010
【図９】
2006165663.tif 000011
【図１０】
2006165663.tif 000012
【図１１】
2006165663.tif 000013
【図１２】
2006165663.tif 000014
【図１３】
2006165663.tif 000015
【図１４】
2006165663.tif 000016
【図１５】
2006165663.tif 000017
【図１６】
2006165663.tif 000018
【図１７】
2006165663.tif 000019
【図１８】
2006165663.tif 000020
【図１９】
2006165663.tif 000021