(57)【特許請求の範囲】
【請求項１】
赤色光を透過するＲフィルタを備えるＲ画素と、
青色光を透過するＢフィルタを備えるＢ画素と、
可視光領域において透過率の波長依存性がないＳ１フィルタを備え、前記Ｒ画素よりも感度が高いＳ１画素と、
可視光領域において透過率の波長依存性がなく、前記Ｓ１フィルタよりも可視光の透過率が低いＳ２フィルタを備え、前記Ｓ１画素よりも低い感度のＳ２画素と、を備え、
フィルタを配置しない画素の感度を１００としたとき、前記Ｓ１画素の感度が４０から１００、前記Ｓ２画素の感度が６０以下であり、
前記Ｒ画素、前記Ｂ画素、前記Ｓ１画素及びＳ前記２画素から出力されるＲ信号、Ｂ信号、Ｓ１信号及びＳ２信号の出力信号から、高感度ニュートラル信号Ｓ１、低感度ニュートラル信号Ｓ２、Ｒｅｄ信号Ｒ、及び、Ｂｌｕｅ信号Ｂを生成し、
前記Ｓ１画素から出力された前記Ｓ１信号から、前記Ｓ１画素への入射光量が飽和点である光量Ｌ１を超えているか判断し、
前記Ｓ１画素が飽和するまでの照度範囲では前記高感度ニュートラル信号Ｓ１と、前記Ｒｅｄ信号Ｒと、前記Ｂｌｕｅ信号Ｂとから、Ｇｒｅｅｎ信号Ｇ１、Ｒｅｄ信号Ｒ１及びＢｌｕｅ信号Ｂ１を生成し、
前記Ｓ１画素が飽和した後の照度範囲では前記低感度ニュートラル信号Ｓ２と、前記Ｒｅｄ信号Ｒと、前記Ｂｌｕｅ信号Ｂとから、Ｇｒｅｅｎ信号Ｇ２、Ｒｅｄ信号Ｒ２及びＢｌｕｅ信号Ｂ２を生成し、
前記Ｇｒｅｅｎ信号Ｇ１、前記Ｒｅｄ信号Ｒ１及び前記Ｂｌｕｅ信号Ｂ１、並びに、前記Ｇｒｅｅｎ信号Ｇ２、前記Ｒｅｄ信号Ｒ２及び前記Ｂｌｕｅ信号Ｂ２から、１つの画像を合成により生成する
を備える固体撮像装置。
【請求項２】
前記Ｓ２画素が、前記Ｒ画素又は前記Ｂ画素の感度の高い画素よりも感度が低い請求項１に記載の固体撮像装置。
【請求項３】
固体撮像装置と、
前記固体撮像装置の撮像部に入射光を導く光学系と、
前記固体撮像装置の出力信号を処理する信号処理回路と
を備え、
前記固体撮像装置が、
赤色光を透過するＲフィルタを備えるＲ画素と、
青色光を透過するＢフィルタを備えるＢ画素と、
可視光領域において透過率の波長依存性がないＳ１フィルタを備え、前記Ｒ画素よりも感度が高いＳ１画素と、
可視光領域において透過率の波長依存性がなく、前記Ｓ１フィルタよりも可視光の透過率が低いＳ２フィルタを備え、前記Ｓ１画素よりも低い感度のＳ２画素と、を備え、
フィルタを配置しない画素の感度を１００としたとき、前記Ｓ１画素の感度が４０から１００、前記Ｓ２画素の感度が６０以下であり、
前記Ｒ画素、前記Ｂ画素、前記Ｓ１画素及びＳ前記２画素から出力されるＲ信号、Ｂ信号、Ｓ１信号及びＳ２信号の出力信号から、高感度ニュートラル信号Ｓ１、低感度ニュートラル信号Ｓ２、Ｒｅｄ信号Ｒ、及び、Ｂｌｕｅ信号Ｂを生成し、
前記Ｓ１画素から出力された前記Ｓ１信号から、前記Ｓ１画素への入射光量が飽和点である光量Ｌ１を超えているか判断し、
前記Ｓ１画素が飽和するまでの照度範囲では前記高感度ニュートラル信号Ｓ１と、前記Ｒｅｄ信号Ｒと、前記Ｂｌｕｅ信号Ｂとから、Ｇｒｅｅｎ信号Ｇ１、Ｒｅｄ信号Ｒ１及びＢｌｕｅ信号Ｂ１を生成し、
前記Ｓ１画素が飽和した後の照度範囲では前記低感度ニュートラル信号Ｓ２と、前記Ｒｅｄ信号Ｒと、前記Ｂｌｕｅ信号Ｂとから、Ｇｒｅｅｎ信号Ｇ２、Ｒｅｄ信号Ｒ２及びＢｌｕｅ信号Ｂ２を生成し、
前記Ｇｒｅｅｎ信号Ｇ１、前記Ｒｅｄ信号Ｒ１及び前記Ｂｌｕｅ信号Ｂ１、並びに、前記Ｇｒｅｅｎ信号Ｇ２、前記Ｒｅｄ信号Ｒ２及び前記Ｂｌｕｅ信号Ｂ２から、１つの画像を合成により生成する
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、ビデオカメラ等のカラーフィルタを備える固体撮像装置及びこの固体撮像装置を用いた電子機器に係る。
【背景技術】
【０００２】
近年、画素数増大に伴い画素サイズの微細化が進んでいる。画素サイズ縮小にともない、画素面積が縮小して入射光量が減少するため、感度の低下が生じる。また、これに合わせてフォトダイオード領域も狭くなるため、蓄積される光子数も減少し、画素が飽和する信号量も少なくなってきている。このように、固体撮像装置の感度に対する飽和信号量の比率が低下は、ダイナミックレンジの低下を引き起こす。
【０００３】
一般的に固体撮像装置を用いたデジタルスチルカメラやビデオカメラは、銀塩フイルムを使用したカメラと比較して白とびや黒つぶれなく撮像できる明るさの範囲であるダイナミックレンジが狭い。しかし、監視カメラなどにおいては、暗いところから明るいところまで撮像できることが要求され、更に、暗い場面においてもつぶれてしまうことなく撮像できることが合わせて要求されている。
【０００４】
固体撮像装置を用いたカメラのダイナミックレンジは、通常、一番感度の高い画素で決まる。例えば、Ｇｒｅｅｎ、Ｒｅｄ、Ｂｌｕｅの原色カラーフィルタを搭載した固体撮像装置を用いたカメラでは、通常一番感度が高いＧｒｅｅｎの画素ダイナミックレンジが、このカメラのダイナミックレンジとなる。全画素一定の飽和信号量である固体撮像装置の場合、感度が高い画素、即ちカラーフィルタの透過量が多い画素は、フォトダイオードに蓄積される光子数が多くなるために、最初に飽和信号量に到達する。
【０００５】
従来、固体撮像装置の高感度化の技術としては、ＧＲＢの原色系カラーフィルタを配置したベイヤー配列のＧＲＢ画素を、可視光波長において吸収を持たないフィルタを配置したＹ画素を用いて、ＹＲＢ配列とすることが提案されている。また、ベイヤー配列で市松状に配置されているＧの一つを、上記Ｙに置き換えることで感度を向上させる技術が提案されている（例えば、特許文献１参照）。
【０００６】
一方、ダイナミックレンジを拡大する技術としては、明るさの違う低感度画像と高感度画像の２枚の画像を合成するという手法が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２０５９４０号公報
【特許文献２】特開２００４−５６５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の可視光波長において吸収を持たないフィルタを配置したＹ画素は、フォトダイオードに入射する光量がＧＲＢ画素よりも多い。
例えば、図９に示すように、横軸に入射光量、縦軸に画素の信号出力をとると、Ｙ画素は、ＧＲＢ画素よりも小さい入射光量で飽和点に達してしまう。従って、通常のＧＲＢフィルタを用いた固体撮像装置のダイナミックレンジＤよりも、Ｙ画素を用いた固体撮像装置のダイナミックレンジＤ（Ｙ）が狭くなってしまう。
Ｙ画素を用いた固体撮像装置においても、画素に入射する光の量を抑制すればダイナミックレンジを広くすることができるが、固体撮像装置の感度は低くなってしまう。
【０００９】
また、ダイナミックレンジを拡大する技術として提案されている、明るさの違う低感度画像と高感度画像の２枚の画像を合成するという手法では、合成に用いる明るさの異なる２枚の画像の取得する必要がある。この明るさの異なる２枚の画像枝得る手法としては、感度の違う２台のカメラを用いる方法や、露光時間を変えて２回露光する等の方法がある。
【００１０】
しかし、感度の違う２台のカメラを用いる場合には、２台のカメラを並べて撮像するため、撮像する２枚の画像に位置的なずれが発生してしまう。また、露光時間を変えて２回露光する等の方法では、２回の露光を行うため、２枚の画像に時間的な差が発生する。
【００１１】
また、感度の異なる画素を持つ固体撮像装置や１画素中に高感度センサと低感度センサを埋込んだ固体撮像装置等も提案されている。しかし、これらの固体撮像装置は、高感度画素と低感度画素の安定した作りこみが難しく、また、構造が複雑なため画素サイズの微細化への対応が難しい。
【００１２】
上述した問題の解決のため、本発明においては、微細化への対応などが可能であり、高感度且つダイナミックレンジの拡大が可能な固体撮像装置を提供するものである。
【課題を解決するための手段】
【００１３】
本発明の固体撮像装置は、赤色光を透過するＲフィルタを備えるＲ画素と、青色光を透過するＢフィルタを備えるＢ画素とを有する。そして、可視光領域において透過率の波長依存性がないＳ１フィルタを備え、Ｒ画素よりも感度が高いＳ１画素を有する。さらに、フィルタを配置しない画素の感度を１００としたとき、Ｓ１画素の感度が４０から１００、Ｓ２画素の感度が６０以下であります。そして、Ｒ画素、Ｂ画素、Ｓ１画素及びＳ２画素から出力されるＲ信号、Ｂ信号、Ｓ１信号及びＳ２信号の出力信号から、高感度ニュートラル信号Ｓ１、低感度ニュートラル信号Ｓ２、Ｒｅｄ信号Ｒ、及び、Ｂｌｕｅ信号Ｂを生成し、Ｓ１画素から出力されたＳ１信号から、Ｓ１画素への入射光量が飽和点である光量Ｌ１を超えているか判断し、Ｓ１画素が飽和するまでの照度範囲では高感度ニュートラル信号Ｓ１と、Ｒｅｄ信号Ｒと、Ｂｌｕｅ信号Ｂとから、Ｇｒｅｅｎ信号Ｇ１、Ｒｅｄ信号Ｒ１及びＢｌｕｅ信号Ｂ１を生成し、Ｓ１画素が飽和した後の照度範囲では低感度ニュートラル信号Ｓ２と、Ｒｅｄ信号Ｒと、Ｂｌｕｅ信号Ｂとから、Ｇｒｅｅｎ信号Ｇ２、Ｒｅｄ信号Ｒ２及びＢｌｕｅ信号Ｂ２を生成し、Ｇｒｅｅｎ信号Ｇ１、Ｒｅｄ信号Ｒ１及びＢｌｕｅ信号Ｂ１、並びに、Ｇｒｅｅｎ信号Ｇ２、Ｒｅｄ信号Ｒ２及びＢｌｕｅ信号Ｂ２から、１つの画像を合成により生成する。
【００１４】
また、本発明の電子機器は、上述の構成を有する固体撮像装置と、固体撮像装置の撮像部に入射光を導く光学系と、固体撮像装置の出力信号を処理する信号処理回路とを備える。
【００１５】
本発明の固体撮像装置によれば、可視光領域において透過率に波長依存性がないフィルタ備え、Ｒ画素よりも感度が高いＳ１画素を有し、さらにＳ１画素よりも感度が低いＳ２画素を有する。Ｓ１画素を有することにより、高感度な固体撮像装置を得ることができる。さらに、１つの固体撮像装置において、ＲＢＳ１画素と、ＲＢＳ２画素とにより、明るさの異なる低感度画像と高感度画像の２枚の画像を同時に得ることができる。そして、明るさの異なる低感度画像と高感度画像の２枚の画像を合成することにより、ダイナミックレンジの広い画像を得ることができる。
また、カラーフィルタの配置を、従来のベイヤー配列から変更すればよいため、固体撮像装置の微細化の障害とならない。
また、本発明の電子機器によれば、上述の固体撮像装置を備えることにより、感度が高く、ダイナミックレンジの広い画像を得ることができる。
【発明の効果】
【００１６】
本発明によれば、微細化への対応などが可能であり、高感度且つダイナミックレンジの拡大が可能な固体撮像装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の固体撮像装置の実施の形態の概略構成を示す図である。
【図２】本発明の固体撮像装置の画素部のカラー配列の実施の形態を示す図である。
【図３】本発明の固体撮像装置のＳ１フィルタ及びＳ２フィルタの入射光の波長と透過率及び画素感度との関係を示す図である。
【図４】本発明の固体撮像装置の画素毎の入射光量と信号出力、及び、飽和点とダイナミックレンジとの関係を示す図である。
【図５】本発明の固体撮像装置の画素毎の入射光量と信号出力、及び、飽和点とダイナミックレンジとの関係を示す図である。
【図６】本発明の固体撮像装置の信号処理回路のブロック図である。
【図７】本発明の固体撮像装置の信号処理回路のブロック図である。
【図８】本発明に係る電子機器の概略構成図である。
【図９】従来の固体撮像装置の画素毎の画素毎の入射光量と信号出力、及び、飽和点とダイナミックレンジとの関係を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態を説明するが、本発明は以下の例に限定されるものではない。
なお、説明は以下の順序で行う。
１．固体撮像装置の実施の形態
２．固体撮像装置の画素配列及びカラー配列の実施の形態
３．固体撮像装置からの出力信号の信号処理の実施の形態
４．半導体装置の他の実施の形態
【００１９】
〈１．固体撮像装置の実施の形態〉
［固体撮像装置の構成例：概略構成図］
以下、本発明の固体撮像装置の具体的な実施の形態について説明する。
図１に、本発明の固体撮像装置の一例として、ＭＯＳ（Metal Oxide Semiconductor）型の固体撮像装置の概略構成を示す。
【００２０】
図１Ａに示す固体撮像装置１０は、半導体基体、例えば、シリコン基板に複数の光電変換部となるフォトダイオードを含む画素１２が規則的に２次元的に配列された画素部（いわゆる撮像領域）１３と、周辺回路部とから構成される。画素１２は、フォトダイオードと、複数の画素トランジスタ（いわゆるＭＯＳトランジスタ）を有する。
【００２１】
複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ、増幅トランジスタの３つのトランジスタで構成することができる。その他、選択トランジスタを追加して４つのトランジスタで構成することもできる。
【００２２】
周辺回路部は、垂直駆動回路１４と、カラム信号処理回路１５と、水平駆動回路１６と、出力回路１７と、制御回路１８等から構成されている。
【００２３】
制御回路１８は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路１４、カラム信号処理回路１５及び水平駆動回路１６等の動作の基準となるクロック信号や制御信号を生成する。制御回路１８は、これらの信号を垂直駆動回路１４、カラム信号処理回路１５及び水平駆動回路１６等に入力する。
【００２４】
垂直駆動回路１４は、例えばシフトレジスタによって構成される。垂直駆動回路１４は、画素部１３の各画素１２を行単位で順次垂直方向に選択走査し、垂直信号線１９を通して各画素１２の光電変換素子において受光量に応じて生成した信号電荷に基く画素信号をカラム信号処理回路１５に供給する。
【００２５】
カラム信号処理回路１５は、画素１２の例えば列ごとに配置され、１行分の画素１２から出力される信号を画素列ごとに黒基準画素（有効画素領域の周囲に形成される）からの信号によってノイズ除去などの信号処理を行う。即ち、カラム信号処理回路１５は、画素１２固有の固定パターンノイズを除去するためのＣＤＳ（correlated double sampling）や、信号増幅等の信号処理を行う。カラム信号処理回路１５の出力段には水平選択スイッチ（図示せず）が水平信号線１１との間に接続されて設けられている。
【００２６】
水平駆動回路１６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路１５の各々を順番に選択し、カラム信号処理回路１５の各々から画素信号を水平信号線１１に出力する。
出力回路１７は、カラム信号処理回路１５の各々から水平信号線１１を通して順次に供給される信号に対し、信号処理を行って出力する。
【００２７】
上記の固体撮像装置１０を、裏面照射型の固体撮像装置に適用する場合は、光入射面（いわゆる受光面）側の裏面上には複数配線層が形成されず、複数配線層は受光面と反対側の表面側に形成される。
【００２８】
［カラーフィルタ配列及び画素配列の構成例］
次に、上述の固体撮像装置の画素部における画素のカラー配列について説明する。
図２は、固体撮像装置の画素のカラー配列を示す図である。
図２に示すように、本実施の形態の固体撮像装置の画素部のカラー配列は、２行２列の４画素の繰り返しからなる。この４画素は、Ｓ１画素２１、Ｓ２画素２２、Ｒ画素２３、及び、Ｂ画素２４からなる。
Ｒ画素２３は、赤色光を透過するＲフィルタを備える。また、Ｂ画素２４は、青を備える。
Ｓ１画素２１は、透過率が入射光の波長に依存せずに一定の透過率を有するＳ１フィルタを備えている。また、Ｓ２画素２２は、透過率が入射光の波長に依存せずに一定の透過率を有し、Ｓ１フィルタよりも透過率が低いＳ２フィルタを備えている。
図２に示す配列は、ベイヤー配列のＧ、Ｒ、Ｂ（緑、赤、青）のカラー配列のＧ画素にかえて、Ｓ１画素２１及びＳ２画素２２を用いている。
【００２９】
Ｓ１画素２１及びＳ２画素２２に設けられているカラーフィルタである、Ｓ１フィルタ及びＳ２フィルタの特性について図３を用いて説明する。図３は、横軸は画素に入射する光の波長（ｎｍ）を示し、縦軸はＳ１画素２１及びＳ２画素のカラーフィルタの透過率を示す。また、図３では、Ｓ１フィルタ及びＳ２フィルタの透過率毎に、Ｓ１画素２１及びＳ２画素２２に入射する光の波長と画素感度との関係を示している。つまり、Ｓ１又はＳ２フィルタの透過率と波長との関係を、画素の入射光量毎に表している。
【００３０】
ここで、簡略化のため固体撮像素子自身が有する分光感度特性は考慮せずに説明すると、Ｓ１フィルタ及びＳ２フィルタは、入射する全波長を透過するため、Ｓ１画素２１及びＳ２画素２２の感度と、Ｓ１フィルタ及びＳ２フィルタの透過率（％）は同じとすることができる。このため、Ｓ１及びＳ２フィルタの透過率が１００％の場合は、この透過率１００％のフィルタを有する画素の感度は１００％である。また、Ｓ１画素２１及びＳ２画素２２では、Ｓ１フィルタ又はＳ２フィルタの透過率に応じて画素の感度が一定であり、入射光の波長領域の全てにおいて一定の感度を有する。
【００３１】
また、Ｓ１及びＳ２フィルタの透過率が７５％の場合には、この透過率７５％のＳ１又はＳ２フィルタを有する画素の感度は７５％である。同様に、Ｓ１及びＳ２フィルタの透過率が５０％の場合に画素の感度が５０％であり、Ｓ１及びＳ２フィルタの透過率が２５％の場合に画素の感度が２５％である。
このように、Ｓ１フィルタ及びＳ２フィルタの透過率を調整することにより、Ｓ１画素及びＳ２画素の感度を所望の値に設定することができる。また、固体撮像素子自身が有する分光感度特性を考慮した場合も、感度出力値が波長依存性を持つだけで、同様に扱うことが可能である。
【００３２】
可視光領域の全波長を透過するＳ１フィルタ、及び、Ｓ２フィルタは、所望の分光となるような膜厚のアルミ、銀、ロジウムなどの金属を蒸着などによりＳ１画素２１及びＳ２画素２２上に成膜する。または、カーボンブラックを樹脂中に所望の分光となる濃度を分散した材料をＳ１画素２１及びＳ２画素２２上に形成する。また、Ｒフィルタ及びＢフィルタは、公知の方法、材料等により形成することができる。
カーボンブラックを含有した樹脂を用いた場合、感光性を持たせることにより、Ｓ１及びＳ２フィルタをそれぞれリソグラフィの手法により形成することが可能となり、従来技術を応用することで簡便に上述の構造の画素部を構成することができる。
【００３３】
［画素への入射光量と信号出力との関係の説明］
次に、Ｒ、Ｂ、Ｓ１、Ｓ２画素の入射光量に対する信号出力を図４に示す。図４は、縦軸が各画素からの信号出力、横軸が各画素への入射光量を示し、各画素への入射光量に対する画素からの信号出力を表している。
【００３４】
上述のように、固体撮像装置に用いるカラーフィルタは、Ｒ画素用のＲフィルタと、Ｂ画素用のＢフィルタと、Ｓ１画素用のＳ１フィルタ、Ｓ２画素用のＳ２フィルタの４種類のフィルタを備える。
このとき、Ｓ１フィルタは、Ｓ１画素の感度がＲ画素の感度よりもが高くなるように、透過率が設定されている。また、Ｓ２フィルタは、Ｓ２画素の感度がＳ１画素の感度よりもが低くなるように、透過率が設定されている。
【００３５】
例えば、一般的なベイヤー配列におけるＧｒｅｅｎフィルタを有する画素（Ｇ画素）の感度を図４に破線Ｇで示す。
Ｓ１画素は、Ｇ画素よりも感度が高く、Ｓ２画素は、Ｇ画素よりも感度が低くなるように、Ｓ１フィルタ及びＳ２フィルタの透過率を設定することが好ましい。
一般的なベイヤー配列の画素部において、Ｇｒｅｅｎフィルタを有する画素の感度は、可視光領域で吸収の無いフィルタを配置、又は、カラーフィルタを配置しない画素の感度を１００としたとき、４０から６０となる。
すなわち、上述のＲ、Ｂ、Ｓ１、Ｓ２画素において、Ｓ１フィルタの透過率を、可視光領域で吸収の無いフィルタを配置する、あるいは、カラーフィルタを配置しない画素の感度を１００としたときに、Ｓ１画素の感度が４０から１００となるように設定する。
さらに、Ｓ２フィルタの透過率を、カラーフィルタを配置しない画素を１００としたときに、Ｓ２画素の感度が６０以下となるように設定する。
【００３６】
このように、Ｓ１フィルタの透過率を調整し、Ｓ１画素の感度をＧ画素よりも高くすることにより、Ｇ画素を備える固体撮像装置よりも、感度を高くすることができる。このため、Ｓ１画素は飽和出力となる入射光量Ｌ１までの範囲で、通常のＧ画素よりも出力が高くなる。このとき、図４に示すように、Ｓ１画素のダイナミックレンジＤ１は、Ｇ画素のダイナミックレンジＤよりも狭くなる。しかしながら、Ｓ１フィルタを図３に示すように入射光の波長に対して吸収の無い分光を有するフィルタを用いることで、固体撮像装置の感度を全て活用することができ、固体撮像装置の感度を向上させることができる。
【００３７】
一方、Ｓ２画素は通常のＧ画素に対して、飽和信号に達する光量をＬからＬ２に大きくすることができ、ダイナミックレンジをＤからＤ２へと拡大することができる。Ｓ２画素は、Ｇ画素よりも感度が低いが、Ｇ画素が飽和点に達する光量Ｌよりも、Ｓ２画素が飽和点に達するまでの光量Ｌ２が大きい。このため、Ｓ２画素のダイナミックレンジＤ２を、Ｇ画素のダイナミックレンジＤよりも拡大することができる。
【００３８】
このとき、Ｓ２画素の感度をＲ画素またはＢ画素の感度の高い画素よりも低くすることにより、更にダイナミックレンジを拡大することが可能である。例えば、図５に示すように、Ｒ画素がＳ２画素よりも感度が高く、更にＢ画素よりも感度が高い場合には、Ｒ画素が飽和点に達する光量Ｌ２までを、Ｒ、Ｇ、Ｓ２画素のダイナミックレンジＤ２とすることができる。このため、図４に示すＳ２画素がＲ画素及びＢ画素よりも感度が高い構成よりも、図５に示すＲ画素がＳ２画素及びＢ画素よりも感度が高い構成の方が、ダイナミックレンジＤ２を拡大することができる。
【００３９】
上述のように、Ｓ２画素の感度が、Ｒ画素又はＢ画素の感度の高い方の画素よりも低い場合は、図５のように飽和信号に達する入射光量Ｌ２とダイナミックレンジＤ２が、Ｒ画素又はＢ画素の感度の高い方の画素によって決まる。
なお、Ｒ画素とＢ画素の感度の大小関係は、搭載されるカラーフィルタの分光及びイメージセンサのカラーフィルタ以外の分光感度特性によって任意に決まるものであり、図４や図５に示す構成に特に限定されるものではない。
【００４０】
また、Ｓ２画素の感度は、Ｓ１画素よりも感度が低ければ、その感度自体は特に限定されない。Ｓ２画素が、Ｒ画素及びＢ画素よりも感度が高い場合は、図４のように飽和信号に達する入射光量Ｌ２とダイナミックレンジＤ２は、Ｓ２画素の感度で決まる。また、Ｓ２画素の感度が、Ｒ画素又はＢ画素の感度の高い画素よりも低い場合は、図５のように飽和信号に達する入射光量Ｌ２とダイナミックレンジＤ２はＲ画素又はＢ画素の感度で決まる。このように、Ｓ２画素の感度がＲ画素又はＢ画素の感度の低い方の画素よりも高いか低いかについては限定されない。
【００４１】
従って、上述の構成のＲ、Ｂ、Ｓ１、Ｓ２画素配列の画素部を有する固体撮像装置では、Ｓ１画素が飽和点に達するＬ１までの入射光量において、Ｓ１画素、Ｒ画素及びＢ画素により、感度の高い画像を合成することができる。また、Ｓ１画素が飽和点に達するＬ１以上の入射光量では、Ｓ２画素、Ｒ画素及びＢ画素により、ダイナミックレンジの広い画像を合成することができる。
【００４２】
［出力信号から画像を生成する信号処理の例：構成例１］
次に、上述の信号処理に用いて画素出力から輝度信号Ｙ及び色差信号Ｃを生成するための信号処理回路の第１の例について説明する。図６に、この第１の例の信号処理回路３０のブロック図を示す。
【００４３】
まず、画素補間演算部３１において、固体撮像装置のＲ画素、Ｂ画素、Ｓ１画素及びＳ２画素から出力されるＲ信号、Ｂ信号、Ｓ１信号及びＳ２信号を受ける。そして、公知の画素補間処理により上記の出力信号から、各画素に対して高感度ニュートラル信号Ｓ１、低感度ニュートラル信号Ｓ２、Ｒｅｄ信号Ｒ、及び、Ｂｌｕｅ信号Ｂを生成する。
【００４４】
上述のＲ、Ｂ、Ｓ１、Ｓ２配列の画素において、Ｓ１画素とＳ２画素のフィルタはニュートラルな（可視光波長領域で透過率に偏りがない）分光であるため、お互いに係数をかけることにより同じ分光の画素からの信号と同等に扱うことが可能である。
つまり、Ｓ１フィルタとＳ２フィルタの透過率は、図３に示すグラフのように、可視光の吸収に波長依存性が無く、一定の透過率を有する。ここで、Ｓ１画素の感度と可視光に全く吸収の無いフィルタを搭載した画素の感度との比率をａ１とする。また、Ｓ２画素の感度と可視光に全く吸収の無いフィルタを搭載した画素の感度との比率をａ２とする。このとき、下記式（１）により、低感度ニュートラル信号Ｓ２と同等に扱うことが可能な信号を、高感度ニュートラル信号Ｓ１から生成することができる。また、下記式（２）より、高感度ニュートラル信号Ｓ１と同等に扱うことが可能な信号を、低感度ニュートラル信号Ｓ２から生成することができる。
Ｓ１＝（Ｓ２／ａ２）×ａ１    ・・・（１）
Ｓ２＝（Ｓ１／ａ１）×ａ２    ・・・（２）
【００４５】
従って、例えば図２に示すように、ベイヤー配列のＧ画素の位置に、Ｓ１画素とＳ２画素とを交互に配列する構成とする。この構成により、分光特性の違う４種類の画素を持ちながら、Ｌ１までの入射光量の範囲ではベイヤー配列の固体撮像装置を用いた場合と同等の解像度を得ることが可能である。
【００４６】
また、入射光量Ｌ１を超える範囲では、Ｓ１画素が飽和しているためＳ１画素位置に低感度ニュートラル信号Ｓ２を生成する必要がある。Ｓ１画素位置の低感度ニュートラル信号Ｓ２は、上記式（２）を用いてＳ２画素の信号を用いた補間処理により生成する。
【００４７】
また、入射光量がＬ１を超えているかどうかは、Ｓ１画素飽和判断部３５によって判断する。
Ｓ１画素飽和判断部３５には、上述の画素補間演算部３１とは別に、Ｓ１画素からの出力信号が送られる。そして、Ｓ１画素飽和判断部３５では、Ｓ１画素から送られた出力信号から、Ｓ１画素への入射光量が飽和点である光量Ｌ１を超えているか判断し、Ｓ１画素が飽和しているかを判断する。
【００４８】
入射光量がＬ１を超えない場合には、Ｓ２画素位置にＳ１信号を用いて高感度ニュートラル信号Ｓ１を生成するように画素補間演算部３１に指示する。また、入射光量がＬ１を超えている場合には、Ｓ１画素位置にＳ２信号を用いて低感度ニュートラル信号Ｓ２を生成するように画素補間演算部３１に指示する。
【００４９】
次に、Ｇ演算部３２により、高感度ニュートラル信号Ｓ１と、Ｒｅｄ信号Ｒと、Ｂｌｕｅ信号Ｂとから、Ｇｒｅｅｎ信号Ｇ１、Ｒｅｄ信号Ｒ１及びＢｌｕｅ信号Ｂ１を生成する。また、低感度ニュートラル信号Ｓ２と、Ｒｅｄ信号Ｒと、Ｂｌｕｅ信号Ｂとから、Ｇｒｅｅｎ信号Ｇ２、Ｒｅｄ信号Ｒ２、Ｂｌｕｅ信号Ｂ２を生成する。
【００５０】
ここで上述のように、Ｓ１画素とＳ２画素の感度と可視光に全く吸収の無いフィルタを搭載した画素の感度との比率をそれぞれａ１、ａ２とする。
このとき、高感度画像生成用の信号であるＧｒｅｅｎ信号Ｇ１、Ｒｅｄ信号Ｒ１、Ｂｌｕｅ信号Ｂ１は、高感度ニュートラル信号Ｓ１、Ｒｅｄ信号Ｒ、及び、Ｂｌｕｅ信号Ｂを用いて、下記式（３）により得ることができる。そして、低感度画像生成用の信号であるＧｒｅｅｎ信号Ｇ２、Ｒｅｄ信号Ｒ２、Ｂｌｕｅ信号Ｂ２は、低感度ニュートラル信号Ｓ２、Ｒｅｄ信号Ｒ、及び、Ｂｌｕｅ信号Ｂを用いて下記式（４）により得ることができる。
Ｇ１＝Ｓ１−ａ１（Ｒ＋Ｂ）、  Ｒ１＝Ｒ、  Ｂ１＝Ｂ    ・・・（３）
Ｇ２＝Ｓ２−ａ２（Ｒ＋Ｂ）、  Ｒ２＝Ｒ、  Ｂ２＝Ｂ    ・・・（４）
【００５１】
また、高感度画像生成用の信号であるＧｒｅｅｎ信号Ｇ１、Ｒｅｄ信号Ｒ１、Ｂｌｕｅ信号Ｂ１は、高感度ニュートラル信号Ｓ１、Ｒｅｄ信号Ｒ、及び、Ｂｌｕｅ信号Ｂを用いて、下記式（５）により得ることもできる。そして、低感度画像生成用の信号であるＧｒｅｅｎ信号Ｇ２、Ｒｅｄ信号Ｒ２、Ｂｌｕｅ信号Ｂ２は、低感度ニュートラル信号Ｓ２、Ｒｅｄ信号Ｒ、及び、Ｂｌｕｅ信号Ｂを用いて下記式（６）により得ることもできる。
Ｇ１＝（Ｓ１／ａ１）−（Ｒ＋Ｂ）、  Ｒ１＝Ｒ、  Ｂ１＝Ｂ    ・・・（５）
Ｇ２＝（Ｓ２／ａ２）−（Ｒ＋Ｂ）、  Ｒ２＝Ｒ、  Ｂ２＝Ｂ    ・・・（６）
【００５２】
Ｇ演算部３２において上記式（３）〜（６）を用いて高感度画像を生成するためのＧｒｅｅｎ信号Ｇ１、Ｒｅｄ信号Ｒ１及びＢｌｕｅ信号Ｂ１と、低感度画像を生成するためのＧｒｅｅｎ信号Ｇ２、Ｒｅｄ信号Ｒ２及びＢｌｕｅ信号Ｂ２をそれぞれ生成する。
【００５３】
続いて、第１ＭＴＸ演算部３３において、Ｇ１、Ｒ１、Ｂ１をホワイトバランス、リニアマトリクス処理、色差マトリクス処理等のマトリクス演算処理を行い、高感度画像輝度信号Ｙ１と高感度画像色差信号Ｃ１を生成する。この高感度画像輝度信号Ｙ１と色差信号Ｃ１とは、Ｓ１画素が飽和する入射光量Ｌ１（図４）までの高照度側に対応する高感度画像である。
【００５４】
同様に、第２ＭＴＸ演算部３４においてＧ２、Ｒ２、Ｂ２をホワイトバランス、リニアマトリクス処理、色差マトリクス処理等のマトリクス演算処理を行い、低感度画像輝度信号Ｙ２と低感度画像色差信号Ｃ２を生成する。この低感度画像輝度信号Ｙ２と色差信号Ｃ２は、Ｓ１画素が飽和する入射光量Ｌ１（図４）を超える入射光量に対応する低感度画像である。
【００５５】
そして、上述の高感度画像輝度信号Ｙ１と高感度画像色差信号Ｃ１とによる高感度画像、及び、低感度画像輝度信号Ｙ２と低感度画像色差信号Ｃ２とによる低感度画像を、画像合成部３６において合成する。このとき、Ｓ１画素飽和判断部３５によりＳ１画素の飽和が検出されなければ、高感度画像のみから画像を生成する。
Ｓ１画素の飽和が検出された場合、これら２枚の画像のから、入射光量がＬ１までの画素では高感度画像の輝度信号Ｙ１と色差信号Ｃ１とを用いる。そして、入射光量がＬ１を超えた画素では、低感度画像の輝度信号Ｙ２と色差信号Ｃ２とを用いる。このように、入射光量Ｌ１までの画素と、入射光量Ｌ１を超えた画素とにおいて、高感度画像の信号と低感度画像の信号とをそれぞれ用いることにより、１つの画像を合成により生成する。
このとき、入射光量Ｌ１で使用する画素信号を切り替えてしまうと、合成した画像が不自然になってしまう。このため、それぞれの画像の信号の合成比率を入射光量により変化させる等の公知の種々の方法により自然な画像を生成することが可能である。
【００５６】
［出力信号から画像を生成する信号処理の例：構成例２］
次に、上述の信号処理に用いて画素出力から輝度信号Ｙ及び色差信号をＣ生成するための信号処理回路の第２の例について説明する。図７に、この第２の例の信号処理回路４０のブロック図を示す。なお、以下の説明においては、図５に示す第１の例の信号処理回路３０と同様の構成については詳細な説明を省いて概要部分のみを説明する。
【００５７】
まず、上述の信号処理回路の第１の例と同様に、画素補間演算部４１において、固体撮像装置のＲ画素、Ｂ画素、Ｓ１画素及びＳ２画素から出力されるＲ信号、Ｂ信号、Ｓ１信号及びＳ２信号を受ける。そして、公知の画素補間処理により上記の出力信号から、各画素に対して高感度ニュートラル信号Ｓ１、低感度ニュートラル信号Ｓ２、Ｒｅｄ信号Ｒ、Ｂｌｕｅ信号Ｂを生成する。第２の例の信号処理回路の画素補間演算部４１における、高感度ニュートラル信号Ｓ１、低感度ニュートラル信号Ｓ２、Ｒｅｄ信号Ｒ及びＢｌｕｅ信号Ｂの生成は、上述の第１の例の信号処理回路の画素補間演算部と同様に行うことができる。また、第１の例の信号処理回路と同様に、Ｓ１画素飽和判断部４２において、入射光量がＬ１を超えているかを判断する。そして、入射光量Ｌ１を超える範囲では、Ｓ１画素位置に低感度ニュートラル信号Ｓ２を、Ｓ２画素の信号を用いた補間処理により生成する。
【００５８】
次に、Ｓ演算部４３において、画素補間演算部４１で生成した高感度ニュートラル信号Ｓ１と、低感度ニュートラル信号Ｓ２とを合成し、ニュートラル信号Ｓを生成する。
このとき、各画素において、高感度ニュートラル信号Ｓ１と低感度ニュートラル信号Ｓ２のどちらを用いるかは、Ｓ１画素飽和判断部４２により判断する。
入射光量Ｌ１までの範囲、つまりＳ１画素が飽和しない範囲の入射光量の画素では高感度ニュートラル信号Ｓ１を用いる。そして、入射光量Ｌ１を超える、つまりＳ１画素画飽和する範囲の入射光量の画素では、低感度ニュートラル信号Ｓ２を用いる。このとき、入射光量Ｌ１付近においては、高感度ニュートラル信号Ｓ１と低感度ニュートラル信号Ｓ２を入射光量に対して合成比率を変更するとより自然な画像を生成することが可能である。
【００５９】
次に、Ｇ演算部４４において、Ｓ演算部４３で生成したニュートラル信号Ｓ、並びに、画素補間演算部４１で生成したＲｅｄ信号Ｒ及びＢｌｕｅ信号Ｂから、Ｇｒｅｅｎ信号Ｇ３、Ｒｅｄ信号Ｒ３、Ｂｌｕｅ信号Ｂ３を生成する。
このとき、Ｓ１画素の感度と可視光に全く吸収の無いフィルタを搭載した画素の感度との比率をそれぞれａ１とすると、Ｇｒｅｅｎ信号Ｇ３、Ｒｅｄ信号Ｒ３、Ｂｌｕｅ信号Ｂ３は式（７）または、式（８）により得られる。
Ｇ３＝Ｓ−ａ１（Ｒ＋Ｂ）、  Ｒ３＝Ｒ、  Ｂ３＝Ｂ    ・・・（７）
Ｇ３＝Ｓ３／ａ１−（Ｒ＋Ｂ）、  Ｒ３＝Ｒ、  Ｂ３＝Ｂ    ・・・（８）
【００６０】
続いて、ＭＴＸ演算部４５において、Ｇ演算部４４で生成したＧｒｅｅｎ信号Ｇ３、Ｒｅｄ信号Ｒ３、Ｂｌｕｅ信号Ｂ３をホワイトバランス、リニアマトリクス処理、色差マトリクス処理等のマトリクス演算処理を行い、輝度信号Ｙと色差信号Ｃを生成する。
【００６１】
入射光量が小さい場合には、Ｓ１画素により高感度な画像が得られる。さらに、低感度のＳ２画素を用いて、Ｓ２画素の飽和点となる入射光量Ｌ２までダイナミックレンジを広げることが可能となる。このように、Ｓ１画素が飽和する入射光量でも、Ｓ１画素よりも感度が低くなるＳ２フィルタが設けられているＳ２画素は飽和していない。このＳ１画素とＳ２画素の出力信号を上述の方法で合成することにより、輝度信号Ｙと色差信号Ｃを求めて１つの画像を合成することができる。
Ｓ１画素とＳ２画素のフィルタはともに全波長を透過するため、係数ａ１，ａ２をかけることにより、同じ分光の画素からの信号と同等に扱うことが可能である。
そのため、Ｓ１画素とＳ２画素の配列を例えば上述の図２に示すようにベイヤー配列のＧ画素の位置に交互に配列すれば、４種類の分光特性の違う画素を持ちながらベイヤー配列の固体撮像装置を用いた場合と同等の解像度を得ることが可能である。
また、Ｓ１画素とＳ２画素を備えることにより、従来のベイヤー配列を備える固体撮像装置に対して、解像度を低下させずに、高感度画像と低感度画像とを得ることができる。そして、高感度と広ダイナミックレンジを両立した固体撮像装置やカメラシステムを提供することができる。
【００６２】
〈３．電子機器の構成例〉
本発明に係る固体撮像装置は、固体撮像装置を備えたカメラ、カメラ付き携帯機器、固体撮像装置を備えたその他の機器等の電子機器に適用することができる。
図８に、本発明の電子機器の一例として、固体撮像装置を静止画撮影が可能なデジタルスチルカメラに適用した場合の概略構成を示す。
【００６３】
本実施の形態に係るカメラ５０は、光学系（光学レンズ）５１と、固体撮像装置５２と、信号処理回路５３、駆動回路５４とを備える。
【００６４】
固体撮像装置５２は、上述の固体撮像装置が適用される。光学レンズ５１は、被写体からの像光（入射光）を固体撮像装置５２の撮像面上に結像させる。これにより、固体撮像装置５２の光電変換素子において一定期間信号電荷が蓄積される。駆動回路５４は、固体撮像装置５２の転送動作信号を供給する。駆動回路５４から供給される駆動信号（タイミング信号）により、固体撮像装置５２の信号転送が行われる。信号処理回路５３は、固体撮像装置５２の出力信号に対して種々の信号処理を行う。信号処理回路５３としては、上述の固体撮像装置の出力信号の信号処理回路図６に示す信号処理回路３０又は図７に示す信号処理回路４０を使用することができる。信号処理が行われた映像信号は、メモリなどの記憶媒体に記憶され、又はモニタ等に出力される。本実施の形態のカメラ５０は、光学レンズ５１、固体撮像装置５２、信号処理回路５３、及び、駆動回路５４がモジュール化したカメラモジュールの形態を含む。
【００６５】
本発明は、図８のカメラ、あるいはカメラモジュールを備えた例えば携帯電話に代表されるカメラ付き携帯機器などを構成することができる。
さらに、図８の構成は、光学レンズ５１、固体撮像装置５２、信号処理回路５３、及び、駆動回路５４がモジュール化した撮像機能を有するモジュール、いわゆる撮像機能モジュ−ルとして構成することができる。本発明は、このような撮像機能モジュールを備えた電子機器を構成することができる。
【００６６】
なお、上述の本実施の形態では、固体撮像装置の例としてＣＭＯＳイメージセンサについて説明したが、本発明はＣＭＯＳイメージセンサ以外の固体撮像装置にも適用することができる。本発明は、汎用の固体撮像装置のカラーフィルタ配列を変更することにより実現することができるが、固体撮像装置の種類は、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＤ（Charge Modulation Device）イメージセンサなど種類、方式を問わない。また、本発明におけるシステムの適用範囲は、静止画、動画などカメラシステムによる制限を受け図に適用することができる。
【００６７】
なお、本発明は上述の実施形態例において説明した構成に限定されるものではなく、その他本発明構成を逸脱しない範囲において種々の変形、変更が可能である。
【符号の説明】
【００６８】
１０  固体撮像装置、１１  水平信号線、１２  画素、１３  画素部、１４  垂直駆動回路、１５  カラム信号処理回路、１６  水平駆動回路、１７  出力回路、１８  制御回路、１９  垂直信号線、２１  Ｓ１画素、２２  Ｓ２画素、２３  Ｒ画素、２４  Ｂ画素、３０，４０  信号処理回路、３１，４１  画素補間演算部、３２，４４  Ｇ演算部、３３  第１ＭＴＸ演算部、３４  第２ＭＴＸ演算部、３５，４２  Ｓ画素飽和判断部、３６  画像合成部、４３  Ｓ演算部、４５  ＭＴＸ演算部、５０  カメラ、５１  光学系、５２  固体撮像装置、５３  信号処理回路、５４  駆動回路
【図１】
0005526673.tif 000002
【図２】
0005526673.tif 000003
【図３】
0005526673.tif 000004
【図４】
0005526673.tif 000005
【図５】
0005526673.tif 000006
【図６】
0005526673.tif 000007
【図７】
0005526673.tif 000008
【図８】
0005526673.tif 000009
【図９】
0005526673.tif 000010