(57)【特許請求の範囲】
【請求項１】
光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、
前記２次元配列画素群内の任意の注目画素の第１の輝度情報を生成する第１の輝度情報生成手段と、
前記注目画素のカラー信号を算出するカラー信号算出手段と、
前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、
前記第１の輝度情報生成手段によって生成された第１の輝度情報と、前記第２の輝度情報生成手段によって生成された第２の輝度情報とのうち、いずれか一方の輝度情報を選択する選択手段と、を備え、
前記第１の輝度情報生成手段は、前記注目画素が前記無色画素である場合に、前記注目画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成し、
前記注目画素が前記カラー画素である場合に、前記注目画素の光電変換部によって変換された電気信号、および前記注目画素の周辺に位置する無色画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成し、
前記選択手段によって選択された輝度情報を出力することを特徴とする撮像装置。
【請求項２】
前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の色情報を算出する色情報算出手段を備え、
前記カラー信号算出手段は、前記注目画素が前記カラー画素である場合に、前記注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出し、
前記注目画素が前記無色画素である場合、前記注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択手段を制御して、被写体を撮像するときの露光情報に基づいて、前記第１の輝度情報と第２の輝度情報のうち、いずれか一方の輝度情報を選択する選択制御手段を備えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、
前記２次元配列画素群内の任意の注目画素の第１の輝度情報を生成する第１の輝度情報生成手段と、
前記注目画素のカラー信号を算出するカラー信号算出手段と、
前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、
前記第１の輝度情報生成手段と前記第２の輝度情報生成手段のうち、いずれか一方の輝度情報生成手段を選択する選択手段と、を備え、
前記第１の輝度情報生成手段は、前記注目画素が前記無色画素である場合に、前記注目画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成し、
前記注目画素が前記カラー画素である場合に、前記注目画素の光電変換部によって変換された電気信号、および前記注目画素の周辺に位置する無色画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成し、
前記選択手段によって選択された輝度情報選択手段により生成される輝度情報を出力することを特徴とする撮像装置。
【請求項５】
前記選択手段を制御して、被写体を撮像するときの露光情報に基づいて、前記第１の輝度情報生成手段と第２の輝度情報生成手段のうち、いずれか一方の輝度情報生成手段を選択する選択制御手段を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、
前記２次元配列画素群内の任意の注目画素の第１の輝度情報を生成する第１の輝度情報生成手段と、
前記注目画素のカラー信号を算出するカラー信号算出手段と、
前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、
被写体を撮像するときの露光情報に基づいて、被写体の明暗に関するパラメータを設定するパラメータ設定手段と、
前記第１の輝度情報生成手段によって生成された第１の輝度情報と、前記第２の輝度情報生成手段によって生成された第２の輝度情報と、前記パラメータ設定手段によって設定されたパラメータと、に基づいて、前記注目画素の第３の輝度情報を生成する第３の輝度情報生成手段と、を備え、
前記第１の輝度情報生成手段は、前記注目画素が前記無色画素である場合に、前記注目画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成し、
前記注目画素が前記カラー画素である場合に、前記注目画素の光電変換部によって変換された電気信号、および前記注目画素の周辺に位置する無色画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成することを特徴とする撮像装置。
【請求項７】
前記色情報算出手段によって算出された色情報と、前記パラメータ設定手段によって設定されたパラメータとに基づいて、前記注目画素の色情報を生成する色情報生成手段を備えることを特徴とする請求項６に記載の撮像装置。
【請求項８】
光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、
前記２次元配列画素群内の任意の注目画素のカラー信号を算出するカラー信号算出手段と、
前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の輝度情報を生成する輝度情報生成手段と、を備え、
前記カラー信号算出手段は、前記注目画素が前記カラー画素である場合、前記注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出し、
前記注目画素が前記無色画素である場合、前記注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出し、
前記色分解フィルタは、赤色透過フィルタと青色透過フィルタと緑色透過フィルタとを備え、
前記撮像素子は、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記２次元配列画素群において対角方向に配列され、
前記撮像素子は、前記カラー画素のうち前記赤色透過フィルタを備えている赤色画素および前記青色透過フィルタを備えている青色画素が、前記２次元配列画素群において前記対角方向に交差する対角方向に配列されており、
前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることを特徴とする撮像装置。
【請求項９】
前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記無色画素と同一の画素サイズであることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記無色画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項８に記載の撮像装置。
【請求項１３】
前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記緑画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
少なくとも前記無色画素の光電変換部を、オーバーフロードレイン構造としたことを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。
【請求項１６】
前記色分解フィルタは、赤色透過フィルタと青色透過フィルタと緑色透過フィルタとを備え、
前記撮像素子は、前記カラー画素のうち前記赤色透過フィルタを備えている赤色画素および前記青色透過フィルタを備えている青色画素が、前記赤色画素および前記青色画素の光電変換部によって変換される電気信号の出力方向に配列されていることを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。
【請求項１７】
前記撮像素子は、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記出力方向に配列されており、
前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、同一の画素サイズであることを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記撮像素子は、さらに、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記出力方向に配列されており、
前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることを特徴とする請求項１６に記載の撮像装置。
【請求項１９】
前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることを特徴とする請求項１８に記載の撮像装置。
【請求項２０】
前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることを特徴とする請求項１８に記載の撮像装置。
【請求項２１】
前記無色画素は、透明フィルタまたは透明絶縁層を備えていることを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像する撮像装置、光電変換部を含む画素が２次元配列された２次元配列画素群を有する撮像素子、および撮像素子を用いた画像処理方法に関するものである。
【背景技術】
【０００２】
図２９は、従来の固体撮像素子の２次元配列画素群を示す説明図である。図２９において、２次元配列画素群２９０１は、原色系（ＲＧＢ）の色分解フィルタを画素ごとにベイヤ配列されている。
【０００３】
また、下記特許文献１の従来技術では、被写体の色情報に左右されない輝度解像度を持った撮像画像を得る固体撮像素子が開示されている。この固体撮像素子は、縦横に配列されたフォトダイオードを備え、各フォトダイオードのうち市松状に配列されたフォトダイオードに輝度フィルタＹを設け、輝度フィルタＹが設けられていない残りの市松状に配置されたフォトダイオードにカラーフィルタＲ，Ｇ，Ｂを設けている。
【０００４】
さらに、下記特許文献２の従来技術では、画素が図２９に示したようなベイヤ配列に近い配列の撮像装置が開示されている。この撮像装置の画素配列と図２９に示したベイヤ配列との違いは、「Ｇ」の画素が少ない点であり、通常画像の撮影時は「Ｒ」「Ｇ」「Ｂ」の画素出力で色差信号を生成し、カラーフィルタが形成されていない画素の画素出力で輝度信号を生成している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３１８３７５号公報
【特許文献２】特開２００３−２４４７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年、カメラの小型化および高画素化が要求されている。したがって、上述した図２９に示したベイヤ配列の固体撮像素子では、カメラの小型化および高画素化による１画素あたりの面積が縮小され、それに伴いフォトダイオードの面積が縮小され、感度不足が生じるという問題があった。特に、色分解フィルタは、各色に応じた波長成分しか透過しないため、入射可視光の輝度成分が低下して感度を低下させる原因になっている。
【０００７】
また、上述した特許文献１の従来技術では、被写体の色情報に左右されない輝度解像度が向上する反面、明るいときの色情報（色差）の分解能が１／２に低下してしまうという問題があった。
【０００８】
さらに、上述した特許文献２の従来技術では、ＲＧＢ画素の出力により色差信号を生成しているため、明時の色分解能が向上する反面、色分解フィルタが形成されていない画素は、４画素中１画素しかないことから、明時における輝度分解能が低下するという問題があった。
【０００９】
本発明は、上述した従来技術による問題点を解消するため、明時には高分解能の輝度を得、かつ、暗時には高感度を得ることにより、明暗にかかわらず撮像画像の高画質化を図ることができる撮像装置、撮像素子および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、この発明の撮像装置は、光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、前記２次元配列画素群内の任意の注目画素の第１の輝度情報を生成する第１の輝度情報生成手段を備え、前記第１の輝度情報生成手段は、前記注目画素が前記無色画素である場合に、前記注目画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成し、前記注目画素が前記カラー画素である場合に、前記注目画素の光電変換部によって変換された電器信号、および前記注目画素の周辺に位置する無色画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の第１の輝度情報を生成することを特徴とする。
【００１１】
また、上記発明において、前記注目画素のカラー信号を算出するカラー信号算出手段と、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の色情報を算出する色情報算出手段と、を備え、前記カラー信号算出手段は、前記注目画素が前記カラー画素である場合に、前記注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出し、前記注目画素が前記無色画素である場合、前記注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出することとしてもよい。
【００１２】
また、上記発明において、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、前記第１の輝度情報生成手段によって生成された第１の輝度情報または前記第２の輝度情報生成手段によって生成された第２の輝度情報のうちいずれか一方の輝度情報を選択する選択手段と、を備え、前記選択手段によって選択された輝度情報を出力することとしてもよい。
【００１３】
また、上記発明において、前記選択手段を制御して、被写体を撮像するときの露光情報に基づいて、前記第１の輝度情報と第２の輝度情報のうち、いずれか一方の輝度情報を選択する選択制御手段を備えることとしてもよい。
【００１４】
また、上記発明において、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、前記第１の輝度情報生成手段または前記第２の輝度情報生成手段のうちいずれか一方の輝度情報生成手段を選択する選択手段と、を備え、前記選択手段によって選択された輝度情報選択手段により生成される輝度情報を出力することとしてもよい。
【００１５】
また、上記発明において、前記選択手段を制御して、被写体を撮像するときの露光情報に基づいて、前記第１の輝度情報生成手段と第２の輝度情報生成手段のうち、いずれか一方の輝度情報生成手段を選択する選択制御手段を備えることとしてもよい。
【００１６】
また、上記発明において、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の第２の輝度情報を生成する第２の輝度情報生成手段と、被写体を撮像するときの露光情報に基づいて、被写体の明暗に関するパラメータを設定するパラメータ設定手段と、前記第１の輝度情報生成手段によって生成された第１の輝度情報と、前記第２の輝度情報生成手段によって生成された第２の輝度情報と、前記パラメータ設定手段によって設定されたパラメータと、に基づいて、前記注目画素の第３の輝度情報を生成する第３の輝度情報生成手段と、を備えることとしてもよい。
【００１７】
また、上記発明において、前記色情報算出手段によって算出された色情報と、前記パラメータ設定手段によって設定されたパラメータとに基づいて、前記注目画素の色情報を生成する色情報生成手段を備えることとしてもよい。
【００１８】
また、この発明の撮像装置は、光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子と、前記２次元配列画素群内の任意の注目画素のカラー信号を算出するカラー信号算出手段と、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の輝度情報を生成する輝度情報生成手段と、を備え、前記カラー信号算出手段は、前記注目画素が前記カラー画素である場合、前記注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出し、前記注目画素が前記無色画素である場合、前記注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、前記注目画素のカラー信号を算出することを特徴とする。
【００１９】
また、上記発明において、前記カラー信号算出手段によって算出されたカラー信号に基づいて、前記注目画素の色情報を算出する色情報算出手段を備えることとしてもよい。
【００２０】
また、上記発明において、前記色分解フィルタは、赤色透過フィルタと青色透過フィルタと緑色透過フィルタとを備え、前記撮像素子は、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記２次元配列画素群において対角方向に配列されていることとしてもよい。
【００２１】
また、上記発明において、前記撮像素子は、前記カラー画素のうち前記赤色透過フィルタを備えている赤色画素および前記青色透過フィルタを備えている青色画素が、前記２次元配列画素群において前記対角方向に交差する対角方向に配列されており、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることとしてもよい。
【００２２】
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることとしてもよい。
【００２３】
また、上記発明において、前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記無色画素と同一の画素サイズであることとしてもよい。
【００２４】
また、上記発明において、前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記無色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
【００２５】
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
【００２６】
また、上記発明において、前記２行２列の任意の画素領域において、前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
【００２７】
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素の画素サイズが、前記緑画素の画素サイズよりも大きい画素サイズであることとしてもよい。
【００２８】
また、上記発明において、少なくとも前記無色画素の光電変換部を、オーバーフロードレイン構造としたこととしてもよい。
【００２９】
また、上記発明において、前記色分解フィルタは、赤色透過フィルタと青色透過フィルタと緑色透過フィルタとを備え、前記撮像素子は、前記カラー画素のうち前記赤色透過フィルタを備えている赤色画素および前記青色透過フィルタを備えている青色画素が、前記赤色画素および前記青色画素の光電変換部によって変換される電気信号の出力方向に配列されていることとしてもよい。
【００３０】
また、上記発明において、前記撮像素子は、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記出力方向に配列されており、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、同一の画素サイズであることとしてもよい。
【００３１】
また、上記発明において、前記撮像素子は、さらに、前記無色画素および前記カラー画素のうち前記緑色透過フィルタを備えている緑色画素が、前記出力方向に配列されており、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることとしてもよい。
【００３２】
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることとしてもよい。
【００３３】
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
【００３４】
また、上記発明において、前記無色画素は、透明フィルタまたは透明絶縁層を備えていることとしてもよい。
【００３５】
また、光電変換部を含む画素が２次元配列された２次元配列画素群を有する撮像素子であって、前記２次元配列画素群のうち、赤色透過フィルタを備えている赤色画素および青色透過フィルタを備えている青色画素が、前記光電変換部によって変換される電気信号の出力方向に配列されていることを特徴とする。
【００３６】
また、上記発明において、前記２次元配列画素群のうち、緑色透過フィルタを備えている緑色画素と、前記赤色透過フィルタ、前記青色透過フィルタおよび前記緑色透過フィルタのいずれの色分解フィルタも備えていない無色画素とが、前記出力方向に配列されていることとしてもよい。
【００３７】
また、上記発明において、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、同一の画素サイズであることとしてもよい。
【００３８】
また、上記発明において、前記２次元配列画素群内の２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズと、前記赤色画素および前記青色画素の画素サイズとが、異なる大きさの画素サイズであることとしてもよい。
【００３９】
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも小さい画素サイズであることとしてもよい。
【００４０】
また、上記発明において、前記２行２列の任意の画素領域において、前記無色画素および前記緑色画素の画素サイズが、前記赤色画素および前記青色画素の画素サイズよりも大きい画素サイズであることとしてもよい。
【００４１】
また、上記発明において、前記無色画素は、透明フィルタまたは透明絶縁層を備えていることとしてもよい。
【００４２】
また、この発明の画像処理方法は、光電変換部を含む画素が２次元配列された２次元配列画素群が、特定色を通過させる色分解フィルタを備えているカラー画素と、前記色分解フィルタを備えていない無色画素とから構成されている撮像素子を用いた画像処理方法であって、前記２次元配列画素群内の任意の注目画素が前記無色画素である場合に、前記注目画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の輝度情報を生成し、前記注目画素が前記カラー画素である場合に、前記注目画素の周辺に位置する無色画素の光電変換部によって変換された電気信号に基づいて、前記注目画素の輝度情報を生成することを特徴とする。
【発明の効果】
【００４３】
本発明にかかる撮像装置、撮像素子および画像処理方法によれば、明時には高分解能の輝度を得、かつ、暗時には高感度を得ることができ、明暗にかかわらず撮像画像の高画質化を図ることができるという効果を奏する。また、暗時の感度が向上するため、画素サイズを縮小することができ、撮像素子および撮像装置の小型化を図ることができるという効果を奏する。またこれにより、大画素への対応も容易におこなうことができるという効果を奏する。
【図面の簡単な説明】
【００４４】
【図１】図１は、この発明の実施の形態１にかかる撮像素子の２次元配列画素群を示す説明図である。
【図２】図２は、４ＴｒＡＰＳの概略回路図である。
【図３】図３は、図２に示した４ＴｒＡＰＳの任意の１画素分のピクセル回路図である。
【図４】図４は、図１に示した撮像素子のＡＢ断面図である。
【図５】図５は、図１に示した撮像素子のＣＤ断面図である。
【図６】図６は、図１に示した撮像素子の他の断面構造を示すＡＢ断面図である。
【図７】図７は、図１に示した撮像素子の他の断面構造を示すＣＤ断面図である。
【図８】図８は、ＳｉＮカバー層の成膜後のウェハを示す平面図である。
【図９】図９は、図８に示したウェハのＡＢ断面図である。
【図１０】図１０は、図８に示したウェハのＣＤ断面図である。
【図１１】図１１は、ＳｉＮカバー層のパターンエッチング後のウェハを示す平面図である。
【図１２】図１２は、図１１に示したウェハのＡＢ断面図である。
【図１３】図１３は、図１１に示したウェハのＣＤ断面図である。
【図１４】図１４は、図１２に示したウェハの断面構造において、色分解フィルタが形成されたウェハの断面図である。
【図１５】図１５は、図１３に示したウェハの断面構造において、色分解フィルタが形成されたウェハの断面図である。
【図１６】図１６は、この発明の実施の形態１にかかる撮像装置のハードウェア構成を示すブロック図である。
【図１７】図１７は、ＲＧＢ変換部を備えた撮像装置のハードウェア構成を示すブロック図である。
【図１８】図１８は、この発明の実施の形態２にかかる撮像装置のハードウェア構成を示すブロック図である。
【図１９】図１９は、この発明の実施の形態３にかかる撮像装置のハードウェア構成を示すブロック図である。
【図２０】図２０は、この発明の実施の形態４にかかる撮像装置のハードウェア構成を示すブロック図である。
【図２１】図２１は、この発明の実施の形態５にかかる、撮像素子の２次元配列画素群を示す説明図である。
【図２２】図２２は、この発明の実施の形態６にかかる、撮像素子の２次元配列画素群を示す説明図である。
【図２３】図２３は、この発明の実施の形態７にかかる、撮像素子の２次元配列画素群を示す説明図である。
【図２４】図２４は、この発明の実施の形態８にかかる、撮像素子の２次元配列画素群を示す説明図である。
【図２５】図２５は、この発明の実施の形態９にかかる、撮像素子の２次元配列画素群を示す説明図である。
【図２６】図２６は、ＯＦＤを用いた画素内のピクセル回路図である。
【図２７】図２７は、この発明の実施の形態１０にかかる、撮像素子の２次元配列画素群を示す説明図である。
【図２８】図２８は、この発明の実施の形態１１にかかる、撮像素子の２次元配列画素群を示す説明図である。
【図２９】図２９は、従来の固体撮像素子の２次元配列画素群を示す説明図である。
【発明を実施するための形態】
【００４５】
以下に添付図面を参照して、この発明にかかる撮像装置、撮像素子、および撮像装置の画像処理方法の好適な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００４６】
（実施の形態１）
（撮像素子の基本構造）
まず、この発明の実施の形態１にかかる撮像装置に用いられる撮像素子の基本構造について説明する。図１は、この発明の実施の形態１にかかる撮像素子の２次元配列画素群を示す説明図である。図１において、撮像素子１００は、フォトダイオードなどの光電変換部を含む画素が２次元配列された２次元配列画素群１０１によって構成されている。具体的には、２次元配列画素群１０１は、ｍ行ｎ列（図１では、簡略化のため、ｍ＝６、ｎ＝６）の画素配列とされている。
【００４７】
また、撮像素子１００において、２次元配列画素群１０１は、色分解フィルタを備えている画素（以下、「カラー画素」という）を有している。色分解フィルタとは、特定の波長の可視光のみを透過するフィルタであり、たとえば、赤色に応じた波長を透過する赤色透過フィルタ、青色に応じた波長を透過する青色透過フィルタ、緑色に応じた波長を透過する緑色透過フィルタを用いることができる。
【００４８】
なお、以下の説明において、赤色透過フィルタを備えているカラー画素を「赤色画素Ｒ」、緑色透過フィルタを備えているカラー画素を「緑色画素Ｇ」、青色透過フィルタを備えているカラー画素を「青色画素Ｂ」と称す。
【００４９】
また、撮像素子において、２次元配列画素群１０１は、色分解フィルタを備えていない画素（以下、「無色画素ＮＣ」という）も有している。この無色画素ＮＣは、可視光全波長帯域を透過する透明な材質の有機材料や、赤外線カット材料を用いた赤外線カットフィルタなどの透明フィルタを備えることができる。また、透明フィルタとして、透明絶縁層を用いることもできる。
【００５０】
また、撮像素子１００は、２次元配列画素群１０１中、任意の２行２列の画素領域において、その画素領域を構成する４画素中、３画素はそれぞれ赤色画素Ｒ、緑色画素Ｇおよび青色画素Ｂのカラー画素によって構成され、残りの１画素は、無色画素ＮＣによって構成されている。
【００５１】
つぎに、撮像素子１００を構成する２次元配列画素群１０１の各画素のピクセル構成について説明する。ここでは、撮像素子１００内の光電変換部として、ＣＭＯＳイメージセンサの一種である、４ＴｒＡＰＳ（Ａｃｔｉｖｅ  Ｐｉｘｅｌ  Ｓｅｎｓｏｒ）を一例に挙げて説明する。図２は、４ＴｒＡＰＳの概略回路図である。４ＴｒＡＰＳは、４個のトランジスタと、光電変換素子である１個のフォトダイオードによって１画素を構成する撮像素子である。
【００５２】
図２において、４ＴｒＡＰＳ２００は、ピクセルアレイ部２０１と、行選択回路２０２と、信号読み出し回路２０３と、を含む構成とされている。ピクセルアレイ部２０１には、行ごとに、行方向にトランスファー線２０４、リセット線２０５およびセレクト線２０６が配線されている。
【００５３】
また、列ごとに、列方向にリセット電圧線２０７および信号読み出し線２０８が配線されている。この４ＴｒＡＰＳ２００は、行方向に配線されているトランスファー線２０４、リセット線２０５およびセレクト線２０６によって行ごとに画素の選択および画素内のフォトダイオードからの電気信号の読み出しをおこなうことができる。
【００５４】
つぎに、図２に示した４ＴｒＡＰＳ２００の任意の１画素Ｐij分のピクセル回路について説明する。図３は、図２に示した４ＴｒＡＰＳ２００の任意の１画素分のピクセル回路図である。図３において、ピクセル回路３００は、４個のトランジスタＴｒ（Ｔｒ１〜Ｔｒ４）と１個のフォトダイオードＰＤによって構成されている。
【００５５】
フォトダイオードＰＤは、ＮＰ接合で構成され、外部からの光を受光することにより光電変換をおこない、この光電変換によって発生した信号電荷（電子）を、Ｎ型拡散層に貯留する。トランジスタＴｒ１は、図２に示したトランスファー線２０４と接続されるトランスファーゲートＴＧを備えている。トランスファーゲートＴＧは、フォトダイオードＰＤからフローティングディフージョンＦＤまでの信号電荷の電荷転送を制御する。トランスファーゲートＴＧとトランジスタＴｒ２との間には、フローティングディフージョンＦＤが形成されている。
【００５６】
フローティングディフージョンＦＤは、トランスファーゲートＴＧとトランジスタＴｒ２との間の浮遊拡散層であり、トランジスタＴｒ３のゲートに接続されている。フローティングディフージョンＦＤは、フォトダイオードＰＤから転送される信号電荷を電圧に変換する容量である。
【００５７】
また、トランジスタＴｒ２は、リセットトランジスタであり、図２に示したリセット線２０５と接続されるリセットゲートＲＳＴを備えている。トランジスタＴｒ２は、フローティングディフージョンＦＤの電圧を、１．５〜２．０［Ｖ］程度のリセット電圧ＶＲにリセットする。
【００５８】
トランジスタＴｒ３は、ソースフォロアトランジスタであり、信号電荷によって変化するフローティングディフージョンＦＤの電圧に応じた信号電圧を出力する。トランジスタＴｒ４は、行選択トランジスタであり、信号読み出し線２０８に接続されている。
【００５９】
この４ＴｒＡＰＳ２００では、まず、トランスファーゲートＴＧとリセットゲートＲＳＴおよびリセット電圧ＶＲをＯＮにしてリセット状態とする。トランスファーゲートＴＧとリセットゲートＲＳＴをＯＦＦにすると、フォトダイオードＰＤの寄生容量に信号電荷が蓄えられる。
【００６０】
露光時間が過ぎると、トランスファーゲートＴＧをＯＮにし、フォトダイオードＰＤで受光した光に比例した信号電荷を、フローティングディフージョンＦＤに転送する。そして、トランジスタＴｒ４をＯＮにすると、トランジスタＴｒ３が動作して、信号読み出し線２０８にフローティングディフージョンＦＤの電圧レベルに比例した電気信号を出力する。
【００６１】
つぎに、図１に示した撮像素子１００の断面構造について説明する。図４は、図１に示した撮像素子１００のＡＢ断面図であり、図５は、図１に示した撮像素子１００のＣＤ断面図である。図４および図５において、撮像素子１００は、シリコン基板４０１と、バルク層４０２と、配線層４０３と、透明絶縁層であるＳｉＮカバー層４０４と、が積層されている。バルク層４０２には、フォトダイオードとＰＤとトランジスタＴｒが埋め込まれている。配線層４０３には、層間絶縁膜と配線金属層が含まれている。
【００６２】
また、ピクセルアレイ部２０１においては、画素ごとに、色分解フィルタ４０５とマイクロレンズ４０６とが、備えられている。図４に示した赤色画素Ｒと緑色画素Ｇにおいて、赤色画素Ｒの色分解フィルタ４０５は赤色透過フィルタ４０５Ｒであり、緑色画素Ｇの色分解フィルタ４０５は緑色透過フィルタ４０５Ｇである。
【００６３】
同様に、図５に示した青色画素Ｂと無色画素ＮＣにおいて、青色画素Ｂの色分解フィルタ４０５は青色透過フィルタ４０５Ｂであり、無色画素ＮＣの色分解フィルタ４０５は、透明樹脂などで形成された透明フィルタ４０５ＮＣである。なお、透明フィルタ４０５ＮＣは、赤外線カットフィルタを用いてもよい。
【００６４】
この断面構造では、各画素Ｒ、Ｇ、Ｂ、ＮＣにおいて、外部からの光は、マイクロレンズ４０６、色分解フィルタ４０５（４０５Ｒ、４０５Ｇ、４０５Ｂ、４０５ＮＣ）、ＳｉＮカバー層４０４、配線層４０３の層間絶縁膜を透過して、バルク層４０２のフォトダイオードＰＤに受光される。
【００６５】
つぎに、図１に示した撮像素子１００の他の断面構造について説明する。図６は、図１に示した撮像素子１００の他の断面構造を示すＡＢ断面図であり、図７は、図１に示した撮像素子１００の他の断面構造を示すＣＤ断面図である。この図６および図７に示す断面構造は、無色画素ＮＣにのみ色分解フィルタ４０５が設けられていない構造である。なお、図４及び図５と同一構成には同一符号を付し、その説明を省略する。
【００６６】
この断面構造では、各画素Ｒ、Ｇ、Ｂにおいて、外部からの光は、マイクロレンズ４０６、色分解フィルタ４０５（４０５Ｒ、４０５Ｇ、４０５Ｂ）、ＳｉＮカバー層４０４、配線層４０３の層間絶縁膜を透過して、バルク層４０２のフォトダイオードＰＤに受光される。また、無色画素ＮＣにおいては、外部からの光は、マイクロレンズ４０６、ＳｉＮカバー層４０４、配線層４０３の層間絶縁膜を透過して、バルク層４０２のフォトダイオードＰＤに受光される。
【００６７】
つぎに、図６および図７に示した断面構造の撮像素子１００の製造工程について説明する。図８〜図１５は、図６および図７に示した断面構造の撮像素子の製造工程を示す説明図である。まず、ＳｉＮカバー層４０４の成膜後のウェハを用意する。
【００６８】
図８は、ＳｉＮカバー層４０４の成膜後のウェハを示す平面図であり、図９は、図８に示したウェハ８００のＡＢ断面図であり、図１０は、図８に示したウェハ８００のＣＤ断面図である。図８において、ウェハ８００には、２次元配列画素群となるピクセルアレイ部８０１が形成されている。
【００６９】
つぎに、ＳｉＮカバー層４０４のピクセルアレイ部８０１のうち、色分解フィルタ４０５の形成位置に相当する画素位置を、たとえば、フォトリソグラフィ法によって、パターンエッチングする。図１１は、ＳｉＮカバー層４０４のパターンエッチング後のウェハ８００を示す平面図であり、図１２は、図１１に示したウェハ８００のＡＢ断面図であり、図１３は、図１１に示したウェハ８００のＣＤ断面図である。図１１〜図１３において、パターンエッチングによってＳｉＮカバー層４０４に溝１１００が形成される。
【００７０】
つぎに、パターンエッチングによって形成された溝１１００に色分解フィルタ４０５を形成する。図１４は、図１２に示したウェハ８００の断面構造において、色分解フィルタ４０５が形成されたウェハ８００の断面図であり、図１５は、図１３に示したウェハ８００の断面構造において、色分解フィルタ４０５が形成されたウェハ８００の断面図である。
【００７１】
図１４では、色分解フィルタ４０５として、赤色透過フィルタ４０５Ｒと緑色透過フィルタ４０５Ｇが形成され、図１５では、色分解フィルタ４０５として、青色透過フィルタ４０５Ｂが形成されている。
【００７２】
最後に、色分解フィルタ４０５と、ピクセルアレイ部８０１において色分解フィルタ４０５が形成されていないＳｉＮカバー層４０４に、マイクロレンズ４０６を備える。これにより、図６および図７に示したように、透明フィルタ４０５ＮＣを用いない撮像素子を製造することができる。この図６及び図７に示した断面構造によれば、従来からあるエッチング処理を施すことにより、透明フィルタ４０５ＮＣの材料が不要となり、製造コストの低減化を図ることができる。
【００７３】
（撮像装置のハードウェア構成）
つぎに、この発明の実施の形態１にかかる撮像装置のハードウェア構成について説明する。図１６は、この発明の実施の形態１にかかる撮像装置のハードウェア構成を示すブロック図である。図１６において、撮像装置１６００は、撮像素子１００と、Ａ／Ｄ変換器１６０１と、カラー信号算出部１６０２と、第１の輝度情報生成部１６０３と、色情報算出部１６０４と、第２の輝度情報生成部１６０５と、選択部１６０６と、選択制御部１６０７と、から構成されている。
【００７４】
図１６において、Ａ／Ｄ変換器１６０１は、撮像素子１００の各画素の光電変換部によって変換された電気信号を、ディジタル信号に変換する。具体的には、たとえば、図３に示したピクセル回路３００から信号読み出し線２０８に出力されたフローティングディフージョンＦＤの電圧レベルに比例した信号を、ディジタル信号に変換する。
【００７５】
また、カラー信号算出部１６０２は、２次元配列画素群１０１内の任意の画素（以下、「注目画素」という）のカラー信号を算出する。具体的には、注目画素が、赤色画素Ｒ、緑色画素Ｇまたは青色画素Ｂのカラー画素である場合、注目画素およびその周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、注目画素のカラー信号を算出する。また、注目画素が無色画素ＮＣである場合、注目画素の周辺に位置するカラー画素の光電変換部によって変換された電気信号に基づいて、注目画素のカラー信号を算出する。
【００７６】
ここで、カラー信号とは、注目画素に基づいて得られるＲ信号、Ｇ信号およびＢ信号である。また、注目画素の周辺に位置するカラー画素とは、たとえば、注目画素の周囲８画素に存在するカラー画素、または、注目画素の周囲２４画素に存在するカラー画素とすることができる。さらに、光電変換部とは、外部から受光した光を電気信号に変換出力するものであり、具体的には、たとえば、図３に示したピクセル回路３００によって実現することができる。
【００７７】
ここで、注目画素が、赤色画素Ｒ、緑色画素Ｇまたは青色画素Ｂのカラー画素である場合のカラー信号の算出処理について、図１を用いて具体的に説明する。ここでは、注目画素の周辺位置の画素を、注目画素の周囲８画素とする。
【００７８】
図１において、赤色画素Ｒである注目画素Ｐ１のＲ信号は、注目画素Ｐ１からＡ／Ｄ変換器１６０１を介して得られるディジタル信号値となる。また、注目画素Ｐ１のＧ信号は、注目画素Ｐ１の左右に隣接する２つの緑色画素ＧからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。さらに、注目画素Ｐ１のＢ信号は、注目画素Ｐ１の右上、左上、右下、左下に隣接する４つの青色画素ＢからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。
【００７９】
また、図１において、緑色画素Ｇである注目画素Ｐ２のＲ信号は、注目画素Ｐ２の左右に隣接する２つの赤色画素ＲからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。また、緑色画素Ｇである注目画素Ｐ２のＧ信号は、注目画素Ｐ２からＡ／Ｄ変換器１６０１を介して得られるディジタル信号値となる。さらに、注目画素Ｐ２のＢ信号は、注目画素Ｐ２の上下に隣接する２つの青色画素ＢからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。
【００８０】
さらに、図１において、青色画素Ｂである注目画素Ｐ３のＲ信号は、注目画素Ｐ３の右上、左上、右下、左下に隣接する４つの赤色画素ＲからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。また、青色画素Ｂである注目画素Ｐ３のＧ信号は、注目画素Ｐ３の上下に隣接する２つの緑色画素ＧからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。さらに、青色画素Ｂである注目画素Ｐ３のＢ信号は、注目画素Ｐ３からＡ／Ｄ変換器１６０１を介して得られるディジタル信号値となる。
【００８１】
つぎに、注目画素が、無色画素ＮＣである場合のカラー信号の算出処理について、図１を用いて具体的に説明する。ここでも、注目画素の周辺位置の画素を、注目画素の周囲８画素として説明する。
【００８２】
無色画素ＮＣである注目画素Ｐ４のＲ信号は、注目画素Ｐ４の上下に隣接する２つの赤色画素ＲからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。また、注目画素Ｐ４のＧ信号は、注目画素Ｐ４の右上、左上、右下、左下に隣接する４つの緑色画素ＧからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。さらに、注目画素Ｐ４のＢ信号は、左右に隣接する２つの青色画素ＢからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。
【００８３】
また、第１の輝度情報生成部１６０３は、２次元配列画素群１０１内の任意の画素（注目画素）の輝度情報を生成する。以下、第１の輝度情報生成部１６０３によって生成される輝度情報を、「第１輝度情報」と称す。具体的には、第１の輝度情報生成部１６０３は、注目画素が無色画素ＮＣである場合に、注目画素の光電変換部によって変換された電気信号に基づいて、第１の輝度情報を算出する。
【００８４】
また、注目画素がカラー画素である場合に、注目画素の周辺に位置する無色画素ＮＣの光電変換部によって変換された電気信号に基づいて、第１輝度情報を算出する。注目画素の周辺に位置する無色画素ＮＣとは、たとえば、注目画素の周囲８画素に存在する無色画素、または、注目画素の周囲２４画素に存在する無色画素ＮＣとすることができる。
【００８５】
ここで、注目画素が、無色画素ＮＣである場合の第１輝度情報の生成処理について、図１を用いて具体的に説明する。ここでは、注目画素の周辺位置の画素を、注目画素の周囲８画素として説明する。図１において、無色画素ＮＣである注目画素Ｐ４の輝度情報は、注目画素Ｐ４からＡ／Ｄ変換器１６０１を介して得られるディジタル信号値となる。
【００８６】
つぎに、注目画素が、赤色画素Ｒ、緑色画素Ｇまたは青色画素Ｂのカラー画素である場合の第１輝度情報の生成処理について、図１を用いて具体的に説明する。ここでも、注目画素の周辺位置の画素を、注目画素の周囲８画素とする。
【００８７】
図１において、赤色画素Ｒである注目画素Ｐ１の第１輝度情報は、注目画素Ｐ１の上下に隣接する２つの無色画素ＮＣからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。また、緑色画素Ｇである注目画素Ｐ２の第１輝度情報は、注目画素Ｐ２の右上、左上、右下、左下に隣接する４つの無色画素ＮＣからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。さらに、青色画素Ｂである注目画素Ｐ３の第１輝度情報は、注目画素Ｐ３の左右に隣接する２つの無色画素ＮＣからＡ／Ｄ変換器１６０１を介してそれぞれ得られるディジタル信号値の平均値となる。
【００８８】
また、図１６において、色情報算出部１６０４は、カラー信号算出部１６０２によって算出されたカラー信号に基づいて、注目画素の色情報を算出する。具体的には、色情報算出部１６０４は、カラー信号であるＲ信号、Ｇ信号およびＢ信号にそれぞれ色に関するパラメータを乗算した後、乗算されたＲ信号、Ｇ信号およびＢ信号を加算することで、２種類の色情報（第１色情報および第２色情報）を算出する。
【００８９】
たとえば、色情報算出部１６０４は、Ｒ信号、Ｇ信号およびＢ信号に基づいて、色情報として２つの色差信号を算出することができる。具体的には、Ｒ信号、Ｇ信号およびＢ信号を、ＹＵＶ変換する場合には、第１色情報としてＵ信号を算出し、第２色情報としてＶ信号を算出する。また、Ｒ信号、Ｇ信号およびＢ信号を、ＹＣｂＣｒ変換する場合には、第１色情報としてＣｂ信号を算出し、第２色情報としてＣｒ信号を算出する。
【００９０】
また、色差信号は、上述したＵとＶの組み合わせや、ＣｂとＣｒの組み合わせのほかに、ＰｂとＰｒの組み合わせや、（Ｂ−Ｙ）と（Ｒ−Ｙ）の組み合わせなどで表現することができ、換算のための色に関するパラメータや、オフセット値の付加などには、各種バリエーションがある。これらは、青や赤から輝度を減算して、色に関するパラメータでスケールを調整することができる。
【００９１】
さらに、カラー信号の表現方法としては、ＲＧＢや、輝度／色差のほかに、色相（Ｈ：Ｈｕｅ）、明度（Ｖ：Ｖａｌｕｅ）および彩度（Ｃ：Ｃｈｒｏｍａ）を適用することもできる。すなわち、輝度が明度に対応し、２つの色差（２つ）が彩度および色相に対応して、簡単に換算することができる。したがって、上述した色差信号に関しては、第１色情報を色相で、第２色情報を彩度で算出することもできる。
【００９２】
また、第２の輝度情報生成部１６０５は、カラー信号算出部１６０２によって算出されたカラー信号に基づいて、注目画素の輝度情報を生成する。以下、第２の輝度情報生成部１６０５によって生成される輝度情報を、「第２輝度情報」と称す。具体的には、カラー信号算出部１６０２によって算出されたＲ信号、Ｇ信号およびＢ信号に、それぞれ輝度に関する所定のパラメータを乗算した後、乗算されたＲ信号、Ｇ信号およびＢ信号を加算することで、第２輝度情報を生成する。
【００９３】
具体的には、第２の輝度情報生成部１６０５は、Ｒ信号、Ｇ信号およびＢ信号を、ＹＵＶ変換する場合には、第２輝度情報としてＹ信号を生成する。同様に、ＹＣｂＣｒ変換する場合には、第２輝度情報としてＹ信号を生成する。また、色差信号に換えて、色相（Ｈ：Ｈｕｅ）、明度（Ｖ：Ｖａｌｕｅ）および彩度（Ｃ：Ｃｈｒｏｍａ）を適用する場合には、第２輝度情報として明度を生成することとしてもよい。
【００９４】
ここで、上述した第１の輝度情報生成部１６０３、色情報算出部１６０４、および第２の輝度情報生成部１６０５による第１色情報、第２色情報、および輝度情報（第１輝度情報または第２輝度情報）の具体的な計算手法について説明する。
【００９５】
下記式（１）および（２）は、ＹＵＶ変換をおこなう場合の計算式であり、式（１）は明時における計算式、式（２）は暗時における計算式をあらわしている。
【００９６】
【数１】
0004536072.tif 000002
【００９７】
上記式（１）および（２）において、「Ｙ」はＹＵＶ変換によって得られるＹ信号（輝度情報）、「Ｕ」はＹＵＶ変換によって得られる色差信号（第１色情報）、「Ｖ」は、ＹＵＶ変換によって得られる色差信号（第２色情報）である。ここでは、「Ｙ」、「Ｕ」および「Ｖ」は、８Ｂｉｔの情報であり、Ｙ＝０〜２５５、Ｕ＝０〜２５５、Ｖ＝０〜２５５の値を取り得る。
【００９８】
また、「Ｒ」はカラー信号算出部１６０２によって算出されたＲ信号、「Ｇ」はカラー信号算出部１６０２によって算出されたＧ信号、「Ｂ」はカラー信号算出部１６０２によって算出されたＢ信号、「ＮＣ」は第１の輝度情報生成部１６０３によって生成された第１輝度情報（ＮＣ信号）である。
【００９９】
この式（１）によれば、明時の輝度情報であるＹ信号は、輝度に関するパラメータである「０．２９９」、「０．５８８」および「０．１１３」を、それぞれ「Ｒ」、「Ｇ」および「Ｂ」に乗算し、乗算された値を加算することによって算出される。なお、「ＮＣ」は「０．０００」との乗算になるため、キャンセルされる。この明時のＹ信号は、第２輝度情報として、上述した第２の輝度情報生成部１６０５によって生成される。
【０１００】
明時の第１色情報であるＵ信号は、色に関するパラメータである「−０．１４７」、「−０．２８９」および「０．４３６」を、それぞれ「Ｒ」、「Ｇ」および「Ｂ」に乗算し、乗算された値およびオフセット値「１２８」を加算することによって算出される。なお、「ＮＣ」は「０．０００」との乗算になるため、キャンセルされる。この明時のＵ信号は、第１色情報として、上述した色情報算出部１６０４によって生成される。
【０１０１】
同様に、明時の第２色情報であるＶ信号は、色に関するパラメータである「０．３４５」、「−０．２８９」および「−０．０５６」を、それぞれ「Ｒ」、「Ｇ」および「Ｂ」に乗算し、乗算された値およびオフセット値「１２８」を加算することによって算出される。なお、「ＮＣ」は「０．０００」との乗算になるため、キャンセルされる。この明時のＶ信号は、第２色情報として、上述した色情報算出部１６０４によって生成される。
【０１０２】
また、この式（２）によれば、暗時の輝度情報であるＹ信号は、輝度に関するパラメータである「１．０００」に「ＮＣ」を乗算する。なお、「Ｒ」、「Ｇ」および「Ｂ」は「０．０００」との乗算になるため、キャンセルされる。すなわち、第１の輝度情報生成部１６０３によって生成された第１輝度情報が、そのまま暗時のＹ信号となる。なお、暗時におけるＵ信号およびＶ信号の算出は、明時の場合と同様である。
【０１０３】
また、下記式（３）および（４）は、ＹＣｂＣｒ変換を行う場合の計算式であり、式（３）は明時における計算式、式（４）は暗時における計算式をあらわしている。
【０１０４】
【数２】
0004536072.tif 000003
【０１０５】
上記式（３）および（４）において、「Ｙ」はＹＣｂＣｒ変換によって得られるＹ信号（輝度情報）、「Ｃｂ」はＹＣｂＣｒ変換によって得られる色差信号（第１色情報）、「Ｃｒ」は、ＹＣｂＣｒ変換によって得られる色差信号（第２色情報）である。ここでは、「Ｙ」、「Ｃｂ」および「Ｃｒ」は、８Ｂｉｔの情報であり、Ｙ＝１６〜２３５、Ｃｂ＝１６〜２４０、Ｃｒ＝１６〜２４０を取り得る。
【０１０６】
この式（３）および（４）においても、上述した式（１）および（２）の場合と同様、明時においては、Ｙ信号は、「Ｒ」、「Ｇ」および「Ｂ」を用いて算出され、暗時においては、Ｙ信号は、「ＮＣ」を用いて算出される。
【０１０７】
また、図１６において、選択部１６０６は、第１の輝度情報生成部１６０３によって生成された第１輝度情報と、第２の輝度情報生成部１６０５によって生成された第２輝度情報のうち、いずれか一方の輝度情報を選択する。
【０１０８】
そして、選択された輝度情報を出力する。たとえば、ＹＵＶ変換をおこなう場合の計算式（１）および（２）を適用する場合、式（１）によってＹ信号が算出されるとともに、式（２）によってＹ信号が算出される。選択部１６０６では、明時の場合には、式（１）によって算出されたＹ信号を選択して出力し、暗時の場合には式（２）によって算出されたＹ信号を選択して出力する。
【０１０９】
また、図１６において、選択制御部１６０７は、選択部１６０６を制御して、被写体を撮像するときの露光情報に基づいて、第１輝度情報と第２輝度情報のうち、いずれか一方の輝度情報を選択する。ここで、露光情報は、たとえば、フレームレート制御信号を用いることができる。フレームレートとは、２次元配列画素群１０１から得られる１秒当たりのフレーム数である。
【０１１０】
通常、フレームレートは、露光量に応じて変化する値であり、最大で３０フレーム／秒であるが露光量が足りなくなると、露光時間を長くする必要があるため、フレームレートが低下する。このため、フレームレートのしきい値をたとえば１５フレーム／秒とし、フレームレートがしきい値以上のときは明時を示すフレームレート制御信号、フレームレートがしきい値より低いときは暗時を示すフレームレート制御信号を選択部１６０６に出力する。
【０１１１】
そして、選択部１６０６では、明時を示すフレームレート制御信号が入力されたときには、第１輝度情報を選択し、暗時を示すフレームレート制御信号が入力されたときには、第２輝度情報を選択する。なお、ここでは、露光情報としてフレームレート制御信号を用いて説明したが、このほかに、撮像素子１００の制御回路（不図示）から撮像素子１００の２次元配列画素群１０１に送るクロックの切替信号を用いても、フレームレート制御信号と同様に選択制御をおこなうことができる。
【０１１２】
なお、上述したカラー信号算出部１６０２、第１の輝度情報生成部１６０３、色情報算出部１６０４、第２の輝度情報生成部１６０５、選択部１６０６および選択制御部１６０７は、ＤＳＰその他ディジタル回路によって実現することができる。また、この撮像装置１６００では、色情報を色差信号や彩度信号および色相信号として出力し、また、輝度情報を輝度信号や明度信号として出力する構成としたが、さらに、ＲＧＢ変換をおこなって、ＲＧＢ信号を出力する構成としてもよい。
【０１１３】
図１７は、ＲＧＢ変換部を備えた撮像装置のハードウェア構成を示すブロック図である。撮像装置１７００において、ＲＧＢ変換部１７０１は、色情報算出部１６０４から算出された第１色情報および第２色情報と、第１の輝度情報生成部１６０３または第２の輝度情報生成部１６０５から生成された輝度情報とを入力し、ＲＧＢ変換を施して、Ｒ信号、Ｇ信号、Ｂ信号を出力することができる。
【０１１４】
以上説明したように、この実施の形態１によれば、２次元配列画素群における２行２列の任意の画素領域内の４画素のうち１画素を無色画素ＮＣとして、可視光全域を透過させる構成とした。これにより、注目画素の色情報（色差信号または色相／彩度）は、注目画素やその周辺の画素に存在するカラー画素から補完することにより、算出することができる。
【０１１５】
また、注目画素の輝度情報は、注目画素やその周辺の画素に存在するカラー画素から補完することにより、または、注目画素やその周辺の画素に存在する無色画素ＮＣから補完することにより、算出することができる。
【０１１６】
これにより、暗時には、人間の目は主に輝度に敏感になるため、撮像素子の感度が重要となる。したがって、輝度情報を、主に無色画素ＮＣからの補完によって算出することにより、暗時においても高感度な画像を得ることができる。
【０１１７】
また、明時には、撮像素子の感度が多少弱くても被写体の撮像は可能である。人間の目はカラーを良く識別するため、色差信号や色相／彩度などの色情報が重要となる。したがって、輝度情報を、カラー画素からの補完によって算出することにより、明時においては、高分解能の輝度情報を得ることができる。
【０１１８】
このように、この実施の形態１では、暗時に高感度の輝度情報を得ることができるとともに、明時に高分解能の輝度情報が得られるので、暗所から明所までＳＮ比の高い高画質を得ることができるという効果を奏する。また、暗時の感度が向上するため、同じ感度を得るための受光面積を縮小することができ、撮像素子の各画素の小型化を図ることができるという効果を奏する。またこれにより、撮像素子自体のチップサイズを縮小することができ、また、大画素化への対応も容易に実現することができるという効果を奏する。
【０１１９】
（実施の形態２）
つぎに、この発明の実施の形態２にかかる撮像装置について説明する。上述した実施の形態１では、選択部１６０６により、第１の輝度情報生成部１６０３および第２の輝度情報生成部１６０５によって生成された第１輝度情報および第２輝度情報から、いずれか一方の輝度情報を選択して出力する構成としたが、実施の形態２では、第１輝度情報および第２輝度情報の生成前に、第１の輝度情報生成部１６０３および第２の輝度情報生成部１６０５のうち、いずれか一方の輝度情報生成部を選択する構成とした。
【０１２０】
この構成によれば、選択されたいずれか一方の輝度情報生成部により輝度情報を生成することとなり、画像処理に用いられない他方の輝度情報生成部による輝度情報の生成を防止することができる。これにより、消費電力の低減を図ることができる。
【０１２１】
なお、この実施の形態２における撮像素子の構成は、実施の形態１の撮像素子１００と同一構成であり、実施の形態２においても適用することができるため、その説明を省略する。また、実施の形態２における撮像装置のハードウェア構成についても、図１６に示した実施の形態１にかかる撮像装置１６００と同一構成については同一符号を付し、その説明を省略する。
【０１２２】
（撮像装置のハードウェア構成）
ここで、この発明の実施の形態２にかかる撮像装置のハードウェア構成について説明する。図１８は、この発明の実施の形態２にかかる撮像装置のハードウェア構成を示すブロック図である。図１８において、撮像装置１８００は、撮像素子１００と、Ａ／Ｄ変換器１６０１と、カラー信号算出部１６０２と、第１の輝度情報生成部１６０３と、色情報算出部１６０４と、第２の輝度情報生成部１６０５と、選択部１８０１と、選択制御部１６０７と、から構成されている。
【０１２３】
選択部１８０１は、第１の輝度情報生成部１６０３と第２の輝度情報生成部１６０５のうち、いずれか一方の輝度情報生成部を選択する。そして、選択されたいずれか一方の輝度情報生成部が輝度情報を生成する。また、いずれか一方の輝度情報生成部は、選択制御部１６０７からの輝度情報に基づいて選択することができる。
【０１２４】
たとえば、ＹＵＶ変換をおこなう場合の計算式（１）および式（２）を適用する場合、式（１）と式（２）のいずれか一方の式を選択する。そして、選択された式を用いて、色差信号Ｕ，Ｖと輝度信号Ｙを算出する。この計算式（１）および（２）の選択は、上述した選択制御部１６０７から入力されるフレームレート制御信号が明時を示すフレームレート制御信号である場合は、式（１）を選択し、暗時を示すフレームレート制御信号である場合は、式（２）を選択することができる。
【０１２５】
また、この撮像装置１８００においても、実施の形態１の撮像装置１７００と同様、ＲＧＢ変換部１７０１を備えることとしてもよい。これにより、色情報算出部１６０４から算出された第１色情報および第２色情報と、第１の輝度情報生成部１６０３または第２の輝度情報生成部１６０５から生成された輝度情報とを入力し、ＲＧＢ変換を施して、Ｒ信号、Ｇ信号、Ｂ信号を出力することができる。
【０１２６】
以上のことから、この実施の形態２によれば、上述した実施の形態１に示した作用効果と同様の作用効果を得ることができる。また、選択されたいずれか一方の輝度情報生成部により輝度情報を生成することとなり、画像処理に用いられない他方の輝度情報生成部による輝度情報の生成を防止することができる。したがって、撮像装置１８００の消費電力の低減を図ることができるという効果を奏する。
【０１２７】
（実施の形態３）
つぎに、この発明の実施の形態３にかかる撮像装置について説明する。上述した実施の形態１および実施の形態２では、露光情報に基づいて明時または暗時のいずれかを判断し、その判断結果にしたがって、輝度情報の選択や輝度情報生成部の選択をおこなう構成としたが、実施の形態３では、被写体の露光量の増減に応じて、第１輝度情報および第２輝度情報に対する重み付けをおこなう構成とした。この構成によれば、被写体の明暗に応じて輝度をスムーズに変化させることができる。
【０１２８】
なお、この実施の形態３における撮像素子の構成は、実施の形態１の撮像素子１００と同一構成であり、実施の形態３においても適用することができるため、その説明を省略する。また、実施の形態３における撮像装置のハードウェア構成についても、図１６に示した実施の形態１にかかる撮像装置１６００と同一構成については同一符号を付し、その説明を省略する。
【０１２９】
（撮像装置のハードウェア構成）
ここで、この発明の実施の形態３にかかる撮像装置のハードウェア構成について説明する。図１９は、この発明の実施の形態３にかかる撮像装置のハードウェア構成を示すブロック図である。
【０１３０】
図１９において、撮像装置１９００は、撮像素子１００と、Ａ／Ｄ変換器１６０１と、カラー信号算出部１６０２と、第１の輝度情報生成部１６０３と、色情報算出部１６０４と、第２の輝度情報生成部１６０５と、パラメータ設定部１９０１と、第３の輝度情報生成部１９０２と、から構成されている。
【０１３１】
また、図示はしないが、この撮像装置１９００においても、図１７に示した撮像装置１７００と同様、ＲＧＢ変換部１７０１を備えることとしてもよい。これにより、色情報算出部１６０４から算出された第１色情報および第２色情報と、第３の輝度情報生成部１９０２から生成された第３輝度情報とを入力し、ＲＧＢ変換を施して、Ｒ信号、Ｇ信号、Ｂ信号を出力することができる。
【０１３２】
図１９において、パラメータ設定部１９０１は、被写体を撮像するときの露光情報に関するパラメータを設定する。ここで、露光情報とは、たとえば、積分時間、回路ゲイン（感度制御信号値）、絞り制御量など、明暗に応じて撮像素子への露光量や感度（アンプゲインも含む）を示す情報である。
【０１３３】
なお、露光情報は、測光結果としての信号値を用いることとしてもよい。また、パラメータｋは、露光情報に応じて明暗の度合いをあらわす値であり、パラメータｋは０≦ｋ≦１で変化する値とし、ｋ＝０が最も明るい状態をあらわし、ｋ＝１が最も暗い状態をあらわしている。
【０１３４】
ここで、露光情報として積分時間ｔを用いた場合について説明する。たとえば、積分時間をｔ［ｓｅｃ］とすると、積分時間ｔは、１／３０≦ｔ≦１／７．５の値をとる。この積分時間ｔの下限値である１／３０［ｓｅｃ］がｋ＝０に対応し、積分時間ｔの上限値である１／７．５［ｓｅｃ］がｋ＝１に対応する。したがって、積分時間ｔが大きくなると、パラメータｋも大きく変化し、積分時間ｔが小さくなると、パラメータｋも小さく変化する。なお、パラメータｋは、露光情報から算出する構成としてもよく、また、露光情報とパラメータｋをテーブル化しておき、露光情報に応じたパラメータｋの値を抽出する構成としてもよい。
【０１３５】
また、第３の輝度情報生成部１９０２は、第１の輝度情報生成部１６０３から得られた第１輝度情報と、第２の輝度情報生成部１６０５によって生成された第２輝度情報と、パラメータ設定部１９０１によって設定されたパラメータｋと、に基づいて、注目画素のあらたな輝度情報（以下、第３輝度情報という）を生成する。具体的には、第３の輝度情報生成部１９０２は、２つの乗算器と１つの加算器によって構成されている。
【０１３６】
第１乗算器１９１１は、第１の輝度情報生成部１６０３によって生成された第１輝度情報と、パラメータ設定部１９０１によって設定されたパラメータｋとを乗算する。第２乗算器１９１２は、第２の輝度情報生成部１６０５によって生成された第２輝度情報と、パラメータ設定部１９０１によって設定されたパラメータｋとに基づいて、乗算処理を実行する。すなわち、第２乗算器１９１２は、第２輝度情報と（１−ｋ）の値とを乗算する。また、加算器１９１３は、第１乗算器１９１１の乗算結果と第２乗算器１９１２の乗算結果とを加算し、加算された値を第３輝度情報として出力する。
【０１３７】
ここで、上述した第１の輝度情報生成部１６０３、色情報算出部１６０４、第２の輝度情報生成部１６０５、および第３の輝度情報生成部１９０２による第１色情報、第２色情報、および第３輝度情報の具体的な計算手法について説明する。
【０１３８】
下記式（５）は、ＹＵＶ変換をおこなう場合の計算式である。なお、下記式（５）において、「Ｙ」、「Ｕ」、「Ｖ」、「Ｒ」、「Ｇ」、「ＮＣ」については、上述した式（１）と同一であるため、その説明を省略する。
【０１３９】
【数３】
0004536072.tif 000004
【０１４０】
この式（５）では、輝度に関するパラメータを「０．２９９」、「０．５８８」、「０．１１３」および「１」とする。「０．２９９」には（１−ｋ）と「Ｒ」、「０．５８８」には（１−ｋ）と「Ｇ」、「０．１１３」には（１−ｋ）と「Ｂ」を乗算する。また、「１」には、「ｋ」と「ＮＣ」を乗算する。
【０１４１】
このように、式（５）によれば、明時（ｋ＝０）の場合、「Ｒ」、「Ｇ」および「Ｂ」を用いて第３輝度情報であるＹ信号を算出することができ、暗時（ｋ＝１）の場合、「ＮＣ」のみを用いて第３輝度情報であるＹ信号を算出することができる。さらに、パラメータｋが０＜ｋ＜１の場合、「Ｒ」、「Ｇ」、「Ｂ」および「ＮＣ」を用いて第３輝度情報であるＹ信号を算出することができる。
【０１４２】
なお、上述した式（５）に示したように、理想的にはＲＧＢ３色の透過率の和が１で、Ｒ＋Ｇ＋Ｂ＝ＮＣ（無色）になるはずであるが、実際の製造においては、Ｒ＋Ｇ＋Ｂ≠ＮＣとなる場合がある。この場合には、パラメータｋを「ＮＣ」に適用する場合、さらに定数αを乗じることにより、最適な画質にすることもできる。この場合の計算式を下記式（６）とする。
【０１４３】
【数４】
0004536072.tif 000005
【０１４４】
以上のことから、この実施の形態３によれば、明暗の度合いに応じて第３輝度情報の値を変化させ、ノイズの影響を低減することができる。すなわち、暗時には、ＲＧＢ信号の電圧が低いため、図３に示したピクセル回路３００である光電変換部や周辺回路からのノイズに比べて、ＲＧＢ信号の振幅が小さくなり、感度が低下することとなる。
【０１４５】
したがって、ノイズの増減に追従して、ノイズを補正する補正量、すなわちパラメータｋを連続的に変化させることにより、図３に示したピクセル回路３００である光電変換部や周辺回路からのノイズをキャンセルすることができ、より均質なＳＮ比のよい高画質の画像を得ることができるという効果を奏する。特に、早朝や夕暮れ時など、明るさが徐々に変化するときには、明暗の変化に追従したＳＮ比の画質を得ることができるという効果を奏する。
【０１４６】
（実施の形態４）
つぎに、この発明の実施の形態４にかかる撮像装置について説明する。上述した実施の形態３では、被写体の露光量の増減に応じて、第１輝度情報および第２輝度情報に対する重み付けをおこなう構成とした。これに対し、実施の形態４では、さらに、第１色情報および第２色情報に対する重み付けもおこなう構成とした。この構成によれば、被写体の明暗に応じて輝度をスムーズに変化させることができる。
【０１４７】
なお、この実施の形態４における撮像素子の構成は、実施の形態１の撮像素子１００と同一構成であり、実施の形態４においても適用することができるため、その説明を省略する。また、実施の形態４における撮像装置のハードウェア構成についても、図１６に示した実施の形態１にかかる撮像装置１６００と同一構成については同一符号を付し、その説明を省略する。
【０１４８】
（撮像装置のハードウェア構成）
ここで、この発明の実施の形態４にかかる撮像装置のハードウェア構成について説明する。図２０は、この発明の実施の形態４にかかる撮像装置のハードウェア構成を示すブロック図である。図２０において、撮像装置２０００は、撮像素子１００と、Ａ／Ｄ変換器１６０１と、カラー信号算出部１６０２と、第１の輝度情報生成部１６０３と、色情報算出部１６０４と、第２の輝度情報生成部１６０５と、パラメータ設定部１９０１と、第３の輝度情報生成部１９０２と、色情報生成部２００１と、から構成されている。
【０１４９】
また、図示はしないが、この撮像装置２０００においても、図１７に示した撮像装置１７００と同様、ＲＧＢ変換部１７０１を備えることとしてもよい。これにより、色情報生成部２００１から算出された第３色情報および第４色情報と、第３の輝度情報生成部１９０２から生成された第３輝度情報とを入力し、ＲＧＢ変換を施して、Ｒ信号、Ｇ信号、Ｂ信号を出力することができる。
【０１５０】
また、図２０において、色情報生成部２００１は、色情報算出部１６０４によって算出された色情報（第１色情報および第２色情報）と、パラメータ設定部１９０１によって設定されたパラメータｋとに基づいて、注目画素のあらたな色情報（第３色情報および第４色情報）を生成する。具体的には、色情報生成部２００１は、２つの乗算器を備えている。
【０１５１】
第３乗算器２００３は、色情報算出部１６０４によって算出された第１色情報と、パラメータｋとに基づいて乗算する。より具体的には、第１色情報と、（１−ｋ）とを乗算する。乗算された値は、第３色情報として出力される。
【０１５２】
また、第４乗算器２００４は、色情報算出部１６０４によって算出された第２色情報と、パラメータｋとに基づいて乗算する。より具体的には、第２色情報と、（１−ｋ）とを乗算する。乗算された値は、第４色情報として出力される。
【０１５３】
ここで、上述した第１の輝度情報生成部１６０３、色情報算出部１６０４、第２の輝度情報生成部１６０５、第３の輝度情報生成部１９０２および色情報生成部２００１による第３色情報、第４色情報、および第３輝度情報の具体的な計算手法について説明する。
【０１５４】
下記式（７）は、ＹＵＶ変換をおこなう場合の計算式である。なお、下記式（７）は、上記式（５）の色に関するパラメータ「−０．１４７」、「−０．２８９」、「０．４３６」、「０．３４５」、「−０．２８９」、「−０．０５６」に（１−ｋ）を乗じた式である。式（５）と同一の計算処理の説明については省略する。
【０１５５】
【数５】
0004536072.tif 000006
【０１５６】
この式（７）では、輝度に関するパラメータ「−０．１４７」には（１−ｋ）と「Ｒ」、「−０．２８９」には（１−ｋ）と「Ｇ」、「０．４３６」には（１−ｋ）と「Ｂ」を乗算する。これにより、第３色情報となるＵ信号を算出することができる。また、輝度に関するパラメータ「０．３４５」には（１−ｋ）と「Ｒ」、「−０．２８９」には（１−ｋ）と「Ｇ」、「−０．０５６」には（１−ｋ）と「Ｂ」を乗算する。これにより、第４色情報となるＶ信号を算出することができる。
【０１５７】
また、上記（６）に示したように、パラメータｋを「ＮＣ」に適用する場合、さらに定数αを乗じることにより、最適な画質にすることもできる。この場合の計算式を下記式（８）とする。
【０１５８】
【数６】
0004536072.tif 000007
【０１５９】
以上のことから、この実施の形態４によれば、実施の形態３と同様の作用効果を得ることができる。また、人間の目は、暗時には輝度に敏感になるが、色差に鈍感になる。一方、撮像装置２０００側が暗いときには、図３に示したカラー画素のピクセル回路３００から出力される信号が小さくなるため、ノイズが増大して色差信号のＳＮが低くなる。
【０１６０】
したがって、ノイズが多く重畳された色差信号を意図的に弱めておくことにより、トータルの信号（特に再変換されたＲＧＢ信号）としてＳＮ比の向上を図ることができるという効果を奏する。また、色差信号を弱めても、人間はあまり感じないので目立つことがなく、結果として人間にとって、暗時の画質の向上を図ることができるという効果を奏する。
【０１６１】
（実施の形態５）
つぎに、この発明の実施の形態５について説明する。実施の形態５は、撮像素子の画素配列に関する構成である。実施の形態１における撮像素子（実施の形態２〜４に適用された撮像素子も含む）１００では、図１に示したように、赤色画素Ｒと無色画素ＮＣが列方向（図中縦の方向）に交互に配列されており、緑色画素Ｇと青色画素Ｂが出力方向に交互に配列されている構成であるが、実施の形態５においては、列方向の画素配置を画素の透過率に応じて変更した構成である。図２１は、この発明の実施の形態５にかかる、撮像素子の２次元配列画素群を示す説明図である。
【０１６２】
図２１において、２次元配列画素群２１０１を構成するカラー画素（赤色画素Ｒ、緑色画素Ｇ、青色画素Ｂ）および無色画素ＮＣのうち、透過率の低い赤色画素Ｒおよび青色画素Ｂが、同一の列に交互に配置されている。また、赤色画素Ｒおよび青色画素Ｂよりも透過率の高い緑色画素Ｇおよび無色画素ＮＣも、同一の列に交互に配置されている。
【０１６３】
すなわち、撮像素子が図２に示した４ＴｒＡＰＳ２００の場合、出力方向とは、信号読み出し線２０８の配線方向となる。換言すれば、赤色画素Ｒおよび青色画素Ｂは、赤色画素Ｒおよび青色画素Ｂから得られる電気信号の出力経路が同一の方向となるように配列されている。同様に、緑色画素Ｇおよび無色画素ＮＣも、赤色画素Ｒおよび青色画素Ｂの配列方向と同一方向に配列されている。したがって、図２１においては、列方向が、各画素から得られる電気信号の出力方向となっている。
【０１６４】
なお、撮像素子が電荷結合素子の場合、出力方向とは、２次元配列画素群において、行方向となる電荷転送方向または列方向となる電荷転送方向のうちいずれか一方の電荷の転送方向となる。また、この実施の形態５にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００や、従来の撮像装置にも適用することができる。
【０１６５】
この実施の形態５によれば、赤色画素Ｒおよび青色画素Ｂよりも透過率の高い無色画素ＮＣと緑色画素Ｇを同一画素列に配置することができる。透過率の高い無色画素ＮＣと緑色画素Ｇは、光電荷の発生、すなわち、図３に示したピクセル回路３００から得られる電気信号が、赤色画素Ｒおよび青色画素Ｂから得られる電気信号よりも相対的に大きい。したがって、無色画素ＮＣと緑色画素Ｇと、赤色画素Ｒおよび青色画素Ｂとを、異なる列に配置することにより、各画素列内において、信号の増減を抑制することができ、クロストークの低減を図ることができるという効果を奏する。
【０１６６】
（実施の形態６）
つぎに、この発明の実施の形態６について説明する。実施の形態６では、画素配置は実施の形態５と同一であるが、画素サイズが列ごとに異なる構成となっている。図２２は、この発明の実施の形態６にかかる、撮像素子の２次元配列画素群を示す説明図である。図２２において、２次元配列画素群２２０１を構成する、無色画素ＮＣと緑色画素Ｇが配列されている画素列の画素サイズは、赤色画素Ｒおよび青色画素Ｂが配列されている画素列の各画素サイズよりも小さいサイズとなっている。
【０１６７】
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、図３に示した各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
【０１６８】
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。
【０１６９】
また、緑色画素Ｇについても、緑色画素Ｇのマイクロレンズ４０６および緑色透過フィルタ４０５Ｇは、赤色画素Ｒのマイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素Ｂのマイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。この実施の形態６にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００や、従来の撮像装置にも適用することができる。
【０１７０】
この実施の形態６によれば、上述した実施の形態５と同様の作用効果を奏することができる。また、赤色画素Ｒおよび青色画素Ｂの感度が向上し、無色画素ＮＣおよび緑色画素Ｇとの感度差を低減することができるため、より高感度化を図ることができ、特に、暗時までＳＮ比の高い高画質の画像を得ることができるという効果を奏する。
【０１７１】
さらに、無色画素ＮＣおよび緑色画素Ｇの感度を従来同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができる。
【０１７２】
（実施の形態７）
つぎに、この発明の実施の形態７について説明する。実施の形態６では、無色画素ＮＣと緑色画素Ｇが配列されている画素列の画素サイズを、赤色画素Ｒおよび青色画素Ｂが配列されている画素列の各画素サイズよりも小さいサイズとなる構成としたが、実施の形態７では、実施の形態６とは逆に、無色画素ＮＣと緑色画素Ｇが配列されている画素列の画素サイズを、赤色画素Ｒおよび青色画素Ｂが配列されている画素列の各画素サイズよりも大きいサイズとなる構成とした。この実施の形態７にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
【０１７３】
図２３は、この発明の実施の形態７にかかる、撮像素子の２次元配列画素群を示す説明図である。図２３において、２次元配列画素群２３０１を構成する、無色画素ＮＣと緑色画素Ｇが配列されている画素列の画素サイズは、赤色画素Ｒおよび青色画素Ｂが配列されている画素列の各画素サイズよりも大きいサイズとされている。
【０１７４】
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、図３に示した各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
【０１７５】
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。
【０１７６】
また、緑色画素Ｇについても、緑色画素Ｇのマイクロレンズ４０６および緑色透過フィルタ４０５Ｇは、赤色画素Ｒのマイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素Ｂのマイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
【０１７７】
この実施の形態７によれば、無色画素ＮＣおよび緑色画素Ｇの感度が向上し、暗時の輝度情報を高くすることができるので、暗時までＳＮ比の高い輝度情報を得ることができるという効果を奏する。特に、監視カメラなど、暗時の輝度情報が重要な場合の用途に適用するのが効果的である。
【０１７８】
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
【０１７９】
（実施の形態８）
つぎに、この発明の実施の形態８について説明する。実施の形態８は、撮像素子の画素サイズに関する構成である。実施の形態８における、撮像素子の画素の配置は、実施の形態１に示した、撮像素子の画素の配置と同一であるが、配置されている画素の画素サイズが異なっている。この実施の形態８にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
【０１８０】
図２４は、この発明の実施の形態８にかかる、撮像素子の２次元配列画素群を示す説明図である。図２４において、２次元配列画素群２４０１内の２行２列の任意の画素領域に注目すると、無色画素ＮＣの画素サイズは対角方向に配置され、赤色画素Ｒおよび青色画素Ｂの画素サイズよりも小さい画素サイズとなっている。
【０１８１】
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、図３に示した各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
【０１８２】
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。
【０１８３】
また、緑色画素Ｇについても、緑色画素Ｇのマイクロレンズ４０６および緑色透過フィルタ４０５Ｇは、赤色画素Ｒのマイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素Ｂのマイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
【０１８４】
この実施の形態８によれば、赤色画素Ｒと無色画素ＮＣからなる画素列については、透過率の小さい赤色画素Ｒの画素サイズを大きくしたことにより、赤色画素Ｒと無色画素ＮＣの電気信号の大きさを均等にすることができる。
【０１８５】
同様に、青色画素Ｂと緑色画素Ｇからなる画素列についても、透過率の小さい青色画素Ｂの画素サイズを大きくしたことにより、青色画素Ｂと緑色画素Ｇの電気信号の大きさを均等にすることができる。
【０１８６】
このように、透過率の小さい画素の画素サイズを大きくすることにより、赤色画素Ｒと無色画素ＮＣからなる画素列から得られる電気信号と、青色画素Ｂと緑色画素Ｇからなる画素列から得られる電気信号とを、均等にすることができ、クロストークの低減を図ることができるという効果を奏する。また、これにより、高感度化を図ることができ、暗時までＳＮ比の高い高画質の画像を得ることができるという効果を奏する。
【０１８７】
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
【０１８８】
（実施の形態９）
つぎに、この発明の実施の形態９について説明する。実施の形態９は、実施の形態８における画素サイズの大小を変更した構成である。この実施の形態９にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
【０１８９】
図２５は、この発明の実施の形態９にかかる、撮像素子の２次元配列画素群を示す説明図である。図２５において、２次元配列画素群２５０１内の２行２列の任意の画素領域に注目すると、無色画素ＮＣの画素サイズは対角方向に配置され、赤色画素Ｒおよび青色画素Ｂの画素サイズよりも大きい画素サイズとなっている。
【０１９０】
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、図３に示した各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
【０１９１】
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。
【０１９２】
また、緑色画素Ｇについても、緑色画素Ｇのマイクロレンズ４０６および緑色透過フィルタ４０５Ｇは、赤色画素Ｒのマイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素Ｂのマイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
【０１９３】
この実施の形態９によれば、赤色画素Ｒと無色画素ＮＣからなる画素列については、透過率の大きい無色画素ＮＣの画素サイズを大きくした。また、青色画素Ｂと緑色画素Ｇからなる画素列についても、透過率の大きい緑色画素Ｇの画素サイズを大きくした。
【０１９４】
これにより、赤色画素Ｒと無色画素ＮＣからなる画素列から得られる電気信号と、青色画素Ｂと緑色画素Ｇからなる画素列から得られる電気信号とを、均等にすることができ、クロストークの低減を図ることができるという効果を奏する。また、これにより、高感度化を図ることができ、暗時までＳＮ比の高い高画質の画像を得ることができるという効果を奏する。
【０１９５】
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
【０１９６】
また、この実施の形態９において、赤色画素Ｒ、緑色画素Ｇ、青色画素Ｂ、および無色画素ＮＣのうち、少なくとも無色画素ＮＣ内のピクセル回路３００を、オーバーフロードレイン（ＯＦＤ）構造としてもよい。ＯＦＤは、縦型（Ｖｅｒｔｉｃａｌ：ＶＯＤ）と横型（Ｌａｔｅｒａｌ：ＬＯＤ）がある。
【０１９７】
ここで、ＯＦＤを用いた画素内のピクセル回路について説明する。図２６は、ＯＦＤを用いた画素内のピクセル回路図である。なお、図３に示した構成と同一構成には同一符号を付し、その説明を省略する。図２６に示したピクセル回路２６００は、図３に示したピクセル回路３００に、ＭＯＳトランジスタをもう１つ追加した構成である。このＭＯＳトランジスタは、平面的に横に設けるオーバーフロードレインであるので，Ｌａｔｅｒａｌ  Ｏｖｅｒｆｌｏｗ  Ｄｒａｉｎ（ＬＯＤ）と呼ばれる。
【０１９８】
このピクセル回路２６００では、トランジスタＯＦＤ−Ｔｒのゲートレベルが、露光および転送時にはトランジスタＯＦＤ−ＴｒをＯＦＦ状態、すなわち、十分高い抵抗にし、露光および転送時以外には、トランジスタＯＦＤ−ＴｒをＯＮ状態、または、ＯＮ／ＯＦＦの中間状態（ある程度の抵抗を持ったＯＮ状態）、となるように制御する。
【０１９９】
このピクセル回路２６００によれば、フォトダイオードＰＤの近傍にトランジスタＯＦＤ−Ｔｒを設けたことにより、光電荷が多量に発生しても、光電荷を基板に排出することができる。これにより、他の画素のフォトダイオードＰＤへの光電荷の混入によるクロストークの発生や画像のにじみを防止することができるという効果を奏する。
【０２００】
特に、無色画素ＮＣは、カラー画素よりも感度が高いため、画素サイズがカラー画素と同一またはカラー画素よりも小さい場合でも、電荷が飽和してあふれやすい。したがって、少なくとも無色画素ＮＣをＯＦＤ構造とすることで、カラー画素のフォトダイオードＰＤへの光電荷の混入によるクロストークの発生や画像のにじみを防止することができるという効果を奏する。
【０２０１】
また、この実施の形態９では、撮像素子が４ＴｒＡＰＳなどのＣＭＯＳイメージセンサの場合について説明したが、撮像素子がＣＣＤである場合にも、そのピクセル回路をＯＦＤ構造とすることができ、ＣＭＯＳイメージセンサの場合と同様の作用効果を得ることができる。
【０２０２】
（実施の形態１０）
つぎに、この発明の実施の形態１０について説明する。実施の形態１０は、実施の形態８における緑色画素Ｇの画素サイズを大きくした構成である。この実施の形態１０にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
【０２０３】
図２７は、この発明の実施の形態１０にかかる、撮像素子の２次元配列画素群を示す説明図である。図２７に示した２次元配列画素群２７０１は、図２４に示した実施の形態８の２次元配列画素群２４０１のうち、緑色画素Ｇの画素サイズを無色画素ＮＣの画素サイズよりも大きくした構成である。緑色画素Ｇの画素サイズは、無色画素ＮＣの画素サイズよりも大きければ、赤色画素Ｒおよび青色画素Ｂの画素サイズと同一画素サイズでもよく、また、異なる画素サイズであってもよい。
【０２０４】
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
【０２０５】
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも小さく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも小さい。また、緑色画素ＧのフォトダイオードＰＤ、マイクロレンズ４０６および緑色透過フィルタ４０５Ｇよりも小さい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
【０２０６】
この実施の形態１０によれば、赤色画素Ｒ、緑色画素Ｇおよび青色画素Ｂの感度の向上を図ることができ、無色画素ＮＣとの感度差を低減することができるため、撮像素子の高感度化を図ることができ、暗時までＳＮ比の高い高画質の画像を得ることができる。
【０２０７】
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
【０２０８】
（実施の形態１１）
つぎに、この発明の実施の形態１１について説明する。実施の形態１１は、実施の形態１における無色画素ＮＣの画素サイズを大きくした構成である。この実施の形態１１にかかる撮像素子は、実施の形態１〜４における撮像装置１６００、１７００、１８００、１９００または２０００に適用することができる。
【０２０９】
図２８は、この発明の実施の形態１１にかかる、撮像素子の２次元配列画素群を示す説明図である。図２８に示した２次元配列画素群２８０１は、図１に示した実施の形態１の２次元配列画素群１０１のうち、無色画素ＮＣの画素サイズを他のカラー画素（赤色画素Ｒ、緑色画素Ｇおよび青色画素Ｂ）の画素サイズよりも大きくした構成である。赤色画素Ｒ、緑色画素Ｇおよび青色画素Ｂ）の画素サイズは、無色画素ＮＣの画素サイズよりも小さければ、互いに同一の画素サイズであってもよく、また、互いに異なる画素サイズであってもよい。
【０２１０】
ここで、画素サイズとは、画素の大きさをあらわしており、たとえば、各画素のピクセル回路３００内のフォトダイオードＰＤの大きさ、マイクロレンズ４０６や色分解フィルタ４０５、透明フィルタ４０５ＮＣのサイズが異なる場合が挙げられる。
【０２１１】
具体的には、無色画素ＮＣのフォトダイオードＰＤ、マイクロレンズ４０６および透明フィルタ４０５ＮＣは、赤色画素ＲのフォトダイオードＰＤ、マイクロレンズ４０６および赤色透過フィルタ４０５Ｒよりも大きく、同様に、青色画素ＢのフォトダイオードＰＤ、マイクロレンズ４０６および青色透過フィルタ４０５Ｂよりも大きい。また、緑色画素ＧのフォトダイオードＰＤ、マイクロレンズ４０６および緑色透過フィルタ４０５Ｇよりも大きい。なお、フォトダイオードＰＤのサイズは、各画素において同一の大きさとしてもよい。
【０２１２】
この実施の形態１１によれば、無色画素ＮＣの感度が向上し、暗時の輝度情報を高くすることができるので、暗時までＳＮ比の高い輝度情報を得ることができるという効果を奏する。特に、監視カメラなど、暗時の輝度情報が重要な場合の用途に適用するのが効果的である。
【０２１３】
また、無色画素ＮＣおよび緑色画素Ｇの感度を従来と同等にすることにより撮像素子自体を縮小して、撮像素子の小型化を図ることができ、またこの小型化にともなって製造コストの低廉化も図ることができるという効果を奏する。
【０２１４】
なお、上述した実施の形態１〜１１では、撮像素子として、４Ｔｒ型ＣＭＯＳイメージセンサを例に挙げて説明したが、固体撮像素子であれば、ＣＣＤを適用することもできる。また、ＣＭＯＳイメージセンサは、４Ｔｒ型ＣＭＯＳイメージセンサに限定されることはなく、３Ｔｒ型、５Ｔｒ型などの他のＡＰＳを適用することもできる。さらに、ＣＭＯＳイメージセンサは、ＡＰＳに限定されることはなく、ＰＰＳ（Ｐａｓｓｉｖｅ  Ｐｉｘｅｌ  Ｓｅｎｓｏｒ）も適用することができる。
【０２１５】
また、上述した実施の形態１〜１１において、各色や画素サイズの異なる色分解フィルタ４０５や透明フィルタ４０５ＮＣの配置の例を示したが、ＣＭＯＳイメージセンサなどのＡＰＳの読み出し回路の構成や、ＣＣＤのデバイス構成に応じて、色分解フィルタ４０５や透明フィルタ４０５ＮＣの最適な配置を選択して、回路やデバイスと組み合わせることができる。これにより、ノイズ低減やスミア低減などの効果を得ることができる。
【０２１６】
さらに、上述した実施の形態１〜１１においては、色分解フィルタ４０５および透明フィルタ４０５ＮＣは、マイクロレンズ４０６とフォトダイオードＰＤとの間に配置した構成としたが、色分解フィルタ４０５および透明フィルタ４０５ＮＣは、マイクロレンズ４０６の手前に配置する構成としてもよい。
【０２１７】
たとえば、ガラス基板に色分解フィルタ４０５および透明フィルタ４０５ＮＣを形成しておくことにより、色分解フィルタ４０５および透明フィルタ４０５ＮＣを透過した光を、マイクロレンズ４０６を介してフォトダイオードＰＤに受光することができる。この構成によれば、色分解フィルタ４０５が形成されていない撮像素子に対しても、本実施の形態１〜１１の構成を適用することができる。
【産業上の利用可能性】
【０２１８】
以上のように、この発明の撮像装置、撮像素子および画像処理方法は、ディジタルスチルカメラや、携帯電話機などのディジタルスチルカメラ内蔵型のコンピュータ端末に適用することができる。
【符号の説明】
【０２１９】
１００  撮像素子
１０１、２１０１、２２０１、２３０１、２４０１、２５０１、２７０１、２８０１  ２次元配列画素群
４０５  色分解フィルタ
４０５Ｂ  青色透過フィルタ
４０５Ｒ  赤色透過フィルタ
４０５Ｇ  緑色透過フィルタ
４０５ＮＣ  透明フィルタ
１６００、１７００、１８００、１９００、２０００  撮像装置
１６０２  カラー信号算出部
１６０３  第１の輝度情報生成部
１６０４  色情報算出部
１６０５  第２の輝度情報生成部
１６０６、１８０１  選択部
１６０７  選択制御部
１９０１  パラメータ設定部
１９０２  第３の輝度情報生成部
２００１  色情報生成部
Ｂ  青色画素
Ｇ  緑色画素
ＮＣ  無色画素
Ｐ１、Ｐ２、Ｐ３、Ｐ４  注目画素
ＰＤ  フォトダイオード
【図１】
0004536072.tif 000008
【図２】
0004536072.tif 000009
【図３】
0004536072.tif 000010
【図４】
0004536072.tif 000011
【図５】
0004536072.tif 000012
【図６】
0004536072.tif 000013
【図７】
0004536072.tif 000014
【図８】
0004536072.tif 000015
【図９】
0004536072.tif 000016
【図１０】
0004536072.tif 000017
【図１１】
0004536072.tif 000018
【図１２】
0004536072.tif 000019
【図１３】
0004536072.tif 000020
【図１４】
0004536072.tif 000021
【図１５】
0004536072.tif 000022
【図１６】
0004536072.tif 000023
【図１７】
0004536072.tif 000024
【図１８】
0004536072.tif 000025
【図１９】
0004536072.tif 000026
【図２０】
0004536072.tif 000027
【図２１】
0004536072.tif 000028
【図２２】
0004536072.tif 000029
【図２３】
0004536072.tif 000030
【図２４】
0004536072.tif 000031
【図２５】
0004536072.tif 000032
【図２６】
0004536072.tif 000033
【図２７】
0004536072.tif 000034
【図２８】
0004536072.tif 000035
【図２９】
0004536072.tif 000036