(57)【要約】【課題】高精細な色再現性を実現することができる撮像装置を実現する。【解決手段】本発明に係る撮像装置１００は、撮像面内に２次元状に配置された複数の単位画素１１０と、信号処理部２０１とを備え、複数の単位画素１１０はそれぞれ、複数の受光素子１１１と、領域毎に異なる波長の光を透過する複数の領域からなる色フィルタ１１２とを含み、信号処理部２０１は、画素信号のホワイトバランスを調整するホワイトバランス調整回路２３４と、色フィルタの領域毎の特性を示す補正基準データを記憶する基準データ記憶部２４２と、撮像面内における受光素子１１１の位置を示す２次元座標を取得する座標取得回路２４４と、補正基準データと２次元座標とに基づいて色相の補正量を決定する補正量演算回路２４１と、補正量演算回路２４１によって決定された補正量で、ホワイトバランスが調整された後の画素信号の色相を補正する色相補正回路２３５とを有する。【選択図】図１
2012023620.tif 000002
【特許請求の範囲】
【請求項１】
撮像面内に２次元状に配置された複数の画素と、
前記複数の画素のそれぞれから出力される画素信号を処理する信号処理部とを備え、
前記複数の画素はそれぞれ、
複数の受光素子と、
前記複数の受光素子上に形成され、領域毎に異なる波長の光を透過する複数の領域からなる色フィルタとを含み、
前記信号処理部は、
前記画素信号のホワイトバランスを調整するＷＢ調整部と、
前記色フィルタの領域毎の特性を、１つの又は複数の画素単位で示す補正基準データを記憶する基準データ記憶部と、
前記撮像面内における前記受光素子の位置を示す２次元座標を取得する座標取得部と、
前記基準データ記憶部に記憶された補正基準データと、前記座標取得部によって取得された２次元座標とに基づいて色相の補正量を決定する補正量演算部と、
前記補正量演算部によって決定された補正量で、ホワイトバランスが調整された後の前記画素信号の色相を補正する色相補正部とを有する
撮像装置。
【請求項２】
前記複数の領域は、
赤色光を透過する赤色領域、緑色光を透過する緑色領域、及び、青色光を透過する青色領域を含み、
前記色フィルタは、
第１屈折率の高屈折率材料で構成されるｎ（ｎは３以上の自然数）層の膜と、前記第１屈折率より低い第２屈折率の低屈折率材料で構成されるｎ−１層の膜とが交互に積層された誘電体層を含み、
前記高屈折率材料で構成されるｎ層の膜のうち２層の膜と、前記低屈折率材料で構成されるｎ−１層の膜のうち１層の膜とは、前記赤色領域、前記緑色領域、及び、前記青色領域とに共通な層であり、
前記赤色領域では、
前記低屈折率材料で構成されるｎ−１層のうち、前記共通な層に含まれる前記１層の膜以外の１層の膜の膜厚は、他の層の膜厚と異なる
請求項１記載の撮像装置。
【請求項３】
前記複数の領域は、さらに、近赤外光のみを透過する領域を含む
請求項２記載の撮像装置。
【請求項４】
前記補正量は、前記２次元座標と、前記色フィルタが透過する光の波長とを変数とする関数式によって表され、
前記基準データ記憶部は、前記補正基準データとして、前記関数式を記憶する
請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
複数の画素が撮像面内に２次元状に配置された固体撮像素子から画素毎に出力される画素信号を処理する信号処理方法であって、
前記複数の画素のそれぞれは、
複数の受光素子と、
前記複数の受光素子上に形成され、領域毎に異なる波長の光を透過する複数の領域からなる色フィルタとを含み、
前記信号処理方法は、
前記画素信号のホワイトバランスを調整するＷＢ調整ステップと、
ホワイトバランスが調整された後の前記画素信号の色相を補正する色相補正ステップとを含み、
前記色相補正ステップでは、
前記色フィルタの領域毎の特性を１つの又は複数の画素単位で示す補正基準データと、前記撮像面内における前記受光素子の位置を示す２次元座標とに基づいて、色相の補正量を決定し、決定した補正量で前記画素信号の色相を補正する
信号処理方法。
【請求項６】
前記色相補正ステップでは、前記色フィルタの領域の透過特性毎に独立して前記補正量を決定し、前記画素信号の色相を補正する
請求項５記載の信号処理方法。
【請求項７】
前記色相補正ステップでは、前記２次元座標の増加に応じて単調に変化するように、前記補正量を決定する
請求項５又は６記載の信号処理方法。
【請求項８】
前記補正量は、前記２次元座標と、前記色フィルタが透過する光の波長とを変数とする関数式によって表され、
前記色相補正ステップでは、前記関数式を用いて前記補正量を決定する
請求項５〜７のいずれか１項に記載の信号処理方法。
【請求項９】
前記補正基準データは、前記色フィルタを形成する際に作成した色フィルタ成膜モニタウェハの透過率のウェハ面内分布である
請求項５〜８のいずれか１項に記載の信号処理方法。
【請求項１０】
前記補正基準データは、前記色フィルタを形成する際に作成した色フィルタ成膜モニタウェハの色フィルタの全部又は一部の膜厚のウェハ面内分布である
請求項５〜８のいずれか１項に記載の信号処理方法。
【請求項１１】
前記信号処理方法は、さらに、
前記固体撮像素子に基準光を入射した場合に生成される画素信号を用いて、前記補正基準データを演算する基準データ演算ステップを含む
請求項５〜８のいずれか１項に記載の信号処理方法。
【請求項１２】
前記基準光は、白色光である
請求項１１記載の信号処理方法。
【請求項１３】
前記基準光は、赤外光を含む
請求項１１記載の信号処理方法。
【請求項１４】
前記基準光は、前記色フィルタの領域の透過特性における透過中心波長の光である
請求項１１記載の信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び信号処理方法に関し、特に、領域毎に異なる波長の光を透過する複数の領域を有する色フィルタを備え、色補正を行う撮像装置及び信号処理方法に関する。
【背景技術】
【０００２】
近年、コンパクトデジタルスチルカメラ（ＤＳＣ：Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａ）だけでなく、高度な色再現を求められる一眼レフＤＳＣのように、銀塩フィルムから撮像素子へ、撮像媒体の移行が急速に進んでいる。
【０００３】
また、撮像素子の画素の低背化による色フィルタの薄膜化、及び、高画素化による微細化だけでなく、一眼レフＤＳＣ用などでは、画素アレイの大判化が進行している。しかし、その撮像素子に有機顔料フィルタなどの吸収型色フィルタを用いている場合は、色ムラなどが発生し、高精細な色再現性を達成できないことが課題となっている。また、フォトニックフィルタ（Ｐｈｏｔｏｎｉｃ  Ｆｉｌｔｅｒ：ＰＣＦ）などの多層干渉型フィルタでも、フィルタ膜厚のムラが色ムラの原因となり、高精細な色再現性実現への課題となっている。特に、一眼レフＤＳＣなどのデジタルカメラでは、高精細な色再現性の画像を出力する撮像装置及び画像処理方法が強く望まれている。
【０００４】
そこで、特許文献１には、高精細な色再現性実現へのアプローチとして色シェーディング補正を行う従来技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２７８００４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術では、高精細な色再現性を実現することができないという課題がある。
【０００７】
具体的には、特許文献１に開示された従来技術では、その補正量の算出方法は、一般的な方法として、主に色の異なる近接画素などから輝度比を求める方法が開示されている。しかしながら、この方法では、斜入射光による隣接画素への混色による色補正にしか効果がない。
【０００８】
すなわち、従来の技術では、照明条件やレンズなどの撮像条件などで変化する近接画素への混色を主因とする色シェーディングは補正できるが、ウェハ面内に固定値として分布する色フィルタなどの出来映えバラツキによる色ムラを補正することはできない。
【０００９】
上記の従来の技術では、画素の低背化による色フィルタの薄膜化、及び、高画素化による微細化だけでなく、一眼レフＤＳＣ用など画素アレイの大判化による色フィルタなどの出来映えのバラツキに起因した色ムラが発生し、高精細な色再現性を実現することができない。
【００１０】
そこで、本発明は、上記課題を鑑みてなされたものであって、高精細な色再現性を実現することができる撮像装置及び信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の一態様に係る撮像装置は、撮像面内に２次元状に配置された複数の画素と、前記複数の画素のそれぞれから出力される画素信号を処理する信号処理部とを備え、前記複数の画素はそれぞれ、複数の受光素子と、前記複数の受光素子上に形成され、領域毎に異なる波長の光を透過する複数の領域からなる色フィルタとを含み、前記信号処理部は、前記画素信号のホワイトバランスを調整するＷＢ調整部と、前記色フィルタの領域毎の特性を、１つの又は複数の画素単位で示す補正基準データを記憶する基準データ記憶部と、前記撮像面内における前記受光素子の位置を示す２次元座標を取得する座標取得部と、前記基準データ記憶部に記憶された補正基準データと、前記座標取得部によって取得された２次元座標とに基づいて色相の補正量を決定する補正量演算部と、前記補正量演算部によって決定された補正量で、ホワイトバランスが調整された後の前記画素信号の色相を補正する色相補正部とを有する。
【００１２】
これにより、色フィルタの領域毎の特性を示す補正基準データを用いて色相の補正量を決定するので、例えば、色フィルタの製造バラツキなどによる色ムラが発生した場合であっても、適切な色相の補正を行うことができる。したがって、高精細な色再現性を実現することができる。
【００１３】
また、前記複数の領域は、赤色光を透過する赤色領域、緑色光を透過する緑色領域、及び、青色光を透過する青色領域を含み、前記色フィルタは、第１屈折率の高屈折率材料で構成されるｎ（ｎは３以上の自然数）層の膜と、前記第１屈折率より低い第２屈折率の低屈折率材料で構成されるｎ−１層の膜とが交互に積層された誘電体層を含み、前記高屈折率材料で構成されるｎ層の膜のうち２層の膜と、前記低屈折率材料で構成されるｎ−１層の膜のうち１層の膜とは、前記赤色領域、前記緑色領域、及び、前記青色領域とに共通な層であり、前記赤色領域では、前記低屈折率材料で構成されるｎ−１層のうち、前記共通な層に含まれる前記１層の膜以外の１層の膜の膜厚は、他の層の膜厚と異なってもよい。
【００１４】
これにより、膜の膜厚を調整することで、任意の透過波長特性の領域を有する色フィルタを実現することができるので、高精細な色再現性を実現することができる。
【００１５】
また、前記複数の領域は、さらに、近赤外光のみを透過する領域を含んでもよい。
これにより、近赤外光を利用するので、夜間などの赤外光照明の下でも、高精細な色再現性を実現することができる。
【００１６】
また、前記補正量は、前記２次元座標と、前記色フィルタが透過する光の波長とを変数とする関数式によって表され、前記基準データ記憶部は、前記補正基準データとして、前記関数式を記憶してもよい。
【００１７】
これにより、２次元座標と光の波長とを変数とする関数式を記憶させておくことで、位置毎に補正基準データを記憶させる必要がなくなるので、メモリ量を低減することができるとともに、高精細な色再現性を実現することができる。
【００１８】
また、本発明の一態様に係る信号処理方法は、複数の画素が撮像面内に２次元状に配置された固体撮像素子から画素毎に出力される画素信号を処理する信号処理方法であって、前記複数の画素のそれぞれは、複数の受光素子と、前記複数の受光素子上に形成され、領域毎に異なる波長の光を透過する複数の領域からなる色フィルタとを含み、前記信号処理方法は、前記画素信号のホワイトバランスを調整するＷＢ調整ステップと、ホワイトバランスが調整された後の前記画素信号の色相を補正する色相補正ステップとを含み、前記色相補正ステップでは、前記色フィルタの領域毎の特性を１つの又は複数の画素単位で示す補正基準データと、前記撮像面内における前記受光素子の位置を示す２次元座標とに基づいて、色相の補正量を決定し、決定した補正量で前記画素信号の色相を補正する。
【００１９】
これにより、色フィルタの領域毎の特性を示す補正基準データを用いて色相の補正量を決定するので、例えば、色フィルタの製造バラツキなどによる色ムラが発生した場合であっても、適切な色相の補正を行うことができる。したがって、高精細な色再現性を実現することができる。
【００２０】
また、前記色相補正ステップでは、前記色フィルタの領域の透過特性毎に独立して前記補正量を決定し、前記画素信号の色相を補正してもよい。
【００２１】
これにより、各色に対して、独立して色相の補正を行うので、高精細な色再現性を実現することができる。
【００２２】
また、前記色相補正ステップでは、前記２次元座標の増加に応じて単調に変化するように、前記補正量を決定してもよい。
【００２３】
これにより、近接する画素間で、色相の補正量を急激に変化させないようにすることができ、高精細な色再現性を実現することができる。
【００２４】
また、前記補正量は、前記２次元座標と、前記色フィルタが透過する光の波長とを変数とする関数式によって表され、前記色相補正ステップでは、前記関数式を用いて前記補正量を決定してもよい。
【００２５】
これにより、２次元座標と波長とを変数とする関数式で色相の補正量を表すことにより、画像処理に必要とされるメモリ量を低減することができる。したがって、低電力で画像処理を行うことができるとともに、高精細な色再現性を実現することができる。
【００２６】
また、前記補正基準データは、前記色フィルタを形成する際に作成した色フィルタ成膜モニタウェハの透過率のウェハ面内分布であってもよい。
【００２７】
このように、色フィルタ形成時に作成した色フィルタ成膜モニタを用いて、色フィルタ成膜モニタのウェハ全面の透過率分布又はウェハの一部の透過率分布を補正基準データとする。これにより、この補正基準データを用いて、２次元配置された受光素子毎に補正量を演算し、撮像面内に色ムラのないように色相補正することで、高精細な色再現性を実現することができる。
【００２８】
また、前記補正基準データは、前記色フィルタを形成する際に作成した色フィルタ成膜モニタウェハの色フィルタの全部又は一部の膜厚のウェハ面内分布であってもよい。
【００２９】
このように、色フィルタ形成時に作成した色フィルタ成膜モニタを用いて、色フィルタ成膜モニタの透過率と相関があり、簡便かつ安価に測定ができる色フィルタの膜厚のウェハ全面分布又はウェハの一部の分布を補正基準データとする。これにより、この補正基準データを用いて、受光素子毎に補正量を演算し、撮像面内に色ムラのないように色相補正することで、高精細な色再現性を低コストで実現することができる。
【００３０】
また、前記信号処理方法は、さらに、前記固体撮像素子に基準光を入射した場合に生成される画素信号を用いて、前記補正基準データを演算する基準データ演算ステップを含んでもよい。
【００３１】
これにより、基準光を入射して得られた画素信号の受光素子毎のバラツキを利用して、色相の補正量を決定することができるので、高精細な色再現性を実現することができる。
【００３２】
また、前記基準光は、白色光であってもよい。
これにより、基準光に白色光源を利用することで、透過色の異なる領域を有する色フィルタを形成した受光素子を同時に、かつ、簡便に、受光素子毎の色相の補正量を演算することができる。よって、高精細な色再現性を実現することができる。
【００３３】
また、前記基準光は、赤外光を含んでもよい。
これにより、基準光に赤外光を含む光源を利用することで、夜間などにおいても、透過色の異なる領域を有する色フィルタを形成した受光素子を同時に、かつ、簡便に、受光素子毎の色相の補正量を演算することができる。よって、高精細な色再現性を実現することができる。
【００３４】
また、前記基準光は、前記色フィルタの領域の透過特性における透過中心波長の光であってもよい。
【００３５】
これにより、例えば、赤色を透過する赤色領域に対応する受光素子に赤色光を基準光として照射し、このときの画像信号から生成した補正基準データを用いて色相の補正量を決定することで、色毎に適切な補正量を決定することができる。したがって、高精細な色再現性を実現することができる。
【発明の効果】
【００３６】
本発明に係る撮像装置及び信号処理方法によれば、高精細な色再現性を実現することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態１に係る撮像装置の構成の一例を示す図である。
【図２】本発明の実施の形態１に係る撮像装置が実行する信号処理方法の一例を示すフローチャートである。
【図３】本発明の実施の形態２に係る撮像装置の構成の一例を示す図である。
【図４】本発明の実施の形態２に係る撮像装置の固体撮像素子が備える色フィルタの断面構成の一例を示す図である。
【発明を実施するための形態】
【００３８】
以下、本発明に係る撮像装置の実施の形態について、デジタルスチルカメラを例にとり、図面を参照しながら説明する。なお、本発明について、以下の実施の形態及び添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。
【００３９】
（実施の形態１）
本発明の実施の形態１に係る撮像装置は、撮像面内に２次元状に配置された複数の画素と、複数の画素のそれぞれから出力される画素信号を処理する信号処理部とを備える。複数の画素はそれぞれ、複数の受光素子と、複数の受光素子上に形成され、領域毎に異なる波長の光を透過する複数の領域からなる色フィルタとを含んでいる。本発明の実施の形態１に係る信号処理部は、色フィルタの領域毎の特性を１つの又は複数の画素単位で示す補正基準データを記憶する基準データ記憶部と、色相の補正量を決定する補正量演算部と、決定された補正量で画素信号の色相を補正する色相補正部とを有する。そして、補正量演算部は、撮像面内における受光素子の位置を示す２次元座標と、基準データ記憶部に記憶された補正基準データとに基づいて色相の補正量を決定することを特徴とする。
【００４０】
まず、本発明の実施の形態１に係る撮像装置（カメラ）の構成と信号処理方法とについて説明する。図１は、本発明の実施の形態１に係る撮像装置１００の機能構成の一例を示すブロック図である。
【００４１】
図１に示されるように、本発明の実施の形態１に係る撮像装置１００は、固体撮像素子１０１と、信号処理部２０１とを備える。また、本発明の実施の形態１に係る信号処理方法では、レッド（Ｒ）、グリーン（Ｇｒ、Ｇｂ）、ブルー（Ｂ）がベイヤー配列された４画素を１単位とする単位画素１１０を有する撮像装置１００において、色信号と輝度信号とからなる画像信号を処理する。
【００４２】
固体撮像素子１０１は、入射光を光電変換して電気信号を生成するＭＯＳ（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等である。固体撮像素子１０１は、複数の単位画素１１０と、垂直シフトレジスタ１２１と、水平シフトレジスタ１２２と、ノイズ除去回路１２３と、出力アンプ１２４とを備える。なお、図１には、複数の単位画素１１０のうちの１つのみが図示されている。
【００４３】
複数の単位画素１１０はそれぞれ、複数の受光素子１１１と、色フィルタ１１２とを備える。本発明の実施の形態１に係る単位画素１１０は、レッド（Ｒ）、グリーン（Ｇｒ、Ｇｂ）及びブルー（Ｂ）がベイヤー配列された４つのサブ画素を１単位とする画素である。つまり、図１に示すように、単位画素１１０は、４つの受光素子１１１を備える。
【００４４】
複数の受光素子１１１は、色フィルタ１１２を透過した入射光を光電変換することで、電気信号を生成する。生成された電気信号は、垂直シフトレジスタ１２１及び水平シフトレジスタ１２２による制御に従って、信号処理部２０１に出力される。
【００４５】
色フィルタ１１２は、可視光（Ｒ、Ｇ、Ｂ）を領域毎に選択的に透過するフィルタである。具体的には、色フィルタ１１２は、赤色領域１１３と、緑色領域１１４及び１１５と、青色領域１１６とを有する。例えば、色フィルタ１１２は、透過色毎で異なる有機顔料を含む吸収型の有機顔料フィルタである。
【００４６】
赤色領域１１３は、色フィルタ１１２内における、主として赤色（６５０ｎｍ）を透過する領域である。緑色領域１１４及び１１５は、色フィルタ１１２内における、主として緑色（５５０ｎｍ）を透過する領域である。青色領域１１６は、色フィルタ１１２内における、主として青色（４５０ｎｍ）を透過する領域である。
【００４７】
垂直シフトレジスタ１２１は、複数の受光素子１１１を行毎に選択し、水平シフトレジスタ１２２は、選択された行信号を選択する。ノイズ除去回路１２３は、受光素子１１１から出力された電気信号のノイズを除去する。出力アンプ１２４は、垂直シフトレジスタ１２１及び水平シフトレジスタ１２２によって選択された電気信号を増幅して、信号処理部２０１に出力する。
【００４８】
以上の構成により、固体撮像素子１０１は、受光素子１１１毎に電気信号をサブ画素信号として出力する。サブ画素信号は、各受光素子１１１に対応する色成分の電気信号である。
【００４９】
信号処理部２０１は、固体撮像素子１０１が出力する画素信号を処理することで、単位画素１１０の輝度信号及び色信号を生成する。画素信号は、複数の単位画素１１０のそれぞれから出力される信号であり、具体的には、レッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のサブ画素信号を含む。
【００５０】
信号処理部２０１は、固体撮像素子１０１から受け付けた画像信号に画像信号処理を施すＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等である。なお、画像信号は、複数の画素信号の集まりを意味する。
【００５１】
信号処理部２０１は、図１に示すように、キズ補正回路２１１と、ＯＢ計算回路２１２と、輝度計算回路２２１と、ローパスフィルタ回路２３１と、色シェーディング補正回路２３２と、輝度シェーディング補正回路２３３と、ホワイトバランス調整回路２３４と、色相補正回路２３５と、カラーゲイン調整回路２３６と、γ補正回路２３７と、加算回路２３８と、補正量演算回路２４１と、基準データ記憶部２４２と、基準データ入力回路２４３と、受光素子の撮像面内２次元座標の座標取得回路２４４とを備えている。なお、処理済みの画素信号は、メモリ（図示せず）などに格納されている。各処理部は、必要に応じて、当該メモリから処理済みの画素信号などを取得し、取得した処理済みの画素信号を用いて、それぞれの処理を行う。
【００５２】
キズ補正回路２１１は、画素欠陥補正を行う。すなわち、キズ補正回路２１１は、入力された画像信号のうち、隣接画素の画素信号を用いて演算することにより、欠陥画素の画素信号を生成して出力する。
【００５３】
ＯＢ計算回路２１２は、画素信号に含まれる暗電流などのオフセット除去を行う。例えば、ＯＢ計算回路２１２は、サブ画素信号毎にオフセット除去を行う。ＯＢ計算回路２１２によって処理されたサブ画素信号は、輝度計算回路２２１とローパスフィルタ回路２３１とに出力される。
【００５４】
輝度計算回路２２１は、単位画素に含まれる複数のサブ画素信号を用いて、当該単位画素の輝度信号を生成する。具体的には、輝度計算回路２２１は、各サブ画素信号を加算することで、輝度信号を生成する。すなわち、輝度信号Ｙは、赤色サブ画素信号Ｒと、第１緑色サブ画素信号Ｇｂと、第２緑色サブ画素信号Ｇｒと、青色サブ画素信号Ｂとの和（Ｙ＝Ｒ＋Ｇｂ＋Ｇｒ＋Ｂ）として、算出される。
【００５５】
ローパスフィルタ回路２３１は、サブ画素信号に含まれるノイズ成分を除去する。ノイズ成分が除去されたサブ画素信号は、色シェーディング補正回路２３２に出力される。
【００５６】
色シェーディング補正回路２３２及び輝度シェーディング補正回路２３３は、近接する画素からの出力信号を用いて、色シェーディング補正と輝度シェーディング補正とを行う。色シェーディング及び輝度シェーディングは、撮影条件で変動するような、例えば、斜入射光の隣接画素への混色で発生する。シェーディングが補正された画素信号は、ホワイトバランス調整回路２３４に出力される。
【００５７】
ホワイトバランス調整回路２３４は、画素信号のホワイトバランス（ＷＢ）を調整する。すなわち、画素信号に含まれる各色を示すサブ画素信号の３原色間の色補正を行う。ホワイトバランスが調整された後の画素信号は、色相補正回路２３５に出力される。
【００５８】
色相補正回路２３５は、補正量演算回路２４１によって決定された補正量を用いて、ホワイトバランスが調整された後の画素信号の色相を補正する。補正後の画素信号は、カラーゲイン調整回路２３６に出力される。
【００５９】
カラーゲイン調整回路２３６は、入力される画素信号のカラーゲインの調整を行う。カラーゲインが調整された画素信号は、γ補正回路２３７に出力される。
【００６０】
γ補正回路２３７は、入力される画素信号にγ補正を行う。補正後の画素信号は、加算回路２３８に出力される。
【００６１】
加算回路２３８は、γ補正回路２３７から出力された画素信号と、輝度計算回路２２１から出力された輝度信号とを加算することで、信号処理後の画素信号を生成する。信号処理後の画素信号は、表示装置等に画像信号として出力される。
【００６２】
補正量演算回路２４１は、基準データ記憶部２４２に記憶された色相補正基準データと、撮像面内における受光素子の位置を示す２次元座標とを用いて、受光素子１１１毎に色相の補正量を演算し、決定する。例えば、補正量演算回路２４１は、座標取得回路２４４によって取得された受光素子の２次元座標の増加に応じて単調に変化するように、色相の補正量を決定する。このように、２次元座標の増加に応じて色相の補正量を単調増加させることで、近接する画素間で、色相の補正量を急激に変化させなくて済むので、高精細な色再現性を実現することができる。決定した色相の補正量は、色相補正回路２３５に出力される。
【００６３】
例えば、補正量演算回路２４１は、受光素子１１１の２次元座標と、色フィルタ１１２が透過する光の波長とを変数として、色相の補正量を表す関数式を、色相補正基準データとして利用することで、色相の補正量を演算する。つまり、補正量演算回路２４１は、座標取得回路２４４によって取得された受光素子の２次元座標（ｘ，ｙ）と、当該受光素子に入射する光の波長λとを用いて、色相の補正量を演算する。
【００６４】
このように、２次元座標と波長とを変数とする関数式で色相の補正量を表すことにより、画像処理に必要とされるメモリ量を低減することができる。したがって、低電力で画像処理を行うことができるとともに、高精細な色再現性を実現することができる。
【００６５】
基準データ記憶部２４２は、色相補正基準データを記憶するためのメモリなどである。例えば、基準データ記憶部２４２は、色相補正基準データとして、撮像面内の２次元座標と、色フィルタが透過する光の波長とを変数とする関数式を記憶する。このように、２次元座標と光の波長とを変数とする関数式を記憶させておくことで、位置毎に補正基準データを記憶させる必要がなくなるので、メモリ量を低減することができるとともに、高精細な色再現性を実現することができる。
【００６６】
基準データ入力回路２４３は、色相の補正量の演算に用いる色相補正基準データを、基準データ記憶部２４２に格納する。例えば、基準データ入力回路２４３は、色フィルタ形成時に作成した色フィルタ成膜モニタウェハの透過率のウェハ面内分布を、色相補正基準データとして基準データ記憶部２４２に格納する。
【００６７】
色フィルタ形成時に作成した色フィルタ成膜モニタを用いて、色フィルタ成膜モニタのウェハ全面分布又はウェハの一部からの透過率分布を測定し、測定した透過率分布を補正基準データとして、基準データ入力回路２４３は、基準データ記憶部２４２に格納する。これにより、この補正基準データを用いて、２次元配置された受光素子毎に補正量を演算し、撮像面内に色ムラのないように色相補正することで、高精細な色再現性を実現することができる。
【００６８】
以上のように、本発明の実施の形態１に係る撮像装置１００は、補正基準データと撮像面内の画素の位置を示す２次元座標とを用いて、色相の補正量を決定する補正量演算回路２４１と、決定した補正量で画素信号の色相を補正する色相補正回路２３５とを備える。補正基準データは、色フィルタ１１２の領域毎の特性を、１つ又は複数の画素単位で示している。
【００６９】
これにより、色フィルタ１１２の領域毎の特性を示す補正基準データを用いて色相の補正量を決定するので、例えば、色フィルタ１１２の製造バラツキなどによる色ムラが発生した場合であっても、適切な色相の補正を行うことができる。例えば、補正基準データは、色フィルタ成膜モニタウェハの透過率分布である。補正量演算回路２４１が、この補正基準データより撮像装置１００の撮像面内に２次元配置された受光素子毎に補正量を演算し、色相補正回路２３５が、撮像面内に色ムラのないように色相補正する。これにより、本発明の実施の形態１に係る撮像装置１００によれば、高精細な色再現性を実現することができる。
【００７０】
ここで、本発明の実施の形態１に係る撮像装置１００が実行する信号処理方法の一例について、図２を用いて説明する。図２は、本発明の実施の形態１に係る撮像装置１００が実行する信号処理方法の一例を示すフローチャートである。
【００７１】
まず、ホワイトバランス調整回路２３４が、入力された画素信号のホワイトバランスを調整する（Ｓ１１０）。なお、上述したように、ホワイトバランス調整回路２３４に入力される画素信号には、シェーディング補正処理、ＬＰＦ処理などの所定の処理が実行されている。
【００７２】
次に、補正量演算回路２４１は、基準データ記憶部２４２に記憶されている補正基準データと、座標取得回路２４４によって取得された２次元座標とを用いて、色相の補正量を演算する（Ｓ１２０）。
【００７３】
このとき、座標取得回路２４４は、色相の補正処理の対象となる画素信号を出力した対象画素の画素位置を示す２次元座標を取得する。また、補正量演算回路２４１は、例えば、上述の関数式を用いて、色相の補正量を演算する。具体的には、色フィルタ１１２の領域の透過特性毎に独立して補正量を決定する。各色に対して、独立して色相の補正を行うので、高精細な色再現性を実現することができる。
【００７４】
このとき、画素上に形成した色フィルタの透過色に対応した関数式の変数の１つである波長は、色フィルタ形成時に作成した色フィルタ成膜モニタウェハの透過率のウェハ面内分布から求められる。ウェハ面内分布は、補正基準データとして基準データ記憶部２４２に記憶されている。
【００７５】
次に、色相補正回路２３５は、補正量演算回路２４１によって演算された補正量を用いて、対象画素の画素信号の色相を補正する（Ｓ１３０）。
【００７６】
以上のように、本発明の実施の形態１に係る信号処理方法によれば、色フィルタの領域毎の特性を示す補正基準データと、対象画素の位置を示す２次元座標とを用いるので、例えば、製造バラツキなどが原因となって、色フィルタの特性が撮像面内における位置によって異なっている場合であっても、適切な補正量を演算することができる。したがって、本発明の実施の形態１に係る信号処理方法によれば、高精細な色再現性を実現することができる。
【００７７】
なお、所定の補正基準データは、色フィルタ形成時に作成した色フィルタ成膜モニタウェハの色フィルタの全部又は一部の膜厚のウェハ面内分布であってもよい。このように、色フィルタ形成時に作成した色フィルタ成膜モニタを用いて、色フィルタ成膜モニタの透過率と相関があり、簡便かつ安価に測定ができる色フィルタの膜厚のウェハ全面分布又はウェハの一部の分布を補正基準データとする。これにより、この補正基準データを用いて、受光素子毎に補正量を演算し、撮像面内に色ムラのないように色相補正することで、高精細な色再現性を低コストで実現することができる。
【００７８】
また、所定の補正基準データは、撮像装置１００に白色光を基準光として入射したときに受光素子からの画像信号から演算されてもよい。これにより、基準光に白色光源を利用することで、透過色の異なる領域を有する色フィルタを形成した受光素子を同時に、かつ、簡便に、受光素子毎の色相の補正量を演算することができる。よって、高精細な色再現性を実現することができる。
【００７９】
このとき、基準光は、赤外光を含んでもよい。基準光に赤外光を含む光源を使用することで、夜間などであっても、透過色の異なる色フィルタを形成した受光素子を同時に、かつ、簡便に、撮像面内の色相の補正量を演算し、補正量を用いて色相を補正することができる。したがって、高精細な色再現を実現できる。
【００８０】
このように、基準光を入射して得られた画素信号の受光素子毎のバラツキを利用して、色相の補正量を決定することができるので、高精細な色再現性を実現することができる。
【００８１】
また、基準光は、色フィルタの領域の透過特性における透過中心波長の光であってもよい。例えば、赤色領域に対応する受光素子へ赤色光を照射することで補正基準データを取得する。そして、その補正基準データから演算した補正量を用いて色相補正を行うことで、撮像装置１００は、色毎に適切な補正量を決定することができ、高精細な色再現性が実現できる。
【００８２】
以上のように、本発明の実施の形態１における撮像装置１００によれば、画素の低背化による色フィルタの薄膜化、又は、高画素化による微細化だけでなく、デジタル一眼レフカメラ用など画素アレイの大判化による色フィルタなどの出来映えのバラツキで発生した色ムラを低減することができる。したがって、本発明の実施の形態１に係る撮像装置１００によれば、高精細な色再現性を実現することができる。
【００８３】
（実施の形態２）
本発明の実施の形態２に係る撮像装置は、近赤外光を透過する領域を含む色フィルタを備え、近赤外信号を含む画像信号を処理することを特徴とする。本発明の実施の形態２に係る撮像装置によれば、近赤外信号を利用するので、例えば、夜間などの可視光信号が微弱である場合であっても、色成分信号を有効に残して、高精細な色再現性を実現することができる。
【００８４】
まず、本発明の実施の形態２に係る撮像装置の構成と信号処理方法とについて説明する。図３は、本発明の実施の形態２に係る撮像装置３００の機能構成の一例を示すブロック図である。
【００８５】
図３に示されるように、本発明の実施の形態２に係る撮像装置３００は、固体撮像素子３１０と、信号処理部３２０と、撮像制御部３３０と、光源制御部３４１と、ＩＲ光源３４２と、対物レンズ３５１と、絞り３５２とを備える。また、本発明の実施の形態２に係る信号処理方法は、レッド（Ｒ）＋近赤外（ＩＲ）、グリーン（Ｇ）＋近赤外（ＩＲ）、ブルー（Ｂ）＋近赤外（ＩＲ）、及び、近赤外（ＩＲ）の４画素を１単位とする単位画素３１１を有する撮像装置１００において、色信号と輝度信号とからなる画像信号を処理する。
【００８６】
固体撮像素子３１０は、入射光を光電変換して色信号を生成するＭＯＳ型イメージセンサ等である。固体撮像素子３１０は、複数の単位画素３１１と、垂直シフトレジスタ１２１と、水平シフトレジスタ１２２と、ノイズ除去回路１２３と、出力アンプ１２４とを備える。なお、図３には、複数の単位画素３１１のうちの１つのみが図示されている。なお、以下では、実施の形態１と同じ構成については、同じ符号を付し、説明を省略する場合がある。
【００８７】
複数の単位画素３１１はそれぞれ、複数の受光素子１１１と、色フィルタ３１２とを備える。色フィルタ３１２は、Ｒ＋ＩＲ透過領域３１３と、Ｇ＋ＩＲ透過領域３１４と、Ｂ＋ＩＲ透過領域３１５と、ＩＲ透過領域３１６とを有する。つまり、色フィルタ３１２は、可視光（Ｒ、Ｇ、Ｂ）を領域毎に選択的に透過するとともに、赤外光を透過するフィルタである。
【００８８】
実施の形態１に係る色フィルタ１１２と比較して、単位画素１１０に含まれる２つの緑色領域１１４及び１１５の一方が、近赤外光を透過するＩＲ透過領域３１６に置き換えられている。また、単位画素１１０に含まれる赤色領域１１３、緑色領域１１４及び１１５の他方、及び、青色領域１１６のそれぞれは、近赤外光も透過するＲ＋ＩＲ透過領域３１３、Ｇ＋ＩＲ透過領域３１４、Ｂ＋ＩＲ透過領域３１５に置き換えられている。
【００８９】
固体撮像素子３１０は、２次元配列された単位画素３１１の各行を垂直シフトレジスタ１２１により選択し、その行信号を水平シフトレジスタ１２２により選択して、単位画素３１１毎のカラー信号（画素信号）を出力アンプ１２４から出力する。つまり、固体撮像素子３１０は、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、及び、ＩＲのサブ画素信号を含む画素信号を信号処理部３２０に出力する。
【００９０】
ここで、色フィルタ３１２の構成について説明する。ＩＲ画素を含めたＲＧＢ＋ＩＲフィルタを有する画素構成を容易に実現するために、フォトニック結晶カラーフィルタを色フィルタ３１２として撮像素子（複数の受光素子１１１）上に集積した。フォトニック結晶カラーフィルタのように、低屈折率の材料と高屈折率の材料とを交互に積層して得られる光学多層膜は、光が透過しない禁止帯が生じる。本発明の実施の形態２では、光が透過する透過帯を近赤外光が透過するように設計し、ＩＲフィルタとして用いる。
【００９１】
色フィルタ３１２のＲ＋ＩＲ透過領域３１３、Ｇ＋ＩＲ透過領域３１４及びＢ＋ＩＲ透過領域３１５は、低屈折率の材料と高屈折率の材料とを交互にλ／４（λ：波長）の膜厚で積層された光学多層膜に、膜厚がλ／４とは異なる“欠陥層”を導入することで実現できる。この欠陥層により光学的な周期性に乱れが生じ、禁止帯の中に透過帯を生じさせることができる。欠陥層の膜厚を適切に設計することで、所望の波長帯域の透過帯を実現できる。すなわち、赤色光と近赤外光が透過するＲ＋ＩＲ画素、緑色光と近赤外光が透過するＧ＋ＩＲ画素、青色光と近赤外光が透過するＢ＋ＩＲ画素、及び近赤外光のみが透過するＩＲ画素を有するカラーフィルタを容易に設計できる。Ｒ＋ＩＲ透過領域３１３、Ｇ＋ＩＲ透過領域３１４、Ｂ＋ＩＲ透過領域３１５のそれぞれの欠陥層の膜厚を調整するだけで、赤色光と近赤外光、緑色光と近赤外光、青色光と近赤外光の透過帯が形成できる。
【００９２】
図４を用いて具体的に説明する。図４は、本発明の実施の形態２に係る撮像装置３００の固体撮像素子３１０が備える色フィルタ３１２の断面構成の一例を示す図である。図４に示すように、基板４０１上に、色フィルタ３１２が形成されている。
【００９３】
基板４０１には、複数の受光素子１１１が形成されており、複数の受光素子１１１上のそれぞれに、Ｒ＋ＩＲ透過領域３１３、Ｇ＋ＩＲ透過領域３１４、Ｂ＋ＩＲ透過領域３１５及びＩＲ透過領域３１６が形成されている。
【００９４】
色フィルタ３１２は、第１屈折率の高屈折率材料で構成されるｎ層の膜（第１膜４０２、４０４、４０６及び４０８）と、第１屈折率より低い第２屈折率の低屈折率で構成されるｎ−１層の膜（第２膜４０３、４０５及び４０７）とが交互に積層された誘電体層を含んでいる。ここで、ｎは、３以上の自然数である。さらに、図４に示す例では、色フィルタ３１２は、第１膜４０８上に形成された平坦化膜４０９を備えている。
【００９５】
第１膜４０２、４０４、４０６及び４０８は、例えば、二酸化チタン（ＴｉＯ2）から構成される。また、第２膜４０３、４０５及び４０７は、例えば、二酸化珪素（ＳｉＯ2）から構成される。
【００９６】
高屈折率材料で構成されるｎ層の膜のうちの２層の膜である第１膜４０４及び４０６と、低屈折率材料で構成されるｎ−１層の膜のうちの１層の膜である第２膜４０５とは、Ｒ＋ＩＲ透過領域３１３、Ｇ＋ＩＲ透過領域３１４、Ｂ＋ＩＲ透過領域３１５及びＩＲ透過領域３１６で共通である。すなわち、第１膜４０４及び４０６と、第２膜４０５とは、色フィルタ３１２の各領域に共通な層に含まれ、入射光の設定波長をλとしたとき、当該設定波長λの１／４に等しい膜厚を有する。
【００９７】
また、低屈折率材料で構成されるｎ−１層の膜のうち、上記の共通な層に含まれる第２膜４０５以外の少なくとも１つの膜は、他の層の膜厚と異なっている。例えば、第２膜４０３及び４０７は、“欠陥層”に相当し、膜厚がλ／４とは異なっている。第２膜４０３及び４０７は、透過対象の光を制御するために用いられる層であり、膜厚を領域毎に異ならせることによって、赤、緑、青又は近赤外の光を透過させる。
【００９８】
以上のように、ｎ層の高屈折率膜とｎ−１層の低屈折率膜とが積層された構造において、低屈折率膜の少なくとも１層の膜厚を、透過対象となる光の波長に応じて領域毎に異ならせることで、赤色光及び近赤外光と、緑色光及び近赤外光と、青色光及び近赤外光と、近赤外光のみとのそれぞれの透過帯が形成できる。このように、膜の膜厚を調整することで、任意の透過波長特性の領域を有する色フィルタを実現することができるので、高精細な色再現性を実現することができる。
【００９９】
信号処理部３２０は、固体撮像素子３１０から受け付けた画像信号に画像信号処理を施すＤＳＰ等である。信号処理部３２０は、実施の形態１に係る信号処理部２０１に比べて、新たに、４×４行列演算回路３２１と、色差計算回路３２２と、近赤外信号制御回路３２３と、ｋ算出回路３２４とを備えている。
【０１００】
撮像制御部３３０は、露出時間制御部３３１と、絞り制御部３３２とを備えている。
露出時間制御部３３１は、固体撮像素子３１０の露出時間を制御する。例えば、露出時間制御部３３１は、近赤外信号制御回路３２３からの制御に基づいて露出時間を決定し、決定した露出時間だけ受光素子１１１が露出されるように、固体撮像素子３１０を制御する。
【０１０１】
絞り制御部３３２は、絞り３５２を制御する。例えば、絞り制御部３３２は、近赤外信号制御回路３２３からの制御に基づいて、絞り３５２の絞り量を決定し、決定した絞り量を実現するように絞り３５２を制御する。
【０１０２】
光源制御部３４１は、ＩＲ光源３４２から被写体に対して照射される近赤外光の照射量を制御する。例えば、光源制御部３４１は、輝度計算回路２２１からの制御に基づいて、近赤外光の照射量を決定する。
【０１０３】
ＩＲ光源３４２は、光源制御部３４１によって決定された照射量の近赤外光を被写体に照射する。
【０１０４】
対物レンズ３５１は、入射した光を固体撮像素子３１０の撮像領域上に結像させる。
絞り３５２は、対物レンズ３５１を通過する光の量を制御する。
【０１０５】
図３に示されるように、信号処理部３２０は、固体撮像素子３１０が出力する画素信号から、レッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素の輝度信号及び色信号を生成する。
【０１０６】
なお、固体撮像素子３１０が出力する画素信号からレッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）のフィルタの画素のサブ画素信号を生成するには、例えば、レッド（Ｒ）の場合は、可視光（Ｒ）と非可視光（ＩＲ）とを透過するＲ＋ＩＲ透過領域３１３を有するサブ画素の出力信号であるレッド（Ｒ）＋近赤外（ＩＲ）信号から、非可視光（ＩＲ）を透過するＩＲ透過領域３１６を有するサブ画素の出力信号である近赤外（ＩＲ）信号を差し引くことで、レッド（Ｒ）を導出する。そして、導出されたレッド（Ｒ）をサブ画素信号とすればよい。
【０１０７】
また、この画素構成を利用すれば、昼間では近赤外光成分を含んだ赤、緑、青の原信号からＩＲ画素のＩＲ信号成分を差分することで、赤、緑、青の各信号を得ることができる。このように、本発明の実施の形態２に係る撮像装置３００は、昼間であっても、機械式ＩＲカットフィルタを必要としない。
【０１０８】
一方、夜間では、全ての画素の信号を用いることで近赤外光の画像を得る。そのため、ＩＲ画像の解像度は、Ｒ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素のＩＲ成分を用いるため、昼間でのＲＧＢ画像よりも高い。
【０１０９】
以下では、信号処理部３２０が備える構成要素について説明する。なお、実施の形態１と同様の構成要素については、説明を省略する場合がある。
【０１１０】
固体撮像素子３１０から出力される画素信号は、Ｒ＋ＩＲサブ画素信号、Ｇ＋ＩＲサブ画素信号、Ｂ＋ＩＲサブ画素信号、及び、ＩＲサブ画素信号を含んでいる。つまり、各サブ画素信号は、近赤外光の成分を含んでいる点が実施の形態１と異なっている。キズ補正回路２１１、ＯＢ計算回路２１２及びローパスフィルタ回路２３１は、実施の形態１と同様に、入力された画素信号を処理する。
【０１１１】
４×４行列演算回路３２１は、比重をかけたＩＲ信号を各サブ画素の原信号から差分することで、Ｒ、Ｇ、Ｂ可視光の色信号を生成する。なお、このときの比重係数は、近赤外光が各サブ画素信号から消失するように調整している。つまり、４×４行列演算回路３２１は、Ｒ＋ＩＲサブ画素信号、Ｇ＋ＩＲサブ画素信号、Ｂ＋ＩＲサブ画素信号、及び、ＩＲサブ画素信号に、４×４の行列演算を施すことによって、ＲＧＢの３信号を生成して出力する。
【０１１２】
差分の処理後は、通常の３原色と同様に、色シェーディング補正回路２３２及び輝度シェーディング補正回路２３３が、色シェーディング補正と輝度シェーディング補正とを、近接する画素からの出力信号を用いて実行する。さらに、ホワイトバランス調整回路２３４が、画素信号のホワイトバランスの調整を行う。
【０１１３】
さらに、色差計算回路３２２、色相補正回路２３５、カラーゲイン調整回路２３６で信号処理を行う。このとき、色差計算回路３２２は、複数種類の色信号（つまり、Ｒ、Ｇ、Ｂ）を用いて複数の色差成分信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）を算出して出力する。最後に、γ補正回路２３７から出力された色信号は、輝度計算回路２２１から出力された輝度信号と合わせて表示装置等に画像信号として出力される。
【０１１４】
色相補正回路２３５は、補正量演算回路２４１によって決定された補正量で、色差計算回路３２２から出力される色差成分信号を補正する。補正量演算回路２４１は、基準データ入力回路２４３から入力され、基準データ記憶部２４２に記憶された色相補正基準データと、座標取得回路２４４によって取得された受光素子の２次元座標とを用いて、受光素子毎の補正量を演算する。
【０１１５】
本実施の形態では、輝度計算回路２２１は、輝度信号を作成する演算において、近赤外光のみを通過する色フィルタを搭載した受光素子から出力された信号を（すなわち、ＩＲサブ画素信号）利用する。輝度信号Ｙは、輝度信号＝（Ｒ＋ＩＲサブ画素信号）＋（Ｇ＋ＩＲサブ画素信号）＋（Ｂ＋ＩＲサブ画素信号）＋ｋ×ＩＲサブ画素信号で計算される。つまり、Ｙ＝（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ｋＩＲで計算される。
【０１１６】
ここでｋは、任意変数である。具体的には、（（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ））信号に対するＩＲサブ画素信号の混合率を示す混合係数であり、あるいは、輝度信号Ｙに対するＩＲサブ画素信号の混合率を示す混合係数である。この場合、ｋは、−３以上＋１以下の範囲内で定められる。
【０１１７】
例えば、ｋ算出回路３２４が、ｋを算出する。具体的には、ｋ算出回路３２４は、ＩＲサブ画素信号の信号量に応じて混合係数を算出する。
【０１１８】
一例として、ｋ＝−３の場合、ＩＲサブ画素信号が完全に除去された輝度信号Ｙを、輝度計算回路２２１によって生成することができる。これは、昼モードでは撮像に適している。ｋ＝＋１の場合、ＩＲサブ画素信号の全部を含む輝度信号Ｙを、輝度計算回路２２１によって生成することができる。これは、白黒画像の生成に適している。ｋが−３から＋１の中間的な値の場合、カラー画像が生成され、ｋに応じてカラー化の程度が決定される。これは、夜モードでカラー化するのに適している。
【０１１９】
近赤外信号制御回路３２３は、輝度信号演算に用いられる近赤外信号（ＩＲサブ画素信号）の成分量に応じて、撮像制御部３３０を制御し、固体撮像素子３１０の露光量を所定の値に制御することができる。
【０１２０】
具体的には、固体撮像素子３１０の露光量を所定の値への調整するため、近赤外信号制御回路３２３は、露出時間制御部３３１を制御することで、露出時間を所定の値に調整する。また、固体撮像素子３１０の露光量を所定の値への調整するため、近赤外信号制御回路３２３は、絞り制御部３３２を制御し、対物レンズ３５１の絞り３５２を調整することにより入射光量を所定の値に調整する。また、固体撮像素子３１０の露光量を所定の値への調整するため、近赤外信号制御回路３２３は、光源制御部３４１を制御することで、被写体に所定の近赤外光を照射するＩＲ光源３４２の照射量を調整する。
【０１２１】
また、近赤外信号制御回路３２３は、色信号成分に印加されるＩＲサブ画素信号の成分量を調整するために、ホワイトバランス調整回路２３４の出力に応じてカラーゲイン調整回路２３６を制御することで、利得を調整する。特に、車載カメラ及びセキュリティカメラで要求される標識などの赤色の色再現性を得るために、赤色信号の利得を最大とするように近赤外信号成分の成分量を制御する。また、信号処理部３２０は、各受光素子の近赤外信号成分を除いた可視光成分のみからなる色再生信号を生成する工程と、赤色信号成分を生成する工程とに最大の利得を与えるよう制御する。
【０１２２】
また、近赤外信号制御回路３２３は、色再生信号の強度に応じて輝度信号に印加される近赤外光量の成分量を制御する。
【０１２３】
なお、本発明の実施の形態２に係る撮像装置３００では、色相の補正量の算出及び色相の補正処理は、実施の形態１に係る撮像装置１００が行う動作と同じである（図２参照）。本発明の実施の形態２に係る撮像装置３００では、各サブ画素信号に近赤外成分が含まれているが、４×４行列演算回路３２１によって近赤外成分が除去される。ホワイトバランス調整回路２３４及び色相補正回路２３５は、近赤外成分が除去された信号に対して処理を行うため、実施の形態１と同様の処理を施すことができる。
【０１２４】
以上のように、本発明の実施の形態２に係る撮像装置３００は、近赤外光を透過する領域を含む色フィルタ３１２と、信号処理部３２０とを備え、信号処理部３２０は、近赤外信号を含む画像信号を処理する。具体的には、信号処理部３２０は、近赤外光成分を含むサブ画素信号のそれぞれから近赤外光成分を除去し、近赤外光成分が除去された信号、すなわち、Ｒ、Ｇ、Ｂのそれぞれの信号について、色相の補正量を決定し、決定した補正量で色相を補正する。
【０１２５】
これにより、本発明の実施の形態２に係る撮像装置３００によれば、近赤外成分を含む画像信号の場合であっても、高精細な色再現性を実現することができる。さらに、近赤外信号を利用するので、デイナイトカメラ等、夜間に近赤外光を受光することで撮像する撮像素子において、可視光信号が微弱な環境の夜間モードにおいても、高精細な色再現性を実現することができる。このように、近赤外光を利用するので、夜間などの赤外光照明の下でも、高精細な色再現性を実現することができる。
【０１２６】
以下では、本発明の実施の形態の比較例について説明する。
まず、本発明の実施の形態の比較例は、斜入射光による混色シェーディングを色補正するものであり、その補正データは青画素あるいは赤画素の隣接する緑画素の輝度比より算出する。この方法は、ホワイトバランスの前に色シェーディング補正を行う構成のため、固定値である画素アレイ内での色フィルタの出来映えバラツキ（色ムラ）に起因した分光波長シフトを完全に補正することができず、高精細の色再現ができないという課題を有している。
【０１２７】
また、色シェーディング補正量を輝度シェーディング補正量より軽微なもの（約１／３）とし、ホワイトバランス後に色シェーディング補正と輝度シェーディング補正とをあわせて行う方法が考えられる。この方法は、色情報の補正と輝度情報の補正とを、同じゲイン情報から求めているので、固定値である画素アレイ内での色フィルタ出来映えバラツキ（色ムラ）に起因した分光波長シフトを完全に補正することができず、高精細の色再現ができないという課題を有している。
【０１２８】
また、色シェーディングを補正するのに撮影画像の彩度を調整して行うという方法が考えられる。この方法の場合は、ホワイトバランスの前に色シェーディング補正を行う構成であるため、固定値である画素アレイ内での色フィルタの出来映えバラツキに起因した色ムラの原因となる分光波長シフトを完全に補正することができず、高精細の色再現ができないという課題を有している。
【０１２９】
以上の本発明の実施の形態の比較例に対して、図面を用いて説明したように、本発明の実施の形態に係る撮像装置及び信号処理方法は、画素の低背化による色フィルタの薄膜化、及び、高画素化による微細化だけでなく、デジタル一眼レフカメラ用など画素アレイの大判化による色フィルタなどの出来映えのバラツキで発生した色ムラを低減し、高精細な色再現性を実現することができる。
【０１３０】
以上、本発明に係る撮像装置及び信号処理方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１３１】
例えば、図１及び図３に示した信号処理部２０１及び３２０が備える構成要素は、必ずしも全てを備える必要はない。例えば、信号処理部２０１は、加算回路２３８を備えていなくてもよく、輝度計算回路２２１によって計算された輝度信号と、γ補正回路２３７によって補正された色差信号とを外部の表示装置などに出力してもよい。
【０１３２】
また、単位画素に含まれるサブ画素の配列もベイヤー配列でなくてもよい。
【産業上の利用可能性】
【０１３３】
本発明に係る撮像装置及び信号処理方法は、高精細な色再現性を実現することができるという効果を奏し、デジタル一眼レフカメラ、デジタルカメラ、カメラ付携帯電話、及び、昼夜兼用監視カメラなどに利用することができる。
【符号の説明】
【０１３４】
１００、３００  撮像装置
１０１、３１０  固体撮像素子
１１０、３１１  単位画素
１１１  受光素子
１１２、３１２  色フィルタ
１１３  赤色領域
１１４、１１５  緑色領域
１１６  青色領域
１２１  垂直シフトレジスタ
１２２  水平シフトレジスタ
１２３  ノイズ除去回路
１２４  出力アンプ
２０１、３２０  信号処理部
２１１  キズ補正回路
２１２  ＯＢ計算回路
２２１  輝度計算回路
２３１  ローパスフィルタ回路
２３２  色シェーディング補正回路
２３３  輝度シェーディング補正回路
２３４  ホワイトバランス調整回路
２３５  色相補正回路
２３６  カラーゲイン調整回路
２３７  γ補正回路
２３８  加算回路
２４１  補正量演算回路
２４２  基準データ記憶部
２４３  基準データ入力回路
２４４  座標取得回路
３１３  Ｒ＋ＩＲ透過領域
３１４  Ｇ＋ＩＲ透過領域
３１５  Ｂ＋ＩＲ透過領域
３１６  ＩＲ透過領域
３２１  ４×４行列演算回路
３２２  色差計算回路
３２３  近赤外信号制御回路
３２４  ｋ算出回路
３３０  撮像制御部
３３１  露出時間制御部
３３２  絞り制御部
３４１  光源制御部
３４２  ＩＲ光源
３５１  対物レンズ
３５２  絞り
４０１  基板
４０２、４０４、４０６、４０８  第１膜
４０３、４０５、４０７  第２膜
４０９  平坦化膜
【図１】
2012023620.tif 000003
【図２】
2012023620.tif 000004
【図３】
2012023620.tif 000005
【図４】
2012023620.tif 000006