(57)【要約】【課題】高温または高照射による退色が生じず、かつ、高い色再現性を持つ撮像装置を提供する。【解決手段】光電変換素子上に設けるフィルタとして、無機材料により形成された多層膜フィルタを設ける。そして、分光特性８０１を持つ赤色フィルタ、分光特性８０２を持つ緑色フィルタに加えて、ピーク波長が互いに異なる分光特性８０３，８０４を持つ２種類の青色フィルタを、用いる。【選択図】図８
2007317750.tif 000002
【特許請求の範囲】
【請求項１】
複数の単位画素がチップ上に配列されたイメージセンサを有する撮像装置であって、
前記イメージセンサは、単位画素毎に、
入射光を光電変換する光電変換素子と、
前記光電変換素子の上方に配置され、入射光の一部の波長のみを選択的に透過するフィルタとを備え、
前記各フィルタは、無機材料により形成された多層膜フィルタであり、かつ、
前記各フィルタは、赤色に属する波長帯域を選択的に透過させる赤色フィルタと、緑色に属する波長帯域を選択的に透過させる緑色フィルタと、青色に属する波長帯域を選択的に透過させ、かつ、透過ピーク波長が互いに異なる第１および第２の青色フィルタとを、少なくとも含む
ことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記第１および第２の青色フィルタは、その透過ピーク波長の差が、１０ｎｍ以上８０ｎｍ未満である
ことを特徴とする撮像装置。
【請求項３】
請求項１において、
前記イメージセンサ上において、前記緑色フィルタが千鳥状に配置されており、その他の位置に、前記赤色フィルタ並びに前記第１および第２の青色フィルタが配置されている
ことを特徴とする撮像装置。
【請求項４】
請求項１において、
前記イメージセンサ上において、前記赤色フィルタの個数と、前記第１および第２の青色フィルタの総数とが等しく、かつ、前記赤色フィルタの個数、並びに前記第１および第２の青色フィルタの総数は、それぞれ、前記緑色フィルタの個数よりも少ない
ことを特徴とする撮像装置。
【請求項５】
請求項１において、
前記イメージセンサ上において、前記赤色フィルタの個数と、前記第１の青色フィルタの個数と、前記第２の青色フィルタの個数と、前記緑色フィルタの個数とが、それぞれ等しい
ことを特徴とする撮像装置。
【請求項６】
請求項１において、
前記イメージセンサの出力信号を、アナログ処理し、デジタル信号に変換して、映像信号として出力するＡＦＥ（Analog Front end）／ＡＤＣ（AD Converter）部と、
前記ＡＦＥ／ＡＤＣ部から出力された映像信号を処理して、輝度信号および色信号を生成する画像処理部とを備えた
ことを特徴とする撮像装置。
【請求項７】
請求項６において、
前記イメージセンサにおける各フィルタは、ｎ×ｎ（ｎは２以上の整数）の行列構成を基本として連続して配置されており、
前記画像処理部は、
前記映像信号に対して、ｍ×ｍ（ｍは２以上の整数）行列処理を用いてｍ×ｍ行列の重心における色信号を生成する処理を、ｍ×ｍ行列の重心位置を１画素ずつ左右および上下にずらしつつ連続して行うことによって、色信号を生成する色信号生成ブロックを備えている
ことを特徴とする撮像装置。
【請求項８】
請求項７において、
前記色信号生成ブロックは、ｍ×ｍ（ｍは２以上の整数）行列処理の対象範囲に、同一の分光特性を持つフィルタが複数個含まれているとき、そのフィルタに対応する画素値の加重平均を得ることができる係数を用いる
ことを特徴とする撮像装置。
【請求項９】
請求項７において、
前記画像処理部は、
前記映像信号に対して、ｍ×ｍ（ｍは２以上の整数）行列処理を用いてｍ×ｍ行列の重心における輝度信号を生成する処理を、ｍ×ｍ行列の位置を１画素ずつ左右および上下にずらしつつ連続して行うことによって、輝度信号を生成する輝度信号生成ブロックを備えており、
前記輝度信号生成ブロックは、輝度信号を生成する際において、前記映像信号が持つ分光特性の違いに基づいた輝度信号補正値を用いて、前記映像信号に対して補正処理を行い補正を行った映像信号を用いて輝度生成を行う
ことを特徴とする撮像装置。
【請求項１０】
請求項７において、
前記画像処理部は、
前記映像信号に対して、ｍ×ｍ（ｍは２以上の整数）行列処理を用いてｍ×ｍ行列の重心における輝度信号を生成する処理を、ｍ×ｍ行列の位置を１画素ずつ左右および上下にずらしつつ連続して行うことによって、輝度信号を生成する輝度信号生成ブロックを備えており、
前記輝度信号生成ブロックは、処理対象となるｍ×ｍ行列におけるカラーフィルタの持つ分光特性を考慮した上で輝度生成補正係数を導き、前記映像信号を用いて生成した輝度信号に対して、この補正係数を用いて補正を行うことにより輝度信号調整を行う
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものであり、特に、例えば車載用のような、高い信頼性を必要とし、かつ、低演色性照明下で使用されることが多い撮像装置について、良好な画像を提供可能にするものである。
【背景技術】
【０００２】
近年、自動車走行の安全性を高めるため、車両に搭載した撮像装置を用いて車両周辺を監視するシステムや、その映像に含まれる各種情報を利用したシステムが、数多く提案されている。
【０００３】
このようなシステムとして、例えば、車載カメラから取込んだ映像信号から周辺車両の動きを光学的相関システムによって検出し、その距離や速度に応じて運転者に警告を与えるシステム、映像の「道路領域」に対する所定の位置を探索して標識を認識するシステム、ドアミラーまたはサイドミラーに内蔵したカメラの出力を車内の運転席付近に設けられた映像表示装置に表示するシステム、対向車の状況や隣車線の状況を容易に確認できるシステム、左右方向の死角映像と車両下方映像とを同時に撮影し表示するシステムがある。
【０００４】
上述したようなシステムでは、気象条件の影響を受けないことが必要とされる。例えば特許文献１に記載された従来技術では、車両のドアミラーのミラー部をハーフミラーとし、その内部に光学フィルタ付のビデオレンズとＣＣＤ等の撮像装置とを配置し、車室内に配置したカメラ信号処理回路において映像信号を処理し、映像表示装置に出力する。これにより、気象条件に左右されない車載撮像装置を実現している。
【０００５】
また、カメラの搭載位置に関して、次のような課題がある。すなわち、（１）カメラを車室内に配置すると、美観を損なったり、居住性の劣化を招いたり、運転者の視野を狭めたりする、（２）カメラをエンジンルーム内に配置すると、周囲の環境が非常に悪く、故障の原因となる、（３）カメラを例えばドア側面やエンジンルームの上に配置すると、安全面、デザイン面、空力抵抗などの性能面での悪影響がある。上述の従来技術では、このようなカメラの搭載位置に関する課題を解決している。
【特許文献１】特開平５−２９４１８３号公報（図１および図７）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の従来技術では、カメラは車両性能を劣化させない位置に搭載されている。その一方で、カメラの性能が限定されるという問題を有している。すなわち、（１）ハーフミラーを介して外界の映像を撮影するので感度が低下する、（２）カメラの搭載位置がドアミラー内なので、カメラの方向や視野角を工夫しても、撮影できる視野範囲が限定される、（３）将来的にはデザイン上の観点からドアミラーをなくすことも検討されており、これに対応できない、などといった問題を有する。
【０００７】
また、ドアミラーの内部は、車両の外面やエンジンルーム内に比べれば良好な環境であるといえるが、真夏の炎天下に駐車された車両内の気温は、ドアミラーの内部を含めて非常に高くなることは周知の事実である。さらに、エンジンルーム内は、走行時には車室内に比べてはるかに高温になるし、また車両の外面に搭載した場合には、カメラが直射日光にさらされる、という使用環境上の問題が生じる。
【０００８】
ここで、従来のカラーフィルタは、有機材料からなる顔料によって構成されていた。このため、長時間高温状態におかれた場合や強い入射光が長時間当たった場合に、顔料に化学変化が生じ、波長選択特性が変化してしまう。すなわち、顔料フィルタを用いた従来の撮像装置では、高温または高照射による退色（色分離特性の劣化）が生じる。したがって、車両の外面、車室内、エンジンルーム内などにカメラを搭載した場合、周囲温度や直射日光の影響により、色再現性が劣化する、という問題があった。
【０００９】
これに対して、無機材料からなるフィルタを用いれば、顔料の化学変化による退色という問題が解消し、高温、高照射下での使用に何ら問題がなくなり、車載用途として、車両の外面、車室内、エンジンルーム内などどのような場所にでもカメラを搭載することができる。
【００１０】
ところが、無機材料からなるフィルタの場合、有機材料からなるフィルタと比べて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各波長帯での色分離において、低波長側の分光特性における透過帯域が狭くなる、という問題があった。この問題に対して、色再現性を高めるために画像処理においてノイズリダクション効果を強めるという方策も考えられるが、この場合、色信号のＳ／Ｎが悪化するという別の問題が生じる。
【００１１】
前記の問題に鑑み、本発明は、高温または高照射による退色が生じず、かつ、高い色再現性を持つ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記の課題を解決するために、本発明が講じた解決手段は、複数の単位画素がチップ上に配列されたイメージセンサを有する撮像装置として、前記イメージセンサは、単位画素毎に、入射光を光電変換する光電変換素子と、前記光電変換素子の上方に配置され、入射光の一部の波長のみを選択的に透過するフィルタとを備え、前記各フィルタは、無機材料により形成された多層膜フィルタであり、かつ、前記各フィルタは、赤色に属する波長帯域を選択的に透過させる赤色フィルタと、緑色に属する波長帯域を選択的に透過させる緑色フィルタと、青色に属する波長帯域を選択的に透過させ、かつ、透過ピーク波長が互いに異なる第１および第２の青色フィルタとを、少なくとも含むものである。
【００１３】
本発明によると、各フィルタとして、無機材料により形成された多層膜フィルタを用いるので、上述した顔料の化学変化による退色という問題が解決される。このため、高温、高照射下での使用に問題がなくなり、車載用途として、車両の外面、車室内、エンジンルーム内などどのような場所にでも撮像装置を搭載することができる。
【００１４】
また、青色に属する波長帯域を選択的に透過する青色フィルタとして、ピーク波長が互いに異なる第１および第２の青色フィルタを用いる。これにより、有機材料により形成されたフィルタと比べ、低波長における透過帯域が狭いという特性を、補うことが可能になり、色再現性を向上させることができる。
【発明の効果】
【００１５】
本発明によると、高温、高照射下での使用が可能になり、かつ、色再現性を向上させることができるので、高温または高照射による退色が生じず、かつ、高い色再現性を持つ撮像装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１７】
図１は本発明の一実施形態に係る撮像装置が有するイメージセンサの構造を示す断面図である。図１に示すように、イメージセンサ１０１では、シリコン半導体基板内に下からＮ型層１０２とＰ型層１０３とが形成されており、その上に層間絶縁膜１０４が形成されている。Ｐ型層１０３には、Ｎ型不純物のイオン注入によりフォトダイオード（光電変換素子）１０５が形成されている。フォトダイオード１０５は、イメージセンサ１０１の単位画素にそれぞれ対応しており、入射光１０６を光電変換する。フォトダイオード１０５間は素子分離領域１０７により分離されている。
【００１８】
そして、素子分離領域１０７上に光が入射することを抑制するために形成された遮光膜（図示せず）の上に、波長選択機能を実現することを目的とする、誘電体からなる多層膜フィルタ１０９が形成されている。さらに、多層膜フィルタ１０９の上部に、入射光１０６を効率よく集光するための集光レンズ１１０が形成されている。すなわち、本実施形態に係るイメージセンサは、複数の単位画素がチップ上に配列されており、単位画素毎に、入射光を光電変換する光電変換素子と、この光電変換素子の上方に配置され、入射光の一部の波長のみを選択的に透過するフィルタとを備えた構成となっている。
【００１９】
図２は本発明の一実施形態に係る撮像装置の自動車への取付け方法の例を示す模式図である。自動車２０１はデザイン上の観点からフェンダーミラーおよびドアミラーを有しておらず、その代わりにサイドカメラ２０２を搭載している。サイドカメラ２０２からの映像信号は、コンソール内に設置された映像制御装置２０３に入力され、映像制御装置２０３からの出力信号が車内の運転席付近に設けられた映像表示装置２０４に表示される。
【００２０】
また、自動車２０１にはフロントカメラ２０５およびリアカメラ２０６も設置されており、これらからの出力信号も映像制御装置２０３に入力される。映像制御装置２０３は、サイドカメラ２０２、フロントカメラ２０５およびリアカメラ２０６からの映像信号を、切替えて、または同時に、映像表示装置２０４に表示する。サイドカメラ２０２、フロントカメラ２０５およびリアカメラ２０６の中には、図１に示したイメージセンサが組込まれている。
【００２１】
また、車室内およびエンジンルーム内は、車両外面に比べて、衝突等の事故の際にカメラが保護されやすいという特徴がある。そこで、車室内またはエンジンルーム内に車外監視用途としてカメラを搭載してもよい。これは特に、交通事故時の映像を衝突の前後で記録する車載ブラックボックスとして用いると効果的である。
【００２２】
次に、図３を用いて、図１に示したイメージセンサの多層膜フィルタについて説明する。
【００２３】
図３（ａ）は従来の高反射ミラーに用いられる多層膜反射鏡の透過率特性の一例、図３（ｂ）はその層構造を示している。図３（ｂ）の層構造は、屈折率が互いに異なる材料である窒化シリコン（ＳｉＮ）３０１と酸化シリコン（ＳｉＯ2）３０２，３０３とを、単純に積層させた構成となっている。
【００２４】
図３（ａ）において、縦軸は透過率（％）すなわち多層膜を通過した光の入射に対する比率、横軸は多層膜に入射させる光の波長（ｎｍ）を表している（以下のグラフも同様）。なお、計算にはフレネル係数を用いたマトリクス法を用いており、ペア数は１０、設定中心波長は５５０ｎｍであり、垂直入射光のみを計算している。多層膜を構成する各誘電体の光学膜厚ｎｄ（ｎ：材料の屈折率、ｄ：材料の膜厚）については、設定中心波長（λ）に対して４分の１波長（λ／４）となるように設定してあり、その結果、設定中心波長を中心とする反射帯域特性となる。また、反射帯域幅は用いる材料の屈折率差で決まり、屈折率差が大きい程、帯域幅が大きくなる。しかしながら、このような構成では、広い反射帯域は得られるものの、Ｒ、Ｇ、Ｂの色分離機能のために、波長を選択的に透過させることは難しいと言える。
【００２５】
これに対して、図３（ｃ）は本発明の一実施形態に係る多層膜フィルタの透過率特性の一例、図３（ｄ）はその層構造を示している。図３（ｄ）の層構造では、スペーサ層３０４を中心にして、λ／４膜よりなる上部反射器３０５および下部反射器３０６を対称に向かい合せている。これにより、図３（ｃ）に示すように、透過帯域が反射帯域中に選択的に形成される。さらにスペーサ層３０４の膜厚を変化させることによって、その透過ピーク波長を変化させることが可能となる。
【００２６】
すなわち、本実施形態では、フィルタ構造として、同一の層構造を有する上部反射器および下部反射器を設けて、これらに挟まれたフィルタ層の有無、またはその光学膜厚の違いによって、透過帯域を変化させる。このフィルタ構造によって、特性の違うフィルタを同一チップ上に形成することが容易になる。また、このようなフィルタ構造を採用することによって、撮像装置を製造する半導体ウエハプロセスにおいてプロセスステップ数を削減することができ、撮像装置を安価に量産できるという利点が得られる。
【００２７】
図４を用いて、誘電体多層膜フィルタの形成プロセスに関して説明する。図４では、誘電体多層膜フィルタのみを抽出して記載している。まず、図４（ａ）に示すように、Ｓｉウエハ４０１上に酸化シリコン（ＳｉＯ2）および酸化チタン（ＴｉＯ2）からなるλ／４多層膜構造（λ：設定中心波長）の下部反射器４０２〜４０５、およびＴｉＯ2からなるスペーサ層４０６を高周波スパッタ装置によって形成する。その後、特定波長のみを選択的に透過させるために、スペーサ層４０６の厚みを所望の膜厚に形成するエッチングプロセスを実施する。具体的には、図４（ｂ）に示すように、下部反射器４０２〜４０６を形成したウエハ面上にレジスト塗布を行い、露光前ベーク（プリベーク）の後、ステッパなどの露光装置によって露光を行い、レジスト現像、および最終ベーク（ポストベーク）によって、レジストパターン４０７を形成する。その後、ＣＦ４系のエッチングガスを用いて、スペーサ層４０６のエッチングを行い、最終的に例えば赤色（Ｒ）の波長帯に相当する層膜になるまでエッチングを行う。次に図４（ｂ）と同様にして、例えば緑色（Ｇ）の領域に相当する領域にレジストパターンを形成し、ドライエッチングを実施することによって、緑色に相当する層厚が残るまで、スペーサ層４０６のエッチングを実施する（図４（ｃ）を参照）。さらに、図４（ｄ）に示すように、図４（ａ）と同様に、ＳｉＯ2およびＴｉＯ2からなるλ／４多層膜構造の上部反射器４０８〜４１１を高周波スパッタ装置によって形成する。
【００２８】
なお、誘電体からなる多層膜構造のトータル膜厚は、例えば、Ｒ、Ｇ、Ｂに対して、それぞれ、６２２ｎｍ、５４２ｎｍ、５６２ｎｍである。
【００２９】
図５は誘電体多層膜フィルタについて、広く知られている特性マトリクス法を用いて計算を行った分光特性の設計結果の一例である。ここでは、誘電体材料として、高屈折率材料ＴｉＯ2（屈折率２．５）５０１および低屈折率材料ＳｉＯ2（屈折率１．４５）５０２を用いている。また、図５では、スペーサ層５０３の光学膜厚（膜厚）をそれぞれ、２００ｎｍ（８０ｎｍ）、０ｎｍ（０ｎｍ）、５０ｎｍ（２０ｎｍ）としている。図５より、スペーサ層５０３の有無あるいは膜厚の変化によって透過ピーク波長特性を変化させることが可能であり、撮像装置において必要となるＲ、Ｇ、Ｂの波長分離化が実現できることが分かる。
【００３０】
また、図５では、高屈折率材料としてＴｉＯ2を用いているが、これ以外の材料として窒化シリコン（ＳｉＮ）、酸化タンタル（Ｔａ2Ｏ5）または酸化ジルコニウム（ＺｒＯ2）などを用いてもよい。また、低屈折率材料としてＳｉＯ2を用いたが、高屈折率材料として用いる誘電体と比較して屈折率が低ければ、ＳｉＯ2以外の材料を用いてもよい。
【００３１】
従来の顔料フィルタでは、撮像装置の受光部や配線部などを形成した後に、通常の半導体プロセスとは異なる工程、いわゆるオンチッププロセスによってフィルタを形成する必要があった。これに対して、上述した誘電体多層膜構造を適用すれば、フィルタを通常の半導体プロセスによって作製可能となり、プロセスの安定化、および生産性向上に伴う低コスト化に有効となる。
【００３２】
さらに、誘電体多層膜フィルタは無機材料のみを用いて構成可能であり、高温、高照射下で使用しても退色現象を生じない。このため、車載用途として、車両の外面、エンジンルーム内、車室内などどのような場所にでも搭載できる。
【００３３】
図６は誘電体多層膜フィルタにおける分光特性を示す。図７は人の可視波長域（４００ｎｍ〜７００ｎｍ）における、現状用いられている理想的な分光特性を示す。
【００３４】
図６を図７と対比すると分かるように、誘電体多層膜フィルタでは分光特性が悪く、変調度も低いため、理想的な色再現や色信号のＳ／Ｎを確保するには至っていない。中でも、Ｂ（青）の分光特性が理想的な分光特性に比べて狭いことが確認できる。分光特性が狭い場合、再現領域を広げるためには、画像処理部において強力なノイズリダクション処理を行うことが考えられる。ところがこの処理では、色再現および色信号のＳ／Ｎを確保することは難しい。
【００３５】
そこで、本発明では、青色に属する波長帯域を選択的に透過させる青色フィルタとして、透過ピーク波長が互いに異なる２種類のフィルタを、用いるものとする。
【００３６】
図８は本発明の一実施形態に係るイメージセンサ上に形成されたフィルタの分光特性を示す。図８において、８０１は赤色に属する波長帯域（６００ｎｍ〜７００ｎｍ）を選択的に透過する赤色フィルタの分光特性、８０２は緑色に属する波長帯域（５００ｎｍ〜６００ｎｍ）を選択的に透過する緑色フィルタの分光特性、８０３，８０４は青色に属する波長帯域（４００ｎｍ〜５００ｎｍ）を選択的に透過する第１および第２の青色フィルタの分光特性である。本実施形態に係るイメージセンサは、フィルタとして、図８の分光特性８０１〜８０４をそれぞれ示す赤色フィルタ、緑色フィルタ、第１および第２の青色フィルタを含む。
【００３７】
分光特性８０３，８０４では、透過ピーク波長が互いに異なっている。その透過ピーク波長の差は、例えば、１０ｎｍ以上８０ｎｍ未満であることが好ましい。ただし、それぞれの透過ピーク波長は、青色に属する波長帯域（４００ｎｍ〜５００ｎｍ）に存在するものとする。
【００３８】
なお、従来のカラーフィルタにおける青色フィルタの特性は、分光特性８０３，８０４を有する第１および第２の青色フィルタを用いて再現することが望ましい。このため、本実施形態では、第１および第２の青色フィルタは、そのピーク波長を４５０ｎｍ〜４８０ｎｍの範囲内に持ち、ピーク波長の差は２０ｎｍ以上３０ｎｍ未満であるのが好ましい。このような条件を満たす第１および第２の青色フィルタが、現状のカラーフィルタの分光特性を再現する上で最適であると考えられる。
【００３９】
図９および図１０は本実施形態に係るフィルタ配列の例を示す図である。図９および図１０において、Ｒは図８の分光特性８０１を持つ赤色フィルタ、Ｇは図８の分光特性８０２を持つ緑色フィルタ、Ｂ１は図８の分光特性８０３を持つ第１の青色フィルタ、そしてＢ２は図８の分光特性８０４を持つ第２の青色フィルタである。
【００４０】
図９のフィルタ配列９０１，９０２では、フィルタＲ，Ｇ，Ｂ１，Ｂ２が１個ずつ配列された２×２行列が上下左右に連続した構成となっている。ここでは、フィルタＲの個数と、フィルタＢ１の個数と、フィルタＢ２の個数と、フィルタＧの個数とが、それぞれ等しくなっている。また、図１０のフィルタ配列１００１，１００２では、フィルタＧが千鳥状に配置されており、その他の位置に、フィルタＲ，Ｂ１，Ｂ２が配置されている。ここでは、フィルタＲの個数と、フィルタＢ１，Ｂ２の総数とが等しく、かつ、フィルタＲの個数、およびフィルタＢ１，Ｂ２の総数は、それぞれ、フィルタＧの個数よりも少なくなっている。
【００４１】
ここで、人の視感度は緑色成分が最も高く、このため、緑色の情報が最も多く解像感に寄与する。また人の眼は水平・垂直の解像度に敏感であり、斜めの解像度には比較的鈍感である。したがって、緑色フィルタを千鳥状に並べることが、解像感を高めるのに効果的である。また、緑色フィルタを、赤色フィルタおよび青色フィルタよりも多く配置することが、解像感を高めるために効果的である。また、青色フィルタと赤色フィルタの比率が等しいことが、色再現性を高めるために効果的である。
【００４２】
したがって、フィルタＲ，Ｇ，Ｂ１，Ｂ２を均一に配置した図９のフィルタ構成９０１，９０２よりも、フィルタＧを千鳥状に配置し、かつ、フィルタＢ１，Ｂ２の総数とフィルタＲの個数が等しく配置された図１０のフィルタ構成１００１，１００２の方が、解像感を高め、かつ色の再現性を高めるために効果的である。
【００４３】
すなわち、ここでは、フィルタＧを千鳥状に４個配置し、その他の位置に、フィルタＲを２個、フィルタＢ１を１個、フィルタＢ２を１個、同一のフィルタが隣り合うことがないように配置した２×４行列または４×２行列を１つの構成とする。そして、この２×４行列または４×２行列を、上下左右に連続して配列することを推奨するものとする。なお、これは基本的なフィルタ配列の考え方の一例であり、他の任意の配列により構成されていてもかまわない。
【００４４】
図１１は本発明の一実施形態に係る撮像装置の全体構成を示す。図１１において、１０１が上述したイメージセンサであり、１０９は無機材料により形成された多層膜フィルタである。また、１１０１はイメージセンサ１０１の出力信号をアナログ処理し、デジタル信号に変換して、映像信号として出力するＡＦＥ（Analog Front End）／ＡＤＣ（AD Converter）部、１１０２はＡＦＥ／ＡＤＣ部１１０１から出力された映像信号を処理して、所望の画像データを生成する画像処理部である。画像処理部１１０２は例えばＬＳＩによって実現される。画像処理部１１０２は、映像信号から輝度信号を生成する輝度信号生成ブロック１１０３と、映像信号から色信号を生成する色信号生成ブロック１１０４とを有する。なお、ここでは、生成する色信号の形式は３原色（Ｒ、Ｇ、Ｂ）としているが、色差信号（Ｕ、Ｖ）等の他の色信号形式を用いてもかまわない。
【００４５】
ここでは、イメージセンサ１０１は、上述したような４種類のフィルタが、ｎ×ｎ（ｎは２以上の整数）の行列構成を基本として連続して配置されているものとする。そして、色信号生成ブロック１１０４は、映像信号に対して、ｍ×ｍ（ｍは２以上の整数）行列処理を用いてｍ×ｍ行列の重心における色信号を生成する処理を、ｍ×ｍ行列の重心位置を１画素ずつ左右および上下にずらしつつ連続して行うことによって、色信号を生成するものとする。また、輝度信号生成ブロック１１０３は、映像信号に対して、ｍ×ｍ（ｍは２以上の整数）行列処理を用いてｍ×ｍ行列の重心における輝度信号を生成する処理を、ｍ×ｍ行列の重心位置を１画素ずつ左右および上下にずらしつつ連続して行うことによって、輝度信号を生成するものとする。なお、最終的に輝度信号と色信号とを重ね合わせる際に、重心のズレはないものとする。
【００４６】
図１２は色信号生成ブロック１１０４の回路構成を示すブロック図である。ここでは、イメージセンサ１０１の多層膜フィルタ１０９では、図９または図１０に示すように各フィルタが配置されているものとし、ＡＦＥ／ＡＤＣ部１１０１によってデジタル信号化された映像信号が、色信号生成ブロック１１０４に入力されるものとする。
【００４７】
同時化処理回路１２０１は、時系列に従い入力された映像信号に対して同時化処理を行い、各色成分α、β、γ、δのデジタル映像信号を生成する。ここでの映像信号α、β、γ、δは、図８の分光特性をもつＲ（赤）、Ｇ（緑）、Ｂ１（青１）、Ｂ２（青２）の誘電体多層膜フィルタを経て得られた信号である。マトリクス係数制御回路１２０４は、入力された所定の色生成信号補正値Α’、Β’、Γ’、Δ’から、各映像信号α、β、γ、δが通過した各フィルタの分光特性に基づいて、カラーマトリクス回路１２０２の出力信号を補正するのに最適化された補正値Α、Β、Γ、Δを生成する。なおここでは、マトリクス係数制御回路１２０４の信号処理対象である入力信号ｍ×ｍ個の信号成分が映像信号α、β、γ、δのどの信号に該当するのかを動的に判断し、その分光特性に基づき生成した係数を、入力された所定の色生成信号補正値Α’、Β’、Γ’、Δ’に掛け合わせて、補正値Α、Β、Γ、Δを生成するものとする。カラーマトリクス回路１２０２は、映像信号α、β、γ、δに、最適化された補正値Α、Β、Γ、Δをそれぞれ乗じ、さらにそれらの乗算結果を加算した結果を出力することにより、マトリクスの重心画素の信号を得る。
【００４８】
[式１]
（出力）＝（Α*α）＋（Β*β）＋（Γ*γ）＋（Δ*δ）
【００４９】
なお、マトリクス係数制御回路１２０４は、入力時の信号マトリクス構成、および、各映像信号α、β、γ、δが通過したフィルタの分光特性に基づき、補正値（色マトリクス係数）を変化させることが可能であるものとする。
【００５０】
［式１］における出力の値は、カラーマトリクス回路１２０２から出力される色信号Ｒ、Ｇ、Ｂに相当するので、［式１］とカラーマトリクス回路１２０２から出力される信号の関係から［式２］を得る。
【００５１】
[式２]
（Ｒ（赤色））＝(ΑR*α)+(ΒR*β) +(ΓR*γ) +(ΔR*δ)
（Ｇ（緑色））＝(ΑG*α)+(ΒG*β) +(ΓG*γ) +(ΔG*δ)
（Ｂ（青色））＝(ΑB*α)+(ΒB*β) +(ΓB*γ) +(ΔB*δ)
ここで、ＡR、ΑG、ΑBは、それぞれＲ、Ｇ、Ｂを出力するために映像信号αに乗じる係数であり、ΒR、ΒG、ΒBは、それぞれＲ、Ｇ、Ｂを出力するために映像信号βに乗じる係数であり、ΓR、ΓG、ΓBは、それぞれＲ、Ｇ、Ｂを出力するために映像信号γに乗じる係数であり、ΔR、ΔG、ΔBは、それぞれＲ、Ｇ、Ｂを出力するために映像信号δに乗じる係数である。
【００５２】
なお、マトリクス係数制御回路１２０４は、カラーマトリクス回路１２０２の入力である映像信号α、β、γ、δのどの映像信号がマトリクス処理対象の重心となるかを判別し、重心となる映像信号であるのか、もしくは周辺画素であるのかを判別することにより、入力された所定の色生成信号補正値Α’、Β’、Γ’、Δ’に対して、マトリクス上に含まれる画素割合に基づき係数を掛け合わせることにより、補正値Α、Β、Γ、Δを選択し出力することができるものとする。これにより、フィルタの配列構成を特定することなく、任意のフィルタ配列に変更を行った場合においても、フィルタの分光特性に基づいた色変換処理を実施することができる。
【００５３】
図９に示したフィルタ構成では、フィルタＲ、フィルタＧ、フィルタＢ１およびフィルタＢ２の４種類のフィルタを２×２行列上の固定位置に配置している。カラーマトリクス回路１２０２は、４種類のフィルタを含む２×２の行列を一構成とし、２×２行列の重心に対する色信号を生成する処理を、処理開始位置を１画素ずつ左右および上下にずらしつつ連続して行う。このとき、マトリクス係数制御回路１２０４は、４種類のフィルタが持つ分光特性に基づき設定した補正値を、マトリクス処理対象となる行列の列数及び行数が奇数であるか偶数であるかに基づいて、マトリクス補正値を補正値Α、Β、Γ、Δより選択して出力するものとする。カラーマトリクス回路１２０２は、マトリクス係数制御回路１２０４から最適補正値を受け、映像信号α、β、γ、δに対して、受けた最適補正値を用いて処理を行う。これにより、最適な色信号を生成することができる。なお、カラーマトリクス回路１２０２が行うマトリクス変換処理における行列の構成は、ｍ×ｍ（ｍは２以上の整数）の任意であり、限定されるものではない。
【００５４】
図１０に示したフィルタ構成では、フィルタＲ、フィルタＧ、フィルタＢ１およびフィルタＧ、または、フィルタＲ、フィルタＧ、フィルタＢ２およびフィルタＧの、フィルタＧを２個含む３種類のフィルタを２×２行列に配置している。カラーマトリクス回路１２０２は、２×２行列の重心における色信号を生成する処理を、処理開始位置を１画素ずつ左右および上下にずらしつつ連続して行う。処理対象となるｍ×ｍマトリクスの重心となる画素が持つ色信号成分が、どのフィルタの特性により付加したものであるのかを判断する。このとき、マトリクス係数制御回路１２０４は、処理対象となるｍ×ｍマトリクスに含まれる画素信号が含む色フィルタ成分が変化することを考慮する必要があるため、ｍ×ｍマトリクスの開始位置により、フィルタＢ１が占める割合とフィルタＢ２が占める割合に基づき、重心画素の色成分を抽出する上での周辺画素および重心画素の最適なマトリクス補正値を求めるための係数を変化させる処理を持つものとする。また、マトリクス処理対象となる行列の列数及び行数が奇数であるか偶数であるかに基づいて、マトリクス補正値を補正値Α、Β、Γ、Δより選択して出力するものとする。カラーマトリクス回路１２０２は、マトリクス係数制御回路１２０４から最適補正値を受け、映像信号α、β、γ、δに対して、受けた最適補正値を用いて処理を行う。これにより、最適な色信号を生成することができる。なお、カラーマトリクス回路１２０２が行うマトリクス変換処理における行列の構成は、ｍ×ｍ（２以上の整数）の任意であり、限定されるものではない。
【００５５】
また、マトリクス回路処理において用いるｍ×ｍのマトリクス平面上、すなわちｍ×ｍ行列処理の対象範囲に、同一の分光特性を持つフィルタが複数個含まれているとき、そのフィルタに対応する画素値の加重平均を得ることができる係数を用いるのが好ましい。これにより、同一の分光特性を持つフィルタにより得られた映像信号が持つ色成分を、他の色に属する分光特性を持つフィルタにより得られた映像信号が持つ色成分に対して、平均化することができる。
【００５６】
次に信号補正回路１２０３は、カラーマトリクス回路１２０２から出力された色信号Ｒ、Ｇ、Ｂに対して補正処理を行う。信号補正回路１２０３において行う補正処理には、ガンマ処理や色補正処理などが含まれるものとする。
【００５７】
図１３は輝度信号生成ブロック１１０３の回路構成を示すブロック図である。ここでは、イメージセンサ１０１の多層膜フィルタ１０９では、図９または図１０に示すように各フィルタが配置されているものとし、ＡＦＥ／ＡＤＣ部１１０１によってデジタル信号化された映像信号が、輝度信号生成ブロック１１０３に入力されるものとする。
【００５８】
フィルタ処理回路１３０１は、０〜ｑ個（ｑ：任意の整数）の遅延回路を持ち、０Ｔ〜ｑＴの複数（（ｑ＋１）個）の隣接した映像信号を同時に処理する機能を持ち、また０〜Ｒの複数の行（（Ｒ＋１）行）に関して（（ｑ＋１）個）隣接した映像信号を処理することができるものとする。そして、下の（式３）および（式４）に従って行列処理を行い、行列の重心となる映像信号εを出力する。
【００５９】
[式３]
ε0＝（ｐ00＊０Ｔ）＋（ｐ10＊１Ｔ）＋・・・＋（ｐq-10＊ｑ−１Ｔ）＋（ｐq0＊ｑＴ）
：
：
εR＝（ｐ0R＊０Ｔ）＋（ｐ1R＊１Ｔ）＋・・・＋（ｐq-1R＊ｑ−１Ｔ）＋（ｐqR＊ｑＴ）
ここで、ｐ00、ｐ10〜ｐq-10、ｐq0は、それぞれ０行目の（ｑ＋１）個の映像信号０Ｔ、１Ｔ、２Ｔ〜ｑ−１Ｔ、ｑＴに乗じる係数であり、ｐ0R、ｐ1R〜ｐq-1R、ｐqRは、それぞれＲ行目の（ｑ＋１）個の映像信号０Ｔ、１Ｔ、２Ｔ〜ｑ−１Ｔ、ｑＴに乗じる係数である。
【００６０】
［式４］
（出力ε）＝（ω0×ε0）＋（ω1×ε1）＋（ω2×ε2）＋・・・＋（ωR-1×εR-1）＋（ωR×εR）
ここで、ε0〜εRは式３の出力であり、ω0、ω1、ω2〜ωR-1、ωRは任意の係数とする。
【００６１】
フィルタ処理回路１３０１の出力である映像信号εは、カラーフィルタを通過した色成分を含んでいる。ＲＧＢ分光補正回路１３０２は、映像信号εに対して、色成分による変化を最小限にするための補正を行う。色補正係数制御回路１３０４は、色生成信号補正値Α、Β、Γ、Δを入力として、フィルタの分光特性に基づいて動的に制御を行い、最適補正値Εを生成する。ＲＧＢ分光補正回路１３０２は、色補正係数制御回路１３０４から出力された最適補正値Ｅを用いて、輝度信号に含まれる色成分の補正を行う。なお、色生成信号補正値Α、Β、Γ、Δはマトリクス係数制御回路１２０４の出力と同一のものであることが好ましい。そうすることにより、色信号生成時に用いた補正係数を輝度信号生成ブロックでも用いることができるので、最も適した補正を行うことができる。
【００６２】
図９に示したフィルタ構成では、フィルタＲ、フィルタＧ、フィルタＢ１およびフィルタＢ２の４種類のフィルタを２×２行列上の固定位置に配置している。色補正係数制御回路１３０４は、フィルタ変換回路１３０１において映像信号εを生成する場合に用いたフィルタ係数（式３および式４において用いた係数のことであり、以下ではε生成係数と表記する）と、４種類のフィルタの分光特性とを加味した上で、輝度信号に対する最適補正値Εを算出する。ＲＧＢ分光補正回路１３０２は、色補正係数制御回路１３０４が生成した最適補正値Εを用いて、映像信号εにおけるＲＧＢ特性の補正を行う。
【００６３】
図１０に示したフィルタ構成では、フィルタＲ、フィルタＧ、フィルタＢ１およびフィルタＧ、または、フィルタＲ、フィルタＧ、フィルタＢ２およびフィルタＧの、フィルタＧを２個含む３種類のフィルタを２×２行列に配置している。フィルタ処理回路１３０１は、輝度信号を生成する場合に用いるε生成係数を、フィルタの重心位置の画素のフィルタの分光特性を判別し生成する機能を持ち、ε生成係数を用いて映像信号εを生成する。色補正係数制御回路１３０４は、フィルタ処理回路１３０１が用いるε生成係数と、映像信号εが持つフィルタの分光特性を考慮し、輝度信号を生成するための映像信号εに対する最適補正値Εを算出する。ＲＧＢ分光補正回路１３０２は、色補正係数制御回路１３０４が生成した最適補正値Εを用いて、映像信号εにおけるＲＧＢ特性の補正を行うものとする。
【００６４】
また、輝度信号生成ブロックにおいて、色補正係数制御回路１３０４の機能を持たず、ＲＧＢ分光補正回路１３０２においては色生成信号補正値Α、Β、Γ、Δを用いてＲＧＢ特性の補正を行い、輝度信号Ｙを生成するものとし、生成された輝度信号Ｙに対して、輝度信号Ｙが持つ４種類のフィルタの分光特性を考慮して、分光補正処理を行い、最終的な輝度信号を得るようにしてもかまわない。このような構成により、４種類のフィルタの分光特性を配慮して生成した補正係数をＲＧＢ分光補正回路に入力する必要がなくなるので、従来用いていた輝度信号生成ブロック（構成は特定しない）の終端に、４種類のフィルタの分光特性を考慮した係数を乗ずる補正回路を追加することによって、４種類のフィルタの分光特性を考慮した輝度信号を生成することが可能となる。しかしながら、分光特性を考慮した補正を効果的に反映させるためには、色補正係数制御回路１３０４を用いて補正を行うことが好ましい。
【００６５】
輝度信号補正回路１３０３は、ＲＧＢ分光補正回路１３０２からの出力に対して補正処理を行い、最終的な輝度信号Ｙを得る。なお、ここでの輝度信号補正には、ゲイン補正、オフセット補正、キズ補正などが含まれるものとする。
【産業上の利用可能性】
【００６６】
本発明に係る撮像装置は、信頼性が極めて高く、且つ、理想的な色再現性を実現することが可能であり、例えば、自動車に搭載し、車両周辺の映像を監視し人が視認するための撮像装置として極めて有用である。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態に係る撮像装置が有するイメージセンサの構造を示す断面図である。
【図２】本発明の一実施形態に係る撮像装置の自動車への取付け方法の例を示す模式図である。
【図３】（ａ）は従来の多層膜反射鏡の透過率特性、（ｂ）は従来の多層膜反射鏡の層構造、（ｃ）は本発明の一実施形態に係る多層膜フィルタの透過率特性、（ｄ）は本発明の一実施形態に係る多層膜フィルタの層構造である。
【図４】（ａ）〜（ｄ）は本発明の一実施形態に係る多層膜フィルタの製造工程を示す図である。
【図５】本発明の一実施形態に係る多層膜フィルタの断面図、および、多層膜フィルタの透過率の計算結果を示す図である。
【図６】多層膜フィルタの透過率を示す図である。
【図７】従来フィルタの透過率を示す図である。
【図８】本発明の一実施形態に係るフィルタ構成の分光特性を示す図である。
【図９】本発明の一実施形態に係るフィルタ配列の一例を示す図である。
【図１０】本発明の一実施形態に係るフィルタ配列の一例を示す図である。
【図１１】本発明の一実施形態に係る撮像装置の全体構成を示す図である。
【図１２】図１１の構成における色信号生成ブロックの回路構成を示す図である。
【図１３】図１１の構成における輝度信号生成ブロックの回路構成を示す図である。
【符号の説明】
【００６８】
１０１  イメージセンサ
１０５  フォトダイオード（光電変換素子）
１０６  入射光
１０９  多層膜フィルタ
８０１  赤色フィルタの分光特性
８０２  緑色フィルタの分光特性
８０３  第１の青色フィルタの分光特性
８０４  第２の青色フィルタの分光特性
１１０１  ＡＦＥ／ＡＤＣ部
１１０２  画像処理部
１１０３  輝度信号生成ブロック
１１０４  色信号生成ブロック
Ｒ  赤色フィルタ
Ｇ  緑色フィルタ
Ｂ１  第１の青色フィルタ
Ｂ２  第２の青色フィルタ
【図１】
2007317750.tif 000003
【図２】
2007317750.tif 000004
【図３】
2007317750.tif 000005
【図４】
2007317750.tif 000006
【図５】
2007317750.tif 000007
【図６】
2007317750.tif 000008
【図７】
2007317750.tif 000009
【図８】
2007317750.tif 000010
【図９】
2007317750.tif 000011
【図１０】
2007317750.tif 000012
【図１１】
2007317750.tif 000013
【図１２】
2007317750.tif 000014
【図１３】
2007317750.tif 000015