(57)【要約】【課題】自動車に搭載できる信頼性を確保し、且つ白色光下や低演色性の道路照明下での色識別性能を高める撮像装置を提供する。【解決手段】本発明の撮像装置は、複数の単位画素がチップ上に配列されたイメージセンサ１０１と、イメージセンサ１０１から出力される色成分を色信号に変換する画像処理ＬＳＩ７０２とを有し、白色光下では、多層膜フィルタ１０９をなす各分離フィルタ群における人の眼の分光特性に類似した各フィルタを透過した色成分のみを選択して出力する一方、低演色性の照明下では、各分離フィルタ群をなすフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されている。【選択図】図８
2008005383.tif 000002
【特許請求の範囲】
【請求項１】
複数の単位画素がチップ上に配列されたイメージセンサと、該イメージセンサから出力される色成分を色信号に変換する画像処理部とを有する撮像装置であって、
前記イメージセンサは、単位画素毎に入射光を光電変換する光電変換素子と、前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離し且つ無機材料で構成された多層膜フィルタとを備え、
前記画像処理部は、前記多層膜フィルタで分離した色成分を混合する混合手段を備えたことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記多層膜フィルタは、赤色の波長領域を透過するフィルタが集合配置された複数の赤色分離フィルタ群と、緑色の波長領域を透過するフィルタが集合配置された複数の緑色分離フィルタ群と、青色の波長領域を透過するフィルタが集合配置された複数の青色分離フィルタ群とに区画されていることを特徴とする撮像装置。
【請求項３】
請求項２において、
前記赤色分離フィルタ群は、人の眼の赤色成分の分光特性に類似した赤色フィルタを有し、
前記緑色分離フィルタ群は、人の眼の緑色成分の分光特性に類似した緑色フィルタを有し、
前記青色分離フィルタ群は、人の眼の青色成分の分光特性に類似した青色フィルタを有していることを特徴とする撮像装置。
【請求項４】
請求項３において、
前記混合手段は、白色光下では、前記各分離フィルタ群における人の眼の分光特性に類似した各フィルタを透過した色成分のみを選択して出力する一方、低演色性の照明下では、該各分離フィルタ群をなす複数のフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されていることを特徴とする撮像装置。
【請求項５】
請求項４において、
前記混合手段は、白色光下において、前記各分離フィルタ群をなす複数のフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されていることを特徴とする撮像装置。
【請求項６】
請求項４において、
前記混合手段は、低演色性の照明下において、前記各分離フィルタ群をなす複数のフィルタのうち任意に選択した複数のフィルタをそれぞれ透過した色成分の一部をそのまま出力する一方、残りの色成分を混合して出力するように構成されていることを特徴とする撮像装置。
【請求項７】
請求項６において、
前記混合手段から出力される色成分は少なくとも４種類あり、前記画像処理部においてこれらの色成分を処理することで色信号が生成されることを特徴とする撮像装置。
【請求項８】
請求項１において、
前記画像処理部は、半導体チップ（ＬＳＩ）で構成されていることを特徴とする撮像装置。
【請求項９】
複数の単位画素がチップ上に配列されたイメージセンサであって、
単位画素毎に入射光を光電変換する光電変換素子と、
前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離し且つ無機材料で構成された多層膜フィルタと、
前記多層膜フィルタで分離した色成分を混合する混合手段とを備えたことを特徴とするイメージセンサ。
【請求項１０】
請求項９において、
前記多層膜フィルタは、赤色の波長領域を透過するフィルタが集合配置された複数の赤色分離フィルタ群と、緑色の波長領域を透過するフィルタが集合配置された複数の緑色分離フィルタ群と、青色の波長領域を透過するフィルタが集合配置された複数の青色分離フィルタ群とに区画されていることを特徴とするイメージセンサ。
【請求項１１】
請求項１０において、
前記赤色分離フィルタ群は、人の眼の赤色成分の分光特性に類似した赤色フィルタを有し、
前記緑色分離フィルタ群は、人の眼の緑色成分の分光特性に類似した緑色フィルタを有し、
前記青色分離フィルタ群は、人の眼の青色成分の分光特性に類似した青色フィルタを有していることを特徴とするイメージセンサ。
【請求項１２】
請求項１１において、
前記混合手段は、白色光下では、前記各分離フィルタ群における人の眼の分光特性に類似した各フィルタを透過した色成分のみを選択して出力する一方、低演色性の照明下では、該各分離フィルタ群をなす複数のフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されていることを特徴とするイメージセンサ。
【請求項１３】
請求項１２において、
前記混合手段は、白色光下においても、前記各分離フィルタ群をなす複数のフィルタのうち任意に選択したフィルタを透過した色成分を混合して出力するように構成されていることを特徴とするイメージセンサ。
【請求項１４】
請求項１２において、
前記混合手段は、低演色性の照明下において、前記各分離フィルタ群をなす複数のフィルタのうち任意に選択した複数のフィルタを透過した色成分の一部をそのまま出力する一方、残りの色成分を混合して出力するように構成されていることを特徴とするイメージセンサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高い信頼性が要求され、白色光下や低演色性照明下で使用されることが多い車載カメラ等で良好な画像を提供することを目的に使用される撮像装置及びイメージセンサに関するものである。
【背景技術】
【０００２】
従来より、自動車の走行安全性を高めるために、車両にビデオカメラ等の撮像手段を搭載して車両周辺の映像を監視するシステムが多数提案されている。
【０００３】
具体的には、ドアミラーやサイドミラー等に内蔵したカメラの出力を車内の運転席付近に設けられた映像表示装置で表示し、対向車や隣車線の状況、左右方向の死角映像等を運転者が容易に確認できる視認補助系システムや、取り込んだ映像信号を処理して周辺の自動車の動きを検出し、その距離や速度に応じて運転者に警告を与えたり、道路領域が存在する所定の位置を探索して標識を認識する認識系システムがある。
【０００４】
このような車載カメラは、気象条件に左右されないことが要求される。例えば、特許文献１には、気象条件に左右されない撮像装置とするために、車両のドアミラーのミラー部をハーフミラーとし、内部に光学フィルタ付のビデオレンズとＣＣＤ等の撮像装置を配置し、車室内に配置したカメラ信号処理回路により処理した映像信号を映像表示装置に出力するようにしたものが開示されている。
【０００５】
また、前記特許文献１には、（１）カメラを車室内に配置すると、美観上や居住性の劣化を招いたり、運転者の視野を狭めたりする、（２）エンジンルーム内では周囲の環境が非常に悪く、故障の原因となる、（３）車両の周辺、例えばドア側面やエンジンルームの上に配置すると、安全上、デザイン上、空力抵抗といった性能上などの悪影響があるという、カメラの搭載位置に関する課題が解決される、と記載されている。
【特許文献１】特開平５−２９４１８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このような従来の技術では、車両の性能を劣化させることのないカメラの搭載位置を提供しているが、車載カメラの性能が限定されるという別の課題がある。すなわち、（１）ハーフミラーを介して外界の映像を撮影するので感度が低下する、（２）カメラの搭載位置がドアミラー内なので、カメラの方向あるいは視野角を工夫しても撮影できる視野が限定される、（３）将来的にはデザイン上の観点からドアミラーをなくすことも検討されており、これに対応できない等である。
【０００７】
さらに、ドアミラーの内部は、車両の外側部又はエンジンルーム内に比べれば良好な使用環境にあると言えるが、真夏の炎天下に駐車された車両内の気温は、車室内又はドアミラーの内部を含めて非常に高くなることは周知の事実である。また、エンジンルーム内は、走行時には車室内に比べてはるかに高温になるし、車両の外側部に搭載したカメラは直射日光に晒されるという使用環境上の問題がある。
【０００８】
また、視認補助系の車載カメラシステムでは、夜間やトンネル内などの悪条件下における視認性を肉眼以上に高めるという目的がある。道路照明やトンネル内照明は経済性等の理由から高圧ナトリウムランプ等を使用することが多いが、高圧ナトリウムランプは演色性が低いため、白色光下を想定した処理では色の識別が困難になるという問題点がある。
【０００９】
図１６は、従来の撮像装置の構造を示す断面図である。図１６に示すように、撮像装置１５０１は、Ｎ型層１５０２の上にＰ型層１５０３が積層されたシリコン半導体基板を備え、さらにその上には、層間絶縁膜１５０４が形成されている。
【００１０】
前記Ｐ型層１５０３には、Ｎ型不純物のイオン注入により複数のフォトダイオード１５０５（光電変換素子）が形成されている。このフォトダイオード１５０５は、入射光１５０６を光電変換するものであり、複数のフォトダイオード１５０５間は、素子分離領域１５０７により分離されている。
【００１１】
さらに、前記素子分離領域１５０７の上には、光の入射を抑制する遮光膜１５０８が形成され、該遮光膜１５０８の上にカラーフィルタ１５０９が形成されている。さらに、カラーフィルタ１５０９の上部には、入射光１５０６を効率よく集光するための集光レンズ１５１０が形成されている。このカラーフィルタ１５０９の持つ波長選択性によって、入射光１５０６がＲ（赤）、Ｇ（緑）、Ｂ（青）の各波長帯に分離されて色分離が可能となる。
【００１２】
しかしながら、従来のカラーフィルタ１５０９は、有機材料よりなる顔料によって構成されており、長時間高温状態におかれた場合、あるいは強い入射光が長時間当たった場合、顔料に化学変化が生じて波長選択特性が変化する。このため、顔料フィルタを用いた従来の撮像装置では、高温又は高照射による退色（色分離特性の劣化）という課題があった。この課題が、車両に搭載する撮像装置に対してより顕著な問題となることは、上述した通りである。また、道路照明やトンネル内照明に多用されている照明の演色性が低いという問題がある。
【００１３】
図１７は、高圧ナトリウムランプの分光特性と人の眼の分光特性を示す図である。図１７において、１６０１は高圧ナトリウムランプの分光特性、１６０２は人の眼の青色（Ｂ）成分の分光特性、１６０３は人の眼の緑色（Ｇ）成分の分光特性、１６０４は人の眼の赤色（Ｒ）成分の分光特性を示している。
【００１４】
図１８は、高圧ナトリウムランプ照明下における人の眼の分光特性を示す図である。図１８において、１７０１がＲ成分の分光特性、１７０２がＧ成分の分光特性を示す。高圧ナトリウムランプは分光が長波長側に偏っているため、その照明下では人の眼はほとんど赤色成分の感度しかなく、全ての色が赤系統の色としてしか認識できない。また、従来のカメラにおいても、人の眼の分光特性に近いＲ、Ｇ、Ｂの３原色を用いて撮像を行うため、同様に全ての色が赤系統と色としてしか識別できないことになる。このように、白色光下だけを想定した撮像処理を行うと不都合が生じる。
【００１５】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、車両の外側部、車室内、エンジンルーム内など、どのような場所にカメラを搭載しても、周囲温度あるいは直射日光の影響で劣化することがなく、加えて、一般の道路照明下で肉眼より視認性の高い撮像装置を手軽に提供することにある。
【課題を解決するための手段】
【００１６】
すなわち、本発明の撮像装置は、複数の単位画素がチップ上に配列されたイメージセンサと、該イメージセンサから出力される色成分を色信号に変換する画像処理部とを有し、
前記イメージセンサは、単位画素毎に入射光を光電変換する光電変換素子と、前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離し且つ無機材料で構成された多層膜フィルタとを備え、
前記画像処理部は、前記多層膜フィルタで分離した色成分を混合する混合手段を備えたことを特徴とするものである。
【００１７】
また、本発明のイメージセンサは、複数の単位画素がチップ上に配列されており、
単位画素毎に入射光を光電変換する光電変換素子と、
前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離し且つ無機材料で構成された多層膜フィルタと、
前記多層膜フィルタで分離した色成分を混合する混合手段とを備えたことを特徴とするものである。
【発明の効果】
【００１８】
以上のように、本発明に係る撮像装置は、無機材料よりなるフィルタを用いることで、顔料の化学変化による退色という現象がなくなり、高温、高光量照射下での使用が可能なことから、車載用途として車両の外側部、車室内、エンジンルーム内など、どのような場所にでも搭載できる。
【００１９】
また、フィルタ構造として、同一の層構造を有する上部反射器及び下部反射器に挟まれたスペーサ層の厚みの違いで、透過する波長帯域を変化させるものであることから、撮像装置を製造する半導体ウエハプロセスにおいてプロセスステップ数を削減でき、安価に量産できるという利点がある。
【００２０】
さらに、多数の異なる分光特性を持つフィルタを同一チップ上に形成するのが容易であることから、人の眼の分光特性に近いフィルタに加えて、人の眼が持つ３原色の分光帯域幅より狭い一部の波長帯域のみを選択的に透過させるフィルタを可視波長域にわたって多数形成して、白色光下では人の眼の分光特性に近いフィルタを使用して色情報を取得し、低演色性照明下では、人の眼の３原色の分光帯域幅より狭い波長帯域のフィルタで取得した色情報を選択的に混合して、結果的に透過させるフィルタの特性を可変させて得る色情報と、混合させずにそのままのフィルタの特性で得る色情報を組み合わせるようにして、多数且つ選択的に色情報を得るようにして、白色光下や低演色性照明下等、光源の変化に関係なく、色の判別性能を向上させることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
【００２２】
図１は、本発明の実施形態に係る撮像装置のイメージセンサの構造を示す断面図である。図１に示すように、イメージセンサ１０１は、Ｎ型層１０２にＰ型層１０３が積層されたシリコン半導体基板を備え、さらにその上に層間絶縁膜１０４が形成されている。
【００２３】
前記Ｐ型層１０３には、Ｎ型不純物のイオン注入により複数のフォトダイオード（光電変換素子）１０５が形成されており、入射光１０６を光電変換するようになっている。そして、各フォトダイオード１０５間は素子分離領域１０７により分離されている。
【００２４】
さらに、前記素子分離領域１０７の上方には、光の入射を抑制する遮光膜１０８が形成されている。そして、この遮光膜１０８上には、誘電体からなり、波長選択機能を実現する多層膜フィルタ１０９が形成されている。さらに、この多層膜フィルタ１０９の上方には、入射光１０６を効率良く集光するための集光レンズ１１０が形成されている。
【００２５】
図２は、本実施形態に係る撮像装置を自動車車両に取り付けた状態を示す図である。図２に示すように、自動車２０１には、デザイン上の観点からフェンダーミラーやドアミラーが取り付けられておらず、代わりにサイドカメラ２０２が車両側部に設置されている。このサイドカメラ２０２からの映像信号は、コンソール内に設置された映像制御装置２０３に入力され、映像制御装置２０３からの出力信号が車内の運転席付近に設けられた映像表示装置２０４に表示される。
【００２６】
また、前記映像制御装置２０３には、車両前部に設置されたフロントカメラ２０５や車両後部に設置されたリアカメラ２０６からの出力信号がさらに入力されており、前記映像表示装置２０４に対して、サイドカメラ２０２、フロントカメラ２０５、及びリアカメラ２０６からの映像信号を切替えて、あるいは同時に表示することができるようになっている。
【００２７】
なお、車室内及びエンジンルーム内は、車両外部に比べて衝突等の事故の際にカメラが保護されやすいという特徴があるので、図示しない車室内カメラ又はエンジンルーム内カメラを車外監視用途に用いてもよい。これは特に、交通事故時の映像を衝突の前後で記録する車載ブラックボックスとして用いると効果的である。
【００２８】
また、図２には示していないが、サイドカメラ２０２、フロントカメラ２０５、リアカメラ２０６の中には、図１に示した撮像装置が組み込まれているものとする。
【００２９】
以下、本実施形態に係る多層膜フィルタの透過率特性について、従来の多層膜フィルタの透過率特性と比較しながら説明する。
【００３０】
図３（ａ）は、従来の高反射ミラーに用いる多層膜反射鏡である多層膜フィルタの層構造を示す図であり、図３（ｂ）は、従来の多層膜フィルタの透過率特性を示す図である。
【００３１】
図３（ａ）に示すように、多層膜フィルタの層構造は、屈折率の異なる材料である、窒化シリコン３０１（ＳｉＮ）と、酸化シリコン３０２，３０３（ＳｉＯ２）とを単純に積層させた構成となっている。
【００３２】
また、図３（ｂ）において、縦軸は入射に対して多層膜を透過した後の光透過率、横軸は多層膜に入射させる光の波長を示している。なお、計算にはフレネル係数を用いたマトリクス法を用いており、ペア数は１０、設定中心波長は５５０ｎｍで、垂直入射光のみを計算している。
【００３３】
ここで、多層膜を構成する各誘電体の光学膜厚ｎｄ（ｎ：材料の屈折率、ｄ：材料の膜厚）については、設定中心波長λに対して４分の１波長（λ／４）となるように設定してあり、その結果、設定中心波長を中心とする反射帯域特性となる。また、反射帯域幅は用いる材料の屈折率差で決定され、屈折率差が大きいほど帯域幅が大きくなる。
【００３４】
しかしながら、このような層構造では、広い反射阻止帯域は得られるものの、Ｒ、Ｇ、Ｂの色分離機能のために波長を選択的に透過させることは難しいと言える。
【００３５】
図４（ａ）は、本実施形態の高反射ミラーに用いる色分離フィルタである多層膜フィルタの層構造を示す図であり、図４（ｂ）は、本実施形態の多層膜フィルタの透過率特性を示す図である。
【００３６】
図４（ａ）に示すように、本発明の実施形態に係る多層膜フィルタは、スペーサ層３０４を中心にして、λ／４多層膜構造（λ：設定中心波長）の上部反射器３０５及び下部反射器３０６が対称となるように配置した構成となっている。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層３０４の膜厚を変化させることによって、その透過ピーク波長を変化させることが可能となる。
【００３７】
図５は、本実施形態の多層膜フィルタの製造プロセスを示す図である。まず、図５（ａ）に示すように、Ｓｉウエハ４０１上に酸化シリコン（ＳｉＯ２）及び酸化チタン（ＴｉＯ２）からなるλ／４多層膜構造（λ：設定中心波長）の下部反射器４０２〜４０５、及びＴｉＯ２からなるスペーサ層４０６を高周波スパッタ装置によって形成する。その後、特定波長のみを選択的に透過させるために、スペーサ層４０６の厚みを所望の膜厚に形成するエッチングプロセスを実施する。
【００３８】
具体的には、図５（ｂ）に示すように、下部反射器４０２〜４０６を形成したウエハ面上にレジスト塗布を行い、露光前ベーク（プリベーク）の後、ステッパなどの露光装置によって露光を行い、レジスト現像、及び最終ベーク（ポストベーク）によって、レジストパターン４０７を形成する。その後、ＣＦ４系のエッチングガスを用いて、最終的に、図５（ｂ）における層構造の中央部が赤色（Ｒ）の波長帯に相当する層膜になるまでスペーサ層４０６のエッチングを行う。
【００３９】
次に、図５（ｃ）に示すように、図５（ｂ）と同様のプロセスにより、緑色（Ｇ）の領域に相当する領域にレジストパターンを形成し、ドライエッチングを実施することによって、図５（ｃ）における右側部が緑色に相当する層厚になるまでスペーサ層４０６のエッチングを行う。
【００４０】
さらに、図５（ｄ）に示すように、図５（ａ）と同様に酸化シリコンＳｉＯ２、及び酸化チタンＴｉＯ２からなるλ／４多層膜構造の上部反射器４０８〜４１１を高周波スパッタ装置によって形成する。
【００４１】
なお、誘電体からなる多層膜構造のトータル膜厚は、Ｒ、Ｇ、Ｂに対して、それぞれ、６２２ｎｍ、５４２ｎｍ、５６２ｎｍとした。
【００４２】
図６は、本実施形態の多層膜フィルタの透過率の計算結果を示す図である。縦軸は入射に対して多層膜を透過した後の光透過率、横軸は多層膜に入射させる光の波長を示している。なお、計算には誘電体多層膜フィルタにおいて広く知られている特性マトリクス法を用いた。
【００４３】
また、誘電体材料としては、高屈折率材料として酸化チタンＴｉＯ２（屈折率２．５）５０１を用い、低屈折率材料として酸化シリコンＳｉＯ２（屈折率１．４５）５０２を用いた。さらに、スペーサ層５０３の光学膜厚（膜厚）をそれぞれ、２００ｎｍ（８０ｎｍ）、０ｎｍ（０ｎｍ）、５０ｎｍ（２０ｎｍ）としている。
【００４４】
図６に示すように、スペーサ層５０３の有無、又は膜厚の変化によって透過ピーク波長特性を変化させることが可能であり、撮像装置において必要となる、Ｒ、Ｇ、Ｂの波長分離化が実現できることが分かる。
【００４５】
なお、本実施形態では、高屈折率材料として酸化チタンＴｉＯ２を用いているが、これ以外の材料として窒化シリコン（ＳｉＮ）、酸化タンタル（Ｔａ２Ｏ５）、あるいは酸化ジルコニウム（ＺｒＯ２）などを用いてもよい。また、低屈折率材料として酸化シリコンＳｉＯ２を用いたが、高屈折率材料として用いる誘電体と比較して屈折率が低ければ、酸化シリコンＳｉＯ２以外の材料を用いても構わない。
【００４６】
このように、本発明のような誘電体多層膜構造によれば、フィルタを通常の半導体プロセスで作製可能となり、従来の顔料フィルタのように撮像装置の受光部や配線部などを形成した後に、通常の半導体プロセスとは異なる工程、いわゆるオンチッププロセスでフィルタを形成する必要がなく、プロセスの安定化、及び生産性向上に伴う低コスト化を実現する上で有利な効果が得られる。
【００４７】
さらに、本発明の誘電体多層膜フィルタは、無機材料のみを用いて構成可能であり、高温、高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内、車室内など、どのような場所にでも搭載することができる。
【００４８】
図７は、本実施形態のイメージセンサ上における多層膜フィルタの配列例とその分光特性を示す図である。図７に示すように、多層膜フィルタ１０９は、６０１〜６１６という分光特性の異なる１６種類のフィルタを４×４の配列パターンで配列することにより構成されている。なお、この４×４のフィルタ配列は、イメージセンサ１０１上に形成されている配列の一部を示すものであり、このフィルタ配列パターンがイメージセンサ１０１上に複数形成されていることは言うまでもない。
【００４９】
次に、各フィルタの分光の帯域幅について説明する。フィルタ６０４は人の眼の赤色成分の分光特性に類似した分光特性を有し、フィルタ６０７，６１０は人の眼の緑色成分の分光特性に類似した分光特性を有し、フィルタ６１３は人の眼の青色成分の分光特性に類似した分光特性を有している。また、フィルタ６０４，６０７，６１０，６１３を除く残りのフィルタは、人の眼の帯域幅の８０ｎｍ〜１００ｎｍに比べて狭く設定された分光特性を有している。
【００５０】
前記多層膜フィルタ１０９は、さらに、Ｒフィルタ配列群６２０（赤色分離フィルタ群）、Ｇ１フィルタ配列群６２１（緑色分離フィルタ群）、Ｇ２フィルタ配列群６２２（緑色分離フィルタ群）、Ｂフィルタ配列群６２３（青色分離フィルタ群）の４つの群に分けられている。
【００５１】
具体的に、Ｒフィルタ配列群６２０は、フィルタ６０１〜６０４で構成され、各フィルタの分光特性が赤色の波長領域に集中している。
【００５２】
Ｇ１フィルタ配列群６２１は、フィルタ６０５〜６０８で構成され、各フィルタの分光特性が緑色の波長領域に集中している。
【００５３】
Ｇ２フィルタ配列群６２２は、フィルタ６０９〜６１２で構成され、各フィルタの分光特性が緑色の波長領域に集中している。
【００５４】
Ｂフィルタ配列群６２３は、フィルタ６１３〜６１６で構成され、各フィルタの分光特性が青色の波長領域に集中している。
【００５５】
なお、本実施形態では、Ｇ２フィルタ配列群６２２をなすフィルタ６０９〜６１２の分光特性が、Ｇ１フィルタ配列群６２１をなすフィルタ６０５〜６０８の分光特性と同じになるように設定している。このようにすれば、各フィルタ配列群を１つのフィルタと仮定した場合、ＲＧＢのベイヤー配列と同等の配列にすることができる。
【００５６】
図８は、本実施形態に係る撮像装置の全体構成を示す図である。図８において、１０１はイメージセンサであり、１０９は無機材料を積層してなる多層膜フィルタである。
【００５７】
７０１は、イメージセンサ１０１の出力信号をアナログ処理するＡＦＥ（Analog Front End）及びデジタル信号に変換するＡＤＣ（AD Converter）である。
【００５８】
７０２は、デジタル信号に変換されたイメージセンサ１０１の出力信号を処理して所望の画像データを生成する画像処理ＬＳＩである。以下、画像処理ＬＳＩ７０２の回路構成について説明する。
【００５９】
７０３は、イメージセンサ１０１の各フィルタで分離された色情報のうち、所定の色情報のみを選択するか、又は選択した色情報を混合するフィルタ選択部（混合手段）である。
【００６０】
７０４は、フィルタ選択部７０３で選択又は混合された色情報を、後述する色推定部７０５又は入力選択部７０６に対して選択的に出力する出力選択部である。
【００６１】
７０５は、イメージセンサ１０１の出力信号から色を推定する色推定部であり、具体的には、色推定部７０５が有するパターンテーブルを使用することで、高圧ナトリウムランプ等の低演色性の照明下の限られた色情報から白色光下における色を推定する。
【００６２】
７０６は、出力選択部７０４及び色推定部７０５からそれぞれ入力される色情報を選択的に出力する入力選択部である。
【００６３】
７０７は、入力選択部７０６から入力された色情報から所望の色信号を生成する色生成部であり、３原色（Ｒ、Ｇ、Ｂ）の色信号が出力される。なお、本実施形態では、出力色信号として３原色（Ｒ、Ｇ、Ｂ）としているが、色差信号等の他の色信号形式であっても構わない。
【００６４】
７０８は、色生成部７０７から入力された色信号に基づいて画像処理を行う画像処理部である。
【００６５】
以下、本実施形態に係る撮像装置の処理動作について説明する。まず、白色光下における処理について説明する。白色光下では、イメージセンサ１０１により取得した色情報は、フィルタ選択部７０３によりフィルタ６０４，６０７，６１０，６１３を透過した色情報のみが選択され、出力選択部７０４に入力される。出力選択部７０４は、入力された色情報の出力先として入力選択部７０６を選択し、色情報を入力選択部７０６に入力する。入力選択部７０６は、出力選択部７０４からの色情報を色生成部７０７へ出力する。
【００６６】
ここで、上述したように、フィルタ６０４は人の眼の赤色成分の分光特性と類似した分光特性を有し、フィルタ６０７，６１０は人の眼の緑色成分の分光特性と類似した分光特性を有し、フィルタ６１３は人の眼の青色成分の分光特性と類似した分光特性を有している。そして、白色光下では、フィルタ選択部７０３はそれらの色情報のみを選択し、そのまま画像処理部７０８で画像が生成される。
【００６７】
また、イメージセンサ１０１上のフィルタ配列において、フィルタ６０４，６０７，６１０，６１３の位置関係は、現在デジタルカメラ等で主流となっているベイヤー配列と同等としている。これにより、画像処理部７０８には特別な技術や計算は必要なく、従来より使用している画像処理部をそのまま流用できるというメリットがある。
【００６８】
図９は、理想的な人の眼の赤色成分の分光特性と、誘電体多層膜フィルタでの赤色成分の分光特性との関係を示す図である。図９において、８０１は理想的な人の眼の赤色成分の分光特性であり、フィルタ６０４の分光特性は理想的な分光特性に対して長波長側に移動する傾向がある。
【００６９】
これは、色分離フィルタが無機材料で構成され、光透過特性をスペーサ層の膜厚調整によって実現する場合、理想的な分光特性にするのは難しく、特にフィルタ６０４のような赤色のフィルタに関して透過スペクトルにおける極大値での波長が長波長側に偏るためであると考えられる。そこで、長波長側への偏りを補正し、より理想的な分光特性を得るためにフィルタ選択部７０３において混合動作を行った。
【００７０】
図１０は、理想的な人の眼の赤色成分の分光特性と、誘電体多層膜フィルタでの赤色成分の補正後の分光特性との関係を示す図である。図１０において、６０１はフィルタ６０１の分光特性、６０４はフィルタ６０４の人の眼の赤色成分の分光特性と類似した分光特性、８０１は理想的な人の眼の赤色成分の分光特性である。９０１はフィルタ６０１とフィルタ６０４を混合することで得られる分光特性である。
【００７１】
図１０に示すように、混合した分光特性は、フィルタ６０４の分光特性より理想的な人の眼の赤色成分の分光特性に近いことが分かる。
【００７２】
なお、本実施形態では、赤色のみを補正した場合について説明したが、青色や赤色も同様に補正することも可能であることは言うまでもない。
【００７３】
次に、白色光下以外の場所、本実施形態では、道路照明やトンネル内照明に多用されている高圧ナトリウムランプ照明下での処理について説明する。
【００７４】
高圧ナトリウムランプ照明下において、イメージセンサ１０１により取得した色情報は、フィルタ選択部７０３によりフィルタ６１５，６１６，６０５，６０８，６０１，６０２，６０３を透過した色情報が選択又は混合され、出力選択部７０４に入力される。出力選択部７０４は、入力された色情報の出力先として色推定部７０５を選択し、色情報を色推定部７０５に入力する。色推定部７０５は、パターンテーブルを使用することで、高圧ナトリウムランプ照明下の限られた色情報から白色光下における色を推定し、その色推定情報を色生成部７０７へ出力する。
【００７５】
ここで、高圧ナトリウムランプは、分光が長波長側に偏っているため、その照明下では人の眼はほとんど赤色成分の感度しかなく、全ての色が赤系統の色としてしか認識できない。このため、フィルタ６０４，６０７，６１０，６１３のような人の眼の分光特性に近いＲ，Ｇ，Ｂの３原色を用いると、全ての色が赤系統の色としてしか識別できないことになる。そこで、フィルタ選択部７０３においてフィルタの選択や色情報の混合をすることによりフィルタの特性を変え、さらに複数の色情報を得るようにしている。
【００７６】
すなわち、高圧ナトリウムランプ照明下では、フィルタ選択部７０３においてフィルタ６０４，６０７，６１０，６１３を使用せず、それ以外の人の眼の帯域幅の８０ｎｍ〜１００ｎｍに比べて狭く設定したフィルタを選択して色情報を混合する。
【００７７】
本実施形態では、７種類の分光特性フィルタを選択して、分光特性フィルタで透過された色情報のうち、色情報を混合するものとそうでないものとを組み合わせ、結果的に４種類の分光特性フィルタを形成するようにした。
【００７８】
図１１は、高圧ナトリウムランプ下において、フィルタ選択部７０３で色情報を選択又は混合することで形成された４種類のフィルタの分光特性と、高圧ナトリウムランプの分光特性との関係を示す図である。
【００７９】
本実施形態では、フィルタ６１５，６１６，６０５，６０８，６０１，６０２，６０３を使用し、そのうちフィルタ６１５，６１６，６０５で透過した色情報を混合することで混合フィルタ１００２を形成し、フィルタ６０２，６０３で透過した色情報を混合することで混合フィルタ１００３を形成した。ここで、１００１は高圧ナトリウムランプの分光特性である。
【００８０】
図１１に示すように、分光が偏っている長波長側には、帯域幅の狭いフィルタや混合しても帯域幅の狭いフィルタを割り当てて色情報を細分化し、比較的分光比が低い短波長側には、多数混合して帯域幅の広いフィルタを割り当てることで、効率的に色情報を取得するようにしている。
【００８１】
図１２は、本実施形態に係る撮像装置の高圧ナトリウムランプ照明下における分光特性を示す図である。図１２に示すように、本発明の撮像装置では、高圧ナトリウムランプ照明下においても、１１０１〜１１０４という複数の色情報を得ることができ、色の識別が可能であることが分かる。
【００８２】
ここで、取得した色情報を人間に対して表示する場合は、人の眼で判別できる従来のＲ、Ｇ、Ｂに変換して表示する必要がある。この場合、被写体の色を白色照明下での色として再現するのが最も好ましい。しかしながら、青色〜緑色成分の情報が得られないため、赤色成分の情報から推定しなければならない。ここで、従来のフィルタでは赤色成分の情報が１つしかなかったため推定が極めて困難であったが、本発明では複数の情報があるため、その情報から被写体の分光パターンを推定し、白色光下における色をある程度推定することが可能である。
【００８３】
図１３は、本実施形態に係る撮像装置の高圧ナトリウムランプ下で得られる被写体の色情報を示す図である。図１３において、１２０１は被写体Ａの白色光下での分光特性、１２０２は被写体Ｂの白色光下での分光特性である。
【００８４】
ここで、被写体Ａ，Ｂを高圧ナトリウムランプ照明下において本発明の撮像装置で撮影すると、被写体Ａに関しては１２０１ａ，１２０１ｂ，１２０１ｃ，１２０１ｄの色情報を得ることができる。また、被写体Ｂに関しては１２０２ａ，１２０２ｂ，１２０２ｃ，１２０２ｄの色情報を得ることができる。
【００８５】
このように、本発明では、被写体Ａ、Ｂの分光パターンの一部の情報を得ることができる。すなわち、従来のカメラでは赤色の１つの情報しか得られないため分光のパターン情報は得られなかったが、本発明によれば、この得られた分光パターンの情報から白色光下での分光特性を推定することができる。
【００８６】
図１４は、本実施形態の撮像装置における白色光下での色情報の推定結果を示す図である。図１４において、１２０２ａ、１２０２ｂ、１２０２ｃは高圧ナトリウムランプ照明下での前記被写体Ｂの色情報である。
【００８７】
ここで、人の可視波長帯域（４００ｎｍ〜７００ｎｍ）より狭い帯域の色情報及び混合によって形成されたフィルタの帯域による色情報に基づいて、白色光下における被写体Ｂの分光８０２を推定し、人の眼で判別できる従来のＲ、Ｇ、Ｂ（可視波長帯域全域にわたる色信号）に変換することで、Ｂ成分である１３０１、Ｇ成分である１３０２、Ｒ成分である１３０３をそれぞれ取得する。
【００８８】
ここで、具体的な色情報の推定方法として、１２０２ａ，１２０２ｂ，１２０２ｃの組から直接１３０１，１３０２，１３０３を出力する変換テーブルを予め用意しておくことが考えられる。このテーブルの作成方法として、実際の被写体の特性を収集し、そこから統計的に得る方法がある。以下、このテーブル作成方法について説明する。
【００８９】
図１５は、本実施形態に係る撮像装置におけるパターンテーブル作成方法を示す図である。図１５に示すように、この撮像装置では、被写体の色情報を２種類の方法で取得している。すなわち、第１の方法は、１４０１ａ及び１４０１ｂで示すように、白色光下で人の眼の分光特性に準じる分光のカメラで撮影する方法であり、第２の方法は、１４０２ａ及び１４０２ｂで示すように、高圧ナトリウムランプ照明下での本発明の撮像装置で撮影する方法である。
【００９０】
このような２つの撮像方法による色情報のパターンデータ１４０３ａ，１４０３ｂ，・・・を数多くの被写体について収集して、入力（人の可視波長帯域（４００ｎｍ〜７００ｎｍ）より狭い帯域の色情報及び混合によって形成されたフィルタの帯域による色情報）と出力（可視波長帯域全域にわたる色信号）とを関係付けるパターンテーブル１４０４を作成する。
【００９１】
なお、本実施形態では、高圧ナトリウムランプ下における色情報からの色推定を行う場合について説明したが、他の分光特性を持つ低演色性光源に対しても同様の手法が使えるのはもちろんである。
【００９２】
また、本実施形態では、フィルタを混合するものと、そうでないものとの組み合わせにより効率的に色情報を取得するようにして、４種類のフィルタを使用しているが、より詳細な分光パターン情報を得るためにより多種類のフィルタを使用したり、混合せずに狭い帯域幅のフィルタのみで構成するようにしても構わない。なお、この場合には、色情報を細分化すれば、さらに白色光下の色の予測の精度は向上するが、パターンテーブルの情報もその分だけ膨大になるということは考慮する必要がある。
【００９３】
また、本実施形態では、画像処理ＬＳＩ７０２側において混合動作を行うようにしたが、この形態に限定するものではなく、イメージセンサ１０１側で混合動作を行うようにしても構わない。この場合には、イメージセンサ１０１側に別途混合手段を設ける必要がある。
【産業上の利用可能性】
【００９４】
以上説明したように、本発明に係る撮像装置は、信頼性が極めて高く、且つ白色光下や低演色性照明下での色の識別能力を肉眼より高くすることができるという実用性の高い効果が得られることから、きわめて有用で産業上の利用可能性は高い。特に、自動車に搭載しておき、車両周辺の映像を監視して人が視認するための撮像装置として利用可能である。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施形態に係る撮像装置のイメージセンサの構造を示す断面図である。
【図２】本実施形態に係る撮像装置を自動車車両に取り付けた状態を示す図である。
【図３】（ａ）従来の多層膜フィルタの層構造を示す図である。（ｂ）従来の多層膜フィルタの透過率特性を示す図である。
【図４】（ａ）本実施形態の多層膜フィルタの層構造を示す図である。（ｂ）本実施形態の多層膜フィルタの透過率特性を示す図である。
【図５】本実施形態の多層膜フィルタの製造プロセスを示す図である。
【図６】本実施形態の多層膜フィルタの透過率の計算結果を示す図である。
【図７】本実施形態のイメージセンサ上における多層膜フィルタの配列例とその分光特性を示す図である。
【図８】本実施形態に係る撮像装置の全体構成を示す図である。
【図９】理想的な人の眼の赤色成分の分光特性と、誘電体多層膜フィルタでの赤色成分の分光特性との関係を示す図である。
【図１０】理想的な人の眼の赤色成分の分光特性と、誘電体多層膜フィルタでの赤色成分の補正後の分光特性との関係を示す図である。
【図１１】高圧ナトリウムランプ照明下において、色情報を選択又は混合した分光特性と、高圧ナトリウムランプの分光特性との関係を示す図である。
【図１２】本実施形態に係る撮像装置の高圧ナトリウムランプ照明下における分光特性を示す図である。
【図１３】本実施形態に係る撮像装置の高圧ナトリウムランプ下で得られる被写体の色情報を示す図である。
【図１４】本実施形態に係る撮像装置における白色光下での色情報の推定結果を示す図である。
【図１５】本実施形態に係る撮像装置におけるパターンテーブル作成方法を示す図である。
【図１６】従来の撮像装置の構造を示す断面図である。
【図１７】高圧ナトリウムランプの分光特性と人の眼の分光特性とを示す図である。
【図１８】高圧ナトリウムランプ照明下における人の眼の分光特性を示す図である。
【符号の説明】
【００９６】
１０１    イメージセンサ
１０５    フォトダイオード（光電変換素子）
１０６    入射光
１０９    多層膜フィルタ
１１０    集光レンズ
２０１    自動車
６０４    赤色フィルタ
６０７    緑色フィルタ
６１０    緑色フィルタ
６１３    青色フィルタ
６２０    Ｒフィルタ配列群（赤色分離フィルタ群）
６２１    Ｇ１フィルタ配列群（緑色分離フィルタ群）
６２２    Ｇ２フィルタ配列群（緑色分離フィルタ群）
６２３    Ｂフィルタ配列群（青色分離フィルタ群）
７０２    画像処理ＬＳＩ
７０３    フィルタ選択部（混合手段）
７０４    出力選択部
７０５    色推定部
７０６    入力選択部
７０７    色生成部
７０８    画像処理部
【図２】
2008005383.tif 000003
【図３】
2008005383.tif 000004
【図４】
2008005383.tif 000005
【図５】
2008005383.tif 000006
【図６】
2008005383.tif 000007
【図７】
2008005383.tif 000008
【図８】
2008005383.tif 000009
【図９】
2008005383.tif 000010
【図１０】
2008005383.tif 000011
【図１１】
2008005383.tif 000012
【図１２】
2008005383.tif 000013
【図１３】
2008005383.tif 000014
【図１４】
2008005383.tif 000015
【図１５】
2008005383.tif 000016
【図１６】
2008005383.tif 000017
【図１７】
2008005383.tif 000018
【図１８】
2008005383.tif 000019
【図１】
2008005383.tif 000020