(57)【要約】  多層膜フィルタを通過して光電変換された色信号を画像処理ＬＳＩに入力し、画像処理ＬＳＩ内の色信号処理部において、該色信号に対応する複数の領域に分割した色マトリクス上で各領域毎に該色信号の補正を行う。
2007040170.tif 000002
【特許請求の範囲】
【請求項１】
複数の単位画素がチップ上に配列された車載撮像装置であって、
前記単位画素毎に入射光を光電変換する光電変換素子と、
前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離する多層膜フィルタと、
前記多層膜フィルタを通過して光電変換された色信号に対して画像処理を行う画像処理部とを備え、
前記画像処理部は、前記色信号に対応する複数の領域に分割した色マトリクス上で各領域毎に該色信号をそれぞれ補正するように構成されていることを特徴とする車載撮像装置。
【請求項２】
請求項１に記載された車載撮像装置において、
前記画像処理部は、前記複数の領域における色信号毎にそれぞれ異なる定数を乗算することで該色信号の補正を行うように構成されていることを特徴とする車載撮像装置。
【請求項３】
請求項１に記載された車載撮像装置において、
前記色信号に対応する領域は、少なくとも４つの領域に分割されていることを特徴とする車載撮像装置。
【請求項４】
請求項１に記載された車載撮像装置において、
前記画像処理部は、特定の単位画素の色信号と該単位画素の周辺画素の色信号との差分を算出し、該算出結果を予め設定された閾値と比較し、該比較結果に基づいてノイズリダクションを行うように構成されていることを特徴とする車載撮像装置。
【請求項５】
請求項４に記載された車載撮像装置において、
前記画像処理部は、前記閾値の設定変更によりノイズリダクションの強弱が調整されるように構成されていることを特徴とする車載撮像装置。
【請求項６】
請求項４に記載された車載撮像装置において、
前記色信号のレベル毎にそれぞれ異なる閾値が設定されていることを特徴とする車載撮像装置。
【請求項７】
請求項４に記載された車載撮像装置において、
前記画像処理部は、前記特定の単位画素の色信号に対して少なくとも８つの周辺画素の色信号の差分を算出するように構成されていることを特徴とする車載撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車に搭載して車両周辺の映像を監視するための車載撮像装置に関するものである。
【背景技術】
【０００２】
従来より、自動車の走行安全性を高めるために、車両にビデオカメラ等の撮像手段を搭載して車両周辺の映像を監視し、その映像に含まれる各種情報を取出して利用する装置が多数提案されている。【０００３】
この中には、取込んだ映像信号から周辺の自動車の動きを光学的相関システムにより検出し、その距離、速度により運転者に警告を与えるシステムや、認識した映像の「道路領域」に対する所定の位置を探索して標識を認識するシステム、ドアミラーあるいはサイドミラーに内蔵したカメラの出力を車内の運転席付近に設けられた映像表示装置で表示し、対向車の状況や隣車線の状況を容易に確認できるシステム、左右方向の死角映像と車両下方映像を同時に撮影し表示できる車載カメラなどがある。【０００４】
このような車載カメラは、気象条件に左右されないことが要求される。例えば、特許文献１には、気象条件に左右されない撮像装置とするために、車両のドアミラーのミラー部をハーフミラーとし、内部に光学フィルタ付のビデオレンズとＣＣＤ等の撮像装置を配置し、車室内に配置したカメラ信号処理回路により処理した映像信号を映像表示装置に出力するようにしたものが開示されている。【０００５】
また、前記特許文献１には、（１）カメラを車室内に配置すると、美観上、居住性の劣化を招いたり、運転者の視野を狭めたりする、（２）エンジンルーム内では周囲の環境が非常に悪く、故障の原因となる、（３）車両の周辺、例えばドア側面やエンジンルームの上に配置すると、安全上、デザイン上、空力抵抗といった性能上などの悪影響があるという、カメラの搭載位置に関する課題が解決される、と記載されている。
【特許文献１】特開平５−２９４１８３号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このような従来の技術では、車両の性能を劣化させることのないカメラの搭載位置を提供しているが、車載カメラの性能が限定されるという別の課題がある。すなわち、（１）ハーフミラーを介して外界の映像を撮影するので感度が低下する、（２）カメラの搭載位置がドアミラー内なので、カメラの方向あるいは視野角を工夫しても撮影できる視野が限定される、（３）将来的にはデザイン上の観点からドアミラーをなくすことも検討されておりこれに対応できない等がある。【０００７】
さらに、ドアミラーの内部は、車両の外側部又はエンジンルーム内に比べれば良好な使用環境にあると言えるが、真夏の炎天下に駐車された車両内の気温は、車室内又はドアミラーの内部を含めて非常に高くなることは周知の事実である。また、エンジンルーム内は、走行時には車室内に比べてはるかに高温になるし、車両の外側部に搭載したカメラは直射日光に晒されるという使用環境上の問題がある。【０００８】
また、従来の固体撮像装置内のカラーフィルタは、有機材料よりなる顔料によって構成されており、長時間高温状態におかれた場合、あるいは強い入射光が長時間当たった場合、顔料に化学変化が生じて波長選択特性が変化する。このため、顔料フィルタを用いた従来の固体撮像装置では、高温又は高照射による退色（色分離特性の劣化）という課題があった。この課題が、車載撮像装置に対してより顕著な問題となることは、上述した通りである。【０００９】
また、車載撮像装置としてはカラーフィルタを有しないモノクロタイプのものもあるが、上述した標識を認識するシステムや映像表示装置を目視するシステムでは、カラーの撮像装置が望ましいことは言うまでもない。【００１０】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、車両の外側部、車室内、エンジンルーム内など、どのような場所にカメラを搭載した場合にも、周囲温度又は直射日光の影響で劣化することなく、高精度な色再現、色信号のＳ／Ｎを確保することにある。
【課題を解決するための手段】
【００１１】
すなわち、本発明では、複数の単位画素がチップ上に配列された車載撮像装置であって、
前記単位画素毎に入射光を光電変換する光電変換素子と、
前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離する多層膜フィルタと、
前記多層膜フィルタを通過して光電変換された色信号に対して画像処理を行う画像処理部とを備え、
前記画像処理部は、前記色信号に対応する複数の領域に分割した色マトリクス上で各領域毎に該色信号をそれぞれ補正するように構成されていることを特徴とするものである。
【発明の効果】
【００１２】
以上のように、本発明に係る車載撮像装置は、多層膜フィルタを通過した入射光を光電変換した色信号のＲ（赤）、Ｇ（緑）、Ｂ（青）成分に対して、複数の領域に分割した色マトリクス上で各領域毎に補正を行うから、高精度な色再現性を確保する上で有利な効果が得られる。【００１３】
また、前記多層膜フィルタの変調度が低く、色信号の補正によりノイズが発生する場合には、ノイズリダクションを行うようにしたから、色信号のＳ／Ｎを確保する上で有利な効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施形態に係る車載撮像装置の画素部分を示す断面図である。
【図２】図２は、本実施形態に係る車載撮像装置を自動車車両に取付けた状態を示す図である。
【図３】図３（ａ）は、従来の多層膜フィルタの層構造を示す図である。図３（ｂ）は、従来の多層膜フィルタの透過率特性を示す図である。
【図４】図４（ａ）は、本実施形態の多層膜フィルタの層構造を示す図である。図４（ｂ）は、本実施形態の多層膜フィルタの透過率特性を示す図である。
【図５】図５は、本実施形態に係る車載撮像装置の全体構成を示す図である。
【図６】図６は、誘電体多層膜フィルタの理想的な分光特性を示す図である。
【図７】図７は、本実施形態に係る車載撮像装置における誘電体多層膜フィルタの分光特性を示す図である。
【図８】図８は、従来の色マトリクス上における補正前の座標を示す模式図である。
【図９】図９は、従来の色マトリクス上における補正後の座標を示す模式図である。
【図１０】図１０は、従来の色マトリクス上における最終的な補正後の座標を示す模式図である。
【図１１】図１１は、従来の色マトリクス上における補正前の座標を示す別の模式図である。
【図１２】図１２は、従来の色マトリクス上における最終的な補正後の座標を示す別の模式図である。
【図１３】図１３は、本実施形態のＲ−Ｇ軸とＢ−Ｇ軸とからなる色マトリクス上の４つの領域を示す模式図である。
【図１４】図１４は、本実施形態のＲ−Ｙ軸とＢ−Ｙ軸とからなる色マトリクス上の４つの領域を示す模式図である。
【図１５】図１５は、本実施形態の色マトリクス上における補正後の座標を示す模式図である。
【図１６】図１６は、本実施形態に係る車載撮像装置の画素部を示す模式図である。
【図１７】図１７は、本実施形態のノイズリダクションにおける補正閾値と補正関数値とを示す模式図である。
【図１８】図１８は、本実施形態のノイズリダクションにおける補正値を示す模式図である。
【図１９】図１９は、本実施形態のノイズリダクションにおける色信号（Ｒ−Ｙ）’のレベル毎の補正閾値の設定を示す模式図である。
【図２０】図２０は、本実施形態のノイズリダクションにおける色信号（Ｒ−Ｙ）’のレベル毎の補正関数値の設定を示す模式図である。
【符号の説明】
【００１５】
１０１  イメージセンサ
１０５  フォトダイオード
１０６  入射光
１０９  多層膜フィルタ
２０１  自動車
４０２  画像処理ＬＳＩ
４０４  色信号処理部
４０５  多軸色差ＭＴＸ部
４０６  ノイズリダクション部
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。【００１７】
図１は、本発明に係る車載撮像装置における３つの画素部分を示す断面図である。図１に示すように、車載撮像装置におけるイメージセンサ１０１は、Ｎ型層１０２にＰ型層１０３が積層されたシリコン半導体基板を備え、さらにその上に層間絶縁膜１０４が形成されている。【００１８】
前記Ｐ型層１０３には、Ｎ型不純物のイオン注入により複数のフォトダイオード（光電変換素子）１０５が形成されており、入射光１０６を光電変換するようになっている。そして、各フォトダイオード１０５間は素子分離領域１０７により分離されている。【００１９】
さらに、前記素子分離領域１０７の上方には、光の入射を抑制する遮光膜１０８が形成されている。そして、この遮光膜１０８の上には、誘電体からなり、波長選択機能を実現する多層膜フィルタ１０９が形成されている。さらに、この多層膜フィルタ１０９の上方には、入射光１０６を効率良く集光するための集光レンズ１１０が形成されている。【００２０】
図２は、本実施形態に係る車載撮像装置を自動車車両に取付けた状態を示す図である。図２に示すように、自動車２０１には、デザイン上の観点からフェンダーミラーやドアミラーが取り付けられておらず、代わりにサイドカメラ２０２が車両側部に設置されている。このサイドカメラ２０２からの映像信号は、コンソール内に設置された映像制御装置２０３に入力され、映像制御装置２０３からの出力信号が車内の運転席付近に設けられた映像表示装置２０４に表示される。【００２１】
また、前記映像制御装置２０３には、車両前部に設置されたフロントカメラ２０５、車両後部に設置されたリアカメラ２０６、車室内カメラ２０７、及びエンジンルーム内カメラ２０８からの出力信号がさらに入力されており、前記映像表示装置２０４に対して、サイドカメラ２０２、フロントカメラ２０５、及びリアカメラ２０６からの映像信号を切り替えて、あるいは同時に表示することができるようになっている。さらに、映像信号を処理することで前方車、後続車、又は隣接車との車間距離測定、障害物の検知等を行い、運転者に警告を与えることができるようになっている。【００２２】
また、車室内カメラ２０７の映像信号は、運転者の動作を分析して居眠り、酒酔い運転を検知するのに用いられる他、駐車時に動作させて、車上荒しに対する警報発令や映像記録をするために用いられる。【００２３】
また、エンジンルーム内カメラ２０８は、エンジン、トランスミッション、サスペンション、タイヤ等を監視するために用いられる。【００２４】
なお、車室内及びエンジンルーム内は、車両外部に比べて衝突等の事故の際にカメラが保護されやすいという特徴があるので、車室内カメラ２０７又はエンジンルーム内カメラ２０８を車外監視用途に用いてもよい。これは特に、交通事故時の映像を衝突の前後で記録する車載ブラックボックスとして用いると効果的である。【００２５】
また、図２には示していないが、サイドカメラ２０２、フロントカメラ２０５、リアカメラ２０６、車室内カメラ２０７、及びエンジンルーム内カメラ２０８の中には、図１に示した車載撮像装置が組み込まれているものとする。【００２６】
以下、本実施形態に係る多層膜フィルタの透過率特性について、従来の多層膜フィルタの透過率特性と比較しながら説明する。【００２７】
図３（ａ）は、従来の高反射ミラーに用いる多層膜反射鏡である多層膜フィルタの層構造を示す図であり、図３（ｂ）は、従来の多層膜フィルタの透過率特性を示す図である。【００２８】
図３（ａ）に示すように、多層膜フィルタの層構造は、屈折率の異なる材料である、窒化シリコン３０１（ＳｉＮ）と、酸化シリコン３０２，３０３（ＳｉＯ２）とを単純に積層させた構成となっている。【００２９】
また、図３（ｂ）において、縦軸は入射に対して多層膜を通過した後の光透過率、横軸は多層膜に入射させる光の波長を示している。なお、計算にはフレネル係数を用いたマトリクス法を用いており、ペア数は１０、設定中心波長は５５０ｎｍで、垂直入射光のみを計算している。【００３０】
ここで、多層膜を構成する各誘電体の光学膜厚ｎｄ（ｎ：材料の屈折率、ｄ：材料の膜厚）については、設定中心波長λに対して４分の１波長（λ／４）となるように設定してあり、その結果、設定中心波長を中心とする反射帯域特性となる。また、反射帯域幅は用いる材料の屈折率差で決定され、屈折率差が大きいほど帯域幅が大きくなる。【００３１】
しかしながら、このような層構造では、広い反射阻止帯域は得られるものの、Ｒ、Ｇ、Ｂの色分離機能のために波長を選択的に透過させることは難しいと言える。【００３２】
図４（ａ）は、本実施形態の高反射ミラーに用いる色分離フィルタである多層膜フィルタの層構造を示す図であり、図４（ｂ）は、本実施形態の多層膜フィルタの透過率特性を示す図である。【００３３】
図４（ａ）に示すように、本発明の実施形態に係る多層膜フィルタは、スペーサ層３０４を中心にして、λ／４多層膜構造（λ：設定中心波長）の上部反射器３０５及び下部反射器３０６が対称となるように配置した構成となっている。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層３０４の膜厚を変化させることによって、その透過ピーク波長を変化させることが可能となる。【００３４】
さらに、本発明の誘電体多層膜フィルタは、無機材料のみを用いて構成可能であり、高温、高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内、車室内など、どのような場所にでも搭載することができる。【００３５】
図５は、本実施形態に係る車載撮像装置の全体構成を示す図である。図５において、１０１はイメージセンサ、１０９は無機材料を積層してなる多層膜フィルタ、４０１はイメージセンサ１０１の出力信号をアナログ処理するＡＦＥ（Analog Front End）及びデジタル信号に変換するＡＤＣ（AD Converter）である。【００３６】
４０２は、デジタル信号となったイメージセンサ１０１の出力信号を処理して所望の画像データを生成する画像処理ＬＳＩである。【００３７】
４０３は輝度信号処理部であり、イメージセンサ１０１の出力信号から輝度信号Ｙを生成して出力処理するものである。【００３８】
４０４は色信号処理部であり、色信号に対して色マトリクス上での補正を行う多軸色査ＭＴＸ部４０５と、ノイズを低減するデジタルノイズリダクション部４０６とを備えている。【００３９】
この色信号処理部４０４では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分から色差信号Ｒ−Ｙ、Ｂ−Ｙが算出される。ここで、Ｙは輝度信号を表し、Ｙ＝０．５９Ｒ＋０．３Ｇ＋０．１１Ｂに相当する。そして、色信号処理部４０４で得られた色差信号Ｒ−Ｙ、Ｂ−Ｙと輝度信号Ｙを用いて出力画像が作成される。【００４０】
このように、前記色信号処理部４０４において色補正及びノイズリダクションを行うことによって、高精度な色再現性と色信号のＳ／Ｎの確保が可能となる。【００４１】
図６は、誘電体多層膜フィルタの理想的な分光特性を示す図であり、図７は、本実施形態に係る車載撮像装置における誘電体多層膜フィルタの分光特性を示す図である。【００４２】
図７に示すように、本実施形態の誘電体多層膜フィルタでは、分光特性が悪く変調度も低いため、図６に示すような理想的な色再現や色信号のＳ／Ｎを確保するには至っていないことが分かる。従って、多層膜フィルタからの出力信号に対しては、前記画像処理ＬＳＩ４０２において画像処理を施す必要がある。【００４３】
以下、色信号に対する従来の補正手順と本発明の補正手順とを比較しながら説明する。まず、色信号に対する従来の補正手順について説明する。【００４４】
図８は、従来の色マトリクス上における補正前の色信号の座標を示す模式図であり、Ｒ−Ｙ軸とＢ−Ｙ軸とからなる色マトリクス上における理想的な赤色の座標７０１、黄色の座標７０２、及び赤色、黄色の被写体を誘電体多層膜フィルタにより色分離し、光電変換して得られる色信号の座標（赤色の座標７０３、黄色の座標７０４）を示している。【００４５】
ここで、図８における赤色の座標７０３、黄色の座標７０４に対して、式（１）、（２）を用いて補正を行う。図９は、式（１）、（２）を用いた補正後の座標を示す模式図である。【００４６】
Ｒ−Ｙ＝（Ｒ−Ｇ）−ｎ（Ｂ−Ｇ）  （ｎは任意の整数）・・・（１）
Ｂ−Ｙ＝（Ｂ−Ｇ）−ｍ（Ｒ−Ｇ）  （ｍは任意の整数）・・・（２）
このように、式（１）では、色差信号（Ｒ−Ｙ）を算出する際に、Ｂ成分とＧ成分の差（Ｂ−Ｇ）に定数ｎを乗算することにより、色差信号（Ｒ−Ｙ）の補正を行っている。同様に、式（２）では、色差信号（Ｂ−Ｙ）を算出する際に、Ｒ成分とＧ成分の差（Ｂ−Ｇ）に定数ｍを乗算することにより、色差信号（Ｂ−Ｙ）の補正を行っている。【００４７】
次に、図９における赤色の座標８０１、黄色の座標８０２に対して、式（３）、（４）を用いて補正を行う。図１０は、式（３）、（４）を用いた補正後の座標を示す模式図である。【００４８】
（Ｒ−Ｙ）’＝ｓ（Ｒ−Ｙ）    （ｓは任意の整数）・・・（３）
（Ｂ−Ｙ）’＝ｔ（Ｂ−Ｙ）    （ｔは任意の整数）・・・（４）
このように、式（３）では、式（１）で得られる色差信号（Ｒ−Ｙ）に定数ｓを乗算することにより、色差信号（Ｒ−Ｙ）の補正を行っている。同様に、式（４）では、式（２）で得られる色差信号（Ｂ−Ｙ）に定数ｔを乗算することにより、色差信号（Ｂ−Ｙ）の補正を行っている。【００４９】
以上のように、色信号に対する従来の補正手順では、赤色の座標７０３、黄色の座標７０４をそれぞれ理想的な赤色の座標７０１、黄色の座標７０２に重なるように補正を行う。しかしながら、例えば、図１１に示すように補正前の色信号の座標（赤色の座標１００１、黄色の座標１００２）が位置していた場合には、上述の式（１）〜（４）を用いて色信号の補正を行うと、図１２に示すように黄色の座標１００２が理想的な座標７０２と大幅にずれてしまい、良好な色再現ができないことが分かる。【００５０】
次に、色信号に対する本発明の補正手順について説明する。図１３は、Ｒ−Ｇ軸とＢ−Ｇ軸とからなる色マトリクス上の４つに分割した領域を示す模式図である。【００５１】
ここで、先ほど従来の補正手順では補正し切れなかった図１０における赤色の座標１００１、黄色の座標１００２に対して、式（５）〜（８）を用いて補正を行う。【００５２】
Ｒ−Ｙ＝（Ｒ−Ｇ）−ｎ１（Ｂ−Ｇ）  （ｎ１は任意の整数、Ｂ−Ｇ＞０）・・・（５）
Ｒ−Ｙ＝（Ｒ−Ｇ）−ｎ２（Ｂ−Ｇ）  （ｎ２は任意の整数、Ｂ−Ｇ＜０）・・・（６）
Ｂ−Ｙ＝（Ｂ−Ｇ）−ｍ１（Ｒ−Ｇ）  （ｍ１は任意の整数、Ｒ−Ｇ＞０）・・・（７）
Ｂ−Ｙ＝（Ｂ−Ｇ）−ｍ２（Ｒ−Ｇ）  （ｍ２は任意の整数、Ｒ−Ｇ＜０）・・・（８）
ここで、式（５）〜（８）は、領域１２０１〜１２０４毎に補正を行うことを意味している。【００５３】
図１４は、Ｒ−Ｙ軸とＢ−Ｙ軸とからなる色マトリクス上の４つに分割した領域を示す模式図である。【００５４】
次に、先ほど同様に、図１０における赤色の座標１００１、黄色の座標１００２に対して、式（９）〜（１２）を用いて補正を行う。【００５５】
（Ｒ−Ｙ）’＝ｓ１（Ｒ−Ｙ）    （ｓ１は任意の整数、Ｒ−Ｙ＞０）・・・（９）
（Ｒ−Ｙ）’＝ｓ２（Ｒ−Ｙ）    （ｓ２は任意の整数、Ｒ−Ｙ＜０）・・・（１０）
（Ｂ−Ｙ）’＝ｔ１（Ｂ−Ｙ）    （ｔ１は任意の整数、Ｂ−Ｙ＞０）・・・（１１）
（Ｂ−Ｙ）’＝ｔ２（Ｂ−Ｙ）    （ｔ２は任意の整数、Ｂ−Ｙ＜０）・・・（１２）
ここで、式（９）〜（１２）は、領域毎１３０１〜１３０４に補正を行うことを意味している。【００５６】
以上のような補正を行うことで、図１５に示すように、赤色の座標１００１、黄色の座標１００２が理想的な赤色の座標７０１、黄色の座標７０２に重なり、高精度な色再現が可能となる。【００５７】
なお、式（５）〜（１２）では、Ｒ−Ｇ軸とＢ−Ｇ軸とからなる色マトリクス上で領域を４つに分割し、Ｒ−Ｙ軸とＢ−Ｙ軸とからなる色マトリクス上で領域を４つに分割したが、この形態に限定するものではなく、分割する領域数を増やすことでより高精度な色再現が可能となる。【００５８】
なお、ｎ、ｍ、ｓ、ｔ等の係数は、理想的な色信号の座標と多層膜フィルタにより色分離した後で光電変換して得られる色信号の座標の位置関係を考慮して設定するのが好ましい。【００５９】
ここで、誘電体多層膜フィルタは変調度が低いため、色マトリクス上での補正度合いが大きくなり、色信号のＳ／Ｎ劣化が著しいという問題がある。【００６０】
そこで、本発明の実施形態に係る車載撮像装置では、Ｓ／Ｎ劣化が著しい色信号に対して強力なノイズリダクションを行うようにしている。このようなノイズリダクションは、図１６に示す画素１５０１に対して周辺の８つの画素１５０２〜１５０９の色信号の差分の絶対値と、図１７に示す補正閾値１６０１と補正関数値１６０２（ただし、０≦補正閾値≦補正関数値）を用いることで行われる。【００６１】
具体的には、図１６に示す画素１５０１〜１５０９の色信号（Ｒ−Ｙ）’の値がそれぞれ１５、２５、２６、４０、２４、４５、２３、２７、５０である場合、画素１５０１とその周辺の８つの画素１５０２〜１５０９との色信号（Ｒ−Ｙ）’の差分の絶対値１５１０〜１５０７は、それぞれ１０、１１、２５、９、３０、８、１２、３５となる。【００６２】
また、図１７に示す補正閾値１６０１を“８”、補正関数値１６０２を“１２”とした場合、色信号（Ｒ−Ｙ）’の差分の絶対値が補正関数値１６０２以下となるのは、色信号（Ｒ−Ｙ）’の差分の絶対値１５１０、１５１１、１５１３、１５０５、１５０６の５つであり、その平均値は“１０”である。【００６３】
図１８に示すように、差分の絶対値１５１０、１５１１、１５１３、１５０５、１５０６の平均値“１０”は補正関数値１６０２以下となり、その補正値１７０２は“４”となる。すなわち、画素１５０１の色信号（Ｒ−Ｙ）’は、１５＋４＝１９と補正される。同様に色信号（Ｂ−Ｙ）’に対しても補正が行われる。【００６４】
なお、本実施形態では、補正閾値１６０１を“８”、補正関数値１６０２を“１２”とした場合について説明したが、この形態に限定するものではなく、例えば、誘電体多層膜フィルタの変調度が低いため色マトリクス上での補正度合いが大きくなり、色信号のＳ／Ｎ劣化が著しい場合には、補正閾値１６０１を“１２”、補正関数値１６０２を“１６”のように大きい値に設定することで、強力なノイズリダクションを行い、色信号のＳ／Ｎ劣化を防止するようにしても構わない。【００６５】
また、図１９及び図２０に示すように、色信号のレベル毎に補正閾値１６０１と補正関数値１６０２とを設定することで、色信号のレベル毎ノイズリダクションの強弱を変えることが可能となり、色マトリクス上における色信号の補正の強弱に沿ったノイズリダクションが可能となる。【００６６】
なお、図１６に示す画素部の例では、周辺画素８つに関してそれぞれ色信号の差分の絶対値を求めてノイズリダクションを行っているが、この形態に限定するものではなく、色信号の差分の絶対値の算出に用いる周辺画素数を増やすことで、広範囲にわたる画素の色信号を考慮に入れてノイズリダクションを行うことが可能となり、より色信号のＳ／Ｎ劣化を防止する上で有利となる。
【産業上の利用可能性】
【００６７】
以上説明したように、本発明は、周囲温度又は直射日光の影響で劣化することなく、高精度な色再現、色信号のＳ／Ｎを確保することができるという実用性の高い効果が得られることから、きわめて有用で産業上の利用可能性は高い。特に、自動車に搭載して車両周辺の映像を監視するための車載撮像装置として利用可能である。
【図１】
2007040170.tif 000003
【図２】
2007040170.tif 000004
【図３】
2007040170.tif 000005
【図４】
2007040170.tif 000006
【図５】
2007040170.tif 000007
【図６】
2007040170.tif 000008
【図７】
2007040170.tif 000009
【図８】
2007040170.tif 000010
【図９】
2007040170.tif 000011
【図１０】
2007040170.tif 000012
【図１１】
2007040170.tif 000013
【図１２】
2007040170.tif 000014
【図１３】
2007040170.tif 000015
【図１４】
2007040170.tif 000016
【図１５】
2007040170.tif 000017
【図１６】
2007040170.tif 000018
【図１７】
2007040170.tif 000019
【図１８】
2007040170.tif 000020
【図１９】
2007040170.tif 000021
【図２０】
2007040170.tif 000022
【手続補正書】
【提出日】平成20年2月18日(2008.2.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の単位画素がチップ上に配列された車載撮像装置であって、
前記単位画素毎に入射光を光電変換する光電変換素子と、
前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離する多層膜フィルタと、
前記多層膜フィルタを通過して光電変換された色信号に対して画像処理を行う画像処理部とを備え、
前記画像処理部は、前記色信号に対応する複数の領域に分割した色マトリクス上で各領域毎に該色信号をそれぞれ補正するように構成されていることを特徴とする車載撮像装置。
【請求項２】
請求項１に記載された車載撮像装置において、
前記画像処理部は、前記複数の領域における色信号毎にそれぞれ異なる定数を乗算することで該色信号の補正を行うように構成されていることを特徴とする車載撮像装置。
【請求項３】
請求項１に記載された車載撮像装置において、
前記色信号に対応する領域は、少なくとも４つの領域に分割されていることを特徴とする車載撮像装置。
【請求項４】
請求項１に記載された車載撮像装置において、
前記画像処理部は、特定の単位画素の色信号と該単位画素の周辺画素の色信号との差分を算出し、該算出結果を予め設定された閾値と比較し、該比較結果に基づいてノイズリダクションを行うように構成されていることを特徴とする車載撮像装置。
【請求項５】
請求項４に記載された車載撮像装置において、
前記画像処理部は、前記閾値の設定変更によりノイズリダクションの強弱が調整されるように構成されていることを特徴とする車載撮像装置。
【請求項６】
請求項４に記載された車載撮像装置において、
前記色信号のレベル毎にそれぞれ異なる閾値が設定されていることを特徴とする車載撮像装置。
【請求項７】
請求項４に記載された車載撮像装置において、
前記画像処理部は、前記特定の単位画素の色信号に対して少なくとも８つの周辺画素の色信号の差分を算出するように構成されていることを特徴とする車載撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車に搭載して車両周辺の映像を監視するための車載撮像装置に関するものである。
【背景技術】
【０００２】
従来より、自動車の走行安全性を高めるために、車両にビデオカメラ等の撮像手段を搭載して車両周辺の映像を監視し、その映像に含まれる各種情報を取出して利用する装置が多数提案されている。
【０００３】
この中には、取込んだ映像信号から周辺の自動車の動きを光学的相関システムにより検出し、その距離、速度により運転者に警告を与えるシステムや、認識した映像の「道路領域」に対する所定の位置を探索して標識を認識するシステム、ドアミラーあるいはサイドミラーに内蔵したカメラの出力を車内の運転席付近に設けられた映像表示装置で表示し、対向車の状況や隣車線の状況を容易に確認できるシステム、左右方向の死角映像と車両下方映像を同時に撮影し表示できる車載カメラなどがある。
【０００４】
このような車載カメラは、気象条件に左右されないことが要求される。例えば、特許文献１には、気象条件に左右されない撮像装置とするために、車両のドアミラーのミラー部をハーフミラーとし、内部に光学フィルタ付のビデオレンズとＣＣＤ等の撮像装置を配置し、車室内に配置したカメラ信号処理回路により処理した映像信号を映像表示装置に出力するようにしたものが開示されている。
【０００５】
また、前記特許文献１には、（１）カメラを車室内に配置すると、美観上、居住性の劣化を招いたり、運転者の視野を狭めたりする、（２）エンジンルーム内では周囲の環境が非常に悪く、故障の原因となる、（３）車両の周辺、例えばドア側面やエンジンルームの上に配置すると、安全上、デザイン上、空力抵抗といった性能上などの悪影響があるという、カメラの搭載位置に関する課題が解決される、と記載されている。
【特許文献１】特開平５−２９４１８３号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このような従来の技術では、車両の性能を劣化させることのないカメラの搭載位置を提供しているが、車載カメラの性能が限定されるという別の課題がある。すなわち、（１）ハーフミラーを介して外界の映像を撮影するので感度が低下する、（２）カメラの搭載位置がドアミラー内なので、カメラの方向あるいは視野角を工夫しても撮影できる視野が限定される、（３）将来的にはデザイン上の観点からドアミラーをなくすことも検討されておりこれに対応できない等がある。
【０００７】
さらに、ドアミラーの内部は、車両の外側部又はエンジンルーム内に比べれば良好な使用環境にあると言えるが、真夏の炎天下に駐車された車両内の気温は、車室内又はドアミラーの内部を含めて非常に高くなることは周知の事実である。また、エンジンルーム内は、走行時には車室内に比べてはるかに高温になるし、車両の外側部に搭載したカメラは直射日光に晒されるという使用環境上の問題がある。
【０００８】
また、従来の固体撮像装置内のカラーフィルタは、有機材料よりなる顔料によって構成されており、長時間高温状態におかれた場合、あるいは強い入射光が長時間当たった場合、顔料に化学変化が生じて波長選択特性が変化する。このため、顔料フィルタを用いた従来の固体撮像装置では、高温又は高照射による退色（色分離特性の劣化）という課題があった。この課題が、車載撮像装置に対してより顕著な問題となることは、上述した通りである。
【０００９】
また、車載撮像装置としてはカラーフィルタを有しないモノクロタイプのものもあるが、上述した標識を認識するシステムや映像表示装置を目視するシステムでは、カラーの撮像装置が望ましいことは言うまでもない。
【００１０】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、車両の外側部、車室内、エンジンルーム内など、どのような場所にカメラを搭載した場合にも、周囲温度又は直射日光の影響で劣化することなく、高精度な色再現、色信号のＳ／Ｎを確保することにある。
【課題を解決するための手段】
【００１１】
すなわち、本発明では、複数の単位画素がチップ上に配列された車載撮像装置であって、
前記単位画素毎に入射光を光電変換する光電変換素子と、
前記光電変換素子の上方に配置され前記入射光の一部の波長のみを選択的に透過させて色成分を分離する多層膜フィルタと、
前記多層膜フィルタを通過して光電変換された色信号に対して画像処理を行う画像処理部とを備え、
前記画像処理部は、前記色信号に対応する複数の領域に分割した色マトリクス上で各領域毎に該色信号をそれぞれ補正するように構成されていることを特徴とするものである。
【発明の効果】
【００１２】
以上のように、本発明に係る車載撮像装置は、多層膜フィルタを通過した入射光を光電変換した色信号のＲ（赤）、Ｇ（緑）、Ｂ（青）成分に対して、複数の領域に分割した色マトリクス上で各領域毎に補正を行うから、高精度な色再現性を確保する上で有利な効果が得られる。
【００１３】
また、前記多層膜フィルタの変調度が低く、色信号の補正によりノイズが発生する場合には、ノイズリダクションを行うようにしたから、色信号のＳ／Ｎを確保する上で有利な効果が得られる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものでは全くない。
【００１５】
図１は、本発明に係る車載撮像装置における３つの画素部分を示す断面図である。図１に示すように、車載撮像装置におけるイメージセンサ１０１は、Ｎ型層１０２にＰ型層１０３が積層されたシリコン半導体基板を備え、さらにその上に層間絶縁膜１０４が形成されている。
【００１６】
前記Ｐ型層１０３には、Ｎ型不純物のイオン注入により複数のフォトダイオード（光電変換素子）１０５が形成されており、入射光１０６を光電変換するようになっている。そして、各フォトダイオード１０５間は素子分離領域１０７により分離されている。
【００１７】
さらに、前記素子分離領域１０７の上方には、光の入射を抑制する遮光膜１０８が形成されている。そして、この遮光膜１０８の上には、誘電体からなり、波長選択機能を実現する多層膜フィルタ１０９が形成されている。さらに、この多層膜フィルタ１０９の上方には、入射光１０６を効率良く集光するための集光レンズ１１０が形成されている。
【００１８】
図２は、本実施形態に係る車載撮像装置を自動車車両に取付けた状態を示す図である。図２に示すように、自動車２０１には、デザイン上の観点からフェンダーミラーやドアミラーが取り付けられておらず、代わりにサイドカメラ２０２が車両側部に設置されている。このサイドカメラ２０２からの映像信号は、コンソール内に設置された映像制御装置２０３に入力され、映像制御装置２０３からの出力信号が車内の運転席付近に設けられた映像表示装置２０４に表示される。
【００１９】
また、前記映像制御装置２０３には、車両前部に設置されたフロントカメラ２０５、車両後部に設置されたリアカメラ２０６、車室内カメラ２０７、及びエンジンルーム内カメラ２０８からの出力信号がさらに入力されており、前記映像表示装置２０４に対して、サイドカメラ２０２、フロントカメラ２０５、及びリアカメラ２０６からの映像信号を切り替えて、あるいは同時に表示することができるようになっている。さらに、映像信号を処理することで前方車、後続車、又は隣接車との車間距離測定、障害物の検知等を行い、運転者に警告を与えることができるようになっている。
【００２０】
また、車室内カメラ２０７の映像信号は、運転者の動作を分析して居眠り、酒酔い運転を検知するのに用いられる他、駐車時に動作させて、車上荒しに対する警報発令や映像記録をするために用いられる。
【００２１】
また、エンジンルーム内カメラ２０８は、エンジン、トランスミッション、サスペンション、タイヤ等を監視するために用いられる。
【００２２】
なお、車室内及びエンジンルーム内は、車両外部に比べて衝突等の事故の際にカメラが保護されやすいという特徴があるので、車室内カメラ２０７又はエンジンルーム内カメラ２０８を車外監視用途に用いてもよい。これは特に、交通事故時の映像を衝突の前後で記録する車載ブラックボックスとして用いると効果的である。
【００２３】
また、図２には示していないが、サイドカメラ２０２、フロントカメラ２０５、リアカメラ２０６、車室内カメラ２０７、及びエンジンルーム内カメラ２０８の中には、図１に示した車載撮像装置が組み込まれているものとする。
【００２４】
以下、本実施形態に係る多層膜フィルタの透過率特性について、従来の多層膜フィルタの透過率特性と比較しながら説明する。
【００２５】
図３（ａ）は、従来の高反射ミラーに用いる多層膜反射鏡である多層膜フィルタの層構造を示す図であり、図３（ｂ）は、従来の多層膜フィルタの透過率特性を示す図である。
【００２６】
図３（ａ）に示すように、多層膜フィルタの層構造は、屈折率の異なる材料である、窒化シリコン３０１（ＳｉＮ）と、酸化シリコン３０２，３０３（ＳｉＯ２）とを単純に積層させた構成となっている。
【００２７】
また、図３（ｂ）において、縦軸は入射に対して多層膜を通過した後の光透過率、横軸は多層膜に入射させる光の波長を示している。なお、計算にはフレネル係数を用いたマトリクス法を用いており、ペア数は１０、設定中心波長は５５０ｎｍで、垂直入射光のみを計算している。
【００２８】
ここで、多層膜を構成する各誘電体の光学膜厚ｎｄ（ｎ：材料の屈折率、ｄ：材料の膜厚）については、設定中心波長λに対して４分の１波長（λ／４）となるように設定してあり、その結果、設定中心波長を中心とする反射帯域特性となる。また、反射帯域幅は用いる材料の屈折率差で決定され、屈折率差が大きいほど帯域幅が大きくなる。
【００２９】
しかしながら、このような層構造では、広い反射阻止帯域は得られるものの、Ｒ、Ｇ、Ｂの色分離機能のために波長を選択的に透過させることは難しいと言える。
【００３０】
図４（ａ）は、本実施形態の高反射ミラーに用いる色分離フィルタである多層膜フィルタの層構造を示す図であり、図４（ｂ）は、本実施形態の多層膜フィルタの透過率特性を示す図である。
【００３１】
図４（ａ）に示すように、本発明の実施形態に係る多層膜フィルタは、スペーサ層３０４を中心にして、λ／４多層膜構造（λ：設定中心波長）の上部反射器３０５及び下部反射器３０６が対称となるように配置した構成となっている。このような層構造により、反射帯域中に透過帯域領域が選択的に形成され、さらにスペーサ層３０４の膜厚を変化させることによって、その透過ピーク波長を変化させることが可能となる。
【００３２】
さらに、本発明の誘電体多層膜フィルタは、無機材料のみを用いて構成可能であり、高温、高照射下で使用しても退色現象を生じないことから、車載用途として車両の外部、エンジンルーム内、車室内など、どのような場所にでも搭載することができる。
【００３３】
図５は、本実施形態に係る車載撮像装置の全体構成を示す図である。図５において、１０１はイメージセンサ、１０９は無機材料を積層してなる多層膜フィルタ、４０１はイメージセンサ１０１の出力信号をアナログ処理するＡＦＥ（Analog Front End）及びデジタル信号に変換するＡＤＣ（AD Converter）である。
【００３４】
４０２は、デジタル信号となったイメージセンサ１０１の出力信号を処理して所望の画像データを生成する画像処理ＬＳＩである。
【００３５】
４０３は輝度信号処理部であり、イメージセンサ１０１の出力信号から輝度信号Ｙを生成して出力処理するものである。
【００３６】
４０４は色信号処理部であり、色信号に対して色マトリクス上での補正を行う多軸色査ＭＴＸ部４０５と、ノイズを低減するデジタルノイズリダクション部４０６とを備えている。
【００３７】
この色信号処理部４０４では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）成分から色差信号Ｒ−Ｙ、Ｂ−Ｙが算出される。ここで、Ｙは輝度信号を表し、Ｙ＝０．５９Ｒ＋０．３Ｇ＋０．１１Ｂに相当する。そして、色信号処理部４０４で得られた色差信号Ｒ−Ｙ、Ｂ−Ｙと輝度信号Ｙを用いて出力画像が作成される。
【００３８】
このように、前記色信号処理部４０４において色補正及びノイズリダクションを行うことによって、高精度な色再現性と色信号のＳ／Ｎの確保が可能となる。
【００３９】
図６は、誘電体多層膜フィルタの理想的な分光特性を示す図であり、図７は、本実施形態に係る車載撮像装置における誘電体多層膜フィルタの分光特性を示す図である。
【００４０】
図７に示すように、本実施形態の誘電体多層膜フィルタでは、分光特性が悪く変調度も低いため、図６に示すような理想的な色再現や色信号のＳ／Ｎを確保するには至っていないことが分かる。従って、多層膜フィルタからの出力信号に対しては、前記画像処理ＬＳＩ４０２において画像処理を施す必要がある。
【００４１】
以下、色信号に対する従来の補正手順と本発明の補正手順とを比較しながら説明する。まず、色信号に対する従来の補正手順について説明する。
【００４２】
図８は、従来の色マトリクス上における補正前の色信号の座標を示す模式図であり、Ｒ−Ｙ軸とＢ−Ｙ軸とからなる色マトリクス上における理想的な赤色の座標７０１、黄色の座標７０２、及び赤色、黄色の被写体を誘電体多層膜フィルタにより色分離し、光電変換して得られる色信号の座標（赤色の座標７０３、黄色の座標７０４）を示している。
【００４３】
ここで、図８における赤色の座標７０３、黄色の座標７０４に対して、式（１）、（２）を用いて補正を行う。図９は、式（１）、（２）を用いた補正後の座標を示す模式図である。
【００４４】
Ｒ−Ｙ＝（Ｒ−Ｇ）−ｎ（Ｂ−Ｇ）  （ｎは任意の整数）・・・（１）
Ｂ−Ｙ＝（Ｂ−Ｇ）−ｍ（Ｒ−Ｇ）  （ｍは任意の整数）・・・（２）
このように、式（１）では、色差信号（Ｒ−Ｙ）を算出する際に、Ｂ成分とＧ成分の差（Ｂ−Ｇ）に定数ｎを乗算することにより、色差信号（Ｒ−Ｙ）の補正を行っている。同様に、式（２）では、色差信号（Ｂ−Ｙ）を算出する際に、Ｒ成分とＧ成分の差（Ｂ−Ｇ）に定数ｍを乗算することにより、色差信号（Ｂ−Ｙ）の補正を行っている。
【００４５】
次に、図９における赤色の座標８０１、黄色の座標８０２に対して、式（３）、（４）を用いて補正を行う。図１０は、式（３）、（４）を用いた補正後の座標を示す模式図である。
【００４６】
（Ｒ−Ｙ）’＝ｓ（Ｒ−Ｙ）    （ｓは任意の整数）・・・（３）
（Ｂ−Ｙ）’＝ｔ（Ｂ−Ｙ）    （ｔは任意の整数）・・・（４）
このように、式（３）では、式（１）で得られる色差信号（Ｒ−Ｙ）に定数ｓを乗算することにより、色差信号（Ｒ−Ｙ）の補正を行っている。同様に、式（４）では、式（２）で得られる色差信号（Ｂ−Ｙ）に定数ｔを乗算することにより、色差信号（Ｂ−Ｙ）の補正を行っている。
【００４７】
以上のように、色信号に対する従来の補正手順では、赤色の座標７０３、黄色の座標７０４をそれぞれ理想的な赤色の座標７０１、黄色の座標７０２に重なるように補正を行う。しかしながら、例えば、図１１に示すように補正前の色信号の座標（赤色の座標１００１、黄色の座標１００２）が位置していた場合には、上述の式（１）〜（４）を用いて色信号の補正を行うと、図１２に示すように黄色の座標１００２が理想的な座標７０２と大幅にずれてしまい、良好な色再現ができないことが分かる。
【００４８】
次に、色信号に対する本発明の補正手順について説明する。図１３は、Ｒ−Ｇ軸とＢ−Ｇ軸とからなる色マトリクス上の４つに分割した領域を示す模式図である。
【００４９】
ここで、先ほど従来の補正手順では補正し切れなかった図１０における赤色の座標１００１、黄色の座標１００２に対して、式（５）〜（８）を用いて補正を行う。
【００５０】
Ｒ−Ｙ＝（Ｒ−Ｇ）−ｎ１（Ｂ−Ｇ）  （ｎ１は任意の整数、Ｂ−Ｇ＞０）・・・（５）
Ｒ−Ｙ＝（Ｒ−Ｇ）−ｎ２（Ｂ−Ｇ）  （ｎ２は任意の整数、Ｂ−Ｇ＜０）・・・（６）
Ｂ−Ｙ＝（Ｂ−Ｇ）−ｍ１（Ｒ−Ｇ）  （ｍ１は任意の整数、Ｒ−Ｇ＞０）・・・（７）
Ｂ−Ｙ＝（Ｂ−Ｇ）−ｍ２（Ｒ−Ｇ）  （ｍ２は任意の整数、Ｒ−Ｇ＜０）・・・（８）
ここで、式（５）〜（８）は、領域１２０１〜１２０４毎に補正を行うことを意味している。
【００５１】
図１４は、Ｒ−Ｙ軸とＢ−Ｙ軸とからなる色マトリクス上の４つに分割した領域を示す模式図である。
【００５２】
次に、先ほど同様に、図１０における赤色の座標１００１、黄色の座標１００２に対して、式（９）〜（１２）を用いて補正を行う。
【００５３】
（Ｒ−Ｙ）’＝ｓ１（Ｒ−Ｙ）    （ｓ１は任意の整数、Ｒ−Ｙ＞０）・・・（９）
（Ｒ−Ｙ）’＝ｓ２（Ｒ−Ｙ）    （ｓ２は任意の整数、Ｒ−Ｙ＜０）・・・（１０）
（Ｂ−Ｙ）’＝ｔ１（Ｂ−Ｙ）    （ｔ１は任意の整数、Ｂ−Ｙ＞０）・・・（１１）
（Ｂ−Ｙ）’＝ｔ２（Ｂ−Ｙ）    （ｔ２は任意の整数、Ｂ−Ｙ＜０）・・・（１２）
ここで、式（９）〜（１２）は、領域毎１３０１〜１３０４に補正を行うことを意味している。
【００５４】
以上のような補正を行うことで、図１５に示すように、赤色の座標１００１、黄色の座標１００２が理想的な赤色の座標７０１、黄色の座標７０２に重なり、高精度な色再現が可能となる。
【００５５】
なお、式（５）〜（１２）では、Ｒ−Ｇ軸とＢ−Ｇ軸とからなる色マトリクス上で領域を４つに分割し、Ｒ−Ｙ軸とＢ−Ｙ軸とからなる色マトリクス上で領域を４つに分割したが、この形態に限定するものではなく、分割する領域数を増やすことでより高精度な色再現が可能となる。
【００５６】
なお、ｎ、ｍ、ｓ、ｔ等の係数は、理想的な色信号の座標と多層膜フィルタにより色分離した後で光電変換して得られる色信号の座標の位置関係を考慮して設定するのが好ましい。
【００５７】
ここで、誘電体多層膜フィルタは変調度が低いため、色マトリクス上での補正度合いが大きくなり、色信号のＳ／Ｎ劣化が著しいという問題がある。
【００５８】
そこで、本発明の実施形態に係る車載撮像装置では、Ｓ／Ｎ劣化が著しい色信号に対して強力なノイズリダクションを行うようにしている。このようなノイズリダクションは、図１６に示す画素１５０１に対して周辺の８つの画素１５０２〜１５０９の色信号の差分の絶対値と、図１７に示す補正閾値１６０１と補正関数値１６０２（ただし、０≦補正閾値≦補正関数値）を用いることで行われる。
【００５９】
具体的には、図１６に示す画素１５０１〜１５０９の色信号（Ｒ−Ｙ）’の値がそれぞれ１５、２５、２６、４０、２４、４５、２３、２７、５０である場合、画素１５０１とその周辺の８つの画素１５０２〜１５０９との色信号（Ｒ−Ｙ）’の差分の絶対値１５１０〜１５０７は、それぞれ１０、１１、２５、９、３０、８、１２、３５となる。
【００６０】
また、図１７に示す補正閾値１６０１を“８”、補正関数値１６０２を“１２”とした場合、色信号（Ｒ−Ｙ）’の差分の絶対値が補正関数値１６０２以下となるのは、色信号（Ｒ−Ｙ）’の差分の絶対値１５１０、１５１１、１５１３、１５０５、１５０６の５つであり、その平均値は“１０”である。
【００６１】
図１８に示すように、差分の絶対値１５１０、１５１１、１５１３、１５０５、１５０６の平均値“１０”は補正関数値１６０２以下となり、その補正値１７０２は“４”となる。すなわち、画素１５０１の色信号（Ｒ−Ｙ）’は、１５＋４＝１９と補正される。同様に色信号（Ｂ−Ｙ）’に対しても補正が行われる。
【００６２】
なお、本実施形態では、補正閾値１６０１を“８”、補正関数値１６０２を“１２”とした場合について説明したが、この形態に限定するものではなく、例えば、誘電体多層膜フィルタの変調度が低いため色マトリクス上での補正度合いが大きくなり、色信号のＳ／Ｎ劣化が著しい場合には、補正閾値１６０１を“１２”、補正関数値１６０２を“１６”のように大きい値に設定することで、強力なノイズリダクションを行い、色信号のＳ／Ｎ劣化を防止するようにしても構わない。
【００６３】
また、図１９及び図２０に示すように、色信号のレベル毎に補正閾値１６０１と補正関数値１６０２とを設定することで、色信号のレベル毎ノイズリダクションの強弱を変えることが可能となり、色マトリクス上における色信号の補正の強弱に沿ったノイズリダクションが可能となる。
【００６４】
なお、図１６に示す画素部の例では、周辺画素８つに関してそれぞれ色信号の差分の絶対値を求めてノイズリダクションを行っているが、この形態に限定するものではなく、色信号の差分の絶対値の算出に用いる周辺画素数を増やすことで、広範囲にわたる画素の色信号を考慮に入れてノイズリダクションを行うことが可能となり、より色信号のＳ／Ｎ劣化を防止する上で有利となる。
【産業上の利用可能性】
【００６５】
以上説明したように、本発明は、周囲温度又は直射日光の影響で劣化することなく、高精度な色再現、色信号のＳ／Ｎを確保することができるという実用性の高い効果が得られることから、きわめて有用で産業上の利用可能性は高い。特に、自動車に搭載して車両周辺の映像を監視するための車載撮像装置として利用可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施形態に係る車載撮像装置の画素部分を示す断面図である。
【図２】本実施形態に係る車載撮像装置を自動車車両に取付けた状態を示す図である。
【図３】（ａ）は、従来の多層膜フィルタの層構造を示す図である。（ｂ）は、従来の多層膜フィルタの透過率特性を示す図である。
【図４】（ａ）は、本実施形態の多層膜フィルタの層構造を示す図である。（ｂ）は、本実施形態の多層膜フィルタの透過率特性を示す図である。
【図５】本実施形態に係る車載撮像装置の全体構成を示す図である。
【図６】誘電体多層膜フィルタの理想的な分光特性を示す図である。
【図７】本実施形態に係る車載撮像装置における誘電体多層膜フィルタの分光特性を示す図である。
【図８】従来の色マトリクス上における補正前の座標を示す模式図である。
【図９】従来の色マトリクス上における補正後の座標を示す模式図である。
【図１０】従来の色マトリクス上における最終的な補正後の座標を示す模式図である。
【図１１】従来の色マトリクス上における補正前の座標を示す別の模式図である。
【図１２】従来の色マトリクス上における最終的な補正後の座標を示す別の模式図である。
【図１３】本実施形態のＲ−Ｇ軸とＢ−Ｇ軸とからなる色マトリクス上の４つの領域を示す模式図である。
【図１４】本実施形態のＲ−Ｙ軸とＢ−Ｙ軸とからなる色マトリクス上の４つの領域を示す模式図である。
【図１５】本実施形態の色マトリクス上における補正後の座標を示す模式図である。
【図１６】本実施形態に係る車載撮像装置の画素部を示す模式図である。
【図１７】本実施形態のノイズリダクションにおける補正閾値と補正関数値とを示す模式図である。
【図１８】本実施形態のノイズリダクションにおける補正値を示す模式図である。
【図１９】本実施形態のノイズリダクションにおける色信号（Ｒ−Ｙ）’のレベル毎の補正閾値の設定を示す模式図である。
【図２０】本実施形態のノイズリダクションにおける色信号（Ｒ−Ｙ）’のレベル毎の補正関数値の設定を示す模式図である。
【符号の説明】
【００６７】
１０１  イメージセンサ
１０５  フォトダイオード
１０６  入射光
１０９  多層膜フィルタ
２０１  自動車
４０２  画像処理ＬＳＩ
４０４  色信号処理部
４０５  多軸色差ＭＴＸ部
４０６  ノイズリダクション部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007040170.tif 000023
【図２】
2007040170.tif 000024
【図３】
2007040170.tif 000025
【図４】
2007040170.tif 000026
【図５】
2007040170.tif 000027
【図６】
2007040170.tif 000028
【図７】
2007040170.tif 000029
【図８】
2007040170.tif 000030
【図９】
2007040170.tif 000031
【図１０】
2007040170.tif 000032
【図１１】
2007040170.tif 000033
【図１２】
2007040170.tif 000034
【図１５】
2007040170.tif 000035
【図１６】
2007040170.tif 000036
【図１７】
2007040170.tif 000037
【図１８】
2007040170.tif 000038
【図１９】
2007040170.tif 000039
【図２０】
2007040170.tif 000040
【図１３】
2007040170.tif 000041
【図１４】
2007040170.tif 000042
【国際調査報告】
2007040170.tif 000043
2007040170.tif 000044