(57)【要約】【課題】被写体との相対的位置が変化する場合であっても、好適に画像中の映り込みを除去することができる撮像装置を提供する。【解決手段】撮像装置Ｍ１は、偏光ビームスプリッタ１を備えており、偏光ビームスプリッタ１によって分光された光が、それぞれ第１ＣＣＤカメラ３および第２ＣＣＤカメラ３によって撮影される。画像処理装置５では、第１ＣＣＤカメラ３および第２ＣＣＤカメラ４から得られる画像に基づいて映り込み成分を除去する。第１ＣＣＤカメラ３および第２ＣＣＤカメラ４は、偏光ビームスプリッタ１から出力される光を同時に撮影しているので、被写体との相対位置が変化しても、画像の映り込みを除去することができる。【選択図】  図１
2004187164.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を偏光方向に基づいて分離する偏光分離手段と、
前記偏光分離手段によって分離された第１画像を撮影する第１撮影手段と、
前記偏光分離手段によって分離された第２画像を撮影する第２撮影手段と、
前記第１画像および前記第２画像を比較して、画像の映り込みを判別する判別手段と、を備えることを特徴とする撮像装置。
【請求項２】
被写体からの光を偏光方向に基づいて分離する偏光分離手段と、
前記偏光分離手段によって分離された第１画像を撮影する第１撮影手段と、
前記偏光分離手段によって分離された第２画像を撮影する第２撮影手段と、
前記第１画像中における非偏光状態にある画像特徴点を抽出する特徴点抽出手段と、
前記第２画像中における前記第１画像中において抽出された特徴点に対応する対応点を求める対応点演算手段と、
前記第１画像中における特徴点および前記第２画像中における対応点とを一致させるパラメータを算出するパラメータ演算手段と、
前記パラメータ演算手段で算出されたパラメータに基づいて、前記第１画像および前記第２画像の少なくとも一方を画像変換する画像変換手段と、
前記画像変換手段における画像変換が行われた後における前記第１画像および前記第２画像の所定の相関関係を比較して、画像の映り込みを判別する判別手段と、
を備えることを特徴とする撮像装置。
【請求項３】
前記第１画像および前記第２画像の対応する位置における所定の相関関係に所定のしきい値を設定しておき、
前記パラメータ演算手段は、前記第１画像および前記第２画像における所定の相関関係が、前記しきい値を超えた部位を除いて、前記第１画像と前記第２画像とを一致させるパラメータを算出する請求項２に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は撮像装置に関する。
【０００２】
【従来の技術】
ＣＣＤカメラなどで撮影した画像に画像処理を施して種々の用途に利用されているが、撮影された画像中に濡れた路面や車両のボンネットなどで鏡面反射された像があると、画像処理に悪影響を与えることがある。このような悪影響を防止するために、たとえば、特開平１１−４１５１４号公報において、映り込み防止形撮影装置が開示されている。この撮像装置は、撮影装置に直線偏光素子を設け、この直線偏光素子の偏光面を変化させつつ被写体の撮影を行い、その撮影映像被写体の各位置での最小輝度値を記録し、この最小輝度値を収集して最終撮影映像とするものである。この撮像装置によれば、被写体表面での鏡面反射や被写体の周囲の映り込みを防止することができる。
【０００３】
【特許文献１】
特開平１１−４１５１４号公報（３頁、図１）
【０００４】
【発明が解決しようとする課題】
ところが、上記特許文献１に開示された撮像装置では、直線偏光素子の偏光面を変化させつつ記録された被写体の各位置での最小輝度値を利用して、映り込みの防止を図っている。このため、たとえば移動する被写体を撮影したり、高速移動中の車両等でこの撮像装置を用いたりする場合、直線偏光素子の偏光面を変化させている間に被写体と撮像装置の相対的な位置が変わってしまうので、映り込みを防止した画像を得ることができないという問題があった。
【０００５】
そこで、本発明の課題は、移動する被写体を撮影したり、高速移動中の車両等でこの撮像装置を用いたりする場合など、被写体との相対的位置が変化する場合であっても、好適に画像中の映り込みを除去することができる撮像装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決した本発明に係る撮像装置は、被写体からの光を偏光方向に基づいて分離する偏光分離手段と、偏光分離手段によって分離された第１画像を撮影する第１撮影手段と、偏光分離手段によって分離された第２画像を撮影する第２撮影手段と、第１画像および第２画像を比較して、画像の映り込みを判別する判別手段と、を備えるものである。
【０００７】
本発明に係る撮像装置においては、被写体からの光を偏光方向に基づいて分離する偏光分離手段を用い、分離された画像を２つの撮像手段によってそれぞれ撮影している。そして、この２つの撮影手段によって撮影された画像を比較して画像の映り込みを判別している。このため、２つの撮像手段では、画像を同時に撮影しているものであるので、高速で移動するものなど、被写体との相対的な位置が変わるときに用いたとしても、好適に画像中の映り込みを判別し、分離除去することができる。
【０００８】
また、上記課題を解決した本発明に係る撮像装置は、被写体からの光を偏光方向に基づいて分離する偏光分離手段と、偏光分離手段によって分離された第１画像を撮影する第１撮影手段と、偏光分離手段によって分離された第２画像を撮影する第２撮影手段と、第１画像中における非偏光状態にある画像特徴点を抽出する特徴点抽出手段と、第２画像中における第１画像中において抽出された特徴点に対応する対応点を求める対応点演算手段と、第１画像中における特徴点および第２画像中における対応点とを一致させるパラメータを算出するパラメータ演算手段と、パラメータ演算手段で算出されたパラメータに基づいて、第１画像および第２画像の少なくとも一方を画像変換する画像変換手段と、画像変換手段における画像変換が行われた後における第１画像および第２画像の所定の相関関係を比較して、画像の映り込みを判別する判別手段と、を備えるものである。
【０００９】
第１画像と第２画像とを比較して映り込みを判別しようとすると、両画像の同一性を画素レベルで維持することが要求される。この要求に応えるべく、本発明に係る撮像装置では、特徴点抽出手段と対応点演算手段およびパラメータ演算手段を設けている。特徴点抽出手段で、第１画像中における偏光がない、非偏光状態にある特徴点を抽出し、対応点演算手段で第２画像中における対応点を算出する。これらの特徴点と対応点とを一致させるパラメータをパラメータ演算手段で算出し、このパラメータで第１画像および第２画像の少なくとも一方を画像変換することで、第１画像と第２画像とを画素レベルで一致させることができる。
【００１０】
ここで、第１画像および第２画像の対応する位置における所定の相関関係に所定のしきい値を設定しておき、パラメータ演算手段は、第１画像および第２画像における所定の相関関係が、しきい値を超えた部位を除いて、第１画像と第２画像とを一致させるパラメータを算出するのが好適である。
【００１１】
このように、第１画像と第２画像の対応する位置における所定の相関関係にしきい値を設定し、このしきい値を超えた部位を除いてパラメータをさらに算出することにより、さらに正確に第１画像と第２画像とを画素レベルで一致させるパラメータを得ることができる。
【００１２】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００１３】
図１は、本実施形態に係る撮像装置の構成を示すシステム構成図、図２は、その撮像装置のブロック構成図である。図１および図２に示すように、本実施形態に係る撮像装置Ｍ１は、被写体からの光を偏光方向に基づいて分離する偏光分離手段である偏光ビームスプリッタ１を備えている。偏光ビームスプリッタ１の手前位置には、レンズ２が配設されており、被写体から偏光ビームスプリッタ１に向かう光を集光している。レンズ２によって集光された光は、偏光ビームスプリッタ１によって光の偏光方向に基づいて、図３に示すように、ｓ波を有するｓ偏光とｐ波を有するｐ偏光とに分離される。このうちのｓ偏光は偏光ビームスプリッタ１における第１出射面１Ａから出射され、一方のｐ偏光は第２出射面１Ｂから出射される。
【００１４】
偏光ビームスプリッタ１におけるそれぞれの出射面１Ａ，１Ｂには、第１撮影手段である第１ＣＣＤカメラ３および第２撮影手段である第２ＣＣＤカメラ４が隣接して設けられている。第１ＣＣＤカメラ３では偏光ビームスプリッタ１の第１出射面１Ａから出射されるｓ偏光を撮影し、第１画像であるｓ偏光画像を撮影する。第２ＣＣＤカメラ４では第２出射面１Ｂから出射されるｐ偏光を撮影し、第２偏光画像であるｐ偏光画像を撮影している。第１ＣＣＤカメラ３および第２ＣＣＤカメラ４は、それぞれ画像処理装置５に接続されている。また、画像処理装置５は、ディスプレイ６に接続されており、ディスプレイ６には、映り込み成分が分離された拡散反射成分信号が画像処理装置５から出力される。
【００１５】
画像処理装置５は、図２に示すように、第１画像入力手段１１および第２画像入力手段１２を備えている。第１画像入力手段１１は、第１ＣＣＤカメラ３に接続されており、第１ＣＣＤカメラ３は第１画像入力手段１１に対してｓ偏光画像信号を出力している。また、第２画像入力手段１２は、第２ＣＣＤカメラ４に接続されており、第２ＣＣＤカメラ４は、第２画像入力手段１２に対してｐ偏光画像信号を出力している。そして、第１画像入力手段１１および第２画像入力手段１２では、出力されたｓ偏光画像およびｐ偏光画像をそれぞれＡ／Ｄ変換している。
【００１６】
第１画像入力手段１１および第２画像入力手段１２は、それぞれ第１画像蓄積手段１３および第２画像蓄積手段１４に接続されている。これらの第１画像入力手段１１および第２画像入力手段は、ｓ偏光画像およびｐ偏光画像をそれぞれデジタル信号に変換したｓ偏光画像信号およびｐ偏光画像信号を第１画像蓄積手段１３および第２画像蓄積手段１４にそれぞれ出力している。
【００１７】
第１画像蓄積手段１３は、特徴点抽出手段１５に接続されており、特徴点抽出手段にｓ偏光画像信号を出力する。特徴点抽出手段１５では、第１画像蓄積手段１３から出力されたｓ偏光画像中における偏光がない、非偏光状態にある点のうちの１点を抽出し、信号化して抽出点信号を生成している。また、第２画像蓄積手段１４および特徴点抽出手段１５は、いずれも対応点演算手段１６に接続されている。第２画像蓄積手段１４は、対応点演算手段１６に対して、ｐ偏光画像信号を出力しており、特徴点抽出手段１５は、対応点演算手段１６に対して、ｓ偏光画像中における抽出した特徴点を信号化した特徴点信号を出力する。対応点演算手段１６では、特徴点抽出手段１５から出力された特徴点信号および第２画像蓄積手段から出力された第２画像信号に基づいて、第２画像中における第１画像において抽出された特徴点と対応する対応点を求めて信号化して対応点信号を生成している。
【００１８】
対応点演算手段１６は、パラメータ演算手段１７に接続されており、算出した対応点を信号化した対応点信号をパラメータ演算手段１７に出力している。パラメータ演算手段１７では、出力された対応点信号に基づいて、第１画像における特徴点と第２画像における対応点とを一致させるためのパラメータを算出し信号化してパラメータ信号を生成している。
【００１９】
また、第１画像蓄積手段１３およびパラメータ演算手段１７は、画像変換手段１８に接続されている。第１画像蓄積手段１３は、画像変換手段１８に信号化されたｓ偏光画像信号を出力しており、パラメータ演算手段１７は、画像変換手段１８に算出されたパラメータ信号を出力している。画像変換手段１８では、出力されたｓ偏光画像信号およびパラメータ信号に基づいて、ｓ偏光画像をパラメータに基づいて画像変換して変換画像とし、信号化して変換画像信号を生成している。
【００２０】
さらに、第２画像蓄積手段１４および画像変換手段１８、本発明の判別手段である映り込み防止手段１９に接続されている。第２画像蓄積手段１４は映り込み防止手段１９にｐ偏光画像信号を出力しており、画像変換手段１８は、映り込み防止手段１９に変換画像信号を出力している。映り込み防止手段１９では、ｐ偏光画像および変換画像を比較することにより、映り込み成分を判別するとともに、映り込む成分を除去して映り込み成分除去画像とし、信号化して映り込み成分除去画像信号を生成する。
【００２１】
映り込み防止手段１９は、画像処理装置５の外側に設けられたディスプレイ６に接続されている。映り込み防止手段１９は、ディスプレイ６に対して映り込み成分除去信号を出力している。ディスプレイ６は、出力された映り込み成分除去信号から得られる映り込み成分除去画像を表示する。
【００２２】
以上の構成を有する本実施形態に係る撮像装置における処理の手順について図１、図２、および図４を参照して説明する。図４は本実施形態に係る撮像装置の処理の手順を示すフローチャートである。図４に示すように、本実施形態に係る撮像装置では、被写体の撮影を行う前準備として、第１ＣＣＤカメラ３と第２ＣＣＤカメラ４との画像を画素レベルで一致させるための初期調整を行う（Ｓ１）。この初期調整は、映り込みのないキャリブレーションパターンを用いて２台のＣＣＤカメラの画像位置を調整するものである。この初期調整について、さらに図５を参照して説明する。図５は本実施形態に係る撮像装置の処理手順における初期調整の手順を示すフローチャートである。
【００２３】
図５に示すように、初期調整を行う際には、鏡面反射のないキャリブレーションパターンを撮影する（Ｓ１１）。鏡面反射のないキャリブレーションパターンの撮影は、図６に示すように、撮像装置Ｍ１によって紙やパターンの波長にあわせた４分の１波長板をレンズ前に設置するなどした偏光のないテストパターンＰを撮影することによって行われる。このキャリブレーションパターンの撮影は、図１に示す第１ＣＣＤカメラ３および第２ＣＣＤカメラ４によって、レンズ２および偏光ビームスプリッタ１を通過した光を撮影することによって行われる。
【００２４】
キャリブレーションパターンの撮影を行ったら、第１ＣＣＤカメラ３および第２ＣＣＤカメラ４で撮影して画像間における小領域の対応を求める（Ｓ１２）。小領域の対応を求める際には、まず、特徴点抽出手段１５によって、第１ＣＣＤカメラ３で撮影したｓ偏光画像から第１画像中における偏光がない任意の位置から特徴点を抽出する。次に、対応点演算手段１６において、特徴点抽出手段１５で抽出されたｓ偏光画像中における特徴点に基づいて、ｓ偏光画像とｐ偏光画像とのテンプレートマッチングを行う。このテンプレートマッチングは、図７に示すように、両画像における探索範囲を、たとえばｓ偏光画像中における特徴点の座標（Ｘｋ，Ｙｋ）およびｐ偏光画像の座標（Ｘｋ′，Ｙｋ′）の近傍位置に限定して行う。また、このとき、テクスチャのない領域の情報は破棄する。
【００２５】
このテンプレートマッチングによって、ｓ偏光画像およびｐ偏光画像における画像間の小領域の対応を求めたら、この対応関係に基づいて、パラメータ演算手段１７においてｓ偏光画像をｐ偏光画像の位置に変換するパラメータを算出する（Ｓ１３）。さらに、パラメータ演算手段１７では、ｓ偏光画像を変換した際に、ｐ偏光画像との対応位置において、所定の相関関係を比較し、その差が所定のしきい値以上離れた位置に変換されるものを除いて、再度パラメータを計算する（Ｓ１４）。所定の相関関係としては、たとえば色、輝度、明度などを例示することができる。そして、変換したｓ偏光画像とｐ偏光画像から第１ＣＣＤカメラ３および第２ＣＣＤカメラ４の感度差（偏光ビームスプリッタ１の分光特性）を求めておく（Ｓ１５）。こうして、初期位置調整を行うことができる。
【００２６】
初期位置の調整が済んだら、実際の被写体の撮影が行われる。実際の被写体の撮影について説明すると、図４に戻り第１ＣＣＤカメラ３および第２ＣＣＤカメラ４でそれぞれ画像を撮影する（Ｓ２）。第１ＣＣＤカメラ３で撮影されたｓ偏光画像は、第１画像入力手段１１、第１画像蓄積手段１３を経て画像変換手段１８に出力される。第２ＣＣＤカメラ４で撮影されたｐ偏光画像は、第２画像入力手段１２、第２画像蓄積手段１４を経て映り込み防止手段１９に出力される。また、画像変換手段１８には、パラメータ演算手段１７で算出された所定の行例式からなるパラメータが出力される。さらに、画像変換手段１８には、ステップＳ１の初期位置調整で算出されたパラメータがパラメータ演算手段１７から出力される。画像変換手段１８では、パラメータ演算手段１７から出力されたパラメータに基づいて、ｓ偏光画像を変換して調整を行う（Ｓ３）。ｓ偏光画像を変換したら、映り込み防止手段１９に出力する。映り込み防止手段１９では、変換されたｓ偏光画像と第２ＣＣＤカメラ４から出力されたｐ偏光画像との間で、たとえば両画像における輝度を一次元に並べたベクトルを作成して独立成分分析を行い、映り込み成分を分離する（Ｓ４）。映り込み成分を分離して得られた拡散反射成分（実物体）は、映り込み防止手段１９で信号化されて拡散反射成分信号となり、画像処理装置５の外にあるディスプレイに出力される（Ｓ５）。ディスプレイでは、この拡散反射成分を画像として表示する。
【００２７】
その後、処理を終了するか否かの判断を行い（Ｓ６）、終了しない場合には、ステップＳ２に戻って画像の撮影を行う。一方、処理を終了する場合には、そのまま終了する。
【００２８】
このように、本実施形態に係る撮像装置Ｍ１においては、１つの被写体を偏光ビームスプリッタ１でｓ偏光とｐ偏光に分離し、それぞれを第１ＣＣＤカメラ３および第２ＣＣＤカメラ４で同時に撮影している。そして、得られた画像から映り込み成分を分離除去するようにしている。このため、映り込み成分を除去する際に比較する画像に時間的なずれが生じることがないので、たとえば車両などの高速で移動するもので利用する場合であっても、効果的に映り込みのない画像を得ることができる。また、第１ＣＣＤカメラ３で撮影した画像と第２ＣＣＤカメラ４で撮影した画像を比較する際に、鏡面反射のない画像を用いて、ｓ偏光画像中の特徴点を抽出するとともに、ｐ偏光画像中における対応点を算出する。この抽出点と対応点との関係に基づいて、画像を変換するパラメータを求めている。このため、第１ＣＣＤカメラ３で撮影されるｓ偏光画像と第２ＣＣＤカメラ４で撮影されるｐ偏光画像とを画素レベルで一致されることができるので、映り込み成分の除去を好適に行うことができる。
【００２９】
また、本実施形態に係る撮像装置Ｍ１においては、図８に示す手順で処理を行うこともできる。以下、図８に沿ってその処理手順について説明する。図８は、本実施形態に係る撮像装置における他の処理手順を示すフローチャートである。図８に示すように、この処理手順では、ステップＳ２１〜Ｓ２３までは、図４に示すフローと同一の処理を行う。したがって、ステップＳ２１における初期調整は、図５に示すフローチャートに沿った処理が行われる。
【００３０】
そして、ステップＳ２３において、パラメータ演算手段１７で求めたパラメータに基づいて、ｓ偏光画像を調整した後、さらにパラメータの更新を行う（Ｓ２４）。このパラメータの更新について、図９を参照して説明する。
【００３１】
図９に示すように、パラメータの更新を行う際には、調整されたｓ偏光調整画像における小領域と、ｐ偏光画像における小領域の対応を求める（Ｓ３１）。両画像における対応を求めたら、ＳＡＤなどの手段により、信頼度で重み付けを行い、ｓ偏光調整画像をｐ偏光画像に合わせるパラメータを求める（Ｓ３２）。ＳＡＤで用いられる各ＣＣＤ３，４の感度は、初期調整時におけるステップＳ１５で求めている。
【００３２】
鏡面反射（偏光）を起こしている部分は、ｓ偏光調整画像およびｐ偏光画像で輝度値が異なっている。この点に着目し、このような輝度値の異なる部分を除去することにより、一般の対象撮影時にも、ｓ偏光調整画像およびｐ偏光画像の画像ずれを検出することができる。このため、リアルタイムでの調整が可能であるので、経時変化がある場合であっても、両画像の画像ずれを好適に修正することができる。
【００３３】
こうして、パラメータを求めたら、ｓ偏光調整画像を変換した際に、所定の相関関係を比較し、その差が所定のしきい値以上離れた位置に変換されるものを除いて、再度パラメータを計算する（Ｓ３３）。それから、図８に示すフローに戻って、図２に示す映り込み防止手段１９で映り込み成分を分離した後（Ｓ２５）、ディスプレイ６に画像を出力する（Ｓ２６）。そして、終了するか否かを判断し（Ｓ２７）、終了しないのであればステップＳ２２に戻って次の画像の撮影を行い、終了する場合にはそのまま終了する。
【００３４】
このような手順によれば、画像が経時的に変化する場合であっても、第１ＣＣＤカメラ３で撮影されるｓ偏光画像および第２ＣＣＤカメラ４で撮影されるｐ偏光画像のずれを防止することができる。したがって、高い精度で画像のずれをなくし、映り込み成分を好適に除去することができる。
【００３５】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形が可能である。たとえば、上記実施形態では、偏光ビームスプリッタ１の手前位置に１つのレンズ２を設ける態様としているが、この場合、レンズによって屈折した光を分光するので、画像の位置によって偏光方向が若干異なる。このような偏光方向の異なりは、画像を小領域に分けて映り込み成分の分離処理を行っていることから別段問題となることはないが、問題になりうる状況もありえる。そのような場合には、図１０に示す撮像装置Ｍ２とすることもできる。この撮像装置Ｍ２では、図１に示す撮像装置Ｍ１と比較して、レンズ２が設けられていない代わりに、偏光ビームスプリッタ１における第１出射面１Ａと第１ＣＣＤカメラ３の間に第１レンズ２Ａが介在して設けられており、第２出射面１Ｂと第２ＣＣＤカメラ４の間に第２レンズ２Ｂが介在して設けられている。このように、偏光ビームスプリッタ１と第１ＣＣＤカメラ３との間、および偏光ビームスプリッタ１と第２ＣＣＤカメラ４との間にそれぞれレンズ２Ａ，２Ｂを配置することにより、レンズによって屈折した光を偏光ビームスプリッタ１で分光することはなく、画像の位置によって偏光方向が異なることを防止することができる。
【００３６】
【発明の効果】
以上のとおり、本発明によれば、移動する被写体を撮影したり、高速移動中の車両等でこの撮像装置を用いたりする場合など、被写体との相対的位置が変化する場合であっても、好適に画像中の映り込みを除去することができる撮像装置を提供することができる。
【図面の簡単な説明】
【図１】撮像装置の構成を示すシステム構成図である。
【図２】撮像装置の構成を示すブロック構成図である。
【図３】ｓ偏光とｐ偏光との波形の関係を示す説明図である。
【図４】撮像装置の処理の手順を示すフローチャートである。
【図５】撮像装置の処理手順における初期調整の手順を示すフローチャートである。
【図６】撮像装置でテストパターンを撮影する状態を示す説明図である。
【図７】テンプレートマッチングの状態を説明する説明図である。
【図８】撮像装置における他の処理手順を示すフローチャートである。
【図９】パラメータの更新を行う手順を示すフローチャートである。
【図１０】他の実施形態に係る撮像装置のシステム構成図である。
【符号の説明】
１…偏光ビームスプリッタ、１Ａ…第１出射面、１Ｂ…第２出射面、２…レンズ、２Ａ…第１レンズ、２Ｂ…第２レンズ、３…第１ＣＣＤカメラ、４…第２ＣＣＤカメラ、５…画像処理装置、６…ディスプレイ、１１…第１画像入力手段、１２…第２画像入力手段、１３…第１画像蓄積手段、１４…第２画像蓄積手段、１５…特徴点抽出手段、１６…対応点演算手段、１７…パラメータ演算手段、１８…画像変換手段、１９…映り込み防止手段、Ｍ１，Ｍ２…撮像装置、Ｐ…テストパターン。
【図１】
2004187164.tif 000003
【図２】
2004187164.tif 000004
【図３】
2004187164.tif 000005
【図４】
2004187164.tif 000006
【図５】
2004187164.tif 000007
【図６】
2004187164.tif 000008
【図７】
2004187164.tif 000009
【図８】
2004187164.tif 000010
【図９】
2004187164.tif 000011
【図１０】
2004187164.tif 000012