(57)【特許請求の範囲】
【請求項１】
ステレオカメラ装置であって、
被写体からの光を撮影してステレオ画像を取得するステレオ画像取得手段と、
前記ステレオ画像を構成する画像間での対応点探索を行う対応点探索手段と、
前記光の波長成分の代表波長を取得する波長取得手段と、
前記波長成分に応じてパラメータ値が変動する前記ステレオ画像取得手段の各カメラパラメータのうち１以上のカメラパラメータについて前記代表波長に対応する各パラメータ値をそれぞれ取得するパラメータ取得手段と、
前記各パラメータ値を用いて前記対応点探索の結果から前記被写体の三次元情報を取得する三次元情報取得手段と、
を備えるステレオカメラ装置。
【請求項２】
請求項１に記載されたステレオカメラ装置であって、
前記波長取得手段は、前記被写体からの前記光の実測に基づいて前記代表波長を取得するステレオカメラ装置。
【請求項３】
請求項２に記載されたステレオカメラ装置であって、
前記ステレオ画像取得手段は複数の分光感度特性を有する撮像素子を備え、
前記波長取得手段は前記複数の分光感度特性にそれぞれ応じた前記撮像素子の出力信号に基づいて前記代表波長を取得するステレオカメラ装置。
【請求項４】
請求項１に記載されたステレオカメラ装置であって、
前記波長取得手段は、前記被写体の照明光に関する既知の波長情報に基づいて前記代表波長を取得するステレオカメラ装置。
【請求項５】
請求項４に記載されたステレオカメラ装置であって、
前記照明光を投光する投光手段を更に備えるステレオカメラ装置。
【請求項６】
請求項１に記載されたステレオカメラ装置であって、
前記パラメータ取得手段は前記１以上のカメラパラメータのそれぞれについて２以上の所定波長に対する既知のパラメータ値をそれぞれ記録したカメラパラメータテーブルを用いて前記各パラメータ値を取得するステレオカメラ装置。
【請求項７】
請求項１に記載されたステレオカメラ装置であって、
前記パラメータ取得手段は前記１以上のカメラパラメータのそれぞれについて前記波長成分とパラメータ値との関係を規定する各関数を用いて前記各パラメータ値を取得するステレオカメラ装置。
【請求項８】
請求項１に記載されたステレオカメラ装置であって、
前記１以上のカメラパラメータは前記ステレオ画像取得手段の撮影光学系の焦点距離情報および収差情報のうち少なくとも一方を含んでいるステレオカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体のステレオ画像に基づいて被写体の三次元情報を取得するステレオカメラ装置に関する。
【背景技術】
【０００２】
被写体の三次元情報を取得する装置として、複数の撮影光学系（カメラ）を備えたステレオカメラで被写体のステレオ画像を撮影し、撮影光学系の焦点距離や基線長などの三次元化パラメータを用いた三角測量の原理によって、撮影したステレオ画像から被写体の三次元情報を取得するステレオカメラ装置が知られている（例えば、特許文献１参照）。【０００３】
近年、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどの昼間だけでなく夜間においても機能する必要があるシステムにおいて被写体の三次元情報が活用され始めており、ステレオカメラ装置がこれらのシステムに適用され始めている。【０００４】
昼間の被写体は、主に、太陽光によって照明されるが、夜間の被写体には、照明されておらず被写体自ら赤外線を放射している状態、可視光によって照明されている状態、車載システムのナイトビジョンシステムなどから照射された赤外線によって照明されている状態など種々の状態がある。【０００５】
このため、監視システムや車載システムに適用されるステレオカメラ装置は、可視光域から赤外線域までの広い波長帯域において被写体の画像を撮影し、被写体の三次元情報を精度よく求める必要がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３３３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ステレオカメラ装置において被写体の距離や三次元座標の測定は、撮影光学系の主点から撮像面までの距離（像点距離）、収差情報、および基線長などを要素とするカメラパラメータを用いて行われる。【０００８】
一方、焦点距離や収差特性などの撮影光学系の結像特性は、撮影光学系を通過する光の波長に応じて変動し、その変動幅は光の波長帯域が広くなるにつれて大きくなる。また、焦点距離が変動すると像点距離も同様に変動する。【０００９】
従って、ステレオカメラ装置の撮影光学系を通過する光の波長帯域が広くなるにつれてステレオカメラ装置によって取得された被写体の三次元情報の誤差も増大してしまう。【００１０】
特許文献１のステレオカメラ装置は、装置内の温度変化や装置の傾きなどの装置自体の状態変動をモニタして該状態変動にともなう三次元化パラメータの変動を補正することによって三次元測定精度を向上させているが、装置外部の環境の変動である撮影光学系を通過する光の波長変動および該波長変動に伴う撮影光学系の結像特性の変動に着目したものではない。【００１１】
このため、特許文献１のステレオカメラ装置が、監視システムや車載システムのように広い波長帯域において被写体の画像を撮影するシステムに適用される場合には、ステレオカメラ装置の三次元測定精度が悪化するといった問題がある。【００１２】
本発明は、こうした問題を解決するためになされたもので、広い波長帯域において被写体の画像を撮影して被写体の三次元情報を取得するステレオカメラ装置の三次元測定精度の悪化を抑制できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、第１の態様に係るステレオカメラ装置は、被写体からの光を撮影してステレオ画像を取得するステレオ画像取得手段と、前記ステレオ画像を構成する画像間での対応点探索を行う対応点探索手段と、前記光の波長成分の代表波長を取得する波長取得手段と、前記波長成分に応じてパラメータ値が変動する前記ステレオ画像取得手段の各カメラパラメータのうち１以上のカメラパラメータについて前記代表波長に対応する各パラメータ値をそれぞれ取得するパラメータ取得手段と、前記各パラメータ値を用いて前記対応点探索の結果から前記被写体の三次元情報を取得する三次元情報取得手段と、を備える。【００１４】
第２の態様に係るステレオカメラ装置は、第１の態様に係るステレオカメラ装置であって、前記波長取得手段は、前記被写体からの前記光の実測に基づいて前記代表波長を取得する。【００１５】
第３の態様に係るステレオカメラ装置は、第２の態様に係るステレオカメラ装置であって、前記ステレオ画像取得手段は複数の分光感度特性を有する撮像素子を備え、前記波長取得手段は前記複数の分光感度特性にそれぞれ応じた前記撮像素子の出力信号に基づいて前記代表波長を取得する。【００１６】
第４の態様に係るステレオカメラ装置は、第１の態様に係るステレオカメラ装置であって、前記波長取得手段は、前記被写体の照明光に関する既知の波長情報に基づいて前記代表波長を取得する。【００１７】
第５の態様に係るステレオカメラ装置は、第４の態様に係るステレオカメラ装置であって、前記照明光を投光する投光手段を更に備える。【００１８】
第６の態様に係るステレオカメラ装置は、第１の態様に係るステレオカメラ装置であって、前記パラメータ取得手段は前記１以上のカメラパラメータのそれぞれについて２以上の所定波長に対する既知のパラメータ値をそれぞれ記録したカメラパラメータテーブルを用いて前記各パラメータ値を取得する。【００１９】
第７の態様に係るステレオカメラ装置は、第１の態様に係るステレオカメラ装置であって、前記パラメータ取得手段は前記１以上のカメラパラメータのそれぞれについて前記波長成分とパラメータ値との関係を規定する各関数を用いて前記各パラメータ値を取得する。【００２０】
第８の態様に係るステレオカメラ装置は、第１の態様に係るステレオカメラ装置であって、前記１以上のカメラパラメータは前記ステレオ画像取得手段の撮影光学系の焦点距離情報および収差情報のうち少なくとも一方を含んでいる。
【発明の効果】
【００２１】
第１から第８の何れの態様に係るステレオカメラ装置によっても、被写体からの光の波長成分の代表波長を取得し、被写体からの光の波長成分に応じてパラメータ値が変動する各カメラパラメータのうち１以上のカメラパラメータについて代表波長に対応するパラメータ値を取得して被写体の三次元情報の取得に用いるので、ステレオカメラ装置が広い波長帯域において被写体の画像を撮影する場合であっても、ステレオカメラ装置の三次元測定精度の悪化を抑制することができる。
【図面の簡単な説明】
【００２２】
【図１】図１は、実施形態に係るステレオカメラ装置の構成例の外観を示す図である。
【図２】図２は、実施形態に係るステレオカメラ装置の機能ブロックを例示する図である。
【図３】図３は、ステレオカメラの機能ブロックを例示する図である。
【図４】図４は、ステレオカメラ装置に係る座標系の例を説明する図である。
【図５】図５は、基準カメラの撮像素子の画素配列の例示する図である。
【図６】図６は、参照カメラの撮像素子の画素配列の例示する図である。
【図７】図７は、ステレオカメラの撮像素子の分光感度特性を例示する図である。
【図８】図８は、ステレオカメラの撮像素子の分光感度特性を例示する図である。
【図９】図９は、対応点探索処理の例を説明する図である。
【図１０】図１０は、実施形態に係る三次元情報測定のフローチャートを例示する図である。
【図１１】図１１は、変形例に係るステレオカメラ装置の機能ブロックを例示する図である。
【図１２】図１２は、変形例に係る三次元情報測定のフローチャートを例示する図である。
【図１３】図１３は、変形例に係るステレオカメラ装置の機能ブロックを例示する図である。
【図１４】図１４は、変形例に係る三次元情報測定のフローチャートを例示する図である。
【発明を実施するための形態】
【００２３】
＜◎実施形態について：＞
＜○ステレオカメラ装置３００Ａの概要説明：＞
図１は、実施形態に係るステレオカメラ装置３００Ａの構成例の外観を示す図であり、図２は、ステレオカメラ装置３００Ａの機能ブロックを例示する図である。
【００２４】
図１および図２に示されるようにステレオカメラ装置３００Ａは、ステレオカメラ２４と制御処理装置１００Ａとを主に備えて構成されている。
【００２５】
ステレオカメラ２４は、基準カメラ１０ａおよび参照カメラ１０ｂなどを備えており、制御処理装置１００Ａからの制御信号に基づいて各カメラで被写体１を撮影し、基準カメラ１０ａおよび参照カメラ１０ｂの各出力信号から被写体１のステレオ画像を構成するデジタル画像である原基準画像ｇ１および原参照画像ｇ２をそれぞれ生成して制御処理装置１００Ａに供給する。
【００２６】
また、制御処理装置１００Ａは、ステレオカメラ２４から供給された原基準画像ｇ１および原参照画像ｇ２を処理することによって被写体１の距離Ｄ（図３）や三次元座標などの三次元情報ｅ１（図２）および表示用画像ｇ３（図２）などを取得し、三次元情報ｅ１および表示用画像ｇ３を監視システムや車載システムなどの不図示の外部システムへと供給する。
【００２７】
これらの外部システムは昼間だけでなく夜間においても機能する必要があるので、ステレオカメラ装置３００Ａの撮影光学系に入射して該撮影光学系を通過する被写体１からの光は、太陽光や各種照明光が被写体表面で反射された反射光、および被写体自体からの赤外線の放射光など、可視光域から赤外線域までの幅広い波長帯域に分布する光である。
【００２８】
＜○ステレオカメラの構成と動作：＞
次に、ステレオカメラ２４の構成と動作について説明する。なお、図１０は、ステレオカメラ装置３００Ａの三次元情報測定のフローチャートを例示する図であり、ステレオカメラ装置３００Ａについての以下の説明においては、図１０に示されるフローチャートを適宜参照する。
【００２９】
図３は、ステレオカメラ２４の機能ブロックを例示する図である。図３に示されるように、ステレオカメラ２４は、基準カメラ１０ａおよび参照カメラ１０ｂを主に備えて構成されており、基準カメラ１０ａは、撮影光学系２ａ、撮像素子５ａ、および制御処理回路２５ａを主に備えて構成されている。また、参照カメラ１０ｂは、撮影光学系２ｂ、撮像素子５ｂ、および制御処理回路２５ｂを主に備えて構成されている。
【００３０】
ステレオカメラ２４は、被写体１からの光を基準カメラ１０ａおよび参照カメラ１０ｂで撮影してステレオ画像を構成する原基準画像ｇ１および原参照画像ｇ２を取得し（図１０に示すフローチャートのステップＳ１０）、制御処理装置１００Ａへと供給する。
【００３１】
撮影光学系２ａおよび２ｂは、薄肉レンズと該レンズを支持する不図示の鏡胴とを主に備えて構成されており、被写体１の画像をそれぞれ撮像素子５ａおよび５ｂ上に結像させる光学系である。このとき、被写体１上の物点Ｍの像は、主点３ａおよび３ｂをそれぞれ通過する主光線６ａおよび６ｂに沿って撮像素子５ａおよび５ｂ上にそれぞれ像点ＰａおよびＰｂとして結像される。
【００３２】
また、仮想主光線６ａｖは、主点３ｂを通るように主光線６ａを平行移動した仮想の主光線であり、像点Ｐａに対応する仮想の像点Ｐａｖは仮想主光線６ａｖに沿って撮像素子５ｂ上に設定される。
【００３３】
基準カメラ１０ａおよび参照カメラ１０ｂの光学中心位置７ａおよび７ｂは、それぞれ撮像素子５ａと光軸４ａとの交点および撮像素子５ｂと光軸４ｂとの交点であり、また、撮影光学系２ａおよび２ｂ間の基線長ｂは、主点３ａおよび３ｂ間の距離である。
【００３４】
仮想の像点Ｐａｖと像点Ｐｂとの距離ｄ１は、被写体１上の同一物点Ｍに対応する各像点ＰａおよびＰｂを、光学中心位置の座標が等しい共通の画像座標系で表現したときの各像点位置間の距離であり、物点Ｍに対する基準カメラ１０ａと参照カメラ１０ｂとの視差に相当する。
【００３５】
像点距離ｆｒは、撮影光学系２ａと撮像素子５ａ間の距離、および撮影光学系２ｂと撮像素子５ｂとの距離である。像点距離ｆｒは、焦点距離ｆに撮影光学系の繰り出し量を加えたものであり、通常、焦点距離ｆよりも僅かに長くなる。また、像点距離ｆｒは焦点距離ｆの変動に伴って焦点距離ｆと同様に変動する。
【００３６】
ここで、ステレオカメラ２４については、撮影光学系２ａおよび２ｂのそれぞれ焦点距離ｆは等しく、それぞれの光軸４ａおよび４ｂは平行である。また、撮影光学系２ａおよび２ｂの各主平面は同一平面上にあり、それぞれの主点３ａおよび３ｂは、該平面上にある。さらに、それぞれの撮影光学系の撮像素子５ａおよび５ｂは同一平面上にある。
【００３７】
また、原基準画像ｇ１および原参照画像ｇ２の相互間での対応点探索処理が容易に行えるように、撮像素子５ａおよび５ｂは、それぞれの走査線が平行になるように設置されている。
【００３８】
実際の構成においては、通常、上述した構成条件に対して誤差があるが、基準カメラ１０ａおよび１０ｂから供給される原基準画像ｇ１および原参照画像ｇ２に対して制御処理装置１００Ａがカメラパラメータなどを用いた処理（「平行化処理」とも称する）を行うことによってステレオカメラ２４の各機能要素が上述した構成条件を満たす場合と同等の状態を実現することができる。
【００３９】
また、撮影光学系２ａおよび２ｂは収差を有するが、この収差についても制御処理装置１００Ａが行う処理（「収差補正処理」とも称する）によって補正される。
【００４０】
撮像素子５ａおよび５ｂは、例えば、ＶＧＡ（６４０×４８０画素）サイズの有効画素数を持つＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによって構成される撮像素子であり、撮像素子５ａおよび５ｂに結像された像の強度に応じた画像信号を生成して制御処理回路２５ａおよび制御処理回路２５ｂに供給する。
【００４１】
図５は、基準カメラ１０ａの撮像素子５ａの一部について画素配列を例示する図であり、図６は、参照カメラ１０ｂの撮像素子５ｂの一部について画素配列を例示する図である。また、図７は、ステレオカメラ２４の撮像素子の分光感度特性を例示する図である。
【００４２】
図５に示されるように、撮像素子５ａは、Ｗｈｉｔｅ（Ｗ）、Ｙｅｌｌｏｗ（Ｙｅ）、Ｒｅｄ、Ｂｌａｃｋ（Ｂｌｋ）のそれぞれ異なる分光感度特性を持つ４つのフィルターを備えたセルがベイヤ配列されて構成されている。各フィルターを有するセルは、図７に示される分光感度特性を有しており、図５に示される各セルの配列によって撮像素子５ａのカラー特性が構成されている。
【００４３】
すなわち、図７に示されるように、撮像素子５ａは可視光の波長帯域のみに感度特性を有する通常のイメージセンサに比べて長波長側まで感度を持っており、暗視野での画像撮影を行える分光感度特性を備えている。
【００４４】
また、撮像素子５ａからの出力に基づいて生成される原基準画像ｇ１を波長取得部１５Ａ（図２）が処理することによって、被写体１からの光の波長成分の代表波長λｍａｉｎ（図２）が取得されて、パラメータ取得部１６Ａ（図２）による代表波長λｍａｉｎに応じたカメラパラメータの取得に用いられる。代表波長λｍａｉｎの取得および代表波長λｍａｉｎに応じたカメラパラメータの取得については、波長取得部１５Ａおよびパラメータ取得部１６Ａの説明欄で後述する。
【００４５】
また、図６に示されるように撮像素子５ｂは、可視光域および赤外線域に感度を有しているＷｈｉｔｅ（Ｗ）フィルターのみを備えたセルが配列されて構成されており、モノクロ画像を生成するために使用される。なお、撮像素子５ａおよび撮像素子５ｂは、共通のサイズを有する各セルによって構成されている。
【００４６】
なお、Ｗｈｉｔｅ（Ｗ）フィルターを備えたセルの出力に基づくモノクロ画像は、撮像素子５ａの異なる分光感度特性を持つ４つのフィルターを備えたセルの出力に基づく各画像のうちで被写体からの光を最も広い波長帯域で撮影した画像であることなどから後述する対応点探索処理は、撮像素子５ａのＷｈｉｔｅ（Ｗ）フィルターを備えたセルの出力に基づくモノクロ画像と、撮像素子５ｂの各セルの出力に基づくモノクロ画像との間で行われる。
【００４７】
ステレオカメラ２４を構成する各カメラのうち一方のカメラが上述したようなカラー特性を有するカメラであり、他方のカメラがＷｈｉｔｅフィルターのみの分光感度特性を有するカメラであることによって、ステレオカメラ装置３００Ａは、被写体１のカラー情報と、三次元情報との両方を取得することが可能となる。
【００４８】
なお、ステレオカメラ２４を構成する両方のカメラが、ともにカラー特性を持つカメラである場合であっても、また、ともにＷｈｉｔｅフィルターのみの分光感度特性を有するカメラである場合であっても、三次元計測は可能である。
【００４９】
もっとも、両方のカメラがＷｈｉｔｅフィルターのみの分光感度特性を有するカメラである場合には、三次元情報を得ることは可能であるが、カラー情報については当然得ることができない。しかし、Ｗｈｉｔｅフィルターのみの分光感度特性を有する撮像素子に対するモノクロ画像はカラー特性を有する撮像素子からのモノクロ画像に比べて画素密度が高くなるため、より高精度な三次元データの取得が可能となる。
【００５０】
また、ステレオカメラ２４の両方のカメラがＷｈｉｔｅフィルターのみの分光感度特性を有するカメラである場合に、例えば、一方のカメラの光路をハーフミラーで分割し、撮像素子５ａと同様のカラー特性を有するイメージセンサを別設することによって、被写体１からの光の波長成分の代表波長λｍａｉｎを取得することが可能となる。
【００５１】
図３に示される制御処理回路２５ａおよび制御処理回路２５ｂは、撮像素子５ａおよび５ｂから供給される各画像信号を処理してデジタル画像に変換することにより、各撮像素子の有効画素数に応じた原基準画像ｇ１および原参照画像ｇ２を生成し、制御処理装置１００Ａへと供給する。
【００５２】
ここで、ステレオカメラ２４の両方のカメラの像点距離ｆｒは、例えば、システムへの要求仕様が「３０ｍ先の被写体の距離を最も精度よく測定する」という内容である場合には、３０ｍ先の被写体に最もピントが合う所定の像点距離に設定されるなど、像点距離ｆｒは、システムへの要求仕様に応じて予め所定の像点距離に調整されている。なお、システムへの要求仕様によっては、焦点距離ｆが像点距離ｆｒとしてそのまま採用されてもよい。
【００５３】
なお、本願においては、「焦点距離情報」という用語を、焦点距離ｆと像点距離ｆｒとの総称として用いるとともに、「収差情報」という用語を、収差が補正された像点の座標と、収差が補正される前の像点の座標との関係を与える情報の総称として用いる。従って、収差情報は、収差を再現する収差再現係数と、収差を補正する収差補正係数とを含んでいる。
【００５４】
○ステレオカメラ２４の各座標系：
図４は、ステレオカメラ２４に係るカメラ座標系Ｃ１、画像座標系Ｃ２およびＣ３、モデル座標系Ｃ４を例示する図である。なお、図４に示される各要素のうち図３に示される各要素と同一のものについては、図３と同じ符号を付して説明を省略する。
【００５５】
図４に示されるように、カメラ座標系Ｃ１は、撮影光学系２ａに対して設けられた直交座標系である。カメラ座標系Ｃ１の原点は主点３ａであり、各座標軸はＸｃ、Ｚｃ、Ｙｃである。Ｚｃ軸の方向は光軸４ａと一致しており、Ｘｃ軸と撮像素子５ａの走査線とは平行である。
【００５６】
画像座標系Ｃ２は、原基準画像ｇ１における各像点の座標を表す直交座標系である。画像座標系Ｃ２の原点は撮像素子５ａの角部Ｏｐであり、座標軸はＵａ、Ｖａである。Ｕａ軸の方向は撮像素子５ａの走査方向に一致し、Ｖａ軸の方向は撮像素子５ａの副走査方向と一致している。
【００５７】
同様に、画像座標系Ｃ３は、原参照画像ｇ２における各像点の座標を表す直交座標系である。画像座標系Ｃ３の原点は撮影光学系２ｂに対して設けられた撮像素子５ｂの角部Ｏｑであり、座標軸はＵｂ、Ｖｂである。Ｕｂ軸の方向は撮像素子５ｂの走査方向に一致し、Ｖｂ軸の方向は撮像素子５ｂの副走査方向と一致している。
【００５８】
また、モデル座標系Ｃ４は、被写体１を基準として設けられた直交座標系である。モデル座標系Ｃ４の原点は点Ｏｍであり、各座標軸はＸｍ、Ｙｍ、Ｚｍである。
【００５９】
＜○ステレオカメラ装置の三次元測定方法の説明：＞
次に、ステレオカメラ装置３００Ａの三次元測定方法について説明する。
【００６０】
平行化処理および収差補正処理が行われた場合には、図３に示される撮影光学系２ａおよび２ｂの主平面と物点Ｍとの距離Ｄは、収差補正処理によって視差ｄ１の歪みを取り除いた視差ｄ、像点距離ｆｒ、および撮影光学系２ａおよび２ｂ間の基線長ｂを用いて（１）式によって与えられる。
【００６１】
【数１】
0005440615.tif 000002
【００６２】
また、図４に示されるカメラ座標系Ｃ１で表現された被写体１上の物点Ｍの座標Ｍｃと、物点Ｍに対応する撮像素子５ａ上の像点Ｐａの画像座標系Ｃ２で表現された収差補正処理後の座標Ｐａ’との関係は(２)式によって与えられる。
【００６３】
【数２】
0005440615.tif 000003
【００６４】
なお、収差補正処理の処理内容は、(３)式によって与えられる。
【００６５】
【数３】
0005440615.tif 000004
【００６６】
（１）式〜（３）式における像点距離ｆｒ、基線長ｂ、撮像素子の画素サイズｐｓ、光学中心位置ｕ０およびｖ０、収差補正係数ｋ１〜ｋ５は、三次元化に用いられるカメラパラメータである。また、収差補正係数ｋ１〜ｋ３は、撮影光学系２ａおよび撮影光学系２ｂのレンズの径方向の収差を補正する係数であり、収差補正係数ｋ４〜ｋ５は、レンズの径と直交する方向についての収差を補正する係数である。
【００６７】
(１)式の距離Ｄと(２)式で示される座標ｚcとは同一であるので、先ず、後述する対応点探索処理によって求められる物点Ｍに対応する各像点ＰａおよびＰｂについての収差補正された視差ｄを（１）式に代入して距離Ｄを求め、求めた距離Ｄを(２)式のｚcに代入することによってｘcおよびｙcも求められる。
【００６８】
また、(４)式は、モデル座標系Ｃ４で表現された物点Ｍの座標Ｍｍを、カメラ座標系Ｃ１で表現された座標Ｍｃに変換する座標変換を与える式であり、カメラ座標系Ｃ１で求められた座標Ｍｃと座標Ｍｍとの変換が必要な場合に用いられる。なお、(４)式における行列Ｒ、Ｔは、同一直線上にない３点以上の物点Ｍについての座標Ｍｃと座標Ｍｍとの対応付けを行うことによって求めることができる。
【００６９】
【数４】
0005440615.tif 000005
【００７０】
ここで、表１は、硝材としてＢＫ７を用いた５種類の平凸レンズの各焦点距離ｆの波長変動特性の例を示す表である。
【００７１】
【表１】
0005440615.tif 000006
【００７２】
表１の第１列は、各レンズを通過する光の波長帯域の中心波長λｃに対する各レンズの焦点距離ｆを第２行〜第６行に記載している。また、第２列以降の各列は、第１行に可視光域から赤外線域までの広い波長帯域にわたって分布している各光源からの光の波長を光源の名称（略称）とともに記載しており、第１行に示された各光源からの光の波長に対する各レンズの焦点距離ｆを第２行〜第６行に記載している。
【００７３】
表１に示されるように、各レンズの焦点距離ｆは、通過する光の波長の変動にともなって変動しており、光の波長帯域が可視光域から赤外線域までの幅広い波長帯域である場合における各レンズの焦点距離ｆの変動幅は、光の波長帯域が可視光域に限定される場合に比べて大きくなっている。また、既述したように、像点距離ｆｒは焦点距離ｆの変動に伴って焦点距離ｆと同様に変動する。
【００７４】
なお、レンズの硝材として安価なプラスチック材料などを用いる場合には、この変動幅はさらに大きくなる。
【００７５】
また、レンズ収差もレンズを通過する光の波長変動に応じて変動し、光の波長帯域が広くなるにつれて、レンズ収差の変動幅も焦点距離と同様に大きくなる。
【００７６】
従って、ステレオカメラ装置の撮影光学系を通過する光の波長帯域が広くなると、(１)式〜（３）式によって求められる被写体の距離情報や、三次元座標情報などの被写体の三次元情報の変動幅も大きくなる。
【００７７】
すなわち、ステレオカメラ装置の撮影光学系を通過する光の波長に応じて変動する結像特性を補正しない場合には、ステレオカメラ装置の撮影光学系を通過する光の波長帯域が広くなるにつれて取得された被写体の三次元情報の誤差も増大してしまう。
【００７８】
そこで、ステレオカメラ装置３００Ａにおいては、被写体の三次元情報の取得に用いられる結像特性の波長依存性を補正することによって三次元測定の精度の悪化を抑制する。なお、この補正については後述する。
【００７９】
＜○制御処理装置の構成と動作：＞
次に、制御処理装置１００Ａの構成について説明する。図２に示されるように、制御処理装置１００Ａは、基準画像入力部１１ａおよび参照画像入力部１１ｂを備えた画像入力部１１Ａ、基準点設定部１２ａおよび比較点設定部１２ｂを備えた探索点設定部１２、基準ウィンドウ設定部１３ａおよび参照ウィンドウ設定部１３ｂを備えたウィンドウ設定部１３、対応点探索部１４、波長取得部１５Ａ、パラメータ取得部１６Ａ、記憶部１７、三次元化部１８Ａ、出力部１９および２０、制御部２１を主に備えて構成されている。
【００８０】
○記憶部１７、出力部１９および２０、制御部２１：
図２に示される記憶部１７は、例えばハードディスク、ＲＯＭおよびＲＡＭなどを備えて構成されており、ステレオカメラ装置３００Ａの各部を制御するために設定された制御パラメータ、基線長ｂ、画素長ｐｓなどの予め校正されたカメラパラメータおよび制御プログラムなどの恒久的な記憶と、制御処理装置１００Ａの各部が出力する各種情報の一時的な記憶などに使用される。
【００８１】
出力部１９および２０は、ＵＳＢインタフェースなどで構成された出力インタフェースであり、出力部２０は、制御部２１から供給される制御信号のステレオカメラ２４への供給などを行い、出力部１９は、制御処理装置１００Ａで求められる被写体１の三次元情報ｅ１（図２）や、被写体１の表示用画像ｇ３の外部システムへの供給などを行う。
【００８２】
制御部２１は、ステレオカメラ２４の撮影動作などの制御を出力部２０を介して行うとともに、制御処理装置１００Ａの各機能部の必要な制御を行う。
【００８３】
なお、制御部２１と、以下に説明する画像入力部１１Ａの基準画像入力部１１ａおよび参照画像入力部１１ｂ、探索点設定部１２、ウィンドウ設定部１３、対応点探索部１４、波長取得部１５Ａ、パラメータ取得部１６Ａは、ＣＰＵで記憶部１７に記憶された所定のプログラムを実行することで実現しても良いし、専用のハードウェア回路を用いて実現しても良い。
【００８４】
○画像入力部１１Ａ：
図２に示される画像入力部１１Ａは、ＵＳＢインタフェースなどの不図示の入力部をそれぞれ備えた基準画像入力部１１ａおよび参照画像入力部１１ｂを主に備えて構成されている。
【００８５】
基準画像入力部１１ａおよび参照画像入力部１１ｂは、基準カメラ１０ａから供給される原基準画像ｇ１および原参照画像ｇ２をそれぞれ入力し、被写体１からの光の波長成分の代表波長λｍａｉｎを取得する処理に供するために原基準画像ｇ１を波長取得部１５Ａへと供給するとともに、後述するパラメータ取得部１６Ａによって行われる処理により求められる収差補正係数ｋ１〜ｋ５などのカメラパラメータの供給を受けて原基準画像ｇ１および原参照画像ｇ２に適用することで原基準画像ｇ１および原参照画像ｇ２のそれぞれに対して平行化処理および収差補正処理を行って探索基準画像ｇ４および探索参照画像ｇ５を生成し、探索点設定部１２の基準点設定部１２ａおよび比較点設定部１２ｂへと供給する。
【００８６】
平行化処理は、記憶部１７に記憶されたカメラパラメータを用いる透視変換などによって行われ、収差補正処理（図１０に示されるフローチャートのステップＳ１６）は、代表波長λｍａｉｎに基づいてパラメータ取得部１６Ａが生成する収差補正係数ｋ１〜ｋ５を用いた画像処理によって行われる。
【００８７】
なお、原基準画像ｇ１については、撮像素子５ａのＷｈｉｔｅ（Ｗ）フィルターを備えた各セルのみの出力に基づくモノクロ画像を原基準画像ｇ１と同じ画素数に拡張するモノクロ画像の拡張処理が、例えば、収差補正処理の前に施されて拡張基準画像ｇ１’に変換される。
【００８８】
この収差補正処理は、具体的には、例えば、画素数および画像サイズが原基準画像ｇ１および原参照画像ｇ２とそれぞれ同じである探索基準画像ｇ４および探索参照画像ｇ５のそれぞれの注目画素の画素領域と、(３)式を用いて収差補正された拡張基準画像ｇ１’および原参照画像ｇ２のそれぞれの収差補正後の各画素位置によって定められる各画素の画素領域との重なり度合いに応じて、拡張基準画像ｇ１’および原参照画像ｇ２のそれぞれについて各画素の画素値の重み付き平均処理を行うことによって探索基準画像ｇ４および探索参照画像ｇ５のそれぞれの注目画素の画素値を求めることなどにより行われる。
【００８９】
また、収差補正処理の他の手法として、例えば、(３)式の逆変換を与える収差再現式および収差再現係数を用いて簡易な数値計算などを行うことによって、収差補正後の像点（画素）位置情報を取得し、この画素位置情報を用いて収差補正された探索基準画像ｇ４および探索参照画像ｇ５を取得してもよい。
【００９０】
すなわち、画像入力部１１Ａは、収差を再現する収差再現係数と、収差を補正する収差補正係数とを含む情報である収差情報を用いて収差補正された探索基準画像ｇ４および探索参照画像ｇ５を取得する。
【００９１】
また、探索基準画像ｇ４および探索参照画像ｇ５は、原基準画像ｇ１および原参照画像ｇ２と同様に、被写体１についてのステレオ画像を構成している。
【００９２】
○波長取得部１５Ａ：
波長取得部１５Ａは、画像入力部１１Ａから供給される原基準画像ｇ１に基づいて、すなわち、被写体１からの光の実測に基づいて、外部システムの表示装置などに表示するための表示用画像ｇ３を生成するとともに、被写体１からの光の波長成分の代表波長λｍａｉｎを取得する処理（図１０に示すフローチャートのステップＳ１２）を行う。
【００９３】
先ず、表示用画像ｇ３の生成について説明する。表示用画像ｇ３は、原基準画像ｇ１に基づいて生成される表示用のカラー画像である。
【００９４】
基準カメラ１０ａの撮像素子５ａは、既述したように図７に示される４つの異なる分光感度特性を有するセルの配列によって構成されており、波長取得部１５Ａは、各特性を持つセルの出力に対応する原基準画像ｇ１の画素間で(５)式に示される演算を行うことによって、通常のＲＧＢ成分と赤外線成分とを求めることができる。
【００９５】
【数５】
0005440615.tif 000007
【００９６】
表示用画像ｇ３は、求められたＲＧＢ成分を有するカラー画像である。また、夜間の撮影においては、赤外線成分が多くなるため、赤外線成分をＧ成分に変換して視認性を高めたカラー画像が表示用画像ｇ３として採用されてもよい。
【００９７】
なお、図８は、上述したＲＧＢ成分を出力する仮想のＲＧＢセンサ（セル）、および赤外線成分を出力するＢｌａｃｋフィルターを備えたセルの分光感度特性を例示する図である。
【００９８】
次に、波長取得部１５Ａが行う、被写体１からの光の波長成分の代表波長λｍａｉｎを取得する処理について説明する。
【００９９】
波長取得部１５Ａは、代表波長λｍａｉｎを取得する方法として、例えば、図８に示される４つの分光感度特性を利用する処理方法などが採用され得る。
【０１００】
この１例の処理方法では、先ず、例えば、Ｂ成分の重心波長λｂを４５０ｎｍ、Ｇ成分の重心波長λｇを５３０ｎｍ、Ｒ成分の重心波長λｒを６２０ｎｍ、Ｂｌａｃｋ成分の重心波長λｂｌａｃｋを８００ｎｍとして設定する。
【０１０１】
次に、(５)式の演算によって原基準画像ｇ１から生成された画像の全体について、各成分Ｒ，Ｇ，Ｂ，Ｂｌａｃｋの出力値と各成分の重心波長との積和値を求め、この積和値を各成分の出力値の和で除する重心演算を(６)式に示される演算式を用いて行うことによって被写体１からの光の波長成分の代表波長λｍａｉｎが取得される。
【０１０２】
【数６】
0005440615.tif 000008
【０１０３】
また、代表波長λｍａｉｎの他の取得手法としては、例えば、各成分Ｒ，Ｇ，Ｂ，Ｂｌａｃｋの出力値のうち最大強度の出力を与える成分の重心波長を代表波長λｍａｉｎに採用するなど、各種手法を採用し得る。
【０１０４】
なお、「代表波長」には、例えば、周波数や波長の二乗値、逆数についての代表値など、代表波長と物理的もしくは数学的に等価な代表値も含まれる。
【０１０５】
波長取得部１５Ａによって取得された表示用画像ｇ３は記憶部１７に供給されて記憶され、代表波長λｍａｉｎはパラメータ取得部１６Ａに供給されて波長依存性を持つカメラパラメータの代表波長λｍａｉｎに対応するパラメータ値の取得に用いられる。
【０１０６】
○パラメータ取得部１６Ａ：
パラメータ取得部１６Ａは、波長依存性を有するカメラパラメータである焦点距離情報、収差情報などについて、波長取得部１５Ａから供給された代表波長λｍａｉｎに対応するパラメータ値を取得する処理（図１０に示すフローチャートのステップＳ１４）を行う。
【０１０７】
ここで、例えば、波長依存性を有する全てのカメラパラメータのうちの一部のカメラパラメータのみについて代表波長λｍａｉｎに対応するパラメータ値を算出して三次元測定の際に用いるとしても、カメラパラメータの波長依存性を全く補正しない場合に比べて三次元測定の精度の悪化を抑制することができるので、本発明の有用性を損なうものではない。
【０１０８】
このように、パラメータ取得部１６Ａは、被写体１からの光の波長成分に応じてパラメータ値が変動するステレオカメラ２４の各カメラパラメータのうち１以上のカメラパラメータについて代表波長λｍａｉｎに対応する各パラメータ値をそれぞれ取得する。
【０１０９】
代表波長λｍａｉｎに対応する焦点距離ｆｍａｉｎの取得方法としては、具体的には、例えば、代表波長λｍａｉｎのとりうる波長範囲の最小値および最大値である波長λｍｉｎおよびλｍａｘ、ならびに波長λｍｉｎおよびλｍａｘにそれぞれ対応する焦点距離ｆｍｉｎおよびｆｍａｘなどのパラメータの波長依存特性ｔ１（図２）を光学設計情報に基づくシミュレーションなどにより予め取得して記憶部１７に記憶しておき、代表波長λｍａｉｎに対応する焦点距離ｆｍａｉｎを、波長λｍｉｎおよびλｍａｘ、ならびに焦点距離ｆｍｉｎおよびｆｍａｘを用いて内挿により求める手法などが採用される。
【０１１０】
焦点距離ｆｍａｉｎの他の取得方法としては、代表波長λｍａｉｎのとりうる波長範囲における２以上の所定波長に対する焦点距離の値をそれぞれ記録したテーブルを、シミュレーションにより予め求めてパラメータの波長依存特性ｔ１として記憶部１７に記憶しておき、焦点距離ｆｍａｉｎの算出時にこのテーブルを用いる手法が採用され得る。
【０１１１】
また、焦点距離ｆｍａｉｎの他の取得方法としては、代表波長λｍａｉｎのとりうる波長範囲の波長に対する焦点距離の関係を規定した単調増加関数や、単調減少関数、双曲線関数など、シミュレーションにより予め求めてパラメータの波長依存特性ｔ１として記憶部１７に記憶しておき、焦点距離ｆｍａｉｎの算出時にこの関数を用いる手法も採用され得る。
【０１１２】
例えば、テーブルを用いる手法では、簡単な推定方法によって代表波長λｍａｉｎに対応するパラメータ値を取得することができ、関数を用いる手法では、複雑な波長依存性を有するカメラパラメータに対しても代表波長λｍａｉｎに対応するパラメータ値を取得することが容易になる。
【０１１３】
求められた代表波長λｍａｉｎに対応する像点距離ｆｒの取得は、例えば、焦点距離ｆの標準値と、代表波長λｍａｉｎ対する焦点距離ｆｍａｉｎとの差分を、像点距離ｆｒの標準値に加算する手法、あるいは像点距離ｆｒと代表波長λｍａｉｎとの関係を、代表波長λｍａｉｎのとりうる波長範囲において関数またはテーブルなどとして求めてパラメータの波長依存特性ｔ１の１つとして記憶しておき、像点距離ｆｒの取得時に記憶した関数またはテーブルなどを参照する手法などによって行われる。
【０１１４】
代表波長λｍａｉｎに対する収差補正係数ｋ１〜ｋ５（（３）式）の取得についても、同様に、収差補正係数ｋ１〜ｋ５についてシミュレーションなどにより求められたパラメータの波長依存特性ｔ１を用いて行われる。
【０１１５】
ここで、撮影光学系２ａおよび２ｂの結像特性は、用いられる硝材が同じであっても、製造時の誤差などのために製造される光学系毎に差異を有するが、通常、この差異は代表波長λｍａｉｎの変動に対する各結像特性の変動幅に比べて小さく、また、結像特性の変動傾向は各製品毎にほぼ同じであることから、製造される各光学系に共通するパラメータの標準的な波長依存特性を採用したとしても、本発明の有用性を損なうものではない。
【０１１６】
なお、製造される光学系毎の結像特性の差異を補正する場合には、例えば、シミュレーションによりパラメータの標準的波長依存特性を取得しておき、個々の製品における撮影光学系２ａおよび２ｂについて代表的な波長に対する各結像特性を実測し、各実測値と各結像特性の標準値との差異に基づいてパラメータの標準的波長依存特性をずらすことなどによって、個々の撮影光学系２ａおよび２ｂごとのパラメータの波長依存特性ｔ１を取得する手法を採用してもよい。この手法では、パラメータの標準的な波長依存特性を撮影光学系の各製造品の全てに適用する手法に比べてステレオカメラ装置３００Ａの三次元測定精度の悪化をさらに抑制することができる。
【０１１７】
また、波長取得部１５Ａおよびパラメータ取得部１６Ａについての上述の説明では、画像全体について１つの代表波長λｍａｉｎを取得する手法を説明したが、例えば、夜間などでは画像全体が同一の照明状態にない場合もある。
【０１１８】
このような場合には、例えば、後述する探索点設定部１２の基準点設定部１２ａが設定する基準点毎に代表波長を求めてパラメータの取得に用いることなどによって、さらに三次元測定の精度の悪化を抑制することができる。
【０１１９】
この基準点毎の代表波長の取得については、例えば、ウィンドウ設定部１３の基準ウィンドウ設定部１３ａが基準点毎に原基準画像ｇ１に設定する各基準ウィンドウにおいて、(５)式、(６)式の演算を行うことなどによって行われる。
【０１２０】
以上に説明したパラメータのうち、収差情報である収差補正係数ｋ１〜ｋ５については、画像入力部１１Ａへと供給されて画像入力部１１Ａの説明欄で既述した原基準画像ｇ１および原参照画像ｇ２の収差補正（図１０に示されるフローチャートのステップＳ１６）に使用される。また、像点距離ｆｒは三次元化部１８Ａへと供給されて被写体１の三次元情報の取得に使用される。
【０１２１】
次に、図９は、制御処理装置１００Ａが行う対応点探索処理の例を説明する図であり、以下での探索点設定部１２、ウィンドウ設定部１３、および対応点探索部１４の説明は、図９を適宜参照しつつ行う。
【０１２２】
○探索点設定部１２：
図２に示される探索点設定部１２は、基準点設定部１２ａおよび比較点設定部１２ｂを主に備えて構成されている。
【０１２３】
基準点設定部１２ａは、画像入力部１１Ａの基準画像入力部１１ａから探索基準画像ｇ４（図２、図９）を供給されて探索基準画像ｇ４内に基準点Ｎｍを設定し、比較点設定部１２ｂは、参照画像入力部１１ｂから探索参照画像ｇ５（図２、図９）を供給されて探索参照画像ｇ５内に比較点Ｋｍを設定する。なお、基準点Ｎｍは、探索基準画像ｇ４および探索参照画像ｇ５間での対応点を探索するために設定される基準点であり、比較点Ｋｍは、基準点Ｎｍに対応する対応点Ｃｐｍを探索するためのウィンドウ設定の基準となる点である。
【０１２４】
基準点Ｎｍの設定は、具体的には、例えば、探索基準画像ｇ４に対するエッジ検出処理などによって、特定の点を検出して基準点Ｎｍとして設定する手法や、探索基準画像ｇ４の全ての画素を基準点Ｎｍとして順次設定する手法などによって行われる。
【０１２５】
また、比較点Ｋｍの設定は、例えば、比較点Ｋｍに対して所定の初期視差を与えることや、基準点Ｎｍと同様の条件でエッジ検出処理を行うことなどによって設定される。
【０１２６】
設定された基準点Ｎｍおよび比較点Ｋｍは、それぞれウィンドウ設定部１３の基準ウィンドウ設定部１３ａおよび参照ウィンドウ設定部１３ｂへと供給される。
【０１２７】
○ウィンドウ設定部１３：
図２に示されるようにウィンドウ設定部１３は、基準ウィンドウ設定部１３ａおよび参照ウィンドウ設定部１３ｂを主に備えて構成されている。
【０１２８】
基準ウィンドウ設定部１３ａは、供給された基準点Ｎｍに基づいて探索基準画像ｇ４上に基準ウィンドウＷＢｍを設定し、参照ウィンドウ設定部１３ｂは、供給された比較点Ｋｍに基づいて探索参照画像ｇ５上に参照ウィンドウＷＲｍを設定する。
【０１２９】
なお、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍとのそれぞれの水平方向（図９のＵ方向）画素数は同じであり、それぞれの垂直方向（図９のＶ方向）画素数もまた同じである。
【０１３０】
基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの設定情報は、それぞれ対応点探索部１４へと供給され、両ウィンドウ間の画像について相関演算による対応点探索が行われる。
【０１３１】
○対応点探索部１４：
図２に示される対応点探索部１４は、ウィンドウ設定部１３の基準ウィンドウ設定部１３ａおよび参照ウィンドウ設定部１３ｂからそれぞれ基準ウィンドウＷＢｍおよび参照ウィンドウＷＲｍの設定情報を供給されて、両ウィンドウ内の画像間での相関演算を行うことによって、探索基準画像ｇ４上の基準点Ｎｍに対応する探索参照画像ｇ５上の対応点ＣＰｍを探索する。
【０１３２】
具体的には、対応点探索部１４は、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの画像間の相関を求める手法としては、例えばＳＡＤ法（差分絶対値和法）などのように周波数分解を行わない手法、ＰＯＣ法（位相限定相関法）などのように周波数分解を行う手法などを採用してサブピクセル単位で対応点探索を行う。
【０１３３】
これらの手法による対応点探索によって、収差が補正された基準点Ｎｍおよび対応点ＣＰｍ、また、図３に示される収差補正前の視差ｄ１の収差が補正された視差ｄ（(１)式）などの対応点探索結果ｈ１（図２）が求められる。
【０１３４】
すなわち、対応点探索部１４は、被写体１のステレオ画像を構成する探索基準画像ｇ４および探索参照画像ｇ５間での相関を求めることによって対応点探索（図１０に示されるフローチャートのステップＳ１８）を行う。
【０１３５】
取得された対応点探索結果ｈ１は、三次元化部１８Ａへと供給され、被写体１の三次元情報の取得に用いられる。
【０１３６】
○三次元化部１８Ａ：
図２に示される三次元化部１８Ａは、記憶部１７からは記憶された光学中心位置情報ｕ０、ｖ０（図２、(２)式、(３)式）、および画素長ｐｓ（図２、（２）式）などのカメラパラメータを、パラメータ取得部１６Ａからは代表波長λｍａｉｎに対応する波長依存性を有するカメラパラメータである像点距離ｆｒを、対応点探索部１４からは対応点探索結果ｈ１の供給を受け、供給されたこれらの情報を用いて被写体１の距離情報、三次元座標情報などの三次元情報ｅ１（図２）を取得する（図１０に示されるフローチャートのステップＳ２０）。
【０１３７】
被写体１上の物点Ｍの、撮影光学系２ａの主点３ａからの距離Ｄやカメラ座標系Ｃ１における三次元座標などの三次元情報の算出は、具体的には、例えば、既述した(１)式および(２)式を用いて行われる。
【０１３８】
この手法では、物点Ｍに対する基準カメラ１０ａおよび参照カメラ１０ｂの収差が補正された視差ｄが使用されている。
【０１３９】
三次元情報取得の他の手法としては、例えば、基準点Ｎｍおよび対応点ＣＰｍの座標情報などから基準点Ｎｍおよび対応点ＣＰｍをそれぞれ通るカメラ視線の方程式をそれぞれ求め、これらの方程式を連立させて解くことにより、各カメラ視線の交点として求められる物点Ｍの三次元座標を求める手法も採用され得る。
【０１４０】
すなわち、三次元化部１８Ａは、波長依存性を有するカメラパラメータの代表波長λｍａｉｎに対応するパラメータ値を用いて、視差ｄや、基準点Ｎｍおよび対応点ＣＰｍの座標情報などの対応点探索結果ｈ１から被写体１の三次元情報ｅ１を取得する。
【０１４１】
取得された三次元情報ｅ１は、出力部１９へと供給されて、出力部１９から表示用画像ｇ３などとともに車載システムや監視システムなどの外部システムなどへと供給され、車の安全走行の支援や、異常の検知などに使用される。
【０１４２】
なお、パラメータ取得部１６Ａの説明欄で述べたように、例えば、波長依存性を有する全てのカメラパラメータのうちの一部のカメラパラメータのみについて代表波長λｍａｉｎに対応するパラメータ値を算出して三次元測定の際に用いるとしても、カメラパラメータの波長依存性を全く補正しない場合に比べて三次元測定の精度の悪化を抑制することができるので本発明の有用性を損なうものではない。
【０１４３】
従って、三次元化部１８Ａは、波長依存性を有するカメラパラメータのうち一部のカメラパラメータ、具体的には、例えば、撮影光学系２ａおよび撮影光学系２ｂの焦点距離情報および収差情報の一方のパラメータのパラメータ値をパラメータ取得部１６Ａから取得するとともに、他のカメラパラメータのパラメータ値を記憶部１７から取得し、これらのパラメータに基づいて三次元情報の取得を行う構成も採用し得る。
【０１４４】
以上に説明したように、ステレオカメラ装置３００Ａによれば、被写体１からの光の波長成分の代表波長λｍａｉｎを取得し、被写体１からの光の波長成分に応じてパラメータ値が変動する各カメラパラメータのうち１以上のカメラパラメータについて代表波長λｍａｉｎに対応するパラメータ値を取得して被写体１の三次元情報ｅ１の取得に用いるので、ステレオカメラ装置３００Ａが広い波長帯域において被写体１の画像を撮影する場合であっても、ステレオカメラ装置３００Ａの三次元測定精度の悪化を抑制することができる。
【０１４５】
また、ステレオカメラ装置３００Ａのステレオカメラ２４を構成する各カメラのうち一方のカメラが上述したようなカラー特性を有するカメラであり、他方のカメラが可視光域から赤外線域までのＷｈｉｔｅフィルターのみの分光感度特性を有するカメラであることによって、ステレオカメラ装置３００Ａは、被写体１のカラー情報と、三次元情報との両方を取得することができ、該カラー情報に基づいて、ステレオカメラ装置３００Ａが搭載される外部システムなどの操作性を向上させ得る表示用画像ｇ３を取得できるとともに、被写体１からの光の波長成分の代表波長λｍを取得することができる。
【０１４６】
また、該三次元情報の取得においては、被写体１からの光を可視光域から赤外線域にわたる広範な波長帯域で撮影可能なＷｈｉｔｅ（Ｗ）フィルターを備えたセルの出力に基づくモノクロ画像についての対応点探索結果に基づいて被写体１の三次元情報が取得されるので、ステレオカメラ装置３００Ａが広い波長帯域において被写体１の画像を撮影する場合であっても被写体１の三次元情報を取得できる確率を高めることができる。
【０１４７】
また、ステレオカメラ装置３００Ａにおいて、対応点探索に用いられる２つの画像のうち、少なくとも一方が画素密度が高いＷｈｉｔｅ（Ｗ）フィルターのみを備えた撮像素子からの画像であれば、例えば、カラー画像間で対応点探索を行う場合よりも、高い分解能で対応点探索を行うことができるので、三次元測定の精度の悪化をさらに抑制することができる。
【０１４８】
＜◎変形例１について：＞
次に、実施形態に係るステレオカメラ装置３００Ａの変形例であるステレオカメラ装置３００Ｂについて説明する。
【０１４９】
図１１は、変形例に係るステレオカメラ装置３００Ｂの機能ブロックを例示する図である。また、図１２は、変形例に係るステレオカメラ装置３００Ｂの三次元情報測定のフローチャートを例示する図である。
【０１５０】
図１１に示されるステレオカメラ装置３００Ｂは、ステレオカメラ装置３００Ａと同様にステレオカメラ２４から入力される画像に基づいて、制御処理装置１００Ｂの波長取得部１５Ａで被写体１からの光の波長成分の代表波長λｍａｉｎを取得し、代表波長λｍａｉｎに基づいて三次元情報の取得に使用されるカメラパラメータのパラメータ値を取得して被写体１の三次元情報を取得するが、該カメラパラメータのうちの収差情報を用いて収差の補正を行う機能ブロックおよびこの収差補正の対象データが、ステレオカメラ装置３００Ａとは異なっている。
【０１５１】
具体的には、図１１に示されるようにステレオカメラ装置３００Ｂは、画像入力部１１Ｃ、パラメータ取得部１６Ｂ、および三次元化部１８Ｂを除いて図２に示されるステレオカメラ装置３００Ａと共通する各機能部を有している。
【０１５２】
また、図１２に示されるようにステレオカメラ装置３００Ｂの三次元情報測定のフローチャートは、ステップＳ１６がなくなり、新たにステップＳ１９が追加されていることを除いて、図１０に示されるステレオカメラ装置３００Ａの三次元情報測定フローチャートと共通の処理を行う。
【０１５３】
そこで、図１１および図１２にそれぞれ示されるステレオカメラ装置３００Ｂに係るステレオカメラ２４および制御処理装置１００Ｂの各機能ブロック、ならびに三次元情報測定の各処理ステップのうち、図２および図１０に示されるステレオカメラ装置３００Ａに係る各機能ブロックおよび三次元情報測定の各処理ステップと同じものについては、図２および図１０に示される各機能ブロックおよび各処理ステップと同じ符号を付して説明を省略し、以下では、ステレオカメラ装置３００Ｂの機能ブロックおよび三次元情報測定の処理ステップのうち、ステレオカメラ装置３００Ａの機能ブロックおよび三次元情報測定の処理ステップと異なる機能ブロックおよび処理ステップについてのみ説明を行う。
【０１５４】
○画像入力部１１Ｃ：
図１１に示される制御処理装置１００Ｂの画像入力部１１Ｃは、基準画像入力部１１ｃおよび参照画像入力部１１ｄを主に備えて構成されている。
【０１５５】
基準画像入力部１１ｃおよび参照画像入力部１１ｄは、ステレオカメラ２４の基準カメラ１０ａおよび参照カメラ１０ｂからそれぞれ供給される原基準画像ｇ１および原参照画像ｇ２について、図１２のフローチャートに示されるように収差補正処理（図１０に示されるステレオカメラ装置３００ＡのフローチャートのステップＳ１６）を行わず、また、それぞれの画像について平行化処理も行わない。
【０１５６】
すなわち、基準画像入力部１１ｃは、原基準画像ｇ１に対してモノクロ画像の拡張処理のみを行って探索基準画像ｇ６として探索点設定部１２の基準点設定部１２ａへと供給し、参照画像入力部１１ｄは、原参照画像ｇ２をそのまま探索参照画像ｇ７として探索点設定部１２の比較点設定部１２ｂへと供給する。
【０１５７】
なお、原基準画像ｇ１の波長取得部１５Ａへの供給については、ステレオカメラ装置３００Ａの画像入力部１１Ａと同じ機能を有している。
【０１５８】
○パラメータ取得部１６Ｂ：
既述したように画像入力部１１Ｃでは、ステレオ画像の収差補正が行われないため、図１１に示されるパラメータ取得部１６Ｂは、取得したカメラパラメータについて、像点距離ｆｒだけでなく収差補正係数ｋ１〜ｋ５も三次元化部１８Ｂへと供給する。
【０１５９】
なお、パラメータ取得部１６Ｂが取得するカメラパラメータについての取得方法自体は、図２に示されるステレオカメラ装置３００Ａのパラメータ取得部１６Ａと全く同じ手法によって取得される。
【０１６０】
○三次元化部１８Ｂ：
図１１に示される三次元化部１８Ｂは、対応点探索部１４から収差補正されていない探索基準画像ｇ６および探索参照画像ｇ７に基づいて探索された対応点探索結果ｈ２を供給される。
【０１６１】
対応点探索結果ｈ２は、被写体１上の物点Ｍに対する探索基準画像ｇ６上の像点である基準点の座標および、この基準点に対応する探索参照画像ｇ７上の対応点（物点Ｍに対する探索参照画像ｇ７上の像点）の座標、ならびに基準カメラ１０ａと参照カメラ１０ｂとの視差情報を、いずれも平行化処理および収差補正がされていない状態で含んでいる。
【０１６２】
三次元化部１８Ｂは、先ず、例えば、これらの基準点、対応点、および視差情報に対して平行化処理を行い、さらに収差補正(３)式などを用いてこれらの基準点、対応点、視差情報の収差補正（図１２に示されるフローチャートのステップＳ１９）を行う。次に、三次元化部１８Ｂは、ステレオカメラ装置３００Ａの三次元化部１８Ａと同様にして被写体１の三次元情報ｅ１を取得し、出力部１９へと供給する。
【０１６３】
以上に説明したように、ステレオカメラ装置３００Ｂにおいてもステレオカメラ装置３００Ａと同様に、被写体１からの光の波長成分の代表波長λｍａｉｎを取得し、被写体１からの光の波長成分に応じてパラメータ値が変動する各カメラパラメータのうち１以上のカメラパラメータについて代表波長λｍａｉｎに対応するパラメータ値を取得して被写体１の三次元情報ｅ１の取得に用いるので、ステレオカメラ装置３００Ｂが広い波長帯域において被写体１の画像を撮影する場合であっても、ステレオカメラ装置３００Ｂの三次元測定精度の悪化を抑制することができる。
【０１６４】
＜◎変形例２について：＞
次に、ステレオカメラ装置３００Ｂの変形例であるステレオカメラ装置３００Ｃについて説明する。
【０１６５】
図１３は、変形例に係るステレオカメラ装置３００Ｃの機能ブロックを例示する図である。また、図１４は、変形例に係るステレオカメラ装置３００Ｃの三次元情報測定のフローチャートを例示する図である。
【０１６６】
図１３に示されるステレオカメラ装置３００Ｃは、例えば、ショッピングモールなどに設置される監視システムなどに適用されるステレオカメラ装置であり、ステレオカメラ装置３００Ａ（図２）および３００Ｂ（図１１）に比べて、より簡易的な手法によって代表波長λｍａｉｎを取得する。
【０１６７】
ショッピングモールなどの監視システムは、ショッピングモールの営業中は、通常、蛍光灯などで照明された画像情報などに基づいて異常の検知などを行う。一方、終業後の夜間などでは、営業時に使用されていた蛍光灯などは消灯され、ステレオカメラ装置３００Ｃは、暗闇のなかで監視システムとして機能する必要がある。
【０１６８】
このため図１３に示されるように、ステレオカメラ装置３００Ｃは、ステレオカメラ２４および制御処理装置１００Ｃと連動して監視システムの監視領域に赤外線を照射する投光部２３を補助照明システムとして備えている。
【０１６９】
ショッピングモールの蛍光灯などの点灯消灯は、監視システムの使用者がステレオカメラ装置３００Ｃの外部に設けられた照明スイッチ２２を操作することにより行われる。
【０１７０】
ステレオカメラ装置３００Ｃは、照明スイッチ２２のＯＮ／ＯＦＦ信号を検出することによって監視システムの監視領域についての照明状態を検出し、蛍光灯などの消灯時には投光部２３から赤外線を照射するとともに、蛍光灯などの照明光と赤外線の既知の波長情報に基づいて被写体１からの光の波長成分の代表波長λｍａｉｎを取得する。
【０１７１】
また、ステレオカメラ装置３００Ｃは、車載システムにおいても適用可能であり、この場合は、例えば、ヘッドライト点灯スイッチなどが照明スイッチ２２となる。
【０１７２】
ステレオカメラ装置３００Ｃが車載システムに適用される場合には、特に、昼間などは、太陽光によって主に照明された被写体１の画像を撮影するため、ステレオカメラ装置３００Ｃは、ステレオカメラ装置３００Ａおよびステレオカメラ装置３００Ｂと同様に、ステレオカメラ２４が撮影した被写体１の画像に基づいて代表波長λｍａｉｎを求める機能も有している。
【０１７３】
ここで、図１３に示されるようにステレオカメラ装置３００Ｃは、波長取得部１５Ｂおよび投光部２３を除いて図１１に示されるステレオカメラ装置３００Ｂと共通する各機能部を有している。
【０１７４】
また、図１４に示されるようにステレオカメラ装置３００Ｃの三次元情報測定のフローチャートは、新たにステップＳ８が追加されていることを除いて、図１２に示されるステレオカメラ装置３００Ｂの三次元情報測定フローチャートと共通の処理を行う。
【０１７５】
そこで、図１３および図１４に示されるステレオカメラ装置３００Ｃに係るステレオカメラ２４および制御処理装置１００Ｃの各機能ブロックおよび三次元情報測定の各処理ステップのうち、図１１および図１２に示されるステレオカメラ装置３００Ｂに係る各機能ブロックおよび三次元情報測定の各処理ステップと同じものについては、図１１および図１２に示される各機能ブロックおよび各処理ステップと同じ符号を付して説明を省略し、以下では、ステレオカメラ装置３００Ｃの機能ブロックおよび三次元情報測定の処理ステップのうち、ステレオカメラ装置３００Ｂの機能ブロックおよび三次元情報測定の処理ステップと差異を有する機能ブロックおよび処理ステップについてのみ説明を行う。
【０１７６】
○投光部２３：
図１３に示される投光部２３は、監視システムなどの監視領域に赤外線を投光する補助照明システムであり、投光部２３の赤外線照明のＯＮ／ＯＦＦは、制御部２１からの制御信号によって制御される。
【０１７７】
投光部２３からの赤外線の波長成分は既知であり、この既知の波長成分の重心波長などが照明光波長λｔとして記憶部１７に記憶されている。また、ショッピングモールの蛍光灯などについても同様に重心波長などが照明光波長λｔとして記憶部１７に記憶されている。
【０１７８】
また、投光部２３は、車載システムや監視システムなどの外部システムに属するなど、ステレオカメラ装置３００Ｃの外部にあってもよい。
【０１７９】
ここで、制御部２１は、照明スイッチ２２からのＯＮ／ＯＦＦ信号にもとづいて被写体１の照明情報ｊ１を取得（図１４のフローチャートのステップＳ８）する。
【０１８０】
制御部２１は、照明スイッチ２２からＯＮ信号を検出したときには、照明情報ｊ１として蛍光灯等照明中情報を取得し、照明スイッチ２２からＯＦＦ信号を検出したときは、投光部２３に対して点灯制御信号を供給して投光部２３を点灯させるとともに、照明情報ｊ１として赤外線照明中情報を取得する。
【０１８１】
また、制御部２１が照明スイッチ２２からのＯＮ／ＯＦＦ信号を検出することなく、例えば、記憶部１７に記憶された営業スケジュール情報や、監視システムの監視領域の光を検出可能な別設された受光センサを用いることなどによって、照明情報ｊ１を取得してもよい。
【０１８２】
○波長取得部１５Ｂ：
図１３に示される波長取得部１５Ｂは、制御部２１から供給された照明情報ｊ１に基づいて、予め記憶部１７に記憶されている各照明光に対する照明光波長λｔの中から照明情報ｊ１に対応する照明光波長λｔを取得する。
【０１８３】
波長取得部１５Ｂは、取得した照明光波長λｔを被写体１からの光の波長成分の代表波長λｍａｉｎとして取得する。
【０１８４】
波長取得部１５Ｂは、取得した代表波長λｍａｉｎをパラメータ取得部１６Ｂへと供給し、パラメータ取得部１６Ｂにおいてステレオカメラ装置３００Ｂと同様に代表波長λｍａｉｎに対応したカメラパラメータの取得がなされ、三次元化部１８Ｂでの三次元情報ｅ１の取得に用いられる。
【０１８５】
以上に説明したように、ステレオカメラ装置３００Ｃにおいては、原基準画像ｇ１の画像情報に基づいて代表波長λｍａｉｎを取得する処理は不要となり、被写体１に照射される照明光の既知の波長情報情に基づいて代表波長λｍａｉｎを取得することができるので、簡易なステレオカメラ装置３００Ｃの構成および処理を採用しつつ、可視光域から赤外線域までの幅広い波長帯域における被写体からの光の代表波長λｍａｉｎの推定をすることができ、カメラパラメータの波長依存性による三次元情報の測定精度の悪化を抑制することができる。
【０１８６】
なお、図１３に示される構成例では、制御部２１が取得した照明情報ｊ１が波長取得部１５Ｂに供給されて波長取得部１５Ｂにおいて代表波長λｍａｉｎが取得され、パラメータ取得部１６Ｂが代表波長λｍａｉｎに対応するカメラパラメータのパラメータ値を取得する構成が採用されているが、この構成に代えて、例えば、制御部２１が取得した照明情報ｊ１がパラメータ取得部１６Ｂに供給されて、パラメータ取得部１６Ｂが代表波長λｍａｉｎを用いることなく照明情報ｊ１に基づいて照明情報ｊ１に対応するカメラパラメータのパラメータ値を取得する装置構成が採用されてもよい。
【０１８７】
また、照明情報ｊ１の取得に関しては、制御処理装置１００Ｃに照明スイッチ２２とは別の照明状態切替えスイッチが設けられており、照明スイッチ２２のＯＮ／ＯＦＦ操作を行う監視システムの使用者が、この操作内容に基づいて該照明状態切替えスイッチの設定を行い、この設定に基づいて制御部２１が照明情報ｊ１を取得する構成が採用されてもよい。
【符号の説明】
【０１８８】
３００Ａ，３００Ｂ，３００Ｃ  ステレオカメラ装置
１００Ａ，１００Ｂ，１００Ｃ  制御処理装置
１  被写体
Ｍ  物点
２ａ，２ｂ  撮影光学系
３ａ，３ｂ  主点
４ａ，４ｂ  光軸
５ａ，５ｂ  撮像素子
６ａ，６ｂ  主光線
７ａ，７ｂ  光学中心位置
Ｐａ，Ｐｂ  像点
１０ａ  基準カメラ
１０ｂ  参照カメラ
１１Ａ，１１Ｃ  画像入力部
１１ａ，１１ｃ  基準画像入力部
１１ｂ，１１ｄ  参照画像入力部
１２  点設定部
１２ａ  基準点設定部
１２ｂ  比較点設定部
１３  ウィンドウ設定部
１３ａ  基準ウィンドウ設定部
１３ｂ  参照ウィンドウ設定部
１４  対応点探索部
１５Ａ，１５Ｂ  波長取得部
１６Ａ，１６Ｂ  パラメータ取得部
１７  記憶部
１８Ａ，１８Ｂ  三次元化部
１９，２０  出力部
２１  制御部
２２  照明スイッチ
２３  投光装置
２４  ステレオカメラ
２５ａ，２５ｂ  制御処理回路
ｇ１  原基準画像
ｇ２  原参照画像
ｇ３  表示用画像
ｇ４，ｇ６  探索基準画像
ｇ５，ｇ７  探索参照画像
λｍａｉｎ  代表波長
λｔ  照明光波長
ｔ１  パラメータの波長依存特性
ｋ１，ｋ２，ｋ３，ｋ４，ｋ５  収差補正係数
ｆｒ  像点距離
ｂ  基線長
ｕ０，ｖ０  光学中心位置情報
ｐｓ  画素サイズ
ｈ１，ｈ２  対応点探索結果
ｊ１  照明情報
【図１】
0005440615.tif 000009
【図２】
0005440615.tif 000010
【図３】
0005440615.tif 000011
【図４】
0005440615.tif 000012
【図５】
0005440615.tif 000013
【図６】
0005440615.tif 000014
【図７】
0005440615.tif 000015
【図８】
0005440615.tif 000016
【図９】
0005440615.tif 000017
【図１０】
0005440615.tif 000018
【図１１】
0005440615.tif 000019
【図１２】
0005440615.tif 000020
【図１３】
0005440615.tif 000021
【図１４】
0005440615.tif 000022