(57)【要約】【課題】キャリブレーションにおいて、カメラ位置パラメータの補正精度を向上する。【解決手段】既知物体検出部は、予め定めた物体の画像に係るパターン情報を記憶しておき、複数視点の入力画像信号が表す画像に基づいて前記パターン情報に係る物体である既知物体の位置を検出し、対応検出部は、複数視点の入力画像信号が表す各画像から複数視点の間で有意な視差を検出できない多眼無限遠にある物体を表す画像内の領域である多眼無限遠領域を検出し、多眼無限遠領域の視点間の対応関係を示す対応関係情報を定め、位置パラメータ算出部は、物体検出部が検出した既知物体の位置と対応検出部が定めた対応関係情報に基づいて複数視点の間における位置関係を示す位置パラメータを算出し、距離算出部は、算出した位置パラメータを用いて、複数視点の入力画像が表す物体までの距離を算出する。【選択図】図１
2013257244.tif 000002
【特許請求の範囲】
【請求項１】
予め定めた物体の画像に係るパターン情報を記憶しておき、複数視点の入力画像信号が表す画像に基づいて前記パターン情報に係る物体である既知物体の位置を検出する既知物体検出部と、
前記複数視点の入力画像信号が表す各画像から前記複数視点の間で有意な視差を検出できない多眼無限遠にある物体を表す画像内の領域である多眼無限遠領域を検出し、前記多眼無限遠領域の視点間の対応関係を示す対応関係情報を定める対応検出部と、
前記既知物体検出部が検出した既知物体の位置と前記対応検出部が定めた対応関係情報に基づいて前記複数視点の間における位置関係を示す位置パラメータを算出する位置パラメータ算出部と、
前記位置パラメータ算出部が算出した位置パラメータを用いて、前記複数視点の入力画像が表す物体までの距離を算出する距離算出部と、
を備えることを特徴とする距離測定装置。
【請求項２】
入力された速度情報に基づいて前記複数視点が停止しているか否かを判断する速度監視部を備え、
前記速度監視部が、前記複数視点が停止していると判断したとき、前記位置パラメータ算出部は前記位置パラメータを算出することを特徴とする請求項１に記載の距離測定装置。
【請求項３】
前記位置パラメータ算出部が算出した位置パラメータを記憶する位置パラメータ記憶部と、
前記位置パラメータ算出部が算出した位置パラメータに基づいて算出した物体までの第１の距離と、前記位置パラメータ記憶部が記憶する位置パラメータに基づいて算出した当該物体までの第２の距離のうち、前記距離算出部が算出した当該物体までの第３の距離に前記第１の距離の方がより近似すると判定したとき、前記位置パラメータ算出部が算出した位置パラメータを前記位置パラメータ記憶部に記憶させる位置パラメータ判定部と、
を備えることを特徴とする請求項１又は２に記載の距離測定装置。
【請求項４】
前記既知物体検出部が前記多眼無限遠よりも近い距離に前記複数視点の入力画像信号に基づいて前記既知物体を検出しなかったとき、前記対応検出部は前記多眼無限遠領域を検出することを特徴とする請求項１ないし３のいずれか１項に記載の距離測定装置。
【請求項５】
前記既知物体検出部及び前記対応検出部は、前記速度監視部において前記複数視点が停止していると判断したときに入力された複数視点の入力画像信号を用いて、それぞれ前記既知物体の位置を検出し、前記対応関係情報を定めることを特徴とする請求項２及び請求項２に従属する請求項３又は４に記載の距離測定装置。
【請求項６】
照明装置に対して光を放射するか否かを制御する照明制御部を備え、
前記対応検出部は、前記照明装置が光を放射したときに入力された点灯時の入力画像信号と、前記照明装置が光を放射しないときに入力された消灯時の入力画像信号とに基づいて前記多眼無限遠領域を検出することを特徴とする請求項１ないし５のいずれか１項に記載の距離測定装置。
【請求項７】
前記点灯時の入力画像信号と前記消灯時の入力画像信号の少なくとも一方が表す画像に係る物体の明るさが、前記点灯時の入力画像信号と前記消灯時の入力画像信号との間で、信号値の差が予め定めた値よりも大きくなる明るさである場合、前記多眼無限遠領域を検出することを特徴とする請求項６に記載の距離測定装置。
【請求項８】
前記対応検出部は、前記速度監視部において前記複数視点が停止していると判断する直前に入力された前記複数視点の入力画像信号もしくは前記速度監視部において前記複数視点が停止していないと判断した直後に入力された前記複数視点の入力画像信号、及び前記速度監視部が、前記複数視点が停止していると判断しているときに入力された前記複数視点の入力画像信号に基づいて、前記多眼無限遠領域を検出することを特徴とする請求項２、請求項２に従属する請求項３もしくは４のいずれか１項に記載の距離測定装置。
【請求項９】
前記予め定めた物体は、自動車登録番号標であることを特徴とする請求項１ないし８のいずれか１項に記載の距離測定装置。
【請求項１０】
距離測定装置における距離測定方法において、
前記距離測定装置は、複数視点の入力画像信号が表す画像に基づいて予め定めた物体の画像に係るパターン情報に係る物体である既知物体の位置を検出する第１の過程と、
前記距離測定装置は、前記複数視点の入力画像信号が表す各画像から前記複数視点の間で有意な視差を検出できない多眼無限遠にある物体を表す画像内の領域である多眼無限遠領域を検出し、前記多眼無限遠領域の視点間の対応関係を示す対応関係情報を定める第２の過程と、
前記距離測定装置は、前記検出した既知物体の位置と前記定めた対応関係情報に基づいて前記複数視点の間における位置関係を示す位置パラメータを算出する第３の過程と、
前記距離測定装置は、前記算出した位置パラメータを用いて、前記複数視点の入力画像が表す物体までの距離を算出する第４の過程と、
を有することを特徴とする距離測定方法。
【請求項１１】
距離測定装置における距離測定プログラムにおいて、
複数視点の入力画像信号が表す画像に基づいて予め定めた物体の画像に係るパターン情報に係る物体である既知物体の位置を検出する第１の手順、
前記複数視点の入力画像信号が表す各画像から前記複数視点の間で有意な視差を検出できない多眼無限遠にある物体を表す画像内の領域である多眼無限遠領域を検出し、前記多眼無限遠領域の視点間の対応関係を示す対応関係情報を定める第２の手順、
前記検出した既知物体の位置と前記定めた対応関係情報に基づいて前記複数視点の間における位置関係を示す位置パラメータを算出する第３の手順、
前記算出した位置パラメータを用いて、前記複数視点の入力画像が表す物体までの距離を算出する第４の手順、
を実行させるための距離測定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離測定装置、距離測定方法、及び距離測定プログラムに関する。
【背景技術】
【０００２】
車両から障害物や対象物などに至る距離を測定するために、車両に搭載した複数のカメラ（ステレオカメラ）によって撮影された画像に基づいて、三角測量の原理を用いて距離を測定する多眼距離測定方法が知られている。この方法では、複数のカメラが所定の位置関係にあることを前提として、距離の測定を行う。しかし、上記所定の位置は、車両の走行中の振動、衝撃、気温の変動等で、変化するので、正確な距離測定を行うためには、キャリブレーション（校正）を行って上記距離の測定の精度を保つことが必須である。
【０００３】
キャリブレーション方法として、専用のマーカを利用する方法が知られている。この方法では、複数のカメラで形状既知の専用マーカを撮影し、各カメラと専用マーカ間の相対位置を算出することでカメラ間の相対位置を算出する。しかし、専用マーカを利用する方法では、キャリブレーションの度に専用マーカを撮影するため、専用マーカを特別に設置する等の取り扱いが煩雑になる。そこで、専用マーカの代わりに自動車登録番号標（ナンバープレート）や道路標示（例えば、交通信号機）などの道路上に多く存在しかつ形状が既知の物体を利用してキャリブレーションを行う方法が提案されている。
例えば、特許文献１には、光学系と撮像素子とから構成される複数のカメラで得たステレオ画像に基づいて距離を検出する距離検出装置におけるずれを検出する方法であって、前記光学系を介して前記撮像素子に撮像された既知物体像から前記既知物体までの第１距離値を求め、次いで、第１距離値と、前記ステレオ画像から検出した前記既知物体までの第２距離値と、を比較することで、前記距離検出装置におけるずれを検出する方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２９２２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の距離検出装置には、被写体となる物体の特性により撮影が制限される場合があり、その場合にはキャリブレーションを行うことができない。例えば、既知物体としてナンバープレートを利用する場合において、当該距離検出装置はナンバープレートを、同一の方向で撮影する場合が多い。そのため、車両の右左折に伴う回転の場合を除いて、光学系の光軸の方向とナンバープレートの方向との間における角度がほぼ一定である。つまり、撮影したときの条件が同様又は類似した画像が主に取得される。条件が同様又は類似した画像を複数回使用してその平均を取ることでキャリブレーションを行うことは、１つの画像のみを使用してキャリブレーションを行うことに近似するものとなり、このため、カメラからナンバープレートの方向を高精度に推定することができず、ひいては高精度のキャリブレーションを行うことができない。また、特許文献1には、カメラ間の位置関係を示すパラメータの補正を行う処理を採用していない。
本発明の目的は、キャリブレーションにおいて、カメラ位置パラメータの補正精度を向上させる距離測定装置、距離測定方法、及び距離測定プログラムを提供することである。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、予め定めた物体の画像に係るパターン情報を記憶しておき、複数視点の入力画像信号が表す画像に基づいて前記パターン情報に係る物体である既知物体の位置を検出する既知物体検出部と、前記複数視点の入力画像信号が表す各画像から前記複数視点の間で有意な視差を検出できない多眼無限遠にある物体を表す画像内の領域である多眼無限遠領域を検出し、前記多眼無限遠領域の視点間の対応関係を示す対応関係情報を定める対応検出部と、前記既知物体検出部が検出した既知物体の位置と前記対応検出部が定めた対応関係情報に基づいて前記複数視点の間における位置関係を示す位置パラメータを算出する位置パラメータ算出部と、前記位置パラメータ算出部が算出した位置パラメータを用いて、前記複数視点の入力画像が表す物体までの距離を算出する距離算出部と、を備えることを特徴とする距離測定装置である。
【０００７】
（２）本発明の他の態様は、上述の距離測定装置であって、入力された速度情報に基づいて前記複数視点が停止しているか否かを判断する速度監視部を備え、前記速度監視部が、前記複数視点が停止していると判断したとき、前記位置パラメータ算出部は前記位置パラメータを算出することを特徴とする。
【０００８】
（３）本発明の他の態様は、上述の距離測定装置であって、前記位置パラメータ算出部が算出した位置パラメータを記憶する位置パラメータ記憶部と、前記位置パラメータ算出部が算出した位置パラメータに基づいて算出した物体までの第１の距離と、前記位置パラメータ記憶部が記憶する位置パラメータに基づいて算出した当該物体までの第２の距離のうち、前記距離算出部が算出した当該物体までの第３の距離に前記第１の距離の方がより近似すると判定したとき、前記位置パラメータ算出部が算出した位置パラメータを前記位置パラメータ記憶部に記憶させる位置パラメータ判定部と、を備えることを特徴とする。
【０００９】
（４）本発明の他の態様は、上述の距離測定装置であって、前記既知物体検出部が前記多眼無限遠よりも近い距離に前記複数視点の入力画像信号に基づいて前記既知物体を検出しなかったとき、前記対応検出部は前記多眼無限遠領域を検出することを特徴とする。
【００１０】
（５）本発明の他の態様は、上述の距離測定装置であって、前記既知物体検出部及び前記対応検出部は、前記速度監視部において前記複数視点が停止していると判断したときに入力された複数視点の入力画像信号を用いて、それぞれ前記既知物体の位置を検出し、前記対応関係情報を定めることを特徴とする。
【００１１】
（６）本発明の他の態様は、上述の距離測定装置であって、照明装置に対して光を放射するか否かを制御する照明制御部を備え、前記対応検出部は、前記照明装置が光を放射したときに入力された点灯時の入力画像信号と、前記照明装置が光を放射しないときに入力された消灯時の入力画像信号とに基づいて前記多眼無限遠領域を検出することを特徴とする。
【００１２】
（７）本発明の他の態様は、上述の距離測定装置であって、前記点灯時の入力画像信号と前記消灯時の入力画像信号の少なくとも一方が表す画像に係る物体の明るさが、前記点灯時の入力画像信号と前記消灯時の入力画像信号との間で、信号値の差が予め定めた値よりも大きくなる明るさである場合、前記多眼無限遠領域を検出することを特徴とする。
【００１３】
（８）本発明の他の態様は、上述の距離測定装置であって、前記対応検出部は、前記速度監視部において前記複数視点が停止していると判断する直前に入力された前記複数視点の入力画像信号もしくは前記速度監視部において前記複数視点が停止していないと判断した直後に入力された前記複数視点の入力画像信号、及び前記速度監視部が、前記複数視点が停止していると判断しているときに入力された前記複数視点の入力画像信号に基づいて、前記多眼無限遠領域を検出することを特徴とする。
【００１４】
（９）本発明の他の態様は、上述の距離測定装置であって、前記予め定めた物体は、自動車登録番号標であることを特徴とする。
【００１５】
（１０）本発明の他の態様は、距離測定装置における距離測定方法において、前記距離測定装置は、複数視点の入力画像信号が表す画像に基づいて予め定めた物体の画像に係るパターン情報に係る物体である既知物体の位置を検出する第１の過程と、前記距離測定装置は、前記複数視点の入力画像信号が表す各画像から前記複数視点の間で有意な視差を検出できない多眼無限遠にある物体を表す画像内の領域である多眼無限遠領域を検出し、前記多眼無限遠領域の視点間の対応関係を示す対応関係情報を定める第２の過程と、前記距離測定装置は、前記検出した既知物体の位置と前記定めた対応関係情報に基づいて前記複数視点の間における位置関係を示す位置パラメータを算出する第３の過程と、前記距離測定装置は、前記算出した位置パラメータを用いて、前記複数視点の入力画像が表す物体までの距離を算出する第４の過程と、を有することを特徴とする距離測定方法である。
【００１６】
（１１）本発明の他の態様は、距離測定装置における距離測定プログラムにおいて、複数視点の入力画像信号が表す画像に基づいて予め定めた物体の画像に係るパターン情報に係る物体である既知物体の位置を検出する第１の手順、前記複数視点の入力画像信号が表す各画像から前記複数視点の間で有意な視差を検出できない多眼無限遠にある物体を表す画像内の領域である多眼無限遠領域を検出し、前記多眼無限遠領域の視点間の対応関係を示す対応関係情報を定める第２の手順、前記検出した既知物体の位置と前記定めた対応関係情報に基づいて前記複数視点の間における位置関係を示す位置パラメータを算出する第３の手順、前記算出した位置パラメータを用いて、前記複数視点の入力画像が表す物体までの距離を算出する第４の手順、を実行させるための距離測定プログラムである。
【発明の効果】
【００１７】
本発明によれば、距離測定装置、距離測定方法、及び距離測定プログラムにおいて、カメラ位置パラメータのキャリブレーションにおける補正精度が向上する。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る距離測定装置の構成例を表すブロック図である。
【図２】本実施形態における基準カメラ、非基準カメラの取り付け位置を示す俯瞰図である。
【図３】本実施形態に係る形状既知物体位置検出部の構成例を表すブロック図である。
【図４】ナンバープレートまでの距離を算出する際の透視投影カメラモデルを示す概念図である。
【図５】本実施形態に係る多眼無限遠対応検出部の構成例を表すブロック図である。
【図６】本実施形態に係る本実施形態に係るカメラ位置パラメータ判定処理を表すフローチャートである。
【図７】多眼距離測定方法に用いる透視投影カメラモデルを示す概念図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本実施形態に係る距離測定装置１の構成例を表すブロック図である。
距離測定装置１は、撮影部１１、車両速度検出部１２及び距離測定部１３を含んで構成される。撮影部１１は、基準カメラ１１Ａ及び非基準カメラ１１Ｂを含んで構成される。
【００２０】
撮影部１１は、車両の後方の物体（障害物又は対象物）を撮影し、撮影した画像を示す画像信号を生成して、生成した画像信号をそれぞれ距離測定部１３に出力する。
撮影部１１の基準カメラＡ及び非基準カメラＢは、それぞれカメラモジュールである。カメラモジュールは、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子と、レンズなどの光学部品からなる光学系等を含んで構成される。カメラモジュールは、画角が広い超広角レンズや魚眼レンズを含んで構成されることができる。基準カメラＡ及び非基準カメラＢの光軸は、平行であり、かつ、基線に対して垂直である。
撮影部１１は、このようなレンズを備えるカメラモジュールを用いて広範な視野の画像を撮影することができる。
【００２１】
基準カメラ１１Ａは、２個のカメラモジュールのうち一方であって、後述する位置や処理の基準となるカメラモジュールである。非基準カメラ１１Ｂは、他方のカメラモジュールである。撮影部１１が左右のカメラモジュールからなるステレオカメラである場合、例えば、基準カメラ１１Ａは左側のカメラモジュールであり、非基準カメラ１１Ｂは右側のカメラモジュールである。
基準カメラ１１Ａ、非基準カメラ１１Ｂが備える光学系の特性は、カメラ内部パラメータで示される。カメラ内部パラメータには、焦点距離、センササイズ、レンズ歪み係数等がある。これらのパラメータは、いずれも既知のパラメータである。
以下の説明では、基準カメラ１１Ａ及び非基準カメラ１１Ｂを総称して、単に「カメラ」と呼ぶことがある。カメラの位置とは、カメラが備える光学系の視点（レンズの焦点における撮像面）の位置を指す。視点は、被写体を視認する位置であり、カメラの位置を示すパラメータである。
なお、本実施形態では、基準カメラ１１Ａ及び非基準カメラ１１Ｂとしてカメラモジュールの代わりに単体のカメラ（カメラユニット）を備えてもよい。基準カメラ１１Ａ及び非基準カメラ１１Ｂの配置例については後述する。
【００２２】
車両速度検出部（速度検出部）１２は、距離測定装置１を搭載する車両（以下、「自車両」と言うことがある。）の速度を検出する。車両速度検出部１２は、既存の速度計から自車両の速度を示す電気的な速度信号を検出して、この信号を距離測定部１３に出力する。
【００２３】
距離測定部１３は、車両速度監視部（以下、「速度監視部」と言うことがある。）１３２、形状既知物体位置検出部（以下、「位置情報算出部」と言うことがある。）１３３、多眼無限遠対応検出部（以下、「領域対応検出部」と言うことがある。）１３４、カメラ位置パラメータ算出部（以下、「位置パラメータ算出部」と言うことがある。）１３５、カメラ位置パラメータ判定部（以下、「位置パラメータ判定部」と言うことがある。）１３６、カメラ位置パラメータ記憶部（以下、「位置パラメータ記憶部」と言うことがある。）１３７及び距離算出部１３８を含んで構成される。距離測定部１３は、その他の構成部、即ち、撮影部１１及び車両速度検出部１２から着脱可能な単体の距離測定装置として構成されていてもよい。
【００２４】
車両速度監視部１３２は、車両速度検出部１２から入力された速度信号に基づいて自車両が停止しているか否かを判断する。車両速度監視部１３２は、入力された速度信号が、速度が０（ゼロ）であることを示す場合に、自車両が停止していると判定して、停止信号を生成する。車両速度監視部１３２は、生成した停止信号を、形状既知物体位置検出部１３３及び多眼無限遠対応検出部１３４に出力する。車両速度監視部１３２は、入力された速度信号が、或る速度であることを示す場合に、走行信号を生成する。車両速度監視部１３２は、生成した走行信号を、形状既知物体位置検出部１３３及び多眼無限遠対応検出部１３４に出力する。
【００２５】
形状既知物体位置検出部１３３は、撮影部１１から入力された画像信号に基づいて、各カメラに対する物体の相対位置を算出する。相対位置とは、基準となる物体（上述の例では、基準カメラ１１Ａ又は非基準カメラ１１Ｂ）に対する対象の物体の３次元相対座標値であり、３次元相対角度値を含んでいてもよい。
形状既知物体位置検出部１３３は、車両速度監視部１３２から停止信号が入力されるとき、基準カメラ１１Ａおよび非基準カメラ１１Ｂから画像信号を同時に受け入れる。
相対位置の算出対象となる物体は、形状既知物体である。形状既知物体とは形状及び大きさが既知の物体である。以下、形状既知物体が他の後続車両の「ナンバープレート」である場合を例にとって説明する。車両速度監視部１３２から停止信号が入力されるとき、形状既知物体位置検出部１３３は、相対位置の算出を行う。形状既知物体位置検出部１３３は、算出した相対位置を示す相対位置情報を生成し、生成した相対位置情報はカメラ位置パラメータ算出部１３５から読み出される。
【００２６】
多眼無限遠対応検出部１３４は、基準カメラ１１Ａおよび非基準カメラ１１Ｂから入力された画像信号が表す画像から、後述する多眼無限遠の距離にある物体の画像を示す多眼無限遠領域をそれぞれ検出する。
以下、基準カメラ１１Ａから形状既知物体位置検出部１３３および多眼無限遠対応検出部１３４へ入力された画像信号を基準画像信号と呼び、基準画像信号が表す画像を基準画像と呼ぶ。非基準カメラ１１Ｂから入力された画像信号を非基準画像信号と呼び、非基準画像信号が表す画像を非基準画像と呼ぶ。
多眼無限遠対応検出部１３４は、基準画像のうち検出した無限遠領域と、非基準画像のうち検出した無限遠領域との対応関係を示す多眼無限遠領域間対応情報（対応関係情報）を生成する。多眼無限遠領域間対応情報は、基準画像の無限遠領域に含まれる各座標と非基準画像の無限遠領域に含まれる座標との対応関係を示す情報である。つまり、多眼無限遠領域間対応情報は、基準画像の無限遠領域内に表された物体が表されている領域と、非基準画像の無限縁領域内において、その物体が表されている領域との対応関係を示す情報である。
多眼無限遠対応検出部１３４が生成した多眼無限遠領域間対応情報は、カメラ位置パラメータ算出部１３５から読み出される。多眼無限遠対応検出部１３４の構成については後述する。
【００２７】
ここで、多眼無限遠とは、基準画像における座標と非基準画像における対応する座標の差が予め定めた画素数（例えば、１ピクセル）以下となる座標に対応する距離である。但し、基準カメラ１１Ａ及び非基準カメラＢの光軸が互いに並行であり、それぞれのイメージセンサ（撮像素子）の水平方向が同一平面上にある場合を仮定する。つまり、多眼無限遠とは、互いに異なる視点で撮影された画像間の視差であって、当該視点間で有意な非零の視差が、検出されなくなる距離である。言い換えれば、画像間の視差に基づいて、各画像が表す物体の距離を判別できない遠い距離である。この距離は、カメラ間の位置関係、光学系，撮像系の特性（例えば画素ピッチ）に依存する。そのため、車両の発進、移動、停止の際の振動や時間の経過等に伴い基準カメラ１１Ａに対する非基準カメラ１１Ｂの相対位置（例えば、光軸の平行度、間隔、等）が変化すると、基準画像及び非基準画像において、多眼無限遠に存在する物体を表す領域が変化する。そこで、形状既知物体の位置情報に加えて、後述するように多眼無限遠領域間対応情報を用いてカメラ間の相対位置（例えば、光軸の相対方向）を用いてカメラパラメータのキャリブレーション(校正）を行う。このキャリブレーションを行ったカメラパラメータを用いることによって、撮影された物体までの距離に対する算出精度を向上させることができる。なお、多眼無限遠でない距離、つまり互いに異なる視点で撮影された画像間の視差のうち、有意な視差が検出される距離を多眼有限遠と呼ぶ。
なお、基準カメラ１１Ａ、非基準カメラ１１Ｂが視野角の広いレンズを備える場合、基準画像及び非基準画像のうち形状既知物体の画像が表される領域が小さくなる。そのため、形状既知物体の画像のみを用いてカメラパラメータのキャリブレーションを行うにしても、カメラ間の相対位置の算出精度が低くなる。そのため、カメラ間の相対位置を算出（後述）する際、多眼無限遠領域間対応情報を用いることによって算出精度を向上させることができる。
【００２８】
なお、形状既知物体位置検出部１３３、多眼無限遠対応検出部１３４は、移動している自車両が停止したと判断された直後に入力された画像信号を、それぞれ上述の処理に用いるようにしてもよい。ここで、形状既知物体位置検出部１３３、多眼無限遠対応検出部１３４は、車両速度監視部１３２から入力される信号が走行信号から停止信号へと再び遷移した直後に入力された画像を、それぞれ次回行われる処理で用いる。これにより、停止中に同一の被写体を同様な条件で撮影した画像信号を用いて同様な処理を反復することが回避される。これにより、精度の向上に無用な処理が回避されるため消費電力を低減することができる。
【００２９】
カメラ位置パラメータ算出部１３５は、形状既知物体位置検出部１３３から読み出した相対位置情報と多眼無限遠対応検出部１３４から読み出した多眼無限遠領域間対応情報に基づいて、カメラ位置パラメータを算出する。カメラ位置パラメータとは、カメラ間の相対位置の関係を示すパラメータである。つまり、カメラ位置パラメータは、基準カメラ１１Ａの視点を原点とした非基準カメラ１１Ｂの視点の３次元相対座標値（Ｘ，Ｙ，Ｚ）と、基準カメラ１１Ａの光軸の方向を基準とした非基準カメラ１１Ｂの光軸の方向の３次元相対角度値（θ，φ，ψ）からなる、計６個のパラメータを含む。
カメラ位置パラメータ算出部１３５は、算出したカメラ位置パラメータをカメラ位置パラメータ判定部１３６に出力する。カメラ位置パラメータを算出する処理については後述する。
【００３０】
カメラ位置パラメータ判定部１３６は、カメラ位置パラメータ算出部１３５から（新たに算出した）カメラ位置パラメータが入力され、カメラ位置パラメータ記憶部１３７から（キャリブレーションを行う前の）カメラ位置パラメータを読み出す。カメラ位置パラメータ判定部１３６は、入力されたカメラ位置パラメータと読み出したカメラ位置パラメータとを比較し、より適切なカメラ位置パラメータを判定し、より適切と判定したカメラ位置パラメータをカメラ位置パラメータ記憶部１３７に記憶する。カメラ位置パラメータ判定部１３６又はその他の構成部が行うカメラ位置パラメータ判定処理については後述する。
【００３１】
距離算出部１３８は、カメラ位置パラメータ記憶部１３７に記憶されているカメラ位置パラメータを読み出し、基準カメラ１１Ａ、非基準カメラ１１Ｂからそれぞれ画像信号が入力される。距離算出部１３８は、読み出したカメラ位置パラメータを用いて、基準カメラ１１Ａから入力された画像信号と非基準カメラ１１Ｂから入力された画像信号に基づいて、基準画像の画素毎にその画像に表されている物体までの距離を算出する。距離算出部１３８は、算出した距離を表す距離信号を距離測定部１３の外部に出力する。距離算出部１３８は、距離を算出する際、例えば三角測量の原理に基づく多眼距離測定方法を用いる。多眼距離測定方法については後述する。
【００３２】
（カメラの取付け位置の例）
次に、基準カメラ１１Ａ、非基準カメラ１１Ｂの取付け位置の例について説明する。
図２は、本実施形態における基準カメラ１１Ａ、非基準カメラ１１Ｂの取り付け位置を示す俯瞰図である。
図２の中央は、距離測定装置１を搭載する自車両２１を示す。図２の左側が自車両２１の後方を示し、図２の上下が自車両２１の左右を示す。
図２において基準カメラ１１Ａ、非基準カメラ１１Ｂは、自車両２１の後方部に光軸を後方に向けて設置されている。基準カメラ１１Ａ、非基準カメラ１１Ｂの左右方向及び高さ方向の座標は、互いにほぼ等しい。そのため、基準カメラ１１Ａの視野と非基準カメラ１１Ｂの視野の大部分が重複し、重複した領域にある物体が基準画像、非基準画像間で共通になる。これにより、基準画像、非基準画像には、自車両２１の後方の物体が表される。基準カメラ１１Ａ、非基準カメラ１１Ｂとして、画角の大きいレンズを備えたカメラを用いて撮影された基準画像、非基準画像は、運転者が自車両２１の後方の安全確認を行う上で好都合である。
【００３３】
なお、図２に示す例では、基準カメラ１１Ａ、非基準カメラ１１Ｂは、自車両２１の後方部に光軸を後方に向けて設置されているが、本実施形態ではこれには限られない。基準カメラ１１Ａ、非基準カメラ１１Ｂは、自車両２１の前方部に光軸を前方に向けて設置されていれもよい。また、基準カメラ１１Ａ、非基準カメラ１１Ｂは、自車両２１の左側面に光軸を左側に向けて設置されていてもよいし、自車両２１の右側面に光軸を右側に向けて設置されていてもよい。
【００３４】
（形状既知物体位置検出部の構成例）
次に、本実施形態に係る形状既知物体位置検出部１３３の構成例について説明する。
図３は、本実施形態に係る形状既知物体位置検出部１３３の構成例を表すブロック図である。形状既知物体位置検出部１３３は、形状既知物体検出部（以下、「物体検出部」と言うことがある。）１３３１、形状既知物体位置算出部（以下、「物体位置算出部」と言うことがある。）１３３２及び形状既知物体位置記憶部（以下、「物体位置記憶部」と言うことがある。）１３３３を含んで構成される。
【００３５】
形状既知物体検出部１３３１は、基準画像信号、非基準画像信号に基づいて、基準画像、非基準画像各々において形状既知物体の画像を表す領域を検出する。形状既知物体の画像を表す領域の検出において、形状既知物体検出部１３３１は、例えばテンプレートマッチング等、既知の方法を用いる。形状既知物体検出部１３３１は、例えば、入力された画像信号それぞれについてエッジ抽出等の２値化処理を行いエッジ部分とそれ以外の部分を定める。エッジ部分とは、輝度値の空間変化が予め定めた空間変化値よりも大きい画素の集合である。
【００３６】
以下、形状既知物体がナンバープレートである場合を例にとって説明する。形状既知物体検出部１３３１は、定めたエッジ部分（周辺部分）のうち形状が四辺形又は四辺形に近似するエッジ部分（以下、四辺形領域と呼ぶ）を検出する。ここで、形状既知物体検出部１３３１は、エッジ部分のうち空間的に閉じた領域を取り囲み、かつ、そのエッジ部分の曲率半径が予め定めた曲率半径よりも小さい部分（頂点）を４個有するエッジ部分を、形状が四辺形領域と判断する。この判断された四辺形領域がナンバープレートを表す領域の候補となる。
ナンバープレートの形状が長方形又は長方形に近似する形状（例えば、長方形の各頂点が丸みを帯びている図形）である場合、形状既知物体検出部１３３１は、パターン記憶部を備える。パターン記憶部には、ナンバープレートの形状を示す情報（例えば、長方形の水平方向の幅と垂直方向の幅との間の比率である縦横比）、ナンバープレートに表示する文字を示す文字パターンを予め記憶させておく。即ち、ナンバープレートを表す画像に係るパターン情報として記憶される情報は、ナンバープレートの形状を示す情報と文字パターンである。
形状既知物体検出部１３３１は、検出した四辺形領域を、例えば式（１）を用いて予め記憶された縦横比を有する長方形領域に射影変換する。
【００３７】
【数１】
2013257244.tif 000003
【００３８】
式（１）において、（Ｘ，Ｙ）は、変換前の四辺形領域の各頂点の座標値である。（Ｘ’，Ｙ’）は、変換後の長方形領域の各々対応する頂点の座標値である。係数ａ，ｂ，…，ｉは、変換係数である。係数ｓは、座標（Ｘ，Ｙ）ごとに算出される一時的な値である。形状既知物体検出部１３３１は、式（１）の左辺における（ｓＸ’，ｓＹ’，ｓ）のうち、第１列、第２列の要素値をそれぞれ、第３列の要素値である係数ｓで除算して、（Ｘ’，Ｙ’）を算出する。
形状既知物体検出部１３３１は、変換した長方形領域に配置された文字の画像と予め記憶された文字パターンと、を照合する。形状既知物体検出部１３３１は、それらの文字の画像について、文字パターンとの照合が全て、又は予め定めた個数よりも多い個数について成功した場合、検出した四辺形領域を、ナンバープレートを表す領域（ナンバープレート領域）と判断する。照合においては、例えば、比較対象のデータが類似する度合いを示す指標値が、予め定めた指標値よりも類似することを示す場合、照合に成功したと判断する。形状既知物体検出部１３３１は、例えばＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ、絶対差分和）を用いる。その場合、形状既知物体検出部１３３１は、ＳＡＤが所定の閾値より小さい場合に、照合が成功したと判定する。
【００３９】
なお、形状既知物体検出部１３３１は、車両速度監視部１３２から入力された停止信号が自車両の停止を表し、かつ検出対象のナンバープレートが停止している場合、ナンバープレート領域を表す形状既知物体領域情報を生成する。形状既知物体検出部１３３１は、生成した形状既知物体領域情報と上述の射影変換に用いた変換係数を形状既知物体位置算出部１３３２に出力する。
ここで、形状既知物体検出部１３３１は、基準画像信号に基づいてナンバープレートが停止しているか否かを判定する。ここで、形状既知物体検出部１３３１は、ナンバープレート領域に含まれる階調値の隣接するフレーム間の差分の合計値を算出し、算出した合計値が予め定めた閾値よりも小さいときナンバープレートが停止している（当該ナンバープレートを設置している車両が停止している）と判定する。これにより、ナンバープレート領域における階調値の変化が少ないことが検出される。形状既知物体検出部１３３１は、隣接するフレーム間の差分の代わりに、予め定めたフレーム数（例えば２フレーム）だけ離れたフレーム間の差分であってもよい。
【００４０】
ナンバープレートが停止していると判定するのは、カメラに対する撮影対象の物体の相対速度がゼロでないと、撮影された画像において、その物体の周辺に不鮮明な領域（ぶれ）が生じるためである。その物体がナンバープレートである場合、ナンバープレートの四辺の画像内座標を正確に定めることができない。そのため、ナンバープレートが停止されているとき、ナンバープレート領域を検出することで、ナンバープレートが表示されている位置を正確に検出できる。従って、自車両とナンバープレートが停止していることを判定し、停止しているときに取得した鮮明な画像を表す画像信号を用いることで、精度よくナンバープレート領域の算出を行うことができる。
【００４１】
形状既知物体位置算出部１３３２は、形状既知物体検出部１３３１から入力された形状既知物体領域情報及び変換係数に基づいて、それぞれ対応するカメラに対応するナンバープレートの相対位置を算出する。形状既知物体位置算出部１３３２は、基準カメラ１１Ａ、非基準カメラ１１Ｂそれぞれのカメラ内部パラメータとナンバープレートの大きさを示す大きさパラメータが予め記憶されている。大きさパラメータは、例えば、ナンバープレートの４辺の長さである。
形状既知物体位置算出部１３３２は、入力された形状既知物体領域情報並びに変換係数  と記憶されたカメラ内部パラメータ並びに大きさパラメータを利用して、各カメラに対するナンバープレートの方向を算出する。
【００４２】
ここで、形状既知物体位置算出部１３３２は、形状既知物体検出部１３３１から入力された変換係数ａ，ｂ，…，ｉに基づいて、各カメラに対するナンバープレートの相対３次元角度方向を算出する。この変換係数を要素として含む変換行列は、各カメラを基準としたナンバープレートの方向を示す。形状既知物体位置算出部１３３２は、この変換行列に基づいて３次元相対角度方向（θ，φ，ψ）を、式（２）を満足するように算出する。
【００４３】
【数２】
2013257244.tif 000004
【００４４】
形状既知物体位置算出部１３３２は、算出した相対３次元角度方向に基づいて各カメラからナンバープレートまでの距離を算出する。ここで、形状既知物体位置算出部１３３２は、予め記憶した大きさパラメータ、カメラ内部パラメータ、算出した相対３次元角度方向及び各カメラからナンバープレートまでの仮の相対距離に基づいて仮のナンバープレート領域の大きさを算出する。そして、形状既知物体位置算出部１３３２は、算出した仮のナンバープレート領域の大きさと、入力された形状既知物体領域情報が示す形状既知物体領域の大きさが同一になるような仮の相対距離を算出する。形状既知物体位置算出部１３３２は、算出した仮の相対距離を各カメラからナンバープレートまでの距離と定める。形状既知物体位置算出部１３３２は、各カメラについて算出した相対３次元角度方向と各カメラからナンバープレートまでの距離を示す情報を形状既知物体位置情報として生成し、生成した形状既知物体位置情報を形状既知物体位置記憶部１３３３に記憶する。
【００４５】
形状既知物体位置記憶部１３３３は、形状既知物体位置算出部１３３２が記憶させた形状既知物体位置情報を過去の予め定めた個数（例えば、１０個）だけ記憶する。また、形状既知物体位置記憶部１３３３に記憶された形状既知物体位置情報は、カメラ位置パラメータ算出部１３５から上述の相対位置情報として読み出される。
【００４６】
ここで、形状既知物体位置算出部１３３２が各カメラからナンバープレートまでの距離を算出する原理について図４を用いて説明する。
図４は、ナンバープレートまでの距離を算出する際の透視投影カメラモデルを示す概念図である。
図４において、７１はカメラの焦点、７２はカメラが備えるイメージセンサの表面である画像面、７３はナンバープレートが表示されている領域（形状既知物体領域）をそれぞれ示す。７４１、７４２、７４３は、それぞれ異なる仮の相対距離におかれたナンバープレートを示す。７４１、７４２、７４３の順で、仮の相対距離が小さくなる。
ここで、ナンバープレートの相対方向は既知であるから、形状既知物体位置算出部１３３２は、ナンバープレート領域の１点が常に画像内の同一の座標に投影されるように、仮の相対距離を変化（探索）させる。ナンバープレート領域の１点とは、図３に示す例ではナンバープレート領域の左端である。７４１に示されるように、仮の相対距離が、実際の相対距離よりも長い場合、画像面７２に投影されるナンバープレートの画像は、形状既知物体の画像よりも狭くなる。７４３に示されるように、仮の相対距離が、実際の相対距離よりも短い場合、画像面７２に投影されるナンバープレートの画像は、形状既知物体の画像よりも広くなる。７４２に示されるように、仮の相対距離が、実際の相対距離と同一の場合、画像面７２に投影されるナンバープレートの画像は、形状既知物体の画像と重なり合う。従って、形状既知物体位置算出部１３３２は上述の処理を行うことによってナンバープレートまでの距離を算出することができる。
【００４７】
（多眼無限遠対応検出部の構成例）
次に、本実施形態における多眼無限遠対応検出部１３４の構成例について説明する。
図５は、本実施形態における多眼無限遠対応検出部１３４の構成例を表すブロック図である。多眼無限遠対応検出部１３４は、多眼無限遠領域検出部１３４１、明るさ検出部１３４２、照明制御部１３４３、領域間対応検出部１３４４、及び領域間対応記憶部１３４５を含んで構成される。
【００４８】
多眼無限遠領域検出部１３４１は、基準カメラ１１Ａから入力された基準画像信号、非基準カメラＢから入力された非基準画像信号からそれぞれ多眼無限遠領域を検出する。多眼無限遠領域検出部１３４１は、検出した多眼無限遠領域を表す多眼無限遠領域情報を生成し、生成した多眼無限遠領域情報を領域間対応検出部１３４４に出力する。
ここで、多眼無限遠領域検出部１３４１は、照明制御部１３４３から入力された照明制御信号が点灯を示す場合、入力された基準画像信号（又は非基準画像信号）を点灯時画像信号として保持する。多眼無限遠領域検出部１３４１は、照明制御部１３４３から入力された照明制御信号が消灯を示す場合、入力された基準画像信号（又は非基準画像信号）を消灯時画像信号として保持する。ここで、照明制御信号は、照明装置（図示せず）を点灯させること（点灯）又は照明を消灯させること（消灯）を示す信号である。
多眼無限遠領域検出部１３４１は、保持した点灯時画像信号と消灯時画像信号との間における画素毎の階調値の差分が予め定めた差分値の閾値よりも小さい領域、つまり階調値の変化がない又は少ない領域を多眼無限遠領域と定める。これは、カメラに近接する物体ほど、照明装置が放射した光を反射するために輝度が大きくなり、多眼無限遠にある物体には照明装置が放射した光がほとんど到達しないため輝度がほとんど大きくならないことに基づく。  
なお、多眼無限遠領域検出部１３４１は、点灯を示す照明制御信号が入力された時刻が、消灯を示す照明制御信号が入力された時刻の先後に関わらず、点灯時画像信号と消灯時画像信号に基づいて多眼無限遠領域と定めることができる。
【００４９】
多眼無限遠領域検出部１３４１は、明るさ検出部１３４２から入力された照度に基づいて上述の差分値の閾値を定める。ここで、多眼無限遠領域検出部１３４１は、照度が高いほど大きく、照度が低いほど小さくなるように差分値の閾値を定める。多眼無限遠領域検出部１３４１は、予め照度と差分値の閾値を対応付けて記憶させた記憶部を備え、入力された照度に対応した差分値の閾値を読み出す。周囲の明るさが明るすぎる場合、照明装置を点灯しても階調値が有意に変化しない。また、暗すぎる場合、基準画像又は非基準画像から多眼無限遠の物体を表す画像が認識されない。このため、明るさ検出部１３４２から入力された照度に応じた差分値の閾値を用いることにより適切に多眼無限遠領域を検出することができる。
【００５０】
また、多眼無限遠領域検出部１３４１は、車両速度監視部１３２から入力された停止信号が、自車両が停止したことを示すときに上述の多眼無限遠領域を検出する処理を行う。これにより正確に多眼無限遠領域を検出できる。これに対し、多眼無限遠領域検出部１３４１は、点灯時と消灯時の間に自車両が移動（例えば、回転）すると、画像内座標上で多眼無限遠に存在する物体の画像が移動してしまう。そのため、点灯時画像信号と消灯時画像信号間で画像に表される物体が異なってしまい、正しく多眼無限遠領域を検出することができない。
【００５１】
多眼無限遠領域検出部１３４１は、形状既知物体位置算出部１３３２から入力された形状既知物体位置情報に基づいて、多眼有限遠の距離にナンバープレートが存在するか否かを判定する。ナンバープレートが存在しないと判定されたとき、多眼無限遠領域検出部１３４１は、上述の多眼無限遠領域の検出を開始する。多眼有限遠の距離にナンバープレートが存在するか否かを判定する際、多眼無限遠領域検出部１３４１は、形状既知物体位置情報が示す形状既知物体の位置に係る当該カメラからの距離が、多眼有限遠となる距離の閾値よりも小さいことをもって判定する。多眼無限遠領域検出部１３４１には、予め多眼無限遠となる距離の閾値を予め設定しておく。この距離の閾値は、基準カメラ１１Ａと非基準カメラ１１Ｂの間の距離（基線長）、各カメラの画角及び解像度によって定まる値である。なお、この距離の閾値よりも大きい距離が多眼無限遠となる距離である。これにより、多眼無限遠領域検出部１３４１は、多眼有限遠の距離に他車両（例えば、先行車両）のナンバープレートが存在しないと判定されたとき多眼無限遠領域を検出する。多眼有限遠の距離に他車両のナンバープレートが存在しないと判定されたときには、その他の物体が多眼有限遠の距離にないことが多いため、多眼無限遠領域がより広い傾向がある。このため、多眼有限遠の距離に他車両のナンバープレートが存在しないと判定されたときに、より広い多眼無限遠領域を検出することで領域間対応検出部１３４４において多眼無限遠領域間対応情報が誤検出となる確率を低減することができる。
【００５２】
明るさ検出部１３４２は、基準カメラ１１Ａから入力された基準画像信号に基づいて算出した階調値の画像内平均値と露出量に基づいて基準画像が表す物体の明るさ（周囲の明るさ）を示す照度を検出する。露出量は、基準カメラ１１Ａが備えるイメージセンサが受けうる光の量（絞り値、Ｆ値）と１フレーム当たりの露光時間によって定まるパラメータである。明るさ検出部１４２には、予め露出量を設定しておき、さらに階調値の画像内平均値並びに露出量と照度との対応関係を示す明るさ検出情報を自部が備える記憶部に予め記憶させておく。明るさ検出部１４２は、算出した階調の画像内平均値と設定された露出量に対応する照度を記憶部から読み出し、読み出した照度を多眼無限遠領域検出部１３４１に出力する。これにより、基準画像が表す物体の明るさを検出することができる。
本実施形態では、本来多眼無限遠である領域が多眼無限遠でないと検出されたか否かは、
多眼無限遠の領域がある程度広く検出され、本来多眼無限遠でない領域が多眼無限遠であると検出されていなければ、多眼無限遠領域間対応情報の生成結果への影響が限られる。そこで、明るさ検出部１４２は、本来多眼無限遠ではない領域において多眼無限遠であると検出されない程度の明るさを示す照度を検出する。これにより、多眼無限遠領域間対応情報が適切に算出される。
【００５３】
照明制御部１３４３は、自車両に設置された照明装置（図示せず）を点灯させるか否かを制御する。照明制御部１３４３は、予め定めた時間間隔もしくは使用者による操作入力に基づいて照明装置の点灯又は消灯を示す照明制御信号を生成する。照明制御部１３４３は、生成した照明制御信号を多眼無限遠領域検出部１３４１及びスイッチ部（図示せず）に出力する。スイッチ部は、照明装置への電力の供給の有無を切り替える。即ち、照明制御部１３４３から入力された照明制御信号が点灯を示す場合、スイッチ部は、照明装置に電力を供給し、当該照明制御信号が消灯を示す場合、スイッチ部は、照明装置に電力の供給を停止する。従って、照明制御信号が点灯を示す場合、照明装置は光を放射し、照明制御信号が消灯を示す場合、照明装置は光を放射しない。
【００５４】
照明装置は、自車両の後方部に設置され、後方に向けて光を放射する照明装置である。照明装置は、自車両の製造時に予め設置された照明装置（例えば、バックライト）であってもよいし、出荷後に設置された照明装置であってもよい。但し、当該照明装置は多眼無限遠検出に用いるため多眼無限遠と多眼有限遠との間の閾値となる距離と同程度まで到達するのに十分な光量が求められる。そのため、当該照明装置として光量が大きいフラッシュライトを用いることが望ましい。通常のフラッシュライトが放射する光は、後続車両を運転する運転手による視認を妨げるおそれがあるため、当該照明装置として赤外線等の不可視光を放射する不可視光フラッシュライトを用いてもよい。当該照明装置として不可視光フラッシュライトが用いられる場合、基準カメラ１１Ａ、非基準カメラ１１Ｂは、上述のイメージセンサとして照明装置が放射する不可視光を検出するイメージセンサを備える。
【００５５】
領域間対応検出部１３４４は、多眼無限遠領域検出部１３４１から入力されたカメラ毎の多眼無限遠領域情報に基づき、多眼無限遠領域間対応情報を生成する。多眼無限遠領域間対応は、基準画像と非基準画像との間の透視変換を示す対応関係と考えることができる。透視変換とは、ある視点から観測された３次元の空間を表す２次元の画像を他の視点から観測されたその３次元の空間を表す２次元の画像への変換である。そこで、領域間対応検出部１３４４は、例えば、基準画像、非基準画像の多眼無限遠領域各々について既存の特徴点検出法を用いて、それぞれ特徴点を検出し、検出した各特徴点の基準画像、非基準画像間の対応関係を４点について検出する。領域間対応検出部１３４４は、例えば、各画像についてＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）特徴量を用いて特徴点を検出する。本実施形態では、ＳＵＲＦ特徴量に限らず、他の特徴量を用いて特徴点を検出してもよい。用いられる特徴量は、画像の回転等の線形変換に頑健であり、特徴点の誤検出が少ない特徴量であればよい。その後、領域間対応検出部１３４４は、各画像での特徴点の集合を表す４次元の特徴ベクトル間の距離が最も小さくなるように特徴点間の対応関係を探索する。領域間対応検出部１３４４は、検出した４点の特徴点の対応関係に基づいて２次元の透視変換行列を算出する。領域間対応検出部１３４４は、算出した透視変換行列を多眼無限遠領域間対応情報として領域間対応記憶部１３４５に記憶する。
【００５６】
領域間対応記憶部１３４５は、領域間対応検出部１３４４が記憶させた多眼無限遠領域間対応情報を過去の予め定めた個数（例えば、１０個）記憶する。また、領域間対応記憶部１３４５に記憶された多眼無限遠領域間対応情報は、カメラ位置パラメータ算出部１３５から読み出される。
【００５７】
なお、上述では、照明装置の点灯時、消灯時にそれぞれ入力された画像信号を用いて多眼無限遠領域を検出する場合を例にとって説明したが、本実施形態ではこれには限られない。例えば、各カメラの方向が回転しないように自車両が移動したとき、多眼無限遠領域検出部１３４１は、移動前後に入力された画像信号間において階調値の変化量が予め定めた変化量の閾値よりも小さい領域を多眼無限遠領域と定めてもよい。ここで、車両速度監視部１３２は、車両速度検出部１２から入力された速度信号に基づいて自車両が減速して停止する直前、即ち自車両が停止した時刻から予め定めた時間（例えば、５秒）だけ先行する時刻（先行時刻）を検知する。多眼無限遠領域検出部１３４１は、検知した先行時刻に入力された画像信号と自車両が停止している時刻に入力された画像信号に基づいて、多眼無限遠領域を定めてもよい。
同様にして、車両速度監視部１３２は、車両速度検出部１２から入力された速度信号に基づいて自車両の発車直後、即ち自車両が移動を開始した時刻から予め定めた時間（例えば、５秒）だけ遅れた時刻（後続時刻）を検知してもよい。この場合、多眼無限遠領域検出部１３４１は、検知した後続時刻に入力された画像信号と自車両が停止している時刻に入力された画像信号に基づいて、多眼無限遠領域を定める。
【００５８】
（カメラ位置パラメータを算出する処理）
次に、本実施形態に係るカメラ位置パラメータ算出部１３５が行うカメラ位置パラメータの算出方法について説明する。
カメラ位置パラメータ算出部１３５は、形状既知物体位置記憶部１３３３から形状既知物体位置情報を、領域間対応記憶部１３４５から多眼無限遠領域間対応情報を、それぞれ過去の予め定めた回数分読み出す。カメラ位置パラメータ算出部１３５は、カメラ位置パラメータ算出部１３５は、読み出した形状既知物体位置情報及び多眼無限遠領域間対応情報に基づいてカメラ位置パラメータを算出する。カメラ位置パラメータ算出部１３５は、算出したカメラ位置パラメータを、その回数で平均化したカメラ位置パラメータを算出してもよい。
【００５９】
カメラ位置パラメータ算出部１３５は、例えば、非線形最適化計算を用いて基準カメラ１１Ａに対する非基準カメラ１１Ｂの相対位置パラメータをカメラ位置パラメータとして算出する。非線形最適化計算とは、式（３）に示す予め定めた非線形関数ｆについて、関数値ｙを最小化する変数ベクトルｘを算出する演算である。
【００６０】
【数３】
2013257244.tif 000005
【００６１】
式（３）において、関数ｆを目的関数と呼ぶ。
次に、カメラ位置パラメータを算出する処理の例について説明する。
カメラ位置パラメータ算出部１３５は、読み出した形状既知物体位置情報から非基準カメラ１１Ｂに対するナンバープレートの３次元相対座標値（xＢ，yＢ, zＢ）を抽出する。カメラ位置パラメータ算出部１３５は、抽出した３次元相対座標値（xＢ，yＢ, zＢ）から式（２）を用いて基準カメラ１１Ａに対するナンバープレートの３次元相対座標値（xＡ，yＡ, zＡ）を算出する。
【００６２】
【数４】
2013257244.tif 000006
【００６３】
式（４）において、３次元相対座標値（xＢ，yＢ, zＢ）として検出されたナンバープレートの各頂点の座標値を代入することで、基準カメラ１１Ａに対する各頂点の座標値（xＡ，yＡ, zＡ）が算出される。
カメラ位置パラメータ算出部１３５は、算出した基準カメラ１１Ａに対する各頂点の座標値（xＡ，yＡ, zＡ）から、予め設定されたカメラ内部パラメータに基づいて基準画像上に当該頂点が表される座標値（ＸＢ，ＹＢ）を算出する。この算出された座標値（ＸＢ，ＹＢ）は、３次元空間から２次元空間である基準カメラ１１Ａの撮像面に投影された座標値であって、カメラ位置パラメータ（x，y, z，θ，φ，ψ）の関数とみることができる。
他方、カメラ位置パラメータ算出部１３５は、読み出した形状既知物体位置情報から基準画像に表されたナンバープレートの各頂点の座標値（ＸＡ，ＹＡ）を抽出する。
カメラ位置パラメータ算出部１３５は、座標値（ＸＢ，ＹＢ）の算出、座標値（ＸＡ，ＹＡ）の抽出を、上述した過去の予め定めた回数の各々について行う。ここで、４個の頂点ｋｎｐ、回数ｎｎｐを区別するために、これらの座標値を（ＸＡ，ｎｎｐ，ｋｎｐ，ＹＡ，ｎｎｐ，ｋｎｐ）、（ＸＢ，ｎｎｐ，ｋｎｐ，ＹＢ，ｎｎｐ，ｋｎｐ）と表す。
【００６４】
カメラ位置パラメータ算出部１３５は、算出されたナンバープレートの画像の各頂点の座標値（ＸＢ，ＹＢ）の抽出された座標値（ＸＡ，ＹＡ）に対する誤差を最小化するカメラ位置パラメータ（x，y, z，θ，φ，ψ）を算出する。この誤差を表す目的関数ｆ（x，y, z，θ，φ，ψ）の一例を式（５）に示す。
【００６５】
【数５】
2013257244.tif 000007
【００６６】
カメラ位置パラメータ算出部１３５は、目的関数ｆ（x，y, z，θ，φ，ψ）を最小化する位置パラメータ（x，y, z，θ，φ，ψ）を算出する際、例えば、ニュートン法などの非線形最適化計算法を用いる。これにより、カメラ位置パラメータ算出部１３５は、ナンバープレートが表示される画像を用いてカメラ位置パラメータを算出することができる。
【００６７】
その他、カメラ位置パラメータ算出部１３５は、目的関数ｆ（x，y, z，θ，φ，ψ）位置パラメータ（x，y, z，θ，φ，ψ）を算出する際、式（５）の目的関数に多眼無限遠領域間対応に基づく制約を加えた目的関数を用いてもよい。このような目的関数の一例を式（７）に示す。これにより、位置パラメータ（x，y, z，θ，φ，ψ）をより高い精度で算出することができる。
読み出した形状既知物体位置情報から基準画像、非基準画像に表されたナンバープレートの各頂点の座標値（ＸＡ，ＹＡ）、（ＸＢ，ＹＢ）を抽出する。入力された画像からナンバープレートが検出された領域は多眼無限遠領域に含まれるであるところ、抽出された各頂点の座標値をそれぞれ（ＸＡ∞，ＹＡ∞）、（ＸＢ∞，ＹＢ∞）と示す。カメラ位置パラメータ算出部１３５は、カメラ間の相対角度（θ，φ，ψ）の場合、座標値（ＸＢ∞，ＹＢ∞）に対応する基準画像における座標値（ＸＢＡ，ＹＢＡ）を、例えば式（６）を用いて算出する。
【００６８】
【数６】
2013257244.tif 000008
【００６９】
式（６）において、ＰＡ、ＰＢは、それぞれ基準カメラ１１Ａと非基準カメラ１１Ｂのカメラ内部パラメータ行列である。ＰＡ、ＰＢは、それぞれ各要素にカメラ内部パラメータを含む３列３列の行列である。
即ち、式（６）は、座標値（ＸＢ∞，ＹＢ∞）を透過変換して座標値（ＸＢＡ，ＹＢＡ）を算出することを示す。
カメラ位置パラメータ算出部１３５は、座標値（ＸＢＡ，ＹＢＡ）の算出、座標値（ＸＡ∞，ＹＡ∞）の抽出を、上述した過去の予め定めた回数の各々について行う。ここで、４個の頂点ｋｎ∞、回数ｎｎ∞を区別するために、これらの座標値を（ＸＢＡ，ｎｎ∞，ｋｎ∞，ＹＢＡ，ｎｎ∞，ｋｎ∞）、（ＸＡ∞，ｎｎ∞，ｋｎ∞，ＹＡ∞，ｎｎ∞，ｋｎ∞）と表す。
カメラ位置パラメータ算出部１３５は、算出した座標値（ＸＢＡ，ＹＢＡ）と抽出された座標値（ＸＡ∞，ＹＡ∞）との誤差の大きさが式（６）の目的関数に加えられた目的関数ｆ（x，y, z，θ，φ，ψ）を最小化する位置パラメータ（x，y, z，θ，φ，ψ）を算出する。この誤差の大きさが加えられた目的関数ｆ（x，y, z，θ，φ，ψ）は、式（７）で表される。
【００７０】
【数７】
2013257244.tif 000009
【００７１】
式（７）において右辺の第２項が、加えられた誤差の大きさを表す項である。この項は、多眼無限遠領域間対応に基づく制約を与える項である。
なお、カメラ位置パラメータ算出部１３５は、以下の処理を実行することで、過去の予め定めた回数分について算出されたナンバープレートの位置及び多眼無限遠領域間対応情報の中から誤って算出されたものを除外することができる。ここで、カメラ位置パラメータ算出部１３５は、算出したカメラ位置パラメータを用いて非基準カメラ１１Ｂに対する各ナンバープレートの相対位置に基づく基準画像におけるナンバープレートを表す領域の座標値を算出する。カメラ位置パラメータ算出部１３５は、算出した座標値と、入力された基準画像が表すナンバープレートを表す領域の座標値との差を算出する。
同様にして、カメラ位置パラメータ算出部１３５は、算出したカメラ間の相対角度値について多眼無限遠領域に含まれる座標のカメラ間における対応関係を表す対応関係情報と入力された多眼無限遠領域間対応情報との差を求める。カメラ位置パラメータ算出部１３５は、過去の予め定めた回数のそれぞれの回について、算出されたこれらの差の中で、最も差が大きい、もしくは、その差が予め定めた閾値を越えるような、ナンバープレートを表す領域の座標値及び対応関係情報を除外する。そして、カメラ位置パラメータ算出部１３５は、除外されずに残ったナンバープレートを表す領域の座標値及び対応関係情報に基づいてカメラ位置パラメータを算出する。これにより、ナンバープレートを表す領域の座標値及び対応関係情報の誤りによるカメラ位置パラメータの算出誤差を低減することができる。
【００７２】
（カメラ位置パラメータ判定処理）
次に、本実施形態に係るカメラ位置パラメータ判定処理について説明する。
図６は、本実施形態に係るカメラ位置パラメータ判定処理を表すフローチャートである。
（ステップＳ５１）形状既知物体位置検出部１３３は、入力された画像信号に基づいて、各カメラに対する形状既知物体、即ちナンバープレートの相対位置を算出する。ここで、形状既知物体位置検出部１３３は、各画像においてナンバープレートが表されている領域を検出する。その後、ステップＳ５２に進む。
（ステップＳ５２）形状既知物体位置検出部１３３は、検出された領域に係るナンバープレートがキャリブレーション時に用いられたナンバープレートとは異なるナンバープレートであるか否かを判断する。キャリブレーション時に用いられたナンバープレートとは、カメラ位置パラメータ記憶部１３７に記憶されたカメラ位置パラメータを算出するために用いた画像に表されたナンバープレートである。キャリブレーション時に用いられたナンバープレートとは異なるナンバープレートであるか否かの判断は、ナンバープレートに表示されている番号が同一かどうかをもって判断する。形状既知物体位置検出部１３３は、ナンバープレートに表示されている番号を、形状既知物体検出部１３３１が認識した文字を用いて特定する。キャリブレーション時に用いられたナンバープレートと異なるナンバープレートを用いることで、ナンバープレートの個体差や変形が考慮されるのでカメラ位置パラメータの算出精度の低下を免れる。その後、ステップＳ５３に進む。
【００７３】
（ステップＳ５３）距離算出部１３８は、キャリブレーション前のカメラ位置パラメータを用いて基準画像及び非基準画像に表されたナンバープレートまでの距離を算出する。キャリブレーション前のカメラ位置パラメータとは、カメラ位置パラメータ記憶部１３７に記憶されたカメラ位置パラメータである。距離の算出において、三角測量の原理に基づく多眼距離測定方法を用いる。距離算出部１３８は、ナンバープレートが表示されている領域に含まれる画素毎に算出された距離を平均した平均値、又はその領域の重心点に係る画素について算出された距離を、距離の代表値として採用する。この採用された距離の代表値を距離１と呼ぶ。その後、ステップＳ５４に進む。
（ステップＳ５４）距離算出部１３８は、カメラ位置パラメータ算出部１３５が新たに算出したカメラ位置パラメータを用いて基準画像及び非基準画像に表されたナンバープレートまでの距離を、ステップＳ５３で用いた方法と同じ方法で算出し、距離の代表値を採用する。この採用された距離の代表値を距離２と呼ぶ。その後、ステップＳ５５に進む。
（ステップＳ５５）形状既知物体位置検出部１３３は、基準画像及び非基準画像から検出されたナンバープレートが表示されている領域を検出し、各カメラから検出された領域に係るナンバープレートまでの相対位置に基づいて距離を算出する。形状既知物体位置検出部１３３は、算出した距離をカメラ間で平均した平均値を算出する。この算出された平均値を距離３と呼ぶ。その後、ステップＳ５６に進む。
【００７４】
（ステップＳ５６）カメラ位置パラメータ判定部１３６は、距離１と距離２のうち、どちらが距離３に近いかを判断する。距離１の方が距離３に近いと判断された場合、ステップＳ５７に進む。距離２の方が距離３に近いと判断された場合、ステップＳ５８に進む。
（ステップＳ５７）カメラ位置パラメータ判定部１３６は、カメラ位置パラメータ算出部１３５が新たに算出したカメラ位置パラメータを採用せず、カメラ位置パラメータ記憶部１３７に保存される内容をそのまま変更しない。その後、処理を終了する。
（ステップＳ５８）カメラ位置パラメータ判定部１３６は、カメラ位置パラメータ算出部１３５が新たに算出したカメラ位置パラメータをカメラ位置パラメータ記憶部１３７に記憶する。その後、処理を終了する。
【００７５】
なお、本実施形態では、ナンバープレートの検出毎に上述の処理を行ってもよいが、これには限られない。予め定めた複数回のナンバープレートの検出毎にステップＳ５１〜５６を実行してもよい。この場合、ステップＳ５６において、カメラ位置パラメータ判定部１３６は、距離３により近い距離が距離１、距離２である回数をそれぞれ計数する。カメラ位置パラメータ判定部１３６は、計数された回数が多いほうの距離を選択する。そして、選択された距離が距離１か距離２によって、ステップＳ５７とステップＳ５８のうち実行するステップを選択する。これにより、ステップＳ５６の判定の安定性を向上することができる。
【００７６】
これにより、新たに算出されたカメラ位置パラメータとカメラ位置パラメータ記憶部１３７に保存された既存のカメラ位置パラメータが比較される。比較によって選ばれたカメラ位置パラメータがキャリブレーション結果としてカメラ位置パラメータ記憶部１３７に保存される。これにより、ナンバープレートの検出誤りや多眼無限遠領域間対応情報の算出誤り、振動等によるカメラ位置のずれ等によるカメラ位置パラメータの算出精度の低下を回避することができる。つまり適切なキャリブレーション結果としてのカメラ位置パラメータがカメラ位置パラメータ記憶部１３７に保存される。この保存されたカメラ位置パラメータを用いて、距離算出部１３８は、基準画像及び非基準画像が表す被写体までの距離を精度よく算出することができる。
【００７７】
（多眼距離測定方法）
次に三角測量の原理を用いた多眼距離測定方法について説明する。三角測量の原理によれば、ある基線の両端にある各点から測定対象物までの方向を測定し、その基線の長さと測定された方向に基づいてその測定対象物の位置を定めることができる。
図７は、多眼距離測定方法に用いる透視投影カメラモデルを示す概念図である。
図７において、基準カメラ１１Ａ、非基準カメラ１１Ｂを破線で描かれた矩形で示す。
図７の中央上方の点６０５、６０８は、測定対象物の表面における各点の３次元座標６０５、６０８をそれぞれ示す。基準カメラ１１Ａ、非基準カメラ１１Ｂに含まれる点６０１、６０２は、それぞれ基準カメラ１１Ａ、非基準カメラ１１Ｂの焦点（視点）を示す。基準カメラ１１Ａ、非基準カメラ１１Ｂに含まれる右斜め下に向かう線分、左斜め下に向かう線分は、それぞれイメージセンサの表面である画像面６０２、６０３である。焦点６０１と画像面６０２との間の相対位置関係、焦点６０４と画像面６０３との間の相対位置関係は、カメラ位置パラメータ、各カメラの内部パラメータによって定められる。
【００７８】
焦点６０１ならびに３次元座標６０５を結ぶ線分と画像面６０２との交点、焦点６０４ならびに３次元座標６０５を結ぶ交点は、それぞれ、３次元座標６０５を表す画像の座標である画像内座標６０６、６０７を示す。
焦点６０１ならびに３次元座標６０８を結ぶ線分６１０と画像面６０２との交点、焦点６０４ならびに３次元座標６０８を結ぶ線分６１１と画像面６０３との交点は、それぞれ、３次元座標６０８を表す画像の座標である画像内座標６０６、６０９を示す。但し、図７に示す例では、焦点６０１ならびに３次元座標６０５を結ぶ線分と焦点６０１ならびに３次元座標６０８を結ぶ線分とが重複している。そのため、これらの線分と画像面６０２との交点である画像内座標６０６は、３次元座標６０５、６０８間で共通である。
【００７９】
３次元座標６０５が到来した光を各方向に均等に乱反射する物体の表面上にある場合、画像内座標６０６、６０７間で階調値は、ほぼ等しくなる。そこで、距離算出部１３８では、画像内座標６０６を通る線分６１０上に物体の表面が存在すると仮定し、画像内座標６０６における階調値と、これに対応する画像内座標６０７における階調値の差分が最も小さくなるような３次元座標を探索する。これにより、この差分が最小である３次元座標が物体表面の一点であることが認定される。距離算出部１３８、これを基準画像の座標毎に繰り返すことで被写体表面までの距離を算出することができる。
なお、この原理に基づく方法として、距離算出部１３８は基準画像信号と非基準画像信号との間でブロックマッチングを実行して、画素毎に視差値を算出してもよい。但し、距離算出部１３８は、ブロックマッチングを実行する前に基準画像信号、非基準画像信号それぞれについて、それぞれのカメラ内部パラメータに基づいて平行化する。平行化とは、各画像のエピポーラ線を水平にし、レンズによる画像の歪を補正することである。これによりブロックマッチングにおいてブロックを探索する領域（視差値の候補）を水平方向に限定することができる。距離算出部１３８は、算出した視差値から、カメラ内部パラメータである画素ピッチ、カメラ位置パラメータである基線長に基づいて画素毎に距離を算出する。
【００８０】
上述では、形状既知物体としてナンバープレートを用いる場合を例にとって説明したが、本実施形態では、大きさ、形状が定まっている物体であれば、その他の物体、例えば、交通信号機、交通標識等を用いてもよい。
上述では、基準カメラ１１Ａは左側のカメラモジュールであり、非基準カメラ１１Ｂは右側のカメラモジュールである場合を例にとって説明した。本実施形態では、基準カメラ１１Ａは右側のカメラモジュールであり、非基準カメラ１１Ｂは左側のカメラモジュールであってもよい。
【００８１】
以上で説明したように、本実施形態によれば、形状既知物体によるカメラ位置パラメータの算出と、多眼無限遠領域間対応によるカメラ位置パラメータの算出を併用して、キャリブレーションの対象であるカメラ位置パラメータの算出精度を向上させることができる。算出したカメラ位置パラメータを用いることで、多視点画像による距離の算出を精度よく行うことができる。
また、本実施形態では、キャリブレーションに用いる画像を自車両の停止ごとに取得することで、被写体とカメラとの位置関係が固定されている、より多くの条件のもとで撮影された画像をキャリブレーションに利用することができる。これにより、高精度なキャリブレーションが可能となる。
また、本実施形態では、形状既知物体が多眼有限遠の距離に存在しないと判断されたときに、多眼無限遠領域間対応の検出を行う。これにより、多眼無限遠領域間対応関係を誤算出する可能性を低減し、カメラ位置パラメータの誤算出を防ぐことができる。
さらに、本実施形態では、キャリブレーションに用いた形状既知物体と異なる形状既知物体を利用してカメラ位置パラメータ算出結果を検証する。これにより、算出精度がより優れるカメラ位置パラメータを保存できるので、パラメータを誤算出による距離の算出精度の低下を防ぐことができる。以上により、カメラ位置パラメータの算出精度が向上し、より正確な距離測定が可能な距離測定装置を実現することができる。
【００８２】
なお、上述した実施形態における距離測定部１３の一部、例えば、車両速度監視部１３２、形状既知物体位置検出部１３３、多眼無限遠対応検出部１３４、カメラ位置パラメータ算出部１３５、カメラ位置パラメータ判定部１３６、及び距離算出部１３８をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、距離測定部１３に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における距離測定部１３の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。距離測定部１３の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００８３】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００８４】
１        距離測定装置
１１      撮影部
１１Ａ    基準カメラ
１１Ｂ    非基準カメラ
１２      車両速度検出部
１３      距離測定部
１３２    車両速度監視部
１３３    形状既知物体位置検出部
１３４    多眼無限遠対応検出部
１３５    カメラ位置パラメータ算出部
１３６    カメラ位置パラメータ判定部
１３７    カメラ位置パラメータ記憶部
１３８    距離算出部
１３３１  形状既知物体検出部
１３３２  形状既知物体位置算出部
１３３３  形状既知物体位置記憶部
１３４１  多眼無限遠領域検出部
１３４２  明るさ検出部
１３４３  照明制御部
１３４４  領域間対応検出部
１３４５  領域間対応記憶部
【図１】
2013257244.tif 000010
【図２】
2013257244.tif 000011
【図３】
2013257244.tif 000012
【図４】
2013257244.tif 000013
【図５】
2013257244.tif 000014
【図６】
2013257244.tif 000015
【図７】
2013257244.tif 000016