(57)【要約】【課題】  ハードウエア的な速度の速いステレオカメラ装置を使用することなく、検出速度を上げることができる対象物の位置決定方法を提供する。【解決手段】  最初の２回の測定においては、従来と同じような測定を行うが、３回目の測定においては、一方のカメラのみを用いて測定を行い、他方のカメラについては、今までの対象物の移動軌跡から現在の位置を予測し、それから画像位置を予測する。このようにして、一方のカメラの実測画像位置、他方のカメラの予測画像位置を用いて、ステレオ計測により対象物の位置を決定する。３回目以降は、この動作を、実測するカメラを交互に切り換えて行う。これにより、計測速度を向上させることができる。【選択図】  図４
2007147424.tif 000002
【特許請求の範囲】
【請求項１】
互いの光軸が平行となるように設置され、特定の基線長を持つ、対をなす２つのカメラを有するステレオ画像入力手段と、前記画像入力手段から得られた２つの画像から対象物の位置を検出する手段を備えたステレオカメラ装置において、空間に前記光軸方向をＺ軸方向とするＸ−Ｙ−Ｚ３次元直交座標系をとるとき、Ｙ方向の位置については、前記２つの画像のうち一方の像の位置が定まれば、他の画像の像の位置が定まるように、前記画像の座標系が形成されているものにおいて対象物の位置を測定する方法であって、所定のタイミング以降においては、一方のカメラのみで撮像を行って画像（一眼画像）を得ると共に、それまでに決定された複数時間における前記対象物の位置から、前記対象物の位置を仮決定し、それから、他方のカメラで撮像されるべき画像の位置を算出し、算出された画像と前記一眼画像を用いて、前記対象物の位置を決定する動作を、前記２つのカメラを交互に使用して行う工程を有することを特徴とするステレオカメラ装置を用いた対象物の位置測定方法。
【請求項２】
互いの光軸が平行となるように設置され、特定の基線長を持つ、対をなす３つ以上のカメラを有するステレオ画像入力手段と、前記画像入力手段から得られた画像のうち２つの画像から対象物の位置を検出する手段を備えたステレオカメラ装置において、空間に前記光軸方向をＺ軸方向とするＸ−Ｙ−Ｚ３次元直交座標系をとるとき、Ｙ方向の位置については、前記２つの画像のうち一方の像の位置が定まれば、他の画像の像の位置が定まるように、前記画像の座標系が形成されているものにおいて対象物の位置を測定する方法であって、所定のタイミング以降においては、１つのカメラのみで撮像を行って画像（一眼画像）を得ると共に、それまでに決定された複数時間における前記対象物の位置から、前記対象物の位置を仮決定し、それから、他方のカメラで撮像されるべき画像の位置を算出し、算出された画像と前記一眼画像を用いて、前記対象物の位置を決定する動作を、撮像は、すべてのカメラをサイクリックに使用して行い、前記他方のカメラとして、前記カメラのうち２つのカメラを交互に使用して行う工程を有することを特徴とするステレオカメラ装置を用いた対象物の位置測定方法。
【請求項３】
互いの光軸が平行となるように設置され、特定の基線長を持つ、対をなす２つのカメラを有するステレオ画像入力手段と、前記画像入力手段から得られた２つの画像から対象物の位置を検出する手段を備えたステレオカメラ装置において、空間に前記光軸方向をＺ軸方向とするＸ−Ｙ−Ｚ３次元直交座標系をとるとき、Ｙ方向の位置については、前記２つの画像のうち一方の像の位置が定まれば、他の画像の像の位置が定まるように、前記画像の座標系が形成されているものにおいて対象物の位置を測定する方法であって、所定のタイミング以降においては、一方のカメラのみで撮像を行って画像（一眼画像）を得ると共に、他方のカメラにおいては、それまでに決定された複数時間における前記対象物画像の位置から、他方のカメラで撮像されるべき画像の位置を算出し、算出された画像と前記一眼画像を用いて、前記対象物の位置を決定する動作を、前記２つのカメラを交互に使用して行う工程を有することを特徴とするステレオカメラ装置を用いた対象物の位置測定方法。
【請求項４】
互いの光軸が平行となるように設置され、特定の基線長を持つ、対をなす３つ以上のカメラを有するステレオ画像入力手段と、前記画像入力手段から得られた画像のうち２つの画像から対象物の位置を検出する手段を備えたステレオカメラ装置において、空間に前記光軸方向をＺ軸方向とするＸ−Ｙ−Ｚ３次元直交座標系をとるとき、Ｙ方向の位置については、前記２つの画像のうち一方の像の位置が定まれば、他の画像の像の位置が定まるように、前記画像の座標系が形成されているものにおいて対象物の位置を測定する方法であって、所定のタイミング以降においては、１つのカメラのみで撮像を行って画像（一眼画像）を得ると共に、他方のカメラにおいては、それまでに決定された複数時間における前記対象物画像の位置から、算出された画像と前記一眼画像を用いて、前記対象物の位置を決定する動作を、撮像は、すべてのカメラをサイクリックに使用して行い、前記他方のカメラとして、前記カメラのうち２つのカメラを交互に使用して行う工程を有することを特徴とするステレオカメラ装置を用いた対象物の位置測定方法。
【請求項５】
前記所定のタイミングが、外部から与えられることを特徴とする請求項１から請求項４のうちいずれか１項に記載の対象物の位置測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラ装置を使用した対象物の位置決定方法に関するものである。
【背景技術】
【０００２】
ステレオカメラ装置を使用して、対象物の位置を測定する方法は、広く行われている。特に、自動車関係においては、自車周辺にある物体の位置や、搭乗者の位置を監視するのに用いられている。
【０００３】
このような使用目的の１つに、エアバッグの展開制御がある。エアバッグの普及に伴い、衝突時の安全性が向上する一方、エアバッグ展開時の衝撃による事故が希に発生している。そこで、搭乗者の位置を監視し、搭乗者の位置や姿勢が、エアバッグを急速展開させると事故につながると思われるような場合には、エアバッグをソフト展開させたり、展開させるタイミングを制御することによりこのような事故の発生を未然に防止することが考慮されており、搭乗者の位置の監視にステレオカメラ装置が使用されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ステレオカメラ装置を使用した位置測定は、静止物や低速で運動しているものを測定する場合には問題がないが、たとえば、事故時、衝撃等で動く搭乗者の動きや位置を検出する場合には、一般的に応答が追いつかないという問題を有している。すなわち、検出速度は、主としてイメージセンサのフレームレートと画像処理時間で決定されるが、現状では、約２０〜３０msec／サンプル）程度が一般的であり、これ以上検出速度を上げようとすると高価格となるという問題がある。
【０００５】
本発明はこのような事情に鑑みてなされたものであり、ハードウエア的な速度の速いステレオカメラ装置を使用することなく、検出速度を上げることができる対象物の位置決定方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するための第１の手段は、互いの光軸が平行となるように設置され、特定の基線長を持つ、対をなす２つのカメラを有するステレオ画像入力手段と、前記画像入力手段から得られた２つの画像から対象物の位置を検出する手段を備えたステレオカメラ装置において、空間に前記光軸方向をＺ軸方向とするＸ−Ｙ−Ｚ３次元直交座標系をとるとき、Ｙ方向の位置については、前記２つの画像のうち一方の像の位置が定まれば、他の画像の像の位置が定まるように、前記画像の座標系が形成されているものにおいて対象物の位置を測定する方法であって、所定のタイミング以降においては、一方のカメラのみで撮像を行って画像（一眼画像）を得ると共に、それまでに決定された複数時間における前記対象物の位置から、前記対象物の位置を仮決定し、それから、他方のカメラで撮像されるべき画像の位置を算出し、算出された画像と前記一眼画像を用いて、前記対象物の位置を決定する動作を、前記２つのカメラを交互に使用して行う工程を有することを特徴とするステレオカメラ装置を用いた対象物の位置測定方法である。
【０００７】
前記課題を解決するための第２の手段は、互いの光軸が平行となるように設置され、特定の基線長を持つ、対をなす３つ以上のカメラを有するステレオ画像入力手段と、前記画像入力手段から得られた画像のうち２つの画像から対象物の位置を検出する手段を備えたステレオカメラ装置において、空間に前記光軸方向をＺ軸方向とするＸ−Ｙ−Ｚ３次元直交座標系をとるとき、Ｙ方向の位置については、前記２つの画像のうち一方の像の位置が定まれば、他の画像の像の位置が定まるように、前記画像の座標系が形成されているものにおいて対象物の位置を測定する方法であって、所定のタイミング以降においては、１つのカメラのみで撮像を行って画像（一眼画像）を得ると共に、それまでに決定された複数時間における前記対象物の位置から、前記対象物の位置を仮決定し、それから、他方のカメラで撮像されるべき画像の位置を算出し、算出された画像と前記一眼画像を用いて、前記対象物の位置を決定する動作を、撮像は、すべてのカメラをサイクリックに使用して行い、前記他方のカメラとして、前記カメラのうち２つのカメラを交互に使用して行う工程を有することを特徴とするステレオカメラ装置を用いた対象物の位置測定方法である。
【０００８】
前記課題を解決するための第３の手段は、互いの光軸が平行となるように設置され、特定の基線長を持つ、対をなす２つのカメラを有するステレオ画像入力手段と、前記画像入力手段から得られた２つの画像から対象物の位置を検出する手段を備えたステレオカメラ装置において、空間に前記光軸方向をＺ軸方向とするＸ−Ｙ−Ｚ３次元直交座標系をとるとき、Ｙ方向の位置については、前記２つの画像のうち一方の像の位置が定まれば、他の画像の像の位置が定まるように、前記画像の座標系が形成されているものにおいて対象物の位置を測定する方法であって、所定のタイミング以降においては、一方のカメラのみで撮像を行って画像（一眼画像）を得ると共に、他方のカメラにおいては、それまでに決定された複数時間における前記対象物画像の位置から、他方のカメラで撮像されるべき画像の位置を算出し、算出された画像と前記一眼画像を用いて、前記対象物の位置を決定する動作を、前記２つのカメラを交互に使用して行う工程を有することを特徴とするステレオカメラ装置を用いた対象物の位置測定方法である。
【０００９】
前記課題を解決するための第４の手段は、互いの光軸が平行となるように設置され、特定の基線長を持つ、対をなす３つ以上のカメラを有するステレオ画像入力手段と、前記画像入力手段から得られた画像のうち２つの画像から対象物の位置を検出する手段を備えたステレオカメラ装置において、空間に前記光軸方向をＺ軸方向とするＸ−Ｙ−Ｚ３次元直交座標系をとるとき、Ｙ方向の位置については、前記２つの画像のうち一方の像の位置が定まれば、他の画像の像の位置が定まるように、前記画像の座標系が形成されているものにおいて対象物の位置を測定する方法であって、所定のタイミング以降においては、１つのカメラのみで撮像を行って画像（一眼画像）を得ると共に、他方のカメラにおいては、それまでに決定された複数時間における前記対象物画像の位置から、算出された画像と前記一眼画像を用いて、前記対象物の位置を決定する動作を、撮像は、すべてのカメラをサイクリックに使用して行い、前記他方のカメラとして、前記カメラのうち２つのカメラを交互に使用して行う工程を有することを特徴とするステレオカメラ装置を用いた対象物の位置測定方法である。
【００１０】
前記課題を解決するための第４の手段は、前記第１の手段から第４の手段のいずれかであって、前記所定のタイミングが、外部から与えられることを特徴とするものである。
【発明の効果】
【００１１】
本手段によれば、ハードウエア的な速度の速いステレオカメラ装置を使用することなく、検出速度を上げることができる対象物の位置決定方法を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態の例を図を用いて説明する。図１は、本発明の第１の実施の形態初期段階で用いられる装置の構成を示す図であり、これは、従来のステレオカメラ装置と変わっていない。
【００１３】
左側のカメラ光学系１ａを通った光は、２次元のイメージセンサ２ａ上に対象物の像を結ぶ。イメージセンサ２ａの出力は、Ａ／Ｄ変換器３ａによりＡ／Ｄ変換されバッファメモリ４ａに記憶される。この値は、補正テーブル５ａに格納された値を用いて歪補正装置６ａにより歪補正され、座標検出装置７ａにより、対象物の像の２次元座標が検出される。右側のカメラについては、１ｂ〜７ｂで示される装置が１ａ〜７ａで示される装置に対応し、その機能は、１ａ〜７ａで示される装置と全く同じであるので、その説明を省略する。座標検出装置７ａと座標検出装置７ｂで左右のカメラで見た対象物の座標が検出されると、その視差に基づいて、ステレオ計測装置８が対象物の空間的な位置（座標）を決定する。
【００１４】
図２は、図１で示される装置の処理の内容とタイミングを示すものであり、左右の画像の取得が同時に行われ、続いて左右の座標の検出が同時に行われ、続いて対象物の空間的な位置（座標）が決定される。この動作が繰り返し行われている。
【００１５】
本実施の形態においても、初期状態においてはこのような動作が行われているが、所定のタイミング（外部から与えられることが多い）以後は、使用される装置の構成は図３に示すようになり、図４に示すようなタイミングで処理が行われる。なお、図３以後においては、前出の図に示された構成要素と同じ構成要素には、同じ符号を付してその説明を省略することがある。
【００１６】
まず、図４において、最初の２回は従来と同じ方法で計測が行われるが、３回目以降は、１つのカメラのみを使用して撮像が行われ、他のカメラでは撮像せず、対象物の推定値を用いて、逆に、画像のどの位置に対象物の像が結ばれるかを推定し、この推定値と前記１つのカメラを使用して撮像された画像を用いて、通常のステレオ装置を使用した計測方法と同じ方法で計測を行う。
【００１７】
すなわち、図４において、３回目の測定においては、Ｌ（左）側のカメラで画像を取得して座標を検出するのに対し、Ｒ（右側）のカメラは撮像せず、座標としては予測値を用いる。そして、これらの実測値と予測値を用いて、視差を利用した方法により対象物の座標計測を行う。一方、４回目の測定は、Ｒ側のカメラを利用して、Ｌ側のカメラの画像取得が終わると同時に開始される。そして、４回目の測定においては、Ｒ側の実測画像から求められた座標と、Ｌ側の予測座標とを用いて、視差を利用した方法により対象物の座標計測を行う。以下、これを繰り返し、左右のカメラを交互に使用して測定を行う。図４を見ると分かるように、最初の３回に比べて、４回目以後は、計測時間が短くなっている。
【００１８】
図３に戻り、上述のような測定を行う装置について説明する。左右のＡ／Ｄ変換器３ａ、３ｂの出力は、選択装置９により、交互に選択されてバッファメモリ４に導かれる。同様、補正テーブル５ａ、５ｂも、Ａ／Ｄ変換器３ａ、３ｂの出力の選択に対応して、選択装置９により選択され、これに基づいて、歪補正器６により、画像の歪補正が行われ、座標検出装置７により画像の座標検出が行われる。これが、実画像を用いた画像検出である。
【００１９】
一方、ステレオ計測装置８により以前に測定された対象物の座標は、座標軌跡記憶装置１０により記憶されており、これらの値から、予測座標決定装置１１が、今回の対象物の位置（座標）を求め、さらに、これが、実測に使用されていない方のカメラの画像としてどの位置に結像するかの座標を予測する。ステレオ計測装置８は、座標検出装置７の実測座標と、予測座標決定装置１１の予測座標を基に計算された予測結像座標を用いて、従来と同じように、視差を利用して、今回の対象物の位置（座標）を決定する。その際、予測座標決定装置１１により決定された今回の対象物の位置（座標）と、座標検出装置７の実測座標と予測座標を基に算出された予測結像座標とからステレオ計測装置８により決定された今回の対象物の位置（座標）の間に、既定値以上の食い違いがある場合は、アラームを出したり、測定値を無効にするようにしてもよい。そして、再び、従来と同じ方法で、対象物の座標検出を行い、３回目以降に片方の画像と予測座標決定装置１１の予測座標を基に座標決定を行ってもよい。
【００２０】
以下、座標の予測方法の例を説明する。まず、予測座標決定装置１１による、今回の対象物の位置（座標）の予測方法の例を述べる。たとえば、過去３回のステレオ計測装置８によって決定された対象物の位置を、
（Ｘｉ−３，Ｙｉ−３，Ｚｉ−３）、（Ｘｉ−２，Ｙｉ−２，Ｚｉ−２）、（Ｘｉ−１，Ｙｉ−１，Ｚｉ−１）とすると、これらを２次式に当てはめ、現在の対象物の位置（Ｘｉ，Ｙｉ，Ｚｉ）を決定する。過去２回のステレオ計測装置８によって決定された対象物の位置を記憶している場合は一次式に当てはめ、さらに多くのステレオ計測装置８によって決定された対象物の位置を記憶している場合は、さらに高次の多項式に当てはめればよい。
【００２１】
現在の対象物の位置（Ｘｉ，Ｙｉ，Ｚ）が求まれば、カメラの位置、姿勢、倍率等の幾何学的な関係や、通常の測定により行われている画像変換式から、画像における座標は簡単に求まる。但し、本発明は、２つのカメラの画像のうち、Ｙ軸方向については、１つのカメラの画像のＹ座標が求まれば、他のカメラの画像のＹ座標も対応して求まるようになっているので、実測値の方を信用して、Ｙｉは、実測したカメラのＹ座標から求まるものに置き換える。
【００２２】
なお、以上の例においては、対象物の空間的な位置を推定し、それから、撮像していないカメラの映像位置を推定していたが、直接、撮像していないカメラの映像位置を推定するようにしてもよい。前述のように、Ｙ方向については、一方のカメラで像の位置が決まれば、それに対応して他方のカメラのＹ方向位置が決まるので、推定はＸ方向について行えばよい。推定の方法は、対象物の空間的な位置を求めたのと同じように、過去のデータを（Ｘ座標）を多項式に当てはめて、それから現在のＸ座標を推定する。このようにすると、直ちに、撮像に使用していないカメラの像のＸ座標、Ｙ座標が分かるので、これと、撮像したカメラの像の座標をステレオ計測装置８に入力することにより、対象物の空間的な位置を視差を使用して求めることができる。
【００２３】
この場合、図３においては、破線で示すように、座標軌跡記憶装置１０に入力されて記憶される過去のデータは、座標検出装置７からの出力である。このようにして求めた対象物の空間的な位置と前述のように、過去の対象物の空間的な位置に基づいて前述のような方法で求めた、現在の対象物の空間の位置が既定値以上異なる場合には、アラームを出したり、データとして採用しないようにしてもよい。
【００２４】
以下、図５、図６を用いて、本発明の第２の実施の形態を説明する。この例は、３台のカメラを使用して計測速度を速める例である。まず、図６を用いて、本実施の形態の処理とそのタイミングを説明する。図６に示される処理の前には、図２に示されるような処理が実施されている。所定のタイミングで図６に示されるような処理に移る。
【００２５】
第１回目においては、第１のカメラを使用して画像の取得（座標取得（１））と座標検出を行う。そして第２のカメラについては、画像の座標を前述のような方法で予測する（座標予測（２））。そして、第１のカメラによる実測座標と、第２のカメラによる予測座標を用いて、対象物の座標の決定を行う。これらの処理は、図３、図４により説明した処理と同じである（以下のこれらの処理についても同様である）。
【００２６】
しかしながら、この例においては、座標検出、座標予測（２）、座標決定の処理が始まる前に、第２のカメラによる画像取得（画像取得（２））が開始され、第２回目の測定が始まる。そして、画像が取得されると、それに基づいて画像の座標検出が行われると共に、第１のカメラについて、画像の座標の予測が行われる（座標予測（１））。そして、第２のカメラによる実測座標と、第１のカメラによる予測座標を用いて、対象物の座標の決定を行う。
【００２７】
本実施の形態においては、第２のカメラによる画像取得（画像取得（２））が終わる前に、第３のカメラによる画像取得（画像取得（３））が開始され、第３回目の測定が始まる。そして、画像が取得されると、それに基づいて画像の座標検出が行われると共に、第２のカメラについて、画像の座標の予測が行われる（座標予測（２’））。そして、第２のカメラによる実測座標と、第３のカメラによる予測座標を用いて、対象物の座標の決定を行う。
【００２８】
続いて、第３のカメラによる画像取得（画像取得（３））が終わる前に、第１のカメラによる画像取得（画像取得（１））が開始され、第４回目の測定が始まる。そして、画像が取得されると、それに基づいて画像の座標検出が行われると共に、第２のカメラについて、画像の座標の予測が行われる（座標予測（２））。そして、第２のカメラによる実測座標と、第３のカメラによる予測座標を用いて、対象物の座標の決定を行う。これは、第１回目の処理と同じである。
【００２９】
以下、第２回目の処理と同じ処理、第３回目の処理と同じ処理、というように、サイクリックに処理を繰り返して測定を行うが、カメラを３台にすることにより、計測速度がさらに向上する。図６において注意すべきは、第３のカメラは、専ら実撮像にのみ使用され、第３のカメラの画像の座標を予測により求めることが無いことである。
【００３０】
図５に戻り、上述のような測定を行う装置について説明する。左右のＡ／Ｄ変換器３ａ、３ｂ、３ｃの出力は、選択装置８により、サイクリックに選択されてバッファメモリ４に導かれる。同様、補正テーブル５ａ、５ｂ、５ｃも、Ａ／Ｄ変換器３ａ、３ｂ、３ｃの出力の選択に対応して、選択装置９により選択され、これを用いて、歪補正器６により、画像の歪補正が行われ、座標検出装置７により画像の座標検出が行われる。これが、実画像を用いた画像検出である。
【００３１】
一方、ステレオ計測装置８により、以前に測定された対象物の座標は、座標軌跡記憶装置１０により記憶されており、これらの値から、予測座標決定装置１１が、今回の対象物の位置（座標）を求め、さらに、これが、第１のカメラと第２のカメラのうち実測に使用されていない方のカメラの画像としてどの位置に結像するかの座標を予測する。ステレオ計測装置８は、座標検出装置７の実測座標と、予測座標決定装置１１の予測座標を基に計算された予測結像座標を用いて、従来と同じように、視差を利用して、今回の対象物の位置（座標）を決定する。その際、予測座標決定装置１１により決定された今回の対象物の位置（座標）と、座標検出装置７の実測座標と予測座標を基に算出された予測結像座標とからステレオ計測装置８により決定された今回の対象物の位置（座標）の間に、既定値以上の食い違いがある場合は、アラームを出したり、測定値を無効にするようにしてもよい。その後の工程は、第１の実施の形態と同様である。座標の予測方法については、第１の実施の形態と同様である。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施の形態の初期段階で用いられる装置の構成を示す図である。
【図２】図１で示される装置の処理の内容とタイミングを示す図である。
【図３】本発明の第１の実施の形態の初期段階以後で用いられる装置の構成を示す図である。
【図４】図３で示される装置の処理の内容とタイミングを示す図である。
【図５】本発明の第２の実施の形態の初期段階以後で用いられる装置の構成を示す図である。
【図６】図５で示される装置の処理の内容とタイミングを示す図である。
【符号の説明】
【００３３】
１ａ，１ｂ，１ｃ…カメラ光学系、２ａ，２ｂ，２ｃ…イメージセンサ、３ａ，３ｂ，３ｃ…Ａ／Ｄ変換器、４，４ａ，４ｂ…バッファメモリ、５ａ，５ｂ，５ｃ…補正テーブル、６…歪補正器、７…座標検出装置、８…ステレオ計測装置、９…選択装置、１０…座標軌跡記憶装置、１１…予測座標決定装置
【図１】
2007147424.tif 000003
【図２】
2007147424.tif 000004
【図３】
2007147424.tif 000005
【図４】
2007147424.tif 000006
【図５】
2007147424.tif 000007
【図６】
2007147424.tif 000008