(57)【要約】【課題】  ステレオ３次元計測において、ステレオカメラを利用して対象物体の３次元位置を計測するために必要なステレオカメラのキャリブレーションを簡単に行うことができるステレオ３次元計測用キャリブレーション方法を提供する。【解決手段】  平行する第１のキャリブレーション平面と第２のキャリブレーション平面との間のキャリブレーション平面間距離を求め、前記第１のキャリブレーション平面に対するステレオカメラ間の第１の射影変換行列と前記第２のキャリブレーション平面に対するステレオカメラ間の第２の射影変換行列を求め、所定の基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置を求め、基準画像平面から前記基準キャリブレーション平面への第３の射影変換行列を求めるステップとを有する。【選択図】  図１
2005322128.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ３次元計測、即ち、ステレオカメラを利用した３次元計測を行うためのキャリブレーション方法であって、
平行する第１のキャリブレーション平面と第２のキャリブレーション平面との間のキャリブレーション平面間距離を求め、前記第１のキャリブレーション平面に対するステレオカメラ間の第１の射影変換行列と前記第２のキャリブレーション平面に対するステレオカメラ間の第２の射影変換行列を求め、所定の基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置を求め、基準画像平面から前記基準キャリブレーション平面への第３の射影変換行列を求めるステップを有することを特徴とするステレオ３次元計測用キャリブレーション方法。
【請求項２】
前記基準キャリブレーション平面は、前記第１のキャリブレーション平面又は前記第２のキャリブレーション平面の何れかである請求項１に記載のステレオ３次元計測用キャリブレーション方法。
【請求項３】
前記第１の射影変換行列を求めるために必要な情報は、ステレオカメラから観察した３次元空間中の前記第１のキャリブレーション平面に存在する４点以上のステレオ画像間の対応点であり、また、前記第２の射影変換行列を求めるために必要な情報は、ステレオカメラから観察した３次元空間中の前記第２のキャリブレーション平面に存在する４点以上のステレオ画像間の対応点である請求項２に記載のステレオ３次元計測用キャリブレーション方法。
【請求項４】
第３の射影変換行列を求めるために必要な情報は、前記基準キャリブレーション平面上の４点以上のサンプル点のワールド座標値である請求項２に記載のステレオ３次元計測用キャリブレーション方法。
【請求項５】
請求項１乃至請求項４の何れかに記載のステレオ３次元計測用キャリブレーション方法を用いて得られた、前記キャリブレーション平面間距離と、前記基準カメラの光学中心の３次元位置と、前記第１の射影変換行列と、前記第２の射影変換行列と、前記第３の射影変換行列とに基づいて、対象物体のワールド座標（Ｘｗ,Ｙｗ,Ｚｗ）を導出することを特徴とする３次元位置算出方法。
【請求項６】
２平面射影変換行列を利用したステレオ３次元計測から、キャリブレーション平面に垂直な方向成分である前記ワールド座標成分Ｚｗを導出するステップと、
前記第３の射影変換行列と前記ワールド座標成分Ｚｗとに基づいて、前記ワールド座標成分Ｘｗ,Ｙｗを求めるステップと、
を有する請求項５に記載の３次元位置算出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラによる３次元計測（以下、ステレオ３次元計測又はステレオ計測とも呼ばれる）技術に関し、特に、ステレオ３次元計測をするためのステレオカメラのキャリブレーション方法及びそのキャリブレーション方法の結果を用いた対象物体の３次元位置算出方法に関する。
【背景技術】
【０００２】
ステレオ３次元計測分野では、ステレオカメラを用いて、対象物体を計測し、対象物体の３次元位置（３次元座標）を求めるためには、一般に事前に、ステレオカメラのキャリブレーションを行う必要がある。
【０００３】
つまり、従来、ステレオ３次元計測において、カメラの焦点距離などのカメラの固有の特性を表すカメラの内部パラメータとカメラ間の位置関係を表すカメラの外部パラメータ、又は各カメラの透視投影行列が既知でなければ、対象物体の３次元位置を求めることができなかった。
【０００４】
しかし、上記のカメラの内部パラメータ・外部パラメータ、又は各カメラの透視投影行列といった情報を事前に正確に得るためには、非常に手間のかかるステレオカメラのキャリブレーション（以下、強キャリブレーションとも称する）が必要で、通常は工場出荷時に行われる。よく知られていた強キャリブレーション方法に、例えば、非特許文献１に開示されている、内部パラメータ・外部パラメータを直接に求めるTsaiの方法や、非特許文献２に開示されている、透視投影行列を求めた後に、内部パラメータ・外部パラメータに分解する方法などがある。
【０００５】
そのため、実際にステレオカメラを設置するステレオ３次元計測現場において、現場状況に合わせてカメラの焦点距離やフォーカス等の設定を変更する必要が生じても、このような設定の変更に伴って、もう一度ステレオカメラの強キャリブレーションを現場で行うことは困難である。
【０００６】
一方、ステレオ３次元計測分野において、もう１種類のステレオカメラのキャリブレーション方法として、例えば、非特許文献３に開示されているような３次元シーンの相対的な位置関係のみを計測可能とするステレオカメラのキャリブレーション方法（以下、弱キャリブレーション方法とも呼ばれる）が知られている。また、弱キャリブレーション方法の他の例として、例えば、非特許文献４と非特許文献５に開示されているような「２平面の射影変換行列を利用したキャリブレーション方法」がある。
【０００７】
このような弱キャリブレーション方法によれば、ステレオカメラのキャリブレーションを容易に行うことができるが、キャリブレーションの結果から得られる情報は、キャリブレーション平面に対する前後関係のみであり、対象物体の３次元位置情報（３次元座標）を得ることはできなかったといった問題がある。
【非特許文献１】アール．ワイ．ツァイ（R.Y.Tsai）著、「ア  バーサトル  カメラ  キャリブレーション  テクニック  フォア  ハイ−アキュラシ  スリーデー  マシン  ビジョン  ミトロジー  ユージング  オフ−ザ  シェルフ  ティーブイ  カメラ  アンド  レンズ（A  versatile  camera  calibration  technique  for  high−accuracy  ３D  machine  vision  metrology  using  off−the  shelf  TV  cameras  and  lenses）」、アイ・トリプル・イー  ジャーナル  オブ  ロボテックス  アンド  オートメーション，アールエイ−３，ナンバー４（IEEE  Journal  of  Robotics  and  Automation，RA−3,No.4）、p.323-344、1987年8月
【非特許文献２】オー．フォウゲラス（O.Faugeras）著、「スリー  ディメンションナル  コンピュータ  ビジョン（Three  dimensional  computer  vision）」、ザ  エムアイティ  プレス（The  MIT  Press）、1993年
【非特許文献３】ゼット．チャン（Z.Zhang），アール．デリシェ（R.Deriche），オー．フォウゲラス（O.Faugeras），キュー．ティー．ルオン（Q.T.Luong）共著、「ローバスト  テクニック  フォア  マッチング  ツー  アンキャリブレーティッド  イメージ  スルー  ザ  リカバリー  オブ  ザ  アンノウン  エピポーラ  ジオメトリー（A  robust  technique  for  matching  two  uncalibrated  images  through  the  recovery  of  the  unknown  epipolar  geometry）、アイ・エヌ・アール・アイ・エイ  テクニカル  レポート，ナンバー２２７３（INRIA  technical  report,No.2273）、1994年5月
【非特許文献４】蚊野浩・金出武雄,「任意カメラ配置におけるステレオ視とステレオカメラ校正」,電子情報通信学会論文誌,1996年,第J79-D-II巻,第11号,p.1810-1818
【非特許文献５】蚊野浩・美濃導彦・安田昌司・大隅正人,「２平面を用いたステレオカメラの弱校正に関する幾何学的な性質」,電子情報通信学会論文誌,1999年,第J82-D-II巻,第3号,p.561-565
【発明の開示】
【発明が解決しようとする課題】
【０００８】
要するに、従来の強キャリブレーション方法では、３次元位置が既知の多数の参照点とそのカメラ座標の対応からカメラの内部パラメータと外部パラメータを求めるようにしており、精密な校正用パターンや正確な位置決め機構が必要であり、強キャリブレーション方法を用いて、ステレオカメラを強校正することが大変困難であるという問題があった。
【０００９】
また、従来の弱キャリブレーション方法で弱校正されたステレオカメラで計測される距離情報は、キャリブレーションに用いる２平面（つまり、キャリブレーション平面）からの相対的な距離であるため、対象物体の３次元位置情報（３次元座標）を得ることができないという問題があった。
【００１０】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、ステレオ３次元計測において、ステレオカメラを利用して対象物体の３次元位置を計測するために必要なステレオカメラのキャリブレーションを簡単に行うことができるステレオ３次元計測用キャリブレーション方法、及びそのキャリブレーション方法の結果を利用して対象物体の３次元位置を算出することができる３次元位置算出方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、ステレオ３次元計測用キャリブレーション方法に関し、本発明の上記目的は、ステレオ３次元計測、即ち、ステレオカメラを利用した３次元計測を行うためのキャリブレーション方法であって、平行する第１のキャリブレーション平面と第２のキャリブレーション平面との間のキャリブレーション平面間距離を求め、前記第１のキャリブレーション平面に対するステレオカメラ間の第１の射影変換行列と前記第２のキャリブレーション平面に対するステレオカメラ間の第２の射影変換行列を求め、所定の基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置を求め、基準画像平面から前記基準キャリブレーション平面への第３の射影変換行列を求めるステップとを有することにより、或いは、前記基準キャリブレーション平面は、前記第１のキャリブレーション平面又は前記第２のキャリブレーション平面の何れかであることにより、或いは、前記第１の射影変換行列を求めるために必要な情報は、ステレオカメラから観察した３次元空間中の前記第１のキャリブレーション平面に存在する４点以上のステレオ画像間の対応点であり、また、前記第２の射影変換行列を求めるために必要な情報は、ステレオカメラから観察した３次元空間中の前記第２のキャリブレーション平面に存在する４点以上のステレオ画像間の対応点であることにより、或いは、第３の射影変換行列を求めるために必要な情報は、前記基準キャリブレーション平面上の４点以上のサンプル点のワールド座標値であることによって効果的に達成される。
【００１２】
また、本発明は３次元位置算出方法に関し、本発明の上記目的は、本発明のステレオ３次元計測用キャリブレーション方法を用いて得られた、前記キャリブレーション平面間距離と、前記基準カメラの光学中心の３次元位置と、前記第１の射影変換行列と、前記第２の射影変換行列と、前記第３の射影変換行列とに基づいて、対象物体のワールド座標（Ｘｗ,Ｙｗ,Ｚｗ）を導出することにより、或いは、２平面射影変換行列を利用したステレオ３次元計測から、キャリブレーション平面に垂直な方向成分である前記ワールド座標成分Ｚｗを導出するステップと、前記第３の射影変換行列と前記ワールド座標成分Ｚｗとに基づいて、前記ワールド座標成分Ｘｗ,Ｙｗを求めるステップとを有することによって効果的に達成される。
【発明の効果】
【００１３】
本発明に係るステレオ３次元計測用キャリブレーション方法を用いれば、ステレオ３次元計測において、ステレオカメラのキャリブレーションを簡単に行うことができるといった優れた効果を奏する。
【００１４】
また、本発明に係るステレオ３次元計測用キャリブレーション方法で決められた４つのパラメータは、ステレオカメラの内部パラメータ・外部パラメータと直接関係ないパラメータであるために、実際にステレオカメラを設置するステレオ３次元計測現場において、ステレオカメラの焦点距離やフォーカス等の内部パラメータ・外部パラメータを計測現場状況に合わせて調整した上で、３次元計測を高精度に行うことができるといった優れた効果を奏する。
【００１５】
つまり、本発明のキャリブレーション方法でキャリブレーションを行ったステレオカメラを用いれば、様々な３次元計測現場で、その計測現場状況に合わせてステレオカメラの内部パラメータ・外部パラメータを調整しても、３次元位置計測に必要なキャリブレーションを現場で容易に行うことができ、大変実用的な３次元計測を実現できるといった顕著な効果を奏する。
【００１６】
更に、本発明に係る３次元位置算出方法では、本発明のキャリブレーション方法で決められたパラメータを利用して、対象物体の３次元位置を簡単に算出することができるといった優れた効果を奏する。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を実施するための最良の形態を図面を参照して説明する。なお、本発明を実際の３次元計測分野の一つである交通流計測（車両検出、トラッキング）に適用した実施例について以下のように説明するが、本発明はそれに限定されることはなく、様々な３次元計測分野で本発明を適用することが可能であることは、言うまでも無い。
＜１＞本発明に係るステレオ３次元計測用キャリブレーション方法
本発明に係るステレオ３次元計測用キャリブレーション方法（以下、単に本発明のキャリブレーション方法とも称する）は、ステレオ３次元計測において、ステレオカメラを利用して対象物体の３次元位置を計測するために、必要なステレオカメラのキャリブレーションを簡単に行うことができるキャリブレーション方法である。また、後述するように、本発明に係る３次元位置算出方法は、本発明のキャリブレーション方法の結果を用いて、対象物体の３次元位置を算出することができる方法である。
【００１８】
つまり、ステレオ３次元計測用キャリブレーション方法と３次元位置算出方法とから構成される本発明とは、対象物体の３次元座標を簡単に計測できる、且つ、強キャリブレーションを必要としない（つまり、ステレオカメラの内部パラメータ・外部パラメータが不要）３次元計測方法である。
【００１９】
本発明のキャリブレーション方法で求めておくものは、図１に示されている次の４つのパラメータである。なお、図１において、基準カメラと参照カメラは、ステレオ３次元計測用のステレオカメラを構成し、ステレオカメラから観察した、３次元空間に存在する互いに平行する平面Π０と平面Π１をキャリブレーション平面とする。
（１）キャリブレーション平面Π０とキャリブレーション平面Π１との間の距離Ｄ
（２）キャリブレーション平面Π０に対するステレオカメラ間の射影変換行列Ｈ０と、キャリブレーション平面Π１に対するステレオカメラ間の射影変換行列Ｈ１
（３）基準キャリブレーション平面に固定されたワールド座標系（Ｘ,Ｙ,Ｚ）における基準カメラの光学中心の３次元位置（Ｘｃ,Ｙｃ,Ｚｃ）
なお、図１において、キャリブレーション平面Π１を基準キャリブレーション平面としているが、本発明ではそれに限定されることがなく、キャリブレーション平面Π０を基準キャリブレーション平面とすることが勿論可能である。また、本発明でいう基準キャリブレーション平面とは、ワールド座標系（Ｘ,Ｙ,Ｚ）を固定したキャリブレーション平面を意味する。
（４）基準画像平面から基準キャリブレーション平面（図１では、キャリブレーション平面Π１）への射影変換行列ＨＩＣ
本発明のキャリブレーション方法に必要な情報は、上記４つのパラメータのみであり、従来の強キャリブレーション方法に必要なステレオ３次元計測に用いるステレオカメラの内部パラメータ・外部パラメータについては、一切知る必要が無い。
【００２０】
以下、本発明のキャリブレーション方法に必要な上記４つのパラメータの求め方を詳細に説明する。
＜１−１＞平行する２つのキャリブレーション平面間距離
まず、ステレオカメラから観察した３次元空間に存在し、且つ、平行する２つのキャリブレーション平面を設定して、そして、設定されたキャリブレーション平面間距離を計測する。
【００２１】
具体的には、まず、キャリブレーションに利用する２つの平面（キャリブレーション平面とも呼ばれる）は、平行すると仮定する。図２（Ａ）に示されるように、互いに平行するキャリブレーション平面Π０とキャリブレーション平面Π１を設定し、設定されたキャリブレーション平面Π０,Π１間の距離Ｄを実際に計測する。
【００２２】
なお、図２（Ａ）に示されるように、このキャリブレーション平面Π０,Π１間の距離をＤとすることは、図２（Ｂ）に示されるように、ステレオカメラペアを平面への光軸の向きを変化させずに距離Ｄ移動させていることと等価なことである。つまり、図２（Ｂ）において、平面Πに近い位置にあるステレオカメラペアから観察した平面Πをキャリブレーション平面Π０とする場合に、そのステレオカメラペアを垂直方向に上に距離Ｄ移動させれば、その際にステレオカメラペアから観察した平面Πをキャリブレーション平面Π１とすることができる。
＜１−２＞キャリブレーション平面に対するステレオカメラ間の射影変換行列
キャリブレーション平面に対するステレオカメラ間の射影変換行列を得るために必要な情報とは、ステレオカメラから観察した３次元空間中のキャリブレーション平面に存在する点を４点以上に決定し、決定された点のステレオ画像間（つまり、基準カメラが撮影した基準画像と参照カメラが撮影した参照カメラとの間）の対応関係である。
【００２３】
具体的には、例えば、図２（Ａ）に示されたようなキャリブレーション平面Π０,Π１が存在した場合に、そのキャリブレーション平面Π０,Π１を介したステレオ画像間（つまり、ステレオカメラ間）の射影変換行列Ｈ０,Ｈ１を求める。
【００２４】
図３は、ステレオ画像間の対応点の例で実際の場面に適用している図である。図３において、道路面をキャリブレーション平面と仮定しており、対応点１,２,３,４は選択されている。なお、図３（Ａ）は基準カメラが撮影した基準画像で、図３（Ｂ）は参照カメラが撮影した参照画像である。
【００２５】
図３（Ａ）及び図３（Ｂ）に示された対応点１,２,３,４の関係から、下記数１における射影変換行列Ｈを求める。ここで、
2005322128.tif 000003
は基準画像の画像座標の斉次座標表示で、
2005322128.tif 000004
は参照画像の画像座標の斉次座標表示である。また、数１を展開すると、数２になる。
【００２６】
【数１】
2005322128.tif 000005
【００２７】
【数２】
2005322128.tif 000006
ここで、射影変換行列Ｈは３×３の行列である。この射影変換行列Ｈは、定数倍の不定性を含むため、実際には未知数は８個存在する。
【００２８】
上記数２を変形すると、下記数３となり、一つの対応点の組から２個の式を立てることができる。
【００２９】
【数３】
2005322128.tif 000007
そこで、未知数が８個なので、図３に示されるような対応点の組を４点以上求めると、下記数４のようになり、
【００３０】
【数４】
2005322128.tif 000008
上記数４を下記数５の形に置き換えることができ、Ａの最小固有値に対応する固有ベクトルをｈとすることで、射影変換行列Ｈを求めることができる（つまり、最小２乗法を適用している事と等価）。
【００３１】
【数５】
2005322128.tif 000009
上述した射影変換行列Ｈの求め方を用いて、図２（Ａ）に示されるような平行する２つのキャリブレーション平面Π０,Π１に対するステレオカメラ間の射影変換行列Ｈ０,Ｈ１をそれぞれ導出する。
＜１−３＞基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置
図４はステレオカメラを真横から見た図である。図４において、下側のカメラを基準カメラ、上側のカメラを参照カメラとしているが、実際にはどちらを基準カメラとしても良い。また、図４において、下側に位置するキャリブレーション平面Π１を基準キャリブレーション平面と呼ぶこととするが、それに限定されることがなく、例えば、上側に位置するキャリブレーション平面Π０を基準キャリブレーション平面と呼ぶこともできる。
【００３２】
ここで、説明を簡便にするために、図４において、ワールド座標原点を基準カメラの光学中心から基準キャリブレーション平面へ降ろした垂線の足と置くこととしているが、ワールド座標原点の位置はそこに限定されることがなく、基準キャリブレーション平面上の任意の位置にワールド座標原点を置くことが可能であり、また、ワールド座標系のＺ軸をワールド座標原点から基準カメラの光学中心への方向へ取ることとし、更に、ワールド座標系のＸ軸とＹ軸は、基準キャリブレーション平面上にはる直交座標と定義する。
【００３３】
図４に示されたような前提条件の下で、基準キャリブレーション平面に固定されたワールド座標系における基準カメラの光学中心の３次元位置（３次元座標）を下記のように求める。
【００３４】
ここで、図４に示されたようなワールド座標系の置き方から、基準カメラの光学中心は、（０,０,Ｄ１）のように置くことができる。従って、図４に示されるように、基準カメラの光学中心から基準キャリブレーション平面までの距離Ｄ１のみを実際に計測すれば、ワールド座標系における基準カメラの光学中心の３次元座標が求まる訳である。つまり、ワールド座標系（Ｘ,Ｙ,Ｚ）における基準カメラの光学中心の３次元座標（Ｘｃ,Ｙｃ,Ｚｃ）は（０,０,Ｄ１）である。
【００３５】
また、図４に示されるように、基準カメラの光学中心とキャリブレーション平面Π０との間の距離Ｄ０は、キャリブレーション平面Π０と基準キャリブレーション平面（ここでは、キャリブレーション平面Π１）との間の距離Ｄが既知であるので、下記数６と表すことができる。
【００３６】
【数６】
2005322128.tif 000010
＜１−４＞基準画像平面から基準キャリブレーション平面への射影変換行列ＨＩＣ
基準画像平面から基準キャリブレーション平面への射影変換行列ＨＩＣを導出するのに必要な情報とは、基準キャリブレーション平面上の４点以上のサンプル点のワールド座標値である。
【００３７】
基準画像平面から基準キャリブレーション平面への射影変換行列ＨＩＣを導出するために、次の前提条件を仮定する。
【００３８】
まず、図４に示されるように、２つのキャリブレーション平面のうち、下側に位置するキャリブレーション平面Π１を基準キャリブレーション平面とし、また、基準カメラの光学中心から基準キャリブレーション平面へ降ろした垂線の足をワールド座標の原点とし、更に、ワールド座標原点から基準カメラの光学中心への方向（つまり、基準キャリブレーション平面に垂直する方向）をワールド座標系のＺ軸とし、基準カメラの光軸を基準キャリブレーション平面へ正射影した方向をワールド座標系のＹ軸とする。また、図５（Ａ）に示されるように、ワールド座標系のＸ軸をワールド座標系のＹ軸,Ｚ軸に垂直するように取ると定義する。
【００３９】
また、図５において、点Ｍｃｐ（Ｘｃｐ,Ｙｃｐ,０）とは、基準キャリブレーション平面上のサンプル点であり、点ｍ（ｕ,ｖ）とは、基準画像平面における点Ｍｃｐ（Ｘｃｐ,Ｙｃｐ,０）の対応点である。
【００４０】
なお、本発明では、ワールド座標系のＺ軸について、その取り方が上述されたようになっているが、残りのワールド座標系の軸、つまり、ワールド座標系のＸ軸,Ｙ軸について、特にそれらの取り方に制限が無く、ワールド座標系のＸ軸とＹ軸は、基準キャリブレーション平面上にはる直交座標であれば良い訳である。
【００４１】
上述した前提条件の下で、基準画像平面から基準キャリブレーション平面への射影変換行列ＨＩＣを次のように導出する。
【００４２】
先ず、図６に示されるように、基準キャリブレーション平面上（図中では道路面上）のサンプル点のワールド座標を４点以上求める。図６（Ａ）において、選択されたサンプル点（つまり、図中の点１,点２,点３,点４,点５,点６,点７及び点８）のワールド座標は、図６（Ｂ）に示された表の通りである。
【００４３】
なお、図６（Ｂ）に示された表において、光学中心とは基準カメラの光学中心で、パラメータＸｃｐ,Ｙｃｐは、図５に示されたような基準キャリブレーション平面上のサンプル点Ｍｃｐのワールド座標（Ｘｃｐ,Ｙｃｐ,０）のＸｃｐ,Ｙｃｐを表し、パラメータｕ,ｖは、図５に示されたような基準画像平面上の点ｍの２次元座標（ｕ,ｖ）のｕ,ｖを表す。
【００４４】
次に、図６に示された基準キャリブレーション平面上の８個のサンプル点から、図５に示されるような基準画像平面から基準キャリブレーション平面への射影変換行列ＨＩＣを下記数７に基づいて導出する。
【００４５】
【数７】
2005322128.tif 000011
ここで、行列ＨＩＣ（ここのＩＣは基準画像平面から基準キャリブレーション平面へを意味し、つまり、ImagePlane  to  CalibrationPlaneを意味する）は、基準画像平面から基準キャリブレーション平面への射影変換行列である。
＜２＞本発明に係る３次元位置算出方法
本発明に係る３次元位置算出方法とは、上述したような本発明に係るステレオ３次元計測用キャリブレーション方法によって得られた情報（つまり、＜１＞で述べられた４つのパラメータ）に基づいて、ステレオ３次元計測対象である対象物体を表す点の３次元位置（つまり、対象物体を表す点のワールド座標（Ｘｗ,Ｙｗ,Ｚｗ））を導出する方法であって、その手順は次のようになっている。なお、本発明では、説明を簡単にするために、対象物体を表す点を単に対象物体とも称し、また、対象物体を表す点の３次元位置を単に対象物体の３次元位置とも称するようにしている。また、本発明でいう３次元座標は、ワールド座標を意味する。
ステップ１：
まず、２平面射影変換行列を利用したステレオ３次元計測から、対象物体の３次元座標のキャリブレーション平面の法線方向の成分Ｚｗを導出する。
ステップ２：
そして、基準画像平面から基準キャリブレーション平面への射影変換行列ＨＩＣと、ステップ１で求められた３次元座標のキャリブレーション平面の法線方向の成分Ｚｗとに基づいて、対象物体の３次元座標の残りの２つの成分Ｘｗ,Ｙｗを求める。
【００４６】
本発明の３次元位置算出方法の手順を以下のように更に詳細に説明する。
＜２−１＞ステップ１：対象物体の３次元座標の成分Ｚｗの導出
２平面の射影変換行列を利用したステレオ３次元計測を行うことによって、対象物体のワールド座標のキャリブレーション平面に垂直な方向成分Ｚｗを導出することができる。
【００４７】
一方、２平面の射影変換行列を利用したステレオ３次元計測を行う上で必要な情報とは、平行する２つのキャリブレーション平面Π０,Π１に関する射影変換行列Ｈ０,Ｈ１と、基準カメラの光学中心からキャリブレーション平面Π０までの距離Ｄ０と、基準カメラの光学中心からキャリブレーション平面Π１までの距離Ｄ１である。これらの情報は、上述したように、本発明のキャリブレーション方法によって求められる。なお、距離Ｄ０と距離Ｄ１について、図４を参照する。
【００４８】
ここで、図７に示されたような２つのキャリブレーション平面に関する射影変換行列を利用したステレオ３次元計測場面を想定する。図７において、平行する２つのキャリブレーション平面Π０,Π１に関する射影変換行列Ｈ０,Ｈ１が既知の時に、キャリブレーション平面Π０,Π１に内挿（又は、外挿）する平面Παに関する射影変換行列Ｈαは、下記数８のように表すことができる。
【００４９】
【数８】
2005322128.tif 000012
ステレオ計測を行うことにより、対象物体の奥行きと同一の位置にある平面Παを推定することができ、よって、上記数８から対象物体の奥行き係数αを導出することができる。
【００５０】
次に、図８に示されるように、２つのキャリブレーション平面Π０,Π１が平行で、それぞれ基準カメラの光学中心から各キャリブレーション平面へ降ろした垂線の距離Ｄ０とＤ１が既知であれば、上記数８で求められた対象物体の奥行き係数αに対応する対象物体の奥行きＤαを下記数９に基づいて求めることができる。
【００５１】
【数９】
2005322128.tif 000013
よって、下記数１０に基づいて、対象物体のワールド座標の射影平面（つまり、キャリブレーション平面）に垂直な方向成分Ｚｗを求めることが可能になる。
【００５２】
【数１０】
2005322128.tif 000014
＜２−２＞ステップ２：対象物体の３次元座標の残りの２つの成分Ｘｗ,Ｙｗの導出
対象物体の３次元座標（つまり、ワールド座標）の残りの２つの成分Ｘｗ,Ｙｗの導出には、基準画像平面から基準キャリブレーション平面への射影変換行列ＨＩＣ、ステップ１で得られた対象物体のワールド座標の成分Ｚｗ、基準カメラの光学中心から基準キャリブレーション平面までの距離Ｄ１（図９参照）といった情報を用いる。
【００５３】
ここで、図９において、基準画像平面上の点（より詳細に説明すると、基準カメラが撮影した基準画像上の対象物体を表す点）を射影変換行列ＨＩＣを用いて基準キャリブレーション平面上の点Ｍｃｐ（Ｘｃｐ,Ｙｃｐ,０）へ投影する。本発明では、基準キャリブレーション平面（ここでは、道路面）への写像された点Ｍｃｐ（Ｘｃｐ,Ｙｃｐ,０）から対象物体を表す点Ｍｗのワールド座標成分Ｘｗ,Ｙｗを求める訳である。
【００５４】
図９に示されるように、三角形ＯＣＭｃｐと三角形ＯＣＭｗの相似関係を利用して、下記数１２、数１４に基づいて、未知である対象物体を表す点Ｍｗのワールド座標成分Ｙｗ,Ｘｗを算出することができる。
【００５５】
つまり、下記数１１が成立するので、下記数１２が得られる。また、下記数１３が成立するので、下記数１４が得られる。
【００５６】
【数１１】
2005322128.tif 000015
【００５７】
【数１２】
2005322128.tif 000016
【００５８】
【数１３】
2005322128.tif 000017
【００５９】
【数１４】
2005322128.tif 000018
上述したように、本発明に係る３次元位置算出方法によれば、対象物体（つまり、対象物体を表す点Ｍｗ）のワールド座標の全ての成分、つまり、（Ｘｗ,Ｙｗ,Ｚｗ）を求めることができる。
【図面の簡単な説明】
【００６０】
【図１】本発明のキャリブレーション方法で求められるパラメータを説明するための模式図である。
【図２】本発明において、ステレオカメラとキャリブレーション平面を説明するための模式図である。
【図３】ステレオ画像間の対応点の例で実際の場面に適用している図である。
【図４】ステレオカメラを真横から見た図である。
【図５】基準画像平面の座標系からワールド座標系への変換を説明するための模式図である。
【図６】基準キャリブレーション平面上のサンプル点の取り方及びワールド座標値の一例を示す図である。
【図７】２つのキャリブレーション平面に関する射影変換行列を利用した３次元計測を説明するための模式図である。
【図８】図７に示された３次元計測の場合において、ステレオカメラを真横から見た図である。
【図９】対象物体の３次元座標の残りの２つの成分Ｘｗ,Ｙｗの導出を説明するための模式図である。
【図１】
2005322128.tif 000019
【図２】
2005322128.tif 000020
【図３】
2005322128.tif 000021
【図４】
2005322128.tif 000022
【図５】
2005322128.tif 000023
【図６】
2005322128.tif 000024
【図７】
2005322128.tif 000025
【図８】
2005322128.tif 000026
【図９】
2005322128.tif 000027