(57)【要約】【課題】  透明板に映る２重像を、可動部を持たない１台の撮像装置で撮影して得られた一枚の画像に基づいて、安価な装置構成及び短い計測時間で距離計測を行い得るようにした、透明板に映る２重像を用いた距離計測方法を提供する。【解決手段】  両面が平行平面で構成される１枚の透明板と、可動部を持たない１台の撮像装置とから構成される距離計測装置を用いて、前記透明板に映る位置ずれのある２重像を前記撮像装置で撮影して得られた一枚の画像に基づいて、距離計測を行う。より詳細に、２重像間の変位拘束を前記透明板と前記撮像装置との位置関係から幾何学的に導き、導かれた２重像間の変位拘束に沿って画像の自己相関極大位置を探索することで２重像間の変位を計測し、計測された２重像間の変位に対応して、計測対象までの距離を求める。【選択図】  図２
2006329897.tif 000002
【特許請求の範囲】
【請求項１】
両面が平行平面で構成される１枚の透明板と、可動部を持たない１台の撮像装置とから構成される距離計測装置を用いて、前記透明板に映る位置ずれのある２重像を前記撮像装置で撮影して得られた一枚の画像に基づいて、距離計測を行うことを特徴とする透明板に映る２重像を用いた距離計測方法。
【請求項２】
前記撮像装置は、固体撮像素子を用いるものである請求項１に記載の透明板に映る２重像を用いた距離計測方法。
【請求項３】
前記透明板は透明アクリル板であり、また、前記撮像装置はＣＣＤカメラである請求項１に記載の透明板に映る２重像を用いた距離計測方法。
【請求項４】
２重像間の変位拘束を前記透明板と前記撮像装置との位置関係から幾何学的に導き、導かれた２重像間の変位拘束に沿って画像の自己相関極大位置を探索することで２重像間の変位を計測し、計測された２重像間の変位に対応して、計測対象までの距離を求める請求項１乃至請求項３のいずれかに記載の透明板に映る２重像を用いた距離計測方法。
【請求項５】
前記２重像は表面反射像Ｉｓと裏面反射像Ｉｒとから構成され、
前記撮像装置の撮影レンズ光学中心から前記計測対象までの距離（Ｄｏ＋Ｄｃ）は次の式によって求め、
2006329897.tif 000094
ただし、θｓは前記表面反射像Ｉｓと前記裏面反射像Ｉｒとの間の角度視差で、ｎは空気に対する前記透明板の相対屈折率で、ｄは前記透明板の厚さで、θｉは前記撮像装置の撮影レンズの光軸と前記透明板との成す角度である請求項４に記載の透明板に映る２重像を用いた距離計測方法。
【請求項６】
前記２重像は、反射無し透過像（即ち、透明板内部での反射がない透過像）と２回反射透過像（即ち、透明板内部で２回反射した後の透過像）とから構成され、
前記撮像装置の撮影レンズ光学中心から前記計測対象までの距離（Ｄｏ＋Ｄｃ）は次の式によって求め、
2006329897.tif 000095
ただし、θｓは前記反射無し透過像と前記２回反射透過像との間の角度視差で、ｎは空気に対する前記透明板の相対屈折率で、ｄは前記透明板の厚さで、θｉは前記撮像装置の撮影レンズの光軸と前記透明板との成す角度である請求項４に記載の透明板に映る２重像を用いた距離計測方法。
【請求項７】
前記２重像上の注目点に対する対応位置探索を拘束直線上に限って行う請求項５又は請求項６に記載の透明板に映る２重像を用いた距離計測方法。
【請求項８】
非平行度を持つ１枚の透明板と、可動部を持たない１台の撮像装置とから構成される距離計測装置を用いて、前記透明板に映る位置ずれのある２重像を前記撮像装置で撮影して得られた一枚の画像に基づいて、距離計測を行うことを特徴とする透明板に映る２重像を用いた距離計測方法。
【請求項９】
前記撮像装置は、固体撮像素子を用いるものである請求項８に記載の透明板に映る２重像を用いた距離計測方法。
【請求項１０】
前記２重像は表面反射像Ｉｓと裏面反射像Ｉｒとから構成され、前記透明板は透明アクリル板であり、また、前記撮像装置はＣＣＤカメラである請求項８に記載の透明板に映る２重像を用いた距離計測方法。
【請求項１１】
前記撮像装置の内部パラメータのキャリブレーションを行う第１のステップと、
前記距離計測装置のキャリブレーションを行う第２のステップと、
２重像間の角度視差θｓを計算する第３のステップと、
前記撮像装置の撮影レンズ光学中心から計測対象までの距離を計算する第４のステップとを有する請求項８乃至請求項１０のいずれかに記載の透明板に映る２重像を用いた距離計測方法。
【請求項１２】
前記第１のステップでは、画像の画素数とレンズ焦点距離ｆ／δを求め、画像からレンズ歪みを除去するようにし、
前記第２のステップでは、
2006329897.tif 000096
を求め、Ｄｃを測定し、
前記第３のステップでは、
まず、注目点
2006329897.tif 000097
に対する対応位置を、次の２直線上の点
2006329897.tif 000098
で探索し、
2006329897.tif 000099
ただし、ｔは画素単位の媒介変数であり、
次に、前記透明板の非平行度を考慮した２重像間変位Δは、次の式によって求め、
2006329897.tif 000100
そして、前記２重像間の角度視差θｓは次のように計算し、
2006329897.tif 000101
ただし、
2006329897.tif 000102
はカメラ座標で表した画像上の位置であるようになっており、
前記第４のステップでは、
まず、拘束直線の方向に沿った非平行度を表す角度θｐは、次の式によって求め、
2006329897.tif 000103
そして、前記撮像装置の撮影レンズ光学中心から計測対象までの距離（Ｄｏ＋Ｄｃ）は、次の式によって求め、
2006329897.tif 000104
ただし、ｄは、一定と近似された前記透明板の厚さである請求項１１に記載の透明板に映る２重像を用いた距離計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受動的な手法を用いる距離計測方法に関し、特に、透明板に映る２重像を、可動部を持たない１台の撮像装置で撮影して得られた一枚の画像に基づいて、安価な装置構成及び短い計測時間で、距離計測を行い得るようにした距離計測方法に関する。
【背景技術】
【０００２】
一般的に、距離計測方法を能動的な手法を用いる方法と、受動的な手法を用いる方法に分けることができる。能動的な距離計測方法では、レーザ光源や空間的光コーディングなどを利用しているので、大がかりな装置が必要で高価なシステムになり、また、計測時間も比較的に長い。
【０００３】
これに対し、２台又は２台以上のカメラを利用したステレオ距離計測は、受動的検出だけを利用した受動的な距離計測方法として古くから利用されてきた。コンピュータビジョン分野では、３次元幾何学が解析され、この結果を基に多くのバリエーションが提案されてきた。例えば、マルチカメラ（非特許文献１参照）やマルチベースライン（非特許文献２参照）は、システムのコストがあまり問題にならない場合には、対応付けの曖昧さを大きく減少する手法として有効である。
【０００４】
しかし、２台又は２台以上のカメラを利用したステレオ距離計測方法では、複数台のカメラと撮影レンズが必要なので、計測装置が高価になる。また、カメラ台数分のキャリブレーションを行う必要があるので、計測準備としてかなりの手間を必要とした。さらに、実際の計測では、カメラ台数分の画像をコンピュータに取り込む必要があり、コンピュータ内にはその台数分に相当する画像用メモリを確保する必要がある。また、カメラ間は同期して時間的に同時に画像を撮影する必要があった。
【０００５】
ところで、最近では、ＩＴＳ分野での交通計測（非特許文献３参照）や歩行者検出（非特許文献４参照）、セキュリティ分野でのセンサとしても、距離計測が利用されるようになり、計測精度や信頼性、ロバスト性だけでなく、コスト面での考慮が必要になってきた。
【０００６】
距離計測におけるコストは、使用するカメラ台数が多くなるほど高くなる。このときのコストは、カメラと撮影レンズだけではなく、画像キャプチャや画像処理で必要とするメモリや計算量も含まれている。このため、１台のカメラによるステレオ距離計測方法が提案されてきた。１台の固定カメラによるステレオ距離計測方法は、画像分割法、複数画像法、複数露出法の３種類に分類することができる。
【非特許文献１】エス.ビー.カン（S.B.Kang）・アール.スゼリスキ（R.Szeliski）・ジェー.チャイ（J.Chai）共著,「ハンドリング  オクルジョン  イン  デンス  マルチビュー  ステレオ  （Handling Occlusions in DenseMulti-View Stereo）」,プロク.  オン  コンピュータ  ビジョン  アンド  パターン  レコグニション  （Proc. on Computer Vision andPattern Recognition）,第I巻,p.103-110,2001年12月
【非特許文献２】エム.オクトミ（M.Okutomi）・ティー.カナデ（T. Kanade）共著,「ア  マルチプルーベースライン  ステレオ  （A Multiple-Baseline Stereo）,ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシン  インテリジェンス  （IEEE Trans. on Pattern Analysisand Machine Intelligence）,第15巻,第4号,p.353-363,1993年4月
【非特許文献３】ゼッド.サン（Z.Sun）・ジー.ベビス（G. Bebis）・アール.ミラー（R. Miller）共著,「オンーロード  ビヒクル  デテクション  ユージング  オプティカル  センサズ：  ア  レビュー  （On-Road Vehicle Detection usingOptical Sensors: A Review）」,プロク.  オン  ＩＥＥＥ  インテリジェント  トランスポーテイション  システムズ  コンファレンス  （Proc. on IEEE IntelligentTransportation Systems Conference）,米国,2004年10月
【非特許文献４】ジー.グラッブ（G.Grubb）・エイ.ゼリンスキー（A.Zelinsky）・エル.ニルソン（L.Nilsson）・エム.リルベ（M.Rilbe）共著,「３Ｄ  ビジョン  センシング  フォー  インプルーブド  ペデストリアン  セイフティ  （3D Vision Sensing for ImprovedPedestrian Safety）」,プロク.  オン  ＩＥＥＥ  インテリジェント  ビヒクルズ  シンポジウム  （Proc. on IEEE IntelligentVehicles Symposium）,p.19-24,2004年6月
【非特許文献５】ジェー.エム. グラックマン（J.M.Gluckman）・エス.ケイ. ナイヤル（S.K.Nayar）共著,「プレーナー  カタディオプトリック  ステレオ：  ジオメトリー  アンド  キャリブレーション  （Planar Catadioptric Stereo:Geometry and Calibration）」,プロク.  オン  コンピュータ  ビジョン  アンド  パターン  レコグニション  （Proc. on Computer Vision andPattern Recognition）,第1巻,p.22-28,1999年6月
【非特許文献６】エイチ.シム（H.Shim）著,「ライト  ウエイト  マルチビュー  キャプチャーイング  プロジェクトズ（Light Weight Multi-View CapturingProjects）」,http://amp.ece.cmu.edu/projects/MIRRORARRAY/
【非特許文献７】ディー.エイチ.リー（D.H.Lee）・アイ.エス.クウィーオン（I.S. Kweon）共著,「ア  ノベル  ステレオ  カメラ  システム  バイ  ア  バイプリズム  （A Novel Stereo Camera System by aBiprism）」,ＩＥＥＥ  トランス.  オン  ロボッチック  アンド  オートメイション  （IEEE Trans. on Robotics and Automation）,第16巻,第5号,p.528-541,2000年10月
【非特許文献８】ワイ.ニシモト（Y.Nishimoto）・ワイ.シライ（Y,Shirai）共著,「ア  フィーチャーベーセド  ステレオ  モデル  ユージング  スモール  ディスパリティス  （A Feature-Based Stereo Modelusing Small Disparities）」,プロク.  オン  ＩＥＥＥ  インターナショナル  ワークショップ  オン  インダストリアル  アプリケーションズ  オフ  マシン  ビジョン  アンド  マシン  インテリジェンス  （Proc. on IEEE InternationalWorkshop on Industrial Applications of Machine Vision and Machine Intelligence）,セイケイ  シンポジウム（Seiken Symposium）,p.192-196,日本,1987年2月
【非特許文献９】シー.ガオ（C. Gao）・エヌ.アフジァ（N. Ahuja）共著,「シングル  カメラ  ステレオ  ユージング  プレーナー  パラレル  プレート  （Single Camera Stereo using PlanarParallel Plate）」,プロク.  オン  インターナショナル  コンファレンス  オン  パターン  レコグニション  （Proc. on International Conferenceon Pattern Recognition）,第IV巻,p.108-111,イギリス,2004年8月
【非特許文献１０】イー.エイチ.アデルソン（E.H.Adelson）・ジェー.ワイ.エイ.ワン（J.Y.A. Wang）共著,「シングル  レンズ  ステレオ  ウィズ  ア  プレノピチック  カメラ  （Single Lens Stereo with aPlenoptic Camera）」,ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシン  インテリジェンス  （IEEE Trans. on Pattern Analysisand Machine Intelligence）,第14巻,第2号,p.99-106,1992年2月
【非特許文献１１】エム.アムトン（M.Amtoun）・ビー.ブーファマ（B. Boufama）共著,「マルチベースライン  ステレオ  ユージング  ア  シングルーレンズ  カメラ  （MultibaselineStereo using a Single-Lens Camera）」,プロク.  オン  インターナショナル  コンファレンス  オン  イメージ  プロセシング  （Proc. on International Conferenceon Image Processing）,第1巻,p.401-404,2003年9月
【非特許文献１２】エス.ヒウラ（S.Hiura）・ティー.マツヤマ（T.Matsuyama）共著,「デプス  メジャーメント  バイ  ザ  マルチフォーカス  カメラ  （Depth Measurement by theMulti-Focus Camera）」,プロク.  オン  コンピュータ  ビジョン  アンド  パターン  レコグニション  （Proc. on Computer Vision andPattern Recognition）,p.953-959,1998年6月
【非特許文献１３】イー.ピー.シモンセリ（E.P. Simoncelli）・エイチ.ファリード（H. Farid）共著,「ダイレクト  デファレンシャル  レンジ  エスティメイション  ユージング  オプティカル  マスクズ  （Direct Differential RangeEstimation using Optical Masks）」,プロク.  オン  ヨーロッピアン  コンファレンス  オン  コンピュータ  ビジョン  （Proc. on European Conference onComputer Vision）,第2巻,p.82-93,イギリス,1996年4月
【非特許文献１４】山田憲嗣・高橋秀也・志水英二共著，「符号化開口法を用いた３次元形状検出手法」，電子情報通信学会論文誌,第J80-D-II巻,第11号,p.2986-2994,1997年11月
【非特許文献１５】清原將裕・数井誠人・池田光二共著，「１台のカメラとレンズアレイとを用いた距離計測」,画像の認識・理解シンポジウム（MIRU2004）論文集，第I巻，p.392-397,2004年7月
【非特許文献１６】ジェー.ワイ.ブーゲット（J.Y.Bouguet）,「カメラ  キャリブレーション  ツールボックス  フォー  マットラブ  （Camera Calibration Toolbox forMatlab）」, http://www.vision.caltech.edu/bouguetj/calib_doc/index.html,2004年10月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
画像分割法とは、ミラー（非特許文献５、非特許文献６参照）やプリズム（非特許文献７参照）などの光学的な手段を利用して画像を複数の領域に分割することで、つまり、基本的には複数台分のカメラの画像を１台のカメラで同時に撮影できるように工夫したものであり、位置や向きが異なる複数のカメラで撮影した画像を１枚の画像に映し込む手法である。
【０００８】
画像分割法では、カメラ間での画像濃度やコントラスト、色彩などの差がない。また、時間的に完全に同期した複数の画像を利用するので、動的な対象にも適用でき、リアルタイムのアプリケーションにも応用できる。しかし、１台のカメラの画素数を分割利用するため（つまり、１つの視点からの画像に相当する分割画像の画素数は小さくなるため）、計測精度が低下する問題があった。また、複数台のカメラを利用したステレオ距離計測と同様に、カメラの外部パラメータのキャリブレーションを行う必要がある。
【０００９】
また、複数画像法とは、光学的な手段を利用して１台のカメラの位置を等価的に移動しながら複数枚の画像を撮影し、対象までの距離を推定する手法である。例えば、カメラ光軸上に配置した平行平面透明板の光軸に対する角度を変更する（非特許文献８参照）ことや、透明板の角度は一定のままでカメラ光軸に沿って回転する（非特許文献９参照）ことで、カメラ位置の精密な平行移動を実現している。
【００１０】
複数画像法では、カメラは平行移動するため、外部パラメータを推定する必要はなく、距離計算が容易である。しかし、複数画像を撮影した後で対象までの距離を求めるため、移動物体に対する距離計測を行うことは原理的に不可能である。また、光学的手段は作動部材を含む機構で構成されているので、その製造のために結果的に高価なシステムになり、調整のために手間のかかる計測になっていた。
【００１１】
そして、複数露出法とは、単一レンズの開口（非特許文献１０、非特許文献１１参照）や、符号化開口（非特許文献１２、非特許文献１３、非特許文献１４参照）、レンズアレイ（非特許文献１５参照）を利用し、異なる位置を通過する光線を１枚の画像に撮影して距離情報を得る手法である。
【００１２】
複数露出法では、複数の開口を設けるために光量に対する使用効率が低下し、レンズ開口でベースライン長が制限される。また、レンズアレイを使った撮影画像における対応点探索の曖昧さに起因する計測精度の低さや、原理的にピンホールによる撮影である符号化開口を使った撮影画像におけるコントラストの低さなどの問題がある。
【００１３】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、上述した従来の問題点を解決し、透明板に映る２重像を、可動部を持たない１台の撮像装置で撮影して得られた一枚の画像に基づいて、安価な装置構成及び短い計測時間で距離計測を行い得るようにした、透明板に映る２重像を用いた距離計測方法を提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、透明板に映る２重像を用いた距離計測方法に関し、本発明の上記目的は、両面が平行平面で構成される１枚の透明板と、可動部を持たない１台の撮像装置とから構成される距離計測装置を用いて、前記透明板に映る位置ずれのある２重像を前記撮像装置で撮影して得られた一枚の画像に基づいて、距離計測を行うことにより、或いは、前記撮像装置は固体撮像素子を用いるものであることにより、或いは、前記透明板は透明アクリル板であり、また、前記撮像装置はＣＣＤカメラであることにより、或いは、２重像間の変位拘束を前記透明板と前記撮像装置との位置関係から幾何学的に導き、導かれた２重像間の変位拘束に沿って画像の自己相関極大位置を探索することで２重像間の変位を計測し、計測された２重像間の変位に対応して、計測対象までの距離を求めることにより、或いは、前記２重像は表面反射像Ｉｓと裏面反射像Ｉｒとから構成され、前記撮像装置の撮影レンズ光学中心から前記計測対象までの距離（Ｄｏ＋Ｄｃ）は次の式によって求め、
2006329897.tif 000003
ただし、θｓは前記表面反射像Ｉｓと前記裏面反射像Ｉｒとの間の角度視差で、ｎは空気に対する前記透明板の相対屈折率で、ｄは前記透明板の厚さで、θｉは前記撮像装置の撮影レンズの光軸と前記透明板との成す角度であることにより、或いは、前記２重像は、反射無し透過像（即ち、透明板内部での反射がない透過像）と２回反射透過像（即ち、透明板内部で２回反射した後の透過像）とから構成され、前記撮像装置の撮影レンズ光学中心から前記計測対象までの距離（Ｄｏ＋Ｄｃ）は次の式によって求め、
2006329897.tif 000004
ただし、θｓは前記反射無し透過像と前記２回反射透過像との間の角度視差で、ｎは空気に対する前記透明板の相対屈折率で、ｄは前記透明板の厚さで、θｉは前記撮像装置の撮影レンズの光軸と前記透明板との成す角度であることにより、或いは、前記２重像上の注目点に対する対応位置探索を拘束直線上に限って行うことによって効果的に達成される。
【００１５】
また、本発明の上記目的は、非平行度を持つ１枚の透明板と、可動部を持たない１台の撮像装置とから構成される距離計測装置を用いて、前記透明板に映る位置ずれのある２重像を前記撮像装置で撮影して得られた一枚の画像に基づいて、距離計測を行うことにより、或いは、前記撮像装置は固体撮像素子を用いるものであることにより、或いは、前記２重像は表面反射像Ｉｓと裏面反射像Ｉｒとから構成され、前記透明板は透明アクリル板であり、また、前記撮像装置はＣＣＤカメラであることにより、或いは、前記撮像装置の内部パラメータのキャリブレーションを行う第１のステップと、前記距離計測装置のキャリブレーションを行う第２のステップと、２重像間の角度視差θｓを計算する第３のステップと、前記撮像装置の撮影レンズ光学中心から計測対象までの距離を計算する第４のステップとを有することにより、或いは、前記第１のステップでは、画像の画素数とレンズ焦点距離ｆ／δを求め、画像からレンズ歪みを除去するようにし、前記第２のステップでは、
2006329897.tif 000005
を求め、Ｄｃを測定し、前記第３のステップでは、まず、注目点
2006329897.tif 000006
に対する対応位置を、次の２直線上の点
2006329897.tif 000007
で探索し、
2006329897.tif 000008
ただし、ｔは画素単位の媒介変数であり、次に、前記透明板の非平行度を考慮した２重像間変位Δは、次の式によって求め、
2006329897.tif 000009
そして、前記２重像間の角度視差θｓは次のように計算し、
2006329897.tif 000010
ただし、
2006329897.tif 000011
はカメラ座標で表した画像上の位置であるようになっており、前記第４のステップでは、まず、拘束直線の方向に沿った非平行度を表す角度θｐは、次の式によって求め、
2006329897.tif 000012
そして、前記撮像装置の撮影レンズ光学中心から計測対象までの距離（Ｄｏ＋Ｄｃ）は、次の式によって求め、
2006329897.tif 000013
ただし、ｄは、一定と近似された前記透明板の厚さであることによってより一層効果的に達成される。
【発明の効果】
【００１６】
本発明に係る透明板に映る２重像を用いた距離計測方法を用いれば、両面が平行平面で構成される透明板に映る位置ずれのある２重像の変位拘束を導き、導かれた２重像の変位拘束に沿って画像の自己相関極大位置を探索することで２重像間の変位を計測し、そして、計測された２重像間の変位に対応して、計測対象との距離を簡単に求めることができる。
【００１７】
本発明によれば、１枚の安価な透明板（例えば、透明アクリル板）及び可動部を持たない１台の撮像装置（例えば、ＣＣＤカメラ）という極めて簡単な装置構成と短い計測時間で、低コスト且つ高精度に距離計測を行うことができるという優れた効果を奏する。
【００１８】
つまり、本発明の距離計測方法において、従来の１台のカメラによるステレオ距離計測方法における必要である駆動機構や特殊な光学系などの高価な部品が、一切不要である。しかも、本発明では、透明板として、透明アクリル板を用いた場合に、完全な平行板だけではなく、市販されている量産品で非平行度を持つ透明アクリル板を利用することもできる。
【００１９】
また、本発明を静的な計測対象に適用できるのだけでなく、動的な計測対象にも適用できるので、リアルタイム用途を含めた実際のアプリケーションをはじめとする幅広い分野に本発明を応用することが可能である。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００２１】
本発明では、両面が平行平面で構成される透明板に映る２重像を、可動部を持たない１台の撮像装置（その一例として、ＣＣＤカメラ）で撮影した１枚の画像を使って、距離計測を行うようにしている。
【００２２】
ところで、透明板に入射する光線は、透明板表面の反射光（以下、これを表面反射像Ｉｓと呼ぶことにする）と透過光とに分かれる。この透過光は透明板の裏面に到達するが、裏面で一部が反射し、再び表面を透過する（以下、これを裏面反射像Ｉｒと呼ぶことにする）。従って、このような平行平面透明板に映る像は、位置ずれのある２重像として観測できる。この２重像は、小さなベースラインを持つステレオ画像が重なって撮影された画像と考えることができる。
【００２３】
本発明に係る距離計測方法で使用される距離計測装置の基本的な構成を図１(Ａ)に示す。図１（Ａ）に示されるように、本発明の距離計測方法で使用される距離計測装置は、可動部を持たない１台の撮像装置と、両面が平行平面で構成される透明板（以下、単に平行平面透明板、或いは、透明板とも称する）とから構成されている。
【００２４】
本発明を実施するための最良の形態において、可動部を持たない１台の撮像装置として、ＣＣＤカメラ（以下、単にカメラとも称する）を用いる。図１（Ａ）の距離計測装置によって得られた画像（２重像）の一例を図１(Ｂ)に示す。
【００２５】
なお、本発明で使用される距離計測装置の撮像装置として、固体撮像素子を用いる撮像装置であれば良いので、ＣＣＤカメラに限定する必要がなく、例えば、ＣＭＯＳイメージセンサを用いるＣＭＯＳカメラを用いるようにしても良い。
【００２６】
本発明の距離計測方法の最大な特徴として、図１（Ｂ）に示すような２重像間の変位拘束を透明板とカメラとの位置関係から幾何学的に導き、そして、この変位拘束に沿って画像の自己相関極大位置を探索することで、２重像間の変位を計測し、計測された変位に対応して計測対象との距離を求めるようにすることである。以下、本発明を詳細に説明する。
＜１＞平行平面透明板に映る２重像の性質
以下では、まず、本発明で使用される距離計測装置の構成要件の１つである平行平面透明板に映る２重像の性質を示す。そして、２重像間の角度視差と対象との距離の関係、変位方向拘束、画像の自己相関の極大位置を探索することによる変位の検出などの本発明に係る距離計測方法で利用される基本的な性質を詳細に説明する。
＜１−１＞２重像間の角度視差と対象までの距離
図２は、図１（Ａ）の構成を有する距離計測装置の基本的な幾何学関係を説明するための模式図である。
【００２７】
図２に示すように、表面反射像Ｉｓと裏面反射像Ｉｒとの間の角度視差θｓは、空気に対する透明板の相対屈折率ｎ（以下、単に屈折率ｎとも称する）、透明板の厚さｄ（以下、単に厚さｄ、或いは、板厚ｄとも称する）、カメラ光軸と透明板との成す角度（以下、単に入射角度とも称する）θｉ、及び計測対象である物体（ここで、説明を簡単にするために、以下、物体中の１点を計測対象とする。）までの距離によって変化する。
【００２８】
計測対象（以下、単に対象と称する）とカメラ光学中心、及び透明板の法線ベクトルを通る平面上での光線を考えることで、表面反射像Ｉｓと裏面反射像Ｉｒとの間の角度視差（以下、単に２重像間の角度視差とも称する）と対象までの距離の基本的な関係を説明する。この平面（即ち、後述する拘束平面）は、透明板の法線ベクトルを含むので、対象から来る光線の反射や屈折は、この平面上で記述することができる。
【００２９】
ここで、対象からの光線が透明板上で反射する位置を原点とする座標系（ξ,υ）を設定する。座標系（ξ,υ）の原点から対象までの距離をＤｏとし、また、座標系（ξ,υ）の原点からカメラ光学中心までの距離をＤｃとする。
【００３０】
従って、座標系（ξ,υ）における対象の位置とカメラ光学中心位置は、それぞれ（−Ｄｏsinθｉ,Ｄｏcosθｉ）及び（Ｄｃsinθｉ,Ｄｃcosθｉ）となるので、透明板の表面反射と裏面反射に関して、これらの位置をξ軸上に投影することで、下記数１で表す関係を得る。
【００３１】
【数１】
2006329897.tif 000014
カメラ光学中心から対象までの距離でまとめると、下記数２を得る。
【００３２】
【数２】
2006329897.tif 000015
数２から、２重像間の角度視差θｓの最大値と最小値を求めることができる。Ｄｏ＝０のとき、すなわち、対象が透明板に接触するまで近距離になったときに、θｓは最大値θｓ〈max〉をとる。具体的な例として、例えば、Ｄc＝６０[ｍｍ]、ｎ＝１.４９（透明板として透明アクリル板を用いた場合）、ｄ＝１０[ｍｍ]のとき、θｉ≒５５[度]でθｓ〈max〉≒７.５[度]となる。この角度に対応する変位まで探索すれば十分である。
【００３３】
また、Ｄｏ＝∞のとき、すなわち、対象が無限遠方にあるときに、θｓは最小値０をとる。ただし、これは、透明板が完全な平行平面のときのものである。なお、後述する本発明で使用される距離計測装置の詳細な構成では、透明板が完全な平行平面でないときも、つまり、透明板の平行度も考慮して説明を行う。
【００３４】
ところで、表面反射像Ｉｓと裏面反射像Ｉｒは、小さなベースラインを持つステレオ画像と考えることができる。対象が無限遠方にあるとき、このベースライン長は、下記数３のように計算することができる。
【００３５】
【数３】
2006329897.tif 000016
また、このときのステレオ配置は、表面反射像Ｉｓを撮影するカメラの方が対象に近くなるように前後にオフセットしている。このオフセット長は、下記数４のように計算することができる。
【００３６】
【数４】
2006329897.tif 000017
具体的な例として、例えば、ｎ＝１.４９（透明板として透明アクリル板を用いた場合）、ｄ＝１０[ｍｍ]、θｉ＝４５[度]のとき、base＝７.６[ｍｍ]、offset＝１５.１[ｍｍ]である。図３に、ｎ＝１.００（真空や空気）、ｎ＝１.４９（透明板として透明アクリル板、ガラス板を用いた場合）、ｎ＝２.４２（透明板の材質としてダイヤモンドを用いた場合）のときの、入射角度θｉに対するベースライン長baseとオフセットoffsetを示す。それぞれに板厚ｄを乗じることで、実際の長さを求めることができる。
＜１−２＞距離計測装置の別の幾何学関係
本発明で使用される距離計測装置について、図２に示すような基本的な幾何学関係、即ち、表面反射像と裏面反射像を利用することができるだけではなく、透明板内部での反射がない透過像（以下、単に反射なし透過像とも称する）と内部で２回反射した後の透過像（以下、単に２回反射透過像とも称する）を利用することもできる。図４に、本発明で使用される距離計測装置の別の幾何学関係（つまり、透過像を利用する）を示す。
【００３７】
図４に示されるように、反射なし透過像と２回反射透過像について、数１と同様に、ξ軸上に投影すると、下記数５で表す関係を得る。
【００３８】
【数５】
2006329897.tif 000018
角度視差θｓと対象までの距離Ｄｏ＋Ｄｃの関係は、下記数６のようになる。
【００３９】
【数６】
2006329897.tif 000019
＜１−３＞透明板の反射率
以下では、透明板の表面反射像と裏面反射像の輝度の関係を示す。透明板の表面や裏面に反射膜や反射防止膜をコーティングすることによって、反射率は大きく異なる。このため、以下のように、コーティングがある場合と、コーティングがない場合に分けて説明する。
＜１−３−１＞コーティングがない場合
図５に示すように、対象からの光線が空気中を通り透明板表面に到達するとき、表面での反射率ｋｒ(１)は、下記数７のフレネルの公式で表すことができる。
【００４０】
【数７】
2006329897.tif 000020
ただし、θｉは入射角で、θｔは屈折角である。また、ｎは屈折率である。透過率ｋｔ(１)は、ｋｔ(１)＝１−ｋｒ(１)である。
【００４１】
次に、光線が透明板の裏面に到達するとき、透明板内部への反射率ｋｒ(２)は、同様に下記数８のように表すことができる。
【００４２】
【数８】
2006329897.tif 000021
さらに、裏面で反射した光線が透明板内部から表面に到達するとき、透明板内部への反射率ｋｒ(３)は、下記数９のようになる。
【００４３】
【数９】
2006329897.tif 000022
透明板から空気中への透過率ｋｔ(３)は、ｋｔ(３)＝１−ｋｒ(３)である。
【００４４】
従って、裏面反射像の合成反射率ｋｔ＜１＞は、下記数１０のようになる。
【００４５】
【数１０】
2006329897.tif 000023
この合成反射率ｋｔ＜１＞を、１段目の裏面反射像の合成反射率と呼ぶことにする。図６に、表面反射像と裏面反射像に対するそれぞれの反射率ｋｒ(１)とｋｔ＜１＞を示す。
【００４６】
なお、透明板内部では、さらに反射と透過を繰り返し、裏面反射像として観測されるはずである。ｎ段目の裏面反射像の合成反射率ｋｔ＜ｎ＞は、下記数１１のようになる。
【００４７】
【数１１】
2006329897.tif 000024
後述するように、透明板への入射角θｉの範囲は、カメラの撮影レンズ画角と透明板取り付け角度によって異なるが、標準レンズ画角の場合には、およそ３０≦θｉ≦６０[度]程度である。この範囲では、ｋｒ(１)＜０.０８８なので、ｋｔ＜１＞とｋｔ＜２＞は、それぞれ下記数１２、数１３に示すような範囲になる。
【００４８】
【数１２】
2006329897.tif 000025
【００４９】
【数１３】
2006329897.tif 000026
つまり、ｋｔ＜１＞／ｋｔ＜２＞≒１２９が成立するので、１段目の裏面反射像が２段目の裏面反射像より約１２９倍も明るい反射像で、しかも表面反射像の明るさとほぼ等しい。このため、２段目以後の裏面反射像が無視できる２重像を観測することができる。
【００５０】
しかし、透明板に反射膜コーティングがない場合には、２重像を作る反射率は、総じて数％〜１０％程度であるため、２重像はかなり暗い（カメラ単体での撮影に対して３絞り程度暗い）。
【００５１】
一方、反射なし透過像と２回反射透過像を利用する図４のような幾何学関係の場合には、それぞれの像に対応する反射率は、下記数１４、数１５のようになる。
【００５２】
【数１４】
2006329897.tif 000027
【００５３】
【数１５】
2006329897.tif 000028
２つの像の反射率が１２９倍程度異なるため、この場合は実用的ではない。
＜１−３−２＞コーティングがある場合
ところで、金属（クロム）膜や誘電体多層膜を透明板にコーティングすることで、ハーフミラーを作ることができる。このコーティングによって、反射率を変化させることができる。ここでは、反射膜コーティングによって２重像をより明るく、しかも２重像間の明るさが同じになるような反射率と透過率について検討する。
【００５４】
コーティングがない場合と同様に、透明板表面での反射率と透過率をそれぞれｋｒ(ｓ)とｋｔ(ｓ)、透明板裏面での反射率と透過率をそれぞれｋｒ(ｒ)とｋｔ(ｒ)とする。このとき、コーティング膜での吸収があるので、ｋｒ＋ｋｔ≦１である。
【００５５】
１段目の裏面反射像の合成反射率ｋｔ＜１＞は、下記数１６のようになる。
【００５６】
【数１６】
2006329897.tif 000029
同様に、ｎ段目の裏面反射像の合成反射率ｋｔ＜ｎ＞は、下記数１７のようになる。
【００５７】
【数１７】
2006329897.tif 000030
従って、２重像間の明るさが同じで、且つ２段目以後の裏面反射像が暗くなる条件は、下記数１８のようになる。
【００５８】
【数１８】
2006329897.tif 000031
ｋｔ(ｓ)を消去して１つの式にまとめると、数１８は下記数１９のようになる。
【００５９】
【数１９】
2006329897.tif 000032
コーティングがない場合の反射率の条件は、この条件を満たしている。しかし、２重像は明るくならないので、数１０の２番目の条件をとりやめ、透明板裏面での反射率をｋｒ(ｒ)＝１（全反射）とすると、下記数２０で表すような透明板表面での反射率と透過率の関係を得る。
【００６０】
【数２０】
2006329897.tif 000033
例えば、ｋｒ(ｓ)＝０.３８、ｋｔ(ｓ)＝０.６２とすれば、２重像の明るさは、コーティングがない場合の約４倍（２絞り明るい）になる。ただし、このとき、２段目の裏面反射像の反射率ｋｔ＜２＞＝０.２４のために、十分に明るく、３重以上の多重像が観測される。
【００６１】
反射なし透過像と２回反射透過像を利用する図４のような幾何学関係の場合には、それぞれの像に対応する反射率は、下記数２１、数２２のようになる。
【００６２】
【数２１】
2006329897.tif 000034
【００６３】
【数２２】
2006329897.tif 000035
ｋｒ＜ｒ＞ｋｒ＜ｓ＞≒１のとき、つまり、表面と裏面での反射率がどちらも１に近いときに、２重像間の明るさは、ほぼ等しくなる。しかし、逆に透過率が小さくなるため、結果として２重像はかなり暗くなる。また、このときにも３重以上の多重像が観測される。
【００６４】
まとめると、反射像を利用するときは反射率を小さく、透過像を利用するときは反射率を大きくすると、都合がよい。
【００６５】
このため、図２に示されるような反射像を利用することに基づいた距離計測装置を構成する場合には、透明板にコーティングの必要がないので、透明板をそのまま使用でき、簡単に距離計測装置を構成することができる。
【００６６】
一方、図４に示されるような透過像を利用することに基づいた距離計測装置を構成する場合には、透明板の両面がハーフミラーになるようにコーティングする必要があると共に、３重以上の多重像から角度視差を求める必要もあるので、距離計測装置を構成するのにすこし手間がかかる。
【００６７】
なお、以後は、反射像を利用する図２の幾何学関係に基づいて構成された距離計測装置について検討を進める。また、反射像を利用する図２の幾何学関係に基づいて構成された距離計測装置を使用する前提で、本発明の距離計測方法を詳細に説明する。
＜１−４＞２重像間の変位方向拘束
＜１−１＞で示したように、対象中の１点に対する２重像間の変位は、図２のように透明板の法線ベクトルを含む平面上での反射と屈折として表すことができる。本発明では、この平面を拘束平面と呼ぶことにする。ここでは、透明板からの反射像をカメラで撮影したときに、画像上の位置に対応する２重像の変位拘束を調べる。
【００６８】
図７に示すように、カメラ光学中心Ｏをカメラ座標原点とする座標系を設定する。透明板を、Ｚ軸に垂直な平面に対して角度θｍだけ傾いて配置する。透明板の法線ベクトル
2006329897.tif 000036
は、関係式導出における符号の扱いやすさの都合上、裏面向きに設定している。カメラ座標原点（以下、単に原点とも称する）と画像面との距離は、ＣＣＤの画素間隔を単位として、計測したレンズ焦点距離ｆ／δとする。２重像の変位拘束は、画像面と拘束平面との交線で表すことができる。
【００６９】
拘束平面の正規化前の法線ベクトルを、(ｃ１,ｃ２,１)とする。拘束平面の法線ベクトルは、原点から画像面上の位置
2006329897.tif 000037
へのベクトルと、透明板の法線ベクトル
2006329897.tif 000038
とに直交するので、下記数２３、数２４に示されるように、内積がともに０になる。
【００７０】
【数２３】
2006329897.tif 000039
【００７１】
【数２４】
2006329897.tif 000040
従って、原点を通る拘束平面ｃ１Ｘ＋ｃ２Ｙ＋Ｚ＝０と画像面Ｚ＝ｆ／δとの交線は、画像座標（ｕ,ｖ）を使って、下記数２５のように表すことができる。
【００７２】
【数２５】
2006329897.tif 000041
これは、画像座標上の位置
2006329897.tif 000042
を通る直線を表している。図８に、例として、画像サイズ１０２４×７６８[画素]、ｆ／δ＝１０７０.０５９１、θｍ＝４５[度]のときの、画像上の各位置に対する拘束直線の方向を示す。図８において、矢印の向きは、裏面反射像に対する表面反射像の向きを表している。
【００７３】
カメラ座標で表した画像上の位置
2006329897.tif 000043
に対応する２重像の位置を拘束直線上で探索した結果、位置
2006329897.tif 000044
から画素単位で表す符号付き距離Δの位置に見つかったとする。このとき、２重像間の角度視差θｓは、下記数２６のように求めることができる。
【００７４】
【数２６】
2006329897.tif 000045
ただし、
2006329897.tif 000046
である。
【００７５】
また、θｉは、下記数２７のように求めることができる。
【００７６】
【数２７】
2006329897.tif 000047
＜１−５＞自己相関による対応位置探索
２重像画像中のある注目位置に対する対応位置は、拘束直線上を探索すればよいことがわかった。ここでは、拘束直線上の画素値を取り出した１次元関数の自己相関を使って、対応位置を探索する方法を説明する。
【００７７】
変数ｔに対する関数ｆ(ｔ)の自己相関関数
2006329897.tif 000048
は、下記数２８のように定義される。
【００７８】
【数２８】
2006329897.tif 000049
数２８で定義される自己相関関数
2006329897.tif 000050
は、τに関する偶関数で、τ＝０で最大値を取る。関数ｆ(ｔ)に周期性がないときは、その自己相関関数
2006329897.tif 000051
は、τ＝０で極大且つ最大値を取る。
【００７９】
関数ｆ(ｔ)として、２重像画像中のある注目位置を通り、拘束直線上の画素値を取り出した関数を考える。２重画像間の変位をΔ、２重画像を構成する中の１枚の画像をＩ(ｔ)とすると、２重像はｆ(ｔ)＝Ｉ(ｔ)＋Ｉ(ｔ−Δ)と表すことができる。このｆ(ｔ)に対する自己相関関数
2006329897.tif 000052
は、下記数２９のようになる。
【００８０】
【数２９】
2006329897.tif 000053
つまり、２重画像の自己相関関数は、Ｉ(ｔ)の自己相関関数の２倍と、Ｉ(ｔ)の自己相関関数を±Δだけシフトした関数との和になっている。従って、２重像画像中のある注目位置に対する対応位置は、拘束直線上の画素値で構成した関数の自己相関関数を求め、その第２極大位置を探索すればよいことがわかる。
【００８１】
図９(Ａ)に、注目点
2006329897.tif 000054
に対する拘束直線を示す。拘束直線の長さは、探索範囲を示す。対象までの距離が大きくなると、次第に対応位置が注目点に近づき、Ｄｏ＝∞のときには完全に一致する。図９(Ｂ)に、２重像間変位量に対応する自己相関関数の例を示す。対応点は、この自己相関関数の第２極大位置を探索することで求められるが、２重像間変位Δが小さくなると、即ち、対象までの距離が大きくなると、第２極大が分離できなくなることがわかる。しかし、この問題に関しては、後述する簡単な解決策を示している。
＜２＞距離計測装置の構成及びキャリブレーション
＜２−１＞距離計測装置の構成例
カメラと透明板を図１０に示されるように配置して本発明で使用される距離計測装置を構成した。カメラには、市販のディジタルカメラを利用した。撮影レンズの焦点距離は、ｆ＝７.０９[ｍｍ]（公称）である。この焦点距離と公称撮像面サイズ（６.９１×５.１８[ｍｍ]）を使って、下記数３０、数３１を用いて、水平画角ＦＯＶｈと垂直画角ＦＯＶｖを求め、適切な透明板サイズの選択と配置に利用した。
【００８２】
【数３０】
2006329897.tif 000055
【００８３】
【数３１】
2006329897.tif 000056
透明板には、容易に入手可能な透明アクリル板（サイズは１００×１００[ｍｍ]で、板厚は１０[ｍｍ]である）を使用した。透明板の取付角度θｍは４５[度]である。このとき、透明板への入射角度は、約２５〜６５[度]になる。透明板の裏面と側面からの入射光を避けるため、それぞれ遮光のための黒色シートを貼り付けた。
＜２−２＞カメラ内部パラメータのキャリブレーション
ここで、カメラ内部パラメータのキャリブレーション方法について述べる。
【００８４】
カメラ内部パラメータは、公開されているキャリブレーションツール（非特許文献１６参照）を使って求めた。図１１に、キャリブレーションに利用した画像の一例を示す。このような画像を１８枚使って、カメラ内部パラメータのキャリブレーションを行った。
【００８５】
カメラの画素数は２０４８×１５３６[画素]だが、計算時間短縮のため、バイキュービック補間によって１０２４×７６８[画素]に縮小した。キャリブレーションによって求めたパラメータは、ＣＣＤ画素間隔で測ったレンズ焦点距離ｆ／δ＝１０７０.０５９１と、画像中心(ｃｕ,ｃｖ)＝(−７.８３８４,−１２.７１８１)である。同時に得られる歪曲収差パラメータを使って、画像から歪曲収差を取り除いた。
＜３＞透明板の非平行度と取付角度の検討、及び距離計測手順
＜３−１＞透明板の非平行度の影響
透明アクリル板は、完全な平行板のように思えるが、厳密には平行ではない。市販されている量産品である透明アクリル板は、完全な平行板ではなく、非平行度を持つ。
【００８６】
ここでは、まず、図２の拘束平面上で透明板の非平行度の影響を調べる（例えば、本発明で使用される距離計測装置において、透明板として市販されている透明アクリル板を用いた場合）。
【００８７】
図１２に示すように、図２と同様な拘束平面上での光線の反射と屈折に影響する非平行度として、角度θｐを考える。このとき、数１と同様に、下記数３２を得る。
【００８８】
【数３２】
2006329897.tif 000057
ただし、透明板の厚さｄは、図１２に示されるように、一定と近似している。カメラ光学中心から対象までの距離でまとめると、下記数３３を得る。
【００８９】
【数３３】
2006329897.tif 000058
このとき、右辺第２項には距離Ｄｃを含むので、距離計測装置を構成したときに、Ｄｃを予め測定する必要がある。
【００９０】
しかし、θｉ＝４５[度]、θｐ＝０.０５８[度]、θｓ＜８[度]のとき、実際に第１項に対する重みを計算すると、下記数３４のようになる。
【００９１】
【数３４】
2006329897.tif 000059
このため、Ｄｃは概略測定で十分である（カメラ光学中心、つまり、撮影レンズの光学中心を正確に求める必要はない）。
【００９２】
また、θｏとθｔは、図１２に示すように、それぞれ下記数３５と数３６で表す角度である。
【００９３】
【数３５】
2006329897.tif 000060
【００９４】
【数３６】
2006329897.tif 000061
図１３に、θｐ＝０[度]（透明板が完全な平行板のとき）とθｐ＝０.０５８[度]に対する、２重像間の角度視差θｓと、カメラ光学中心から対象までの距離（Ｄｏ＋Ｄｃ）との関係を示す。図１３から分かるように、θｐ＞０[度]のとき、カメラ光学中心から対象までの距離（Ｄｏ＋Ｄｃ）が大きくなるにつれて角度視差θｓは小さくなるが、一定の角度θｓ＊より小さくならず、２重像が重なることはない。本発明では、この性質によって、２重像の自己相関を利用した対応位置探索において、第２極大位置を効果的に分離することができる。
【００９５】
対象が無限遠方にあるときには、数３３の分母が０になり、下記数３７が得られる。
【００９６】
【数３７】
2006329897.tif 000062
すなわち、無限遠方距離に対応するθｓ＊とθｐの間には、下記数３８で表す関係が成立する。
【００９７】
【数３８】
2006329897.tif 000063
数３８にはθｉを含むが、θｉの変化に対する影響は比較的小さい。画像中央部、即ち、θｉ＝４０〜５０[度]付近で、θｓ＊を調べれば、θｐを求めることができる。
【００９８】
なお、θｐ＜０[度]のときには、図１３から容易に想像できるように、ある距離において、角度視差θｓが０[度]となり、２重像が重なる。このため、自己相関を利用した対応位置探索では、計測距離に制限が生じる。さらに、距離が大きくなると、表面反射像Ｉｓと裏面反射像Ｉｒの変位関係が逆になり、角度視差は次第に大きくなる。しかし、２重像の自己相関からは表面反射像Ｉｓと裏面反射像Ｉｒの変位の向きを検出できない。このため、自己相関を利用した対応位置探索では、正しい距離を求めることができなくなる。従って、本発明で使用される距離計測装置を構成するときに、θｐ＞０[度]になるように透明板を配置する必要がある。
＜３−２＞透明板の非平行度の推定
次に、図１０に示す構成で撮影した２重像を利用して、透明板の非平行度を求める方法を説明する。
【００９９】
＜３−１＞で述べた理由によって、無限遠方の対象が図１４のような２重像の変位関係になるように、透明板の上下左右裏表を選択して配置する。図１４に示されるこの変位関係は、透明板に映る画像を観察しながら、一部を遮るなどすれば容易に判断できる。また、透明板の厚さを実際に計測して判断することもできる。
【０１００】
このように配置した距離計測装置を使って、図１５(Ａ)に示すような無限遠方と見なせるような画像を撮影する。画像の中央部分の赤色矩形で囲む部分を使って、２次元自己相関関数を求めた結果を、図１５(Ｃ)、(Ｄ)に示す。図１５(Ｄ)から、第２及び第３極大位置は
2006329897.tif 000064
であり、自己相関関数からはＩｓとＩｒの変位関係を求めることはできないが、先に述べて理由で、下記数３９で表す、変位原点に対して右下方向の極大位置
2006329897.tif 000065
を利用する。
【０１０１】
【数３９】
2006329897.tif 000066
図１６に示すように、透明板の非平行度を、２つの角度θph及びθpvで表す。
2006329897.tif 000067
から、水平方向と垂直方向に対応する角度視差θsh＊とθsv＊を求め、数３８を使うことで、θphとθpvを下記数４０、数４１のように推定することができる。
【０１０２】
【数４０】
2006329897.tif 000068
【０１０３】
【数４１】
2006329897.tif 000069
＜３−３＞透明板の非平行度を考慮した対応点探索
以下に、透明板の非平行度によって、どのような直線上で対応点探索を行うべきかを説明する。
【０１０４】
透明板が完全な平行板の場合、２重像上のある注目点に対する対応点は、拘束直線上にある。拘束直線上の画素値を補間して取り出して１次元関数として扱い、この１次元関数の自己相関関数を計算することで、対象が近距離のときには極大を３個検出できる。第２極大位置を探索することで、対応点を検出することができる。対象の距離が大きくなるにつれて、これら３個の極大位置は近づき、やがて分離できなくなる。原理的には、対象が無限遠方にあるときに３個の極大は１点で一致する。
【０１０５】
しかし、透明板に非平行度があるときには、つまり、透明板が完全な平行板でない場合に、図１５(Ｃ)、(Ｄ)に示すように、対象が無限遠方にあるときでも、極大は３個に分離する。この第２極大と第３極大の位置は、図１７に示すように、注目点
2006329897.tif 000070
に対して、２点
2006329897.tif 000071
を通る拘束直線に平行な２直線上を移動する。
＜３−４＞透明板の取付角度のキャリブレーション
カメラに対する透明板の取付角度には、２自由度の不確かさがある。この不確かさによって、＜１−４＞で示した拘束直線交点位置
2006329897.tif 000072
は、実際に撮影した画像では異なる位置に現れる。この移動量を
2006329897.tif 000073
とすると、拘束直線の交点は、
2006329897.tif 000074
となる。
【０１０６】
対応位置を探索するときに利用する自己相関関数において、第２極大の大きさは、対応点の対応の良さを表している。この対応の良さは、拘束直線の向き、即ち、拘束直線の交点
2006329897.tif 000075
が正確なほど大きくなると考えることができる。
【０１０７】
そこで、第２極大値
2006329897.tif 000076
を画像上の注目位置
2006329897.tif 000077
の関数と考え、下記数４２のように、
2006329897.tif 000078
を求める。
【０１０８】
【数４２】
2006329897.tif 000079
本発明で使用される距離計測装置において、透明板の取付角度のキャリブレーションに利用される２重像は、自己相関関数の第２極大が明確に現れる画像なら、どのような距離の対象を撮影したものでも利用することができる。
【０１０９】
本実施例では、図１８に示すような一定距離（透明板から１[ｍ]）にある平面（壁面）を撮影して得られた画像を透明板の取付角度のキャリブレーションに利用した。自己相関関数を計算するときには、総和領域がある程度大きな方が極大値が正確に現れる。
【０１１０】
そこで、直線上の画素値だけではなく、その周囲２１×２１[画素]の領域を使って、自己相関を計算した。また、自己相関関数は直線上で離散化した変位（１[画素]の大きさ）に対して計算するため、
2006329897.tif 000080
は離散化極大値を含む３点を使ったパラボラフィッティングによって推定した。
2006329897.tif 000081
は、画像上に均等に分布する６３個の位置を利用した。
2006329897.tif 000082
は、水平方向と垂直方向にそれぞれ１０[画素]おきに変化させて総和を計算した。
【０１１１】
図１９に、−１００≦ｕｃ≦＋１００、−１００≦ｖｃ≦＋１００に対して、
2006329897.tif 000083
を計算した結果を示す。この結果から、
2006329897.tif 000084
を得る。
【０１１２】
上述したように、本発明では、市販されている量産品である透明アクリル板を透明板として用いた場合に、その透明アクリル板が持つ非平行度を利用して、理想的な平行板を使う場合よりも、効果的に対応位置探索ができる。また、上述したように、透明板の非平行度と透明板の取付角度の誤差は、透明板とカメラで構成した距離計測装置で撮影した画像を利用したキャリブレーションによって推定することができる。
＜３−５＞距離計測手順
以上の説明に基づいて、本発明に係る透明板に映る２重像を用いた距離計測方法における距離計測手順をより詳細に説明すると、以下のようになる。
ステップＡ：カメラ内部パラメータのキャリブレーション
画像の画素数とレンズ焦点距離ｆ／δを求める。画像からレンズ歪みを除去する。
ステップＢ：距離計測装置のキャリブレーション
距離計測装置を構成してから、
2006329897.tif 000085
を求める。また、Ｄｃを測定する。なお、距離計測装置のキャリブレーションは、予め行うことができる。
ステップＣ：２重像間の角度視差θｓの計算
まず、注目点
2006329897.tif 000086
に対する対応位置を、次の２直線上の点
2006329897.tif 000087
で探索する。
【０１１３】
【数４３】
2006329897.tif 000088
ただし、ｔは画素単位の媒介変数である。また、ｔmaxは、距離計測装置の構成から決定でき、
2006329897.tif 000089
に応じて変えてもよい。
【０１１４】
次に、下記数４４で表すように、探索した結果、｜ｔ｜に拘束直線の方向に投影した
2006329897.tif 000090
の大きさを加算して、透明板の非平行度を考慮した２重像間変位Δとする。
【０１１５】
【数４４】
2006329897.tif 000091
そして、数４４で算出された透明板の非平行度を考慮した２重像間変位Δに基づき、数２６によって、２重像間の角度視差θｓを計算する。
ステップＤ：カメラ光学中心から対象までの距離の計算
まず、下記数４５で表すように、２つの角度θphとθpvを、拘束直線の方向に沿った非平行度を表す角度θｐに合成する。
【０１１６】
【数４５】
2006329897.tif 000092
そして、数３３によって、カメラ光学中心から対象までの距離（Ｄｏ＋Ｄｃ）を計算する。
ステップＥ：距離計測結果の補正
本発明の距離計測方法では、カメラ光学中心（レンズ光学中心）から対象までの距離を測定している。カメラ光軸に投影した距離に補正するために、画像位置（ｕｐ,ｖｐ）に対して計算した距離に、
2006329897.tif 000093
を乗じる。
＜４＞実験結果
ここでは、実画像を使って、本発明の距離計測方法を用いて実際に距離計測が可能なことを確認する。
＜４−１＞正対する平面（壁面）
本発明の距離計測方法によって距離計測が可能なことを確認するために、まず、図２０に示すように、距離計測装置に正対する壁面を撮影して距離測定実験を行った。実験に利用した距離計測装置の構成では、Ｄｃ＝６０[ｍｍ]である。
【０１１７】
壁面までの距離Ｄｏ＝０.５[ｍ]のときの入力画像（２重像）に対する自己相関関数値を、図２１に示す。図２１(Ａ)は、入力画像中央（ｕｐ,ｖｐ）＝（０,０）を通る垂直線上の各点に対する自己相関関数値を示し、赤い部分の値は大きく青い部分の値は小さいことを表す。横軸は探索した媒介変数ｔで、縦軸は入力画像上の垂直位置である。計測対象は平面（壁面）だが、入力画像での垂直位置に応じて変位量が異なる様子がわかる。図２１(Ｂ)は、入力画像中央位置に対する自己相関関数を表し、つまり、図２１(Ａ)の赤水平線に対する断面図である。なお、自己相関関数は、４１×４１[画素]の領域に対して計算した。
【０１１８】
図２２に、Ｄｏを０.５[ｍ]から３.０[ｍ]まで変化させたときの距離(Ｄｏ)マップの計測結果を示す。図２３に、図２２の距離計測結果の直線性を示す。
【０１１９】
図２３において、画像中央部に画像の１／４の面積の領域を設定し、領域内で１７×１７＝２８９箇所の距離を計測し、計測した距離の平均値を黒丸で、±標準偏差をエラーバーで示す。この結果から、対象までの距離Ｄｏが２〜２.５[ｍ]において、計測値のばらつきと対象までの距離の差が判断できなくなることを読みとることができる。従って、図２０に示す装置構成では、２[ｍ]程度までの距離計測が可能である。
＜４−２＞人物
次に、図２４(Ａ)に示すような、より自然な環境での入力画像（人物の２重像）を利用して、距離測定実験を行うことにより、本発明の距離計測方法によって距離計測が可能なことを確認した。
【０１２０】
入力画像（２重像）をそのまま利用した場合に、自己相関関数の極大位置周辺で値の変化がなだらかになり、第２極大位置が有効に分離できなかった。このため、入力画像の低周波数成分を低減してから処理した。図２４(Ｂ)に、距離マップ計測結果を示す。距離マップ計測結果は、入力画像の周辺部分を除いた２２４×２２４箇所の位置に対して距離を求めている。対象までの距離は、約０.５[ｍ]（青）〜１.５[ｍ]（緑）に分布している。画像の上下が逆転しているのは、ミラーで上下反転するためである。白く抜けている領域は、テクスチャがないために対応位置が求まらなかった領域である。なお、この結果は、今までに説明した自己相関関数から対応位置を検出する方法だけを利用し、その他のエラー回復処理などは、いっさい行っていない。
以上のように本発明の具体的な実施形態について説明したが、本発明はそれに限定されることがなく、例えば、２重像ではなく、多重像（多重反射像、又は多重透過像）を使うことも可能である。その際、自己相関関数にも多重に極大が現れ、その周期も利用してより高精度に対応位置を探索できる可能性がある。
【図面の簡単な説明】
【０１２１】
【図１】図１（Ａ）は本発明の距離計測方法で使用される距離計測装置の基本構成図である。図１（Ｂ）には、図１（Ａ）の距離計測装置によって得られた２重像の一例を示す。
【図２】図１（Ａ）の構成を有する距離計測装置の基本的な幾何学関係を説明するための模式図である。
【図３】異なる屈折率を有する透明板に対して、入射角度とベースライン長との関係、及び、入射角度とオフセットとの関係を示す図である。
【図４】本発明で使用される距離計測装置の別の幾何学関係（つまり、透過像を利用する）を説明するための模式図である。
【図５】透明板での表面反射と裏面反射を説明するための模式図である。
【図６】表面反射像と裏面反射像に対するそれぞれの反射率と入射角度との関係を示す図である。
【図７】本発明で使用される距離計測装置において、透明板とカメラとの関係を説明するための模式図である。
【図８】画像上の各位置における拘束直線の方向を示す図である。
【図９】図９（Ａ）には、注目点に対する拘束直線の一例を示す。図９（Ｂ）には、拘束直線上の画素値に対する自己相関関数の一例を示す図である。
【図１０】本発明で使用される距離計測装置において、透明板とカメラの具体的な配置関係を説明するための図である。
【図１１】キャリブレーションに利用した画像の一例を示す図である。
【図１２】本発明で使用される距離計測装置において、透明板の非平行度の影響を説明するための模式図である。
【図１３】２重像間の角度視差と、カメラ光学中心から対象までの距離との関係を示す図である。
【図１４】２重像の変位関係を示す図である。
【図１５】無限遠方の画像と２次元自己相関関数を示す図である。
【図１６】本発明で使用される距離計測装置において、透明板の非平行度を表す２つの角度を説明するための模式図である。
【図１７】本発明において、透明板の非平行度を考慮した対応点探索を説明するための図である。図１７（Ａ）には、注目点に対する拘束直線（２本の拘束直線の場合）の一例を示す。図１７（Ｂ）には、自己相関関数の極大位置の例を示す図である。
【図１８】本発明で使用される距離計測装置において、透明板の取付角度のキャリブレーションに利用した画像を示す図である。
【図１９】本発明において、拘束直線交点位置の補正量を変化させたときの評価値を示す図である。
【図２０】本発明を適用して、壁面までの距離計測実験を説明するための模式図である。
【図２１】図２１（Ａ）には自己相関関数マップを示す。図２１（Ｂ）には、自己相関関数の例を示す。
【図２２】距離マップの計測結果を示す図である。
【図２３】距離マップ計測結果の直線性を説明するための図である。
【図２４】図２４（Ａ）には、人物の入力画像を示す。図２４（Ｂ）には、距離マップ計測結果を示す。
【図１】
2006329897.tif 000105
【図２】
2006329897.tif 000106
【図３】
2006329897.tif 000107
【図４】
2006329897.tif 000108
【図５】
2006329897.tif 000109
【図６】
2006329897.tif 000110
【図７】
2006329897.tif 000111
【図８】
2006329897.tif 000112
【図９】
2006329897.tif 000113
【図１０】
2006329897.tif 000114
【図１１】
2006329897.tif 000115
【図１２】
2006329897.tif 000116
【図１３】
2006329897.tif 000117
【図１４】
2006329897.tif 000118
【図１５】
2006329897.tif 000119
【図１６】
2006329897.tif 000120
【図１７】
2006329897.tif 000121
【図１８】
2006329897.tif 000122
【図１９】
2006329897.tif 000123
【図２０】
2006329897.tif 000124
【図２１】
2006329897.tif 000125
【図２２】
2006329897.tif 000126
【図２３】
2006329897.tif 000127
【図２４】
2006329897.tif 000128