(57)【要約】【課題】受動的方法による距離計測に利用できる撮像装置を提供する。【解決手段】１つの広角レンズと複数のミラーを用いた撮像装置であって、広角レンズを囲むように、広角レンズの周囲に複数のミラーを配置するように構成されており、撮像対象を直接に撮像する１つの中央領域（実カメラ画像）と、広角レンズの周囲に配置された複数のミラーの反射像を撮像する複数の周辺領域（複数の仮想カメラ画像）を同時に１枚の画像中に撮像する。【選択図】図１
2010276433.tif 000002
【特許請求の範囲】
【請求項１】
１つの広角レンズと複数のミラーを用いた撮像装置であって、
前記広角レンズを囲むように、前記広角レンズの周囲に前記複数のミラーを配置するように構成されており、
撮像対象を直接に撮像する１つの中央領域（実カメラ画像）と、前記広角レンズの周囲に配置された前記複数のミラーの反射像を撮像する複数の周辺領域（複数の仮想カメラ画像）を同時に１枚の画像中に撮像することを特徴とする撮像装置。
【請求項２】
前記広角レンズの光軸に対するミラーの配置角度とミラーの大きさに基づき、当該ミラーの反射で作られる仮想カメラの光軸方向と撮像の画角が決定される請求項１に記載の撮像装置。
【請求項３】
前記広角レンズとして魚眼レンズを用いる請求項１に記載の撮像装置。
【請求項４】
キャリブレーションを行うことにより、前記広角レンズの投影関数と、各仮想カメラの位置・姿勢（外部パラメータ）を推定する請求項１に記載の撮像装置。
【請求項５】
統合投影モデルを利用することにより、前記広角レンズの投影関数を推定する請求項４に記載の撮像装置。
【請求項６】
請求項１乃至請求項５のいずれかに記載の撮像装置で撮像した１枚の画像における中央領域（実カメラ画像）を、透視投影レンズで撮像した透視投影画像に変換するための画像処理装置であって、
前記撮像装置のキャリブレーションにより推定された前記広角レンズの投影関数を用いて、前記実カメラ画像を前記透視投影画像に変換することを特徴とする画像処理装置。
【請求項７】
請求項１乃至請求項５のいずれかに記載の撮像装置で、計測対象を撮像した１枚の画像における、実カメラの視点に対応した実カメラ画像、及び複数の仮想カメラの視点に対応した複数の仮想カメラ画像を利用して、前記計測対象までの距離情報を計測するための距離計測装置であって、
透視投影画像変換部と、透視投影画像におけるエピポーラ線算出部と、距離計測部とを備え、
前記透視投影画像変換部は、前記実カメラ画像及び前記複数の仮想カメラ画像をそれぞれ透視投影画像に変換し、
前記透視投影画像におけるエピポーラ線算出部は、実カメラ透視投影画像上の注目点に対して、前記撮像装置のキャリブレーションにより推定された各仮想カメラの外部パラメータを用いることにより、各仮想カメラ透視投影画像上のエピポーラ線を算出し、
前記距離計測部は、前記計測対象までの距離に対して、前記実カメラ透視投影画像上の注目点を中心とする小領域と、各仮想カメラ透視投影画像上のエピポーラ線上の小領域のＳＳＤの総和ＳＳＳＤの最小値を探索することで、多眼ステレオ法を利用した距離計測を行うことを特徴とする距離計測装置。
【請求項８】
請求項１乃至請求項５のいずれかに記載の撮像装置で、計測対象を撮像した１枚の画像における、実カメラの視点に対応した実カメラ画像、及び複数の仮想カメラの視点に対応した複数の仮想カメラ画像を利用して、前記計測対象までの距離情報を計測するための距離計測装置であって、
エピポーラ曲線算出部と、距離計測部とを備え、
前記エピポーラ曲線算出部は、前記実カメラ画像上における注目点に対して、各仮想カメラ画像上のエピポーラ曲線を算出し、
前記距離計測部は、前記計測対象までの距離に対して、前記実カメラ画像上の注目点を中心とする小領域と、各仮想カメラ画像上のエピポーラ曲線上の小領域のＳＳＤの総和ＳＳＳＤの最小値を探索することで、多眼ステレオ法を利用した距離計測を行うことを特徴とする距離計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を利用した受動的方法による距離計測技術に関し、特に、周囲に複数のミラーを配置した広角レンズを利用する撮像装置、及び当該撮像装置を用いて多眼ステレオ法による距離計測技術に関する。
【背景技術】
【０００２】
対象までの距離計測技術や対象の形状計測技術は、セキュリティ、ＩＴＳ(Intelligent  Transport  System)、ロボットナビゲーションなどの分野で必要とされる基本技術で、古くから研究が行われていて、多くの従来技術が存在するにもかかわらず、現在でもなお盛んに研究が行われている。
【０００３】
この基本技術の中で三角測量の原理を応用したものとして、ステレオビジョン、アクティブステレオ、構造化パターン投影法などの多くの手法が提案され、実用化されてきた。三角測量の原理では、異なる位置から計測対象を観測する必要があるため、複数台のカメラを用意して同時に計測対象を撮像するか、いずれかのカメラを投光器（例えば、ＰＣプロジェクタ）に置き換えて投光器で照明された計測対象を撮像する必要がある。
【０００４】
一方、投光器などの能動的手段を用いず、しかも１台のカメラで撮像した１枚の画像から計測対象を計測したい、という要求も大きい。異なる位置から計測対象を撮像した複数の画像を１枚の画像中に写し込む方法として、従来、複数の画像を重ね合わせる方法と、画像を分割する方法がある。いずれの手法も、１枚の画像だけから計測対象の距離情報が得られるため、動的な計測対象にも適用でき、リアルタイムア・プリケーションにも応用できるという利点を有する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】イー.  エイチ.  アデルソン（E.H.Adelson）、ジェー.  ワイ.  エイ.  ワン（J.Y.A.Wang）共著,「シングル  レンズ  ステレオ  ウィズ  ア  プレンオプティック  カメラ（Single  Lens  Stereo  with  a  Plenoptic  Camera）」,ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシン  インテリジェンス（IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence）,第14巻,第2号,p.99-106,1992年
【非特許文献２】ジェー.  ピー.  バーレト（J.P.Barreto）、ケイ.  ダニリヂス（K.Daniilidis）共著,「エピポーラ  ジオメトリー  オフ  セントラル  プロジェクション  システムズ  ユーシング  ベロネーゼ  マップス（Epipolar  Geometry  of  Central  Projection  Systems  Using  Veronese  Maps）」,プロック.  オフ  ＩＥＥＥ  インターナショナル  カンファレンス  オン  コンピュータ  ビジョン  アンド  パターン  リコグニション（Proc.  Of  IEEE  International  Conference  on  Computer  Vision  and  Pattern  Recognition）,DVD-ROM,2006年
【非特許文献３】ジェー.−ワイ.  ボウグエト（J.-Y.Bouguet）著,「カメラ  キャリブレーション  ツールボックス  フォー  マットラブ（Camera  Calibration  Toolbox  for  Matlab）」,http://www.vision.Caltech.edu/bouguetj/calib_doc/index.html
【非特許文献４】ジェー.  クールボン（J.Courbon）、ワイ.  メゾウアル（Y. Mezouar）、エル.  エック(L.Eck)、ピー.  マーチネット(P.Martinet)共著,「ア  ジェネリック  フィッシュアイ  カメラ  モデル  フォー  ロボッティク  アプリケーションズ（A  Generic  Fisheye  Camera  Model  for  Robotic  Applications）」,プロック.  オフ  ＩＥＥＥ／ＲＳＪ  インターナショナル  コンファレンス  オン  インテリジェント  ロボット  アンド  システムズ（Proc.  Of  IEEE/RSJ  International  Conference  on  Intelligent  Robots  and  Systems）,p.1683-1688,2007年
【非特許文献５】シー.  ガイヤー（C.Geyer）、ケイ.  ダニリヂス（K.Daniilidis）共著,「ア  ユニファイング  セオリー  フォー  セントラル  パノラミック  システムズ  アンド  プラクティカル  インプリケイションズ（A  Unifying  Theory  for  Central  Panoramic  Systems  and  Practical  Implications）」,プロック.  オフ  ヨーロッピアン  カンファレンス  オン  コンピュータ  ビジョン（Proc.  Of  European  Conference  on  Computer  Vision）,p.445-461,2000年
【非特許文献６】ジェー.  グラックマン（J.Gluckman）、エス.  ケイ.  ナイヤル（S.K. Nayar）共著,「カタディオプトリック  ステレオ  ユーシング  プラナー  ミラーズ（Catadioptric  Stereo  using  Planar  Mirrors）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision）,第44巻,第1号,p.65-79,2001年
【非特許文献７】エス.  ヒウラ（S.Hiura）、ティー.  マツヤマ（T.Matsuyama）共著,「デプス  メジャメント  バイ  ザ  マルチフォーカス  カメラ（Depth  Measurement  by  the  Multi-Focus  Camera）」,プロック.  オフ  ＩＥＥＥ  インターナショナル  カンファレンス  オン  コンピュータ  ビジョン  アンド  パターン  リコグニション（Proc.  Of  IEEE  International  Conference  on  Computer  Vision  and  Pattern  Recognition）,p.953-959,1998年
【非特許文献８】エス.  クシルマル（S.Kuthirummal）、エス.  ケイ.  ナイヤル（S.K.Nayar）共著,「マルチビュー  ラジアル  カタディオプトリック  イメージング  フォー  シーン  キャプチャー（Multiview  Radial  Catadioptric  Imaging  for  Scene  Capture）」,ＡＣＭ  トランス.  オン  グラフィックス（ACM  Trans.  On  Graphics）,第25巻,第3号,p.916-923,2006年
【非特許文献９】ディー.−エイチ.  リー（D.-H.Lee）、アイ.−エス.  クウィーオン（I.-S. Kweon）共著,「ア  ノブル  ステレオ  カメラ  システム  バイ  ア  バイプリズム（A  Novel  Stereo  Camera  System  by  a  Biprism）」,ＩＥＥＥ  トランス.  オン  ロボティクス  アンド  オートメイション（IEEE  Trans.  On  Robotics  and  Automation）,第16巻,第5号,p.528-541,2000年
【非特許文献１０】シー.  メイ（C.Mei）、ピー.  リーブス（P.Rives）共著,「シングル  ビュー  ポイント  オムニダイレクションナル  カメラ  キャリブレーション  フロム  プラナー  グリッドズ（Single  View  Point  Omnidirectional  Camera  Calibration  from  Planar  Grids）」,プロック.  オフ  ＩＥＥＥ  インターナショナル  カンファレンス  オン  ロボティクス  アンド  オートメイション（Proc.  Of  IEEE  International  Conference  on  Robotics  and  Automation）,2007年
【非特許文献１１】http://www.robots.ox.ac.uk/cmei/
【非特許文献１２】エム.  オクトミ（M.Okutomi）、ティー.  カナデ（T.Kanade）共著,「ア  マルチプルベースライン  ステレオ（A  Multiple-Baseline  Stereo）」,ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシン  インテリジェンス（IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence）,第15巻,第4号,p.353-363,1993年
【非特許文献１３】エム.  オクトミ（M.Okutomi）、ワイ.  カタヤマ（Y.Katayama）、エス.  オカ（S.Oka）共著,「ア  シンプル  ステレオ  アルゴリズム  トゥー  リカバー  プリサイス  オブジェクト  バウンダリーズ  アンド  スムーズ  サーフェス（A  Simple  Stereo  Algorithm  to  Recover  Precise  Object  Boundaries  and  Smooth  Surfaces）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision）,第47号,第1/2/3巻,p.261-273,2002年
【非特許文献１４】エム.  シムズ（M.Shimizu）、エム.  オクトミ（M.Okutomi）共著,「キャリブレーション  アンド  レクティフィケーション  フォー  リフレクション  ステレオ（Calibration  and  Rectification  for  Reflection  Stereo）」,プロック.  オフ  ＩＥＥＥ  インターナショナル  カンファレンス  オン  コンピュータ  ビジョン  アンド  パターン  リコグニション（Proc.  Of  IEEE  International  Conference  on  Computer  Vision  and  Pattern  Recognition）,DVD-ROM,2008年
【非特許文献１５】ジェー.  ウェン（J.Weng）、ピー.  コヘン（P.Cohen）、エム.  ヘルニオウ（M.Herniou）共著,「カメラ  キャリブレーション  ウィズ  ディストーション  モデルズ  アンド  アキュラシ  エバリュエーション（Camera  Calibration  with  Distortion  Models  and  Accuracy  Evaluation）」,ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシン  インテリジェンス（IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence）,第14巻,第10号,p.965-980,1992年
【非特許文献１６】清水雅夫、奥富正敏共著,「透明板に映る２重像を用いた１台のカメラによる距離計測手法」,情報処理学会論文誌:CVIM,第47巻,第SIG10号,p.131-142,2006年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数の画像を重ね合わせる方法として、例えば、単一レンズの開口を利用する方法（非特許文献１を参照）や、符号化開口を利用する方法（非特許文献７を参照）、リフレクション・ステレオ（非特許文献１４と非特許文献１６を参照）などが提案されている。
【０００７】
しかし、単一レンズの開口を利用する方法や符号化開口を利用する方法では、レンズに対する本来の入射光に対する使用効率が低下するという問題点が存在する。
【０００８】
また、単一レンズの開口を利用する方法も、符号化開口を利用する方法も、ベースライン長は極めて短い（１０［ｍｍ］前後）ため、計測対象の距離計測精度はそれほど高くないという問題点もある。
【０００９】
そして、画像を分割する方法として、ミラーを利用する方法（非特許文献６を参照）やプリズムを利用する方法（非特許文献９を参照）、曲面ミラーを利用する方法（非特許文献８を参照）が提案されている。これらの方法は、１台のカメラだけを利用するため、画像間で明るさやコントラスト、色彩などの差がないので、画像間の対応を得やすいという利点を有する。
【００１０】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、受動的方法による距離計測に利用できる撮像装置を提供することにある。
【００１１】
また、本発明のもう一つの目的は、本発明の撮像装置で撮像した１枚の画像における中央部分の領域を透視投影画像に変換するための画像処理装置を提供することにある。
【００１２】
さらに、本発明のもう一つの目的は、本発明の撮像装置で計測対象（シーン）を撮像した１枚の画像における複数の視点に対応した複数の領域を利用して、計測対象（シーン）までの距離情報（距離マップ）を計測するための距離計測装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、１つの広角レンズと複数のミラーを用いた撮像装置に関し、本発明の上記目的は、前記広角レンズを囲むように、前記広角レンズの周囲に前記複数のミラーを配置するように構成されており、撮像対象を直接に撮像する１つの中央領域（実カメラ画像）と、前記広角レンズの周囲に配置された前記複数のミラーの反射像を撮像する複数の周辺領域（複数の仮想カメラ画像）を同時に１枚の画像中に撮像することにより、或いは、前記広角レンズの光軸に対するミラーの配置角度とミラーの大きさに基づき、当該ミラーの反射で作られる仮想カメラの光軸方向と撮像の画角が決定されることにより、或いは、前記広角レンズとして魚眼レンズを用いることにより、或いは、キャリブレーションを行うことにより、前記広角レンズの投影関数と、各仮想カメラの位置・姿勢（外部パラメータ）を推定することにより、或いは、統合投影モデルを利用することにより、前記広角レンズの投影関数を推定することによって効果的に達成される。
【００１４】
また、本発明は、本発明の撮像装置で撮像した１枚の画像における中央領域（実カメラ画像）を、透視投影レンズで撮像した透視投影画像に変換するための画像処理装置に関し、本発明の上記目的は、前記撮像装置のキャリブレーションにより推定された前記広角レンズの投影関数を用いて、前記実カメラ画像を前記透視投影画像に変換することによって効果的に達成される。
【００１５】
更に、本発明は、本発明の撮像装置で、計測対象を撮像した１枚の画像における、実カメラの視点に対応した実カメラ画像、及び複数の仮想カメラの視点に対応した複数の仮想カメラ画像を利用して、前記計測対象までの距離情報を計測するための距離計測装置に関し、本発明の上記目的は、透視投影画像変換部と、透視投影画像におけるエピポーラ線算出部と、距離計測部とを備え、前記透視投影画像変換部は、前記実カメラ画像及び前記複数の仮想カメラ画像をそれぞれ透視投影画像に変換し、前記透視投影画像におけるエピポーラ線算出部は、実カメラ透視投影画像上の注目点に対して、前記撮像装置のキャリブレーションにより推定された各仮想カメラの外部パラメータを用いることにより、各仮想カメラ透視投影画像上のエピポーラ線を算出し、前記距離計測部は、前記計測対象までの距離に対して、前記実カメラ透視投影画像上の注目点を中心とする小領域と、各仮想カメラ透視投影画像上のエピポーラ線上の小領域のＳＳＤの総和ＳＳＳＤの最小値を探索することで、多眼ステレオ法を利用した距離計測を行うことにより、或いは、エピポーラ曲線算出部と、距離計測部とを備え、前記エピポーラ曲線算出部は、前記実カメラ画像上における注目点に対して、各仮想カメラ画像上のエピポーラ曲線を算出し、前記距離計測部は、前記計測対象までの距離に対して、前記実カメラ画像上の注目点を中心とする小領域と、各仮想カメラ画像上のエピポーラ曲線上の小領域のＳＳＤの総和ＳＳＳＤの最小値を探索することで、多眼ステレオ法を利用した距離計測を行うことによってより効果的に達成される。
【発明の効果】
【００１６】
周囲に複数のミラーを配置した魚眼レンズを利用する本発明の撮像装置によれば、通常の画像として利用できる中央領域の画像（実カメラ画像）の他に、距離計測に利用する複数の周辺領域の画像（複数の仮想カメラ画像）を同時に撮像できるという本発明独自な優れた効果を奏する。
【００１７】
また、本発明の撮像装置のキャリブレーションを行うことで、魚眼レンズの投影関数と各仮想カメラの外部パラメータを推定することができる。
【００１８】
また、本発明の画像処理装置によれば、透視投影画像に変換された実カメラ画像（実カメラ透視投影画像）を取得することができる。
【００１９】
さらに、本発明の距離計測装置によれば、本発明の撮像装置が撮像した１枚の円周魚眼画像に基づき、本発明の撮像装置のキャリブレーションにより推定された魚眼レンズの投影関数と各仮想カメラの外部パラメータを用いて、マルチベースラインステレオ法を用いた距離計測ができる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る撮像装置の一実施例を示す。図１（Ａ）は本発明の撮像装置１の正面図であり、図１（Ｂ）は本発明の撮像装置１の側面図である。
【図２】本発明の撮像装置１を用いて撮像した円周魚眼画像の一例を示す。
【図３】図１（Ｂ）の本発明の撮像装置１の側面図に相当する側断面図である。
【図４】本発明の撮像装置の原理を説明するための模式図である。
【図５】本発明の撮像装置において、ミラー角度γと、垂直画角α・βとの関係を示すグラフである。
【図６】本発明の撮像装置において、ミラー角度γと、共通画角Ω２・Ω３との関係を示すグラフである。
【図７】本発明の撮像装置で撮像された画像の中央領域内の各領域における利用可能なカメラの台数を示すための模式図である。
【図８】周囲に２枚のミラーを配置している魚眼レンズを備える本発明の撮像装置の２つの実施例を示す正面図である。
【図９】周囲に３枚のミラーを配置している魚眼レンズを備える本発明の撮像装置の一実施例を示す正面図である。
【図１０】魚眼レンズへの入射角度と像高を説明するための模式図である。
【図１１】魚眼レンズの一般的な投影関数を示すグラフである。
【図１２】統合投影モデルを説明するための模式図である。
【図１３】統合投影モデルの投影関数を示すグラフである。
【図１４】本発明の撮像装置のキャリブレーションに利用する画像の一例を示す。
【図１５】図１４に示された画像を透視投影画像に変換した結果を示す。
【図１６】本発明の撮像装置のキャリブレーションで推定した投影関数を示すグラフである。
【図１７】本発明の撮像装置のキャリブレーションにおいて、実のキャリブレーションターゲットと仮想のキャリブレーションターゲットとの位置関係を説明するための模式図である。
【図１８】本発明の撮像装置のキャリブレーションにおいて、実カメラと仮想カメラとの位置関係を説明するための模式図である。
【図１９】本発明に係る画像処理装置の実施例を示すブロック構成図である。
【図２０】本発明に係る距離計測装置の第１実施形態の実施例を示すブロック構成図である。
【図２１】本発明において、仮想カメラで撮像された画像を透視投影に再投影することを説明するための模式図である。
【図２２】本発明に係る距離計測装置の第２実施形態の実施例を示すブロック構成図である。
【図２３】本発明において、魚眼レンズの投影を表す単位球とエピポーラ平面との関係を説明するための模式図である。
【図２４】本発明の撮像装置で撮像された画像におけるエピポーラ曲線の例を示す。
【図２５】本発明において、図２に示された円周魚眼画像を５枚の透視投影画像に変換した結果を示す。
【図２６】本発明による距離計測結果を示す。
【発明を実施するための形態】
【００２１】
本発明は、まず、周囲に複数のミラーを配置した広角レンズを利用する撮像装置に関する。
【００２２】
また、本発明は、本発明の撮像装置で撮像した１枚の画像における中央部分の領域を透視投影画像に変換するための画像処理装置に関する。
【００２３】
さらに、本発明は、本発明の撮像装置で計測対象（シーン）を撮像した１枚の画像における複数の視点に対応した複数の領域を利用して、計測対象（シーン）までの距離情報（距離マップ）を計測するための距離計測装置に関する。
【００２４】
なお、本発明に係る距離計測技術は、１枚の画像から計測対象の距離情報が得られる距離計測技術であり、画像を分割する方法に属する。
【００２５】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
＜１＞広角レンズと複数のミラーを用いた撮像装置
まず、本発明に係る撮像装置について説明する。本発明に係る撮像装置は、受動的方法による距離計測に利用できる撮像装置である。
＜１−１＞本発明の撮像装置の構成
本発明に係る撮像装置は、歪曲収差を補正しない（歪曲収差を有する）１つの広角レンズと複数のミラー（つまり、２枚以上のミラー）を用いた撮像装置である。具体的に、本発明の撮像装置は、広角レンズを囲むように、広角レンズの周囲に複数のミラーを配置するように構成されている。
【００２６】
以下、本発明の撮像装置の一実施例について説明する。図１に、本発明の撮像装置の一実施例（以下、単に、「本発明の撮像装置１」又は「撮像装置１」と言う。）を示す。図１（Ａ）は本発明の撮像装置１の正面図であり、図１（Ｂ）は本発明の撮像装置１の側面図である。
【００２７】
図１に示すように、本発明の撮像装置１は、４枚のミラー（第１のミラー１１、第２のミラー１２、第３のミラー１３及び第４のミラー１４）と、歪曲収差を有する魚眼レンズ２０と、撮像装置本体３０とから構成されている。また、魚眼レンズ２０の周囲には、魚眼レンズ２０を囲むように、第１のミラー１１、第２のミラー１２、第３のミラー１３及び第４のミラー１４を配置している。
【００２８】
本発明の撮像装置１において、撮像装置本体３０が、撮像部と記憶部と画像出力部とを備える。撮像部は、撮像対象（計測対象）を、その周囲に第１のミラー１１、第２のミラー１２、第３のミラー１３及び第４のミラー１４が配置されている魚眼レンズ２０を介して、画像（画像データ）として撮像する。また、記憶部は、撮像部で撮像した画像（画像データ）を記憶する。そして、画像出力部は、記憶部に記憶されている画像（画像データ）を外部に出力する。
【００２９】
また、本発明の撮像装置１において、魚眼レンズ２０が、円周魚眼画像（円周魚眼画像データ）を撮像するのに適した焦点距離を有する。
【００３０】
魚眼レンズを使った撮像では画角が大きいため、周囲に４枚のミラーを配置している魚眼レンズ２０を備える本発明の撮像装置１を用いて撮像した１枚の画像（円周魚眼画像）には、撮像対象を直接に撮像する１つの中央領域と、魚眼レンズ２０の周囲に配置された４枚のミラーの反射（以下、「ミラー反射像」又は「反射像」とも言う。）を撮像する４つの周辺領域が含まれる。
【００３１】
図２に、本発明の撮像装置１を用いて撮像した画像（円周魚眼画像）の一例を示す。図２に示されたように、本発明の撮像装置１で撮像した円周魚眼画像は、１つの円形の領域に撮像され、また、この円形の領域が５つの領域に分割される。
【００３２】
図２に示されたように、本発明では、分割された５つの領域について、当該円形の領域の真ん中にある領域を中央領域と呼ぶ。また、中央領域を除いて残った４つの周辺領域を、第１周辺領域、第２周辺領域、第３周辺領域、第４周辺領域と呼ぶ。
【００３３】
図２の円周魚眼画像において、中央領域（以下、「中央領域の画像」とも言う。）は、撮像対象を撮像した通常の画像であり、歪曲収差を有する。
【００３４】
また、第１周辺領域（以下、「第１周辺領域の画像」とも言う。）、第２周辺領域（以下、「第２周辺領域の画像」とも言う。）、第３周辺領域（以下、「第３周辺領域の画像」とも言う。）、及び第４周辺領域（以下、「第４周辺領域の画像」とも言う。）は、中央領域の画像を撮像する実カメラに対して位置と姿勢が異なる複数（４台）の仮想カメラで撮像した画像に相当する。
【００３５】
従って、１つの広角レンズと複数のミラーを用いた本発明の撮像装置で撮像対象を撮像すると、撮像して得られた１枚の画像中に、通常の撮像画像と、異なる複数の位置から撮像対象を撮像して得られた複数の画像を同時に写し込むことができる。
【００３６】
魚眼レンズ２０と４枚のミラーを用いた本発明の撮像装置１で撮像した１枚の円周魚眼画像中に、通常の撮像画像（中央領域の画像）と、異なる４つの位置から撮像対象を撮像して得られた４枚の画像（第１周辺領域の画像、第２周辺領域の画像、第３周辺領域の画像及び第４周辺領域の画像）が同時に写し込まれている。
【００３７】
本発明では、本発明の撮像装置に対してキャリブレーションを行うことにより、広角レンズ（魚眼レンズ）の投影関数と各仮想カメラの位置・姿勢（各仮想カメラの外部パラメータ）を推定し、推定した広角レンズ（魚眼レンズ）の投影関数と各仮想カメラの位置・姿勢（各仮想カメラの外部パラメータ）に基づき、多眼ステレオ法（非特許文献１２に記載されているマルチベースラインステレオ法）を用いて距離計測を行う。
【００３８】
つまり、本発明の撮像装置によれば、通常の画像として利用できる中央領域の画像の他に、距離計測に利用する複数の周辺領域の画像を同時に撮像できるという本発明独自な優れた効果を奏する。
【００３９】
本発明によれば、本発明の撮像装置で得られた中央領域の画像と複数の周辺領域の画像を利用して、多眼ステレオ法（マルチベースラインステレオ法）による距離計測を行うことができる。
【００４０】
本発明に係る撮像装置では、広角レンズの光軸に対するミラーの配置角度とミラーの大きさに基づき、そのミラーに対応する仮想カメラ（そのミラーの反射で作られる仮想カメラ）の光軸方向と撮像の画角が決定される（詳細な説明は＜１−２＞で述べる）。
＜１−２＞本発明の撮像装置と等価な多眼ステレオカメラについて
本発明に係る撮像装置は、単眼マルチステレオシステムと見なすことができる。本発明の撮像装置（本発明の単眼マルチステレオシステム）には、等価な多眼ステレオカメラが存在する。以下、本発明の撮像装置と等価な多眼ステレオカメラとの関係について説明する。
【００４１】
図３に、図１（Ｂ）の本発明の撮像装置１の側面図に相当する側断面図を示す。図３に基づき、ミラーの配置と、ミラーの反射で作られる仮想カメラとの関係について説明する。
【００４２】
図３に示すように、魚眼レンズ２０の光軸（実カメラの光軸）をＺ軸として、光学中心（実カメラの光学中心）を原点Ｏとするカメラ座標系を設定する。また、第１のミラー１１の反射で作られる仮想カメラ（以下、単に「第１仮想カメラ」とも言う。）の光学中心を
2010276433.tif 000003
とする。
【００４３】
ここで、実カメラの垂直画角（中央領域の垂直画角）をα、第１仮想カメラの垂直画角（第１周辺領域の垂直画角）をβ、第１仮想カメラの光軸と実カメラ光軸の成す角をθとすると、α、β及びθは、第１のミラー１１の位置ｂ、大きさ（サイズ）ｍ、角度γの関数として、下記数１、数２及び数３のように表すことができる。
【００４４】
【数１】
2010276433.tif 000004
【００４５】
【数２】
2010276433.tif 000005
【００４６】
【数３】
2010276433.tif 000006
ただし、
2010276433.tif 000007
と正規化している。以下、
2010276433.tif 000008
を「第１のミラー１１の正規化ミラーサイズ」又は「正規化ミラーサイズ」と呼ぶ。
【００４７】
また、下記数４が成立する。
【００４８】
【数４】
2010276433.tif 000009
以上では、第１のミラー１１の反射で作られる第１仮想カメラについて説明したが、第２のミラー１２の反射で作られる第２仮想カメラの場合も、第３のミラー１３の反射で作られる第３仮想カメラの場合も、第４のミラー１４の反射で作られる第４仮想カメラの場合も、カメラ座標系が異なるだけで、第１仮想カメラと同じ関係を有する。
【００４９】
本発明の撮像装置１は、１つの実カメラと４つの仮想カメラ（第１仮想カメラ、第２仮想カメラ、第３仮想カメラ及び第４仮想カメラ）から構成される多眼ステレオカメラに等価となる。
【００５０】
また、本発明の撮像装置１では、第１仮想カメラの水平画角は、実カメラ（中央領域）の水平画角とほぼ同じである。
＜１−３＞本発明の撮像装置における設計パラメータの決定
＜１−２＞での説明から分かるように、本発明の撮像装置１において、実カメラの垂直画角α、第１仮想カメラの垂直画角β、及び第１仮想カメラの位置・姿勢（第１仮想カメラの光軸と実カメラ光軸の成す角θ）は、第１のミラー１１の正規化ミラーサイズ
2010276433.tif 000010
と第１のミラー１１の角度γという設計パラメータによって変化させることができる。
【００５１】
以下では、各垂直画角、無限遠方に対する実カメラと第１仮想カメラの共通画角Ω２、及び無限遠方に対する実カメラと第１仮想カメラと第２仮想カメラの共通画角Ω３を調べることで、設計パラメータを評価する。
【００５２】
２台のカメラの共通画角Ω２は、中央領域と１カ所以上のいずれかの周辺領域に、撮像対象が撮像できる範囲を示す。また、３台のカメラの共通画角Ω３は、中央領域と全ての周辺領域（４つの周辺領域）に、撮像対象が撮像できる範囲を示す。
【００５３】
図４に示すように、２台のカメラの共通画角Ω２は、２台のカメラの光学中心を一致させたときの共通画角である。
【００５４】
一方、ミラー角度γによって変化する垂直画角αとβが、それぞれＹ軸との成す角度は、下記数５のようになる。
【００５５】
【数５】
2010276433.tif 000011
垂直画角αとβの共通画角Ω２は、角度α１とβ１の大きさ、角度α２とβ２の大きさの関係によって切り替わる。
【００５６】
なお、３台のカメラの共通画角Ω３は、共通画角Ω２と同様の考えによって、第１仮想カメラと第２仮想カメラの共通画角によって得ることができる。
【００５７】
図５にミラー角度γと、垂直画角α・βとの関係を示す。また、図６にミラー角度γと、２台のカメラの共通画角Ω２・３台のカメラの共通画角Ω３との関係を示す。
【００５８】
本発明の撮像装置では、垂直画角αとβはどちらもできるだけ大きな方がよいが、どちらかというと撮像対象を直接に撮像できる中央領域の垂直画角αを大きくしたほうが好ましい。また、２視点の画像からでも距離計測は可能なので、共通画角Ω２を大きくしたほうが好ましい。さらに、撮像装置全体のサイズを小さくするために、正規化ミラーサイズ
2010276433.tif 000012
は、できるだけ小さい方が望ましい。
【００５９】
本発明の撮像装置１における設計パラメータとして、ミラー角度γを６５.０［ｄｅｇ］とし、また、正規化ミラーサイズ
2010276433.tif 000013
を３.０とした。
【００６０】
上記の設計パラメータを用いた場合に、実カメラの垂直画角α≒８０［ｄｅｇ］であり、第１仮想カメラの垂直画角β≒５０［ｄｅｇ］であり、そして、２台のカメラの共通画角Ω２≒５０［ｄｅｇ］である。
【００６１】
本発明の撮像装置１で実際に撮像する１枚の画像には、実カメラ（中央領域）で撮像した画像の他に、最大で４台の仮想カメラで撮像した画像が含まれる。
【００６２】
前述した２台のカメラの共通画角Ω２及び３台のカメラの共通画角Ω３は、垂直方向または水平方向だけに関する共通画角であり、中央領域内の位置に応じて撮像対象を撮像できるカメラの台数が異なることを示している。
【００６３】
実際には、本発明の撮像装置において、水平方向と垂直方向の共通画角の組み合わせによって、中央領域内の位置に応じた台数のカメラを利用することができる。
【００６４】
図７に、本発明の撮像装置１で撮像された画像の中央領域内の各領域における利用可能なカメラの台数を示す。図７に示すように、画像真ん中にある青い領域における利用可能なカメラの台数は５台で、また、画像の周りにある赤い領域における利用可能なカメラの台数は４台で、そして、画像のコーナーにある緑の領域おける利用可能なカメラの台数は３台である。
【００６５】
以上では、本発明に係る撮像装置の一実施例（４枚のミラーを使用する撮像装置１）について詳細に説明したが、本発明の撮像装置が使用するミラーの枚数は、４枚に限定されることはない。本発明に係る撮像装置では、複数のミラーであれば、任意の枚数のミラーを使用できることは言うまでも無い。
【００６６】
図８に、周囲に２枚のミラーを配置している魚眼レンズ２０を備える本発明の撮像装置の２つの実施例を示す。図８（Ａ）及び図８（Ｂ）は、本発明の撮像装置の２つの実施例の正面図である。２枚のミラーを図８（Ａ）及び図８（Ｂ）に示すように、魚眼レンズ２０の周囲に配置することができる。
【００６７】
また、図８に示されたミラーは、等脚台形の形状を有しているが、本発明の撮像装置で使用されるミラーは、その形状に限定されることはなく、任意の形状を採用することが可能であり、例えば、正方形でも良く、長方形でも良い。
【００６８】
また、図９は、周囲に３枚のミラーを配置している魚眼レンズを備える本発明の撮像装置の一実施例を示す正面図である。３枚のミラーを図９に示すように、魚眼レンズ２０の周囲に配置することができる。
＜２＞本発明の撮像装置のキャリブレーション
ここで、本発明の撮像装置のキャリブレーション方法について説明する。
【００６９】
本発明の撮像装置に対してキャリブレーションを行うことは、広角レンズ（魚眼レンズ）の投影関数と、各仮想カメラの位置・姿勢（外部パラメータ）を推定することを意味する。
＜２−１＞魚眼レンズの投影モデル
透視投影モデルで近似できる通常の撮像レンズ（透視投影レンズ）と異なり、多様な投影特性を持つ魚眼レンズが存在する。以下では、魚眼レンズに多く用いられている投影関数と、多様な投影関数を近似できる統合投影モデルを簡単に説明する。
＜２−１−１＞各種の一般的な投影モデル
魚眼レンズには撮像の画角が１８０度以上のものも存在するため、透視投影行列で投影特性をモデル化することはできない。
【００７０】
そこで、図１０に示すように、一般的に、入射光と光軸との成す角θ（入射角度θ）に対する画像面上での像高ρを、魚眼レンズの投影関数として利用する。
【００７１】
多くの市販されている魚眼レンズでは、下記数６〜数９で表す投影関数を採用している。
【００７２】
【数６】
2010276433.tif 000014
【００７３】
【数７】
2010276433.tif 000015
【００７４】
【数８】
2010276433.tif 000016
【００７５】
【数９】
2010276433.tif 000017
ただし、ｆは焦点距離である。
【００７６】
図１１に、上記数６〜数９で表す魚眼レンズの投影関数を示す。また、図１１における破線は、普通のレンズ（透視投影レンズ）の透視投影モデルρ(θ)＝ｆtan(θ)である。
【００７７】
上記数６で表す投影関数は、等距離投影(equiangular  or  equidistance  projection)と呼ばれる。また、上記数７で表す投影関数は、ステレオ投影(stereographic  projection)と呼ばれる。また、上記数８で表す投影関数は、正投影(orthogonal  or  sine  law  projection)と呼ばれる。そして、上記数９で表す投影関数は、等立体角投影(equisolid  angle  projection)と呼ばれる。非特許文献４に、上記数６〜数９で表す投影関数が提案された論文が紹介されている。
【００７８】
本発明では、上記数６〜数９で表す投影関数を、本発明の撮像装置のキャリブレーションを行う際に、魚眼レンズの投影関数として採用しない。
【００７９】
上記数６〜数９で表す投影関数を採用しない理由は、魚眼レンズによって採用している投影関数が異なる可能性があるためである。
＜２−１−２＞統合投影モデル
球面ミラーや放物線ミラー、双曲線ミラーなどの反射を利用した全方位カメラや魚眼レンズを取り付けたカメラのキャリブレーションを行うために、統合投影モデル（非特許文献５を参照）が提案されている。
【００８０】
また、この統合投影モデルにレンズ歪曲収差モデル（非特許文献１５を参照）を取り入れたキャリブレーション方法（非特許文献１０を参照）が開発された。
【００８１】
本発明の撮像装置のキャリブレーションの好適な実施例では、この統合投影モデルを利用することにより、魚眼レンズの投影関数を推定する。
【００８２】
以下では、本発明の撮像装置のキャリブレーションに好適に利用される、歪曲収差付き統合投影モデルを簡単に説明する。この歪曲収差付き統合投影モデルでは、下記ステップＳ１からステップＳ４までの手順で、撮像対象を画像に投影する（図１２を参照）。
ステップＳ１  単位球への投影：
下記数１０で表すように、撮像対象
2010276433.tif 000018
を、魚眼レンズの光学中心を中心とする単位球の表面に、投影する。投影原点（カメラ座標の原点）は単位球の中心である。
【００８３】
【数１０】
2010276433.tif 000019
ステップＳ２  正規化画像面への投影：
透視投影のための光学中心を（０,０,−ξ）に設定する。次に、下記数１１で表すように、設定された光学中心（０,０,−ξ）から距離１でＺ軸と直交する平面に、単位球表面上の撮像対象を透視投影する。
【００８４】
【数１１】
2010276433.tif 000020
ステップＳ３  歪曲収差を加える：
下記数１２〜数１５で表すように、半径方向と接線方向の歪曲収差を加える。
【００８５】
【数１２】
2010276433.tif 000021
【００８６】
【数１３】
2010276433.tif 000022
【００８７】
【数１４】
2010276433.tif 000023
【００８８】
【数１５】
2010276433.tif 000024
ステップＳ４  画像面への投影：
カメラの内部パラメータを用いる。
【００８９】
【数１６】
2010276433.tif 000025
以上の統合投影モデルでは、もしも歪曲収差を含まなければ、下記数１７のように、画像面への投影を行うことになる。
【００９０】
【数１７】
2010276433.tif 000026
上記数１７で表される統合投影モデルの投影関数
2010276433.tif 000027
におけるパラメータｆとξを調整することにより、上記数６〜数９で表す投影関数を近似することができる。図１３にこの近似結果を示す。
【００９１】
図１３から分かるように、パラメータξを０とすることにより、統合投影モデルの投影関数
2010276433.tif 000028
が透視投影と完全に等しくなる。また、パラメータξを１とすることにより、統合投影モデルの投影関数
2010276433.tif 000029
がステレオ投影と完全に等しくなる。
＜２−２＞キャリブレーション方法
本発明の撮像装置１のキャリブレーションを行う際に、統合投影モデルを用いたキャリブレーション方法（非特許文献１０を参照）を実装したツール（非特許文献１１を参照）を利用した。図１４に、本発明の撮像装置１のキャリブレーションに利用する画像の一例を示す。
【００９２】
このキャリブレーションツールの処理の概要を以下に示す。
ステップＡ１：
撮像装置のパラメータを、
2010276433.tif 000030
と初期化する。ただし、
2010276433.tif 000031
は、画像サイズの半分である。
ステップＡ２：
ユーザが指定した３点以上の同一半径上にない直線上の点を使って、ｆの初期値を推定する。
ステップＡ３：
各画像中のキャリブレーションターゲットの四隅を指定する。
ステップＡ４：
最適化手法を用いて撮像装置のパラメータとキャリブレーションターゲット間の外部パラメータ（回転行列と平行移動ベクトル）を推定する。
本発明の撮像装置１では、１個のキャリブレーションターゲット（チェッカーボード）を撮像対象にすることで、位置と姿勢の異なる５個のキャリブレーションターゲットを画像中に写し込むことができる。これらは、それぞれが異なる観測（５枚の画像）とも考えられるため、画像を１枚撮像するだけで、撮像装置のパラメータを全て推定することもできる。
【００９３】
しかし、同時に５個のキャリブレーションターゲットを写し込むためのターゲットの位置はかなり限定されてしまうため、円周魚眼画像中の一部の領域だけをキャリブレーションに利用することになり、キャリブレーション精度はそれほど高くない。
【００９４】
実際のキャリブレーションでは、直接像と反射像の区別なく円周魚眼画像中にまんべんなくキャリブレーションターゲットが写り込むように、キャリブレーションターゲットを配置した。撮像した画像中の意図した位置のキャリブレーションターゲットを１個だけ利用し、合計で２３個のキャリブレーションターゲットを用いてキャリブレーションを行った。
【００９５】
最終的に求めたパラメータは、
2010276433.tif 000032
となった。ただし、画像サイズは１６００×１２００[画素]である。
【００９６】
図１５に、推定したパラメータを使って図１４の画像を平面に透視投影した結果を示す。図１５から、画像の周辺部まで、歪曲収差が良好に補正されていることがわかる。
【００９７】
図１６に、本発明の撮像装置１のキャリブレーションにより推定された魚眼レンズ２０の投影関数を示す。ここで、魚眼レンズ２０の焦点距離はｆ＝（ｆｕ＋ｆｖ）／２とした。
【００９８】
図１６から、撮像装置１のキャリブレーションで推定された投影関数を使用した魚眼レンズは、ほぼ等距離投影を行うレンズであることが分かる。
＜２−３＞仮想カメラの位置と姿勢
前述したように、魚眼レンズと４枚のミラーを用いた本発明の撮像装置１は、１台の実カメラと４台の仮想カメラで撮像して得られた５つの画像を１枚の画像に写し込むことができる。
【００９９】
以下では、本発明の撮像装置１において、仮想カメラの位置と姿勢をキャリブレーションする方法を述べる。
＜２−３−１＞キャリブレーションターゲットの位置と姿勢
通常の透視投影カメラモデルを用いたキャリブレーションツール（非特許文献３を参照）と同様に、本発明では、固定したキャリブレーションターゲットを異なるカメラ位置から撮像したと考え、カメラ間の外部パラメータをカメラの内部パラメータと同時に推定することができる。
＜２−３−２＞ミラーの位置と姿勢
実像のキャリブレーションターゲットと対応する反射像の位置と姿勢によって、ミラーの位置と姿勢を求めることができる。
【０１００】
図１７に示すように、実像（０番目とする）のキャリブレーションターゲットと、それ以外のキャリブレーションターゲットの位置と姿勢に基づき、ｉ番目のキャリブレーションターゲットの反射像を生成するミラーの位置と姿勢
2010276433.tif 000033
は、下記数１８のように求めることができる。
【０１０１】
【数１８】
2010276433.tif 000034
ただし、ｉ番目のキャリブレーションターゲットの位置と姿勢を、法線ベクトル
2010276433.tif 000035
と光学中心（カメラ座標原点）からの距離
2010276433.tif 000036
で表す。
【０１０２】
同時に５個のキャリブレーションターゲットを写し込んだ１枚の画像からだけでも、上記数１８に基づき、４枚のミラーの位置と姿勢を推定することができる。
【０１０３】
また、より安定で高精度に、４枚のミラーの位置と姿勢を推定するために、複数枚の画像を用いて、キャリブレーションターゲットの再投影誤差を最小にするミラーの位置と姿勢を推定することはより好ましい。
＜２−３−３＞仮想カメラの位置と姿勢
図１８に示すように、ｉ番目のミラーの位置と姿勢を使って、対応する仮想カメラの光学中心
2010276433.tif 000037
と回転行列
2010276433.tif 000038
は、下記数１９及び数２０のように求めることができる（非特許文献６を参照）。
【０１０４】
【数１９】
2010276433.tif 000039
【０１０５】
【数２０】
2010276433.tif 000040
＜３＞本発明に係る画像処理装置
次に、本発明に係る画像処理装置について説明する。本発明に係る画像処理装置は、本発明の撮像装置で撮像した１枚の画像における中央部分の領域（中央領域）を透視投影画像に変換するための画像処理装置である。
【０１０６】
図１９は、本発明に係る画像処理装置の実施例を示すブロック構成図である。
【０１０７】
図１９に示すように、本発明の画像処理装置１００は、中央領域分割部１１０と、第１透視投影画像変換部１２０とから構成され、本発明の撮像装置１で撮像した１枚の円周魚眼画像に基づき、当該円周魚眼画像の中央領域を透視投影画像に変換するものである。
【０１０８】
本発明の画像処理装置１００では、まず、撮像装置１から出力された１枚の円周魚眼画像は、中央領域分割部１１０に入力される。次に、中央領域分割部１１０は、入力された円周魚眼画像の実カメラの視点に対応する中央領域を分割し、分割した中央領域を第１透視投影画像変換部１２０に出力する。
【０１０９】
そして、第１透視投影画像変換部１２０は、本発明の撮像装置１のキャリブレーションにより推定された投影関数を用いて、出力された中央領域を透視投影画像に変換する。
【０１１０】
以上のように、本発明の画像処理装置１００における処理が終了する。
＜４＞本発明に係る距離計測装置
次に、本発明に係る距離計測装置について説明する。本発明に係る距離計測装置は、本発明の撮像装置で計測対象（シーン）を撮像した１枚の画像における複数の視点に対応した複数の領域を利用して、計測対象（シーン）までの距離情報（距離マップ）を計測するための距離計測装置である。
【０１１１】
前述したように、本発明に係る撮像装置は、単眼マルチステレオシステムと見なすことができる。本発明に係る距離計測装置は、本発明の撮像装置で撮像した画像における複数の視点に対応した複数の領域を利用しているため、本発明に係る距離計測装置による距離計測は、単眼マルチベースラインステレオ法による距離計測と見なすことができる。
＜４−１＞本発明に係る距離計測装置の第１実施形態（実カメラ画像と複数の仮想カメラ画像を透視投影画像に変換した後に利用する距離計測方法）
以下では、本発明に係る距離計測装置の第１実施形態について説明する。図２０は、本発明に係る距離計測装置の第１実施形態の実施例を示すブロック構成図である。
【０１１２】
図２０に示すように、本発明の距離計測装置２００は、領域分割部２１０と、透視投影画像変換部２２０と、透視投影画像におけるエピポーラ線算出部２３０と、距離計測部２４０とから構成され、本発明の撮像装置１で撮像した１枚の円周魚眼画像における複数の視点（実カメラの視点と４台の仮想カメラの視点）に対応した複数の領域を利用して、計測対象までの距離情報を計測するものである。
【０１１３】
本発明の距離計測装置２００では、まず、撮像装置１から出力された１枚の円周魚眼画像は、領域分割部２１０に入力される。
【０１１４】
次に、領域分割部２１０は、入力された１枚の円周魚眼画像を複数の視点に対応した複数の領域（実カメラの視点に対応する中央領域と、４台の仮想カメラの視点に対応する４つの周辺領域）に分割し、分割した複数の領域を透視投影画像変換部２２０に出力する。
【０１１５】
ここで、実カメラの視点に対応する中央領域を単に「実カメラ画像」とも言う。また、仮想カメラの視点に対応する周辺領域を単に「仮想カメラ画像」とも言う。
【０１１６】
次に、透視投影画像変換部２２０は、本発明の撮像装置１のキャリブレーションにより推定された投影関数を用いて、出力された複数の視点に対応した複数の領域を、各視点からの透視投影レンズで撮像したような透視投影画像にそれぞれ変換する。
【０１１７】
つまり、透視投影画像変換部２２０での処理によって、実カメラ画像と４つの仮想カメラ画像は、それぞれ透視投影画像に変換される。
【０１１８】
ここで、透視投影画像に変換された実カメラ画像を単に「実カメラ透視投影画像」とも言う。また、透視投影画像に変換された仮想カメラ画像を単に「仮想カメラ透視投影画像」とも言う。
【０１１９】
そして、透視投影画像におけるエピポーラ線算出部２３０は、実カメラ透視投影画像上における計測対象の位置（以下、「注目点」と言う。）に対して、撮像装置１のキャリブレーションで求めた各仮想カメラの外部パラメータを用いることにより、各仮想カメラ透視投影画像上のエピポーラ線を算出する。
【０１２０】
最後に、距離計測部２４０は、計測対象までの距離に対して、実カメラ透視投影画像上の注目点を中心とする小領域と、各仮想カメラ透視投影画像上のエピポーラ線上の小領域のＳＳＤ(Sum  of  Squared  Differences)の総和ＳＳＳＤ(Sum  of  SSD)の最小値を探索することで、マルチベースラインステレオ法を利用した距離計測を行う。
【０１２１】
以上のように、本発明の距離計測装置２００における処理が終了する。
ここで、本発明に係る距離計測装置の第１実施形態の着眼点について、説明する。
【０１２２】
魚眼レンズではない通常のレンズを取り付けて透視投影画像を撮像する複数台のカメラを用いるステレオ距離計測手法として、高精度でロバストな距離計測を実現する従来研究がある（非特許文献１３を参照）。
【０１２３】
本発明に係る距離計測装置の第１実施形態は、本発明の撮像装置で撮像した１枚の円周魚眼画像から分割された実カメラ画像と複数の仮想カメラ画像を透視投影画像にそれぞれ変換し、変換したこれらの透視投影画像に基づき、従来の多眼ステレオ法を利用して距離計測を行うことを大きな特徴としている。
【０１２４】
魚眼レンズを使った撮像では、画角が極めて大きいため、画像全体を１枚の透視投影画像に変換することはできない。
【０１２５】
そこで、本発明では、魚眼レンズ２０と４枚のミラーを用いた撮像装置１で撮像した１枚の円周魚眼画像を５つの領域（中央領域、第１周辺領域、第２周辺領域、第３周辺領域及び第４周辺領域）に分割し、分割された各領域を透視投影画像にそれぞれ変換する。
【０１２６】
円周魚眼画像から５つの領域への分割は、ユーザがマニュアルで行う。撮像装置１では、魚眼レンズとミラーの位置関係が固定なので、１度だけ行えばよい。
【０１２７】
分割された領域（画像）を透視投影画像に変換するためには、撮像装置１のキャリブレーションによって求めた投影関数を用いて、画像中の位置から魚眼レンズへの入射角と方位角に変換する。その後、仮想カメラ位置で透視投影画像に再投影する。
【０１２８】
図３に示すように、本発明の撮像装置では、仮想カメラの光軸方向は、実カメラの光軸からθだけずれている（数３を参照）。また、仮想カメラの画角βの中心方向も、実カメラの光軸とは異なる。
【０１２９】
しかし、本発明では、実カメラと仮想カメラの配置を、前後オフセット付きの平行カメラとなるように、つまり、図２１に示されるように、仮想カメラの光軸方向を実カメラの光軸方向（Ｚ軸方向）と一致するように再投影面を設定する。
【０１３０】
実カメラ透視投影画像上における計測対象の位置に対して、撮像装置１のキャリブレーションで求めた各仮想カメラの外部パラメータを用いることにより、各仮想カメラ透視投影画像に、それぞれエピポーラ線を引くことができる。
【０１３１】
計測対象までの距離に対して、実カメラ透視投影画像上の注目点を中心とする小領域と、各仮想カメラ透視投影画像上のエピポーラ線上の小領域のＳＳＤの総和ＳＳＳＤの最小値を探索することで、マルチベースラインステレオ法（非特許文献１２を参照）を利用した距離計測を行うことができる。
＜４−２＞本発明に係る距離計測装置の第２実施形態（実カメラ画像と複数の仮想カメラ画像をそのまま利用する距離計測方法）
以下では、本発明に係る距離計測装置の第２実施形態について説明する。図２２は、本発明に係る距離計測装置の第２実施形態の実施例を示すブロック構成図である。
【０１３２】
本発明に係る距離計測装置の第２実施形態では、上述した本発明に係る距離計測装置の第１実施形態と異なって、実カメラ画像と複数の仮想カメラ画像を透視投影画像に変換しないでそのまま利用する距離計測方法に基づいて距離計測を行う。
【０１３３】
図２２に示すように、本発明の距離計測装置２０５は、領域分割部２１０と、エピポーラ曲線算出部２３５と、距離計測部２４０とから構成され、本発明の撮像装置１で撮像した１枚の円周魚眼画像における複数の視点（実カメラの視点と４台の仮想カメラの視点）に対応した複数の領域を利用して、計測対象までの距離情報を計測するものである。
【０１３４】
本発明の距離計測装置２０５では、まず、撮像装置１から出力された１枚の円周魚眼画像は、領域分割部２１０に入力される。
【０１３５】
次に、領域分割部２１０は、入力された１枚の円周魚眼画像を実カメラ画像と４つの仮想カメラ画像に分割し、分割した実カメラ画像と４つの仮想カメラ画像をエピポーラ曲線算出部２３５に出力する。
【０１３６】
そして、エピポーラ曲線算出部２３５は、実カメラ画像上における計測対象の位置（以下、「注目点」と言う。）に対して、各仮想カメラ画像上のエピポーラ曲線を算出する。つまり、エピポーラ曲線算出部２３５では、４台の仮想カメラに対して、エピポーラ曲線をそれぞれ求める。
【０１３７】
最後に、距離計測部２４０は、計測対象までの距離に対して、実カメラ画像上の注目点を中心とする小領域と、各仮想カメラ画像上のエピポーラ曲線上の小領域のＳＳＤ(Sum  of  Squared  Differences)の総和ＳＳＳＤ(Sum  of  SSD)の最小値を探索することで、マルチベースラインステレオ法を利用した距離計測を行う。
【０１３８】
以上のように、本発明の距離計測装置２０５における処理が終了する。
ここで、エピポーラ曲線算出部２３５で求めるエピポーラ曲線について説明する。
【０１３９】
図２３は、空間中のある点Ｐを、魚眼レンズを取り付けたステレオカメラ（投影中心をＯと
2010276433.tif 000041
とする）で撮像する様子を示している。このとき、３点Ｐ、Ｏ、
2010276433.tif 000042
を通る平面が、次のエピポーラ平面
2010276433.tif 000043
となる。
【０１４０】
【数２１】
2010276433.tif 000044
ただし、エピポーラ平面上の点を
2010276433.tif 000045
点Ｐの座標を
2010276433.tif 000046
とする。
【０１４１】
ここで、図２３を参照した上で、カメラＯから見たときに、点Ｐの方向にある対象を、カメラ
2010276433.tif 000047
から見る状況を考える。カメラＯから対象までの距離が変化すると、対象は、エピポーラ平面
2010276433.tif 000048
を中心とする単位球との交線（大円）を投影関数で投影した曲線上を通過する（非特許文献２を参照）。
【０１４２】
2010276433.tif 000049
を中心とする単位球上の点
2010276433.tif 000050
は、下記数２２のように表せる。
【０１４３】
【数２２】
2010276433.tif 000051
数２１と数２２を同時に満たす
2010276433.tif 000052
を、カメラ
2010276433.tif 000053
の投影関数で投影した曲線が、画像上でのエピポーラ曲線になる。図２４に、エピポーラ曲線の例を示す。
【０１４４】
具体的には、このエピポーラ曲線は、下記ステップＢ１及びステップＢ２に基づき、求める。
ステップＢ１：
数２１と数２２を同時に満たす
2010276433.tif 000054
とすると、
2010276433.tif 000055
の方位角は次のようになる。
【０１４５】
【数２３】
2010276433.tif 000056
【０１４６】
【数２４】
2010276433.tif 000057
ただし、θは図１０に示すように、光軸（Ｚ軸）との成す角を表す。
ステップＢ２：
本発明の撮像装置のキャリブレーションで求めたパラメータから得られる投影関数
2010276433.tif 000058
と画像中心（ｕ０,ｖ０）を使って、下記数２５と数２６で表す画像座標に変換する。
【０１４７】
【数２５】
2010276433.tif 000059
【０１４８】
【数２６】
2010276433.tif 000060
ただし、
2010276433.tif 000061
には歪曲収差も含むものとする。
＜５＞本発明による距離計測結果
本発明の有効性を示すために、実際に、本発明の撮像装置１を用いて画像を撮像し、撮像装置１のキャリブレーションを行い、撮像装置１で撮像した画像を用いて本発明による距離計測実験を行った。
【０１４９】
図２５は、本発明に係る距離計測装置の第１実施形態に基づく距離計測方法を用いて、図２に示された円周魚眼画像を、５枚の透視投影画像に変換した結果である。
【０１５０】
図２６に本発明による距離計測結果を示す。図２６（Ａ）は、図２５に示された中央領域の画像に基づいて変換された透視投影画像（実カメラ透視投影画像）である。
【０１５１】
図２６（Ｂ）は、図２６（Ａ）の実カメラ透視投影画像に対応して、本発明に係る距離計測装置の第１実施形態に基づく距離計測方法によって求めた距離マップである。
【０１５２】
また、図２６（Ｃ）は、図２６（Ａ）の実カメラ透視投影画像に対応して、本発明に係る距離計測装置の第２実施形態に基づく距離計測方法によって求めた距離マップである。
【０１５３】
なお、マルチベースライン法で画像間の対応を求めるときに、注目領域サイズは７×７[画素]とした。
上述のように、本発明に係る撮像装置、画像処理装置及び距離計測装置について説明した。本発明に係る撮像装置、画像処理装置及び距離計測装置を、電子撮像機器（例えば、単板方式の固体カラー撮像装置や三板方式の固体カラー撮像装置などのデジタル撮像装置）や画像システムに実装することができる。
【０１５４】
また、本発明に係る画像処理装置及び距離計測装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＧＰＵ（Graphics  Processing  Unit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアにより実装されることも勿論できる。
【符号の説明】
【０１５５】
１    撮像装置
１１    第１のミラー
１２    第２のミラー
１３    第３のミラー
１４    第４のミラー
２０    魚眼レンズ
３０    撮像装置本体
１００    画像処理装置
１１０    中央領域分割部
１２０    第１透視投影画像変換部
２００、２０５    距離計測装置
２１０    領域分割部
２２０    透視投影画像変換部
２３０    透視投影画像におけるエピポーラ線算出部
２３５    エピポーラ曲線算出部
２４０    距離計測部
【図１】
2010276433.tif 000062
【図３】
2010276433.tif 000063
【図４】
2010276433.tif 000064
【図８】
2010276433.tif 000065
【図９】
2010276433.tif 000066
【図１０】
2010276433.tif 000067
【図１１】
2010276433.tif 000068
【図１２】
2010276433.tif 000069
【図１３】
2010276433.tif 000070
【図１６】
2010276433.tif 000071
【図１７】
2010276433.tif 000072
【図１８】
2010276433.tif 000073
【図１９】
2010276433.tif 000074
【図２０】
2010276433.tif 000075
【図２１】
2010276433.tif 000076
【図２２】
2010276433.tif 000077
【図２３】
2010276433.tif 000078
【図２】
2010276433.tif 000079
【図５】
2010276433.tif 000080
【図６】
2010276433.tif 000081
【図７】
2010276433.tif 000082
【図１４】
2010276433.tif 000083
【図１５】
2010276433.tif 000084
【図２４】
2010276433.tif 000085
【図２５】
2010276433.tif 000086
【図２６】
2010276433.tif 000087