(57)【要約】      （修正有）【課題】ステレオ画像及び距離・形状など３次元情報を取得する３次元空間認識入力装置において、常時、全方位で高解像度且つ死角の無い入力を取得可能な３次元空間認識入力装置を提供する。【解決手段】ミラー部３,４とカメラ部３ｃ,４ｃで構成する光学系により全方位画像を撮像する２つ以上の撮像手段を用いて、撮影空間に於けるステレオ画像及び被写体の形状及び構造を表わす３次元座標値を抽出する３次元空間認識入力装置であって、２つ以上の全方位撮像手段に於いて高解像度領域で視野が光学的に重なり、且つ相互の写り込みによる死角を解消するように配置する事により、常時高画質なステレオ視及び高精度３次元位置座標を計測する手段を備える。【選択図】図３
2010256296.tif 000002
【特許請求の範囲】
【請求項１】
ミラー部とカメラ部で構成される光学系により全方位画像を撮像する２つの撮像手段を用いて、撮影空間に於けるステレオ画像及び被写体の形状及び構造を表わす３次元座標値を抽出する３次元空間認識入力装置であって、２つの全方位撮像手段に於いて高解像度視野領域が光学的に重なるように配置する事により、全周囲空間を撮像した各々の前記全方位画像の内、高解像度撮像領域を使う事により画像間の対象点の位置座標を精度よく計測する手段を備えることを特徴とする３次元空間認識入力装置。
【請求項２】
ミラー部とカメラ部で構成される光学系により全方位画像を撮像する３つ以上の撮像手段を用いて、撮影空間に於けるステレオ画像及び被写体の形状及び構造を表わす３次元座標値を抽出する３次元空間認識入力装置であって、３つ以上の撮像手段を用いる事により全周囲撮影空間に於ける撮像手段同士が写り込む事による死角をなくす手段を備えることを特徴とする３次元空間認識入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位の空間を一括して撮影する全方位カメラを用いて、全方位のステレオ画像及び３次元空間座標・形状情報を、高解像度及び死角の無い全方位画像より取得する為の３次元空間認識入力装置に関する。
【背景技術】
【０００２】
従来、ステレオ法による撮影に用いられるカメラの視野角には制限があり、ステレオ画像及び距離・形状など３次元情報を取得する上で、計測可能な視野領域は狭く、対象が大きい場合や動体の場合にはフレームから外れる事となる。図１は、ステレオ法に於ける通常のカメラによる撮影の例を示す図である。左カメラ（１）（基準カメラ）と右カメラ（２）（参照カメラ）の視野角は各々（１ａ）及び（２ａ）であり、ステレオ法による３次元情報の取得可能が可能となるのは、画角線（１１）及び（２２）で挟まれた狭い交差領域Ｑに制限される。
【０００３】
又、全方位画像を取得可能な全方位カメラを用いたステレオ法に於いても、各々の視野範囲内にもう一方のカメラが写り込む事となり、死角領域が生じる事となる。図２は、ステレオ法に於ける全方位カメラによる撮影の例を示す図である。左カメラ（基準カメラ）の光学系として全方位を写し込む双曲面ミラー部（３）と同右カメラ（参照カメラ）の双曲面ミラー部（４）の視野において、各々双曲面焦点（３２）及び（４２）から相対する全方位カメラへの接線（３１）及び（４１）で挟まれた画角（３ｂ）及び（４ｂ）は各々の死角となり、全方位に於ける３次元情報取得の視野上の障害となっている。従って、この図に於ける撮像系の視野範囲は全方位の内の（３ａ）及び（４ａ）の領域に制限される事となる。
【先行技術文献】
【特許文献】
【０００４】
又、特許文献１では、1台の全方位カメラを移動して撮影する時系列画像を取得し、２つの移動位置・時刻より得られる画像を使って、ステレオ視或いは3次元空間内の形状・構造的な対象点の3次元座標情報を計測する方法を述べている。本文献の方法は、カメラ死角は生じないが、町並み景観など静物が対象であり動体への適用は困難であるし、空間内の対象点の測定において、方式的に一定移動時間を必要とする制限が伴う。
【特許文献１】特開２００２−１８３７１４号広報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、ステレオ画像及び距離・形状など３次元情報を取得する３次元空間認識入力装置に関して、通常のカメラの限られた視野角では困難であった全方位方向を視野範囲とする為に、全方位カメラを組み合わせ、常時、全方位で高解像度且つ死角の無い入力を取得可能な３次元空間認識入力装置を構成する事を目的とする。
【課題を解決するための手段】
【０００６】
請求項１の３次元空間認識入力装置は、ミラー部とカメラ部で構成される光学系により全方位画像を撮像する２つの撮像手段を用いて、撮影空間に於けるステレオ画像及び被写体の形状及び構造を表わす３次元座標値を抽出する３次元空間認識入力装置であって、２つの全方位撮像手段に於いて高解像度視野領域が光学的に重なるように配置する事により、全周囲空間を撮像した各々の前記全方位画像の内、高解像度撮像領域を使う事により画像間の対象点の位置座標を精度よく計測する手段を備えることを特徴とする。
【０００７】
請求項２の３次元空間認識入力装置は、ミラー部とカメラ部で構成される光学系により全方位画像を撮像する３つ以上の撮像手段を用いて、撮影空間に於けるステレオ画像及び被写体の形状及び構造を表わす３次元座標値を抽出する３次元空間認識入力装置であって、３つ以上の撮像手段を用いる事により全周囲撮影空間に於ける撮像手段自身が写り込む事による死角をなくす手段を備えることを特徴とする。
【発明の効果】
【０００８】
全方位カメラの場合、ミラー部に写し込まれる全方位空間をカメラ部で撮影すると、カメラ撮像素子面分解能が均一である為、ミラー部外縁部周辺に対して中心部になる程狭い領域に空間が写し込まれる事により解像度が低下する傾向にある。この為、可能な限り高解像度が保たれるミラー部外縁部周辺が撮像視野範囲となる様に、３次元空間認識入力装置の光学系を構築する事が有効である。
請求項１の発明によれば、ミラー部とカメラ部で構成される光学系により全方位画像を撮像する２つの撮像手段を用いて、各々の撮像手段に於ける高解像度視野領域がステレオ視或いは３角測量法（ステレオ法）の適応領域となる様に光学的に配置する事により、取得する全周囲空間を撮像した全方位画像からステレオ画像或いは各々の撮像画像間の３角測量法に於ける基準カメラと参照カメラ画像上の対象点の位置座標を精度よく計測する事が可能となる。
【０００９】
請求項２の発明によれば、ミラー部とカメラ部で構成される光学系により全方位画像を撮像する３つ以上の撮像手段を用いて、撮影空間に於けるステレオ画像及び被写体の形状及び構造を表わす３次元座標値を抽出する３次元空間認識入力装置であって、３つ以上の撮像手段を用いる事により全周囲撮影空間に於ける自身以外の撮像手段が写り込む事による死角をなくす事により、被写体を常に連続した死角の無い全方位の周辺空間として撮像・計測する事が可能となる。
【図面の簡単な説明】
【００１０】
【図１】通常のカメラによる３次元空間認識入力装置の例を示す図
【図２】全方位カメラによる３次元空間認識入力装置の例を示す図
【図３】本発明の第１の実施例に係る３次元空間認識入力装置の原理を説明する図
【図４】本発明の第２の実施例に係る３次元空間認識入力装置の構成を説明する図
【図５】本発明の第２の実施例に係る３次元空間認識入力装置の原理を説明する図
【図６】本発明の第２の実施例に係る３次元空間認識入力装置のその他の構成を説明する図
【発明を実施するための形態】
【００１１】
以下、本発明の実施例を、図面を参照して説明する。
【実施例１】
【００１２】
図３は、本発明の第１の実施例に係る３次元空間認識入力装置の原理を説明する図である。
【００１３】
図３に於いて、３次元空間認識入力装置は、ミラー部（３）とカメラ部（３ｃ）で構成される光学系により全方位画像を撮像する第１の撮像手段（基準カメラ）と、ミラー部（４）とカメラ部（４ｃ）で構成される光学系により全方位画像を撮像する第２の撮像手段（参照カメラ）を用いて、Ｚ軸の周囲の全方位空間を撮影しステレオ画像及び被写体の形状及び構造を表わす３次元座標値を抽出する事が可能である。しかし、全方位を撮像するカメラの場合、ミラー部に写し込まれる全方位空間をカメラ部で撮影すると、カメラ撮像素子面分解能が均一である為、ミラー部外縁部周辺に対して中心部になる程狭い領域に空間が写し込まれる事により解像度が低下する傾向にある。この為、可能な限り高解像度が保たれるミラー部外縁部周辺がステレオ視或いは３角測量法（ステレオ法）に於ける撮像視野範囲となる様に、光学系を構築する必要がある。
【００１４】
図に於いて、第１の撮像手段（３と３ｃ）に於けるＺ軸方向視野角は、高解像度撮像可能な（３ｅ）と比して低解像度となる（３ｆ）に領域を分割する。同様に、第２の撮像手段（４と４ｃ）に於けるＺ軸方向視野角は、高解像度撮像可能な（４ｅ）と比して低解像度となる（４ｆ）に領域を分割する。尚、高解像度及び低解像度領域の分割の区分けについて、図に於いてはＺ軸に垂直な視野角までを例示しているが、これはミラー部及びカメラ部で構成される撮像手段の光学設計に依存し、且つこれに限定されるものではない。本３次元空間認識入力装置は、２つの全方位撮像手段を用いて高解像度視野領域である各々の視野角（３ｅ）と（４ｅ）が光学的に重なるように配置した領域（３ｇ）に於いて全周囲空間を撮像し、各々の撮像手段に於ける全方位画像の内の高解像度撮像空間領域の対象物（３ｏ）の対象点の位置座標を精度よく計測する事が可能となる。又、本構成により各々の撮像手段同士の写り込みも生じない為、撮像する全方位視野に於いて死角領域は存在しない。
【実施例２】
【００１５】
図４は、本発明の第２の実施例に係る３次元空間認識入力装置の構成を説明する。図５は、本発明の第２の実施例に係る３次元空間認識入力装置の原理を説明する。図６は、本発明の第２の実施例に係る３次元空間認識入力装置のその他の構成を説明する図である。
【００１６】
図４に於いて、３次元空間認識入力装置は、ミラー部（５）で構成される光学系により全方位画像を撮像する第１の撮像手段と、ミラー部（６）で構成される光学系により全方位画像を撮像する第２の撮像手段と、ミラー部（７）で構成される光学系により全方位画像を撮像する第３の撮像手段を正三角形となる配置で構成する事により、全方位空間を撮影しステレオ画像及び被写体の形状及び構造を表わす３次元座標値を死角の無い全方位画像より抽出する事が可能となる。尚、各撮像手段の配置は正三角形形状で無くとも良く、各撮像手段同士の死角が解消される配置であれば問題は無く、抽出する画像及び３次元座標値の計算に於いて調整する。
ミラー部（５）の第１の撮像手段とミラー部（６）の第２の撮像手段の全方位角中に於ける視野角度（５１）は、ＸＹ座標原点Ｏから各々ミラー部（５）双曲面焦点（５２）とミラー部（６）双曲面焦点（６２）とを結んだ線分の内角とし、Ｆ１に示す方向の方位空間を撮像する。ここで視野角度（５１）は、第１の撮像手段と第２の撮像手段に於ける各々の死角の生じない視野角（５ｂ）（６ａ）の範囲内にある。ミラー部（６）の第２の撮像手段とミラー部（７）の第３の撮像手段の全方位角中に於ける視野角度（６１）は、ＸＹ座標原点Ｏから各々ミラー部（６）双曲面焦点（６２）とミラー部（７）双曲面焦点（７２）とを結んだ線分の内角とし、Ｆ２に示す方向の方位空間を撮像する。ここで視野角度（６１）は、第２の撮像手段と第３の撮像手段に於ける各々の死角の生じない視野角（６ｂ）（７ａ）の範囲内にある。ミラー部（５）の第１の撮像手段とミラー部（７）の第３の撮像手段の全方位角中に於ける視野角度（７１）は、ＸＹ座標原点Ｏから各々ミラー部（５）双曲面焦点（５２）とミラー部（７）双曲面焦点（７２）とを結んだ線分の内角とし、Ｆ３に示す方向の方位空間を撮像する。ここで視野角度（７１）は、第１の撮像手段と第３の撮像手段に於ける各々の死角の生じない視野角（７ｂ）（５ａ）の範囲内にある。
従って、３つ以上の撮像手段を用いる事により、全周囲撮影空間に於ける撮像手段同士が写り込む事により生じる死角を無くし、全方位方向に於ける連続したステレオ画像及び被写体の形状及び構造を表わす３次元座標値を抽出する事が可能である。
【００１７】
図５は、３つ以上の撮像手段を有する３次元空間認識入力装置に於いて、対象物（７ｏ）を検出する方法を説明する。図のミラー部（５）で構成される光学系により全方位画像を撮像する第１の撮像手段と、ミラー部（６）で構成される光学系により全方位画像を撮像する第２の撮像手段と、ミラー部（７）で構成される光学系により全方位画像を撮像する第３の撮像手段に於いて、対象物（７ｏ）に関するステレオ画像及び被写体の形状及び構造を表わす３次元座標値を導出する役割は、ミラー部（５）の第１の撮像手段の視野角（５ｂ）の領域Ａとミラー部（６）の第２の撮像手段の視野角（６ａ）の領域Ｂを用いて取得する。ここで、対象物（７ｏ）のエッジなどの特徴点は、第１の撮像手段に於いて入射光路（５ｌ）の成す方位（５ｃ）として取得され、第２の撮像手段に於いて入射光路（６ｌ）の成す方位（６ｃ）として取得され、両撮像手段間の既知の距離Ｎにより３次元座標値を導出する事が可能となる。同様に、第２の撮像手段と第３の撮像手段並びに、第１の撮像手段と第３の撮像手段の組み合わせにより、全方位方向に於ける死角の無いステレオ画像及び被写体の形状及び構造を表わす３次元座標値を導出する事ができる。
【００１８】
更に、ミラー部（５）の第１の撮像手段とミラー部（６）の第２の撮像手段に於ける対象物（７ｏ）のエッジなどの特徴点の同定に関して、ミラー部（７）で構成される光学系により全方位画像を撮像する第３の撮像手段の内、未使用領域となっている視野領域Ｃに入射光路（７ｌ）で撮像される映像を加えて処理する。ミラー部（７）の第３の撮像手段に於ける視野領域Ｃに撮像される映像は、ミラー部（５）の第１の撮像手段及びミラー部（６）の第２の撮像手段により取得される映像と比べて中間的な方向からの基準映像と成り得る為、対象物（７ｏ）のエッジなどの特徴点の同定に於いて、第１の撮像手段及び第２の撮像手段のみの映像から導出する場合と比較して精度が向上し容易となる。
【００１９】
図６は、３次元空間認識入力装置に於いて、４つの撮像手段を有する場合について構成を説明する。ミラー部（８）で構成される光学系により全方位画像を撮像する第１の撮像手段と、ミラー部（９）で構成される光学系により全方位画像を撮像する第２の撮像手段と、ミラー部（１０）で構成される光学系により全方位画像を撮像する第３の撮像手段と、ミラー部（１１）で構成される光学系により全方位画像を撮像する第４の撮像手段を正四角形となる配置で構成する事により、全方位空間を撮影しステレオ画像及び被写体の形状及び構造を表わす３次元座標値を死角の無い全方位画像より抽出する事が可能となる。尚、各撮像手段の配置は正四角形形状で無くとも良く、各撮像手段同士の死角が解消される配置であれば問題は無く、抽出する画像及び３次元座標値の計算に於いて調整する。
ミラー部（８）の第１の撮像手段とミラー部（９）の第２の撮像手段の全方位角中に於ける視野角度（８１）は、ＸＹ座標原点Ｏから各々ミラー部（８）双曲面焦点とミラー部（９）双曲面焦点とを結んだ線分の内角とする。ここで視野角度（８１）は、第１の撮像手段と第２の撮像手段に於ける各々の死角の生じない視野角（８ｂ）（９ａ）の範囲内にある。ミラー部（９）の第２の撮像手段とミラー部（１０）の第３の撮像手段の全方位角中に於ける視野角度（９１）は、ＸＹ座標原点Ｏから各々ミラー部（９）双曲面焦点とミラー部（１０）双曲面焦点とを結んだ線分の内角とする。ここで視野角度（９１）は、第２の撮像手段と第３の撮像手段に於ける各々の死角の生じない視野角（９ｂ）（１０ａ）の範囲内にある。ミラー部（１０）の第３の撮像手段とミラー部（１１）の第４の撮像手段の全方位角中に於ける視野角度（１０１）は、ＸＹ座標原点Ｏから各々ミラー部（１０）双曲面焦点とミラー部（１１）双曲面焦点とを結んだ線分の内角とする。ここで視野角度（１０１）は、第３の撮像手段と第４の撮像手段に於ける各々の死角の生じない視野角（１０ｂ）（１１ａ）の範囲内にある。ミラー部（８）の第１の撮像手段とミラー部（１１）の第４の撮像手段の全方位角中に於ける視野角度（１１１）は、ＸＹ座標原点Ｏから各々ミラー部（８）双曲面焦点とミラー部（１１）双曲面焦点とを結んだ線分の内角とする。ここで視野角度（１１１）は、第１の撮像手段と第４の撮像手段に於ける各々の死角の生じない視野角（１１ｂ）（８ａ）の範囲内にある。
従って、４つの撮像手段を用いる事により、全周囲撮影空間に於ける撮像手段同士が写り込む事により生じる死角を無くし、全方位方向に於ける連続したステレオ画像及び被写体の形状及び構造を表わす３次元座標値を抽出する事が可能である。
【産業上の利用可能性】
【００２０】
本発明の実施例の３次元空間認識入力装置によれば、全方位の空間を一括して撮影する全方位カメラを用いて、高解像度及び死角の無い全方位方向の撮像映像よりステレオ映像及び３次元空間座標・形状情報を取得する事が可能となる。
【符号の説明】
【００２１】
１    ステレオ撮影用の左通常カメラ（基準カメラ）
２    ステレオ撮影用の右通常カメラ（参照カメラ）
３    ステレオ撮影用の全方位・基準カメラ
４    ステレオ撮影用の全方位・参照カメラ
５    ステレオ撮影用の全方位カメラ（ミラー部）１／３
６    ステレオ撮影用の全方位カメラ（ミラー部）２／３
７    ステレオ撮影用の全方位カメラ（ミラー部）３／３
８    ステレオ撮影用の全方位カメラ（ミラー部）１／４
９    ステレオ撮影用の全方位カメラ（ミラー部）２／４
１０  ステレオ撮影用の全方位カメラ（ミラー部）３／４
１１  ステレオ撮影用の全方位カメラ（ミラー部）４／４
【図１】
2010256296.tif 000003
【図２】
2010256296.tif 000004
【図３】
2010256296.tif 000005
【図４】
2010256296.tif 000006
【図５】
2010256296.tif 000007
【図６】
2010256296.tif 000008