(57)【要約】【課題】 単一カメラの全方向両眼視映像獲得装置を提供する。【解決手段】 第１視点からの全方向周囲環境を反射させる第１反射部と、第１反射部と同軸上に離隔して位置し、第２視点からの全方向周囲環境を反射させる第２反射部と、第１反射部及び第２反射部と同軸上に位置し、第１反射部及び第２反射部から提供されたそれぞれの前記反射された像を捕捉し、捕捉された第１映像及び第２映像を出力する映像撮像部と、を備えることを特徴とする全方向両眼視映像獲得装置。これにより、高い３次元復元解像度を得ることができ、装置の小型化が可能であり、二つの映像間の対応点獲得を容易に行える。【選択図】 図２
2006330735.tif 000002
【特許請求の範囲】
【請求項１】
第１視点からの全方向周囲環境を反射させる第１反射部と、
前記第１反射部と同軸上に離隔して位置し、第２視点からの全方向周囲環境を反射させる第２反射部と、
前記第１反射部及び第２反射部と同軸上に位置し、前記第１反射部及び第２反射部から提供されたそれぞれの前記反射された像を捕捉し、前記捕捉された第１映像及び第２映像を出力する映像撮像部と、を備えることを特徴とする全方向両眼視映像獲得装置。
【請求項２】
前記第１反射部は、双曲面または楕円面形態の反射面を備え、
前記第２反射部は、前記同軸上に既定の直径でぬきとられ双曲面または楕円面形態の反射面を備えることを特徴とする請求項１に記載の全方向両眼視映像獲得装置。
【請求項３】
前記第２反射部は、双曲面または楕円面形態の反射面を備え、
前記第１反射部は、第２反射部の反射面より小さな双曲面または楕円面形態の反射面を備えることを特徴とする請求項１に記載の全方向両眼視映像獲得装置。
【請求項４】
前記映像撮像部から提供された前記第１映像及び前記第２映像をパノマラ映像に変換して、第１パノマラ映像及び第２パノマラ映像を生成するパノマラ映像変換部と、
前記第１パノマラ映像と第２パノマラ映像との対応点を検出し、前記検出された対応点の位置差から３次元位置情報を抽出する３次元位置情報抽出部と、をさらに備えることを特徴とする請求項１に記載の全方向両眼視映像獲得装置。
【請求項５】
前記パノマラ映像変換部は、
前記第１映像及び第２映像のうち中心部映像に該当する映像のそれぞれの位置に対して、放射方向には
【数１】
2006330735.tif 000013
の標準偏差を持つガウシアンカーネルを、円周方向にはσの標準偏差を持つガウシアンカーネルを適用させた結果物を、前記位置に対応する前記第１パノマラ映像の位置にマッピングさせて前記第１パノマラ映像を生成し、
前記第１映像及び第２映像のうち周辺部映像に該当する映像のそれぞれの位置に対して、放射方向には
【数２】
2006330735.tif 000014
の標準偏差を持つガウシアンカーネルを、円周方向には
【数３】
2006330735.tif 000015
の標準偏差を持つガウシアンカーネルを適用させた結果物を、前記位置に対応する前記第２パノマラ映像の位置にマッピングさせて前記第２パノマラ映像を生成することを特徴とする請求項４に記載の全方向両眼視映像獲得装置。
【請求項６】
第１視点からの全方向周囲環境を反射させる第１反射部と、
前記第１反射部と同軸上に離隔して位置し、第２視点からの全方向周囲環境を反射させる第２反射部と、
前記第１反射部及び第２反射部と同軸上に位置し、前記第２反射部から提供された前記反射された像を再び反射させる第３反射部と、
前記第１反射部、第２反射部及び第３反射部と同軸上に位置し、前記第１反射部、第３反射部から提供されたそれぞれの前記反射された像を捕捉して、前記捕捉された第１映像及び第２映像を出力する映像撮像部と、を備えることを特徴とする全方向両眼視映像獲得装置。
【請求項７】
前記第１反射部は、前記同軸上に既定の直径ほどあいており、双曲面または楕円面形態をなしている反射面を備え、
前記第２反射部と第３反射部とは、単一視点を満足させる折り込み型関係であることを特徴とする請求項６に記載の全方向両眼視映像獲得装置。
【請求項８】
前記第１反射部は、双曲面または楕円面形態の反射面を備え、
前記第２反射部と第３反射部とは単一視点を満足させる折り込み型関係であり、
前記第３反射部は、前記同軸上に既定の直径ほどぬきとられたことを特徴とする請求項６に記載の全方向両眼視映像獲得装置。
【請求項９】
前記映像撮像部から提供された前記第１映像及び前記第２映像をパノマラ映像に変換して、第１パノマラ映像及び第２パノマラ映像を生成するパノマラ映像変換部と、
前記第１パノマラ映像と第２パノマラ映像との対応点を検出し、前記検出された対応点の位置差から３次元位置情報を抽出する３次元位置情報抽出部と、をさらに備えることを特徴とする請求項６に記載の全方向両眼視映像獲得装置。
【請求項１０】
前記パノマラ映像変換部は、
前記第１映像及び第２映像のうち中心部映像に該当する映像のそれぞれの位置に対して、放射方向には
【数４】
2006330735.tif 000016
の標準偏差を持つガウシアンカーネルを、円周方向にはσの標準偏差を持つガウシアンカーネルを適用させた結果物を前記位置に対応する前記第１パノマラ映像の位置にマッピングさせて、前記第１パノマラ映像を生成し、
前記第１映像及び第２映像のうち周辺部映像に該当する映像のそれぞれの位置に対して、放射方向には
【数５】
2006330735.tif 000017
の標準偏差を持つガウシアンカーネルを、円周方向には
【数６】
2006330735.tif 000018
の標準偏差を持つガウシアンカーネルを適用させた結果物を、前記位置に対応する前記第２パノマラ映像の位置にマッピングさせて前記第２パノマラ映像を生成することを特徴とする請求項９に記載の全方向両眼視映像獲得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元情報の類推に必要な全方向（パノマラ）両眼視（ステレオ）映像を提供する単一カメラの全方向両眼視装置に係り、特に、有効視点距離が長く、装置の小型化が可能であり、両眼視対応点の検出を容易にする単一カメラの全方向両眼視映像獲得装置に関する。
【背景技術】
【０００２】
カメラを利用した両眼視システムは、二つの映像から３次元情報を類推するために使われ、特に、全方向両眼視システムは３６０度全方向（パノマラ）についての３次元情報を得ることができる。このようなシステムは、３次元形状測定、仮想現実、知能ロボットの周辺環境認識、監視システム、軍用探知システムなどの分野への活用が可能である。
【０００３】
全方向両眼視システムでの３次元復元は、二つの異なる視点で獲得された二つのパノマラ映像の視差を確認することによって行われる。このような両眼視システムで前記二つのパノマラ映像を得る方法には、２台のカメラを利用してそれぞれの映像を得る方法だけでなく１台のカメラとミラーとを利用する方法がある。前者の方法は、２台のカメラ間の物理的特性の差、例えば、焦点距離、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）など撮像素子及びミラーの整列状態などの差によって３次元復元時に誤差が発生しうるので、後者の方法、すなわち、単一カメラ両眼視システムが色々な側面で効果的な方法として知られている。
【０００４】
ミラーを利用した両眼視システムを容易に具現するためには、ミラーの形態とカメラとの相対的な位置関係が単一視点を満足せねばならない。そうでない場合、二つの映像から３次元情報を抽出する過程が複雑になるためである。特に、単一視点条件を満足させつつ全方向システムを支援するミラー形態は、平面、楕円面、双曲面、放物面がある。
【０００５】
図１は、単一視点を満足させる単一カメラの全方向単一視（ｍｏｎｏ）システムのうち、双曲面形態のミラーから形成されたシステムを示す概念図である。
【０００６】
双曲面ミラー１００に反射された３次元空間物体１１０の像は、カメラの有効ピンホール１２０を通過してカメラのＣＣＤなどの撮像面１３０に結ばれる。ここで、前記双曲面ミラー１００が反射する映像は、前記有効視点１４０で見た映像と同一である。
【０００７】
一方、一般的な単一カメラの全方向両眼視システムは、一般カメラと二層を持つミラーとを同軸上に位置させることで具現される。しかし、このシステムは、二層のミラーが持つそれぞれの有効視点間の距離が非常に短いので、深さ解像度が非常に低いという短所がある。
【０００８】
また、単一カメラの全方向両眼視システムを必要とする装置であるロボットは、小型化が要求されるので、小型化に適した単一カメラの全方向両眼視システムが必要である。
【０００９】
一方、一般的な単一カメラの全方向両眼視システムから得られた二つの映像は各対応点に対して解像度の差があるので、前記得られた映像の解像度が低い場合、両眼映像間の対応点検出性能を落とすことになる。したがって、前記二つの映像間の解像度を補正する過程が必要である。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする技術的課題は、有効視点間の距離を広げて３次元復元解像度を高める単一カメラの全方向両眼視映像獲得装置を提供することである。
【００１１】
本発明が解決しようとする他の技術的課題は、単一カメラ及び折り込みミラー方式を適用することによって装置の小型化を可能にする単一カメラの全方向両眼視映像獲得装置を提供することである。
【００１２】
本発明が解決しようとする他の技術的課題は、それぞれの有効視点で得た映像の解像度に差がある場合にも、対応点の検出を容易にする単一カメラの全方向両眼視映像獲得装置を提供することである。
【課題を解決するための手段】
【００１３】
前記の技術的課題を解決するための、本発明による全方向両眼視映像獲得装置は、第１視点からの全方向周囲環境を反射させる第１反射部と、前記第１反射部と同軸上に離隔して位置し、第２視点からの全方向周囲環境を反射させる第２反射部と、前記第１反射部及び第２反射部と同軸上に位置し、前記第１反射部及び第２反射部から提供されたそれぞれの前記反射された像を捕捉し、前記捕捉された第１映像及び第２映像を出力する映像撮像部と、を備える。
【００１４】
前記の他の技術的課題を解決するための、本発明による全方向両眼視映像獲得装置は、第１視点からの全方向周囲環境を反射させる第１反射部と、前記第１反射部と同軸上に離隔して位置し、第２視点からの全方向周囲環境を反射させる第２反射部と、前記第１反射部及び第２反射部と同軸上に位置し、前記第２反射部から提供された前記反射された像を再び反射させる第３反射部と、前記第１反射部、第２反射部及び第３反射部と同軸上に位置し、前記第１反射部、第３反射部から提供されたそれぞれの前記反射された像を捕捉して、前記捕捉された第１映像及び第２映像を出力する映像撮像部と、を備える。
【００１５】
望ましくは、前記映像撮像部から提供された前記第１映像及び前記第２映像をパノマラ映像に変換して、第１パノマラ映像及び第２パノマラ映像を生成するパノマラ映像変換部と、前記第１パノマラ映像と第２パノマラ映像との対応点を検出し、前記検出された対応点の位置差から３次元位置情報を抽出する３次元位置情報抽出部と、をさらに備える。
【発明の効果】
【００１６】
本発明によれば、単一カメラを使用することによって複数のカメラを使用する時に発生するカメラの物理的特性差に起因した復元誤差を低減することができる。
【００１７】
また、カメラと同軸である複数のミラーを使用することによって二つの映像間のエピポーララインが同一線上に置かれるので、ステレオ対応点検出過程が簡単になる。
【００１８】
また、複数のミラー間の距離をおくことによって、３次元復元精密度を決定する有効視点間の距離を広げることができる。
【００１９】
また、単一カメラ及び折り込み型システムを使用することによって、装置の小型化が可能である。
【００２０】
また、獲得された映像、すなわち、周辺部映像及び中心部映像間に解像度が相異なることによる誤差を、スケール・スペース理論を適用して乗り越えられる。
【発明を実施するための最良の形態】
【００２１】
以下、添付された図面を参照して本発明による装置について詳細に説明する。
【００２２】
図２は、本発明の一実施形態による単一カメラの全方向両眼視映像獲得装置の構成を示すブロック図であって、第１像提供部２００、第２像提供部２１０、映像撮像部２２０、パノマラ映像変換部２３０、３次元位置情報抽出部２４０を備えてなる。
【００２３】
第１像提供部２００及び第２像提供部２１０は、それぞれの有効視点から見た３６０°周辺環境を反射して、反射された像をカメラＣＣＤなどの映像撮像部２２０に伝達する。一方、第１像提供部２００は１つの反射部で、第２像提供部２１０は１つまたは２つの反射部で構成でき、前記反射部の形態及び配置は後述する。一方、本明細書で使われる用語である反射部は、映像または像を反射する物体を表す用語であって、ミラーを意味することが一般的であるが、これに限られるものではない。
【００２４】
前記映像撮像部２２０には二つの前記反射された像が結ばれ、前記結ばれた映像をパノマラ映像変換部２３０に伝達する。ここで、前記結ばれた映像は後述するが、円形の中心部映像及び周辺部映像で構成されている。
【００２５】
パノマラ映像変換部２３０は、前記映像撮像部２２０から提供された中心部映像及び周辺部映像をそれぞれパノマラ映像に変換する。その変換方法の例として、パノマラ映像のそれぞれの位置に対して対応する円形映像の部分をサンプリングして前記パノマラ映像の位置にマッピングする方法をとる。特に、パノマラ映像のそれぞれの位置に対応する円形映像の位置については、ルックアップテーブルであらかじめ設定することによって、具現可能である。前記円形入力映像の位置とパノマラ映像の位置とがマッピングされたルックアップテーブルは、カメラとミラーの構造を解釈することによって具現できる。
【００２６】
一方、中心部映像及び周辺部映像の解像度が相異なる場合、二つのパノマラ映像間の対応点検出の容易性のために、前記パノマラ映像変換部２３０は、後述する解像度補正機能を備えるが望ましい。
【００２７】
３次元位置情報抽出部２４０は、前記パノマラ映像変換部２３０から提供された二つのパノマラ映像の対応点を検出した後、各物体の距離情報などの３次元位置情報を抽出する。前記対応点検出方法は、ウィンドウ基盤相関検出法（ｗｉｎｄｏｗ−ｂａｓｅｄ ｃｏｒｒｅｌａｔｉｏｎ ｓｅａｒｃｈ ｍｅｔｈｏｄ）など色々があり、これを通じた３次元情報抽出方法も、三角測定法を通じた方法など既に多くの技術が公知されている。前記抽出された３次元情報は３次元映像の具現化に使われる。
【００２８】
図３Ａ及び図３Ｂは、本発明の一実施形態による単一カメラの全方向両眼視映像獲得装置のカメラ及びミラー配置を示す概念図である。
【００２９】
図３Ａは、ぬきとり型ミラーのないミラー配置を示す概念図である。第１反射部３００はＦ１の有効視点を、第２反射部３１０はＦ２の有効視点を持ち、３次元空間の物体を反射する。すなわち、第１反射部３００は、Ｆ１から見た全方向映像を、第２反射部３１０は、Ｆ２から見た全方向映像をカメラの映像撮像部２２０に伝達して、それぞれ図２での第１像提供部２００、第２像提供部２１０に該当する。一方、周辺部映像及び中心部映像のいずれも獲得するためには、第１反射部３００の反射面は第２反射部３１０の反射面より小さくなければならない。
【００３０】
図３Ｂは、ぬきとり型ミラーのあるミラー配置を示す概念図である。第１反射部３２０及び第２反射部３３０の機能は、図３Ａで説明した通りである。ただし、カメラ２２０に結ばれる像の経路が異なるために、周辺部映像及び中心部映像が図３Ａの場合と逆になる。すなわち、図３Ａでカメラが得た映像のうち中心部映像は第１反射部３００から、周辺部映像は第２反射部３１０から得られる。一方、図３Ｂでカメラが得た映像のうち、中心部映像は第２反射部３３０から、周辺部映像は第１反射部３２０から得られる。一方、反射部のぬきとられた円部分の直径は、均衡のある周辺部映像及び中心部映像を得られるように、反射部の曲面を考慮して設定される。
【００３１】
本発明による前記のカメラ及びミラーの配置（二つのミラーの離隔された配置）、ミラーの形態から二つの有効視点間の距離、すなわち、Ｆ１とＦ２との間の距離を長くすることができて、深さ解像度を高めることができる。
【００３２】
本発明に属するミラーの形態及び配置は、前記第１反射部３００、３２０及び第２反射部３１０、３３０は凹面ないし凸面ミラーであって、同軸上に配置されればよい。ただし、３次元情報抽出を容易にするために単一視点条件を満足させることが望ましい。すなわち、第１反射部及び第２反射部がそれぞれ双曲面または楕円面で構成され、各有効視点Ｆ１、Ｆ２になっていることが望ましい。また、第１反射部は、図３Ｂのようにぬきとり型も存在するために、結局単一視点条件を満足させるミラーの配置及び形態は８種が存在する。
【００３３】
一方、前記ミラーの配置及び形態も望ましいが、同じ有効視点間の距離条件でミラーの実際的距離を縮める折り込み型方式も望ましい。すなわち、前記の発明にミラーを一つ追加することによって、同じ有効視点間距離（Ｆ１とＦ２との間の距離）の条件でＦ１と有効ピンホールＰとの間の距離を縮めることができ、その結果、装置の小型化をなしうる。本発明は、他の一つの追加的ミラーを使用して上段のミラーをレンズ高さ近くに折り込むことによって装置の小型化が可能である。
【００３４】
図４Ａないし図４Ｉは、単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。図４Ａないし図４Ｉで、ＰＬ、ＨＹＰ、ＥＬＬ、ＰＡＲは、それぞれ平面ミラー、双曲面ミラー、楕円面ミラー、放物面ミラーを表す。前記３次元空間の物体の像は、第１ミラーから反射された後に第２ミラーから再び反射されて撮像面に結ばれる。すなわち、２つのミラーを使用しているが、そのうち一つのミラーは残りのミラーの像を反射する役割を行うために、映像撮像部２２０は一つの映像（Ｆ１から見た映像）のみを得ることができる。前記の二つのミラーの関係は折り込み型関係と呼ばれ、特に、図４Ａないし図４Ｉは、そのうち単一視点条件を満足させる折り込み型関係の二つのミラーの形態及び配置について示したものである。このようなシステムは、折り込み型ミラーである第２ミラーを使用することによって有効ピンホールＰとＦ１との間の距離を縮めることができる。
【００３５】
図５Ａないし図５Ｄは、本発明の一実施形態による単一カメラの折り込み型全方向両眼視映像獲得装置のカメラ及びミラー配置を示す概念図である。
【００３６】
図５Ａないし図５Ｄは、第２反射部５０５、５２５、５４５、５６５及び第３反射部５１０、５３０、５５０、５７０の折り込み型関係のトポロジーであって、図４Ａのトポロジーを使用する面で共通点がある。ただし、第１反射部５００、５２０、５４０、５６０と関連して、図５Ａ及び図５Ｃは双曲面ミラーを、図５Ｂ及び図５Ｄは楕円面ミラーを使用した点が異なる。また、図５Ａ及び図５Ｂは、第１反射部５００、５２０が中心位置にあり、図５Ｃ及び図５Ｄは、第１反射部５４０、５６０が外側の位置にある点で異なる。すなわち、第１反射部５００、５２０、５４０、５６０は、図２の第１像提供部２００に該当し、第２反射部５０５、５２５、５４５、５６５及び第３反射部５１０、５３０、５５０、５７０は、セットをなして第２像提供部２１０に該当する。一方、反射部のぬきとられた円部分の直径は、均衡のある周辺部映像及び中心部映像を得るように、反射部の曲面を考慮して設定される。
【００３７】
図４に属する９種のトポロジーにおいて、それぞれのトポロジーに対して図５Ａないし図５Ｄのように４種の形態が存在できるので、結局、本発明による単一視点条件を満足させる単一カメラの折り込み型全方向両眼視装置の反射部の形態及び配置の種類の数は、３６となる。
【００３８】
一方、図５Ａないし図５Ｄは、便宜上第１反射部５００、５２０、５４０、５６０と第３反射部５１０、５３０、５５０、５７０とが同じ高さに位置することを示すが、本発明はこれに限られず、第１反射部５００、５２０、５４０、５６０と第３反射部５１０、５３０、５５０、５７０とが相異なる高さ位置に存在してもよい。
【００３９】
図６Ａ及び図６Ｂは、本発明により獲得された映像の一例を示す概念図である。１台のカメラと同軸整列された１以上の反射部とを持つあらゆる全方向両眼視システムは、図６Ａのように、中心部と周辺部とを通じて両眼映像を受け入れる。このようなシステムの最も重要な長所は、あらゆるエピポーララインが放射形に同一線上に置かれる単純な構造であるため、図６Ａの形態の映像を平行線形態のエピポーララインが存在するパノマラ映像に変換し容易である。
【００４０】
図６Ａで、ｒｉとｒoとは同じφに対応する。また、ｒｉは、中心部映像に該当する有効視点を原点として、周辺環境を球座標系（ｒ,θ, φ）で表現した時のφと関連して、ｒｉ＝ｆ（φ）の関係をなす。同様に、ｒoは周辺部映像に該当する有効視点を原点として、周辺環境を球座標系（ｒ,θ, φ）で表現した時のφと関連して、ｒo＝ｇ（φ）の関係をなす。前記のｆ（）、ｇ（）関数は反射部の形態、すなわち、ミラーの形態から得ることができる。
【００４１】
しかし、このような両眼視システムは、それぞれの有効視点で得られた映像間の解像度が異なるので、パノマラ映像変換部２３０に入力される映像の解像度が高くない場合、３次元情報抽出部２４０での両眼映像の対応点検出性能を落とす恐れがある。例えば、円周方向の解像度は、ポイントの位置がミラーに反射された映像が結ばれる円の外角から中心部へ移るほど線形的に低くなる。また、放射方向の解像度もミラー断面の形状によって変わりうる。
【００４２】
これを解決するために、本発明のパノマラ映像変換部２３０は、スケール・スペース理論に基づいたサンプリング方法を使用して解像度を補正することが望ましい。直交座標系で構成された映像に対して、ｘ軸にＧ（ｓσ）、ｙ軸にＧ（ｓσ）からなるガウシアンカーネルを、適したスケール因子ｓを代入して原映像に適用させることで解像度補正が可能である。ここで、Ｇはガウシアンカーネルであり、σはガウシアンカーネルの基準標準偏差であって、偽信号（ａｌｉａｓｉｎｇ）及びノイズを減少させるための最小値で定める。前記の式で、もしｓ＝２を適用させた結果映像は、ｓ＝４を適用させた結果映像より２倍の解像度を持つが、本発明はこのような原理を利用して、各映像（中心部映像または周辺部映像）に属するそれぞれの位置（ｒｉまたはｒo、θ）に適したスケール因子を適用することによって、解像度補正を行う。
【００４３】
本発明では、中心部映像と周辺部映像とがそれぞれ円形をなしているので、映像撮像部２２０から提供された円形になった第１映像及び第２映像が周辺部映像であるか、中心部映像であるかをそれぞれ判断する。次いで、中心部映像に、放射方向に
【数７】
2006330735.tif 000003
【００４４】
を、円周方向に
【数８】
2006330735.tif 000004
【００４５】
を適用させる。また、周辺部映像に、放射方向に
【数９】
2006330735.tif 000005
【００４６】
を、円周方向に
【数１０】
2006330735.tif 000006
【００４７】
を適用させる。一方、
【数１１】
2006330735.tif 000007
【００４８】
はそれぞれ
【数１２】
2006330735.tif 000008
【００４９】
のように定義され、σは前述したように偽信号及びノイズを減少させるための最小値と定める。
【００５０】
すなわち、ガウシアンカーネルが適用される映像が円周方向（θ）と放射方向（ｒｉまたはｒo）で表現されるので、前記スケール因子は緯度（φ）が与えられた時、前記の変数ｒｉ、ｒo、θについて定義される。
【００５１】
ここで、下添字‘ｉ’と‘ｏ’とは、それぞれ内部（ｉｎｎｅｒ）と外部（ｏｕｔｅｒ）とを意味し、上添字‘ｒ’と‘ｃ’とは、それぞれ放射方向（ｒａｄｉａｌ）と円周方向（ｃｉｒｃｕｌａｒ）とを意味する。図６Ａ及び図６Ｂは、このような原理を説明している。
【００５２】
それぞれの（ｒｉまたはφ、θ）、（ｒoまたはφ、θ）に対して
【数１３】
2006330735.tif 000009
【００５３】
が求められることによって、各位置に対するガウシアンカーネルが得られる。
【００５４】
前記の解像度補正は、パノマラ映像変換部２３０で行われる。すなわち、原則的にパノマラ映像変換部２３０は、図６Ａの二つの円形映像を図６Ｂの二つのパノマラ映像に変換するが、その変換方法の例として、前述したように、パノマラ映像のそれぞれの位置に対して対応する円形映像の部分をサンプリングする方法をとる。ただし、前記解像度補正機能を適用させるために、次のような方法が適用されうる。まず、前記二つの円形映像が中心部映像であるか、周辺部映像であるかを判断する。次いで、パノマラ映像のそれぞれの位置に対応する中心部映像の位置を中心に、放射方向には
【数１４】
2006330735.tif 000010
【００５５】
の標準偏差を持つガウシアンカーネルを、円周方向にはσの標準偏差を持つガウシアンカーネルを適用させた結果物を、前記パノマラ映像のそれぞれの位置にマッピングさせる。同様に、周辺部映像も、パノマラ映像のそれぞれの位置に対応する前記周辺部映像の位置を中心に、放射方向には
【数１５】
2006330735.tif 000011
【００５６】
の標準偏差を持つガウシアンカーネルを、円周方向には
【数１６】
2006330735.tif 000012
【００５７】
の標準偏差を持つガウシアンカーネルを適用させた結果物を、前記パノマラ映像のそれぞれの位置にマッピングさせる。二つのパノマラ映像のあらゆる位置について前記作業が終われば、パノマラ映像変換が終了する。ここで、ガウシアンカーネルを適用させる方法は、次の通りである。パノマラ映像のそれぞれの位置に対応する円形映像の位置（または、ピクセル）を中心に、前記中心ピクセル及び隣接ピクセルそれぞれに対して、そのピクセルに該当するガウシアンカーネルの加重値（ｗｅｉｇｈｔ）をかけた値を合算（ｓｕｍ）する。合算された結果物は前記パノマラ映像の各位置に対するカラー情報値となる。
【００５８】
一方、全方向円形映像からパノマラ映像への座標変換は、球座標系だけでなくシリンダー座標系でいずれも可能である。すなわち、前記の数式でφがｚに変わるという点を除外すれば同一である。
【００５９】
図７は、本発明に一実施形態による単一カメラの折り込み型全方向両眼視映像獲得装置を具現したものを示す。カメラは下ミラーの内部に位置させた形態であって、図５Ｃのトポロジーで具現されたものである。
【００６０】
図８は、本発明の一実施形態による単一カメラの折り込み型全方向両眼視映像獲得装置から獲得した室内環境の全方向両眼映像の一例である。近くにテーブルとロボット、遠く本箱と棚とが中心部と周辺部とに分けられて投影されている。これらの間のあらゆる対応点は放射形に同一線上に存在し、これはエピポーララインがいずれも放射形に同一線上に存在するということを示す。
【００６１】
図９Ａないし図９Ｃは、図８の両眼映像からパノマラ映像変換部２３０を通じて変換された周辺部パノマラ映像、中心部パノマラ映像及び差映像（ｄｉｓｐａｒｉｔｙ ｍａｐ）である。図９Ｃは、二つのパノマラ映像間の対応点位置の差を表示する差映像であって、差の大きさに比例して輝度値を付与した。近い物体は視点による位置の差が大きいので明るく、遠い物体は位置の差が小さいので暗く現れる。前記の情報として３次元情報を抽出できる。
【００６２】
図１０Ａないし図１０Ｃは、図９Ａないし図９Ｃの映像から復元した３次元情報を含む映像である。
【００６３】
図１０Ａ及び図１０Ｃは、図１０Ｂの視点より１６°ずつ上下に見た時に得られる映像であって、前記３個の映像いずれも図９Ａ及び図９Ｂのパノマラ映像から３次元位置情報を抽出した後、これに基づいて得ることができる。
【００６４】
このような本願発明の装置は、理解を助けるために図面に図示された実施形態を参考までに説明されたが、これは例示的なものに過ぎず、当業者ならばこれより多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲により定められねばならない。
【産業上の利用可能性】
【００６５】
本発明は、三次元映像の関連技術分野に好適に用いられる。
【図面の簡単な説明】
【００６６】
【図１】単一視点を満足させる単一カメラの全方向単一視システムのうち双曲面形態のミラーからなるシステムを示す概念図である。
【図２】本発明の一実施形態による単一カメラの全方向両眼視映像獲得装置の構成を示すブロック図である。
【図３Ａ】本発明の一実施形態による単一カメラの全方向両眼視映像獲得装置のカメラ及びミラー配置を示す概念図である。
【図３Ｂ】本発明の一実施形態による単一カメラの全方向両眼視映像獲得装置のカメラ及びミラー配置を示す概念図である。
【図４Ａ】単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。
【図４Ｂ】単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。
【図４Ｃ】単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。
【図４Ｄ】単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。
【図４Ｅ】単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。
【図４Ｆ】単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。
【図４Ｇ】単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。
【図４Ｈ】単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。
【図４Ｉ】単一視点条件を満足させる折り込み型全方向単一視システムのミラー配置を示す概念図である。
【図５Ａ】本発明の一実施形態による単一カメラの折り込み型全方向両眼視映像獲得装置のカメラ及びミラー配置を示す概念図である。
【図５Ｂ】本発明の一実施形態による単一カメラの折り込み型全方向両眼視映像獲得装置のカメラ及びミラー配置を示す概念図である。
【図５Ｃ】本発明の一実施形態による単一カメラの折り込み型全方向両眼視映像獲得装置のカメラ及びミラー配置を示す概念図である。
【図５Ｄ】本発明の一実施形態による単一カメラの折り込み型全方向両眼視映像獲得装置のカメラ及びミラー配置を示す概念図である。
【図６Ａ】本発明により獲得された映像の一例を示す概念図である。
【図６Ｂ】本発明により獲得された映像の一例を示す概念図である。
【図７】本発明に一実施形態による単一カメラの折り込み型全方向両眼視映像獲得装置を具現したものを示す図面である。
【図８】本発明の一実施形態による単一カメラの折り込み型全方向両眼視映像獲得装置から獲得した室内環境の全方向両眼映像の一例を示す図面である。
【図９Ａ】図８の両眼映像から変換された周辺部パノマラ映像を示す図面である。
【図９Ｂ】図８の両眼映像から変換された中心部パノマラ映像を示す図面である。
【図９Ｃ】図８の両眼映像から変換された差映像を示す図面である。
【図１０Ａ】図９Ａないし図９Ｃの映像から復元した３次元情報を含む映像を示す図面ある。
【図１０Ｂ】図９Ａないし図９Ｃの映像から復元した３次元情報を含む映像を示す図面ある。
【図１０Ｃ】図９Ａないし図９Ｃの映像から復元した３次元情報を含む映像を示す図面ある。
【符号の説明】
【００６７】
２００  第１像提供部
２１０  第２像提供部
２２０  映像撮像部
２３０  パノマラ映像変換部
２４０  ３次元位置情報抽出部
【図１】
2006330735.tif 000019
【図２】
2006330735.tif 000020
【図３Ａ】
2006330735.tif 000021
【図３Ｂ】
2006330735.tif 000022
【図４Ａ】
2006330735.tif 000023
【図４Ｂ】
2006330735.tif 000024
【図４Ｃ】
2006330735.tif 000025
【図４Ｄ】
2006330735.tif 000026
【図４Ｅ】
2006330735.tif 000027
【図４Ｆ】
2006330735.tif 000028
【図４Ｇ】
2006330735.tif 000029
【図４Ｈ】
2006330735.tif 000030
【図４Ｉ】
2006330735.tif 000031
【図５Ａ】
2006330735.tif 000032
【図５Ｂ】
2006330735.tif 000033
【図５Ｃ】
2006330735.tif 000034
【図５Ｄ】
2006330735.tif 000035
【図６Ａ】
2006330735.tif 000036
【図６Ｂ】
2006330735.tif 000037
【図７】
2006330735.tif 000038
【図８】
2006330735.tif 000039
【図９Ａ】
2006330735.tif 000040
【図９Ｂ】
2006330735.tif 000041
【図９Ｃ】
2006330735.tif 000042
【図１０Ａ】
2006330735.tif 000043
【図１０Ｂ】
2006330735.tif 000044
【図１０Ｃ】
2006330735.tif 000045