(57)【要約】【課題】周囲３６０度にわたる撮影対象の三次元構造を簡易に精度よく抽出することが可能な三次元構造抽出方法を提供すること。【解決手段】  周囲３６０度にわたる撮影対象１０が球体１の表面２に投影され第１の座標系２１で表示される第１の球面画像２０を形成し、第１の球面画像と異なる位置から撮影対象を撮影して第２の座標系３１で表示される第２の球面画像３０を形成する。次に、第１から第２の座標系に変換する並進ベクトルｔ及び回転行列Ｒを、第１及び第２の球面画像夫々において互いに対応する複数の物点像ｐ１ｉ，ｐ２ｉの位置ベクトルｍ１ｉ，ｍ２ｉ、及び、エピポーラ拘束条件に基づいて算出する  次に、互いに対応する複数の物点像の位置ベクトル、回転行列及び並進ベクトルに基づいて、上記複数の物点像夫々に対応する撮影対象の各物点までの第１の座標系の原点からの距離ρ１ｉを算出することによって撮影対象の三次元構造を抽出する。【選択図】図４
2005275789.tif 000002
【特許請求の範囲】
【請求項１】
周囲３６０度にわたる撮影対象が球体の表面に投影されており第１の座標系で表示される第１の球面画像を形成する工程と、
前記第１の球面画像と異なる位置から前記撮影対象を撮影して得られる第２の球面画像であって、前記撮影対象が球体の表面に投影されており第２の座標系で表示される第２の球面画像を形成する工程と、
前記第１の座標系から前記第２の座標系に変換するための並進ベクトル及び回転行列を、前記第１及び第２の球面画像それぞれにおいて互いに対応する複数の物点像の位置ベクトル、及び、エピポーラ拘束条件に基づいて算出する工程と、
前記第１及び第２の球面画像それぞれにおいて互いに対応する複数の物点像の位置ベクトル、前記回転行列及び前記並進ベクトルに基づいて、前記複数の物点像それぞれに対応する前記撮影対象の各物点までの前記第１の座標系の原点からの距離を算出することによって前記撮影対象の三次元構造を抽出する工程と
を備えることを特徴とする三次元構造抽出方法。
【請求項２】
前記第１の球面画像は、１８０度以上の画角を有する魚眼レンズを備えた撮像装置を所定の位置に設置し、前記周囲３６０度にわたる撮影対象のうち少なくとも周囲１８０度にわたる撮影領域が投影された平面画像及び残りの領域を含む撮影領域が投影された平面画像を取得し、各平面画像を半球面画像に変換し、それらの半球面画像を結合することによって形成されており、
前記第２の球面画像は、撮像装置を前記所定の位置と異なる位置に設置し、前記周囲３６０度にわたる撮影対象のうち少なくとも周囲１８０度にわたる撮影領域が投影された平面画像及び残りの領域を含む撮影領域が投影された平面画像を取得し、各平面画像を半球面画像に変換して、それらの半球面画像を結合して形成されていることを特徴とする請求項１に記載の三次元構造抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、球体の表面に周囲３６０度にわたる撮影対象が投影されている球面画像から三次元構造を抽出する方法に関するものである。
【背景技術】
【０００２】
撮影対象の三次元構造を抽出する技術として、例えば、特許文献１に開示されている技術が知られている。この技術では、カメラの位置を変えることによって撮影対象を異なる位置から撮影する。その各撮影で得られた平面画像から撮影対象の部分的な三次元構造を抽出する。そして、それらの複数の部分的三次元構造を合成して撮影対象の三次元構造を得ている。
【特許文献１】特開２００３−１４４２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術のように、多数枚の部分視野画像（平面画像）から撮影対象の部分的な三次元構造をそれぞれ計算して一つに融合すると、計算処理などの作業が煩雑になる。また、三次元構造を抽出する際には、撮影したカメラの姿勢などを示す各種パラメータの推定などを行う必要があるが、撮影画像ごとにパラメータを推定しなければならない。そのため、精度の低下の恐れがある。
【０００４】
そこで、本発明は、周囲３６０度にわたる撮影対象の三次元構造を簡易に精度よく抽出することが可能な三次元構造抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る三次元構造抽出方法は、周囲３６０度にわたる撮影対象が球体の表面に投影されており第１の座標系で表示される第１の球面画像を形成する工程と、第１の球面画像と異なる位置から撮影対象を撮影して得られる第２の球面画像であって、撮影対象が球体の表面に投影されており第２の座標系で表示される第２の球面画像を形成する工程と、第１の座標系から第２の座標系に変換するための並進ベクトル及び回転行列を、第１及び第２の球面画像それぞれにおいて互いに対応する複数の物点像の位置ベクトル、及び、エピポーラ拘束条件に基づいて算出する工程と、第１及び第２の球面画像それぞれにおいて互いに対応する複数の物点像の位置ベクトル、回転行列及び並進ベクトルに基づいて、複数の物点像それぞれに対応する撮影対象の各物点までの第１の座標系の原点からの距離を算出することによって撮影対象の三次元構造を抽出する工程とを備えることを特徴とする。
【０００６】
上記方法では、まず、周囲３６０度にわたる撮影対象を異なる位置で撮影して第１及び第２の球面画像を形成する。これにより、同じ撮影対象が投影された第１及び第２の球面画像が得られる。そして、上述した第１の座標系を第２の座標系に変換するための並進ベクトル及び回転行列を、（１）撮影対象に含まれている複数の物点が投影された各物点像であって第１及び第２の球面画像それぞれにおける互いに対応する複数の物点像の位置ベクトルと（２）エピポーラ拘束条件とに基づいて算出する。そして、その算出された並進ベクトル及び回転行列、並びに、前記第１及び第２の球面画像それぞれにおいて互いに対応する各物点像に基づいて、第１の座標系の原点から各物点までの距離を算出する。
【０００７】
第１及び第２の球面画像は、周囲３６０度にわたる撮影対象が投影されたものである。そして、第１及び第２の球面画像を用いることによって、撮影対象に含まれる複数の各物点までの距離が算出される。したがって、複数の平面画像ごとに三次元構造を抽出し、それらを合成する場合に比べれば、容易に周囲３６０度にわたる撮影対象の三次元構造を抽出することができる。
【０００８】
また、本発明に係る三次元構造抽出方法においては、第１の球面画像は、１８０度以上の画角を有する魚眼レンズを備えた撮像装置を所定の位置に設置し、周囲３６０度にわたる撮影対象のうち少なくとも周囲１８０度にわたる撮影領域が投影された平面画像及び残りの領域を含む撮影領域が投影された平面画像を取得し、各平面画像を半球面画像に変換し、それらの半球面画像を結合することによって形成されており、第２の球面画像は、撮像装置を上記所定の位置と異なる位置に設置し、周囲３６０度にわたる撮影対象のうち少なくとも周囲１８０度にわたる撮影領域が投影された平面画像及び残りの領域を含む撮影領域が投影された平面画像を取得し、各平面画像を半球面画像に変換して、それらの半球面画像を結合して形成されていることが好ましい。
【０００９】
この場合、魚眼レンズの視野が１８０度以上であるため、周囲３６０度の撮影対象のうち少なくとも周囲１８０度の領域が投影された平面画像及び残りの領域が投影された平面画像それぞれを得ることができる。そのため、撮影対象の画像情報を多くて２回の撮影で取得することが可能である。そして、そのようにして得られた平面画像から第１又は第２の球面画像が形成されるので、精度のより高い球面画像を取得することが可能である。
【発明の効果】
【００１０】
本発明によれば、周囲３６０度にわたる撮影対象の三次元構造を簡易に精度よく抽出することが可能な三次元構造抽出方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図を参照して本発明の好適な実施形態について説明する。尚、以下の説明においては、同一の要素には同一の符号を用いることとし重複する説明は省略する。
【００１２】
まず、本実施形態において撮影対象の三次元構造を抽出するための球面画像について説明する。本実施形態における球面画像とは、系外の全天周（周囲３６０度）に位置する撮影対象が球体の表面に投影されたものである。図１を参照してより具体的に説明する。
【００１３】
図１は、球面画像を説明する図である。図１に示すように、空間上に単位半径の球体１を考え、その中心Ｏを原点として互いに直交するＸ軸、Ｙ軸、Ｚ軸を設定する。空間上の任意の点Ｐｉ（ｉは任意の整数）と球の中心Ｏとを結ぶ球体の表面２上の点をｐｉとする。
【００１４】
上記点Ｐｉの位置ベクトルＭｉは、次のように表される。
【数１】
2005275789.tif 000003
また、点ｐｉと原点Ｏとを結ぶ直線のＺ軸からの仰角をθｉとし、Ｘ軸からの方位角をφｉとすると、点ｐｉの位置ベクトルｍｉは、次のように表される。
【数２】
2005275789.tif 000004
上記点ｐｉは点Ｐｉが球体の表面へ投影された点に相当する。すなわち、点Ｐｉからの光が中心Ｏに向かって進んでいるときに球体１の表面２と交わる点がｐｉであり、点ｐｉは点Ｐｉからの光が担う画像を形成するために必要な情報（画像情報）を有している。
【００１５】
また、点Ｐｉと球の中心Ｏとを結ぶ球体１の表面２上の点がｐｉであるので、
【数３】
2005275789.tif 000005
が成り立つ。ここで、ρiは原点Ｏから点Ｐｉまでの距離であって、
【数４】
2005275789.tif 000006
で定義される。
【００１６】
（式３）において、１／ρｉは、スケール因子として機能している。また、（式３）及び（式４）より、１／ρｉを別にすれば（原点ＯからＰiが十分遠くに位置していることに相当）、位置ベクトルｍｉ，Ｍｉとは一致する。これは、球体１の表面２には、中心Ｏから見ることができる、系外の周囲３６０度に位置する撮影対象を投影することができることを示している。このように画像情報を有している球体１の表面２が球面画像に相当する。なお、以下では、点Ｐｉを物点とも称し、点ｐｉを物点Ｐｉが投影された点として物点像とも称す。
【００１７】
次に、図２及び図３を参照して上記球面画像を形成する方法について説明する。この球面画像は、画角１８５度を有する魚眼レンズによって結像された２つの平面画像を利用して形成される。
【００１８】
図２は、撮影対象の撮影方法を説明する図である。図２では、図中に示している円で撮影対象１０を模式的に表しており、画角ｗが１８５度の魚眼レンズが円の中心に位置するものとする。周囲３６０度にわたる撮影対象１０のうち、魚眼レンズの視野に含まれる１８５度の撮影領域１１を、その魚眼レンズによって結像して平面画像を取得する。次に、撮影対象１０のうち残りの領域を含む撮影領域１２を魚眼レンズによって結像して平面画像を取得する。これらの平面画像を半球面画像に変換した後に結合して球面画像を形成する。
【００１９】
図３を参照して、平面画像（被写体像）を半球面画像に変換するための原理について説明する。
【００２０】
図３（ａ）は魚眼レンズの結像特性を説明するための図である。図３（ａ）は、魚眼レンズが中心Ｏに位置しており、魚眼レンズの視野内の物点Ｐｉ（図１のＰｉに相当）からの外光が魚眼レンズに入射している状態を示している。なお、ここでは、説明を簡便化するため図３に記載の魚眼レンズの画角は１８０度としている。
【００２１】
図３（ｂ）は、魚眼レンズの像面３を示す図である。等距離射影方式の魚眼レンズでは、図３（ａ）に示す物点Ｐｉは、図３（ｂ）の像面３において、位置座標（ｒi，φｉ）で表される点ｑｉに投影される。すなわち、物点Ｐｉは、方位角φｉは変わらず、画像中心ＯＩからの距離ｒｉが次の式で表される点ｑｉに投影される。
【数５】
2005275789.tif 000007
ここで、ｆは、魚眼レンズの焦点距離である。（式５）より、仰角θｉは、以下の式から算出される。
【数６】
2005275789.tif 000008
（式６）を（式２）に代入すると、以下の式が得られる。
【数７】
2005275789.tif 000009
図３に示す点ｑｉは、図１の物点Ｐｉの平面上への投影点であって、図１において物点Ｐｉを球体１の表面２上に投影した点ｐｉに対応している。ところで、点ｐiと点ｑiとで方位角φiは一致している。したがって、（式７）は、点ｑｉの位置座標から点ｐiの位置座標を得ることができることを示している。
【００２２】
魚眼レンズで得られる平面画像は点ｑｉの集まりである。したがって、平面画像を構成している各画素（すなわち、点ｑｉ）の位置座標を特定することによって平面画像を半球面画像に変換することができる。
【００２３】
上述したように、球面画像は、まず、図２に示す撮影対象１０に含まれる撮影領域１１，１２それぞれが結像された平面画像を取得し、続いて、それらの平面画像を上記原理に基づいて半球面画像に変換し、２つの半球面画像を結合して形成される。
【００２４】
半球面画像を結合する場合には、半球面画像の画像中心、魚眼レンズの焦点距離、及び、２つの半球面画像を表示する座標系の相対姿勢が校正されていることが好ましい。本実施形態では、次に説明する校正方法で校正を実施されているものとする。本実施形態では、画角が１８５度の魚眼レンズを用いていることを利用して校正する。
【００２５】
まず、画像中心を、魚眼レンズによって結像されて得られる平面画像に含まれる消失点対の交点として求める。消失点は、互いに略平行な直線群の無限遠での仮想的な交点である。魚眼レンズは、画角ｗが１８５度であるため、撮影対象に含まれる平行線群の一対の消失点が、平面画像中に現れる。そのため、異なる消失点対の交点として画像中心を校正する。
【００２６】
また、魚眼レンズの焦点距離を、一対の消失点間の距離ｒπをπで割ったものとして算出する。次に、上記のようにして求められた画像中心及び焦点距離に基づいて、２つの平面画像それぞれを半球面画像に変換する。そして、各半球面画像に含まれている、水平線に略平行な直線群に対する消失点と、水平線に直交する直線に略平行な直線群の消失点とに基づいて、２つの半球面画像を表示する座標系間の変換行列を算出する。この変換行列が、２つの半球面画像を表示する座標系間の相対姿勢に相当する。
【００２７】
次に、魚眼レンズの画角ｗが１８５度であることから、２つの半球面画像に重複している画像領域があることを利用して、上述のようにして算出された焦点距離及び変換行列を更に校正する。
【００２８】
以上のようにして、校正された画像中心、焦点距離及び２つの半球面画像間の相対姿勢に基づいて、２つの半球面画像を形成すると共に、それらを結合して１つの球面画像を得る。
【００２９】
ところで、球面画像は、周囲３６０度にわたる撮影対象１０が投影されているため、全天周の撮影対象１０の画像情報を有している。しかしながら、撮影対象１０は、球体１の表面２に投影されているので、三次元構造（原点Ｏから物点Ｐｉまでの距離）は得られていない。
【００３０】
本実施形態の三次元構造抽出方法は、異なる位置で同一の撮影対象１０が撮影されその撮影対象１０が投影されている２つの球面画像を用いて撮影対象１０の三次元構造を抽出することを特徴としている。
【００３１】
まず、２つの球面画像から三次元構造を抽出する原理を説明する。
【００３２】
図４は、２つの球面画像から撮影対象の三次元構造の抽出方法を説明する図である。図４には、異なる位置で同一の撮影対象１０を撮影して得られる第１の球面画像２０及び第２の球面画像３０を示している。第１の球面画像２０を表示する第１の座標系２１をＸ１軸、Ｙ１軸、Ｚ１軸で表し、第２の球面画像３０を表示する第２の座標系３１をＸ２軸、Ｙ２軸、Ｚ２軸で表す。
【００３３】
第１及び第２の球面画像２０，３０には、同じ撮影対象１０が投影されている。したがって、撮影対象１０に含まれる物点Ｐｉは、第１及び第２の球面画像２０，３０に物点像ｐ１ｉ，ｐ２ｉとして現れている。
【００３４】
ここで、物点Ｐｉの第１の座標系２１における位置ベクトルをＭ１ｉとし、物点Ｐｉの第２の座標系３１における位置ベクトルをＭ２ｉとする。また、第２の座標系３１から第１の座標系２１へ変換するための回転行列をＲとする。更に、第１の座標系２１から第２の座標系３１へ変換するための並進ベクトルを
【数８】
2005275789.tif 000010
とする。なお、回転行列Ｒ及び並進ベクトルｔは、第１の座標系２１と第２の座標系３１との間の相対姿勢情報に相当する。
【００３５】
第１及び第２の球面画像２０，３０は、同じ撮影対象１０を異なる位置で撮影しているので、上記ベクトルＭ２ｉ，ｔ，（ＲＭ１i+ｔ）は同一平面上にある（エピポーラ拘束条件）。したがって、
【数９】
2005275789.tif 000011
が成り立つ。
【００３６】
ここで、並進ベクトルｔの各並進成分（ｔｘ，ｔｙ，ｔｚ）を用いて表される歪対称行列Ｔを、
【数１０】
2005275789.tif 000012
とすると、（式９）は、
【数１１】
2005275789.tif 000013
と表される。
【００３７】
（式３）より、位置ベクトルＭ１ｉと位置ベクトルｍ１ｉは、スケール因子（１／ρ１ｉ）を別とすれば等しい（すなわち、ベクトルの方向は同じ）。また、同様に、位置ベクトルＭ２ｉと位置ベクトルｍ２ｉは、スケール因子以外は等しい。
【００３８】
そのため、（式９）は、
【数１２】
2005275789.tif 000014
となる。
【００３９】
（式１２）は、第１及び第２の球面画像２０，３０それぞれにおいて、互いに対応する複数の物点像ｐ１ｉ，ｐ２ｉの位置ベクトルｍｌｉ，ｍ２ｉがわかれば、回転行列Ｒ及び並進ベクトルｔを算出することができることを示している。
【００４０】
言い換えれば、位置ベクトルｍｌｉ，ｍ２ｉ及びエピポーラ拘束条件（すなわち、ベクトルｍ２ｉ、ｔ、（Ｒｍ１i＋ｔ）が同一平面上にあるという条件）に基づいて、回転行列Ｒ及び並進ベクトルｔを算出することができる。この際、回転行列Ｒ及び並進ベクトルｔを算出するために必要な物点像ｐ１ｉ（ｐ２ｉ）の数は、（式１２）の解き方において相違するが、例えば、線形解法を用いる場合には８個以上である。
【００４１】
次に、上記のようにして回転行列Ｒ及び並進ベクトルｔが算出された場合に、第１の座標系２１における原点Ｏ１から物点Ｐｉまでの距離の算出方法について説明する。
【００４２】
第１及び第２の座標系２１，３１それぞれにおいて、物点Ｐｉまでの距離をρ１ｉ，ρ２ｉとすると、
【数１３】
2005275789.tif 000015
が成立する。
【００４３】
（式１３）の両辺に位置ベクトルｍ２ｉをかける、すなわち、両辺の各項とｍ２ｉの外積をとると、第１の座標系２１における原点ＯＩから物点Ｐｉまでの距離ρ１ｉは、
【数１４】
2005275789.tif 000016
と表される。
【００４４】
したがって、撮影対象１０に含まれる物点Ｐｉに対応する第１及び第２の球面画像２０，３０での物点像ｐ１ｉｐ２ｉの位置ベクトルｍ１ｉ，ｍ２ｉ、回転行列Ｒ及び並進ベクトルｔが既知ならば、（式１４）によって、距離ρ１ｉが算出される。また、第１の球面画像２０には、周囲３６０度にわたる撮影対象１０が投影されている。したがって、第１の球面画像２０から撮影対象１０の三次元構造を抽出することができる。
【００４５】
次に、上記原理を適用して撮影対象１０の三次元構造を抽出するための撮影システム４０について説明する。
【００４６】
図５は、撮影システム４０の構成を示すブロック図である。撮影システム４０は、撮像装置４１と、撮像装置４１で得られた画像を解析する解析装置４２とを備える。
【００４７】
撮像装置４１は、画角が１８５度の魚眼レンズ４１Ａと撮像素子４１Ｂとを含んで構成される。魚眼レンズ４１Ａの射影方式は等距離射影方式である。魚眼レンズ４１Ａは、必ずしも１枚のレンズを意味するものではなく、魚眼レンズ特性を有するレンズ系も含む意味である。撮像素子４１Ｂは、フォトダイオードなどからなるセル（画素）が２次元的に配列された受光面を有し、魚眼レンズ４１Ａで結像された撮影対象１０の像（被写体像）を撮像して電気信号（画像データ）として出力する。撮像素子４１Ｂは、例えば、ＣＣＤ撮像素子である。撮像素子４１Ｂからの電気信号は、解析装置４２に入力される。
【００４８】
撮像装置４１は、撮像装置４１の周囲３６０度のうち、図中に示すＡ方向に魚眼レンズ４１Ａを向けて撮影して得られる平面画像と、撮像装置４１を約１８０度反転させて、図中に示すＢ方向に魚眼レンズ４１Ａを向けて撮影対象１０を撮影して得られる平面画像の画像データを解析装置４２に入力する。
【００４９】
解析装置４２は、マイクロコンピュータのハードウェアおよびソフトウェアを利用して構成される。この解析装置４２は、球面画像形成部４２Ａ、相対姿勢算出部４２Ｂ及び三次元構造抽出部４２Ｃを含んで構成される。
【００５０】
球面画像形成部４２Ａは、撮像装置４１から入力された２つの平面画像それぞれに対応する画像データを用いて、上述した原理に基づいて球面画像を形成する。球面画像形成部４２Ａは、撮影を実施すべき位置（所定の位置）において撮影対象１０が撮影された平面画像に基づいて第１の球面画像２０を形成する。また、球面画像形成部４２Ａは、上記所定の位置とは異なる位置で撮影対象１０が撮影された平面画像に基づいて第２の球面画像３０を形成する。なお、第１及び第２の球面画像２０，３０の形成とは、平面画像の画像データを、球面画像による表示が可能な画像データに変換することを意味している。
【００５１】
第１の座標系２１の原点Ｏ１、及び、第２の座標系３１の原点Ｏ２は、それぞれの撮影位置における撮像装置４１によって形成される座標系（いわゆるカメラ座標系）の原点に対応する。
【００５２】
相対姿勢算出部４２Ｂは、図４に示す第１の座標系２１から第２の座標系３１に変換するための並進ベクトルｔ及び回転行列Ｒを、（式１２）に基づいて算出する。並進ベクトルｔと回転行列Ｒとを算出する場合に用いる複数の物点像ｐ１ｉ，ｐ２ｉは、第１及び第２の球面画像２０，３０から自動的に抽出するようにしてもよいが、例えば、作業者がディスプレイなどに表示される画像に基づいて手動で抽出してもよい。
【００５３】
ここで、第１及び第２の球面画像２０，３０から物点像を抽出するとは、必ずしも第１及び第２の球面画像２０，３０から直接抽出する場合に限られない。第１及び第２の球面画像２０，３０を形成するために用いた各平面画像において物点像を抽出しておき、それらを球面画像の物点像に変換した（球面画像表示用の画像データに変換した）場合も含む。
【００５４】
三次元構造抽出部４２Ｃは、上記物点像ｐ１ｉ，ｐ２ｉの位置ベクトルｍ１ｉ，ｍ２ｉ、並進ベクトルｔ及び回転行列Ｒを用いて、（式１４）より、各物点像ｐ１ｉに対応する撮影対象１０の物点Ｐｉまでの距離ρ１ｉを算出する。
【００５５】
解析装置４２は、撮像素子から入力される画像データ等を一時記憶するＲＡＭ（Random Access Memory）、上記球面画像形成部４２Ａ、相対姿勢算出部４２Ｂ及び三次元構造抽出部４２Ｃで実施される各処理のためのプログラムやデータが格納されたＲＯＭ（Read Only Memory）、このＲＯＭに格納されたプログラムを実行することにより、ＲＯＭおよびＲＡＭに記憶されたデータに基づいて各種の演算処理を行うＣＰＵ（Central Processing Unit）などの図示しないハードウェアを備えている。
【００５６】
上記撮影システム４０を用いて三次元構造抽出方法について説明する。
【００５７】
図６は、第１及び第２の球面画像２０，３０を取得するための撮影対象１０に対する撮像装置４１の撮影位置を示すものである。撮像装置４１の周囲３６０度の風景が撮影対象１０であるが、例えば、図６では、１つの部屋を撮影対象１０としている。
【００５８】
まず、第１の撮影点５１（所定の位置）に撮像装置４１を配置し、図６中のＡ１方向に魚眼レンズ４１Ａを向けて魚眼レンズ４１Ａの視野に含まれる撮影対象１０の撮影領域を撮影する。そして、撮影によって得られた平面画像の画像データを解析装置４２に入力する。また、撮像装置４１を、魚眼レンズ４１Ａの焦点を通る軸に沿って回転し、図中のＢ１方向に魚眼レンズ４１Ａを向けて撮影対象１０の残りの領域を含む撮影領域を撮影する。そして、その撮影によって得られた平面画像の画像データを解析装置４２に入力する。説明の便宜のために、Ａ１方向、Ａ２方向に分けているが、これらは実質的に同じ方向を示している。Ｂ１方向及びＢ２方向の関係も同様である。
【００５９】
解析装置４２の球面画像形成部４２Ａは、撮影装置４１の周囲３６０度の撮影対象１０が投影され第１の座標系２１で表示される第１の球面画像２０を形成する。
【００６０】
次に、撮影対象１０である部屋において、第１の撮影点５１と異なる第２の撮影点５２に撮像装置４１を移動させ、第１の撮影点５１の場合と同様にして、第２の球面画像３０を形成する。第２の球面画像３０には、撮影装置４１の周囲３６０度の撮影対象１０が投影されている。また、第２の球面画像３０は、第２の座標系３１で表示されている。
【００６１】
第１及び第２の球面画像２０，３０は、周囲３６０度にわたる撮影対象１０が球体１（図１参照）の表面２に投影されたものであるため、第１及び第２の球面画像２０，３０には、同じ撮影対象１０が投影されている。
【００６２】
次に、解析装置４２の相対姿勢算出部４２Ｂは、第１の球面画像２０及び第２の球面画像３０それぞれにおいて、互いに対応する物点像ｐ１ｉ，ｐ２ｉを抽出する。これは、作業者が抽出した点を受けつけても良い。解析装置４２の相対姿勢算出部４２Ｂは、物点像ｐ１ｉ，ｐ２ｉの位置ベクトルｍ１ｉ，ｍ２ｉを（式１２）に代入して、並進ベクトルｔ及び回転行列Ｒを算出する。
【００６３】
続いて、三次元構造抽出部４２Ｃが、互いに対応する物点像ｐ１ｉ，ｐ２ｉの位置ベクトルｍ１ｉ，ｍ２ｉ、並びに、相対姿勢算出部４２Ｂによって算出された並進ベクトルｔ及び回転行列Ｒを用いて（式１４）より、各物点像ｐ１ｉに対応する撮影対象１０の物点Ｐｉまでの距離ρ１ｉを算出する。
【００６４】
第１の球面画像２０には、撮影対象１０が投影されている。そして、上記工程によって第１の座標系２１における物点Ｐｉまでの距離ρ１ｉが算出される。すなわち、撮影対象１０の三次元構造が抽出される。なお、最終的な周囲の三次元構造の融合は、球面画像に含まれる特徴点（物点像）を合致させて実現する。
【００６５】
また、三次元構造の抽出は次のようにしてもよい。図７は、三次元構造抽出方法を示すフローチャートである。
【００６６】
まず、第１及び第２の球面画像２０，３０（図４参照）を形成するために第１及び第２の撮影点５１，５２（図６参照）それぞれで撮影された平面画像において、互いに対応する特徴点（すなわち、上記物点像ｍ１ｉ，ｍ２ｉの平面画像に対応する点）を探索する（Ｓ１０）。ここでは、説明のため、例えば、８個の特徴点を抽出する。なお、この探索は、ソフトウェアとして構成されており平面画像の画像データに基づいて特徴点を抽出する特徴点探索フィルターを用いてもよい。また、例えば、ディスプレイで確認しつつ作業者が特徴点を抽出してもよい。
【００６７】
次に、Ｓ１０で得られた特徴点に対応する第１及び第２の球面画像２０，３０上の特徴点（物点像ｍ１１〜ｍ１８，ｍ２１〜ｍ２８）の位置ベクトルを（式１２）に代入して、並進ベクトルｔ及び回転行列Ｒを算出する（Ｓ１１）。
【００６８】
続いて、並進ベクトルｔ及び回転行列Ｒを用いて、第１及び第２の球面画像２０，３０において互いに対応する他の特徴点ｍ１（８＋ｔ），ｍ２（８＋ｔ）（ｔは、任意の整数）を探索し抽出する（Ｓ１２）。ここで、この他の特徴点の探索は、エピポーラ線に基づいて実施する。
【００６９】
次に、特徴点ｍ１ｎ，ｍ２ｎ（ｎは、１〜（８＋ｔ）の任意の整数）の位置ベクトルを（式１４）に代入して、特徴点ｍ１ｎに対応する物点Ｐ１ｎの三次元位置の計算を実施する。（Ｓ１３）。すなわち、物点Ｐ１ｎの第１の座標系２１における原点Ｏ１からの距離ρ１ｎを算出する。
【００７０】
また、上記ステップＳ１３を実施する一方、第１の球面画像２０における特徴点ｍ１ｎを平面画像に射影し、それらの射影された特徴点に基づいてドロネー三角形を計算する（Ｓ１４）。そして、更に、そのドロネー三角形に対応する第１の球面画像２０の画像情報（テクスチャ）をドロネー三角形上に貼り付ける。すなわち、第１の球面画像２０の対応する領域の画像を平面画像に変換してテクスチャ画像を生成する（Ｓ１５）。
【００７１】
そして、各特徴点ｍ１ｎに対応する物点Ｐ１ｎの距離ρ１ｎに応じてＳ１５で生成したテクスチャ画像をマッピング（テクスチャマッピング）して三次元構造を表示する平面画像を形成する（Ｓ１６）。
【００７２】
次に、本実施形態に係る三次元構造抽出方法に基づいてシミュレーションを実施した結果について説明する。
【００７３】
第１及び第２の座標系２１，３１の並進ベクトルｔの並進成分(tx, ty, tz)、及び回転行列Ｒを特定する各回転角（Roll,  Pitch, Yaw）を表１のように設定した（「True Value」の行を参照）。なお、ここで、回転角Roll, Pitch, Yawは、互いに直交する各座標軸の回転角である。
【表１】
2005275789.tif 000017
次に、シミュレーションのために設定している第１の球面画像２０において、表２に示す１１点の物点像ｐ１ｊ（ｊは、１〜１１の整数）を設定した。
【表２】
2005275789.tif 000018
そして、表２に示す１１点の物点像ｐ１ｊ、及び、その物点像に対応する第２の球面画像３０の物点像に基づいて、（式１２）より並進ベクトルｔ及び回転行列Ｒを算出した。
【００７４】
算出した並進ベクトルｔの各成分、回転行列Ｒを特定するための回転角（Roll, Pitch, Yaw）は、表１のとおりである（「Estimation」の行を参照）。表１より、算出した各成分間の比は、設定した各成分間の比にほぼ一致している。すなわち、（式１２）を用いて、並進ベクトルｔ及び回転行列Ｒを算出することによって、第１及び第２の座標系２１，３１の相対姿勢情報を得ることができている。
【００７５】
また、第１の球面画像２０の原点Ｏ１から表２に示す１１点の物点像に対応する各物点までの距離ρ１ｊの、（式１４）による算出結果は、表３のとおりである。なお、算出にあたって、並進ベクトルｔのスケール因子は適宜設定した。
【表３】
2005275789.tif 000019
表３の結果より、実際に設定している値（True Value）と、（式１４）に基づいて算出した値（Estimation）とはほぼ一致している。
【００７６】
次に、実際に撮影して得られた球面画像を用いた実験結果について説明する。
【００７７】
球面画像を形成するために、使用した魚眼レンズ４１Ａは、１８５度の画角を有するＦＣＯＮ−０２（オリンパス株式会社製）である。図６の場合と同様に、１つの部屋を撮影対象１０とし、撮像装置４１を第１の撮影点５１で撮影し、その後、撮像装置４１を平行移動して第２の撮影点５２での撮影を実施した。
【００７８】
図８は、撮像装置４１を第１の撮影点５１に設置して撮影して得られた平面画像の図である。図８（ａ）は、第１の撮影点５１で図中に示すＡ１方向に魚眼レンズ４１Ａを向けて撮影した場合の図である。図８（ｂ）は撮像装置４１を反転させて図中に示すＢ１方向に魚眼レンズ４１Ａを向けて撮影した場合の図である。
【００７９】
図９は、撮像装置４１を第２の撮影点５２に設置して撮影して得られた平面画像の図である。図９（ａ）は、第２の撮影点５２で図中に示すＡ２方向に魚眼レンズ４１Ａを向けて撮影した場合の図である。図９（ｂ）は撮像装置４１を反転させて図中に示すＢ２方向に魚眼レンズ４１Ａを向けて撮影した場合の図である。
【００８０】
図８及び図９を比較すると、同じ方向の画像が撮影できていることがわかる。すなわち、図８（ａ）及び図９（ａ）には、部屋の窓側が撮影されており、図８（ｂ）及び図９（ｂ）には、部屋のドア側が撮影されている。
【００８１】
また、図１０は、図８に示す２つの平面画像から形成された第１の球面画像２０の一部を示す図である。また、図１１は、図９に示す２つの平面画像から形成された第２の球面画像３０の一部を示す図である。
【００８２】
図１２は、図８の平面画像において複数の物点像を抽出した図である。図１２中の丸点は抽出した物点像の位置を示すものである。物点像は、１０２点抽出した。この物点像に対応する物点像を図９に示す平面画像においても抽出する。
【００８３】
これらの抽出された１０２点の物点像に対応する第１及び第２の球面画像２０，３０における物点像の位置ベクトルと、（式１２）とに基づいて、第１の座標系２１から第２の座標系３１に変換するための並進ベクトルｔ及び回転行列Ｒを求めた。そして、図１２に示す複数の物点像に対応する撮影対象１０の各物点までの距離ρ１ｉを（式１４）に基づいて算出した。
【００８４】
図１３は、上記のようにして算出された撮影対象１０までの距離に基づいて再構成された撮影対象１０の三次元構造を示す図である。図１３（ａ）は、窓側（図６中のＡ１又はＡ２方向）の三次元構造が抽出されており、図１３（ｂ）では、ドア側（図６中のＢ１又はＢ２方向）の三次元構造が抽出されている。また、図１３（ｃ）では、図６中のＣ方向に位置する撮影対象１０の三次元構造が抽出されており、図１３（ｄ）では、図６中のＤ方向に位置する撮影対象１０の三次元構造が抽出されている。図１３（ｃ），（ｄ）に示すように、撮影対象１０において撮影方向と異なる方向の三次元構造も第１及び第２の球面画像２０，３０から抽出できている。
【００８５】
上述したように、第１及び第２の球面画像２０，３０は、周囲３６０度にわたる撮影対象１０が投影されたものである。そして、第１及び第２の球面画像２０，３０を用いることによって、撮影対象１０に含まれる複数の各物点Ｐｉまでの距離が算出される。したがって、複数の平面画像ごとに三次元構造を抽出し、それらを合成する場合に比べれば、簡易であってより精度よく周囲３６０度にわたる撮影対象１０の三次元構造を抽出することができる。
【００８６】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、上記撮像装置４１は、魚眼レンズ４１Ａが１つであるため、撮像装置４１を回転させて撮影対象１０を撮影しているが、図５において、Ａ方向を撮影可能な魚眼レンズとＢ方向を撮影可能な魚眼レンズを備えていても良い。この場合には、撮影が１回でよい。また、魚眼レンズ４１は、画角１８５度としているが、画角１８０度以上（すなわち、視野が１８０度以上）あればよい。
【００８７】
また、上記実施形態では、並進ベクトルｔ及び回転行列Ｒを算出するために用いた物点像ｐ１ｉ，ｐ２ｉの位置ベクトルｍ１ｉ，ｍ２ｉを、距離ρ１ｉを算出するために用いている。しかし、例えば、距離ρ１ｉを算出するために、第１及び第２の球面画像２０，３０夫々において互いに対応する物点像を抽出してもよい。
【産業上の利用可能性】
【００８８】
本発明による三次元構造抽出方法は、監視装置や視覚シミュレータなどに用いることができる。
【図面の簡単な説明】
【００８９】
【図１】球面画像を説明する図である。
【図２】撮影対象の撮影方法を説明する図である。
【図３】図３（ａ）は魚眼レンズの結像特性を説明するための図である。図３（ｂ）は、魚眼レンズの像面を示す図である。
【図４】２つの球面画像から撮影対象の三次元構造の抽出方法を説明する図である。
【図５】撮影システム４０の構成を示すブロック図である。
【図６】撮影対象１０に対する撮像装置４１の撮影位置を示す図である
【図７】三次元構造の抽出方法を示すフローチャートである。
【図８】第１の撮影点５１で撮影された平面画像の図である。
【図９】第２の撮影点５２で撮影された平面画像の図である。
【図１０】実際に形成した第１の球面画像２０の一部を示す図である。
【図１１】実際に形成した第２の球面画像３０の一部を示す図である。
【図１２】複数の物点像を抽出する工程を示す図である。
【図１３】撮影対象１０の三次元構造を示す図である
【符号の説明】
【００９０】
１…球体、２…表面、１０…撮影対象、２０…第１の球面画像、３０…第２の球面画像、２１…第１の座標系、３１…第２の座標系、４１Ａ…魚眼レンズ、ｔ…並進ベクトル。
【図１】
2005275789.tif 000020
【図２】
2005275789.tif 000021
【図３】
2005275789.tif 000022
【図４】
2005275789.tif 000023
【図５】
2005275789.tif 000024
【図６】
2005275789.tif 000025
【図７】
2005275789.tif 000026
【図８】
2005275789.tif 000027
【図９】
2005275789.tif 000028
【図１０】
2005275789.tif 000029
【図１１】
2005275789.tif 000030
【図１２】
2005275789.tif 000031
【図１３】
2005275789.tif 000032