(57)【要約】  撮像位置方向推定装置は、クエリ画像と位置方向付き画像との間の対応付けを行う複数の領域を決定する領域決定部と、領域の奥行きを推定する奥行き推定部と、奥行き推定部によって推定された奥行きが大きい領域から方向を推定し、奥行き推定部によって推定された奥行きが小さい領域から位置を推定する撮像位置方向推定部とを備える。
2012133371.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像と所定の画像との間で対応付けを行う複数の領域を決定する領域決定部と、
前記複数の領域それぞれの奥行きに対応した奥行推定情報を推定する奥行き推定部と、
前記奥行き推定部によって推定された奥行推定情報に基づき、奥行きが大きい前記領域に応じて前記撮像装置の撮像方向を推定し、奥行きが小さい前記領域に応じて前記撮像装置の撮像位置を推定する撮像位置および撮像方向推定部と、
を備えている撮像位置方向推定装置。
【請求項２】
前記所定の画像が、あらかじめ位置と方向とが付与された画像であり、
前記撮像位置および前記撮像方向推定部が、前記奥行推定情報に基づき、奥行きが大きい前記領域に対応する前記所定の画像に付与されている方向に応じて前記撮像方向を推定し、奥行きが小さい前記領域に対応する前記所定の画像に付与されている位置に応じて前記撮像位置を推定する請求項１に記載の撮像位置方向推定装置。
【請求項３】
前記撮像位置および撮像方向推定部は、
前記撮像装置により撮像された画像と前記所定の画像との間で対応付けられた領域の奥行きに基づいて、当該領域により、位置を推定するか、または、方向を推定するかを決定し、
前記位置を推定すると決定した領域に対応する前記所定の画像の位置を前記撮像位置として推定し、
前記方向を推定すると決定した領域に対応する前記所定の画像の方向を前記撮像方向として推定する請求項１または２に記載の撮像位置方向推定装置。
【請求項４】
前記撮像位置および撮像方向推定部は、前記撮像装置により撮像された画像と複数の前記所定の画像との間で対応付けられた領域の奥行きに基づいて、当該領域により、位置を推定するか、または、方向を推定するかを決定するとともに、対応付けされた領域間の距離に応じて前記所定の画像に対して重み付けを行い、
前記位置を推定すると決定した領域に対応する前記所定の画像の位置に、前記重みを乗じて、前記撮像位置として推定し、
前記方向を推定すると決定した領域に対応する前記所定の画像の方向に、前記重みを乗じて、前記撮像方向として推定する請求項１から３のいずれか１項に記載の撮像位置方向推定装置。
【請求項５】
撮像シーンに応じた奥行き情報があらかじめ記憶されている第１奥行き情報記憶部、
を備えており、
前記奥行き推定部は、
前記撮像装置により撮像された画像の撮像シーンを判定し、判定された撮影シーンに対応する奥行き情報を、前記第１奥行き情報記憶部から読み出すことにより、前記奥行推定情報を推定する請求項１から４のいずれか１項に記載の撮像位置方向推定装置。
【請求項６】
前記領域決定部は、
前記撮像装置により撮像された画像と前記所定の画像とのそれぞれから特徴を抽出し、
前記撮像装置により撮像された画像と前記所定の画像との画像領域のうち、前記特徴が抽出された画像領域を、前記撮像装置により撮像された画像と前記所定の画像との間で対応付けを行う複数の領域として決定する請求項１から５のいずれか１項に記載の撮像位置方向推定装置。
【請求項７】
奥行推定情報と関連付けて、当該奥行推定情報に応じた位置推定寄与分布と方向推定寄与分布とが予め記憶されている第２奥行き情報記憶部と、
特徴間の距離と方向とに関連付けて、当該特徴間の距離と方向とに応じた位置移動量分布と方向ずれ量分布とが予め記憶されている撮像位置方向推定量記憶部と、
を備えており、
前記撮像位置方向推定部は、
前記奥行き推定部により推定された奥行推定情報に基づいて、前記位置推定寄与分布と前記方向推定寄与分布とを、前記第２奥行き情報記憶部から読み出し、
前記領域決定部により前記対応付けを行われた領域に対応する前記特徴間の距離および方向に基づいて、前記位置移動量分布と前記方向ずれ量分布とを、前記撮像位置方向推定量記憶部から読み出し、
前記読み出した前記位置推定寄与分布と前記読み出した前記位置移動量分布とに基づいて、前記撮像位置を推定し、
前記読み出した前記方向推定寄与分布と前記読み出した前記方向ずれ量分布とに基づいて、前記撮像方向を推定する請求項６に記載の撮像位置方向推定装置。
【請求項８】
請求項１から７のいずれか１項に記載の撮像位置方向推定装置、
を備えている撮像装置。
【請求項９】
撮像装置により撮像された画像と所定の画像との間で対応付けを行う複数の領域を決定する領域決定過程と、
前記複数の領域それぞれの奥行きに対応した奥行推定情報を求める奥行き推定過程と、
前記奥行き推定過程で推定された奥行推定情報に基づき、奥行きが大きい前記領域に応じて前記撮像装置の撮像方向を推定し、奥行きが小さい前記領域に応じて前記撮像装置の撮像位置を推定する撮像位置方向推定過程と、
を含む撮像位置方向推定方法。
【請求項１０】
撮像装置により撮像された画像と所定の画像との間で対応付けを行う複数の領域を決定する領域決定過程と、
前記複数の領域それぞれの奥行きに対応した奥行推定情報を求める奥行き推定過程と、
前記奥行き推定過程で推定された奥行推定情報に基づき、奥行きが大きい前記領域に応じて前記撮像装置の撮像方向を推定し、奥行きが小さい前記領域に応じて前記撮像装置の撮像位置を推定する撮像位置方向推定過程と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像位置および撮像方向推定装置（撮像位置方向推定装置）、撮像装置、撮像位置および撮像方向推定方法（撮像位置方向推定方法）ならびにプログラムに関し、特にランドマークの測位情報を必要としない撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラムに関する。
【背景技術】
【０００２】
カメラで撮像された画像を元に、撮像時の自己位置を推定する方法として、画像中から検出した複数のランドマークから推定する方法（特許文献１、２）や、位置と方向が付与された予め撮像した画像群との照合を行う方法（非特許文献１）が提案されている。ここで、自己位置とは、撮像時の位置と撮像方向とを指す情報である。【０００３】
特許文献１には、ランドマークとして使用するビルや標識などをあらかじめ高精度ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）装置により測位した位置情報と、撮像装置のカメラパラメータを元に、自己位置を推定する技術が開示されている。
その推定方法は、撮像に用いたカメラのカメラパラメータから１ピクセルあたりの角度を求め、ランドマーク間の最大挟角、最小挟角から自己位置が存在する可能性のある拘束円を定義し、挟角の尤度を規定したモデルを用いてスコアを算出する。そして、ランドマーク間毎に算出されたスコアを座標位置に加算し、スコアが最大となる座標位置を自己位置として推定する。【０００４】
特許文献２には、ランドマークを検出する際の一致度を考慮して、自己位置を推定する方法が開示されている。その推定方法は、地図上におけるランドマークの位置と特徴量を記憶しているデータベースを用いて、撮像した画像中の物体とランドマークとの一致度を算出する。その後、ランドマーク一致度の高い順に自己位置を推定するための自己存在範囲を決定する。これにより、複数のランドマークが抽出された際に、一致度の低いランドマークの位置誤差を軽減することができ、精度良く自己位置を推定することができる。【０００５】
非特許文献１には、画像データベースと入力画像との対応付けにより、自己位置を推定する方法が開示されている。その推定方法は、あらかじめ、位置と方向が付与されたパノラマ画像を交差点ごとに生成する。入力画像から抽出した特徴とパノラマ画像群との特徴の対応付けを行い、対応付けができたパノラマ画像に投票する。投票結果が一番多いパノラマ画像の位置を自己位置と定める。次に、入力画像とパノラマ画像間のＨｏｍｏｇｒａｐｈｙ（ホモグラフィ）を算出し、算出したＨｏｍｏｇｒａｐｈｙを用いて、入力画像をパノラマ画像に投影しその投影中心を方向として定める。この場合、位置はパノラマ画像が撮像された位置を用いる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２０２２５号公報
【特許文献２】特開２００９−２００１４号公報
【非特許文献】
【０００７】
【非特許文献１】Naoyuki Yazawa, Hideaki Uchiyama, Hideo Saito, Myriam Servieres, Guillaume Moreau, "Image Based View Localization System Retrieving from a Panorama Database by SURF," 11th IAPR Conference on Machine Vision Applications (MVA), pp. 118-121, May 20-21, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、撮像装置のカメラパラメータが既知であることを前提としているため、撮像者はカメラパラメータを求めるためのキャリブレーションを行わなければ、位置推定精度が悪くなる問題がある。また、特許文献１や特許文献２では、ランドマークの位置を高精度なＧＰＳ等を用いて測位しておく必要があるため、ランドマークの位置や幅・高さを測位するための作業に手間を要する。【０００９】
また、非特許文献１では、入力画像とデータベースに蓄積されたパノラマ画像との対応付けを行っているため、パノラマ画像を生成するための画像を密に撮像する必要があり、データベースを作成する手間がかかる。さらに、データベースに蓄積されたパノラマ画像の撮像位置を自己位置としているので、入力画像の撮像位置が、パノラマ画像の撮像位置から離れれば離れるほど、自己位置推定精度が悪くなる問題がある。【００１０】
よって、本発明の目的は、ランドマークの測位情報を必要とせず、また、撮影者が撮影（撮像）を行った位置（以下、撮像位置とする；上記の自己位置に対応する）が、あらかじめ位置と方向が付与された画像が撮像された位置から離れていても、撮像位置および撮像方向を推定することができる、撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラムを提供することである。
【課題を解決するための手段】
【００１１】
本発明の撮像位置および撮像方向推定装置は、撮像装置により撮像された画像と所定の画像との間で対応付けを行う複数の領域を決定する領域決定部と、前記複数の領域それぞれの奥行きに対応した奥行推定情報を推定する奥行き推定部と、前記奥行き推定部によって推定された奥行推定情報に基づき、奥行きが大きい前記領域に応じて前記撮像装置の撮像方向を推定し、奥行きが小さい前記領域に応じて前記撮像装置の撮像位置を推定する撮像位置および撮像方向推定部と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、領域決定部が、撮像装置により撮像された画像と所定の画像との間で対応付けを行う複数の領域を決定し、奥行き推定部が、複数の領域それぞれの奥行きに対応した奥行推定情報を推定する。そして、撮像位置および撮像方向推定部が、奥行き推定部によって推定された奥行推定情報に基づき、奥行きが大きい領域に応じて前記撮像装置の撮像方向を推定し、奥行きが小さい領域に応じて撮像装置の撮像位置を推定する。したがって、例えば、所定の画像に、あらかじめ位置と方向とを付与しておくことで、撮像位置および撮像方向推定部は、奥行き推定部が推定した奥行推定情報と、あらかじめ所定の画像に付与されている位置と方向とにもとづいて、撮像装置により撮像された画像の位置と方向とを推定することができる。すなわち、例えば特定のランドマークとは関係ない、位置と方向とを付与した画像を用意することで撮像装置により撮像された画像の位置と方向とを推定することができる。よって、ランドマークの測位情報やカメラパラメータ情報を必ずしも用いなくてよい。また、奥行き推定部によって領域の奥行推定情報を求めるようにしているので、奥行推定情報を利用することで、あらかじめ位置と方向が付与された画像が撮像された位置から離れていても、撮像位置および撮像方向を推定することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態の撮像位置および撮像方向推定装置を示すブロック図である。
【図２】図１の撮像位置および撮像方向推定装置に入力されるクエリ画像と位置方向情報が付与された画像の一例を示す図である。
【図３】本発明の第２の実施形態の撮像位置および撮像方向推定装置を示すブロック図である。
【図４】図３の撮像位置および撮像方向推定装置の動作を説明するためのフローチャートである。
【図５Ａ】図３の撮像位置および撮像方向推定装置の動作を説明するための、撮像シーンごとの奥行き値の具体例を説明するための図である（撮影シーン例：街並み）。
【図５Ｂ】図３の撮像位置および撮像方向推定装置の動作を説明するための、撮像シーンごとの奥行き値の具体例を説明するための図である（図５Ａの奥行き情報：白いほど奥行き値が大きい）。
【図５Ｃ】図３の撮像位置および撮像方向推定装置の動作を説明するための、撮像シーンごとの奥行き値の具体例を説明するための図である（撮影シーン例：室内）。
【図５Ｄ】図３の撮像位置および撮像方向推定装置の動作を説明するための、撮像シーンごとの奥行き値の具体例を説明するための図である（図５Ｃの奥行き情報：白いほど奥行き値が大きい）。
【図６Ａ】奥行き値に応じた位置推定寄与分布の具体例を示す図である。
【図６Ｂ】奥行き値に応じた方向推定寄与分布の具体例を示す図である。
【図７Ａ】奥行き値に応じた位置移動量分布の具体例を示す図である。
【図７Ｂ】奥行き値に応じた方向ずれ量分布の具体例を示す図である。
【図８】図３の撮像位置および撮像方向推定装置において、「屋外」シーンの奥行情報から、ある特徴点の奥行き値を取得する動作を説明するための図である。
【図９】本発明の他の実施形態としての撮像装置を示すブロック図である。
【発明を実施するための形態】
【００１４】
＜第１の実施形態＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の第１の実施の形態としての撮像位置および撮像方向推定装置（撮像位置方向推定装置）２００の構成を示すブロック図である。
【００１５】
撮像位置および撮像方向推定装置２００は、推定部２を備えて構成されている。推定部２は、撮像装置により撮像された画像中から対応付けする複数の領域を決定する領域決定部２１０と、抽出した領域の遠景、近景を推定する、すなわち各領域の奥行きを表す情報（以下、奥行き情報（奥行推定情報）と称する。）を推定する奥行き推定部２２０と、推定した奥行き情報を用いて撮像位置および撮像方向を推定する撮像位置および撮像方向推定部２３０と、を備える。撮像位置および撮像方向推定装置２００は、画像入力装置１０から入力されたクエリ画像（問い合わせ画像）にもとづいて、当該クエリ画像の位置や方向を推定する装置である。撮像位置および撮像方向推定装置２００は、例えばＣＰＵ（中央処理装置）、記憶装置などを備えて構成されていて、記憶装置に格納されている所定のプログラムをそのＣＰＵを用いて実行することで動作するように構成することができる。
また、クエリ画像は、例えば利用者がデジタルカメラやビデオカメラなどの撮像装置を用いて、撮像位置を推定するために撮像した画像である。
【００１６】
画像入力装置１０は、撮像位置および撮像方向推定装置２００に対して、クエリ画像と位置方向情報が付与された画像とを入力する。ここで、位置方向情報が付与された画像とは、位置と方向とがあらかじめ付与された画像である。位置方向情報が付与された画像は、例えば、実際に撮像された複数の静止画や連続して撮像された動画のフレーム毎の画像であり、付与される位置と方向は、撮像時の撮像装置の位置と撮像方向である。また、本発明における位置方向情報が付与された画像については、特定のランドマークに対応づけて位置や方向を登録する必要は無い（ただし、登録することは可能である）。ここで、１または複数のクエリ画像に対して、複数の位置方向情報が付与された画像が入力される。
【００１７】
領域決定部２１０は、画像入力装置１０から入力されたクエリ画像と、位置方向情報が付与された画像との間で対応付けを行う複数の領域を決定する。
【００１８】
奥行き推定部２２０は、領域決定部２１０において決定された対応付けを行う各領域に対して遠景か近景かを、すなわち奥行きを表す情報を、推定する。なお、推定結果は遠景・近景の離散値で表現してもよいし、遠景・近景を表す連続値で表現してもよい。すなわち、奥行き推定部２２０は、複数の領域のそれぞれの奥行きに対応した奥行推定情報を推定する。
【００１９】
撮像位置および撮像方向推定部２３０は、対応付けされた各領域の奥行き情報から、奥行きが大きい（遠景）領域の対応付けを行い、その結果から方向を推定し、奥行きが小さい（近景）領域の対応付けを行い、その結果から位置を推定する。そして、撮像位置および撮像方向推定部２３０によって推定された方向および位置の情報が撮像位置および撮像方向出力として所定の装置へと出力される。すなわち、撮像位置および撮像方向推定部２３０は、奥行き推定部２２０によって推定された奥行推定情報に基づき、奥行きが大きい領域に応じて撮像装置の撮像方向を推定し、奥行きが小さい領域に応じて撮像装置の撮像位置を推定する。言い換えれば、撮像位置および撮像方向推定部２３０は、撮像装置により撮像されたクエリ画像と位置方向情報が付与された画像との間で対応付けられた領域の奥行きに基づいて、その対応付けられた領域により、位置を推定するか、または、方向を推定するかを決定する。そして、撮像位置および撮像方向推定部２３０は、位置を推定すると決定した領域に対応する所定の画像の位置を撮像位置として推定し、方向を推定すると決定した領域に対応する所定の画像の方向を撮像方向として推定する。
【００２０】
なお、奥行きが大きい領域とは、１画像中の複数の領域において相対的に大きな値（すなわち他の領域と比較した場合に他の領域の奥行きよりも大きくなるような値）の奥行きを有する領域や、絶対的に大きな値（すなわち所定の基準値よりも大きくなるような値）の奥行きを有する領域を意味するものである。例えば、奥行きが大きい領域とは、複数の領域のうちで奥行きが大きい領域、複数の領域のうちで奥行推定情報を大きい順に並べた場合に予め定められている順序よりも大きい順序を持つ領域、または、複数の領域のうちで奥行推定情報が予め定められている閾値よりも大きい領域である。また、奥行きが大きい領域と同様に、奥行きが小さい領域とは、１画像中の複数の領域において相対的に小さな値の奥行きを有する領域や、絶対的に小さな値の奥行きを有する領域を意味するものである。
【００２１】
次に、図２に示した具体的な画像の例を用いて本実施形態の動作を説明する。
【００２２】
まず、領域決定部２１０が、クエリ画像２０と位置方向情報が付与された画像３０（以下、位置方向付き画像３０と呼ぶ）から、対応付けするための領域を決定する。例えば、道路上の標識や店舗の看板に対応する画像の部分を対応付け領域とする。図２に示す例では、クエリ画像２０内の８個の領域２１〜２８と、位置方向付き画像３０内の８個の領域３１〜３８とが対応付け領域として決定されている。この場合、各領域２１〜２８と、各領域３１〜３８とがそれぞれ撮像位置および撮像方向推定部２３０によって対応づけられることになる。
【００２３】
次に、奥行き推定部２２０が、対応付け領域２１〜２８（または、対応付け領域３１〜３８）が遠景か近景かを判断する（すなわち各対応付け領域の奥行きを推定する）。例えば、クエリ画像２０を動画で取得している場合、フレーム間で対応付け領域の移動距離が小さい場合、遠景領域と判断し、フレーム間で対応付け領域の移動距離が大きい場合、近景領域と判断する。すなわち、例えばクエリ画像２０のｎ番目のフレーム（ｎは自然数）の領域２８と、ｎ＋１番目のフレームの領域２８との間の移動距離を算出し、フレーム間で移動距離が大きい場合、近景領域と判断する。また、例えばクエリ画像２０のｎ番目のフレームの領域２２と、ｎ＋１番目のフレームの領域２２との間の移動距離を算出し、フレーム間で移動距離が小さい場合、遠景領域と判断する。なお、奥行き推定部２２０による奥行きの推定はこの手法に限定されない。例えば、クエリ画像２０が静止画の場合、あらかじめ登録しおいた近景と遠景の複数の撮像シーンとの比較結果に応じて、撮像シーン毎に設定された奥行き値を参照して遠景・近景判定を行っても良い。また、奥行きの推定は、位置方向付き画像３０内の領域３１〜３８などを基準として行うようにしてもよい。
【００２４】
次に、撮像位置および撮像方向推定部２３０が、クエリ画像２０と複数の位置方向付き画像３０の各領域の対応付けを行い、遠景の対応付け領域から方向を推定する。撮像位置および撮像方向推定部２３０は、例えば、１個のクエリ画像２０と、複数個の位置方向付き画像３０との間で、遠景と推定された領域に関して比較を行い、クエリ画像２０で遠景と推定された領域と、類似度が比較的高い（あるいは相似度が比較的高い）領域を有する位置方向付き画像３０を決定し、その位置方向付き画像３０に設定されている方向を、当該クエリ画像２０の方向と推定する。
【００２５】
なお、撮像位置および撮像方向推定部２３０は、複数の位置方向付き画像３０に対して対応付けを行い、対応付けられた画像の方向を取得し、平均値を算出し推定方向としてもよい。また、対応付け距離に応じた重みを乗じて方向を算出してもよい。例えば、対応付け距離が短いほど重みを大きくし、その方向を重視する。また、対応付け距離が長いほど重みを小さくし、その方向を軽視する。これは、対応付け距離が短いほどほぼ同じ構図から撮像していると判断できるからである。
【００２６】
次に、撮像位置および撮像方向推定部２３０は、近景の対応付け領域から位置を推定する。撮像位置および撮像方向推定部２３０は、例えば、１個のクエリ画像２０と、複数個の位置方向付き画像３０との間で、近景と推定された領域に関して比較を行い、クエリ画像２０で近景と推定された領域と、類似度が比較的高い（あるいは相似度が比較的高い）領域を有する位置方向付き画像３０を決定し、その位置方向付き画像３０に設定されている位置を、当該クエリ画像２０の位置と推定する。その際、撮像位置および撮像方向推定部２３０は、奥行き推定部２２０が推定した奥行きを用いて、類似度が比較的高い（あるいは相似度が比較的高い）領域を有する位置方向付き画像３０に設定されている位置を補正した上で、当該クエリ画像２０の推定位置とするようにしてもよい。
【００２７】
なお、撮像位置および撮像方向推定部２３０は、複数の位置方向付き画像３０に対して、対応付けを行い、対応付けられた画像の位置を取得し、平均値を算出し推定位置としてもよい。また、対応付け距離に応じた重みを乗じて位置を算出してもよい。例えば、対応付け距離が短いほど重みを大きくし、その位置を重視する。また、対応付け距離が長いほど重みを小さくし、その位置を軽視する。これは、対応付け距離が短いほどほぼ同じ構図から撮像していると判断できるからである。
【００２８】
すなわち、撮像位置および撮像方向推定部２３０は、例えば、撮像装置により撮像されたクエリ画像と複数の位置方向情報が付与された画像との間で対応付けられた領域の奥行きに基づいて、当該領域により、位置を推定するか、または、方向を推定するかを決定するとともに、対応付けされた領域間の距離に応じて位置方向情報が付与された画像に対して重み付けを行う。そして、撮像位置および撮像方向推定部２３０は、位置を推定すると決定した領域に対応する位置方向情報が付与された画像の位置に、この重みを乗じて、撮像位置として推定する。また、撮像位置および撮像方向推定部２３０は、方向を推定すると決定した領域に対応する位置方向情報が付与された画像の方向に、この重みを乗じて、撮像方向として推定するようにしてもよい。
【００２９】
本実施形態によれば、領域決定部２１０が、撮像装置により撮像された画像と所定の画像との間で対応付けを行う複数の領域を決定し、奥行き推定部２２０が、複数の領域それぞれの奥行きに応じて奥行き情報を推定する。そして、撮像位置および撮像方向推定部２３０が、奥行き推定部２２０によって推定された奥行き情報に基づき、奥行きが大きい領域に応じて撮像装置の撮像方向を推定し、奥行きが小さい領域に応じて撮像装置の撮像位置を推定する。その際、位置方向付き画像３０には、あらかじめ位置と方向と付与されている。したがって、撮像位置および撮像方向推定部２３０は、奥行き推定部２２０が推定した領域の奥行きと、位置方向付き画像３０にあらかじめ付与されている位置と方向とにもとづいて、クエリ画像２０の位置と方向とを推定することができる。すなわち、例えば位置と方向とを付与した位置方向付き画像３０を用意することでクエリ画像２０の位置と方向とを推定することができる。その際、位置方向付き画像３０に付与される位置および方向の情報は、特定のランドマークに対応するものでなくてもよい。つまり、ランドマークの測位情報やカメラパラメータ情報を必ずしも用いなくてよいことになる。また、奥行き推定部２２０によって領域の奥行きを推定するようにしているので、推定した奥行き情報を利用することで、あらかじめ位置と方向が付与された位置方向付き画像３０が撮像された位置から離れていても、撮像位置を推定することができる。
【００３０】
＜第２の実施形態＞
次に、図３から図８を参照して本発明の第２の実施形態について説明する。図３は、本発明の第２の実施形態としての撮像位置および撮像方向推定装置１００の構成を示すブロック図である。本実施の形態にかかる撮像位置および撮像方向推定装置１００は、推定部１と、データ記憶部１４０とを有している。推定部１は、画像中から特徴を抽出し、対応付けを行う領域を決定する特徴抽出部１１０と、特徴が抽出された領域（以下、特徴領域と呼ぶ）の奥行情報を推定する奥行き推定部１２０と、推定した特徴領域を対応づけるとともに、奥行き情報と対応付け結果とに応じて、撮像位置を推定する撮像位置および撮像方向推定部１３０と、を備える。撮像位置および撮像方向推定装置１００は、例えばＣＰＵ、記憶装置などを備えて構成されていて、そのＣＰＵで記憶装置に格納されている所定のプログラムを実行することで動作するように構成することができる。また、図１に示すものと同一の構成には同一の符号を用いている。
【００３１】
なお、特徴抽出部１１０によって特徴が抽出された１または複数の領域（例えば後述する特徴点やグリッド）は、第１の実施の形態における対応付け領域（例えば図２の領域２１〜２８や３１〜３８）に対応するものである。また、特徴抽出部１１０は、第１の実施の形態における領域決定部２１０に対応する構成である。
【００３２】
特徴抽出部１１０は、所定の画像処理を行うことで画像入力装置１０から入力されたクエリ画像から特徴抽出を行い、特徴が抽出された１または複数の領域を、撮像位置および撮像方向推定部１３０が対応付けを行う領域として決定する。また、位置方向情報が付与された画像に対しても同様に特徴抽出を行って、特徴が抽出された１または複数の領域を決定する。特徴抽出方法は、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴、ＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）特徴などのような、画像中の特徴点に対して特徴を抽出する方法を用いても良いし、画像をグリッドに分割し、グリッドに対して上記特徴を抽出する方法を用いても良い。
【００３３】
奥行き推定部１２０は、特徴抽出部１１０によって抽出された特徴領域に対して、後述する第１奥行き情報記憶部１５１に格納されている奥行推定情報を付与する。この奥行推定情報すなわち画像中の位置に依存した奥行き値は、撮像位置および撮像方向推定部１３０が位置を推定するための寄与分布（位置推定寄与分布）パラメータおよび方向を推定するための寄与分布（方向推定寄与分布）パラメータを後述する第２奥行き情報記憶部１５２から読み出す際に用いられる。
【００３４】
撮像位置および撮像方向推定部１３０は、クエリ画像の特徴領域と位置方向情報が付与された画像の特徴領域との対応付けを行い、対応付けされた特徴領域間の移動量を算出する。移動量とは、特徴領域間の距離と方向を意味する。そして、撮像位置および撮像方向推定部１３０は、算出した特徴領域間の移動量から、位置や方向の移動量分布が格納された撮像位置および撮像方向推定量記憶部１６０を用いて、位置方向情報が付与された画像に対する、位置の移動量と方向のずれ量の分布を選択する。そして、撮像位置および撮像方向推定部１３０は、第２奥行き情報記憶部１５２から読み出した位置推定寄与分布および方向推定寄与分布と全特徴領域の位置移動量・方向ずれ量分布とに基づいて、撮像位置および撮像方向の推定を行う。
【００３５】
データ記憶部１４０は、奥行き情報記憶部１５０および撮像位置および撮像方向推定量記憶部１６０を含む。奥行き情報記憶部１５０は、第１奥行き情報記憶部１５１と、第２奥行き情報記憶部１５２とを含む。第１奥行き情報記憶部１５１は、撮像シーンに応じた奥行き値を格納している。奥行き値は、奥行きの大小関係が分かる相対値でも良いし、距離値などの絶対値であっても良い。また、第２奥行き情報記憶部１５２は、位置推定寄与分布のパラメータと方向推定寄与分布のパラメータを格納しており、奥行き値に応じてこれらのパラメータが選択される。例えば、位置推定寄与分布は、奥行きが小さくなるほど寄与度が高い値を取り、方向推定寄与分布は、奥行きが小さくなるほど寄与度が低い値を取る。これは、近くにある特徴領域は位置を推定するために用い、遠くにある特徴領域は方向を推定するために用いることを意味する。撮像位置および撮像方向推定量記憶部１６０は、クエリ画像から抽出した特徴領域と位置と方向が付与された画像から抽出した特徴領域との間の移動量と、また奥行き情報から、位置の移動量と方向のずれ量を推定するためのパラメータを格納している。
【００３６】
次に、図４のフローチャートに基づいて動作を説明する。
【００３７】
まず、特徴抽出部１１０が、画像入力装置１０から撮像位置および撮像方向を推定したい場所で撮像したクエリ画像を入力する（ステップＳ１）。次に、特徴抽出部１１０が、画像から特徴を抽出する（ステップＳ２）。
【００３８】
次に、奥行き推定部１２０が、奥行き情報記憶部１５０を参照し、抽出した特徴領域に対して、奥行き値と、奥行き値から得られる位置推定寄与分布パラメータおよび方向推定寄与分布パラメータから構成される奥行き情報を付与する（ステップＳ３）。すなわち、奥行き推定部１２０は、クエリ画像の撮像シーンを判定し、判定された撮像シーンに対応する奥行き情報を、第１奥行き情報記憶部１５１から読み出すことにより、奥行推定情報を推定する。
【００３９】
次に、撮像位置および撮像方向推定部１３０が、奥行き情報記憶部１５０ならびに撮像位置および撮像方向推定量記憶部１６０を参照し、クエリ画像の特徴領域と、あらかじめ位置方向情報が付与された画像の特徴領域間の対応付け結果から、対応づけられた特徴領域間の移動量を求め、奥行き情報を用いて、撮像位置および撮像方向を推定する（ステップＳ４）。より具体的には、撮像位置および撮像方向推定部１３０は、奥行き推定部１２０により推定された奥行推定情報に基づいて、位置推定寄与分布と方向推定寄与分布とを、第２奥行き情報記憶部１５２から読み出す。次いで、撮像位置および撮像方向推定部１３０は、特徴抽出部１１０により対応付けを行われた領域に対応する間の距離および方向に基づいて、位置移動量分布と方向ずれ量分布とを、撮像位置および撮像方向推定量記憶部１６０から読み出す。そして、撮像位置および撮像方向推定部１３０は、読み出した位置推定寄与分布と読み出した位置移動量分布とに基づいて、撮像位置を推定し、読み出した方向推定寄与分布と読み出した方向ずれ量分布とに基づいて、撮像方向を推定する。
【００４０】
次に、具体的な例を用いて本実施形態の動作を説明する。
【００４１】
まず、データ記憶部１４０に格納しているデータについて説明する。
【００４２】
第１奥行き情報記憶部１５１は、あらかじめ撮像シーンに応じた奥行き値を格納する。
例えば撮像シーンが「屋外」と判定された場合（図５Ａ参照）、一般的な街並みの構図である、画像の上方は撮像位置から遠い距離、画像の下方は地面などから抽出された近い距離と定義することができる。この場合、画像の下方から上方に伴い奥行き値が大きくなる値を奥行き情報として格納する（図５Ｂ参照）。なお、図５Ｂは、図５Ａの画像に対応した奥行き情報の一例をグレースケールで示す図であり、白いほど奥行き値が大きいことを示している。
【００４３】
また、例えば撮像シーンが「屋内」と判定された場合（図５Ｃ参照）、画像の中心が撮像位置から遠い距離、それ以外が撮像位置から近い距離と定義することができる（図５Ｄ参照）。なお、撮像シーンが屋内や屋外など様々なシーンが想定される場合は、画像の撮像シーンを判定し、撮像シーンに応じた奥行き情報を取得してもよいし、撮像シーンによらない固定値としてもよい。
【００４４】
また、第２奥行き情報記憶部１５２は、奥行き値に依存する、位置推定寄与分布および方向推定寄与分布のパラメータを格納している。例えば、奥行き値ｘａに対しては、分散σａおよび係数ｃａをパラメータとして構成されるガウス分布で定義され、位置推定寄与分布Ｎｐｃ（ｘ｜ｘａ，σａ，ｃａ）は式（１）で表現され、方向推定寄与分布Ｎｄｃ（ｘ｜ｘｂ，σｂ，ｃｂ）は式（２）で表現される。例えば、図６Ａでは、位置推定寄与分布Ｎｐｃでは奥行き値が小さいと高い値を持ち、奥行き値が大きいと低い値を持つ。他方、図６Ｂの方向推定寄与分布Ｎｄｃはこの逆の傾向を示す。これは、近くにある特徴領域は位置を推定するために用い、遠くにある特徴領域は方向を推定するために用いることを意味する。なお、図６Ａおよび図６Ｂは、横軸を奥行き値、縦軸を頻度として、位置推定寄与分布Ｎｐｃおよび位置推定寄与分布Ｎｄｃの複数の例を表す図である。
【００４５】
【数１】
2012133371.tif 000003
【００４６】
【数２】
2012133371.tif 000004
【００４７】
撮像位置および撮像方向推定量記憶部１６０は、特徴領域間の移動量に応じた分布を格納する。移動量とは距離と方向を意味する。特徴領域間の距離は画素値から求められており、画素値の１ピクセルが実世界中の何ｍに相当するかは、奥行きに依存する。１ピクセルあたりの移動量はカメラの機種ごとにカメラパラメータのばらつきがあるため、一意に求めることはできない。そこであらかじめ、奥行きごとに、１画素が何ｍに相当するかといった分布を作成し、特徴領域間の移動量と方向を含めた位置移動量分布Ｎｐｍのパラメータを格納する（図７Ａ）。例えばガウス分布を仮定した場合、奥行き値ｘａと分散値σａ、係数ｃａから構成される分布Ｎｐｍ（ｘ｜ｘａ，σａ，ｃａ）となる。また、同様に奥行きごとに、１画素が何度に相当するかといった統計情報を作成し、方向ずれ量分布Ｎｄｍ（ｘ｜ｘａ，σａ，ｃａ）とする（図７Ｂ）。なお、図７Ａおよび図７Ｂは、横軸を奥行き値、縦軸を頻度として、位置移動量分布Ｎｐｍおよび方向ずれ量分布Ｎｄｍの２種類の例（奥行き値ｘａおよびｘｅ）における移動量またははずれ量の分布を模式的に表す図である。
【００４８】
次に撮像位置および撮像方向推定装置１００が、ユーザにより撮像されたクエリ画像から位置推定する場合について述べる。
【００４９】
まず、特徴抽出部１１０が、クエリ画像（図２のクエリ画像２０）と位置方向情報が付与された画像（図２の位置方向付き画像３０）から特徴を抽出する。
【００５０】
次に、奥行き推定部１２０が、クエリ画像の撮像シーンを判定し、「屋外」と判定された場合、「屋外」シーンの奥行き情報から特徴領域ごとに、奥行き値ｘａｉを求める（図５Ａ参照）。なお、ｉは画像中の特徴領域のインデックスを表す。さらに、全ての特徴領域の奥行き値から、位置推定寄与分布Ｎｐｃ（ｘ｜ｘａ，σａ，ｃａ）、方向推定寄与分布Ｎｄｃ（ｘ｜ｘａ，σａ，ｃａ）を求める。ここでは、クエリ画像のすべての特徴領域に対して、奥行き情報を求めたが、下記の対応付けられた特徴領域のみ求めても良い。
【００５１】
次に、撮像位置および撮像方向推定部１３０が、クエリ画像（図２のクエリ画像２０）と位置方向情報が付与された画像（図２の位置方向付き画像３０）から特徴抽出部１１０によって抽出された特徴点間の対応付けを行う。対応付けは、クエリ画像２０の特徴点の各１点について、位置方向付き画像３０の特徴点の全点に対して距離計算を行う。距離計算の結果、最短距離の特徴点を位置方向情報が付与された画像の特徴点と対応付けられた特徴点とする。なお、対応付けとして、２番目に最短距離となった特徴点との距離値の差が一定以上であれば、対応付けられたとしても良い。対応付けられた特徴点をＦｉ（ｘ，ｙ）、特徴点間の距離値をＦｉ．ｌｅｎとする（図８参照）。なお、図８は、図５Ａに示したような屋外のシーンに対応する、矩形の枠で示したクエリ画像における、丸印で示した複数の特徴点と、矢印で示した特徴点間の距離との関係の一例を示している。
【００５２】
次に、撮像位置および撮像方向推定部１３０が、位置推定量と方向推定量を求める。特徴点Ｆｉは、奥行きｚｉと特徴点間の距離値Ｆｉ．ｌｅｎが決定されているため、図７Ａの位置移動量分布Ｎｐｍ（ｘ｜ｘａ，σａ，ｃａ）と図７Ｂの方向ずれ量分布Ｎｄｍ（ｘ｜ｘａ，σａ，ｃａ）とを一意に選択できる。そこで、特徴Ｆｉにおける位置推定量Ｆｐｉは、位置移動量分布Ｎｐｍｉと位置推定寄与分布Ｎｐｃｉから下記式（３）で求める。また、特徴Ｆｉにおける方向推定量Ｆｄｉは、方向ずれ量分布Ｎｄｍｉと方向推定寄与分布Ｎｄｃｉから下記式（４）で求める。さらに全特徴点に対して、位置推定分布Ｆｐを、位置推定量Ｆｐｉを用いて式（５）により求める。同様に、方向推定分布Ｆｄも、方向推定量Ｆｄｉを用いて式（６）により求める。これらの分布が最大となる箇所が、撮像位置および撮像方向推定結果となる。なお、式（３）〜（６）において、×およびΠは直積を表す。また、σおよびｃまたはσｉまたはｃｉは、各分布または推定量の分散および係数を表す。
【００５３】
【数３】
2012133371.tif 000005
【００５４】
【数４】
2012133371.tif 000006
【００５５】
【数５】
2012133371.tif 000007
【００５６】
【数６】
2012133371.tif 000008
【００５７】
本実施形態による撮像位置および撮像方向推定装置１００は、上記に説明した撮像位置および撮像方向推定装置２００と同様に、撮像位置および撮像方向を推定することができる。
なお、上記に説明した本実施形態による撮像位置および撮像方向推定装置１００または２００は、画像から撮像位置を推定する撮像位置および撮像方向推定装置や、撮像位置および撮像方向推定装置をコンピュータに実現するためのプログラムといった用途に適用できる。
【００５８】
また、図９に示されるように、デジタルカメラやビデオカメラなどの撮像装置１０００が、図１から図８を用いて説明したような撮像位置および撮像方向推定装置１００または２００を備えていてもよい。この場合撮像装置１０００は、更に、撮像部３００、記録部４００、および、撮像画像記憶部５００を備えていてもよい。
撮像部３００は、レンズなどの光学系やＣＣＤ（Charge Coupled Device）イメージセンサなどの撮像素子を備えており、光学系を介して受光した像を、撮像素子により電気信号に変換することにより、像を撮像画像として撮像する。この撮像部３００は、上述したクエリ画像も撮像する。
撮像部３００により撮像された撮像画像は、図１または図３を用いて説明した画像入力装置１０に入力される。撮像位置および撮像方向推定装置１００または２００は、画像入力装置１０に入力された画像に基づいて、図１から図８を用いて説明したように、撮像位置と撮像方向とを推定して出力する。
なお、撮像部３００が、図１または図３を用いて説明した画像入力装置１０に対応していてもよい。この場合、撮像位置および撮像方向推定装置１００または２００は、撮像部３００により撮像された撮像画像に基づいて、図１から図８を用いて説明したように、撮像位置と撮像方向とを推定して出力する。
記録部４００は、撮像部３００により撮像された撮像画像を、撮像画像記憶部５００に登録して記憶させる。なお、記録部４００は、撮像部３００により撮像された撮像画像を、撮像画像記憶部５００に登録する場合に、撮像位置および撮像方向推定装置１００または２００により推定された撮像位置と撮像方向と関連付けて、当該撮像画像を撮像画像記憶部５００に登録して記憶させてもよい。
撮像画像記憶部５００は、撮像画像を記憶する記憶部であり、フラッシュメモリなどの記憶媒体であってもよい。
【００５９】
この図９を用いて説明したように、撮像装置１０００が上記に説明した本実施形態による撮像位置および撮像方向推定装置１００または２００を備えている場合、撮像した画像に基づいて撮像位置（および撮像方向）を推定することにより、自己位置を推定することができる。この自己位置とは、撮像時の撮像位置と撮像方向のことである。そのため、本実施形態による撮像位置および撮像方向推定装置１００または２００を備えている撮像装置１０００は、ＧＰＳの電波が届きにくい環境での位置測位といった用途にも適用可能である。
なお、自己位置検出装置としての撮像装置１０００は、撮像位置および撮像方向推定装置１００または２００と、撮像部３００とを備えていてもよい。この場合でも、自己位置検出装置としての撮像装置１０００は、上述したように自己位置を推定することができる。
また、図１または図３を用いて説明した撮像方向推定装置１００または２００が備えている画像入力装置１０そのものが、図９を用いて説明したような撮像部３００であってもよい。この場合でも、自己位置検出装置としての撮像方向推定装置１００または２００は、上述したように自己位置を推定することができる。
【００６０】
なお、本実施形態による撮像位置および撮像方向推定装置１００または２００は上記に限定されず、例えば、撮像位置および撮像方向推定装置１００または２００と画像入力装置１０を一体として構成したり、推定部１とデータ記憶部１４０を一体として構成したりしてもよい。また、撮像位置および撮像方向推定装置１００または２００で実行されるプログラムは、その一部または全部をコンピュータ読み取り可能な記録媒体や通信回線を介して配布することができる。
本願は、２０１１年３月２８日に、日本に出願された特願２０１１−０６９２５１号に基づき優先権を主張し、その内容をここに援用する。
【産業上の利用可能性】
【００６１】
ランドマーク等の測位情報を必要とせずに、撮像した画像から撮像時の位置と方向を推定する撮像位置および撮像方向推定装置を提供することができる。
【符号の説明】
【００６２】
１    推定部
２    推定部
１０    画像入力装置
２０    クエリ画像
３０    位置方向付き画像
１００    撮像位置および撮像方向推定装置
１１０    特徴抽出部
１２０    奥行き推定部
１３０    撮像位置および撮像方向推定部
１４０    データ記憶部
１５０    奥行き情報記憶部
１５１    第１奥行き情報記憶部
１５２    第２奥行き情報記憶部
１６０    撮像位置および撮像方向推定量記憶部
２００    撮像位置および撮像方向推定装置
２１０    領域決定部
２２０    奥行き推定部
２３０    撮像位置および撮像方向推定部
１０００    撮像装置
【図１】
2012133371.tif 000009
【図３】
2012133371.tif 000010
【図４】
2012133371.tif 000011
【図６Ａ】
2012133371.tif 000012
【図６Ｂ】
2012133371.tif 000013
【図７Ａ】
2012133371.tif 000014
【図７Ｂ】
2012133371.tif 000015
【図８】
2012133371.tif 000016
【図９】
2012133371.tif 000017
【図２】
2012133371.tif 000018
【図５Ａ】
2012133371.tif 000019
【図５Ｂ】
2012133371.tif 000020
【図５Ｃ】
2012133371.tif 000021
【図５Ｄ】
2012133371.tif 000022
【国際調査報告】
2012133371.tif 000023
2012133371.tif 000024