(57)【要約】      （修正有）【課題】同定に要する時間を短縮することができる同定装置、方法及びプログラムを提供する。【解決手段】同定装置１０は、撮像部２５と、撮像画像特徴算出部２７と、同定情報取得部２９と、同定部３１と、を備える。撮像部２５は、撮像画像を撮像する。撮像画像特徴算出部２７は、前記撮像画像から１以上の撮像画像特徴を算出する。同定情報取得部２９は、地図データ上の仮想画像毎に、当該仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を取得する。同定部３１は、前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する。【選択図】図１
2015184054.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を撮像する撮像部と、
前記撮像画像から１以上の撮像画像特徴を算出する撮像画像特徴算出部と、
地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を、取得する同定情報取得部と、
前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する同定部と、
を備える同定装置。
【請求項２】
前記同定部は、前回の１以上の撮像画像特徴に基づいて同定された前記３次元位置及び前記姿勢に基づいて前記複数の適切度を更新し、更新後の前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の前記３次元位置及び前記姿勢を同定する請求項１に記載の同定装置。
【請求項３】
前記地図データを取得する地図データ取得部と、
前記地図データ上に前記複数の仮想３次元位置を設定するとともに、前記複数の仮想３次元位置それぞれの姿勢を設定する設定部と、
前記複数の仮想３次元位置及び姿勢の組それぞれを用いて、前記複数の仮想画像それぞれを生成する生成部と、
前記仮想画像毎に、当該仮想画像から１以上の仮想画像特徴を算出し、当該１以上の仮想画像特徴に基づいて前記適切度を算出する適切度算出部と、
前記適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し、対応付けて前記同定情報に追加する抽出部と、
を更に備える請求項１に記載の同定装置。
【請求項４】
前記適切度は、前記１以上の仮想画像特徴の数、当該１以上の仮想画像特徴の強度の和、及び前記１以上の仮想画像特徴の位置の分布の重み付け和である請求項３に記載の同定装置。
【請求項５】
前記所定条件は、第１閾値以上の適切度であること、又は前記複数の適切度のうち値の大きさが上位Ｎ（Ｎは１以上の自然数）個に入ることである請求項３に記載の同定装置。
【請求項６】
前記抽出部は、前記適切度が所定条件を満たす前記仮想画像の前記１以上の仮想画像特徴の前記仮想３次元位置と、前記同定情報に含まれる前記複数の仮想３次元位置それぞれとの差のいずれかが第２閾値以上の場合、前記適切度が所定条件を満たす前記仮想画像の前記１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出する請求項３に記載の同定装置。
【請求項７】
前記抽出部は、前記適切度が所定条件を満たす前記仮想画像の前記１以上の仮想画像特徴と前記同定情報に含まれる前記複数の１以上の仮想画像特徴それぞれとの類似度のいずれかが第３閾値以下の場合、前記適切度が所定条件を満たす前記仮想画像の前記１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出する請求項３に記載の同定装置。
【請求項８】
前記設定部は、前記地図データ上の周囲に前記仮想３次元位置及び姿勢の組を複数設定する請求項３に記載の同定装置。
【請求項９】
前記１以上の撮像画像特徴と前回の１以上の撮像画像特徴とを照合し、一致する撮像画像特徴数に基づいて、追跡を終了するか否かを決定する追跡部と、
追跡を終了する場合、前記地図データを作成する地図データ作成部と、
を更に備える請求項１に記載の同定装置。
【請求項１０】
撮像画像を撮像する撮像ステップと、
前記撮像画像から１以上の撮像画像特徴を算出する撮像画像特徴算出ステップと、
地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を、取得する同定情報取得ステップと、
前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する同定ステップと、
を含む同定方法。
【請求項１１】
撮像画像を撮像する撮像ステップと、
前記撮像画像から１以上の撮像画像特徴を算出する撮像画像特徴算出ステップと、
地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を、取得する同定情報取得ステップと、
前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する同定ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、同定装置、方法及びプログラムに関する。
【背景技術】
【０００２】
画像特徴で構成される地図データと同定対象の３次元位置及び姿勢で撮像した画像の画像特徴との照合を行うことで、同定対象の３次元位置及び姿勢が地図データ上のどの位置に該当するかを同定する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−５５９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような従来技術では、地図データの画像特徴と画像の画像特徴との照合を順番に行うため、同定に時間を要してしまう。
【０００５】
本発明が解決しようとする課題は、同定に要する時間を短縮することができる同定装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態の同定装置は、撮像部と、撮像画像特徴算出部と、同定情報取得部と、同定部と、を備える。撮像部は、撮像画像を撮像する。撮像画像特徴算出部は、前記撮像画像から１以上の撮像画像特徴を算出する。同定情報取得部は、地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を、取得する。同定部は、前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態の同定装置の例を示す構成図。
【図２】第１実施形態の仮想３次元位置及び姿勢の設定手法の例の説明図。
【図３】第１実施形態の複数の仮想画像の生成手法の例を示す図。
【図４】第１実施形態の仮想画像の例を示す図。
【図５】第１実施形態の仮想画像の例を示す図。
【図６】第１実施形態の仮想画像の例を示す図。
【図７】第１実施形態の仮想画像の例を示す図。
【図８】第１実施形態の仮想画像の例を示す図。
【図９】第１実施形態の照合順序の例の説明図。
【図１０】第１実施形態の照合順序の例の説明図。
【図１１】第１実施形態の同定情報生成処理例を示すフローチャート。
【図１２】第１実施形態の同定処理例を示すフローチャート。
【図１３】第２実施形態の同定装置の構成例を示すブロック図。
【図１４】第２実施形態の仮想３次元位置及び姿勢の設定手法の例の説明図。
【図１５】第２実施形態の処理例を示すフローチャート。
【図１６】各実施形態の同定装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照しながら、実施形態を詳細に説明する。
【０００９】
（第１実施形態）
図１は、第１実施形態の同定装置１０の一例を示す構成図である。図１に示すように、同定装置１０は、地図データ記憶部１１と、地図データ取得部１３と、設定部１５と、生成部１７と、適切度算出部１９と、抽出部２１と、同定情報記憶部２３と、撮像部２５と、撮像画像特徴算出部２７と、同定情報取得部２９と、同定部３１と、出力部３３とを、備える。なお、同定装置１０は、自立移動が可能なロボットなどの移動体であってもよいし、ユーザが保持して移動するものであってもよい。
【００１０】
地図データ記憶部１１及び同定情報記憶部２３は、例えば、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、メモリカード、光ディスク、ＲＯＭ（Read  Only  Memory）、及びＲＡＭ（Random  Access  Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。地図データ取得部１３、設定部１５、生成部１７、適切度算出部１９、抽出部２１、撮像画像特徴算出部２７、同定情報取得部２９、同定部３１、及び出力部３３は、例えば、ＣＰＵ（Central  Processing  Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated  Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。撮像部２５は、例えば、ＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）カメラやＣＣＤ（Charge  Coupled  Device）カメラなど２次元の撮像画像を撮像する２次元カメラや、ＴＯＦ（TIME  OF  FLIGHT）方式カメラやSTRUCTURED  LIGHT方式カメラなど２次元の撮像画像に加え撮像対象までの距離を含めた３次元の点群から構成される３次元の撮像画像を撮像する３次元カメラなどの撮像装置により実現できる。
【００１１】
地図データ記憶部１１は、地図データを記憶する。地図データは、地図データの作成に用いられた画像の画像特徴で構成されている。画像特徴は、特徴量、強度、及び３次元座標を含む。
【００１２】
画像特徴が点の場合、強度は、例えば、C.  Harris  and  M.  Stephens,  “A  combined  corner  and  edge  detector,”  Proceedings  of  the  4th  Alvey  Vision  Conference,  pp.  147-151,  1988.に開示されたコーナーの度合を表す評価値、３次元座標は、例えば、点の３次元座標とすることができる。
【００１３】
画像特徴が線の場合、強度は、例えば、J.  Canny,  “A  Computational  Approach  To  Edge  Detection,”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  8(6):679−698,  1986.に開示されたエッジの度合を勾配の大きさから算出する評価値、３次元座標は、例えば、線の重心の３次元座標とすることができる。
【００１４】
画像特徴が領域の場合、強度は、例えば、領域の大きさ、３次元座標は、例えば、領域の重心の３次元座標とすることができる。
【００１５】
地図データ取得部１３は、地図データを取得する。具体的には、地図データ取得部１３は、地図データ記憶部１１から地図データを取得する。
【００１６】
設定部１５は、地図データ取得部１３により取得された地図データ上に複数の仮想３次元位置を設定するとともに、複数の仮想３次元位置それぞれの姿勢を設定する。具体的には、設定部１５は、地図データ取得部１３により取得された地図データ上の周囲に仮想３次元位置及び姿勢の組を複数設定する。
【００１７】
例えば、設定部１５は、D.  Kurz,  T.  Olszamowski  and  S.  Benhimane,  “Representative  Feature  Descriptor  Sets  for  Robust  Handheld  Camera  Localization,”  Proceedings  of  the  International  Symposium  on  Mixed  and  Augmented  Reality,  pp.65-70,  2012.に開示されているように、地図データに基づく地図を覆う球の表面を三角形のメッシュの集合として近似し、三角形の各頂点から球の中心に向かう位置及び姿勢を仮想３次元位置及び姿勢として設定する（図２参照）。なお設定部１５は、地図データに基づく地図を覆う球として、半径の長さの異なる球を複数用意し、各球上に各頂点を設定することで、仮想３次元位置及び姿勢の組を複数設定するようにしてもよい。
【００１８】
生成部１７は、設定部１５により設定された複数の仮想３次元位置及び姿勢の組それぞれを用いて、複数の仮想画像それぞれを生成する。具体的には、生成部１７は、仮想３次元位置及び姿勢の組毎に、当該仮想３次元位置及び姿勢で撮像したと推定される仮想画像を生成する。
【００１９】
図３は、第１実施形態の複数の仮想画像の生成手法の一例を示す図である。図３に示す例では、地図データに基づく地図上の空間を３つの仮想３次元位置及び姿勢の組それぞれの撮像範囲４１〜４３で仮想的に撮像する。
【００２０】
図４〜図６は、第１実施形態の複数の仮想画像の一例を示す図である。図４に示す例は、図３の撮像範囲４１で仮想的に撮像した仮想画像５１であり、地図データに基づく地図上の空間に位置する画像特徴は６つ含まれている。図５に示す例は、図３の撮像範囲４２で仮想的に撮像した仮想画像５２であり、地図データに基づく地図上の空間に位置する画像特徴は４つ含まれている。図６に示す例は、図３の撮像範囲４３で仮想的に撮像した仮想画像５３であり、地図データに基づく地図上の空間に位置する画像特徴は２つ含まれている。以下では、仮想画像に含まれる画像特徴を仮想画像特徴と称する場合がある。
【００２１】
適切度算出部１９は、生成部１７により生成された仮想画像毎に、当該仮想画像から１以上の仮想画像特徴を算出し、当該１以上の仮想画像特徴に基づいて適切度を算出する。具体的には、適切度算出部１９は、仮想画像に含まれる仮想画像特徴（仮想画像に投影された地図上の空間に位置する画像特徴）の数、仮想画像に含まれる仮想画像特徴の強度の和、及び仮想画像に含まれる仮想画像特徴の位置の分布（分散）の重み付け和を求め、適切度とする。
【００２２】
以下、適切度についてより詳細に説明する。
【００２３】
まず、設定部１５により設定された仮想３次元位置及び姿勢の組の数をＡ（Ａは１以上の自然数）、仮想３次元位置をｔｊ（ｊは、１からＡまでの自然数）、姿勢をＲｊ、地図上の空間に位置する画像特徴の数をＢ（Ｂは１以上の自然数）、画像特徴の３次元座標をＸｆ（ｆは、１からＢまでの自然数）とすると、数式（１）により画像特徴の２次元座標ｘｆが求まる（３次元座標Ｘｆが２次元座標ｘｆに投影される）。
【００２４】
ｘｆ＝Ｚ[Ｒｊ｜ｔｊ]Ｘｆ      …（１）
【００２５】
Ｚは、仮想画像を仮想的に撮像する仮想撮像装置の内部パラメタを表す行列であり、第１実施形態では、撮像部２５の内部パラメタと同一とする。
【００２６】
適切度算出部１９は、仮想画像の幅をＷ、高さをＨに設定し、仮想画像内に含まれるｘｆを選択する。これにより、仮想画像に含まれる仮想画像特徴が求まる。そして、仮想画像に含まれる仮想画像特徴の数をＣ、仮想画像特徴の強度の和をＤ、仮想画像特徴の位置の分散をＥとすると、適切度Ｓｊは、数式（２）より求まる。
【００２７】
Ｓｊ＝ＷｃＣ＋ＷｄＤ＋ＷｅＥ      …（２）
【００２８】
Ｗｃ、Ｗｄ、Ｗｅは、それぞれ、仮想画像特徴の数、仮想画像特徴の強度の和、仮想画像特徴の位置の分散の重みである。
【００２９】
なお、適切度は、図７に示す仮想画像５４に含まれる仮想画像特徴のように散らばっている方が、図８に示す仮想画像５５に含まれる仮想画像特徴のように集約されているよりも、値が大きくなる。
【００３０】
抽出部２１は、適切度算出部１９により算出された適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し、対応付けて同定情報に追加する。具体的には、抽出部２１は、抽出した１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを対応付けて、同定情報記憶部２３に記憶する。
【００３１】
同定情報記憶部２３は、地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を記憶している。このため、抽出部２１が、抽出した１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを対応付けて、同定情報記憶部２３に記憶することで、抽出した１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを対応付けたものが同定情報に追加される。
【００３２】
所定条件は、第１閾値以上の適切度であること、又は複数の適切度のうち値の大きさが上位Ｎ（Ｎは１以上の自然数）個に入ることとすることができる。
【００３３】
例えば、抽出部２１は、適切度算出部１９により算出された適切度Ｓｊを昇順に並び替え、昇順にＮ個の適切度Ｓｊが所定条件を満たすと判断したり、適切度算出部１９により算出された適切度Ｓｊをそれぞれ第１閾値と比較し、第１閾値の適切度を、所定条件を満たすと判断したりする。
【００３４】
また抽出部２１は、適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴の仮想３次元位置と、同定情報に含まれる複数の仮想３次元位置それぞれとの差のいずれかが第２閾値以上の場合、適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し、対応付けて同定情報に追加してもよい。
【００３５】
また抽出部２１は、適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と同定情報に含まれる複数の１以上の仮想画像特徴それぞれとの類似度のいずれかが第３閾値以下の場合、適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し、対応付けて同定情報に追加してもよい。類似度は、例えば、仮想画像特徴の一致数などとすることができる。
【００３６】
撮像部２５は、撮像画像を撮像する。
【００３７】
撮像画像特徴算出部２７は、撮像部２５により撮像された撮像画像から１以上の撮像画像特徴を算出する。撮像画像特徴は、撮像部２５が２次元カメラの場合、特徴量と２次元座標から構成され、撮像部２５が３次元カメラの場合、特徴量と３次元座標から構成される。撮像画像特徴は、例えば、点、線、又は領域などが挙げられる。
【００３８】
撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、C.  Harris  and  M.  Stephens,  “A  combined  corner  and  edge  detector,”  Proceedings  of  the  4th  Alvey  Vision  Conference,  pp.  147-151,  1988.に開示されたコーナーらしさを算出する手法で、点を検出できる。
【００３９】
また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、D.  Lowe,  “Distinctive  Image  Features  from  Scale-Invariant  Keypoints,”  International  Journal  of  Computer  Vision,  Vol.60,  pp91-110,  2004.に開示された点の周囲の局所的な領域の画素値の勾配分布をヒストグラムとして表現したものを、特徴量とする。
【００４０】
また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、J.  Canny,  “A  Computational  Approach  To  Edge  Detection,”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  8(6):679―698,  1986.に開示された局所領域内の画素値の勾配を算出する手法で、線を検出できる。
【００４１】
また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、Z.  Wang,  F.  Wu  and  Z.  Hu,  “MSLD:  A  robust  descriptor  for  line  matching,”  Pattern  Recognition,  Vol.42,  pp.941-953,  2009.に開示された線の周囲の画素値の勾配分布をヒストグラムとして表現したものを、特徴量とする。
【００４２】
また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、J.  Matas,  O.  Chum,  M.  Urban  and  T.  Pajdla,  “Robust  Wide  Baseline  Stereo  from  Maximally  Stable  Extremal  Regions,”  Proceedings  of  the  British  Machine  Conference,  pp.  36.1-36.10,  2002.に開示された画素値の似た隣接画素を結合させる手法で、領域を検出できる。
【００４３】
また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、P.  Forssen  and  D.  Lowe,  “Shape  Descriptors  for  Maximally  Stable  Extremal  Regions,”  Proceedings  of  the  International  Conference  on  Computer  Vision,  pp1-8,  2007.に開示された検出した領域を正規化し、正規化された領域の画素値の勾配分布をヒストグラムとして表現したものを、特徴量とする。
【００４４】
撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、撮像画像を距離画像に変換し、距離画像に対して２次元カメラの画像特徴抽出手法を適用して撮像画像特徴を検出してもよいし、撮像画像上の点群の３次元座標を直接利用して撮像画像特徴を検出してもよい。
【００４５】
撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、例えば、J.  Knopp  and  M.  Prasad  and  G.  Willems  and  R.  Timofte  and  L.  Gool,  “Hough  Transform  and  3D  SURF  for  robust  three  dimensional  classification,”  Proceedings  of  the  European  Conference  on  Computer  Vision,  pp.589-602,  2010.に開示された３次元点群の局所的な密度と隣接関係から点を検出する手法で、点を検出できる。
【００４６】
また撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、例えば、M.  Kolomenkin,  I.  Shimshoni  and  A.  Tal,  “On  edge  detection  on  surfaces,”  Proceedings  of  the  IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition,  pp.  2767-2774,  2009.に開示された３次元点群に３次元線モデルをフィッティングさせることで３次元的線を検出する手法で、線を検出できる。
【００４７】
また撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、例えば、M.  Donoser  and  H.  Bischof,  “3D  Segmentation  by  Maximally  Stable  Volumes  (MSVs),”  Proceedings  of  the  International  Conference  on  Pattern  Recognition,  vol.  1,  pp.  63-66,  2006.に開示された３次元点群の隣接関係の不連続性を用いて３次元点群を分割し、分割した領域を検出する手法で、領域を検出できる。
【００４８】
撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、３次元の点、線、又は領域の２次元画像上での位置を算出し、２次元カメラを用いた場合と同じ特徴量を算出する。つまり、撮像部２５が３次元カメラの場合も、撮像部２５が２次元カメラの場合と同様の手法で特徴量を求められる。
【００４９】
なお、前述した地図データを構成する画像特徴も、２次元カメラまたは３次元カメラのいずれで作成されていてもよい。
【００５０】
同定情報取得部２９は、同定情報を取得する。具体的には、同定情報取得部２９は、同定情報記憶部２３から同定情報を取得する。
【００５１】
同定部３１は、同定情報の適切度が高い順に、１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する。
【００５２】
図９は、第１実施形態の照合順序の一例の説明図である。図９に示す例において、仮想３次元位置６１〜６４の適切度が、仮想３次元位置６１＞仮想３次元位置６２＞仮想３次元位置６３＞仮想３次元位置６４であるとする。この場合、同定部３１は、まず、仮想３次元位置６１に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６２に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６３に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６４に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合する。
【００５３】
そして同定部３１は、撮像部２５が２次元カメラの場合、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置（３Ｄ座標）をＸ＝（Ｘ，Ｙ，Ｚ）、１以上の撮像画像特徴の２次元位置（２Ｄ座標）をｘ＝（ｘ、ｙ）とすると、数式（３）を満たす回転行列Ｒａと位置ベクトルｔａを求める。
【００５４】
ｘ＝Ｚ［Ｒａ｜ｔａ］Ｘ      …（３）
【００５５】
なお、回転行列Ｒａは自身の姿勢を示し、位置ベクトルｔａは自身の３次元位置を示す。また、Ｚは撮像部２５の内部パラメタを表す行列であり、例えば、Z.Zhang,  “A  flexible  new  technique  for  camera  calibration,”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  Vol.22,  pp.1330-1334,  2000.を用いて事前に算出すればよい。
【００５６】
また同定部３１は、撮像部２５が３次元カメラの場合、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置（３Ｄ座標）をＸ＝（Ｘ，Ｙ，Ｚ）、１以上の撮像画像特徴の３次元位置（３Ｄ座標）をＸ’＝（Ｘ’，Ｙ’，Ｚ’）とすると、数式（４）を満たす回転行列Ｒａと位置ベクトルｔａを求める。
【００５７】
Ｘ’＝［Ｒｂ｜ｔｂ］Ｘ      …（４）
【００５８】
なお、同定部３１は、前回の撮像画像特徴に基づいて同定された３次元位置及び姿勢に基づいて複数の適切度を更新し、更新後の適切度が高い順に、１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と１以上の撮像画像特徴とを用いて自身の３次元位置及び前記姿勢を同定してもよい。
【００５９】
図１０は、第１実施形態の照合順序の一例の説明図である。図９に示す例において、仮想３次元位置６１〜６４の適切度が、仮想３次元位置６１＞仮想３次元位置６２＞仮想３次元位置６３＞仮想３次元位置６４であるとする。但し、前回の撮像画像特徴に基づいて同定された撮像部２５の３次元位置及び姿勢は、図１０に示す通りとする。この場合、同定部３１は、前回の撮像画像特徴に基づいて同定された撮像部２５の３次元位置及び姿勢の適切度と仮想３次元位置６１〜６４それぞれの適切度との差に重み付けし、適切度を更新してもよい。この結果、、仮想３次元位置６１〜６４の適切度が、仮想３次元位置６３＞仮想３次元位置６４＞仮想３次元位置６１＞仮想３次元位置６２となれば、同定部３１は、まず、仮想３次元位置６３に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６４に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６１に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６２に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合する。
【００６０】
出力部３３は、同定部３１の同定結果を出力する。出力部３３は、例えば、同定結果を図示せぬ表示部に画面出力したり、地図データ記憶部１１に出力したり、又は図示せぬ印刷部に印刷出力したりする。
【００６１】
図１１は、第１実施形態の同定装置１０で行われる同定情報生成処理の手順の流れの一例を示すフローチャートである。
【００６２】
まず、地図データ取得部１３は、地図データを取得する（ステップＳ１０１）。
【００６３】
続いて、設定部１５は、地図データ取得部１３により取得された地図データ上の周囲に仮想３次元位置及び姿勢の組（位置姿勢情報）を複数設定する（ステップＳ１０３）。
【００６４】
続いて、生成部１７は、仮想３次元位置及び姿勢の組（位置姿勢情報）毎に、当該仮想３次元位置及び姿勢で撮像したと推定される仮想画像を生成する（ステップＳ１０５）。
【００６５】
続いて、適切度算出部１９は、生成部１７により生成された仮想画像毎に、当該仮想画像から１以上の仮想画像特徴を算出し（ステップＳ１０７）、当該１以上の仮想画像特徴に基づいて適切度を算出する（ステップＳ１０９）。
【００６６】
続いて、抽出部２１は、適切度算出部１９により算出された適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し（ステップＳ１１１）、対応付けて同定情報に追加する（ステップＳ１１３）。
【００６７】
図１２は、第１実施形態の同定装置１０で行われる同定処理の手順の流れの一例を示すフローチャートである。
【００６８】
まず、撮像部２５は、撮像画像を撮像する（ステップＳ２０１）。
【００６９】
続いて、撮像画像特徴算出部２７は、撮像部２５により撮像された撮像画像から１以上の撮像画像特徴を算出する（ステップＳ２０３）。
【００７０】
続いて、同定情報取得部２９は、同定情報記憶部２３から同定情報を取得する（ステップＳ２０５）。
【００７１】
続いて、同定部３１は、同定情報の適切度が高い順に、１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する（ステップＳ２０７）。
【００７２】
続いて、出力部３３は、同定部３１の同定結果を出力する。出力部３３は、例えば、同定結果を図示せぬ表示部に画面出力したり、地図データ記憶部１１に出力したり、又は図示せぬ印刷部に印刷出力したりする（ステップＳ２０９）。
【００７３】
以上のように第１実施形態によれば、適切度に基づいて、同定時の照合に用いられる仮想画像特徴が抽出されるため、照合対象の仮想画像特徴を予め絞り込むことができ、同定に要する時間を短縮することができる。
【００７４】
（第２実施形態）
第２実施形態では、地図データを作成しながら同定を行う例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。
【００７５】
図１３は、第２実施形態の同定装置１１０の構成の一例を示すブロック図である。図１３に示すように、第２実施形態の同定装置１１０では、追跡部１２６、地図データ作成部１１３、及び設定部１１５が第１実施形態と相違する。
【００７６】
追跡部１２６は、１以上の撮像画像特徴と前回の１以上の撮像画像特徴とを照合し、一致する撮像画像特徴数が閾値以上であれば、追跡を継続し、一致する撮像画像特徴数が閾値未満であれば、追跡を終了する。
【００７７】
地図データ作成部１１３は、追跡部１２６が追跡を継続する場合、撮像画像特徴を用いて地図データを作成する。具体的には、地図データ作成部１１３は、撮像画像特徴を、地図データを構成する画像特徴として地図データに追加する。例えば、地図データ作成部１１３は、G.  Klein  and  D.  Murray,  “Parallel  Tracking  and  Mapping  for  Small  AR  Workspaces,”  Proceedings  of  the  International  Symposium  on  Mixed  and  Augmented  Reality,  2007.に開示された手法で、撮像画像特徴を、地図データを構成する画像特徴とする。
【００７８】
設定部１１５は、地図データを構成する画像特徴とした撮像画像特徴の３次元位置及び姿勢を設定するか否かを判定する。例えば、設定部１１５は、図１４に示すように、３次元位置及び姿勢の変化量（３次元位置及び姿勢１８１と３次元位置及び姿勢１８３の差など）が閾値以上である場合に、撮像画像特徴の３次元位置及び姿勢を設定する。
【００７９】
同定情報取得部２９は、追跡部１２６が追跡に失敗した場合、同定情報を取得し、同定部３１は、同定を行う。
【００８０】
図１５は、第２実施形態の同定装置１１０で行われる処理の手順の流れの一例を示すフローチャートである。
【００８１】
まず、撮像部２５は、撮像画像を撮像する（ステップＳ３０１）。
【００８２】
続いて、撮像画像特徴算出部２７は、撮像部２５により撮像された撮像画像から１以上の撮像画像特徴を算出する（ステップＳ３０２）。
【００８３】
続いて、追跡部１２６は、１以上の撮像画像特徴と前回の１以上の撮像画像特徴とを照合し（ステップＳ３０３）、一致する撮像画像特徴数が閾値以上であれば、追跡を継続し（ステップＳ３０５でＹｅｓ）、一致する撮像画像特徴数が閾値未満であれば、追跡を終了する（ステップＳ３０５でＮｏ）。
【００８４】
続いて、地図データ作成部１１３は、追跡部１２６が追跡を継続する場合（ステップＳ３０５でＹｅｓ）、撮像画像特徴を用いて地図データを作成する（ステップＳ３０７）。
【００８５】
続いて、設定部１１５は、地図データを構成する画像特徴とした撮像画像特徴の３次元位置及び姿勢を設定する場合（ステップＳ３０９でＹｅｓ）、設定する（ステップＳ３１１）。
【００８６】
以降のステップＳ３１３〜Ｓ３２１は、図１１に示すフローチャートのステップＳ１０５〜Ｓ１１３と同様である。
【００８７】
一方、同定情報取得部２９は、追跡部１２６が追跡を終了する場合（ステップＳ３０５でＮｏ）、同定情報記憶部２３から同定情報を取得する（ステップＳ３２５）。
【００８８】
以降のステップＳ３２７〜Ｓ３２９は、図１２に示すフローチャートのステップＳ２０７〜Ｓ２０９と同様である。
【００８９】
以上のように第２実施形態によれば、動的に地図データを生成しながら、同定を行うことができる。
【００９０】
（ハードウェア構成）
図１６は、上記各実施形態の同定装置のハードウェア構成の一例を示すブロック図である。図１６に示すように、上記各実施形態の同定装置は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの記憶装置９０２と、ＨＤＤやＳＳＤなどの外部記憶装置９０３と、ディスプレイなどの表示装置９０４と、マウスやキーボードなどの入力装置９０５と、通信Ｉ／Ｆ９０６と、カメラなどの撮像装置９０７とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
【００９１】
上記各実施形態の同定装置で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される。
【００９２】
また、上記各実施形態の同定装置で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。
【００９３】
また、上記各実施形態の同定装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態の同定装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。
【００９４】
上記各実施形態の同定装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置９０１が外部記憶装置９０３からプログラムを記憶装置９０２上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
【００９５】
以上説明したとおり、上記各実施形態によれば、同定に要する時間を短縮することができる。
【００９６】
なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
【００９７】
例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
【符号の説明】
【００９８】
１０、１１０  同定装置
１１  地図データ記憶部
１３  地図データ取得部
１５、１１５  設定部
１７  生成部
１９  適切度算出部
２１  抽出部
２３  同定情報記憶部
２５  撮像部
２７  撮像画像特徴算出部
２９  同定情報取得部
３１  同定部
３３  出力部
１１３  地図データ作成部
１２６  追跡部
９０１  制御装置
９０２  記憶装置
９０３  外部記憶装置
９０４  表示装置
９０５  入力装置
９０６  通信Ｉ／Ｆ
９０７  撮像装置
【図１】
2015184054.tif 000003
【図２】
2015184054.tif 000004
【図３】
2015184054.tif 000005
【図４】
2015184054.tif 000006
【図５】
2015184054.tif 000007
【図６】
2015184054.tif 000008
【図７】
2015184054.tif 000009
【図８】
2015184054.tif 000010
【図９】
2015184054.tif 000011
【図１０】
2015184054.tif 000012
【図１１】
2015184054.tif 000013
【図１２】
2015184054.tif 000014
【図１３】
2015184054.tif 000015
【図１４】
2015184054.tif 000016
【図１５】
2015184054.tif 000017
【図１６】
2015184054.tif 000018