(57)【要約】【課題】  指標の誤同定を回避すること。【解決手段】  撮像装置１３０の撮像画像から情景中の指標を検出する指標検出部１１０と、検出された指標候補の画像座標に関する情報を用いて指標を同定する指標同定部１２０と、同定した結果の尤度を算出する同定尤度算出部１４０と、算出した尤度に関する情報を提示装置１８０に出力する情報出力部１９０を有する。【選択図】  図１
2007064807.tif 000002
【特許請求の範囲】
【請求項１】
情景を撮像する撮像手段で撮像された画像を入力する画像入力工程と、
前記画像入力工程で入力された画像から、前記情景中の指標に関わる候補領域の画像座標に関わる特徴量を検出する検出工程と、
前記検出工程で検出された前記指標に関わる候補領域の画像座標に関わる特徴量に基づいて、該候補領域を該指標と同定する同定工程と、
前記同定工程における同定の尤度を算出する同定尤度算出工程と、
前記同定尤度算出工程で算出された同定の尤度に関わる情報を提示する提示工程と、
を備えることを特徴とする指標位置計測指標位置計測方法。
【請求項２】
前記指標が体験者に取り付けられており、前記提示工程は、同定の尤度に関わる情報を該体験者に提示することを特徴とする、請求項１に記載の指標位置計測方法。
【請求項３】
前記同定尤度算出工程は、前記候補領域が複数存在するときに、前記指標と同定された候補領域の画像座標から前記指標と同定されなかった候補領域の画像座標までの距離の関数として同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
【請求項４】
前記同定尤度算出工程は、前記候補領域が複数存在するときに、前記指標と同定された候補領域から前記指標と同定されなかった候補領域までの３次元的な距離の関数として同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
【請求項５】
前記撮像手段が複数のカメラからなり、前記同定尤度算出工程は、該複数のカメラおよび前記指標と同定された候補領域および前記指標と同定されなかった候補領域の３次元的な位置関係に基づいて同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
【請求項６】
前記撮像手段が複数のカメラからなり、前記同定尤度算出工程は、前記指標と同定された候補領域を視野に含む撮像手段の個数に基づいて同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
【請求項７】
前記同定尤度算出工程は、前記情景中に位置姿勢および形状が既知の物体があるときに、前記指標と同定された候補領域および該物体および前記撮像手段の３次元的な位置関係に基づいて同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
【請求項８】
前記同定尤度算出工程は、前記指標が撮像された時刻より後の時刻における指標の予測位置に基づいて同定の尤度を算出することを特徴とする、請求項１乃至７のいずれか１項に記載の指標位置計測方法。
【請求項９】
同定の尤度が所定値よりも大きな領域を記憶する領域記憶工程をさらに備え、前記提示工程は、該領域に関わる情報を提示することを特徴とする、請求項１乃至８のいずれか１項に記載の指標位置計測方法。
【請求項１０】
請求項１乃至９の何れかに記載の指標位置計測方法をコンピュータで実現するためのプログラム。
【請求項１１】
情景を撮像する撮像手段と、
前記撮像手段で撮像された画像から、前記情景中の指標に関わる候補領域の画像座標に関わる特徴量を検出する検出手段と、
前記検出手段で検出された前記指標に関わる候補領域の画像座標に関わる特徴量に基づいて、該候補領域を該指標と同定する同定手段と、
前記同定手段における同定の尤度を算出する同定尤度算出手段と、
前記同定尤度算出手段で算出された同定の尤度に関わる情報を提示する提示手段と、
を備えることを特徴とする指標位置計測指標位置計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指標の誤同定を回避するための技術に関するものである。
【背景技術】
【０００２】
［従来技術１］
現実空間を撮像するカメラなどの撮像部（以下適宜カメラと言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。このような従来技術として、特許文献１または２および非特許文献１において開示されているように、現実空間に配置した位置が既知のマーカ、または現実空間中の位置が既知の特徴点（以下、マーカと特徴点を合わせて指標という）を用いて、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正する方法がある。  言い換えると、これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。また、指標は同時に複数利用されることが多いが、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める手段のひとつとして、画像から検出した指標の座標と、指標の絶対位置を位置姿勢センサの計測値を基にして投影して得られる、画像面上での指標の座標との間の関係を利用することが知られている。
【０００３】
［従来技術２］
一方で、非特許文献２または３において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の４頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点（対角線の交点）を通り、面に垂直な軸を回転軸として９０°毎の回転対称形であることから、頂点の座標からだけでは上下左右の判定を行うことができない。そのため、正方形の指標内部に、上下左右の判定を行うためのさらなる画像特徴が設けられている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。
【０００４】
［従来技術３］
また、現実空間に配置した位置姿勢が既知の複数の撮像部によって、対象物上での位置が既知の複数の指標を撮像して、対象物の位置姿勢を推定する方法が知られている。例えば、検出した指標が複数の指標のどれに対応するのかを求める手段として、指標となるＬＥＤ毎に発光タイミングを制御することが行われている。
【特許文献１】特開平１１−０８４３０７号公報
【特許文献２】特開２０００−０４１１７３号公報
【非特許文献１】Ａ．Ｓｔａｔｅ，Ｇ．Ｈｉｒｏｔａ，Ｄ．Ｔ．Ｃｈｅｎ，Ｂ．Ｇａｒｒｅｔｔ，ａｎｄ  Ｍ．Ｌｉｖｉｎｇｓｔｏｎ：Ｓｕｐｅｒｉｏｒ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｂｙ  ｉｎｔｅｇｒａｔｉｎｇ  ｌａｎｄｍａｒｋ  ｔｒａｃｋｉｎｇ  ａｎｄ  ｍａｇｎｅｔｉｃ  ｔｒａｃｋｉｎｇ，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ’９６，ｐｐ．４２９−４３８，Ｊｕｌｙ  １９９６．
【非特許文献２】加藤，Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，Ｄｅｃ．１９９９．
【非特許文献３】Ｘ．Ｚｈａｎｇ，Ｓ．Ｆｒｏｎｚ，Ｎ．Ｎａｖａｂ：Ｖｉｓｕａｌ  ｍａｒｋｅｒ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｄｅｃｏｄｉｎｇ  ｉｎ  ＡＲ  ｓｙｓｔｅｍｓ：Ａ  ｃｏｍｐａｒａｔｉｖｅ  ｓｔｕｄｙ，Ｐｒｏｃ．ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｍｉｘｅｄ  ａｎｄ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＩＳＭＡＲ’０２），ｐｐ．９７−１０６，２００２．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来技術１のカメラの位置姿勢を推定する方法において、ある特定の色の小さな円形のシート状の物体を指標とすることができる。この場合、指標のもつ情報は、３次元位置（座標）と色である。位置姿勢センサの計測値を利用し、指標の３次元位置をカメラの画像面へと投影し、一方で、画像からのその指標の色を検出する色領域検出処理を行い、画像中での重心位置を計算する。そして、画像面上へ投影した３次元位置と、画像から計算した重心位置を比較し、例えば最も近いものを同じ指標であると判定することによって、画像中の指標を同定することができる。
【０００６】
このように、色領域検出によって画像中から指標を検出する場合、カメラが撮像するであろう現実空間の中に、指標以外に指標と同じ色が存在すると、それらを誤って同定してしまうという問題がある。
【０００７】
このような問題を防止するため、同心円状に配置した異なる色の組み合わせからなる指標を用い、色領域検出を行った後に色の組み合わせを調べる、組み合わせの正しい領域のみを指標として検出する方法もある。この場合、単色の指標を用いた場合に比べ、背景の一部を誤って指標であると検出してしまう可能性が低くなる。
【０００８】
しかしながら、色領域検出を利用して安定した指標検出を行うため、指標の色は目立つ色に設定されることが多く、さらに同心円上に異なる色を組み合わせる場合には、同心円を安定的に検出するために画像中で十分大きく撮像されねばならない。すなわち、現実空間に大きく、かつ、見た目を損ねる指標を配置する必要が生じる。しかし、現実空間にそのような指標を配置することが許されない場合があったり、現実空間の見栄えを悪くするという点で改善の余地があった。
【０００９】
一方で、従来技術２で利用されている正方形マーカのような図形的な拡がりのある指標を利用する方法がある。しかしながら、従来技術２では完全に画像のみから個々のマーカを識別する必要が生じるため、指標に符号情報やテンプレートとなりうる記号情報などを埋め込む必要があった。図７は、非特許文献２および非特許文献３にて開示されている従来技術２で利用されている具体的な正方形マーカの例である。
【００１０】
このような複雑な構造をもつ指標を撮像画像から検出しなければならないため、撮像画像面の中で十分に大きな面積を占めるように指標を捉えなければ、指標の認識ができないという問題があった。これは換言すれば、現実空間の広い領域を指標配置のために確保しなければならないこと、あるいは、カメラが指標に十分に近づかなければならないということを意味する。または、指標の配置条件が厳しいという問題と言い換えることができる。
【００１１】
指標が目立たないように小さくしつつ、個々の指標を識別するには、ＬＥＤのような発光体や、再帰性反射材を指標として利用する方法がある。しかしながら、このような方法には、指標の他に発光体や反射体が存在する場合に、それらを指標と誤って判定してしまうという問題があった。
【００１２】
例えば、図８に示すように、背景となる空間に指標の他にも発光体が存在する場合を例にして説明する。図において、利用する指標８０５は現実物体８０４上に配置され、ここでは例えば赤外光を発光する球体であるとする。また、電球などの発光体８０３から赤外光が放出されているとする。この状態で赤外カメラ８０１が可視光カット（赤外光透過）フィルタ８０２を通して撮像した画像が、図９に示すような画像だったとする。
【００１３】
このとき、画像から指標８０５の明度に相当する領域を検出する明度領域検出処理を行うと、指標８０５に対応する領域９０１のみならず、発光体８０３に対応する領域９０２もまた指標８０５の明度に相当する領域として検出される可能性がある。このように、撮像される空間内に、指標と同じか又は似通った明度をもつ物体が存在すると、それを指標と誤って認識してしまう場合があるという問題点があった。
【００１４】
発光体や反射体を利用した指標を識別するために、数点の発光体または反射体を相対位置が固定された状態で配置し、それらをまとめて指標として用いる方法がある。この方法では、点間の関係を使って個々の指標を識別している。しかしながら、数点の発光体または反射体のうちの一部が隠されてしまうと指標として識別されなくなるという問題があった。また、指標が大きくなるため、現実空間の見栄えを悪くするという問題もあった。
【００１５】
一方、従来技術３では、複数の指標を識別するために、時分割で発光タイミングを制御することが可能な指標を用いているが、発光タイミングの制御機構や高速度カメラが必要であるため、コストがかかるという問題があった。
【００１６】
本発明はこのような従来技術の問題点を解決し、既に同定されている個別識別不能な指標が誤同定されてしまうことを回避することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の目的を達成するために、本発明は、情景を撮像する撮像手段で撮像された画像を入力する画像入力工程と、前記画像入力工程で入力された画像から、前記情景中の指標に関わる候補領域の画像座標に関わる特徴量を検出する検出工程と、前記検出工程で検出された前記指標に関わる候補領域の画像座標に関わる特徴量に基づいて、該候補領域を該指標と同定する同定工程と、前記同定工程における同定の尤度を算出する同定尤度算出工程と、前記同定尤度算出工程で算出された同定の尤度に関わる情報を提示する提示工程と、を備えることを特徴とする。
【発明の効果】
【００１８】
本発明の構成により、既に同定されている個別識別不能な指標が誤同定されてしまうことを回避することができる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
【００２０】
［第１の実施形態］
本実施形態に係る指標位置計測装置は、指標の同定結果の尤度（同定結果の確からしさ）に関する情報をユーザに提示することによって誤同定を回避しつつ、画像上における指標の位置を計測する。以下、本実施形態に係る指標位置計測装置及び指標位置計測方法について説明する。
【００２１】
図１は、本実施形態における指標位置計測装置の構成を示している。同図に示したように、本実施形態における指標位置計測装置１００は、画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０によって構成されており、撮像装置１３０及び提示装置１８０に接続されている。
【００２２】
現実空間中には、撮像装置１３０によって撮影するための指標Ｐが配置されている。図１の例は、指標Ｐが提示装置１８０上に配置されており、また、指標Ｐと似た偽指標Ｐ’が現実空間中に存在していて、指標Ｐと偽指標Ｐ’の両方が撮像装置１３０の視野内に含まれている状況を示している。なお、指標Ｐは提示装置１８０上ではなくユーザ自身やユーザの把持物体上等に配置されていてもよい。
【００２３】
なお、指標Ｐは、広画角の撮像装置１３０で遠くから撮影した画像上で安定的に検出する必要があるため、例えばＬＥＤや再帰性反射材などによって構成される。
【００２４】
撮像装置１３０が出力する画像（以下、これを撮像画像と呼ぶ）は、画像入力部１６０に入力される。ここで、撮像装置１３０は、提示装置１８０上の指標Ｐをなるべく常に撮像可能な位置に固定して配置されている。
【００２５】
画像入力部１６０は、指標位置計測装置１００へ入力される撮像画像をデジタルデータに変換し、データ記憶部１７０に保存する。
【００２６】
指標候補検出部１１０は、データ記憶部１７０より撮像画像を入力し、入力した撮像画像中に撮影されている指標に関わる候補領域（以下，指標候補と呼ぶ）の画像座標を検出する。例えば、撮像画像上からＬＥＤや再帰性反射材などの明るさに対応する領域を検出し、その重心位置を指標候補の検出座標とする。
【００２７】
指標候補検出部１１０は、さらに、検出された指標候補の画像座標をデータ記憶部１７０へと出力する。なお、以下では、撮像画像上で検出された指標候補を、検出された指標候補の夫々に付けられた識別子ｍ（ｍ＝１，，，Ｍ）を用いて、Ｐｍと表記する。ここで、Ｍは撮像画像上で検出された指標候補の数を表している。また、検出された指標候補Ｐｍの画像座標をｕＰｍと表記する。例えば図１の場合には、Ｍ＝２であり、画像座標ｕＰ１，ｕＰ２が出力される。
【００２８】
指標同定部１２０は、指標候補Ｐｍの中から指標Ｐを同定する。例えば、指標Ｐの初期位置（３次元）を予め定め、その初期位置に対応する撮像画像中の画像座標をデータ記憶部１７０に保持しておく。そして、計測処理の開始時には、その初期位置に指標Ｐを置くことにより、それに対応する画像座標に最も近い指標候補Ｐｍが指標Ｐであると判定する。一方、計測処理の最中は指標の追跡（トラッキング）処理を行う。すなわち、保持されている最新の指標Ｐの画像座標（多くの場合は、現在より一つ前の時刻（フレーム）における指標Ｐの計測位置に相当する）と最も近い画像座標を持つ指標候補Ｐｍを指標Ｐであると判定する。
【００２９】
指標同定部１２０は、さらに、同定した指標Ｐの画像座標ｕＰをデータ記憶部１７０に出力する。例えば図１の場合において、指標Ｐに対応する指標候補の識別子がｍ＝２であると判定された場合には、指標Ｐの画像座標ｕＰとして指標候補Ｐ２の画像座標ｕＰ２が出力される。この値は、当該装置の出力として、必要に応じて装置の外部にも出力される。
【００３０】
同定尤度算出部１４０は、指標候補Ｐｍの中から指標Ｐを同定した結果の尤度を算出し、データ記憶部１７０に出力する。処理の詳細は後述する。
【００３１】
情報生成部１５０は、提示装置１８０に提示するための情報を生成し、情報出力部１９０は、情報生成部１５０で生成された情報を提示装置１８０に出力するデータに変換し、提示装置へ出力する。例えば本実施形態では、同定の尤度に関する情報（数値や図形）を含む画像を、ユーザが頭に被るＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）に提示する。
【００３２】
なお、尤度に関する情報は、画像に限らず、音や光や振動や匂い等によってユーザに提示してもよい。これらの場合の提示装置には、スピーカ、ランプ、振動子、匂い発生装置等を用いればよい。
【００３３】
データ記憶部１７０は、画像入力部１６０から入力される画像、指標候補検出部１１０から入力される各々の指標の画像座標及び識別子、撮像装置１３０のカメラパラメータ等のデータを保持し、必要に応じてこれらを入出力する。
【００３４】
なお、図１に示した画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０の夫々は、独立した装置として扱ってもよいし、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することで、その機能を実現するようにしてもよい。本実施形態では、各部（画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０）は１台のコンピュータ内で実行対象となるソフトウェアとして扱う。
【００３５】
図２は画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０の夫々をソフトウェアとして実行するコンピュータの基本構成を示す図である。
【００３６】
１００１はＣＰＵで、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行うと共に、画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０の夫々のソフトウェアの実行を制御して、各部の機能を実現する。
【００３７】
１００２はＲＡＭで、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。データ記憶部１７０の機能は、ＲＡＭ１００２によって実現される。
【００３８】
１００３はＲＯＭで、一般にコンピュータの記憶プログラムや設定データなどが格納されている。１００４、１００５は夫々キーボード、マウスで、操作者は夫々を用いて、各種の指示をＣＰＵ１００１に入力することができる。
【００３９】
１００６は表示部で、ＣＲＴや液晶画面などにより構成されており、例えば、指標の同定のために表示すべきメッセージ等を表示することができる。また、提示装置１８０の機能の一部は、表示部１００６によって実現される。
【００４０】
１００７は外部記憶装置で、ハードディスクなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やソフトウェアのプログラム等を保存する。また本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。
【００４１】
１００８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。
【００４２】
１００９はＩ／Ｆで、撮像装置１３０を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、また、識別した指標に関わる情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。画像入力部１６０の機能の一部は、Ｉ／Ｆ１００９によって実現される。
【００４３】
１０１０は上述の各部を繋ぐバスである。
【００４４】
図３は、指標同定部１２０で同定された指標の同定結果の尤度を算出する処理のフローチャートであり、ＣＰＵ１００１が同定尤度算出部１４０のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。
【００４５】
ステップＳ３０００において、同定尤度算出部１４０は、指標候補検出部１１０において検出された夫々の指標候補Ｐｍの画像座標ｕＰｍと、指標同定部１２０において同定された指標Ｐの画像座標ｕＰ（同定された指標候補Ｐｍの画像座標ｕＰｍと一致している）をデータ記憶部１７０から入力する。
【００４６】
ステップＳ３０１０において、同定尤度算出部１４０は、指標Ｐから夫々の（同定された指標候補以外の）指標候補Ｐｍまでの画像座標上での距離ｄｍを算出する。すなわち、距離ｄｍを、
【００４７】
【数１】
2007064807.tif 000003
によって算出し、その最小値ｄｍｉｎを求める。
【００４８】
例えば図１において、指標Ｐに対応付けられた指標候補の識別子がｍ＝２である場合には、指標候補Ｐ２は指標Ｐそのものなので、指標Ｐから指標候補Ｐ１（偽指標Ｐ’に相当）までの画像座標上での距離ｄ１を算出すれば、それが最小値ｄｍｉｎとなる。
【００４９】
ステップＳ３０２０において、同定尤度算出部１４０は、ステップＳ３０１０で算出した距離ｄｍｉｎに基づいて、指標候補Ｐｍの中から指標Ｐを同定した結果の尤度ｌＰを算出する。例えば、距離ｄｍｉｎそのものを同定の尤度ｌＰの値とする。すなわち、同定の尤度ｌＰを、
ｌＰ＝ｄｍｉｎ    ・・・（２）
によって算出する。
【００５０】
ステップＳ３０３０において、同定尤度算出部１４０は、ステップＳ３０２０で算出した同定の尤度ｌＰをデータ記憶部１７０に出力して、本処理を終了する。
【００５１】
以上のように、本実施形態に係る指標位置計測装置及び指標位置計測方法によると、指標が配置されたユーザに指標の同定結果の尤度を提示することによって、指標が配置されたユーザが偽指標に近付き過ぎて誤同定が発生することを避けることができる。すなわち、偽指標が現実空間に存在し、指標とともに偽指標も指標候補として検出された場合であっても、偽指標に誤って同定されてしまうことを避けることができる。例えば、図９において、指標が領域９０２に近付くような挙動をすると、ユーザに警告が提示されて、ユーザが自身の移動を制約することによって誤同定を回避することができる。その結果、領域９０１と領域９０２が指標候補として検出された場合であっても、正しく同定し続けることができる。
【００５２】
なお、本実施形態では、赤外光を発光する指標を例に説明したが、赤外光に限らず、紫外光や可視光などを発光する指標を用いてもよい。その場合、指標を撮像する撮像装置としては、紫外光や可視光を撮像できる撮像装置を使用すればよい。
【００５３】
また、光を発光する指標の代わりに光を反射する指標を用いてもよい。例えば、表面に再帰性反射素材を配した指標に向かって、撮像装置の近傍から光を照射して、それを撮像装置で撮像してもよい。
【００５４】
［第２の実施形態］
本実施形態に係る指標位置計測装置は、第１の実施形態の指標位置計測装置にさらにもう１台の撮像装置を追加した構成となっている。以下、本実施形態に係る指標位置計測装置及び指標位置計測方法について説明する。
【００５５】
図４は、本実施形態に係る指標位置計測装置の構成を示す図である。なお、図１と同じ部分については同じ番号、記号を付けており、その説明を省略する。図４に示したように、本実施形態における指標位置計測装置４００は、画像入力部１６０、データ記憶部１７０、指標候補検出部４１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部４４０、情報生成部１５０、及び情報出力部１９０によって構成されており、撮像装置１３０ａ，１３０ｂ、及び提示装置１８０に接続されている。
【００５６】
現実空間中には、撮像装置１３０ａ及び１３０ｂによって撮影するための指標Ｐが配置されている。図４の例は、指標Ｐが提示装置１８０上に配置されており、また、指標Ｐと似た偽指標Ｐ’が現実空間中に存在していて、指標Ｐと偽指標Ｐ’の両方が撮像装置１３０ａ及び１３０ｂの視野内に含まれている状況を示している。
【００５７】
撮像装置１３０ａ及び１３０ｂが出力する画像（以下、これを撮像画像と呼ぶ）は、画像入力部１６０に入力される。ここで、撮像装置１３０ａ及び１３０ｂは、提示装置１８０上の指標Ｐをなるべく常に撮像可能な位置に固定して配置されている。ここで、撮像装置１３０ａ及び１３０ｂの世界座標系における位置及び姿勢は、データ記憶部１７０に既知の値として予め保持されているものとする。
【００５８】
指標候補検出部４１０は、データ記憶部１７０より撮像装置１３０ａ，１３０ｂによって撮影された撮像画像を入力し、入力した撮像画像中に撮影されている指標候補の画像座標を夫々の撮像画像中で検出し、夫々の画像座標をデータ記憶部１７０へと出力する。なお、以下では、識別番号ｉ（図４の場合にはｉ＝（ａ，ｂ））の撮像装置１３０ｉによって撮影された撮像画像上で検出された指標候補を、検出された指標候補の夫々に付けられた識別子ｍｉ（ｍｉ＝１，，，Ｍｉ）を用いて、Ｐｉｍｉと表記する。ここで、Ｍｉは撮像装置１３０ｉによって撮影された撮像画像上で検出された指標候補の数を表している。また、検出された指標候補Ｐｉｍｉの画像座標をｕＰｉｍｉと表記する。例えば図４の場合には、Ｍａ＝Ｍｂ＝２であり、画像座標ｕＰａ１ａ，ｕＰａ２ａ，ｕＰｂ１ｂ，ｕＰｂ２ｂが出力される。
【００５９】
指標候補３次元位置算出部４１５は、指標候補Ｐｍの中から指標Ｐを同定する。例えば、指標候補検出部４１０によって検出された各々の指標候補Ｐｍの画像座標（図４の例ではｕＰａ１ａ，ｕＰａ２ａ，ｕＰｂ１ｂ，ｕＰｂ２ｂ）と、夫々の撮像装置の世界座標における位置及び姿勢をデータ記憶部１７０から入力し、これらの情報を基に、エピポーラ拘束及び三角測量の原理に基づいて夫々の指標候補Ｐｍの３次元位置ｘＰｍを算出して、データ記憶部１７０に出力する。
【００６０】
指標同定部４２０は、データ記憶部１７０より夫々の指標候補Ｐｍの３次元位置ｘＰｍを入力し、それらのうち、保持されている最新の指標Ｐの３次元位置（多くの場合は、現在より一つ前の時刻（フレーム）における指標Ｐの計測位置に相当する）に最も近いものを指標Ｐであると判定する。指標同定部４２０は、さらに、同定した指標Ｐの３次元位置ｘＰをデータ記憶部１７０に出力する。この値は、当該装置の出力として、必要に応じて装置の外部にも出力される。
【００６１】
同定尤度算出部４４０は、指標候補Ｐｍの中から指標Ｐを同定した結果の尤度を算出し、データ記憶部１７０に出力する。処理の詳細は後述する。
【００６２】
なお、図４に示した画像入力部１６０、データ記憶部１７０、指標候補検出部４１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部４４０、情報生成部１５０、及び情報出力部１９０の夫々は、独立した装置として扱ってもよいし、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することで、その機能を実現するようにしてもよい。本実施形態では、各部（画像入力部１６０、データ記憶部１７０、指標候補検出部４１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部４４０、情報生成部１５０、及び情報出力部１９０）は１台のコンピュータ内で実行対象となるソフトウェアとして扱う。またこのコンピュータの基本構成は図２に示した構成とする。
【００６３】
図５は、指標同定部４２０で同定された指標の同定結果の尤度を算出する処理のフローチャートであり、ＣＰＵ１００１が同定尤度算出部４４０のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。
【００６４】
ステップＳ５０００において、同定尤度算出部４４０は、指標候補３次元位置算出部４１５において算出された夫々の指標候補Ｐｍの３次元位置ｘＰｍと、指標同定部４２０において同定された指標Ｐの３次元位置ｘＰ（同定された指標候補Ｐｍの３次元位置ｘＰｍと一致している）をデータ記憶部１７０から入力する。
【００６５】
ステップＳ５０１０において、同定尤度算出部４４０は、指標Ｐから夫々の（同定された指標候補以外の）指標候補Ｐｍまでの３次元距離Ｄｍを算出する。すなわち、距離Ｄｍを、
【００６６】
【数２】
2007064807.tif 000004
によって算出し、その最小値Ｄｍｉｎを求める。
【００６７】
例えば図４において、指標Ｐに対応する指標候補の識別子がｍ＝２である場合には、指標候補Ｐ２は指標Ｐそのものなので、指標Ｐから指標候補Ｐ１（偽指標Ｐ’に相当）までの３次元距離Ｄ１を算出すれば、それが最小値Ｄｍｉｎとなる。
【００６８】
ステップＳ５０２０において、同定尤度算出部４４０は、ステップＳ５０１０で算出した３次元距離Ｄｍｉｎに基づいて、指標候補Ｐｍの中から指標Ｐを同定した結果の尤度ｌＰを算出する。例えば、３次元距離Ｄｍｉｎそのものを同定の尤度ｌＰの値とすることができる。すなわち、同定の尤度ｌＰを、
ｌＰ＝Ｄｍｉｎ    ・・・（４）
によって算出する。
【００６９】
なお、指標候補Ｐｍと指標Ｐの３次元距離が離れている場合でも、画像座標上での距離が短い場合、すなわち撮像装置と指標Ｐと偽指標Ｐ’が３次元的にほぼ一直線上に並んでいるような場合には、同定の尤度が小さくなる。従って、画像座標上での距離も考慮して同定の尤度を算出してもよい。例えば、指標Ｐから夫々の指標候補Ｐｍまでの、夫々の撮像画像の画像座標上での距離ｄｍｉ（ｉは撮像装置の識別番号で、図４の場合にはｉ＝（ａ，ｂ））を
【００７０】
【数３】
2007064807.tif 000005
【００７１】
によって算出し、その最小値ｄｍｉｎを求めて、同定の尤度ｌＰを
ｌＰ＝Ｄｍｉｎ・ｄｍｉｎ    ・・・（６）
によって算出してもよい。
【００７２】
ステップＳ５０３０において、同定尤度算出部４４０は、ステップＳ５０２０で算出した同定の尤度ｌＰをデータ記憶部１７０に出力して、本処理を終了する。
【００７３】
以上のように、本実施形態に係る指標位置計測装置及び指標位置計測方法によっても、指標が配置されたユーザに指標の同定結果の尤度を提示することによって、指標が配置されたユーザが偽指標に近付き過ぎて誤同定が発生することを避けることができる。すなわち、偽指標が現実空間に存在し、指標とともに偽指標も指標候補として検出された場合であっても、指標が偽指標に近付くような挙動をすると、ユーザに警告が提示されるので、ユーザが自身の移動を制約することによって偽指標に誤って同定されてしまうことを避けることができる。
【００７４】
なお、本実施形態では撮像装置が２台の場合について説明したが、撮像装置は３台以上の任意の台数であってもよい。
【００７５】
［第３の実施形態］
上記の第１及び第２の実施形態における同定尤度算出部では、指標候補と指標との距離に基づいて同定の尤度を算出していた。これに対し、より簡便に、指標を観察している撮像装置の台数に基づいて同定の尤度を算出してもよい。以下、本実施形態に係る指標位置計測装置及び指標位置計測方法について説明する。本実施形態に係る指標位置計測装置は、第１の実施形態の指標位置計測装置にさらにもう３台の撮像装置を追加した構成となっている。
【００７６】
図６は、本実施形態に係る指標位置計測装置の構成を示す図である。なお、図１または図４と同じ部分については同じ番号、記号を付けており、その説明を省略する。図６に示したように、本実施形態における指標位置計測装置６００は、画像入力部１６０、データ記憶部１７０、指標候補検出部６１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部６４０、情報生成部１５０、及び情報出力部１９０によって構成されており、撮像装置１３０ａ，１３０ｂ，１３０ｃ，１３０ｄ、及び提示装置１８０に接続されている。
【００７７】
現実空間中には、撮像装置１３０ａ〜１３０ｄによって撮影するための指標Ｐが配置されている。図６の例は、指標Ｐが提示装置１８０上に配置されており、また、指標Ｐと似た偽指標Ｐ’が現実空間中に存在していて、指標Ｐと偽指標Ｐ’の両方が撮像装置１３０ａ〜１３０ｃの視野内に含まれている状況を示している。
【００７８】
撮像装置１３０ａ〜１３０ｄが出力する画像（以下、これを撮像画像と呼ぶ）は、画像入力部１６０に入力される。ここで、撮像装置１３０ａ〜１３０ｄは、提示装置１８０上の指標Ｐをなるべく常に撮像可能な位置に固定して配置されている。ここで、撮像装置１３０ａ〜１３０ｄの世界座標系における位置及び姿勢は、データ記憶部１７０に既知の値として予め保持されているものとする。
【００７９】
本実施形態に係る指標位置計測装置６００の構成は、第２の実施形態における指標位置計測装置の構成と同様であって図６に示した通りであるが、指標候補検出部６１０および同定尤度算出部６４０の機能が第２の実施形態とは異なっている。
【００８０】
指標候補検出部６１０は、データ記憶部１７０より撮像装置１３０ａ〜１３０ｄによって撮影された撮像画像を入力し、入力した撮像画像中に撮影されている指標候補の画像座標を夫々の撮像画像中で検出し、夫々の画像座標をデータ記憶部１７０へと出力する。例えば図６の場合には、指標候補の数Ｍａ＝Ｍｂ＝Ｍｃ＝２，Ｍｄ＝０であり、画像座標ｕＰａ１ａ，ｕＰａ２ａ，ｕＰｂ１ｂ，ｕＰｂ２ｂ，ｕＰｃ１ｃ，ｕＰｃ２ｃが出力される。
【００８１】
同定尤度算出部６４０は、指標候補Ｐｍの中から指標Ｐを同定した結果の尤度を算出し、データ記憶部１７０に出力する。本実施形態では、指標を視野に含む撮像装置の台数に基づいて同定の尤度を算出する。例えば、指標を視野に含む撮像装置の台数ｎＰそのものを同定の尤度ｌＰの値とする。すなわち、
ｌＰ＝ｎＰ    ・・・（７）
によって算出する。
【００８２】
なお、図６に示した画像入力部１６０、データ記憶部１７０、指標候補検出部６１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部６４０、情報生成部１５０、及び情報出力部１９０の夫々は、独立した装置として扱ってもよいし、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することで、その機能を実現するようにしてもよい。本実施形態では、各部（画像入力部１６０、データ記憶部１７０、指標候補検出部６１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部６４０、情報生成部１５０、及び情報出力部１９０）は１台のコンピュータ内で実行対象となるソフトウェアとして扱う。またこのコンピュータの基本構成は図２に示した構成とする。
【００８３】
以上のように、本実施形態に係る指標位置計測装置及び指標位置計測方法によっても、指標が配置されたユーザに指標の同定結果の尤度を提示することによって、指標が配置されたユーザが撮像装置の視野から外れて指標の位置計測が不可能となり同定に失敗することを避けることができる。すなわち、ユーザが撮像装置の視野から外れるような挙動をするとユーザに警告が提示されるので、ユーザが自身の移動を制約することによって同定に失敗してしまうことを避けることができる。
【００８４】
なお、本実施形態では撮像装置が４台の場合について説明したが、撮像装置は２台以上の任意の台数であってもよい。
【００８５】
（変形例１）
上記の実施形態の夫々において、撮像装置が固定されている場合を想定していたが、撮像装置が移動する場合であっても，撮像装置の位置姿勢の計測が可能であれば，本発明を好適に適用可能である。
【００８６】
（変形例２）
上記の実施形態の夫々において、指標が１つの場合を想定していたが、指標が複数の場合であっても本発明を好適に適用可能である。例えば指標が２つの場合、すなわち第２の指標Ｑが第２のユーザの提示装置上に配置されていて、撮像装置１３０の視野内に含まれている状況となる。この場合の指標位置計測は、上記の実施形態の夫々における計測処理を夫々のユーザに対して独立に行えばよいだけなので、上記の実施形態の夫々における指標位置計測装置の構成と同様となる。
【００８７】
本変形例によれば、［従来技術３］で利用されていたような発光タイミングの制御機構や高速度カメラは不要となるため、コストを低く抑えることができる。
【００８８】
（変形例３）
上記の実施形態の夫々において、同定の尤度は指標の現在の位置に基づいて算出していたが、指標の未来の位置をカルマンフィルタ等によって予測し，その予測位置に基づいて同定尤度を算出してもよい。この場合には、より高い精度で誤同定を回避することが可能となる。
【００８９】
本変形例によれば、撮像装置と指標の間に遮蔽物（例えばユーザやＨＭＤや情景中の物体）が入ることが予測されるような場合にも、予めユーザに警告することで、誤同定を回避することができる。
【００９０】
（変形例４）
同定の尤度が所定値よりも大きな領域をデータ記憶部１７０に記憶しておき、その領域に関する情報も提示装置に提示すれば、より確実に誤同定を回避することができる。例えば、ユーザの現在位置に対する上記領域の方向を示す矢印画像をＨＭＤに表示して、同定の尤度がより大きな領域にユーザが移動するように促すことによって、誤同定を回避することができる。
【００９１】
（変形例５）
上記の実施形態の夫々において、同定の尤度に関わる情報はユーザに提示していたが、ユーザ以外（例えばオペレータ）に提示してもよい。この場合には、ユーザが提示装置を装着したりユーザの近傍に提示装置を配置したりする必要は無い。
【００９２】
［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９４】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９５】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００９６】
【図１】第１の実施形態に係る指標位置計測装置の概略構成を示す図である。
【図２】指標位置計測装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。
【図３】第１の実施形態における、指標の誤検出を防止する処理を説明するフローチャートである。
【図４】第２の実施形態に係る指標位置計測装置の概略構成を示す図である。
【図５】第２の実施形態における、指標の誤検出を防止する処理を説明するフローチャートである。
【図６】第３の実施形態に係る指標位置計測装置の概略構成を示す図である。
【図７】従来技術で利用されている指標の例である。
【図８】従来技術３および第１の実施形態における利用場面を模式的に表す模式図である。
【図９】従来技術３および第１の実施形態における処理を説明するための、指標および指標と似た明度の領域が画像に捉えられている様子を表す模式図である。
【図１】
2007064807.tif 000006
【図２】
2007064807.tif 000007
【図３】
2007064807.tif 000008
【図４】
2007064807.tif 000009
【図５】
2007064807.tif 000010
【図６】
2007064807.tif 000011
【図７】
2007064807.tif 000012
【図８】
2007064807.tif 000013
【図９】
2007064807.tif 000014