(57)【要約】【課題】  現実空間に存在する現実物体のうち仮想物体が重畳して表示される現実物体をユーザに認識させるための技術を提供すること。【解決手段】  指標が付された現実物体を含む撮像画像に基づいて該指標に係る情報を取得し、現実物体のサムネイル画像を取得し、情報と、指標が付された現実物体のサムネイル画像と、を含む現実物体情報をメモリに保持する。【選択図】  図２
2020135223.tif 000002
【特許請求の範囲】
【請求項１】
指標が付された現実物体を含む撮像画像に基づいて、該指標に係る情報を取得する第１の取得手段と、
前記現実物体のサムネイル画像を取得する第２の取得手段と、
前記情報と、前記指標が付された現実物体のサムネイル画像と、を含む現実物体情報をメモリに保持する保持手段と
を備えることを特徴とする情報処理装置。
【請求項２】
更に、前記メモリに保持されている情報を表示する表示制御手段を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２の取得手段は、前記撮像画像に基づいて前記現実物体のサムネイル画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記第２の取得手段は、前記撮像画像を撮像した撮像装置とは異なる撮像装置によって撮像された前記現実物体の撮像画像に基づいて前記現実物体のサムネイル画像を生成することを特徴とする請求項１または２に記載の情報処理装置。
【請求項５】
前記第２の取得手段は、前記指標と対応付けられている前記現実物体のサムネイル画像を取得することを特徴とする請求項１または２に記載の情報処理装置。
【請求項６】
前記第２の取得手段は、前記撮像画像を含む複数の撮像画像を取得し、該複数の撮像画像のうち１つに基づいて前記現実物体のサムネイル画像を取得することを特徴とする請求項１または２に記載の情報処理装置。
【請求項７】
更に、
前記サムネイル画像を加工する加工手段を備えることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記現実物体情報は、前記現実物体に係る情報を含むことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記現実物体情報は、前記サムネイル画像がトラッキング対象となっているのか否かを示す情報を含むことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
現実物体の位置姿勢を計測するために該現実物体に付されたセンサの識別子を取得する第１の取得手段と、
前記現実物体のサムネイル画像を取得する第２の取得手段と、
前記センサの識別子と、前記現実物体のサムネイル画像と、を含む現実物体情報をメモリに保持する保持手段と
を備えることを特徴とする情報処理装置。
【請求項１１】
前記第２の取得手段は、前記現実物体の撮像画像と、該撮像画像に仮想物体の画像が重畳された合成画像と、を前記サムネイル画像として取得することを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の第１の取得手段が、指標が付された現実物体を含む撮像画像に基づいて、該指標に係る情報を取得する第１の取得工程と、
前記情報処理装置の第２の取得手段が、前記現実物体のサムネイル画像を取得する第２の取得工程と、
前記情報処理装置の保持手段が、前記情報と、前記指標が付された現実物体のサムネイル画像と、を含む現実物体情報をメモリに保持する保持工程と
を備えることを特徴とする情報処理方法。
【請求項１３】
コンピュータを、請求項１乃至１１の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の位置姿勢を求めるための技術に関するものである。
【背景技術】
【０００２】
現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術であり、組み立て作業時に作業手順を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待される。
【０００３】
これらのシステムを利用しての評価項目の例として、工具を目的の部品以外に干渉させずに作業が行えるかどうかを評価するというものがある。このような評価を行うためのシステムでは、システム体験者が仮想物体（例えば工具）を掴んで動かすという機能が求められることがある。その実現方式として、掴んで動かせる現実物を用意し、その現実物に重畳して仮想物体を表示することで、あたかも仮想物体を掴んで動かしているような感覚をシステム体験者に感じさせる方式がある。
【０００４】
現実物の動きに合わせて仮想物体を重畳して表示するためには、まず、仮想空間と現実空間との間に幾何学的な整合性が取れている必要がある。更に、現実物の現実空間における位置姿勢を求めることにより、仮想物体の位置姿勢を決定する必要がある。
【０００５】
この実現方法としてビデオシースルー型の情報処理装置がある。これは、ビデオカメラで現実世界を撮影し、撮影した画像に仮想物体を重畳した合成画像をリアルタイムにディスプレイ等の表示部に表示させることで観察者に提示する装置である。一般にこのような情報処理装置としては、背面にビデオカメラを有するタブレット端末と呼ばれる携帯型情報端末や、頭部搭載型のビデオシースルー型ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）が用いられる。
【０００６】
ビデオシースルー型ＨＭＤを利用するＭＲではＨＭＤに内蔵されているカメラから画像が入力される毎に、画像撮影時のカメラの現実空間における位置姿勢を計測し、それを基に仮想空間を構築することで現実空間と仮想空間との幾何学的な整合性を取っている。更に、得られたカメラの位置姿勢と現実物との相対位置姿勢を解析することで、現実空間における現実物の位置姿勢を求めることが可能となる。これは、カメラとの相対位置姿勢を解析可能にする指標が１つ以上付されている現実物を用意し、カメラで指標を含む画像を取得し、指標の画像座標値を算出することで実現可能である。指標は、情報処理装置による画像処理によって画像中の領域を一意に特定でき、三次元空間中の座標を求められるものを指す。前述のカメラや仮想物体を重畳する現実物のような現実空間における位置姿勢を計測する対象を以下、トラッキング物体と呼称する。
【０００７】
特許文献１には、複数の指標を使用して仮想物体を適切に表示するための技術が記載されている。特許文献１に記載の技術では、各指標に対して、その指標を使用して位置姿勢を決定する仮想物体と、指標位置に対して仮想物体を表示する相対位置姿勢を予め表示情報として記憶しておき、その情報に基づいて仮想物体を表示している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１４−２０３３８２号公報
【非特許文献】
【０００９】
【非特許文献１】Interactive multi-marker calibration for augumented reality applications, G. Baratoff, A. Neubeck and H. Regenbrecht, Proc.ISM AR2002, 2002
【発明の概要】
【発明が解決しようとする課題】
【００１０】
現実空間に複数のトラッキング物体が存在する場合、システム体験者は、仮想物体と対応付けされているトラッキング物体がどのトラッキング物体であるかを認識する必要がある。
【００１１】
特許文献１に記載の技術では上記の通り、各指標に対して、その指標を使用して位置姿勢を決定する仮想物体と、指標位置に対して仮想物体を表示する相対位置姿勢を予め表示情報として記憶しておき、その情報に基づいて仮想物体を表示している。図１（Ａ）に示すように、現実空間に複数のトラッキング物体１００〜１０２が存在し、特許文献１に倣い、図１（Ｂ）のように仮想物体を表示するための表示情報が表示されていたとする。図１（Ｂ）の表示情報は指標ごとに表示されるが、指標の１１０〜１１５は、情報処理装置にとって一意に同定可能な特徴を付与されたものであるため、システム体験者がトラッキング物体を認識するための情報としては適さない。即ち、システム体験者は仮想物体が重畳して表示されるトラッキング物体がトラッキング物体１００〜１０２のうちいずれであるかを判断することは困難である。本発明では、現実空間に存在する現実物体のうち仮想物体が重畳して表示される現実物体をユーザに認識させるための技術を提供する。
【課題を解決するための手段】
【００１２】
本発明の一様態は、指標が付された現実物体を含む撮像画像に基づいて、該指標に係る情報を取得する第１の取得手段と、前記現実物体のサムネイル画像を取得する第２の取得手段と、前記情報と、前記指標が付された現実物体のサムネイル画像と、を含む現実物体情報をメモリに保持する保持手段とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明の構成によれば、現実空間に存在する現実物体のうち仮想物体が重畳して表示される現実物体をユーザに認識させるための技術を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】従来技術の課題を説明するための図。
【図２】システムの機能構成例を示すブロック図。
【図３】情報処理装置２００のハードウェア構成例を示すブロック図。
【図４】表示制御部２０７による表示制御例を示す図。
【図５】情報処理装置２００の動作を示すフローチャート。
【図６】システムの機能構成例を示すブロック図。
【図７】情報処理装置２００の動作を示すフローチャート。
【図８】システムの機能構成例を示すブロック図。
【図９】情報処理装置２００の動作を示すフローチャート。
【図１０】システムの機能構成例を示すブロック図。
【図１１】情報処理装置２００の動作を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１６】
［第１の実施形態］
先ず、本実施形態に係るシステムの機能構成例について、図２のブロック図を用いて説明する。図２に示す如く、本実施形態に係るシステムは、撮像装置２１０と、外部記憶装置２３０と、情報処理装置２００と、表示装置２２０と、を有する。
【００１７】
本実施形態では、複数の指標が付されたトラッキング物体（例えば図１に示すようなトラッキング物体１００，１０１，１０２）が現実空間中に１つ以上配置されており、そのうち１つ以上が撮像装置２１０の撮像範囲に収まっているものとする。トラッキング物体は上記の通り、複数の指標が付されている現実物体であり、その形状や材質などは特定の形態に限らない。また、トラッキング物体に付された指標のトラッキング物体座標系（例えばトラッキング物体上の１点を原点とし、該原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系）における位置姿勢は既知であるものとする。
【００１８】
先ず、撮像装置２１０について説明する。撮像装置２１０は、現実空間の動画像を撮像する撮像装置であっても良いし、静止画像を定期的もしくは不定期的に撮像する撮像装置であっても良い。撮像装置は、撮像した画像（動画像を撮像したのであれば各フレームの画像、静止画像を撮像したのであれば該静止画像）を撮像画像として出力する。撮像装置２１０は、単体の装置であっても良いし、ＨＭＤなどに装着（搭載）されている装置であっても良い。また撮像装置２１０は、トラッキングに特化したモーションキャプチャを行うためのカメラであっても良い。
【００１９】
次に情報処理装置２００について説明する。取得部２０１は、撮像装置２１０から出力された撮像画像と、該撮像画像を撮像したときの撮像装置２１０の位置姿勢と、を取得する。
【００２０】
撮像画像を撮像したときの撮像装置２１０の位置姿勢の取得方法は特定の取得方法に限らない。例えば、位置姿勢（配置位置姿勢）が既知の指標（トラッキング物体に付されている指標とは異なる）が配置された現実空間の撮像画像が撮像装置２１０から出力されたとする。この場合、取得部２０１は、該撮像画像中の指標の画像座標と、該指標の配置位置姿勢と、を用いて撮像装置２１０の位置姿勢を求める。この技術は周知の技術であるため、この技術に係る説明は省略する。また例えば、撮像装置２１０に位置姿勢センサが取り付けられている場合には、取得部２０１は、この位置姿勢センサから出力された計測値に基づいて撮像装置２１０の位置姿勢を求める。
【００２１】
取得部２０３は、外部記憶装置２３０に保存されている「トラッキング物体に付されている指標に係る情報」である指標情報を取得する。指標情報は、トラッキング物体に付されている指標毎に存在する。指標には、例えば、内部に自身の識別子を表すパターンを有し且つ一意に同定可能である四角形指標や、複数視点の画像の輝度勾配から特定された領域または三次元位置の既知な複数の点（点指標）、などがある。着目指標の指標情報は、例えば、着目指標に固有の識別子、着目指標の形状、着目指標のサイズ、着目指標の特徴（パターン、輝度等、着目指標の種類に応じた特徴）、着目指標が付されているトラッキング物体に固有の識別子、などを含む。また着目指標の指標情報は、着目指標のトラッキング物体座標系における位置姿勢を含む。
【００２２】
同定部２０４は、取得部２０１が取得した撮像画像中に写っている指標の同定を行う。指標の同定では、撮像画像中におけるそれぞれの指標の画像座標を特定する特定処理と、外部記憶装置２３０に保存されているそれぞれの指標の指標情報のうち撮像画像中に写っているそれぞれの指標に対応する指標情報を特定する特定処理とが行われる。後者の特定処理では、例えば、指標として上記の四角形指標を用いた場合、撮像画像中の指標のパターンを認識することで該指標の識別子を特定し、該識別子を含む指標情報を該指標の指標情報として特定する。
【００２３】
取得部２０２は、トラッキング物体のサムネイル画像を取得する。トラッキング物体のサムネイル画像を取得するための方法は特定の方法に限らない。例えば、同定部２０４が特定した撮像画像中の指標の指標情報に含まれているトラッキング物体の識別子と予め関連づけて外部記憶装置２３０に保存されている該トラッキング物体の画像を該トラッキング物体のサムネイル画像として取得しても良い。また例えば、撮像画像において、同じトラッキング物体の識別子を含む指標情報の指標を含む領域内の画像を、該トラッキング物体のサムネイル画像として取得するようにしても良い。いずれにしても、本実施形態では、トラッキング物体のサムネイル画像は、該トラッキング物体の実写画像であり、該サムネイル画像には該トラッキング物体に固有の識別子が対応付けられているものとする。そして取得部２０２は、取得したサムネイル画像を保持部２０６に登録する。
【００２４】
算出部２０５は、取得部２０１が取得した撮像装置２１０の位置姿勢と、同定部２０４が求めた指標の画像座標と、を用いて、撮像画像中のそれぞれの指標の指標幾何情報を求める。
【００２５】
例えば、同じトラッキング物体の識別子を含む指標情報の指標のグループ毎（トラッキング物体ごと）に、撮像装置２１０の位置姿勢と、該グループに属する指標の画像座標と、を用いて、該グループに属に属する指標の指標幾何情報を求める。
【００２６】
本実施形態では、着目トラッキング物体に付されている指標のうち基準指標（着目トラッキング物体に付されている指標のうち任意の１つ）については、該基準指標の位置姿勢を、該基準指標の指標幾何情報として求める。また本実施形態では、着目トラッキング物体に付されている指標のうち基準指標以外の非基準指標については、該基準指標の位置姿勢に対する相対的な位置姿勢を、該非基準指標の指標幾何情報として求める。
【００２７】
ここで、指標間の相対位置姿勢を算出する場合、基準座標系（例えば現実空間の１点を原点とし、該原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系）における指標の位置及び姿勢の計測が必要になる。この計測は、巻尺や分度器を用いた手作業や測量器によって行うことが可能であるが、精度や手間の問題から、画像を利用した計測が行われている。点指標の位置計測には、バンドル調整法と呼ばれる方法が適用可能である。バンドル調整法は、点指標を撮像装置によって多数撮影し、画像を撮影した撮像装置の位置及び姿勢と、点指標の位置を求める方法である。指標が実際に画像上で観察される投影位置と、撮像装置の位置及び姿勢と指標の位置から計算される投影位置と、の誤差（投影誤差）が最小化されるように繰返し演算をすることによって求める。この際、点指標の現実空間中における位置、点指標の画像上での投影点、撮像装置の視点の３点が同一直線上に存在するという拘束条件を利用する。また、上記の非特許文献１では、３次元空間中に配置された多数の四角形指標の位置及び姿勢を計測する方法が開示されている。３次元空間中に配置された多数の四角形指標の画像を多数撮影し、投影誤差が最小になるように繰返し演算によって各画像を撮影した撮像装置２１０の位置及び姿勢と、四角形指標の位置及び姿勢を求めている。
【００２８】
なお、非基準指標の指標幾何情報は、基準指標の位置姿勢に対する相対的な位置姿勢に限らない。例えば、非基準指標の指標幾何情報は、基準指標の位置に対する相対的な位置であっても良いし、基準指標の姿勢に対する相対的な姿勢であっても良い。
【００２９】
取得部２０８は、算出部２０５が求めた指標の指標幾何情報を、取得部２０２によって保持部２０６に登録されているサムネイル画像のうち、該指標の指標情報に含まれている識別子と対応付けられているサムネイル画像と対応付けて保持部２０６に登録する。この対応付けにより、同じトラッキング物体に付されている指標の指標幾何情報は、該トラッキング物体のサムネイル画像と対応付けられることになる。１つのトラッキング物体について保持部２０６に登録されている指標幾何情報およびサムネイル画像のセットを以下ではトラッキング物体情報（現実物体情報）と称する。
【００３０】
なお、トラッキング物体情報が含む情報は、指標幾何情報およびサムネイル画像に限らない。例えば、トラッキング物体を識別するための名称、トラッキングを行うか否かを示す情報（フラグ情報）、トラッキング物体の登録日時や情報の更新日時がトラッキング物体情報に含まれていても良い。また、トラッキング物体に重畳する仮想物体の情報がトラッキング物体情報に含まれていても良い。本実施形態の場合、フラグ情報は、対応するトラッキング物体がトラッキング対象となっているのか否か（位置姿勢が測定されて仮想物体が重畳される対象となっているのか否か）を表すものであり、トラッキング物体ごとにトラッキング物体情報に含まれている。
【００３１】
表示制御部２０７は、保持部２０６に登録されているトラッキング物体情報に含まれている一部若しくは全部の情報を対応付けてを表示装置２２０に表示する。トラッキング物体情報の表示形態は特定の表示形態に限らない。例えば図４（Ａ）に示す如くトラッキング物体情報に含まれているトラッキング物体の識別子（ＩＤ）、サムネイル画像、トラッキング物体の名称（トラッキング物体名）、トラッキングを行うか否かを示すフラグ情報（トラッキング）を表示しても良い。また図４（Ｂ）に示す如く、トラッキング物体の三次元位置姿勢が俯瞰的に確認できるビュー上で、トラッキング物体の識別子（ＩＤ＝１）、サムネイル画像、トラッキング物体名、トラッキングを行うか否かを示すフラグ情報（ＯＮ）を表示しても良い。また、トラッキング物体情報に含まれている全ての情報を表示対象としなくても良く、表示対象をユーザが操作部を操作することで選択できるようにしても良い。制御部２９９は、情報処理装置２００が有する各機能部の動作制御を行う。
【００３２】
次に、表示装置２２０について説明する。表示装置２２０は、液晶画面やタッチパネル画面を有し、情報処理装置２００による処理結果を画像や文字などでもって表示することができる。また、表示装置２２０がタッチパネル画面を有している場合、該表示装置２２０は、ユーザからの操作入力を受け付けることができる。また、表示装置２２０は上記の撮像装置２１０と一体化させてＨＭＤを構成しても良い。
【００３３】
次に、情報処理装置２００のハードウェア構成例について、図３のブロック図を用いて説明する。なお、図３に示した構成は、情報処理装置２００に適用可能なハードウェア構成の一例に過ぎず、適宜変更／変形が可能である。
【００３４】
ＣＰＵ３０１は、ＲＡＭ３０３やＲＯＭ３０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ３０１は、情報処理装置２００全体の動作制御を行うと共に、情報処理装置２００が行うものとして説明する各処理を実行もしくは制御する。以下では図２に示した情報処理装置２００の各機能部（保持部２０６を除く）を処理の主体として説明するが、実際には、該機能部の機能をＣＰＵ３０１に実行させるためのコンピュータプログラムをＣＰＵ３０１が実行することで、該機能部の機能を実現させる。これは、図６，８，１０において保持部以外の機能部についても同様である。
【００３５】
ＲＯＭ３０２には、情報処理装置２００の設定データや起動プログラムなどが格納されている。ＲＡＭ３０３は、外部記憶装置２３０やＲＯＭ３０２からロードされたコンピュータプログラムやデータを格納するためのエリア、入力Ｉ／Ｆ３０４を介して撮像装置２１０から取得した撮像画像を格納するためのエリア、を有する。さらにＲＡＭ３０３は、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ３０３は、各種のエリアを適宜提供することができる。
【００３６】
入力Ｉ／Ｆ３０４は撮像装置２１０を接続するためのもので、撮像装置２１０から出力された撮像画像は入力Ｉ／Ｆ３０４を介してＲＡＭ３０３や外部記憶装置２３０に保存される。外部記憶装置２３０はバス３００に接続されている。
【００３７】
出力Ｉ／Ｆ３０５は表示装置２２０を接続するためのもので、情報処理装置２００から出力される情報（例えば図４（Ａ）や図４（Ｂ）に示したＧＵＩ（グラフィカルユーザインターフェース））は出力Ｉ／Ｆ３０５を介して表示装置２２０に出力される。
【００３８】
操作部３９９は、キーボード、マウス、タッチパネル画面などのユーザインターフェースである。ユーザは操作部３９９を操作することで各種の指示をＣＰＵ３０１に対して入力することができる。なお、図２の保持部２０６は、ＲＡＭ３０３や外部記憶装置２３０などのメモリ装置によって実装される。
【００３９】
情報処理装置２００の動作について、図５のフローチャートに従って説明する。ステップＳ５００では、制御部２９９は、トラッキング物体の識別子や名称など、トラッキング物体に係る情報を取得する。例えばユーザが操作部３９９や表示装置２２０が有するタッチパネル画面を操作して入力したトラッキング物体に係る情報を取得する。
【００４０】
ステップＳ５０１では、制御部２９９は、撮像装置２１０による撮像の開始指示を受け付ける。ユーザが操作部３９９を操作して撮像の開始指示を入力し、制御部２９９が該開始指示を検知すると、処理はステップＳ５０２に進む。一方、制御部２９９は、ユーザが操作部３９９を操作して撮像の終了指示（指標幾何情報の生成開始指示）を入力し、制御部２９９が該終了指示を検知すると、処理はステップＳ５０４に進む。
【００４１】
ステップＳ５０２では、取得部２０１は、撮像装置２１０から出力された撮像画像と、該撮像画像を撮像したときの撮像装置２１０の位置姿勢と、を取得する。そしてステップＳ５０３では、取得部２０３は、外部記憶装置２３０に保存されている指標情報を取得する。そして同定部２０４は、ステップＳ５０２で取得部２０１が取得した撮像画像中に写っている指標の同定を行うことで、撮像画像中におけるそれぞれの指標の画像座標と、該指標に対応する指標情報と、を特定する。そして処理はステップＳ５０１に戻る。ステップＳ５０１〜Ｓ５０３の処理を繰り返すことで、各撮像画像に対する、該撮像画像を撮像したときの撮像装置２１０の位置姿勢、該撮像画像中におけるそれぞれの指標の画像座標、該撮像画像中におけるそれぞれの指標の指標情報、のセットを取得する。
【００４２】
一方、ステップＳ５０４では、算出部２０５は、上記のセットを用いて、撮像画像中のそれぞれの指標の指標幾何情報を求める。そしてステップＳ５０５では、取得部２０２は、トラッキング物体のサムネイル画像を取得する。そして取得部２０２は、取得したサムネイル画像を保持部２０６に登録する。
【００４３】
ステップＳ５０６では取得部２０８は、算出部２０５が求めた指標の指標幾何情報を、該指標の指標情報に含まれている識別子と対応付けられているサムネイル画像と対応付けて保持部２０６に登録する。なお、指標の指標幾何情報に、該指標の指標情報を含めても良い。
【００４４】
そして、ステップＳ５０７では、表示制御部２０７は、ステップＳ５０６で取得部２０８によって保持部２０６に登録されたトラッキング物体情報を表示装置２２０に表示する。
【００４５】
このように、本実施形態によれば、ユーザがトラッキング物体を認識するための情報として、指標が付されたトラッキング物体の画像を、該トラッキング物体に係る情報と共に表示することができる。これにより、ユーザが、現実空間に複数存在するトラッキング物体のうち仮想空間と対応付けがなされているトラッキング物体がいずれであるかを認識可能となる。
【００４６】
なお、本実施形態では、図５のフローチャートに従った処理の中でトラッキング物体のサムネイル画像の登録を行ったが、トラッキング物体のサムネイル画像の登録タイミングは図５のフローチャートに示したタイミングに限らない。例えば、登録後に編集／更新しても良いし、指標幾何情報の登録後に後からサムネイル画像を該指標幾何情報と対応付けて登録するようにしても良い。
【００４７】
＜変形例１＞
第１の実施形態では、撮像画像や予め撮像した実写画像をトラッキング物体のサムネイル画像として利用したが、トラッキング物体のサムネイル画像として利用可能な画像はこれらに限らない。
【００４８】
例えば、第１の実施形態において取得したサムネイル画像を、トラッキング物体が確認しやすいように加工したものを改めてサムネイル画像としても良い。サムネイル画像の加工方法については特定の加工方法に限らず、トラッキング物体が撮像されている領域を含む最小矩形にしても良いし、トラッキング物体以外の背景領域を単色で塗りつぶしても良い。その場合、取得部２０２は、撮像画像においてトラッキング物体の領域を検出し、ユーザによる操作もしくは取得部２０２による処理でもって加工されたサムネイル画像は保持部２０６に登録される。
【００４９】
このように、トラッキング物体が確認しやすいようにサムネイル画像を加工することで、撮像画像中にトラッキング物体以外の物体が撮像されていた場合でもトラッキング物体を認識できるようになる。
【００５０】
＜変形例２＞
第１の実施形態では、指標の同定を行う対象となる撮像画像を撮像した撮像装置と、サムネイル画像の生成元となる撮像画像を撮像した撮像装置と、が同じである例を説明したが、これに限らない。指標の同定が可能となる撮像画像、サムネイル画像が生成できる撮像画像、が取得できるのであれば、それぞれの撮像画像を撮像した撮像装置は同一の撮像装置に限らない。
【００５１】
その場合、情報処理装置２００には、撮像装置２１０とは異なる別の撮像装置を接続する。そして取得部２０２は、撮像装置２１０からの撮像画像ではなく、該撮像装置２１０とは別の別の撮像装置からの撮像画像に基づいてトラッキング物体のサムネイル画像を生成すればよい。
【００５２】
このように、指標の同定を行う対象となる撮像画像を撮像した撮像装置が、トラッキング物体を検出するための撮像画像を撮像する撮像装置には向かないような場合であっても、トラッキング物体を確認できるサムネイル画像を生成することができるようになる。
【００５３】
［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、トラッキング物体のサムネイル画像の候補を複数収集し、そのうち１つを選定する。
【００５４】
本実施形態に係るシステムの機能構成例について、図６のブロック図を用いて説明する。取得部６００は、取得部２０１が取得した撮像画像のうちトラッキング物体が写っている撮像画像を、サムネイル候補画像として取得する。選定部６０１は、取得部６００が取得したサムネイル候補画像のうちサムネイル画像として利用するものを選定し、該選定したサムネイル候補画像を取得部２０２に入力する。
【００５５】
本実施形態に係る情報処理装置２００の動作について、図７のフローチャートに従って説明する。ステップＳ７００では、取得部６００は、取得部２０１が取得した撮像画像のうちトラッキング物体が写っている撮像画像、つまり、同定部２０４が指標の同定に利用した撮像画像を、サムネイル候補画像として取得する。
【００５６】
なお、サムネイル候補画像は同定部２０４が指標の同定に利用した撮像画像に限らない。例えば、パターンマッチングやＤｅｅｐ Ｌｅａｒｎｉｎｇをはじめとする機械学習を用いた認識処理により撮像画像から認識したトラッキング物体の領域をサムネイル候補画像としても良い。また、サムネイル候補画像はユーザが操作部３９９を操作することで選定しても良い。例えば、取得部２０１が取得した撮像画像を表示装置２２０に表示し、ユーザはトラッキング物体が写っている撮像画像が表示装置２２０の表示画面に表示されたときに操作部３９９を操作して取得指示を入力する。取得部６００はこの取得指示を検知すると、そのタイミングで表示装置２２０の表示画面に表示されている撮像画像をサムネイル候補画像として取得する。
【００５７】
次に、ステップＳ７０１では、選定部６０１は、取得部６００が取得したサムネイル候補画像から、トラッキング物体を確認するのに適したものをサムネイル画像として選定する。
【００５８】
サムネイル画像の選定方法は、トラッキング物体が認識できる画像を選定する手法であれば特定の選定方法に限らない。例えば、トラッキング物体の領域を特定し、その領域が画像の端部に接していないもの（画像中でトラッキング物体が見切れていないもの）を選定する方法であっても良い。また、サムネイル候補画像を表示装置２２０の表示画面に一覧表示し、その中からユーザが操作部３９９を操作して選択するようにしても良い。更に、すでにほかのトラッキング物体のサムネイル画像が登録されている場合、そのサムネイル画像の画像特徴との類似度が低いものを選定しても良い。画像特徴の類似度を取得する方法は、ＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）やＯＲＢ（Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ）のような特徴点マッチングでもよい。更に、Ｄｅｅｐ Ｌｅａｒｎｉｎｇをはじめとする機械学習を使用する方法であっても良い。
【００５９】
なお、サムネイル画像をどのような選定方法で選定したとしても、そのサムネイル画像がどのトラッキング物体のサムネイル画像であるのかを特定（認識）する必要があり、選定したサムネイル画像には、対応するトラッキング物体の識別子が対応付けられる。
【００６０】
このように、本実施形態によれば、複数のサムネイル候補画像からサムネイル画像を選定するので、トラッキング物体を確認するのに適した画像をＧＵＩ上に表示することが可能となる。これにより、トラッキング物体の情報とトラッキング物体とを紐づけて認識することがより容易になる。更に、一意に決めた画像をサムネイル画像とした場合、トラッキング物体の指標幾何情報とサムネイル画像との対応に食い違いが出ることがある。しかし本実施形態によれば、指標の同定に利用した撮像画像をサムネイル画像にすることで、その食い違いを防ぐことができる。
【００６１】
［第３の実施形態］
第１，２の実施形態では、トラッキング物体には指標が付されていた。これは、トラッキング物体の位置姿勢の計測を目的としたものである。本実施形態では、同じ目的のために、トラッキング物体には指標の代わりに磁気レシーバを取り付ける。
【００６２】
本実施形態に係るシステムの機能構成例について、図８のブロック図を用いて説明する。磁界発生装置８００は、自身の周囲に磁界を発生させる装置である。トラッキング物体８１０には磁気レシーバ８１１が取り付けられている。磁気レシーバ８１１は、磁界発生装置８００が発する磁場において、磁気レシーバ８１１自身の位置姿勢に応じた磁気の変化を検知し、該検知した結果を示す信号を情報処理装置２００に入力する。
【００６３】
取得部８２０は、磁気レシーバ８１１からの信号を受けると、該信号に基づいて世界座標系における磁気レシーバ８１１の位置姿勢（トラッキング物体の位置姿勢）を求める。世界座標系は、磁界発生装置８００の位置姿勢に応じて決まる座標系であり、例えば磁界発生装置８００の位置を原点とし、該原点で直交する３軸をそれそれｘ軸、ｙ軸、ｚ軸とする座標系である。また取得部８２０は、磁気レシーバ８１１からの信号に含まれている「磁気レシーバ８１１に固有の識別子」を取得し、該識別子と、磁気レシーバ８１１の位置姿勢（トラッキング物体の位置姿勢）と、を対応付けて保持部８２２に登録する。
【００６４】
生成部８２１は、取得部２０１が取得した撮像画像にトラッキング物体８１０が含まれている場合には、該撮像画像をトラッキング物体８１０のサムネイル画像とする。また生成部８２１は、この撮像画像を認識することで、トラッキング物体ごとに予め設定されている識別子のうちトラッキング物体８１０の識別子を特定する。そして生成部８２１は、トラッキング物体８１０のサムネイル画像と、トラッキング物体８１０の識別子と、を対応付けて保持部８２２に登録する。
【００６５】
保持部８２２には、磁気レシーバ８１１の識別子と磁気レシーバ８１１の位置姿勢とが対応付けて登録され、トラッキング物体８１０のサムネイル画像と、トラッキング物体８１０の識別子と、が対応付けて登録されている。ここで、保持部８２２には予め、トラッキング物体の識別子と、該トラッキング物体に付されている磁気レシーバの識別子と、が対応付けて登録されている。よって保持部８２２には、磁気レシーバ８１１の識別子、磁気レシーバ８１１の位置姿勢、トラッキング物体８１０のサムネイル画像、トラッキング物体８１０の識別子、が対応付けてトラッキング物体情報として登録されていることになる。
【００６６】
トラッキング物体情報は、サムネイル画像と磁気レシーバ８１１の識別子のみに関わらず、第１の実施形態と同様に、その他の情報を含むようにしても良い。例えばトラッキング物体情報は、トラッキング物体の情報を保持しても良い。例えば、トラッキング物体情報は、トラッキング物体を識別するための名称、トラッキングを行うか否かの情報、トラッキング物体の登録日時や情報の更新日時を含むようにしても良い。更にトラッキング物体情報は、トラッキング物体に重畳する仮想物体を含んでも良い。
【００６７】
本実施形態に係る情報処理装置２００の動作について、図９のフローチャートに従って説明する。ステップＳ９００では、取得部８２０は、磁気レシーバ８１１からの信号を受けると、該信号に基づいて世界座標系における磁気レシーバ８１１の位置姿勢（トラッキング物体の位置姿勢）を求める。また取得部８２０は、磁気レシーバ８１１からの信号に含まれている「磁気レシーバ８１１に固有の識別子」を取得し、該識別子と、磁気レシーバ８１１の位置姿勢（トラッキング物体の位置姿勢）と、を対応付けて保持部８２２に登録する。
【００６８】
ステップＳ９０１では、制御部２９９は、撮像装置２１０による撮像の開始指示を受け付ける。ユーザが操作部３９９を操作して撮像の開始指示を入力し、制御部２９９が該開始指示を検知すると、処理はステップＳ５０２に進む。一方、制御部２９９は、ユーザが操作部３９９を操作して撮像の終了指示を入力し、制御部２９９が該終了指示を検知すると、処理はステップＳ９０３に進む。
【００６９】
ステップＳ９０２では、生成部８２１は、取得部２０１が取得した撮像画像にトラッキング物体８１０が含まれているか否かを判断する。例えば、ステップＳ５０２で求めた撮像装置２１０の位置姿勢と撮像装置２１０の視錐台から撮像範囲を推定し、トラッキング物体が撮像範囲に入っていれば、撮像画像にトラッキング物体が含まれていると判断することができる。判断方法はこれに限定されず、画像類似度を用いて判断しても良いし、Ｄｅｅｐ Ｌｅａｒｎｉｎｇをはじめとする機械学習を使用しても良い。更に、ユーザが撮像画像を目視して該撮像画像にトラッキング物体が含まれているか否かを操作部３９９を操作して入力しても良い。取得部２０１が取得した撮像画像にトラッキング物体８１０が含まれている場合には、処理はステップＳ９０１を介してステップＳ９０３に進む。
【００７０】
ステップＳ９０３では、生成部８２１は、撮像画像をトラッキング物体のサムネイル画像とする。そしてステップＳ９０４では、生成部８２１は、この撮像画像を認識することで、トラッキング物体ごとに予め設定されている識別子のうちトラッキング物体８１０の識別子を特定する。そして生成部８２１は、トラッキング物体８１０のサムネイル画像と、トラッキング物体８１０の識別子と、を対応付けて保持部８２２に登録する。上記の通り、この登録により保持部８２２には、磁気レシーバ８１１の識別子、磁気レシーバ８１１の位置姿勢、トラッキング物体８１０のサムネイル画像、トラッキング物体８１０の識別子、が対応付けてトラッキング物体情報として登録されている。
【００７１】
このように、本実施形態によれば、撮像画像や指標を用いずに現実空間におけるトラッキング物体の位置姿勢計測を行った場合でも、第１の実施形態と同様の効果を奏することができる。即ち、ユーザが、現実空間に複数存在するトラッキング物体のうち仮想空間と対応付けがなされているトラッキング物体がいずれであるかを認識可能となる。
【００７２】
なお、本実施形態では、トラッキング物体の位置姿勢を測定するためのセンサとして磁気センサを用いたが、他の測定方式で測定を行うセンサを用いても構わない。例えば、超音波センサを用いてトラッキング物体の位置姿勢を測定しても良いし、機械的にトラッキング物体の位置姿勢を測定しても良い。また、指標を用いずに現実画像上の輝度勾配のあるエッジや角点など自然特徴を検出し、該検出した自然特徴によってトラッキング物体の位置姿勢を測定しても良い。
【００７３】
［第４の実施形態］
本実施形態ではトラッキング物体のサムネイル画像として、トラッキング物体に仮想物体を重畳させた画像を該トラッキング物体のサムネイル画像として利用する。先ず、本実施形態に係るシステムの機能構成例について、図１０のブロック図を用いて説明する。
【００７４】
本実施形態では撮像装置２１０には上記の磁気レシーバ８１１と同様の磁気レシーバ１０００が取り付けられている。磁気レシーバ１０００は該磁気レシーバ１０００自身の位置姿勢に応じた磁気の変化を検知し、該検知した結果を示す信号を情報処理装置２００に入力する。
【００７５】
計測部１０１０は、磁気レシーバ１０００からの信号を受けると、該信号に基づいて、世界座標系における磁気レシーバ１０００の位置姿勢（撮像装置２１０の位置姿勢）を求める。よって本実施形態に係る取得部２０１は、撮像装置２１０から出力された撮像画像を取得する。
【００７６】
取得部１０１１は、取得部８２０が求めた「トラッキング物体８１０の位置姿勢」と、取得部８２０が取得した「磁気レシーバ８１１に固有の識別子」と、を取得する。
【００７７】
保持部１０１２には、仮想空間を構成する仮想物体に係るデータ（形状情報や位置姿勢情報）や仮想空間中に照射する光源に係るデータなど、仮想空間のデータを保持している。
【００７８】
生成部１０１３は、トラッキング物体８１０に重畳表示する仮想物体のデータを保持部１０１２から取得し、該データに基づいて該仮想物体を生成する。そして生成部１０１３は、該生成した仮想物体を、取得部１０１１が取得した「トラッキング物体８１０の位置姿勢」に基づいて仮想空間中に配置する。仮想空間の座標系と世界座標系とを一致させておけば、生成した仮想物体を「トラッキング物体８１０の位置姿勢」で配置することで、トラッキング物体８１０に重ねて仮想物体を配置することができる。
【００７９】
生成部１０１４は、計測部１０１０が求めた「撮像装置２１０の位置姿勢」を視点の位置姿勢とし、該視点から見た「生成部１０１３が仮想空間中に配置した仮想物体」の画像を仮想物体画像として生成する。そして生成部１０１４は、取得部２０１が取得した撮像画像と、生成部１０１４が生成した仮想物体画像と、を合成した合成画像（複合現実空間の画像（以下、複合現実画像））を生成する。尚、所定の位置姿勢を有する視点から見える仮想物体の画像を生成するための技術は周知の技術であるため、この技術についての詳細な説明は省略する。この合成画像は表示装置２２０に表示しても良い。
【００８０】
生成部１０１５は、撮像画像（トラッキング物体８１０を含む撮像画像）と、生成部１０１４が生成した合成画像（トラッキング物体８１０を含む撮像画像と仮想物体画像との合成画像）と、の両方をトラッキング物体８１０のサムネイル画像とする。なお撮像画像（トラッキング物体８１０を含む撮像画像）、生成部１０１４が生成した合成画像（トラッキング物体８１０を含む撮像画像と仮想物体画像との合成画像）の両方をサムネイル画像とすることに限らず、該合成画像のみをサムネイル画像としても良い。
【００８１】
そして生成部１０１５は、サムネイル画像と、トラッキング物体８１０の識別子と、を対応付けて保持部２０６に登録する。保持部２０６には、磁気レシーバ８１１の識別子、トラッキング物体８１０のの位置姿勢、トラッキング物体８１０のサムネイル画像、トラッキング物体８１０の識別子、が対応付けてトラッキング物体情報として登録されていることになる。
【００８２】
本実施形態に係る情報処理装置２００の動作について、図１１のフローチャートに従って説明する。ステップＳ１１００では、生成部１０１３は、トラッキング物体８１０に重畳表示する仮想物体のデータを保持部１０１２から取得する。トラッキング物体８１０に重畳表示する仮想物体は、ユーザが操作部３９９を操作して選択しても良いし、撮像画像上のトラッキング物体８１０の形状に最も近い形状を有する仮想物体を選択しても良い。また、取得部１０１１が取得した「磁気レシーバ８１１に固有の識別子」と予め対応付けて保持部１０１２に保持されている仮想物体のデータを取得するようにしても良い。
【００８３】
ステップＳ１１０１では、取得部１０１１は、取得部８２０が求めた「トラッキング物体８１０の位置姿勢」と、取得部８２０が取得した「磁気レシーバ８１１に固有の識別子」と、を取得する。
【００８４】
ステップＳ１１０２では、生成部１０１３は、ステップＳ１１００で取得した仮想物体のデータに基づいて仮想物体（仮想空間）を生成する。そして生成部１０１３は、該生成した仮想物体を、取得部１０１１が取得した「トラッキング物体８１０の位置姿勢」に基づいて仮想空間中に配置する。
【００８５】
なお、本実施形態では、トラッキング物体に重畳する仮想物体そのものを重畳するが、これに限定されない。トラッキング物体と重畳する仮想物体の位置姿勢の関係を認識することが出来ればよいため、仮想物体のローカル座標系を示すものであっても良い。例えば、座標系の原点において互いに直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）を表現する仮想物体であっても良い。
【００８６】
ステップＳ１１０３では、生成部１０１４は、計測部１０１０が求めた「撮像装置２１０の位置姿勢」を視点の位置姿勢とし、該視点から見た「生成部１０１３が仮想空間中に配置した仮想物体」の画像を仮想物体画像として生成する。そして生成部１０１４は、取得部２０１が取得した撮像画像と、生成部１０１４が生成した仮想物体画像と、を合成した合成画像（複合現実空間の画像（以下、複合現実画像））を生成する。
【００８７】
なお、ステップＳ９０２における判断の結果、取得部２０１が取得した撮像画像にトラッキング物体８１０が含まれている場合には、処理はステップＳ９０１を介してステップＳ１１０４に進む。
【００８８】
ステップＳ１１０４で生成部１０１５は撮像画像（トラッキング物体８１０を含む撮像画像）、生成部１０１４が生成した合成画像（トラッキング物体８１０を含む撮像画像と仮想物体画像の合成画像）の両方をトラッキング物体８１０のサムネイル画像とする。そして生成部１０１５は、生成部１０１５が生成したサムネイル画像と、トラッキング物体８１０の識別子と、を対応付けて保持部２０６に登録する。
【００８９】
このように、本実施形態によれば、トラッキング物体の全体または一部が撮影された撮像画像に加え、複合現実画像をサムネイル画像として表示することで、トラッキング物体が仮想空間でどのように使用されるかを認識しやすくなる。即ち、トラッキング物体に対して仮想物体がどのように重畳されるかを認識することができる。
【００９０】
なお、本実施形態では、磁気センサを用いて位置姿勢の測定を行っているが、他の方法でもって位置姿勢の測定を行うようにしても良い。例えば、赤外光を用いて位置姿勢を測定しても良いし、超音波を用いて位置姿勢を測定しても良いし、画像処理を用いて位置姿勢を測定しても良い。更に奥行きセンサを用いて位置姿勢を測定しても良いし、機械的に位置姿勢を測定しても良い。
【００９１】
［第５の実施形態］
以上説明した各処理は以上説明した順序で実行されることに限らず、一部の処理の順序を適宜変更しても構わない。また、以上説明した各処理を行う主体は、上記の説明における主体に限らない。
【００９２】
また、図２，６，８，１０に示した情報処理装置２００の各機能部はハードウェアで実装しても良いし、一部（保持部を除く）を上記の実施形態のようにコンピュータプログラムでもって実装しても良い。
【００９３】
以上説明した各実施形態や各変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や各変形例の一部若しくは全部を選択的に使用しても構わない。
【００９４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９５】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００９６】
２０１：取得部  ２０２：取得部  ２０３：取得部  ２０４：同定部  ２０５：算出部  ２０６：保持部  ２０７：表示制御部  ２０８：取得部  ２１０：撮像装置  ２２０：表示装置  ２３０：外部記憶装置  ２９９：制御部
【図１】
2020135223.tif 000003
【図２】
2020135223.tif 000004
【図３】
2020135223.tif 000005
【図４】
2020135223.tif 000006
【図５】
2020135223.tif 000007
【図６】
2020135223.tif 000008
【図７】
2020135223.tif 000009
【図８】
2020135223.tif 000010
【図９】
2020135223.tif 000011
【図１０】
2020135223.tif 000012
【図１１】
2020135223.tif 000013