(57)【要約】【課題】  アノテーション表示を観察する際にシミュレーションには不要な操作が生じてしまう問題があった。【解決手段】  上記課題を解決するため、本発明のアノテーションの表示方法は、３次元空間中の現実の手首の位置にモデルの属性情報を表示する方法であって、属性を表示したいモデルを選択するモデル選択工程と、選択したモデルの属性情報をアノテーションとして現実の手首の位置を表示するアノテーション表示工程と、を有する。【選択図】  図１
2008107900.tif 000002
【特許請求の範囲】
【請求項１】
現実空間中の所定の位置および向きに情報を表示する方法であって、
前記所定の位置および向きを設定する表示位置姿勢設定工程と、
３次元形状物体を選択する３次元形状物体選択工程と、
前記３次元形状物体選択工程にて選択した対象の属性情報を前記表示位置姿勢設定工程にて設定した位置および姿勢に表示する属性表示工程と、
を有することを特徴とするアノテーションの表示方法。
【請求項２】
前記３次元形状物体選択工程は、複数種類あり、複数選択工程のうち１つを選択する選択工程の切り替え手段を有することを特徴とする請求項１に記載のアノテーションの表示方法。
【請求項３】
前記３次元形状物体は、他の３次元形状物体の一部であり、３次元形状物体の一部を選択する部分形状選択工程をさらに有することを特徴とする請求項１又は請求項２のいずれか１つに記載のアノテーション表示方法。
【請求項４】
前記表示位置姿勢設定工程は、３次元空間中の実物体の位置および姿勢を計測する実物体計測工程と、前記実物体計測工程の出力情報に基づき位置・姿勢を設定する工程を含むことを特徴とする請求項１乃至請求項３のいずれか１つに記載のアノテーション表示方法。
【請求項５】
前記表示位置姿勢設定工程は、前記実物体計測工程と観察者の視線方向を計測する視線方向計測工程と、前記実物体計測工程と前記視線方向計測工程の出力情報に基づき位置・姿勢を設定する工程を含むことを特徴とする請求項１乃至請求項３のいずれか１つに記載のアノテーション表示方法。
【請求項６】
前記３次元形状物体の属性情報以外の情報を表示することを特徴とする請求項１乃至請求項５のいずれか１つに記載のアノテーション表示方法。
【請求項７】
前記アノテーション表示工程にて、表示する情報の内容を切り替える切り替え工程をさらに有することを特徴とする請求項１乃至請求項６のいずれか１つに記載のアノテーション表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アノテーション表示方法に関する。
【背景技術】
【０００２】
以前より、コンピュータの中で構築された3次元仮想世界と現実世界を融合させるMR（Mixed Reality）技術がある。
【０００３】
現在MR技術を用いて、現実の世界において仮想的な物体を用いてなんらかの作業を行うことでことで、その作業が可能かまたは困難であるかなどを仮想的に検証することが行われている。
【０００４】
このようなシミュレーションを行う際は、できるだけ多くの情報をもって作業を行う必要がある。例えば、操作対象のモデル属性である。モデルの名前はもちろんのこと、操作を行うモデルの重量、材料がわからなければ、本当は不可能な作業も可能であると判断しかねない。そこで、モデルの属性をアノテーションとして表示することが現在なされている。
【０００５】
従来例としては、例えば特許文献１をあげることが出来る。
【特許文献１】特開平１０−３０３９５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
現在、アノテーションの表示方法には、ウィンドウ画面にアノテーションを表示させる方法、２次元コンソール画面にアノテーションを表示される方法、体験中のMR内でエージェントなどの特定位置にアノテーションを表示させる方法などがある。
【０００７】
しかし、これらの方法はそれぞれ問題がある。
【０００８】
ウィンドウ画面に表示させる方法は、常に視界にアノテーションが表示されるため目障りである。これは現実空間との整合性を重要視するMRにおいて致命的な問題である。
【０００９】
２次元コンソール画面に表示させる方法は、MR体験中のユーザがHMDをはずして２次元コンソール画面を確認しなければならないという煩わしい操作が生じるという問題がある。
【００１０】
体験中のMR内でエージェントなどの特定位置にアノテーションを表示させる方法は、アノテーションを確認する際に、エージェントなどの表示位置を探し、その後エージェントを注視するなどの指令をだすというシミュレーションには不要な操作が生じてしまう。
【００１１】
これからHMDをかけたまま、シミュレーションに不要な操作なしでモデルデータの属性を簡単に確認できるアノテーション表示方法が望まれる。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明のアノテーションの表示方法は、
３次元空間中の現実の手首の位置にモデルの属性情報を表示する方法であって、
属性を表示したいモデルを選択するモデル選択工程と、
選択したモデルの属性情報をアノテーションとして現実の手首の位置を表示するアノテーション表示工程と、
を有する。
【発明の効果】
【００１３】
本発明により、アノテーションをシミュレーションにおいて不要となる操作なしで観察することができるようになった。
【発明を実施するための最良の形態】
【００１４】
以下、発明の実施形態について、図を用いて説明する。
【実施例１】
【００１５】
本実施例では、MR（Mixed Reality）空間内にある３次元形状物体の情報を、HMDをかけた観察者に提示する実施形態を示す。
【００１６】
図1は観察者に示す画像の例である。この図を用いて本実施例の概要を説明する。
【００１７】
図1で１０１は手、１０２はモデル、１０３は現実の手に装着している計測ユニットとの相対位置から手首の位置に表示される情報表示部モデル、である。
【００１８】
手首の位置に仮想的な情報表示部モデル１０３が表示されており、モデル１０２が選択されると、情報表示部モデル１０３にモデル１０２の属性データが表示される。
【００１９】
ここでは選択は、キーボード入力に行われるものとして説明する。図２のように読み込まれたモデルのデータリストがあり、キー“1”を入力するとキー“1”に相当するモデル２０１が選択される。その他のキーでも相当するモデルがあれば、そのモデルが選択される。相当するモデルがない場合は選択なしとなる。
【００２０】
例えば、図１のようにモデル１０２がキーボード入力により選択されると、モデル１０２が計測ユニットが装着されている手の上に配置され、またモデル１０２の情報としてモデルの名前、材料、重量などの属性データが情報表示部モデル１０３に表示される。
【００２１】
情報表示部モデル１０３は、手に装着されている計測ユニットからの相対位置・姿勢の計測がされているため、現実の手に同期して移動することが可能である。よってユーザは、腕時計を見る感覚でモデルの情報を確認できる。
【００２２】
次に、本発明の方法を実行させる装置の構成を図３に示す。図３において、３０１はＣＰＵであり、端末全体の動作を制御する。３０２はメモリであり、ＣＰＵ３０１の動作に用いるプログラムやデータを格納する。３０３はバスであり、各構成モジュール間のデータ転送を司る。３０４はバス３０３と各種装置とのインタフェースである。また、３０５はＣＰＵ３０１に読み込むプログラムやデータを格納する外部記憶装置、３０６および３０７はプログラムを起動したり、プログラムの動作を指定するための入力装置を構成するキーボードおよびマウス、３０８はプロセスの動作結果を表示するための表示部、３０９は端末外部との入出力部である。３１０は位置・姿勢センサであり、複数の計測ユニットから構成されている。観察者の頭部や手に計測ユニットを装着することにより、装着した部位の３次元空間中での位置・姿勢を計測することができる。
【００２３】
本実施例における処理全体の流れを図４に示す。
【００２４】
処理を開始すると、ステップＳ４０１で処理に必要なデータを外部記憶装置４０５からメモリ３０２に読み込む。
【００２５】
ステップＳ４０１で読み込むデータには、モデルの形状データおよび世界座標系における位置および姿勢を表す配置データ、情報表示部モデルの形状データ、位置・姿勢センサの計測ユニットに対する情報表示部モデルの相対的な位置・姿勢、モデルの属性データを含むモデルのデータリスト、がある。
【００２６】
ステップＳ４０２では位置・姿勢センサ２１０から計測値を読み込む。
【００２７】
すなわち、観察者の頭部および手に装着した計測ユニットの位置・姿勢を表すデータを取得する。
【００２８】
計測値は世界座標系における位置および姿勢として表されているとする。
【００２９】
ステップＳ４０３では、モデルを選択する。モデルが選択されると、選択されたモデルとして設定される。
【００３０】
ステップＳ４０３については、後に詳細に説明する。
【００３１】
続くステップＳ４０４では選択されたモデルがあるか否かを判定する。もし選択されたモデルがあれば、ステップS４０５へ、なければステップS４０５へ進む。
【００３２】
ステップＳ４０５ではステップS４０４で選択されたモデルの属性データをアノテーション表示設定する。
【００３３】
ステップS４０５については、後に詳細を説明する。
【００３４】
続いてステップＳ４０６でモデル１０２、情報表示モデル１０３、などのオブジェクトを観察者の視点から見た画像を生成する。このときステップ４０５で設定したアノテーション表示を情報表示モデル１０３上に生成する。
【００３５】
ステップＳ４０５については、後に詳細に説明する。
【００３６】
ステップＳ４０６では、ステップＳ４０５で生成された画像を表示部３０８に表示する。
【００３７】
最後にステップＳ４０７でユーザから処理終了の指令があったか否か判定し、終了指令があれば処理を終了し、終了指令が無ければステップＳ４０２に戻り、ステップＳ４０２〜Ｓ４０７を繰り返す。
【００３８】
次に、ステップＳ４０３の処理の詳細について、図５を用いて説明する。
【００３９】
図５はモデルの選択入力がされ、そのモデルが選択されたモデルとして設定されるまで流れを示している。
【００４０】
処理を開始すると、まずステップS５０１でキーボードによる選択の入力があるか否かを判定する。選択の入力があればステップS５０２に進み、なければステップＳ４０３を終了する。
【００４１】
ステップS５０２では、選択入力されたモデルの情報がモデルデータリスト内に存在するか探索する。
【００４２】
続くステップS５０３では、選択入力されたモデルの情報がモデルデータリスト内にあるか否かを判定する。選択入力されたモデルの情報がモデルデータリスト内にあればステップS５０４に進み、なければステップS５０５に進む。
【００４３】
最後にステップステップ５０４では、選択入力されモデルデータリスト内にその存在が確認できたモデルを選択されたモデルとして設定し処理を終了する。
【００４４】
または、ステップS５０５として選択入力を解除し処理を終了する。
【００４５】
また、以上の説明では情報表示部モデル上に表示する属性データをモデル全体のものとしていたが、これに限るものではない。つまり、モデルがいくつかの階層データから構成されている場合、表示したい階層の属性データを表示できるものとする。例えば、モデルを選択した後に、↑または↓をキーボード入力し選択するモデルの階層を上げ下げしていくことで、表示したい階層を決定することができ、その階層の属性データを情報表示することができるものとする。
【００４６】
次に、ステップＳ４０５の処理の詳細について、図６を用いて説明する。
【００４７】
図６は選択されたモデルのアノテーション表示設定処理の流れを示している。
【００４８】
処理を開始すると、まずステップＳ６０１でメモリ２０２から選択されたモデルの属性データをモデルデータリストから取得する。
【００４９】
続くステップＳ６０２では、取得した属性データを３Dテキストとして、手に装着した計測ユニットからの相対位置・姿勢から手首の位置に配置し処理を終了する。
【００５０】
ここで本実施例では、モデルの属性情報が手首にある情報表示部モデル上に表示されるとしていたが、これに限るものではない。すなわち、計測ユニットであれば、計測ユニットからの任意の相対位置・姿勢に情報表示部モデルを配置し、その上にモデルの属性データが表示されるものとする。また、その際に情報表示部モデルがなく属性データの３Dテキストのみが表示されてもよい。
【００５１】
さらに、以上の説明ではモデルの属性データをハンドモデルの手首位置に固定された情報表示部モデル上に３Dテキストを表示していたが本発明はこれに限るものではない。すなわち、情報表示部モデルが、常に視線方向に垂直に近い部分に表示されるものとする。情報表示モデルの位置・姿勢を更新する際に、頭部に装着された計測ユニットの計測値を使用して、表示面が視線方向と垂直になるように情報表示部モデルを位置させる。
【００５２】
また、本発明ではモデルの属性データを情報表示部モデル上にテキスト表示しているが、表示内容はこれに限るものではない。すなわち、モデルが選択されていない際は、他の情報を情報表示部モデル上に表示することができる。例えば、使用中のビューワ名、リフレッシュレイト、現在時刻などを表示できるものとする。
【００５３】
なお、以上の説明ではモデルの情報表示部モデル上にテキスト表示するとしか述べていないが、その表示内容は、切り替え選択することで複数種類の属性または他の情報を切り替えることができる。切り替え選択は、キーボード入力または入力機能を備えた計測ユニットで、情報表示部モデルに付属しているボタンを選択することにより行うことができる。また、表示可能な情報は、選択肢として情報表示部モデル上に表示される。これにより、ユーザは多くの情報を情報表示部モデルから取得可能である。
【００５４】
以上、本実施例の処理の流れを説明した。
【００５５】
本実施例のモデル属性データ表示方法によれば、手を用いた通常のシミュレーション操作を行いながらモデルの属性データを確認できる。
【００５６】
すなわち、モデルの属性データを確認するために、情報表示部を探す操作や、シミュレーションのための操作以外の特殊な操作を必要としない。また、常に画面上に情報の表示がされるといった不自然な表現もない。
【実施例２】
【００５７】
実施例１では、モデルの選択がキーボード入力により行われていたが、これに限るものではない。すなわち、計測ユニットを用いて、位置情報から直接選択されたモデルの属性データも情報表示部モデル上に表示されるものとする。
【００５８】
ある選択方法として、計測ユニットに重畳して描画される３次元形状物体とモデルとの干渉がそのモデルの選択とすることもできる。
【００５９】
図７は観察者に示す画像の例である。この図を用いて本実施例の概要を説明する。
【００６０】
図７で７０１は計測ユニットに重畳して描画される３次元形状物体であるハンドモデル、７０２はモデル、７０３は現実の手に装着している計測ユニットとの相対位置から手首の位置に表示される情報表示部モデル、である。
【００６１】
手首の位置に仮想的な情報表示部モデル７０３が表示されており、モデル７０２が選択されると、情報表示部モデル７０３にモデル７０２の属性データが表示される。
【００６２】
例えば、図７のようにモデル７０２とハンドモデル７０１が干渉することでモデル７０２が選択されると、モデル７０２の情報としてモデルの名前、材料、重量などの属性データが情報表示部モデル７０３に表示される。
【００６３】
ここでは、計測ユニットに重畳して描画される３次元形状物体をハンドモデルとしたが、これに限ったことではない。例えば、３次元形状物体がレーザーでもよい。計測ユニットと連動して動くレーザーと交差したモデルを選択されたモデルとし、属性データを表示することも可能である。また、その他、計測ユニットからの相対位置・姿勢により固定さている３次元形状物体であればよいとする。
【００６４】
またある選択方法として、計測ユニットに、ボタンなどの入力機能がついており、選択したいモデルと計測ユニットの位置関係の条件が満たされている際に、ボタンなどにより入力が行われるとモデルを選択できるものがある。
【００６５】
例えば、ポフィマス社のFASTRAKの計測ユニットであるスタイラスした場合は、スタイラスに重畳して描画されている３次元形状物体がモデルに干渉している際に、スタイラスのボタンを押すことでモデルが選択されるとすることもできる。また、指の動きによりスイッチの切り替えが可能な装置を備えた計測ユニットの場合は、選択したいモデルと計測ユニットの位置関係の条件が満たされている際に、指によりスイッチを入れることで選択されるとすることもできる。
【００６６】
本実施例の処理の流れは、実施例１と同様である。
【図面の簡単な説明】
【００６７】
【図１】実施例１におけるモデル情報表示の一例である。
【図２】モデルのデータリストの例
【図３】本発明の方法を実行させる装置の構成である。
【図４】実施例１の処理全体の流れを示すフロー図である。
【図５】実施例１のモデルの選択処理の流れを示すフロー図である。
【図６】実施例１のアノテーションの表示設定処理の流れを示すフロー図である。
【図７】実施例２におけるモデル情報表示の一例である。
【図１】
2008107900.tif 000003
【図２】
2008107900.tif 000004
【図３】
2008107900.tif 000005
【図４】
2008107900.tif 000006
【図５】
2008107900.tif 000007
【図６】
2008107900.tif 000008
【図７】
2008107900.tif 000009