(57)【要約】【課題】  所定の条件に応じたアノテーションを選択して表示する。【解決手段】  仮想物体を含む画像を取得する画像取得手段と、前記仮想物体上の部位ごとに、該部位を示すアノテーション情報と該アノテーション情報が入力された時の状態を示す付加情報とを関連付けて保持する保持手段と、ユーザから入力される、前記付加情報に対応する情報を取得手段と、前記保持手段に保持される前記仮想物体上の部位ごとの前記アノテーション情報から、前記付加情報に基づいて、表示するアノテーション情報を選択する選択手段と、前記選択されたアノテーション情報と前記画像とが合成された合成画像を生成する生成手段と、前記合成画像を出力する出力手段とを備えることを特徴とする情報処理装置。【選択図】  図２
2017010228.tif 000002
【特許請求の範囲】
【請求項１】
仮想物体を含む画像を取得する画像取得手段と、
前記仮想物体上の部位ごとに、該部位を示すアノテーション情報と該アノテーション情報が入力された時の状態を示す付加情報とを関連付けて保持する保持手段と、
ユーザから入力される、前記付加情報に対応する情報を取得する取得手段と、
前記情報に基づいて、前記保持手段に保持される前記仮想物体上の部位ごとの前記アノテーション情報から、表示するアノテーション情報を選択する選択手段と、
前記選択されたアノテーション情報と前記画像とが合成された合成画像を生成する生成手段と、
前記合成画像を出力する出力手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記選択手段は、前記ユーザから入力される情報に対応する付加情報に関連付けられたアノテーション情報を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記付加情報は、前記アノテーション情報を入力した入力装置固有の情報であることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記付加情報は、前記アノテーション情報を入力した人物固有の情報であることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記付加情報は、前記アノテーション情報を入力時の日付または時刻を表す情報であることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記付加情報は、前記アノテーション情報を入力した際の、前記アノテーション情報を入力するのに用いられた入力装置の位置および／または姿勢であることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記付加情報は、前記アノテーション情報を入力した際の、前記アノテーション情報を入力するのに用いられた入力装置に接続されたＨＭＤの位置および／または姿勢であることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記付加情報は、前記アノテーション情報を入力した際の、前記アノテーション情報を入力するのに用いられた入力装置に接続されたＨＭＤを装着するユーザの保持するデバイスの位置および／または姿勢であることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
更に、前記アノテーション情報を入力する入力装置を備えることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
更に、ユーザが頭部に装着するための頭部装着型表示装置を備え、
前記出力手段は、前記頭部装着型表示装置に前記合成画像を出力することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
【請求項１１】
仮想物体を含む画像を取得する画像取得ステップと、
ユーザから入力される、前記付加情報に対応する情報を取得する取得ステップと、
前記仮想物体上の部位ごとに、該部位を示すアノテーション情報と該アノテーション情報が入力された時の状態を示す付加情報とを関連付けて保持する保持手段に保持される前記仮想物体上の部位ごとの前記アノテーション情報から、前記付加情報に基づいて、表示するアノテーション情報を選択する選択ステップと、
前記選択されたアノテーション情報と前記画像とが合成された合成画像を生成する生成ステップと、
前記合成画像を出力する出力ステップとを備えることを特徴とする情報処理装置。
【請求項１２】
コンピュータを、請求項１乃至１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感を提供するための情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【０００２】
現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）に関する研究が近年、盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想現実空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。
【０００３】
また、係る画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想現実空間の画像を表示する光学シースルー方式によっても実現される。
【０００４】
このような画像表示装置の応用として、自動車・航空機などの製造業において開発中の製品をコンピュータグラフィックス（ＣＧ）映像として現実世界に重畳表示し、自由な視点から確認、検討することで実寸大の模型を作製せずにデザイン等の検討を行うことができる。
【０００５】
このような応用例では、多人数が参加した検討を行う場合は多数のＨＭＤが必要になることから、タブレットなどの安価なデバイスを用いて検討に参加できるシステムがある。このシステムは、ＨＭＤを装着した人物が見ている、現実世界とＣＧの重畳された画面をそのままタブレット画面に表示し、ＨＭＤを装着した人物と視界を共有することによって検討に参加できるようにするものである。
【０００６】
さらにＨＭＤを用いた検討では、検討中に得られた知見や備忘録等をＣＧ映像中の特定部位と関連付けて保存しておくことが行われる。ここで保存した情報はアノテーションと呼ばれ、ＨＭＤの装着者は、現実世界に重畳されたＣＧ映像の特定部位上にさらにアノテーション文字列を重畳表示し、検討時の記録とすることでさらに効果的な検討を行うことが可能である。
【０００７】
しかしながら、ＨＭＤを通して、複数のアノテーションが関連付けられたＣＧ映像を閲覧する際、重畳表示された複数のアノテーションがＨＭＤ装着者の視界を妨げてしまうことがある。
【０００８】
そこで、特許文献１に開示される方法では、ＨＭＤ装着者が保持する指示装置によってＣＧ中の部位を選択し、該選択された部位に対応するアノテーションのみを表示する方法を開示している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１３−２２５３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の方法では、選択したアノテーションのみしか表示されないため、ある特定の条件下で付与されたアノテーションを一括して表示するようなことができなかった。
【００１１】
本発明は、上記の課題に鑑みてなされたものであり、特定の条件に応じたアノテーションを選択して表示することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明の情報処理装置は、例えば、仮想物体を含む画像を取得する画像取得手段と、前記仮想物体上の部位ごとに、該部位を示すアノテーション情報と該アノテーション情報が入力された時の状態を示す付加情報とを関連付けて保持する保持手段と、ユーザから入力される、前記付加情報に対応する情報を取得手段と、前記保持手段に保持される前記仮想物体上の部位ごとの前記アノテーション情報から、前記付加情報に基づいて、表示するアノテーション情報を選択する選択手段と、前記選択されたアノテーション情報と前記画像とが合成された合成画像を生成する生成手段と、前記合成画像を出力する出力手段とを備える。
【発明の効果】
【００１３】
本発明の構成によれば、特定の条件に応じたアノテーションを選択して表示することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係るシステム構成を表す図である。
【図２】本発明の第１の実施形態に係る情報処理装置の機能構成例を表すブロック図である。
【図３】本発明の第１の実施形態に係る情報処理装置の処理フローチャートである。
【図４】本発明の第１の実施形態に係る情報処理装置の処理フローチャートである。
【図５】本発明におけるアノテーションが重畳された仮想現実映像のイメージ図である。
【図６】本発明の第１の実施形態に係る情報処理装置のアノテーション保持部が保持するアノテーション情報のイメージ図である。
【図７】本発明の情報処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１６】
（第１の実施形態）
図１は、本発明の第１の実施形態の情報処理装置１０１を用いたシステム構成を表す図である。
【００１７】
情報処理装置１０１とＨＭＤ１０４は、通信路１０４で接続されている。通信路１０４は、情報処理装置１０１で生成された映像をＨＭＤ１０２に送信するため、およびＨＭＤ１０２で取得された現実映像を仮想現実表示デバイス１０１に送信するために使われる通信路で、ＨＤＭＩ（登録商標）やＩＥＥＥ１３９４などの映像送受信プロトコルが使用される。この通信路はＵＳＢやＥｔｈｅｒｎｅｔ（登録商標）などのデータ通信路を用いてもよいし、Ｗｉ−Ｆｉなどの無線通信プロトコルを用いても良い。
【００１８】
同様に、情報処理装置１０１とタブレットコンピュータ１０３は通信路１０５で接続されている。通信路１０５はタブレットコンピュータ１０３から仮想現実表示デバイス１０１へコマンドを送信するため、および情報処理装置１０１からタブレットコンピュータ１０３へアノテーションに関する情報を送信するために使われる通信路で、Ｗｉ−Ｆｉなどの無線通信プロトコルが使用される。この通信路にはＵＳＢなどの有線接続を用いてもよい。
【００１９】
ＨＭＤ１０２は現実空間と仮想空間とを融合させた空間である複合現実空間を体感するユーザの頭部に装着する、所謂頭部装着型表示装置の一例である。ＨＭＤ１０２は、手持ち型のハンドヘルドディスプレイであってもよい。
【００２０】
タブレットコンピュータ１０３は、タブレットコンピュータ１０３上の表示部に表示されるＣＧに対して、タッチ等の指示入力機能によりユーザからのアノテーション入力を受け付ける。そして、そのアノテーション入力を上記の通信路を会いして情報処理装置１０１に送出する。また、情報処理装置１０１によりアノテーションが付加された映像を表示画面に表示する機能も有している。タブレットコンピュータ１０３は、アノテーションを入力する機能を備えていればタブレットの形状に拘束されるものではなく、ディスプレイとキーボードを備えたＰＣとして実現されていてもいいし、マイクを備えて音声入力によってアノテーションを入力する機能を持ったデバイスであってもよい。
【００２１】
図２は、本発明の第１の実施形態の情報処理装置１０１の機能ブロック図である。図１と同様に、情報処理装置１０１は、頭部装着型の撮影・表示デバイスであるＨＭＤ１０２、アノテーション入力デバイスであるタブレットコンピュータ１０３に有線または無線で接続されている。図７は、本実施形態における情報装置１０１のハードウェア構成図である。同図において、ＣＰＵ７１０は、バス７００を介して接続する各デバイスを統括的に制御する。ＣＰＵ７１０は、読み出し専用メモリ（ＲＯＭ）７２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ７２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）７３０に一時記憶され、ＣＰＵ７１０によって適宜実行される。また、入力Ｉ／Ｆ７４０は、外部の装置（表示装置や操作装置など）から情報処理装置１０１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ７５０は、外部の装置（ＨＭＤ１０２、タブレットコンピュータ１０３）へ表示装置が処理可能な形式で出力信号として出力する。
【００２２】
情報処理装置１０１は、頭部位置姿勢特定部２０４、視界取得部２０５、ＣＧモデル２０６、仮想現実映像生成部２０７、アノテーション保持部２０８、アノテーション付加情報付与部２０９、アノテーション絞込み部２１０、アノテーション絞込み重畳部２１１を備える。
【００２３】
これらの各機能部は、ＣＰＵ７１０が、ＲＯＭ７２０に格納されたプログラムをＲＡＭ７３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ７１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
【００２４】
視界取得部２０５は、ＨＭＤ１０２に内蔵されたカメラなどを通じて、ＨＭＤ１０２で撮像された画像をシステムに入力する（画像取得）。
【００２５】
頭部位置姿勢特定部２０４は、ＨＭＤ１０２の現実空間内の３次元座標と、その姿勢を特定する。３次元座標と姿勢を特定するために、視界取得部２０５が取得した視界中に存在するマーカーや特徴点の情報を用いてもよいし、ＨＭＤ１０２に接続された赤外線マーカー、磁気センサー、ジャイロセンサーなどの情報を用いてもよい。もちろん、複数のセンサーからの情報を複合して用いてもよい。
【００２６】
ＣＧモデル２０６は、現実空間の映像と重畳させて表示するための仮想物体の形状を表すデータである。このデータはＣＡＤなどのソフトウェアを用いて人為的にデザインされたデータであってもよいし、レーザースキャナや複数台のカメラを用いて現実空間の計測データから再構築されたデータであってもよい。
【００２７】
仮想現実映像生成部２０７は、視界取得部２０５が取得した現実空間の映像に、ＣＧモデル２０６が表現する仮想物体とが合成された合成映像（合成画像）を生成する。本実施形態においては、ここで仮想現実映像生成部２０７が生成した合成映像はアノテーション絞り込み重畳部２１１に送出されるが、ＨＭＤ１０２に対して直接出力されても良いし、ＨＭＤ１０２とは異なる別の外部ディスプレイに表示しても構わない。外部ディスプレイとしては、例えば位置が固定された大画面のディスプレイを用いることができる。
【００２８】
アノテーション保持部２０８は、タブレットコンピュータ１０３によって入力されたアノテーション（アノテーション情報）を、ＣＧモデル２０６が保持する仮想物体上の特定の部位と関連付けて保持しておく。ここでアノテーションが関連付けられる部位は、タブレットからタップ等の手段を用いて指定してもよいし、不図示のＰＣを介してマウスを用いた指定をしてもよいし、キーボードから部位の名称を直接入力することによって指定してもよい。
【００２９】
アノテーション付加情報付与部２０９は、アノテーション保持部２０８によって新たなアノテーションが追加された際に、何らかの付加情報を取得し、アノテーション保持部２０８中に保持されたアノテーションと関連付けて保持する。結果として、アノテーション保持部２０８は、入力されたアノテーション、仮想物体中の特定部位、付加情報を相互に関連付けて保持することになる。付加情報は、アノテーションが入力された時の、タブレットコンピュータ、タブレットコンピュータを操作するユーザ等の状態を示す情報である。
【００３０】
本実施形態において付加情報とは、アノテーションを追加する際に用いたタブレットコンピュータ１０３（入力装置）が保持する固有ＩＤ（入力装置固有ＩＤ）である。この固有ＩＤはタブレットコンピュータの個体を識別するためのＩＤであって、複数枚のタブレットコンピュータを用いたアノテーション入力を行った場合に、いずれのタブレットによってアノテーションが追加されたかを特定する情報である。ここで固有ＩＤは、タブレットを使用してアノテーションを入力する入力者ごとにあらかじめ割り振られたＩＤでもよく、タブレットの使用を開始する際、あるいはアノテーションを入力する前にＩＤを用いてログインすることによって、アノテーションを入力した人物を特定する情報であるとしてもよい。例えば、タブレットコンピュータ１０３を使ってアノテーション情報を入力するユーザを示すＩＤ（例えば、社員番号などの人物固有ＩＤ情報）であってもよい。
【００３１】
アノテーション絞込み部２１０は、アノテーション保持部２０８が保持する複数のアノテーションの中から、アノテーション付加情報付与部２０９によって付与された付加情報をキーとして絞り込みを行い、一部または全部のアノテーションを抽出する。ここでキーとなる付加情報を入力するのはタブレットコンピュータ１０３によってもよいし、情報処理装置１０１に接続されたマウスまたはキーボードなどの入力デバイスによってもよいし、ＨＭＤ１０２の装着者がマイクやゲームコントローラなどを用いて入力するとしてもよい。もちろん、これら複数の手段を併用できるとしてもよい。
【００３２】
アノテーション絞込み重畳部２１１は、アノテーション絞込み部２１０によって抽出されたアノテーションを、仮想現実映像生成部２０７によって生成された仮想現実映像にさらに重畳（合成）して、アノテーションを含む仮想現実映像を生成する。ここで生成された映像はＨＭＤ１０２に出力され、ＨＭＤ１０２の装着者によって体験される。また、ＨＭＤ１０２とは異なる、外部の位置が固定されたディスプレイに映像を出力しても良い。これにより、ＨＭＤ１０２を装着していないユーザにとっても、映像を観察することができる。
【００３３】
図５は、本実施形態において、アノテーション絞込み重畳部２１１によって、仮想現実画像にアノテーションが重畳（合成）された結果生成された画像を表すイメージ図である。
【００３４】
ＣＧモデル２０６が表す形状データは、部品ａ（５０１）、部品ｂ（５０２）、部品ｃ（５０３）、部品ｄ（５０４）の４つの部品から構成されている。さらに、アノテーション保持部２０８は上記４つの部品に対し、部品ａ（５０１）に対しアノテーション５０６、部品ｂ（５０２）に対しアノテーション５０７、部品ｃ（５０３）に対してアノテーション５０８、部品ｄ（５０４）に対してアノテーション５０９をそれぞれ関連付けている。ここでアノテーション５０６は「部品Ａ」という文字列、アノテーション５０７は「部品Ｂ」という文字列、アノテーション５０８は「部品Ｃ」という文字列、さらにアノテーション５０９は「部品Ｄ」という文字列がそれぞれ関連付けられていて、結果として上記文字列が仮想現実画像に重畳（合成）され、表示される。本図においては、各部品から看板のようなオブジェクトが飛び出しているように配置され、ＨＭＤ装着者の視点に常に正対するように描画されるとしているが、アノテーションの表示形態、描画方法は任意であり、本実施形態の方法に限定されるものではない。
【００３５】
図３は、本発明の第１の実施形態において、アノテーション保持部２０８によってアノテーションが入力される際のシステムの振る舞いを表現したフローチャートである。
【００３６】
まず、アノテーションの入力が開始されると（Ｓ３０１）、アノテーション入力者（ユーザ）はアノテーションを付与する対象となる部品の入力を行う（Ｓ３０２）。ここで部品とは、ＣＧモデル２０６が表す形状データの一部分である。
【００３７】
次に、Ｓ３０３において、アノテーション入力者はアノテーションの入力を行う。アノテーションとはＳ３０２において特定された対象部品に関連付けられて保存される注釈であり、本実施形態ではアノテーションは文字列によるとしているが、画像や音声、その他のメディアデータであっても構わない。本実施形態においては、アノテーション入力者は手に持ったタブレットコンピュータ１０３を操作し、文字列を入力する。入力された文字列はネットワーク接続を介して情報処理装置１０１に送信され、アノテーション保持部２０８によって、アノテーション付与対象の部品を特定するＩＤと関連付けられて保持される。ここで付与対象の部品とはＳ３０２で入力された部品を表す。
【００３８】
Ｓ３０４において、アノテーション付加情報付与部２０９は、アノテーション入力に利用したタブレットコンピュータ１０３の固有ＩＤを取得する。この固有ＩＤはタブレットコンピュータの個体を識別するためのＩＤである。この固有ＩＤは、タブレットコンピュータを使用してアノテーションを入力する入力者ごとにあらかじめ割り振られたＩＤでもよく、タブレットコンピュータの使用を開始する際、あるいはアノテーションを入力する前にＩＤを用いてログインすることによって、アノテーションを入力した人物を特定する情報であるとしてもよい。
【００３９】
Ｓ３０５において、アノテーション付加情報付与部２０９は、Ｓ３０４で取得した固有ＩＤを、Ｓ３０３で入力されたアノテーションに関連付けて保持する。結果として、Ｓ３０２において入力されたアノテーション付与対象部品、Ｓ３０３において入力されたアノテーション文字列、Ｓ３０４において取得された付加情報が相互に関連付けられて保持されることになる。
【００４０】
以上の順序で、本実施形態におけるアノテーション入力操作は終了である（Ｓ３０６）。
【００４１】
図６は、本実施形態におけるアノテーション保持部２０８が保持している情報のイメージである。
【００４２】
部品名６０１は、アノテーション付与対象部品を識別する名称である。ここで部品名は、アノテーション付与の対象となる部品を識別できれば何でもよく、システム内で一意に採番されたＩＤなど、可読性の低いものでも良い。
【００４３】
アノテーション文字列６０２は、Ｓ３０３において入力された文字列である。ここに保持された情報が、アノテーションの本体として仮想現実映像に重畳表示される。本実施形態では文字列情報であるとしたが、アノテーションは映像、音声やそれらを組み合わせたメディアデータであってもよい。
【００４４】
付加情報・タブレット固有ＩＤ６０３は、本実施形態においてアノテーション付加情報付与部２０９が付与する付加情報である、タブレット固有ＩＤである。
【００４５】
本実施形態においては、これらの部品名６０１、アノテーション文字列６２０、付加情報・タブレット固有ＩＤ６０３が相互に関連付けられて保持されることになる。他の実施形態において、付加情報として固有ＩＤ以外の情報が使われるときは、付加情報・タブレット固有ＩＤ６０３の列に該当の固有情報が保持されることになる。ここで付加情報は複数種類あってもよく、その場合は付加情報を保持する行が複数行に渡ることになる。
【００４６】
図４は、本発明の第１の実施形態において、情報処理装置１０１によってアノテーションが重畳された仮想現実映像が生成される際のシステムの振る舞いを表現したフローチャートである。
【００４７】
まず、アノテーションの重畳表示を開始する（Ｓ４０１）。アノテーションの重畳表示は、システムの稼働中常に重畳表示されるとしてもよいし、通常はアノテーションを表示せずにＨＭＤ装着者の操作によってアノテーションの重畳表示を開始するとしてもよい。本発明によるアノテーションの絞込み表示機能は、アノテーション表示中常に有効であるとしてもよいし、ＨＭＤ１０２の装着者の操作により、アノテーションの非表示、全アノテーションの表示、アノテーションの絞込み表示を任意に切り替えられるとしてもよい。
【００４８】
Ｓ４０２において、タブレットコンピュータ２０３はアノテーション保持部２０８が保持しているアノテーションの一覧を表示する。この一覧表示はＳ４０３において絞込み条件を選択して絞込みを行う前の参考表示であり、Ｓ４０２は省略してもかまわない。また、タブレットコンピュータ１０３でなく、情報処理装置１０１に接続された表示装置に表示してもかまわないし、タブレットでない表示デバイスに表示するとしてもかまわない。
【００４９】
Ｓ４０３において、タブレットコンピュータ１０３の操作者は一覧表示されたアノテーションを絞込むための条件を入力する。本実施形態においては、アノテーション入力時に使用したタブレットコンピュータの固有ＩＤを条件として入力する。ここで条件の入力は、予め用意された選択肢から選択するとしてもよいし、入力デバイスとしてはマイクを用いた音声入力を用いてもよいし、マウスとキーボードを備えたＰＣにより入力してもかまわない。
【００５０】
Ｓ４０４において、アノテーション絞込み部２１０はＳ４０３で入力された条件に合致する付加情報を持つアノテーションのみを選択的に表示する、絞込みを行う。本実施形態では、入力された固有ＩＤと等しい固有ＩＤを付加情報として持つアノテーションのみが表示されることになる。ここでは、条件に完全に一致するアノテーションのみを選択するとしてもよいし、ある一定の範囲で差異を持つアノテーションをすべて表示するとしてもよい。
【００５１】
Ｓ４０５において、アノテーション絞込み重畳部２１１はＳ４０４で絞込まれたアノテーションのみを仮想現実映像に重畳して表示する。結果として、ＨＭＤ装着者は所望のアノテーションのみが表示された仮想現実映像を試聴することができ、多数のアノテーションに視界を妨げられる状況を軽減することが可能である。
【００５２】
以上の順序で、本実施形態におけるアノテーション表示操作は終了である（Ｓ４０６）。
【００５３】
本実施形態によれば、アノテーションと、該アノテーションを入力したユーザのＩＤ（またはタブレットコンピュータ１０３のＩＤ）を保持しておくため、ユーザは、ＩＤを使ってアノテーションを絞り込んで表示することが可能となる。
【００５４】
（第２の実施形態）
第１の実施形態のＳ３０４において、アノテーション付加情報付与部２０９は、アノテーションが入力された時点での日付および時刻を取得する。
【００５５】
Ｓ３０５においてアノテーション付加情報付与部２０９は、Ｓ３０４で取得した日付および時刻を、Ｓ３０３で入力されたアノテーションに関連付けて保持する。結果として、Ｓ３０２において入力されたアノテーション付与対象部品、Ｓ３０３において入力されたアノテーション文字列、Ｓ３０４において取得された付加情報が相互に関連付けられて保持されることになる。
【００５６】
本実施形態によれば、アノテーションと、該アノテーションを入力した際の日付および時刻を関連付けて保持しておくため、ユーザは、指定した日付および時刻を使ってアノテーションを絞り込んで表示することが可能となる。
【００５７】
（第３の実施形態）
第１の実施形態のＳ３０４において、アノテーション付加情報付与部２０９は、タブレットコンピュータ１０３の３次元空間上の位置と姿勢を取得する。ここで３次元空間上の位置と姿勢の取得は、タブレットコンピュータ１０３が備えるカメラによって取得した視界内に存在するマーカーや特徴点の情報を用いてもよいし、タブレットコンピュータに接続された赤外線センサー、磁気センサーなどの情報を用いてもよい。また、位置または姿勢のどちらかのみを取得し、他方の情報は使用しないとしてもよい。
【００５８】
Ｓ３０５においてアノテーション付加情報付与部２０９は、Ｓ３０４で取得した３次元空間上の位置と姿勢を、Ｓ３０３で入力されたアノテーションに関連付けて保持する。結果として、Ｓ３０２において入力されたアノテーション付与対象部品、Ｓ３０３において入力されたアノテーション文字列、Ｓ３０４において取得された付加情報が相互に関連付けられて保持されることになる。
【００５９】
本実施形態によれば、アノテーションと、該アノテーションを入力した際のタブレットコンピュータ１０３の位置と姿勢とを関連付けて保持しておくため、ユーザは、タブレットコンピュータ１０３の位置と姿勢に応じてアノテーションを絞り込んで表示することが可能となる。
【００６０】
（第４の実施形態）
第１の実施形態のＳ３０４において、アノテーション付加情報付与部２０９は、タブレットコンピュータ１０３でアノテーションを入力した時のＨＭＤ１０２の３次元空間上の位置と姿勢とを取得する。ここで３次元空間上の位置と姿勢の取得は、情報処理装置１０１が備える頭部位置姿勢特定部２０４の機能を用いてもよいし、第３の実施形態のタブレットコンピュータ１０３の位置と姿勢の取得に用いたようなその他の方法を用いてもよい。また、位置または姿勢のどちらかのみを取得し、他方の情報は使用しないとしてもよい。
【００６１】
Ｓ３０５においてアノテーション付加情報付与部２０９は、Ｓ３０４で取得した３次元空間上の位置と姿勢を、Ｓ３０３で入力されたアノテーションに関連付けて保持する。結果として、Ｓ３０２において入力されたアノテーション付与対象部品、Ｓ３０３において入力されたアノテーション文字列、Ｓ３０４において取得された付加情報が相互に関連付けられて保持されることになる。
【００６２】
本実施形態によれば、アノテーションと、該アノテーションを入力した時のＨＭＤ１０２の位置と姿勢とを関連付けて保持しておくため、ユーザは、ＨＭＤ１０２の位置と姿勢に応じてアノテーションを絞り込んで表示することが可能となる。
【００６３】
（第５の実施形態）
第１の実施形態のＳ３０４において、アノテーション付加情報付与部２０９は、ＨＭＤ１０２の装着者が保持するデバイスの３次元空間上の位置と姿勢を取得する。ここでデバイスとは位置と姿勢が取得可能なデバイスであれば何でもよい。また、デバイスの３次元空間上の位置と姿勢の取得は、第３の実施形態におけるタブレットコンピュータ１０３の位置の取得に用いたような方法を用いることができる。また、位置または姿勢のどちらかのみを取得し、他方の情報は使用しないとしてもよい。
【００６４】
Ｓ３０５においてアノテーション付加情報付与部２０９は、Ｓ３０４で取得した３次元空間上の位置を、Ｓ３０３で入力されたアノテーションに関連付けて保持する。結果として、Ｓ３０２において入力されたアノテーション付与対象部品、Ｓ３０３において入力されたアノテーション文字列、Ｓ３０４において取得された付加情報が相互に関連付けられて保持されることになる。
【００６５】
本実施形態によれば、アノテーションと、該アノテーションを入力した際のデバイスの位置と姿勢とを関連付けて保持しておくため、ユーザは、デバイスの位置と姿勢に応じてアノテーションを絞り込んで表示することが可能となる。
【００６６】
（第６の実施形態）
第１の実施形態のＳ３０４において、アノテーション付加情報付与部２０９は、ＨＭＤ１０２と、ＨＭＤ１０２の装着者が保持するデバイスの３次元空間上の相対的な位置を取得する。ここでデバイスとは位置が取得可能なデバイスであれば何でもよい。また、ＨＭＤ１０２とデバイスの３次元空間上の位置の取得は、第３の実施形態におけるタブレットコンピュータ１０３の位置の取得に用いたような方法を用いることができる。また、第３の実施形態におけるタブレットコンピュータ１０３の姿勢の取得に用いたような方法を用いてＨＭＤ１０２とデバイスの姿勢を取得し、相対的な姿勢を位置に加えて付加情報として利用してもよい。
【００６７】
Ｓ３０５において、アノテーション付加情報付与部２０９は、Ｓ３０４で取得した相対位置を、Ｓ３０３で入力されたアノテーションに関連付けて保持する。結果として、Ｓ３０２において入力されたアノテーション付与対象部品、Ｓ３０３において入力されたアノテーション文字列、Ｓ３０４において取得された付加情報が相互に関連付けられて保持されることになる。
【００６８】
（第７の実施形態）
第１の実施形態のＳ３０４において、アノテーション付加情報付与部２０９は、第３〜６の実施形態において取得した付加情報のうち複数を同時に取得する。
【００６９】
Ｓ３０５においてアノテーション付加情報付与部２０９は、Ｓ３０４で取得した複数の付加情報を、Ｓ３０３で入力されたアノテーションに関連付けて保持する。結果として、Ｓ３０２において入力されたアノテーション付与対象部品、Ｓ３０３において入力されたアノテーション文字列、Ｓ３０４において取得された付加情報が相互に関連付けられて保持されることになる。
【００７０】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2017010228.tif 000003
【図２】
2017010228.tif 000004
【図３】
2017010228.tif 000005
【図４】
2017010228.tif 000006
【図５】
2017010228.tif 000007
【図６】
2017010228.tif 000008
【図７】
2017010228.tif 000009