(57)【特許請求の範囲】
【請求項１】
第１のユーザの視界に対応する動画像をリアルタイムで取得する画像取得部と、
前記動画像を前記第１のユーザとは異なる第２のユーザに向けて表示させる表示制御部と、
前記動画像に対して前記第２のユーザが入力したアノテーションが、前記第１のユーザの視界に表示された、または該表示のために出力されたことを検出するアノテーション検出部と、
を備え、
前記表示制御部は、さらに、前記表示または出力されたアノテーションを前記第２のユーザに向けて表示させ、
前記アノテーション検出部は、さらに、前記アノテーションが前記表示または出力のためにキューイングされていることを検出し、
前記表示制御部は、前記キューイングされているアノテーションを前記第２のユーザに向けて表示させる、表示制御装置。
【請求項２】
前記表示制御部は、前記表示または出力されたアノテーションと、前記キューイングされているアノテーションとを、互いに異なる態様で表示させる、請求項１に記載の表示制御装置。
【請求項３】
第１のユーザの視界に対応する動画像をリアルタイムで取得する画像取得部と、
前記動画像を前記第１のユーザとは異なる第２のユーザに向けて表示させる表示制御部と、
前記動画像に対して前記第２のユーザが入力したアノテーションが、前記第１のユーザの視界に表示された、または該表示のために出力されたことを検出するアノテーション検出部と、
を備え、
前記表示制御部は、さらに、前記表示または出力されたアノテーションを前記第２のユーザに向けて表示させ、
前記アノテーションを前記第１のユーザの視界に表示させるために所定のレートで出力し、前記所定のレートを超えて入力された前記アノテーションをキューイングするアノテーション出力制御部をさらに備える、表示制御装置。
【請求項４】
前記所定のレートを、前記第１のユーザの操作または前記第１のユーザのセンシング情報に基づいて設定する出力レート設定部をさらに備える、請求項３に記載の表示制御装置。
【請求項５】
前記出力レート設定部は、前記第１のユーザのセンシング情報に基づいて、前記所定のレートを一時的に０に設定する、請求項４に記載の表示制御装置。
【請求項６】
前記表示制御部は、さらに、前記所定のレートが０であることの通知を前記第２のユーザに向けて表示させる、請求項５に記載の表示制御装置。
【請求項７】
前記出力レート設定部は、前記第１のユーザの操作に基づいて、前記キューイングされているアノテーションの量が所定の閾値を下回るまで前記所定のレートを最大値に設定する、請求項４〜６のいずれか１項に記載の表示制御装置。
【請求項８】
前記アノテーション出力制御部は、前記第２のユーザの操作に基づいて前記キューイングされているアノテーションの少なくとも一部を削除する、請求項３〜７のいずれか１項に記載の表示制御装置。
【請求項９】
第１のユーザの視界に対応する動画像をリアルタイムで取得する画像取得部と、
前記動画像を前記第１のユーザとは異なる第２のユーザに向けて表示させる表示制御部と、
前記動画像に対して前記第２のユーザが入力したアノテーションが、前記第１のユーザの視界に表示された、または該表示のために出力されたことを検出するアノテーション検出部と、
を備え、
前記表示制御部は、さらに、前記表示または出力されたアノテーションを前記第２のユーザに向けて表示させ、
前記アノテーション検出部は、さらに、前記表示または出力されたアノテーションが前記第１のユーザによって注視されたことを検出し、
前記表示制御部は、さらに、前記表示または出力されたアノテーションが注視されたことの通知を前記第２のユーザに向けて表示させる、表示制御装置。
【請求項１０】
第１のユーザの視界に対応する動画像をリアルタイムで取得する画像取得部と、
前記動画像を前記第１のユーザとは異なる第２のユーザに向けて表示させる表示制御部と、
前記動画像に対して前記第２のユーザが入力したアノテーションが、前記第１のユーザの視界に表示された、または該表示のために出力されたことを検出するアノテーション検出部と、
を備え、
前記表示制御部は、前記表示または出力されたアノテーションが合成された前記動画像を前記第２のユーザに向けて表示させ、
前記アノテーション検出部は、前記画像取得部が、前記表示または出力されたアノテーションが合成された前記動画像を取得することによって実現される、表示制御装置。
【請求項１１】
第１のユーザの視界に対応する動画像をリアルタイムで取得することと、
前記動画像を前記第１のユーザとは異なる第２のユーザに向けて表示させることと、
プロセッサが、前記動画像に対して前記第２のユーザが入力したアノテーションが、前記第１のユーザの視界に表示された、または該表示のために出力されたことを検出することと、
前記表示または出力されたアノテーションを前記第２のユーザに向けて表示させることと、
前記アノテーションが前記表示または出力のためにキューイングされていることを検出することと、
前記キューイングされているアノテーションを前記第２のユーザに向けて表示させることと
を含む表示制御方法。
【請求項１２】
第１のユーザの視界に対応する動画像をリアルタイムで取得する機能と、
前記動画像を前記第１のユーザとは異なる第２のユーザに向けて表示させる機能と、
前記動画像に対して前記第２のユーザが入力したアノテーションが、前記第１のユーザの視界に表示された、または該表示のために出力されたことを検出する機能と、
前記表示または出力されたアノテーションを前記第２のユーザに向けて表示させる機能と、
前記アノテーションが前記表示または出力のためにキューイングされていることを検出する機能と、
前記キューイングされているアノテーションを前記第２のユーザに向けて表示させる機能と
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】  近年、実世界に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented  Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに提示される情報は、アノテーションとも呼ばれ、テキスト、アイコンまたはアニメーションなど様々な形態の仮想的なオブジェクトを用いて可視化されうる。例えば、特許文献１には、こうしたＡＲの仮想オブジェクトの操作を、ＡＲ空間へのユーザの没入感を損なうことなく実現するための技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２１２３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  上記の特許文献１などで提案されているＡＲ技術は、未だ開発されてから日が浅く、さまざまな局面でＡＲを活用するための技術が十分に提案されているとはいいがたい。例えば、ＡＲ技術を利用したユーザ間のインタラクションを円滑にするための技術も、十分には提案されていないものの一つである。【０００５】  そこで、本開示では、ＡＲ技術を利用したユーザ間のインタラクションをより円滑にすることが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
【課題を解決するための手段】
【０００６】  本開示によれば、第１のユーザの視界に対応する動画像をリアルタイムで取得する画像取得部と、上記動画像を上記第１のユーザとは異なる第２のユーザに向けて表示させる表示制御部と、上記動画像に対して上記第２のユーザが入力したアノテーションが、上記第１のユーザの視界に表示された、または該表示のために出力されたことを検出するアノテーション検出部と、を備え、上記表示制御部は、さらに、上記表示または出力されたアノテーションを上記第２のユーザに向けて表示させる表示制御装置が提供される。【０００７】  また、本開示によれば、第１のユーザの視界に対応する動画像をリアルタイムで取得することと、上記動画像を上記第１のユーザとは異なる第２のユーザに向けて表示させることと、プロセッサが、上記動画像に対して上記第２のユーザが入力したアノテーションが、上記第１のユーザの視界に表示された、または該表示のために出力されたことを検出することと、上記表示または出力されたアノテーションを上記第２のユーザに向けて表示させることとを含む表示制御方法が提供される。【０００８】  また、本開示によれば、第１のユーザの視界に対応する動画像をリアルタイムで取得する機能と、上記動画像を上記第１のユーザとは異なる第２のユーザに向けて表示させる機能と、上記動画像に対して上記第２のユーザが入力したアノテーションが、上記第１のユーザの視界に表示された、または該表示のために出力されたことを検出する機能と、上記表示または出力されたアノテーションを上記第２のユーザに向けて表示させる機能とをコンピュータに実現させるためのプログラムが提供される。
【発明の効果】
【０００９】  以上説明したように本開示によれば、ＡＲ技術を利用したユーザ間のインタラクションをより円滑にすることができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１の実施形態に係るシステムの概略的な構成を示す図である。
【図２】本開示の第１の実施形態に係る装置の概略的な構成を示す図である。
【図３】本開示の第１の実施形態に係るシステムの概略的な機能構成を示す図である。
【図４】本開示の第１の実施形態におけるウェアラブルディスプレイでの表示例を示す図である。
【図５】本開示の第１の実施形態におけるタブレット端末での表示例を示す図である。
【図６】本開示の第１の実施形態の変形例に係るシステムの概略的な機能構成を示す図である。
【図７】本開示の第２の実施形態に係るシステムの概略的な機能構成を示す図である。
【図８】本開示の第２の実施形態におけるシーケンスの例を示す図である。
【図９】本開示の第２の実施形態におけるタブレット端末での表示例を示す図である。
【図１０】本開示の第３の実施形態に係るシステムの概略的な機能構成を示す図である。
【図１１】本開示の第３の実施形態において出力レートが一時的に０に設定された場合のタブレット端末での第１の表示例を示す図である。
【図１２】本開示の第３の実施形態において出力レートが一時的に０に設定された場合のタブレット端末での第２の表示例を示す図である。
【図１３】本開示の第４の実施形態に係るシステムの概略的な機能構成を示す図である。
【図１４】本開示の第４の実施形態におけるタブレット端末での第１の表示例を示す図である。
【図１５】本開示の第４の実施形態におけるタブレット端末での第２の表示例を示す図である。
【図１６】本開示の実施形態に係る情報処理装置を実現可能なハードウェア構成について説明するためのブロック図である。
【発明を実施するための形態】
【００１１】  以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】  なお、説明は以下の順序で行うものとする。  １．第１の実施形態    １−１．システム構成    １−２．装置構成    １−３．機能構成    １−４．表示例    １−５．変形例  ２．第２の実施形態    ２−１．機能構成    ２−２．シーケンス例    ２−３．表示例  ３．第３の実施形態  ４．第４の実施形態  ５．ハードウェア構成  ６．補足
【００１３】  （１．第１の実施形態）  （１−１．システム構成）  図１は、本開示の第１の実施形態に係るシステムの概略的な構成を示す図である。図１を参照すると、システム１０は、ウェアラブルディスプレイ１００と、スマートフォン１５０と、サーバ２００と、タブレット端末３００とを含む。ウェアラブルディスプレイ１００とスマートフォン１５０とは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）によって接続される。また、サーバ２００は、スマートフォン１５０およびタブレット端末３００と、有線または無線の各種ネットワークによって接続される。
【００１４】  システム１０では、第１のユーザが装着した眼鏡型のウェアラブルディスプレイ１００に搭載されたカメラ（頭部搭載カメラ）によって撮像された動画像が、スマートフォン１５０およびサーバ２００を介して、タブレット端末３００にリアルタイムでストリーミング配信される。配信される動画像は、第１のユーザの視界に対応するように、範囲や傾きなどが加工されたものでありうる。このようにして、タブレット端末３００で動画像を閲覧する第２のユーザは、あたかも第１のユーザとの間で視覚を共有しているような体験ができる。
【００１５】  さらに、タブレット端末３００で動画像を閲覧する第２のユーザは、ストリーミング配信された動画像に対してアノテーションを入力することが可能である。ここで、アノテーションは、第１のユーザが見ている実空間の像に追加して提示される情報であり、テキスト、アイコン、またはアニメーションなど、各種の形態をとりうる。第２のユーザは、アノテーションの入力によって、例えば第１のユーザの視界に映るものに対してコメントを加えたり、第１のユーザに対して情報を提供したりすることができる。つまり、第２のユーザは、アノテーションによって第１のユーザの体験に介入することができる。
【００１６】  タブレット端末３００で第２のユーザによって入力されたアノテーションは、サーバ２００を介してスマートフォン１５０に送信され、スマートフォン１５０の制御によってウェアラブルディスプレイ１００において第１のユーザの視界に表示される。後述するように、アノテーションは第１の視界に透過的に表示されてもよいし、第１のユーザに向けて表示される画像に合成されてもよい。このようにして、システム１０では、ストリーミング配信される動画像を媒介としたユーザ間のインタラクションが成立する。
【００１７】  （１−２．装置構成）  図２は、本開示の第１の実施形態に係る装置の概略的な構成を示す図である。なお、各装置の構成要素は、以下で説明する実施形態の機能に関連する部分に限定して図示されており、各装置は図示されていない構成要素をさらに含みうる。各装置のより詳細な構成については、後述する情報処理装置のハードウェア構成の説明を参照されたい。以下、図２を参照しながら、システム１０に含まれる各装置の構成について説明する。
【００１８】    （ウェアラブルディスプレイ）  ウェアラブルディスプレイ１００は、ディスプレイ１１０と、カメラ１２０と、通信部１３０とを有する。
【００１９】  ディスプレイ１１０は、例えばＬＣＤや有機ＥＬディスプレイであり、ウェアラブルディスプレイ１００を装着している第１のユーザに対して各種の情報を呈示する。より具体的には、ディスプレイ１１０は、透過型のディスプレイであってもよいし、密閉型のディスプレイであってもよい。ディスプレイ１１０が透過型の場合、第１のユーザは、ディスプレイ１１０を透過して周囲の実空間を直接的に視認している。ディスプレイ１１０は、アノテーションなどの追加的な情報を電子的に表示させて、実空間の像に重畳させる。一方、ディスプレイ１１０が密閉型の場合、第１のユーザは、カメラ１２０によって撮像された動画像を第１のユーザの視界に対応するように加工した実空間の画像によって周囲の実空間を間接的に視認している。ディスプレイ１１０は、アノテーションなどの追加的な情報を実空間の画像に合成した画像を表示する。なお、以下の説明では、別途の記載がない限り、ディスプレイ１１０は透過型および密閉型のいずれでもありうるものとする。
【００２０】  カメラ１２０は、上述した頭部搭載カメラである。カメラ１２０によって撮像された動画像は、例えば後述するいずれかの装置のプロセッサによって第１のユーザの視界に対応するように加工された上で、タブレット端末３００において第２のユーザに向けて表示される。また、例えばディスプレイ１１０が密閉型の場合、カメラ１２０によって撮像された動画像を加工した画像は第１のユーザに向けても表示される。
【００２１】  通信部１３０は、スマートフォン１５０の通信部１８０ａとの間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）による通信を実行する通信回路である。本実施形態において、ウェアラブルディスプレイ１００が有するディスプレイ１１０やカメラ１２０は、スマートフォン１５０によって遠隔的に制御される。
【００２２】  なお、別の実施形態では、ウェアラブルディスプレイ１００が、ディスプレイ１１０やカメラ１２０の制御、およびその他の情報処理のためのプロセッサおよびメモリを備えてもよい。また、さらに別の実施形態では、スマートフォン１５０が有するディスプレイやカメラが、ウェアラブルディスプレイ１００の代わりに用いられてもよい。つまり、本実施形態におけるウェアラブルディスプレイ１００およびスマートフォン１５０の機能は、ディスプレイ、カメラ、プロセッサ、およびメモリを備える単一の装置によって実現されてもよく、例えば図示された例のように複数の装置に分散して実現されてもよい。
【００２３】    （スマートフォン）  スマートフォン１５０は、プロセッサ１６０と、メモリ１７０と、通信部１８０とを有する。
【００２４】  プロセッサ１６０は、スマートフォン１５０における各種の情報処理を実行する。例えば、プロセッサ１６０は、サーバ２００から通信部１８０ｂを介して受信されたアノテーションを、ウェアラブルディスプレイ１００のディスプレイ１１０に表示させるための制御を実行する。このとき、プロセッサ１６０は、アノテーションがディスプレイ１１０に表示されたことをサーバ２００に通知してもよい。また、プロセッサ１６０は、ウェアラブルディスプレイ１００のカメラ１２０によって撮像された動画像を、サーバ２００を介してタブレット端末３００に配信するために加工してもよい。アノテーションの表示の通知は、加工された動画像とともに、通信部１８０ｂを介してサーバ２００に送信されてもよい。メモリ１７０には、プロセッサ１６０における処理で使用される各種のデータが格納される。
【００２５】  なお、本実施形態において、スマートフォン１５０のプロセッサ１６０、サーバ２００のプロセッサ２１０、およびタブレット端末３００のプロセッサ３１０によってそれぞれ実現される機能は、互換的である。従って、例えば、プロセッサ１６０によって実現されるものとして説明された機能は、他の実施形態ではプロセッサ２１０またはプロセッサ３１０によって実現されてもよい。同様に、プロセッサ２１０によって実現されるものとして説明された機能は、他の実施形態ではプロセッサ１６０またはプロセッサ３１０によって実現されてもよい。また、プロセッサ３１０によって実現されるものとして説明された機能は、各実施形態においてスマートフォン１５０のメモリ１７０、サーバ２００のメモリ２２０、およびタブレット端末３００のメモリ３２０に格納されるデータは、それぞれの装置のプロセッサが実現する機能によって異なる。
【００２６】  通信部１８０は、ウェアラブルディスプレイ１００の通信部１３０との間でＢｌｕｅｔｏｏｔｈ（登録商標）による通信を実行する通信回路である通信部１８０ａと、サーバ２００の通信部２３０との間でネットワーク通信を実行する通信回路である通信部１８０ｂとを含む。通信部１８０ｂと通信部２３０との間のネットワーク通信は、Ｗｉ−Ｆｉ、携帯電話網、インターネットなど、有線または無線の各種のネットワークを経由して実行されうる。これは通信部２３０とタブレット端末３００の通信部３３０との間のネットワーク通信についても同様である。
【００２７】    （サーバ）  サーバ２００は、プロセッサ２１０と、メモリ２２０と、通信部２３０とを有する。
【００２８】  プロセッサ２１０は、サーバ２００における各種の情報処理を実行する。例えば、プロセッサ２１０は、タブレット端末３００から通信部２３０を介して受信されたアノテーションを、スマートフォン１５０に転送する。例えば、複数のタブレット端末３００に同じウェアラブルディスプレイ１００から動画像が配信されている場合、サーバ２００が、それぞれのタブレット端末３００で入力されたアノテーションを集約してスマートフォン１５０に転送してもよい。また、プロセッサ２１０は、スマートフォン１５０から通信部２３０を介して受信された動画像を、１または複数のタブレット端末３００に配信する。このとき、プロセッサ２１０は、スマートフォン１５０からの通知に基づいて、ウェアラブルディスプレイ１００において表示されたアノテーションに関する情報をタブレット端末３００に配信してもよい。あるいは、プロセッサ２１０は、スマートフォン１５０に出力したアノテーションの情報をタブレット端末３００に配信してもよい。メモリ２２０には、プロセッサ２１０における処理で使用される各種のデータが格納される。
【００２９】  通信部２３０は、スマートフォン１５０の通信部１８０ｂ、およびタブレット端末３００の通信部３３０との間でネットワーク通信を実行する通信回路である。
【００３０】    （タブレット端末）  タブレット端末３００は、プロセッサ３１０と、メモリ３２０と、通信部３３０と、ディスプレイ３４０と、タッチパネル３５０とを有する。
【００３１】  プロセッサ３１０は、タブレット端末３００における各種の情報処理を実行する。例えば、プロセッサ３１０は、サーバ２００から通信部３３０を介して受信された動画像を、ディスプレイ３４０に表示させるための制御を実行する。このとき、プロセッサ３１０は、ウェアラブルディスプレイ１００において第１のユーザの視界に表示されたアノテーション、または表示のためにサーバ２００またはスマートフォン１５０から出力されたアノテーションを示す情報を、動画像とともにディスプレイ３４０に表示させてもよい。また、例えば、プロセッサ３１０は、タッチパネル３５０を介して第２のユーザによって入力されたアノテーションを、通信部３３０を介してサーバ２００に送信する。メモリ３２０には、プロセッサ３１０における処理で使用される各種のデータが格納される。
【００３２】  通信部３３０は、サーバ２００の通信部２３０との間でネットワーク通信を実行する通信回路である。
【００３３】  ディスプレイ３４０は、例えばＬＣＤや有機ＥＬディスプレイであり、プロセッサ３１０の制御に従って各種の情報を呈示する。例えば、ディスプレイ３４０は、ウェアラブルディスプレイ１００のカメラ１２０によって撮像された画像に基づいて生成される、第１のユーザの視界に対応する動画像を表示する。また、ディスプレイ３４０は、第１のユーザの視界に表示された、または表示のために出力されたアノテーションを示す情報を表示する。さらに、ディスプレイ３４０は、第２のユーザが動画像に対してアノテーションを入力するためのＧＵＩ（Graphical  User  Interface）を表示してもよい。
【００３４】  タッチパネル３５０は、ディスプレイ３４０の表面に配置され、ユーザのタッチを入力として検出する。タッチパネル３５０は、例えば、ソフトウェアキーボードを用いたテキストの入力や、画像などの選択入力、手書きによる文字や図形の入力などを検出する。タッチパネル３５０を介して入力された文字や画像は、プロセッサ３１０によってアノテーションとして処理され、通信部３３０を介してサーバ２００に送信される。
【００３５】  なお、本実施形態では、ウェアラブルディスプレイ１００を装着した第１のユーザの視界に対応する動画像がタブレット端末３００に配信されるが、別の実施形態では、タブレット端末３００に加えて、またはタブレット端末３００に代えて、デスクトップ型もしくはノート型のパーソナルコンピュータ、テレビ、スマートフォン、メディアプレーヤ、またはゲーム機など、ディスプレイと入力装置とを備える各種の機器に動画像が配信されうる。ウェアラブルディスプレイ１００とは異なるウェアラブルディスプレイに動画像が配信されてもよい。これらの場合、入力装置は、本実施形態で例示したタッチパネルには限られず、キーボード、マウス、またはハードウェアボタンなどであってもよい。また、アノテーションの入力には、音声入力やジェスチャ入力が利用されてもよい。
【００３６】  （１−３．機能構成）  図３は、本開示の第１の実施形態に係るシステムの概略的な機能構成を示す図である。図３を参照すると、システム１０は、画像加工部２５１、画像取得部２５３、表示制御部２５５、アノテーション出力制御部２５７、表示制御部２５９、およびアノテーション検出部２６１を機能構成として含む。これらの機能構成は、例えばスマートフォン１５０のプロセッサ１６０、サーバ２００のプロセッサ２１０、またはタブレット端末３００のプロセッサ３１０のいずれかによって実現されてもよく、またこれらのプロセッサに分散して実現されてもよい。以下、それぞれの機能構成についてさらに説明する。
【００３７】  画像加工部２５１は、ウェアラブルディスプレイ１００に搭載されたカメラ１２０によって撮像された動画像を加工して、ウェアラブルディスプレイ１００を装着している第１のユーザの視界に対応する動画像を生成する。例えば、画像加工部２５１は、予め実行されたキャリブレーションの結果に応じて、第１のユーザの視界よりも広い範囲を撮像した動画像から視界に対応する領域を切り出す。また、例えば、画像加工部２５１は、カメラ１２０と第１のユーザの視点との位置の違いに基づいて動画像の傾きを補正してもよい。
【００３８】  画像取得部２５３は、画像加工部２５１によって加工された動画像、すなわち第１のユーザの視界に対応する動画像をリアルタイムで取得する。表示制御部２５５は、取得された動画像を、タブレット端末３００のディスプレイ３４０に表示させる。上記のように、ディスプレイ３４０は、第２のユーザによって閲覧されている。この第２のユーザは、ウェアラブルディスプレイ１００を装着している第１のユーザとは異なる。表示制御部２５５は、さらに、後述するアノテーション検出部２６１から提供される情報に基づいて、ディスプレイ３４０にアノテーションを表示させる。ここで表示されるアノテーションは、第１のユーザの視界に表示するために出力されたアノテーションである。
【００３９】  アノテーション出力制御部２５７は、第２のユーザがタブレット端末３００のタッチパネル３５０を介して入力したアノテーションを、第１のユーザの視界に表示させるために出力する。表示制御部２５９は、出力されたアノテーションを、ウェアラブルディスプレイ１００のディスプレイ１１０に表示させる。ウェアラブルディスプレイ１００は第１のユーザによって装着されているため、ディスプレイ１１０に表示されたアノテーションは、第１のユーザの視界に表示されることになる。なお、ディスプレイ１１０が密閉型である場合、表示制御部２５９は、さらに、画像加工部２５１から取得した画像をディスプレイ１１０に表示させる。
【００４０】  アノテーション検出部２６１は、タブレット端末３００でディスプレイ３４０に表示された動画像に対して第２のユーザが入力したアノテーションが、アノテーション出力制御部２５７から出力されたことを検出する。より具体的には、アノテーション検出部２６１は、アノテーション出力制御部２５７から、出力されたアノテーションを示す情報を取得する。アノテーション検出部２６１は、出力されたアノテーションを示す情報を表示制御部２５５に提供する。
【００４１】  以上のような機能構成によって、例えば、実際にアノテーションが第１のユーザに視界に表示された時刻により近い時刻に、出力されたアノテーションを示す情報を第２のユーザに向けて表示することができる。アノテーションの送信時刻と表示時刻との間には、例えばタブレット端末３００とサーバ２００の間、またはタブレット端末３００とスマートフォン１５０との間の通信遅延によって差が生じうるため、こうした機能構成は有効でありうる。なお、上記の効果を考慮する場合、アノテーション出力制御部２５７はタブレット端末３００以外の装置のプロセッサによって実現することが望ましい（タブレット端末３００でアノテーション出力制御部２５７を実現した場合、通信遅延が反映されないため）。
【００４２】  （１−４．表示例）    （ウェアラブルディスプレイでの表示例）  図４は、本開示の第１の実施形態におけるウェアラブルディスプレイでの表示例を示す図である。図４を参照すると、ウェアラブルディスプレイ１００のディスプレイ１１０に表示される画面１０００には、実空間の像１０１０と、テキスト１０２１と、スタンプ１０２２とが表示される。
【００４３】  実空間の像１０１０は、上述の通り、透過型のディスプレイ１１０を通して直接的に視認されてもよいし、密閉型のディスプレイ１１０に電子的に表示された画像であってもよい。いずれにしても、実空間の像１０１０は、ウェアラブルディスプレイ１００を装着している第１のユーザの視界に対応する画像である。
【００４４】  テキスト１０２１およびスタンプ１０２２は、いずれも、動画像として配信された実空間の像１０１０に対して、タブレット端末３００において第１のユーザが入力したアノテーションである。テキスト１０２１およびスタンプ１０２２は、実空間の像１０１０に透過的に重畳されるか、または実空間の像１０１０を構成する画像に合成される。
【００４５】  なお、図示された例では、動画像が複数のタブレット端末３００に配信されており、複数のタブレット端末３００においてアノテーションが入力される。従って、テキスト１０２１には、アノテーションを入力したユーザの名称が含まれている。
【００４６】    （タブレット端末での表示例）  図５は、本開示の第１の実施形態におけるタブレット端末での表示例を示す図である。図５を参照すると、タブレット端末３００のディスプレイ３４０に表示される画面３０００には、動画像３０１０と、テキスト３０２１と、スタンプ３０２２と、テキスト入力ボックス３０４０と、スタンプ選択ボックス３０５０とが表示される。
【００４７】  動画像３０１０は、ウェアラブルディスプレイ１００に搭載されたカメラ１２０によって撮像された動画像を加工して生成される、第１のユーザの視界に対応する画像である。動画像３０１０は、通信遅延などによる時間差を除くほかはリアルタイムで表示される。つまり、動画像３０１０は、ウェアラブルディスプレイ１００で表示されている実空間の像１０１０にほぼ同期している。
【００４８】  テキスト３０２１およびスタンプ３０２２は、ウェアラブルディスプレイ１００において第１のユーザの視界に表示するために出力されたアノテーションである。図示された例では、これらのアノテーションが、動画像３０１０に合成されている。表示制御部２５５は、アノテーションを動画像３０１０に合成する処理を実行してもよい。なお、別の例では、アノテーションは動画像３０１０とは別に表示されてもよい。
【００４９】  テキスト入力ボックス３０４０は、アノテーションのテキストを入力するために表示される。タブレット端末３００を使用している第２のユーザは、例えばタッチパネル３５０を使用してテキスト入力ボックス３０４０にカーソルを配置し、ソフトウェアキーボードを用いてテキストを入力する。スタンプ選択ボックス３０５０は、アノテーションのスタンプを入力するために表示される。第２のユーザは、例えばタッチパネル３５０を使用して、動画像３０１０への評価や感想などを示すスタンプを選択する。
【００５０】  ここで、画面３０００において表示されているテキスト３０２１およびスタンプ３０２２は、例えば、テキスト入力ボックス３０４０およびスタンプ選択ボックス３０５０を用いて入力されたテキストやスタンプが、一旦タブレット端末３００からサーバ２００に送信された後、サーバ２００またはスマートフォン１５０において実現されるアノテーション出力制御部２５７からこれらのアノテーションが出力された時点で、アノテーション検出部２６１を介して取得される情報に基づいて表示される。従って、テキスト入力ボックス３０４０およびスタンプ選択ボックス３０５０を用いて入力されたテキストやスタンプがテキスト３０２１およびスタンプ３０２２として表示されるまでには若干の時間差があり、その時間差が、アノテーションの送信時刻と表示時刻との間の差の一部を反映している。
【００５１】  （１−５．変形例）  図６は、本開示の第１の実施形態の変形例に係るシステムの概略的な機能構成を示す図である。図６を参照すると、システム１２では、アノテーション出力制御部２５７が、表示制御部２５９に加えて画像加工部２５１にアノテーションの情報を出力する。画像加工部２５１では、カメラ１２０によって撮像された動画像から領域を切り出したり傾きを補正したりする処理に加えて、生成された動画像にアノテーションを合成する処理が実行される。つまり、本変形例では、画像加工部２５１によって加工された動画像、すなわち第１のユーザの視界に対応する動画像に、既にアノテーションが合成されている。従って、加工された動画像を取得する画像取得部２５３は、動画像とともに出力されたアノテーションの情報をも取得し、アノテーション検出部２６１の機能をも実現することになる。
【００５２】  本変形例では、画像加工部２５１以降の部分で動画像とアノテーションとが合成された状態で伝送されるため、この部分で動画像とアノテーションとの間に通信遅延や処理遅延などによる時間差が生じない。従って、第１のユーザの視界に対応する動画像と、第１のユーザの視界に表示するために出力されたアノテーションとの表示をより正確に同期させることができる。
【００５３】  また、ウェアラブルディスプレイ１００のディスプレイ１１０が密閉型である場合、表示制御部２５９は、画像加工部２５１から取得した画像をディスプレイ１１０に表示させるため、ウェアラブルディスプレイ１００とタブレット端末３００とで表示される動画像とアノテーションとの関係が同一になる。この場合、タブレット端末３００のディスプレイ３４０に表示されるアノテーションは、第１のユーザの視界に実際に表示されたアノテーションである。
【００５４】  （２．第２の実施形態）  次に、本開示の第２の実施形態について説明する。なお、上記の第１の実施形態と同様の構成（システム構成および装置構成）については、重複した説明を省略する。
【００５５】  （２−１．機能構成）  図７は、本開示の第２の実施形態に係るシステムの概略的な機能構成を示す図である。図７を参照すると、システム２０は、画像加工部２５１、画像取得部２５３、表示制御部２５５、アノテーション出力制御部２５７、表示制御部２５９、アノテーション検出部２６１、およびアノテーションキュー２６３を機能構成として含む。本実施形態で追加されるアノテーションキュー２６３は、例えばスマートフォン１５０のメモリ１７０、サーバ２００のメモリ２２０、またはタブレット端末３００のメモリ３２０のいずれかによって実現されうる。以下、これらの機能構成について、第１の実施形態とは異なる点を中心に説明する。
【００５６】  ウェアラブルディスプレイ１００を装着している第１のユーザは、実空間の中で活動している。従って、第１のユーザの視界は、安全に活動するため、および彼／彼女が見たいものを見るために、ある程度確保される必要がある。従って、図４に示した例でいえば、ディスプレイ１１０に表示される実空間の像１０１０おいて、テキスト１０２１やスタンプ１０２２が重畳または合成される領域は制限されることが望ましい。従って、図４の例の場合、ディスプレイ１１０に同時に表示されるテキスト１０２１およびスタンプ１０２２の数は、例えば２つに制限されていてもよい。
【００５７】  また、第１のユーザは、実空間の中で活動しているため、表示されたアノテーションを視認することに専念しているとは限らない。つまり、第１のユーザは、アノテーションを片手間に視認している場合が多いと推定される。従って、同じアノテーションの表示が継続される時間も、ユーザがアノテーションを視認することに専念できる場合よりも長いことが望ましい。
【００５８】  以上のような理由によって、本実施形態では、第１のユーザの視界に同時に表示されるアノテーションの数が所定の閾値以下に制限されたり、同じアノテーションの表示が継続される時間が所定の閾値以上に制限されたりする。従って、アノテーション出力制御部２５７は、１または複数の第２のユーザがタブレット端末３００のタッチパネル３５０を介して入力したアノテーションを、上記の表示数および／または表示継続時間に応じて決定される所定のレートで出力する。アノテーションの入力レートが出力の所定のレートを超えた場合、アノテーション出力制御部は、入力されたアノテーションをアノテーションキュー２６３にキューイングする。
【００５９】  一方、上記のようにアノテーション出力制御部２５７がアノテーションをキューイングする場合、アノテーションを入力する第２のユーザと、アノテーションを閲覧する第１のユーザとのコミュニケーションという観点からすれば、入力したコメントがどのタイミングで第１のユーザの視界に表示されているかがわからないと、コミュニケーションがスムーズでなくなる可能性がある。
【００６０】  本実施形態では、上記の第１の実施形態と同様に、アノテーション検出部２６１が、アノテーション出力制御部２５７からアノテーションが出力されたことを検出し、出力されたアノテーションを示す情報が表示制御部２５５に提供される。表示制御部２５５は、この情報に基づいて、出力されたアノテーションをタブレット端末３００のディスプレイ３４０に表示させる。従って、第２のユーザは、入力したコメントが第１のユーザの視界への表示のために出力されたタイミングを知ることができ、例えば先に入力したコメントが出力されてから次のコメントを入力することができる。
【００６１】  さらに、アノテーション検出部２６１は、入力されたアノテーションが表示または出力のためにキューイングされていることを検出してもよい。この場合、出力されたアノテーションを示す情報に加えて、キューイングされているアノテーションを示す情報が表示制御部２５５に提供される。表示制御部２５５は、この情報に基づいて、キューイングされているアノテーションをディスプレイ３４０に表示させる。これによって、第２のユーザは、入力したアノテーションがキューイングされている状態であることを知ることができる。また、第２のユーザは、入力したアノテーションが第１のユーザの視界に表示されるタイミングを予測することもできる。
【００６２】  上記の場合、アノテーション出力制御部２５７は、タッチパネル３５０を介した第２のユーザの操作に基づいて、キューイングされているアノテーションの少なくとも一部を削除してもよい。これによって、例えば、アノテーションがキューイングされているうちに時機を逸してしまったような場合に、第２のユーザは、今となっては意味がないアノテーションを、自らの操作によってキューから削除することができる。例えば複数の第２のユーザがいるような場合には、それぞれのユーザが上記のような操作が可能であることによって、時期を逸して意味を失ったアノテーションで第１のユーザの視界が支障されることを防ぐこともできうる。
【００６３】  （２−２．シーケンス例）  図８は、本開示の第２の実施形態におけるシーケンスの例を示す図である。なお、図８では、表示制御部２５５、アノテーション出力制御部２５７、およびアノテーション検出部２６１がサーバ２００で実現される場合について例示している。図８を参照すると、まず、タブレット端末３００からサーバ２００に、入力されたアノテーションが送信される（Ｓ１０１）。図示された例では、ここでアノテーション出力制御部２５７がアノテーションをキューイングする。アノテーション検出部２６１は、アノテーションがキューイングされたことを検出し、当該アノテーションを示す情報を表示制御部２５５に提供する。表示制御部２５５から送信された情報に従って、タブレット端末３００では、ディスプレイ３４０にキューイングされているアノテーションが表示される（Ｓ１０３）。
【００６４】  その後、アノテーション出力制御部２５７が上記のアノテーションがアノテーションキュー２６３から取り出してウェアラブルディスプレイ１００において表示させるために出力したとき（Ｓ１０５）、アノテーション検出部２６１は、アノテーションが出力されたことを検出し、当該アノテーションを示す情報を表示制御部２５５に提供する。表示制御部２５５から送信される情報に従って、タブレット端末３００では、ディスプレイ３４０に出力されたアノテーションが表示される（Ｓ１０７）。
【００６５】  （２−３．表示例）  図９は、本開示の第２の実施形態におけるタブレット端末での表示例を示す図である。なお、ウェアラブルディスプレイ１００での表示例については、上記の第１の実施形態と同様であるため説明を省略する。図９を参照すると、タブレット端末３００のディスプレイ３４０に表示される画面３１００には、第１の実施形態で図５を参照して説明した画面３０００と同様の動画像３０１０、テキスト３０２１、スタンプ３０２２、テキスト入力ボックス３０４０、およびスタンプ選択ボックス３０５０に加えて、キューイングされたテキスト３１３１と、キューイングされたスタンプ３１３２とが表示される。
【００６６】  キューイングされたテキスト３１３１およびスタンプ３１３２は、動画像３０１０に合成されているテキスト３０２１およびスタンプ３０２２とは異なる態様で表示されている。より具体的には、テキスト３１３１およびスタンプ３１３２は、動画像３０１０の下に配列される。この配列は、アノテーションキュー２６３の状態に対応している。つまり、図示された例の状態では、アノテーション出力制御部２５７が次に出力するのはテキスト３１３１ａおよびスタンプ３１３２ａであり、その次に出力されるのはテキスト３１３１ｂおよびスタンプ３１３２ｂであり、そのまた次に出力されるのはテキスト３１３１ｃおよびスタンプ３１３２ｃである。
【００６７】  （３．第３の実施形態）  次に、本開示の第３の実施形態について説明する。なお、上記の第１および第２の実施形態と同様の構成（システム構成および装置構成など）については、重複した説明を省略する。
【００６８】  図１０は、本開示の第３の実施形態に係るシステムの概略的な機能構成を示す図である。図１０を参照すると、システム３０では、機能構成として出力レート設定部２６５がさらに実現される。また、システム３０では、ウェアラブルディスプレイ１００に、操作ボタン／センサ１４０が設けられる。出力レート設定部２６５は、例えば操作ボタンを介した第１のユーザの操作に基づいて、アノテーション出力制御部２５７がアノテーションを出力する所定のレートを設定してもよい。あるいは、出力レート設定部２６５は、センサによって取得される第１のユーザのセンシング情報に基づいて、アノテーション出力制御部２５７がアノテーションを出力する所定のレートを設定してもよい。
【００６９】  これによって、例えば、ウェアラブルディスプレイ１００を装着している第１のユーザは、アノテーションを視認することに専念できると判断した場合には、操作ボタンなどを介した操作によってアノテーションの出力レートを上げることができる。例えば、出力レートが上がったことによって、ディスプレイ１１０のより多くの領域を用いてアノテーションが表示されたり、同じアノテーションの表示が継続される時間が短縮されたりしてもよい。なお、ウェアラブルディスプレイ１００の操作ボタンは、例えばスマートフォン１５０が備えるタッチパネルなどの入力装置、または音声入力もしくはジェスチャ入力などによって代替されてもよい。
【００７０】  あるいは、アノテーション出力制御部２５７は、操作ボタンを介して第１のユーザによる所定の操作が取得された場合には、アノテーションキュー２６３にキューイングされたアノテーションの量が所定の閾値を下回るまで、アノテーション出力制御部２５７によるアノテーションの出力レートを最大値に設定してもよい。出力レートが最大値に設定された場合、例えば、ディスプレイ１１０の全体にアノテーションが表示され、アノテーションの表示継続時間の最低限に設定される。これによって、例えば、第１のユーザが活動を休止するなどしてアノテーションを視認することに専念できる状態になったときに、キューイングされたアノテーションをまとめて表示させ、再び活動を開始したときに入力されたアノテーションがすぐに表示される状態をつくることができる。
【００７１】  また、例えば、出力レート設定部２６５は、第１のユーザのセンシング情報に基づいて第１のユーザの周辺環境を推定し、推定の結果に基づいて出力レートを設定してもよい。より具体的には、例えば、出力レート設定部２６５は、ウェアラブルディスプレイ１００に搭載された加速度センサの検出結果によって第１のユーザが運動している（例えば、歩行や走行など）ことが推定される場合に、出力レートを下げてもよい。また、例えば、出力レート設定部２６５は、ウェアラブルディスプレイ１００に搭載された音センサの検出結果によって第１のユーザが騒がしい場所にいることが推定される場合に、出力レートを下げてもよい。
【００７２】  このような場合に出力レートを下げるにあたり、出力レート設定部２６５は、出力レートを一時的に０に設定してもよい。出力レートが０に設定されると、アノテーション出力制御部２５７はアノテーションを出力しなくなり、ウェアラブルディスプレイ１００のディスプレイ１１０にはアノテーションが表示されなくなる。アノテーションが表示されない間、ディスプレイ１１０では実空間の像に重畳して表示されるオブジェクトがより少なくなるため（アノテーション以外のオブジェクトが引き続き表示される可能性はある）、第１のユーザは実空間の像の視認に集中することが容易になり、実空間での活動の安全性が向上したり、彼／彼女が見たいものを集中して見ることができる。なお、出力レート設定部２６５は、操作ボタンなどを介した第１のユーザの操作に従って、出力レートを一時的に０に設定してもよい。
【００７３】  図１１は、本開示の第３の実施形態において出力レートが一時的に０に設定された場合のタブレット端末での第１の表示例を示す図である。なお、ウェアラブルディスプレイ１００では、アノテーションが表示されない状態であるため、表示例の図示および詳細な説明は省略する。図１１を参照すると、タブレット端末３００のディスプレイ３４０に表示される画面３２００には、第１の実施形態で図５を参照して説明した画面３０００と同様の動画像３０１０、テキスト入力ボックス３０４０、およびスタンプ選択ボックス３０５０と、アノテーション非表示通知３２６０とが表示される。
【００７４】  アノテーション非表示通知３２６０は、例えば、出力レート設定部２６５がアノテーションの出力レートを一時的に０に設定した場合に、アノテーション出力制御部２５７からアノテーション検出部２６１を介して表示制御部２５５に提供される情報に基づいて表示される。あるいは、アノテーション非表示通知３２６０は、アノテーションの出力レートが一時的に０に設定されている間に、第２のユーザがタブレット端末３００において新たなアノテーションを入力したときに、アノテーション出力制御部２５７からアノテーション検出部２６１を介して表示制御部２５５に提供される情報に基づいて表示されてもよい。なお、この例において、アノテーション出力制御部２５７は、出力レートが０である間に入力されたアノテーションを、アノテーションキュー２６３にキューイングする。
【００７５】  図１２は、本開示の第３の実施形態において出力レートが一時的に０に設定された場合のタブレット端末での第２の表示例を示す図である。図１２を参照すると、タブレット端末３００のディスプレイ３４０に表示される画面３３００には、第２の実施形態で図９を参照して説明した画面３１００と同様の動画像３０１０、テキスト入力ボックス３０４０、スタンプ選択ボックス３０５０、ならびにキューイングされたテキスト３１３１およびスタンプ３１３２と、上記の第１の例と同様の非表示通知３２６０とが表示される。
【００７６】  この例において、タブレット端末３００を使用する第２のユーザは、入力したアノテーションが一時的に第１のユーザの視界に表示されない状態であることに加えて、アノテーションの表示が再開されたときにどのような順番でアノテーションが表示されるかを把握することができる。従って、例えば、上記の第２の実施形態で説明した例のように、アノテーションの表示が抑制されている間に時機を逸して意味を失ったアノテーションがあったような場合、当該アノテーションを入力した第２のユーザは、アノテーションをキューから削除することができる。
【００７７】  （４．第４の実施形態）  次に、本開示の第４の実施形態について説明する。なお、上記の第１〜第３の実施形態と同様の構成（システム構成および装置構成など）については、重複した説明を省略する。
【００７８】  図１３は、本開示の第４の実施形態に係るシステムの概略的な機能構成を示す図である。図１３を参照すると、システム４０では、機能構成として注視検出部２６７がさらに実現される。また、システム４０では、ウェアラブルディスプレイ１００にアイカメラ１４５が設けられる。注視検出部２６７は、ウェアラブルディスプレイ１００を装着している第１のユーザの視線をアイカメラ１４５による撮像画像から検出し、ディスプレイ１１００に表示されたアノテーションが第１のユーザによって注視されたことを検出する。より具体的には、例えば、注視検出部２６７は、第１のユーザの視線が表示されたアノテーションに一致した場合にアノテーションが注視されたことを検出してもよいし、第１のユーザの視線の方向がアノテーションが表示されている方向とほぼ一致した場合に、アノテーションが注視されたことを検出してもよい。
【００７９】  さらに、注視検出部２６７による検出の結果は、アノテーション検出部２６１に提供される。つまり、本実施形態において、アノテーション検出部２６１は、アノテーション出力制御部２５７から提供される情報に基づいてアノテーションが出力されたことを検出するとおもに、注視検出部２６７から提供される情報に基づいてアノテーションが注視されたことをも検出する。表示制御部２５５は、アノテーション検出部２６１から提供される情報に基づいて、ウェアラブルディスプレイ１００における表示のために出力されたアノテーションをタブレット端末３００のディスプレイ３４０に表示させるとともに、これらのアノテーションが視認されたことの通知をディスプレイ３４０に表示させる。
【００８０】  図１４は、本開示の第４の実施形態におけるタブレット端末での第１の表示例を示す図である。なお、ウェアラブルディスプレイ１００での表示例については、上記の第１の実施形態と同様であるため説明を省略する。図１４を参照すると、タブレット端末３００のディスプレイ３４０に表示される画面３４００には、第１の実施形態で図５を参照して説明した画面３０００と同様の動画像３０１０、テキスト３０２１、スタンプ３０２２、テキスト入力ボックス３０４０、およびスタンプ選択ボックス３０５０と、注視アイコン３４７０とが表示される。
【００８１】  注視アイコン３４７０は、第１のユーザによって注視されたことがアノテーション検出部２６１によって検出されたアノテーションについて表示される。注視アイコン３４７０が表示されることによって、タブレット端末３００を使用する第２のユーザは、入力したアノテーションがウェアラブルディスプレイ１００において表示され、さらにそれが第１のユーザによって注視されたことを知ることができる。
【００８２】  図１５は、本開示の第４の実施形態におけるタブレット端末での第２の表示例を示す図である。図１５を参照すると、タブレット端末３００のディスプレイ３４０に表示される画面３５００には、第２の実施形態で図９を参照して説明した画面３１００と同様の動画像３０１０、テキスト３０２１、スタンプ３０２２、テキスト入力ボックス３０４０、スタンプ選択ボックス３０５０、ならびにキューイングされたテキスト３１３１およびスタンプ３１３２と、上記の第１の例と同様の注視アイコン３４７０とが表示される。この図に示されるように、注視アイコン３４７０は、キューイングされたテキスト３１３１およびスタンプ３１３２とともに表示されてもよい。
【００８３】  （５．ハードウェア構成）  次に、図１６を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１６は、本開示の実施形態に係る情報処理装置を実現可能なハードウェア構成について説明するためのブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるスマートフォン１５０、サーバ２００、およびタブレット端末３００などを実現しうる。
【００８４】  情報処理装置９００は、ＣＰＵ（Central  Processing  unit）９０１、ＲＯＭ（Read  Only  Memory）９０３、およびＲＡＭ（Random  Access  Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital  Signal  Processor）またはＡＳＩＣ（Application  Specific  Integrated  Circuit）と呼ばれるような処理回路を有してもよい。
【００８５】  ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral  Component  Interconnect/Interface）バスなどの外部バス９１１に接続されている。
【００８６】  入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
【００８７】  出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid  Crystal  Display）、ＰＤＰ（Plasma  Display  Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
【００８８】  ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard  Disk  Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【００８９】  ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
【００９０】  接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
【００９１】  通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless  USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric  Digital  Subscriber  Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
【００９２】  撮像装置９３３は、例えば、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【００９３】  センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global  Positioning  System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
【００９４】  以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
【００９５】  （６．補足）  本開示の実施形態は、例えば、上記で説明したような情報処理装置（スマートフォン、サーバまたはタブレット端末など）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
【００９６】  以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９７】  なお、以下のような構成も本開示の技術的範囲に属する。（１）第１のユーザの視界に対応する動画像をリアルタイムで取得する画像取得部と、  前記動画像を前記第１のユーザとは異なる第２のユーザに向けて表示させる表示制御部と、  前記動画像に対して前記第２のユーザが入力したアノテーションが、前記第１のユーザの視界に表示された、または該表示のために出力されたことを検出するアノテーション検出部と、  を備え、  前記表示制御部は、さらに、前記表示または出力されたアノテーションを前記第２のユーザに向けて表示させる表示制御装置。（２）前記アノテーション検出部は、さらに、前記アノテーションが前記表示または出力のためにキューイングされていることを検出し、  前記表示制御部は、前記キューイングされているアノテーションを前記第２のユーザに向けて表示させる、前記（１）に記載の表示制御装置。（３）前記表示制御部は、前記表示または出力されたアノテーションと、前記キューイングされているアノテーションとを、互いに異なる態様で表示させる、前記（２）に記載の表示制御装置。（４）前記アノテーションを前記第１のユーザの視界に表示させるために所定のレートで出力し、前記所定のレートを超えて入力された前記アノテーションをキューイングするアノテーション出力制御部をさらに備える、前記（１）〜（３）のいずれか１項に記載の表示制御装置。（５）前記所定のレートを、前記第１のユーザの操作または前記第１のユーザのセンシング情報に基づいて設定する出力レート設定部をさらに備える、前記（４）に記載の表示制御装置。（６）前記出力レート設定部は、前記第１のユーザのセンシング情報に基づいて、前記所定のレートを一時的に０に設定する、前記（５）に記載の表示制御装置。（７）前記表示制御部は、さらに、前記所定のレートが０であることの通知を前記第２のユーザに向けて表示させる、前記（６）に記載の表示制御装置。（８）前記出力レート設定部は、前記第１のユーザの操作に基づいて、前記キューイングされているアノテーションの量が所定の閾値を下回るまで前記所定のレートを最大値に設定する、前記（５）〜（７）のいずれか１項に記載の表示制御装置。（９）前記アノテーション出力制御部は、前記第２のユーザの操作に基づいて前記キューイングされているアノテーションの少なくとも一部を削除する、前記（４）〜（８）のいずれか１項に記載の表示制御装置。（１０）前記アノテーション検出部は、さらに、前記表示または出力されたアノテーションが前記第１のユーザによって注視されたことを検出し、  前記表示制御部は、さらに、前記表示または出力されたアノテーションが注視されたことの通知を前記第２のユーザに向けて表示させる、前記（１）〜（９）のいずれか１項に記載の表示制御装置。（１１）前記表示制御部は、前記表示または出力されたアノテーションが合成された前記動画像を前記第２のユーザに向けて表示させる、前記（１）〜（１０）のいずれか１項に記載の表示制御装置。（１２）前記表示制御部は、前記表示または出力されたアノテーションを前記動画像に合成する処理を実行する、前記（１１）に記載の表示制御装置。（１３）前記アノテーション検出部は、前���画像取得部が、前記表示または出力されたアノテーションが合成された前記動画像を取得することによって実現される、前記（１１）に記載の表示制御装置。（１４）第１のユーザの視界に対応する動画像をリアルタイムで取得することと、  前記動画像を前記第１のユーザとは異なる第２のユーザに向けて表示させることと、  プロセッサが、前記動画像に対して前記第２のユーザが入力したアノテーションが、前記第１のユーザの視界に表示された、または該表示のために出力されたことを検出することと、  前記表示または出力されたアノテーションを前記第２のユーザに向けて表示させることと  を含む表示制御方法。（１５）第１のユーザの視界に対応する動画像をリアルタイムで取得する機能と、  前記動画像を前記第１のユーザとは異なる第２のユーザに向けて表示させる機能と、  前記動画像に対して前記第２のユーザが入力したアノテーションが、前記第１のユーザの視界に表示された、または該表示のために出力されたことを検出する機能と、  前記表示または出力されたアノテーションを前記第２のユーザに向けて表示させる機能と  をコンピュータに実現させるためのプログラム。
【符号の説明】
【００９８】  １０，１２，２０，３０，４０    システム  １００    ウェアラブルディスプレイ  １１０    ディスプレイ  １２０    カメラ  １４０    センサ  １４５    アイカメラ  １５０    スマートフォン  １６０    プロセッサ  １７０    メモリ  ２００    サーバ  ２１０    プロセッサ  ２２０    メモリ  ２５１    画像加工部  ２５３    画像取得部  ２５５    表示制御部  ２５７    アノテーション出力制御部  ２６１    アノテーション検出部  ２６３    アノテーションキュー  ２６５    出力レート設定部  ２６７    注視検出部  ３００    タブレット端末  ３１０    プロセッサ  ３２０    メモリ  ３４０    ディスプレイ  ３５０    タッチパネル 
【図１】
0006459972.tif 000002
【図２】
0006459972.tif 000003
【図３】
0006459972.tif 000004
【図４】
0006459972.tif 000005
【図５】
0006459972.tif 000006
【図６】
0006459972.tif 000007
【図７】
0006459972.tif 000008
【図８】
0006459972.tif 000009
【図９】
0006459972.tif 000010
【図１０】
0006459972.tif 000011
【図１１】
0006459972.tif 000012
【図１２】
0006459972.tif 000013
【図１３】
0006459972.tif 000014
【図１４】
0006459972.tif 000015
【図１５】
0006459972.tif 000016
【図１６】
0006459972.tif 000017