(57)【要約】【課題】ＡＲ技術を利用してユーザにより適切な情報を提供する。【解決手段】刻々変化する視点で撮像された動画像を取得する画像取得部と、上記動画像の第１のフレームにおける空間位置を指定する空間位置指定部と、上記第１のフレームよりも後の第２のフレームにおいて上記空間位置を所定の状態に維持して上記動画像を表示させる表示制御部とを備える表示制御装置が提供される。【選択図】図３
2015095147.tif 000002
【特許請求の範囲】
【請求項１】
刻々変化する視点で撮像された動画像を取得する画像取得部と、
前記動画像の第１のフレームにおける空間位置を指定する空間位置指定部と、
前記第１のフレームよりも後の第２のフレームにおいて前記空間位置を所定の状態に維持して前記動画像を表示させる表示制御部と
を備える表示制御装置。
【請求項２】
前記画像取得部は、第１のユーザの視界に対応する前記動画像を取得し、
前記表示制御部は、前記第１のユーザとは異なる第２のユーザに向けて前記動画像を表示させる、請求項１に記載の表示制御装置。
【請求項３】
前記表示制御部は、前記空間位置を、前記第２のユーザが入力するアノテーションを関連付ける位置の候補としてマークされた状態に維持して前記動画像を表示させる、請求項２に記載の表示制御装置。
【請求項４】
前記第１のフレームに含まれるオブジェクトを認識するオブジェクト認識部をさらに備え、
前記空間位置指定部は、前記オブジェクトに対応する空間位置を指定する、請求項３に記載の表示制御装置。
【請求項５】
前記表示制御部は、前記空間位置を、前記オブジェクトの関連情報が関連付けて表示された状態に維持して前記動画像を表示させる、請求項４に記載の表示制御装置。
【請求項６】
前記オブジェクト認識部は、前記第２のユーザによって指定された空間位置または該空間位置の近傍で前記オブジェクトを認識する、請求項４に記載の表示制御装置。
【請求項７】
前記オブジェクト認識部は、前記第１のユーザの注視範囲に対応する領域で前記オブジェクトを認識する、請求項４に記載の表示制御装置。
【請求項８】
前記表示制御部は、前記空間位置を拡大された状態に維持して前記動画像を表示させる、請求項１に記載の表示制御装置。
【請求項９】
前記表示制御部は、前記空間位置を他の部分よりも高い解像度で表示された状態に維持して前記動画像を表示させる、請求項１に記載の表示制御装置。
【請求項１０】
前記表示制御部は、前記空間位置が前記第２のフレームに含まれない場合、前記空間位置を別枠に表示された状態に維持して前記動画像を表示させる、請求項１に記載の表示制御装置。
【請求項１１】
前記画像取得部は、前記第２のフレームにおいて、ソース動画像の周辺領域を切り取って生成された前記動画像のフレームと、前記周辺領域から切り出された前記空間位置の画像とを取得する、請求項１０に記載の表示制御装置。
【請求項１２】
前記表示制御部は、前記第２のフレームにおいて、前記第２のフレーム以前で前記空間位置を含むフレームから切り出された画像を用いて前記別枠の画像を表示させる、請求項１０に記載の表示制御装置。
【請求項１３】
刻々変化する視点で撮像された動画像を取得することと、
前記動画像の第１のフレームにおける空間位置を指定することと、
前記第１のフレームよりも後の第２のフレームにおいて前記空間位置を所定の状態に維持して前記動画像を表示させることと
を含む表示制御方法。
【請求項１４】
刻々変化する視点で撮像された動画像を取得する機能と、
前記動画像の第１のフレームにおける空間位置を指定する機能と、
前記第１のフレームよりも後の第２のフレームにおいて前記空間位置を所定の状態に維持して前記動画像を表示させる機能と
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、実世界に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented  Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに提示される情報は、アノテーションとも呼ばれ、テキスト、アイコンまたはアニメーションなど様々な形態の仮想的なオブジェクトを用いて可視化されうる。例えば、特許文献１には、こうしたＡＲの仮想オブジェクトの操作を、ＡＲ空間へのユーザの没入感を損なうことなく実現するための技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２１２３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の特許文献１などで提案されているＡＲ技術は、未だ開発されてから日が浅く、さまざまな局面でＡＲを活用するための技術が十分に提案されているとはいいがたい。例えば、ＡＲ技術を利用してユーザにより適切な情報を提供するための技術も、十分には提案されていないものの一つである。
【０００５】
そこで、本開示では、ＡＲ技術を利用してユーザにより適切な情報を提供することが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、刻々変化する視点で撮像された動画像を取得する画像取得部と、上記動画像の第１のフレームにおける空間位置を指定する空間位置指定部と、上記第１のフレームよりも後の第２のフレームにおいて上記空間位置を所定の状態に維持して上記動画像を表示させる表示制御部とを備える表示制御装置が提供される。
【０００７】
また、本開示によれば、刻々変化する視点で撮像された動画像を取得することと、上記動画像の第１のフレームにおける空間位置を指定することと、上記第１のフレームよりも後の第２のフレームにおいて上記空間位置を所定の状態に維持して上記動画像を表示させることとを含む表示制御方法が提供される。
【０００８】
また、本開示によれば、刻々変化する視点で撮像された動画像を取得する機能と、上記動画像の第１のフレームにおける空間位置を指定する機能と、上記第１のフレームよりも後の第２のフレームにおいて上記空間位置を所定の状態に維持して上記動画像を表示させる機能とをコンピュータに実現させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、ＡＲ技術を利用してユーザにより適切な情報を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１の実施形態に係るシステムの概略的な構成を示す図である。
【図２】本開示の第１の実施形態に係る装置の概略的な構成を示す図である。
【図３】本開示の第１の実施形態に係るシステムの概略的な機能構成を示す図である。
【図４】本開示の第１の実施形態におけるウェアラブルディスプレイでの表示例を示す図である。
【図５】本開示の第１の実施形態におけるタブレット端末での表示例を示す図である。
【図６】本開示の第１の実施形態の第１の変形例におけるタブレット端末での表示例を示す図である。
【図７】本開示の第１の実施形態の第２の変形例におけるタブレット端末での表示例を示す図である。
【図８】本開示の第１の実施形態の第２の変形例におけるタブレット端末での表示例を示す図である。
【図９】本開示の第２の実施形態に係るシステムの概略的な機能構成を示す図である。
【図１０】本開示の第３の実施形態に係るシステムの概略的な機能構成を示す図である。
【図１１】本開示の第３の実施形態における第１の表示例を示す図である。
【図１２】本開示の第３の実施形態における第１の表示例を示す図である。
【図１３】本開示の第３の実施形態における第１の表示例を示す図である。
【図１４】本開示の第３の実施形態における第２の表示例を示す図である。
【図１５】本開示の第３の実施形態における第２の表示例を示す図である。
【図１６】本開示の第３の実施形態における第３の表示例を示す図である。
【図１７】本開示の第３の実施形態の変形例に係るシステムの概略的な機能構成を示す図である。
【図１８】本開示の実施形態に係る情報処理装置を実現可能なハードウェア構成について説明するためのブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．システム構成
１−２．装置構成
１−３．機能構成
１−４．表示例
１−５．変形例
２．第２の実施形態
３．第３の実施形態
３−１．機能構成
３−２．表示例
３−３．変形例
４．ハードウェア構成
５．補足
【００１３】
（１．第１の実施形態）
（１−１．システム構成）
図１は、本開示の第１の実施形態に係るシステムの概略的な構成を示す図である。図１を参照すると、システム１０は、ウェアラブルディスプレイ１００と、スマートフォン１５０と、サーバ２００と、タブレット端末３００とを含む。ウェアラブルディスプレイ１００とスマートフォン１５０とは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）によって接続される。また、サーバ２００は、スマートフォン１５０およびタブレット端末３００と、有線または無線の各種ネットワークによって接続される。
【００１４】
システム１０では、第１のユーザが装着した眼鏡型のウェアラブルディスプレイ１００に搭載されたカメラ（頭部搭載カメラ）によって撮像された動画像が、スマートフォン１５０およびサーバ２００を介して、タブレット端末３００にリアルタイムでストリーミング配信される。配信される動画像は、第１のユーザの視界に対応するように、範囲や傾きなどが加工されたものでありうる。このようにして、タブレット端末３００で動画像を閲覧する第２のユーザは、あたかも第１のユーザとの間で視覚を共有しているような体験ができる。
【００１５】
さらに、タブレット端末３００で動画像を閲覧する第２のユーザは、ストリーミング配信された動画像に対してアノテーションを入力することが可能である。ここで、アノテーションは、第１のユーザが見ている実空間の像に追加して提示される情報であり、テキスト、アイコン、またはアニメーションなど、各種の形態をとりうる。第２のユーザは、アノテーションの入力によって、例えば第１のユーザの視界に映るものに対してコメントを加えたり、第１のユーザに対して情報を提供したりすることができる。つまり、第２のユーザは、アノテーションによって第１のユーザの体験に介入することができる。
【００１６】
タブレット端末３００で第２のユーザによって入力されたアノテーションは、サーバ２００を介してスマートフォン１５０に送信され、スマートフォン１５０の制御によってウェアラブルディスプレイ１００において第１のユーザの視界に表示される。後述するように、アノテーションは第１の視界に透過的に表示されてもよいし、第１のユーザに向けて表示される画像に合成されてもよい。このようにして、システム１０では、ストリーミング配信される動画像を媒介としたユーザ間のインタラクションが成立する。
【００１７】
（１−２．装置構成）
図２は、本開示の第１の実施形態に係る装置の概略的な構成を示す図である。なお、各装置の構成要素は、以下で説明する実施形態の機能に関連する部分に限定して図示されており、各装置は図示されていない構成要素をさらに含みうる。各装置のより詳細な構成については、後述する情報処理装置のハードウェア構成の説明を参照されたい。以下、図２を参照しながら、システム１０に含まれる各装置の構成について説明する。
【００１８】
（ウェアラブルディスプレイ）
ウェアラブルディスプレイ１００は、ディスプレイ１１０と、カメラ１２０と、通信部１３０とを有する。
【００１９】
ディスプレイ１１０は、例えばＬＣＤや有機ＥＬディスプレイであり、ウェアラブルディスプレイ１００を装着している第１のユーザに対して各種の情報を呈示する。より具体的には、ディスプレイ１１０は、透過型のディスプレイであってもよいし、密閉型のディスプレイであってもよい。ディスプレイ１１０が透過型の場合、第１のユーザは、ディスプレイ１１０を透過して周囲の実空間を直接的に視認している。ディスプレイ１１０は、アノテーションなどの追加的な情報を電子的に表示させて、実空間の像に重畳させる。一方、ディスプレイ１１０が密閉型の場合、第１のユーザは、カメラ１２０によって撮像された動画像を第１のユーザの視界に対応するように加工した実空間の画像によって周囲の実空間を間接的に視認している。ディスプレイ１１０は、アノテーションなどの追加的な情報を実空間の画像に合成した画像を表示する。なお、以下の説明では、別途の記載がない限り、ディスプレイ１１０は透過型および密閉型のいずれでもありうるものとする。
【００２０】
カメラ１２０は、上述した頭部搭載カメラである。カメラ１２０によって撮像された動画像は、例えば後述するいずれかの装置のプロセッサによって第１のユーザの視界に対応するように加工された上で、タブレット端末３００において第２のユーザに向けて表示される。また、例えばディスプレイ１１０が密閉型の場合、カメラ１２０によって撮像された動画像を加工した画像は第１のユーザに向けても表示される。ウェアラブルディスプレイ１００は、第１のユーザの頭部の動きに従って移動するため、カメラ１２０によって撮像される動画像の視点も刻々変化し、動画像の各フレームで、画像に含まれる実空間の範囲と、実空間に対する画像の角度とが異なりうる。
【００２１】
通信部１３０は、スマートフォン１５０の通信部１８０ａとの間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）による通信を実行する通信回路である。本実施形態において、ウェアラブルディスプレイ１００が有するディスプレイ１１０やカメラ１２０は、スマートフォン１５０によって遠隔的に制御される。
【００２２】
なお、別の実施形態では、ウェアラブルディスプレイ１００が、ディスプレイ１１０やカメラ１２０の制御、およびその他の情報処理のためのプロセッサおよびメモリを備えてもよい。また、さらに別の実施形態では、スマートフォン１５０が有するディスプレイやカメラが、ウェアラブルディスプレイ１００の代わりに用いられてもよい。つまり、本実施形態におけるウェアラブルディスプレイ１００およびスマートフォン１５０の機能は、ディスプレイ、カメラ、プロセッサ、およびメモリを備える単一の装置によって実現されてもよく、例えば図示された例のように複数の装置に分散して実現されてもよい。
【００２３】
（スマートフォン）
スマートフォン１５０は、プロセッサ１６０と、メモリ１７０と、通信部１８０とを有する。
【００２４】
プロセッサ１６０は、スマートフォン１５０における各種の情報処理を実行する。例えば、プロセッサ１６０は、サーバ２００から通信部１８０ｂを介して受信されたアノテーションを、ウェアラブルディスプレイ１００のディスプレイ１１０に表示させるための制御を実行する。また、プロセッサ１６０は、ウェアラブルディスプレイ１００のカメラ１２０によって撮像された動画像を、サーバ２００を介してタブレット端末３００に配信するために加工してもよい。メモリ１７０には、プロセッサ１６０における処理で使用される各種のデータが格納される。
【００２５】
なお、本実施形態において、スマートフォン１５０のプロセッサ１６０、サーバ２００のプロセッサ２１０、およびタブレット端末３００のプロセッサ３１０によってそれぞれ実現される機能は、互換的である。従って、例えば、プロセッサ１６０によって実現されるものとして説明された機能は、他の実施形態ではプロセッサ２１０またはプロセッサ３１０によって実現されてもよい。同様に、プロセッサ２１０によって実現されるものとして説明された機能は、他の実施形態ではプロセッサ１６０またはプロセッサ３１０によって実現されてもよい。また、プロセッサ３１０によって実現されるものとして説明された機能は、他の実施形態ではプロセッサ１６０またはプロセッサ２１０によって実現されてもよい。各実施形態においてスマートフォン１５０のメモリ１７０、サーバ２００のメモリ２２０、およびタブレット端末３００のメモリ３２０に格納されるデータは、それぞれの装置のプロセッサが実現する機能によって異なる。
【００２６】
通信部１８０は、ウェアラブルディスプレイ１００の通信部１３０との間でＢｌｕｅｔｏｏｔｈ（登録商標）による通信を実行する通信回路である通信部１８０ａと、サーバ２００の通信部２３０との間でネットワーク通信を実行する通信回路である通信部１８０ｂとを含む。通信部１８０ｂと通信部２３０との間のネットワーク通信は、Ｗｉ−Ｆｉ、携帯電話網、インターネットなど、有線または無線の各種のネットワークを経由して実行されうる。これは通信部２３０とタブレット端末３００の通信部３３０との間のネットワーク通信についても同様である。
【００２７】
（サーバ）
サーバ２００は、プロセッサ２１０と、メモリ２２０と、通信部２３０とを有する。
【００２８】
プロセッサ２１０は、サーバ２００における各種の情報処理を実行する。例えば、プロセッサ２１０は、タブレット端末３００から通信部２３０を介して受信されたアノテーションを、スマートフォン１５０に転送する。例えば、複数のタブレット端末３００に同じウェアラブルディスプレイ１００から動画像が配信されている場合、サーバ２００が、それぞれのタブレット端末３００で入力されたアノテーションを集約してスマートフォン１５０に転送してもよい。また、プロセッサ２１０は、スマートフォン１５０から通信部２３０を介して受信された動画像を、１または複数のタブレット端末３００に配信する。メモリ２２０には、プロセッサ２１０における処理で使用される各種のデータが格納される。
【００２９】
通信部２３０は、スマートフォン１５０の通信部１８０ｂ、およびタブレット端末３００の通信部３３０との間でネットワーク通信を実行する通信回路である。
【００３０】
（タブレット端末）
タブレット端末３００は、プロセッサ３１０と、メモリ３２０と、通信部３３０と、ディスプレイ３４０と、タッチパネル３５０とを有する。
【００３１】
プロセッサ３１０は、タブレット端末３００における各種の情報処理を実行する。例えば、プロセッサ３１０は、サーバ２００から通信部３３０を介して受信された動画像を、ディスプレイ３４０に表示させるための制御を実行する。また、例えば、プロセッサ３１０は、タッチパネル３５０を介して第２のユーザによって入力されたアノテーションを、通信部３３０を介してサーバ２００に送信する。アノテーションは、動画像内の特定の位置またはオブジェクトについて入力されてもよい。メモリ３２０には、プロセッサ３１０における処理で使用される各種のデータが格納される。
【００３２】
通信部３３０は、サーバ２００の通信部２３０との間でネットワーク通信を実行する通信回路である。
【００３３】
ディスプレイ３４０は、例えばＬＣＤや有機ＥＬディスプレイであり、プロセッサ３１０の制御に従って各種の情報を呈示する。例えば、ディスプレイ３４０は、ウェアラブルディスプレイ１００のカメラ１２０によって撮像された画像に基づいて生成される、第１のユーザの視界に対応する動画像を表示する。また、ディスプレイ３４０は、第２のユーザが動画像に対してアノテーションを入力するためのＧＵＩ（Graphical  User  Interface）を表示してもよい。
【００３４】
タッチパネル３５０は、ディスプレイ３４０の表面に配置され、ユーザのタッチを入力として検出する。タッチパネル３５０は、例えば、ソフトウェアキーボードを用いたテキストの入力や、画像などの選択入力、手書きによる文字や図形の入力などを検出する。タッチパネル３５０を介して入力された文字や画像は、プロセッサ３１０によってアノテーションとして処理され、通信部３３０を介してサーバ２００に送信される。アノテーションは、例えば動画像の中の特定の空間位置に関連付けられうる。この場合、タッチパネル３５０を用いて、アノテーションを関連付ける動画像内の位置を指定する第２のユーザの操作が受け付けられてもよい。
【００３５】
なお、本実施形態では、ウェアラブルディスプレイ１００を装着した第１のユーザの視界に対応する動画像がタブレット端末３００に配信されるが、別の実施形態では、タブレット端末３００に加えて、またはタブレット端末３００に代えて、デスクトップ型もしくはノート型のパーソナルコンピュータ、テレビ、スマートフォン、メディアプレーヤ、またはゲーム機など、ディスプレイと入力装置とを備える各種の機器に動画像が配信されうる。ウェアラブルディスプレイ１００とは異なるウェアラブルディスプレイに動画像が配信されてもよい。これらの場合、入力装置は、本実施形態で例示したタッチパネルには限られず、キーボード、マウス、またはハードウェアボタンなどであってもよい。また、アノテーションの入力には、音声入力やジェスチャ入力が利用されてもよい。
【００３６】
（１−３．機能構成）
図３は、本開示の第１の実施形態に係るシステムの概略的な機能構成を示す図である。図３を参照すると、システム１０は、画像加工部２５１、画像取得部２５３、表示制御部２５５、オブジェクト認識部２５７、空間位置指定部２５９、アノテーション出力部２６１、および表示制御部２６３を機能構成として含む。これらの機能構成は、例えばスマートフォン１５０のプロセッサ１６０、サーバ２００のプロセッサ２１０、またはタブレット端末３００のプロセッサ３１０のいずれかによって実現されてもよく、またこれらのプロセッサに分散して実現されてもよい。以下、それぞれの機能構成についてさらに説明する。
【００３７】
画像加工部２５１は、ウェアラブルディスプレイ１００に搭載されたカメラ１２０によって撮像された動画像を加工して、ウェアラブルディスプレイ１００を装着している第１のユーザの視界に対応する動画像を生成する。例えば、画像加工部２５１は、予め実行されたキャリブレーションの結果に応じて、第１のユーザの視界よりも広い範囲を撮像した動画像から視界に対応する領域を切り出す。また、例えば、画像加工部２５１は、カメラ１２０と第１のユーザの視点との位置の違いに基づいて動画像の傾きを補正してもよい。
【００３８】
画像取得部２５３は、画像加工部２５１によって加工された動画像、すなわち第１のユーザの視界に対応する動画像をリアルタイムで取得する。画像加工部２５１における加工は、動画像全体の視点を変化させるようなものではないため、画像取得部２５３によって取得される動画像も、刻々変化する視点で撮像された動画像であるといえる。表示制御部２５５は、取得された動画像を、タブレット端末３００のディスプレイ３４０に表示させる。ディスプレイ３４０に表示される動画像は、ウェアラブルディスプレイ１００を装着している第１のユーザとは異なる第２のユーザに向けて表示される。なお、後述するように、表示制御部２５５は、空間位置指定部２５９によって指定された動画像の第１のフレームにおける空間位置を、第１のフレームよりも後の第２のフレームにおいて所定の状態に維持して表示させる。
【００３９】
オブジェクト認識部２５７は、画像取得部２５３によって取得された動画像に含まれるオブジェクトを認識する。なお、画像に含まれるオブジェクトの認識には、当業者には既に知られている様々な技術を利用することが可能であるため、ここでは詳細な説明は省略する。より具体的には、オブジェクト認識部２５７は、動画像の第１のフレームにおいて１または複数のオブジェクトを認識し、オブジェクトの空間位置情報を空間位置指定部２５９に提供する。
【００４０】
空間位置指定部２５９は、動画像の第１のフレームにおける空間位置を指定する。第１のフレームは、動画像の任意のフレームでありうる。例えば、本実施形態では、第１のフレームが、オブジェクト認識部２５７によって動画像に含まれるオブジェクトが認識された最初のフレームであってもよい。ここで、オブジェクト認識部２５７は、動画像の配信中に継続的にオブジェクト認識を実行しうる。それゆえ、動画像に含まれる複数のオブジェクトの間で、最初に認識されるフレームが異なることもありうる。このような場合、第１のフレームまたは第２のフレームであると解釈されるフレームは、認識されたオブジェクトごとに異なる。
【００４１】
本実施形態において、表示制御部２５５は、空間位置指定部２５９によって指定された動画像の第１のフレームにおける空間位置を、第１のフレームよりも後の第２のフレームにおいて、アノテーションを関連付ける位置の候補としてマークされた状態に維持して表示させる。ここで、上記のように、空間位置指定部２５９によって指定される空間位置は、第１のフレームにおいてオブジェクト認識部２５７が認識したオブジェクトに対応する空間位置である。
【００４２】
従って、例えば、ディスプレイ３４０に表示される動画像では、オブジェクトが認識されたフレーム（第１のフレーム）以降のフレーム（第２のフレーム）で、当該オブジェクトの空間位置に対応する部分（第１の部分とする）が、アノテーションを関連付ける位置の候補としてマークされた状態で表示される。その後のフレームでさらに別のオブジェクトが認識された場合、そのフレーム（別のオブジェクトにとっての第１のフレーム）以降のフレーム（別のオブジェクトにとっての第２のフレーム）で、上記の第１の部分に加えて、当該別のオブジェクトの空間位置に対応する部分（第２の部分とする）が、アノテーションを関連付ける位置の候補としてマークされた状態で表示される。このような表示は、例えば、第１の部分および第２の部分がそれぞれ動画像のフレームから外れるまで継続されてもよい。
【００４３】
アノテーション出力部２６１は、第２のユーザがタブレット端末３００のタッチパネル３５０を介して入力したアノテーションを、第１のユーザの視界に表示させるために出力する。ここで、アノテーションは、動画像の中の特定の空間位置に関連付けられていてもよい。上記のように、表示制御部２５５がディスプレイ３４０に表示させる動画像では、動画像の中でオブジェクト認識部２５７によって認識されたオブジェクトに対応する空間位置が、アノテーションを関連付ける位置の候補としてマークされている。従って、例えば、第２のユーザは、タッチパネル３５０を介して候補としてマークされた位置のいずれかを選択する操作を実行することによって、容易にアノテーションを関連付ける位置を指定することが可能である。なお、タブレット端末３００では、第２のユーザが動画像内の位置を特定せずにアノテーションを入力することが可能であってもよいし、候補としてマークされた位置以外の位置に関連付けてアノテーションを入力することが可能であってもよい。
【００４４】
表示制御部２６３は、アノテーション出力部２６１から出力されたアノテーションを、ウェアラブルディスプレイ１００のディスプレイ１１０に表示させる。ウェアラブルディスプレイ１００は第１のユーザによって装着されているため、ディスプレイ１１０に表示されたアノテーションは、第１のユーザの視界に表示されることになる。なお、ディスプレイ１１０が密閉型である場合、表示制御部２６３は、さらに、画像加工部２５１から取得した画像をディスプレイ１１０に表示させる。
【００４５】
以上のような機能構成によって、例えば、第２のユーザがタブレット端末３００でアノテーションを入力しようとしたときに、動画像に含まれるオブジェクトの位置がアノテーションを関連付ける位置の候補として表示されているため、容易にアノテーションを関連付ける位置を指定することができる。多くの場合、第２のユーザがアノテーションを関連付けることを望む動画像内の位置にはオブジェクトが存在しているため、上記のような構成によって適切な位置の候補を提供することができる。
【００４６】
上記の通り、ウェアラブルディスプレイ１００に搭載されたカメラ１２０によって撮像された画像では、視点が刻々変化するのに伴って、画像に含まれる実空間の範囲や実空間に対する画像の角度も変化する。従って、何らかの助けがなければ、所望の空間位置を正確にポインティングすることは容易ではない。本実施形態では、動画像内のオブジェクトに対応する空間位置がポインティングの候補として表示されることで、第２のユーザが所望の空間位置を正確にポインティングし、意図した通りの位置で第１のユーザに向けてアノテーションを表示させることが可能になりうる。
【００４７】
（１−４．表示例）
（ウェアラブルディスプレイでの表示例）
図４は、本開示の第１の実施形態におけるウェアラブルディスプレイでの表示例を示す図である。図４を参照すると、ウェアラブルディスプレイのディスプレイ１１０に表示される画面１０００には、実空間の像１０１０と、マーカ１０２１と、アノテーション１０２２とが表示される。
【００４８】
実空間の像１０１０は、上述の通り、透過型のディスプレイ１１０を通して直接的に視認されてもよいし、密閉型のディスプレイ１１０に電子的に表示された画像であってもよい。いずれにしても、実空間の像１０１０は、ウェアラブルディスプレイ１００を装着している第１のユーザの視界に対応する画像である。
【００４９】
マーカ１０２１は、ウェアラブルディスプレイ１００のカメラ１２０によって撮像された動画像に基づく画像を配信されたタブレット端末３００で第２のユーザが入力したアノテーション１０２２が関連付けられた空間位置を示す。後述するように、本実施形態では、アノテーション１０２２が関連付けられる空間位置が特定のオブジェクトに対応する位置でありうるが、マーカ１０２１およびアノテーション１０２２の表示では特にそのことが示されなくてもよい。あるいは、第２のユーザが注目しているオブジェクトを第１のユーザにも認識させるために、マーカ１０２１がよりオブジェクトに関連付けられた形で表示されてもよい。例えば、図示された例では、マーカ１０２１が、そこにあるオブジェクトである椅子の形で表示されてもよい。
【００５０】
なお、図示された例では、マーカ１０２１およびアノテーション１０２２が１組だけ表示されているが、例えば動画像が複数のタブレット端末３００に配信されるような場合には、複数の第２のユーザによってそれぞれ入力されたアノテーション１０２２と、それらに対応するマーカ１０２１とが並列して表示されてもよい。また、単一の第２のユーザが連続して複数のアノテーションを入力したような場合にも、複数組のマーカ１０２１およびアノテーション１０２２が並列して表示されうる。
【００５１】
（タブレット端末での表示例）
図５は、本開示の第１の実施形態におけるタブレット端末での表示例を示す図である。図５を参照すると、タブレット端末３００のディスプレイ３４０に表示される画面３０００には、動画像３０１０と、マーカ３０２１と、オブジェクト画像３０２２と、アノテーション３０３０とが表示される。
【００５２】
動画像３０１０は、ウェアラブルディスプレイ１００に搭載されたカメラ１２０によって撮像された動画像を加工して生成される、第１のユーザの視界に対応する画像である。動画像３０１０は、通信遅延などによる時間差を除くほかはリアルタイムで表示される。つまり、動画像３０１０は、ウェアラブルディスプレイ１００で表示されている実空間の像１０１０にほぼ同期している。
【００５３】
マーカ３０２１は、動画像３０１０の中で、オブジェクト認識部２５７によって認識されたオブジェクトに対応する空間位置に表示される。図示された例では、３つのオブジェクト（いずれも椅子）が認識されており、これらに対応する３つのマーカ３０２１が表示されている。マーカ３０２１は、この後のフレームで動画像３０１０の画角が変化しても、引き続きそれぞれのオブジェクトに対応した空間位置に表示される。従って、マーカ３０２１は、動画像３０１０内での位置を変化させながら表示されうる。
【００５４】
上述したように、このようなマーカ３０２１の表示は、空間位置指定部２５９が、オブジェクト認識部２５７によって認識されたオブジェクトに対応する空間位置を指定し、表示制御部２５５が、指定された空間位置を、アノテーションを関連付ける位置の候補としてマークされた状態に維持して表示させることによって実現される。ユーザは、マーカ３０２１によって示される空間位置のいずれかを選択することによって、アノテーションを関連付ける空間位置を容易に指定することができる。
【００５５】
オブジェクト画像３０２２は、マーカ３０２１に関連付けて表示される。マーカ３０２１はオブジェクトの空間位置に対応しているため、オブジェクト画像３０２２は、オブジェクトの空間位置に間接的に関連付けられているともいえる。
【００５６】
オブジェクト画像３０２２は、例えば、オブジェクト認識の結果に基づいてネットワーク上のデータベースなどから取得されたオブジェクトのカタログ画像でありうる。この場合、オブジェクト画像３０２２が表示されることによって、例えば横や斜めを向いていたり手前の他のオブジェクトに隠れて表示されていたりするオブジェクトを、見やすい画像によって認識することができる。カタログ画像は、オブジェクトの関連情報の一例である。他の実施形態では、カタログ画像とともに、またはこれに代えて、オブジェクトの名称や仕様などの他の関連情報が、オブジェクトの空間位置に直接的または間接的に関連付けて表示されてもよい。
【００５７】
あるいは、オブジェクト画像３０２２は、対応する空間領域の画像を単純に切り出した画像、またはこれを拡大した画像であってもよい。この場合も、オブジェクトが動画像から切り出されて別枠で表示されることによって、第２のユーザは、対象になるオブジェクトが何であるのかを認識しやすくなる。
【００５８】
アノテーション３０３０は、第２のユーザがタブレット端末３００のタッチパネル３５０を介して入力したテキストまたは図形である。図示された例では、主にテキストによって構成されるアノテーション３０３０が示されているが、他の例では、アノテーション３０３０が例えば第２のユーザの感情などを示す図形を含んで構成されたり、図形のみによって構成されたりしてもよい。また、タッチパネル３５０を介して入力される手書きの図形がアノテーション３０３０として扱われてもよい。
【００５９】
ここで、アノテーションを関連付ける空間位置を指定するにあたり、ユーザは、例えばタッチパネル３５０を介してマーカ３０２１を選択してもよいし、図示された例のようにオブジェクト画像３０２２を選択してもよい。オブジェクト画像３０２２はマーカ３０２１の空間位置に関連付けられているため、オブジェクト画像３０２２の選択は、マーカ３０２１に対応する空間位置の選択と同一視できる。例えば、密集している複数のオブジェクトが動画像３０１０に含まれるような場合に、動画像３０１０とは別枠のオブジェクト画像３０２２の選択によってアノテーションを関連付ける空間位置を指定できることは有用でありうる。
【００６０】
（１−５．変形例）
（第１の変形例）
図６は、本開示の第１の実施形態の第１の変形例におけるタブレット端末での表示例を示す図である。図６を参照すると、本変形例では、図５に示された例とは異なり、タブレット端末３００のディスプレイ３４０に表示される画面３１００において、オブジェクト画像３０２２およびアノテーション３０３０が、動画像３０１０の内側に表示される。例えば、動画像３０１０の中で認識されたオブジェクトの空間的な密度が低かったり、認識されたオブジェクトの空間位置が動画像３０１０の端から離れていたりするような場合には、図示されたような例のような表示形態が採用されてもよい。
【００６１】
また、図５の例と図６の例とを組み合わせ、動画像３０１０で認識されたオブジェクトのうち、第１のオブジェクトについては動画像３０１０の外側にオブジェクト画像３０２２が表示され（図５の例）、第２のオブジェクトについては動画像３０１０の内側にオブジェクト画像３０２２が表示されてもよい（図６の例）。
【００６２】
（第２の変形例）
図７および図８は、本開示の第１の実施形態の第２の変形例におけるタブレット端末での表示例を示す図である。図７を参照すると、本変形例では、図５および図６に示された例とは異なり、タブレット端末３００のディスプレイ３４０に表示される画面３２００では、マーカ３０２１が対象のオブジェクト（図示された例では椅子）を囲むように表示され、別途のオブジェクト画像３０２２は表示されない。アノテーション３０３０は、マーカ３０２１に関連付けて入力されている。上記の第１の変形例と同様に動画像３０１０の内側にオブジェクトに関する情報を表示することが情報の視認性を損ねず、またオブジェクトが十分に大きく映っているような場合には、図示された例のような表示形態が採用されてもよい。
【００６３】
図８は、図７の例における動画像３０１０の第１のフレーム３０１０ａが、時間の経過によって第２のフレーム３０１０ｂに変化した場合の例である。画面３２００で表示される第２のフレーム３０１０ｂは、第１のフレーム３０１０ａでマーカ３０２１が表示されていたオブジェクト（椅子）の空間位置を含まない。そこで、画面３２００では、マーカ３０２１に代えて、オブジェクト画像３０２２が、第２のフレーム３０１０ｂの外側に表示される。
【００６４】
つまり、表示制御部２５５は、指定された空間位置を含まなくなった第２のフレーム３０１０ｂでも、オブジェクト画像３０２２という別枠を設けることによって、上記空間位置を表示された状態に維持する。このように、第１のフレーム３０１０ａにおいて指定された空間位置の表示が第２のフレーム３０１０ｂでも維持されることによって、アノテーション３０３０についても、関連付ける対象をマーカ３０２１からオブジェクト画像３０２２に変更することによって表示を継続することが可能になる。
【００６５】
なお、上記の図８の例におけるウェアラブルディスプレイ１００側での表示は、別途考慮されうる。例えば、表示制御部２６３は、上記の画面３２００で表示されたオブジェクト画像３０２２を、実空間の像の外側（第１のユーザの視界の外）ではなく、実空間の像の内側に重畳させて表示してもよい。
【００６６】
ここで、上記の図８の例のような画像を表示させるための処理について、さらに説明する。上述のように、動画像３０１０は、画像加工部２５１が、ウェアラブルディスプレイ１００に搭載されたカメラ１２０によって撮像された動画像（以下、ソース動画像ともいう）から、ウェアラブルディスプレイ１００を装着している第１のユーザの視界に対応する領域を切り出すことによって生成されうる。
【００６７】
多くの場合、ソース動画像に撮像されている範囲は第１のユーザの視界よりも広いため、画像加工部２５１がソース画像の周辺領域を切り取ることになる。それゆえ、加工後の動画像３０１０の第２のフレーム３０１０ｂに第１のフレーム３０１０ａで指定された空間位置が含まれない場合であっても、ソース動画像には当該空間位置が含まれている可能性がある。そのような場合のために、空間位置指定部２５９は画像加工部２５１にも指定された空間位置の情報を提供してもよい。この場合、画像加工部２５１は、指定された空間位置が加工後の動画像のフレームから外れた場合に、ソース動画像の周辺領域を切り取って生成された動画像のフレームと、ソース動画像の周辺領域から切り出された上記空間位置の画像とを画像取得部２５３に提供する。
【００６８】
あるいは、表示制御部２５５が、第２のフレーム３０１０ｂにおいて、第２のフレーム３０１０ｂ以前で指定された空間位置を含むフレーム（例えば第１のフレーム３０１０ａであってもよい）から切り出された画像を用いて別枠の画像（オブジェクト画像３０２２）を表示させることによって、図８に示す例のような表示が実現されてもよい。例えば、システム１０の構成上、空間位置指定部２５９から提供された情報に基づいて画像加工部２５１が機能することが困難であったり、指定された空間位置がソース動画像の周辺領域にももはや含まれていないような場合には、このような構成が有効でありうる。
【００６９】
なお、本実施形態において、空間位置指定部２５９によって指定された動画像内の空間位置を所定の状態に維持して表示させるために、表示制御部２５５は、例えばオブジェクト認識部２５７が第１のフレーム以降で実行するオブジェクトトラッキングの結果を利用してもよい。
【００７０】
また、本実施形態において、画像加工部２５１または表示制御部２５５は、ＳｆＭ（Structure  from  Motion）法またはＳＬＡＭ（Simultaneous  Localization  And  Mapping）法などの公知の画像認識技術によって認識される環境認識行列に基づいて、ウェアラブルディスプレイ１００の座標系に対する基準環境（実空間）の座標系の相対的な位置および姿勢を特定してもよい。これによって、画像加工部２５１または表示制御部２５５は、空間位置指定部２５９によって指定された位置を空間座標系に定位させることができる。
【００７１】
より具体的には、例えば、ＳＬＡＭ法が利用される場合、装置の位置、姿勢、速度および角速度、ならびに撮像画像に含まれる少なくとも１つの特徴点の位置を含む状態変数が、拡張カルマンフィルタの原理に基づいて撮像画像のフレームごとに更新される。これによって、ウェアラブルディスプレイ１００の位置および姿勢を基準とする基準環境の位置および姿勢を、カメラ１２０からの入力画像を利用して認識することができる。なお、ＳＬＡＭ法の詳しい説明は、例えば“Real-Time  Simultaneous  Localization  and  Mapping  with  a  Single  Camera”（Andrew  J.Davison，Proceedings  of  the  9th  IEEE  International  Conference  on  Computer  Vision  Volume  2,  2003,  pp.1403-1410）に記載されている。
【００７２】
（２．第２の実施形態）
次に、本開示の第２の実施形態について説明する。なお、上記の第１の実施形態と同様の構成（システム構成および装置構成など）については、重複した説明を省略する。
【００７３】
図９は、本開示の第２の実施形態に係るシステムの概略的な機能構成を示す図である。図９を参照すると、システム２０は、上記で図３を参照して説明したシステム１０と同様の機能構成を含む。ただし、本実施形態では、オブジェクト認識部２５７が、タブレット端末３００のタッチパネル３５０を介して第２のユーザが指定した空間位置または該空間位置の近傍で、動画像に含まれるオブジェクトを認識する。
【００７４】
つまり、本実施形態では、オブジェクト認識部２５７によるオブジェクトの認識が、第２のユーザによって指定された空間位置またはその近傍に限定して実行される。画像取得部２５３が取得する動画像の画質や、オブジェクト認識部２５７におけるオブジェクト認識の性能、および動画像に実際に含まれるオブジェクトの数などによっては、認識されたオブジェクトのすべてについてマーカ３０２１やオブジェクト画像３０２２をディスプレイ３４０に表示させることが困難であったり、表示が可能であっても見難かったり、マーカ３０２１が多すぎて却って空間位置の指定がしづらかったりする場合がありうる。そのような場合には、本実施形態のように、オブジェクト認識が実行される範囲を限定することが有効でありうる。
【００７５】
本実施形態の変形例として、例えば、オブジェクト認識部２５７によってオブジェクト認識が実行される範囲が、ウェアラブルディスプレイ１００を装着している第１のユーザの注視範囲に基づいて設定されてもよい。例えば、ウェアラブルディスプレイ１００はさらにアイカメラを備え、アイカメラによって撮像された画像に基づいて、いずれかの装置のプロセッサで第１のユーザの注視範囲を推定する処理が実行されてもよい。この場合、オブジェクト認識部２５７は、第１のユーザの注視範囲に対応する領域でオブジェクト認識を実行する。従って、第２のユーザがアノテーションを関連付ける空間位置の候補として表示されるマーカ３０２１が、現在の第１のユーザの注視範囲に対応する領域に限定して表示されうる。これによって、例えば、第２のユーザに対して、第１のユーザによって注視される可能性が高い空間位置を、アノテーションを関連付ける空間位置の候補として提示することができる。
【００７６】
（３．第３の実施形態）
次に、本開示の第３の実施形態について説明する。なお、上記の第１および第２の実施形態と同様の構成（システム構成および装置構成など）については、重複した説明を省略する。
【００７７】
（３−１．機能構成）
図１０は、本開示の第３の実施形態に係るシステムの概略的な機能構成を示す図である。図１０を参照すると、システム３０は、画像加工部２５１、画像取得部２５３、表示制御部２５５、オブジェクト認識部２５７、および空間位置指定部２５９を機能構成として含む。本実施形態では、上記の第１および第２の実施形態とは異なり、タブレット端末３００を使用する第２のユーザによるアノテーションの入力は必ずしもなくてもよい。もちろん、本実施形態と上記の第１または第２の実施形態とを組み合わせ、付加的にタブレット端末３００で第２のユーザがアノテーションを入力するための構成が採用されてもよい。以下、上記の機能構成について、第１および第２の実施形態とは異なる点を中心に説明する。
【００７８】
画像加工部２５１は、ウェアラブルディスプレイ１００に搭載されたカメラ１２０によって撮像された動画像を加工して、ウェアラブルディスプレイ１００を装着している第１のユーザの視界に対応する動画像を生成する。このとき、画像加工部２５１は、空間位置指定部２５９によって指定された空間位置に対応する領域の画像を、他の領域よりも拡大された状態にして上記動画像を生成してもよい。また、画像加工部２５１は、指定された空間位置に対応する領域の画像を、他の領域よりも高い解像度に維持して上記動画像を生成してもよい。
【００７９】
ここで、空間位置指定部２５９によって指定された空間位置の情報が画像加工部２５１に提供されることによって、指定された空間位置に対応する領域では、画像の加工時に他の領域では失われてしまう情報を保持することができる。例えば、画像加工部２５１は、装置間で動画像を伝送するためのネットワークで利用可能な帯域が限られているなどの理由で、ソース動画像を縮小したり、ソース動画像の解像度を低下させたりすることによって加工後の動画像のデータ量を削減する場合がある。このような場合、空間位置指定部２５９によって指定された空間位置の情報を画像加工部２５１に提供することによって、例えば当該領域の拡大された画像や当該領域の高解像度の画像を別途（別のストリームで）送信し、表示制御部２５５がこれらの画像をタブレット端末３００のディスプレイ３４０に表示させることができる。
【００８０】
表示制御部２５５は、画像取得部２５３によって取得された動画像を、タブレット端末３００のディスプレイ３４０に表示させる。上記のように、画像加工部２５１が、空間位置指定部２５９によって指定された空間位置に対応する領域の画像が所定の状態に維持されるようにソース動画像を加工している場合、表示制御部２５５は、動画像に何らかの加工を加えなくても、指定された空間位置を所定の状態に維持して動画像を表示させることができる。
【００８１】
一方、画像加工部２５１に指定された空間位置の情報が取得されず、指定された空間位置に対応する領域の画像のそれ以外の領域の画像も同様に加工されることによって生成された動画像が画像取得部２５３によって取得される場合、表示制御部２５５が、指定された空間位置が所定の状態に維持されるように動画像を加工する。例えば、表示制御部２５５は、指定された空間位置に対応する領域の画像を他の領域よりも拡大された状態に加工した上で、動画像を表示させてもよい。また、例えば、表示制御部２５５は、指定された空間位置に対応する領域の画像を、他の領域よりも高い解像度になるようにアップコンバートした上で、動画像を表示させてもよい。
【００８２】
オブジェクト認識部２５７は、第２のユーザによって指定された空間位置またはその近傍でオブジェクト認識を実行する。本実施形態では、第２のユーザが所定の状態で継続的に閲覧したい空間位置を指定する。従って、オブジェクト認識部２５７は、当該空間位置に存在するオブジェクトを認識し、そのオブジェクトを基準にして空間位置指定部２５９が空間位置を指定できるようにする。それゆえ、オブジェクト認識部２５７は、第２のユーザによって指定された空間位置またはその近傍で複数のオブジェクトが認識された場合には、どのオブジェクトに対応する空間位置を指定するかという問い合わせを、表示制御部２５５およびディスプレイ３４０を介して第２のユーザに向けて出力してもよい。
【００８３】
（３−２．表示例）
（第１の表示例）
図１１〜図１３は、本開示の第３の実施形態における第１の表示例を示す図である。まず、図１１を参照すると、タブレット端末３００のディスプレイ３４０に表示される画面３３００には、動画像３０１０（フレーム３０１０ｃ）と、マーカ３０２１とが表示される。
【００８４】
マーカ３０２１は、例えば、動画像３０１０の中で、タブレット端末３００を使用する第２のユーザがタッチパネル３５０などを介して指定した空間位置またはその近傍においてオブジェクト認識部２５７が認識したオブジェクトに対応する領域に表示される。図示された例では、ユーザが指定した空間位置の画像を拡大して表示させることを所望しているが、マーカ３０２１が表示されることによって、ユーザは、意図された空間位置が拡大表示されるかどうかを認識することができる。
【００８５】
次に、図１２を参照すると、画面３３００には、動画像３０１０（フレーム３０１０ｄ）と、拡大画像３３４０ａとが表示される。さらに、図１３を参照すると、画面３３００には、動画像３０１０（フレーム３０１０ｅ）と、拡大画像３３４０ｂとが表示される。
【００８６】
拡大画像３３４０は、上記の図１１に示したフレーム３０１０ｃにおいてユーザが指定した空間位置（認識されたオブジェクト（椅子）の空間位置に対応する）に対応する領域の画像を、他の領域よりも拡大して表示した画像である。フレーム３０１０ｄで表示される拡大画像３３４０ａと、フレーム３０１０ｅで表示される拡大画像３３４０ｂとは、いずれもそれぞれのフレームにおける当該オブジェクト（椅子）の空間位置に対応する領域を拡大した画像である（つまり、キャプチャされた画像ではない）。
【００８７】
本表示例では、フレーム３０１０ｄとフレーム３０１０ｅとの間で動画像３０１０の画角が変化しているが、拡大画像３３４０として表示される空間位置は変化していない。つまり、本表示例では、拡大画像３３４０が表示される領域が、指定された空間位置にアンカリングされている。従って、ウェアラブルディスプレイ１００を装着している第１のユーザが移動したなどの理由で動画像３０１０の画角が変化しても、最初に（フレーム３０１０ｃ）で第２のユーザが指定した空間位置に対応する領域が、拡大画像３３４０として表示される。
【００８８】
（第２の表示例）
図１４および図１５は、本開示の第３の実施形態における第２の表示例を示す図である。まず、図１４を参照すると、上記の第２の表示例における図１２と同様の状態が示されている。つまり、画面３４００では、図示されたフレーム３０１０ｄよりも前のフレーム（フレーム３０１０ｃ）において、タブレット端末３００を使用する第２のユーザがタッチパネル３５０などを介して指定した空間位置またはその近傍においてオブジェクト認識部２５７が認識したオブジェクトに対応する領域について、拡大画像３３４０ａが表示される。第１の表示例との違いとして、本表示例では、拡大画像３３４０ａが、動画像３０１０の外側に表示されている。この場合、拡大画像３３４０ａとともに、マーカ３０２１も引き続き表示されうる。このように、本実施形態における拡大画像３３４０は、動画像３０１０の内側に、動画像３０１０の外側に表示されてもよい。
【００８９】
次に、図１５を参照すると、画面３４００には、動画像３０１０（フレーム３０１０ｆ）と、拡大画像３３４０ｃと、空白のマーカ３４２３とが表示される。この状態において、動画像３０１０の画角の変化によって、フレーム３０１０ｆは、フレーム３０１０ｄに含まれていたオブジェクト（椅子）の空間位置を含まない。それゆえ、画面３４００では、フレーム３０１０ｆの外側に空白のマーカ３４２３が表示される。あるいは、画面３４００では、上記の第１の実施形態で図８を参照して説明した例と同様に、オブジェクト画像３０２２が表示されてもよい。
【００９０】
さらに、画面３４００では、フレーム３０１０ｆには含まれていない空間位置の拡大画像３３４０ｃが表示される。例えば、当該空間位置が、フレーム３０１０ｆには含まれていないがソース動画像（ウェアラブルディスプレイ１００に搭載されたカメラ１２０によって撮像された動画像）には含まれている場合、空間位置指定部２５９が画像加工部２５１に空間位置の情報を提供し、画像加工部２５１がソース動画像から当該空間位置に対応する領域の画像を切り出して画像取得部２５３に提供することによって、表示制御部２５５が拡大画像３３４０ｃを表示させることが可能になる。
【００９１】
あるいは、表示制御部２５５が、フレーム３０１０ｆ以前で指定された空間位置を含むフレーム（例えばフレーム３０１０ｄでもよい）から切り出された画像を用いて拡大画像３３４０ｃを表示させてもよい。この場合、拡大画像３３４０ｃは一時的にキャプチャされた画像になるが、指定された空間位置が動画像３０１０またはソース動画像に含まれるようになった場合には、再びストリーミングされたフレームに基づいて拡大画像３３４０が表示されうる。
【００９２】
（第３の表示例）
図１６は、本開示の第３の実施形態における第３の表示例を示す図である。図１６を参照すると、画面３５００には、動画像３０１０と、２つのマーカ３０２１ｄ，３０２１ｅと、それぞれのマーカに対応する２つの拡大画像３３４０ｄ，３３４０ｅとが表示されている。この第３の表示例に示されるように、本実施形態では、上記の第１の表示例および第２の表示例で示されたようなマーカ３０２１、オブジェクト画像３０２２、および拡大画像３３４０の表示が、動画像３０１０内の複数の空間位置について並列的に実現されてもよい。
【００９３】
以上、本開示の第３の実施形態の表示例について説明した。なお、指定された空間位置に対応する領域の画像が拡大表示される例が説明されたが、本開示の実施形態はこのような例には限定されない。例えば、上記の表示例と同様にして、指定された空間位置に対応する領域の画像が高解像度で表示されてもよい。このとき、当該領域の画像は拡大されていてもよいし、拡大されていなくてもよい。
【００９４】
また、例えば、指定された空間位置に対応する領域の画像は、拡大されず、高解像度で表示されなくてもよい。つまり、タブレット端末３００のディスプレイ３４０では、第２のユーザが指定した空間位置に対応する領域の画像が、フレームが変わっても同じように別枠で表示されるだけでもよい。この場合も、指定された空間位置に対応する領域の画像が表示される位置が視点変化によって変動しないため、ユーザは、例えば当該空間位置にあるオブジェクトを継続的に視認することが容易になる。
【００９５】
（３−３．変形例）
図１７は、本開示の第３の実施形態の変形例に係るシステムの概略的な機能構成を示す図である。図１７を参照すると、システム３２は、オブジェクト認識部を含まない。空間位置指定部２５９は、タブレット端末３００を使用する第２のユーザがタッチパネル３５０を用いて指定した動画像内の空間位置を示す情報を、画像加工部２５１または表示制御部２５５に提供する。本変形例によれば、例えば第２のユーザによって指定された空間位置にオブジェクトが存在しない場合であっても、表示制御部２５５が当該空間位置を所定の状態に維持して動画像を表示させることが可能である。
【００９６】
上述した本実施形態の例では、第２のユーザが指定した空間位置またはその近傍でオブジェクト認識部２５７がオブジェクト認識を実行し、認識されたオブジェクトに対応する空間位置が空間位置指定部２５９によって指定された。これは、例えば、第２のユーザが指定しようとしている空間位置に何らかのオブジェクトが存在する場合、オブジェクトを媒介とすることによって正確な空間位置の指定が可能になりうるためである。従って、例えば空間位置の指定のための操作インターフェースの改善や、操作支援情報の提供などによって、第２のユーザによる空間位置の指定がより正確にできるような場合には、必ずしもオブジェクトを媒介として空間位置を指定しなくてもよい。そのような場合には、本変形例のように、第２のユーザによって指定された空間位置が直接的に空間位置指定部２５９によって指定される。
【００９７】
（４．ハードウェア構成）
次に、図１８を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図１８は、本開示の実施形態に係る情報処理装置を実現可能なハードウェア構成について説明するためのブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるスマートフォン１５０、サーバ２００、およびタブレット端末３００などを実現しうる。
【００９８】
情報処理装置９００は、ＣＰＵ（Central  Processing  unit）９０１、ＲＯＭ（Read  Only  Memory）９０３、およびＲＡＭ（Random  Access  Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital  Signal  Processor）またはＡＳＩＣ（Application  Specific  Integrated  Circuit）と呼ばれるような処理回路を有してもよい。
【００９９】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral  Component  Interconnect/Interface）バスなどの外部バス９１１に接続されている。
【０１００】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
【０１０１】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid  Crystal  Display）、ＰＤＰ（Plasma  Display  Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
【０１０２】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard  Disk  Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
【０１０３】
ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
【０１０４】
接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal  Serial  Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small  Computer  System  Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
【０１０５】
通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local  Area  Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless  USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric  Digital  Subscriber  Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
【０１０６】
撮像装置９３３は、例えば、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
【０１０７】
センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global  Positioning  System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
【０１０８】
以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
【０１０９】
（５．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置（スマートフォン、サーバまたはタブレット端末など）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
【０１１０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）刻々変化する視点で撮像された動画像を取得する画像取得部と、
前記動画像の第１のフレームにおける空間位置を指定する空間位置指定部と、
前記第１のフレームよりも後の第２のフレームにおいて前記空間位置を所定の状態に維持して前記動画像を表示させる表示制御部と
を備える表示制御装置。
（２）前記画像取得部は、第１のユーザの視界に対応する前記動画像を取得し、
前記表示制御部は、前記第１のユーザとは異なる第２のユーザに向けて前記動画像を表示させる、請求項１に記載の表示制御装置。
（３）前記表示制御部は、前記空間位置を、前記第２のユーザが入力するアノテーションを関連付ける位置の候補としてマークされた状態に維持して前記動画像を表示させる、請求項２に記載の表示制御装置。
（４）前記第１のフレームに含まれるオブジェクトを認識するオブジェクト認識部をさらに備え、
前記空間位置指定部は、前記オブジェクトに対応する空間位置を指定する、請求項３に記載の表示制御装置。
（５）前記表示制御部は、前記空間位置を、前記オブジェクトの関連情報が関連付けて表示された状態に維持して前記動画像を表示させる、請求項４に記載の表示制御装置。
（６）前記オブジェクト認識部は、前記第２のユーザによって指定された空間位置または該空間位置の近傍で前記オブジェクトを認識する、請求項４に記載の表示制御装置。
（７）前記オブジェクト認識部は、前記第１のユーザの注視範囲に対応する領域で前記オブジェクトを認識する、請求項４に記載の表示制御装置。
（８）前記表示制御部は、前記空間位置を拡大された状態に維持して前記動画像を表示させる、請求項１に記載の表示制御装置。
（９）前記表示制御部は、前記空間位置を他の部分よりも高い解像度で表示された状態に維持して前記動画像を表示させる、請求項１に記載の表示制御装置。
（１０）前記表示制御部は、前記空間位置が前記第２のフレームに含まれない場合、前記空間位置を別枠に表示された状態に維持して前記動画像を表示させる、請求項１に記載の表示制御装置。
（１１）前記画像取得部は、前記第２のフレームにおいて、ソース動画像の周辺領域を切り取って生成された前記動画像のフレームと、前記周辺領域から切り出された前記空間位置の画像とを取得する、請求項１０に記載の表示制御装置。
（１２）前記表示制御部は、前記第２のフレームにおいて、前記第２のフレーム以前で前記空間位置を含むフレームから切り出された画像を用いて前記別枠の画像を表示させる、請求項１０に記載の表示制御装置。
（１３）刻々変化する視点で撮像された動画像を取得することと、
前記動画像の第１のフレームにおける空間位置を指定することと、
前記第１のフレームよりも後の第２のフレームにおいて前記空間位置を所定の状態に維持して前記動画像を表示させることと
を含む表示制御方法。
（１４）刻々変化する視点で撮像された動画像を取得する機能と、
前記動画像の第１のフレームにおける空間位置を指定する機能と、
前記第１のフレームよりも後の第２のフレームにおいて前記空間位置を所定の状態に維持して前記動画像を表示させる機能と
をコンピュータに実現させるためのプログラム。
【符号の説明】
【０１１２】
１０，２０，３０，３２    システム
１００    ウェアラブルディスプレイ
１１０    ディスプレイ
１２０    カメラ
１５０    スマートフォン
１６０    プロセッサ
１７０    メモリ
２００    サーバ
２１０    プロセッサ
２２０    メモリ
２５１    画像加工部
２５３    画像取得部
２５５    表示制御部
２５７    オブジェクト認識部
２５９    空間位置指定部
３００    タブレット端末
３１０    プロセッサ
３２０    メモリ
３４０    ディスプレイ
３５０    タッチパネル
【図１】
2015095147.tif 000003
【図２】
2015095147.tif 000004
【図３】
2015095147.tif 000005
【図４】
2015095147.tif 000006
【図５】
2015095147.tif 000007
【図６】
2015095147.tif 000008
【図７】
2015095147.tif 000009
【図８】
2015095147.tif 000010
【図９】
2015095147.tif 000011
【図１０】
2015095147.tif 000012
【図１１】
2015095147.tif 000013
【図１２】
2015095147.tif 000014
【図１３】
2015095147.tif 000015
【図１４】
2015095147.tif 000016
【図１５】
2015095147.tif 000017
【図１６】
2015095147.tif 000018
【図１７】
2015095147.tif 000019
【図１８】
2015095147.tif 000020