(57)【特許請求の範囲】
【請求項１】
仮想オブジェクトをディスプレイに表示させる端末装置に３次元の仮想オブジェクトを示す画像データである仮想オブジェクト情報を配信する配信装置であって、
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部と、
前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、
前記仮想空間情報が示す前記仮想空間において、前記特定部が特定した前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、前記特定部が特定した前記方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、
を有し、
前記オブジェクト情報生成部は、前記オブジェクト位置情報が示す前記実空間における前記仮想オブジェクトの位置と、前記実空間における実際のオブジェクトの位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御する、
配信装置。
【請求項２】
前記オブジェクト情報生成部は、前記ディスプレイから、前記実空間における実際のオブジェクトまでの距離を示す深度情報に基づく、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記画像データが示す画像の画質を低下させる、
請求項１に記載の配信装置。
【請求項３】
仮想オブジェクトをディスプレイに表示させる端末装置に３次元の仮想オブジェクトを示す画像データである仮想オブジェクト情報を配信する配信装置であって、
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶するとともに、前記実空間における実際のオブジェクトの前記仮想空間における位置を示す位置情報を記憶する記憶部と、
前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、
前記仮想空間情報が示す前記仮想空間において、前記特定部が特定した前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、前記特定部が特定した方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、
を有し、
前記オブジェクト情報生成部は、前記仮想オブジェクトの前記仮想空間における位置と、前記実際のオブジェクトの前記仮想空間における位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御する、
配信装置。
【請求項４】
前記オブジェクト情報生成部は、前記特定部が特定した前記位置に対応する前記仮想空間における位置から前記仮想オブジェクトの位置までの距離に基づいて、前記画像データが示す画像の画質を調整する、
請求項１から３のいずれか１項に記載の配信装置。
【請求項５】
前記オブジェクト情報生成部は、前記実空間の照度に基づいて、前記画像データが示す画像の画質を調整する、
請求項１から４のいずれか１項に記載の配信装置。
【請求項６】
前記オブジェクト情報生成部は、前記配信装置とディスプレイ装置との間の通信品質に基づいて、前記画像データが示す画像の画質を調整する、
請求項１から５のいずれか１項に記載の配信装置。
【請求項７】
３次元の仮想オブジェクトを示す画像データをディスプレイに表示させる端末装置と、前記端末装置に３次元の仮想オブジェクトを示す画像データである仮想オブジェクト情報を配信する配信装置とを有する配信システムであって、
前記配信装置は、
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部と、
前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、
前記仮想空間情報が示す前記仮想空間において、前記特定部が特定した前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、前記特定部が特定した前記方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、
を有し、
前記オブジェクト情報生成部は、前記オブジェクト位置情報が示す前記実空間における前記仮想オブジェクトの位置と、前記実空間における実際のオブジェクトの位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御し、
前記端末装置は、
前記配信装置から配信された前記仮想オブジェクト情報を受信する受信部と、
前記受信部が受信した前記仮想オブジェクト情報と、前記オブジェクト位置情報とに基づいて前記仮想オブジェクトを示す画像を前記ディスプレイに表示させる表示制御部と、
を有する、
配信システム。
【請求項８】
前記表示制御部は、前記ディスプレイから前記実空間における実際のオブジェクトまでの距離を示す深度情報を取得し、前記画像データに関連付けられている前記オブジェクト位置情報が示す位置と、前記深度情報が示す前記実際のオブジェクトの位置との関係に基づいて、前記実際のオブジェクトに少なくとも一部が遮蔽される前記仮想オブジェクトを特定し、前記遮蔽される前記仮想オブジェクトに対応する前記画像データが示す画像の一部を前記ディスプレイに表示させる、
請求項７に記載の配信システム。
【請求項９】
仮想オブジェクトをディスプレイに表示させる端末装置に３次元の仮想オブジェクトを示す画像データである仮想オブジェクト情報を配信するコンピュータが実行する、
前記端末装置の位置及び前記端末装置が向いている方向を特定するステップと、
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、前記仮想空間情報が示す前記仮想空間において、特定された前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、特定された前記方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するステップと、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信するステップと、
を有し、
前記生成するステップにおいて、前記コンピュータは、前記オブジェクト位置情報が示す前記実空間における前記仮想オブジェクトの位置と、前記実空間における実際のオブジェクトの位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御する、
配信方法。
【請求項１０】
前記仮想オブジェクト情報を生成するステップにおいて、前記コンピュータは、前記ディスプレイから、前記実空間における実際のオブジェクトまでの距離を示す深度情報に基づく、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記画像データが示す画像の画質を低下させる、
請求項９に記載の配信方法。
【請求項１１】
仮想オブジェクトをディスプレイに表示させる端末装置に３次元の仮想オブジェクトを示す画像データである仮想オブジェクト情報を配信するコンピュータを、
前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部、
前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、前記仮想空間情報が示す前記仮想空間において、前記特定部が特定した前記位置に対応する前記仮想空間の位置に仮想カメラを配置し、前記特定部が特定した前記方向に対応する前記仮想空間における方向を撮像したときの撮像画像に映り、当該撮像画像における映り方に対応する前記仮想オブジェクトの画像データを示し、当該仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部、及び、
生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部、
として機能させ、
前記オブジェクト情報生成部は、前記オブジェクト位置情報が示す前記実空間における前記仮想オブジェクトの位置と、前記実空間における実際のオブジェクトの位置との関係に基づいて、前記実際のオブジェクトによる前記仮想オブジェクトの少なくとも一部の遮蔽を検出すると、前記仮想オブジェクトの画像データが示す画像に含まれる、前記実際のオブジェクトに遮蔽される領域を前記画像から除去することなく、当該画像に含まれる当該領域を示す部分画像の画質を低下させ、前記画像に含まれる当該部分画像とは異なる画像の画質を低下させないように制御する、
配信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、配信装置、配信システム、配信方法及び配信プログラムに関する。
【背景技術】
【０００２】
仮想空間内に設定された仮想カメラから見える風景を示すコンテンツ画像を、スマートグラス等のユーザが装着可能なディスプレイ装置に配信して表示させることが行われている（例えば、特許文献１を参照）。ディスプレイ装置を介して風景を視認することにより、ユーザは、実空間にコンテンツ画像が重畳された状態で実空間を視認することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許６７３７９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では、仮想カメラから見える風景を示すコンテンツ画像をディスプレイ装置に表示させるため、仮想空間に配置された複数の仮想オブジェクトと、現実空間に存在する建物や人物等の実オブジェクトとの前後関係を適切に表現することができないという問題が生じていた。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現することができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る配信装置は、仮想オブジェクトをディスプレイに表示させる端末装置に仮想オブジェクトに対応する仮想オブジェクト情報を配信する配信装置であって、前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部と、前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、前記仮想空間情報を参照し、前記特定部が特定した前記位置及び前記方向に対応するとともに、前記仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、を有する。
【０００７】
本発明の第２の態様に係る配信システムは、仮想オブジェクトをディスプレイに表示させる端末装置と、前記端末装置に仮想オブジェクトに対応する仮想オブジェクト情報を配信する配信装置とを有する配信システムであって、前記配信システムは、前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部と、前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部と、前記仮想空間情報を参照し、前記特定部が特定した前記位置及び前記方向に対応するとともに、前記仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部と、生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部と、を有し、前記端末装置は、前記配信装置から配信された前記仮想オブジェクト情報を受信する受信部と、前記受信部が受信した前記仮想オブジェクト情報と、前記オブジェクト位置情報とに基づいて前記仮想オブジェクトを示す画像を前記ディスプレイに表示させる表示制御部と、を有する。
【０００８】
本発明の第３の態様に係る配信方法は、仮想オブジェクトをディスプレイに表示させる端末装置に仮想オブジェクトに対応する仮想オブジェクト情報を配信するコンピュータが実行する、前記端末装置の位置及び前記端末装置が向いている方向を特定するステップと、前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、特定された前記位置及び前記方向に対応するとともに、前記仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するステップと、生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信するステップと、を有する。
【０００９】
本発明の第４の態様に係る配信プログラムは、仮想オブジェクトをディスプレイに表示させる端末装置に仮想オブジェクトに対応する仮想オブジェクト情報を配信するコンピュータを、前記端末装置の位置及び前記端末装置が向いている方向を特定する特定部、前記端末装置のユーザが前記ディスプレイを介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、前記特定部が特定した前記位置及び前記方向に対応するとともに、前記仮想オブジェクトの前記実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成するオブジェクト情報生成部、及び、生成された前記仮想オブジェクト情報を前記オブジェクト位置情報に関連付けて前記端末装置に配信する配信部、として機能させる。
【発明の効果】
【００１０】
本発明によれば、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る配信システムの概要を示す図である。
【図２】本実施形態に係る配信装置の構成を示す図である。
【図３】本実施形態に係るユーザ端末の構成を示す図である。
【図４】本実施形態に係るディスプレイ装置の構成を示す図である。
【図５】仮想オブジェクト画像がディスプレイ装置に表示された例を示す図である。
【図６】本実施形態に係る配信システムにおける処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【００１２】
［配信装置Ｓの概要］
図１は、本実施形態に係る配信システムＳの概要を示す図である。配信システムＳは、ディスプレイに仮想オブジェクトを表示させるシステムである。仮想オブジェクトは、仮想空間上に配置される仮想の人物、動物、車等の各種物体の三次元モデルである。図１に示すように、配信システムＳは、配信装置１と、ユーザ端末２と、端末装置としてのディスプレイ装置３とを有する。配信装置１は、仮想オブジェクトに対応する仮想オブジェクト情報を配信するサーバである。配信装置１は、インターネット回線や携帯電話網等の通信ネットワークを介してユーザ端末２と通信可能に接続されており、ユーザ端末２に仮想オブジェクト情報を配信する。本実施形態では、仮想オブジェクト情報は、仮想オブジェクトを示す画像データであるものとする。以下の説明において、画像データが示す画像を仮想オブジェクト画像という。
【００１３】
ユーザ端末２は、例えばユーザが所持するスマートフォン、タブレット、パーソナルコンピュータ等の端末である。ユーザ端末２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信や、無線ＬＡＮ等の無線通信、または、ＵＳＢ（登録商標）、ＨＤＭＩ（登録商標）／ＭＨＬ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信を介して、ディスプレイ装置３と通信可能に接続されている。ユーザ端末２は、配信装置１から受信した画像データが示す仮想オブジェクト画像をディスプレイ装置３に表示させる。ディスプレイ装置３は、例えばユーザの頭部に装着されるスマートグラス等の端末である。ディスプレイ装置３は、ユーザ端末２に制御により仮想オブジェクト画像を表示する。ディスプレイ装置３は、例えばユーザが所持するスマートフォン等の端末であり、ユーザ端末２と同一の端末であってもよい。
【００１４】
本実施形態において、ディスプレイ装置３は、自身の位置と自身が向いている方向とを示す状態情報を、ユーザ端末２を介して配信装置１に送信する（図１の（１））。
【００１５】
配信装置１は、ユーザがディスプレイ装置３を介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶している。配信装置１は、ディスプレイ装置３から取得した状態情報に基づいて、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定する（図１の（２））。
【００１６】
配信装置１は、特定した位置及び方向に対応するとともに、仮想オブジェクトの実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた画像データを生成する（図１の（３））。図１に示す例では、配信装置１は、仮想オブジェクトＯＡ、ＯＢのそれぞれに対応して、２つ仮想オブジェクト画像ｉＯＡ、ｉＯＢに対応する画像データを生成する。
【００１７】
配信装置１は、生成した画像データと、オブジェクト位置情報とを関連付けて、ユーザ端末２を介してディスプレイ装置３に配信する（図１の（４））。ディスプレイ装置３は、オブジェクト位置情報に基づいて画像データが示す仮想オブジェクト画像を表示する（図１の（５））。
【００１８】
このようにすることで、配信システムＳでは、仮想オブジェクトの実空間における位置を示すオブジェクト位置情報に基づいて仮想オブジェクトをディスプレイ装置３に表示させることができる。したがって、配信システムＳは、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現することができる。
【００１９】
［配信装置１の構成］
続いて、配信システムＳの構成について説明する。まず、配信装置１の構成を説明する。図２は、本実施形態に係る配信装置１の構成を示す図である。図２に示すように、配信装置１は、通信部１１と、記憶部１２と、制御部１３とを備える。
【００２０】
通信部１１は、インターネット回線や携帯電話網等の通信ネットワークに接続するためのインターフェースである。
記憶部１２は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を含む記憶媒体である。記憶部１２は、制御部１３が実行するプログラムを記憶している。例えば、記憶部１２は、制御部１３を、特定部１３１、オブジェクト情報生成部としての画像生成部１３２及び配信部１３３として機能させるプログラムを記憶している。
【００２１】
また、記憶部１２は、ユーザがディスプレイ装置３を介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する。仮想空間は、実空間上の所定エリアに対応しており、仮想空間上の複数の位置それぞれは、実空間上の所定エリアに含まれる複数の位置それぞれと関連付けられている。記憶部１２には、実空間上の所定エリアに含まれる複数の位置それぞれに対応する仮想空間上の位置を特定するための位置関係情報が記憶されている。また、仮想空間情報が示す仮想空間には、複数の仮想オブジェクトの三次元モデルが配置されている。複数の仮想オブジェクトの仮想空間における位置は、制御部１３の制御により、時間の経過に応じて更新されるものとする。
【００２２】
制御部１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、特定部１３１、画像生成部１３２及び配信部１３３として機能する。制御部１３の各部の動作の詳細については後述する。
【００２３】
［ユーザ端末２の機能構成］
続いて、ユーザ端末２の構成を説明する。図３は、本実施形態に係るユーザ端末２の構成を示す図である。図３に示すように、ユーザ端末２は、操作部２１と、表示部２２と、通信部２３と、記憶部２４と、制御部２５とを備える。
【００２４】
操作部２１は、ユーザの操作を受け付ける操作デバイスであり、例えば表示部２２の表面に設けられたタッチパネルである。
表示部２２は、各種の情報を表示するディスプレイである。
【００２５】
通信部２３は、例えば携帯電話網の基地局との間でデータを送受信するための無線通信インターフェースである。通信部２３は、携帯電話網の基地局を介して、配信装置１と無線通信を行う。また、通信部２３は、ディスプレイ装置３との間でデータを送受信するための無線通信インターフェースである。通信部２３は、ディスプレイ装置３と無線通信を行う。
【００２６】
記憶部２４は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部２４は、制御部２５が実行するプログラムを記憶している。記憶部２４は、ディスプレイ装置３に仮想オブジェクト画像を表示させるために、制御部２５を、状態情報取得部２５１、画像取得部２５２、表示制御部２５３として機能させる表示制御プログラムを記憶する。
【００２７】
制御部２５は、例えばＣＰＵであり、記憶部２４に記憶された表示制御プログラムを実行することにより、状態情報取得部２５１、画像取得部２５２、及び表示制御部２５３として機能する。
【００２８】
状態情報取得部２５１は、ディスプレイ装置３から、ディスプレイ装置３の状態及びディスプレイ装置３の周囲の状態を示す状態情報を受信することにより、状態情報を取得する。状態情報には、ディスプレイ装置３の位置を示す位置情報、ディスプレイ装置３が検出した加速度を示す加速度情報、ディスプレイ装置３の周囲の照度を示す照度情報、ディスプレイ装置３が撮像した画像が含まれる。
【００２９】
画像取得部２５２は、ディスプレイ装置３に表示させる仮想オブジェクト画像の画像データを配信装置１から取得する。画像取得部２５２は、仮想オブジェクトの画像データの取得要求である画像データ取得要求を所定時間おきに配信装置１に送信し、配信装置１から仮想オブジェクトの画像データと、当該仮想オブジェクトの実空間に対応する位置を示すオブジェクト位置情報とを受信する。ここで、画像データ取得要求には、状態情報取得部２５１が取得した状態情報が含まれているものとする。
【００３０】
表示制御部２５３は、画像取得部２５２が取得したオブジェクト位置情報に基づいて、画像データが示す仮想オブジェクト画像をディスプレイ装置３に表示させる。表示制御部２５３は、画像取得部２５２が取得したオブジェクト位置情報を、ディスプレイ装置３における座標系に対応する位置情報であるスクリーン位置情報に変換する座標変換処理を実行する。表示制御部２５３は、スクリーン位置情報と、画像データとをディスプレイ装置３に送信する。
【００３１】
［ディスプレイ装置３の機能構成］
続いて、ディスプレイ装置３の構成を説明する。図４は、本実施形態に係るディスプレイ装置３の構成を示す図である。図４に示すように、ディスプレイ装置３は、通信部３１と、撮像部３２と、位置検出部３３と、加速度センサ３４と、照度センサ３５と、測距センサ３６と、表示部３７と、記憶部３８と、制御部３９とを備える。
【００３２】
通信部３１は、ユーザ端末２との間でデータを送受信するための無線通信インターフェースである。通信部３１は、制御部３９の制御により、ユーザ端末２と無線通信を行う。
撮像部３２は、ユーザがディスプレイ装置３を装着した場合におけるユーザの前方を撮像し、撮像画像を生成する。撮像部３２は、生成した撮像画像を制御部３９に出力する。
【００３３】
位置検出部３３は、ＧＰＳや、カメラを用いたＳＬＡＭ技術等を用いてディスプレイ装置３の位置を検出する。位置検出部３３は、検出した位置を示す装置位置情報を制御部３９に出力する。
【００３４】
加速度センサ３４は、ディスプレイ装置３にかかる加速度を検出する。加速度センサ３４は、三軸方向それぞれに対する加速度を検出する。加速度センサ３４は、検出した加速度を示す加速度情報を制御部３９に出力する。
照度センサ３５は、ディスプレイ装置３の周囲の照度を検出する。照度センサ３５は、検出した照度を示す照度情報を制御部３９に出力する。
【００３５】
測距センサ３６は、ディスプレイ装置３から、ユーザがディスプレイ装置３を介して視認する実空間に存在する実際のオブジェクトまでの距離を測定することにより、ディスプレイ装置３から実際のオブジェクトまでの距離を示す深度情報を生成する。深度情報は、例えば画素値がディスプレイ装置３から実際のオブジェクトまでの距離を示す距離画像である。測距センサ３６は、生成した深度情報を制御部３９に出力する。
【００３６】
表示部３７は、導光板と、導光板に光を照射する照射部とを含んでいる。照射部は、制御部３９の制御に応じて、仮想オブジェクトの画像データが示す画像に対応する色の光を導光板に照射することにより、導光板に仮想オブジェクト画像を結像させる。
【００３７】
記憶部３８は、ＲＯＭ及びＲＡＭ等を含む記憶媒体である。記憶部３８は、制御部３９が実行するプログラムを記憶している。記憶部３８は、制御部３９を、状態情報送信部３９１、画像取得部３９２、及び照射制御部３９３として機能させるプログラムを記憶する。
【００３８】
制御部３９は、例えばＣＰＵであり、記憶部３８に記憶されたプログラムを実行することにより、状態情報送信部３９１、画像取得部３９２、及び照射制御部３９３として機能する。
【００３９】
状態情報送信部３９１は、撮像部３２、位置検出部３３、加速度センサ３４、照度センサ３５、測距センサ３６から状態情報として、撮像画像、位置情報、加速度情報、照度情報、及び深度情報を取得する。状態情報送信部３９１は、取得した状態情報を通信部３１を介してユーザ端末２に送信する。
【００４０】
画像取得部３９２は、ユーザ端末２から、仮想オブジェクトの画像データと、スクリーン位置情報とを取得する。
照射制御部３９３は、画像取得部３９２が取得したスクリーン位置情報に基づいて画像データが示す仮想オブジェクト画像を表示部３７に表示させる。
【００４１】
［制御部１３の各部の動作］
続いて、制御部１３の各部の動作について説明する。
特定部１３１は、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定する。具体的には、特定部１３１は、ユーザ端末２側において、画像データ取得要求に状態情報として含まれているディスプレイ装置３の位置情報に基づいて、ディスプレイ装置３の位置を特定する。また、特定部１３１は、画像データ取得要求に状態情報として含まれている加速度情報に基づいて、ディスプレイ装置３が向いている方向を特定する。
【００４２】
なお、特定部１３１は、加速度情報に基づいてディスプレイ装置３が向いている方向を特定したがこれに限らず、ユーザ端末２において、ディスプレイ装置３が向いている方向を特定してもよい。この場合、ユーザ端末２の画像取得部２５２が、ディスプレイ装置３から受信した状態情報に含まれる加速度情報に基づいて、ディスプレイ装置３が向いている方向を特定する。画像取得部２５２は、ディスプレイ装置３の位置を示す装置位置情報と、ディスプレイ装置３が向いている方向を示す方向情報とを含む、画像データ取得要求を配信装置１に送信する。特定部１３１は、ユーザ端末２から受信した画像データ取得要求に含まれる装置位置情報と、方向情報とに基づいて、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定する。
【００４３】
画像生成部１３２は、仮想空間情報を参照し、特定部１３１が特定したディスプレイ装置３の位置及びディスプレイ装置３が向いている方向に対応するとともに、仮想オブジェクトの実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた画像データを生成する。
【００４４】
具体的には、画像生成部１３２は、仮想空間情報が示す仮想空間において、特定部１３１が特定した位置に対応する仮想空間の位置、及び特定部１３１が特定した方向に対応する仮想空間における方向から、仮想空間内を視認したときに映る仮想オブジェクトを示す画像データを生成する。
【００４５】
より具体的には、画像生成部１３２は、記憶部１２に記憶されている位置関係情報を参照し、特定部１３１が特定した位置に関連付けられている仮想空間上の位置を特定するとともに、特定部１３１が特定した方向に対応する仮想空間上の方向を特定する。画像生成部１３２は、特定した仮想空間上の位置に仮想カメラを配置し、特定した仮想空間上の方向を撮像したときに映る一以上の仮想オブジェクトそれぞれの画像を示す画像データを一以上生成する。
【００４６】
また、画像生成部１３２は、仮想空間情報を参照して、当該一以上の仮想オブジェクトそれぞれの仮想空間上の位置を特定するとともに、位置関係情報を参照し、当該一以上の仮想オブジェクトそれぞれの仮想空間上の位置に対応する実空間上の位置を特定する。
【００４７】
また、画像生成部１３２は、配信装置１における画像データの生成負荷を抑制するために、仮想オブジェクト画像の画質を調整する。画像生成部１３２は、仮想オブジェクト画像の画質を調整するか否かを判定し、判定結果に基づいて仮想オブジェクト画像の画質を調整する。
【００４８】
具体的には、画像生成部１３２は、オブジェクト位置情報が示す仮想オブジェクトの実空間における位置と、実空間における実際のオブジェクトの位置との関係に基づく、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出すると、仮想オブジェクト画像の画質を低下させる。画像生成部１３２は、仮想オブジェクト画像全体の解像度及びビットレートの少なくともいずれか、又は仮想オブジェクトの三次元モデルのデータをレンダリングする際の解像度を低下させることにより、仮想オブジェクト画像の画質を低下させる。
【００４９】
例えば、記憶部１２に、実際のオブジェクトの仮想空間における位置を示す位置情報を記憶しておき、画像生成部１３２は、仮想オブジェクトの位置と、実際のオブジェクトの仮想空間における位置とに基づいて、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出する。このようにすることで、一部が遮蔽されることによりユーザに視認されにくい仮想オブジェクト画像の画質を落とすことにより、ユーザへの影響を少なくしつつ、配信装置１における処理負荷を軽減することができる。
【００５０】
なお、画像生成部１３２は、仮想オブジェクト画像全体の解像度を低下させることにより、仮想オブジェクト画像の画質を低下させたが、これに限らない。画像生成部１３２は、仮想オブジェクト画像における遮蔽される領域の画質を低下させてもよい。また、仮想オブジェクト画像の画質の低下には、仮想オブジェクト画像における遮蔽される領域の画像を生成しないようにすることや、仮想オブジェクト画像における遮蔽される領域の画像のデータ値を固定値にすることも含まれる。
【００５１】
また、画像生成部１３２は、ユーザ端末２から、深度情報を含む画像データ取得要求を受信してもよい。そして、画像生成部１３２は、ユーザ端末２から受信した取得要求に含まれる深度情報に基づいて、仮想オブジェクトそれぞれの実空間上の位置に実際のオブジェクトが存在するか否かを判定することにより、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出してもよい。
【００５２】
また、画像生成部１３２は、特定部１３１が特定した位置に対応する仮想空間における位置から仮想オブジェクトの位置までの距離に基づいて、画像データが示す仮想オブジェクト画像の画質を調整してもよい。例えば、画像生成部１３２は、特定部１３１が取得した位置に対応する仮想空間における位置から仮想オブジェクトの位置までの距離が長ければ長いほど、仮想オブジェクト画像の画質を低下させるようにしてもよい。このようにすることで、仮想オブジェクトまでの距離が長くユーザに視認されにくい仮想オブジェクトの画質を落とすことにより、ユーザが仮想オブジェクトを視認する際の影響を少なくしつつ、配信装置１における処理負荷を軽減することができる。
【００５３】
また、画像生成部１３２は、ユーザがディスプレイ装置３を介して視認する実空間の照度に基づいて、画像データが示す仮想オブジェクト画像の画質を調整してもよい。この場合、画像取得部２５２は、状態情報取得部２５１が取得した照度情報を含む画像データ取得要求を配信装置１に送信する。画像生成部１３２は、画像データ取得要求に含まれる照度情報が示す照度に基づいて、仮想オブジェクト画像の画質を調整する。
【００５４】
例えば、画像生成部１３２は、照度情報が示す照度が高ければ高いほど、仮想オブジェクト画像の画質を低下させるようにしてもよい。このようにすることで、実空間の照度が高いことにより、ユーザがディスプレイ装置３に表示される仮想オブジェクトを視認しにくい場合に仮想オブジェクトの画質を落とすことができる。これにより、配信装置１は、ユーザが仮想オブジェクトを視認する際の影響を少なくしつつ、配信装置１における処理負荷を軽減することができる。
【００５５】
また、画像生成部１３２は、配信装置１とディスプレイ装置３との間の通信品質に基づいて、画像データが示す仮想オブジェクト画像の画質を調整してもよい。例えば、画像生成部１３２は、配信装置１とユーザ端末２との間の通信品質を測定することにより、配信装置１とディスプレイ装置３との間の通信品質を特定する。画像生成部１３２は、配信装置１とディスプレイ装置３との間の通信品質が所定の品質よりも低い場合、仮想オブジェクト画像の画質を低下させ、仮想オブジェクト画像のデータ量を少なくする。これにより、配信装置１は、通信品質が悪い状態において仮想オブジェクト画像のデータ量を少なくすることができるので、仮想オブジェクト画像の送信の遅延を抑制することができる。
【００５６】
なお、画像生成部１３２が、仮想オブジェクト画像の画質を調整するか否かを判定し、判定結果に基づいて仮想オブジェクト画像の画質を調整することとしたが、これに限らない。例えば、ユーザ端末２が、仮想オブジェクト画像の画質を調整するか否かを判定し、判定結果に基づく画質の調整要求を配信装置１に送信してもよい。
【００５７】
例えば、ユーザ端末２の画像取得部２５２は、状態情報取得部２５１が取得した深度情報に基づいて、配信装置１から取得した仮想オブジェクト画像の実空間上の位置に実際のオブジェクトが存在するかを判定することにより、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出してもよい。そして、画像取得部２５２は、実際のオブジェクトによる仮想オブジェクトの少なくとも一部の遮蔽を検出すると、仮想オブジェクト画像の画質を低下させる画質低下要求を配信装置１に送信してもよい。
【００５８】
また、画像取得部２５２は、ディスプレイ装置３から仮想オブジェクトの位置までの距離を特定し、当該距離が所定距離以上の場合に、仮想オブジェクト画像の画質を低下させる画質低下要求を配信装置１に送信してもよい。また、画像取得部２５２は、状態情報取得部２５１が取得した照度情報が示す照度が所定の閾値を超える場合に、仮想オブジェクト画像の画質を低下させる画質低下要求を配信装置１に送信してもよい。また、画像取得部２５２は、ユーザ端末２と配信装置１との間の通信品質及びユーザ端末２とディスプレイ装置３との間の通信品質を測定し、これらの通信品質の少なくともいずれかが所定の品質よりも低い場合に仮想オブジェクト画像の画質を低下させる画質低下要求を配信装置１に送信してもよい。
【００５９】
配信部１３３は、画像生成部１３２が生成した画像データを、オブジェクト位置情報に関連付けて、ディスプレイ装置３に配信する。配信部１３３は、仮想オブジェクトの取得要求を送信したユーザ端末２を介して、画像データ及びオブジェクト位置情報をディスプレイ装置３に配信する。ユーザ端末２の画像取得部２５２が、画像データ及びオブジェクト位置情報を配信装置１から受信すると、表示制御部２５３は、受信したオブジェクト位置情報に基づいて、仮想オブジェクト画像をディスプレイ装置３に表示させる。
【００６０】
ここで、表示制御部２５３は、画像データに関連付けられているオブジェクト位置情報が示す位置と、ディスプレイから実空間における実際のオブジェクトまでの距離を示す深度情報が示す実オブジェクトの位置との関係に基づいて、実オブジェクトに少なくとも一部が遮蔽される仮想オブジェクト画像を特定する。
【００６１】
例えば、表示制御部２５３は、画像データに関連付けられているオブジェクト位置情報が示す位置に基づいて、ディスプレイ装置３から仮想オブジェクトまでの距離を算出し、算出した距離に基づいて、深度情報に画像データが示す仮想オブジェクト画像を合成する。表示制御部２５３は、深度情報において、実際のオブジェクトに遮蔽されたなかった仮想オブジェクト画像の領域を、ディスプレイ装置３に表示させる仮想オブジェクト画像の領域と特定する。そして、表示制御部２５３は、遮蔽されることを特定した仮想オブジェクト画像の一部、すなわち、実際のオブジェクトに遮蔽されたなかった仮想オブジェクト画像の領域をディスプレイ装置３に表示させる。
【００６２】
図５は、仮想オブジェクト画像がディスプレイ装置３に表示された例を示す図である。図５には、仮想オブジェクト画像として、図１に示す仮想オブジェクト画像ｉＯＡ、ｉＯＢが表示されている。図５に示す例では、ディスプレイ装置３から仮想オブジェクト画像ｉＯＡまでの距離は、ディスプレイ装置３から実空間上に存在する実際のオブジェクトＯＷまでの距離よりも短く、ディスプレイ装置３から仮想オブジェクト画像ｉＯＢまでの距離は、ディスプレイ装置３から実空間上に存在する実際のオブジェクトＯＷまでの距離よりも長いものとする。このため、表示制御部２５３は、図５に示すように、仮想オブジェクト画像ｉＯＢの一部が実際のオブジェクトＯＷに遮蔽されるように、仮想オブジェクト画像ｉＯＢを表示させる。このようにすることで、ユーザ端末２は、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表示させることができる。
【００６３】
［配信システムＳにおける処理の流れ］
続いて、配信システムＳにおける処理の流れについて説明する。図６は、本実施形態に係る配信システムＳにおける処理の流れを示すシーケンス図である。本シーケンス図に示される処理は、所定時間おきに行われるものとする。
【００６４】
まず、ディスプレイ装置３の状態情報送信部３９１は、撮像部３２、位置検出部３３、加速度センサ３４、照度センサ３５、測距センサ３６から状態情報として、撮像画像、位置情報、加速度情報、照度情報、及び深度情報を取得し（Ｓ１）、ユーザ端末２に送信する（Ｓ２）。
【００６５】
ユーザ端末２の状態情報取得部２５１は、ディスプレイ装置３から状態情報を受信する。ユーザ端末２の画像取得部２５２は、状態情報を含む画像データ取得要求を配信装置１に送信する（Ｓ３）。
【００６６】
続いて、特定部１３１は、画像データ取得要求を受信する。特定部１３１は、仮想オブジェクト画像の取得要求に含まれている状態情報に基づいて、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定する（Ｓ４）。
【００６７】
続いて、画像生成部１３２は、画像データが示す仮想オブジェクト画像の画質を調整するか否かを判定する（Ｓ５）。画像生成部１３２は、仮想空間情報を参照し、特定したディスプレイ装置３の位置及びディスプレイ装置３が向いている方向に対応する仮想オブジェクトの画像データを生成する（Ｓ６）。画像生成部１３２は、仮想オブジェクト画像の画質を調整するか否かの判定結果に基づいて、画質を調整して画像データを生成する。
【００６８】
続いて、画像生成部１３２は、仮想空間情報を参照して、仮想オブジェクトそれぞれの仮想空間上の位置を特定するとともに、位置関係情報を参照し、当該仮想オブジェクトそれぞれの仮想空間上の位置に対応する実空間上の位置を特定する（Ｓ７）。なお、本シーケンスでは、Ｓ６の処理の後にＳ７の処理を行うこととしたが、これに限らず、Ｓ６の処理の前にＳ７の処理を実行してもよい。
【００６９】
続いて、配信部１３３は、生成された画像データをオブジェクト位置情報に関連付けてユーザ端末２に配信する（Ｓ８）。
続いて、ユーザ端末２の画像取得部２５２は、配信装置１から画像データと、オブジェクト位置情報とを受信する。
【００７０】
続いて、ユーザ端末２の表示制御部２５３は、画像取得部２５２が取得したオブジェクト位置情報を、ディスプレイ装置３における座標系に対応する位置情報であるスクリーン位置情報に変換する座標変換処理を実行する（Ｓ９）。表示制御部２５３は、スクリーン位置情報と、画像データとをディスプレイ装置３に送信する（Ｓ１０）。
【００７１】
続いて、画像取得部３９２は、ユーザ端末２から、画像データとスクリーン位置情報とを受信する。照射制御部３９３は、画像取得部３９２が取得したスクリーン位置情報に基づいて画像データが示す仮想オブジェクト画像を表示部３７に表示させる（Ｓ１１）。
【００７２】
［本実施形態における効果］
以上説明したように、本実施形態に係る配信装置１は、ディスプレイ装置３の位置及びディスプレイ装置３が向いている方向を特定し、ユーザがディスプレイ装置３を介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を参照し、特定した位置及び方向に対応するとともに、仮想オブジェクトの実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成する。そして、配信装置１は、生成した仮想オブジェクト情報をオブジェクト位置情報に関連付けてディスプレイ装置３に配信する。このようにすることで、配信装置１は、仮想オブジェクトの実空間における位置を示すオブジェクト位置情報に基づいて仮想オブジェクトをディスプレイ装置３に表示させることができる。したがって、配信装置１は、仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現することができる。
【００７３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述の実施の形態では、配信装置１がユーザ端末２に仮想オブジェクトの画像データ及びオブジェクト位置情報を送信し、ユーザ端末２が仮想オブジェクト画像をディスプレイ装置３に表示させたがこれに限らない。例えば、ディスプレイ装置３が、上述の実施の形態で説明したユーザ端末２が有する機能を全て有していてもよく、配信装置１が、ユーザ端末２を介さずに、ディスプレイ装置３に画像データ及びオブジェクト位置情報を送信してもよい。
【００７４】
また、ユーザ端末２が、上述の実施の形態で説明したディスプレイ装置３が有する機能を全て有していてもよい。そして、ユーザ端末２が、周囲の風景を撮像して表示部２２に表示させている場合に、配信装置１から受信したオブジェクト位置情報に基づいて、画像データが示す仮想オブジェクト画像を表示部２２に表示させるようにしてもよい。
【００７５】
また、上述の実施形態では、加速度センサ３４が検出した加速度に基づいて、ディスプレイ装置３が向いている方向を特定したがこれに限らない。ディスプレイ装置３が角速度を検出するジャイロセンサを備えている場合、特定部１３１は、加速度センサが検出した加速度及びジャイロセンサが検出した角速度の少なくともいずれかに基づいてディスプレイ装置３が向いている方向を特定してもよい。また、ディスプレイ装置３が３軸の角度と加速度とを検出する慣性計測装置を備えている場合、特定部１３１は、慣性計測装置が検出した３軸の角度と加速度とに基づいてディスプレイ装置３が向いている方向を特定してもよい。
【００７６】
また、例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【００７７】
１・・・配信装置、１１・・・通信部、１２・・・記憶部、１３・・・制御部、１３１・・・特定部、１３２・・・画像生成部、１３３・・・配信部、２・・・ユーザ端末、２１・・・操作部、２２・・・表示部、２３・・・通信部、２４・・・記憶部、２５・・・制御部、２５１・・・状態情報取得部、２５２・・・画像取得部、２５３・・・表示制御部、３・・・ディスプレイ装置、３１・・・通信部、３２・・・撮像部、３３・・・位置検出部、３４・・・加速度センサ、３５・・・照度センサ、３６・・・測距センサ、３７・・・表示部、３８・・・記憶部、３９・・・制御部、３９１・・・状態情報送信部、３９２・・・画像取得部、３９３・・・照射制御部
【要約】      （修正有）【課題】仮想オブジェクトと、現実空間に存在する実オブジェクトとの前後関係を適切に表現する配信装置、配信システム、配信方法及び配信プログラムを提供する。【解決手段】配信装置１は、ディスプレイ装置のユーザがディスプレイ装置を介して視認する実空間と対応する座標系を有する仮想空間における仮想オブジェクトの位置を示す仮想空間情報を記憶する記憶部１２と、ディスプレイ装置の位置及びディスプレイ装置が向いている方向を特定する特定部１３１と、仮想空間情報を参照し、特定部１３１が特定した位置及び方向に対応するとともに、仮想オブジェクトの実空間の座標系に対応する位置を示すオブジェクト位置情報が関連付けられた仮想オブジェクト情報を生成する画像生成部１３２と、生成された仮想オブジェクト情報をオブジェクト位置情報に関連付けてユーザ端末に配信する配信部１３３と、を有する。【選択図】図２【図１】
0006976395.tif 000002
【図２】
0006976395.tif 000003
【図３】
0006976395.tif 000004
【図４】
0006976395.tif 000005
【図５】
0006976395.tif 000006
【図６】
0006976395.tif 000007