(57)【要約】【課題】ヘッドマウントディスプレイを装着しているユーザと、ユーザの把持する端末の相対的位置に連動した仮想オブジェクトを仮想現実空間内に提供する。【解決手段】本技術の一形態に係るシステムは、端末情報取得部２２１と、オブジェクト制御部２２２と、視界画像生成部２２３を含む。前記端末情報取得部２２１は、端末から取得される端末とヘッドマウントディスプレイとの相対位置と、端末の傾きを含む情報を取得する。前記オブジェクト制御部２２２は、仮想現実空間内の仮想カメラの位置と、相対位置に基づいて特定された仮想現実空間内の位置に、端末の傾きで仮想オブジェクトを配置する。前記視界画像生成部２２３は仮想オブジェクトを配置した視界画像を生成し、ヘッドマウントディスプレイへ出力する。【選択図】図３
2017146651.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイに対してユーザが没入する仮想現実空間を提供させる方法であって、
前記仮想現実空間を定義するステップと、
前記仮想現実空間のうち前記ユーザが視認する視界画像を定義する仮想カメラの、前記仮想現実空間における位置を特定するステップと、
現実空間においてユーザに把持されている端末の傾きを取得するステップと、
前記ヘッドマウントディスプレイと前記端末との相対位置を取得するステップと、
前記仮想カメラの前記位置と前記相対位置に基づいて特定される仮想現実空間内の位置に、第１仮想オブジェクトの仮想タッチパネルを前記傾きに対応するように配置するステップと、
前記第１仮想オブジェクトを含む前記視界画像を生成し、前記ヘッドマウントディスプレイへ出力するステップと、
を備える方法。       
【請求項２】
前記相対位置は、前記端末のカメラにより撮影された前記ヘッドマウントディスプレイを含む画像に基づいて特定される、請求項１に記載の方法。
【請求項３】
前記仮想タッチパネルに表示される画像は、前記端末のディスプレイに表示される画像に関する情報に基づいてレンダリングされる、請求項１または２に記載の方法。
【請求項４】
前記端末のタッチパネルに対するユーザのタッチ入力位置を特定するステップと、
前記仮想タッチパネルに対するポインタの位置を、前記タッチ入力位置に基づいて特定するステップと、をさらに備え
前記視界画像は、前記仮想タッチパネルに対する前記ポインタの位置に、更に前記ポインタを含む、請求項１〜３のいずれかに記載の方法。
【請求項５】
前記端末のディスプレイに表示される画像に関連するコンテンツ情報を、前記システムに通信可能に接続されているサーバから取得するステップと、
前記コンテンツ情報に基づいて第２仮想オブジェクトを生成するステップと、
前記第２仮想オブジェクトを含む視界画像を生成し、前記ヘッドマウントディスプレイへ出力するステップと、
をさらに備える、請求項１〜４のいずれかに記載の方法。
【請求項６】
前記コンテンツ情報は、前記端末のディスプレイに表示される画像に基づく画像情報と、前記端末のディスプレイに表示される画像に基づく画像が前記仮想現実空間において配置される態様を特定する態様情報を含み、
前記第２仮想オブジェクトは、前記画像情報および態様情報に基づいてレンダリングされる、請求項５に記載の方法。
【請求項７】
前記端末のタッチパネルに対するユーザのタッチ入力位置を特定するステップと、
前記仮想タッチパネルに対する入力受付領域の位置を、前記タッチ入力位置に基づいて特定するステップと、をさらに備え
前記第２仮想オブジェクトは、前記入力受付領域に関連付けて前記仮想現実空間にレンダリングされる、請求項５または６に記載の方法。
【請求項８】
請求項１〜７のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理方法及び画像処理プログラムに関する。特に、本技術は、ユーザの把持する端末に連動する、仮想現実空間に配置された仮想オブジェクトを表示する画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイを用いたシステムにおいて、ユーザの視野範囲に入力デバイスの入力操作面をヘッドマウントディスプレイへ表示させる技術が知られている。例えば、特許文献１の技術では、歩行者の視野を確保するように、歩行者の視野範囲に入力操作面が配置されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１２５２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ヘッドマウントディスプレイを装着しているユーザが没入する仮想現実空間においても、入力デバイスを現実空間における操作感で操作できる方法が求められる。
本技術は、仮想現実空間に対する没入感を向上し得る方法を提供する。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本技術の一態様は、ヘッドマウントディスプレイに対してユーザが没入する仮想現実空間を提供させる方法であって、前記仮想現実空間を定義するステップと、前記仮想現実空間のうち前記ユーザが視認する視界画像を定義する仮想カメラの、前記仮想現実空間における位置を特定するステップと、現実空間においてユーザに把持されている端末の傾きを取得するステップと、前記ヘッドマウントディスプレイと前記端末との相対位置を取得するステップと、前記仮想カメラの前記位置と前記相対位置に基づいて特定される仮想現実空間内の位置に、第１仮想オブジェクトの仮想タッチパネルを前記傾きに対応するように配置するステップと、前記第１仮想オブジェクトを含む前記視界画像を生成し、前記ヘッドマウントディスプレイへ出力するステップと、を備える方法に関する。
【発明の効果】
【０００６】
本技術によれば、仮想現実空間に対する没入感を向上し得る。
【図面の簡単な説明】
【０００７】
【図１】本技術の第１実施形態によるＨＭＤシステムを示す図である。
【図２】仮想空間の一例を示すＸＹＺ空間図である。
【図３】本技術の第１実施形態に係るＨＭＤシステムの機能を実現するための、画像処理装置の機能を示すブロック図である。
【図４】図４Ａは、端末を把持するＨＭＤを装着しているユーザを示す。図４Ｂは、ＨＭＤのディスプレイを介して図４Ａのユーザに提示される視界画像の一例を示す。
【図５】本技術の第１実施形態に係る画像処理装置の動作例を示すフローチャートである。
【図６】本技術の第２実施形態によるＨＭＤシステムを示す図である。
【図７】本技術の第２実施形態に係るＨＭＤシステムの機能を実現するための、画像処理装置の機能を示すブロック図である。
【図８】図８Ａは、端末を把持するＨＭＤを装着しているユーザを示す。図８Ｂは、ＨＭＤのディスプレイを介して図８Ａのユーザに提示される視界画像の一例を示す。
【図９】本技術の第２実施形態に係る画像処理装置２００の動作例を示すフローチャートである。
【図１０】本技術の第２実施形態に係るコンテンツ情報の構成例を示す
【発明を実施するための形態】
【０００８】
最初に、本技術の実施形態の内容を列記して説明する。本技術の一実施形態による情報処理方法、及びプログラムは、以下のような構成を備える。
【０００９】
（項目１）
ヘッドマウントディスプレイに対してユーザが没入する仮想現実空間を提供させる方法であって、
前記仮想現実空間を定義するステップと、
前記仮想現実空間のうち前記ユーザが視認する視界画像を定義する仮想カメラの、前記仮想現実空間における位置を特定するステップと、
現実空間においてユーザに把持されている端末の傾きを取得するステップと、
前記ヘッドマウントディスプレイと前記端末との相対位置を取得するステップと、
前記仮想カメラの前記位置と前記相対位置に基づいて特定される仮想現実空間内の位置に、第１仮想オブジェクトの仮想タッチパネルを前記傾きに対応するように配置するステップと、
前記第１仮想オブジェクトを含む前記視界画像を生成し、前記ヘッドマウントディスプレイへ出力するステップと、
を備える方法。
【００１０】
（項目２）
前記相対位置は、前記端末のカメラにより撮影された前記ヘッドマウントディスプレイを含む画像に基づいて特定される、項目１に記載の方法。
【００１１】
（項目３）
前記仮想タッチパネルに表示される画像は、前記端末のディスプレイに表示される画像に基づいてレンダリングされる、項目１または２に記載の方法。
【００１２】
（項目４）
前記端末のタッチパネルに対するユーザのタッチ入力位置を特定するステップと、
前記仮想タッチパネルに対するポインタの位置を、前記タッチ入力位置に基づいて特定するステップと、をさらに備え
前記視界画像は、前記仮想タッチパネルに対する前記ポインタの位置に、更に前記ポインタを含む、項目１〜３のいずれかに記載の方法。
【００１３】
（項目５）
前記端末のディスプレイに表示される画像に関連するコンテンツ情報を、前記システムに通信可能に接続されているサーバから取得するステップと、
前記コンテンツ情報に基づいて第２仮想オブジェクトを生成するステップと、
前記第２仮想オブジェクトを含む視界画像を生成し、前記ヘッドマウントディスプレイへ出力するステップと、
をさらに備える、項目１〜４のいずれかに記載の方法。
【００１４】
（項目６）
前記コンテンツ情報は、前記端末のディスプレイに表示される画像に基づく画像情報と、前記端末のディスプレイに表示される画像に基づく画像が前記仮想現実空間において配置される態様を特定する態様情報を含み、
前記第２仮想オブジェクトは、前記画像情報および態様情報に基づいてレンダリングされる、項目５に記載の方法。
【００１５】
（項目７）
前記端末のタッチパネルに対するユーザのタッチ入力位置を特定するステップと、
前記仮想タッチパネルに対する入力受付領域の位置を、前記タッチ入力位置に基づいて特定するステップと、をさらに備え
前記第２仮想オブジェクトは、前記入力受付領域に関連付けて前記仮想現実空間にレンダリングされる、項目５または６に記載の方法。
【００１６】
（項目８）
項目１〜７のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
【００１７】
〔第１実施形態の説明〕
以下、図面を参照しながら本技術の第１実施形態について説明する。なお、本技術はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１８】
図１は、本技術の一実施形態に係るＨＭＤシステム１００のハードウェア構成図である。ＨＭＤシステム１００は、ＨＭＤ１１０と、画像処理装置２００と、端末３００を備える。ＨＭＤ１１０と画像処理装置２００は、一例として有線ケーブル１４０によって電気的に接続され、相互に通信可能である。有線ケーブル１４０に代えて、無線接続（無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等）を用いてもよい。
【００１９】
〔ＨＭＤシステム１００の概要〕
〔ＨＭＤ１１０〕
ＨＭＤ１１０は、ユーザ１５０の頭に装着されて利用される表示デバイスである。ＨＭＤ１１０は、非透過型のディスプレイ１１２と、センサ１１４を備える。ＨＭＤ１１０は、その他用途に応じて任意のデバイスが搭載されていてもよく、例えばアイトラッキングデバイス（Eye Tracking Device：以下ＥＴＤと称する）１１６を備える。
【００２０】
ディスプレイ１１２は、ＨＭＤ１１０を装着したユーザ１５０が没入する仮想現実空間のうち、ユーザ１５０が視認する視界画像を表示する。メモリ２０４には、ユーザが没入する仮想現実空間を定義する各種情報（背景画像に関する情報、および、仮想現実空間に配置される各種オブジェクトの画像・位置等に関する情報）が格納される。メモリ２０４に格納された情報はプロセッサ２０２に展開されることによって実行され、視界画像がディスプレイ１１２にレンダリングされる。
【００２１】
ディスプレイ１１２は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。これにより、ユーザ１５０は３次元の仮想現実空間を視認できる。また、右目用画像と左目用画像を提供できれば、１つの表示装置で構成されていてもよい。
【００２２】
センサ１１４は、ＨＭＤ１１０の傾き及び、又は位置を検知する。センサ１１４は、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせである。センサ１１４は、ＨＭＤ１１０に内蔵されることにより、ＨＭＤ１１０の傾きや位置を特定するデータ（磁気、角速度、又は加速度の値）を出力する。センサ１１４からの出力データに基づいて、ＨＭＤ１１０の傾きや位置が特定され、ＨＭＤ１１０の動きが検知される。ディスプレイ１１２に表示される視界画像は、ＨＭＤ１１０の傾きや位置に連動して更新されることが好ましい。例えば、ユーザ１５０が頭を右（又は左、上、下）に向けると、ディスプレイ１１２には、仮想現実空間においてユーザの右（又は左、上、下）方向にある視界画像が映し出される。これにより、ユーザ１５０は仮想現実空間に没入できる。
【００２３】
センサ１１４として、ＨＭＤ１１０とは別体に設けられたセンサを適用してもよい。例えば、センサ１１４はポジショントラッキングカメラであり、ＨＭＤ１１０の表面に設けられた赤外線発光体又は赤外線反射マーカーを検知する赤外線センサであり、現実空間の所定位置に設置されることによって、ＨＭＤ１１０の動きを検知する。
【００２４】
ＥＴＤ１１６は、ユーザ１５０の眼球の動きを追跡して、ユーザ１５０の視線がどちらの方向に向けられているかを検出するように構成される。例えば、ＥＴＤ１１６は、赤外線光源と赤外線カメラとを備える。赤外線光源は、ＨＭＤ１１０を装着したユーザ１５０の目に向けて赤外線を照射する。赤外線カメラは、赤外線で照射されたユーザ１５０の目の画像を撮像する。赤外線はユーザ１５０の目の表面で反射されるが、瞳と瞳以外の部分とで赤外線の反射率が異なる。赤外線カメラで撮像されたユーザ１５０の目の画像には、赤外線の反射率の違いが画像の明暗となって現れる。この明暗に基づいて、ユーザ１５０の目の画像において瞳が識別され、更に、識別された瞳の位置に基づいて、ユーザ１５０の視線の方向が検出される。
【００２５】
ＨＭＤ１１０には、スピーカ、マイクロフォンなどが備えられていてもよい。
〔画像処理装置２００〕
画像処理装置２００は、ＨＭＤ１１０に接続されるコンピュータである。画像処理装置２００はＨＭＤ１１０に搭載されていても、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、画像処理装置２００は、一部の機能をＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。図１に示すように、画像処理装置２００は、プロセッサ２０２と、メモリ２０４と、入出力インターフェイス２０６と、通信インターフェイス２０８を含む。
【００２６】
プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納された画像処理プログラムを実行することによって、後述する画像処理装置２００の各機能が実現される。プロセッサ２０２は、ＣＰＵ(Central Processing Unit）)やＭＰＵ（Micro-processing unit）、ＧＰＵ(Graphics Processing Unit)等の演算装置を含む。
【００２７】
メモリ２０４には、後述する画像処理装置２００の各機能および方法を実現コンピュータに実行させるためのプログラムが格納されている。メモリ２０４はまた、画像処理装置２００の動作によって生成されるデータを一時的に記憶することもできる。メモリ２０４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）といった揮発性記憶装置や、ハードディスク、フラッシュメモリ、光ディスク等といった不揮発性記憶装置を含む。
【００２８】
入出力インターフェイス２０６は、画像処理装置２００を操作するための入力を端末３００やＨＭＤ１１０から受信する。また、入出力インターフェイス２０６は、画像処理装置２００からの出力を、端末３００や、ＨＭＤ１１０へ送信する。
【００２９】
通信インターフェイス２０８は、ネットワークを介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んで構成される。通信インターフェイス２０８は、ＬＡＮ（Local Area Network）やインターネットを介して通信するための各種通信規格・プロトコルに適合するように構成されている。
【００３０】
図２は、本技術の一実施形態に係る仮想現実空間の一例を示すＸＹＺ空間図である。ＸＺ平面は水平面を表し、Ｙ軸は垂直方向に延びている。仮想現実空間６は、中心３を中心として、例えば天球状に形成される。仮想現実空間６を定義する情報（天球にレンダリングされることによって背景画像を構成する情報や、当該空間内に配置される各種オブジェクトの態様および位置情報）は画像処理装置のメモリ２０４に記憶されている。プロセッサ２０２は当該情報を読み出すことによって仮想現実空間６の背景情報およびコンテンツに関連するオブジェクトを定義し、視界画像を特定する。当該情報は、仮想現実空間６のうち、ユーザが視認する視界画像を、ＨＭＤ１１０の動きに連動するように定義する仮想カメラ１を特定する。仮想カメラ１の動きは、ユーザ１５０の頭の動き（ＨＭＤ１１０の動き）や、ユーザ１５０の視線の動きに追随して変化する。仮想カメラ１は、常に中心３に配置されてもよいし、ＨＭＤの動きに連動して移動してもよい。
【００３１】
視界領域５は、例えば図２に示すように基準視線４を中心とした所定の極角を含む範囲と、所定の方位角を含む範囲に設定される。基準視線４は、ＨＭＤ１１０の傾き及び、又は位置によって特定される視界方向、及び／又はＥＴＤ１１６によって検知されるユーザ１５０の視線方向に基づいて特定されることが好ましい。
〔端末３００〕
端末３００は、ユーザ１５０により把持されて、ユーザ１５０が仮想現実空間内の仮想オブジェクトの動き等を制御するのに用いられる装置である。端末３００は、例えばゲーム端末、タッチパッド、スマートフォン、ＰＤＡ等である。
【００３２】
端末３００は、主に操作入力部３０２と、プロセッサ３０４と、メモリ３０６と、ディスプレイ３０８と、通信インターフェイス３１０と、カメラ３１２と、センサ３１４を備えており、互いにバスラインを介して接続されている。
【００３３】
操作入力部３０２は、ユーザの操作入力を受信して、当該操作入力に対応した入力信号をプロセッサ３０４に出力する。操作入力部３０２は、端末３００の本体に設けられた物理的ボタンやタッチパネルである。タッチパネルは、タッチ入力位置に対応する座標データを所定のサンプリング間隔で検出して、座標データを出力する。
【００３４】
プロセッサ３０４は、メモリ３０６に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。
プロセッサ３０４によってレンダリングされた画像は、ディスプレイ３０８に表示される。ディスプレイ３０８として、液晶ディスプレイ等の種々の表示装置を採用できる。
【００３５】
通信インターフェイス３１０は、無線ＬＡＮ接続機能、無線ＬＡＮや携帯電話回線網を介したインターネット接続機能、Ｂｌｏｕｅｔｈｏｔｈ（登録商標）などの近距離無線通信機能といったネットワークを介して、画像処理装置２００との接続を確立する。通信インターフェイス３１０は、各種情報を端末３００と通信相手側（画像処理装置２００やサーバ（不図示））との間で送受信する。
【００３６】
カメラ３１２は、イメージセンサ等を含む撮像装置である。カメラ３１２は、ＨＭＤ１１０の一部又は全てを含む現実空間を撮像し、カメラ画像をメモリ３０６に記憶する。プロセッサ３０４は、カメラ画像におけるＨＭＤ１１０の映り方を解析することによって、カメラ３１２とＨＭＤ１１０との相対位置を特定する。本実施形態においては、カメラ３１２とＨＭＤ１１０との間の相対位置、および、ＨＭＤ１１０に対するカメラ３１２の傾きが特定され得る。相対位置の算出のために、いわゆるマーカレスＡＲ（Augumented Reality：拡張現実）に関する技術を用いることができる。
【００３７】
端末３００は内蔵するセンサ３１４（例えば、磁気センサ、角速度センサ、若しくは加速度センサ）を用いて端末３００の位置及び傾きを検出してもよい。
図３は、本実施形態に係る画像処理装置２００の機能的な構成を示すブロック図である。画像処理装置２００は記憶部２１０と及び処理部２２０を有する。記憶部２１０はメモリ２０４に対応し、処理部２２０はプロセッサ２０２に対応する。仮想現実空間構成情報２１１を格納する。仮想現実空間構成情報２１１は、仮想現実空間６の３次元空間画像に関する情報を含む。処理部２２０は、端末情報取得部２２１と、オブジェクト制御部２２２と、視界画像生成部２２３を備える。
【００３８】
本実施形態では、ユーザ１５０に把持されている端末３００と、ユーザ１５０が装着しているＨＭＤ１１０との現実空間における相対的位置関係に基づいて、仮想現実空間に、第１仮想オブジェクトを表示させる。第１仮想オブジェクトは、端末３００の現実空間における動きに連動して、仮想現実空間６内を動く。
【００３９】
図３から図５を参照して、画像処理装置２００の処理フローを説明する。
ステップＳ５０１において、端末情報取得部２２１は、現実空間における端末３００とＨＭＤとの相対位置情報ａを取得する。
【００４０】
ステップＳ５０２において、端末情報取得部２２１は、端末３００の表示画像情報ｂを取得する。表示画像情報ｂは、端末３００のディスプレイ３０８上に表示されている２次元画像（例えば、バナー広告、静止画、動画、テキストを含む画像）を含む情報である。
【００４１】
ステップＳ５０３において、端末情報取得部２２１は、端末３００の傾き情報ｃを取得する。端末情報取得部２２１は、さらにユーザによる操作入力情報ｄを取得してもよい。操作入力情報ｄは、タッチパネル（操作入力部３０２）に対するタッチ入力の座標位置や、移動方向、移動速度、移動量、及び各種操作ボタンに対する入力信号等を含む。
【００４２】
図４Ａは、ＨＭＤ１１０を装着しているユーザ１５０が端末３００を操作する様子を示す。ユーザ１５０は人差し指をタッチパネルに接触させて操作する。
図４Ｂは、図４Ａに示すＨＭＤ１１０のディスプレイ１１２に表示される視界画像の一例を示す。視界画像には第１仮想オブジェクト４０２が配置された３次元画像がレンダリングされている。
【００４３】
ステップＳ５０４において、オブジェクト制御部２２２は、仮想カメラ１の位置と、相対位置情報aに基づいて、第１仮想オブジェクト４０２の仮想現実空間６内の位置を特定する。
【００４４】
そして、ステップＳ５０５において、オブジェクト制御部２２２は、第１仮想オブジェクト４０２を生成し、当該特定された仮想現実空間６の位置に配置する。例えば、第１仮想オブジェクト４０２は、図４Ｂに示すように仮想タッチパネル４０６を有する略直方体のオブジェクトである。オブジェクト制御部２２２は、第１仮想オブジェクト４０２を、傾き情報ｃに基づいて仮想現実空間６内に配置してもよい。これにより、第１仮想オブジェクト４０２の動き（位置、傾き）は、現実空間における端末３００の動き（位置、傾き）に連動する。
【００４５】
オブジェクト制御部２２２は、端末３００のタッチパネル（操作入力部３０２）上の座標（ｘｔ、ｙｔ）を、第１仮想オブジェクト４０２の仮想タッチパネル４０６上の座標（ｘｖｔ、ｙｖｔ）に対応付けてもよい。さらに、オブジェクト制御部２２２は、第１仮想オブジェクト４０２の仮想タッチパネル４０６に表示される画像を、表示画像情報ｂに基づいてレンダリングしてもよい。これにより、仮想タッチパネル４０６に表示される画像が、現実空間におけるディスプレイ３０８の表示画像と連動する。
【００４６】
ステップＳ５０６において、視界画像生成部２２３は、記憶部２１０に格納されている仮想現実空間構成情報２１１を参照して、視界領域５に対応する視界画像を生成する。視界画像は第１仮想オブジェクト４０２、および、タッチ入力位置Ａに連動するポインタ４０４を含む。オブジェクト制御部２２２によりタッチパネル（操作入力部３０２）に対するユーザのタッチ入力位置Ａが特定されると、視界画像生成部２２３は、当該タッチ入力位置Ａに基づいて、仮想タッチパネル４０６に対するポインタ４０４の位置Ｂを特定する。図４Ｂに示すように、ポインタ４０４は、タッチパネル上におけるタッチ入力位置Ａに対応するように、仮想タッチパネル４０６上の位置Ｂにポインタ４０４を表示される。ポインタの形状は任意であり、例えば、手、指や矢印の形状を有する。タッチ入力位置Ａの変化に応じて、仮想タッチパネルに対するポインタ４０４の位置Ｂが変化する。
〔第２実施形態の説明〕
本実施形態においては、第１実施形態に示した第１仮想オブジェクト４０２に加えて、第２仮想オブジェクトを仮想現実空間６内に配置する。第２仮想オブジェクトは端末３００のディスプレイ３０８の表示画像情報ｂに基づいて生成される。第２仮想オブジェクトは、例えば、表示画像に関連する広告オブジェクトである。第１実施形態の第１仮想オブジェクト４０２は、端末３００の動きに連動するオブジェクトであるのに対し、第２仮想オブジェクトは端末３００の動きに連動しなくてもよい。
【００４７】
図６は、本技術の第２実施形態に係るＨＭＤシステム１００のハードウェア構成図である。第２実施形態においては、画像処理装置２００がネットワーク５００を介してサーバ４００に相互に通信可能に接続されている点で、上述の第１実施形態と異なる。ネットワーク５００は、例えばインターネットやＬＡＮなどの、任意のタイプのネットワークであってよい。
【００４８】
図７は、本技術の第２実施形態に係る画像処理装置２００の機能的な構成を示すブロック図である。第２実施形態においては、処理部２２０は、さらにコンテンツ情報取得部２２４、第２仮想オブジェクト生成部２２５を備える点で、上述の第１実施形態と異なる。
【００４９】
図９は、本開示の第２実施形態に係る画像処理装置２００の処理を示すフローチャートである。図９に示すステップＳ９０１〜ステップＳ９０５の処理は、図５のステップＳ５０１〜ステップＳ５０５の処理と同じである。以下、本実施形態では第１実施形態の構成と同様な部分についてはその説明を省略又は簡略化し、第１実施形態と異なる部分を中心に図７から図９に基づいて説明する。
【００５０】
ステップＳ９０６において、コンテンツ情報取得部２２４は、端末３００のディスプレイ３０８に表示される画像に関連するコンテンツ情報を、ネットワーク５００を介してサーバ４００から取得し、画像処理装置２００のメモリ２０４へ格納する。
【００５１】
コンテンツ情報は、ディスプレイ３０８に表示される画像に関連する様々な情報であり、ディスプレイ３０８に表示される画像を構成する２次元画像とは異なる情報を含む。例えば、表示画像情報ｂの一部が２次元のバナー広告画像である場合、コンテンツ情報は、当該２次元のバナー広告画像を３次元にした広告画像や、当該２次元のバナー広告画像とは全く異なる形状や大きさを有する３次元の広告画像を含む。また、例えば、端末３００の表示画像情報ｂの一部が静止画である場合、コンテンツ情報は、当該静止画に対応する動画であってもよい。このように、コンテンツ情報は、端末のディスプレイの表示画像を仮想現実空間に対応させたＶＲ（Virtual Reality,仮想現実）用画像（例えば、３次元画像や動画）を含むことができる。
【００５２】
コンテンツ情報は、さらに端末３００のディスプレイ３０８に表示される画像に基づくＶＲ用画像が仮想現実空間において配置される態様を特定する態様情報を含む。該態様情報は、例えばＶＲ用画像の３次元仮想現実空間６における配置座標や、ＶＲ用画像の形式、ＶＲ用画像の容量等に関する情報を含む。配置座標は、仮想現実空間６内の任意の位置でよく、端末３００の実空間における動きに連動しなくともよい。例えば、コンテンツ情報の配置座標はユーザの視界の邪魔にならないようユーザの注視点から一定距離離れるように常に動いていても良いし、固定されていてもよい。図１０は、メモリ２０４に格納されているコンテンツ情報の一例を示す。
【００５３】
ステップＳ９０７において、第２仮想オブジェクト生成部２２５は、コンテンツ情報をメモリ２０４から読み出し、該コンテンツ情報に含まれる画像情報及び態様情報に基づいて第２仮想オブジェクト８０２を配置座標に生成する。
【００５４】
視界画像生成部２２３は、第２仮想オブジェクト８０２を含む視界画像を生成し、ＨＭＤ１１０へ出力する。（ステップＳ９０８）
図８Ａは、ユーザ１５０が端末３００を操作する様子を示す。端末３００のディスプレイ３０８には、２次元の広告画像８０６を含む表示画像情報ｂに基づく画像が表示されている。
【００５５】
図８Ｂは、図８Ａに示すＨＭＤ１１０のディスプレイ１１２に表示される視界画像の一例を示す。視界画像には剣の形状の第１仮想オブジェクト４０２と、手形状のポインタ４０４に加えて、風船型の第２仮想オブジェクト８０２が配置された３次元画像がレンダリングされている。第１仮想オブジェクト４０２の仮想タッチパネル４０６に表示される画像は、表示画像情報ｂに基づいてレンダリングされている。また、第２仮想オブジェクト８０２は、広告画像８０６に関連する画像情報及び態様情報に基づいて、レンダリングされている。
【００５６】
上述したように、仮想タッチパネル４０６に表示される画像は表示画像情報ｂに基づいてレンダリングされている。しかしながら、視界画像内の仮想タッチパネル４０６に示される画像は小さくて視認しづらい場合がある。本実施形態によると、ディスプレイ３０８の表示画像情報ｂに関連するコンテンツ情報に基づいて、仮想タッチパネル４０６とは異なる形態の（例えば、大きな３次元画像の）第２仮想オブジェクト８０２を視界画像内に表示したり、第２仮想オブジェクト８０２に異なる形態で（例えば、大きな動く文字で）視界画像内に表示したりすることができる。コンテンツ情報に基づいて、第１仮想オブジェクト４０２とは別の第２仮想オブジェクト８０２を表示することで、より視認しやすい視界画像をユーザ１５０へ提供することができる。
【００５７】
さらに、第２仮想オブジェクト８０２は、仮想タッチパネル４０６上の入力受付領域８０４に関連付けて仮想現実空間にレンダリングされる。入力受付領域８０４とは、仮想タッチパネルを介してユーザ１５０からの入力を受け付けることのできる領域であり、ディスプレイ３０８の表示画像の一部（図８Ａの広告画像８０６）に関連付けられている。仮想タッチパネル４０６に対する入力受付領域８０４の位置は、タッチパネル（操作入力部３０２）に対するユーザのタッチ入力位置Ａに基づいて特定される。入力受付領域８０４に対するユーザ入力は、実際には、ディスプレイ３０８の表示画像の一部に対するタッチ入力である。
【００５８】
端末情報取得部２２１は、仮想タッチパネル４０６上の入力受付領域８０４に対応する、タッチパネル（操作入力部３０２）上の位置に対するタッチ入力（例えば、タップ入力）を検出する。（ステップＳ９０９）
入力受付領域８０４に対応する、タッチパネル（操作入力部３０２）上の位置Ａに対するタッチ入力が検出された場合、ステップＳ９１０に進む（ステップＳ９０９の「はい」）。
【００５９】
視界画像生成部２２３は、入力受付領域８０４に関連付けられている、端末３００の表示画像ｂの一部（図８Ａの広告画像８０６）にリンクされている新たなコンテンツ画像に基づいて視界画像を生成する（ステップＳ９１０）。そして視界画像生成部２２３によって生成された視界画像は、ＨＭＤ１１０へ出力されてディスプレイ１１２に表示される。
【００６０】
本実施形態においては、端末３００の２次元の表示画像に基づいて生成される第２仮想オブジェクト８０２を、元の端末３００の表示画像とは異なるＶＲ用画像に基づいて生成することができる。従って、２次元の表示画像よりも高いインパクトを与えるＶＲ用画像を視界画像内に配置することができる。本実施形態においては、高いインパクトを与える広告画像を視界画像内に表示することにより、ユーザ１５０を広告に誘導する確率を高めることができる。
【００６１】
以上、本技術の実施の形態について説明したが、本技術は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。
【符号の説明】
【００６２】
１００…ヘッドマウントディスプレイ（ＨＭＤ）システム、１１０…ＨＭＤ、１１２…ディスプレイ、１１４…センサ部、１１６…ＥＴＤ、２００…画像処理装置、２１０…記憶部、２２０…処理部、１…仮想カメラ、４…基準視線、５…視界領域、６…仮想現実空間、３０８…ディスプレイ、４０２…第１仮想オブジェクト、４０４…ポインタ、４０６…仮想タッチパネル、８０２…第２仮想オブジェクト
【図１】
2017146651.tif 000003
【図２】
2017146651.tif 000004
【図３】
2017146651.tif 000005
【図４】
2017146651.tif 000006
【図５】
2017146651.tif 000007
【図６】
2017146651.tif 000008
【図７】
2017146651.tif 000009
【図８】
2017146651.tif 000010
【図９】
2017146651.tif 000011
【図１０】
2017146651.tif 000012