(57)【特許請求の範囲】
【請求項１】
ユーザの制御動作に応じて制御対象機器により生成された映像コンテンツをネットワークを介して受信し、受信された映像コンテンツを前記ユーザに装着されたヘッドマウントディスプレイに表示させる映像表示制御装置であって、
前記ユーザの前記制御動作に関連する顔または視線の方向の変化を検出する検出部と、
検出された前記ユーザの前記制御動作に関連する顔または視線の方向の変化に追従して表示位置および表示形態の少なくとも一方が変化する補助パターンを生成し、当該補助パターンを前記映像コンテンツに重畳させて前記ヘッドマウントディスプレイに表示させる第１の表示制御部と
を備える映像表示制御装置。
【請求項２】
前記第１の表示制御部は、前記ヘッドマウントディスプレイの表示画面の、水平、垂直、斜めおよび曲線の各線状パターンのうちの少なくとも１つにより構成される補助パターンを生成し、当該補助パターンの表示位置および表示形態の少なくとも一方を前記ユーザの前記制御動作に関連する顔または視線の方向の変化に追従して変化させる、請求項１に記載の映像表示制御装置。
【請求項３】
前記第１の表示制御部は、前記補助パターンとして、二次元方向に配置された円、楕円、方形またはキャラクタからなるパターン画像を生成し、生成された前記補助パターンの表示位置および表示形態の少なくとも一方を前記ユーザの前記制御動作に関連する顔または視線の方向の変化に追従して変化させる、請求項１に記載の映像表示制御装置。
【請求項４】
前記第１の表示制御部は、前記補助パターンの表示形態として、表示色および表示濃度の少なくとも一方を変化させる、請求項１乃至３のいずれかに記載の映像表示制御装置。
【請求項５】
前記映像表示装置および前記ヘッドマウントディスプレイの少なくとも一方の動作状態の検出結果に基づいて、前記第１の表示制御部により生成された前記補助パターンを、前記ユーザの前記制御動作に関連する顔または視線の方向の変化に追従する表示形態の変化とは異なる変化パターンでさらに変化させる第２の表示制御部を、さらに備える請求項１に記載の映像表示制御装置。
【請求項６】
ユーザの制御動作に応じて制御対象機器により生成された映像コンテンツをネットワークを介して受信し、受信された映像コンテンツを前記ユーザに装着されたヘッドマウントディスプレイに表示させる映像表示制御装置が実行する映像表示制御方法であって、
前記ユーザの前記制御動作に関連する顔または視線の方向の変化を検出する第１の過程と、
前記ユーザの前記制御動作に関連する顔または視線の方向の変化に追従して表示位置および表示形態の少なくとも一方が変化する補助パターンを生成し、当該補助パターンを前記映像コンテンツに重畳させて前記ヘッドマウントディスプレイに表示させる第２の過程と
を備える映像表示制御方法。
【請求項７】
前記映像表示制御装置および前記ヘッドマウントディスプレイの少なくとも一方の動作状態の検出結果に基づいて、前記第２の過程により生成された前記補助パターンを、前記ユーザの前記制御動作に関連する顔または視線の方向の変化に追従する表示形態の変化とは異なる変化パターンでさらに変化させる第３の過程を、さらに備える請求項６に記載の映像表示制御方法。
【請求項８】
請求項１乃至５の何れかに記載の映像表示制御装置が備える前記各部の処理を、ハードウェアプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の一態様は、例えば遠隔地から伝送された映像を表示させるための映像表示制御装置、方法およびプログラムに関する。
【背景技術】
【０００２】
ユーザが、ヘッドマウントディスプレイ（Head Mount Display：ＨＭＤ）（以後ヘッドセットとも称する）を頭部に装着し、このヘッドセットに表示される映像を見ながら、制御対象を制御するシステムが開発されている。例えば、ユーザが、遠隔地に存在するロボットにより撮像される映像をヘッドセットにより見ながら自身の体を動かすことでロボットの動きを遠隔制御するシステムや、Ｗｅｂサイトまたはゲーム機から送られるゲーム映像をヘッドセットにより見ながらコントローラを操作してゲームプレイをするシステム等が、それに相当する。
【０００３】
ところで、この種のシステムでは、一般に拡張現実（Augmented Reality；ＡＲ）の技術または仮想現実（Virtual Reality：ＶＲ）の技術が用いられ、ＡＲ映像またはＶＲ映像がヘッドセットに表示される。また、その際、ユーザが頭部を動かすとそれに追従して表示映像が変化するいわゆるトラッキング制御が行われる。この結果、ユーザは操作中に高い没入感を得ることができる。
【０００４】
しかし、一方でＡＲ映像またはＶＲ映像の生成から表示までに描画遅延（Latency）がある。描画遅延（Latency）には、遠隔地にある装置で生成されたＶＲ映像がネットワークを介してヘッドセット側の装置に伝送される際の伝送遅延が含まれる。しかも、この伝送遅延は一定ではなく、例えばネットワークの混雑の度合いや各装置のプロセッサの負荷変動により遅延量が変化する。このため、映像生成時に前提としたユーザの頭部の向きと、映像をヘッドセットに表示した時点でのユーザの頭部の向きとの間でずれが発生し、ユーザは酔ったような感覚、いわゆる「ＶＲ酔い（Virtual Reality Sickness）」等と呼ばれる）に陥ることがある。このＶＲ酔いは、遅延量が一定の場合でも発生するが、特に、上記伝送遅延の遅延量が時間変動を起こすいわゆるジッタを含んでいる場合に、顕著に現れる。
【０００５】
そこで、上記映像の生成から表示までの時間差の影響を低減するために、例えばヘッドセット側の装置で映像に対しリプロジェクション処理を行う技術が提案されている（例えば特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】日本国特開２０１９−１０６６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、リプロジェクション処理は、例えば、映像の生成時点のユーザの視点位置と視線方向を前提に生成された映像を映像表示時点の視点位置及び手線方向を用いて補正することで、映像生成から表示までの時間差を吸収するものや、ストリーム配信において、ビデオストリームが時間通りに到着しないエラーが発生した場合に、前回の復号映像を再利用してヘッドセットの最新の位置・姿勢に合うように前回の復号映像に対してリプロジェクション処理を施すことで、通信遅延に対処するものとなっている。すなわち、リプロジェクション処理は、ヘッドセット側の装置において複雑な画像処理を行って表示映像を補正するものである。このため、ヘッドセット側の装置ではリプロジェクション処理によるプロセッサの処理負荷が非常に大きくなり、高性能のプロセッサが必要となって装置が高価になる場合がある。
【０００８】
この発明は上記事情に着目してなされたもので、ヘッドマウントディスプレイ側の装置における処理負荷を増加させることなくＶＲ酔いを低減する技術を提供しようとするものである。
【課題を解決するための手段】
【０００９】
上記目的を達成するためにこの発明の第１の態様は、ユーザの制御動作に応じて制御対象機器により生成された映像コンテンツをネットワークを介して受信し、受信された映像コンテンツを前記ユーザに装着されたヘッドマウントディスプレイに表示させる映像表示装置にあって、前記ユーザの前記制御動作に関連する顔または視線の方向の変化を検出する検出部と、検出された前記ユーザの前記制御動作に関連する顔または視線の方向の変化に追従して表示位置および表示形態の少なくとも一方が変化する補助パターンを生成し、当該補助パターンを前記映像コンテンツに重畳させて前記ヘッドマウントディスプレイに表示させる第１の表示制御部とを備えるようにしたものである。
【発明の効果】
【００１０】
この発明の第１の態様によれば、ヘッドマウントディスプレイにより映像コンテンツを視聴中にユーザが顔または視線を動かすと、その方向の変化に追従して補助パターンの表示位置と表示形態の少なくとも一方が変化する。このため、例えば伝送遅延を含む描画遅延（Latency）により映像コンテンツの生成から表示までの間に時間差（この時間差にはユーザが顔または視線を動かし始めてから映像コンテンツが生成されるまでの時間を含める）が発生する場合でも、またこの時間差が変化する場合でも、ユーザの顔または視線の方向の変化に追従して上記補助パターンの表示位置または表示形態の何れか一方またはその両方がリアルタイムに変化するため、ユーザが上記映像コンテンツの表示遅延から受ける感覚的な影響は軽減され、これによりＶＲ酔いの発生を低減することが可能となる。
【００１１】
また、この発明の第１の態様によれば、補助パターンを生成してその表示位置及び表示形態の少なくとも一方をユーザの頭部または視線の動きに追従して変化させるだけなので、リプロジェクション処理のような高負荷の映像処理を行う必要がなく、これにより処理能力の低いプロセッサを使用でき、装置のコストアップを防止することができる。
【００１２】
すなわちこの発明の一態様によれば、ヘッドマウントディスプレイ側の装置における処理負荷を増加させることなくＶＲ酔いの発生を低減する技術を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、この発明の第１の実施形態に係る映像表示制御装置を備える遠隔制御システム全体構成を示す図である。
【図２】図２は、図１に示したシステムで使用されるヘッドマウントディスプレイのハードウェア構成を示すブロック図である。
【図３】図３は、図１に示したシステムで使用される情報処理装置のハードウェア構成を示すブロック図である。
【図４】図４は、図１に示したシステムで使用される情報処理装置のソフトウェア構成を示すブロック図である。
【図５】図５は、図４に示した情報処理装置による映像表示制御の処理手順と処理内容を示すフローチャートである。
【図６Ａ】図６Ａは、図５に示した映像表示制御により時刻t0において表示される映像の一例を示す図である。
【図６Ｂ】図６Ｂは、図５に示した映像表示制御により時刻t1において表示される映像の一例を示す図である。
【図６Ｃ】図６Ｃは、図５に示した映像表示制御により時刻t1′において表示される映像の一例を示す図である。
【図７】図７は、この発明の変形例（１）における補助パターンの表示例を示す図である。
【図８】図８は、この発明の変形例（２）における補助パターンの表示例を示す図である。
【図９】図９は、この発明の変形例（３）における補助パターンの表示例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
［第１の実施形態］
（構成例）
（１）システム
図１は、この発明の第１の実施形態に係る映像表示制御装置を備える遠隔制御システムの全体構成を示す図である。
【００１５】
遠隔制御システムは、ヘッドマウントディスプレイ（ＨＭＤ）１と、映像表示制御装置としての機能を有する情報処理装置２と、上記情報処理装置２との間でネットワーク４を介して通信が可能な制御対象機器３とを備えている。
【００１６】
制御対象機器３は、例えば遠隔地で動作する人型ロボットであり、上記情報処理装置２からの遠隔制御信号に応じて動作が遠隔制御される。制御対象となる動作としては様々の動作が想定されるが、ここでは人型ロボット３の顔に相当する部位の向きを遠隔制御することで、当該部位に設けられたカメラにより撮像される監視対象範囲を可変制御する場合を例にとる。
【００１７】
なお、制御対象機器３は人型ロボット以外に、例えば産業用ロボットや監視カメラであってもよい。また、制御対象機器３はハードウェアに限らず、ソフトウェアであってもよい。例えば、オンラインの対戦ゲームのようにユーザ端末の操作によりサーバ上で動作するキャラクタを動かし、サーバ上で合成されたＶＲ映像をユーザ端末でユーザが視認する場合も、本発明の実施形態に含まれる。
【００１８】
ネットワーク４は、例えばインターネット等の公衆ＩＰ網と、当該公衆ＩＰ網にアクセスするためのアクセス網とからなり、アクセス網にはＬＡＮ（Local Area Network）、無線ＬＡＮ、公衆有線ネットワーク、公衆移動通信ネットワーク、ＣＡＴＶ（Cable Television）ネットワークが用いられる。
【００１９】
（２）ヘッドマウントディスプレイ１
ヘッドマウントディスプレイ１は、例えば図１に示すようにゴーグル型をなし、ユーザの頭部に着脱自在に装着される。
【００２０】
ヘッドマウントディスプレイ１は、例えば図２に示すように、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する制御部１１を備え、この制御部１１に対し、記憶部１２と、表示インタフェース（表示Ｉ／Ｆ）１３と、センサインタフェース（センサＩ／Ｆ）１５と、通信インタフェース（通信Ｉ／Ｆ）１７を、バス１０を介して接続したものとなっている。なお、上記制御部１１には、各種スイッチやマイクロフォン、スピーカ、カメラ、位置センサ等の他のデバイスが接続されてもよい。
【００２１】
記憶部１２は、記憶媒体として例えばSolid State Drive（ＳＳＤ）等の随時書込みおよび読出しが可能な不揮発性メモリを用いたもので、プログラム記憶領域とデータ記憶領域とを有する。プログラム記憶領域には、ヘッドマウントディスプレイ１の動作を実現するための各種アプリケーション・プログラムが格納される。データ記憶領域は、ヘッドマウントディスプレイ１の動作過程で取得或いは生成された各種データを保存するために用いられる。なお、記憶媒体としては、他にRead Only Memory（ＲＯＭ）やRandom Access Memory（ＲＡＭ）等を併用することも可能である。
【００２２】
表示Ｉ／Ｆ１３には表示部１４が接続される。表示部１４は、例えば、有機ＥＬ（Electro Luminescence）ディスプレイからなる表示パネルを、仮想現実（Virtual Reality：ＶＲ）表示に対応するためにユーザの左右の眼に対応して２枚備える。なお、表示パネルは１枚であってもよく、表示部１４は、有機ＥＬディスプレイに限られるものではなく、例えば液晶ディスプレイ（Liquid Cristal Display：ＬＣＤ）や７セグメントを用いた表示器等の、他のタイプの表示器であってもよい。  
表示Ｉ／Ｆ１３は、後述する情報処理装置２により生成された映像を表示部１４に表示させる。
【００２３】
センサＩ／Ｆ１５にはセンサ１６が接続される。センサ１６は、例えば角速度センサ（ジャイロセンサ）からなり、ヘッドマウントディスプレイ１の動き、つまりユーザの頭部の動きを検出するために使用される。具体的には、頭部の六軸方向の動きを検出する。センサＩ／Ｆ１５は、上記センサ１６の出力信号をもとにユーザの頭部の動きを表す動きデータを生成する。なお、センサ１６としては、磁気センサ、加速度センサ、位置センサ、赤外センサ、輝度センサ、近接センサ、カメラ等が含まれていてもよい。また、ユーザの頭部の動きのほか、ユーザの視線の動きを検出するようにしてもよい。ユーザの視線の動きは、例えばユーザの眼球を撮像するカメラを用いることで検出可能である。
【００２４】
通信Ｉ／Ｆ１７は、制御部１１の制御の下、例えばUniversal Serial Bus（ＵＳＢ）ケーブル等の信号ケーブルを使用した有線インタフェースにより構成され、情報処理装置２から送信される映像データを受信すると共に、上記センサＩ／Ｆ１５により生成された動きデータ等を情報処理装置２へ転送する。なお、通信Ｉ／Ｆ１７は、近距離無線データ通信規格（例えばBluetooth（登録商標））を使用してもよい。
【００２５】
なお、この例では、ヘッドマウントディスプレイ１として、制御部２１および記憶部１２を備えた多機能型のヘッドマウントディスプレイを例にとって説明しているが、表示部１４、表示Ｉ／Ｆ１３、センサ１６およびセンサＩ／Ｆ１５のみを有する標準型または簡易型のヘッドマウントディスプレイであってもよい。
【００２６】
（３）情報処理装置２
図３および図４は、それぞれ情報処理装置２のハードウェアおよびソフトウェアの構成を示すブロック図である。
【００２７】
情報処理装置２は、例えばスマートフォン等の携帯情報端末、またはパーソナルコンピュータにより構成され、ＣＰＵ等のハードウェアプロセッサを有する制御部２１に、バス２０を介して記憶部２２、入出力インタフェース（入出力Ｉ／Ｆ）２３および通信インタフェース（通信Ｉ／Ｆ）２４を接続したものとなっている。
【００２８】
入出力Ｉ／Ｆ２３には、上記ヘッドマウントディスプレイ１が接続される。また入出力Ｉ／Ｆ２３には、制御対象機器３を遠隔制御するためのコントローラ等が接続されてもよい。
【００２９】
通信Ｉ／Ｆ２４は、例えば、無線ＬＡＮ、近距離無線データ通信規格（例えばBluetooth（登録商標））、または公衆移動通信ネットワークに対応したインタフェースを備え、ネットワーク４を介して制御対象機器３との間でデータ伝送を行う。なお、通信Ｉ／Ｆ２４は、公衆有線網や有線ＬＡＮ、ＣＡＴＶネットワーク等の有線網に対応するインタフェースを備えていてもよい。
【００３０】
記憶部２２は、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリと、ＲＡＭ等の揮発性メモリとを組み合わせて構成される。その記憶領域には、プログラム記憶領域と、データ記憶領域とが設けられる。プログラム記憶領域には、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の第１の実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムが格納される。
【００３１】
データ記憶領域には、映像コンテンツ記憶部２２１と、補助パターン記憶部２２２が設けられている。映像コンテンツ記憶部２２１は、制御対象機器３から送信される撮像映像データ（以後映像コンテンツとも云う）を一時保存するために使用される。補助パターン記憶部２２２には、ユーザのＶＲ酔いを低減するために用いられる補助パターンの画像データが記憶されている。なお、補助パターンとその表示処理方法については後に詳しく述べる。
【００３２】
制御部２１は、この発明の第１の実施形態を実現するための制御機能として、動きデータ取得部２１１と、顔方向検出部２１２と、顔方向検出データ送信部２１３と、映像コンテンツ受信部２１４と、映像合成部２１５と、補助パターン表示データ生成部２１６とを備えている。これらの制御機能は、いずれも上記記憶部２２内のプログラム記憶領域に格納されたアプリケーション・プログラムを制御部２１のハードウェアプロセッサに実行させることにより実現される。
【００３３】
動きデータ取得部２１１は、上記ヘッドマウントディスプレイ１からセンサ１６により検出されたユーザの頭部の動きを表す動きデータを、入出力Ｉ／Ｆ２３を介して取得する処理を行う。
【００３４】
顔方向検出部２１２は、例えば上記取得された動きデータをもとにユーザの顔の向きの変化を検出する処理を行う。例えば、上記動きデータをもとに、ユーザの顔のパン方向およびチルト方向の向き（角度）の変化を算出する処理を行う。なお、検出対象となる顔の方向には、パン方向およびチルト方向以外に、首の左右方向の傾きやズーム方向等の他の方向を含めてもよい。
【００３５】
なお、顔方向検出部２１２は、ヘッドマウントディスプレイ１にユーザの顔を撮像するカメラが設けられている場合には、当該カメラの映像をもとにユーザの視線方向の変化を検出する機能を有していてもよい。
【００３６】
顔方向検出データ送信部２１３は、上記顔方向検出部２１２により得られた顔方向の検出データを、通信Ｉ／Ｆ２４からネットワーク４を介して制御対象機器３へ向け送信する処理を行う。
【００３７】
映像コンテンツ受信部２１４は、制御対象機器３からネットワーク４を介して送られた映像コンテンツを通信Ｉ／Ｆ２４を介して受信し、映像コンテンツ記憶部２２１に一時保存させる処理を行う。
【００３８】
補助パターン表示データ生成部２１６は、補助パターン記憶部２２２から補助パターンの画像データを読み出し、当該補助パターンの画像データのヘッドマウントディスプレイ１における表示位置が、上記顔方向検出部２１２により検出された顔方向の変化にリアルタイムに追従するような画像データを生成する。
【００３９】
映像合成部２１５は、上記補助パターン表示データ生成部２１６により生成された補助パターンの画像データを、上記映像コンテンツ記憶部２２１から読み出した映像コンテンツに重畳した合成映像を生成し、当該合成映像を入出力Ｉ／Ｆ２３からヘッドマウントディスプレイ１へ送信する。
【００４０】
（動作例）
次に、以上のように構成された遠隔制御システムの動作を、情報処理装置２の動作を中心に説明する。  
図５は、情報処理装置２による映像表示制御の処理手順と処理内容を示すフローチャートである。
【００４１】
（１）補助パターンの記憶
動作の開始に先立ち、システム管理者は例えば自身の端末装置を使用して補助パターンを生成または外部から取得し、その画像データを補助パターン記憶部２２２に記憶させる。例えば、補助パターンとして、図６Ａ〜６Ｃに示すような水平線と垂直線とからなる格子状の線状パターンＬ１を生成する。
【００４２】
この例では実線と破線とを交互に配置したパターンを示しているが、実線のみでもよくまたは破線のみでもよい。また、格子のサイズ、つまり格子を構成する各線の間隔や太さ、色、濃度についても、任意に設定することができる。但し、その設定条件としては、映像コンテンツの視認性を維持した上で、ユーザが補助パターンを認識できるものであることが望ましい。
【００４３】
（２）補助パターンを併用した映像コンテンツの表示制御
システムを起動すると、制御対象機器３で頭部のカメラにより撮像された映像を含む映像コンテンツがネットワーク４を介して情報処理装置２に伝送される。この映像コンテンツは、情報処理装置２において映像コンテンツ受信部２１４の制御の下で受信された後、映像合成部２１５からヘッドマウントディスプレイ１に転送され、表示部１４に表示される。
【００４４】
この状態で、ユーザが自身の頭部を動かして顔の方向を変化させたとする。そうすると、この頭部の動きがヘッドマウントディスプレイ１のセンサ１６により検出され、その動きデータが情報処理装置２に入力される。情報処理装置２は、動きデータ取得部２１１の制御の下、ステップＳ１１により上記動きデータを取得し、ステップＳ１２において顔方向検出部２１２の制御により上記動きデータからユーザの顔の方向の変化を検出する。
【００４５】
例えば、顔方向検出部２１２は、角速度センサ（ジャイロセンサ）から出力される６軸の角速度検出信号から、ユーザの顔の方向を示すベクトルの変化を算出する。情報処理装置２は、上記ユーザの顔の向きの変化を示す検出データを、顔方向検出データ送信部２１３の制御の下、ステップＳ１３により通信Ｉ／Ｆ２４から制御対象機器３に向け送信する。
【００４６】
制御対象機器３は、上記顔の方向の検出データを受信すると、この顔の方向の検出データをもとに例えばサーボ機構を動作させてカメラの撮像方向を変化させる。この結果、カメラによる撮像対象領域が変化し、その変化の過程および変化後の撮像対象領域の撮像映像を含む映像コンテンツが、情報処理装置２に向け返送される。
【００４７】
一方、情報処理装置２は、上記制御対象機器３へ上記ユーザの顔の方向の検出データを送信してから、それに応じて制御対象機器３から撮像映像を含む映像コンテンツが返送されるまでの期間に、以下の処理を行う。
【００４８】
すなわち、情報処理装置２は、補助パターン表示データ生成部２１６の制御の下、先ずステップＳ１４により補助パターン記憶部２２２から補助パターンの画像データを読み出す。そしてステップＳ１５において、上記ステップＳ１２により得られたユーザの顔の方向の変化を示す検出データをもとに、ヘッドマウントディスプレイ１における上記補助パターンの表示位置が、上記検出された顔の方向の変化にリアルタイムに追従するような画像データを生成する。
【００４９】
情報処理装置２は、上記制御対象機器３から返送される映像コンテンツを映像コンテンツ受信部２１４の制御の下、ステップＳ１６で受信する。そして、映像合成部２１５の制御の下、ステップＳ１７により、上記補助パターン表示データ生成部２１６により生成された補助パターンの画像データを、上記制御対象機器３から返送された映像コンテンツに重畳して合成映像を生成する。そして、当該合成映像のデータを、ステップＳ１８により入出力Ｉ／Ｆ２３からヘッドマウントディスプレイ１へ出力する。
【００５０】
この結果、ヘッドマウントディスプレイ１では、上記情報処理装置２から出力された合成映像、つまり制御対象機器３から返送された映像コンテンツに、上記ユーザの顔方向の変化にリアルタイムに追従して表示位置が変化するように生成された補助パターンの画像が重畳された合成映像が、表示部１４に表示される。
【００５１】
情報処理装置２は、システムが動作している期間中、上記ステップＳ１１〜ステップＳ１８による処理を繰り返す。
【００５２】
図６Ａ〜図６Ｃは、上記ヘッドマウントディスプレイ１における合成映像の表示の変化の一例を説明するための図である。  
先ず、時刻t0においては、例えば図６Ａに示すように映像コンテンツＶＤ(t0)に補助パターンＬ１(t0)が重畳された合成映像が表示されている。この状態で、ユーザが時刻t1において顔を左斜め上方向へ動かしたとする。そうすると、このときのユーザの顔の方向の変化は情報処理装置２から制御対象機器３に通知され、これにより制御対象機器３のカメラによる撮像対象領域が左斜め上方向に変化する。そして、この撮像対象領域の変化に応じた撮像画像を含む映像コンテンツが情報処理装置２へ返送され、情報処理装置２によりヘッドマウントディスプレイ１に表示される。
【００５３】
このとき、上記映像コンテンツは、ユーザの顔の方向の変化が開始されてからその検出データが情報処理装置２からネットワーク４を介して制御対象機器３へ通知され、制御対象機器３において上記検出データに応じた映像コンテンツが生成され、当該映像コンテンツがネットワーク４を介して情報処理装置２に伝送されて、情報処理装置２において補助パターンの合成処理を受けた後、ヘッドマウントディスプレイ１で表示される。このため、ユーザの顔の方向の変化が反映された映像コンテンツがヘッドマウントディスプレイ１に表示されるまでに、伝送遅延を含む描画遅延（Latency）が発生する。しかも、この描画遅延の遅延量は、ネットワークの混雑度合いやＣＰＵの負荷変動の影響等により時間変動（ジッタ）を起こす。この映像コンテンツの描画遅延（Latency）とそのジッタはユーザにとってＶＲ酔いの大きな原因になる。
【００５４】
しかしながら、第１の実施形態では、補助パターンＬ１(t0)の表示位置が、上記ユーザの顔の方向の変化にリアルタイムに追従してヘッドマウントディスプレイ１の表示画面上を移動する。図６Ｂはこのときの映像コンテンツＶＤ(t0)と補助パターンＬ１(t1)の表示例を示す。従って、ユーザは、自身の顔の向きの移動に映像コンテンツＶＤ(t0)の変化がリアルタイムに追従しなくても、補助パターンＬ１(t1)の表示位置がリアルタイムに追従して移動することで、映像コンテンツＶＤ(t0)の描画遅延（Latency）の影響が軽減され、これによりＶＲ酔いの発生は抑えられる。図６Ｃは、上記描画遅延に相当する時間経過後の映像コンテンツＶＤ(t1′)と補助パターンＬ１(t1)の表示結果の一例を示すものである。このように、描画遅延後の時刻t1′において、映像コンテンツＶＤ(t1′)の表示位置はユーザの顔の方向の変化後に対応する位置に追いつく。
【００５５】
（作用効果）
以上述べたように第１の実施形態では、ヘッドマウントディスプレイ１が接続される情報処理装置２において、補助パターンを記憶部２２に記憶しておき、当該補助パターンを、制御対象機器３から伝送された映像コンテンツに重畳してヘッドマウントディスプレイ１に表示させる際に、ユーザの頭部の動きの検出信号をもとに検出されるユーザの顔の方向の変化に基づいて、上記補助パターンの表示位置が上記ユーザの顔の方向の変化にリアルタイムに追従して移動するように制御するようにしている。
【００５６】
従って、ユーザの顔の向きの変化に映像コンテンツの表示位置がリアルタイムに追従しなくても、上記映像コンテンツに重畳された補助パターンの表示位置がリアルタイムに追従して変化することで、映像コンテンツの伝送遅延を含む描画遅延（Latency）が発生する場合でも、またその遅延量が時間変化する場合、つまり描画遅延がジッタを含む場合でも、上記描画遅延（Latency）の影響がユーザに影響し難くなって、ユーザのＶＲ酔いの発生を低減することが可能となる。
【００５７】
しかも、第１の実施形態では、予め記憶しておいた補助パターンの表示位置をユーザの顔の向きの変化に追従して移動させることで、ユーザのＶＲ酔いの発生を低減するようにしている。このため、表示映像に対しリプロジェクション処理を行う場合に比べ、装置のＣＰＵの処理負荷を低く抑えることができ、これにより処理能力の高いＣＰＵを備えた高価な装置を用いることなくＶＲ酔いの低減効果を得ることができる。
【００５８】
［第２の実施形態］
情報処理装置２に、ヘッドマウントディスプレイ１、情報処理装置２および制御対象機器３の少なくとも１つについてその動作状態を監視する機能を備え、その監視結果を表すメッセージを、補助パターンの表示形態を変化させることにより表示するようにしてもよい。
【００５９】
例えば、ヘッドマウントディスプレイ１および情報処理装置２のバッテリ残量を監視し、バッテリ残量が所定レベル以下に低下したことが検出された場合に、補助パターンの表示色、濃度または形状を変化させることで、上記バッテリ残量の低下を報知する。その際、表示形態の変化パターンとしては、ユーザの動作または操作に追従した表示形態の変化とは異なる変化パターン、例えば点滅等を使用するとよい。また、監視対象となるヘッドマウントディスプレイ１、情報処理装置２および制御対象機器３の動作状態は、バッテリ残量に限らず、例えば信号ケーブルの接続異常や通信障害、制御対象機器３の動作異常等のその他の異常な動作状態を対象にしてもよい。
【００６０】
［変形例］
この発明には以下のような様々な変形例が考えられる。  
（１）補助パターンとして、例えば図７に示すように表示画面に対し斜め方向の複数の実線および破線を用いた格子状のパターンを使用するようにしてもよい。この場合、格子を構成する複数の線は、実線のみでもまたは破線のみでもよい。また、格子のサイズ、つまり格子を構成する各線の間隔や太さ、色、濃度についても、任意に設定することができる。
【００６１】
（２）補助パターンとして、例えば図８に示すように円弧状をなす複数の線を、例えば地球の経度線のように配置したパターンを用いてもよい。この場合も、各線の間隔や太さ、色、濃度についても、任意に設定することができる。
【００６２】
（３）補助パターンとして、例えば図９に示すように複数の円を二次元方向に等間隔に配置した水玉状のパターンを用いてもよい。この場合、円は楕円状でも方形でもよく、そのサイズ、色、濃度、配置間隔については任意に設定可能である。また、パターンの数についても複数個に限らず１個でもよく、さらにパターンを複数個配置する場合の配置間隔は等間隔に限らずランダムに設定してもよい。
【００６３】
（４）上記補助パターンとしては、線や円等の図形以外にキャラクタを用いてもよい。例えば、映像コンテンツがゲームコンテンツの場合には、そのシーンや登場するキャラクタまたはそれに関連するサブキャラクタを用いる。このようにすると、補助パターンに対するユーザの違和感を抑制した上で、ＶＲ酔いの発生を低減することが可能となる。
【００６４】
（５）前記第１の実施形態では、ユーザの顔の向きの変化に追従して補助パターンの表示位置を移動させるようにしたが、他に、例えばユーザの顔の向きの変化に追従して補助パターンの色または濃度を変化させるようにしてもよい。これによっても、映像コンテンツの伝送遅延を含む描画遅延（Latency）やそのジッタがユーザに与える影響を軽減して、ＶＲ酔いの発生を低減することができる。
【００６５】
（６）前記第１の実施形態では、ヘッドマウントディスプレイ１とは別に設けた情報処理装置２により映像表示制御を行うようにしたが、ヘッドマウントディスプレイ１が情報処理装置２の機能を備える場合、つまり情報処理装置と一体型のヘッドマウントディスプレイを使用する場合には、ヘッドマウントディスプレイにおいてこの発明に係る映像表示制御を実行するように構成してもよい。
【００６６】
（７）前記第１の実施形態では、遠隔地に存在する制御対象機器３から伝送される映像コンテンツを表示する場合を前提として説明した。しかし、この発明はそれに限定されるものではなく、例えばゲームコンテンツや観光地紹介コンテンツ、博物館または美術館内の展示物の紹介コンテンツ、不動産の紹介コンテンツ等のように、ユーザの動作または操作に応じてコンテンツの映像が変化するシステムを対象としてもよい。このような場合にも、ヘッドマウントディスプレイまたはそれに付属する情報処理装置においてこの発明に係る補助パターンを映像コンテンツに合成することで、映像コンテンツを表示する際の伝送遅延を含む描画遅延（Latency）やそのジッタの影響を低減し、これによりユーザのＶＲ酔いを低減することが可能となる。
【００６７】
（８）その他、ヘッドマウントディスプレイの種類や構成、映像表示制御装置としての情報処理装置の構成、映像コンテンツの種類および補助パターンの構成とその表示制御処理手順と処理内容等については、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００６８】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６９】
１…ヘッドマウントディスプレイ（ＨＭＤ）
２…情報処理装置
３…制御対象機器
４…ネットワーク
１０，２０…バス
１１，２１…制御部
１２，２２…記憶部
１３…表示インタフェース（表示Ｉ／Ｆ）
１４…表示部
１５…センサインタフェース（センサＩ／Ｆ）
１６…センサ
１７，２４…通信インタフェース（通信Ｉ／Ｆ）
２３…入出力インタフェース（入出力Ｉ／Ｆ）
２１１…動きデータ取得部
２１２…顔方向検出部
２１３…顔方向検出データ送信部
２１４…映像コンテンツ受信部
２１５…映像合成部
２１６…補助パターン表示データ生成部
２２１…映像コンテンツ記憶部
２２２…補助パターン記憶部
【要約】
【課題】映像表示制御装置における処理負荷を増加させることなくＶＲ酔いを低減する。
【解決手段】この発明の第１の実施形態は、ヘッドマウントディスプレイ１に接続される情報処理装置２において、補助パターンを記憶部２２に記憶しておき、当該補助パターンを、制御対象機器３から伝送された映像コンテンツに重畳してヘッドマウントディスプレイ１に表示させる際に、ユーザの頭部の動きの検出信号をもとに検出されるユーザの顔の方向の変化に基づいて、上記補助パターンの表示位置が上記ユーザの顔の方向の変化にリアルタイムに追従して移動するように制御するようにしたものである。
【選択図】図４【図１】
0006655751.tif 000002
【図２】
0006655751.tif 000003
【図３】
0006655751.tif 000004
【図４】
0006655751.tif 000005
【図５】
0006655751.tif 000006
【図６Ａ】
0006655751.tif 000007
【図６Ｂ】
0006655751.tif 000008
【図６Ｃ】
0006655751.tif 000009
【図７】
0006655751.tif 000010
【図８】
0006655751.tif 000011
【図９】
0006655751.tif 000012