(57)【特許請求の範囲】
【請求項１】
複数のヘッドマウントディスプレイがそれぞれの内蔵コンピュータにより動画像を再生する一方、１台の外部コンピュータが副コンテンツの再生を制御するようになされた仮想現実視聴システムであって、
上記ヘッドマウントディスプレイの上記内蔵コンピュータは、
上記動画像を再生する動画像再生部を備え、
上記１台の上記外部コンピュータは、
上記副コンテンツの再生を制御する副コンテンツ再生部と、
上記外部コンピュータによる上記副コンテンツの再生と同期するように、上記複数のヘッドマウントディスプレイの上記内蔵コンピュータのそれぞれによる上記動画像の再生に関する基準再生経過時間をマスター管理する基準再生経過時間管理部と、
上記ヘッドマウントディスプレイの上記内蔵コンピュータにより再生された動画像の再生経過時間と、上記基準再生経過時間管理部によりマスター管理されている上記基準再生経過時間との差分を検出する差分時間検出部と、
上記差分時間検出部により検出された差分を解消するように、上記ヘッドマウントディスプレイの上記内蔵コンピュータによる上記動画像の再生を調整する動画像再生調整部とを備え、
上記外部コンピュータの上記差分時間検出部は、上記ヘッドマウントディスプレイの上記動画像再生部に問い合わせを行うことにより、上記動画像再生部により再生されている動画像の再生経過時間を取得し、当該取得した動画像の再生経過時間と、上記基準再生経過時間管理部によりマスター管理されている上記基準再生経過時間との差分を検出し、
上記外部コンピュータの上記動画像再生調整部は、上記差分時間検出部により検出された差分を解消するように、上記動画像再生部による上記動画像の再生を調整するための指示を上記ヘッドマウントディスプレイに出力する
ことを特徴とする仮想現実視聴システム。
【請求項２】
上記外部コンピュータの上記基準再生経過時間管理部は、上記ヘッドマウントディスプレイの上記内蔵コンピュータに上記動画像の再生開始を指示すると同時に、上記基準再生経過時間のマスター管理を開始し、
上記ヘッドマウントディスプレイの上記内蔵コンピュータは、上記指示に応じて上記動画像の再生を開始し、
上記差分時間検出部は、上記動画像の再生開始後に上記差分を逐次検出し、
上記動画像再生調整部は、上記差分時間検出部により上記差分が検出された場合に、当該検出された差分を解消するように、上記内蔵コンピュータによる上記動画像の再生を調整することを特徴とする請求項１に記載の仮想現実視聴システム。
【請求項３】
上記外部コンピュータの上記基準再生経過時間管理部は、複数の上記ヘッドマウントディスプレイの上記内蔵コンピュータに上記動画像の再生開始を指示すると同時に、上記基準再生経過時間のマスター管理を開始し、
上記複数のヘッドマウントディスプレイの上記内蔵コンピュータは、上記指示に応じて上記動画像の再生を開始し、
上記差分時間検出部は、上記動画像の再生開始後に上記複数のヘッドマウントディスプレイのそれぞれについて上記差分を逐次検出し、
上記動画像再生調整部は、上記差分時間検出部により何れかのヘッドマウントディスプレイにおいて上記差分が検出された場合に、当該検出された差分を解消するように、当該差分が検出されたヘッドマウントディスプレイにおける上記内蔵コンピュータによる上記動画像の再生を調整することを特徴とする請求項１に記載の仮想現実視聴システム。
【請求項４】
上記ヘッドマウントディスプレイの上記内蔵コンピュータは、上記外部コンピュータの上記基準再生経過時間管理部によりマスター管理されている上記基準再生経過時間とは非同期で上記動画像の再生を開始可能であり、
上記差分時間検出部は、上記基準再生経過時間とは非同期で上記動画像の再生が開始された場合に、当該動画像の再生が開始されたタイミングで上記差分を検出し、
上記動画像再生調整部は、上記差分時間検出部により検出された差分を解消するように、上記基準再生経過時間とは非同期で上記動画像の再生が開始された上記内蔵コンピュータについて上記動画像の再生を調整することを特徴とする請求項１に記載の仮想現実視聴システム。
【請求項５】
上記外部コンピュータは、上記副コンテンツとして音声を再生して外部スピーカへの出力を行う音声再生部を備え、
上記基準再生経過時間管理部は、上記音声再生部による上記音声の再生と同期させて上記動画像の基準再生経過時間をマスター管理することを特徴とする請求項１〜４の何れか１項に記載の仮想現実視聴システム。
【請求項６】
上記基準再生経過時間管理部は、上記音声再生部による上記音声の再生と同期させて、上記ヘッドマウントディスプレイの上記内蔵コンピュータにより再生される動画像と同じ動画像を再生することにより、上記動画像の基準再生経過時間をマスター管理することを特徴とする請求項５に記載の仮想現実視聴システム。
【請求項７】
複数のヘッドマウントディスプレイの内蔵コンピュータのそれぞれによる動画像の再生と、１台の外部コンピュータによる副コンテンツの再生とを同期させる再生同期方法であって、
上記外部コンピュータの基準再生経過時間管理部が、上記外部コンピュータによる上記副コンテンツの再生と同期するように、上記複数のヘッドマウントディスプレイの上記内蔵コンピュータによる上記動画像の再生に関する基準再生経過時間をマスター管理する第１のステップと、
上記外部コンピュータの差分時間検出部が、上記複数のヘッドマウントディスプレイの上記内蔵コンピュータにより再生された動画像の再生経過時間と、上記基準再生経過時間管理部によりマスター管理されている上記基準再生経過時間との差分を検出する第２のステップと、
上記外部コンピュータの動画像再生調整部が、上記差分時間検出部により検出された差分を解消するように、上記ヘッドマウントディスプレイの上記内蔵コンピュータによる上記動画像の再生を調整する第３のステップとを有し、
上記第２のステップにおいて、上記外部コンピュータの上記差分時間検出部は、上記ヘッドマウントディスプレイの上記動画像を再生する動画像再生部に問い合わせを行うことにより、上記動画像再生部により再生されている動画像の再生経過時間を取得し、当該取得した動画像の再生経過時間と、上記基準再生経過時間管理部によりマスター管理されている上記基準再生経過時間との差分を検出し、
上記第３のステップにおいて、上記外部コンピュータの上記動画像再生調整部は、上記差分時間検出部により検出された差分を解消するように、上記動画像再生部による上記動画像の再生を調整するための指示を上記ヘッドマウントディスプレイに出力する
ことを特徴とする再生同期方法。
【請求項８】
複数のヘッドマウントディスプレイが内蔵コンピュータのそれぞれにより動画像を再生する一方、１台の外部コンピュータが副コンテンツの再生を制御するようになされた仮想現実視聴システムにおいて、上記外部コンピュータに適用される仮想現実視聴用プログラムであって、
上記副コンテンツの再生を制御する副コンテンツ再生手段、
上記外部コンピュータによる上記副コンテンツの再生と同期するように、上記内蔵コンピュータによる上記動画像の再生に関する基準再生経過時間をマスター管理する基準再生経過時間管理手段、
上記ヘッドマウントディスプレイの上記内蔵コンピュータに問い合わせを行うことにより、上記内蔵コンピュータにより再生されている動画像の再生経過時間を取得し、当該取得した動画像の再生経過時間と、上記基準再生経過時間管理手段によりマスター管理されている上記基準再生経過時間との差分を検出する差分時間検出手段、および
上記差分時間検出手段により検出された差分を解消するように、上記内蔵コンピュータによる上記動画像の再生を調整するための指示を上記ヘッドマウントディスプレイに出力する動画像再生調整手段として上記外部コンピュータを機能させることを特徴とする、コンピュータ読み取り可能な仮想現実視聴用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想現実視聴システム、再生同期方法および仮想現実視聴用プログラムに関し、特に、ヘッドマウントディスプレイが内蔵コンピュータにより主コンテンツを再生する一方、外部コンピュータが副コンテンツを再生するようになされた仮想現実視聴システムに用いて好適なものである。
【背景技術】
【０００２】
近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実（ＶＲ：バーチャルリアリティ）技術の活用が広がりを見せつつある。ＶＲの応用例は様々であるが、ユーザが装着したＨＭＤ（ヘッドマウントディスプレイ）に３次元空間画像を表示させることにより、ＨＭＤに対して描き出された３次元空間画像の中でユーザが仮想的に様々な体験をすることができるようになされたものが存在する。【０００３】
従来、ＨＭＤのディスプレイに主コンテンツとして表示される映像に同期させて、ＨＭＤのスピーカから副コンテンツとしてナレーション音声を出力するようにしたコンテンツ再生システムも知られている（例えば、特許文献１参照）。【０００４】
【特許文献１】特開２０１１−１０１１９６号公報
【発明の開示】
【０００５】
ところで、内蔵のコンピュータにより動画像を再生して表示するようになされたＨＭＤも存在する。この種のＨＭＤを用いて音声付きのＶＲ視聴システムを構築する場合、次の２つの形態が考えられる。１つは、ＨＭＤで動画像と共に再生された音声を外部スピーカに送信して出力する形態である。もう１つは、ＨＭＤとは異なる外部コンピュータにより音声を再生し、再生した音声を外部スピーカから出力する形態である。
【０００６】
しかしながら、後者のような形態でＶＲ視聴システムを構築する場合、ＨＭＤで再生される動画像と、外部コンピュータで再生される外部音声との間に時間差が生じてしまうことがあるという問題があった。特に、複数のユーザが装着している各ＨＭＤにおいて同じ動画像を再生する一方、外部コンピュータにより音声を再生して外部スピーカから出力する形態のＶＲ視聴システムを構築する場合、各ＨＭＤ間で動画像の再生時間に差が生じることもある。この場合、動画像と外部音声との時間差がユーザ毎にマチマチに生じてしまう。
【０００７】
今後は、ＨＭＤにおいて動画像を再生する一方、その動画像の再生に合わせて外部コンピュータにより様々なコンテンツを提示するような演出を提供することも考えられる。例えば、再生される動画像のシーンに合わせて、静止画の再生、テキストの表示、匂いの出力、振動等による触覚の呈示、送風、温度制御、水ミストや降水の発生といった演出を外部コンピュータにより実行することが考えられる。これらのコンテンツの再生に関しても、動画像の再生との間で時間差が生じてしまうという問題は同様に生じ得る。
【０００８】
本発明は、このような問題を解決するために成されたものであり、ＨＭＤの内蔵コンピュータにより再生されてＨＭＤに表示される主コンテンツとしての動画像と、外部コンピュータにより再生される副コンテンツとを同期させることができるようにすることを目的とする。
【０００９】
上記した課題を解決するために、本発明では、複数のＨＭＤが内蔵コンピュータにより動画像を再生する一方、１台の外部コンピュータが副コンテンツの再生を制御するようになされた仮想現実視聴システムにおいて、外部コンピュータは、外部コンピュータによる副コンテンツの再生と同期するように、内蔵コンピュータによる動画像の再生に関する基準再生経過時間をマスター管理する。その上で、外部コンピュータは、ＨＭＤにおいて再生された動画像の再生経過時間と、外部コンピュータにおいてマスター管理されている基準再生経過時間との差分を検出し、検出した差分を解消するように、ＨＭＤの内蔵コンピュータによる動画像の再生を調整する。外部コンピュータは、当該再生経過時間と当該基準再生経過時間との差分の検出に際し、ＨＭＤに問い合わせを行うことにより、当該再生経過時間を取得し、当該取得した動画像の再生経過時間と当該基準再生経過時間との差分を検出し、また、動画像の再生の調整に際し、検出した差分を解消するように、動画像の再生を調整するための指示をＨＭＤに出力する。
【００１０】
上記のように構成した本発明によれば、副コンテンツの再生と同期するように動画像の基準再生経過時間がマスター管理され、その基準再生経過時間と実際の動画像の再生経過時間との間に差分が生じると、その差分がなくなるように動画像の再生が調整されるので、調整された動画像の再生経過時間と基準再生経過時間とが同期（一致）するようになる。ここで、基準再生経過時間は副コンテンツの再生と同期しているので、基準再生経過時間と同期している動画像の再生は、副コンテンツの再生にも同期することになる。これにより、本発明によれば、ＨＭＤの内蔵コンピュータにより再生されてＨＭＤに表示される主コンテンツとしての動画像と、外部コンピュータにより再生される副コンテンツとを同期させることができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態によるＶＲ視聴システムの構成例を示す図である。
【図２】第１の実施形態によるＶＲ視聴システムの機能構成例を示すブロック図である。
【図３】第１の実施形態によるＶＲ視聴システムの動作例を示すフローチャートである。
【図４】第２の実施形態によるＶＲ視聴システムの構成例を示す図である。
【図５】第２の実施形態によるＶＲ視聴システムの機能構成例を示すブロック図である。
【図６】第２の実施形態によるＶＲ視聴システムの動作例を示すフローチャートである。
【発明を実施するための最良の形態】
【００１２】
（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による仮想現実視聴システム（以下、ＶＲ視聴システムという）の構成例を示す図である。【００１３】
第１の実施形態によるＶＲ視聴システムは、仮想現実の動画像（以下、ＶＲ動画という）の再生を行うコンピュータをそれぞれが内蔵した複数のＨＭＤ１００と、外部コンピュータ２００と、外部スピーカ３００とを備えて構成されている。複数のＨＭＤ１００と外部コンピュータ２００との間は、有線または無線の通信ネットワークにより接続されている。外部コンピュータ２００と外部スピーカ３００との間は有線または無線で接続されている。【００１４】
本実施形態のＶＲ視聴システムでは、複数のＨＭＤ１００がそれぞれ内蔵コンピュータによりＶＲ動画を再生する一方、外部コンピュータ２００が副コンテンツの再生を制御する。第１の実施形態では、副コンテンツの一例として音声を用いる。すなわち、外部コンピュータ２００は、音声を再生して外部スピーカ３００から出力する。以下に詳しく説明するように、第１の実施形態では、複数のＨＭＤ１００の内蔵コンピュータにより個別に再生されるＶＲ動画と、外部コンピュータ２００により再生される音声とが同期するようにしている。【００１５】
すなわち、第１の実施形態では、外部コンピュータ２００が、外部スピーカ３００への音声出力を行うとともに、その音声出力と同期するようにＶＲ動画の基準再生経過時間をマスター管理する。また、ＨＭＤ１００の内蔵コンピュータによるＶＲ動画の再生経過時間と、外部コンピュータ２００によりマスター管理されている基準再生経過時間との差分を検出し、検出した差分がなくなるように、ＨＭＤ１００の内蔵コンピュータによるＶＲ動画の再生を調整するようにしている。【００１６】
具体的には、それぞれのＨＭＤ１００の内蔵コンピュータが、外部コンピュータ２００に問い合わせをし、内蔵コンピュータによるＶＲ動画の再生経過時間と、外部コンピュータ２００によりマスター管理されている基準再生経過時間との差分を検出し、検出した差分がなくなるように、内蔵コンピュータによるＶＲ動画の再生を調整する。例えば、再生の早送り、巻き戻し、一時的なスロー再生などによって、内蔵コンピュータによるＶＲ動画の再生位置を調整する。【００１７】
図２は、第１の実施形態によるＶＲ視聴システムの機能構成例を示すブロック図である。図２に示すように、ＨＭＤ１００の内蔵コンピュータ１００Ａは、その機能構成として、通信部１０、動画像再生部１１、差分時間検出部１２および動画像再生調整部１３を備えている。また、内蔵コンピュータ１００Ａは、記憶媒体として、動画像記憶部１５を備えている。一方、外部コンピュータ２００は、その機能構成として、通信部２０、副コンテンツ再生部２１および基準再生経過時間管理部２２を備えている。また、外部コンピュータ２００は、記憶媒体として、音声記憶部２５を備えている。【００１８】
ＨＭＤ１００の内蔵コンピュータ１００Ａが備える各機能ブロック１０〜１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０〜１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。【００１９】
外部コンピュータ２００が備える各機能ブロック２０〜２２も、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２０〜２２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。【００２０】
ＨＭＤ１００の内蔵コンピュータ１００Ａの通信部１０および外部コンピュータ２００の通信部２０は、双方向にデータの通信を行うためのものである。通信部１０，２０は、無線通信を行うためのインタフェースであってもよいし、有線通信を行うためのインタフェースであってもよい。【００２１】
ＨＭＤ１００の動画像記憶部１５は、仮想現実により３次元空間を表した動画像（ＶＲ動画）の画像データを記憶する。複数のＨＭＤ１００がそれぞれの動画像記憶部１５に記憶する動画像は、基本的に同じＶＲ動画に係るものである。また、外部コンピュータ２００の音声記憶部２５は、ＶＲ動画に関連した音声を記憶する。動画像記憶部１５に記憶されるＶＲ動画と、音声記憶部２５に記憶される音声とは、互いを同期した状態で再生することが必要なものである。例えば、音声無しの動画像を動画像記憶部１５が記憶する一方、当該動画像の中に登録する人物の会話や歌声、バックミュージックなどの音声を音声記憶部２５が記憶するといった形態が考えられる。【００２２】
動画像再生部１１は、動画像記憶部１５に記憶されているＶＲ動画の画像データを再生し、再生した画像データをＨＭＤ１００のディスプレイ１００Ｂに出力することにより、ＶＲ動画をディスプレイ１００Ｂに表示させる。一方、外部コンピュータ２００の副コンテンツ再生部２１は、副コンテンツの一例として、音声記憶部２５に記憶されている音声を再生し、再生した音声を外部スピーカ３００から出力する。以下では、副コンテンツ再生部２１を音声再生部２１と称するものとする。【００２３】
外部コンピュータ２００の基準再生経過時間管理部２２は、外部コンピュータ２００が備える音声再生部２１による音声の再生と同期するように、ＨＭＤ１００の内蔵コンピュータ１００Ａが備える動画像再生部１１によるＶＲ動画の再生に関する基準再生経過時間をマスター管理する。すなわち、基準再生経過時間管理部２２は、音声再生部２１による音声の再生と同期させてＶＲ動画の基準再生経過時間をマスター管理する。【００２４】
一例として、基準再生経過時間管理部２２は、音声再生部２１による音声の再生と同期させて、ＨＭＤ１００の動画像再生部１１により再生されるＶＲ動画と同じＶＲ動画を再生することにより、ＶＲ動画の基準再生経過時間をマスター管理する。ここで、基準再生経過時間管理部２２は、ＨＭＤ１００の内蔵コンピュータ１００ＡにＶＲ動画の再生開始を指示すると同時に、基準再生経過時間のマスター管理を開始する。この場合、ＨＭＤ１００の動画像再生部１１は、外部コンピュータ２００から通信部１０，２０を介して送られてくる指示に応じて、ＶＲ動画の再生を開始する。これにより、各ＨＭＤ１００の動画像再生部１１により再生されるＶＲ動画と、基準再生経過時間のマスター管理のために基準再生経過時間管理部２２により再生されるＶＲ動画と、音声再生部２１により再生される音声との全ての再生経過時間が同期することになる。【００２５】
なお、基準再生経過時間をマスター管理するために、基準再生経過時間管理部２２がＶＲ動画そのものを再生することは必須ではない。例えば、基準再生経過時間管理部２２は、音声再生部２１による音声の再生開始と同時に、ＨＭＤ１００の内蔵コンピュータ１００ＡにＶＲ動画の再生開始を指示するとともに、指示した時点からの経過時間をカウントすることにより、そのカウントされた時間をＶＲ動画の基準再生経過時間としてマスター管理するようにしてもよい。また、基準再生経過時間管理部２２が経過時間のカウントを開始すると同時に、音声再生部２１に対する音声の再生開始指示と、ＨＭＤ１００の内蔵コンピュータ１００Ａに対するＶＲ動画の再生開始指示とを行うようにしてもよい。【００２６】
ＨＭＤ１００の差分時間検出部１２は、ＨＭＤ１００の動画像再生部１１により再生されたＶＲ動画の再生経過時間と、外部コンピュータ２００の基準再生経過時間管理部２２によりマスター管理されている基準再生経過時間との差分を検出する。具体的には、差分時間検出部１２は、通信部１０，２０を介して外部コンピュータ２００の基準再生経過時間管理部２２に問い合わせを行って基準再生経過時間を取得し、当該取得した基準再生経過時間と、動画像再生部１１により再生されているＶＲ動画の再生経過時間との差分を検出する。【００２７】
上述したように、動画像再生部１１は、基準再生経過時間管理部２２からの動画再生開始指示を受けてＶＲ動画を再生しており、基準再生経過時間は音声再生部２１による音声の再生経過時間と同期しているので、ＶＲ動画の再生を開始した直後からしばらくの間は、動画像再生部１１により再生されたＶＲ動画の再生経過時間と、音声再生部２１により再生された音声の再生経過時間との間に差は生じない。つまり、ＶＲ動画の再生経過時間と、基準再生経過時間管理部２２によりマスター管理されている基準再生経過時間との間に差分は生じない。【００２８】
しかしながら、ＶＲ動画の再生を継続していると、ＨＭＤ１００の内蔵コンピュータ１００Ａの処理リソースの負荷量と外部コンピュータ２００の処理リソースの負荷量との違いや、内蔵コンピュータ１００Ａの基準クロックと外部コンピュータ２００の基準クロックとの誤差、あるいはその他の要因により、ＨＭＤ１００におけるＶＲ動画の再生経過時間が、外部コンピュータ２００における音声の再生経過時間（＝ＶＲ動画の基準再生経過時間）からずれてくることがある。【００２９】
そこで、差分時間検出部１２は、動画像再生部１１によるＶＲ動画の再生開始後に、上記の差分を逐次検出する。すなわち、差分時間検出部１２は、外部コンピュータ２００の基準再生経過時間管理部２２に対する問い合わせを所定の時間間隔で定期的に行い、それによって取得される基準再生経過時間と、動画像再生部１１により再生されているＶＲ動画の再生経過時間との差分を逐次検出する。【００３０】
ＨＭＤ１００の動画像再生調整部１３は、差分時間検出部１２により差分が検出された場合に、当該検出された差分を解消するように、動画像再生部１１によるＶＲ動画の再生を調整する。なお、動画像再生調整部１３は、差分時間検出部１２により検出される差分の値が所定の閾値を超えた場合に、ＶＲ動画の再生の調整を行うようにする。【００３１】
ここで、動画像再生調整部１３は、動画像再生部１１によるＶＲ動画の再生経過時間が基準再生経過時間よりも遅れている場合は、ＶＲ動画の再生の早送りを動画像再生部１１に指示することにより、遅れの差分を解消する。差分が解消された時点で早送りを停止し、元の通常再生に戻す。逆に、動画像再生部１１によるＶＲ動画の再生経過時間が基準再生経過時間よりも進んでいる場合は、ＶＲ動画の再生の巻き戻しまたはスロー再生を動画像再生部１１に指示することにより、進みの差分を解消する。差分が解消された時点で巻き戻しまたはスロー再生を停止し、元の通常再生に戻す。【００３２】
図３は、以上のように構成した第１の実施形態によるＶＲ視聴システムの動作例を示すフローチャートである。なお、図３では、１つのＨＭＤ１００と外部コンピュータ２００との間でやりとりされる動作例を示しているが、同様の動作が各ＨＭＤ１００と外部コンピュータ２００との間で実行される。【００３３】
まず、外部コンピュータ２００の音声再生部２１は、音声記憶部２５に記憶されている音声の再生を開始する（ステップＳ１）。これと同時に、基準再生経過時間管理部２２は、ＶＲ動画の基準再生経過時間のマスター管理（すなわち、基準再生経過時間のカウント動作）を開始する（ステップＳ２）。また、これと同時に基準再生経過時間管理部２２は、通信部１０，２０を介して、ＨＭＤ１００に対してＶＲ動画の再生開始指示を送信する（ステップＳ３）。【００３４】
ＨＭＤ１００の動画像再生部１１は、外部コンピュータ２００から通信部１０，２０を介して送られてくる再生開始指示に応じて、動画像記憶部１５に記憶されているＶＲ動画の再生を開始する（ステップＳ１１）。この時点では、ＨＭＤ１００の動画像再生部１１により再生されるＶＲ動画の再生経過時間と、外部コンピュータ２００によりマスター管理されている基準再生経過時間と、音声再生部２１により再生される音声の再生経過時間とが全て同期することになる。【００３５】
その後、差分時間検出部１２は、所定の時間が経過したか否かを判定する（ステップＳ１２）。所定の時間が経過していない場合、処理はステップＳ１７に遷移する。一方、所定の時間が経過した場合、差分時間検出部１２は、通信部１０，２０を介して外部コンピュータ２００の基準再生経過時間管理部２２に対して基準再生経過時間の問い合わせを行う（ステップＳ１３）。【００３６】
上記ステップＳ３において、基準再生経過時間管理部２２がＨＭＤ１００に再生開始指示を送信した後、基準再生経過時間管理部２２は、ＨＭＤ１００から問い合わせがあったか否かを判定し（ステップＳ４）、問い合わせがない場合、処理はステップＳ６に遷移する。一方、問い合わせがあった場合、基準再生経過時間管理部２２は、その時点における基準再生経過時間をＨＭＤ１００に送信する（ステップＳ５）。ＨＭＤ１００の差分時間検出部１２は、外部コンピュータ２００から送信された基準再生経過時間を取得する。【００３７】
次いで、差分時間検出部１２は、外部コンピュータ２００から取得した基準再生経過時間と、動画像再生部１１により再生されているＶＲ動画の再生経過時間との差分を検出する（ステップＳ１４）。そして、動画像再生調整部１３は、差分時間検出部１２により検出された差分が所定の閾値を超えているか否かを判定する（ステップＳ１５）。差分が閾値を超えていない場合、処理はステップＳ１７に遷移する。一方、差分が閾値を超えている場合、動画像再生調整部１３は、当該差分を解消するように、動画像再生部１１によるＶＲ動画の再生を調整する（ステップＳ１６）。【００３８】
その後、動画像再生部１１は、動画像記憶部１５に記憶されているＶＲ動画の再生が終了したか否かを判定する（ステップＳ１７）。ＶＲ動画の再生がまだ終了していない場合、処理はステップＳ１２に戻る。一方、ＶＲ動画の再生が終了した場合、ＨＭＤ１００の処理を終了する。【００３９】
また、外部コンピュータ２００では、ステップＳ５において基準再生経過時間をＨＭＤ１００に送信した後、音声再生部２１は、音声記憶部２５に記憶されている音声の再生が終了したか否かを判定する（ステップＳ６）。音声の再生がまだ終了していない場合、処理はステップＳ４に戻る。一方、音声の再生が終了した場合、外部コンピュータ２００の処理を終了する。【００４０】
以上のように、ステップＳ１６でＨＭＤ１００の動画像再生調整部１３によりＶＲ動画の再生が適宜調整されるので、ステップＳ１７でＶＲ動画の再生が終了するタイミングと、ステップＳ６で音声の再生が終了するタイミングは同期している。【００４１】
以上詳しく説明したように、第１の実施形態によれば、外部コンピュータ２００での音声の再生と同期するように、ＶＲ動画の基準再生経過時間が外部コンピュータ２００にてマスター管理され、その基準再生経過時間と実際のＶＲ動画の再生経過時間との間に差分が生じると、その差分がなくなるように動画像再生部１１によるＶＲ動画の再生が調整される。このため、調整されたＶＲ動画の再生経過時間と基準再生経過時間とが同期（一致）するようになる。ここで、基準再生経過時間は音声の再生と同期しているので、基準再生経過時間と同期しているＶＲ動画の再生は、音声の再生にも同期することになる。これにより、第１の実施形態によれば、ＨＭＤ１００の内蔵コンピュータ１００Ａにより再生されてＨＭＤ１００のディスプレイ１００Ｂに表示される主コンテンツとしてのＶＲ動画と、外部コンピュータ２００により再生される副コンテンツとしての音声とを同期させることができる。【００４２】
（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。図４は、第２の実施形態によるＶＲ視聴システムの構成例を示す図である。ＶＲ視聴システムの全体構成は、図１と同様である。ただし、第２の実施形態によるＨＭＤ１００’および外部コンピュータ２００’が行う処理の内容は、第１の実施形態によるＨＭＤ１００および外部コンピュータ２００が行う処理の内容と異なっている。【００４３】
すなわち、第２の実施形態では、外部コンピュータ２００’が、それぞれのＨＭＤ１００’の内蔵コンピュータ１００Ａ’に問い合わせを行い、内蔵コンピュータ１００Ａ’によるＶＲ動画の再生経過時間を取得する。そして、各ＨＭＤ１００’から取得した実際の再生経過時間と、外部コンピュータ２００’によりマスター管理されているＶＲ動画の基準再生経過時間との差分を外部コンピュータ２００’にてそれぞれ検出する。ここで、差分が生じているＨＭＤ１００’に対して、内蔵コンピュータ１００Ａ’によるＶＲ動画の再生を調整するための指示を出力することにより、その差分がなくなるようにする。【００４４】
具体的には、外部コンピュータ２００’から複数のＨＭＤ１００’の内蔵コンピュータ１００Ａ’にＶＲ動画の再生開始の指示を出し、これに応じて複数のＨＭＤ１００’の内蔵コンピュータ１００Ａ’がＶＲ動画の再生を同時に開始した後、外部コンピュータ２００’が、各ＨＭＤ１００’から取得したＶＲ動画の再生経過時間と基準再生経過時間との差分を検出する。そして、何れかのＨＭＤ１００’において差分が検出された場合に、差分が検出されたＨＭＤ１００’において当該差分がなくなるように、外部コンピュータ２００’からＨＭＤ１００’に送信される指示に応じて、内蔵コンピュータ１００Ａ’によるＶＲ動画の再生を調整する。【００４５】
図５は、第２の実施形態によるＶＲ視聴システムの機能構成例を示すブロック図である。なお、この図５において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。【００４６】
図５に示すように、ＨＭＤ１００’の内蔵コンピュータ１００Ａ’は、その機能構成として、通信部１０および動画像再生部１１を備えている。また、内蔵コンピュータ１００Ａ’は、記憶媒体として、動画像記憶部１５を備えている。一方、外部コンピュータ２００’は、その機能構成として、通信部２０、音声再生部２１、基準再生経過時間管理部２２、差分時間検出部２３および動画像再生調整部２４を備えている。また、外部コンピュータ２００’は、記憶媒体として、音声記憶部２５を備えている。【００４７】
外部コンピュータ２００’の差分時間検出部２３は、通信部１０，２０を介して、ＨＭＤ１００’の動画像再生部１１に問い合わせを行うことにより、動画像再生部１１により再生されているＶＲ動画の再生経過時間を取得する。そして、当該取得したＶＲ動画の再生経過時間と、基準再生経過時間管理部２２によりマスター管理されている基準再生経過時間との差分を検出する。なお、基準再生経過時間管理部２２は、第１の実施形態と同様、複数のＨＭＤ１００’の内蔵コンピュータ１００Ａ’にＶＲ動画の再生開始を指示すると同時に、基準再生経過時間のマスター管理を開始する。【００４８】
ここで、差分時間検出部２３は、動画像再生部１１によるＶＲ動画の再生開始後（基準再生経過時間管理部２２がＨＭＤ１００’にＶＲ動画の再生開始を指示した後）に、複数のＨＭＤ１００’のそれぞれについて差分を逐次検出する。すなわち、差分時間検出部２３は、各ＨＭＤ１００’に対する再生経過時間の問い合わせを所定の時間間隔で定期的に行い、それによって取得される各ＨＭＤ１００’の再生経過時間と、基準再生経過時間管理部２２にてマスター管理されている基準再生経過時間との差分をそれぞれ逐次検出する。【００４９】
動画像再生調整部２４は、差分時間検出部２３により何れかのＨＭＤ１００’において閾値より大きい差分が検出された場合に、当該差分が検出されたＨＭＤ１００’に対して、当該検出された差分を解消するように、動画像再生部１１によるＶＲ動画の再生を調整するための指示を出力する。すなわち、動画像再生調整部２４は、動画像再生部１１によるＶＲ動画の再生の早送り、巻き戻しまたはスロー再生などを行うための指示を出力する。【００５０】
図６は、以上のように構成した第２の実施形態によるＶＲ視聴システムの動作例を示すフローチャートである。なお、図６では、１つのＨＭＤ１００’と外部コンピュータ２００’との間でやりとりされる動作例を示しているが、同様の動作が各ＨＭＤ１００’と外部コンピュータ２００’との間で実行される。【００５１】
まず、外部コンピュータ２００’の音声再生部２１は、音声記憶部２５に記憶されている音声の再生を開始する（ステップＳ３１）。これと同時に、基準再生経過時間管理部２２は、ＶＲ動画の基準再生経過時間のマスター管理（すなわち、基準再生経過時間のカウント動作）を開始する（ステップＳ３２）。また、これと同時に基準再生経過時間管理部２２は、通信部１０，２０を介して、ＨＭＤ１００’に対してＶＲ動画の再生開始指示を送信する（ステップＳ３３）。【００５２】
ＨＭＤ１００’の動画像再生部１１は、外部コンピュータ２００’から通信部１０，２０を介して送られてくる再生開始指示に応じて、動画像記憶部１５に記憶されているＶＲ動画の再生を開始する（ステップＳ４１）。この時点では、ＨＭＤ１００’の動画像再生部１１により再生されるＶＲ動画の再生経過時間と、外部コンピュータ２００’によりマスター管理されている基準再生経過時間と、音声再生部２１により再生される音声の再生経過時間とが全て同期することになる。【００５３】
上記ステップＳ３３において、基準再生経過時間管理部２２がＨＭＤ１００’に再生開始指示を送信した後、差分時間検出部２３は、所定の時間が経過したか否かを判定する（ステップＳ３４）。所定の時間が経過していない場合、処理はステップＳ３９に遷移する。一方、所定の時間が経過した場合、差分時間検出部２３は、通信部１０，２０を介してＨＭＤ１００’の動画像再生部１１に対してＶＲ動画の再生経過時間の問い合わせを行う（ステップＳ３５）。【００５４】
上記ステップＳ４１において、動画像再生部１１がＶＲ動画の再生を開始した後、動画像再生部１１は、外部コンピュータ２００’から問い合わせがあったか否かを判定し（ステップＳ４２）、問い合わせがない場合、処理はステップＳ４６に遷移する。一方、問い合わせがあった場合、動画像再生部１１は、その時点におけるＶＲ動画の再生経過時間を外部コンピュータ２００’に送信する（ステップＳ４３）。外部コンピュータ２００’の差分時間検出部２３は、ＨＭＤ１００’から送信された再生経過時間を取得する。【００５５】
次いで、差分時間検出部２３は、ＨＭＤ１００’から取得したＶＲ動画の再生経過時間と、基準再生経過時間管理部２２によりマスター管理されている基準再生経過時間との差分を検出する（ステップＳ３６）。そして、動画像再生調整部２４は、差分時間検出部２３により検出された差分が所定の閾値を超えているか否かを判定する（ステップＳ３７）。差分が閾値を超えていない場合、処理はステップＳ３９に遷移する。一方、差分が閾値を超えている場合、動画像再生調整部２４は、当該差分を解消するように、動画像再生部１１によるＶＲ動画の再生を調整するための指示をＨＭＤ１００’に送信する（ステップＳ３８）。【００５６】
上記ステップＳ４３において、動画像再生部１１がＶＲ動画の再生経過時間を外部コンピュータ２００’に送信した後、動画像再生部１１は、外部コンピュータ２００’から再生調整指示を受信したか否かを判定し（ステップＳ４４）、指示を受信していない場合、処理はステップＳ４６に遷移する。一方、指示を受信した場合、動画像再生部１１は、その指示に従ってＶＲ動画の再生を調整する（ステップＳ４５）。【００５７】
その後、動画像再生部１１は、動画像記憶部１５に記憶されているＶＲ動画の再生が終了したか否かを判定する（ステップＳ４６）。ＶＲ動画の再生がまだ終了していない場合、処理はステップＳ４２に戻る。一方、ＶＲ動画の再生が終了した場合、ＨＭＤ１００’の処理を終了する。【００５８】
また、外部コンピュータ２００’では、ステップＳ３９において音声再生部２１は、音声記憶部２５に記憶されている音声の再生が終了したか否かを判定する。音声の再生がまだ終了していない場合、処理はステップＳ３４に戻る。一方、音声の再生が終了した場合、外部コンピュータ２００’の処理を終了する。【００５９】
以上のように、ステップＳ４５で外部コンピュータ２００’の動画像再生調整部２４からの指示に従って動画像再生部１１がＶＲ動画の再生を適宜調整するので、ステップＳ４６でＶＲ動画の再生が終了するタイミングと、ステップＳ３９で音声の再生が終了するタイミングは同期している。【００６０】
以上詳しく説明したように、第２の実施形態においても第１の実施形態と同様、外部コンピュータ２００’での音声の再生と同期するように、ＶＲ動画の基準再生経過時間が外部コンピュータ２００’にてマスター管理され、その基準再生経過時間と実際のＶＲ動画の再生経過時間との間に差分が生じると、その差分がなくなるように動画像再生部１１によるＶＲ動画の再生が調整される。このため、調整されたＶＲ動画の再生経過時間と基準再生経過時間とが同期（一致）するようになる。これにより、第２の実施形態によれば、ＨＭＤ１００’の内蔵コンピュータ１００Ａ’により再生されてＨＭＤ１００’のディスプレイ１００Ｂに表示される主コンテンツとしてのＶＲ動画と、外部コンピュータ２００’により再生される副コンテンツとしての音声とを同期させることができる。【００６１】
なお、上記第１および第２の実施形態では、外部コンピュータ２００，２００’による基準再生経過時間のマスター管理の開始と同時に、ＨＭＤ１００，１００’によるＶＲ動作の再生を開始する例について説明したが、本発明はこれに限定されない。すなわち、外部コンピュータ２００，２００’によりマスター管理されているＶＲ動画の基準再生経過時間とは非同期で、ＨＭＤ１００，１００’の内蔵コンピュータ１００Ａ，１００Ａ’によりＶＲ動作の再生が開始される場合にも本発明を適用することが可能である。【００６２】
例えば、複数のＨＭＤ１００，１００’の中の１台が、外部コンピュータ２００，２００’から再生開始の指示を受けてＶＲ動画の再生を開始するのではなく、他のＨＭＤ１００，１００’において既にＶＲ動画の再生が行われている途中からＶＲ動画の再生を開始しようとする場合がこの非同期再生に該当する。または、複数のＨＭＤ１００，１００’が外部コンピュータ２００，２００’から再生開始の指示を受けてＶＲ動画の再生を同時に開始した後、その中の１台がいったんＶＲ動画の再生を停止した後に再生を再開する場合や、１台において再生の途中で不具合が生じたために最初から再生を行おうとする場合などもこの非同期再生に該当する。【００６３】
ＨＭＤ１００，１００’において上述のような非同期再生が行われる場合は、内蔵コンピュータ１００Ａ，１００Ａ’によるＶＲ動画の再生開始時間と、外部コンピュータ２００，２００’によりマスター管理されているＶＲ動画の基準再生経過時間との差分を検出し、検出した差分がなくなるように、内蔵コンピュータ１００Ａ，１００Ａ’によるＶＲ動画の再生を調整することが可能である。【００６４】
この場合、差分時間検出部１２，２３は、基準再生経過時間とは非同期でＶＲ動画の再生が開始された場合に、当該ＶＲ動画の再生が開始されたタイミングで差分を検出する。そして、動画像再生調整部１３，２４は、差分時間検出部１２，２３により検出された差分を解消するように、基準再生経過時間とは非同期でＶＲ動画の再生が開始されたＨＭＤ１００，１００’の内蔵コンピュータ１００Ａ，１００Ａ’についてＶＲ動画の再生を調整する。【００６５】
また、上記第１および第２の実施形態では、複数のＨＭＤ１００，１００’を用いる例について説明しているが、１つのＨＭＤ１００，１００’であってもよい。この場合においても、外部コンピュータ２００，２００’からＨＭＤ１００，１００’の内蔵コンピュータ１００Ａ，１００Ａ’にＶＲ動画の再生開始の指示を出し、これに応じて内蔵コンピュータ１００Ａ，１００Ａ’がＶＲ動画の再生を開始した後、上記差分が検出された場合に、検出された差分がなくなるように、内蔵コンピュータ１００Ａ，１００Ａ’によるＶＲ動画の再生を調整する。【００６６】
また、上記第１および第２の実施形態では、ＨＭＤ１００，１００’がＶＲ動画の画像データを動画像記憶部１５にあらかじめ記憶している例について説明したが、本発明はこれに限定されない。例えば、ＶＲ動画の画像データを外部コンピュータ２００，２００’にあらかじめ記憶させ、外部コンピュータ２００，２００’からＨＭＤ１００，１００’に画像データを送信して動画像記憶部１５に順次記憶させながら、動画像再生部１１が動画像記憶部１５から画像データを読み出してＶＲ動画の再生を行うようにしてもよい。【００６７】
また、上記第１および第２の実施形態では、ＶＲ動画の再生と音声出力とを同期させる例について説明したが、本発明はこれに限定されない。すなわち、ＨＭＤ１００，１００’が内蔵コンピュータ１００Ａ，１００Ａ’により主コンテンツとしてＶＲ動画を再生する一方、外部コンピュータ２００，２００’が外部機器から音声以外の副コンテンツを再生するようになされたＶＲ視聴システムであってもよい。【００６８】
この場合、外部コンピュータ２００，２００’が外部機器に対する副コンテンツの再生を行うとともに、当該副コンテンツの再生と同期するようにＶＲ動画の基準再生経過時間をマスター管理する。そして、ＨＭＤ１００，１００’の内蔵コンピュータ１００Ａ，１００Ａ’によるＶＲ動画の再生経過時間と、外部コンピュータ２００，２００’によりマスター管理されているＶＲ動画の基準再生経過時間との差分を検出し、検出した差分がなくなるように、内蔵コンピュータ１００Ａ，１００Ａ’によるＶＲ動画の再生を調整する。【００６９】
音声以外の副コンテンツの再生として、動画再生、テキスト表示、匂い出力、振動等による触覚呈示、送風、温度制御、水ミストや降水などの発生などを用いることが可能である。ここで、副コンテンツの再生は、上述した音声の再生の同様に、ＶＲ動画の再生開始から再生終了までの間、継続して同期再生する形態であってもよいし、ＶＲ動画の再生開始から再生終了までの間の所定タイミング毎に、断続的に同期再生する形態であってもよい。【００７０】
その他、上記第１および第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７１】
１１  動画像再生部
１２  差分時間検出部
１３  動画像再生調整部
２１  副コンテンツ再生部（音声再生部）
２２  基準再生経過時間管理部
２３  差分時間検出部
２４  動画像再生調整部
１００，１００’  ＨＭＤ
２０，２００’  外部コンピュータ
３００  外部スピーカ
【図１】
0006506493.tif 000002
【図２】
0006506493.tif 000003
【図３】
0006506493.tif 000004
【図４】
0006506493.tif 000005
【図５】
0006506493.tif 000006
【図６】
0006506493.tif 000007