(57)【要約】【課題】複数のカメラの視点を切り替えることが可能なＶＲ動画表示システムを提供する。【解決手段】ＶＲ動画表示システムは、仮想空間における複数のカメラ視点３２、３３、３４の動画像を選択表示する動画表示システムであって、仮想空間における動画像を表示するヘッドマウントディスプレイ１と、ヘッドマウントディスプレイ１に表示された動画像内の複数のカメラ視点３２、３３、３４の動画像から所定のカメラ視点の動画像を選択する選択手段３５と、複数のカメラ視点３２、３３、３４の動画像から選択手段３５で選択したカメラ視点の動画像に切り替える切替手段１６と、を備える。【選択図】図１
2019086578.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間における複数のカメラ視点の動画像を選択表示する動画表示システムであって、
前記仮想空間における動画像を表示するヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイに表示された動画像内の複数のカメラ視点の動画像から所定のカメラ視点の動画像を選択する選択手段と、
前記複数のカメラ視点の動画像から前記選択手段で選択したカメラ視点の動画像に切り替える切替手段と、
を備える
ことを特徴とするＶＲ動画表示システム。
【請求項２】
前記複数のカメラ視点の動画像は、表示手段で表示中の動画像上に予め動画像の所定の位置に重ねて表示されており、前記選択手段は、前記重ねて表示されている複数のカメラ視点の動画像から、いずれか１つのカメラ視点の動画像を選択する
ことを特徴とする請求項１に記載のＶＲ動画表示システム。
【請求項３】
前記選択手段は、前記検出手段により検出された傾きが下向き方向に所定の角度以上である場合に、表示される
ことを特徴とする請求項２に記載のＶＲ動画表示システム。
【請求項４】
前記切替手段は、前記ヘッドマウントディスプレイに表示される動画像の所定の領域が所定の時間以上連続して表示された場合に、前記所定の領域に応じて動画像に切り替える
ことを特徴とする請求項１〜３のいずれか１項に記載の動画表示システム。
【請求項５】
前記複数のカメラ視点動画像は、ユーザへの課金額に応じて表示する個数が決定される
ことを特徴とする請求項１〜４のいずれか１項に記載の動画表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＶＲ動画表示システムに関し、特にＶＲ動画表示システムにおけるメニュー表示と動画切替に関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイ（以下、ＨＭＤ）と呼ばれる、ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想得空間の画像を表示する装置が知られている。ＨＭＤにてアプリケーション（ゲームや動画表示等）の進行中のメニューの表示、非表示の切換方法として、例えば、ユーザの頭部の動きによる操作でメニューを表示／非表示操作可能なヘッドマウントディスプレイシステムが開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５７６７３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、カメラの視点が１箇所のみであり、ユーザの見るカメラの視点が固定されてしまう。
【０００５】
本発明は、上記課題を鑑みて、複数のカメラの視点を切り替えることが可能なＶＲ動画表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のＶＲ動画表示システムは、仮想空間における複数のカメラ視点の動画像を選択表示する動画表示システムであって、前記仮想空間における動画像を表示するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイに表示された動画像内の複数のカメラ視点の動画像から所定のカメラ視点の動画像を選択する選択手段と、前記複数のカメラ視点の動画像から前記選択手段で選択したカメラ視点の動画像に切り替える切替手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数のカメラの視点を切り替えることが可能なＶＲ動画表示システムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】ＶＲ動画表示システムの全体の概要を示す図である。
【図２】ＶＲ動画の視聴イメージを示す図である。
【図３】ユーザが頭部を所定の角度下げた際に表示されるメニューを示す図である。
【図４】各カメラ視点映像を切り替えた際の各カメラ視点映像を示す図である。
【図５】カメラ視点映像を切り替える処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための最良の形態について図面などを参照して説明する。
【００１０】
図１は、ＶＲ動画表示システムの全体の概要を示す図である。本実施形態に係るＶＲ動画表示システムは、仮想空間における複数のカメラ視点の動画像を選択表示する動画表示システムであって、ユーザ２の頭部に装着するヘッドマウントディスプレイ１を備える。ＨＭＤ１は、制御部１１と、表示部１２と、傾き検出部１３と、計測部１４と、判定部１５と、切替部１６を備える。
【００１１】
制御部１１は、表示部１２と、傾き検出部１３と、計測部１４と、判定部１５と、切替部１６の全体を制御する。表示部１２は、ユーザ２の視界を完全に覆うように構成された非透過型の表示装置である。ユーザ２は、表示部１２に表示される画面（動画、ゲーム等）のみを観察することができる。ＨＭＤ１を装着したユーザ２は、ＨＭＤ１の外の視界を全て遮られて、制御部１１において実行されるアプリケーションにより表示される仮想空間に完全に没入することができる。傾き検出部１３は、不図示の傾き検知センサによりユーザ２の頭部に装着されたＨＭＤ１の動きに応じてＨＭＤ１の傾きを検出する。本実施形態では、ユーザ２が直立する方向である重力方向をＺ軸とし、Ｚ軸と直行し表示部１２とユーザ２を結ぶ方向の軸をＸ軸とし、Ｚ軸とＸ軸と直行する方向の軸をＹ軸とする。傾き検出部１３は、各軸の角度や軸周りの角度を検出する。
【００１２】
計測部１４は、ＨＭＤ１の動きが止まった（ユーザ２が凝視している）際の時間経過を計測する。例えば、再生中のＨＭＤ１の動きが止まった（所定の閾値（第１の閾値）未満）に計測を開始し、傾き検出部１３により所定の閾値（第２の閾値）以上ＨＭＤ１が動いたことを検出するまでの時間を計測する。そして、計測した時間が所定の時間以上である場合に、そのカメラ視点映像を保存する。例えば、２回目以降の再生の際に保存したカメラ視点映像を再生させてよい。判定部１５は、所定の判定基準に従って判定を行う。具体的には、傾き検出部１３が検出したＨＭＤ１の傾きの角度が所定の値（角度）以上か否かを判定する。切替部１６は、表示部１２に表示される後述のポインタ（選択手段）の選択に応じてカメラ視点の映像を切り替える。
【００１３】
図２は、本実施形態に係るＶＲ動画の視聴イメージを示す図である。本実施形態では、ＶＲ動画（３６０度動画）として音楽のライブ映像を例として説明する。なお、ＶＲ動画は音楽ライブ映像に限定することなく、例えば、スポーツの映像やゲーム等の他の映像であてよい。図２に示すイメージとしては、音楽のライブ会場でユーザ２がステージ正面にいてライブを楽しむ視聴イメージである。
【００１４】
画像２１は、ユーザ２がＨＭＤ１を装着してＶＲ動画を視聴している状態で、ステージ正面を視聴している際の画像である。画像２２は、ユーザ２がＨＭＤ１を装着してＶＲ動画を視聴している状態で、頭部のみを左方向に向けた際に観られる画像である。画像２３は、ユーザ２がＨＭＤ１を装着してＶＲ動画を視聴している状態で、頭部のみを右方向に向けた際に観られる画像である。ユーザ２は、ＨＭＤ１を装着した状態で音楽ライブのＶＲ動画を視聴する際には、頭部を動かすだけで、正面画像のみならず、３６０°の全方位の画像を視聴することができ、自身がそのライブ会場の最前列で音楽ライブを視聴している感覚になる。
【００１５】
図３は、ユーザ２がＨＭＤ１を装着した状態で頭部を所定の角度下げた状態で表示されるメニューを示す図である。画像３１は、ユーザ２がＨＭＤ１を装着してＶＲ動画を視聴している状態で、頭部を所定の角度下げた際に表示される画像である。画像３１には、第１カメラ視点映像３２と、第２カメラ視点映像３３と、第３カメラ視点映像３４と、ポインタ３５がライブ映像の前面に重ね合わせた状態で表示される。
【００１６】
第１カメラ視点映像３２と、第２カメラ視点映像３３と、第３カメラ視点映像３４は、ユーザ２がＨＭＤ１を装着した状態で、頭部を所定の角度だけ下げることにより視覚に入るように予め表示部１２に重ね合わせた状態で表示されている。つまり、傾き検出部１３がＨＭＤ１の傾きを計測し、所定の角度を検出した場合にのみ表示させるのではなく、予め表示している。
【００１７】
ポインタ３５は、傾き検出部１３がＨＭＤ１の傾きを計測し、所定の角度を検出した場合に表示部１２に表示される。ユーザ２は、所定の角度だけ頭部を下げて各カメラ視点映像とポインタ３５が表示されている状態で、ポインタ３５を移動させて、複数のカメラ視点映像から所望するカメラ視点映像を選択する。そして、切替部１６により選択したカメラ視点映像へ切り替えて表示部１２に表示する。ポインタ３５の選択方法としては、例えば、ポインタ３５が画面中央に表示されており、ユーザ２が頭部を移動させることでポインタ３５移動する方法であってよく、ユーザ２の視線を不図示の検出手段で検出してユーザ２の視線によりポインタ３５を移動する方法であってよい。なお、ポインタ３５の移動方法については、上記の方法に限定しない。
【００１８】
本実施形態では、「Ｎｏｗ  Ｐｌａｙｉｎｇ」が現在ＶＲ動画としてユーザ２が視聴しているカメラ視点の映像が第１カメラ視点映像３２の映像であることを示す。ここで、カメラ視点とは、音楽ライブ会場にて観覧席を切り替える視点であることを示す。つまり、本実施形態において、第１カメラ視点映像３２は、音楽ライブ会場にて会場の正面で観覧する場合の視点を示し、第２カメラ視点映像３３は、音楽ライブ会場にて会場のステージ正面左で観覧する場合の視点を示し、第３カメラ視点映像３４は、音楽ライブ会場にて会場のステージ正面右で観覧する場合の視点を示す。
【００１９】
図４は、各カメラ視点映像を切り替えた際の各カメラ視点映像を示す図である。画像４２は、第１カメラ視点映像３２の動画像であり、画像４３は、第２カメラ視点映像３３の動画像であり、画像４４は、第３カメラ視点映像３４の動画像である。ユーザ２は、ポインタ３５により所望のカメラ視点映像を選択し、切替部１６により選択したカメラ視点映像に切り替えて表示部１２に表示することで、所望の位置で音楽ライブを観覧している状態となる。本実施形態では、ポインタ３５を用いてユーザ２の所望するカメラ視点映像を選択しているが、これに限定することなく、所定のタイミングで自動的にカメラ視点映像を切り替えてもよい。
【００２０】
図５は、ポインタ３５を用いてカメラ視点映像を切り替える処理を示すフローチャートである。まず、ステップＳ５０１で、不図示のサーバから映像がストリーミング配信されてＶＲ動画が再生される。ＶＲ動画の再生のタイミングについては、例えば、ユーザ２がＨＭＤ１を装着したタイミングであってよく、ユーザ２がＨＭＤ１を装着した状態で所定のボタンを押したタイミグであってよく、そのタイミングについては、限定しない。
【００２１】
また、再生するＶＲ動画については、最初の再生の場合はデフォルトのＶＲ動画であってよい。また、２回目以降にＶＲ動画を再生する場合には、それまで再生したＶＲ動画において、計測部１４で計測したユーザ２の視聴時間や凝視時間が長いカメラ視点映像を選択して再生してもよい。具体的には、最初に再生する場合には、図４に示す第１カメラ視点映像３２の画像４２を再生する。そして、２回目以降は、ユーザ２の視聴時間や凝視時間が長いカメラ視点映像を選択して再生する。具体的には、前回までの再生で、計測部１４が計測した第２カメラ視点映像３３の画像４３を凝視する時間が一定時間以上である場合（つまり、ＨＭＤ１に表示される動画像の所定の領域が所定の時間以上連続して表示された場合）、ステップＳ５０１で第２カメラ視点映像３３の画像４３を再生する。
【００２２】
次に、ステップＳ５０２で、判定部１５は、傾き検出部１３が所定の角度を検出したか否かを判定する。具体的には、Ｘ軸とＺ軸の間の角度（ユーザ２が正面を向いた状態を０°とし、正面を向いた状態から下向き方向（地面を見る方向）の角度θ）を検出し、角度θが所定の角度αを超えたか否かを判定する。ステップＳ５０２で判定部１５が、傾き検出部１３が検出したＨＭＤ１の角度θが所定の角度αを超えたと判定した場合（Ｙｅｓ）、ステップＳ５０３に進み、所定の角度αを超えていないと判定した場合（Ｎｏ）、そのままＶＲ動画を再生し続ける。
【００２３】
次に、ステップＳ５０３で、表示部１２にポインタ３５が再生中のＶＲ動画に重ね合わせて表示される。この時、図３に示すように、各カメラ視点映像は、表示部１２に予め再生中のＶＲ動画に重ね合わせて表示されているものとする。次に、ステップＳ５０４で、ポインタ３５により、カメラ視点映像が選択されたか否かを判定する。具体的には、判定部１５が、ポインタ３５で第１カメラ視点映像３２、第２カメラ視点映像３３、第３カメラ視点映像３４の中から、表示中のカメラ視点映像以外のいずれかのカメラ視点映像を選択したか否かを判定する。
【００２４】
ステップＳ５０４で判定部１５が再生中のカメラ視点映像以外の所定のカメラ視点映像を選択したと判定した場合（Ｙｅｓ）、ステップＳ５０５に進み、再生中のカメラ視点映像以外の所定のカメラ視点映像を選択していないと判定した場合（Ｎｏ）、そのままＶＲ動画を再生し続ける。次に、ステップＳ５０５で、切替部１６により、選択した所定のカメラ視点映像に切り替えて表示部１２に表示させて処理を終了する。
【００２５】
以上、本実施形態によれば、複数のカメラの視点の映像を切り替えることが可能なＶＲ動画表示システムを提供することができる。これにより、ユーザ２がＨＭＤ１を装着した状態で音楽ライブのライブ会場の複数の場所で音楽ライブを観覧しているような感覚になることができる。
【００２６】
本実施形態では、再生中のＶＲ動画に選択用の第１カメラ視点映像３２、第２カメラ視点映像３３、第３カメラ視点映像３４を重ねて表示させているが、これに限定することなく、例えば、カメラ視点映像以外の早送りや２倍速、スロー、スキップなどのメニューを表示させてもよい。
【００２７】
また、本実施形態では、音楽ライブのＶＲ動画を用いて説明したが、これに限定することなく、例えば、スポーツの映像やゲーム等の他の映像であてよい。スポーツ映像の場合は、野球観戦であれば、１塁側、３塁側、バックスタンド、バックネット裏等のカメラ視点映像を切り替えてよく、バドミントンであれば、各コートからの視点や審判の視点等のカメラ視点映像を切り替えてよい。ゲームの映像の場合、登場人物の目線に応じたカメラ視点映像を切り替えてもよい。
【００２８】
また、本実施形態では、ポインタ３５を用いて複数のカメラ視点映像からユーザ２の所望するカメラ視点映像を選択して切り替えているが、これに限定することなく、所定のタイミングで自動的に切り替えてもよい。具体的には、ＨＭＤ１が閾値以上の動きが無い状態で、計測部１４が一定時間以上の時間を計測した場合に、その画像の中央の所定座標を追尾する対象と設定する。そして、追尾する対象の動きに応じて自動的にカメラ視点映像を切り替えてもよい。つまり、図４に示す第３カメラ視点３４の画像４４を再生中に追尾する対象を設定した場合、当該追尾対象がステージ上で、例えば、ステージ正面右（第３カメラ視点映像３４）からステージ正面左（第２カメラ視点映像３３）に移ると、自動的に第２カメラ視点映像３３の画像４３に切り替わる。
【００２９】
また、本実施形態では、再生中のＶＲ動画像上に第１カメラ視点映像３２、第２カメラ視点映像３３、第３カメラ視点映像３４を重ねて表示させているが、例えば、課金額に応じて選択するカメラ視点映像の個数を変更してもよい。具体的には、課金のランク付けをする（例えば、高額課金をしたユーザ２は、ランクＡのユーザ、少額課金をしたユーザ２は、ランクＢのユーザとする）。この場合、ランクＡのユーザは、再生中のＶＲ動画に第１カメラ視点映像３２、第２カメラ視点映像３３、第３カメラ視点映像３４を重ねて表示させる。一方、ランクＢのユーザについては、再生可能なＶＲ動画を第１カメラ視点映像３２のみとし、他のカメラ視点映像を表示させず、ポインタ３５も表示させない。ユーザ２の課金ランクについては、不図示のサーバに予め課金ランクを登録している状態で、ステップＳ５０１でサーバからストリーミング配信をする際に課金のランクを判定し、判定結果に応じて、ストリーミング配信を行ってもよい。
【００３０】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００３１】
１    ＨＭＤ（ヘッドマウントディスプレイ）
１６  切替部
３２  第１カメラ視点映像
３３  第２カメラ視点映像
３４  第３カメラ視点映像
３５  ポインタ
【図１】
2019086578.tif 000003
【図２】
2019086578.tif 000004
【図３】
2019086578.tif 000005
【図４】
2019086578.tif 000006
【図５】
2019086578.tif 000007