(57)【要約】  本技術は、仮想空間において相手が見ている画像と相手のいる位置を同時に把握することができるようにする画像処理装置、画像処理方法、および画像提供システムに関する。ＨＭＤは、仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た他のユーザの視点画像と、他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する。表示制御部は、他のユーザの前記視点位置情報および視線情報を用いて求められる仮想空間内のユーザおよび他のユーザの位置関係に基づいて、ユーザの視点画像上に重畳する他のユーザの視点画像の表示を制御する。本技術は、モデルルーム内覧システムに適用することができる。
2019155876.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部と
を備える画像処理装置。
【請求項２】
前記表示制御部は、前記他のユーザの視点画像の位置、サイズ、および透過率の少なくとも１つを制御する
請求項１に記載の画像処理装置。
【請求項３】
前記表示制御部は、前記ユーザの視線方向を示す視線情報と前記他のユーザの前記視線情報から得られる情報に基づいて、前記他のユーザの視点画像の表示を制御する
請求項１に記載の画像処理装置。
【請求項４】
前記情報は、視差であり、前記表示制御部は、前記視差が小さくなるにつれて、前記他のユーザの視点画像を前記ユーザの視点画像の中央に移動させる
請求項３に記載の画像処理装置。
【請求項５】
前記表示制御部は、前記視差が第１の閾値以下になった場合、前記他のユーザの視点画像を大きく表示させる
請求項４に記載の画像処理装置。
【請求項６】
前記表示制御部は、前記視差が大きくなるにつれて、前記他のユーザの視点画像を前記ユーザの前記視線情報から得られる視野から外れる方向に移動させる
請求項５に記載の画像処理装置。
【請求項７】
前記表示制御部は、前記視差が前記第１の閾値よりも大きい第２の閾値以上になった場合、前記他のユーザの視点画像の表示を終了する
請求項６に記載の画像処理装置。
【請求項８】
前記情報は、視野が重なり合う割合であり、前記表示制御部は、前記割合が大きくなるにつれて、前記他のユーザの視点画像のサイズおよび透過率の少なくとも１つを大きくし、前記割合が小さくなるにつれて、前記他のユーザの視点画像のサイズおよび透過率の少なくとも１つを小さくする
請求項３に記載の画像処理装置。
【請求項９】
前記表示制御部は、前記割合が所定の閾値以上になった場合、前記他のユーザの視点画像の表示を終了する
請求項８に記載の画像処理装置。
【請求項１０】
前記表示制御部は、前記他のユーザの視点画像の表示を終了した後、前記割合が前記所定の閾値以下になった場合、前記他のユーザの視点画像の表示を再開する
請求項９に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記ユーザが前記他のユーザの視点画像に顔を向けた場合、前記他のユーザの視点画像を前記ユーザの視野の中心方向に移動させる
請求項３に記載の画像処理装置。
【請求項１２】
前記表示制御部は、前記他のユーザの視点画像が前記ユーザの前記視野の中心に位置した状態で静止した場合、前記他のユーザの視点画像上にタイマを表示させる
請求項１１に記載の画像処理装置。
【請求項１３】
前記表示制御部は、前記タイマを終了させた場合、前記他のユーザの視点画像の表示を終了させ、前記他のユーザの視点画像と同一の前記ユーザの視点画像を表示させる
請求項１２に記載の画像処理装置。
【請求項１４】
前記表示制御部は、前記タイマを終了させる前に、前記ユーザが視線をずらした場合、前記他のユーザの視点画像の表示を終了させ、前記ユーザの視点画像を表示させる
請求項１２に記載の画像処理装置。
【請求項１５】
前記表示制御部は、前記ユーザの視点または前記他のユーザの視点が移動して、前記ユーザから見た前記他のユーザの視点の方向ベクトルの変化が所定の閾値以上になった場合、前記他のユーザの視点画像の表示を再開させる
請求項１４に記載の画像処理装置。
【請求項１６】
前記ユーザの前記視線情報は、前記ユーザの動きを検出するセンサから得られる
請求項３に記載の画像処理装置。
【請求項１７】
前記センサは、ヘッドマウントディスプレイに設けられる
請求項１６に記載の画像処理装置。
【請求項１８】
前記他のユーザの視点画像のビットレート配分は、前記他のユーザの視点画像のサイズまたは透過率に基づいて変更される
請求項１に記載の画像処理装置。
【請求項１９】
画像処理装置が、
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信し、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する
画像処理方法。
【請求項２０】
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部と
を備える画像処理装置と、
前記ユーザの視点画像と前記他のユーザの視点画像を、前記他のユーザの視点画像のサイズまたは透過率に応じたビットレート配分で前記画像処理装置に送信する送信部を
備える画像提供装置と
からなる画像提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、および画像提供システムに関し、特に、仮想空間において相手が見ている画像と相手のいる位置を同時に把握することができるようにした画像処理装置、画像処理方法、および画像提供システムに関する。
【背景技術】
【０００２】
特許文献１においては、ヘッドマウントディスプレイ（ＨＭＤ）で見える他のユーザの視線方向の画像を、ユーザが使用しているＨＭＤに表示するようにした技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／１１５３９３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の提案では、表示されている他のユーザの視線方向の画像から、ユーザがどこにいるのかを把握することが難しい。【０００５】
本技術はこのような状況に鑑みてなされたものであり、仮想空間において相手が見ている画像と相手のいる位置を同時に把握することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部とを備える。【０００７】
本技術の他の側面の画像提供システムは、仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部とを備える画像処理装置と、前記ユーザの視点画像と前記他のユーザの視点画像を、前記他のユーザの視点画像のサイズまたは透過率に応じたビットレート配分で前記画像処理装置に送信する送信部を備える画像提供装置とからなる。【０００８】
本技術の一側面においては、仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とが受信される。そして、前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示が制御される。【０００９】
本技術の他の側面においては、仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とが受信される。そして、前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示が制御される。また、前記ユーザの視点画像と前記他のユーザの視点画像が、前記他のユーザの視点画像の大きさまたは透過率に応じたビットレート配分で前記画像処理装置に送信される。
【発明の効果】
【００１０】
本技術によれば、仮想空間において相手が見ている画像と相手のいる位置を同時に把握することができる。【００１１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用したモデルルーム内覧システムを説明する図である。
【図２】自由視点画像空間の構成例を示す図である。
【図３】視点非共有モードと視点共有モードの表示画面例を示す図である。
【図４】サーバの構成例を示すブロック図である。
【図５】ＨＭＤの構成例を示すブロック図である。
【図６】子画面の初期表示位置の例を示す図である。
【図７】ユーザ１の視点とユーザ２の視点が同一である合の子画面の水平方向の初期表示位置の例を示す図である。
【図８】ユーザ１の視点とユーザ２の視点が異なる場合の子画面の水平方向の初期表示位置の例を示す図である。
【図９】子画面のサイズが初期表示状態の場合の表示画面の例を示す図である。
【図１０】子画面のサイズが拡大表示された状態の表示画面の例を示す図である。
【図１１】子画面のサイズが最大表示された状態の表示画面の例を示す図である。
【図１２】子画面が表示画面の視野から外れた状態の表示画面の例を示す図である。
【図１３】子画面が表示画面の視野から消えた状態の表示画面の例を示す図である。
【図１４】子画面の表示割合とビットレート割り当て配分の例を示す図である。
【図１５】モデルルーム内覧システムのサービスのコンテンツの表示制御処理を説明するフローチャートである。
【図１６】図１５のステップＳ１４における視点共有モードの表示制御処理を説明するフローチャートである。
【図１７】サーバの画像提供処理を説明するフローチャートである。
【図１８】図１７のステップＳ５２の視点非共有モードの画像提供処理を説明するフローチャートである。
【図１９】図１７のステップＳ５４の視点共有モードの画像提供処理を説明するフローチャートである。
【図２０】ユーザ１の視点とユーザ２の視点が同一である場合の子画面の表示画面の遷移の例を示す図である。
【図２１】図２０に続く、ユーザ１の視点とユーザ２の視点が同一である場合の表示画面の遷移の例を示す図である。
【図２２】ユーザ１の視点とユーザ２の視点が異なる場合の子画面の表示画面の遷移の例を示す図である。
【図２３】図２２に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【図２４】図２３に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【図２５】図２４に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【図２６】図２５に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【図２７】図２６に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【図２８】図２１乃至図２７を参照して上述した視点共有モードの表示制御処理を説明するフローチャートである。
【図２９】図２８に続く、視点共有モードの表示制御処理を説明するフローチャートである。
【図３０】図２９に続く、視点共有モードの表示制御処理を説明するフローチャートである。
【図３１】ＨＭＤのハードウェア構成例を示すブロック図である。
【図３２】サーバのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（モデルルーム内覧システム）
２．第２の実施の形態（モデルルーム内覧システムの他の例）
３．第３の実施の形態（観光システム）
【００１４】
＜第１の実施の形態＞
＜システムの構成例＞
図１は、本技術を適用した画像提供システムとしての、モデルルーム内覧システムを説明する図である。
【００１５】
モデルルーム内覧システムは、図１に示すように、ユーザが、自宅のリビングや不動産屋にて、ヘッドマウントディスプレイ（ＨＭＤ）を着用し、サーバにアクセスすることで、モデルルーム内覧サービスのコンテンツを視聴することに用いるものである。モデルルーム内覧システムは、不動産ビジネスなどに用いられる。自由視点画像空間であるモデルルームは、リビング、キッチン、寝室、トイレ、バスルームなどで構成される。
【００１６】
図１の例においては、夫であるユーザ１がＨＭＤ１１−１を着用して、サーバ１２にアクセスし、モデルルーム中のリビングのコンテンツを見ている。妻であるユーザ２は、ＨＭＤ１１−２を着用して、サーバ１２にアクセスし、モデルルーム中のキッチンのコンテンツを見ている。
【００１７】
ＨＭＤ１１−１は、自由視点画像空間におけるユーザ１の位置を示す視点位置情報および視線方向を示す視線情報をサーバ１２に送信し、サーバ１２から送信されてくる画像を用いて、ユーザ１の視野（Field Of View）の範囲の画像である視野画像（View Port）を生成する。後述するように、ＨＭＤ１１−１において表示する視野画像は、サーバ１２から送信されてきた視点画像に基づいて、ＨＭＤ１１−１において生成され、表示される。また、ＨＭＤ１１−１は、生成したユーザ１の視野画像の表示を制御する。
【００１８】
ここで、視点位置情報とは、ユーザの自由視点画像空間内における立ち位置（頭の位置）を表す位置情報である。ユーザは、図示せぬコントローラなどを操作することで、立ち位置を変更することができる。また、視線情報とは、ユーザの視野を形成するためのPitch、Yawなどで表される視点を起点とするベクトル情報のことである。ＨＭＤの場合、ユーザは、首振り動作によって、視線を変えることができる。
【００１９】
ＨＭＤ１１−２は、自由視点画像空間におけるユーザ２の視点位置情報および視線情報をサーバ１２に送信し、サーバ１２から送信されてくる画像を用いて、ユーザ２の視野の範囲の画像である視野画像を生成する。ＨＭＤ１１−２は、生成したユーザ２の視野画像の表示を制御する。
【００２０】
サーバ１２は、モデルルーム内覧システムを用いて視聴可能なコンテンツとして、例えば、モデルルームを複数の視点から撮像して得られた動画像を含む、いわゆる自由視点画像空間のコンテンツを有している。
【００２１】
サーバ１２は、自由視点画像空間におけるユーザ１の視点位置情報および視線情報に基づいて生成された画像を、ＨＭＤ１１−１に送信する。サーバ１２は、自由視点画像空間におけるユーザ２の視点位置情報および視線情報に基づいて生成された画像を、ＨＭＤ１１−２に送信する。
【００２２】
モデルルーム内覧システムを用いることにより、ユーザは、あたかもモデルルームで内覧しているかのような臨場感で、モデルルームを体験することができる。
【００２３】
なお、ユーザは、操作端末として、ＨＭＤに限らず、スマートフォンやタブレット端末を用いて専用アプリケーションを立ち上げることで、モデルルーム内覧システムを利用することもできる。
【００２４】
＜自由視点画像空間の構成例について＞
図２は、自由視点画像空間の構成例を示す図である。
【００２５】
図２には、自由視点画像空間であるモデルルームを上から見た状態が模式的に示されている。
【００２６】
モデルルームは、リビングとキッチンから構成される。リビングの上には、右側に設けられているドアを介してキッチンが繋がっている。
【００２７】
１の数字を付して示す丸は、ユーザ１を表し、２の数字を付して示す丸は、ユーザ２を表す。丸と２つの直線が接する部が視点位置であり、視点から延びる２つの直線の間の範囲がユーザの視野を表す。
【００２８】
ユーザ１は、リビングにいて、上方向を向いている。ユーザ２は、キッチンにいて左上方向を向いている。ユーザ２は、ユーザ１に対して、左上方向に位置する。
【００２９】
ユーザ１とユーザ２は、ドアを介して、リビングとキッチンを行き来することができる。
【００３０】
＜視点非共有モードと視点共有モード＞
図３は、ＨＭＤ１１−１における視点非共有モードと視点共有モードの表示画面例を示す図である。
【００３１】
モデルルーム内覧システムは、表示モードとして、視点非共有モードと視点共有モードを有している。視点非共有モードは、各ユーザが自分の視野画像を表示する表示モードである。視点共有モードは、自分の視野画像の上に、他のユーザの視野画像を重畳して表示することで、他のユーザの視野画像を共有する表示モードである。
【００３２】
ＨＭＤ１１−１およびＨＭＤ１１−２がモデルルーム内覧サービスにログインすると、ユーザ１の視点位置情報および視線情報と、ユーザ２の視点位置情報および視線情報がそれぞれサーバ１２に送信される。
【００３３】
サーバ１２は、自由視点画像空間におけるユーザ１の視点位置情報に基づいて生成されたユーザ１の視点から見たユーザ１の視点画像をＨＭＤ１１−１に送信する。サーバ１２は、自由視点画像空間におけるユーザ２の視点位置情報に基づいて生成されたユーザ２の視点から見たユーザ２の視点画像をＨＭＤ１１−２に送信する。
【００３４】
ＨＭＤ１１−１およびＨＭＤ１１−２には、視点非共有モードの表示画面が表示される。
【００３５】
表示画面Ｖ１は、視点非共有モードの画面である。ＨＭＤ１１−１は、表示画面Ｖ１に示されるように、サーバ１２から供給された視点画像を用いてＨＭＤ１１−１の視野に合わせて生成したユーザ１の視野画像（リビング）の表示を制御する。図示されないが、ＨＭＤ１１−２は、サーバ１２から供給された視点画像を用いてＨＭＤ１１−２の視野に合わせて生成したユーザ２の視野画像（キッチン）の表示を制御する。
【００３６】
ＨＭＤ１１−２は、ユーザ２の操作に基づいて、ユーザ２が見ているキッチンの設備をユーザ１に見てほしいという視点共有を要求する信号である視点共有リクエスト信号をサーバ１２に送信する。サーバ１２は、自由視点画像空間におけるユーザ２の視点位置情報および視線情報と、ユーザ２の視点位置情報および視線情報に基づいて生成されたユーザ２の視点画像を、ＨＭＤ１１−１に送信する。
【００３７】
表示画面Ｖ２は、視点共有モードの画面である。ＨＭＤ１１−１は、ユーザ１の視野画像の上に、ユーザ２の視野画像を子画面Ｗ１として重畳した表示画面Ｖ２を生成し、表示させる。ＨＭＤ１１−１に表示されるユーザ２の視野画像は、サーバ１２から供給された視点画像を用いて子画面の視野に合わせて生成された画像である。
【００３８】
表示画面Ｖ２において、ユーザ１が、子画面Ｗ１に視線を向ける。これに対応して、ＨＭＤ１１−１は、ユーザ１の視野画像の中央に移動させ、拡大した子画面Ｗ２を重畳した表示画面Ｖ３を生成し、表示させる。
【００３９】
さらに、表示画面Ｖ３において、ユーザ１の視線が、子画面の中心と一致した場合、ＨＭＤ１１−１は、ユーザ１の視野画像の上に、略最大にした子画面Ｗ３を重畳させた表示画面Ｖ４を生成し、表示させる。
【００４０】
以上のように、ＨＭＤ１１−１においては、ユーザ１が見ているリビングの視野画像に、ユーザ２が見ているキッチンの視野画像が重畳される。すなわち、モデルルーム内覧システムにおいては、自分が見ている視野画像を、他のユーザと共有することができる。
【００４１】
また、以上のようにして、ユーザ１が見ている、表示画面における子画面（注視領域）のサイズに応じて、サーバ１２においてはビットレートの割合が制御される。
【００４２】
視点非共有モードの表示画面Ｖ１の場合、サーバ１２は、ユーザ１の視点画像にすべてのビットレートを割り当てて伝送してくる。
【００４３】
視点共有モードの表示画面Ｖ２の場合、サーバ１２は、ユーザ１の視点画像とユーザ２の視点画像を同時に伝送するが、ユーザ２の視点画像へのビットレート割り当てはまだ低い。
【００４４】
視点共有モードの表示画面Ｖ３の場合、サーバ１２は、ユーザ１の視点画像とユーザ２の視点画像を同時に伝送する。このとき、ユーザ２の視点画像を優先的に送るために、サーバ１２は、ユーザ２の視点画像へのビットレート割り当てを増大する。
【００４５】
視点共有モードの表示画面Ｖ４の場合、サーバ１２は、ユーザ１の視点画像とユーザ２の視点画像を同時に伝送する。このとき、サーバ１２は、ユーザ２の視点画像へのビットレート割り当てを最優先で最大にする。
【００４６】
＜サーバの構成例＞
図４は、サーバの構成例を示すブロック図である。
【００４７】
サーバ１２は、自由視点画像空間モデルＤＢ３１、視点画像生成部３２−１、視点画像生成部３２−２、視点画像圧縮部３３−１、視点画像圧縮部３３−２、視点画像圧縮部３３−３、多重化部３４、およびレート配分制御部３５から構成される。
【００４８】
図中、上り伝送とは、ＨＭＤ１１−１または１１−２からサーバ１２への伝送を表し、下り伝送とは、サーバ１２からＨＭＤ１１−１または１１−２への伝送を表す。
【００４９】
ＨＭＤ１１−１から送信されたユーザ１の視点位置情報および視線情報は、視点画像生成部３２−１に供給される。ＨＭＤ１１−１から送信されたユーザ１が注視している子画面のサイズを示すユーザ１の注視領域情報は、レート配分制御部３５に供給される。ＨＭＤ１１−２からユーザ２の視点位置情報および視線情報、並びに、視点共有リクエスト信号は、視点画像生成部３２−２に供給される。ユーザ１の注視領域情報は、ユーザ１が注視している子画面の透過率を示す情報であってもよい。
【００５０】
自由視点画像空間モデルＤＢ３１は、モデルルームを複数の視点から撮像して得られた動画像を含む自由視点の全天球画像を記憶する。全天球画像の自由度は、自由視点画像の自由度である６ＤｏＦ(Degree of Freedom)である。なお、360°視点固定見回し型ＶＲ(Virtual Reality)の場合の自由度である３ＤｏＦに、複数視点（１つ以上の視点）が追加されたものが全天球画像の自由度であってもよい。
【００５１】
視点画像生成部３２−１は、ＨＭＤ１１−１から供給されたユーザ１の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ１の視点画像であるユーザ１の視点の全天球画像を生成する。視点画像生成部３２−１は、生成したユーザ１の視点の全天球画像を、視点画像圧縮部３３−１に出力する。
【００５２】
視点画像生成部３２−２は、ＨＭＤ１１−２から供給されたユーザ２の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ２の視点画像であるユーザ２の視点の全天球画像を生成する。視点画像生成部３２−２は、生成したユーザ２の視点の全天球画像を、視点画像圧縮部３３−３に出力する。また、視点画像生成部３２−２は、ＨＭＤ１１−２から視点共有リクエスト信号が供給された場合、生成したユーザ２の視点の全天球画像を、視点画像圧縮部３３−２にも出力する。
【００５３】
視点画像圧縮部３３−１は、視点非共有モードの場合、ユーザ１の視点の全天球画像をＥＲＰ(EquiRectangular Projection：正距円筒図法)投影変換し、ユーザ１の圧縮ＥＲＰ画像を生成する。視点共有モードの場合、ユーザ１の圧縮ＥＲＰ画像は、レート配分制御部３５から供給されたビットレートを制御するビットレート制御信号に基づいて生成される。視点画像圧縮部３３−１は、生成したユーザ１の圧縮ＥＲＰ画像を多重化部３４に出力する。なお、変換の方式はＥＲＰに限定されない。
【００５４】
視点画像圧縮部３３−２は、視点共有モードの場合、レート配分制御部３５から供給されたビットレートを制御するビットレート制御信号に基づいて、ユーザ２の視点の全天球画像をＥＲＰ投影変換して、ユーザ２の圧縮ＥＲＰ画像を生成する。視点画像圧縮部３３−２は、生成したユーザ２の圧縮ＥＲＰ画像を多重化部３４に出力する。
【００５５】
視点画像圧縮部３３−３は、ユーザ２の視点の全天球画像をＥＲＰ投影変換して、ユーザ２の圧縮ＥＲＰ画像を生成する。視点画像圧縮部３３−３は、生成したユーザ２の圧縮ＥＲＰ画像を、ＨＭＤ１１−２に送信する。
【００５６】
多重化部３４は、視点非共有モードの場合、視点画像圧縮部３３−１から供給されたユーザ１の圧縮ＥＲＰ画像を用いて、圧縮画像ストリームを生成する。多重化部３４は、視点共有モードの場合、視点画像圧縮部３３−１から供給されたユーザ１の圧縮ＥＲＰ画像、視点画像圧縮部３３−２から供給されたユーザ２の圧縮ＥＲＰ画像を多重化し、圧縮画像ストリームを生成する。多重化部３４は、圧縮画像ストリームをＨＭＤ１１−１に送信する。このとき、ユーザ２の視点位置情報および視線情報もメタデータとして送信される。
【００５７】
レート配分制御部３５は、視点共有モードの場合、ＨＭＤ１１−１から供給されたユーザ１の注視領域情報に基づいて、ユーザ１の視点の全天球画像とユーザ２の視点の全天球画像のビットレート配分を制御する。レート配分制御部３５は、ユーザ１の視点画像とユーザ２の視点画像のビットレート配分を制御するレート制御信号を、視点画像圧縮部３３−１および視点画像圧縮部３３−２に出力する。
【００５８】
＜ＨＭＤの構成例＞
図５は、ＨＭＤの構成例を示すブロック図である。
【００５９】
ＨＭＤ１１−１は、画像処理部５１−１、画像処理部５１−２、合成処理部５２、および表示制御部５３から構成される。
【００６０】
視点非共有モードの場合、サーバ１２は、ユーザ１向けのユーザ１の圧縮ＥＲＰ画像からなる圧縮画像ストリームを送信してくる。
【００６１】
これに対して、ＨＭＤ１１−２から視点共有リクエスト信号があった場合、サーバ１２は、ユーザ１向けのユーザ１の圧縮ＥＲＰ画像とユーザ１向けのユーザ２の圧縮ＥＲＰ画像とからなる、多重化された圧縮画像ストリームを送信してくる。また、サーバ１２は、メタデータとして、ユーザ２の視点共有リクエスト信号とユーザ２の視点位置情報および視線情報を送ってくる。
【００６２】
ユーザ１向けのユーザ１の圧縮ＥＲＰ画像は、画像処理部５１−１に供給される。ユーザ１向けのユーザ２の圧縮ＥＲＰ画像とメタデータは、画像処理部５１−２に供給される。
【００６３】
ＨＭＤ１１−１において、ユーザ１の視点位置情報および視線情報は、操作入力部７１から入力され、画像処理部５１−１に供給され、サーバ１２に送信される。操作入力部７１は、コントローラまたはＨＭＤ１１−１に設置されている加速度センサなどから構成される。加速度センサは、ジャイロスコープおよびMEMSセンサなどからなり、ＨＭＤや携帯端末に搭載される。加速度センサは、例えば、ユーザの動きを検出して視線ベクトルを動かす機能を有する。
【００６４】
また、ユーザ１の視点位置情報および視線情報は、サーバ１２にも送信される。なお、ユーザ１の他のユーザとの視点共有の要求を示すユーザ１の視点共有リクエスト信号も、ユーザ１の要求に応じて、サーバ１２に送信される。
【００６５】
画像処理部５１−１は、ユーザ１の圧縮ＥＲＰ画像に対して、所定の画像処理を行う。画像処理部５１−１は、圧縮ＥＲＰ画像デコード処理部６１−１および視野画像生成処理部６２−１から構成される。
【００６６】
圧縮ＥＲＰ画像デコード処理部６１−１は、ユーザ１の圧縮ＥＲＰ画像をデコード処理して、ユーザ１のＥＲＰ画像を生成する。圧縮ＥＲＰ画像デコード処理部６１−１は、生成したＥＲＰ画像を、視野画像生成処理部６２−１に出力する。
【００６７】
視野画像生成処理部６２−１は、ユーザ１のＥＲＰ画像を用い、ユーザ１の視点位置情報および視線情報に基づき、ＨＭＤ１１−１の視野に合わせて、ユーザ１の視野画像を生成する。視野画像生成処理部６２−１は、生成したユーザ１の視野画像を、合成処理部５２に出力する。ユーザ１の視点位置情報および視線情報も合成処理部５２に出力される。なお、視野画像の視野の広さは、表示装置の性能によって制約されることがある。
【００６８】
画像処理部５１−２は、ユーザ２の視点共有リクエスト信号を受け取った場合、ユーザ２の圧縮ＥＲＰ画像に対して、所定の画像処理を行う。画像処理部５１−２は、圧縮ＥＲＰ画像デコード処理部６１−２および視野画像生成処理部６２−２から構成される。
【００６９】
圧縮ＥＲＰ画像デコード処理部６１−２は、ユーザ２の圧縮ＥＲＰ画像をデコード処理して、ユーザ２のＥＲＰ画像を生成する。圧縮ＥＲＰ画像デコード処理部６１−２は、生成したＥＲＰ画像を、視野画像生成処理部６２−２に出力する。
【００７０】
視野画像生成処理部６２−２は、ユーザ２のＥＲＰ画像を用い、ユーザ２の視点位置情報および視線情報に基づき、子画面Ｗの視野に合わせて、ユーザ２の視野画像を生成し、生成したユーザ２の視野画像を、合成処理部５２に出力する。ユーザ２の視点位置情報および視線情報も合成処理部５２に出力される。
【００７１】
合成処理部５２は、ユーザ１の視野画像上に、ユーザ２の視野画像からなる子画面Ｗを重畳して、表示画面Ｖを生成する。合成処理部５２は、視点非共有モードで、ユーザ２の視野画像がない場合、ユーザ１の視野画像を用いて、表示画面Ｖを生成する。合成処理部５２は、生成した表示画面Ｖを表示制御部５３に出力する。
【００７２】
表示制御部５３は、合成処理部５２から供給された表示画面Ｖを、出力部７２から出力させる。出力部７２は、ＬＣＤまたは有機ＥＬなどで構成される。
【００７３】
＜子画面の初期表示位置の例＞
図６は、子画面の初期表示位置の例を示す図である。
【００７４】
表示画面Ｖは、ユーザ１の視野を表している。子画面Ｗの水平方向のサイズは、表示画面Ｖの視野の水平方向のおおよそ４分の１となるように設定されている。
【００７５】
子画面Ｗの垂直方向の初期位置は、太い破線で示された表示画面Ｖの視野の垂直方向の中央部と子画面Ｗの視野の垂直方向の中央部を一致させるように決められる。
【００７６】
子画面Ｗの水平方向の初期位置は、表示画面Ｖの視野の左４分の１または右４分の１の表示エリアとなる。図６において、子画面Ｗは、表示画面Ｖの視野の左４分の１に配置されている。
【００７７】
＜子画面の初期表示位置の例＞
図７は、ユーザ１の視点とユーザ２の視点が同一である場合の子画面の水平方向の初期表示位置の例を示す図である。
【００７８】
図７において、破線で示す視線ベクトルＰは、ユーザ１の視線ベクトルを表しており、破線で示す視線ベクトルＱは、ユーザ２の視線ベクトルを表している。
【００７９】
ユーザ１の視点とユーザ２の視点が同一である場合、子画面の水平方向の初期表示位置は、ユーザ１の視線ベクトルＰに対して、ユーザ２の視線ベクトルＱが左右どちら側にあるかに応じて決められる。
【００８０】
図７の場合、ユーザ２の視線ベクトルＱは、ユーザ１の視線ベクトルＰよりも左側にあるので、子画面Ｗは、表示画面Ｖの左側に配置される。
【００８１】
図８は、ユーザ１の視点とユーザ２の視点が異なる場合の子画面の水平方向の初期表示位置の例を示す図である。
【００８２】
図８において、破線で示す視線ベクトルＰは、ユーザ１の視線ベクトルを表しており、２の数字が示される丸と三角形の接点は、ユーザ２の視点位置Ｒを表している。
【００８３】
ユーザ１とユーザ２が異なる視点にある場合、子画面の水平方向の初期表示位置は、ユーザ１の視線ベクトルＰに対して、ユーザ２の視点位置Ｒが左右どちら側にあるかに応じて決められる。
【００８４】
図８の場合、ユーザ２の視点位置Ｒは、ユーザ１の視線ベクトルＰよりも左側にあるので、子画面Ｗは、表示画面Ｖの左側に配置される。
【００８５】
なお、図７および図８において、表示位置例を示したが、子画面の水平方向の初期表示位置は、特に意味を持たせずに配置するようにしてもよい。
【００８６】
＜子画面の表示位置の変化例＞
図９は、子画面のサイズが初期表示状態の場合の表示画面の例を示す図である。
【００８７】
図９においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ４分の１である初期表示状態の表示画面Ｖが示されている。
【００８８】
ユーザ１が表示画面Ｖの視野の水平サイズＦ１の中央部分を見た場合の視線ベクトルＰ１と、ユーザ１が子画面Ｗの視野の水平サイズＦ２の中央部分を見た場合の視線ベクトルＰ２は、表示画面Ｖの視野の水平サイズＦ１と子画面Ｗの視野の水平サイズＦ２によって定義される。
【００８９】
すなわち、視線ベクトルＰ１は、表示画面Ｖの視野の水平サイズＦ１に応じて求まり、視線ベクトルＰ２は、子画面Ｗの初期表示位置の決定に応じて求まる。求まった視線ベクトルＰ１と視線ベクトルＰ２のズレである視差が角度として求められたものが、視差角ｄである。子画面Ｗは、視差角ｄに応じて拡大表示されたり、視野から外に外れたり、最終的に視野から消えた状態となったりする。
【００９０】
図１０は、子画面のサイズが拡大表示された状態の表示画面の例を示す図である。
【００９１】
図１０においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ２分の１である表示画面Ｖが示されている。破線の矩形は、図９の初期表示状態の子画面の位置を表している。
【００９２】
初期表示状態の表示画面Ｖから、２つの視線ベクトルＰ１およびＰ２のズレ、すなわち、視差角ｄが小さくなる方向に、ユーザ１がＨＭＤ１１−１で首振り動作を行うと、子画面Ｗは、破線の矩形の位置から、表示画面Ｖの中央に移動されるとともに、拡大表示される。
【００９３】
図１１は、子画面のサイズが最大表示された状態の表示画面の例を示す図である。
【００９４】
図１１においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ９５％である表示画面Ｖが示されている。２つの破線の矩形は、左側から図９の初期表示状態の子画面の位置、図１０の表示状態の子画面の位置を表している。
【００９５】
２つの視線ベクトルＰ１およびＰ２が略一致、または視差角ｄが所定の閾値以下になった場合、子画面Ｗのサイズは、略最大とされる。このとき、子画面Ｗの中心位置は、破線の矩形の位置から、表示画面Ｖの中心位置に移動されて表示される。
【００９６】
図１２は、子画面が表示画面の視野から外れた状態の表示画面の例を示す図である。
【００９７】
図１２においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ４分の１のままで、表示画面Ｖの視野から外れていく状態の表示画面Ｖが示されている。破線の矩形は、図９の初期表示状態の子画面を表している。
【００９８】
初期表示状態の表示画面Ｖから、２つの視線ベクトルＰ１およびＰ２の視差角ｄが大きくなる方向に、ユーザ１がＨＭＤ１１−１で首振り動作を行う。子画面Ｗは、サイズが初期状態のままで、破線の矩形の位置から、ユーザ１の視野から外れる方向に移動して表示される。
【００９９】
図１３は、子画面が表示画面の視野から消えた状態の表示画面の例を示す図である。
【０１００】
図１３においては、子画面Ｗのサイズが表示画面Ｖの視野の水平サイズのおおよそ４分の１のままで、表示画面Ｖの視野から消えた状態の表示画面Ｖが示されている。破線の矩形は、右側から、図９の初期表示状態の子画面、図１２の表示状態の子画面を表している。
【０１０１】
ユーザ１のＨＭＤ１１−１の首振り動作により、２つの視線ベクトルＰ１およびＰ２の視差角ｄがさらに大きくなると、子画面Ｗは、表示画面Ｖの視野から消える。
【０１０２】
以上のように、子画面Ｗは、視差角ｄに応じて拡大表示されたり、視野から外れて表示されたり、視野から消えた状態となったりする。
【０１０３】
＜子画面の表示割合とビットレート割り当て配分の例＞
図１４は、子画面の表示割合とビットレート割り当て配分の例を示す図である。
【０１０４】
図１４において、左から順に、子画面Ｗが消えた状態、子画面Ｗが外れていく状態、子画面の初期表示状態、子画面Ｗの拡大状態、子画面の最大拡大状態の各表示画面が示されている。各表示画面の下には、それぞれの状態における表示画面と子画面のビットレート割り当て配分が示されている。
【０１０５】
子画面が消えた状態では、表示画面と子画面の表示割合は、１００％対０％である。子画面が外れていく状態では、表示画面と子画面の表示割合は、９０％対１０％である。子画面の初期表示状態では、表示画面と子画面の表示割合は、７５％対２５％である。子画面の拡大状態では、表示画面と子画面の表示割合は、５％対９５％である。
【０１０６】
ユーザ１の視差角は、左右それぞれ９０度とされる。子画面のサイズがおおよそ４分の１になるときの視差角は、９０／４＝２２．５°である。左半分の視差角が４５°なので、２２．５°の子画面を画面の左端に配置した時の視線ベクトルの視差角を計算すると、４５−２２．５／２＝３３．７５°となる。
【０１０７】
さらに、ユーザ１の視線方向とユーザ２の視線方向の一致率である視線一致率は、視差角の値に応じて定義される。
【０１０８】
（１）視差角初期値３３．７５°で、画面サイズ４分の１の場合、視線一致率は、２５％とする。
【０１０９】
（２）視差角が最小値の０度で、画面サイズ１００％の（実際には、９５％上限として親画面は周辺に少しだけ残す）場合、視線一致率は、１００％とする。
【０１１０】
差角３３．７５°以上の場合、上記（１）および（２）の２点から求まる変化割合および視差角の増大に応じて、視差一致率は減少され、０％乃至２５％となる。
【０１１１】
以上のように、ＨＭＤの首振り動作に対応した視差一致率または表示割合に応じてビットレート配分を可変にすることができる。なお、ビットレート配分は、第２の実施の形態において後述する透過率に応じて可変にするようにしてもよい。
【０１１２】
＜ＨＭＤの動作＞
図１５は、ＨＭＤ１１−１が行う、モデルルーム内覧システムのサービスのコンテンツの表示制御処理を説明するフローチャートである。
【０１１３】
ステップＳ１１において、操作入力部７１から供給されたログインを要求するログイン信号をサーバ１２に送信することにより、ＨＭＤ１１−１は、モデルルーム内覧システムのサービスにログインをする。視野画像生成処理部６２−１に、操作入力部７１からユーザ１の視点位置情報および視線情報が供給される。
【０１１４】
ステップＳ１２において、視点非共有モードの表示制御処理が行われる。
【０１１５】
視点非共有モードの場合、サーバ１２は、圧縮画像ストリームとして、ユーザ１向けのユーザ１の圧縮ＥＲＰ画像を送信してくる。
【０１１６】
すなわち、視点非共有モードの表示制御処理として、圧縮ＥＲＰ画像デコード処理部６１−１は、ユーザ１の圧縮ＥＲＰ画像をデコード処理して、ＥＲＰ画像を生成する。視野画像生成処理部６２−１は、ユーザ１の視点位置情報および視線情報に基づいて、ユーザ１の視野画像を生成する。合成処理部５２は、視点非共有モードの場合、ユーザ１の視野画像を用いて、表示画面Ｖを生成する。表示制御部５３は、合成処理部５２から供給された表示画面Ｖを、出力部７２から出力させる。
【０１１７】
ユーザ２の視点共有リクエストがあった場合、サーバ１２から送信されてくるユーザ２の視点共有リクエスト信号が、画像処理部５１−２に供給される。
【０１１８】
ステップＳ１３において、画像処理部５１−２は、サーバ１２から、視点共有リクエストを受け取ったか否かを判定する。ステップＳ１３において、視点共有リクエストを受け取ったと判定された場合、処理は、ステップＳ１４に進む。
【０１１９】
ステップＳ１４において、視点共有モードの表示制御処理が行われる。視点共有モードの表示制御処理の詳細は、図１６を参照して後述する。ステップＳ１４の処理により、ユーザ１の視野画像上に、ユーザ２の視野画像からなる子画面Ｗが重畳されて、表示画面Ｖが生成され、生成された表示画面Ｖが、出力部７２から出力される。
【０１２０】
一方、ステップＳ１３において、視点共有リクエストを受け取っていないと判定された場合、処理は、ステップＳ１５に進む。
【０１２１】
ステップＳ１５において、画像処理部５１−１は、コンテンツ表示制御処理を終了するか否かを判定する。ステップＳ１５において、コンテンツ表示制御処理を終了しないと判定された場合、ステップＳ１２に戻り、それ以降の処理が繰り返される。
【０１２２】
ステップＳ１５において、コンテンツ表示制御処理を終了すると判定された場合、図１５のコンテンツ表示制御処理は終了される。
【０１２３】
図１６は、図１５のステップＳ１４における視点共有モードの表示制御処理を説明するフローチャートである。
【０１２４】
ステップＳ３１において、ユーザ２の視野画像が、ユーザ１の視野画像内に子画面表示される。
【０１２５】
ＨＭＤ１１−２から視点共有リクエスト信号があった場合、サーバ１２は、ユーザ１向けのユーザ１の圧縮ＥＲＰ画像とユーザ１向けのユーザ２の圧縮ＥＲＰ画像からなる、多重化された圧縮画像ストリームを送信する。また、サーバ１２は、ユーザ２の視点共有リクエスト信号とユーザ２の視点位置情報および視線情報が含まれるメタデータを送信する。
【０１２６】
すなわち、視点共有モードの表示制御処理においては、視点非共有モードの表示制御処理に加えて、圧縮ＥＲＰ画像デコード処理部６１−２は、ユーザ２の圧縮ＥＲＰ画像をデコード処理して、ＥＲＰ画像を生成する。視野画像生成処理部６２−２は、ユーザ２の視点位置情報および視線情報に基づいて、ユーザ２の視野画像を生成する。
【０１２７】
合成処理部５２は、ユーザ１の視点位置情報および視線情報並びにユーザ２の視点位置情報および視線情報に基づいて、ユーザ１の視野画像上に、ユーザ２の視野画像からなる子画面Ｗを重畳して、表示画面Ｖを生成する。表示制御部５３は、合成処理部５２から供給された表示画面Ｖを、出力部７２から出力させる。このとき、ユーザ１の注視領域情報がサーバ１２に送信される。
【０１２８】
ステップＳ３２において、合成処理部５２は、ユーザ１の視線情報に基づいて、ユーザ１が子画面の方向に視線を移動させたか否かを判定する。ステップＳ３２において、ユーザ１が子画面の方向に視線を移動させたと判定された場合、処理は、ステップＳ３３に進む。
【０１２９】
ステップＳ３３において、合成処理部５２は、子画面を表示画面の視野の中央に向かって、移動させるとともに、拡大表示させる。このとき、ユーザ１の注視領域情報がサーバ１２に送信される。
【０１３０】
ステップＳ３４において、合成処理部５２は、子画面が表示画面の視野の中央に移動したときに、子画面を最大表示させる。このとき、ユーザ１の注視領域情報がサーバ１２に送信される。
【０１３１】
ステップＳ３４の後、ステップＳ３２に戻り、それ以降の処理が繰り返される。
【０１３２】
一方、ステップＳ３２において、ユーザ１が子画面の方向に視線を移動させていないと判定された場合、処理は、ステップＳ３５に進む。
【０１３３】
ステップＳ３５において、ユーザ１の視線情報に基づいて、ユーザ１が子画面の反対方向に視線を移動させたか否かを判定する。ステップＳ３５において、ユーザ１が子画面の反対方向に視線を移動させていないと判定された場合、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【０１３４】
ステップＳ３５において、ユーザ１が子画面の反対方向に視線を移動させたと判定された場合、処理は、ステップＳ３６に進む。
【０１３５】
ステップＳ３６において、合成処理部５２は、子画面を、表示画面の視野の外に向かって移動させるとともに、縮小表示させる。このとき、ユーザ１の注視領域情報がサーバ１２に送信される。
【０１３６】
ステップＳ３７において、合成処理部５２は、子画面が、表示画面の視野の外に完全に出たか否かを判定する。ステップＳ３７において、子画面が、表示画面の視野の外に完全に出たと判定された場合、視点共有モードの表示制御処理は終了される。
【０１３７】
ステップＳ３７において、表示画面の視野の外に完全に出ていないと判定された場合、ユーザ１の注視領域情報がサーバ１２に送信され、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【０１３８】
なお、ＨＭＤ１１−１を例に説明したが、ＨＭＤ１１−２の場合も同様の処理が行われる。
【０１３９】
＜サーバの動作＞
図１７は、サーバ１２の画像提供処理を説明するフローチャートである。
【０１４０】
図１７の例においては、ユーザ２のＨＭＤ１１−２から送信されてきた視点共有リクエストの例が示されているが、ユーザ１のＨＭＤ１１−１の場合にもサーバ１２においては同様の処理が行われる。
【０１４１】
ステップＳ５１において、視点画像生成部３２−１および視点画像生成部３２−２は、ユーザの視点位置情報および視線情報を受け取ったと判定されるまで待機している。ステップＳ５１において、ユーザの視点位置情報および視線情報を受け取ったと判定された場合、処理は、ステップＳ５２に進む。
【０１４２】
ステップＳ５２において、視点非共有モードの画像生成処理が行われる。視点非共有モードの画像生成処理の詳細は、図１８を参照して後述する。ステップＳ５２の処理により、ユーザ１の圧縮ＥＲＰ画像が生成され、生成されたユーザ１の圧縮ＥＲＰ画像が、ユーザ１のＨＭＤ１１−１に送信される。ユーザ２の圧縮ＥＲＰ画像が生成され、生成されたユーザ２の圧縮ＥＲＰ画像が、ユーザ２のＨＭＤ１１−２に送信される。
【０１４３】
ステップＳ５３において、視点画像生成部３２−２は、ユーザ２から送信された視点共有リクエスト信号を受け取ったか否かを判定する。ステップＳ５３において、ユーザ２から送信された視点共有リクエスト信号を受け取ったと判定された場合、処理は、ステップＳ５４に進む。
【０１４４】
ステップＳ５４において、視点共有モードの画像提供処理が行われる。視点共有モードの画像提供処理の詳細は、図１９を参照して後述する。ステップＳ５４の処理により、ユーザ１の圧縮ＥＲＰ画像が生成される。ユーザ２の圧縮ＥＲＰ画像が生成され、生成されたユーザ２の圧縮ＥＲＰ画像が、ユーザ２のＨＭＤ１１−２に送信される。また、ユーザ２の圧縮ＥＲＰ画像は、ユーザ１の圧縮ＥＲＰ画像と多重化されて、ユーザ２の視点位置情報および視線情報などのメタデータとともに、ユーザ１のＨＭＤ１１−１に送信される。
【０１４５】
一方、ステップＳ５３において、ユーザ２から送信された視点共有リクエスト信号を受け取っていないと判定された場合、ステップＳ５２に戻り、それ以降の処理が繰り返される。
【０１４６】
ステップＳ５５において、視点画像生成部３２−１は、画像生成処理を終了するか否かを判定する。ステップＳ５５において、画像生成処理を終了しないと判定された場合、ステップＳ５２に戻り、それ以降の処理が繰り返される。
【０１４７】
ステップＳ５５において、画像提供処理を終了すると判定された場合、図１７の画像提供処理は終了される。
【０１４８】
図１８は、図１７のステップＳ５２の視点非共有モードの画像提供処理を説明するフローチャートである。
【０１４９】
ＨＭＤ１１−１から送信されてくるユーザ１の視点位置情報および視線情報が視点画像生成部３２−１に供給される。
【０１５０】
ステップＳ７１において、視点画像生成部３２−１は、ＨＭＤ１１−１から供給されたユーザ１の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ１の視点の全天球画像を生成する。
【０１５１】
ステップＳ７２において、視点画像圧縮部３３−１は、ユーザ１の視点の全天球画像を ＥＲＰ投影変換して、ユーザ１の圧縮ＥＲＰ画像を生成する。
【０１５２】
ステップＳ７３において、多重化部３４は、視点画像圧縮部３３−１から供給されたユーザ１の圧縮ＥＲＰ画像を、ユーザ１のＨＭＤ１１−１に送信する。
【０１５３】
ＨＭＤ１１−２から送信されてくるユーザ２の視点位置情報および視線情報が視点画像生成部３２−２に供給される。
【０１５４】
ステップＳ７４において、視点画像生成部３２−２は、ＨＭＤ１１−２から供給されたユーザ２の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ２の視点の全天球画像を生成する。
【０１５５】
ステップＳ７５において、視点画像圧縮部３３−３は、ユーザ２の視点の全天球画像を ＥＲＰ投影変換して、ユーザ２の圧縮ＥＲＰ画像を生成する。
【０１５６】
ステップＳ７６において、視点画像圧縮部３３−３は、ユーザ２の圧縮ＥＲＰ画像を、ユーザ２のＨＭＤ１１−２に送信する。
【０１５７】
図１９は、図１７のステップＳ５４の視点共有モードの画像提供処理を説明するフローチャートである。
【０１５８】
ＨＭＤ１１−１から送信されたユーザ１の注視領域情報は、レート配分制御部３５に供給される。
【０１５９】
ステップＳ９１において、レート配分制御部３５は、ＨＭＤ１１−１から供給されたユーザ１の注視領域情報に基づいて、ユーザ１の視点の全天球画像とユーザ２の視点の全天球画像のビットレート配分を制御する。
【０１６０】
ステップＳ９２において、視点画像生成部３２−１は、ＨＭＤ１１−１から供給されたユーザ１の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ１の視点の全天球画像を生成する。
【０１６１】
ステップＳ９３において、視点画像圧縮部３３−１は、レート配分制御部３５から供給されたレート制御信号に応じて、ユーザ１の視点の全天球画像を ＥＲＰ投影変換して、ユーザ１の圧縮ＥＲＰ画像を生成する。
【０１６２】
ステップＳ９４において、視点画像生成部３２−２は、ＨＭＤ１１−２から供給されたユーザ２の視点位置情報および視線情報に基づいて、自由視点画像空間モデルＤＢ３１の全天球画像を用いて、ユーザ２の視点の全天球画像を生成する。
【０１６３】
ステップＳ９５において、視点画像圧縮部３３−２は、レート配分制御部３５から供給されたレート制御信号に応じて、ユーザ２の視点の全天球画像を ＥＲＰ投影変換して、ユーザ１向けのユーザ２の圧縮ＥＲＰ画像を生成する。
【０１６４】
ステップＳ９６において、多重化部３４は、視点画像圧縮部３３−１から供給されたユーザ１の圧縮ＥＲＰ画像と、視点画像圧縮部３３−２から供給されたユーザ２の圧縮ＥＲＰ画像とを多重化して、ユーザ１に送信する。
【０１６５】
ステップＳ９７において、視点画像圧縮部３３−３は、ユーザ２の視点の全天球画像を ＥＲＰ投影変換して、ユーザ２向けのユーザ２の圧縮ＥＲＰ画像を生成する。
【０１６６】
ステップＳ９８において、視点画像圧縮部３３−３は、ユーザ２の圧縮ＥＲＰ画像を、ユーザ２のＨＭＤ１１−２に送信する。
【０１６７】
以上のように、本技術においては、仮想空間内の位置関係に基づいて、ユーザの視野画像の上に重畳する他のユーザの視野画像の表示が制御される。
【０１６８】
これにより、他のユーザのいる位置と他のユーザの視野画像の内容が同時にわかるため、他のユーザの画像に興味があれば、リモートコントローラなどを操作することで簡単に移動することができる。
【０１６９】
また、他のユーザの視野画像への視線情報に応じて、ユーザの画像と他のユーザの画像へのビットレートが配分されるので、伝送効率が向上される。
【０１７０】
さらに、他のユーザの視野画像への視線情報に応じて、相手の視野画像を選択（あるいはキャンセル）し、子画面の大きさが変更される。
【０１７１】
これにより、興味の有無に応じて、他のユーザの画像を表示させることができる。
【０１７２】
＜第２の実施の形態＞
＜子画面の表示方法の他の例＞
次に、モデルルーム内覧システムにおける視点共有モード中の子画面の表示方法の他の例について説明する。
【０１７３】
図２０は、ユーザ１の視点とユーザ２の視点が同一である場合の表示画面の遷移の例を示す図である。
【０１７４】
図２０においては、ユーザ１の視点とユーザ２の視点が同一である場合の表示画面Ｖにおける表示状態の遷移が示されている。表示画面Ｖに表示される子画面Ｗの濃度は、薄いほど透過率が高いことを示している。表示画面Ｖに示される矢印は、ユーザ１の視線方向を示している。表示状態の遷移の下側には、ユーザ１とユーザ２が存在する自由視点画像空間を真上から見た状態が示されている。
【０１７５】
図２０のＡは、自由視点画像空間において、ユーザ１の視野とユーザ２の視野が重なっていないときの、ユーザ１が閲覧中の視野画像内に、ユーザ２の視野画像が子画面Ｗとして表示された表示画面Ｖを示す図である。
【０１７６】
ユーザ１の視野画像内における子画面Ｗの位置は、自由視点画像空間におけるユーザ２の視線方向と一致する。
【０１７７】
図２０のＢは、ＨＭＤを装着したユーザ１が子画面Ｗに顔を向けることで、自由視点画像空間において、ユーザ１とユーザ２の視野が重なり合ったときの表示画面Ｖを示す図である。
【０１７８】
表示画面Ｖにおいては、視野の重なり合う割合に応じて、大きさが拡大され、半透過状態となった状態の子画面が表示されている。なお、動きの検出がスマートフォンの場合は、スマートフォンを手に持った状態で向きを変える動作が、ＨＭＤの場合に子画面Ｗに顔を向ける動作に相当する。
【０１７９】
視野の重なり合う割合は、マイナス方向も考慮される。マイナスとは、ユーザ同士の視野の重なりがなく、視線方向の隔たりが大きい場合を表す。
【０１８０】
図２０のＣは、自由視点画像空間におけるユーザ１とユーザ２の視野の重なり合う割合が大きくなったときの表示画面Ｖを示す図である。
【０１８１】
表示画面Ｖにおいては、図２０のＢの場合よりもさらに拡大率と透過率を上げて表示された子画面Ｗが表示されている。
【０１８２】
図２１は、図２０に続く、ユーザ１とユーザ２が同一視点にいる場合の表示画面の遷移の例を示す図である。
【０１８３】
図２１のＡは、自由視点画像空間におけるユーザ１とユーザ２の視野の重なり合う割合がある閾値を超えたときの表示画面Ｖを示す図である。
【０１８４】
表示画面Ｖにおいては、視野の重なり合う割合がある閾値を超えた時点で子画面Ｗの表示が消去された後に、ユーザ１の視野画像のみが表示されている。
【０１８５】
図２１のＢは、ユーザ１とユーザ２の視野の重なり合う割合がある閾値を一旦超えた場合に、ある閾値以下に再度なるまでの表示画面Ｖを示す図である。
【０１８６】
表示画面Ｖにおいては、子画面Ｗの表示が消去されて、ユーザ１の視野画像のみが表示される状態が継続されている。
【０１８７】
その後、自由視点画像空間におけるユーザ１とユーザ２の視野の重なり合う割合がある閾値以下になると、図２０のＡに示された表示画面Ｖのように、子画面表示が再び開始される。
【０１８８】
図２２は、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【０１８９】
図２２においては、自由視点画像空間においてユーザ１の視点とユーザ２の視点が異なる場合の表示画面Ｖにおける表示状態の遷移が示されている。表示画面Ｖ上の矢印は、ユーザ１の視線方向を示している。表示状態の遷移の下側には、ユーザ１とユーザ２が存在する自由視点画像空間を真上から見た状態が示されている。
【０１９０】
図２２のＡは、ユーザ１が閲覧中の視野画像内に、ユーザ２の視野画像が子画面Ｗとして表示された状態の表示画面Ｖを示す図である。
【０１９１】
ユーザ１の視野画像内における子画面Ｗの位置は、自由視点画像空間におけるユーザ１から見たユーザ２の視点の方向と一致している。
【０１９２】
図２２のＢは、自由視点画像空間においてＨＭＤを装着したユーザ１が、ユーザ２の視点の方向を向いたとき、すなわち、子画面Ｗにユーザ１の顔を向けたときの表示画面Ｖを示す図である。
【０１９３】
表示画面Ｖにおいては、ユーザ１の視野のより中心に移動された子画面Ｗが表示されている。
【０１９４】
図２３は、図２２に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【０１９５】
図２３のＡは、自由視点画像空間において、ユーザ１の視線方向上にユーザ２の視点が位置する状態になったときの表示画面Ｖを示す図である。
【０１９６】
表示画面Ｖにおいては、ユーザ１の視野の中心に子画面Ｗが表示されている。
【０１９７】
図２３のＢは、自由視点画像空間において、ユーザ１の視線方向上にユーザ２の視点が位置する状態で、すなわち、子画面Ｗがユーザ１の視野の中心に位置した状態で、Ｎ秒間静止状態を保ったときの表示画面Ｖを示す図である。
【０１９８】
表示画面においては、子画面Ｗ上にカウントダウンタイマ（数字の「５」）が表示されている。
【０１９９】
図２４は、図２３に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【０２００】
図２４のＡは、カウントダウンタイマが「０」になり、矢印に示されるようにユーザ１の視点がユーザ２の視点に移動する直前の表示画面Ｖを示す図である。
【０２０１】
表示画面Ｖにおいては、子画面Ｗ上にカウントダウンタイマ（数字の「０」）が表示されている。
【０２０２】
図２４のＢは、ユーザ１の視点がユーザ２の視点に移動した直後の状態の表示画面Ｖを示す図である。
【０２０３】
表示画面Ｖにおいては、点線に示されるように子画面Ｗの表示が終了されて、移動した後のユーザ１の視点画像が表示されている。表示画面Ｖに表示されるユーザ１の視点画像は、ユーザ２の視点画像と同じ視点画像である。
【０２０４】
なお、視点の移動は、瞬間移動（ジャンプ）であってもよいし、例えば、リモートコントローラの操作による連続的な移動であってもよい。
【０２０５】
図２５は、図２４に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【０２０６】
図２５のＡは、ユーザ１の視点がユーザ２の視点と同じ位置になった後、さらに、ユーザ１の視線を、ユーザ２の視線と一致する方向に移動させたときの表示画面Ｖを示す図である。
【０２０７】
図２５のＢは、ユーザ１とユーザ２の視点および視線が一致したときの表示画面Ｖを示す図である。
【０２０８】
表示画面Ｖは、図２１を参照して上述したユーザ１とユーザ２とが同じ視点位置にある状態（図２１のＡの状態）と同じ状態に遷移したものである。
【０２０９】
図２６は、図２５に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。
【０２１０】
図２６のＡは、自由視点画像空間において、ユーザ１の視線方向上にユーザ２の視点が位置する状態で、カウントダウンタイマがカウントされているときの表示画面Ｖを示す図である。
【０２１１】
表示画面においては、子画面Ｗがユーザ１の視野の中心に位置した状態で、カウントダウンタイマが「１」であることが示されている。
【０２１２】
図２６のＢは、カウントダウンタイマが０になる前に、ユーザ１が視線を、ユーザ２の視点が位置するところから外れる方向にずらした状態の表示画面Ｖを示す図である。
【０２１３】
表示画面Ｖにおいては、ユーザ１の視野の中心から外れる方向に移動した状態の子画面Ｗが表示されている。
【０２１４】
図２６のＣは、図２６のＢの状態の後、視線のズレがある閾値を超えたときの表示画面Ｖが示されている。
【０２１５】
表示画面Ｖにおいては、子画面Ｗの表示が終了された状態であり、ユーザ１の視野画像のみが表示されている。
【０２１６】
図２７は、図２６に続く、ユーザ１の視点とユーザ２の視点が異なる場合の表示画面の遷移の例を示す図である。図２７において、自由視点画像空間における矢印は、ユーザ１から見たユーザ２の視点の方向ベクトルを表す。
【０２１７】
図２７のＡは、自由視点画像空間において、ユーザ１の視点がユーザ２の視点に移動して、ユーザ１から見たユーザ２の視点の方向ベクトルが変化したときの表示画面Ｖが示されている。
【０２１８】
表示画面Ｖにおいては、ユーザ１から見たユーザ２の視点の方向ベクトルがある閾値以上になるまで子画面Ｗが表示されない。
【０２１９】
図２７のＢは、ユーザ１またはユーザ２の視点が移動して、ユーザ１から見たユーザ２の視点の方向ベクトルが変化して、ある閾値以上になったときの表示画面Ｖを示す図である。
【０２２０】
表示画面Ｖにおいては、子画面Ｗが再び表示されている。
【０２２１】
以上のようにして、視点共有モード中に視線や視点の移動を行うこともできる。
【０２２２】
＜ＨＭＤの動作＞
図２８は、図２０乃至図２７を参照して上述した視点共有モードの表示制御処理を説明するフローチャートである。
【０２２３】
なお、適宜、図２０乃至図２７の遷移図を参照して、視点共有モードの表示制御処理を説明する。
【０２２４】
また、視点共有モードの表示制御処理は、ユーザ１の視点とユーザ２の視点が同一である場合、図２８のステップＳ１１１から開始されるが、ユーザ１の視点とユーザ２の視点が異なる場合、図２９のステップＳ１１９から開始される。
【０２２５】
ステップＳ１１１において、ユーザ１の視点とユーザ２の視点が同一である場合のユーザ２の視野画像が、ユーザ１の視野画像内に子画面表示される（図２０のＡ参照）。
【０２２６】
ステップＳ１１２において、合成処理部５２は、ユーザ１の視点位置情報および視線情報並びにユーザ２の視点位置情報および視線情報に基づいて、ユーザ１とユーザ２の視野が重なりあったと判定するまで待機している。
【０２２７】
ステップＳ１１２において、ユーザ１とユーザ２の視野が重なり合ったと判定された場合、処理は、ステップＳ１１３に進む。
【０２２８】
ステップＳ１１３において、合成処理部５２は、子画面を拡大させるとともに、半透過状態にさせて、表示画面を表示させる（図２０のＢ参照）。
【０２２９】
ステップＳ１１４において、合成処理部５２は、視野の重なり合う割合が所定の閾値を超えたか否かを判定する。
【０２３０】
ステップＳ１１４において、視野の重なり合う割合が所定の閾値を超えたと判定された場合、処理は、ステップＳ１１５に進む。
【０２３１】
ステップＳ１１５において、合成処理部５２は、子画面表示を消失させる（図２１のＡ参照）。
【０２３２】
ステップＳ１１６において、合成処理部５２は、視野の重なり合う割合が所定の閾値以下になったと判定するまで待機している。
【０２３３】
ステップＳ１１６において、視野の重なり合う割合が所定の閾値以下になったと判定した場合、処理は、ステップＳ１１７に進む。
【０２３４】
一方、ステップＳ１１４において、視野の重なり合う割合が所定の閾値を超えていないと判定された場合、処理は、ステップＳ１１７に進む。
【０２３５】
ステップＳ１１７において、合成処理部５２は、視野の重なり合う割合に応じた拡大率と透過率で、子画面を表示させる（図２０のＢ参照）。
【０２３６】
ステップＳ１１８において、合成処理部５２は、ユーザ１が視点移動したか否かを判定する。
【０２３７】
ステップＳ１１８において、視点移動していないと判定された場合、ステップＳ１１４に戻り、それ以降の処理が繰り返される。
【０２３８】
ステップＳ１１８において、視点移動したと判定された場合、処理は、図２９のステップＳ１１９に進む。
【０２３９】
ステップＳ１１９において、ユーザ１の視点とユーザ２の視点が異なる場合のユーザ２の視野画像が、ユーザ１の視野画像内に子画面表示される（図２２のＡ参照）。
【０２４０】
ステップＳ１２０において、合成処理部５２は、ユーザ１の視点位置情報および視線情報並びにユーザ２の視点位置情報および視線情報に基づいて、ユーザ１が、子画面に顔を向けたと判定するまで待機している。
【０２４１】
ステップＳ１２１において、合成処理部５２は、子画面をユーザ１の視野の中心方向に移動させて表示させる（図２２のＢ参照）。
【０２４２】
ステップＳ１２２において、合成処理部５２は、ユーザ１の視線方向上に、ユーザ２の視点が位置する状態となったと判定するまで待機している。
【０２４３】
ステップＳ１２２において、自由視点画像空間において、ユーザ１の視線方向（表示画面Ｖの中央部分）上に、ユーザ２の視点が位置する状態となったと判定された場合、処理は、ステップＳ１２３に進む。
【０２４４】
ステップＳ１２３において、合成処理部５２は、ユーザ１の視野の中心に子画面を移動させて表示させる（図２３のＡ参照）。
【０２４５】
ステップＳ１２４において、合成処理部５２は、ユーザ１の視野の中心に子画面が移動されてから、Ｎ秒間静止状態を保ったと判定するまで待機している。
【０２４６】
ステップＳ１２４において、ユーザ１の視野の中心に子画面が移動されてから、Ｎ秒間静止状態を保ったと判定された場合、処理は、ステップＳ１２５に進む。
【０２４７】
ステップＳ１２５において、合成処理部５２は、子画面上にカウントダウンタイマを表示させる（図２３のＢ参照）。
【０２４８】
図３０のステップＳ１２６において、合成処理部５２は、図示せぬ内蔵カウンタを用いて、カウントダウンタイマをカウントする。
【０２４９】
ステップＳ１２７において、合成処理部５２は、ユーザ１の視線のズレが所定の閾値を超えたか否かを判定する。
【０２５０】
ステップＳ１２７において、ユーザ１の視線のズレが所定の閾値を超えたと判定された場合、視点共有モードの表示制御処理は終了される。すなわち、視点非共有モードの表示制御処理が行われる。
【０２５１】
ステップＳ１２７において、ユーザ１の視線のズレが所定の閾値を超えていないと判定された場合、処理は、ステップＳ１２８に進む。
【０２５２】
ステップＳ１２８において、合成処理部５２は、カウントダウンタイマが０になったか否かを判定する。
【０２５３】
ステップＳ１２８において、カウントダウンタイマが０になっていないと判定された場合、ステップＳ１２６に戻り、それ以降の処理が繰り返される。
【０２５４】
ステップＳ１２８において、カウントダウンタイマが０になったと判定された場合、処理は、ステップＳ１２９に進む。
【０２５５】
ステップＳ１２９において、合成処理部５２は、ユーザ１の視点をユーザ２の視点に移動させる（図２４のＢ参照）。他のユーザへの視点の移動は、視点のジャンプによって行われてもよい。このとき、移動されたユーザ１の視点位置情報および視線情報は、サーバ１２に送信される。
【０２５６】
ステップＳ１３０において、合成処理部５２は、子画面の表示を消失させる。すなわち、ユーザ１の視野画像とユーザ２の視野画像は同一になる。
【０２５７】
ステップＳ１３１において、合成処理部５２は、ユーザ１から見たユーザ２の視点の方向ベクトルが変化して、ある閾値を超えたと判定するまで待機している。
【０２５８】
ステップＳ１３１において、ユーザ１から見たユーザ２の視点の方向ベクトルが変化して、ある閾値を超えたと判定された場合、処理は、図２８のステップＳ１１１に戻り、ユーザ１の視点とユーザ２の視点が同一である場合の表示制御処理を繰り返し行う。
【０２５９】
以上のように、本技術によれば、重畳時に子画面のサイズに加えて、透過率が変化されるようにした。これにより、両者の視野が一致するにしたがって、子画面が大きくなり、かつ、透過率が高くなり、最終的に両者の視野が解け合わさって一致するという視覚効果が実現される。なお、サイズを変更することなく、透過度のみを変化させるようにすることもできる。
【０２６０】
子画面表示された他のユーザの視点に、自分の視線を一定時間固定することで、視点移動するようにしたので、ボタン操作など必要なく、簡単に動作を実行することができる。
【０２６１】
視点移動時に、カウントダウンタイマを表示することで、動作の実行までに猶予期間を持たせるようにした。それに加えて、猶予期間中のＨＭＤの首振り動作などによる視線移動により、視点移動をキャンセルするようにしたので、ボタン操作など必要なく、簡単に動作をキャンセルすることができる。なお、タイマは、カウントアップタイマであってもよい。
【０２６２】
視線方向の一致率または視点の方向ベクトル（相対位置関係）をトリガーとして子画面の表示のオン、オフを制御するようにしたので、ボタン操作など必要なく、簡単に表示を制御することができる。
【０２６３】
上記説明においては、不動産ビジネスにおいて用いられるモデルルーム内覧システムの例を説明したが、本技術は、仮想空間内でアバターを用いてコミュニケーションを取るようなソーシャルバーチャルリアリティ（ＶＲ）にも適用することができる。
【０２６４】
＜第３の実施の形態＞
＜ＶＲ観光旅行の概要＞
ソーシャルＶＲの例としては、ツアーガイドと複数のツアー客で構成されるグループにおいて、アバターとして相手をお互いに視認できる状態で、ＶＲ空間内を観光旅行するＶＲ観光旅行があげられる。
【０２６５】
ツアー客以外にもアバターは存在し、あるアバターは他の個人旅行者であったり、他のアバターはＡＩであったりする。ツアーガイドもＡＩの場合がある。
【０２６６】
ＶＲ空間のため、瞬間移動も自由に可能であるが、ツアー客は、アバターとして現実空間のように歩きまわったり、乗り物に乗ったりすることも可能である。
【０２６７】
最初、複数のツアー客は、ツアーガイドのアバターの指示に従って、ＶＲ空間を観光旅行する。
【０２６８】
自由行動時間になり、ツアー客Ｘは、自分が見ている光景を他のツアー客にも見てほしいと思い、視点共有リクエストにより視点共有モードに移行する。ツアー客Ｘの視野画像は、他のツアー客の視野内に子画面表示される。このとき、ツアー客Ｘは、音声メッセージやテキストメッセージを使って、自分が見ている光景の説明を行うことができる。
【０２６９】
他のツアー客は、子画面の表示位置とその表示内容から、ＶＲ空間内を歩いて景色を見ながらツアー客Ｘの提示する地点へ移動することができる。また、他のツアー客は、視点のジャンプを利用して、ツアー客Ｘの提示する地点へ瞬時に移動することもできる。
【０２７０】
他のツアー客は、子画面の内容を見ることで、過去に見たことがある内容である場合、今回は移動しない代わりに、ツアー客Ｘに「すばらしいですね」または「そこからさらに進むと○○が見えますよ」などと、メッセージを送ることもできる。
【０２７１】
また、次の目的地への移動のための集合時間になったので、ツアーガイドは、集合地点である中央広場においてすべてのツアー客に対して集合の案内を行う。
【０２７２】
すべてのツアー客の視野内に、ガイドの視野画像である中央広場の画像が子画面表示される。子画面表示と同時に、ツアーガイドは、音声メッセージやテキストメッセージで、集合時間になったことを伝える。
【０２７３】
子画面の位置は、ＶＲ空間におけるツアー客とツアーガイドの相対的な位置関係において決定される。
【０２７４】
ツアー客は、子画面の表示位置とその表示内容から、自分の近くが集合地点であることを知り、ＶＲ空間内を歩いて景色を楽しみながら、集合地点へ移動することができる。
【０２７５】
ツアー客は、自分が集合地点からかなり遠くにいる場合、または、これ以上観光する必要がない場合、視点のジャンプを利用して、ツアーガイドのいる中央広場へ瞬時に移動することもできる。
【０２７６】
なお、移動場所への距離も知りたい場合、文字情報として表示するようにしてもよい。方向と距離だけではなく、俯瞰状態の地図を表示してもよい。
【０２７７】
以上のように、本技術は、ソーシャルＶＲにも適用することができる。
【０２７８】
なお、上述したＨＭＤ１１−１および１１−２をまとめてＨＭＤ１１と称する。ＨＭＤ１１は、次のようなハードウェアで実現される。
【０２７９】
＜ＨＭＤのハードウェア構成例＞
図３１は、ＨＭＤのハードウェア構成例を示すブロック図である。
【０２８０】
図３１のＨＭＤ１１は、ＣＰＵ（Central Processor Unit）２０１、メモリ２０２、センサ部２０３、入力部２０４、出力部２０５、および通信部２０６を備えている。これらは、バス２０７を介して相互に接続されている。
【０２８１】
ＣＰＵ２０１は、メモリ２０２に記憶されているプログラムやデータなどに従って、ＨＭＤ１１が備える各種の機能を実現するための処理を実行する。
【０２８２】
メモリ２０２は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、ＣＰＵ２０１による処理のためのプログラムやデータを格納する。
【０２８３】
センサ部２０３は、カメラ、マイクロフォン、ジャイロセンサ、加速度センサなどの各種のセンサ類から構成される。センサ部２０３により取得された各種のセンサ情報もまた、ＣＰＵ２０１による処理に用いられる。
【０２８４】
入力部２０４は、ボタンやキー、タッチパネルなどから構成される。
【０２８５】
センサ部２０３および入力部２０４からの操作情報は、図５の操作入力部７１に供給され、視野画像生成処理部６２−１などに供給される。
【０２８６】
出力部２０５は、図５の出力部７２やスピーカなどから構成される。通信部２０６は、サーバ１２などと、各種の通信を仲介する通信インタフェースとして構成される。
【０２８７】
＜サーバのハードウェア構成例＞
上述したサーバの一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２８８】
図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２８９】
CPU(Central Processing Unit)３０１、ROM(Read Only Memory)３０２、RAM(Random Access Memory)３０３は、バス３０４により相互に接続されている。
【０２９０】
バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。また、入出力インタフェース３０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。
【０２９１】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５およびバス３０４を介してRAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０２９２】
CPU３０１が実行するプログラムは、例えばリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部３０８にインストールされる。
【０２９３】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなるリムーバブルメディア３１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０２９４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２９５】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２９６】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２９７】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９８】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２９９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３００】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０１】
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部と
を備える画像処理装置。
（２）
前記表示制御部は、前記他のユーザの視点画像の位置、サイズ、および透過度の少なくとも１つを制御する
前記（１）に記載の画像処理装置。
（３）
前記表示制御部は、前記ユーザの視線方向を示す視線情報と前記他のユーザの前記視線情報から得られる情報に基づいて、前記他のユーザの視点画像の表示を制御する
前記（１）または（２）に記載の画像処理装置。
（４）
前記情報は、視差であり、前記表示制御部は、前記情報は、視差であり、前記視差が小さくなるにつれて、前記他のユーザの視点画像を前記ユーザの視点画像の中央に移動させる
前記（３）に記載の画像処理装置。
（５）
前記表示制御部は、前記視差が第１の閾値以下になった場合、前記他のユーザの視点画像を大きく表示させる
前記（４）に記載の画像処理装置。
（６）
前記表示制御部は、前記視差が大きくなるにつれて、前記他のユーザの視点画像を前記ユーザの前記視線情報から得られる視野から外れる方向に移動させる
前記（５）に記載の画像処理装置。
（７）
前記表示制御部は、前記視差が前記第１の閾値よりも大きい第２の閾値以上になった場合、前記他のユーザの視点画像の表示を終了する
前記（６）に記載の画像処理装置。
（８）
前記情報は、視野が重なり合う割合であり、前記表示制御部は、前記割合が大きくなるにつれて、前記他のユーザの視点画像のサイズおよび透過率の少なくとも１つを大きくし、前記割合が小さくなるにつれて、前記他のユーザの視点画像のサイズおよび透過率の少なくとも１つを小さくする
前記（３）に記載の画像処理装置。
（９）
前記表示制御部は、前記割合が所定の閾値以上になった場合、前記他のユーザの視点画像の表示を終了する
前記（８）に記載の画像処理装置。
（１０）
前記表示制御部は、前記他のユーザの視点画像の表示を終了した後、前記割合が前記所定の閾値以下になった場合、前記他のユーザの視点画像の表示を再開する
前記（９）に記載の画像処理装置。
（１１）
前記表示制御部は、前記ユーザが前記他のユーザの視点画像に顔を向けた場合、前記他のユーザの視点画像を前記ユーザの視野の中心方向に移動させる
前記（３）に記載の画像処理装置。
（１２）
前記表示制御部は、前記他のユーザの視点画像が前記ユーザの前記視野の中心に位置した状態で静止した場合、前記他のユーザの視点画像上にタイマを表示させる
前記（１１）に記載の画像処理装置。
（１３）
前記表示制御部は、前記タイマを終了させた場合、前記ユーザの視点を、前記他のユーザの視点に移動させる
前記（１２）に記載の画像処理装置。
（１４）
前記表示制御部は、前記タイマを終了させる前に、前記ユーザが視線をずらした場合、前記他のユーザの視点画像の表示を終了する
前記（１３）に記載の画像処理装置。
（１５）
前記表示制御部は、前記ユーザの視点または前記他のユーザの視点が移動して、前記ユーザから見た前記他のユーザの視点の方向ベクトルの変化が所定の閾値以上になった場合、前記他のユーザの視点画像の表示を再開させる
前記（１４）に記載の画像処理装置。
（１６）
前記ユーザの前記視線情報は、前記ユーザの動きを検出するセンサから得られる
前記（３）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
前記センサは、ヘッドマウントディスプレイに設けられる
前記（１６）に記載の画像処理装置。
（１８）
前記他のユーザの視点画像のビットレート配分は、前記他のユーザの視点画像の大きさまたは透過率に基づいて変更される
前記（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
画像処理装置が、
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信し、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する
画像処理方法。
（２０）
仮想空間におけるユーザの視点から見た画像である前記ユーザの視点画像と、他のユーザの視点から見た前記他のユーザの視点画像と、前記他のユーザの位置を示す視点位置情報および視線方向を示す視線情報とを受信する受信部と、
前記他のユーザの前記視点位置情報および前記視線情報を用いて求められる前記仮想空間内の前記ユーザおよび前記他のユーザの位置関係に基づいて、前記ユーザの視点画像上に重畳する前記他のユーザの視点画像の表示を制御する表示制御部と
を備える画像処理装置と、
前記ユーザの視点画像と前記他のユーザの視点画像を、前記他のユーザの視点画像のサイズまたは透過率に応じたビットレート配分で前記画像処理装置に送信する送信部を
備える画像提供装置と
からなる画像提供システム。
【符号の説明】
【０３０２】
１，２  ユーザ，  １１−１，１１−２  ＨＭＤ，  １２  サーバ，  ３１  自由視点画像空間モデルＤＢ，  ３２−１，３２−２  視点画像生成部，  ３３−１乃至３３−３  視点画像圧縮部，  ３４  多重化部，  ３５  レート配分制御部，  ５１−１，５１−２  画像処理部，  ５２  合成処理部，  ５３  表示制御部，  ６１−１，６１−２  圧縮ＥＲＰ画像デコード処理部，  ６２−１，６２−２  視野画像生成処理部，  ７１  操作入力部，  ７２  出力部，  ２０１  ＣＰＵ，  ２０２  メモリ，  ２０３  センサ部，  ２０４  入力部，  ２０５  出力部，  ２０６  通信部，  ３０１  ＣＰＵ，  ３０３  ＲＡＭ，  ３０９  通信部
【図１】
2019155876.tif 000003
【図２】
2019155876.tif 000004
【図３】
2019155876.tif 000005
【図４】
2019155876.tif 000006
【図５】
2019155876.tif 000007
【図６】
2019155876.tif 000008
【図７】
2019155876.tif 000009
【図８】
2019155876.tif 000010
【図９】
2019155876.tif 000011
【図１０】
2019155876.tif 000012
【図１１】
2019155876.tif 000013
【図１２】
2019155876.tif 000014
【図１３】
2019155876.tif 000015
【図１４】
2019155876.tif 000016
【図１５】
2019155876.tif 000017
【図１６】
2019155876.tif 000018
【図１７】
2019155876.tif 000019
【図１８】
2019155876.tif 000020
【図１９】
2019155876.tif 000021
【図２０】
2019155876.tif 000022
【図２１】
2019155876.tif 000023
【図２２】
2019155876.tif 000024
【図２３】
2019155876.tif 000025
【図２４】
2019155876.tif 000026
【図２５】
2019155876.tif 000027
【図２６】
2019155876.tif 000028
【図２７】
2019155876.tif 000029
【図２８】
2019155876.tif 000030
【図２９】
2019155876.tif 000031
【図３０】
2019155876.tif 000032
【図３１】
2019155876.tif 000033
【図３２】
2019155876.tif 000034
【国際調査報告】
2019155876.tif 000035
2019155876.tif 000036
2019155876.tif 000037
2019155876.tif 000038