(57)【要約】【課題】  送信データ量の増大を抑制しつつ、仮想視点の移動に対する追従性を向上させる。【解決手段】  送信装置１０１は、受信装置１０２からビデオセグメントの要求を受信し（Ｓ６０９）、前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを提供すべきか決定し、該決定されたビデオセグメントを送信する（Ｓ６１０）。第２ビデオセグメントは第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントである。【選択図】  図６
2020005038.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータに基づくビデオセグメントを送信する送信装置であって、
受信装置からビデオセグメントの要求を受信する受信手段と、
前記受信手段により受信された要求の送信元である前記受信装置に対し、前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを提供すべきか決定する決定手段と、
前記決定手段により決定されたビデオセグメントを前記受信装置に対して送信する送信手段とを有し、
前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントであることを特徴とする送信装置。
【請求項２】
前記第１ビデオセグメントに対応する期間内に、前記第２ビデオセグメントに対応する期間が存在することを特徴とする請求項１に記載の送信装置。
【請求項３】
前記ビデオセグメントの要求先であるロケーションに関する情報を記述した記述データを、前記受信装置からの要求に応じて提供する提供手段を有することを特徴とする請求項１又は２に記載の送信装置。
【請求項４】
前記記述データには、前記第１及び第２ビデオセグメントのロケーションに関する情報が記述されることを特徴とする請求項３に記載の送信装置。
【請求項５】
前記記述データには、前記１及び第２ビデオセグメントのうち、何れか一方のロケーションに関する情報が記述されることを特徴とする請求項３に記載の送信装置。
【請求項６】
前記ロケーションに関する情報は、ＵＲＩ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）、又はＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）であることを特徴とする請求項３乃至５のうち、何れか１項に記載の送信装置。
【請求項７】
前記受信手段は、前記受信装置から仮想視点に関する視点情報を受信し、
前記決定手段は、前記受信手段により受信された視点情報に基づいて、前記第１及び第２ビデオセグメントのうち、何れのロケーションに関する情報を前記記述データに記述すべきか決定することを特徴とする請求項５に記載の送信装置。
【請求項８】
前記受信手段は、前記受信装置から仮想視点に関する視点情報を受信し、
前記決定手段は、前記受信装置に対し、前記第１及び第２ビデオセグメントのうち何れを送信すべきかを、前記受信手段により受信された視点情報に基づいて決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の送信装置。
【請求項９】
前記決定手段は、
所定期間中における前記仮想視点の移動量が閾値未満である場合は前記第１ビデオセグメントを提供すべきビデオセグメントとして決定し、
前記所定期間中における前記仮想視点の移動量が前記閾値以上である場合は前記第２ビデオセグメントを提供すべきビデオセグメントとして決定することを特徴とする請求項８に記載の送信装置。
【請求項１０】
前記決定手段は、
第１時刻における前記仮想視点の位置と第２時刻における前記仮想視点の位置との差が閾値未満である場合は前記第１ビデオセグメントを提供すべきビデオセグメントとして決定し、
前記第１時刻における前記仮想視点の位置と前記第２時刻における前記仮想視点の位置との差が前記閾値以上である場合は前記第２ビデオセグメントを提供すべきビデオセグメントとして決定することを特徴とする請求項８に記載の送信装置。
【請求項１１】
前記決定手段は、
第１時刻における前記仮想視点の向きと第２時刻における前記仮想視点の向きとの差が閾値未満である場合は前記第１ビデオセグメントを提供すべきビデオセグメントとして決定し、
前記第１時刻における前記仮想視点の位置と前記第２時刻における前記仮想視点の位置との差が前記閾値以上である場合は前記第２ビデオセグメントを提供すべきビデオセグメントとして決定することを特徴とする請求項８に記載の送信装置。
【請求項１２】
ビデオデータに基づくビデオセグメントを受信する受信装置であって、
仮想視点の位置及び向きに関する視点情報を取得する取得手段と、
前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを取得すべきかを前記取得手段により取得された前記視点情報に基づいて決定する決定手段と、
前記決定手段により決定されたビデオセグメントを前記送信装置に対して要求する要求手段とを有し、
前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントであることを特徴とする受信装置。
【請求項１３】
前記取得手段は、前記第１及び第２ビデオセグメントのそれぞれのロケーションに関する情報が記述された記述データを前記送信装置から取得し、
前記要求手段は、前記第１及び第２ビデオセグメントのうち、前記決定手段により決定されたビデオセグメントの要求先に対して要求を送信することを特徴とする請求項１２に記載の受信装置。
【請求項１４】
ビデオデータに基づくビデオセグメントを送信する送信方法であって、
受信装置からビデオセグメントの要求を受信する受信工程と、
前記受信工程により受信された要求の送信元である前記受信装置に対し、前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを提供すべきか決定する決定工程と、
前記決定工程により決定されたビデオセグメントを前記受信装置に対して送信する送信工程とを有し、
前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントであることを特徴とする送信方法。
【請求項１５】
ビデオデータに基づくビデオセグメントを受信する受信方法であって、
仮想視点の位置及び向きに関する視点情報を取得する取得工程と、
前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを取得すべきかを前記取得工程において取得された前記視点情報に基づいて決定する決定工程と、
前記決定工程により決定されたビデオセグメントを前記送信装置に対して要求する要求工程とを有し、
前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントであることを特徴とする受信方法。
【請求項１６】
コンピュータを請求項１乃至１１のうち、何れか１項に記載の送信装置の各手段として動作させるためのプログラム。
【請求項１７】
コンピュータを請求項１２又は１３に記載の受信装置の各手段として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点映像に関係するデータの通信方法に関する。
【背景技術】
【０００２】
ビデオや音声などのメディアコンテンツをストリーミング配信するための通信プロトコルとしてＭＰＥＧ−ＤＡＳＨやＨＬＳ（ＨＴＴＰ  Ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇ）が知られている。これらの通信プロトコルでは、サーバ（送信装置）がメディアセグメントや記述データを用意する。メディアセグメントとは、例えば、ビデオデータが一定の時間単位に分割されたビデオセグメントや、オーディオデータが同様に分割されたオーディオセグメントである。また、記述データとは、各メディアセグメントを要求するためのＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）を含むデータである。受信装置（クライアント）は送信装置から記述データを取得し、記述データに記述されているＵＲＬに基づいてメディアセグメントを選択的に取得する。また、特許文献１に示すように、ユーザによる仮想視点の操作を反映させた映像（以下、仮想視点映像と呼ぶ）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１８７７９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
サーバがクライアントに対して仮想空間全体のデータを提供すれば、クライアントは自由に仮想視点を操作することができるが、この場合には送信データ量が増大する。一方、サーバがクライアントから指定された仮想視点に対応するデータのみを提供する場合、送信データ量は削減できるが、インタラクティブ性に欠ける。つまり、クライアントにおける仮想視点の操作を表示映像にタイムリーに切り替えることが困難となる恐れがあった。
【０００５】
本発明は上記課題に鑑みなされたものであり、送信データ量の増大を抑制しつつ、仮想視点の操作に対する追従性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための一手段として、本発明の送信装置は以下の構成を有する。すなわち、ビデオデータに基づくビデオセグメントを送信する送信装置であって、受信装置からビデオセグメントの要求を受信する受信手段と、前記受信手段により受信された要求の送信元である前記受信装置に対し、前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを提供すべきか決定する決定手段と、前記決定手段により決定されたビデオセグメントを前記受信装置に対して送信する送信手段とを有し、前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントである。
【発明の効果】
【０００７】
本発明によれば、送信データ量の増大を抑制しつつ、仮想視点の操作に対する追従性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】システム構成図
【図２】送信装置１０１のハードウェア構成例を示すブロック図
【図３】送信装置１０１の機能構成例を示すブロック図
【図４】受信装置１０２のハードウェア構成例を示すブロック図
【図５】受信装置１０２の機能構成例を示すブロック図
【図６】実施形態１の送信装置１０１の動作を説明するためのフローチャート
【図７】通常時セグメントと視点変更時セグメントの違いを説明するための図
【図８】実施形態１の受信装置１０２の動作を説明するためのフローチャート
【図９】図８におけるＳ９００を詳細に説明するためのフローチャート
【図１０】三次元空間における視点情報の表現例
【図１１】視点情報の取得のための流れを説明するための図
【図１２】実施形態２の送信装置１０１の動作を説明するためのフローチャート
【図１３】実施形態２の受信装置１０２の動作を説明するためのフローチャート
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
［実施形態１］
図１は、本実施形態における通信システムの一例を示す図である。送信装置１０１は、ビデオデータに基づくビデオセグメントを提供するサーバ装置として機能する。送信装置１０１は、デジタルカメラ、デジタルビデオカメラ、ネットワークカメラ、プロジェクタ、スマートフォン、及び、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等により実現可能である。なお、本実施形態では、送信装置１０１がビデオセグメントを送信する例を中心に説明するが、送信装置１０１は、オーディオセグメントを含む各種メディアセグメント、及び、イニシャリゼーションセグメントなどを受信装置１０２に対して送信できる。
【００１１】
受信装置１０２は、ビデオセグメントを受信してビデオを再生するクライアント装置として機能する。受信装置１０２は、表示機能及び通信機能を備えるデジタルテレビ、タブレット、スマートフォン、ＰＣ、及び、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）等により実現可能である。
【００１２】
ネットワーク１０３は、送信装置１０１と受信装置１０２とを接続するための通信路である。ネットワーク１０３は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、又は、公衆移動体通信であるＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）等でもよいし、これらの組み合わせでもよい。
【００１３】
図２は、送信装置１０１のハードウェア構成の一例を示す図である。システムバス２００は、ＣＰＵ２０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３、通信インタフェース２０４等を接続し、各種データの転送経路となる。
【００１４】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、各ハードウェア構成部を統括的に制御し、送信装置１０１全体を制御する。送信装置１０１は、ＣＰＵ２０１を複数有していても良い。ＲＯＭ２０２は、ＣＰＵ２０１で実行される制御プログラム等を格納する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能し、プログラムやデータ、受信したパケットデータ等を一時記憶する。通信インタフェース２０４は、ネットワーク１０３を介して通信パケットの送受信を行うインタフェースで、例えば、無線ＬＡＮインタフェース、有線ＬＡＮインタフェース、または、公衆移動体通信インタフェース等が挙げられる。
【００１５】
記憶装置２０５は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等のストレージ装置である。本実施形態では、記憶装置２０５が送信装置１０１の外部に位置する例を説明するが、送信装置１０１に内蔵されるようにしても良い。本実施形態において、記憶装置２０５は、仮想視点映像の生成のために用いられる素材データを記憶する。素材データとは、例えば、多視点映像データである。多視点映像データは、撮影対象（例えばサッカー場）を異なる複数の方向から同時に撮影して得られる映像データである。なお、素材データは多視点映像データに限らず、例えば、オブジェクト（撮影対象がサッカーであれば選手及びボールなど）の３次元形状データとテクスチャデータの組み合わせであっても良い。３次元形状データとテクスチャデータは多視点映像データから公知の方法（例えば、Ｖｉｓｕａｌ  Ｈｕｌｌ）により生成可能である。このように、記憶装置２０５により記憶される素材データは、仮想視点映像の生成のために用いることができればよく、その形式は特に限定されない。また、記憶装置２０５に記憶される素材データは、撮像装置からリアルタイムに取得されても良いし、予め生成されたデータであっても良い。以下では、素材データが多視点映像データである場合の例を中心に説明する。
【００１６】
図３は、送信装置１０１の機能構成例を示す図である。尚、本実施形態では以下に示す各機能ブロックの機能は、ＣＰＵ２０１がＲＯＭ２０２、ＲＡＭ２０３に格納されているソフトウェアプログラムを実行することにより実施されるものとする。但し、各機能ブロックに含まれる一部または全部がハードウェア化されていてもよい。
【００１７】
通信部３０１は、通信インタフェース２０４で送受信する通信パケットのプロトコル処理を行う。通信部３０１は、受信装置１０２から受信した各種要求パケットを要求処理部３０２に転送すると共に、記述データ生成部３０３により生成された記述データ、及び、セグメント決定部３０８により決定されたビデオセグメントを受信装置１０２に対して送信する。本実施形態では、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）及びＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）を使用する例を説明する。しかしながら、これらの通信プロトコルとは別の通信プロトコルが使用されるようにしても良い。
【００１８】
要求処理部３０２は、受信装置１０２から受信した要求パケットを処理する。本実施形態の要求パケットには、記述データを要求するための記述データ要求パケットと、ビデオセグメントを要求するためのセグメント要求パケットの２種類がある。記述データは、ビデオセグメントの要求先であるロケーションに関する情報（例えばＵＲＬ又はＵＲＩ）を記述する。ＵＲＩは、Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒの略である。また、ビデオセグメントは、ビデオデータが時間的及び空間的に分割されたデータである。つまり、本実施形態の送信装置１０１は、３次元空間に対応するビデオデータのうち、仮想視点（仮想カメラ）の位置及び向きに応じた空間の一定時間分のビデオデータをビデオセグメントとして提供する。
【００１９】
要求処理部３０２は、記述データ要求パケットを受信すると、記述データ生成部３０３に記述データの生成を指示する。また、記述データ要求パケットに視点情報が含まれている場合は、視点情報解析部３０４に視点情報の解析を指示する。一方、要求処理部３０２は、セグメント要求パケットを受信すると、送信すべきビデオセグメントの決定をセグメント決定部３０８に指示する。また、セグメント要求パケットに視点情報が含まれている場合は、視点情報解析部３０４に視点情報の解析を指示する。尚、本実施形態では、視点情報が記述データ要求パケットに含まれる例を中心に説明するが、視点情報と記述データ要求は複数のパケットに分離されていても良いし、視点情報がセグメント要求パケットに含まれていても良い。
【００２０】
記述データ生成部３０３は、記述データ要求パケットの受信に応じて記述データを生成する。ただし、記述データの生成タイミングはこれに限らず、一定時間ごとに記述データが生成されるようにしても良いし、新規のビデオセグメントが生成されたタイミングで新たな記述データが生成されるようにしても良い。記述データには、ビデオやオーディオの特徴に関する情報（例えば、コーデック情報、画像サイズ、ビットレート等）、ビデオセグメントに関する情報（例えば、ビデオセグメントの期間等）、及び、ビデオセグメントを要求するためのＵＲＬ等が記述される。本実施形態の記述データは、ＭＰＥＧ−ＤＡＳＨにおけるＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）、ＨＬＳにおけるＰｌａｙｌｉｓｔｓに対応する。本実施形態では、ＭＰＥＧ−ＤＡＳＨに基づく例を中心に説明するが、それ以外の通信プロトコルが用いられても良い。
【００２１】
視点情報解析部３０４は、記述データ要求パケットに含まれる視点情報（仮想カメラのパラメータ情報）を解析する。視点情報は、例えば、三次元空間における視点位置、視線方向、焦点距離、画角等を表現する情報である。ただし上記のすべての情報が視点情報に含まれていなければならないわけではない。視点情報解析部３０４は視点情報を解析した結果を符号化部３０５に入力する。
【００２２】
符号化部３０５は、視点情報の解析結果に基づき、多視点映像記憶部３０６から取得した多視点映像データ（素材データ）を符号化する。多視点映像データの符号化方式は、例えば、Ｈ．２６４−ＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）や、３Ｄ−ＨＥＶＣ（３Ｄ  Ｅｘｔｅｎｓｉｏｎｓ  ｏｆ  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）等であっても良い。また、国際標準化されていない独自方式の符号化方式を採用しても良い。なお、素材データの例は多視点映像データに限らない。素材データの別の例として、オブジェクト（撮影対象がサッカーであれば選手及びボールなど）の３次元形状データとテクスチャデータ、及び、背景領域の３次元形状データとテクスチャデータであっても良い。また、素材データのさらに別の例として、オブジェクトの３次元形状の各構成要素にテクスチャが付加されたデータである色付き３次元データであっても良い。受信装置１０２は、送信装置１０１からの素材データを用いることによって、仮想視点映像を生成できる。
【００２３】
なお、送信装置１０１は、素材データを用いて仮想視点映像を生成し、その仮想視点映像を受信装置１０２に提供することも可能である。送信装置１０１が仮想視点映像を生成すると、インタラクティブ性には欠けるが、受信装置１０２の計算リソースが低い場合であっても、仮想視点映像を表示させることができる。
【００２４】
符号化部３０５は、ビデオやオーディオの特徴に関する情報（例えば、コーデック情報、画像サイズ、ビットレート等）を記述データ生成部３０３に入力する。多視点映像記憶部３０６は、記憶装置２０５に素材データ（多視点映像データ）を記憶させる。記憶装置２０５に記憶される多視点映像データは、どのような形式でもよい。例えば、複数の撮像装置の撮影画像が非圧縮で記憶されても良い。
【００２５】
セグメント生成部３０７は、符号化部３０５で符号化された多視点映像データ（素材データ）を単位時間のビデオセグメントとして生成する。例えば、Ｆｒａｇｍｅｎｔｅｄ  ＭＰ４、又は、ＴＳフォーマット等のコンテナファイルとして生成しても良い。セグメント決定部３０８は、受信装置１０２から受信したセグメント要求に応じて受信装置１０２へ送信するビデオセグメントを決定する。
【００２６】
図４は、受信装置１０２のハードウェア構成の一例を示す図である。システムバス４００、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、通信インタフェース４０４は、図２と同様の機能となるため説明は省略する。入力装置４０５は、ユーザからの入力を受け付ける装置で、例えば、タッチパネル、キーボード、マウス、ボタン等が挙げられる。入力装置４０５の操作によって、仮想視点の位置及び向きなどを変更することが可能である。
【００２７】
出力装置４０６は、仮想視点映像をはじめとする各種情報を出力する装置で、例えば、ディスプレイ、デジタルテレビ、及び、プロジェクタ等の表示機能を備えた装置である。記憶装置４０７は、送信装置１０１から受信した素材データ（多視点映像データ）や仮想視点映像等を記憶するための装置で、ＨＤＤやＳＳＤ等のストレージ装置が挙げられる。
【００２８】
本実施形態では、入力装置４０５、出力装置４０６、及び、記憶装置４０７が、受信装置１０２に含まれる例を説明するが、外部に設置してもよい。
【００２９】
図５は、受信装置１０２の機能構成例を示す図である。尚、本実施形態では以下に示す各機能ブロックの機能は、ＣＰＵ４０１がＲＯＭ４０２及びＲＡＭ４０３に格納されているソフトウェアプログラムを実行することにより実施されるものとする。但し、各機能ブロックに含まれる一部または全部がハードウェア化されていてもよい。
【００３０】
通信部５０１は、通信インタフェース４０４が送受信する通信パケットのプロトコル処理を行う。通信部５０１は、送信装置１０１から受信した記述データを記述データ解析部５０２に転送すると共に、素材データ（多視点映像データ）が格納されたビデオセグメントを仮想視点映像記憶部５０４に記憶させる。また、通信部５０１は、要求生成部５０３から受け取った各種要求パケットをネットワーク１０３経由で送信装置１０１に送信する。本実施形態では、受信装置１０２が送信装置１０１と同様にＴＣＰ／ＩＰ及びＨＴＴＰを使用する例を説明するが、これに限らない。
【００３１】
記述データ解析部５０２は、送信装置１０１から受信した記述データの解析処理を行う。記述データにはビデオセグメントを要求するためのＵＲＬやセグメント情報等が記述されており、記述データ解析部５０２は、それらの内容を要求生成部５０３に入力する。なお、記述データの内容はユーザが確認できるように出力部５０６において出力されるようにしても良い。
【００３２】
要求生成部５０３は、送信装置１０１に送信される各種要求パケットの生成を行う。要求パケットには、記述データを要求するための記述データ要求パケットや、多視点映像データ（素材データ）が格納されたビデオセグメントを要求するためのセグメント要求パケットが含まれる。また、要求生成部５０３は、入力部５０７から入力される視点情報を記述データ要求パケットに格納する。視点情報は、記述データ要求パケットに格納せず、セグメント要求パケットに格納されても良いし、記述データ要求パケットやセグメント要求パケットとは異なる独立したパケットに格納されても良い。
【００３３】
仮想視点映像記憶部５０４は、通信部５０１から受け取ったビデオセグメントを記憶装置４０７に記憶させる。なお、ビデオセグメントに含まれる素材データ（多視点映像データ）が符号化されている場合、復号化部５０５により復号されてから記憶装置４０７に記憶されるようにしても良い。また、素材データ（多視点映像データ）から復号化部５０５により生成された仮想視点映像が記憶装置４０７に記憶されるようにしても良い。また、送信装置１０１から仮想視点映像そのものを受信した場合は、その仮想視点映像が記憶装置４０７に記憶されるようにしても良い。
【００３４】
復号化部５０５は、送信装置１０１から受信した素材データ（又は仮想視点映像）を復号化する。出力部５０６は、復号化部５０５で復号化されたデータを出力装置４０６に出力する。入力部５０７は、入力装置４０５を介してユーザから入力される視点情報（仮想カメラのパラメータ）を要求生成部５０３に出力する。また、入力された情報は、出力部５０６を介して出力装置４０６に出力されるようにしても良い。
【００３５】
図６は、送信装置１０１の処理の流れを示すフローチャートである。当該フローチャートは、送信装置１０１が、ＲＯＭ２０２に記憶されたプログラムをＣＰＵ２０１が読み出し、それを実行することで実現される。
【００３６】
Ｓ６０１において、要求処理部３０２は、記述データ要求パケットを受信したか否かを判定する。記述データ要求パケットであればＳ６０２に移行する。記述データ要求パケットを受信していなければＳ６０９に移行する。
【００３７】
Ｓ６０２において、視点情報解析部３０４は、視点情報（仮想カメラのパラメータ）に変更があるか判別する。判別方法の一例として、所定期間中における仮想視点の移動量と閾値を比較する方法がある。例えば、２秒ごとに仮想視点の移動量の合計値を求め、当該合計値が閾値以上であれば、視点情報に変更があると判別できる。判別方法の別の例として、第１時刻における仮想視点の位置と第２時刻における仮想視点の位置との差と、閾値とを比較する方法が適用可能である。つまり、送信装置１０１は、第１時刻と第２時刻の仮想視点の位置の差が閾値以上であれば、視点情報に変更があると判定し、当該差が閾値未満であれば、視点情報に変更がないと判定できる。
【００３８】
また、判別方法の別の例として、第１時刻における仮想視点の向きと第２時刻における仮想視点の向きとの差と閾値とを比較する方法が適用可能である。つまり、送信装置１０１は、第１時刻と第２時刻の仮想視点の向きの差が閾値以上であれば、視点情報に変更があると判定し、当該差が閾値未満であれば、視点情報に変更がないと判定できる。
【００３９】
また、判別方法の別の例として、判別を受信装置１０２にゆだねる方法がある。すなわち、視点が変化する場合のみ受信装置１０２が視点情報を送信するケースにおいては、送信装置１０１は、視点情報を受け取った場合には常に視点情報の変更が発生したと判定できる。視点情報に変更がある場合はＳ６０３に移行し、視点情報に変更がない場合はＳ６０４に移行する。
【００４０】
Ｓ６０３において、視点情報解析部３０４は視点情報の解析処理を行う。Ｓ６０４において、符号化部３０５は通常の多視点映像データの符号化を行い、セグメント生成部３０７はビデオセグメント（通常時ビデオセグメント）の生成を行う。Ｓ６０５において、符号化部３０５は視点変更時の多視点映像データの符号化を行い、セグメント生成部３０７はビデオセグメント（視点変更時ビデオセグメント）の生成を行う。すなわち、視点情報解析部３０４は、受信装置１０２に対し、通常時セグメントと視点変更時セグメントのいずれを提供すべきかを決定する。通常時セグメントと視点変更時セグメントの違いについては後述する。
【００４１】
Ｓ６０６において、記述データ生成部３０３は、Ｓ６０４又はＳ６０５において生成されたビデオセグメントを要求するための情報（ＵＲＩ又はＵＲＬ）を記述した記述データを生成する。すなわち記述データ生成部３０３は、通常時セグメントと視点変更時セグメントのうち、何れか一方のロケーションに関する情報が記述された記述データを生成する。Ｓ６０７において、通信部３０１はＳ６０６において生成された記述データを受信装置１０２に送信する。Ｓ６０８において、映像データの送信サービスを終了するか判定する。サービスを継続する場合は、Ｓ６０１に移行する。
【００４２】
Ｓ６０９において、要求処理部３０２は、受信装置１０２からセグメント要求パケット（ビデオセグメントの要求）を受信したか否かを判定し、セグメント要求パケットであればＳ６１０に移行する。セグメント要求パケットでなければＳ６０１に移行する。Ｓ６１０において、通信部３０１は、セグメント要求パケットの送信元である受信装置１０２に対し、セグメント要求パケットに応じたビデオセグメント（通常時セグメント又は視点変更時セグメント）を受信装置１０２に送信する。
【００４３】
図７は、通常時セグメントと視点変更時セグメントの関係を示した図である。本実施形態において、視点変更時セグメント（第２ビデオセグメント）は、通常時セグメント（第１ビデオセグメント）よりも短い時間に対応する、及び／又は、広い空間範囲に対応する。なお、視点軸は必ずしも単一パラメータによる一次元ではなく、複数のパラメータによる多次元領域の広さと捉えることもできる。
【００４４】
図７において、７０１から７０７が指す矩形はそれぞれビデオセグメントを示す。横に長いビデオセグメントは、その分長い時間に対応している。また、縦に長いビデオセグメントは、その分広い空間範囲に対応している。７０８はユーザの視点位置を示す。時間軸上において各ビデオセグメントの境界に到達する前に受信装置１０２は記述データ要求パケットを送信装置１０１に対して送信する。
【００４５】
セグメント７０１とセグメント７０７は通常時セグメントであり、視点領域の幅は狭く、且つ時間長は長い。つまり、仮想視点が移動していない期間に送信されるビデオセグメントは、狭い空間範囲に対応し、且つ／又は、長い期間に対応する。一般に、狭い空間範囲に対応するビデオセグメントは、広い空間範囲に対応するビデオセグメントよりもデータ量が少ないので、ビデオセグメントの単位時間当たりの送信データ量を低減することができる。
【００４６】
一方、セグメント７０２からセグメント７０６は視点変更時セグメントであり、それぞれの視点領域の幅は広く、且つ時間長は短い。つまり、仮想視点が移動している期間に送信されるビデオセグメントは、広い空間範囲に対応し、且つ／又は、短い期間に対応する。これにより、仮想視点の変化に対する高い追従性が得られる。また、仮想視点が移動している期間に送信されるビデオセグメントの時間長を短くすることにより、仮想視点の移動に応じて送信対象領域をインタラクティブに変更することができるので、送信データ量の増大を防止できるという効果がある。また、仮想視点の移動が停止したときにはすみやかに通常時セグメントに切り替えることができるので、送信データ量を削減できるという効果がある。
【００４７】
セグメント決定部３０８は、視点情報の変更の有無を判別し、その結果に基づいて通常時セグメントと視点変更時セグメントの切り替えを行う。なお本実施形態では通常時セグメントと視点変更時セグメントの２パターンを有する場合の例を説明するが、仮想視点の移動距離や仮想視点の移動速度等に応じて３パターン以上にビデオセグメントを分類するようにしても良い。また、視点領域の幅は、例えば、後述する視点情報に含まれる様々なパラメータの取り得る範囲で制御してもよいし、特定のパラメータの複数の固定値の組み合わせとして制御してもよい。また、通常時セグメントは時間長が短い視点変更時セグメントを複数連結することで生成されるようにしても良い。言い換えると、通常時セグメントに対応する期間内に、視点変更時セグメントに対応する期間が存在するようにしても良い。
【００４８】
図８は、受信装置１０２の動作を説明するためのフローチャートである。当該フローチャートは、受信装置１０２のＣＰＵ４０１が、ＲＯＭ４０２に記憶されたプログラムを読み出し、それを実行することで実現される。
【００４９】
Ｓ８０１において、要求生成部５０３は、現在の視点情報を生成する。視点情報の表現方法の一例については図１０を用いて後述する。Ｓ８０２において、要求生成部５０３は、記述データ要求パケットを生成する。本実施形態において、記述データ要求パケットには、Ｓ８０１において生成された視点情報が含まれる。
【００５０】
Ｓ８０３において、通信部５０１は、記述データ要求パケットを送信装置１０１に対して送信する。Ｓ８０４において、通信部５０１は、記述データを受信したかどうかを判定し、記述データを受信したらＳ８０５に移行する。
【００５１】
Ｓ８０５において、記述データ解析部５０２は、記述データの解析を行う。Ｓ９００において、記述データ解析部５０２は、Ｓ８０５において解析した記述データに基づいてセグメント処理を行う。セグメント処理の詳細は図９を用いて後述する。Ｓ８０６において、該サービスを終了するか判定する。サービスを継続する場合はＳ８０１に移行する。
【００５２】
図９は、Ｓ９００のセグメント処理の流れを示すフローチャートである。
【００５３】
Ｓ９０１において、要求生成部５０３は、セグメント要求パケットを生成する。Ｓ９０２において、通信部５０１は、セグメント要求パケットを送信装置１０１に送信する。Ｓ９０３において、通信部５０１は、送信装置１０１からビデオセグメントを受信したかどうかを判定し、ビデオセグメントを受信したらＳ９０４に移行する。Ｓ９０４において、仮想視点映像記憶部５０４は、ビデオセグメントを記憶装置４０７に記憶させる。
【００５４】
Ｓ９０５において、復号化部５０５は、ビデオセグメントの再生要否を判定する。例えば、ビデオセグメントのデータが全て記憶され、且つ時間的に前のビデオセグメントの再生が完了した場合に再生要と判定してもよいし、他の判定方法でもよい。再生要と判定されたらＳ９０６に移行する。Ｓ９０６において、復号化部５０５はビデオセグメントの復号化処理を行う。Ｓ９０６はＳ９０４より以前に行うことで予め復号化したビデオセグメントを記憶装置４０７に記憶しておいてもよい。Ｓ９０７において、出力部５０６は出力装置４０６に対してビデオセグメントを出力する。これにより、仮想視点映像が表示される。
【００５５】
図１０は、視点情報の表現方法の一例を示す図である。図１０（ａ）は、三次元空間における視点の位置を示す。１００１は視点位置を示す。１００２は三次元空間におけるｘ座標軸、１００３はｙ座標軸、１００４はｚ座標軸をそれぞれ示す。座標軸における視点位置の表現例として、座標軸毎に移動可能な範囲を予め定義しておき、０から当該範囲までの数値で表現する方法が挙げられる。本実施形態では絶対座標として表現する例を示すが、相対座標、例えば最大移動可能範囲を１とした場合の割合、でもよいし、現在視点位置からの移動距離でもよい。
【００５６】
図１０（ｂ）は、視点位置からの視線方向を示す。１００５は視線方向の向きを示すｙａｗ軸、１００６は視線方向の傾斜を示すｐｉｔｃｈ軸、１００７は視線方向の回転を示すｒｏｌｌ軸をそれぞれ示す。これら三軸のパラメータを変更することで視線方向を自由に変更することができる。視線方向の表現例として、軸毎に移動可能な範囲を予め定義しておき、例えば、０から３６０、−１８０から１８０等のように表現する方法が挙げられる。本実施形態では絶対値として表現する例を示すが、相対値でもよいし、現在の視線方向からの差分値等でもよい。また、１００８は焦点位置までの距離を示すｄｅｐｔｈである。ｄｅｐｔｈの単位も絶対値でも相対値でもよい。これら視点位置、視線方向、及び、焦点位置等のパラメータは必ずしも含まれていなくてもよいし、１つ以上を組み合わせたものでもよい。
【００５７】
図１１は、ＨＴＴＰ拡張ヘッダを利用して視点情報を取得する場合の例を示した図である。まず、受信装置１０２から送信装置１０１に対して記述データ要求１１０１を送信する。記述データ要求１１０１には、記述データを要求するためのアクセスＵＲＬ１１０２と視点情報１１０３が含まれる。図１１の視点情報１１０３は、ユーザ（受信装置１０２）の現在の視点位置と、視線方向、焦点位置を含んでいる。拡張ヘッダフィールドとして、視点位置をＸ−ＳｉｇｈｔＬｏｃａｔｉｏｎ、視線方向をＸ−ＳｉｇｈｔＤｉｒｅｃｔｉｏｎ、視点焦点位置をＸ−ＳｉｇｈｔＤｅｐｔｈとして定義している。
【００５８】
送信装置１０１は、受信装置１０２から記述データ要求１１０１を受信すると、記述データ１１０４を受信装置１０２に送信する。１１０４は、記述データの例であり、ストリーミング方式としてＭＰＥＧ−ＤＡＳＨを想定した例となっているが、それ以外の方式でもよい。ＭＰＥＧ−ＤＡＳＨではＭＰＤと呼ばれるｘｍｌ形式の記述データを用いる。記述データは各種データがその区分に従って入れ子状に記述される。動画や音声のセグメント情報はＳｅｇｍｅｎｔタグ内に記述される。１１０５は、Ｓｅｇｍｅｎｔタグ内に記述されるセグメントを要求するためのアクセスＵＲＬである。受信装置１０２は、記述データ１１０４を取得すると、取得したいビデオセグメントを選択し、当該ビデオセグメントのアクセスＵＲＬ１１０５を用いてセグメント要求パケットを生成する。ＭＰＥＧ−ＤＡＳＨやＨＬＳ等のＨＴＴＰベースのストリーミング方式では、ビデオセグメントの要求はＨＴＴＰのＧＥＴリクエストメッセージにより実現される。
【００５９】
本実施形態における送信装置１０１は、受信装置１０２から記述データ要求パケットと共に視点情報を受け取り、その視点情報から視点変更の有無を判別し、視点変更時には通常時よりも視点領域が広く、且つ／又は、時間長が短いビデオセグメントを提供する。これにより、送信データ量の増大を抑制しつつ、ユーザによる視点の変更に対する追従性が高いビデオ配信が可能となる。
【００６０】
なお、視点情報はセグメント要求パケットに含まれていても良い。また、上述の実施形態において、送信装置１０１は、受信装置１０２から受け取った視点情報から視点情報の変更があると判別した際に、記述データの中身を視点変更時セグメントの情報に書き換えた。しかしながらこれに限らず、記述データの中身を変更せずに、ビデオセグメントの中身を変更してもよい。
【００６１】
［実施形態２］
実施形態１では、送信装置１０１が受信装置１０２から視点情報を受け取り、視点変更の有無を判別し、受信装置１０２に提供するビデオセグメントを変更する例を説明した。実施形態２では、送信装置１０１が通常時セグメントと視点変更時セグメントを取得するための情報を両方とも記述データに記述し、受信装置１０２が視点変更の有無を判別し、取得するビデオセグメントを切り替える例を説明する。ハードウェア構成や機能構成については実施形態１と同様であるため説明は省略する。
【００６２】
図１２は、実施形態２における送信装置１０１の動作を説明するためのフローチャートである。Ｓ１２０１は図６におけるＳ６０１、Ｓ１２０５はＳ６０７、Ｓ１２０６はＳ６０８、Ｓ１２０７はＳ６０９、Ｓ１２０８はＳ６１０とそれぞれ同様の処理内容となるため説明は省略する。
【００６３】
Ｓ１２０２において、符号化部３０５及びセグメント生成部３０７は、各視点の通常時用の多視点映像（素材データ）の符号化及びセグメント生成を行う。Ｓ１２０３において、符号化部３０５及びセグメント生成部３０７は、各視点の視点変更時用の多視点映像データ（素材データ）の符号化及びビデオセグメント生成を行う。Ｓ１２０４において、記述データ生成部３０３は、Ｓ１２０２及びＳ１２０３において生成されたビデオセグメントを要求するための情報が記述された記述データを生成する。すなわち、記述データ生成部３０３は、Ｓ１２０４において、第１及び第２ビデオセグメント（通常時の多視点映像と視点変更時の多視点映像）のロケーションに関する情報が記述された記述データを生成する。
【００６４】
図１３は、実施形態２における受信装置１０２の動作を説明するためのフローチャートである。Ｓ１３０１は図８におけるＳ８０２、Ｓ１３０２はＳ８０３、Ｓ１３０３はＳ８０４、Ｓ１３０８はＳ８０６とそれぞれ同様の処理内容となるため説明は省略する。また、セグメント処理Ｓ９００は図９と同様であるため説明は省略する。
【００６５】
Ｓ１３０４において、記述データ解析部５０２は、記述データの解析を行う。記述データには、通常時セグメントのアクセスＵＲＬと視点変更時セグメントのアクセスＵＲＬが含まれる。
【００６６】
Ｓ１３０５において、記述データ解析部５０２は、視点情報の変更有無を判別する。判別方法は実施形態１において説明した通りである。なお受信装置１０２は、ユーザによるマウスやタブレット操作に基づいて視点情報を取得しても良いし、ＨＭＤ等に付属するセンサー情報等から視点情報を取得しても良い。視点情報に変更があると判別された場合はＳ１３０６、視点情報に変更がないと判別された場合はＳ１３０７にそれぞれ移行する。
【００６７】
Ｓ１３０６において、要求生成部５０３は、視点変更時セグメントを取得すべきビデオセグメントとして設定する。Ｓ１３０７において、要求生成部５０３は、通常時セグメントを取得すべきビデオセグメントとして設定する。すなわち、要求生成部５０３は、Ｓ１３０６とＳ１３０７において、通常時セグメントと視点変更時セグメントのうち、何れのビデオセグメントを取得すべきかを、視点情報に基づいて決定する。Ｓ９００において、受信装置１０２は、Ｓ１３０６又はＳ１３０７における設定に従って、ビデオセグメントの取得及び再生を行う。
【００６８】
本実施形態における受信装置１０２は、受信装置１０２において視点情報の変更有無を判別し、視点情報に変更があると判別された場合には、視点変更時セグメントを取得し、視点情報に変更がないと判別された場合には、通常時セグメントを取得する。これにより、送信装置１０１の処理負荷を抑えつつ、実施形態１と同様の効果を得ることができる。
【００６９】
また、上述の実施形態１及び２は、ＭＰＥＧ−ＤＡＳＨをベースにした例を中心に説明したが、これに限らない。例えば、記述データを提供しないシステムにおいても、本発明は適用可能である。この場合、送信装置１０１は、受信装置１０２からの視点情報に基づいて、通常時セグメントを提供すべきか、視点変更時セグメントを提供すべきかを決定することができる。
【００７０】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７１】
１０１  送信装置
１０２  受信装置
【図１】
2020005038.tif 000003
【図２】
2020005038.tif 000004
【図３】
2020005038.tif 000005
【図４】
2020005038.tif 000006
【図５】
2020005038.tif 000007
【図６】
2020005038.tif 000008
【図７】
2020005038.tif 000009
【図８】
2020005038.tif 000010
【図９】
2020005038.tif 000011
【図１０】
2020005038.tif 000012
【図１１】
2020005038.tif 000013
【図１２】
2020005038.tif 000014
【図１３】
2020005038.tif 000015