(57)【要約】【課題】個別視点および全視点の各映像ストリームをクライアントへ配信する映像配信サーバ、映像配信方法および映像配信プログラムならびに映像再生装置を提供する。【解決手段】、  多視点映像格納部１０１は、視点の異なる複数のカメラから取得した多視点映像が格納される。個別視点ストリーム生成部１０２は、多視点映像に基づいて個別視点ストリームを生成する。全視点ストリーム生成部１０３は、多視点映像を結合して全視点ストリームを生成する。スケジューリング部１０７は、視聴要求受付部１０５が各クライアントから取得した視聴要求に基づいて各映像ストリームをマルチキャストするスケジュールを決定する。スケジュール通知部１１０は、前記決定したスケジュールをクライアントへ通知する。マルチキャスト配信部１０８は、前記決定したスケジュールに基づいて各映像ストリームをマルチキャストする。【選択図】図２
2019068130.tif 000002
【特許請求の範囲】
【請求項１】
映像ストリームをクライアントへ配信する映像配信サーバにおいて、
多視点映像に基づいて個別視点ストリームを生成する手段と、
多視点映像を結合して全視点ストリームを生成する手段と、
各クライアントからの要求に基づいて各映像ストリームをマルチキャストするスケジュールを決定する手段と、
前記決定したスケジュールをクライアントへ通知する手段と、
前記決定したスケジュールに基づいて各映像ストリームをマルチキャストする手段とを具備したことを特徴とする映像配信サーバ。
【請求項２】
前記スケジュールを決定する手段は、
全視点ストリームの視聴要求から再生位置の指定に関するパラメータを抽出する手段と、
視聴要求から抽出した再生位置に基づいて、再生位置ごとのクライアント数の分布を推定する手段とを具備し、
前記分布が所定の閾値を超える再生位置に対応した全視点ストリームをマルチキャストするスケジュールを決定することを特徴とする請求項１に記載の映像配信サーバ。
【請求項３】
前記スケジュールを決定する手段は、
個別視点ストリームの視聴要求から再生位置および視点分布を抽出する手段と、
視聴要求から抽出した再生位置および視点分布に基づいて、再生位置および視点ごとのクライアント数の二次元の分布を推定する手段とを具備し、
前記二次元の分布が所定の閾値を超える再生位置および視点に対応した個別視点ストリームをマルチキャストするスケジュールを決定することを特徴とする請求項１または２に記載の映像配信サーバ。
【請求項４】
映像配信サーバが映像ストリームをクライアントへ配信する映像配信方法において、
クライアントが、
映像ストリームの視聴要求を送信する手順と、
映像配信サーバが、
多視点映像に基づいて個別視点ストリームおよび全視点ストリームを生成する手順と、
各映像ストリームをマルチキャストするスケジュールを決定する手順と、
前記決定したスケジュールをクライアントへ通知する手順と、
前記決定したスケジュールに基づいて各映像ストリームをマルチキャストする手順と、
クライアントがさらに、
前記通知されたスケジュールに基づいて各映像ストリームを受信する手順とを含むことを特徴とする映像配信方法。
【請求項５】
前記スケジュールを決定する手順が、
全視点ストリームの視聴要求から再生位置の指定に関するパラメータを抽出する手順と、
視聴要求から抽出した再生位置に基づいて、再生位置ごとのクライアント数の分布を推定する手順とを含み、
前記分布が所定の閾値を超える再生位置に対応した全視点ストリームをマルチキャストするスケジュールを決定することを特徴とする請求項４に記載の映像配信方法。
【請求項６】
前記信スケジュールを決定する手順が、
個別視点ストリームの視聴要求から再生位置および視点分布を抽出する手順と、
視聴要求から抽出した再生位置および視点分布に基づいて、再生位置および視点ごとのクライアント数の二次元の分布を推定する手順とを含み、
前記二次元の分布が所定の閾値を超える再生位置および視点に対応した個別視点ストリームをマルチキャストするスケジュールを決定することを特徴とする請求項４または５に記載の映像配信方法。
【請求項７】
映像配信サーバからクライアントへ映像ストリームを配信させる映像配信プログラムにおいて、
多視点映像に基づいて個別視点ストリームを生成する手順と、
多視点映像を結合して全視点ストリームを生成する手順と、
各クライアントから取得した視聴要求に基づいて各映像ストリームをマルチキャストするスケジュールを決定する手順と、
前記決定したスケジュールをクライアントへ通知する手順と、
前記決定したスケジュールに基づいて各映像ストリームをマルチキャストする手順とを含むことを特徴とする映像配信プログラム。
【請求項８】
前記配信スケジュールを決定する手順が、
全視点ストリームの視聴要求から再生位置の指定に関するパラメータを抽出する手順と、
視聴要求から抽出した再生位置に基づいて、再生位置ごとのクライアント数の分布を推定する手順とを含み、
前記分布が所定の閾値を超える再生位置に対応した全視点ストリームをマルチキャストするスケジュールを決定することを特徴とする請求項７に記載の映像配信プログラム。
【請求項９】
前記スケジュールを決定する手順が、
個別視点ストリームの視聴要求から再生位置および視点分布を抽出する手順と、
視聴要求から抽出した再生位置および視点分布に基づいて、再生位置および視点ごとのクライアント数の二次元の分布を推定する手順とを含み、
前記二次元の分布が所定の閾値を超える再生位置および視点に対応した個別視点ストリームをマルチキャストするスケジュールを決定することを特徴とする請求項７または８に記載の映像配信プログラム。
【請求項１０】
映像配信サーバが配信する映像ストリームを再生する映像再生装置において、
映像ストリームの視聴要求を映像配信サーバへ送信する手段と、
映像配信サーバが前記視聴要求に基づいて決定し、通知する各映像ストリームをマルチキャストするスケジュールを受信する手段と、
前記受信したスケジュールに基づいて、前記映像配信サーバが前記スケジュールにしたがってマルチキャストする映像ストリームを受信する手段とを具備したことを特徴とする映像再生装置。
【請求項１１】
前記視聴要求が、再生位置の指定に関するパラメータを含み、
前記スケジュールが、前記再生位置の指定に関するパラメータに基づいて決定されていることを特徴とする請求項１０に記載の映像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像配信サーバ、映像配信方法および映像配信プログラムならびに映像再生装置に係り、特に、多視点映像に基づいて個別視点および全視点の各映像ストリームを生成し、クライアントへマルチキャストする映像配信サーバ、映像配信方法および映像配信プログラムならびに映像再生装置に関する。
【背景技術】
【０００２】
近年、ネットワーク容量の増大やスマートフォンの普及により、多くのユーザがスマートフォンでの映像サービスを利用するようになってきた。また、映像メディアにおいても、より高い臨場感を伝送できる形態として、多視点映像および自由視点映像といった視聴形態が提案されるようになってきた。ここで、多視点映像とは、複数のカメラで撮影された映像をユーザが任意に切り替えながら視聴できる映像であり、自由視点映像とは、更にカメラが存在しなかった視点からの映像を仮想的に合成して視聴できる映像である。
【０００３】
一方で、配信方式については、非特許文献２で解説される通り、サーバレンダリング方式とクライアントレンダリング方式とがある。サーバレンダリング方式では、ユーザの視点操作情報をサーバに送信し、対応する視点映像を合成、レンダリングおよびエンコードしてクライアントへ映像を配信する。したがって、クライアント側の受信データ量を抑制できるが、操作に対するレスポンス遅延というクリティカルな問題が発生する。
【０００４】
クライアントレンダリング方式は、サーバでエンコードされた全視点の映像をクライアントに送信し、クライアント側で視点映像を合成・レンダリングする。クライアントレンダリング方式は、クライアント側の受信データ量が増大する欠点があるが、ユーザの視点操作に対するレスポンス遅延が小さくなる。
【０００５】
クライアント側の受信データ量が増大するという技術課題に対して、特許文献１は、全視点分の映像ストリームを配信しつつ、ユーザが現在指定している視点以外の映像はビットレートを下げることによって、全体のビットレートを削減する手法を提案している。具体的には、ユーザが選択中の視点のビットレートが最大となるように確率分布を更新し、各視点へ割り当て可能なビットレートを決定している。
【０００６】
一方、スタジアムでのスポーツ観戦等において、自由視点映像をリアルタイムに作成し、多数のユーザが任意の時刻および任意の視点を指定して視聴するようなケースでは、例えば、自席からは見えなかったサッカーのゴールシーンなどを後から追いかけで見やすい視点位置から視聴するといったサービスを提供できる。
【０００７】
このようなシーンにおいては、多数のユーザへの伝送データが発生する。このため、例えば全てのユーザがユニキャストで個別に映像ストリームを要求すると、ユーザ数に比例して伝送データ量が増加するという技術課題が生じる。
【０００８】
ただし、クライアントレンダリング方式では全視点の映像ストリームが配信され、これは全ユーザについて共通となるため、例えば非特許文献１では、全視点の映像をマルチキャストによって配信する手法が提案されている。
【０００９】
非特許文献２では、単一の映像についてであるが、マルチキャストとユニキャストとを適切に組み合わせることによって全体のデータ量を削減する手法を提案している。具体的には、全ユーザが同一の再生位置から映像視聴を開始する条件で、映像ストリームの要求時点において、一定時間以内に発行されたマルチキャストが先行して存在していればそれを受信し、既に配信済みの分はユニキャストで個別に要求し、存在していなければ新たにマルチキャストを発行する技術が提案されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開2013-183209号公報
【非特許文献】
【００１１】
【非特許文献１】"複数視点全方位映像のマルチキャストによる高スケーラビリティ自由視点テレプレゼンス",石川 智也, 山澤 一誠, 横矢 直和:3次元画像コンファレンス2007, pp. 63-66, July 2007.
【非特許文献２】"マルチキャストストリーミングの最適マージング法",豊泉 洋, 田中 浩之：信学技報2004.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上記の従来技術では、多視点の映像ストリームをユーザ毎に異なる再生位置から視聴する場合のマルチキャストのスケジューリングについては考慮されていない。例えば、仮に全てのデータをマルチキャストで配信しようとすると、常時、全視点・全時刻でマルチキャスト配信しておく必要があり、効率化ができない。そのため、なるべく多くのクライアントから必要とされる再生位置・視点をマルチキャストする必要がある。
【００１３】
本発明の目的は、上記の技術課題を解決し、多視点映像に基づいて個別視点および全視点の各映像ストリームをクライアントへマルチキャストで効率よく配信できる映像配信サーバ、方法およびプログラムならびに映像再生装置を提供することにある。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、本発明は、映像ストリームをクライアントへ配信する映像配信サーバ、方法およびプログラムにおいて、以下の構成を具備した点に特徴がある。
【００１５】
(1) 多視点映像に基づいて個別視点ストリームを生成し、多視点映像を結合して全視点ストリームを生成し、各クライアントから取得した視聴要求に基づいて各映像ストリームをマルチキャストするスケジュールを決定し、前記決定したスケジュールをクライアントへ通知し、前記決定したスケジュールに基づいて各映像ストリームをマルチキャストするようにした。
【００１６】
(2) 全視点ストリームをマルチキャストするスケジュールを決定するために、全視点ストリームの視聴要求から再生位置の指定に関するパラメータを抽出し、視聴要求から抽出した再生位置に基づいて、再生位置ごとのクライアント数の分布を推定し、前記分布が所定の閾値を超える再生位置に対応した全視点ストリームをマルチキャストするスケジュールを決定するようにした。
【００１７】
(3) 個別視点ストリームをマルチキャストするスケジュールを決定するために、個別視点ストリームの視聴要求から再生位置および視点分布を抽出し、視聴要求から抽出した再生位置および視点分布に基づいて、再生位置および視点ごとのクライアント数の二次元の分布を推定し、前記二次元の分布が所定の閾値を超える再生位置および視点に対応した個別視点ストリームをマルチキャストするスケジュールを決定するようにした。
【発明の効果】
【００１８】
本発明によれば、各クライアントが要求する映像ストリームの再生位置や視点を統計的に処理し、より多くの視聴要求に応えられるように個別視点ストリームおよび全視点ストリームのマルチキャストがスケジューリングされるので、クライアントの視聴要求を満足させながら全体の伝送データ量を削減できるようになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の適用環境の一例を示した図である。
【図２】多視点映像の配信を実現する映像配信システムの構成を示した機能ブロック図である。
【図３】クライアントに対する映像ストリームの配信方法を示した図である。
【図４】全視点ストリームをマルチキャストするスケジュールを決定するための一次元確率密度分布の一例を示した図である。
【図５】個別視点ストリームをマルチキャストするスケジュールを決定するための二次元確率密度分布の一例を示した図である。
【図６】マルチキャスト管理表の一例を示した図である。
【図７】全視点ストリームの配信手順を示したフローチャートである。
【図８】個別視点ストリームの配信手順を示したフローチャートである。
【図９】自由視点映像の再生方法を示した図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明では、図１に示したように、複数のカメラCaを用いてフィールド競技（例えば、サッカー）の多視点映像を撮影、蓄積した後、ハーフタイム等の任意のタイミングで、多数のユーザUからの再生位置の指定を含む視聴要求に応じて映像ストリームをマルチキャストまたはユニキャストで配信する。
【００２１】
図２は、多視点映像の配信を実現する映像配信システムの構成を示した機能ブロック図である。本発明の映像配信システムは、映像ストリームを配信する映像配信サーバ１と、映像ストリームの配信を映像配信サーバ１へ要求し、マルチキャスト又はユニキャストされる映像ストリームを受信して再生する複数のクライアント2と、をネットワーク３で接続して構成される。
【００２２】
映像配信サーバ１において、多視点映像格納部１０１は、視点の異なる複数のカメラCaから取得した多視点のカメラ映像を格納する。個別視点ストリーム生成部１０２は、格納したカメラ映像ごとに個別視点ストリームVi（iはカメラ識別子）を生成する。全視点ストリーム生成部１０３は、格納したカメラ映像を、前記個別視点ストリームViの解像度よりも低い解像度に圧縮して結合することで全視点ストリームVsを生成する。
【００２３】
自由視点データ生成部１０４は、全視点ストリームVsに基づいて自由視点映像を合成させるために、前記各映像ストリームVs，Viに加えて、(1) 各視点に存在するオブジェクト情報（マスク画像，三次元位置，大きさ情報）および(2)各視点のカメラキャリブレーション情報を含む自由視点データセットを生成する。
【００２４】
視聴要求受付部１０５は、クライアント２から受信した映像ストリームの配信要求を受け付けてクライアント管理表１０５へ登録する。本実施形態では、ユーザがクライアントのディスプレイ上で、例えばシーク操作等を行って映像ストリームの再生位置および視点を指定すると、これを契機に全視点ストリームVsの視聴要求および個別視点ストリームViの視聴要求が映像配信サーバ１へ送信される。
【００２５】
前記視聴要求受付部１０５において、再生位置指定抽出部１０５１は、前記視聴要求から再生位置x1の指定を抽出する。視点指定抽出部１０５２は、前記視聴要求からクライアントの視点分布dを抽出する。ここで、視点分布とは、特許文献１にも開示されているように、各クライアントにおいて現在の視点から他の視点へ遷移する確率分布である。
【００２６】
クライアント管理表１０６は、全視点ストリームに関しては、クライアント数および再生位置xを管理する。個別視点ストリームに関しては、クライアント数，再生位置xおよび視点分布dを管理する。
【００２７】
スケジューリング部１０７は、複数のクライアントからの視聴要求に基づいて各映像ストリームの配信スケジュールを決定する。本実施形態では、図３に示したように、各クライアント２に対して、全視点ストリームVsおよび複数の個別視点ストリームViの中から選択した一の個別視点ストリームが、前記スケジューリングの結果に基づいてマルチキャストまたはユニキャストで配信される。
【００２８】
前記スケジューリング部１０７において、第１確率密度分布計算部１０７１は、図４に示したように、全視点ストリームに関して複数の視聴要求から抽出した再生位置xに基づいて、現在時刻t1において各再生位置を再生中のクライアント数（度数）の一次元確率密度分布を推定する。そして、前記指定された再生時刻x1を基準にして所定の時間範囲内[x1-δ，x1]を再生中のクライアントの割合R1を計算する。
【００２９】
第２確率密度分布計算部１０７２は、図５に示したように、個別視点ストリームに関して複数の視聴要求から抽出した再生位置xおよび視点分布dに基づいて、現在時刻t2において各再生位置を各視点で再生中のクライアント数（度数）の二次元確率密度の分布を計算する。そして、指定された再生位置x2を基準にして所定の時間範囲内[x1-δ，x1]を再生中のクライアントの占める割合R2を視点pごとに計算する。
【００３０】
前記スケジューリング部１０７は更に、前記各割合R1，R2に全体のクライアント数を乗じることで該当するクライアント数を算出する。そして、クライアント数の算出結果が基準値以上であるか否かに基づいてマルチキャストの発行／停止を決定する。すなわち、クライアント数の算出結果が基準値以上であればマルチキャストを発行し、クライアント数の算出結果が基準値未満であれば、発行済みのマルチキャストを停止する。
【００３１】
なお、既に発行済みのマルチキャストと競合する（既存のマルチキャストが同一クライアントまたは視点をカバーする）場合、複数のマルチキャストがカバーするクライアント数の平均（ユニーク数）が基準値以上であるか否かに基づいて、マルチキャストの発行／停止を決定する。なお、マルチキャストを発行した場合は、各クライアント２に対して、時間的により近いマルチキャストへの乗り換えを案内するために、後述するマルチキャスト管理表を更新しても良い。
【００３２】
マルチキャスト配信部１０８は、前記個別視点ストリームおよび全視点ストリームを前記スケジューリングの結果に従ってマルチキャストする。モバイル網としてLTEを利用する場合、マルチキャストはeMBMSにより行うことができる。ユニキャスト配信部１０９は、前記個別視点ストリームおよび全視点ストリームを各クライアントの要求に従ってユニキャストする。
【００３３】
スケジュール通知部１１０は、視聴要求したクライアント２に対して前記配信スケジュールの結果を通知することでマルチキャストおよびユニキャストヘの参加の機会を与える。マルチキャスト管理表１１１には、上記で発行したマルチキャストの情報が登録あるいは更新される。
【００３４】
前記マルチキャスト管理表１１１は、図6に示したように、各マルチキャストに関する情報として、少なくともマルチキャストID，クライアントID，種別，視点ID，開始時刻，再生時刻，ビットレートを管理する。前記スケジュール通知部１１０は、前記マルチキャスト管理表１１１の内容を各クライアント２へ配信することでマルチキャストの配信スケジュールを通知できる。
【００３５】
クライアント２において、視聴要求部２０１は、ユーザがシーク操作等により再生位置および視点を指定すると、当該再生位置x1および視点分布dを含む映像ストリームの視聴要求を映像配信サーバ１へ送信する。
【００３６】
視聴判断部２０２は、映像配信サーバ１から通知された配信スケジュールの結果と前記視聴要求の内容とを照合し、映像配信サーバ１がマルチキャストする全視点ストリームおよび個別視点ストリームの受信の要否を判断する。ユニキャスト要求部２０３は、マルチキャストされる全視点ストリームおよび／または個別視点ストリームを受信しないと判断したときに、改めて映像配信サーバ１に対して当該要求した映像ストリームのユニキャストを要求する。
【００３７】
図７，８は、クライアント２が送信した映像ストリームの視聴要求に応答して映像配信サーバ１が映像ストリームを配信する手順を示したフローチャートである。本実施形態では、ユーザがクライアント２のディスプレイ上で、例えばシーク操作等を行って再生位置x1および視点pを指定すると、これを契機に全視点ストリームの視聴要求および個別視点ストリームの視聴要求が映像配信サーバ１へ送信される。
【００３８】
図７は、全視点ストリームの配信手順を示したフローチャートであり、時刻tc1において、ユーザがシーク操作等で所望の再生位置x1および視点pを指定すると、時刻tc2では、前記再生位置x1および現在時刻t1を含む全視点ストリームの視聴要求が前記視聴要求部２０１から映像配信サーバ１へ送信される。
【００３９】
映像配信サーバ１は、時刻ts1においてクライアントの視聴状況を監視しており、時刻ts2において、前記全視点ストリームの視聴要求を受信すると、時刻ts3において、この視聴要求を前記視聴要求受付部１０５で受け付け、当該視聴要求から前記再生位置x1を抽出してクライアント管理表１０６に登録する。
【００４０】
時刻ts4では、現在時刻t1から所定の期間内に受信した複数の視聴要求から抽出した再生位置xに基づいて、前記図４を参照して説明した一次元確率密度分布が推定される。
【００４１】
時刻ts5では、前記確率密度分布に基づいて、現在時刻t1において再生位置x1を基準とした所定の時間範囲内[x1-δ，x1]を再生中のクライアント数が所定の閾値を超えているか否かが判断される。閾値を超えていると、時刻ts6において、当該再生位置x1を含む全視点ストリームのマルチキャストが新たに発行される。時刻ts7では、マルチキャスト管理表が更新される。時刻ts8では、前記マルチキャスト管理表がクライアント２へ送信される。
【００４２】
各クライアント２は、時刻tc3において前記マルチキャスト管理表を取得すると、時刻tc4では、参加すべきマルチキャストが登録されているか否かが判断される。全視点ストリームの場合、マルチキャストの再生位置とクライアントの再生位置x1との差Δx1が一定時間以内であれば参加すべきと判断される。時刻tc5では、前記マルチキャストが受信される。
【００４３】
これに対して、参加すべきマルチキャストが登録されていないと、時刻tc6において、前記再生位置x1を含むユニキャストの送信要求を映像配信サーバ１へ送信して全視点ストリームをユニキャストで受信する。時刻tc7では、マルチキャスト又はユニキャストで受信した全視点ストリームがバッファリングされる。時刻tc8では、後に図9を参照して詳述するように、前記指定した視点Pに基づいて自由視点映像が合成されて再生される。
【００４４】
図８は、個別視点ストリームの配信手順を示したフローチャートであり、時刻tc1において、ユーザがシーク操作等で所望の再生位置x1および視点pを指定すると、時刻tc2では、前記再生位置x2，現在時刻t2および視点分布dを含む個別視点ストリームの視聴要求が前記視聴要求部２０１から映像配信サーバ１へ送信される。
【００４５】
映像配信サーバ１は、時刻ts1においてクライアントの視聴状況を監視しており、時刻ts2において、前記個別視点ストリームの視聴要求を受信すると、時刻ts3において、この視聴要求を前記視聴要求受付部１０５で受け付け、当該視聴要求から再生位置x2および視点分布dを抽出してクライアント管理表１０６に登録する。
【００４６】
時刻ts4では、時刻t2から所定の期間内に受信した複数の視聴要求から抽出した再生位置xおよび視点分布dに基づいて、前記図５を参照して説明した二次元確率密度の分布が推定される。
【００４７】
時刻ts5では、前記確率密度分布に基づいて、時刻t2において再生位置x2および視点分布dを基準とした所定の時間範囲内[x1-δ，x1]を再生中のクライアント数が所定の閾値を超えているか否かが判断される。閾値を超えていると、時刻ts6において、当該再生位置x2を含んで視点分布dに対応した個別視点ストリームのマルチキャストが新たに発行される。時刻ts7では、マルチキャスト管理表が更新される。時刻ts8では、前記マルチキャスト管理表がクライアント２へ送信される。
【００４８】
各クライアント２は、時刻tc3において前記マルチキャスト管理表を取得すると、時刻tc4では、参加すべきマルチキャストが登録されているか否かが判断される。個別視点ストリームの場合、マルチキャスト再生位置とクライアントの再生位置x1との差Δx1が一定時間以内であれば参加すべきと判断する。
【００４９】
なお、個別視点ストリームの場合は更に、Δx2後の視点分布を算出し、マルチキャスト中の視点の選択確率が高い場合は参加すべきと判断する。本実施形態では、視点位置を連続値、その系列値I1,I2,I3…を確率過程(Wiener過程)とすると、Δx2後の視点位置I(Δx2)は次式で表せる。
【００５０】
I(Δx2)＝I0 +μt±σ√t  …(1)
【００５１】
ここで、I0は現在の視点位置，μは視点位置変化に関するトレンド項，σは変動の大きさを表すので、視点分布はI(Δx2)を中心とする標準偏差σの分布となる。時刻tc5では、前記マルチキャストを受信する。
【００５２】
これに対して、参加すべきマルチキャストが登録されていないと、時刻tc6において、ユニキャストでの配信を映像配信サーバ１へ要求する。時刻tc7では、マルチキャスト又はユニキャストで配信された個別視点ストリームがバッファリングされる。時刻tc8では、前記指定した視点pに基づいて自由視点映像を合成して再生する。
【００５３】
これに対して、参加すべきマルチキャストが登録されていなければ、時刻tc6において、前記再生位置x1および視点分布dを含むユニキャスト送信要求が映像配信サーバ１へ送信される。
【００５４】
なお、複数のビットレートでマルチキャストが配信される場合は、文献1のように各視点に割り当てるスループットを計算し、マルチキャストのビットレートが高すぎる（低すぎる）場合もユニキャストにて受信するようにしてもよい。クライアントはサーバに対しマルチキャスト管理表を更新するよう要求する。
【００５５】
また、複数のビットレートでマルチキャストが配信される場合は、文献1のように各視点に割り当てるスループットを計算し、マルチキャストのビットレートが高すぎる（低すぎる）場合もユニキャストにて受信するようにしてもよい。クライアントはサーバに対しマルチキャスト管理表を更新するよう要求する。
【００５６】
自由視点映像を再生する際は、図９に示したように、クライアント２は多視点ストリームと共に、自由視点視聴の対象となるオブジェクト情報（マスク画像，３次元位置，大きさ）のビットストリームを更に受信する。クライアント２は、これらのストリームを復号することで、多視点の復号画像およびオブジェクト情報（復号マスク画像，３次元位置，大きさ）を取得し、復号画像およびマスク画像からオブジェクト画像を抽出する。
【００５７】
クライアント２は更に、これを３次元位置情報および大きさに基づいて３次元モデル上へ配置し、ユーザの指定した視点pに応じて仮想視点を移動させ、2次元画像への射影変換を行って画像を表示する。
【符号の説明】
【００５８】
１…映像配信サーバ，２…クライアント，３…ネットワーク，１０１…多視点映像格納部，１０２…個別視点ストリーム生成部，１０３…全視点ストリーム生成部，１０４…自由視点データ生成部，１０５…視聴要求受付部，１０６…クライアント管理表，１０７…スケジューリング部，１０８…マルチキャスト配信部，１０９…ユニキャスト配信部，１１０…スケジュール通知部，１１１…マルチキャスト管理表
【図１】
2019068130.tif 000003
【図２】
2019068130.tif 000004
【図３】
2019068130.tif 000005
【図４】
2019068130.tif 000006
【図５】
2019068130.tif 000007
【図６】
2019068130.tif 000008
【図７】
2019068130.tif 000009
【図８】
2019068130.tif 000010
【図９】
2019068130.tif 000011