(57)【特許請求の範囲】
【請求項１】
異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンテンツ再生装置において、
前記多視点映像コンテンツを構成する各視点映像の取得先情報、および前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の関係性を示す視点列タイプを含むVRT(View Relation Table)を取得する取得部と、
ユーザからの視点移動操作を入力する入力部と、
前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する、隣接して撮影された複数の前記視点映像を前記VRTに基づいて要求する要求部と、
前記要求部による要求に応じ、放送網を介して放送される前記視点映像を受信するチューナ部と、
前記要求部による要求に応じ、インターネットを介して配信される前記視点映像を受信する受信部と、
受信された複数の前記視点映像を前記視点列タイプに基づいて連結した後に所定の領域を切り出すか、または、前記視点列タイプに基づいて補間処理を行って前記視点移動操作に対応する映像を生成する生成部と
を備え、
前記多視点映像コンテンツを構成する複数の視点映像のうちの所定の視点映像は、放送網を介して受信され、
前記所定の視点映像以外の視点映像は、インターネットを介して受信される
コンテンツ再生装置。
【請求項２】
前記視点列タイプは、Panorama、Theater、Parallel、またはSeparatedとされる
請求項１に記載のコンテンツ再生装置。
【請求項３】
前記入力部は、取得された前記VRTに含まれる、前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の視点列タイプに応じた視点移動ボタンから成る
請求項１または２に記載のコンテンツ再生装置。
【請求項４】
前記コンテンツ再生装置は、テレビジョン受像機に内蔵されている
請求項１から３のいずれかに記載のコンテンツ再生装置。
【請求項５】
前記コンテンツ再生装置は、セットトップボックスに内蔵されている
請求項１から３のいずれかに記載のコンテンツ再生装置。
【請求項６】
異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンテンツ再生装置のコンテンツ再生方法において、
コンテンツ再生装置による、
前記多視点映像コンテンツを構成する各視点映像の取得先情報、および前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の関係性を示す視点列タイプを含むVRT(View Relation Table)を取得する取得ステップと、
ユーザからの視点移動操作を入力する入力ステップと、
前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する、隣接して撮影された複数の前記視点映像を前記VRTに基づいて要求する要求ステップと、
前記要求ステップによる要求に応じ、放送網を介して放送される前記視点映像を受信する第１の受信ステップと、
前記要求ステップによる要求に応じ、インターネットを介して配信される前記視点映像を受信する第２の受信ステップと、
受信された複数の前記視点映像を前記視点列タイプに基づいて連結した後に所定の領域を切り出すか、または、前記視点列タイプに基づいて補間処理を行って前記視点移動操作に対応する映像を生成する生成ステップと
を含み、
前記多視点映像コンテンツを構成する複数の視点映像のうちの所定の視点映像は、放送網を介して受信され、
前記所定の視点映像以外の視点映像は、インターネットを介して受信される
コンテンツ再生方法。
【請求項７】
前記視点列タイプは、Panorama、Theater、Parallel、またはSeparatedとされる
請求項６に記載のコンテンツ再生方法。
【請求項８】
前記ユーザからの視点移動操作を入力する入力部は、取得された前記VRTに含まれる、前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の視点列タイプに応じた視点移動ボタンから成る
請求項６または７に記載のコンテンツ再生方法。
【請求項９】
前記コンテンツ再生装置は、テレビジョン受像機に内蔵されている
請求項６から８のいずれかに記載のコンテンツ再生方法。
【請求項１０】
前記コンテンツ再生装置は、セットトップボックスに内蔵されている
請求項６から８のいずれかに記載のコンテンツ再生方法。
【請求項１１】
異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンピュータを、
前記多視点映像コンテンツを構成する各視点映像の取得先情報、および前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の関係性を示す視点列タイプを含むVRT(View Relation Table)を取得する取得部と、
ユーザからの視点移動操作を入力する入力部と、
前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する、隣接して撮影された複数の前記視点映像を前記VRTに基づいて要求する要求部と、
前記要求部による要求に応じ、放送網を介して放送される前記視点映像を受信するチューナ部と、
前記要求部による要求に応じ、インターネットを介して配信される前記視点映像を受信する受信部と、
受信された複数の前記視点映像を前記視点列タイプに基づいて連結した後に所定の領域を切り出すか、または、前記視点列タイプに基づいて補間処理を行って前記視点移動操作に対応する映像を生成する生成部と
して機能させ、
前記多視点映像コンテンツを構成する複数の視点映像のうちの所定の視点映像は、放送網を介して受信され、
前記所定の視点映像以外の視点映像は、インターネットを介して受信される
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンテンツ再生装置、コンテンツ再生時方法、およびプログラムに関し、特に、ユーザが任意の画枠でコンテンツを視聴できるようにしたコンテンツ再生装置、コンテンツ再生時方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、テレビジョン放送やインターネットを介するビデオオンデマンドなどに代表される映像コンテンツ配信サービスにおいては、視聴者は放送側が制作した画枠でのみ、映像コンテンツを視聴することができる。
【０００３】
なお、DVD(digital versatile disc)やBD(blu-ray disc)などのパッケージメディアを用いた映像コンテンツには、撮影対象となるスポーツイベントやコンサート会場などを、異なる複数の視点（アングル）から撮影した複数の映像が収録されているもの（いわゆる、マルチアングル）が存在する（例えば、特許文献１参照）。
【０００４】
マルチアングル対応の映像コンテンツを再生する場合、視聴者は、それら複数の映像のうちのいずれかを選択して視聴できる。ただし、マルチアングル対応の映像コンテンツの場合であっても、任意の画枠、すなわち、任意の視点から撮影された状態の映像を視聴できるわけではない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１３５９４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、映像コンテンツに対しては、放送された画枠の映像や、予め用意されているマルチアングルの映像を選択するだけでなく、各視聴者の嗜好に応じた任意の視点で撮影された映像を視聴できるような視聴形態の出現が望まれている。
【０００７】
具体的には、例えば、いま画面に表示されている場面（被写体）の右隣の、いま画面に表示されていない場面を観たいとか、いま画面に表示されている場面（被写体）を真横から観たいなどの要求がある。
【０００８】
本開示はこのような状況に鑑みてなされたものであり、任意の視点で撮像された状態の映像を視聴できるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の一側面であるコンテンツ再生装置は、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンテンツ再生装置において、前記多視点映像コンテンツを構成する各視点映像の取得先情報、および前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の関係性を示す視点列タイプを含むVRT(View Relation Table)を取得する取得部と、ユーザからの視点移動操作を入力する入力部と、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する、隣接して撮影された複数の前記視点映像を前記VRTに基づいて要求する要求部と、前記要求部による要求に応じ、放送網を介して放送される前記視点映像を受信するチューナ部と、前記要求部による要求に応じ、インターネットを介して配信される前記視点映像を受信する受信部と、受信された複数の前記視点映像を前記視点列タイプに基づいて連結した後に所定の領域を切り出すか、または、前記視点列タイプに基づいて補間処理を行って前記視点移動操作に対応する映像を生成する生成部とを備え、前記多視点映像コンテンツを構成する複数の視点映像のうちの所定の視点映像は、放送網を介して受信され、前記所定の視点映像以外の視点映像は、インターネットを介して受信される。
【００１０】
前記視点列タイプは、Panorama、Theater、Parallel、またはSeparatedとすることができる。
【００１１】
前記入力部は、取得された前記VRTに含まれる、前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の視点列タイプに応じた視点移動ボタンから成るようにすることができる。
【００１２】
前記コンテンツ再生装置は、テレビジョン受像機に内蔵されているようにすることができる。
【００１３】
前記コンテンツ再生装置は、セットトップボックスに内蔵されているようにすることができる。
【００１４】
本開示の一側面であるコンテンツ再生方法は、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンテンツ再生装置のコンテンツ再生方法において、コンテンツ再生装置による、前記多視点映像コンテンツを構成する各視点映像の取得先情報、および前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の関係性を示す視点列タイプを含むVRT(View Relation Table)を取得する取得ステップと、ユーザからの視点移動操作を入力する入力ステップと、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する、隣接して撮影された複数の前記視点映像を前記VRTに基づいて要求する要求ステップと、前記要求ステップによる要求に応じ、放送網を介して放送される前記視点映像を受信する第１の受信ステップと、前記要求ステップによる要求に応じ、インターネットを介して配信される前記視点映像を受信する第２の受信ステップと、受信された複数の前記視点映像を前記視点列タイプに基づいて連結した後に所定の領域を切り出すか、または、前記視点列タイプに基づいて補間処理を行って前記視点移動操作に対応する映像を生成する生成ステップとを含み、前記多視点映像コンテンツを構成する複数の視点映像のうちの所定の視点映像は、放送網を介して受信され、前記所定の視点映像以外の視点映像は、インターネットを介して受信される。
前記視点列タイプは、Panorama、Theater、Parallel、またはSeparatedとされる。
前記ユーザからの視点移動操作を入力する入力部は、取得された前記VRTに含まれる、前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の視点列タイプに応じた視点移動ボタンから成るようにすることができる。
前記コンテンツ再生装置は、テレビジョン受像機に内蔵されている。
前記コンテンツ再生装置は、セットトップボックスに内蔵されている。
【００１５】
本開示の一側面であるプログラムは、異なる複数のビデオカメラにより同時に撮影された複数の視点映像から成る多視点映像コンテンツを再生するコンピュータを、前記多視点映像コンテンツを構成する各視点映像の取得先情報、および前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の関係性を示す視点列タイプを含むVRT(View Relation Table)を取得する取得部と、ユーザからの視点移動操作を入力する入力部と、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する、隣接して撮影された複数の前記視点映像を前記VRTに基づいて要求する要求部と、前記要求部による要求に応じ、放送網を介して放送される前記視点映像を受信するチューナ部と、前記要求部による要求に応じ、インターネットを介して配信される前記視点映像を受信する受信部と、受信された複数の前記視点映像を前記視点列タイプに基づいて連結した後に所定の領域を切り出すか、または、前記視点列タイプに基づいて補間処理を行って前記視点移動操作に対応する映像を生成する生成部として機能させ、前記多視点映像コンテンツを構成する複数の視点映像のうちの所定の視点映像は、放送網を介して受信され、前記所定の視点映像以外の視点映像は、インターネットを介して受信される。
【００１６】
本開示の一側面においては、多視点映像コンテンツを構成する各視点映像の取得先情報、および前記多視点映像コンテンツを構成する各視点映像と隣接して撮影された隣接視点映像の関係性を示す視点列タイプを含むVRT(View Relation Table)が取得され、ユーザからの視点移動操作が入力され、前記多視点映像コンテンツを構成する複数の視点映像のうち、入力された前記視点移動操作に対応する、隣接して撮影された複数の前記視点映像が前記VRTに基づいて要求され、要求に応じ、放送網を介して放送される前記視点映像が受信され、要求に応じ、インターネットを介して配信される前記視点映像が受信され、受信された複数の前記視点映像が前記視点列タイプに基づいて連結された後に所定の領域が切り出されるか、または、前記視点列タイプに基づいて補間処理が行われて前記視点移動操作に対応する映像が生成される。
【発明の効果】
【００２１】
本開示の一側面によれば、任意の視点で撮像された状態の映像を視聴することができる。
【図面の簡単な説明】
【００２４】
【図１】View Relation Type=1(Panorama)を説明する図である。
【図２】Panoramaの映像コンテンツを構成する複数の多視点映像を横方向に連結した状態を示す図である。
【図３】View Relation Type=2(Theater)を説明する図である。
【図４】View Relation Type=3(Parallel)を説明する図である。
【図５】View Relation Type=4(Separated)を説明する図である。
【図６】本開示を適用した多視点映像コンテンツ視聴システムの構成例を示すブロック図である。
【図７】映像コンテンツの全期間において多視点映像が用意されている場合のVRTの送信タイミングを示す図である。
【図８】映像コンテンツの一部期間において多視点映像が用意されている場合のVRTの送信タイミングを示す図である。
【図９】VRTを取得するための参照情報の一例を示す図である。
【図１０】参照情報の記述例を示す図である。
【図１１】VRTの一例を示す図である。
【図１２】VRTの記述例を示す図である。
【図１３】受信装置の構成例を示すブロック図である。
【図１４】多視点映像受信処理を説明するフローチャートである。
【図１５】視点移動ボタンの例を示す図である。
【図１６】視点移動ボタンに対する操作に応じた画面遷移を示す図である。
【図１７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２６】
＜１．実施の形態＞
［多視点映像コンテンツ視聴システムの概要］
本開示の実施の形態である多視点映像コンテンツ視聴システムの概要について説明する。多視点映像コンテンツ視聴システムは、１つの映像コンテンツを異なる複数のカメラ位置から撮影した複数の視点映像で構成するようにし、受信側において、各視点映像から任意の範囲を切出したり、複数の視点映像を連結したり、補間したりすることにより、任意の視点で撮像された状態の映像を視聴できるようにするものである。多視点映像コンテンツを構成する複数の視点映像は、その解像度や符号化フォーマットが必ずしも同一である必要はない。
【００２７】
なお、多視点映像コンテンツは、全期間が複数の視点映像により構成されているようにしてもよいし、その一部期間だけが複数の視点映像により構成されているようにしてもよい。
【００２８】
複数の視点映像から成る多視点映像コンテンツは送信側に保持されており、多視点映像コンテンツを構成する複数の視点映像のうち、当該多視点映像コンテンツを代表する、例えば撮影対象を正面から撮影している１つの視点映像がデフォルト（エントリ）とされる。各視点映像は、それぞれ異なる伝送路（テレビジョン放送におけるBroadcast Stream、ネットワーク配信におけるInternet Stream）で放送または配信される。
【００２９】
多視点映像コンテンツを構成する複数の視点映像の関係性は、４種類の視点列タイプ、View Relation Type=1(Panorama)、View Relation Type=2(Theater)、View Relation Type=3(Parallel)、またはView Relation Type=4(Separated)に分類される。
【００３０】
図１は、View Relation Type=1(Panorama)の視点列から成る多視点映像コンテンツの撮影時の状況を示している。この場合多視点映像コンテンツは、同一のカメラ位置に複数のビデオカメラを配置してそれぞれ異なる方向を同時に撮影することにより得られる。同図の場合、同一のカメラ位置Ｃ０乃至Ｃ７から全周囲３６０°を８等分して同時に撮影することにより、View Relation Type=1(Panorama)の視点映像Ｖ０乃至Ｖ７の視点列が得られる。
【００３１】
なお、Panoramaの視点列により映像コンテンツを構成する場合、必ずしも全周囲３６０°分の視点列を揃えなくでもよい。例えば、同一のカメラ位置を中心とする半周囲１８０°分などの視点列により構成するようにしてもよい。また、撮影に用いるビデオカメラの台数についても任意である。より少ないビデオカメラを用いて１台あたりの撮影画角を広めるようにすれば、受信側にて２つの視点を連結する処理の実行頻度を減らすことができる。反対に、より多くのビデオカメラを用いて１台あたりの撮影画角を狭めるようにすれば、補間映像に生じ得る歪などの画質劣化を抑止することができる。
【００３２】
図２は、映像コンテンツを構成するPanoramaの視点列Ｖ０乃至Ｖ７を横方向に連結した状態を示している。
【００３３】
受信側においては、視点列Ｖ０乃至Ｖ７のいずれかを選択して視聴できるだけでなく、２つの視点列Ｖ２，Ｖ３に亘る画枠を指定して視聴することができる。例えば、同図に示されるように、視点映像Ｖ４のみを占める視聴画枠が指定された場合、視点映像Ｖ４のみが受信、デコードされる。また、視点映像Ｖ２，Ｖ３に亘る視聴画枠が指定された場合、視点映像Ｖ２，Ｖ３が受信、デコードされて連結され、視聴画枠が切出される。
【００３４】
図３は、View Relation Type=2(Theater)の視点列から成る多視点映像コンテンツの撮影時の状況を示している。この場合多視点映像コンテンツは、撮影対象を囲む円周上に複数のカメラ位置（視点）を設け、各カメラ位置から同時に撮影対象を撮影することにより得られる。同図の場合、撮影対象を囲む円周上に９箇所のカメラ位置Ｃ０乃至Ｃ８を設け、それぞれから同時に撮影することによりTheaterの視点列Ｖ０乃至Ｖ８が得られる。
【００３５】
受信側においては、同一円周上の異なるカメラ位置Ｃ０乃至Ｃ８から撮影された視点列Ｖ０乃至Ｖ８のいずれかを視聴できるだけでなく、カメラ位置Ｃ０乃至Ｃ８とは異なる同一円周上の任意の位置から撮影した状態の映像を補間して視聴することができる。例えば、カメラ位置Ｃ２とカメラ位置Ｃ４の間から撮影した状態の映像を視聴するためには、視点映像Ｖ２，Ｖ４が受信、デコードされて、これらを用いた補間処理により、所望の映像が生成される。
【００３６】
図４は、View Relation Type=3(Parallel)の視点列から成る多視点映像コンテンツの撮影時の状況を示している。この場合多視点映像コンテンツは、撮影対象に対向する直線上に複数のカメラ位置（視点）を設け、各カメラ位置からの撮影方向が並行となるように同時に撮影することにより得られる。同図の場合、直線上に５箇所のカメラ位置Ｃ０乃至Ｃ４を設け、それぞれから同時に撮影することによりParallelの視点列Ｖ０乃至Ｖ４が得られる。
【００３７】
受信側においては、直線上の異なるカメラ位置Ｃ０乃至Ｃ４から撮影された視点列Ｖ０乃至Ｖ４のいずれかを視聴できるだけでなく、カメラ位置Ｃ０乃至Ｃ４とは異なる直線状の任意の位置から撮影した状態の映像を補間して視聴することができる。例えば、カメラ位置Ｃ１とカメラ位置Ｃ２の間から撮影した状態の映像を視聴するためには、多視点映像Ｖ１，Ｖ２が受信、デコードされ、これらを用いた補間処理により、所望の映像が生成される。
【００３８】
図５は、View Relation Type=4(Separated)の視点列から成る多視点映像コンテンツの撮影時の状況を示している。この場合多視点映像コンテンツは、他のカメラ位置から規則性なく離散して設けられたカメラ位置から撮影対象を撮影することにより得られる。同図の場合、５箇所のカメラ位置Ｃ０，Ｃ１，Ｃ２，Ｃ１０，Ｃ２０のうち、カメラ位置Ｃ０，Ｃ１，Ｃ２は同一円周上に配置され、カメラ位置Ｃ１０はカメラ位置Ｃ０の上方に配置され、カメラ位置Ｃ２０は規則性なく離散的に設けられているので、カメラ位置Ｃ１０，Ｃ２０から撮影された視点列Ｖ１０，Ｖ２０の視点列タイプがSeparatedとなる。
【００３９】
なお、１つの多視点映像コンテンツを視点列タイプの異なる複数の視点列を混在させて構成するようにしてもよい。
【００４０】
［多視点映像コンテンツ視聴システムの構成例］
次に、本開示の実施の形態である多視点映像コンテンツ視聴システムの構成例について説明する。
【００４１】
図６は、本開示の実施の形態である多視点映像コンテンツ視聴システムの構成例を示している。
【００４２】
この多視点映像コンテンツ視聴システム１０は、送信装置２０と、送信装置２０に対してインターネット１１を介して接続される受信装置３０−１乃至３０−ｎとで構成される。以下、受信装置３０−１乃至３０−ｎを個々に区別する必要がない場合、単に受信装置３０と称する。
【００４３】
送信装置２０は、コンテンツ保持部２１、VRT生成部２２、放送部２３、および送信部２４を有する。
【００４４】
コンテンツ保持部２１には、複数の視点映像から構成される多視点映像コンテンツが保持されている。VRT生成部２２は、受信側において、各視点映像を受信するために必要なVRT(View Relation Table)を生成し、放送部２３または送信部２４に出力する。
【００４５】
VRTには、多視点映像コンテンツを構成する複数の各視点映像の視点列タイプ、取得先URL（Broadcast StreamまたはInternet StreamのURL）などの情報が含まれている。なお、VRTの詳細については、図７乃至図１２を参照して後述する。
【００４６】
放送部２３は、コンテンツ保持部２１に保持されている、多視点映像コンテンツを構成する複数の視点映像のうち、所定のもの（例えば、デフォルト（エントリ）の視点映像など）を読み出し、Broadcast Streamとして放送する。すなわち、テレビジョン番組として放送網１２を介して放送する。また、放送部２３は、生成されたVRTを放送信号の所定の位置に格納して放送する。
【００４７】
送信部２４は、コンテンツ保持部２１に保持されている、多視点映像コンテンツを構成する複数の視点映像のうち、所定のもの（デフォルト（エントリ）以外の視点映像などの代表的なカメラ位置から撮影されたもの）を読み出し、Internet Streamとしてインターネット１１を介して配信する。また、送信部２４は、受信装置３０−ｉからの要求に応じ、生成されたVRTを、インターネット１１を介して要求元の受信装置３０−ｉに送信する。
【００４８】
なお、多視点映像コンテンツを構成する全ての視点映像を、Broadcast Streamとして放送網１２を介して放送するようにしてもよい。反対に、多視点映像コンテンツを構成する全ての視点映像を、Internet Streamとしてインターネット１１を介して配信するようにしてもよい。あるいは、多視点映像コンテンツを構成する全てまたは一部の視点映像をBD(blu-ray disc)などのストレージメディアに収録した状態で、受信側に供給するようにしてもよい。
【００４９】
[VRTについて]
図７は、多視点映像コンテンツの全期間が複数の視点映像により構成されている場合のVRTの送信タイミングを示している。
【００５０】
この場合、映像コンテンツに対して１つのVRTが用意される。このVRTは映像コンテンツの放送開始までに受信側に供給されればよい。具体的には、テレビジョン放送信号のEIT(Event Information Table)またはPMT(Program Map Table)に、VRT或いはVRTの取得先を含む参照情報を記述すればよい。
【００５１】
なお、多視点映像コンテンツを構成する全ての視点映像をインターネット１１を介して配信する場合には、例えばCADまたはERI(Entry Resource Information)のような映像コンテンツを再生する前に取得するメタファイルの一種としてVRT、およびその取得先を含む参照情報を受信側に通知すればよい。
【００５２】
図８は、映像コンテンツの一部期間が多視点映像つまり複数の視点映像により構成されている場合のVRTの送信タイミングを示している。
【００５３】
この場合、複数の視点映像により多視点映像が構成される２つの期間（以下、多視点セグメントとも称する）のそれぞれに対してVRTが用意される。このVRTは、多視点セグメントの開始タイミングまでに受信側に供給されればよい。具体的には、テレビジョン放送信号のPMTに、セグメントに対応するVRTの取得先を含む参照情報を記述すればよい。
【００５４】
なお、多視点映像コンテンツを構成する全ての視点映像をインターネット１１を介して配信する場合には、映像コンテンツを再生する前に取得するメタファイル（例えばCADまたはERI）の一種としてVRT、およびその取得先を含む参照情報を受信側に通知すればよい。
【００５５】
図９は、受信側に供給されるVRTの取得先を含む参照情報の一例を示し、図１０は、参照情報の具体的な記述例を示している。
【００５６】
Multi-viewpointsは、１つの映像コンテンツにおける多視点セグメントの数だけ設けられる。例えば図８の場合、２つのMulti-viewpointsが記述される。
【００５７】
Multi-viewpointsには、@startNPT、@endNPT、および@infoの３要素が設けられている。@startNPTは、多視点セグメントの開始時間位置がNPT(Normal Play Time)により記述される。@endNPTには、多視点セグメントの終了時間位置がNPTにより記述される。@infoには、対応するVRTの取得先を示すURLが記述される。
【００５８】
次に、図１１はVRTの一例を示し、図１２は、図５に示された状況で撮影された映像コンテンツに対応するVRTの記述例を示している。
【００５９】
View_object要素は、多視点映像コンテンツを構成する各視点映像に関する情報であり、視点の数だけ記述される。View_objectには、id、name、cut、format、resolution_h、resolution_v、およびlocationの７属性が設けられている。
【００６０】
View_objectのid属性は、多視点映像における当該視点に対する識別情報が記述される。name属性には、当該視点映像に対する名称が記述される。cut属性には、当該視点映像からの部分的な切出しの可否が記述される。format属性には、当該視点映像の符号化フォーマットが記述される。resolution_h属性には、当該視点映像の横方向の解像度が記述される。resolution_v属性には、当該視点映像の縦方向の解像度が記述される。＠locationには、当該視点映像の取得先URLが記述される。
【００６１】
さらに、View_object要素には、View_objectに対応する当該視点映像を撮影したカメラ位置に隣接するカメラ位置で撮影された視点映像に関する情報を示すneighbor_view要素が子要素として記述される。neighbor_view要素には、id属性、type属性、direction属性、およびdistance属性の４属性が設けられている。
【００６２】
neighbor_view要素のid属性には、親要素のView_object要素に対応する視点映像を撮影したカメラ位置に隣接するカメラ位置で撮影された視点映像（以下、隣接視点映像と称する）の識別情報が記述される。type属性には、隣接視点間の視点列タイプが記述される。direction属性には、View_object要素に対応する当該多視点映像を撮影したカメラ位置に対する、隣接視点映像を撮影したカメラ位置の方向が記述される。distance属性には、View_object要素に対応する当該多視点映像を撮影したカメラ位置に対する、隣接視点映像を撮影したカメラ位置の距離または角度が記述される。
【００６３】
［受信装置３０の構成例］
次に、図１３は、再生装置３０の構成例を示している。再生装置３０は、操作入力部３１、制御部３２、チューナ３３、多重分離部(DEMUX)３４、ビデオデコーダ３５−１および３５−２、オーディオデコーダ３６−１および３６−２、映像処理部３７、音声処理部３８、通信インターフェース(I/F)３９、VRT解析部４０、ストリーミング受信部４１−１および４１−２、並びに同期制御部４２を有する。
【００６４】
操作入力部３１は、例えばリモートコントローラとその受信部（いずれも不図示）などからなり、ユーザの操作を受け付けて制御部３２に通知する。具体的には、映像コンテンツを選択したり、映像コンテンツにおける画枠の位置やサイズを指定したり、視点（カメラ位置）を指定したりするユーザの操作を受け付けて制御部３２に通知する。
【００６５】
制御部３２は、操作入力部３１を用いて入力されるユーザの操作に従い、受信装置３０の各部を制御する。チューナ３３は、放送網１２を介して放送されるテレビジョン放送信号から、デフォルト（エントリ）とされた視点映像の放送信号(Broadcast Stream)を受信して多重分離部３４に出力する。
ストリーミング受信部４１−１および４１−２は、それぞれ通信I/F３９およびインターネット１１を介して送信装置２０から多視点映像のストリーミングデータ(Internet Stream)を受信して多重分離部３４に出力する。
【００６６】
多重分離部３４は、チューナ３３から入力される放送信号から、PMT、EIT等に含まれるVRTまたはVRTを取得するための参照情報を分離してVRT解析部４０に供給する。また、多重分離部３４は、チューナ３３から入力される放送信号およびストリーミング受信部４１から入力されるストリーミングデータから、ビデオ符号化データおよびオーディオ符号化データを分離する。なお、多重分離部３４は、同時に少なくとも２系統のストリーミングデータを処理できるものとする。分離されたビデオ符号化データは、ビデオデコーダ３５−１または３５−２に入力され、分離されたオーディオ符号化データは、オーディオデコーダ３６−１または３６−２に入力される。
【００６７】
ビデオデコーダ３５−１および３５−２は、入力されるビデオ符号化データをデコードし、その結果得られる各視点映像のビデオ信号を映像処理部３７に出力する。オーディオデコーダ３６−１および３６−２は、入力されるオーディオ符号化データをデコードし、その結果得られる各視点のオーディオ信号を音声処理部３８に出力する。
【００６８】
映像処理部３７は、ビデオデコーダ３５−１および３５−２から入力される２つのビデオ信号（カメラ位置が隣接する２つの視点映像に対応する）を連結して所定の領域を切出したり、任意の視点に対応する映像を補間したり、ユーザインターフェースとなる操作ボタンなどの映像を重畳したりすることにより、ユーザの提示するためのビデオ信号を生成して後段のモニタ（不図示）に出力する。音声処理部３８は、オーディオデコーダ３６−１および３６−２から入力される２つのオーディオ信号（カメラ位置が隣接する２つの視点映像に対応する）を合成することにより、ユーザの提示するためのオーディオ信号を生成して後段のモニタ（不図示）に出力する。
【００６９】
通信I/F３９は、インターネット１１を介して送信装置２０に接続する。
【００７０】
VRT解析部４０は、VRTを取得するための参照情報が多重分離部３４から供給された場合、その参照情報に従い、通信I/F３９およびインターネット１１を介して送信装置２０からVRTを取得する。また、VRT解析部４０は、多重分離部３４から供給されるか、自身で取得したVRTを解析し、解析結果を制御部３２に出力する。
【００７１】
同期制御部４２は、ビデオデコーダ３５−１および３５−２、オーディオデコーダ３６−１および３６−２、映像処理部３７、音声処理部３８、並びにストリーミング受信部４１−１および４１−２の動作タイミングが同期するように制御する。
【００７２】
［動作説明］
次に、図１４は、受信装置３０による多視点映像受信処理を説明するフローチャートである。
【００７３】
前提として、既に受信装置３０は、テレビジョン番組として放送網１２を介して放送されている映像コンテンツのデフォルトの視点映像を受信しているものとする。
【００７４】
ステップＳ１において、VRT解析部４０は、多重分離部３４から供給されるか、または自身でVRTの参照情報およびVRTを取得し、それを解析して解析結果を制御部３２に出力する。ステップＳ２において、制御部３２は、受信している映像コンテンツの進行位置が多視点セグメントであるか否かを判定する。
【００７５】
受信している映像コンテンツの進行位置が多視点セグメントではないと判定された場合、処理はステップＳ３に進められる。ステップＳ３において、映像処理部３７は、制御部３２からの制御に従い、受信している映像コンテンツの映像上に視点移動ボタンが表示されているならば、それを非表示とする。視点移動ボタンが表示されていない場合には何もしない。この後、処理はステップＳ２に戻り、それ以降が繰り返される。
【００７６】
ステップＳ２において、受信している映像コンテンツの進行位置が多視点セグメントであると判定された場合、処理はステップＳ４に進められる。ステップＳ４において、映像処理部３７は、制御部３２からの制御に従い、受信している映像コンテンツの映像上に視点移動ボタンが表示されていなければ、それを表示させる。視点移動ボタンが表示されている場合にはその表示を維持する。
【００７７】
ここで、映像コンテンツの映像上に表示される視点移動ボタンについて説明する。図１５は、１２種類の視点移動ボタンの例を示している。なお、複数の視点移動ボタンのうち、どれを表示させるかは、VRTが参照され、受信している視点映像のView_object要素に含まれるneighbor_view要素のtype属性およびdirection属性に基づいて判断される。視点列タイプがPanorama、Theater、またはParallelである場合、対応する視点移動ボタンに対する押下時間、または押下回数に応じて、視点の移動量が決定される。
【００７８】
図１４に戻る。ステップＳ５において、制御部３２は、操作入力部３１からの入力に基づき、ユーザにより視点移動ボタンが操作されたか否かを判定する。視点移動ボタンが操作されていない場合、処理はステップＳ２に戻り、それ以降が繰り返される。
【００７９】
ステップＳ５において、視点移動ボタンが操作されたと判定された場合、処理はステップＳ６に進められる。ステップＳ６において、制御部３２は、操作された視点移動ボタンに基づいて移動先の視点映像への視点列タイプがSeparatedであるか否かを判定する。Separatedである場合、処理はステップＳ７に進められる。ステップＳ７において、制御部３２は、各部を制御して、移動先の視点映像を受信、デコードさせて、そのビデオ信号を後段に出力させる。この後、処理はステップＳ２に戻り、それ以降が繰り返される。
【００８０】
ステップＳ６において、移動先の視点映像への視点列タイプがSeparatedではないと判定された場合、処理はステップＳ８に進められる。ステップＳ８において、制御部３２は、視点移動ボタンに対する押下時間または押下回数に基づいて、視点の移動量を算出し、移動先の視点位置を決定する。
【００８１】
ステップＳ９において、制御部３２は、移動先の視点位置で実際に撮影された視点映像が存在するか否かをVRTに基づいて判断することにより、移動先の視点位置は要補間であるか否かを判定する。
【００８２】
移動先の視点位置で実際に撮影された視点映像が存在すると判断され、移動先の視点位置は補間が必要ないと判定された場合、処理はステップＳ１０に進められる。ステップＳ１０において、制御部３２は、各部を制御して、移動先の視点位置に対応する視点映像を受信、デコードさせて、そのビデオ信号を後段に出力させる。この後、処理はステップＳ２に戻り、それ以降が繰り返される。
【００８３】
ステップＳ９において、移動先の視点位置で実際に撮影された視点映像が存在しないと判断され、移動先の視点位置は要補間であると判定された場合、処理はステップＳ１１に進められる。ステップＳ１１において、制御部３２は、各部を制御して、移動先の視点位置を間に挟む実際のカメラ位置でそれぞれ撮影された２つの多視点映像を受信、デコードさせて、その２つのビデオ信号を映像処理部３７に出力させる。ステップＳ１２において、映像処理部３７は、入力された２つのビデオ信号の視点列タイプと視点位置に基づいて、視点位置で撮影された状態の映像を生成し、その結果得られるビデオ信号を後段に出力して表示させる。
【００８４】
すなわち、例えば、２つのビデオ信号の視点列タイプがPanoramaまたはParallelである場合、２つのビデオ信号が横方向に連結されて、視点位置に対応する画枠が切出される。また例えば、２つのビデオ信号の視点列タイプがTheaterである場合、２つのビデオ信号に基づいて視点位置に対応する映像が補間処理により生成される。なお、この補間処理には任意の手法を用いることができるが、例えば本出願人が特願２０１０−２７４８０８として提案している手法を適用してもよい。
【００８５】
この後、処理はステップＳ２に戻り、それ以降が繰り返される。以上で、多視点映像受信処理の説明を終了する。
【００８６】
図１６は、多視点映像受信処理における、視点移動ボタンに対するユーザからの操作に応じた画面遷移の例を示している。
【００８７】
例えば、同図Ａに示されるようなデフォルト（エントリ）の多視点映像を受信しているときに、その映像コンテンツの進行位置が多視点セグメントになると、同図Ｂに示されるように、デフォルト（エントリ）の多視点映像上に視点移動ボタンが表示される。同図Ｂの場合、視点列タイプがTheaterであって、視点位置を左側、または右側に移動させることができる視点移動ボタンが表示されている。
【００８８】
同図Ｂの画面に対してユーザが左側の視点移動ボタンを操作すると、画面の映像が、視点位置が同心円上で左側に移動した状態に変更される。変更後の画面には、視点列タイプがTheaterであって、視点位置を右側に移動させる、すなわち、同図Ｂに状態に戻すことができる視点移動ボタンが表示される。反対に、同図Ｂの画面に対してユーザが右側の視点移動ボタンを操作すると、画面の映像が、視点位置が同心円上で右側に移動した状態に変更される。変更後の画面には、視点列タイプがTheaterであって、視点位置を左側に移動させる、すなわち、同図Ｂに状態に戻すことができる視点移動ボタンが表示される。
【００８９】
その後、映像コンテンツの進行位置が多視点セグメントから外れると、同図Ｅに示されるように、視点移動ボタンの表示画消去される。
【００９０】
以上に説明した多視点映像コンテンツ視聴システムによれば、例えば、以下のシナリオを実現できる。
【００９１】
シナリオ１
ケニアのサバンナを走行する４輪駆動車の上からその全周囲３６０°を視点列タイプPanoramaの多視点映像として撮影して放送する。この番組の視聴者は、映像を任意の方向に変更したりして周囲に存在する野生動物を発見したりすることができる。
【００９２】
シナリオ２
ラスベガスの円形劇場で演じられているショーを、観覧席中に円周状に設けられた中央通路に沿って一定間隔で配置したビデオカメラにより、視点列タイプがTheaterの多視点映像として撮影して放送する。この番組の視聴者は、中央通路の任意の位置からステージを観た状態の映像を視聴することができる。
【００９３】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９４】
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９５】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００９６】
バス１０４には、さらに、入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインターフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００９７】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インターフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００９８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００９９】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１００】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１０１】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０２】
１０  多視点映像コンテンツ視聴システム，  １１  インターネット，  １２  放送網，  ２０  送信装置，  ２１  コンテンツ保持部，  ２２  VRT生成部，  ２３  放送部，  ２４  送信部，  ３０  受信装置，  ３１  操作入力部，  ３２  制御部，  ３３  チューナ，  ３４  多重分離部，  ３５  ビデオデコーダ，  ３６  オーディオデコーダ，  ３７  映像処理部，  ３８  音声処理部，  ３９  通信I/F，  ４０  VRT解析部，  ４１  ストリーミング受信部，  ４２  同期制御部
【図１】
0006326456.tif 000002
【図２】
0006326456.tif 000003
【図３】
0006326456.tif 000004
【図４】
0006326456.tif 000005
【図５】
0006326456.tif 000006
【図６】
0006326456.tif 000007
【図７】
0006326456.tif 000008
【図８】
0006326456.tif 000009
【図９】
0006326456.tif 000010
【図１０】
0006326456.tif 000011
【図１１】
0006326456.tif 000012
【図１２】
0006326456.tif 000013
【図１３】
0006326456.tif 000014
【図１４】
0006326456.tif 000015
【図１５】
0006326456.tif 000016
【図１６】
0006326456.tif 000017
【図１７】
0006326456.tif 000018