(57)【要約】【課題】既存の放送などの映像配信サービスと任意視点映像サービスが連携して提供される場合において、放送番組の本線映像から任意視点映像に切り替えた際に、視点および視線をシームレスにつなぐこと。【解決手段】本発明は、放送用の映像である本線映像信号と前記本線映像信号に対する視点情報を含む放送ストリームを受信し、複数の映像から生成した任意の視点での映像である任意視点映像の配信要求を行う際に、前記任意視点映像の前記視点の初期値として前記放送ストリームから抽出した前記視点情報を利用するようにした。これにより、本線映像から任意視点映像へ切り替えた際に、本線映像に同様の任意視点映像を最初の任意視点映像として用いることができるので、本線映像と任意視点映像との切り替え前後で視点をシームレスにつなぐことができる。【選択図】図４
2007150747.tif 000002
【特許請求の範囲】
【請求項１】
放送用の映像である本線映像信号と前記本線映像信号に対する視点情報を含む放送ストリームを受信する受信部と、前記放送ストリームより前記視点情報を抽出する視点情報抽出部と、前記視点情報を初期値として、複数の映像から生成した任意の視点での映像である任意視点映像の配信要求を行う視点制御部と、前記配信要求に基づいて任意視点映像の配信を受ける任意視点映像受信部と、を具備したことを特徴とする受信装置。
【請求項２】
前記視点制御部は、方向を指示するための十字ボタンのいずれかの方向が押下された際に、その時点の前記本線映像に対する前記視点情報の前記任意視点映像を要求することを特徴とする請求項１記載の受信装置。
【請求項３】
放送用の映像である本線映像信号と受信装置にて任意視点映像サービスにアクセスする際の視点の初期値として利用するための前記本線映像信号に対する視点情報を時間的に関連づけて放送ストリームに符号化する符号化部と、前記放送ストリームを配信する本線映像配信部と、を具備したことを特徴とする本線映像配信装置。
【請求項４】
前記符号化部は、前記視点情報を前記本線映像信号のＰＥＳヘッダに記述することを特徴とする請求項３記載の本線映像配信装置。
【請求項５】
前記符号化部は、前記視点情報を前記本線映像信号の伝送路符号のヘッダ部に記述することを特徴とする請求項３記載の本線映像配信装置。
【請求項６】
前記視点情報をＭＰＥＧ２セクションのｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅ部に記述して配信することを特徴とする請求項３記載の本線映像配信装置。
【請求項７】
前記視点情報と前記本線映像信号のタイムスタンプより視点情報リストを生成する視点情報データ生成部と、前記視点情報リストをデータ放送のカルーセル形式で符号化するデータ放送カルーセル生成部と、を備え、
前記カルーセル形式で符号化した前記視点情報リストを配信することを特徴とする請求項３記載の本線映像配信装置。
【請求項８】
請求項１記載の受信装置と、請求項３記載の本線映像配信装置と、前記任意視点映像を生成し配信する任意視点映像配信装置と、を具備し、
前記本線映像配信装置は、前記受信装置に対して前記放送ストリームを配信し、
前記受信装置は、配信された前記放送ストリームを受信し、前記任意視点映像配信装置に対して前記任意視点映像の配信要求を行う際に、前記任意視点映像の前記視点の初期値として前記視点情報抽出部が抽出した前記視点情報を利用し、
前記任意視点映像配信装置は、前記受信装置から配信要求のあった前記視点の前記任意視点映像を生成し、前記受信装置に配信することを特徴とする任意視点映像システム。
【請求項９】
映像信号を記録し、受信装置にて前記映像信号に関連する任意視点映像サービスにアクセスする際の視点の初期値として利用するために前記映像信号と関連付けて記録された映像信号に対する視点情報とを含むことを特徴とする記録媒体。
【請求項１０】
前記請求項９記載の記録媒体に記録された映像とともに前記映像に対する視点情報を再生する受信再生装置であって、再生されたデータより前記視点情報を抽出する視点情報抽出部と、前記視点情報を初期値として、複数の映像から生成した任意の視点での映像である任意視点映像の配信要求を行う視点制御部と、前記配信要求に基づいて任意視点映像の配信を受ける任意視点映像受信部と、を具備したことを特徴とする受信再生装置。
【請求項１１】
放送用の映像である本線映像信号のタイムスタンプと前記本線映像信号に対する視点情報を時間的に対応付けて記録することにより生成した本線視点情報リストを蓄積する本線視点情報データベースを備え、受信装置からの配信要求に対し、前記本線視点情報に記録された本線映像の視点情報を原点とする任意視点映像を配信することを特徴とする任意視点映像配信装置。
【請求項１２】
放送用の映像である本線映像信号の受信部と、前記本線映像信号を再生するとともに、映像のタイムスタンプを抽出する映像デコーダと、請求項１１記載の任意視点映像配信装置に対して、配信要求時点で前記抽出されたタイムスタンプを用いて配信要求を行う視点制御部と、前記配信要求に基づいて任意視点映像の配信を受ける任意視点映像受信部と、を具備したことを特徴とする受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者が所望する任意の視点位置からの映像を受信する受信装置及び本線映像配信装置に関するものである。
【背景技術】
【０００２】
従来より、大量のカメラで対象物、例えばサッカーの試合などをあらゆる方向から撮影し、撮影した大量の映像から、任意の場所および方向の視点の映像を補間し、再構成を行うことで、本来撮影されていない視点および視線での映像を得られる任意視点あるいは自由視点映像生成の研究が多数行われている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示される技術は、この任意視点映像をビデオオンデマンドシステムのように提供する配信装置などに関するものであり、視聴者からの要求に従って、視聴者が所望する視点位置からの映像を提供することができる。
【特許文献１】特開２００４−１９３９４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示されるような任意視点映像提供システムでは、視聴者から要求のあった視点位置の映像を配信するという機能しか備えていない。そのため、既存の放送番組などと連携して任意視点映像サービスが提供される場合について考慮されていない。よって、放送番組の本線映像から任意視点映像に切り替えた際に、視点が本線映像から任意視点映像にシームレスに接続するということについて考慮されていない。このため、視点が本線映像から任意視点映像に移る際に、視聴者が違和感を感じる可能性がある。
【０００５】
本発明は、かかる点に鑑みて為されたものであり、放送番組の本線映像から任意視点映像に切り替えた際に、本線映像から任意視点映像にシームレスに接続できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、放送用の映像である本線映像信号と本線映像信号に対する視点情報を含む放送ストリームを受信し、複数の映像から生成した任意の視点での映像である任意視点映像の配信要求を行う際に、任意視点映像の視点の初期値として放送ストリームから抽出した視点情報を利用するようにした。
【発明の効果】
【０００７】
本発明によれば、本線映像から任意視点映像へ切り替える際に、本線映像の視点情報を用いた任意視点映像の配信を任意視点映像提供システムに要求することができる。これにより、本線映像から任意視点映像へ切り替えた際に、本線映像に同様の任意視点映像を最初の任意視点映像として用いることができるので、本線映像と任意視点映像との切り替え前後で視点をシームレスにつなぐことができる。よって、視聴者にとって違和感の無い良好な切り替えができる。
【発明を実施するための最良の形態】
【０００８】
本発明の第１の態様にかかる受信装置は、放送用の映像である本線映像信号と前記本線映像信号に対する視点情報を含む放送ストリームを受信する受信部と、前記放送ストリームより前記視点情報を抽出する視点情報抽出部と、前記視点情報を初期値として、複数の映像から生成した任意の視点での映像である任意視点映像の配信要求を行う視点制御部と、前記配信要求に基づいて任意視点映像の配信を受ける任意視点映像受信部と、を具備した構成を採る。
【０００９】
これにより、本線映像の視点情報と同一の任意視点映像の配信を受けることができる。この結果、本線映像から任意視点映像へ切り替えた際に、本線映像に同様の任意視点映像を最初の任意視点映像として用いることができるので、本線映像と任意視点映像との切り替え前後で視点をシームレスにつなぐことができる。
【００１０】
本発明の第２の態様は、第１の態様にかかる受信装置において、前記視点制御部は、方向を指示するための十字ボタンのいずれかの方向が押下された際に、その時点の前記本線映像に対する前記視点情報の前記任意視点映像を要求する。
【００１１】
これにより、任意視点映像への切り替えと視点移動を同一のボタン操作でできるため、操作者の操作工数を削減できる。
【００１２】
本発明の第３の態様にかかる本線映像配信装置は、放送用の映像である本線映像信号と受信装置にて任意視点映像サービスにアクセスする際の視点の初期値として利用するための前記本線映像信号に対する視点情報を時間的に関連づけて放送ストリームに符号化する符号化部と、前記放送ストリームを配信する本線映像配信部と、を具備した構成を採る。
【００１３】
これにより、本線映像とそれに対する視点情報を配信することができる。
【００１４】
本発明の第４の態様は、第３の態様にかかる本線映像配信装置において、前記符号化部は、前記視点情報を前記本線映像信号のＰＥＳヘッダに記述する。
【００１５】
これにより、放送を用いて本線映像とそれに対する視点情報を配信することができる。
【００１６】
本発明の第５の態様は、第３の態様にかかる本線映像配信装置において、前記符号化部は、前記視点情報を前記本線映像信号の伝送路符号のヘッダ部に記述する。
【００１７】
これによれば、実際に配信する映像のフォーマットに依存しないで、本線映像とそれに対する視点情報を配信することができる。
【００１８】
本発明の第６の態様は、第３の態様にかかる本線映像配信装置において、前記視点情報をＭＰＥＧ２セクションのｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅ部に記述して配信する。
【００１９】
これにより、視点情報を映像信号とは別に配信することができる。これにより、既存のサービスの改変がほとんど不要となり、既存サービスの拡張としてより実現しやすくなる。
【００２０】
本発明の第７の態様は、第３の態様にかかる本線映像配信装置において、前記視点情報と前記本線映像信号のタイムスタンプより視点情報リストを生成する視点情報データ生成部と、前記視点情報リストをデータ放送のカルーセル形式で符号化するデータ放送カルーセル生成部と、を備え、前記カルーセル形式で符号化した前記視点情報リストを配信する。
【００２１】
これにより、データ放送を用いて視点情報を配信することができる。
【００２２】
本発明の第８の態様にかかる任意視点映像システムは、第１の態様の受信装置と、第３の態様の本線映像配信装置と、前記任意視点映像を生成し配信する任意視点映像配信装置と、を具備し、前記本線映像配信装置は、前記受信装置に対して前記放送ストリームを配信し、前記受信装置は、配信された前記放送ストリームを受信し、前記任意視点映像配信装置に対して前記任意視点映像の配信要求を行う際に、前記任意視点映像の前記視点の初期値として前記視点情報抽出部が抽出した前記視点情報を利用し、前記任意視点映像配信装置は、前記受信装置から配信要求のあった前記視点の前記任意視点映像を生成し、前記受信装置に配信する。
【００２３】
これにより、受信装置は、本線映像の視点情報と同一の任意視点映像の配信を受けることができる。この結果、本線映像から任意視点映像へ切り替えた際に、本線映像に同様の任意視点映像を最初の任意視点映像として用いることができるので、本線映像と任意視点映像との切り替え前後で視点をシームレスにつなぐことができる。
【００２４】
本発明の第９の態様にかかる記録媒体は、映像信号を記録し、受信装置にて前記映像信号に関連する任意視点映像サービスにアクセスする際の視点の初期値として利用するために前記映像信号と関連付けて記録された映像信号に対する視点情報とを含む。
【００２５】
これにより、記録媒体から映像とそれに対する視点情報を取得できる。
【００２６】
本発明の第１０の態様にかかる受信再生装置は、第９の態様の記録媒体に記録された映像とともに前記映像に対する視点情報を再生する受信再生装置であって、再生されたデータより前記視点情報を抽出する視点情報抽出部と、前記視点情報を初期値として、複数の映像から生成した任意の視点での映像である任意視点映像の配信要求を行う視点制御部と、前記配信要求に基づいて任意視点映像の配信を受ける任意視点映像受信部と、を具備した構成を採る。
【００２７】
これにより、受信再生装置は、記録媒体に記録された視点情報を用いて、任意視点映像提供システムとの連携サービスを利用することが可能になる。
【００２８】
本発明の第１１の態様にかかる任意視点映像配信装置は、放送用の映像である本線映像信号のタイムスタンプと前記本線映像信号に対する視点情報を時間的に対応付けて記録することにより生成した本線視点情報リストを蓄積する本線視点情報データベースを備え、受信装置からの配信要求に対し、前記本線視点情報に記録された本線映像の視点情報を原点とする任意視点映像を配信する構成を採る。
【００２９】
これにより、本線映像とそれに対する視点情報をタイムスタンプにより対応付けて配信することができる。
【００３０】
本発明の第１２の態様にかかる受信装置は、放送用の映像である本線映像信号の受信部と、前記本線映像信号を再生するとともに、映像のタイムスタンプを抽出する映像デコーダと、第１１の態様の任意視点映像配信装置に対して、配信要求時点で前記抽出されたタイムスタンプを用いて配信要求を行う視点制御部と、前記配信要求に基づいて任意視点映像の配信を受ける任意視点映像受信部と、を具備した。
【００３１】
これにより、受信装置は、タイムスタンプを用いた配信要求により任意視点映像配信装置から本線映像の視点情報と同一の任意視点映像の配信を受けることができる。この結果、本線映像から任意視点映像へ切り替えた際に、本線映像に同様の任意視点映像を最初の任意視点映像として用いることができるので、本線映像と任意視点映像との切り替え前後で視点をシームレスにつなぐことができる。
【００３２】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。なお、本発明はこれら実施の形態に何ら限定されるものでは無く、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００３３】
（実施の形態１）
本発明の実施の形態１にかかる任意視点映像システムについて説明する。実施の形態１にかかる任意視点映像システムは、既存の放送型番組と連携して任意視点映像を提供するサービスを実現するものである。
【００３４】
まず、実施の形態１にかかる任意視点映像システムの概要について、図１を用いて説明する。
【００３５】
実施の形態１にかかる任意視点映像システム１００は、中継放送番組の映像（以降  本線映像と呼ぶ）を配信する本線映像提供システム１０１と、任意視点映像を配信する任意視点映像提供システム１０２と、本線映像と任意視点映像を受信する受信装置１０３と、からなる構成を採る。
【００３６】
本線映像提供システム１０１は、放送型番組をＢＳ／ＣＳデジタル放送、地上波デジタル放送、ＣＡＴＶなどのデジタル放送で、視聴者、つまり、受信装置１０３に提供する。また、任意視点映像提供システム１０２は、インターネットなどの通信回線により任意視点映像を提供する。
【００３７】
受信装置１０３は、放送型番組、この例ではサッカーの中継番組を選局した際に、図２に示すような画面２００を表示する。
【００３８】
受信装置１０３において、視聴者が選局を行うと、本線映像２０１を再生する。受信装置１０３は、視聴者が選局した直後から数秒の間は、番組の情報などを表示するＧＵＩ（グラフィカルユーザインタフェース）２０２、２０３を本線映像２０１の上にオーバーレイして表示する。
【００３９】
ＧＵＩ２０２は、任意視点映像を提供中であり任意視点映像の受信も可能であることを示す任意視点映像提供中アイコンである。ＧＵＩ２０３は、「任意視点映像  提供中」を表示するパネルで、視聴者に任意視点映像サービスの存在を通知するものである。
【００４０】
任意視点映像サービスの存在は、番組情報の一部として、電子番組表（ＥＰＧ：Ｅｌｅｃｔｏｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）のデータの中に記述されて提供されている。受信装置１０３は、電子番組表のデータを参照することで、任意視点映像サービスの存在を認識できる。また、受信装置１０３は、任意視点映像サービスの存在を、番組のＩＤ、例えばＴＶ  Ａｎｙｔｉｍｅ  Ｆｏｒｕｍで標準化されているＣＲＩＤ（Ｃｏｎｔｅｎｔ  Ｒｅｆｅｒｅｎｃｉｎｇ  Ｉｄｅｎｔｉｆｉｅｒ）をキーにして、番組の関連サービスを検索するサーバに問い合わせるなどして得ることもできる。
【００４１】
また、受信装置１０３の視聴者は、本線映像２０１を視聴し、任意のタイミングで任意視点映像に切り替えることができる。例えば、本線映像２０１には映っていないお気に入りの選手の様子を見るために、任意視点映像に切り替え、視点をその選手が映るように移動して視聴することができる。また、視聴者は、シュートシーンなどの決定的な瞬間を本線映像とは違った角度で見るために、任意視点映像に切り替えて、シュートシーンを別の視点からプレイバック再生するといった使い方もできる。
【００４２】
また、視聴者は、任意視点映像への切り替えを、図３に示すような一般的なデジタル放送対応ＴＶ用リモコンを用いて行うことができる。
【００４３】
リモコン３０１の中ほどには、十字ボタン３０２が設けられている。十字ボタン３０２には、任意視点映像への切り替え機能が割り当てられている。視聴者は、十字ボタン３０２のいずれかの方向を押すことにより任意視点映像に切り替わるようにできる。この構成により、操作者は、任意視点映像に切り替え後、十字ボタン３０２を用いて視点移動を行うこともできる。
【００４４】
これにより、操作者が任意視点映像への切り替えと視点移動を同一のボタン操作でできるため、操作者の操作工数を削減できる。
【００４５】
なお、リモコン３０１に、任意視点映像への切り替えボタンを別途用意して、そのボタンを押すことにより任意視点映像に切り替えるようにしても良い。
【００４６】
また、実施の形態１にかかる任意視点映像システム１００は、受信装置１０３において、本線映像と任意視点映像との切り替え前後で視点・視線をシームレスにつなぐようにしている。
【００４７】
すなわち、受信装置１０３において、本線映像から任意視点映像に切り替えると、今まで視聴していた本線映像と同じ視点の任意視点映像に切り替わるようにしている。これは、受信装置１０３において、本線映像を撮影しているカメラと同じ視点、より具体的には本線映像のカメラと同じ撮影位置、撮影方向、および画角（視野角）の任意視点映像を要求、再生することで実現される。つまり、受信装置１０３において、任意の時点で本線映像を撮影しているカメラの視点（撮影位置、撮影方向、画角など）がわかっていればよい。
【００４８】
これを実現するため、実施の形態１では、本線映像提供システム１０１から受信装置１０３に対し、本線映像の映像データにその映像を撮影したカメラの視点情報を含めて送るという構成を採っている。これに対し、受信装置１０３は、任意視点映像への切り替えを行う際、現在表示している本線映像の映像データに含まれていた、その映像を撮影したカメラの視点情報（本線映像視点情報と呼ぶ）を用いて、任意視点映像提供システム１０２に、その視点の任意視点映像を要求する。そして、受信装置１０３は、任意視点映像提供システム１０２から要求した任意視点映像を取得した後、本線映像から任意視点映像の再生画面に切り替える。これにより、任意視点映像が本線映像と同一の視点から始まるので、本線映像と任意視点映像とを同じ視点でシームレスにつなぐことができる。
【００４９】
図４は、受信装置１０３の任意視点映像視聴中における画面の一例を示す図である。図４に示すように、画面の全面には、任意視点映像４０１が表示されている。また、任意視点映像４０１には、本線映像のサムネイル４０２と、仮想視点ウインドウ４０３と、が重畳されている。
【００５０】
また、仮想視点ウインドウ４０３は、現在の本線映像視点（視線）４０４と任意視点映像の視点（視線）４０５をサッカーコートのグラフィックと共にリアルタイム表示している。通常、本線映像を撮影するカメラは、その試合のもっとも注目すべき場所、選手などを撮影している。このため、現在の本線映像視点４０４を参照しながら、同時に任意視点映像の視点を操作できるようにすることで、本線映像との位置関係が把握しやすくなる。この結果、注目すべき場所への視点移動やその場所を別の角度から見るような視点の指定が容易になることが期待される。
【００５１】
このように、受信装置１０３の視聴者は、任意のタイミングで本線映像と任意視点映像を切り替えながら、サッカーの試合などを視聴することができる。さらに、本実施の形態を適用したことにより、本線映像から任意視点映像へ切り替える際は、今まで視聴していた本線映像と全く同じ視点の任意視点映像に切り替えることができ、本線映像視点を利用して任意視点映像の視点操作を容易に行うことができる。
【００５２】
なお、ここでは、本線映像としてデジタル放送を例に説明したが、特に映像の提供媒体を限定するものでは無い。例えば、中継番組がインターネットストリーミング配信などで提供される場合においても同様である。
【００５３】
また、本線映像は、映像の製作者が撮影時や映像の編集時に視点を決めて提供される映像一般を指しており、視聴者が視点を操作できる任意視点映像以外は全て本線映像になりえる。例えば、複数の視点で撮影した映像が同時に提供される「マルチアングル映像」も、視聴者は製作者が決めた複数の視点を切り替えることができるだけであるため、本線映像になり得る。
【００５４】
また、本線映像視点情報は、本線映像から任意視点映像への切り替え時に用いるだけでなく、任意視点映像の視点操作を補助する役割で様々な用途に利用可能である。
【００５５】
例えば、視聴者が任意視点映像の視点を撮影位置、撮影方向、画角などで示される視点情報のうち、任意のパラメータを本線映像視点に対する相対指定で操作することができる。画角を操作する場合を例に説明すると、視聴者が本線映像４０２をよりズームアップして見たい場合は、画角の値を本線映像視点に対してマイナス方向（ズームアップ方向）に指定する。より具体的には、現在の本線視点映像の画角が６０度に対して、その５０％である３０度を任意視点映像の視点として指定する。この操作は、相対指定であるので、本線映像視点が変化すれば任意視点映像の視点も追従して変化する。本線視点映像の画角が６０度から１２０度に変化した場合は、任意視点映像の視点も追従して３０度から６０度に変化する。
【００５６】
このような機能は、プラズマテレビなどの大画面、高精細なテレビで視聴している際に、本線映像よりもより広い範囲を見渡せるようにして試合の流れを掴みやすくしたり、また逆に、携帯端末の小さな液晶画面で視聴している場合は、本線映像では小さすぎて選手を判別できないので、ズームアップして見たりというような場合に特に有効である。
【００５７】
そのほかにも、本線映像視点に視点を同期させる機能をリモコンのボタンに割り当て、そのボタンを押すことにより、押した時点の本線映像視点が任意視点映像の視点として設定されるようにすることもできる。つまり、視聴者はこのボタンを押すだけで本線映像の視点にいつでも戻ることができる。これは、本線映像４０２で、例えばゴール前の接戦などが始まったことを見て、ゴール前にすばやく視点移動したい場合や視点移動しているうちに位置関係がわからなくなってしまった場合に有効である。
【００５８】
また、本線映像が提供されるタイミングについても、特に制約するわけでは無い。例えば、本線映像が録画されたものや、ビデオオンデマンドで随時提供されるものであっても良いし、ＤＶＤなどのパッケージ媒体で提供されることも想定される。その他、他の番組の一部、例えばスポーツニュースの一部として提供されることも考えられる。
【００５９】
次に、実施の形態１にかかる任意視点映像システム１００の全体構成について、図５を用いて説明する。図５は、実施の形態１にかかる任意視点映像システム１００のブロック図である。
【００６０】
本線映像提供システム１０１は、複数の放送映像撮影用カメラ（放送用カメラ）５０１と、本線映像スイッチャ５０２と、符号化装置５０３と、本線映像配信装置５０４と、からなる。
【００６１】
放送用カメラ５０１は、サッカーの試合を撮影する放送用のカメラである。放送用カメラ５０１は、映像（本線映像）と共に視点情報パラメータの情報を出力する。複数の放送用カメラ５０１は、撮影した複数の本線映像と視点情報パラメータを、本線映像スイッチャ５０２に入力する。
【００６２】
本線映像スイッチャ５０２は、中継番組のディレクターなどからの指示により、実際に放送される映像、つまり本線映像となるカメラ映像の切り替えを行う。本線映像スイッチャ５０２は、切り替えられたカメラの本線映像を、符号化装置５０３に入力する。また、本線映像スイッチャ５０２は、本線映像と同時に、切り替えられたカメラの視点情報パラメータも一緒に符号化装置５０３に入力する。
【００６３】
符号化装置５０３は、入力された本線映像を映像圧縮して、放送に必要なフォーマットへの変換などを行う装置である。符号化装置５０３は、変換した本線映像と共に視点情報パラメータを本線映像配信装置５０４に送る。
【００６４】
本線映像配信装置５０４は、受信した本線映像と視点情報パラメータを受信装置１０３に送る。
【００６５】
任意視点映像提供システム１０２は、多数の任意視点映像撮影用カメラ（以下、任意視点用カメラ）５０５と任意視点映像生成装置５０６と任意視点映像ＤＢ５０７と任意視点映像配信装置５０８から構成される。
【００６６】
任意視点用カメラ５０５は、本線映像と同じ対象物、ここではサッカーの試合を任意視点映像用に撮影するカメラである。任意視点用カメラ５０５は、あらゆる方向から対象物の撮影を行い、任意視点映像生成に十分な映像データを撮影する。多数の任意視点用カメラ５０５は、撮影した映像を、任意視点映像生成装置５０６に同時に入力する。なお、任意視点用カメラ５０５は、放送用カメラ５０１と共用される形態であっても良い。
【００６７】
任意視点映像生成装置５０６は、入力した多数の映像に対し、例えば特許文献１に記載されるような任意視点映像生成のアルゴリズムを用いて、任意視点映像を生成する。任意視点映像生成装置５０６は、生成した任意視点映像を任意視点映像ＤＢ５０７に送る。
【００６８】
任意視点映像ＤＢ５０７は、任意視点映像を入力し、一旦蓄積する。また、任意視点映像ＤＢ５０７は、任意視点映像を時刻と視点をキーとして管理する。
【００６９】
任意視点映像配信装置５０８は、受信装置１０３からの要求に従い、対応する（同一の視点の）任意視点映像を任意視点映像ＤＢ５０７より取り出し、受信装置１０３に配信する。なお、本実施例ではあらかじめ任意視点映像生成装置で任意視点映像を生成しておき、任意視点映像の状態で任意視点映像ＤＢに蓄積する構成をとっているが、任意視点映像ＤＢには任意視点用カメラ５０５で撮影されたままの状態で映像を蓄積しておき、受信装置１０３からの要求に従い、任意視点映像生成装置で都度要求された視点の任意視点映像を生成するという構成にしても良い。また、本実施例は本線映像と視点が完全一致する任意視点映像を生成できる前提で記述しているが、任意視点用カメラの数や設置場所の制約などにより、実際には視点が完全一致する映像が得られない（提供出来ない）場合も考えられる。このような場合には、提供可能な範囲で最も近い視点の任意視点映像を提供することで、任意視点映像への切り替え時の視点の変化が最小限になるようにする。
【００７０】
受信装置１０３は、放送サービスと任意視点映像サービスの両方の受信再生に対応した受信装置である。具体的には、受信装置１０３は、本線映像提供システム１０１から本線映像を受信する。また、受信装置１０３は、任意視点映像の配信を受ける際には、本線映像提供システム１０１から送られてきた本線映像の視点情報を任意視点映像提供システム１０２に送る。次に、任意視点映像提供システム１０２から送られてきた、本線映像と同じ視点の任意視点映像を受信する。そして、受信装置１０３は、本線映像から本線映像と同じ視点情の任意視点映像にシームレスに再生する。
【００７１】
このように、受信装置１０３が、本線映像と同じ視点情報を持つ任意視点映像から再生することにより、本線映像から任意視点映像にスムーズに切り替えられる。
【００７２】
以上のように、任意視点映像システム１００は、構成されている。
【００７３】
次に、視点情報パラメータについて、図６を用いて説明する。視点情報パラメータは、カメラの視点および視線、つまりカメラの撮影位置、撮影方向、画角（視野角）を特定するためのパラメータである。
【００７４】
カメラ位置は、放送用カメラ５０１の３次元的な位置であり、ｘ、ｙ、ｚの３つのパラメータで表される。撮影方向は、撮影方向の水平成分と垂直成分の２つのパラメータで表され、それぞれパン角度θ、チルト角度φで表される。画角（視野角）は、カメラが撮影する映像の範囲である。画角は、一般には水平画角、垂直画角の２つのパラメータで表されるが、本例では撮影映像のアスペクト比が１６：９などの値に事前に固定で決まっていることを前提に、一方がわかれば他方も求められるため、水平画角のみを用いて表すこととする。
【００７５】
なお、視点情報パラメータは、必ずしも本例で示した７つのパラメータで表現される必要は無く、撮影位置、撮影方向、画角が特定できるものであれば何でも良い。
【００７６】
次に、放送用カメラ５０１の構成について、図７を用いて説明する。なお、図７には、視点情報パラメータを取得するための構成について記載し、カメラの一般的な構成については省略する。
【００７７】
放送用カメラ５０１には、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）６０３が設けられている。ＧＰＳ６０３は、カメラ位置を計測する。ＧＰＳ測量で一般的に用いられる高精度な位置測定の手法を用いることで、高々数ｃｍの精度で３次元的な位置を計測することが可能である。
【００７８】
また、放送用カメラ５０１には、ズームレンズの位置より焦点距離を計測する焦点距離センサ６０４が設けられている。焦点距離センサ６０４は、焦点距離と撮像面（ＣＣＤ）のサイズより、焦点画角を求める。
【００７９】
また、放送用カメラ５０１には、カメラを回転自在に保持するカメラ台６０２と、カメラ台６０２に設置されカメラのパン角度を計測する回転角度センサ６０６と、カメラのチルト角度を計測する傾き角度センサ６０５と、が設けられている。回転角度センサ６０６が計測したカメラのパン角度と、傾き角度センサ６０５が計測したカメラのチルト角度と、を用いて、撮影方向を求める。
【００８０】
以上のような構成により、放送用カメラ５０１は、本線映像を撮影すると共に視点情報パラメータを取得し、出力する。
【００８１】
次に、符号化装置５０３の構成について、図８を用いて説明する。図８は、実施の形態１における符号化装置５０３の内部構成のブロック図である。
【００８２】
符号化装置５０３は、本線映像スイッチャ５０２より出力された本線映像の映像信号７０１および視点情報パラメータ７０３を入力し、視点情報を含むＭＰＥＧ２トランスポートストリーム形式（ＴＳ：Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）のストリームデータ７０７を出力するものである。
【００８３】
具体的には、符号化装置５０３には、本線映像スイッチャ５０２より出力された本線映像の映像信号７０１の映像圧縮を行う映像圧縮部７０２が設けられている。この例では、映像圧縮部７０２は、ＭＰＥＧ２  Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ  １３８１８−２）で定義される映像符号化方式に基づいた圧縮処理を行う。映像圧縮部７０２は、ＭＰＥＧ２のエレメンタリーストリーム（ＥＳ：Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）の形式で、圧縮された映像データを出力する。
【００８４】
また、符号化装置５０３には、視点情報変換部７０４が設けられている。視点情報変換部７０４は、本線映像を撮影した放送用カメラ５０１の視点情報パラメータ７０３を、入力する。視点情報変換部７０４は、視点情報パラメータから視点情報への変換を行う。
【００８５】
ここで、この変換処理を明確にするために、視点情報パラメータと視点情報の違いについて述べる。視点情報パラメータは、放送用カメラ５０１で計測され、出力されるデータである。一方、視点情報は、別途提供される任意視点映像サービスとパラメータ単位などをそろえ、相互に利用可能な共通のパラメータ体系に揃えたものである。
【００８６】
視点情報をより具体的に説明する。視点情報のカメラ位置は、例えばサッカーコートの中央を原点として、ｘｙｚ各方向０．１ｍｍ単位で、それぞれ２４ビットで記述される。視点情報の画角は、水平画角を０度から３６０度を２４ビットで記述される。視点情報の撮影方向はパン角度、チルト角度をそれぞれ−１８０度から１８０度のそれぞれ１６ビットで記述される。このように、事前に決めたフォーマットに変換して記述する。
【００８７】
また、符号化装置５０３には、映像圧縮部７０２から出力された映像データと視点情報変換部７０４より出力された視点情報を入力する、ＰＥＳパケット化部７０５が設けられている。ＰＥＳパケット化部７０５は、映像圧縮部７０２より出力されたＥＳ形式の映像データ（本線映像）をパケット化する。また、ＰＥＳパケット化部７０５は、視点情報も映像データのパケットの一部に含んで記述する。
【００８８】
具体的には、ＰＥＳパケット化部７０５は、図９に示すように、映像圧縮部７０２より出力されたＥＳ形式の映像データ８０１を、８０２に示すようなＭＰＥＧ２  Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ１３８１８−１）で規定されるＰＥＳ形式にパケット化する。
【００８９】
また、ＰＥＳパケット化部７０５は、視点情報８０４もＰＥＳ形式のパケット８０２の一部に含んで記述する。具体的には、ＰＥＳパケット化部７０５は、ＰＥＳヘッダ領域８０３の拡張領域であるＰＥＳ＿ｅｘｔｅｎｓｉｏｎ＿ｆｉｅｌｄ８０５に、フォーマットで記述する。
【００９０】
このように、ＰＥＳパケット化部７０５は、パケット化したＰＥＳデータをＴＳパケット化部７０６に出力する。
【００９１】
ＴＳパケット化部７０６は、ＰＥＳパケット化部７０５においてパケット化されたＰＥＳデータを、ＭＰＥＧ２  Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ１３８１８−１）で規定されるＴｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ形式でパケット化し、トランスポートストリーム（ＴＳ）７０７として、出力する。
【００９２】
このように、符号化装置５０３は、映像信号７０１に視点情報を重畳し、トランスポートストリーム７０７として出力する。
【００９３】
トランスポートストリーム７０７は、この後、本線映像配信装置５０４で放送用の符号化などが行われ、受信装置１０３に向け放送される。
【００９４】
次に、受信装置１０３の構成について、図１０を用いて説明する。図１０は、受信装置１０３の内部構成のブロック図である。
【００９５】
受信装置１０３は、放送信号９０１を入力し本線映像９０５の映像を出力する本線映像系のブロックと、本線映像に対応する視点情報を抽出するブロックと、受信装置１０３のユーザによる視点操作９１３を入力し任意視点映像配信装置５０８に対して視点操作情報９０８を出力し、その視点に対応する任意視点映像９０９を任意視点映像配信装置５０８から受信入力し、任意視点映像９１２を出力する任意視点映像系のブロックと、からなる。
【００９６】
本線映像系のブロックについて説明する。本線映像系のブロックには、本線映像配信装置５０４より放送された放送信号９０１を受信する放送受信部９０２が設けられている。放送受信部９０２は、放送信号９０１を復号化し、トランスポートストリームを取り出し、ＴＳデコーダ９０３に出力する。
【００９７】
ＴＳデコーダ９０３は、トランスポートストリームを入力し、ＰＥＳデータストリームに復号し、映像デコーダ９０４に出力する。
【００９８】
映像デコーダ９０４は、入力したＰＥＳデータを復号し、さらに圧縮された映像を伸張して、本線映像９０５として出力する。また、映像デコーダ９０４は、本線映像９０５として出力した映像のＰＥＳパケットを本線映像に対応する視点情報を抽出するブロックへも出力する。
【００９９】
本線映像に対応する視点情報を抽出するブロックには、視点情報抽出部９０６が設けられている。視点情報抽出部９０６は、ＰＥＳパケットを入力し、ＰＥＳヘッダ領域に記述された映像のタイムスタンプと視点情報を取り出す。この視点情報のことを、「本線映像視点情報」と呼ぶこととする。視点情報抽出部９０６で抽出された「本線映像視点情報」とタイムスタンプは、任意視点映像系のブロックに随時入力される。
【０１００】
任意視点映像系のブロックには、視点制御部９０７が設けられている。視点制御部９０７は、視点情報抽出部９０６から出力された、常に最新の本線映像視点情報とタイムスタンプを入力する。視点制御部９０７は、ユーザが本線映像から任意視点映像への切り替えを行うと、最新の本線映像視点情報とタイムスタンプを利用して、視点操作情報９０８を生成する。そして、視点制御部９０７は、任意視点映像配信装置５０８にこの視点操作情報９０８を送ることにより、本線映像９０５の視点と同じ視点の映像を要求する。
【０１０１】
任意視点映像配信装置５０８は、要求のあった視点の映像を生成し、任意視点映像９０９として受信装置１０３の任意視点映像系のブロックに配信する。任意視点映像系のブロックの任意視点映像受信部９１０は、任意視点映像９０９を受信入力し、任意視点映像デコーダ９１１に出力する。
【０１０２】
任意視点映像デコーダ９１１は、任意視点映像９０９を復号し、任意視点映像９１２として出力する。
【０１０３】
このように、放送信号９０１に本線映像と対応付けられて送られてくる本線映像視点情報を視点情報抽出部９０６で抽出し、常に最新の本線映像視点情報を視点制御部９０７にセットしておく。これにより、本線映像から任意視点映像への切り替えの際、その時点の本線映像視点情報を利用して、本線映像と同じ視点の任意視点映像を要求することができる。この結果、本線映像から任意視点映像への切り替え時、視点が変わらずに切り替えを行うことができる。
【０１０４】
また、視点制御部９０７は、ユーザからの視点操作９１３に基づき、任意視点映像配信装置５０８に対して視点操作情報９０８を送り、対応する任意視点映像９０９を随時受信し表示する。
【０１０５】
視点操作情報の一例を図１１に示す。図１１の例では、視点情報にあたる位置、視野角、視線方向の各パラメータを絶対指定している。つまり、この視点操作情報で指定したパラメータの任意視点映像が得られる。
【０１０６】
なお、視点操作情報は、任意視点映像へ切り替えて初回の視点操作以外は、前回指定した視点から相対指定するようにしても良い。この場合、任意視点映像配信装置５０８側で受信装置１０３毎の視点を保持管理し、それと相対指定されたパラメータより、指定された視点の任意視点映像を得るという形態になる。
【０１０７】
次に、任意視点映像システム１００の処理シーケンスについて、図１２を用いて説明する。図１２は、任意視点映像システム１００の任意視点映像取得のプロトコルシーケンスを示した図である。
【０１０８】
まず、本線映像提供システム１０１の放送用カメラ５０１が本線映像用の撮影を行い、本線映像データと共に視点情報パラメータを本線映像スイッチャ５０２に送る。本線映像スイッチャ５０２は、中継番組のディレクターなどからの指示により、入力された複数の本線映像データおよび視点情報パラメータからディレクターなどが所望する本線映像データおよび視点情報パラメータを選択し、符号化装置５０３に送る。このように、本線映像提供システム１０１は、本線映像データおよび視点情報パラメータを決定する（ＳＴ１１０１）。
【０１０９】
次に、符号化装置５０３は、本線映像スイッチャ５０２から出力された本線映像データを圧縮する。また、符号化装置５０３は、視点情報パラメータを視点情報に変換し、圧縮した本線映像データに重畳し、本線映像配信装置５０４に送る（ＳＴ１１０２）。
【０１１０】
次に、本線映像配信装置５０４は、デジタル放送を用いて、視点情報を重畳した本線映像データを受信装置１０３に送る（ＳＴ１１０３）。
【０１１１】
このように、本線映像提供システム１０１は、受信装置１０３に、本線映像データだけでなく、本線映像に対する視点情報も送ることにより、受信装置１０３は、本線映像に相当する任意視点映像データの要求をすることができる。
【０１１２】
次に、受信装置１０３は、本線映像の受信から、任意視点映像の受信に切り替える処理をし（ＳＴ１１０４）、任意視点映像の受信処理に移行する。
【０１１３】
本実施の形態で、受信装置１０３と任意視点映像提供システム１０２とが使用するプロトコルは、ＩＥＴＦよりＲＦＣ２３２６として勧告されているＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）をベースとして、コマンドやパラメータを追加して任意視点映像配信用に拡張したものになっている。
【０１１４】
まず、受信装置１０３の視点制御部９０７が、配信準備要求（ＳＥＴＵＰ）を任意視点映像提供システム１０２の任意視点映像配信装置５０８に送る（ＳＴ１１０５）。これに対して、任意視点映像提供システム１０２は、任意視点映像の配信準備を行い、準備が完了したら準備が完了した旨を示すＯＫを受信装置１０３の視点制御部９０７に返す（ＳＴ１１０６）。
【０１１５】
次に、視点制御部９０７は、再生（ＰＬＡＹ）のコマンドを任意視点映像配信装置５０８に投げる（ＳＴ１１０７）。なお、視点制御部９０７は、この時、再生コマンドに、視点操作情報を付加することができる。視点制御部９０７は、特別なケース以外は、この時の視点操作情報には上述したように、本線映像視点を指定する。
【０１１６】
これに対して任意視点映像配信装置５０８は、受信した再生コマンドに対して、コマンドの成功をあらわすＯＫを受信装置１０３に返すとともに（ＳＴ１１０８）、要求された視点（ここでは本線映像視点）の任意視点映像データを任意視点映像ＤＢ５０７から抽出し、受信装置１０３に向けて配信する（ＳＴ１１０９）。
【０１１７】
これに対して、受信装置１０３は、任意視点映像受信部９１０において、本線映像視点の任意視点映像データを受信し、任意視点映像デコーダ９１１でデコードし、再生可能な任意視点映像として出力する（ＳＴ１１１０）。
【０１１８】
このように、受信装置１０３が、任意視点映像の要求をすると、任意視点映像配信装置５０８は、本線映像視点の任意視点映像を返信する。本線映像視点の任意視点映像は、本線映像と同じ視点の映像であるので、視聴者は、本線映像から任意視点映像に切り替わっても、大きく視点が変わることによる違和感を感じることが無い。
【０１１９】
次に、受信装置１０３の視点制御部９０７は、ユーザから視点操作を受け、視点移動（ＭＯＶＥ）のコマンドに視点操作情報を入れて任意視点映像配信装置５０８に送る（ＳＴ１１１１）。
【０１２０】
これに対して、任意視点映像配信装置５０８は、受信装置１０３にＯＫを返すとともに（ＳＴ１１１２）、指定された視点の任意視点映像データを配信する（ＳＴ１１１３）。
【０１２１】
これに対して、受信装置１０３は、任意視点映像受信部９１０において、視聴者が指定した視点の任意視点映像データを受信し、任意視点映像デコーダ９１１でデコードし、再生可能な任意視点映像として出力する（ＳＴ１１１４）。
【０１２２】
もし、受信装置１０３が指定した視点が有効な範囲を超えている場合は、任意視点映像配信装置５０８は、受信装置１０３にＮＧを返し、現在の視点（前回指定された視点）の任意視点映像を配信し続ける。
【０１２３】
なお、任意視点映像配信装置５０８は、受信装置１０３から新たな視点操作が行われるまで、現在の視点を維持するものとする。つまり、任意視点映像配信装置５０８は、受信装置１０３からのコマンドが送られてこなければ、現在の視点の映像を時系列的にストリーミング配信し続けるものとする。
【０１２４】
また、受信装置１０３から任意視点映像配信装置５０８へ、ユーザにより視点操作が行われ視点移動するために、視点移動（ＭＯＶＥ）コマンドが送られ、任意視点映像配信装置５０８は対応する任意視点映像データを受信装置１０３に配信する。
【０１２５】
最後に、任意視点映像の視聴をやめるときや、本線映像に戻るときには、受信装置１０３の視点制御部９０７は、任意視点映像配信装置５０８に対して、再生終了（ＴＥＡＲＤＯＷＮ）のコマンドを送り、任意視点映像データの配信が終了する（ＳＴ１１１５）。
【０１２６】
このようにして、本線映像提供システム１０１から受信装置１０３に、本線映像の視点情報を対応する本線映像データパケットのヘッダ部に記述し、本線映像と共に送る。受信装置１０３が本線映像と本線映像視点情報を受信し、その本線映像視点情報を任意視点映像への切り替え時の初期値として用いる。これにより、受信装置１０３は、任意視点映像へ切り替えた際に、本線映像と全く同じ視点の任意視点映像から再生を開始することになる。この結果、本線映像視点情報を任意視点映像への切り替えにおいて、視点の変化が無く、視聴者が違和感を感じることが無い。
【０１２７】
なお、上述した構成は、主にデジタル放送を意図した構成であるが、さらに同様な構成を用いて、インターネットなどの通信路で本線映像を配信するような場合にも対応することができる。上記の説明において、本線映像配信装置５０４にて、「放送用の符号化」を行うと記述したが、「放送用の符号化」を行う代わりに、インターネットなどでの映像配信に一般に用いられるプロトコルであるＲＴＰ（ＲｅａｌＴｉｍｅＰｒｏｔｏｃｏｌ）でＴＳパケットをさらに符号化し、インターネット等の通信路で配信するといった形態も考えられる。
【０１２８】
ＲＴＰによる配信を行う場合には、符号化装置５０３を図１３に示すような構成とすることも可能である。この構成は、映像圧縮部７０２より出力されるエレメンタリーストリームを、直接ＲＴＰパケットに載せる場合の構成である。なお、既に説明した部分には同一の符号を付与してある。
【０１２９】
図１３に示す構成では、ＲＴＰパケット化部１２０５は、視点情報変換部７０４より出力された本線映像視点情報を図１４に示すようにＲＴＰパケットの拡張ヘッダ領域に記述したＲＴＰストリーム１２０６を生成し、出力する。
【０１３０】
このように、本線映像視点情報を拡張ヘッダ領域に記述することにより、実際に配信する映像のフォーマットに依存しないで、例えばＰＥＳ構造を持たない映像フォーマットなどでも、本線映像視点情報を映像と合わせて送ることが可能である。
【０１３１】
なお、実施の形態１で説明したような任意視点映像のように実写映像を用いる代わりに、３次元コンピュータグラフィックスにより試合を再現する形態であっても良い。この形態は、特にゲーム機と連携して、コンピュータグラフィックスで任意の視点映像を提供するような場合等に適用できる。
【０１３２】
（実施の形態２）
次に、本発明の実施の形態２について説明する。実施の形態１は、本線映像視点情報を本線映像パケットのヘッダ領域に記述していたが、実施の形態２では、本線映像視点情報を映像パケットとは別のパケットに載せて送るようにした。実施の形態２のような構成とすることにより、既存の装置の改変がほとんど不要となり、既存サービスの拡張としてより実現しやすくなることが期待される。
【０１３３】
まず、実施の形態２にかかる任意視点映像システムの構成について、図１５を用いて説明する。なお、既に説明した部分と同一の部分には、同一の符号を付与し、詳細な説明を省略する。
【０１３４】
実施の形態２にかかる任意視点映像システム１４００は、視点情報符号化装置１４０４と多重化装置１４０５を持つ本線映像提供システム１４０１が設けられている。
【０１３５】
また、本線映像スイッチャ５０２の出力先が、映像データと視点情報パラメータで別れ、それぞれ映像符号化装置１４０３と視点情報符号化装置１４０４に入力される。そして、映像符号化装置１４０３と視点情報符号化装置１４０４の出力が、多重化装置１４０５に入力される。
【０１３６】
また、受信装置１４１１の動作も実施の形態１の受信装置１０３と一部異なる。受信装置１４１１の詳細については、後述する。
【０１３７】
次に、映像符号化装置１４０３と視点情報符号化装置１４０４の内部構成について、図１６を用いて説明する。
【０１３８】
映像符号化装置１４０３は、映像信号７０１を入力し、映像のトランスポートストリーム１５０５を出力する。
【０１３９】
また、視点情報符号化装置１４０４は、視点情報パラメータ７０３を入力し、本線映像視点情報の記述されたデータパケットをトランスポートストリーム化した本線映像視点情報トランスポートストリーム１５１０を出力する。
【０１４０】
映像符号化装置１４０３には、映像圧縮部１５０２が設けられている。映像圧縮部１５０２は、映像信号７０１を入力し、映像圧縮処理、例えばＭＰＥＧ２  Ｖｉｄｅｏに基づく映像圧縮符号化処理を行い、エレメンタリーストリームを生成する。映像圧縮部１５０２は、エレメンタリーストリームをＰＥＳパケット化部１５０３に出力する。
【０１４１】
次に、ＰＥＳパケット化部１５０３は、エレメンタリーストリームをＰＥＳパケット化し、ＴＳパケット化部１５０４に出力する。そして、ＴＳパケット化部１５０４は、ＰＥＳパケット化されたエレメンタリーストリームをＴＳパケット化し、映像のトランスポートストリーム１５０５として出力する。
【０１４２】
ここで特記すべき事項として、ＰＥＳパケット化部１５０３より視点情報符号化装置１４０４のＭＰＥＧ２セクション化部１５０８に対して、ＰＥＳパケットに含まれるタイムスタンプ情報が渡されていることが挙げられる。詳しくは、ＭＰＥＧ２セクション化部１５０８の説明で述べる。
【０１４３】
一方、視点情報符号化装置１４０４は、本線映像スイッチャ５０２より、視点情報パラメータ７０３を入力し、視点情報変換部７０４で、それを本線映像視点情報に変換する。この処理は、実施の形態１で述べたものと同一である。そして、視点情報変換部７０４は、変換した本線映像視点情報を、ＭＰＥＧ２セクション化部１５０８に渡す。
【０１４４】
次に、ＭＰＥＧ２セクション化部１５０８は、本線映像視点情報をＭＰＥＧ２  Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ１３８１８−１）で規定されるＭＰＥＧ２  Ｐｒｉｖａｔｅ  ｓｅｃｔｉｏｎの形に符号化する。
【０１４５】
図１７は、ＭＰＥＧ２セクション化部１５０８が符号化した本線映像視点情報の例を示す図である。ＭＰＥＧ２セクション化部１５０８は、視点情報変換部７０４から与えられる本線映像視点情報と、映像符号化装置１４０３のＰＥＳパケット化部１５０３から与えられるタイムスタンプ情報を合わせて、図１７に示すようにＭＰＥＧ２  Ｐｒｉｖａｔｅ  Ｓｅｃｔｉｏｎ構造のｐｒｉｖａｔｅ＿ｄａｔａ＿ｂｙｔｅ領域１６０１に記述する。ここで、タイムスタンプ情報は、本線映像の３２ビットで記述されるＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）を用いる。
【０１４６】
このようにして、ＭＰＥＧ２セクション化部１５０８は本線映像視点情報を符号化し、ＴＳパケット化部１５０９に出力する。そして、ＴＳパケット化部１５０９は、符号化された本線映像視点情報をＴＳパケット化し、本線映像視点情報トランスポートストリーム１５１０として出力する。
【０１４７】
そして、このようにして生成された映像トランスポートストリーム１５０５と本線映像視点情報トランスポートストリーム１５１０は、多重化装置１４０５に入力される。多重化装置１４０５は、入力された複数のトランスポートストリーム１５０５、１５１０を１本のトランスポートストリームにする（多重化する）機能を持つ装置である。このように、多重化装置１４０５は、映像トランスポートストリームと本線映像視点情報トランスポートストリームを１本のトランスポートストリームに多重化し、本線映像配信装置１４０６に出力する。
【０１４８】
本線映像配信装置１４０６は、放送用の符号化などを行い、受信装置１４１１に向け放送を行う。
【０１４９】
次に、受信装置１４１１の構成について、図１８を用いて説明する。図１８は、受信装置１４１１の内部構成を示したものである。
【０１５０】
受信装置１４１１と実施の形態１における受信装置１０３の構成との相違点は、実施の形態１では、視点情報抽出部９０６が映像デコーダ９０４と接続されているのに対し、実施の形態２では、ＴＳデコーダ１７０３に接続されている点である。
【０１５１】
本線映像配信装置１４０６より放送された放送信号１７０１は、放送受信部１７０２に入力される。放送受信部１７０２は、放送信号１７０１を復号化し、トランスポートストリームを取り出す。そして、放送受信部１７０２は、このトランスポートストリームを、ＴＳデコーダ１７０３に入力する。このトランスポートストリームは、上述したとおり、映像トランスポートストリームと本線映像視点情報トランスポートストリームが１本に多重化されたものである。
【０１５２】
次に、ＴＳデコーダ１７０３は、これら２種類のトランスポートストリームを分離し、映像は映像デコーダ１７０４に出力し、本線映像視点情報は視点情報抽出部９０６に出力するように動作する。受信装置１４１１の以降の処理は、実施の形態１の受信装置１０３で説明したものと同様であるので、詳細な説明を省略する。
【０１５３】
このように、実施の形態２によれば、既存の本線映像提供システムに対する改変を最低限に押さえることができる。また、受信装置１４１１においても、実施の形態１の構成と比較して、ソフトウェア的な処理で実現することが容易になることが期待される。つまり、既存の映像配信サービスに対して、より少ない変更で目的を達成することが可能になる。
【０１５４】
なお、図１９に示すように、データ放送を用いて視点情報を送るようにしても良い。図１９に示す視点情報符号化装置１８００は、視点情報リスト生成部１８０８において、ＰＥＳパケット化部１５０３が出力した映像信号のタイムスタンプと、視点情報変換部７０４が出力した視点情報とを対応付けた視点情報リストを生成する。次に、視点情報リスト生成部１８０８は、生成した視点情報リストをデータ放送カルーセル生成部１８０９に送る。データ放送カルーセル生成部１８０９は、視点情報リストをデータ放送のカルーセル形式で符号化し、ＴＳパケット化部１８１０に送る。そして、ＴＳパケット化部１８１０がカルーセル形式で符号化された視点情報リストをＴＳストリーム１８１１にし、出力する。
【０１５５】
このような構成により、データ放送を用いて視点情報を送ることができる。
【０１５６】
（実施の形態３）
実施の形態３は、本線映像がＤＶＤなどのパッケージメディアで別途提供されることを想定したものである。図２０は、実施の形態３にかかる任意視点映像システムの概要を説明する図である。
【０１５７】
実施の形態３は、実施の形態１および実施の形態２において、放送波またはインターネットなどの通信路でオンライン提供されていた本線映像および本線映像視点情報を、ＤＶＤ１９０１などのパッケージ媒体に格納して配布するようにしたものである。また、ＤＶＤ１９０１には、ＵＲＬ等の任意視点映像提供システムへのアクセス方法１９０３が格納されている。
【０１５８】
そして、視聴者は、ＤＶＤ１９０１を任意視点サービスに対応した受信再生装置１９０２で再生することにより、本線映像を視聴できる。さらに、視聴者は、ＤＶＤ１９０１を再生することにより、任意視点提供システムへのアクセス方法と本線視点情報を取得できる。そして、視聴者は、任意視点提供システムへのアクセス方法１９０３と本線視点情報を用いて、実施の形態１で説明したような、任意視点映像提供システムとの連携サービスを利用することが可能になる。
【０１５９】
なお、パッケージ媒体は、ＤＶＤだけでなく、Ｂｌｕ−Ｒａｙ  ｄｉｓｃ（登録商標）などの次世代のパッケージ媒体やサーバ型放送における蓄積型コンテンツとして配布提供される場合などにも同様に適用可能である。
【０１６０】
次に、実施の形態３にかかる任意視点映像システムの構成について、図２１および図２２を用いて説明する。図２１は、パッケージ媒体の制作系システムのブロック図、図２２は、パッケージ媒体の再生および任意視点映像サービスの受信装置、任意視点映像提供システムを示す図である。なお、既に説明した部分と同一部分には、同一の符号を付与し詳細な説明を省略する。
【０１６１】
制御系システム２００１の符号化装置２００３は、実施の形態１の符号化装置５０３からＴＳパケット化部７０６を除き、ＰＥＳパケットの状態で本線映像信号と視点情報パラメータを重畳したものを出力するようにしたものである。
【０１６２】
ＤＶＤ制作装置２００４は、符号化装置２００３より、本線映像の映像と本線映像視点情報が入ったＰＥＳパケットストリームを入力し、ＤＶＤのフォーマットへの変換を行う。この際、ＤＶＤ制作装置２００４は、ＤＶＤに書き込むデータとして、対応する任意視点映像サービスへのアクセス方法を合わせて記述する。このアクセス方法は、例えば、任意視点映像サービスを提供しているサーバのＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅＬｏｃａｔｏｒ）などである。
【０１６３】
そして、ＤＶＤ制作装置２００４は、このようにしてできたデータから、ＤＶＤのディスクイメージを生成し、生成したディスクイメージをもとに、目的のＤＶＤ（ソフト）１９０１を作成する。
【０１６４】
このようにして作成されたＤＶＤソフト１９０１は、一般に流通・販売され、そのソフトを購入した視聴者の受信再生装置１９０２にて再生される。
【０１６５】
受信再生装置１９０２は、ＤＶＤソフト１９０１の再生機能とネットワーク経由で任意視点映像配信装置２１０５から提供される任意視点映像の受信再生機能を持つ装置である。受信再生装置１９０２は、実施の形態１の受信装置１０３と異なり、入力がＤＶＤ１９０１になっているため、本線映像を扱う部分が放送のものからＤＶＤ１９０１のものに置き換わっている。
【０１６６】
受信再生装置１９０２の構成について、図２３を用いて説明する。受信再生装置１９０２は、入力がディスク信号２２０１であることと、実施の形態１にかかる受信装置１０３の放送受信部９０２とＴＳデコーダ９０３が、それぞれアナログフロントエンド２２０２とＰＳデコーダ２２０３になっている点である。
【０１６７】
ＤＶＤのレーザピックアップにて読み取られたディスク信号２２０１は、アナログフロントエンド２２０２に入力される。アナログフロントエンド２２０２は、入力したディスク信号２２０１に対し、アナログ復調、エラー訂正などの処理を行い、ＭＰＥＧ２プログラムストリーム（ＰＳ：Ｐｒｏｇｒａｍ  Ｓｔｒｅａｍ）形式で出力する。そして、アナログフロントエンド２２０２は、このプログラムストリームをＰＳデコーダ２２０３に出力する。
【０１６８】
ＰＳデコーダ２２０３は、アナログフロントエンド２２０２から出力されたプログラムストリームを入力し、ＰＥＳデータストリームに復号し、映像デコーダ２２０４に出力する。
【０１６９】
映像デコーダ２２０４は、ＰＥＳデータストリームから本線映像２２０５を出力するとともに、ＰＥＳデータストリームから映像のタイムスタンプと本線映像視点情報を取り出し、視点情報抽出部９０６に出力する。
【０１７０】
受信再生装置１９０２のその他の処理は、実施の形態１の受信装置１０３と同様であるので、詳細な説明を省略する。
【０１７１】
実施の形態３によれば、ＤＶＤソフトなどのパッケージ媒体に記録された映像（本線映像）と任意視点映像の連携サービスを提供することができる。
【０１７２】
（実施の形態４）
次に、実施の形態４について説明する。実施の形態１から実施の形態３では、本線映像視点情報を本線映像のストリームに多重して受信装置に提供する構成であった。これに対し実施の形態４では、放送映像の提供システム側で生成した本線映像視点情報が、タイムスタンプと共に任意視点映像提供システム側に送られ、管理される構成になっている。つまり、任意視点映像提供システム側で、本線映像のタイムスタンプより、その時点での本線映像の視点を得ることができる。
【０１７３】
このような構成を採ることにより、既存の映像符号化装置や多重化装置などの放送システムへの改修が必要無くなるため、放送局にとって導入しやすいというメリットが考えられる。
【０１７４】
次に、実施の形態４の任意視点映像システムについて、図２４を用いて説明する。図２４は、実施の形態４にかかる任意視点映像システムの全体構成を示すブロック図である。
【０１７５】
実施の形態４の任意視点映像システム２３００は、実施の形態２と比較すると、実施の形態２を示す図１５の構成では、視点情報符号化装置１４０４で生成された本線映像視点情報が多重化装置１４０５に入力されているのに対し、実施の形態４を示す図２４では、視点情報符号化装置２３０４で生成された本線映像視点情報が、その本線映像視点情報に対応する本線映像のタイムスタンプと共に任意視点映像提供システム２３０２側にある本線映像視点情報ＤＢ２３１０に入力されている点が大きく異なっている。
【０１７６】
まず、放送映像提供システム２３０１の視点情報符号化装置２３０４は、本線映像視点情報およびタイムスタンプを生成し、任意視点映像提供システム２３０２の本線映像視点情報ＤＢ２３１０に登録する。ここで、視点情報符号化装置２３０４と本線映像視点情報ＤＢ２３１０は、ＴＣＰ／ＩＰネットワークなどの通信回線で接続されており、オンラインで本線映像視点情報が登録できるようになっている。
【０１７７】
図２５は、本線映像視点情報ＤＢ２３１０内部での本線映像視点情報の管理構造の一例を示した図である。
【０１７８】
本例では、本線映像を放送する番組を識別するための放送番組ＩＤ２４０１と本線映像視点情報をタイムスタンプに従って、時系列にリスト化した本線映像視点情報リスト２４０２からなる。なお、放送番組ＩＤの設定方法に関しては、本線映像視点情報と一緒に視点情報符号化装置２３０４などから設定されても良いし、別途オペレータなどの手によって設定されるなどが考えられる。
【０１７９】
次に、受信装置２３１１について説明する。図２６は、実施の形態４にかかる受信装置２３１１の構成を示した図である。
【０１８０】
受信装置２３１１は、放送受信部９０２において、本線映像配信装置２３０５から出力された放送信号２５０１を受信し、ＴＳデコーダ９０３でデコードし、映像デコーダ２５０４によりデコードし本線映像９０５として画面出力される。また、これに伴って、受信装置２３１１の映像デコーダ２５０４は、その時点の映像のタイムスタンプを抽出し、視点制御部２５０６に対して供給する。
【０１８１】
そして、ユーザが本線映像から任意視点映像への切り替えの視点操作９１３を行うと、視点制御部２５０６は視点操作情報２５０７を生成する。図２７は、生成された視点操作情報２５０７の一例である。実施の形態１から実施の形態３における視点操作情報とは異なり、受信装置側に本線映像視点情報を持たないため、視点操作情報は現在の視点からの相対で指定することになる。
【０１８２】
本線映像と同じ視点の任意視点映像に切り替える際には、切り替え時点での本線映像のタイムスタンプと位置（相対）、視野角（相対）、視線方向（相対）のそれぞれに０を指定した視点操作情報を用いる。
【０１８３】
視点制御部２５０６は、この視点操作情報２５０７を用いて、任意視点映像配信装置２３０９に対して、任意視点映像の配信（再生）開始を要求する。ここで、視点制御部２５０６は、配信（再生）開始時における任意視点映像の視点の初期値を、指定された時点の本線映像視点に設定するようにする。
【０１８４】
これに対して、任意視点映像配信装置２３０９は、視点操作情報２５０７で指定されたタイムスタンプに対応する本線映像の視点を、本線映像視点情報ＤＢ２３１０に対して問い合わせて取得する。任意視点映像配信装置２３０９は、取得した本線映像の視点に対応する任意視点映像を任意視点映像ＤＢ２３０８より取得し、受信装置２３１１に対して配信するという流れになる。
【０１８５】
以上のように、実施の形態４により、特に本線映像を放送するシステムにおいては、既存の設備に対してあまり影響を与えず、新規に視点情報符号化装置２３０４を追加する程度で実現できるため、導入しやすいというメリットが得られる。
【産業上の利用可能性】
【０１８６】
本発明は、従来の放送やインターネットでのライブ配信などの映像配信（本線映像）と連携して、その同じ対象を任意視点映像としても配信するような配信装置および受信端末、任意視点映像の配信装置などに適用できる。
【図面の簡単な説明】
【０１８７】
【図１】本発明の実施の形態１にかかる任意視点映像システムの概要を説明するための図
【図２】実施の形態１にかかる受信装置が放送型番組を受信している際の画面を示す図、
【図３】実施の形態１にかかるリモコンを示す図
【図４】実施の形態１にかかる受信装置の任意視点映像視聴中の画面を示す図
【図５】実施の形態１にかかる任意視点映像システムのブロック図
【図６】実施の形態１にかかる視点情報パラメータを示す図
【図７】実施の形態１にかかる放送用カメラを示す図
【図８】実施の形態１における符号化装置の内部構成のブロック図
【図９】実施の形態１にかかるＰＥＳ形式にパケット化された映像データを示す図
【図１０】実施の形態１における受信装置の内部構成のブロック図
【図１１】実施の形態１にかかる視点操作情報を示す図
【図１２】実施の形態１にかかる任意視点映像システムの任意視点映像取得のプロトコルシーケンスを示した図
【図１３】実施の形態１にかかる符号化装置のその他の例を示す図
【図１４】実施の形態１にかかるＲＴＰストリーム化された本線映像視点情報を示す図
【図１５】本発明の実施の形態２にかかる任意視点映像システムの構成を示すブロック図
【図１６】実施の形態２にかかる映像符号化装置と視点情報符号化装置の内部構成を示すブロック図
【図１７】実施の形態２にかかるＭＰＥＧ２セクション化部が符号化した本線映像視点情報を示す図
【図１８】実施の形態２にかかる受信装置のブロック図
【図１９】実施の形態２にかかる視点情報符号化装置のその他の例を示す図
【図２０】本発明の実施の形態３にかかる任意視点映像システムの概要を説明する図
【図２１】実施の形態３にかかるパッケージ媒体の制作系システムのブロック図
【図２２】実施の形態３にかかるパッケージ媒体の再生および任意視点映像サービスの受信装置、任意視点映像提供システムを示す図
【図２３】実施の形態３にかかる受信再生装置のブロック図
【図２４】本発明の実施の形態４にかかる任意視点映像システムの全体構成を示すブロック図
【図２５】実施の形態４にかかる本線映像視点情報ＤＢ内部での本線映像視点情報の管理構造の一例を示した図
【図２６】実施の形態４にかかる受信装置の構成を示したブロック図
【図２７】実施の形態４にかかる視点操作情報の一例を示す図
【符号の説明】
【０１８８】
１００、１４００、２３００  任意視点映像システム
１０１、１４０１、２３０１  本線映像提供システム
１０２、１４０２、２３０２  任意視点映像提供システム
１０３、１４１１、２３１１  受信装置
５０１  放送映像撮影用カメラ
５０３、２００３  符号化装置
５０４、１４０６、２３０５  本線映像配信装置
５０５  任意視点映像撮影用カメラ
５０６  任意視点映像生成装置
５０７  任意視点映像ＤＢ
５０８、２１０５、２３０９  任意視点映像配信装置
１４０３  映像符号化装置
１４０４、２３０４  視点情報符号化装置
１４０５  多重化装置
１９０１  ＤＶＤ
１９０２  受信再生装置
２００４  ＤＶＤ制作装置
２３１０  本線映像視点情報ＤＢ
【図１】
2007150747.tif 000003
【図２】
2007150747.tif 000004
【図３】
2007150747.tif 000005
【図４】
2007150747.tif 000006
【図５】
2007150747.tif 000007
【図６】
2007150747.tif 000008
【図７】
2007150747.tif 000009
【図８】
2007150747.tif 000010
【図９】
2007150747.tif 000011
【図１０】
2007150747.tif 000012
【図１１】
2007150747.tif 000013
【図１２】
2007150747.tif 000014
【図１３】
2007150747.tif 000015
【図１４】
2007150747.tif 000016
【図１５】
2007150747.tif 000017
【図１６】
2007150747.tif 000018
【図１７】
2007150747.tif 000019
【図１８】
2007150747.tif 000020
【図１９】
2007150747.tif 000021
【図２０】
2007150747.tif 000022
【図２１】
2007150747.tif 000023
【図２２】
2007150747.tif 000024
【図２３】
2007150747.tif 000025
【図２４】
2007150747.tif 000026
【図２５】
2007150747.tif 000027
【図２６】
2007150747.tif 000028
【図２７】
2007150747.tif 000029