(57)【要約】【課題】  廃棄されていた番組素材を有効活用する仕組みを提供すると共に、視聴者毎の種々の嗜好、欲求を満足させることができるコンテンツ送信装置およびコンテンツ受信装置を提供する。【解決手段】  コンテンツ送信装置１は、放送波として出力されている映像データと音声データとに同期させて、映像データを撮像した際の視点と異なる少なくとも１つ以上の別の視点で撮像又は生成された多視点映像データと、音声データを収録した際の聴点と異なる少なくとも１つ以上の別の聴点で収録又は生成された多聴点音声データとの少なくとも一方を、ネットワークを介して送信するコンテンツ送信装置１であって、放送用メタデータ付与手段５と、通信用メタデータ付与手段９と、送信手段１３と、提示情報蓄積手段１７と、を備えた。【選択図】      図１
2005159592.tif 000002
【特許請求の範囲】
【請求項１】
放送波として出力されている映像データと音声データとに同期させて、前記映像データを撮像した際の視点と異なる少なくとも１つ以上の別の視点で撮像又は生成された多視点映像データと、前記音声データを収録した際の聴点と異なる少なくとも１つ以上の別の聴点で収録又は生成された多聴点音声データとの少なくとも一方を、ネットワークを介して送信するコンテンツ送信装置であって、
前記映像データと前記多視点映像データとの関係を記述したメタデータを当該映像データと当該多視点映像データとに付与すると共に、前記音声データと前記多聴点音声データとの関係を記述したメタデータを当該音声データと当該多聴点音声データとに付与するメタデータ付与手段と、
前記多視点映像データと前記多聴点音声データとの少なくとも一方を受信側で提示する際の提示手法を前記メタデータに関連付けて予め設定した提示情報を蓄積する提示情報蓄積手段と、
この提示情報蓄積手段に蓄積されている提示情報と、前記多視点映像データと前記多聴点音声データとの少なくとも一方とを、ネットワークを介して送信する送信手段と、
を備えることを特徴とするコンテンツ送信装置。
【請求項２】
前記提示情報には、少なくとも、受信側に備えられる装置に提示させる内容を示す提示内容情報と、当該装置を動作させる内容を示す動作内容情報と、前記多視点映像データと前記多聴点音声データとを指定するマルチメディアコンテンツ情報、当該装置に提示される前記映像データと前記多視点映像データとのレイアウトを指定するレイアウト情報と、当該提示情報を生成するための、前記メタデータに関連付けて予め設定された提示情報生成テンプレートとを含むことを特徴とする請求項１に記載のコンテンツ送信装置。
【請求項３】
前記多視点映像データと前記多聴点音声データとがスポーツに関するスポーツ関連多視点映像データとスポーツ関連多聴点音声データとであり、
撮像された映像データに含まれている被写体の候補となる部分画像を抽出する被写体候補抽出手段と、
前記被写体の運動を予測して得られた予測三次元座標を投影して予測画像座標を生成する投影手段と、
前記被写体候補抽出手段で抽出された部分画像の中から前記被写体の候補を、前記投影手段で生成された予測画像座標に基づいて、絞り込む候補絞り込み手段と、
この候補絞り込み手段で絞り込まれた被写体の候補の重心を検出する重心検出手段と、
この重心検出手段で重心が検出された被写体の候補の画像座標を逆投影して推定三次元座標を得る逆投影手段と、
この逆投影手段で得られた推定三次元座標から前記予測三次元座標を得る運動予測手段
とを備え、
前記送信手段によって、前記推定三次元座標を送信することを特徴とする請求項１または請求項２に記載のコンテンツ送信装置。
【請求項４】
放送波として出力されている当該映像データと当該音声データとを受信し、これらに同期されている前記映像データを撮像した際の視点と異なる少なくとも１つ以上の別の視点で撮像又は生成された多視点映像データと、前記音声データを収録した際の聴点と異なる少なくとも１つ以上の別の聴点で収録又は生成された多聴点音声データとの少なくとも一方を、ネットワークを介して受信するコンテンツ受信装置であって、
前記映像データと前記音声データとを受信する放送波受信手段と、
前記多視点映像データと前記多聴点音声データとの少なくとも一方と、当該多視点映像データと当該多聴点音声データとの少なくとも一方を提示する際の提示手法と、前記映像データと前記多視点映像データとの関係若しくは前記音声データと前記多聴点音声データとの関係の少なくとも一方とが記述されているメタデータに関連付けられて予め設定された提示情報とを、ネットワークを介して受信する受信手段と、
当該装置のユーザが当該装置を操作する操作装置を操作した結果、当該操作装置から出力される操作信号を受信する操作信号受信手段と、
この操作信号受信手段で受信された操作信号と、前記提示情報とに基づいて、前記映像データおよび前記音声データと、前記多視点映像データと前記多聴点音声データとの少なくとも一方との処理をするか否かを制御して出力する制御手段と、
を備えることを特徴とするコンテンツ受信装置。
【請求項５】
放送波として出力されている当該映像データと当該音声データとを受信し、これらに同期されている前記映像データを撮像した際の視点と異なる少なくとも１つ以上の別の視点で撮像又は生成された多視点映像データと、前記音声データを収録した際の聴点と異なる少なくとも１つ以上の別の聴点で収録又は生成された多聴点音声データとの少なくとも一方を、ネットワークを介して受信するコンテンツ受信装置であって、
前記映像データと前記音声データとを受信する放送波受信手段と、
当該装置のユーザが当該装置を操作する操作装置を操作した結果、当該操作装置から出力される操作信号を受信する操作信号受信手段と、
この操作信号受信手段で受信した操作信号に基づいて、前記多視点映像データと前記多聴点音声データとの少なくとも一方と、当該多視点映像データと当該多聴点音声データとの少なくとも一方を提示する際の提示手法が、前記映像データと前記多視点映像データとの関係および前記音声データと前記多聴点音声データとの関係が記述されているメタデータに関連付けられて予め設定された提示情報とを、ネットワークを介して要求するデータ要求手段と、
このデータ要求手段で要求した前記多視点映像データと前記多聴点音声データとの少なくとも一方と、前記提示情報とを受信する受信手段と、
前記操作信号と、前記提示情報とに基づいて、前記映像データおよび前記音声データと、前記多視点映像データと前記多聴点音声データとの少なくとも一方との処理をするか否かを制御して出力する制御手段と、
を備えることを特徴とするコンテンツ受信装置。
【請求項６】
放送波として出力されている当該映像データと当該音声データとを受信し、これらに同期されている前記映像データを撮像した際の視点と異なる少なくとも１つ以上の別の視点で撮像又は生成された多視点映像データと、前記音声データを収録した際の聴点と異なる少なくとも１つ以上の別の聴点で収録又は生成された多聴点音声データとの少なくとも一方を、ネットワークを介して受信するコンテンツ受信装置であって、
前記映像データと前記音声データとを受信する放送波受信手段と、
前記多視点映像データと前記多聴点音声データとの少なくとも一方を、ネットワークを介して受信する受信手段と、
前記多視点映像データと前記多聴点音声データとの少なくとも一方を提示する際の提示手法と、前記映像データと前記多視点映像データとの関係若しくは前記音声データと前記多聴点音声データとの関係の少なくとも一方とが記述されているメタデータに関連付けられて予め設定された提示情報生成テンプレートに基づいて、提示に関する情報である提示情報を生成する提示情報生成手段と、
当該装置のユーザが当該装置を操作する操作装置を操作した結果、当該操作装置から出力される操作信号を受信する操作信号受信手段と、
この操作信号受信手段で受信された操作信号と、前記提示情報とに基づいて、前記映像データおよび前記音声データと、前記多視点映像データと前記多聴点音声データとの少なくとも一方との処理をするか否かを制御して出力する制御手段と、
を備えることを特徴とするコンテンツ受信装置。
【請求項７】
前記多視点映像データと前記多聴点音声データを蓄積する蓄積手段を備えたことを特徴とする請求項４から請求項６のいずれか一項に記載のコンテンツ受信装置。
【請求項８】
前記多視点映像データと前記多聴点音声データとがスポーツに関するスポーツ関連多視点映像データとスポーツ関連多聴点音声データとであり、請求項３に記載のコンテンツ送信装置から送信された推定三次元座標に基づいて、前記スポーツ関連多視点映像データに係る合成映像データを生成する合成映像データ生成手段と、
前記推定三次元座標に基づいて、前記スポーツ関連多聴点音声データに係る合成音声データを生成する合成音声データ生成手段と、
を備えることを特徴とする請求項４から請求項７のいずれか一項に記載のコンテンツ受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送波とネットワークによるデータ送信とによって、コンテンツを送信するコンテンツ送信装置およびコンテンツを受信するコンテンツ受信装置に関する。
【背景技術】
【０００２】
従来より、テレビ番組は、当該テレビ番組を制作した放送局（制作会社）によって編集された結果のみによって構成されており、制作中に収録した映像データや音声データ（以下、これらを番組素材という）は際限なく廃棄されている。しかも、番組素材の総時間は、テレビ番組の放送時間の数倍に及んでいる。
【０００３】
なお、現行のテレビ放送において、当初のテレビ番組に採用されなかった番組素材の一部は、例えば、ドラマ等では、別のテレビ番組のＮＧ集として活用されているが、このＮＧ集は視聴者の嗜好を満たすものではなく、やはり、放送局で編集されたものであり、インタラクティブなものではなかった。
【０００４】
また、スポーツ中継番組等では、複数の撮影カメラおよび複数の集音マイクによって、常に複数のスポーツ選手の動向を収録（撮影、集音）していなければならず、当然のことながら、スポーツ中継番組として放送された部分よりも、遙かに多くの時間の番組素材が活用されていない。
【０００５】
ここで、スポーツ中継番組の一例として、野球中継番組についてより具体的に説明する。野球中継番組では、ゲームの行われている野球場に複数の撮影カメラおよび複数の集音マイクが持ち込まれる。これら複数の撮影カメラおよび複数の集音マイクによって取得された番組素材は、野球場付近に停車してある中継車まで、常時伝送されている。
【０００６】
中継車では、番組素材である複数の映像データ（動画像）および複数の音声データから、特定の映像データ（動画像）と、ミキシングにより作り出された特定の音声データとをスポーツ中継番組として送り出している（例えば、特許文献１を参照）。
【特許文献１】特開２０００−０１２３４５号公報（段落０００５〜０００７、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、スポーツ中継番組等を視聴する視聴者は、放送されているスポーツ選手を別の角度から見てみたい、或いは、放送されているスポーツ選手以外も見てみたいといった潜在的な要求があるにも拘わらず、放送局で決定したスポーツ選手しか見ることができず、潜在的な要求は満たされていない。
【０００８】
そしてまた、野球中継番組を自宅のテレビジョンで鑑賞する視聴者は、一人一人異なる嗜好（好み）を持っている。つまり、応援している球団や、好きな野球選手や、監督が異なっている。例えば、野球中継番組で放送されている場面には、好きな野球選手が写っておらず、当該場面以外の任意の場面で、好きな野球選手を常時見ていたいという欲求を抱く視聴者は存在している。当該視聴者の欲求は、野球場でゲームを観戦すれば、満たされるものであるが、当該ゲームをテレビジョンで鑑賞している視聴者に、自分の嗜好を反映させて、好きな場面を選択する選択権は、現在のテレビジョン（つまり、テレビ放送）には存在していない。
【０００９】
また、野球中継番組を自宅のテレビジョンで鑑賞する視聴者は、当該野球中継番組に対し、常に鮮明で詳細な映像を求めており、例えば、野球選手の表情や、野球選手の着用しているユニフォームの状態（例えば、細かなしわ）等から、次のプレーを予測し、より深く野球を味わいたいとする要求がある。しかし、現行のハイビジョンの解像度を持ってしても、野球選手の表情の微妙な変化や、野球選手の着用しているユニフォームの状態の微妙な違いを表現することは困難である。さらに、野球中継番組において、投手の投げた変化球がどの程度鋭く変化したのかは、現在のテレビジョンの方式では、十分に表現しきれていない。
【００１０】
以上、野球中継番組を例に、スポーツ中継番組の視聴者から求められていることを説明したが、先に述べたように、スポーツ中継番組に限らず、テレビ番組では、廃棄されてしまう番組素材を有効に活用することが望まれており、今後、走査線４０００本のテレビカメラシステムが実用化した場合、撮影カメラから得られる映像データと、廃棄されてしまう番組素材との情報量は飛躍的に増加する。
【００１１】
ところで、ブロードバンドのネットワークや、一般テレビ放送の放送波以外のチャンネルを有効利用できれば、走査線４０００本のテレビカメラシステムに対応した撮影カメラで撮影された番組素材である映像データの高解像度成分も伝送することは可能となる。
【００１２】
また、これまでのテレビ番組（テレビ放送）では、放送したテレビ番組とは、別角度から撮影した映像データや別の場所で集音した音声データ（番組素材）が取得できていたとしても、これらの番組素材を伝送する伝送路、つまり、ネットワーク等の情報通信のインフラが未整備（不十分）であったので、実現性が低かった。しかし、近年、ブロードバンドのネットワークは、急速に広帯域化しており、廃棄されていた番組素材の伝送路として十分に活用できるレベルにある。つまり、コンピュータ等の高性能化に伴い、番組素材（映像データ、音声データ）の抽出、合成を高速に行うことができ、ブロードバンドのネットワークは、テレビ放送の放送波として伝送されるテレビ番組を補う役割を担うことができるものと成りつつある。
【００１３】
そこで、本発明では、前記した問題を解決し、廃棄されていた番組素材を有効活用する仕組みを提供すると共に、視聴者毎の種々の嗜好、欲求を満足させる、例えば、放送されているテレビ番組とは、別角度から撮影した映像データや別の場所で集音した音声データを提供することができるコンテンツ送信装置およびコンテンツ受信装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
前記課題を解決するため、請求項１記載のコンテンツ送信装置は、放送波として出力されている映像データと音声データとに同期させて、前記映像データを撮像した際の視点と異なる少なくとも１つ以上の別の視点で撮像又は生成された多視点映像データと、前記音声データを収録した際の聴点と異なる少なくとも１つ以上の別の聴点で収録又は生成された多聴点音声データとの少なくとも一方を、ネットワークを介して送信するコンテンツ送信装置であって、メタデータ付与手段と、提示情報蓄積手段と、送信手段と、を備える構成とした。
【００１５】
かかる構成によれば、コンテンツ送信装置は、メタデータ付与手段によって、映像データと多視点映像データとの関係を記述したメタデータを当該映像データと当該多視点映像データとに付与すると共に、音声データと多聴点音声データとの関係を記述したメタデータを当該音声データと当該多聴点音声データとに付与する。このメタデータは、映像データについては、各場面に対応するように記述されたものである。このコンテンツ送信装置は、送信手段によって、提示情報蓄積手段に蓄積されている提示情報と、多視点映像データと多聴点音声データとの少なくとも一方とを、ネットワークを介して送信する。提示情報は、多視点映像データと多聴点音声データとの少なくとも一方を受信側で提示する際の提示手法をメタデータと関連付けて予め設定したもので、例えば、映像データと多視点映像データとを提示（表示）する際の表示画面のレイアウトを設定するものである。
【００１６】
請求項２記載のコンテンツ送信装置は、請求項１に記載のコンテンツ送信装置において、前記提示情報には、少なくとも、受信側に備えられる装置に提示させる内容を示す提示内容情報と、当該装置を動作させる内容を示す動作内容情報と、前記多視点映像データと前記多聴点音声データとを指定するマルチメディアコンテンツ情報、当該装置に提示される前記映像データと前記多視点映像データとのレイアウトを指定するレイアウト情報と、当該提示情報を生成するための、前記メタデータに関連付けて予め設定された提示情報生成テンプレートとを含むことを特徴とする。
【００１７】
かかる構成によれば、コンテンツ送信装置は、提示情報蓄積手段に蓄積されている提示情報が、提示内容情報と、動作内容情報と、マルチメディアコンテンツ情報と、レイアウト情報と、提示情報生成テンプレートとを含んでおり、これらの情報によって、映像データ、多視点映像データ、音声データおよび多聴点音声データの受信側における表示出力を送信側で詳細に設定することができる。さらに、受信側では、設定された範囲内ではあるが、自分の嗜好に応じた映像データと多視点映像データとを、音声データと多聴点音声データとを適度に融合させて（切り替えて）、コンテンツ（テレビ番組）を視聴することができる。
【００１８】
請求項３記載のコンテンツ送信装置は、請求項１または請求項２に記載のコンテンツ送信装置において、前記多視点映像データと前記多聴点音声データとがスポーツに関するスポーツ関連多視点映像データとスポーツ関連多聴点音声データとであり、被写体候補抽出手段と、投影手段と、候補絞り込み手段と、重心検出手段と、逆投影手段と、運動予測手段と、を備える構成とした。
【００１９】
かかる構成によれば、コンテンツ送信装置は、被写体候補抽出手段によって、撮像された映像データに含まれている被写体の候補となる部分画像を抽出する。例えば、映像データ（コンテンツ）が野球中継番組であり、被写体の候補が野球ボールであった場合、映像データを構成している静止画単位のフレーム画像を、輝度の違いによって２値化して、輝度の高い部分を部分画像として抽出したり、前後のフレーム画像同士の差分によって、動きのある領域を特定することで、その動きのある領域を部分画像として抽出する。
【００２０】
続いて、コンテンツ送信装置は、投影手段によって、被写体の運動を予測して得られた予測三次元座標を投影した予測画像座標を生成する。予測三次元座標は、抽出された被写体の画像座標を逆投影して得られた推定三次元座標から、当該被写体の運動を予測したものである。そして、コンテンツ送信装置は、候補絞り込み手段によって、被写体候補抽出手段で抽出された部分画像の中から被写体の候補を、投影手段で生成された予測画像座標に基づいて絞り込んで、重心検出手段によって、絞り込まれた被写体の候補の重心を検出する。なお、この候補絞り込み手段では、予め、被写体に関する情報が予め設定された被写体情報を参照して、被写体の候補を絞り込んでいる。つまり、候補絞り込み手段では、予測画像座標と被写体情報を手がかりに、すなわち、被写体を決定づける固有の特徴量として、被写体の候補を絞り込んで、重心検出手段では、被写体の候補の正確な位置を特定するために、被写体の候補の重心を検出する。
【００２１】
そして、このコンテンツ送信装置は、逆投影手段によって、重心が検出された被写体の候補の画像座標を逆投影して、推定三次元座標を取得し、この推定三次元座標から運動予測手段によって、予測三次元座標を取得する。なお、送信手段によって、推定三次元座標と共に、スポーツ関連多視点映像データが出力される。また、スポーツ関連多聴点音声データは、あくまでもスポーツ関連多視点映像データに係るものであり、ここでは、当該スポーツ関連多視点映像データに付随するものとして出力される。
【００２２】
請求項４記載のコンテンツ受信装置は、放送波として出力されている当該映像データと当該音声データとを受信し、これらに同期されている前記映像データを撮像した際の視点と異なる少なくとも１つ以上の別の視点で撮像又は生成された多視点映像データと、前記音声データを収録した際の聴点と異なる少なくとも１つ以上の別の聴点で収録又は生成された多聴点音声データとの少なくとも一方を、ネットワークを介して受信するコンテンツ受信装置であって、放送波受信手段と、受信手段と、操作信号受信手段と、制御手段と、を備える構成とした。
【００２３】
かかる構成によれば、コンテンツ受信装置は、放送波受信手段によって、放送波として送信側から伝送されている映像データと音声データとを受信する。続いて、コンテンツ受信装置は、受信手段によって、多視点映像データと多聴点音声データとの少なくとも一方と、提示情報とを、ネットワークを介して受信する。提示情報は、多視点映像データと多聴点音声データとの少なくとも一方を、受信側の装置に提示（表示出力）する際の提示手法が、映像データと多視点映像データとの関係および音声データと多聴点音声データとの関係が記述されているメタデータに関連付けられて設定されたものである。
【００２４】
そして、コンテンツ受信装置は、操作信号受信手段によって、ユーザが操作した操作装置（例えば、付属しているリモコン）から出力された操作信号を受信する。その後、コンテンツ受信装置は、制御手段によって、操作信号と、提示情報とに基づいて、映像データおよび音声データと、多視点映像データと多聴点音声データとの少なくとも一方との処理を制御して出力する。つまり、予め送信側で設定された範囲（提示情報で設定された提示手法に従った表現）内で、ユーザが操作装置を操作した操作結果（操作信号）に基づき、表示出力が制御されることとなる。つまり、このコンテンツ受信装置は、いわゆるＰＵＳＨ型の装置であり、送信側から送信された映像データ、音声データ、多視点映像データ、多聴点音声データおよび提示情報と、ユーザ操作による操作信号とに基づいて、動作するものである。
【００２５】
請求項５記載のコンテンツ受信装置は、放送波として出力されている当該映像データと当該音声データとを受信し、これらに同期されている前記映像データを撮像した際の視点と異なる少なくとも１つ以上の別の視点で撮像又は生成された多視点映像データと、前記音声データを収録した際の聴点と異なる少なくとも１つ以上の別の聴点で収録又は生成された多聴点音声データとの少なくとも一方を、ネットワークを介して受信するコンテンツ受信装置であって、放送波受信手段と、操作信号受信手段と、データ要求手段と、受信手段と、制御手段と、を備える構成とした。
【００２６】
かかる構成によれば、コンテンツ受信装置は、放送波受信手段によって、放送波として送信側から伝送されている映像データと音声データとを受信する。続いて、コンテンツ受信装置は、操作信号受信手段によって、ユーザが操作した操作装置から出力された操作信号を受信する。そして、コンテンツ受信装置は、データ要求手段により、操作信号に基づいて多視点映像データ、多聴点音声データおよび提示情報を、ネットワークを介して、送信側、或いは、他のサービス提供サイト等に要求する。
【００２７】
そして、このコンテンツ受信装置は、受信手段によって、ネットワークを介して、要求した多視点映像データと多聴点音声データとの少なくとも一方と、提示情報とを受信し、制御手段によって、操作信号（データ要求信号以外の当該装置を操作する操作信号）と、提示情報とに基づいて、映像データおよび音声データと、多視点映像データと多聴点音声データとの少なくとも一方との処理を制御して出力する。つまり、このコンテンツ受信装置は、いわゆるＰＵＬＬ型の装置であり、必要とする多視点映像データ、多聴点音声データおよび提示情報を受信側から送信側、他のサービス提供サイト等に要求して、取得してから動作するものである。
【００２８】
請求項６記載のコンテンツ受信装置は、放送波として出力されている当該映像データと当該音声データとを受信し、これらに同期されている前記映像データを撮像した際の視点と異なる少なくとも１つ以上の別の視点で撮像又は生成された多視点映像データと、前記音声データを収録した際の聴点と異なる少なくとも１つ以上の別の聴点で収録又は生成された多聴点音声データとの少なくとも一方を、ネットワークを介して受信するコンテンツ受信装置であって、放送波受信手段と、受信手段と、提示情報生成手段と、操作信号受信手段と、制御手段と、を備える構成とした。
【００２９】
かかる構成によれば、コンテンツ受信装置は、放送波受信手段によって、放送波として送信側から伝送されている映像データと音声データとを受信し、受信手段によって、ネットワークを介して、多視点映像データと多聴点音声データとの少なくとも一方を受信する。
【００３０】
そして、このコンテンツ受信装置は、提示情報生成手段によって、提示情報生成テンプレートに基づいて、提示情報を生成する。この提示情報生成テンプレートは、映像データと多視点映像データとの関係および音声データと多聴点音声データとの関係とが記述されているメタデータに関連付けられて設定されていると共に、当該メタデータに付随しているものである。
【００３１】
その後、コンテンツ受信装置は、操作信号受信手段によって、ユーザが操作した操作装置から出力された操作信号を受信し、制御手段によって、操作信号と、生成した提示情報とに基づいて、映像データおよび音声データと、多視点映像データと多聴点音声データとの少なくとも一方との処理を制御して出力する。つまり、このコンテンツ受信装置は、提示情報を生成する生成型の装置であり、受信した多視点映像データと多聴点音声データとの少なくとも一方に含まれているメタデータに付随している提示情報生成テンプレートに基づいて動作する。
【００３２】
請求項７記載のコンテンツ受信装置は、請求項４から請求項６のいずれか一項に記載のコンテンツ受信装置において、前記多視点映像データと前記多聴点音声データを蓄積する蓄積手段を備えたことを特徴とする。
【００３３】
かかる構成によれば、コンテンツ受信装置は、多視点映像データと多聴点音声データとを蓄積する蓄積手段を備えることで、一旦、これら多視点映像データと多聴点音声データとを蓄積した後、動作させることができ、受信手段によって、ネットワークを介して、逐次、多視点映像データと多聴点音声データとを取得するよりも、ユーザは、時間的なロスを感じすることなく（ストレスが少なく）、コンテンツを鑑賞することができる。
【００３４】
請求項８記載のコンテンツ受信装置は、請求項４から請求項７のいずれか一項に記載のコンテンツ受信装置において、前記多視点映像データと前記多聴点音声データとがスポーツに関するスポーツ関連多視点映像データとスポーツ関連多聴点音声データとであり、合成映像データ生成手段と、合成音声データ生成手段と、を備える構成とした。
【００３５】
かかる構成によれば、コンテンツ受信装置は、合成映像データ生成手段によって、受信した推定三次元座標に基づいて、スポーツ関連多視点映像データに係る合成映像データを生成し、合成音声データ生成手段によって、スポーツ関連多聴点音声データに係る合成音声データを生成する。つまり、送信側で生成された推定三次元座標に基づいて、受信側のコンテンツ受信装置で、合成映像データと合成音声データとが生成される。
【発明の効果】
【００３６】
請求項１に記載の発明によれば、本放送として放送される映像データおよび音声データと、同期させて撮影された多視点映像データと収録された多聴点音声データとについて、映像データと多視点映像データとの関係と、音声データと多聴点音声データとの関係とをメタデータで記述して付与し、さらに、受信側で提示される際の提示手法を当該メタデータと関連付けて設定した提示情報を送信しているので、本来廃棄されていた番組素材である多視点映像データと多聴点音声データとの少なくとも一方を有効活用することができる。また、提示情報によって、受信側で提示される際の提示手法を多種類設定することで、視聴者毎の種々の嗜好、欲求を満足させることができる。
【００３７】
請求項２に記載の発明によれば、提示情報によって、映像データ、多視点映像データ、音声データおよび多聴点音声データの受信側における表示出力を送信側で詳細に設定することができる。受信側では、設定された範囲内ではあるが、自分の嗜好に応じた映像データと多視点映像データとを、音声データと多聴点音声データとを適度に融合させて、コンテンツを視聴することができる。
【００３８】
請求項３に記載の発明によれば、撮像された映像データに含まれている被写体の候補となる部分画像を抽出し、当該被写体の運動を予測して得られた予測三次元座標を投影した予測画像座標を生成する。抽出された部分画像の中から被写体の候補を、予測画像座標に基づいて絞り込んで、絞り込まれた被写体の候補の重心を検出する。重心が検出された被写体の候補の画像座標を逆投影して、推定三次元座標を取得し、この推定三次元座標から予測三次元座標を取得する。このため、例えば、視聴者からスポーツ中継番組に要求されていたボールの軌跡が推定三次元座標から容易に描画することができ、視聴者の要望を満たすことができる。
【００３９】
請求項４に記載の発明によれば、放送波として送信側から伝送されている映像データと音声データとを受信し、多視点映像データと多聴点音声データとの少なくとも一方と、提示情報とを、ネットワークを介して受信する。そして、ユーザが操作した操作装置から出力された操作信号を受信し、操作信号と、提示情報とに基づいて、映像データおよび音声データと、多視点映像データと多聴点音声データとの少なくとも一方との処理を制御して出力する。このため、本来廃棄されていた番組素材である多視点映像データと多聴点音声データとの少なくとも一方を有効活用することができる。また、提示情報によって、送信側で設定された提示情報によって規定されている多種類の提示手法で、視聴者毎の種々の嗜好、コンテンツ（テレビ番組）に対する欲求を満足させることができる。
【００４０】
請求項５に記載の発明によれば、放送波として送信側から伝送されている映像データと音声データとを受信し、ユーザが操作した操作装置から出力された操作信号を受信する。そして、操作信号に基づいて多視点映像データ、多聴点音声データおよび提示情報を、ネットワークを介して、送信側、或いは、他のサービス提供サイト等に要求し、この要求した多視点映像データと多聴点音声データとの少なくとも一方と、提示情報とを受信し、制御手段によって、操作信号（データ要求信号以外の当該装置を操作する操作信号）と、提示情報とに基づいて、映像データおよび音声データと、多視点映像データと多聴点音声データとの少なくとも一方との処理を制御して出力する。このため、本来廃棄されていた番組素材である多視点映像データと多聴点音声データとの少なくとも一方を有効活用することができる。また、提示情報によって、送信側で設定された提示情報によって規定されている多種類の提示手法で、視聴者毎の種々の嗜好、コンテンツ（テレビ番組）に対する欲求を満足させることができる。
【００４１】
請求項６に記載の発明によれば、放送波として送信側から伝送されている映像データと音声データとを受信し、ネットワークを介して、多視点映像データと多聴点音声データとの少なくとも一方を受信する。そして、提示情報生成テンプレートに基づいて、提示情報を生成し、ユーザが操作した操作装置から出力された操作信号を受信し、操作信号と、生成した提示情報とに基づいて、映像データおよび音声データと、多視点映像データと多聴点音声データとの少なくとも一方との処理を制御して出力する。このため、本来廃棄されていた番組素材である多視点映像データと多聴点音声データとの少なくとも一方を有効活用することができる。また、提示情報を生成することによって、受信側である程度の自由度を持って、コンテンツ（テレビ番組）を視聴することができ、視聴者毎の種々の嗜好、コンテンツ（テレビ番組）に対する欲求を満足させることができる。
【００４２】
請求項７に記載の発明によれば、多視点映像データと多聴点音声データとを蓄積した後、動作させることができ、ネットワークを介して、逐次、多視点映像データと多聴点音声データとを取得するよりも、ユーザは、時間的なロスを感じすることなく（ストレスが少なく）、コンテンツ（テレビ番組）を鑑賞することができる。
【００４３】
請求項８に記載の発明によれば、スポーツ関連多視点映像データに係る合成映像データを生成し、スポーツ関連多聴点音声データに係る合成音声データを生成するので、視聴者の様々な嗜好、コンテンツ（特に、スポーツ中継番組）に対する欲求を満足させることができる。
【発明を実施するための最良の形態】
【００４４】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（コンテンツ送受信システムについて）
図１にコンテンツ送受信システムのブロック図を示す。この図１に示すように、コンテンツ送受信システムＡは、コンテンツ送信装置１と、コンテンツ受信装置３とから構成されており、映像データおよび音声データからなるコンテンツ（テレビ番組）を放送波によって出力すると共に、ネットワークを介して、当該映像データとは別の視点で撮影した多視点映像データ、当該音声データとは別の箇所から集音した多聴点音声データを、当該映像データ、当該音声データに同期させて送信するものである。
【００４５】
このコンテンツ送受信システムＡは、例えば、テレビ番組がスポーツ中継番組（野球中継番組）であった場合、放送局のコンテンツ送信装置１が野球球場内に配置した複数の撮影カメラおよび集音マイクから中継車を介して入手した映像データおよび音声データを放送波により通常の野球中継番組（例として、投手の背面側から当該投手と捕手と打者とが一つの画面に収まった映像データと、攻撃側の球団の応援席に配置した集音マイクで集音した音声データ）として放送すると共に、ネットワークを介して、当該映像データとは別の撮影カメラで撮影した映像データ（例として、一塁、二塁、三塁付近を撮影した映像データ）と、当該音声データとは別の集音マイクで集音した音声データ（例として、守備側の球団の応援席に配置した集音マイクで集音した音声データ）とを送信する。
【００４６】
そして、受信側（コンテンツ受信装置３）の視聴者は、ネットワークを介して送信された多視点映像データと、多聴点音声データとから、視聴したいものを選択して視聴することができる。つまり、このコンテンツ送受信システムＡでは、本来、廃棄してしまう（スイッチャーが選択せずに放送されない）多視点映像データや多聴点音声データ（番組素材）を、ネットワークを介して送信し、視聴者の選択に委ねて視聴させることで、当該番組素材を積極的に有効利用するものである。
【００４７】
なお、多視点映像データと多聴点音声データとをネットワークで配信せずに、デジタル放送の他チャンネルを使用することで、これら多視点映像データと多聴点音声データとを受信側のコンテンツ受信装置３に送信することは可能である。しかし、この場合であっても、視聴者からの要求をリアルタイムに取得するルート、つまり、ネットワークは必要となるので、本発明では、ネットワークを利用する構成としている。
【００４８】
（コンテンツ送信装置の構成）
コンテンツ送信装置１は、本放送の放送波としてテレビ番組を出力すると共に、ネットワークを介して、放送されなかった編集素材映像データ（多視点映像データ）、編集素材音声データ（多聴点音声データ）を送信するもので、放送用メタデータ付与手段５と、編集素材加工手段７と、通信用メタデータ付与手段９と、放送波出力手段１１と、送信手段１３と、メタデータ情報蓄積手段１５と、提示情報蓄積手段１７とを備えている。
【００４９】
放送用メタデータ付与手段５は、本放送用のテレビ番組として入力された本放送映像データと、本放送音声データとにメタデータを付与するものである。これら本放送映像データと本放送音声データとは、コンテンツ送信装置１に入力される際に既に、ＭＰＥＧ−２に圧縮されたデジタル信号であり、ここで付与するメタデータは、本放送映像データと編集素材映像データとの関係を記述したもの（放送波映像用メタデータ）であり、本放送音声データと編集素材音声データとの関係を記述したもの（放送波音声用メタデータ）である。
【００５０】
例えば、放送波映像用メタデータには、映像データのタイトル名（番組名）、放送時間、ネットワークを介して配信されている多視点映像データの数、識別ＩＤ、提示情報生成テンプレート等が記述されており、放送波音声用メタデータには、音声データのタイトル名（番組名）、放送時間、ネットワークを介して配信されている多聴点音声データの数、識別ＩＤ、提示情報生成テンプレート等が記述されている。なお、通常のメタデータは、あるデータについて記述したデータ（情報）であり、例えば、データベース等からデータを抽出した際の履歴を記述したもの（履歴情報）や、データの構造に関するものや、当該データベースのアーキテクチャとの内容に関するものを指している。また、これら本放送映像データと本放送音声データとには、予め、経過時間を示すタイムコードが付加されている。
【００５１】
編集素材加工手段７は、受信側の視聴者の多種多様な嗜好（視聴欲求）に応えるために入力された編集素材映像データと編集素材音声データとを加工するためのもので、詳細を図２に示す。この図２に示すように、編集素材加工手段７は、映像データ加工制御手段７ａと、音声データ抽出制御手段７ｂと、追跡候補領域抽出手段７ｃ（被写体候補抽出手段）と、候補絞込み手段７ｄと、重心検出手段７ｅと、逆投影手段７ｆと、運動予測手段７ｇと、投影手段７ｈと、加工映像データ出力手段７ｉと、音声データ切替手段７ｊと、音声データ処理手段７ｋと、音声データ出力手段７ｌとを備えている（この図２の説明中、適宜、図１参照）。
【００５２】
このコンテンツ送信装置１に入力される編集素材映像データは、例えば、スポーツ中継番組において、複数の撮影カメラによって様々な角度で撮影された多視点映像データの中で、本放送に採用されなかったものであったり、ドラマ等の撮影時に、複数の撮影カメラを使用して、ある出演者を様々な視点で撮影しておき、本放送に使用しなかったものであったりする。
【００５３】
映像データ加工制御手段７ａは、コンテンツ送信装置１の操作者が入力手段（図示せず）を介して入力した操作信号、または、受信側のコンテンツ受信装置３から送信された要求信号に基づいて、編集素材映像データをそのまま出力するか、加工して出力するかを制御するものである。このコンテンツ送信装置１には、多種多様の分野の編集素材映像データが入力されるので、自動的に加工するものと加工しないものとを判別することが難しいので、操作者の管理下の元、加工するものと加工しないものとを制御することとしている。
【００５４】
音声データ抽出制御手段７ｂは、コンテンツ送信装置１の操作者が入力手段（図示せず）を介して入力した操作信号に基づいて、編集素材音声データをそのまま出力するか、編集素材音声データを切り替えて出力するか、編集素材音声データ中の特定の音声データのみを抽出して（フィルタリングして）出力するのかを制御するものである。
【００５５】
この実施の形態では、全ての編集素材音声データ（多聴点音声データ）から受信側のコンテンツ受信装置３のユーザ（視聴者）が要求した、検索キーワードを含む部分を抽出して出力しているが、単に、編集素材映像データに付随している部分を出力する態様であってもよい。
【００５６】
追跡候補領域抽出手段７ｃは、予め設定しておいた追跡対象、例えば、スポーツ中継番組において、高速に移動するボール、スポーツ選手等の候補となる領域（画像領域、被写体の候補となる部分画像）を、編集素材映像データを構成する最小単位であるフレーム画像から抽出するものである。この追跡候補領域抽出手段７ｃでは、追跡対象の候補が含まれる領域と背景との色の差、輝度差に基づいて、追跡対象の候補が含まれる画像領域を抽出する。つまり、追跡対象をボールとした場合、このボールの白色と、背景となる芝生の緑色またはグラウンドの黒茶色との色の違いにより、追跡対象の候補が含まれる画像領域（非背景領域）を「シルエット」（シルエット領域）として抽出する。なお、このシルエット領域は２値画像となる
【００５７】
候補絞込み手段７ｄは、追跡候補領域抽出手段７ｃで抽出したシルエット領域に対して、後記する投影手段７ｈから出力された予測画像座標を参照して、追跡対象の形状、追跡対象の面積、追跡対象に対応する部分領域映像の色、予測される追跡対象の位置を評価して、追跡対象の可能性の高いシルエット領域を１つに絞り込むものである。なお、この候補絞込み手段７ｄには、図示を省略したが、追跡対象を絞り込むために、予め追跡対象の形状、面積、色等の追跡対象情報を蓄積した追跡対象情報蓄積手段が備えられている。
【００５８】
例えば、追跡対象がボールである場合には、追跡対象の形状を評価する際は、追跡対象の形状が円いか否か、どれだけ真円に近似しているのかを、追跡対象情報蓄積手段に蓄積されている追跡対象情報とマッチングをとって評価する。また、追跡対象の面積を評価する際は、追跡対象の面積がボールらしい大きさであるのか否かを、追跡対象情報蓄積手段に蓄積されている追跡対象情報とマッチングをとって評価する。さらに、対応する部分領域映像の色で評価する際は、追跡対象の部分領域映像（一例として、野球ボールなら、ほぼ白一色であり、サッカーボールなら、白地に他色が混在している）の色がそれぞれのボールの配色パターンに合致しているのかを、追跡対象情報蓄積手段に蓄積されている追跡対象情報とマッチングをとって評価する。さらにまた、予測される追跡対象の位置を評価する際は、追跡候補領域抽出手段７ｃで抽出したフレーム画像の直前のフレーム画像に基づいて予測される位置に追跡対象が位置しているのかを評価する。
【００５９】
重心検出手段７ｅは、候補絞込み手段７ｄで絞り込まれた、各フレーム画像毎の追跡対象と捉えられたシルエット領域の面積重心（セントロイド）を求めるものである。これらフレーム画像毎のシルエット領域の面積重心は、画像座標群として逆投影手段７ｆに出力される。
【００６０】
逆投影手段７ｆは、拡張カルマンフィルタの濾波推定式等を使用することによって、重心検出手段７ｅから出力された画像座標群を、編集素材映像データ（多視点映像データ）を撮影した撮影カメラのカメラ位置、カメラアングルの情報を利用して、三次元座標にマッピング（推定三次元座標）するものである。
【００６１】
運動予測手段７ｇは、逆投影手段７ｆから出力された推定三次元座標と、予め記録された等加速度運動モデル等を使用することによって、追跡対象の三次元座標を予測（予測三次元座標）するものである。
【００６２】
投影手段７ｈは、運動予測手段７ｇから出力された予測三次元座標を、編集素材映像データ（多視点映像データ）を撮影した撮影カメラのカメラ位置、カメラアングルの情報を利用して、画像座標にマッピングする（予測画像座標を出力する）ものである。
【００６３】
加工映像データ出力手段７ｉは、逆投影手段７ｆで得られた推定三次元座標に基づいて、描画した追跡対象の軌跡を、編集素材映像データに重ね合わせて出力するものである。なお、この加工映像データ出力手段７ｉで描画する追跡対象の軌跡は、予め、ＣＧ等で作成した追跡対象（例えば、ボール）を使用して、一つのフレーム画像中に、このＣＧ等で作成した追跡対象を複数個、目視可能な速度で順次重ね合わせていくことで得られるものである。なお、この加工映像データ出力手段７ｉは、推定三次元座標に基づいて、追跡対象の軌跡を描画せずに、編集素材映像データに付加させて出力することもできる。この場合、受信側のコンテンツ受信装置３の合成映像音声データ生成手段２７（詳細は後記）で追跡対象の軌跡が描画されることとなる。
【００６４】
音声データ切替手段７ｊは、受信側のコンテンツ受信装置３から送信されたデータ要求信号に基づいて、音声データ抽出制御手段７ｂに制御されて出力された、全ての編集素材音声データ（収録されている編集素材音声データ）の中から、所望の編集素材音声データを選択して（切り替えて）、音声データ処理手段７ｋまたは音声データ出力手段７ｌに出力するものである。
【００６５】
音声データ処理手段７ｋは、音声データ切替手段７ｊで全ての編集素材音声データから選択されて出力された編集素材音声データをフィルタリングして、所望の編集素材音声データのみを抽出して出力するものである。例えば、編集素材音声データが、野球場（野球中継番組）で収録され、且つ、捕手の近くに配置されたマイクロフォンで収録されている場合、投手の投げたボールをキャッチした際のミットの音のみを抽出することができる。
【００６６】
音声データ出力手段７ｌは、音声データ切替手段７ｊから出力された編集素材音声データ、または、音声データ処理手段７ｋで抽出処理された編集素材音声データをそのまま、或いは、音声データ抽出制御手段７ｂから出力された編集素材音声データに多重して出力するものである。
【００６７】
図１に戻ってコンテンツ送信装置１の各構成の説明を続ける。
通信用メタデータ付与手段９は、入力された編集素材映像データ（多視点映像データ）および編集素材音声データ（多聴点音声データ）、または、編集素材加工手段７で加工（抽出）された加工映像データおよび抽出音声データに、メタデータを付与するものである。ここで付与するメタデータは、編集素材映像データと本放送映像データとの関係を記述したもの（通信映像用メタデータ）であり、編集素材音声データと本放送音声データとの関係を記述したもの（通信音声用メタデータ）である。
【００６８】
例えば、通信映像用メタデータには、編集素材映像データのタイトル名（番組名）、放送時間、放送波によって出力されている本放送映像データの識別ＩＤ、提示情報生成テンプレート等が記述されており、通信音声用メタデータには、編集素材音声データのタイトル名（番組名）、放送時間、放送波によって出力されている本放送音声データの識別ＩＤ、提示情報生成テンプレート等が記述されている。
【００６９】
放送波出力手段１１は、放送波映像用メタデータ、放送波音声用メタデータがそれぞれ付与された本放送映像データ、本放送音声データを放送波として出力するものである。この放送波出力手段１１は、デジタル信号である本放送映像データおよび本放送音声データにＯＦＤＭ変調を施して、放送波（ＯＦＤＭ波）として出力するものである。
【００７０】
送信手段１３は、通信映像用メタデータ、通信音声用メタデータがそれぞれ付与された編集素材映像データ、編集素材音声データの少なくとも一方に提示情報を付加して、ストリーミングデータとしてネットワークに送信するものである。
【００７１】
メタデータ情報蓄積手段１５は、一般的な大容量のハードディスク、メモリ等によって構成されており、放送用メタデータ付与手段５と通信用メタデータ付与手段９とに出力した、放送波映像用メタデータ、放送波音声用メタデータ、通信映像用メタデータおよび通信音声用メタデータを蓄積するものである。
【００７２】
提示情報蓄積手段１７は、一般的な大容量のハードディスク、メモリ等によって構成されており、提示情報を蓄積するものである。この提示情報には、受信側のコンテンツ受信装置３に接続されている表示出力装置（詳細は後記）に、提示する内容（本放送映像データ、編集素材映像データの関係、本放送音声データ、編集素材音声データの関係）、つまり提示手法に係る情報である提示内容情報と、コンテンツ受信装置３で処理されて出力される際の動作に係る情報である動作内容情報と、ネットワークを介して様々なサイトから参照すべきマルチメディアコンテンツを列挙したマルチメディアコンテンツ情報と、表示出力装置（詳細は後記）の表示画面上で、本放送映像データと編集素材映像データとを表示する際のレイアウトを決定するレイアウト情報と、受信側のコンテンツ受信装置３で提示情報を生成するための雛形となる提示情報生成テンプレートとが含まれている。
【００７３】
コンテンツ送信装置１によれば、放送用メタデータ付与手段５と通信用メタデータ付与手段９とによって、映像データと多視点映像データとの関係を記述したメタデータ（放送波映像用メタデータ、通信映像用メタデータ）を当該映像データと当該多視点映像データとに付与されると共に、音声データと多聴点音声データとの関係を記述したメタデータ（放送波音声用メタデータ、通信音声用メタデータ）を当該音声データと当該多聴点音声データとに付与される。放送波出力手段１１によって、映像データおよび音声データが放送波（ＯＦＤＭ波）として出力され、送信手段１３によって、提示情報と、多視点映像データと多聴点音声データとの少なくとも一方とがネットワークに送信される。このため、本来廃棄されていた番組素材である多視点映像データと多聴点音声データとの少なくとも一方を有効活用することができる。また、提示情報によって、受信側で提示される際の提示手法を多種類設定することで、視聴者毎の種々の嗜好、欲求を満足させることができる。
【００７４】
また、コンテンツ送信装置１によれば、提示情報蓄積手段１７に蓄積されている提示情報が、提示内容情報と、動作内容情報と、マルチメディアコンテンツ情報と、レイアウト情報と、提示情報生成テンプレートとを含んでおり、これらの情報によって、映像データ、多視点映像データ、音声データおよび多聴点音声データの受信側における表示出力を送信側で詳細に設定することができる。さらに、受信側では、設定された範囲内ではあるが、自分の嗜好に応じた映像データと多視点映像データとを、音声データと多聴点音声データとを適度に融合させて（切り替えて）、コンテンツ（テレビ番組）を視聴することができる。
【００７５】
さらに、コンテンツ送信装置１によれば、追跡候補領域抽出手段７ｃによって、撮像された多視点映像データに含まれている追跡対象（被写体）の候補となる画像領域（部分画像）が抽出され、投影手段７ｈによって、追跡対象（被写体）の運動を予測して得られた予測三次元座標を投影した予測画像座標が生成され、候補絞込み手段７ｄによって、追跡候補領域抽出手段７ｃで抽出された画像領域（部分画像）の中から追跡対象の候補が、投影手段７ｈで生成された予測画像座標に基づいて絞り込まれ、重心検出手段７ｅによって、絞り込まれた追跡対象（被写体）の候補の重心が検出される。そして、逆投影手段７ｆによって、重心が検出された追跡対象（被写体）の候補の画像座標が逆投影されて、推定三次元座標が取得され、この推定三次元座標から運動予測手段７ｇによって、予測三次元座標が取得される。このため、例えば、受信側のコンテンツ受信装置３のユーザ（視聴者）からスポーツ中継番組（野球中継番組）の中で、ボール（追跡対象）の軌跡を見てみたいという要望があった場合に、この推定三次元座標からボール（追跡対象）の軌跡を容易に描くことができ、当該視聴者の要望を満たすことができる。
【００７６】
（コンテンツ受信装置の構成）
コンテンツ受信装置３は、送信側のコンテンツ送信装置１から出力された本放送映像データおよび本放送音声データを放送波として受信すると共に、ネットワークを介して送信された編集素材映像データ（多視点映像データ）と、編集素材音声データ（多聴点音声データ）とを、ネットワークを介して受信し、これらを処理して表示出力するもので、放送波受信手段１９と、受信手段２１と、制御手段２３と、提示情報生成手段２５と、合成映像音声データ生成手段２７と、蓄積手段２９と、操作信号受信手段３１と、データ要求手段３３とを備えている。また、このコンテンツ受信装置３には、ユーザが操作する操作装置２と、制御結果を出力する表示出力装置４とが配置されている。
【００７７】
放送波受信手段１９は、送信側のコンテンツ送信装置１から出力された放送波（ＯＦＤＭ波）を受信して復調するためものである。つまり、この放送波受信手段１９は、ＯＦＤＭ波を復調して、重畳されている本放送映像データおよび本放送音声データを制御手段２３に出力するものである。
【００７８】
受信手段２１は、送信側のコンテンツ送信装置１から送信された多視点映像データ、多聴点音声データ、提示情報を、ネットワークを介して受信するものである。この受信手段２１で受信された多視点映像データ、多聴点音声データおよび提示情報は制御手段２３に出力されて処理されると共に、蓄積手段２９に出力されて蓄積される。
【００７９】
制御手段２３は、コンテンツ受信装置３の制御を司り、操作信号受信手段３１から出力される制御信号に基づいて、映像データおよび編集素材映像データを表示出力装置４に表示させる際のレイアウト、音声データおよび編集素材音声データを出力するチャンネルの割当、出力タイミングを図る等の制御を行って表示出力させるもので、図３に詳細を示す。図３に示すように、制御手段２３は、放送波分離手段２３ａと、合成データ分離手段２３ｂと、提示情報解釈手段２３ｃと、画面構成手段２３ｄと、音声データ出力割当手段２３ｅと、出力手段２３ｆとを備えている。
【００８０】
放送波分離手段２３ａは、放送波（ＯＦＤＭ波）に含まれている本放送映像データと本放送音声データとを分離するものである。この放送波分離手段２３ａで分離された本放送映像データは画面構成手段２３ｄに、本放送音声データは音声データ出力割当手段２３ｅに出力される。
【００８１】
合成データ分離手段２３ｂは、合成映像音声データ生成手段２７で生成された合成映像データと、合成音声データとを分離するものである。この合成データ分離手段２３ｂで分離された合成映像データは画面構成手段２３ｄに、本放送音声データは音声データ出力割当手段２３ｅに出力される。
【００８２】
提示情報解釈手段２３ｃは、受信手段２１で受信された提示情報、または、提示情報生成手段２５で提示情報生成テンプレートに基づいて生成された提示情報（提示内容情報、動作内容情報、レイアウト情報）を解釈して、解釈した結果（コンテンツ受信装置３で処理可能な情報）である表示内容データ、動作内容データおよびレイアウトデータを画面構成手段２３ｄに出力すると共に、動作内容データを音声データ出力割当手段２３ｅに出力するものである。
【００８３】
画面構成手段２３ｄは、放送波分離手段２３ａで分離された映像データと、合成データ分離手段２３ｂで分離された合成映像データと、受信手段２１で受信された編集素材映像データとを出力させる際の画面構成を、表示内容データ、動作内容データおよびレイアウトデータに基づいて行うものである。
【００８４】
例えば、本放送映像データおよび本放送音声データが野球中継番組であった場合、表示出力装置４の表示画面の画面領域を、メイン画面、サブ画面に分割し、メイン画面に本放送映像データ（例えば、投手の背後から捕手と打者を映し出した映像）を表示させ、サブ画面に編集素材映像データ（例えば、一塁ベース付近の映像）を表示させる。さらに、サブ画面に表示させる編集素材映像データを切り替える（選択できる）選択アイコンを表示画面上の一部に表示させる。そして、コンテンツ受信装置３のユーザ（視聴者）が操作装置２を使って、操作信号を入力させて、選択アイコンをクリックした場合には、サブ画面に表示されている編集素材映像データが別の編集素材映像データ（例えば、三塁ベース付近の映像）に切り替わる。
【００８５】
また、本放送映像データおよび本放送音声データが野球中継番組であった場合で、且つ、合成映像データが野球ボールの軌跡を描いたものであった場合、「ボール軌跡表示」用の選択アイコンを表示画面上の一部に表示させる。そして、コンテンツ受信装置３のユーザ（視聴者）が操作装置２を使って、操作信号を入力させて、「ボール軌跡表示」用の選択アイコンをクリックした場合に、サブ画面にこの野球ボールの軌跡を描いた合成映像データが表示される。
【００８６】
音声データ出力割当手段２３ｅは、放送波分離手段２３ａで分離された音声データと、合成データ分離手段２３ｂで分離された合成音声データと、受信手段２１で受信された編集素材音声データとを出力させる際の出力割当を動作内容データに基づいて行うものである。つまり、音声データと、合成音声データと、編集素材音声データとを表示出力装置４のどのチャンネルから出力させるかを設定するものである。
【００８７】
出力手段２３ｆは、画面構成手段２３ｄで構成された画面（映像データ、合成映像データ、編集素材映像データ）と、音声データ出力割当手段２３ｅで割り当てられた音（音声データ、合成音声データ、編集素材音声データ）とを表示出力装置４に表示出力させるインターフェースの役割を果たすものである。
【００８８】
図１に戻ってコンテンツ受信装置３の各構成の説明を続ける。
提示情報生成手段２５は、編集素材映像データまたは編集素材音声データに付随している（付加されている）提示情報生成テンプレートに基づいて、提示情報を生成するものである。つまり、この提示情報生成手段２５は、提示情報生成テンプレートに基づき、市販されているＶＴＲ録画再生装置（例えば、ＳＯＮＹ（登録商標）の「コクーン」）のように、予め登録されているユーザの年齢、趣味、嗜好等であるユーザ情報（視聴者情報）を参照して、ユーザ（視聴者）の好みに応じて、提示情報を生成するものである。
【００８９】
合成映像音声データ生成手段２７は、受信手段２１で受信された編集素材映像データと、送信側のコンテンツ送信装置１の編集素材加工手段７から出力された推定三次元座標とに基づいて、追跡対象の軌跡を描画して、編集素材映像データに重ね合わせた合成映像データを生成すると共に、受信手段２１で受信された編集素材音声データに様々な音響効果を加えた合成音声データを生成するものである。なお、この合成映像音声データ生成手段２７は、蓄積手段２９に蓄積されている本放送映像データ、本放送音声データ、編集素材映像データおよび編集素材音声データを呼び出して、これらに基づいて、合成映像データや合成音声データを生成することもできる。
【００９０】
蓄積手段２９は、大容量のハードディスク等によって構成されており、放送波受信手段１９で受信され復調された本放送映像データおよび本放送音声データと、受信手段２１で受信された編集素材映像データおよび編集素材音声データを蓄積するものである。この蓄積手段２９に蓄積されている本放送映像データ、本放送音声データ、編集素材映像データおよび編集素材音声データは、操作信号受信手段３１から出力された制御信号に基づいて、制御手段２３、または、合成映像音声データ生成手段２７に出力される。
【００９１】
操作信号受信手段３１は、操作装置２から送信された操作信号を、各手段を制御するための制御信号に変換して出力するものである。制御信号は、制御手段２３と、蓄積手段２９と、データ要求手段３３とに出力される。
【００９２】
データ要求手段３３は、操作信号受信手段３１から出力された制御信号に基づいて、送信側のコンテンツ送信装置１に対して、編集素材映像データ、編集素材音声データ、提示情報等のデータ要求を行うものである。
【００９３】
コンテンツ受信装置３によれば、放送波受信手段１９によって、放送波として送信側のコンテンツ送信装置１から出力（伝送）されている本放送映像データと本放送音声データとが受信され、受信手段２１によって、編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）との少なくとも一方と、提示情報とが、ネットワークを介して受信される。そして、操作信号受信手段３１によって、ユーザ（視聴者）が操作した操作装置２から出力された操作信号が受信され、制御手段２３によって、操作信号と、提示情報とに基づいて、本放送映像データおよび本放送音声データと、編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）との少なくとも一方との処理が制御されて、表示出力装置４に出力される。このため、本来廃棄されていた番組素材である編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）との少なくとも一方を有効活用することができる。また、提示情報によって、送信側のコンテンツ送信装置１の操作者で設定された提示情報によって規定されている多種類の提示手法で、視聴者毎の種々の嗜好、コンテンツ（テレビ番組）に対する欲求を満足させることができる。
【００９４】
また、コンテンツ受信装置３によれば、放送波受信手段１９によって、放送波（ＯＦＤＭ波）として送信側のコンテンツ送信装置１から出力（伝送）されている本放送映像データと本放送音声データとが受信され、操作信号受信手段３１によって、ユーザ（視聴者）が操作した操作装置２から出力された操作信号が受信され、データ要求手段３３により、操作信号に基づいて編集素材映像データ（多視点映像データ）、編集素材音声データ（多聴点音声データ）および提示情報が、ネットワークを介して、送信側、或いは、他のサービス提供サイト等に要求される。そして、受信手段２１によって、ネットワークを介して、要求した編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）との少なくとも一方と、提示情報とが受信され、制御手段２３によって、制御信号と、提示情報とに基づいて、本放送映像データおよび本放送音声データと、編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）との少なくとも一方との処理が制御されて出力される。このため、本来廃棄されていた番組素材である編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）との少なくとも一方を、ユーザ（視聴者）の要求に従って、有効活用することができる。また、提示情報によって、送信側のコンテンツ送信装置１の操作者で設定された提示情報によって規定されている多種類の提示手法で、視聴者毎の種々の嗜好、コンテンツ（テレビ番組）に対する欲求を満足させることができる。
【００９５】
さらに、コンテンツ受信装置３によれば、放送波受信手段１９によって、放送波（ＯＦＤＭ波）として送信側のコンテンツ送信装置１から出力（伝送）されている本放送映像データと本放送音声データとが受信され、受信手段２１によって、ネットワークを介して、編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）との少なくとも一方が受信される。そして、提示情報生成手段２５によって、提示情報生成テンプレートとユーザ情報（視聴者情報）に基づいて、提示情報が生成される。その後、操作信号受信手段３１によって、ユーザ（視聴者）が操作した操作装置２から出力された操作信号が受信され、制御手段２３によって、制御信号と、生成した提示情報とに基づいて、本放送映像データおよび本放送音声データと、編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）との少なくとも一方との処理が制御されて出力される。このため、本来廃棄されていた番組素材である編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）との少なくとも一方を、有効活用することができる。また、提示情報を提示情報生成テンプレートとユーザ情報（視聴者情報）とに基づいて生成し、利用することで、視聴者毎の種々の嗜好、コンテンツ（テレビ番組）に対する欲求を満足させることができる。
【００９６】
さらにまた、コンテンツ受信装置３によれば、編集素材映像データ（多視点映像データ）と編集素材音声データ（多聴点音声データ）とを蓄積する蓄積手段２９を備えることで、一旦、これら編集素材映像データと編集素材音声データとを蓄積した後、動作させることができ、受信手段２１によって、ネットワークを介して、逐次、編集素材映像データと編集素材音声データとを取得するよりも、ユーザ（視聴者）は、時間的なロスを感じすることなく（ストレスが少なく）、コンテンツ（テレビ番組）を鑑賞することができる。
【００９７】
そしてまた、コンテンツ受信装置３によれば、合成映像音声データ生成手段２７によって、受信した推定三次元座標に基づいて、追跡対象の軌跡等の合成映像データが生成され、様々な音響効果が加えられた合成音声データが生成される。視聴者の様々な嗜好、コンテンツ（特に、スポーツ中継番組）に対する欲求、例えば、投手の投げたボールの軌跡を見てみたい等を満足させることができる。
【００９８】
（コンテンツ送信装置の動作）
次に、図４に示すフローチャートを参照して、コンテンツ送信装置１の動作を説明する（適宜、図１参照）。
まず、コンテンツ送信装置１の放送用メタデータ付与手段５に本放送映像データおよび本放送音声データを入力し、この放送用メタデータ付与手段５は、メタデータ（放送波映像用メタデータ、放送波音声用メタデータ）をそれぞれに付与する（Ｓ１）。続いて、コンテンツ送信装置１の放送波出力手段１１からメタデータを付与した本放送映像データおよび本放送音声データを放送波（ＯＦＤＭ波）として出力する（Ｓ２）。
【００９９】
また、コンテンツ送信装置１の編集素材加工手段７に編集素材映像データと編集素材音声データを入力し、加工（抽出）、または、そのまま、通信用メタデータ付与手段９に出力する（Ｓ３）。続いて、コンテンツ送信装置１の通信用メタデータ付与手段９は、編集素材映像データと編集素材音声データとにメタデータ（通信映像用メタデータ、通信音声用メタデータ）をそれぞれに付与する（Ｓ４）。そして、コンテンツ送信装置１の送信手段１３によって、提示情報蓄積手段１７に蓄積されている提示情報を加えて（付随させて）、送信する（Ｓ５）。
【０１００】
（編集素材加工手段内の処理）
次に、図５に示すフローチャートを参照して、コンテンツ送信装置１の編集素材加工手段７内の処理（図４のＳ３の詳細）について説明する（適宜、図２参照）
この編集素材加工手段７は、まず、編集素材映像データと操作信号を入力し（Ｓ１１）、映像データ加工制御手段７ａによって、操作信号に基づいて、当該編集素材映像データを加工するか否かを判定する（Ｓ１２）。なお、この映像データ加工制御手段７ａは、受信側のコンテンツ受信装置３から送られたデータ要求信号に基づいても、当該編集素材映像データを加工するか否かを判定する
【０１０１】
ここで、加工しないと判定された場合（Ｓ１２、Ｎｏ）は、そのまま、編集素材映像データを出力する。加工すると判定された場合（Ｓ１２、Ｙｅｓ）、編集素材加工手段７の追跡候補領域抽出手段７ｃによって、追跡対象を含む候補となる画像領域（部分画像）を抽出する（Ｓ１３）。画像領域（部分画像）は２値画像として抽出される。続いて、候補絞り込み手段７ｄによって、追跡対象を含む候補を絞り込む（Ｓ１４）。この候補絞り込み手段７ｄからは予測画像座標が出力される。
【０１０２】
そして、重心検出手段７ｅによって、追跡対象の重心を検出する（Ｓ１５）。この重心検出手段７ｅからは画像座標群が出力される。そして、逆投影手段７ｆによって、画像座標群を３次元座標にマッピングする（Ｓ１６）。この逆投影手段７ｆからは推定３次元座標が出力される。そして、運動予測手段７ｇによって、推定３次元座標に基づいて、追跡対象の運動予測を行う（Ｓ１７）。この運動予測手段７ｇからは予測３次元座標が出力される。そして、投影手段７ｈによって、編集素材映像データを撮影した撮影カメラ位置、カメラアングル情報に基づいて、予測３次元座標を画像座標にマッピングする（Ｓ１８）。この投影手段７ｈからは予測画像座標が出力される。そして、加工映像データ出力手段７ｉによって、加工映像データとして出力される（Ｓ１９）。
【０１０３】
この編集素材加工手段７は、次に、編集素材音声データを入力し（Ｓ２０）、音声データ抽出制御手段７ｂによって、操作信号に基づいて、当該編集素材音声データを処理する（から抽出する）か否かを判定する（Ｓ２１）。ここで、処理（抽出）しないと判定された場合（Ｓ２１、Ｎｏ）は、そのまま、編集素材音声データを出力する。処理（抽出）すると判定された場合（Ｓ２１、Ｙｅｓ）、まず、受信側からの送信されたデータ要求信号を受信し（Ｓ２２）、このデータ要求信号に基づいて、編集素材加工手段７の音声データ切替手段７ｊによって、編集素材音声データを選択（切り替える）（Ｓ２３）。
【０１０４】
そして、音声データ処理手段７ｋは、音声データ切替手段７ｉで選択された編集素材音声データを処理（フィルタリング）して、必要な音域を音声データ出力手段７ｌに出力する（Ｓ２４）。音声データ出力手段７ｌによって、抽出音声データとして出力する。なお、Ｓ１１からＳ１９までの処理と、Ｓ２０からＳ２５までの処理とは、通常、並列に処理されるものであるが、説明の都合上、この編集素材加工手段７内の処理フローでは、編集素材映像データの処理を先に説明した。
【０１０５】
（コンテンツ受信装置の動作）
次に、図６に示すフローチャートを参照して、コンテンツ受信装置３の動作を説明する（適宜、図１参照）。
まず、コンテンツ受信装置３の放送波受信手段１９によって、本放送映像データと本放送音声データとが重畳されている放送波を受信する（Ｓ３１）。続いて、受信手段２１によって、提示情報が含まれた編集素材映像データと、編集素材音声データとを受信する（Ｓ３２）。
【０１０６】
次に、制御手段２３は、操作信号受信手段３１から出力された制御信号に基づいて、新たに提示情報を生成するか否かを判定する（Ｓ３３）。提示情報を生成すると判定した場合（Ｓ３３、Ｙｅｓ）には、提示情報生成手段２５によって、提示情報生成テンプレートとユーザ情報（視聴者情報）とに基づいて、提示情報を生成する（Ｓ３４）。提示情報を生成すると判定されなかった場合（Ｓ３３、Ｎｏ）は、制御手段２３は、合成映像データ、合成音声データを生成するか否かを判定する（Ｓ３５）。
【０１０７】
合成映像データ、合成映像データを生成すると判定された場合（Ｓ３５、Ｙｅｓ）には、合成映像音声データ生成手段２７によって、編集素材映像データおよび推定３次元座標に基づいて、合成映像データを生成し、編集素材音声データに音響効果を付加することで、合成音声データを生成する（Ｓ３６）。
【０１０８】
合成映像データ、合成音声データを生成すると判定されなかった場合（Ｓ３５、Ｎｏ）、データ要求手段３３は、操作信号受信手段３１に入力される操作信号に基づいて、追加データ（別の編集素材映像データ、編集素材音声データ）を要求するか否かを判定する（Ｓ３７）。追加データを要求すると判定した場合（Ｓ３７、Ｙｅｓ）、データ要求信号を出力する（Ｓ３８）。追加データを要求すると判定しなかった場合（Ｓ３７、Ｎｏ）、制御手段２３で画面構成され、出力割当のなされたコンテンツを表示出力装置４に表示出力させる（Ｓ３９）。
【０１０９】
（制御手段内の処理）
次に、図７に示すフローチャートを参照して、コンテンツ受信装置３の制御手段２３内の処理（図６のＳ３９の詳細）について説明する（適宜、図３参照）
まず、コンテンツ受信装置３の制御手段２３は、提示情報を生成させるか、合成映像データおよび合成音声データを生成させるかを判定する。続いて、制御手段２３の放送波分離手段２３ａによって、放送波を分離する（Ｓ４１）。また、合成映像データおよび合成音声データが生成された場合には、合成映像データ分離手段２３ｂによって、合成映像データと、合成音声データとを分離する（Ｓ４２）。
【０１１０】
そして、制御手段２３の提示情報解釈手段２３ｃに提示情報を入力し、この提示情報解釈手段２３ｃによって、提示情報を解釈し（Ｓ４３）、表示内容データ、動作内容データ、レイアウトデータを画面構成手段２３ｄに出力すると共に、動作内容データを音声データ出力割当手段２３ｅに出力する。
【０１１１】
すると、制御手段２３の画面構成手段２３ｄによって、表示画面を構成する（Ｓ４４）。続いて、音声データ出力割当手段２３ｅによって、出力させる本放送映像データ、合成音声データ、編集素材音声データを割り当てる（Ｓ４５）。そして、制御手段２３の出力手段２３ｆからコンテンツとして表示出力装置４に出力する（Ｓ４６）。
【０１１２】
（コンテンツ送受信システムの構成例）
次に、図８に示す概略図を参照して、コンテンツ送受信システムＡの構成例について説明する。
このコンテンツ送受信システムＡの構成例では、受信側のコンテンツ受信装置３（図８では図示せず）に２台の表示出力装置４（４Ａ、４Ｂ）を接続して構成しており、ユーザ（視聴者）は、テレビ番組として、野球中継番組を視聴している。
【０１１３】
また、送信側のコンテンツ送信装置１（図８では図示せず）は、中継車に設置されており、野球場に設置されている複数の撮影カメラが撮影した映像データ（編集素材映像データ）および複数のマイクロフォンが収音した音声データ（編集素材音声データ）を放送局に送信している。放送局から放送衛星（通信衛星）を介して、一般視聴者に向け、放送波が出力されている。
【０１１４】
中継車に設置されたコンテンツ送信装置１では、編集素材映像データに動画メタデータ（通信映像用メタデータ）を付与して、インターネット（ネットワーク）を介して、コンテンツ受信装置３に送信している。すると、表示出力装置４（４Ａ）を視聴しているユーザ（視聴者）は、本放送映像データ（投手の背面から捕手と打者とが映っている映像）を表示画面のメイン画面に表示させながら、サブ画面に編集素材映像データ（一塁ベース付近の映像、一塁ランナー）を表示させることが可能になる。
【０１１５】
また、表示出力装置４（４Ｂ）を視聴しているユーザ（視聴者）は、合成映像データによるボールの軌跡（追跡対象の軌跡）を捕手側から撮影されている編集素材映像データに重ね合わせたものを視聴することが可能になる。
【０１１６】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、コンテンツ送信装置１の各構成の処理、コンテンツ受信装置３の各構成の処理を汎用的なコンピュータ言語で記述したコンテンツ送信プログラム、コンテンツ受信プログラムとみなすことは可能である。これらのコンテンツ送信プログラム、コンテンツ受信プログラムは、コンテンツ送信装置１、コンテンツ受信装置３と同様の効果を得ることができる。
【図面の簡単な説明】
【０１１７】
【図１】実施形態に係るコンテンツ送受信システムのブロック図である。
【図２】図１に示したコンテンツ送信装置の編集素材加工手段のブロック図である。
【図３】図１に示したコンテンツ受信装置の制御手段のブロック図である。
【図４】コンテンツ送信装置の動作を説明したフローチャートである。
【図５】編集素材加工手段内の処理を説明したフローチャートである。
【図６】コンテンツ受信装置の動作を説明したフローチャートである。
【図７】制御手段内の処理を説明したフローチャートである。
【図８】コンテンツ送受信システムの構成例を説明した概略図である。
【符号の説明】
【０１１８】
１            コンテンツ送信装置
３            コンテンツ受信装置
５            放送用メタデータ付与手段（メタデータ付与手段）
７            編集素材加工手段
７ｃ          追跡候補抽出手段（被写体候補抽出手段）
７ｄ          候補絞込み手段
７ｅ          重心検出手段
７ｆ          逆投影手段
７ｇ          運動予測手段
７ｈ          投影手段
９            通信用メタデータ付与手段（メタデータ付与手段）
１１          放送波出力手段
１３          送信手段
１５          メタデータ情報蓄積手段
１７          提示情報蓄積手段
１９          放送波受信手段
２１          受信手段
２３          制御手段
２５          提示情報生成手段
２７          合成映像音声データ生成手段（合成映像データ生成手段、合成音声データ生成手段）
２９          蓄積手段
３１          操作信号受信手段
３３          データ要求手段
【図１】
2005159592.tif 000003
【図２】
2005159592.tif 000004
【図３】
2005159592.tif 000005
【図４】
2005159592.tif 000006
【図５】
2005159592.tif 000007
【図６】
2005159592.tif 000008
【図７】
2005159592.tif 000009
【図８】
2005159592.tif 000010