(57)【特許請求の範囲】
【請求項１】
通信ネットワークを介して映像を配信する映像配信装置であって、
異なる視点からの複数の映像を取得する映像取得手段と、
前記映像ごとに前記映像に含まれる被写体を解析し、前記被写体を包含する矩形に関する情報である矩形情報を含む内容情報を、前記映像毎に、生成する映像解析手段と、
前記被写体に対する視聴者の好みの度合いを示す値である嗜好度を含む嗜好情報を記憶する記憶手段と、
前記被写体に対応する矩形情報から前記矩形の面積を求め、前記矩形の面積と前記嗜好度とを掛け合わせた値を前記被写体と前記視聴者の嗜好との適合度とし、前記被写体の適合度を用いて、前記被写体を含む映像と前記視聴者の嗜好との適合度を求め、さらに、前記映像の適合度を用いて、前記複数の映像の中から前記視聴者との適合度が高い映像を決定し、配信する配信映像マッチング手段と
を備えることを特徴とする映像配信装置。
【請求項２】
前記映像配信装置は、さらに、前記複数の映像それぞれに対応する付加情報を予め記憶している付加情報記憶手段を備え、
前記配信映像マッチング手段は、前記複数の映像の中から選択して決定した映像に対応する付加情報を前記付加情報記憶手段から読み出し、当該映像とともに配信する
ことを特徴とする請求項１記載の映像配信装置。
【請求項３】
通信ネットワークを介して映像を配信する映像配信方法であって、
異なる視点からの複数の映像を取得する映像取得ステップと、
前記映像ごとに前記映像に含まれる被写体を解析し、前記被写体を包含する矩形に関する情報である矩形情報を含む内容情報を、前記映像毎に、生成する映像解析ステップと、
前記被写体に対する視聴者の好みの度合いを示す値である嗜好度を含む嗜好情報を記憶する記憶ステップと、
前記被写体に対応する矩形情報から前記矩形の面積を求め、前記矩形の面積と前記嗜好度とを掛け合わせた値を前記被写体と前記視聴者の嗜好との適合度とし、前記被写体の適合度を用いて、前記被写体を含む映像と前記視聴者の嗜好との適合度を求め、さらに、前記映像の適合度を用いて、前記複数の映像の中から前記視聴者との適合度が高い映像を決定し、配信する配信映像マッチングステップと
を含むことを特徴とする映像配信方法。
【請求項４】
通信ネットワークを介して映像を配信する映像配信装置に用いられるプログラムであって、
請求項３記載のステップをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項５】
通信ネットワークを介して映像を配信する映像配信システムであって、
映像配信装置と映像受信装置とから構成され、
前記映像配信装置は、
異なる視点からの複数の映像を取得する映像取得手段と、
前記映像ごとに前記映像に含まれる被写体を解析し、前記被写体を包含する矩形に関する情報である矩形情報を含む内容情報を、前記映像毎に、生成する映像解析手段と、
前記被写体に対する視聴者の好みの度合いを示す値である嗜好度を含む嗜好情報を記憶する記憶手段と、
前記被写体に対応する矩形情報から前記矩形の面積を求め、前記矩形の面積と前記嗜好度とを掛け合わせた値を前記被写体と前記視聴者の嗜好との適合度とし、前記被写体の適合度を用いて、前記被写体を含む映像と前記視聴者の嗜好との適合度を求め、さらに、前記映像の適合度を用いて、前記複数の映像の中から前記視聴者との適合度が高い映像を決定し、配信する配信映像マッチング手段と
を備え、
前記映像受信装置は、
前記映像配信装置に前記嗜好情報を送信する送信手段と、
前記映像配信装置から配信されてきた適合度の高い映像を受信する受信手段と、
受信された前記映像を表示する表示手段とを備える
ことを特徴とする映像配信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、スポーツ番組などの映像を配信したり、受信したりする映像配信装置および映像受信装置に関する。
【０００２】
【従来の技術】
通信ネットワークのインフラ整備の進展に伴い、スポーツ番組などの映像の配信、受信に関する技術が開発されつつある。このような映像の配信、受信に関する従来技術として、特開平７−９５３２２号公報（第１の公報）に開示されたビデオ情報配信システムと、特開平２−５４６４６号公報（第２の公報）に開示された番組配信装置がある。
【０００３】
第１の公報に開示されたビデオ情報配信システムは、ビデオセンタ、ビデオ・ダイヤルトーントランク、利用者端末から構成される。利用者がビデオセンタを呼び出すと、利用者が所望する番組が、ビデオセンタより伝送路を介して伝送される。ビデオ・ダイヤルトーントランクはビデオセンタより高速転送されるビデオ情報を受信し、それを通常の速度のビデオ情報に再生して、低速伝送路を介して利用者端末へ伝送する。
【０００４】
第２の公報に開示された番組配信装置は、複数の動画番組を保持する記憶装置と、ネットワークを介して端末装置から番組配信要求と広告挿入要求とを受信し、動画番組および指定された広告要求を情報ブロックに分割してネットワークを介して配信する配信装置と、上述した広告の挿入要求で指定された広告を挿入するタイミングに応じて課金を異ならしめるよう制御する制御装置より構成される。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の従来技術では、視聴者に配信される映像は、ある特定の視点から制作者の意図のみで撮影された映像であり、視聴者が自らの好みに応じた映像を視聴することや、視点を変更するといった操作は不可能である。例えば、あるサッカー等のスポーツ観戦の番組等において、視聴者は、自分の好きな特定の選手をじっくり視聴したいという要求をもっていても、その選手がわずかのシーンでしか登場せす、他の選手ばかり登場するような映像作品であっても、これを視聴せざるをえない。
【０００６】
また、上記の従来技術では、あらかじめビデオセンタや記憶装置に番組が記録されている必要があり、リアルタイムの映像を配信する仕組みにはなっていないという問題がある。
そこで、本発明は、このような状況に鑑みてなされたもので、視聴者の嗜好が反映された映像の配信が可能な映像配信装置および映像受信装置を提供することを目的とする。
【０００７】
さらに、本発明は、蓄積された映像の配信だけでなく、リアルタイム（ライブ）の映像についても、視聴者の嗜好を反映した配信が可能な映像配信装置および映像受信装置を提供することをも目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る映像配信装置は、通信ネットワークを介して映像受信装置と通信する映像配信装置であって、異なる視点からの複数の映像を取得する映像取得手段と、前記映像ごとに、その映像に含まれる内容を解析し、解析結果を内容情報として生成する映像解析手段と、前記各内容情報と、視聴者より通知された嗜好情報との適合度を判定し、配信する映像を決定し、決定した映像を配信する配信映像マッチング手段とを備えることを特徴とする。つまり、異なる視点からの複数の映像の中から各映像ごとに生成された内容情報と視聴者の嗜好情報との適合度で決定し、視聴者の嗜好に合致した１つの映像を視聴者の映像受信装置に対して配信する。
【０００９】
ここで、内容情報には、被写体を同定する情報や、被写体の表示位置または表示領域を表す情報を含めてもよい。また、嗜好情報を得るための入れ物を映像受信装置側に配信し、この入れ物に被写体に対する嗜好の度合いを入力させることにより嗜好情報を取得してもよい。また、配信した映像について視聴者から画面上の位置が指定されると、その位置の被写体を特定し、この被写体に関する付加情報を送信するようにしてもよい。
【００１０】
さらに、本発明は、通信ネットワークを介して映像受信装置と通信する映像配信装置であって、異なる視点からの複数の映像を取得する映像取得手段と、前記映像ごとに、その映像に含まれる内容を解析し、解析結果を内容情報として生成する映像解析手段と、前記各映像および前記各内容情報を多重化して配信する映像多重化手段とを備えることを特徴とする映像配信装置とすることもできる。この場合には、映像受信装置の側において映像配信装置から配信されてきた各内容情報と、視聴者より通知された嗜好情報との適合度を判定し、映像配信装置から配信されてきた複数の映像の中から再生する１つの映像を決定し、決定した映像を再生するようにすればよい。
【００１１】
また、本発明は、このような特徴的な手段をコンピュータに機能させるプログラムとして実現したり、そのプログラムを記録した記録媒体として実現したりすることもできる。そして、本発明に係るプログラムをインターネット等の通信網や記録媒体等を介して流通させることもできる。
【００１２】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１に係る映像配信システムを、図面に基づいて説明する。なお、この実施の形態では、限定された空間の撮影対象として、サッカーなどのスポーツ中継の場合の選手を中心とした映像を例に挙げて説明するが、本発明は任意の撮影空間および撮影対象に対して適用可能である。
【００１３】
図１は、本発明の実施の形態１における映像配信システム１の機能構成を示すブロック図である。
本発明の実施の形態１に係る映像配信システム１は、利用者の嗜好に応じた映像等のコンテンツをストリーム配信する通信システムであり、映像配信装置１０と、映像受信装置２０と、これらを接続する通信ネットワーク３０とから構成される。
【００１４】
映像配信装置１０は、複数の映像（多視点映像）の中からユーザの嗜好や嗜好履歴に合致した１つの映像を数フレームごとに切換・選択するような編集を行った映像コンテンツをリアルタイムに構築し、映像受信装置２０に向けてストリーム配信するコンピュータ等からなる配信サーバであり、映像取得部１１０と、映像解析部１２０と、配信映像マッチング部１３０と、映像記録部１４０と、付加情報提供部１５０と、映像情報配信部１６０等とからなる。
【００１５】
映像取得部１１０は、所定の撮影空間（例えば、サッカー場）に分散配置され、限定された撮影空間内の複数の被写体を様々な視点および角度からそれぞれ撮影した複数の映像（多視点映像）を取得する複数台の撮影機器（ビデオカメラ等）である。この映像取得部１１０により取得された多視点映像は、ケーブルや無線通信により、映像解析部１２０に伝送される。
【００１６】
映像解析部１２０は、各映像の内容（具体的には、画面のどの位置に何の被写体（例えば、選手）が写っているか）をフレームごとにそれぞれ取得し、取得結果をＭＰＥＧ７などのマルチメディアコンテンツの記述子（Ｄｅｓｃｒｉｐｔｏｒ）で記述した内容情報として各映像のフレームごとに生成する。
【００１７】
配信映像マッチング部１３０は、映像取得部１１０により取得されたライブコンテンツや、映像記録部１４０に保持されているストレージコンテンツについて、映像受信装置２０から送られてきたユーザの嗜好や嗜好の履歴と各映像の内容情報とを比較し、複数の映像（多視点映像）の中からユーザの嗜好や嗜好履歴に合致した１つの映像を数フレームごとに切換・選択するような編集を行った映像コンテンツをリアルタイムに構築したり、内容情報が付加された多視点映像を映像記録部１４０のコンテンツデータベース１４１に格納したり、嗜好値入力ダイアログ１４６を生成して嗜好データベース１４５に格納したりする。
【００１８】
映像記録部１４０は、配信するストレージコンテンツなどを保持するコンテンツデータベース１４１と、ユーザごとの嗜好を取得するための嗜好データベース１４５とを保持するハードディスク等である。コンテンツデータベース１４１は、ライブ（生放送）やストレージ（録画による放送）のモードを選択するモード選択ダイアログ１４２、ライブ中継中のコンテンツや、保持しているストレージコンテンツのコンテンツ一覧１４３およびコンテンツ１４４自体を記憶する。また、嗜好データベース１４５は、被写体に対する嗜好値（嗜好度）を入力するためのコンテンツごとの嗜好値入力ダイアログ１４６およびユーザが入力した嗜好履歴を格納するユーザごとの嗜好履歴テーブル１４７を記憶する。
【００１９】
付加情報提供部１５０は、ライブおよびストレージのコンテンツごとに視聴者に提供される配信映像に関連した情報（被写体（対象物）のプロフィール等の付加情報、例えば、サッカー中継のコンテンツであれば、サッカー選手の生年月日等のプロフィール）をあらかじめ格納した付属情報テーブル１５１を保持するハードディスク等である。この付属情報テーブル１５１には、例えば、個々の選手について「生年月日」、「主な経歴」、「特徴」、「選手のコメント」の情報があらかじめ記録されており、配信映像マッチング部１３０から選手名等を特定した通知があると、特定された選手に関する付加情報を映像受信装置２０に送信する。
【００２０】
映像情報配信部１６０は、通信ネットワーク３０を介して映像受信装置２０と通信するための双方向の通信インタフェースやドライバソフト等である。
【００２１】
映像受信装置２０は、ライブやストレージのモード選択や、嗜好値の入力等についてユーザと対話したり、映像配信装置１０から配信されてくる映像コンテンツをユーザに提示するパーソナルコンピュータ、携帯電話機、携帯情報端末、デジタル放送用ＴＶ等であり、操作部２１０と、映像出力部２２０と、送受信部２３０等とからなる。
【００２２】
操作部２１０は、リモートコントローラや、キーボード、マウスなどのポインティングデバイスなどのデバイスであって、ユーザとの対話によってユーザが希望するコンテンツを指定したり、嗜好値を入力して嗜好値情報として送受信部２３０に送信したり、映像出力部２２０に表示されている被写体の位置情報を送受信部２３０に送信したりする。
【００２３】
送受信部２３０は、通信ネットワーク３０を介して映像配信装置１０とシリアル通信するための送受信回路やドライバソフト等である。
【００２４】
通信ネットワーク３０は、映像配信装置１０と映像受信装置２０とを接続する双方向の伝送路であり、ＣＡＴＶ等の放送・通信網、電話網、データ通信網等によるインターネット等の通信ネットワークである。
【００２５】
以上のように構成された映像配信システム１の動作について、図２に示されたシーケンス（本システムの主な処理の流れ）に沿って順に説明する。なお、本図のシーケンスにおいては、ある一時点における多視点映像についての流れを示している。
【００２６】
映像配信装置１０の映像取得部１１０は、映像を取得することが可能なビデオカメラなどの撮影機器が複数台で構成されており、限定された撮影空間内の複数の被写体を様々な視点および角度からそれぞれ撮影した複数の映像（多視点映像）を取得する（Ｓ１１）。本実施の形態の映像配信装置１０では、限定された空間を様々な視点および角度から撮影した映像が必要となるため、できる限り多くの撮影機器を分散させて撮影空間に配置することが望ましいが、本発明は機器の台数や配置位置などには限定されない。映像取得部１１０により取得された多視点映像は、ケーブルや無線通信を利用することにより、映像解析部１２０に伝送される。本実施の形態では、各々の映像取得部１１０により取得された映像はすべて１台の映像解析部１２０に伝送され、集中的に管理されるものとするが、映像解析部１２０は、撮影機器ごとに備えられていてもよい。
【００２７】
映像解析部１２０は、映像取得部１１０により取得された各々の映像を解析したりして、各映像の内容（画面のどの位置に何の被写体（例えば、選手）が写っているか）をフレームごとにそれぞれ取得し、取得結果をＭＰＥＧ７などのマルチメディアコンテンツの記述子（Ｄｅｓｃｒｉｐｔｏｒ）で記述した内容情報として各映像のフレームごとに生成する（Ｓ１２）。内容情報の生成には、（１）内容情報の抽出と、（２）内容情報の記述との２段階のステップが必要となる。内容情報は、撮影されている映像の内容に大きく依存するが、例えばサッカーなどのスポーツ中継であれば、映像の大部分は競技中の選手の映像であると考えられる。そこで、本実施の形態では、映像を解析することによって、映像に含まれている選手を同定し、選手名とその選手が映像中で表示されている位置を内容情報として生成することを考える。以下ではまず、内容情報の抽出の例として、映像中の選手の同定（誰が写っているか）および、その表示位置の取得を実現するための２通りの方法（計測器を用いた方法、画像処理を用いた方法）について述べる。
【００２８】
１．計測器を用いた方法
計測器を用いた方法では、空間中の任意の点を基準点とする座標系（以降、グローバル座標系と称す）における３次元位置が計測可能で、固有のＩＤ番号が割り当てられている位置センサ（例えば、ＧＰＳ。以降、位置センサと称す）を、同定したい個々の対象物に装着する。これにより、各々の対象物が同定でき、しかも３次元位置を取得することが可能となる。次に、映像を取得するためのカメラを様々な位置・角度に設置する。
【００２９】
本実施の形態１では、設置されたカメラは固定し、パンやチルトは行わないものとする。したがって、固定した状態で撮影空間をすべてカバーできるだけのカメラを用意しなければならない。固定位置が決定されたすべてのカメラに関して、グローバル座標系における位置および、視線（視準）方向ベクトルを求め、映像解析部１２０にあらかじめ通知しておく。なお、本実施の形態で用いるカメラは、図３（ａ）に示されるように、投影方向がカメラに固定された座標系（以降、カメラ座標系と称す）で表現した場合のカメラの視線方向（Ｚ軸）に一致し、Ｚ軸上のＺ＝０の位置に投影中心があり、投影面がＺ＝ｄであるとする。対象物に装着された位置センサからは、個々の位置センサに割り当てられたＩＤ番号および３次元位置座標が時系列に映像解析部１２０に入力される。ＩＤ番号は、対象物を同定するために必要である。
【００３０】
次に、位置センサからの情報およびカメラの位置情報を用いて対象物が映像（画面上）のどの位置に表示されているのかを同定する方法について説明する。
まず、グローバル座標系における位置センサの３次元位置座標を、カメラ座標系における表現に変換する。グローバル座標系をｉ番目のカメラのカメラ座標系に変換する行列をＭｖｉ、グローバル座標系における位置センサの出力をｖｗとすると、カメラ座標系における位置センサの出力（座標）ｖｃは、ｖｃ＝Ｍｖｉ・ｖｗで求められる。ここで、「・」は行列とベクトルの積を表す。また、この式を行列およびベクトルの成分を用いて表すと次のようになる。
【数１】
0004185333.tif 000002
【００３１】
次に、カメラの投影面における位置センサの２次元座標を、投影変換を用いることにより求める。図３（ａ）を投影面に沿って上方から見た図３（ｂ）と、図３（ａ）を投影面に沿って側方から見た図３（ｃ）とより、投影面における座標ｖｐ＝（ｘｐ，ｙｐ）は、ｘｐ＝ｘｃ／（ｚｃ／ｄ）、ｙｐ＝ｙｃ／（ｚｃ／ｄ）となる。そして、算出されたｘｐ、ｙｐが、そのカメラの投影面（画面）内に収まっているか否かを判定し、収まっている場合にはその座標を表示位置として取得する。以上の処理を、すべてのカメラおよびすべての対象物に施すことにより、各々のカメラについて現在どの対象物がどの位置に表示されているのかを決定する。
【００３２】
２．画像処理を用いた方法
画像処理を用いた方法では、位置センサなどは利用せずカメラから取得される映像のみから内容情報の抽出を行うため、計測器を用いた場合のようにカメラは固定されている必要はない。映像から対象物を同定するためには、映像から対象物のみを切り出し、さらにその対象物を同定する必要がある。対象物を映像から切り出す方法に関しては特に限定しないが、上述したスポーツ中継の例では、基本的に背景が単一色であること（例えばサッカーやアメリカンフットボール中継であれば背景は芝生の色であることが殆どである。）が多いため、色情報を用いて背景と対象物を分離することが可能である。以下では、映像から抽出された複数の対象物を同定するための技術について述べる。
【００３３】
（１）テンプレートマッチング
個々の選手について、数多くのテンプレート画像を用意しておき、背景から分離された対象物とテンプレート画像とのマッチングを図り、最も適合していると考えられる画像から選手を同定する。具体的にはまず、映像に含まれるある選手に着目し、その選手を囲む最小の矩形（以降、「対象矩形」と称す）を求める。次に、あるテンプレート（矩形であるとする）について、それが対象矩形よりも大きな場合はダウンサンプリング、小さな場合はアップサンプリングすることにより、矩形の大きさを合わせる。そして、対象矩形のある位置における画素値と、テンプレート画像のそれと同じ位置の画素値との差分を取る。以上の処理をすべての画素で行い、その総和Ｓを算出する。すべてのテンプレート画像に関して上述の処理を行い、Ｓが最小となるテンプレート画像の選手が、同定の対象となっている選手であるとする。
【００３４】
（２）動き予測
スポーツ中継映像では、選手の動きは連続であるため、フレーム間で劇的に変化することはない。また、移動する方向や速度に関しても制限されているため、現在のフレームにおける選手の位置が既知であれば、次のフレームにおける位置をある程度予測することができる。したがって、現在のフレームにおける選手の位置から次のフレームにおける選手の位置の取り得る値の範囲を予測し、その範囲に対してのみテンプレートマッチングを用いることができる。また、着目している選手の周りの選手との位置関係も、劇的に変化することはないため、動き予測のための情報として利用できる。例えば、１フレーム前の画像で隣に表示されていた選手の現在のフレームにおける位置が既知ならば、同定の対象となっている選手もその周辺に存在する可能性が高く、現在のフレームにおける位置を予測することができる。
【００３５】
（３）事前取得情報の利用
スポーツ中継であれば、対戦するチーム同士は異なった色のユニホームを着用していることが多い。ユニホームの色は事前に取得できるため、その色情報を用いてチームを判別することが可能である。また、ユニホームには背番号が付与されており、背番号は重複して用いられることはないため、個々の選手を同定する上で、非常に有効である。
【００３６】
対象物の同定および、対象物が表示されている位置の取得は、上述した方法を組み合わせることで達成される。例えば、まず対象物の色情報とユニホームの色情報のマッチングを取ることによりチームの判別を行う。次に、ユニホームの背番号の部分のみを切り出したテンプレート画像を数多く用意しておき、テンプレートマッチングを用いて背番号を識別する。背番号まで識別できた選手は同定が完了する。同定できなかった選手に関しては、前フレームの映像や、既に同定が完了した周辺の選手との位置関係を利用して動き予測を行い、予測範囲に対して選手の全身画像をテンプレート画像としたテンプレートマッチングを行う。位置は、主走査方向、および副走査方向における対象矩形の左上の位置および右下の位置で特定される。
【００３７】
次に取得された内容情報の記述（Ｄｅｓｃｒｉｐｔｉｏｎ）について述べる。内容情報の記述には、ＭＰＥＧ−７などのマルチメディアコンテンツの記述様式を用いる。本実施の形態では、上記の手順で抽出された選手名および、画像内における表示位置を、内容情報として記述する。例えば、図４に示すように映像中にＡ（例えば、Ａｎｎｄｏ），Ｂ（例えば、Ｎｉｙａｍｏｔｏ）の２人の選手が含まれている場合には、内容情報の記述形式の一例は図５に示されるようになる。
【００３８】
本図において、＜Ｉｎｆｏｒｍａｔｉｏｎ＞は内容情報の開始および終了を示す記述子（タグ）であり、＜ＩＤ＞は個々の選手を識別する記述子であり、この記述子の中には選手の氏名を同定する＜ＩＤＮａｍｅ＞記述子および所属を同定する＜ＩＤＯｒｇａｎｉｚａｔｉｏｎ＞記述子が含まれている。＜ＲｅｇｉｏｎＬｏｃａｔｏｒ＞記述子は、画像中における選手の表示されている位置を示し、上述の方法によって取得されたものである。＜ＲｅｇｉｏｎＬｏｃａｔｏｒ＞記述子内にある＜Ｐｏｓｉｔｉｏｎ＞記述子に囲まれた値は順に、選手を包含する矩形の左上のＸ座標、Ｙ座標、右下のＸ座標、Ｙ座標を表す。なお、画像処理を用いた方法であれば選手を包含する矩形を取得することができるが、計測器（位置センサ・ＧＰＳ）のみを用いる方法では、不可能である。したがって、計測器のみを用いた場合には、左上座標と右下座標には同一の値、すなわち一点の座標位置が記述される。映像解析部１２０は、複数台のカメラから入力されたすべての映像に関してそれぞれ上記の内容情報を生成する。また、内容情報はフレームごとに生成されるため、映像と内容情報は１対１に対応する。
【００３９】
次に、配信映像マッチング部１３０、映像情報配信部１６０および映像受信装置２０の映像出力部２２０に関して説明する。視聴者は、映像情報配信部１６０を介して映像出力部２２０に伝送されてくる映像を視聴することができるが、逆に自身の嗜好情報を配信映像マッチング部１３０に通知することが可能である。スポーツ中継の場合、映像の中心は、競技に出場する選手であり、どの選手が出場するのかは事前に確定している。そこで、本実施の形態では、嗜好度の設定が可能な対象を、競技に出場する選手であるとする。
【００４０】
映像解析部１２０によって各内容情報が生成されると、配信映像マッチング部１３０は、ライブコンテンツに係る多視点映像とその内容情報とをコンテンツデータベース１４１に格納する（Ｓ１３）。
そして、配信映像マッチング部１３０は、上記テンプレートマッチング法で用いられたテンプレート画像や名前、背番号により嗜好値入力ダイアログ１４６を生成して、嗜好データベース１４５に格納した後、コンテンツデータベース１４１からライブやストレージのいずれかのモード選択するためのモード選択ダイアログ１４２を読み出して送信する（Ｓ１４）。映像受信装置２０のユーザがモード選択ダイアログ１４２のスイッチボタンを操作部２１０のマウスなどによりクリック操作していずれかのモードを指定すると（Ｓ１５）、いずれのモードが指定されたかを表すモード指定情報が映像受信装置２０から映像配信装置１０に送信される（Ｓ１６）。
【００４１】
モード指定情報が送信されてくると、配信映像マッチング部１３０は、ユーザが指定したモードのコンテンツ一覧１４３をコンテンツデータベース１４１から読み出して映像受信装置２０に送信すると共に（Ｓ１７）、ライブコンテンツと映像記録部１４０に格納されたストレージコンテンツとを切換配信するための図示しないスイッチを指定側に切り換える。
【００４２】
映像受信装置２０のユーザが操作部２１０のマウスなどに所望のコンテンツをクリック操作してコンテンツを指定すると、映像受信装置２０から映像配信装置１０にユーザが指定したコンテンツ名が送信される（Ｓ１８）。
【００４３】
コンテンツが指定されると、配信映像マッチング部１３０は、内容情報に基づき指定されたコンテンツに関する嗜好情報を設定するためのテーブル、嗜好値入力ダイアログ１４６を嗜好データベース１４５から読み出し、エディトプログラムなどと共に映像受信装置２０に送信する（Ｓ１９）。この嗜好値入力ダイアログ１４６は、例えば、エディット画像、スクリプト（氏名、背番号等）からなり、テンプレートマッチング法に用いるテンプレート画像や、氏名、背番号等に基づいて配信映像マッチング部１３０により生成され、映像記録部１４０の嗜好データベース１４５に格納される。なお、この嗜好値入力ダイアログ１４６の送信は、ライブコンテンツの中継途中であってもよいが、中継が開始される以前の方が好ましい。この理由は、最新の嗜好情報が取得されるまでの間は例えば嗜好履歴テーブル１４７に格納されている前回行われた同一カードの際に取得した嗜好履歴で映像を選択する方策しかないため、できるだけ早く最新の嗜好で映像を選択した方が、嗜好により合致するからである。
【００４４】
図６に、嗜好値入力ダイアログ１４６のＧＵＩインタフェースの一例を示す。図６のインタフェースは、出場する選手の「顔画像」、「氏名」、「背番号」および、嗜好度を入力する「エディットボックス」（スピンボックス）より構成される。視聴者は、操作部２１０のリモートコントローラや、キーボードなどのデバイスを用いて、嗜好度を決定したい選手のエディットボックス位置にカーソルを合わせ、嗜好度を入力する。または、エディットボックスの横にある上下の矢印アイコンにカーソルを合わせて、クリックして嗜好度の値を上下させて決定する方法でもよい。本実施の形態では、嗜好度「０」の場合に最も低く、嗜好度「１００」の場合に最も高いとする。なお、上述の方法は絶対評価を用いた方法であるが、出場する選手に順序付けを行うなどの相対評価の方法でもよい。以上の方法により取得された嗜好情報は、映像配信装置１０に送信される（Ｓ２０）。図７に嗜好情報の一例を示す。本図に示されるように嗜好情報は、内容情報と同様にＭＰＥＧ−７などのマルチメディアコンテンツの記述様式を用いて記述されており、個々の選手を識別する記述子＜ＩＤ＞と、この記述子の中には選手の氏名を同定する記述子＜ＩＤＮａｍｅ＞と、嗜好度を同定する記述子＜Ｐｒｅｆｅｒｅｎｃｅ＞とが含まれている。この嗜好情報は、映像情報配信部１６０を介して、配信映像マッチング部１３０に通知され、嗜好履歴テーブル１４７に更新記憶される（Ｓ２１）。
【００４５】
嗜好情報を取得すると、配信映像マッチング部１３０は、映像解析部１２０より生成された内容情報の付与された複数の映像と、視聴者より通知された嗜好情報やその履歴とに基づき、その視聴者にどの映像を配信するべきかを決定するマッチング処理を実行する（Ｓ２２）。以下、そのマッチング処理について、２通りの方法（最も嗜好度の高い対象物を利用して決定する方法、個々の嗜好度から総合的に決定する方法）を具体的に説明する。
【００４６】
１．最も嗜好度の高い対象物を利用して決定する方法
嗜好度の最も高い選手が表示されている映像を配信する場合には、例えば図８に示されるフローチャートの手順にしたがう。
【００４７】
（１）視聴者より通知された嗜好情報を分析し、最も嗜好度の高い選手（以降、配信対象選手とも称す）を決定する（Ｓ２２０１）。
【００４８】
（２）映像解析手段より伝送されてきた内容情報を分析し、配信対象選手が写っている映像の数を判断する（Ｓ２２０２）。複数の視点からの映像のうち、（１）で決定された配信対象選手が表示されている映像を配信映像の候補とする。配信対象選手の表示されている映像が１つに限定されている場合には、そのカメラからの映像に決定し（Ｓ２２０３）、この映像を視聴者に配信する。
【００４９】
（３）複数の映像に配信対象選手が表示されている場合には、それらの中から、最も適当だと考えられる映像を配信するが、その決定方法は特に限定しない。例えば、内容情報の＜ＲｅｇｉｏｎＬｏｃａｔｏｒ＞の記述子（Ｄｅｓｃｒｉｐｔｏｒ）で、矩形情報が取得されている場合には（Ｓ２２０４でＹｅｓ）、配信対象選手を包含している矩形の面積を算出し、最も面積が大きな映像に決定し（Ｓ２２０５）、この映像を配信映像とする。
【００５０】
また、矩形情報が取得されていない場合には（Ｓ２２０４でＮｏ）、配信対象選手の表示されている位置を取得し、画面の中心に最も近いものを配信映像とする（Ｓ２２０６）方法が考えられる。なお、配信対象選手が写っている映像の数が「０」の場合には、次番手の選手を決定し、次番手の選手についてステップＳ２２０２〜Ｓ２２０６の処理を実行することにより配信映像を決定すればよい（Ｓ２２０７）。
【００５１】
２．個々の嗜好度から総合的に決定する方法
個々の選手の嗜好度に基づき、総合的に判断して配信映像を決定する場合には、例えば図９に示されるフローチャートの手順にしたがう。
【００５２】
（１）  すべてのカメラからの映像に関して、内容情報の＜ＲｅｇｉｏｎＬｏｃａｔｏｒ＞の記述子（Ｄｅｓｃｒｉｐｔｏｒ）で矩形情報が取得されているか否か判断する（Ｓ２２１１）。矩形情報が取得されている場合には（Ｓ２２１１でＹｅｓ）、個々の選手を包含する矩形の面積を算出する（Ｓ２２１２）。矩形情報が取得されていない場合には（Ｓ２２１１でＮｏ）、画面中心で最大値を取り、画面の淵で最小値を取る関数（例えば、ｆ（ｘ，ｙ）＝ｓｉｎ（π＊ｘ／（２＊ｘ＿ｍｉｄ））＊ｓｉｎ（π＊ｙ／（２＊ｙ＿ｍｉｄ））は上記の条件を満たす。  但し、ｘ、ｙは画素位置、ｘ＿ｍｉｄ、ｙ＿ｍｉｄは画面中心の座標であり、＊は積を示す。）を規定し、個々の選手の位置を入力して関数の値を求める（Ｓ２２１５）。
【００５３】
（２）  （１）で求めた値と、対応する選手の嗜好度との積を算出し、さらに画面に表示されている選手の値の総和をとって、当該画像における目的関数の値とする（Ｓ２２１３，Ｓ２２１６）。
【００５４】
（３）  （２）の値が最大となる視点からの映像を配信映像に決定する（Ｓ２２１４，Ｓ２２１７）。
【００５５】
ここで、１フレームごとに上記の処理を行うと、映像が次々に切り替わってしまう可能性があるため、配信映像マッチング部１３０では、数フレームおきに上記の方法を適用し、視聴者に配信する映像を決定する。
【００５６】
以上のようにして配信映像の決定が終わると、配信映像マッチング部１３０は、決定した映像をストリーム配信する（図２のＳ２３）。そして、映像受信装置２０の映像出力部２２０は、送受信部２３０を介して配信されてきた映像をその画面上に再生する（図２のＳ２４）。
【００５７】
このようにして、実施の形態１に係る映像配信システム１によれば、映像配信装置１０において多視点映像の中から各ユーザの嗜好に合致した映像が数フレームごとに選択されて映像受信装置２０に配信され、これが映像受信装置２０の映像出力部２２０において再生される。
【００５８】
続いて、視聴者は、配信されてくる映像に対して働きかけを行うことにより、付加情報を取得することが可能である（図２のステップＳ２５〜Ｓ２９）。以下では、例えば、操作部２１０のマウスのようなポインティングデバイスを用いて付加情報を取得する方法について述べる。
【００５９】
例えば、図４に示されるように映像中にＡ，Ｂの２人の選手が含まれている場合において、例えば右側の選手Ｂ（Ｎｉｙａｍｏｔｏ）の付加情報を取得したいとき、ユーザは、ポインティングデバイスのカーソルを対象Ｂ上に合わせてクリックする（図２のＳ２５）。クリックされると、その画面上での位置情報が映像配信装置１０の映像情報配信部１６０を介して配信映像マッチング部１３０に通知される（図２のＳ２６）。そして、配信映像マッチング部１３０は、配信映像に付与されている内容情報からどの対象が選択されたのかを特定し、その結果を付加情報提供部１５０に通知する（図２のＳ２７）。例えば、図４に示される画像が表示されている場合に、右側の画像上の位置がクリックされた場合、配信映像マッチング部１３０は、図５に示される内容情報に基づいてＮｉｙａｍｏｔｏだけを通知する。付加情報提供部１５０は、選択された対象であるＮｉｙａｍｏｔｏに関する付加情報を付属情報テーブル１５１から読み出し、付加情報を配信映像マッチング部１３０および、映像情報配信部１６０を介して、映像受信装置２０の映像出力部２２０に送信する（図２のＳ２８）。この付加情報は、図１０に示されるように、上記ＭＰＥＧ７にしたがう記述子で記述されており、個々の選手を識別する記述子＜ＩＤ＞と、この記述子の中には選手の氏名を同定する記述子＜ＩＤＮａｍｅ＞と、生年月日を表す記述子＜ＤａｔｅＯｆＢｉｒｔｈ＞と、主な経歴を表す記述子＜Ｃａｒｅｅｒ＞と、特徴を表す記述子＜ＳｐｅｃｉａｌＡｂｉｌｉｔｙ＞と、選手のコメントを表す記述子＜Ｃｏｍｍｅｎｔ＞とが含まれている。
【００６０】
なお、選択された対象に関連する情報が記録されていない場合には、情報が存在しないことを通知するメッセージを送信する。
最後に、映像出力部２２０は、送受信部２３０を介して配信されてきた付加情報をその画面上に再生する（図２のＳ２９）。
【００６１】
このように、実施の形態１に係る映像配信システム１によれば、視聴者は複数の視点から撮影された映像の中から、好みに合致した映像を視聴することができるだけでなく、さらに、配信される映像に働きかけを行うことによって、興味をもっている対象に関連する情報（付加情報）を取得することが可能となる。
【００６２】
（実施の形態２）
次いで、本発明の実施の形態２に係る映像配信システムを、図面に基づいて説明する。なお、この実施の形態２においても、限定された空間の撮影対象として、サッカーなどのスポーツ中継の場合の選手を中心とした映像を例に挙げて説明するが、本発明は任意の撮影空間および撮影対象に対して適用可能である。
【００６３】
図１１は、本発明の実施の形態２における映像配信システム２の機能構成を示すブロック図である。実施の形態１の映像配信システム１と対応する機能構成については同じ番号を付し、その詳細な説明を省略する。
この映像配信システム２は、映像配信装置４０と、映像受信装置５０と、これらを接続する通信ネットワーク３０とから構成され、多視点映像の中からユーザの嗜好に合致した映像を再生するシステムである点で実施の形態１の映像配信システム１と同様であるが、実施の形態１では、映像配信装置１０が利用者の嗜好に応じた映像等のコンテンツを決定しストリーム配信したのに対して、この映像配信システム２では、映像配信装置４０は多視点映像のコンテンツ等のすべて（選択される可能性のあるすべてのコンテンツ）をストリーム配信しておき、映像受信装置５０が利用者の嗜好に応じた映像等を選択決定し再生するようにした点で異なっている。
【００６４】
この映像配信システム２の映像配信装置４０は、内容情報および付加情報を付加した複数の映像（多視点映像）の映像コンテンツ等を映像受信装置５０に向けてストリーム配信するコンピュータ等からなる配信サーバであり、映像取得部１１０と、映像解析部１２０と、付加情報提供部４１０と、映像記録部４２０と、映像多重化部４３０と、多重化映像情報配信部４４０とを備えている。
【００６５】
付加情報提供部４１０は、映像解析部１２０によって生成された内容情報をサーチし、内容情報に含まれる被写体（対象物）の付加情報を付属情報テーブル１５１に基づいて生成したり、内容情報および付加情報が付加された映像を映像記録部４２０のコンテンツデータベース４２１に格納したり、嗜好値入力ダイアログ１４６を生成して嗜好データベース１４５に格納したりする。
【００６６】
映像記録部４２０は、入力側が付加情報提供部４１０に接続されると共に出力側が映像多重化部４３０に接続されており、内部にコンテンツデータベース４２１と、嗜好データベース１４５とを備えている。コンテンツデータベース４２１には、内容情報および付加情報が付加された映像コンテンツ４２４自体が格納される。なお、嗜好データベース１４５から嗜好履歴テーブル１４７が削除されている。これは、映像受信装置５０において、利用者の嗜好に応じた映像を選択するので、映像配信装置４０で嗜好履歴テーブル１４７を保持しておく必要がないからである。
【００６７】
映像多重化部４３０は、付加情報提供部４１０から出力される内容情報および付加情報が付加されたライブの多視点映像と、コンテンツデータベース４２１に格納されたストレージの映像コンテンツ４２４とをユーザのモード指定に応じて選択し、映像と内容情報と付加情報とをカメラごとに多重化し、さらにそれらの情報を多重化することにより、１つのビットストリームを生成したりする（図１３参照）。また、映像多重化部４３０は、嗜好値入力ダイアログ１４６を映像受信装置５０にストリーム配信したりする。
【００６８】
多重化映像情報配信部４４０は、通信ネットワーク３０を介して映像受信装置５０と通信するための双方向の通信インタフェースやドライバソフト等である。
【００６９】
映像受信装置５０は、ライブやストレージのモード選択や、嗜好値の入力等についてユーザと対話したり、映像配信装置４０からストリーム配信されてくる映像と内容情報と付加情報とを分離したり、複数の映像（多視点映像）の中からユーザの嗜好や嗜好履歴に合致した１つの映像を数フレームごとに切換・選択するような編集を行った映像コンテンツをリアルタイムに構築し、ユーザに提示したりするパーソナルコンピュータ、携帯電話機、携帯情報端末、デジタル放送用ＴＶ等であり、操作部２１０と、映像出力部２２０と、送受信部２３０と、表示映像マッチング部５１０と、映像記録部５２０とを備える。
【００７０】
表示映像マッチング部５１０は、映像配信装置４０からストリーム配信されてくる映像、内容情報および付加情報をカメラごとに分離し（図１３参照）、これらを映像記録部５２０に格納したり、映像配信装置４０から配信されてくる嗜好値入力ダイアログ１４６を映像記録部５２０に格納したり、操作部２１０から送られてきたユーザの嗜好等と映像配信装置４０から送られてくる各映像の内容情報とを比較し、複数の映像（多視点映像）の中からユーザの嗜好や嗜好履歴に合致した１つの映像を数フレームごとに切換・選択するような編集を行った映像コンテンツをリアルタイムに構築したりする。
【００７１】
映像記録部５２０は、映像配信装置４０から配信されてくるライブあるいはストレージのコンテンツなどを保持するコンテンツデータベース５２１と、ユーザごとの嗜好を取得するための嗜好データベース５２５とを保持するハードディスク等である。コンテンツデータベース５２１は、保持しているストレージコンテンツのコンテンツ一覧５２３およびコンテンツ５２４自体を記憶する。また、嗜好データベース５２５は、映像配信装置４０から送られてきたコンテンツごとの嗜好値入力ダイアログ１４６およびユーザが入力した嗜好履歴を格納する嗜好履歴テーブル１４７を記憶する。
【００７２】
以上のように構成された本実施の形態の映像配信システム２の動作について、図１２に示されたシーケンス（本システムの主な処理の流れ）に沿って順に説明する。なお、本図のシーケンスにおいても、ある一時点における多視点映像についての流れを示しており、実施の形態１のシーケンスと対応する処理については、詳細な説明を省略する。
【００７３】
映像取得部１１０による複数の映像（多視点映像）の取得が終わると（Ｓ１１）、映像解析部１２０は多視点映像を解析して映像ごとに内容情報を生成し、付加情報提供部４１０は内容情報をサーチし、内容情報に含まれる被写体（対象物）の付加情報を生成する（Ｓ３２）。例えば、映像中にＡ，Ｂの２人写っている場合には、このＡ，Ｂ２人の付加情報を生成する。付加情報の生成が終わると、付加情報提供部４１０は、内容情報および付加情報が付加された映像を映像記録部４２０のコンテンツデータベース４２１に格納する（Ｓ３３）。
そして、実施の形態１の場合と同様に、モード選択ダイアログの送信（Ｓ１４）や、映像受信装置５０におけるモード指定（Ｓ１５）、モード指定情報の送信（Ｓ１６）、コンテンツ一覧情報の送信（Ｓ１７）、コンテンツ指定の送信（Ｓ１８）が順次行われる。
【００７４】
コンテンツの指定が行われると、映像多重化部４３０は、指定されたライブあるいはストレージのコンテンツの多視点映像（複数の映像）と各映像ごとの内容情報と各映像ごとの付加情報とを多重化して送信した後（Ｓ３９）、このコンテンツの嗜好値入力ダイアログ１４６を送信する。
【００７５】
表示映像マッチング部５１０は、映像配信装置４０から送られてきた多視点映像と各映像ごとの内容情報と各映像ごとの付加情報とを各カメラごとに分離してコンテンツデータベース５２１に格納し（Ｓ４０）、さらに嗜好値入力ダイアログ１４６を嗜好データベース５２５に格納する。
次いで、表示映像マッチング部５１０は、嗜好値入力ダイアログ１４６を嗜好データベース５２５から読み出して映像出力部２２０に送り表示させ（Ｓ４１）、ユーザが入力した嗜好情報を嗜好履歴テーブル１４７に格納した後（Ｓ４２）、嗜好情報と内容情報とを比較し、多視点映像の中からユーザの嗜好に合致した１つの視点の映像を決定する（Ｓ４３）。なお、この映像の決定方法は、本実施の形態１と同様である。そして、表示映像マッチング部５１０は、決定した映像を映像出力部２２０に送りその画面上に再生させる（Ｓ４４）。
【００７６】
このように、実施の形態２に係る映像配信システム２によれば、映像配信装置４０は複数の映像（多視点映像）を映像受信装置５０に送信しておき、映像受信装置５０において多視点映像の中からユーザの嗜好に合致した１つの映像が数フレームごとに選択決定され、再生される。
【００７７】
続いて、ユーザは、配信されてきた映像に対して働きかけを行うことにより、付加情報を取得することが可能である（図１２のステップＳ４５〜Ｓ４７）。
例えば、ユーザの嗜好に合致した映像が再生され、配信されている映像に付加情報を取得したい対象が表示されている状態において、ユーザが操作部２１０のポインティングデバイスのカーソルを画面に映し出された対象の上に合わせてクリックすると、その画面上での位置情報が表示映像マッチング部５１０に通知される（Ｓ４５）。そして、表示映像マッチング部５１０は、映像に付与されている内容情報からどの対象が選択されたのかを特定し（Ｓ４６）、対応する付加情報の中からその特定した付加情報だけを映像出力部２２０に送る。例えば、図４に示される対象Ａ，Ｂが表示されている場合に、右側の対象Ｂ上の位置がクリックされた場合、表示映像マッチング部５１０は、まず、図５に示される内容情報に基づいてＮｉｙａｍｏｔｏを特定する。すると、表示映像マッチング部５１０は、２人についての付加情報の中からＮｉｙａｍｏｔｏに関する付加情報だけを読み出し、映像出力部２２０に送る。これによって、映像出力部２２０には、取得したい対象の付加情報だけが表示される（Ｓ４７）。
【００７８】
このように、実施の形態２に係る多視点映像配信システム２によれば、視聴者は複数の視点から撮影された映像の中から、好みに合致した映像を視聴することができるだけでなく、さらに、配信される映像に働きかけを行うことによって、興味をもっている対象に関連する情報（付加情報）を取得することが可能となる。
【００７９】
ところで、映像記録部５２０のコンテンツデータベース５２１には、映像配信装置４０から送られてきた多視点映像と、各映像ごとの内容情報と、各映像ごとの付加情報とがすべて揃ったコンテンツ５２４が格納されている。したがって、このコンテンツについては、映像配信装置４０から再配信を受けるまでもなく、映像受信装置５０において、繰り返し再生することができる。
【００８０】
また、繰り返し再生の際に、表示映像マッチング部５１０が、映像記録部５２０の嗜好データベース５２５から嗜好値入力ダイアログ１４６を読み出して、ユーザが入力した前回と異なる嗜好情報に基づいて複数の視点から撮影された映像の中から、この嗜好に合致した映像を再生することもでき、この場合には、ユーザは前回とは異なる対象（選手）を中心とした別の編集の映像を視聴することができる。
【００８１】
以上、本発明に係る映像配信システムを実施形態に基づいて説明したが、本発明は実施の形態に限定されるものでなく、以下に述べる変形例についても適用される。
【００８２】
上記実施の形態では、映像コンテンツの配信ごとに、嗜好値入力ダイアログ１４６を表示し、視聴者の嗜好情報を取得するようにしたが、このようなタイミングではなく、嗜好の履歴を用いて多視点映像の中から１つの映像を選択するようにしてもよい。例えば、過去に取得された視聴者の嗜好情報等を映像配信装置４０に蓄積しておき、その情報を参照することで、映像コンテンツの配信の度に視聴者から嗜好情報を取得するという手間を省くことができる。
【００８３】
また、上記実施の形態１では、付加情報提供部１５０は、映像受信装置２０において位置指定がされた場合にだけ、付加情報が映像配信装置１０から映像受信装置２０に送信されたが、視聴者の指定を待たずに、配信が決定された映像についての付加情報を映像コンテンツとともにあらかじめ配信しておいてもよい。これによって、視聴者が指示を発してから付加情報を取得するまでの時間が短縮されるので、早い応答性を有する映像配信システムが実現できる。
【００８４】
さらに、これとは逆に、上記実施の形態２では、付加情報提供部４１０が多視点映像のそれぞれについて付加情報が添付されたが、映像受信装置５０において位置指定がされた場合にだけ付加情報を配信するようにしてもよい。これによって、最終的に選択されるか否か不明な映像コンテンツの付加情報についても配信しておくことに起因する通信ネットワーク３０における通信負荷が軽減される。
【００８５】
また、上記実施の形態１，２では、サッカーのライブ中継を例に説明したが、野球等、屋外で行われるスポーツ等のライブ中継や、屋内で行われる音楽会、芝居等のライブ中継にも勿論適用できる。
【００８６】
さらに、上記実施の形態１，２では、嗜好のほか、映像中のオブジェクトごとの大きさや、位置だけを映像選択の際における評価の対象としたが、この評価の対象にオブジェクトの動きを加えるようにしてもよい。
【００８７】
すなわち、屋内でのライブ中継の場合、この施設にモーションキャプチャシステムを設置することにより、対象（歌手等）がステージ上を走り回るような激しい動きを検出することもできる。一方、例えば、ライブステージでは、複数の被写体が混在する中で主役（注目される人）がリアルタイムに入れ替わるような演出が行われたりする。このような場合、じっとしている人を見るよりは、その時点でステージ上を走り回っているような激しい動きをしている人（活躍している人）を見たいというのが、視聴者の心理であり、嗜好に合致する。したがって、モーションキャプチャシステムの機器を用いて得られる映像中で表示されている対象の動き量を映像解析部１２０で解析し、動き量を内容情報に含め、動きの激しい被写体ほど、注目度や、関心度が高いとして、この映像を選択するようにしてもよい。
【００８８】
（実施の形態３）
図１４は、あるグループ「スペード」のライブコンサートのステージの様子を示す図である。
同図に示されるように、ステージの周囲には、複数台（図示、４台）のカメラＣ１〜Ｃ４が固定配設され、スペードのメンバー（図１４の左から古垣、下原、前井、陸袋）の肢体には、複数のマーカＭがそれぞれ取着されている。
【００８９】
各カメラＣ１〜Ｃ４は、Ｒ，Ｇ，Ｂの各色画像を取得するほか、赤外光を射出する発光部と、マーカＭで反射された赤外光を受光する受光部とを備えており、フレームごとにマーカで反射された映像を受光部で取り込むように構成されている。このフレームごとのマーカ映像は、例えば図１に示される映像解析部１２０に送られて、対象の動き量が解析される。
【００９０】
図１５は、２つのマーカ画像（Ｐ１，Ｐ２）から動き量を解析する様子を示す図である。なお、ここでは、図１４に示されるメンバー下原だけが映っている２つのマーカ画像から動き量を解析する場合が示されている。
【００９１】
映像解析部１２０は、２つのマーカ画像Ｐ１，Ｐ２の対応する各マーカＭを比較し、肩、肘、手首、…、足先といった各部分の動き量Δｖ１，Δｖ２，Δｖ３，Δｖ４，…Δｖ（ｎ−１），Δｖｎをそれぞれ計測する。そして、映像解析部１２０は、各部分の計測が終わると、これらの計測値の総和を計算し、この計算結果をその時点における映像中で表示されている対象、歌手の動き量として取得し、取得した動き量を内容情報に含める。なお、まず腰、肩等を基準にして、腕、手首、といった順番で動き量を計算してもよい。また、複数の視点から得られたマーカ画像Ｍを組み合わせ、３次元の動きベクトルを計測してもよい。この場合には、１つのマーカ画像Ｍでマーカが重なるような場合でも、各マーカを峻別することができ、動き量の誤計算といった事態を避けることができ、精度の高い動き量を求めることが出きる。
【００９２】
図１６は、映像解析部１２０により生成される内容情報の一例を示す図である。
この例では、＜ＲｅｇｉｏｎＬｏｃａｔｏｒ＞記述子に、画像中における歌手の表示されている大きさを有する位置＜Ｐｏｓｉｔｉｏｎ＞と、計測器（位置センサ・ＧＰＳ）等によって取得された大きさを有さないポイントの位置＜Ｌｏｃａｔｉｏｎ＞とが合わせて記述されており、対象の画面上の大きさと、中央等の位置と両者でオブジェクト単位での評価を行うことができるようになっている。さらに、この内容情報では、＜ｍｏｔｉｏｎ＞記述子により、動き量についてオブジェクト単位での評価を行うことができるようになっている。
【００９３】
このように内容情報がオブジェクトの大きさ、位置のほか、動き量が含められて構成されている場合、個々の歌手の嗜好度や、画面上における対象の大きさ、位置、動き等に基づき、個々の対象をオブジェクトごとに評価し、総合的に判断して配信映像を決定する場合には、例えば図１７に示されるフローチャートの手順にしたがう。
【００９４】
配信映像マッチング部１３０は、まず、すべてのカメラからの映像に関して、内容情報の＜ＲｅｇｉｏｎＬｏｃａｔｏｒ＞の記述子（Ｄｅｓｃｒｉｐｔｏｒ）で矩形情報を参照し、個々のオブジェクト、歌手を包含する矩形の面積を算出する（Ｓ２２２１）。矩形面積の算出が終わると、配信映像マッチング部１３０は、画面中心で最大値を取り、画面の淵で最小値を取る関数（例えば、ｆ（ｘ，ｙ）＝ｓｉｎ（π＊ｘ／（２＊ｘ＿ｍｉｄ））＊ｓｉｎ（π＊ｙ／（２＊ｙ＿ｍｉｄ））を用いて、個々の歌手の位置に関する関数の値を算出する（Ｓ２２２２）。関数値の値の算出が終わると、配信映像マッチング部１３０は、すべてのカメラからの映像に関して、内容情報の＜ｍｏｔｉｏｎ＞記述子を参照し、動き量を読み出す（Ｓ２２２３）。
【００９５】
面積の算出、関数値の算出、動き量の読み出しが終わると、配信映像マッチング部１３０は、すべてのカメラからの映像に関して、面積と対応する歌手の嗜好度との積を算出し、さらに画面に表示されている歌手の値の総和を算出し、位置とこの位置に対応する歌手の嗜好度との積を算出し、さらに画面に表示されている歌手の値の総和を算出し、さらに画面に表示されている歌手の動き量の値の総和を算出することにより、目的関数の値を求める（Ｓ２２２４）。
そして、すべてのカメラからの映像に関して、目的関数の値を求めると、目的関数の値が最大となる視点からの映像を配信映像に決定する（Ｓ２２２５）。
【００９６】
このようにして、動き量を評価値の中に含めると、じっとしているよりも活躍しているであろう動きの多い歌手の映像が高く評価され、高く評価された映像が数フレームごとに選択されることにないる。この結果、映像配信装置１０において多視点映像の中から各ユーザの嗜好に合致した映像が配信されることになる。
【００９７】
【発明の効果】
以上の説明から明らかなように、本発明に係る映像配信装置は、通信ネットワークを介して映像受信装置と通信する映像配信装置であって、異なる視点からの複数の映像を取得する映像取得手段と、前記映像ごとに、その映像に含まれる内容を解析し、解析結果を内容情報として生成する映像解析手段と、前記各内容情報と、視聴者より通知された嗜好情報との適合度を判定し、配信する映像を決定し、決定した映像を配信する配信映像マッチング手段とを備えることを特徴とする。
つまり、異なる視点からの複数の映像の中から各映像ごとに生成された内容情報と視聴者の嗜好情報との適合度で決定し、視聴者の嗜好に合致した１つの映像を視聴者の映像受信装置に対して配信する。
【００９８】
これにより、視聴者は、自己の嗜好に合致した映像を選択的に視聴することができる。したがって、映像の選択に関して視聴者の要求を満足させることができる。しかも、映像取得手段、映像解析手段および配信映像マッチング手段による処理を高速に繰り返して行うことで、リアルタイム映像に関しても配信の対象とすることができる。
【００９９】
ここで、内容情報には、被写体を同定する情報や、被写体の表示位置または表示領域を表す情報を含めてもよい。また、嗜好情報を得るための入れ物を映像受信装置側に配信し、この入れ物に被写体に対する嗜好の度合いを入力させることにより嗜好情報を取得してもよい。また、配信した映像について視聴者から画面上の位置が指定されると、その位置の被写体を特定し、この被写体に関する付加情報を送信するようにしてもよい。
【０１００】
さらに、本発明は、通信ネットワークを介して映像受信装置と通信する映像配信装置であって、異なる視点からの複数の映像を取得する映像取得手段と、前記映像ごとに、その映像に含まれる内容を解析し、解析結果を内容情報として生成する映像解析手段と、前記各映像および前記各内容情報を多重化して配信する映像多重化手段とを備えることを特徴とする映像配信装置とすることもできる。この場合には、映像受信装置の側において映像配信装置から配信されてきた各内容情報と、視聴者より通知された嗜好情報との適合度を判定し、映像配信装置から配信されてきた複数の映像の中から再生する１つの映像を決定し、決定した映像を再生するようにすればよい。
【０１０１】
これによって、このような映像配信装置から配信した各映像および各内容情報を受信する映像受信装置において、各内容情報と視聴者より通知された嗜好情報との適合度を判定し、再生する映像を決定し、決定した映像を再生することにすれば、視聴者は、自己の嗜好に合致した映像を選択的に視聴することができる。
【０１０２】
また、本発明は、このような特徴的な手段をコンピュータに機能させるプログラムとして実現したり、そのプログラムを記録した記録媒体として実現したりすることもできる。そして、本発明に係るプログラムをインターネット等の通信網や記録媒体等を介して流通させることもできる。
【０１０３】
このように、本発明により、視聴者は、例えば、スポーツ観戦の番組において、自分がひいきにしている選手が頻繁に登場する映像を選択的に視聴することができ、楽しい時間を過ごすことができる。よって、本発明は、映像配信システムが提供するサービスの価値を飛躍的に向上させるものであり、その実用的価値は極めて高い。
【図面の簡単な説明】
【図１】本発明の実施の形態１における映像配信システム１の機能構成を示すブロック図である。
【図２】映像配信システム１の動作を示すシーケンス図である。
【図３】図３（ａ）は本発明の実施の形態１で用いるカメラ座標系における位置と、投影面上における位置の関係を示す斜視図であり、図３（ｂ）は図３（ａ）を投影面に沿って上方から見た図であり、図３（ｃ）は図３（ａ）を投影面に沿って側方から見た図である。
【図４】図１に示される映像取得部１１０により取得された映像の一例を示す図である。
【図５】図１に示される映像解析部１２０により生成される内容情報の一例を示す図である。
【図６】図１に示される配信映像マッチング部１３０により生成される嗜好値入力ダイアログの一例を示す図である。
【図７】図１に示される映像受信装置２０から送られてくる嗜好情報の一例を示す図である。
【図８】配信映像マッチング部１３０が最も嗜好度が高い対象物を利用して配信する映像を決定する際に実行するフローチャートである。
【図９】配信映像マッチング部１３０が個々の嗜好度から総合的に判断して配信する映像を決定する際に実行するフローチャートである。
【図１０】図１に示される付加情報提供部１５０から送られる付加情報の一例を示す図である。
【図１１】本発明の実施の形態２における映像配信システム２の機能構成を示すブロック図である。
【図１２】映像配信システム２の動作を示すシーケンス図である。
【図１３】映像、内容情報および付加情報の多重化・分離方法の一例を示す図である。
【図１４】、あるグループ「スペード」のライブコンサートのステージの様子を示す図である。
【図１５】２つのマーカ画像（Ｐ１，Ｐ２）から動き量を解析する様子を示す図である。
【図１６】映像解析部１２０により生成される内容情報の一例を示す図である。
【図１７】配信映像マッチング部１３０が個々の嗜好度等から総合的に判断して配信する映像を決定する際に実行するフローチャートである。
【符号の説明】
１，２                  映像配信システム
１０，４０              映像配信装置
２０，５０              映像受信装置
３０                    通信ネットワーク
１１０                  映像取得部
１２０                  映像解析部
１３０                  配信映像マッチング部
１４０，４２０，５２０  映像記録部
１４１，４２１，５２１  コンテンツデータベース
１４４，４２４，５２４  コンテンツ
１４５，５２５          嗜好データベース
１４６                  嗜好値入力ダイアログ
１４７                  嗜好履歴テーブル
１５０，４１０          付加情報提供部
２１０                  操作部
２２０                  映像出力部
２３０                  送受信部
４３０                  映像多重化部
４４０                  多重化映像情報配信部
５１０                  表示映像マッチング部
【図１】
0004185333.tif 000003
【図２】
0004185333.tif 000004
【図３】
0004185333.tif 000005
【図４】
0004185333.tif 000006
【図５】
0004185333.tif 000007
【図６】
0004185333.tif 000008
【図７】
0004185333.tif 000009
【図８】
0004185333.tif 000010
【図９】
0004185333.tif 000011
【図１０】
0004185333.tif 000012
【図１１】
0004185333.tif 000013
【図１２】
0004185333.tif 000014
【図１３】
0004185333.tif 000015
【図１４】
0004185333.tif 000016
【図１５】
0004185333.tif 000017
【図１６】
0004185333.tif 000018
【図１７】
0004185333.tif 000019