(57)【要約】   【課題】  映像コンテンツ中に含まれる種々のオブジェクトについてサブコンテンツを取得することができる。  【解決手段】  前記コンテンツ供給サーバ１０は、データベース１２から読み出された映像コンテンツからオブジェクトを抽出し、オブジェクトの座標領域時系列データを生成し、映像コンテンツのデータに、座標領域時系列データおよびサブコンテンツを指定するサブコンテンツ指定情報を多重化して、クライアント端末１６に送信する。クライアント端末１６にて表示された映像コンテンツにおいて、オブジェクトが指定されると、その情報がコンテンツ供給サーバ１０に送信され、コンテンツ供給サーバ１０は、サブコンテンツ指定情報にしたがって、データベース１２からサブコンテンツを読み出して、クライアント端末１６に送信する。【選択図】  図２
2008067139.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバにおいて、
映像コンテンツ中のオブジェクトを抽出するためのオブジェクト抽出条件にしたがって、前記データベースから読み出された映像コンテンツからオブジェクトを抽出し、各フレームにおけるオブジェクトの座標領域を示す座標領域時系列データを生成するステップと、
前記映像コンテンツのデータに、前記座標領域時系列データおよび前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化するステップと、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するステップを備え、
前記クライアント端末において、
前記多重化された映像コンテンツを受信して、表示装置に表示するステップと、
前記映像コンテンツにおいて、座標領域時系列データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するステップを備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、ネットワークを介して前記クライアント端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法。
【請求項２】
映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバにおいて、
前記映像コンテンツのデータに、前記映像コンテンツ中のオブジェクトを抽出するための抽出条件および前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化するステップと、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するステップを備え、
前記クライアント端末において、
前記多重化された映像コンテンツを受信して、表示装置に表示するステップと、
前記映像コンテンツ中のオブジェクトを抽出するための抽出条件にしたがって、前記映像コンテンツからオブジェクトを抽出し、あるフレームの映像コンテンツにおけるオブジェクトの座標領域を示す座標領域データを生成するステップと、
前記座標領域データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するステップを備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、前記ネットワークを介して前記クライアント端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法。
【請求項３】
前記クライアント端末において、前記表示装置に、前記映像コンテンツの画像遷移無しに、前記受信したサブコンテンツを表示するステップを備えたことを特徴とする請求項１または２に記載のコンテンツ配信方法。
【請求項４】
前記クライアント端末において、前記受信したサブコンテンツを、前記クライアント端末と通信可能な他の端末に転送するステップを備えたことを特徴とする請求項１ないし３の何れか一項に記載のコンテンツ配信方法。
【請求項５】
映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバにおいて、
映像コンテンツ中のオブジェクトを抽出するためのオブジェクト抽出条件にしたがって、前記データベースから読み出された映像コンテンツからオブジェクトを抽出し、各フレームにおけるオブジェクトの座標領域を示す座標領域時系列データを生成するステップと、
前記映像コンテンツのデータに、前記座標領域時系列データおよび前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化するステップと、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するステップを備え、
前記クライアント端末において、
前記多重化された映像コンテンツを受信して、表示装置に表示するステップと、
前記映像コンテンツにおいて、座標領域時系列データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するステップを備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、ネットワークを介して前記クライアント端末とは異なる他の端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法。
【請求項６】
映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバにおいて、
前記映像コンテンツのデータに、映像コンテンツ中のオブジェクトを抽出するための抽出条件および前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化するステップと、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するステップを備え、
前記クライアント端末において、
前記多重化された映像コンテンツを受信して、表示装置に表示するステップと、
前記映像コンテンツ中のオブジェクトを抽出するための抽出条件にしたがって、前記映像コンテンツからオブジェクトを抽出し、あるフレームの映像コンテンツにおけるオブジェクトの座標領域を示す座標領域データを生成するステップと、
前記座標領域データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するステップを備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、ネットワークを介して前記クライアント端末と異なる他の端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法。
【請求項７】
撮影フィールドを撮影した映像中の動体を抽出するデータ処理サーバと、前記データベース処理サーバと、ネットワークを介して接続され、前記動体に関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、前記データ処理サーバ、および、前記コンテンツ供給サーバと、ネットワークを介して接続されたクライアント端末と、を備え、前記クライアント端末が、撮影フィールド上の一点を指し示すことに応答して、前記撮影フィールド上に配置されたセンサから前記データ処理サーバに与えられる信号により当該データ処理端末において、前記前記クライアント端末が前記撮影フィールド上で指し示した点の位置を検出可能に構成されたコンテンツ配信システムにおいて、
前記データ処理サーバにおいて、
前記映像中の動体を抽出するための動体の抽出条件にしたがって、前記撮影された映像から動体を抽出し、その位置を示す座標領域データを生成するステップと、
前記座標領域データと、前記動体に関連付けられたサブコンテンツを特定するサブコンテンツ指定情報とを関連付けるステップと、
前記クライアント端末において指し示された点の位置が、前記座標領域データに基づく前記動体の位置に対応するときに、前記サブコンテンツ特定情報を、前記コンテンツ供給サーバに送信するステップと、を備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、前記ネットワークを介して前記クライアント端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法。
【請求項８】
映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムであって、
前記コンテンツ供給サーバが、
映像コンテンツ中のオブジェクトを抽出するためのオブジェクト抽出条件にしたがって、前記データベースから読み出された映像コンテンツからオブジェクトを抽出し、各フレームにおけるオブジェクトの座標領域を示す座標領域時系列データを生成する座標領域時系列データ生成手段と、
前記映像コンテンツのデータに、前記座標領域時系列データおよび前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化する多重化手段と、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するコンテンツ送信手段と、を備え、
前記クライアント端末が、
表示装置に表示された多重化された映像コンテンツについて、座標領域時系列データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するサブコンテンツ指定情報送信手段を備え、
前記コンテンツ供給サーバが、さらに、クライアント端末により送信された前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出すサブコンテンツ生成手段を備え、
前記コンテンツ送信手段が、前記生成された前記サブコンテンツを、ネットワークを介して前記クライアント端末、および、前記クライアント端末と異なる他の端末の少なくとも何れか一方に送信するように構成されたことを特徴とするコンテンツ配信システム。
【請求項９】
映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバが、
前記映像コンテンツのデータに、前記映像コンテンツ中のオブジェクトを抽出するための抽出条件および前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化する多重化手段と、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するコンテンツ送信手段と、を備え、
前記クライアント端末が、
前記映像コンテンツ中のオブジェクトを抽出するための抽出条件にしたがって、前記映像コンテンツからオブジェクトを抽出し、あるフレームの映像コンテンツにおけるオブジェクトの座標領域を示す座標領域データを生成する座標領域データ生成手段と、
表示装置に表示された、前記座標領域データを含む映像コンテンツについて、前記座標領域データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するサブコンテンツ指定情報送信手段と、を備え、
前記コンテンツ供給サーバが、さらに、クライアント端末により送信された前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出すサブコンテンツ生成手段を備え、
前記コンテンツ送信手段が、前記生成された前記サブコンテンツを、ネットワークを介して前記クライアント端末、および、前記クライアント端末と異なる他の端末の少なくとも何れか一方に送信するに送信するように構成されたことを特徴とするコンテンツ配信システム。
【請求項１０】
撮影フィールドを撮影した映像中の動体を抽出するデータ処理サーバと、前記データベース処理サーバと、ネットワークを介して接続され、前記動体に関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、前記データ処理サーバ、および、前記コンテンツ供給サーバと、ネットワークを介して接続されたクライアント端末と、を備え、前記クライアント端末が、撮影フィールド上の一点を指し示すことに応答して、前記撮影フィールド上に配置されたセンサから前記データ処理サーバに与えられる信号により当該データ処理端末において、前記前記クライアント端末が前記撮影フィールド上で指し示した点の位置を検出可能に構成されたコンテンツ配信システムにおいて、
前記データ処理サーバが、
前記映像中の動体を抽出するための動体の抽出条件にしたがって、前記撮影された映像から動体を抽出し、その位置を示す座標領域データを生成する座標領域生成手段と、
前記座標領域データと、前記動体に関連付けられたサブコンテンツを特定するサブコンテンツ指定情報とを関連付けるサブコンテンツ関連付け手段と、
前記クライアント端末において指し示された点の位置が、前記座標領域データに基づく前記動体の位置に対応するときに、前記サブコンテンツ特定情報を、前記コンテンツ供給サーバに送信する送信手段と、を備え、
前記コンテンツ供給サーバが、
前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出すサブコンテンツ生成手段と、
前記サブコンテンツを、前記ネットワークを介して前記クライアント端末に送信するコンテンツ送信手段と、を備えたことを特徴とするコンテンツ配信システム。
【請求項１１】
映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備え、クライアント端末とネットワークを介して接続されたコンテンツ供給サーバであって、
映像コンテンツ中のオブジェクトを抽出するためのオブジェクト抽出条件にしたがって、前記データベースから読み出された映像コンテンツからオブジェクトを抽出し、各フレームにおけるオブジェクトの座標領域を示す座標領域時系列データを生成する座標領域時系列データ生成手段と、
前記映像コンテンツのデータに、前記座標領域時系列データおよび前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化する多重化手段と、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するコンテンツ送信手段と、
前記クライアント端末において、多重化された映像コンテンツにおいて、座標領域時系列データに基づく座標領域への所定のアクションの受信に応答して送信されたサブコンテンツ指定情報を受信して、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出すサブコンテンツ生成手段を備え、
前記コンテンツ送信手段が、前記生成された前記サブコンテンツを、ネットワークを介して前記クライアント端末、および、前記クライアント端末と異なる他の端末の少なくとも何れか一方送信するように構成されたことを特徴とするコンテンツ供給サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツを配信するシステム、方法および映像コンテンツを配信するコンテンツ供給サーバに関する。
【背景技術】
【０００２】
現状のテレビ放送におけるスポンサと放送局の関係において、企業の広告を放送することに関して放送局と企業が提携する。これは、従来のテレビ放送システムが放送局から視聴者へ片方向の通信手段しかないため、企業の広告を放送局が放送するという関係になってしまうためである。近年、インターネット技術の進歩により、映像のような容量のデータも輻輳なくサービスできるインフラが実現されてきている。
【０００３】
たとえば、特許文献１には、文字多重化放送において、映像にスーパーインポーズされた文字や図形と、そのメタデータとを多重化してデータ伝送し、前記文字や図形を指定することで、メタデータに切り替えて表示するようなデータ放送サービスが提案されている。
【特許文献１】特開２００２−１８５９３５号公報
【特許文献２】特開２００５−２９３０９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に開示された技術では、通常の映像に、送信側で文字や図形をスーパーインポーズし、かつ、映像と、スーパーインポーズされる文字や図形と関連付けられたメタデータとを多重化する。したがって、送信側において、文字や図形をスーパーインポーズするステップが必要であり、また、スーパーインポーズする文字や図形、或いは、その映像中の位置が限定されてしまうという問題点がある。
【０００５】
本発明は、双方向通信手段を用いて企業と放送局そして視聴者の関係をさらに密接に深める直感的な情報交換を促すものである。特に、本発明は、映像コンテンツ中に含まれる種々のオブジェクトについてサブコンテンツを取得することができるシステム、方法、および、コンテンツ供給サーバを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的は、映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバにおいて、
映像コンテンツ中のオブジェクトを抽出するためのオブジェクト抽出条件にしたがって、前記データベースから読み出された映像コンテンツからオブジェクトを抽出し、各フレームにおけるオブジェクトの座標領域を示す座標領域時系列データを生成するステップと、
前記映像コンテンツのデータに、前記座標領域時系列データおよび前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化するステップと、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するステップを備え、
前記クライアント端末において、
前記多重化された映像コンテンツを受信して、表示装置に表示するステップと、
前記映像コンテンツにおいて、座標領域時系列データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するステップを備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、ネットワークを介して前記クライアント端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法により達成される。
【０００７】
また、本発明の目的は、映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバにおいて、
前記映像コンテンツのデータに、前記映像コンテンツ中のオブジェクトを抽出するための抽出条件および前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化するステップと、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するステップを備え、
前記クライアント端末において、
前記多重化された映像コンテンツを受信して、表示装置に表示するステップと、
前記映像コンテンツ中のオブジェクトを抽出するための抽出条件にしたがって、前記映像コンテンツからオブジェクトを抽出し、あるフレームの映像コンテンツにおけるオブジェクトの座標領域を示す座標領域データを生成するステップと、
前記座標領域データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するステップを備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、前記ネットワークを介して前記クライアント端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法により達成される。
【０００８】
好ましい実施態様においては、前記クライアント端末において、前記表示装置に、前記映像コンテンツの画像遷移無しに、前記受信したサブコンテンツを表示するステップを備えている。
【０００９】
また、別の好ましい実施態様においては、前記クライアント端末において、前記受信したサブコンテンツを、前記クライアント端末と通信可能な他の端末に転送するステップを備えている。
【００１０】
また、本発明の目的は、映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバにおいて、
映像コンテンツ中のオブジェクトを抽出するためのオブジェクト抽出条件にしたがって、前記データベースから読み出された映像コンテンツからオブジェクトを抽出し、各フレームにおけるオブジェクトの座標領域を示す座標領域時系列データを生成するステップと、
前記映像コンテンツのデータに、前記座標領域時系列データおよび前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化するステップと、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するステップを備え、
前記クライアント端末において、
前記多重化された映像コンテンツを受信して、表示装置に表示するステップと、
前記映像コンテンツにおいて、座標領域時系列データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するステップを備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、ネットワークを介して前記クライアント端末とは異なる他の端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法により達成される。
【００１１】
さらに、本発明の目的は、映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバにおいて、
前記映像コンテンツのデータに、映像コンテンツ中のオブジェクトを抽出するための抽出条件および前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化するステップと、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するステップを備え、
前記クライアント端末において、
前記多重化された映像コンテンツを受信して、表示装置に表示するステップと、
前記映像コンテンツ中のオブジェクトを抽出するための抽出条件にしたがって、前記映像コンテンツからオブジェクトを抽出し、あるフレームの映像コンテンツにおけるオブジェクトの座標領域を示す座標領域データを生成するステップと、
前記座標領域データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するステップを備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、ネットワークを介して前記クライアント端末と異なる他の端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法により達成される。
【００１２】
或いは、本発明の目的は、撮影フィールドを撮影した映像中の動体を抽出するデータ処理サーバと、前記データベース処理サーバと、ネットワークを介して接続され、前記動体に関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、前記データ処理サーバ、および、前記コンテンツ供給サーバと、ネットワークを介して接続されたクライアント端末と、を備え、前記クライアント端末が、撮影フィールド上の一点を指し示すことに応答して、前記撮影フィールド上に配置されたセンサから前記データ処理サーバに与えられる信号により当該データ処理端末において、前記前記クライアント端末が前記撮影フィールド上で指し示した点の位置を検出可能に構成されたコンテンツ配信システムにおいて、
前記データ処理サーバにおいて、
前記映像中の動体を抽出するための動体の抽出条件にしたがって、前記撮影された映像から動体を抽出し、その位置を示す座標領域データを生成するステップと、
前記座標領域データと、前記動体に関連付けられたサブコンテンツを特定するサブコンテンツ指定情報とを関連付けるステップと、
前記クライアント端末において指し示された点の位置が、前記座標領域データに基づく前記動体の位置に対応するときに、前記サブコンテンツ特定情報を、前記コンテンツ供給サーバに送信するステップと、を備え、
前記コンテンツ供給サーバにおいて、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出して、前記サブコンテンツを、前記ネットワークを介して前記クライアント端末に送信するステップと、を備えたことを特徴とするコンテンツ配信方法により達成される。
【００１３】
また、本発明の別の実施態様において、映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバが、
映像コンテンツ中のオブジェクトを抽出するためのオブジェクト抽出条件にしたがって、前記データベースから読み出された映像コンテンツからオブジェクトを抽出し、各フレームにおけるオブジェクトの座標領域を示す座標領域時系列データを生成する座標領域時系列データ生成手段と、
前記映像コンテンツのデータに、前記座標領域時系列データおよび前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化する多重化手段と、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するコンテンツ送信手段と、を備え、
前記クライアント端末が、
表示装置に表示された多重化された映像コンテンツについて、座標領域時系列データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するサブコンテンツ指定情報送信手段を備え、
前記コンテンツ供給サーバが、さらに、クライアント端末により送信された前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出すサブコンテンツ生成手段を備え、
前記コンテンツ送信手段が、前記生成された前記サブコンテンツを、ネットワークを介して前記クライアント端末、および、前記クライアント端末と異なる他の端末の少なくとも何れか一方に送信するように構成されている。
【００１４】
また、本発明の別の実施態様において、映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバが、
前記映像コンテンツのデータに、前記映像コンテンツ中のオブジェクトを抽出するための抽出条件および前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化する多重化手段と、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するコンテンツ送信手段と、を備え、
前記クライアント端末が、
前記映像コンテンツ中のオブジェクトを抽出するための抽出条件にしたがって、前記映像コンテンツからオブジェクトを抽出し、あるフレームの映像コンテンツにおけるオブジェクトの座標領域を示す座標領域データを生成する座標領域データ生成手段と、
表示装置に表示された、前記座標領域データを含む映像コンテンツについて、前記座標領域データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するサブコンテンツ指定情報送信手段と、を備え、
前記コンテンツ供給サーバが、さらに、クライアント端末により送信された前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出すサブコンテンツ生成手段を備え、
前記コンテンツ送信手段が、前記生成された前記サブコンテンツを、ネットワークを介して前記クライアント端末に送信するように構成されている。
【００１５】
また、別の実施態様において、映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、コンテンツ供給サーバとネットワークを介して接続されたクライアント端末と、を備えた映像コンテンツ配信システムにおいて、
前記コンテンツ供給サーバが、
前記映像コンテンツのデータに、前記映像コンテンツ中のオブジェクトを抽出するための抽出条件および前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化する多重化手段と、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するコンテンツ送信手段と、を備え、
前記クライアント端末が、
前記映像コンテンツ中のオブジェクトを抽出するための抽出条件にしたがって、前記映像コンテンツからオブジェクトを抽出し、あるフレームの映像コンテンツにおけるオブジェクトの座標領域を示す座標領域データを生成する座標領域データ生成手段と、
表示装置に表示された、前記座標領域データを含む映像コンテンツにおいて、前記座標領域データに基づく座標領域への所定のアクションの受信に応答して、前記サブコンテンツ指定情報を、前記コンテンツ供給サーバに送信するサブコンテンツ指定情報送信手段と、を備え、
前記コンテンツ供給サーバが、さらに、クライアント端末により送信された前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出すサブコンテンツ生成手段を備え、
前記コンテンツ送信手段が、前記生成された前記サブコンテンツを、ネットワークを介して前記クライアント端末、および、前記クライアント端末と異なる他の端末の少なくとも何れか一方に送信するに送信するように構成されている。
【００１６】
或いは、さらに別の実施態様においては、撮影フィールドを撮影した映像中の動体を抽出するデータ処理サーバと、前記データベース処理サーバと、ネットワークを介して接続され、前記動体に関連付けられたサブコンテンツを格納したデータベースを備えたコンテンツ供給サーバと、前記データ処理サーバ、および、前記コンテンツ供給サーバと、ネットワークを介して接続されたクライアント端末と、を備え、前記クライアント端末が、撮影フィールド上の一点を指し示すことに応答して、前記撮影フィールド上に配置されたセンサから前記データ処理サーバに与えられる信号により当該データ処理端末において、前記前記クライアント端末が前記撮影フィールド上で指し示した点の位置を検出可能に構成されたコンテンツ配信システムにおいて、
前記データ処理サーバが、
前記映像中の動体を抽出するための動体の抽出条件にしたがって、前記撮影された映像から動体を抽出し、その位置を示す座標領域データを生成する座標領域生成手段と、
前記座標領域データと、前記動体に関連付けられたサブコンテンツを特定するサブコンテンツ指定情報とを関連付けるサブコンテンツ関連付け手段と、
前記クライアント端末において指し示された点の位置が、前記座標領域データに基づく前記動体の位置に対応するときに、前記サブコンテンツ特定情報を、前記コンテンツ供給サーバに送信する送信手段と、を備え、
前記コンテンツ供給サーバが、
前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出すサブコンテンツ生成手段と、
前記サブコンテンツを、前記ネットワークを介して前記クライアント端末に送信するコンテンツ送信手段と、を備えている。
【００１７】
また、別の実施態様においては、映像コンテンツ、および、映像コンテンツ中のオブジェクトに関連付けられたサブコンテンツを格納したデータベースを備え、クライアント端末とネットワークを介して接続されたコンテンツ供給サーバであって、
映像コンテンツ中のオブジェクトを抽出するためのオブジェクト抽出条件にしたがって、前記データベースから読み出された映像コンテンツからオブジェクトを抽出し、各フレームにおけるオブジェクトの座標領域を示す座標領域時系列データを生成する座標領域時系列データ生成手段と、
前記映像コンテンツのデータに、前記座標領域時系列データおよび前記オブジェクトに関連付けられたサブコンテンツを指定するサブコンテンツ指定情報を多重化する多重化手段と、
前記多重化された映像コンテンツを、ネットワークを介して前記クライアント端末に送信するコンテンツ送信手段と、
前記クライアント端末において、多重化された映像コンテンツにおいて、座標領域時系列データに基づく座標領域への所定のアクションの受信に応答して送信されたサブコンテンツ指定情報を受信して、前記サブコンテンツ指定情報にしたがって、前記データベースからサブコンテンツを読み出すサブコンテンツ生成手段を備え、
前記コンテンツ送信手段が、前記生成された前記サブコンテンツを、ネットワークを介して前記クライアント端末、および、前記クライアント端末と異なる他の端末の少なくとも何れか一方送信するように構成されている。
【発明の効果】
【００１８】
本発明によれば、映像コンテンツ中に含まれる種々のオブジェクトについてサブコンテンツを取得することができるシステム、方法、および、コンテンツ供給サーバを提供することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して、本発明の実施の形態について説明する。図１は、本発明の第１の実施の形態にかかるコンテンツ供給サーバを含むシステム全体の概略を示すブロックダイヤグラムである。図１に示すように、コンテンツ供給サーバ１０は、種々の映像コンテンツおよび後述するサブコンテンツを格納したデータベース１２を備え、ネットワーク１４に接続される。ネットワーク１４には、クライアント端末１６−１、１６−２、・・・が接続される。クライアント端末１６−１は、リモートコントローラ１８−１との間で命令やデータの送受信が可能となっている。同様に、クライアント端末１６−１は、リモートコントローラ１８−２との間で命令やデータの送受信が可能である。以下、特定のクライアント端末およびリモートコントローラを示す場合を除き、単に、クライアント端末１６、リモートコントローラ１８と表す。
【００２０】
クライアント端末１６は、後に詳述するように、コンテンツ供給サーバ１０が配信する映像コンテンツを受信して、受信した映像コンテンツを、その表示装置（図示せず）の画面上に表示する。クライアント端末１６とリモートコントローラ１８との間では、Ｂｌｕｅｔｏｏｔｈ（登録商標）や赤外線などを利用して、ユーザによるリモートコントローラ１８の空中での指示操作を、クライアント端末１６が検出できるようになっている。これにより、クライアント端末１６の表示装置の画面上に表示された映像コンテンツに、マウスカーソルを重ねて表示させ、そのマウスカーソルを、リモートコントローラ１８によって移動させ、或いは、マウスカーソルの配置位置において指示を与えることが可能となる。リモートコントローラ１８の空間での位置は、たとえば、特許文献２に示すような技術により特定することが可能である。
【００２１】
無論、リモートコントローラ１８を利用せず、クライアント端末１６のマウス、トラックボール、クライアント端末１６に接続されたジョイスティックによりマウスカーソルを制御しても良いことは言うまでも無い。
【００２２】
図２は、本実施の形態にかかるコンテンツ供給サーバの構成を示すブロックダイヤグラムである。図２に示すように、コンテンツ供給サーバ１０は、データベース１２、コンテンツ供給部２２、データ処理部２４、データ多重化部２６、通信制御部２８およびサブコンテンツ供給部３０を有している。
【００２３】
データベース１２には、種々の映像コンテンツ、および、映像コンテンツ中のオブジェクトの各々と関連付けられたサブコンテンツが格納されている。コンテンツ供給部２２は、データベース１２に格納された映像コンテンツを読み出す。データ処理部２４は、オブジェクト抽出条件やＵＲＬ情報を含むオブジェクトに関する情報を受け入れ、オブジェクトに関する情報に基づいて、映像コンテンツ中のオブジェクトを抽出し、抽出されたオブジェクトのデータ（座標領域時系列データ）を生成する。データ多重化部２６は、映像コンテンツと、オブジェクトのデータおよびＵＲＬ情報とを多重化する。多重化された映像コンテンツは通信制御部２８から、ネットワーク１４を介して、クライアント端末１６に送信される。
【００２４】
サブコンテンツ供給部３０は、クライアント端末１６から送信され、通信制御部２８により受信されたＵＲＬ情報に基づいて、データベース１２からサブコンテンツを読み出す。読み出されたサブコンテンツは、通信制御部２８を介して、クライアント端末１６に送信される。
【００２５】
図３は、本実施の形態にかかるコンテンツ供給サーバおよびクライアント端末において実行される処理の概略を示す図である。コンテンツ供給部２２により、データベース１２から読み出されたコンテンツ映像３０１は、データ処理部２４に与えられる。データ処理部２４には、たとえば、オペレータによる入力装置（図示せず）の操作に基づくオブジェクトに関する情報が与えられる。或いは、データベースにオブジェクトに関する情報が予め記憶され、データ処理部２４が、これらデータを読み出しても良い。
【００２６】
ここに、オブジェクトとは、映像コンテンツの画像信号に含まれるエッジ、色、領域に関する一定の特徴を持つ意味的なまとまりをもった対象をいう。オブジェクトに関する情報には、オブジェクト固有の抽出条件、および、当該オブジェクトに関連付けられたハイパーリンクＵＲＬ情報が含まれる。本実施の形態において、オブジェクト固有の抽出条件には、画像信号のエッジ、色および／領域に関する情報が含まれる。つまり、一定のエッジ、色、領域の条件に合致する映像コンテンツの部分が、データ処理部２４によってオブジェクトとして認識される。
【００２７】
なお、映像コンテンツにおけるオブジェクトの抽出処理には、たとえば、背景差分、フレーム間差分、マッチング追跡、オプティカルフローなどが知られている。
【００２８】
背景差分処理とは、映像コンテンツ中の背景の情報を予め用意しておき、背景とオブジェクトの画像信号の差分に基づいてオブジェクトを抽出する方法である。フレーム間差分抽出処理は、各フレーム間の画像信号の差分を算出することにより、オブジェクトを抽出する方法である。マッチング追跡処理とは、オブジェクトの特徴を示す初期データに基づいて、各フレームにおいて初期データに基づいてオブジェクトを抽出する方法である。また、オプティカルフローは、映像コンテンツの各点の速度場を求め、求められた速度場に基づいてオブジェクトを抽出する方法である。本実施の形態においては、これらの手法の何れかを採用してオブジェクトを抽出し、各フレームにおけるオブジェクトの座標を算出することにより、オブジェクトのデータを生成する。
【００２９】
データ処理部２４により、映像コンテンツ（符号３０２）におけるオブジェクト（符号３０３）のデータが生成され、データ多重化部２６において、映像コンテンツとオブジェクトのデータとが多重化されて、クライアント端末１６に送信される。
【００３０】
クライアント端末１６の表示装置の画面上には、コンテンツ供給サーバ１０により送信された映像コンテンツ（符号３１０参照）が表示される。また、ユーザがリモートコントローラ１８を操作して、表示画面において、マウスカーソル（図示せず）をオブジェクト３１１の上に移動して所定の指示を与えることにより（或いは、オブジェクトの上に移動させることにより）、ハイパーリンクＵＲＬ情報がコンテンツ供給サーバ１０に送信され、サブコンテンツ供給部３０が、ハイパーリンクＵＲＬ情報に基づいて、データベース１２から所定のサブコンテンツを読み出して、クライアント端末１６に送信する。
【００３１】
以下、コンテンツ供給サーバ１０およびクライアント端末１６における処理、並びに、これらの間のデータ送受信について、図４および図５を参照してより詳細に説明する。図４に示すように、コンテンツ供給サーバ１０のコンテンツ供給部２２が、データベース１２から１フレーム分の映像コンテンツのデータを読み出す（ステップ４０１）。この１フレーム分の映像コンテンツのデータは、データ処理部２４に送られる（ステップ４０２）。データ処理部２４は、オペレータが入力し、或いは、予めデータベース１２に記憶されたオブジェクト抽出条件およびオブジェクトに関連付けられたサブコンテンツを特定するＵＲＬ情報を取得する（ステップ４０３）。次いで、データ処理部２４は、オブジェクトを抽出し（ステップ４０４）、抽出されたオブジェクトのデータである、座標領域時系列データを生成する（ステップ４０５）。
【００３２】
座標領域時系列データおよびサブコンテンツを特定するハイパーリンクＵＲＬ情報は、データ多重化部２６に送られる（ステップ４０６参照）。データ多重化部２６は、１フレーム分の映像コンテンツのデータと、受信した座標領域時系列データおよびハイパーリンクＵＲＬ情報とを多重化した１フレーム分の映像コンテンツのデータ（多重化されタ映像コンテンツのデータ）を生成する（ステップ４０７）。多重化された映像コンテンツのデータは、通信制御部２８およびネットワーク１４を介して、クライアント端末１６に送信される（ステップ４０８）。このような処理を繰り返すことで、１フレーム分の多重化された映像コンテンツのデータが順次生成され、クライアント端末１６に送信される。したがって、クライアント端末１６においては、その表示装置の画面上に、映像コンテンツに基づく動画が表示される。
【００３３】
以下、簡単に座標領域時系列データについて説明する。たとえば、オブジェクトが、映像コンテンツのフレームごとに移動する場合を考える。図６は、映像コンテンツの時系列フレームにおけるオブジェクトの動きの例を示す図である。図６において、ｉ番目（ｉ＝１、２、・・・、ｎ）のフレームにおけるオブジェクトの座標を、Ｆｉ＝（ｘｉ，ｙｉ）と表す。たとえば、１フレーム目（フレーム＃１）のオブジェクト（符号６０１参照）の座標はＦ１、ｎフレーム目（フレーム＃ｎ）のオブジェクト（符号６１０参照）の座標はＦｎである。無論、説明を単純にするため、座標を単一の（ｘ、ｙ）で示しているが、実際にオブジェクトは、単一の座標で特定されることに限定されず、たとえば、複数の座標、座標、オブジェクトの形状およびサイズなど、種々のパラメータにより特定されても良い。したがって、座標領域データも、フレームごとの単一の座標のデータに限定されず、フレームごとのオブジェクトを特定する座標群（上述した、複数の座標や、座標、オブジェクトの形状およびサイズなど）のデータも含まれる。また、フレームごとの座標領域データの集合体である座標領域時系列データについても同様である。以下の説明においては、座標領域データとして座標が利用される。
【００３４】
図７は、本実施の形態において、多重化された映像コンテンツのデータの例を示す図である。図７において、１フレーム目（フレーム＃１）の映像コンテンツのデータ（符号７０１参照）においては、オブジェクトの座標Ｆ１およびオブジェクトに関連付けられたサブコンテンツを示すハイパーリンクＵＲＬ情報が、１フレーム目の映像コンテンツのデータ（映像コンテンツデータ部（フレーム＃１））に多重化されている。２フレーム目以降、ｉフレーム目（フレーム＃ｉ（ｉ＝２、３、・・・、ｎ）においても同様に、オブジェクトの座標ＦｉおよびハイパーリンクＵＲＬ情報が、ｉフレーム目の映像コンテンツのデータ（映像コンテンツデータ部（フレーム＃ｉ））に多重化されている。
【００３５】
図５に示すように、多重化された映像コンテンツのデータがクライアント端末１６に送信され（ステップ５００）、映像コンテンツがクライアント端末の表示装置の画面上に表示される（ステップ５０１）。この状態で、ユーザがリモートコントローラ１８を操作して、表示画面上のマウスカーソルをオブジェクト上に移動させて所定のアクションを行った場合を考える（ステップ５０２）。
【００３６】
たとえば、クライアント端末１６のブラウザ機能を利用して、マウスカーソルによるアクションを実現することができる。たとえば、映像コンテンツにおいてマウスカーソルが配置された位置を検出するために、Javascript（登録商標）の機能を利用することができる。上記Javascript（登録商標）において、「getMouseX」、「getMouseY」、「getMouseXonScreen」および「getMouseYonScreen」というファンクションを利用すればよい。これにより、映像コンテンツ内のオブジェクトの座標と、ユーザが示したマウスカーソルの座標とが一致した場合に、アクションが成立したと判断される。無論、座標の一致のみでなく、その状態で、ユーザが所定の指示（クリックに相当する操作）をした場合にアクションが成立されると判断しても良い。
【００３７】
クライアント端末１６は、リモートコントローラ１８からのアクションの受信に応答して、映像コンテンツのデータにおいて、ユーザがマウスカーソルにて指示したオブジェクトに関連付けられたハイパーリンクＵＲＬ情報を取得する（ステップ５０３）。クライアント端末１６は、ハイパーリンクＵＲＬ情報に基づいて、非同期ＨＴＴＰ／ＸＭＬ通信により、コンテンツの配信を要求する（ステップ５０４）。非同期ＨＴＴＰ／ＸＭＬ通信によって、ウェブページのリロードを伴うことなく、サーバとの間でＸＭＬ形式のデータのやり取りを行い、これにより、リアルタイムインタラクティブアクションを実現することができる。
【００３８】
コンテンツ供給サーバ１０のサブコンテンツ供給部３０は、ハイパーリンクＵＲＬ情報に基づいて、データベース１２からサブコンテンツを読み出し（ステップ５０５）、サブコンテンツを、ＸＭＬのプレーンテキスト形式でクライアント端末１６に送信する（ステップ５０６）。
【００３９】
非同期ＨＴＴＰ／ＸＭＬ通信によるサブコンテンツを受信すると、クライアント端末１６は、映像コンテンツのリロードを伴わず、既に表示されている映像コンテンツの上に重ねられる状態で、テキスト形式のサブコンテンツを表示する（ステップ５０７）。
【００４０】
なお、Ａｊａｘとよばれるユーザインタフェース構築技術が知られている。このＡｊａｘでは，ＸｍｌＨｔｔｐＲｅｑｕｅｓｔという技術を組み合わせることで，非同期通信、双方向インタラクションを実現する新たなツールとしてJavascript(登録商標)を利用している。より具体的には、ＤＨＴＭＬやＸＭＬ、ＸＭＬＨｔｔｐＲｅｑｕｅｓｔ、ＣＳＳ、そしてそれらを組み合せるJavaScript（登録商標）といった技術で、画面遷移なく画面移行することを実現している。
【００４１】
第１の実施の形態における具体的な使用例について以下に説明する。たとえば、映像コンテンツ中、商品に相当する画像の部分をオブジェクトとして、オブジェクトのそれぞれに対応するハイパーリンクＵＲＬ情報を関連付けておく。したがって、フレームごとの映像コンテンツのデータには、当該映像コンテンツデータ部に、商品ごとのオブジェクト座標および対応するハイパーリンクＵＲＬ情報が付加される。また、ハイパーリンクＵＲＬ情報に相当するサブコンテンツとして、それぞれの商品の詳細情報（製造者、価格など）が、データベース１２に格納されている。図８（ａ）の例では、ボール、図示しないが選手のユニフォーム、サッカーシューズなどがオブジェクトとされている。
【００４２】
クライアント端末１６の表示装置の画面上に表示された商品の画像（画像の部分）を、リモートコントローラ１８の操作に伴うマウスカーソルの移動により指定することで、指定されたオブジェクトに関連付けられたハイパーリンクＵＲＬ情報が、コンテンツ供給サーバ１０に送信され、サブコンテンツ供給部３０が、ハイパーリンクＵＲＬ情報に基づくコンテンツ、つまり、ユーザが指定した商品の詳細情報を含むプレーンテキスト形式のサブコンテンツが、映像コンテンツ上に表示される。たとえば、図８（ａ）において、映像コンテンツ８００中のボール８０１がユーザにより指定されると、図８（ｂ）に示すように、ボールに関連付けられたハイパーリンクＵＲＬ情報に基づいて、その詳細情報を示すサブコンテンツ８１１が、映像コンテンツ８１０に重ねられる形で表示される。
【００４３】
本実施の形態によれば、コンテンツ供給サーバ１０が、映像コンテンツからオブジェクトを抽出し、その座標領域時系列データおよびハイパーリンクＵＲＬ情報を、映像コンテンツのデータに多重化して、クライアント端末１６に送信する。クライアント端末１６において、オブジェクトを指定することにより、映像コンテンツの画面遷移を伴うことなく、ＵＲＬ情報に基づくサブコンテンツの要求がコンテンツ供給サーバ１０に伝達され、コンテンツ供給サーバ１０は、映像コンテンツの画面遷移を伴わないようにサブコンテンツをクライアント端末１６に送信する。これにより、クライアント端末１６の表示装置の画面上においては映像コンテンツ上にサブコンテンツが表示される。
【００４４】
なお、第１の実施の形態においては、図７に示すように、フレームごとの映像コンテンツのデータに、オブジェクト座標およびハイパーリンクＵＲＬ情報を付加しているが、このような構成に限定されるものではない。たとえば、図９に示すように、先頭のフレーム（フレーム＃１）の映像コンテンツのデータ（符号９０１参照）に、各フレームにおけるオブジェクト座標（ｉ＝１Ｆｉ、２、・・・、ｎ）のデータ列およびハイパーリンクＵＲＬ情報を付加しておいても良い。この場合、先頭フレームの次のフレーム（フレーム＃２）以降については、映像コンテンツデータ部のみが送信される。また、この場合には、予め映像コンテンツから、オブジェクトの座標のデータ列を取得しておく必要がある。
【００４５】
次に、本発明の第２の実施の形態について説明する。第１の実施の形態においては、コンテンツ供給サーバ１０において、映像コンテンツからオブジェクトを抽出し、その情報（座標領域時系列データ）およびハイパーリンクＵＲＬ情報を、映像コンテンツのデータに多重化して、クライアント端末１６に送信している。
【００４６】
第２の実施の形態においては、コンテンツ供給サーバ１０は、オブジェクト抽出条件および当該オブジェクトに関連付けられたハイパーリンクＵＲＬ情報を映像コンテンツのデータに多重化する。
【００４７】
図１０は、本発明の第２の実施の形態にかかるコンテンツ供給サーバの構成を示すブロックダイヤグラムである。図１０に示すように、コンテンツ供給サーバ１０は、データベース１２、コンテンツ供給部２２、データ多重化部２６、通信制御部２８およびサブコンテンツ供給部３０を有している。第１の実施の形態と比較すると、第２の実施の形態にかかるコンテンツ供給サーバ１０は、データ処理部が設けられていない。その一方、図示しないが、クライアント端末１６は、オブジェクト抽出条件に基づいて、各フレームの映像コンテンツのデータから、オブジェクトの座標領域データを算出するオブジェクト領域抽出処理部が設けられている。
【００４８】
図１１および図１２は、第２の実施の形態にかかるコンテンツ供給サーバおよびクライアント端末における処理、並びに、これらの間のデータ送受信の例を説明するフローチャートである。図１１において、ステップ１１０１、１１０２は、図４のステップ４０１、４０２と同様である。データ多重化部２６は、オペレータが入力し、或いは、予めデータベース１２に記憶されたオブジェクト抽出条件およびオブジェクトに関連付けられたサブコンテンツを特定するハイパーリンクＵＲＬ情報を取得する（ステップ１１０３）。ステップ１１０３は、図４のステップ４０３と同様である。次いで、データ多重化部２６は、たとえば、先頭フレーム（フレーム＃１）の映像コンテンツのデータに、オブジェクト抽出条件およびハイパーリンクＵＲＬ情報を多重化する（ステップ１１０４）。情報が多重化された映像コンテンツは、通信制御部２８およびネットワーク１４を介して、クライアント端末１６に送信される（ステップ１１０５）。
【００４９】
なお、オブジェクト抽出条件およびハイパーリンクＵＲＬ情報は、先頭のフレーム（フレーム＃１）の映像コンテンツのデータに多重化すればよい。つまり、図９に示すデータ構成と同様に、先頭のフレームの次のフレーム（フレーム＃２）以降は、映像コンテンツデータ部のみを送信すればよい。
【００５０】
図１２に示すように、クライアント端末１６が、情報が多重化された映像コンテンツを受信すると（１２０１）、そのオブジェクト領域抽出処理部（図示せず）が、オブジェクト抽出条件に基づいて、映像コンテンツ中のオブジェクトの座標領域データを生成する（ステップ１２０２）。ステップ１２０２は、図４のステップ４０４、４０５の処理と同様である。ここでは、オブジェクト抽出条件に基づいて、あるフレームのフレームにおけるオブジェクトの座標を算出する。その後、クライアント端末１６は、表示装置の画面上に映像コンテンツを表示する。フレーム＃２以降の映像コンテンツを受信した場合にも、同様にステップ１２０１、１２０２の処理が実行される。
【００５１】
ステップ１２０３〜ステップ１２０８は、図５のステップ５０２〜５０７と同様であるため説明は省略する。
【００５２】
次に、本発明の第３の実施の形態について説明する。第３の実施の形態においては、サブコンテンツを、クライアント端末ではなく、他の端末（たとえば、リモートコントローラ１８）に送信して、リモートコントローラの表示装置の画面上に表示させる。図１３に示すように、第３の実施の形態においては、サブコンテンツも、コンテンツ供給サーバ１０とクライアント端末１６との間のデータ通信路（符号１３０１）を経て、さらに、クライアント端末１６とリモートコントローラ１８との間のデータ通信路（符号１３０２）を経て、リモートコントローラ１８に伝達される。
【００５３】
また、第４の実施の形態も、同様に、サブコンテンツを他の端末に送信する。しかしながら、第３の実施の形態においては、サブコンテンツが、クライアント端末１６を介して他の端末に送信されるのに対して、第４の実施の形態においては、サブコンテンツは、クライアント端末１６を介することなく、他の端末に伝達される。図１４に示すように、第４の実施の形態においても、第３の実施の形態と同様なコンテンツ供給サーバ１０とクライアント端末１６との間のデータ通信路（符号１４０１）、および、クライアント端末１６とリモートコントローラ１８との間のデータ通信路（符号１４０２）が存在する。第４の実施の形態では、それに加えて、コンテンツ供給サーバ１０とリモートコントローラ１８との間のデータ通信路（符号１４０３）が設けられ、これが、コンテンツ供給サーバ１０からリモートコントローラへのサブコンテンツの送信に利用される。データ通信路１４０３として、たとえば、モバイルネットワークを利用することができる。
【００５４】
図１５（ａ）は、第３の実施の形態にかかるコンテンツ供給サーバ、クライアント端末およびリモートコントローラ間のデータ送受信の例を示すフローチャートである。図１５（ａ）において、ステップ１５０１〜ステップ１５０３は、図５のステップ５０４〜５０６と同様である。クライアント端末１６は、サブコンテンツを受信すると、これを、クライアント端末１６とリモートコントローラ１８との間の通信プロトコルにしたがってリモートコントローラ１８に送信する（ステップ１５０４）。これにより、リモートコントローラ１８の表示装置の画面上にサブコンテンツが表示される（ステップ１５０５）。
【００５５】
図１５（ｂ）は、第4の実施の形態にかかるコンテンツ供給サーバ、クライアント端末およびリモートコントローラ間のデータ送受信の例を示すフローチャートである。図１５（ｂ）において、ステップ１５１１、１５１２は、図５のステップ５０４、５０５と同様である。コンテンツ供給サーバ１０は、モバイルネットワーク（ＮＷ）を経由して、サブコンテンツをリモートコントローラ１８に送信する。リモートコントローラ１８は、サブコンテンツを受信して、表示装置の画面上に、受信したサブコンテンツを表示する（ステップ１５０６）。
【００５６】
次に、本発明の第５の実施の形態について説明する。第５の実施の形態においては、映像コンテンツ中のオブジェクトではなく、実際に存在する物（以下、「動体」と称する）について、その動体に関連付けられたサブコンテンツをユーザが取得することができる。
【００５７】
図１６は、第５の実施の形態にかかるシステムの概略を示すブロックダイヤグラムである。図１６に示すように、データ処理端末１６０が、ある撮影フィールドを撮影可能なカメラ１６１に接続される。撮影フィールドには、動体がある。第５の実施の形態においては、撮影フィールドは水槽１６２０であり、水槽中には動体として魚１６２１が泳いでいる。
【００５８】
第５の実施の形態においては、モバイル端末３２が、データ処理端末１６０とデータ通信路１６０１を介して通信可能であるとともに、コンテンツ供給サーバ１６とデータ通信路１６１１を介して通信可能である。また、データ処理端末１６０とコンテンツ供給サーバ１０も、データ通信路１６０２を介して通信可能である。
【００５９】
モバイル端末３２は、ポインティングデバイスを内蔵し、撮影フィールドに配置されたセンサと協働して、撮影フィールド中の所望の座標を指定できるようになっている。この例では、水槽１６２０の正面１６２２にセンサ（図示せず）が設けられ、モバイル端末３２が指し示した位置を示す情報が、センサから信号線１６２３を介してデータ処理端末１６０に伝達され、データ処理端末１６０においてその座標が算出されるようになっている。
【００６０】
たとえばモバイル端末３２とデータ処理端末１６０との間は無線ＬＡＮにより通信できるように構成すればよい。また、データ処理端末１６０とコンテンツ供給サーバ１０との間はインターネット、モバイル端末３２とコンテンツ供給サーバ１０との間は、インターネットおよびモバイルネットワークにより通信できるように構成すればよい。
【００６１】
コンテンツ供給サーバ１０のデータベース１２には、予め動体のＵＲＬ情報と対応付けられたサブコンテンツが格納されている。
【００６２】
以下、図１７〜図１９を参照して、第５の実施の形態にかかるコンテンツ供給サーバ１０、データ処理端末１６０、モバイル端末３２などにおける処理、および、これらの間のデータ送受信について説明する。
【００６３】
ビデオカメラ１６１が撮影した撮影フィールドの映像信号は、データ処理端末１６０に送信される（ステップ１７０１、１７０２）。データ処理端末１６０は、オペレータが入力し、或いは、予め入力され、データ処理端末１６０の記憶装置（図示せず）記憶された動体の抽出条件および動体に関連付けられたサブコンテンツを特定するＵＲＬ情報を取得する（ステップ１７０３）。このＵＲＬ情報は、コンテンツ供給サーバ１０のデータベースに記憶されたサブコンテンツに関連付けられたＵＲＬ情報と共通である。次いで、データ処理端末１６０は、動体の抽出条件に基づいて、映像から動体を抽出し、当該動体の撮影フィールド内での座標を算出する（ステップ１７０４）。次いで、データ処理端末１６０は、撮影フィールド内での座標を、ユーザからみた撮影フィールドの座標系にしたがった座標に変換する（ステップ１７０５）。ステップ１７０５で得られた座標の情報、および、ＵＲＬ情報は、データ処理端末上で起動したブラウザに与えられる（ステップ１７０６）。なお、第５の実施の形態においては、上記座標の情報が、座標領域データに相当する。ブラウザは、ハイパーリンク処理を実行して、与えられた座標にＵＲＬ情報を関連付ける（ステップ１７０５）。このような処理が繰り返される。これにより、動体が移動しても、その移動した位置（ユーザからみた座標系における位置）にハイパーリンクＵＲＬ情報を関連付けておくことができる。
【００６４】
前述したように、モバイル端末１８の指し示す位置を、データ処理端末１６０は検出することができる。これは、たとえば、特許文献２に記載されたような技術、撮影フィールドに配置されたセンサおよびモバイル端末自身に内蔵されたセンサによる３点検知のような技術により実現することができる。
【００６５】
たとえば、ユーザがある位置を指し示した状態で、所定のアクション（たとえば、モバイル端末のスイッチのクリック）を実行すると、そのアクションが、モバイル端末３２からデータ処理端末１６０に送信される（ステップ１８０１）。データ処理端末１６０は、上述した技術に基づいて、モバイル端末３２が指し示した位置を検出する（ステップ１８０２）。次いで、データ処理端末１６０は、検出した位置を、ユーザからみた座標系における座標に変換し（ステップ１８０３）、座標の情報およびアクションの情報をブラウザに与える（ステップ１８０４）。ブラウザは、ユーザのアクションが、動体の座標のハイパーリンクに対して行われたとき（つまり、ステップ１８０４で与えられた座標が、ハイパーリンクされている座標領域データと一致するとき）に、コンテンツ供給サーバに対してＨＴＴＰ通信を実行する（ステップ１８０５）。
【００６６】
ＨＴＴＰ通信コマンド（図１９のステップ１９０１）を受信したコンテンツ供給サーバ１０は、ＨＴＴＰ通信コマンドに含まれるハイパーリンクＵＲＬ情報に基づいて、データベース１２からサブコンテンツを読み出す（ステップ１９０２）。コンテンツ供給サーバ１０は、モバイルネットワークを介して、サブコンテンツをモバイル端末３２に送信する（ステップ１９０３）。このようにして、モバイル端末３２は、表示装置の画面上にサブコンテンツを表示することができる（ステップ１９０４）。
【００６７】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００６８】
たとえば、前記第１〜第４の実施の形態において、映像コンテンツにおいて移動するオブジェクトを識別し、或いは、第５の実施の形態において、映像中で移動する動体を識別するために、種々の動体追跡アルゴリズムを使用することができる。たとえば、Kalman Particle Filter、Unscented Particle Filter、Condensation FilterなどParticle
Filterを利用したアルゴリズムによってオブジェクトや動体を識別することができる。
【００６９】
また、前記実施の形態において、ウェブページのリロードを伴わないデータ通信として、非同期ＨＴＴＰ／ＸＭＬ通信を利用しているが、他の非同期メソッドを利用しても良い。たとえば、ＨＴＭＬ  ＤＯＭには、
Image#src、HTMLImageElement#src
Window#location（HTMLIFrameElement、HTMLFrameElement）
HTMLScriptElement#src
DHTML
Behavior（#default#download）
などの非同期メソッドが存在する。
また、第３の実施の形態において、他の端末としてリモートコントローラ１８にサブコンテンツを送信しているが他の端末はこれに限定されるものではなく、携帯電話などであっても良い。
【図面の簡単な説明】
【００７０】
【図１】図１は、本発明の第１の実施の形態にかかるコンテンツ供給サーバを含むシステム全体の概略を示すブロックダイヤグラムである。
【図２】図２は、本実施の形態にかかるコンテンツ供給サーバの構成を示すブロックダイヤグラムである。
【図３】図３は、本実施の形態にかかるコンテンツ供給サーバおよびクライアント端末において実行される処理の概略を示す図である。
【図４】図４は、本実施の形態にかかるコンテンツ供給サーバおよびクライアント端末における処理、並びに、これらの間のデータ送受信の例を示すフローチャートである。
【図５】。図５は、本実施の形態にかかるコンテンツ供給サーバおよびクライアント端末における処理、並びに、これらの間のデータ送受信の例を示すフローチャートである。
【図６】図６は、映像コンテンツの時系列フレームにおけるオブジェクトの動きの例を示す図である。
【図７】図７は、本実施の形態において、多重化された映像コンテンツのデータの例を示す図である。
【図８】図８（ａ）は、本実施の形態における映像コンテンツの例、図８（ｂ）はサブコンテンツが重ねられた映像コンテンツの例を示す図である。
【図９】図７は、本実施の形態において、多重化された映像コンテンツのデータの他の例を示す図である。
【図１０】図１０は、本発明の第２の実施の形態にかかるコンテンツ供給サーバの構成を示すブロックダイヤグラムである。
【図１１】図１１は、第２の実施の形態にかかるコンテンツ供給サーバおよびクライアント端末における処理、並びに、これらの間のデータ送受信の例を説明するフローチャートである。
【図１２】図１１は、第２の実施の形態にかかるコンテンツ供給サーバおよびクライアント端末における処理、並びに、これらの間のデータ送受信の例を説明するフローチャートである。
【図１３】図１３は、第３の実施の形態にかかるコンテンツ供給サーバ、クライアント端末およびリモートコントローラの間のデータ送受信の概略を示す図である。
【図１４】図１４は、第４の実施の形態にかかるコンテンツ供給サーバ、クライアント端末およびリモートコントローラの間のデータ送受信の概略を示す図である。
【図１５】図１５（ａ）は、第３の実施の形態にかかるコンテンツ供給サーバ、クライアント端末およびリモートコントローラ間のデータ送受信の例を示すフローチャート、図１５（ｂ）は、第４の実施の形態にかかるコンテンツ供給サーバ、クライアント端末およびリモートコントローラ間のデータ送受信の例を示すフローチャートである。
【図１６】図１６は、第５の実施の形態にかかるシステムの概略を示すブロックダイヤグラムである。
【図１７】図１７は、第５の実施の形態にかかるコンテンツ供給サーバ、データ処理端末、モバイル端末などにおける処理、および、これらの間のデータ送受信の例を示すフローチャートである。
【図１８】図１８は、第５の実施の形態にかかるコンテンツ供給サーバ、データ処理端末、モバイル端末などにおける処理、および、これらの間のデータ送受信の例を示すフローチャートである。
【図１９】図１９は、第５の実施の形態にかかるコンテンツ供給サーバ、データ処理端末、モバイル端末などにおける処理、および、これらの間のデータ送受信の例を示すフローチャートである。
【符号の説明】
【００７１】
１０        コンテンツ供給サーバ
１２        データベース
１６        クライアント端末
１８        リモートコントローラ
２２        コンテンツ供給部
２４        データ処理部
２６        データ多重化部
２８        通信制御部
３０        サブコンテンツ供給部
【図１】
2008067139.tif 000003
【図２】
2008067139.tif 000004
【図３】
2008067139.tif 000005
【図４】
2008067139.tif 000006
【図５】
2008067139.tif 000007
【図６】
2008067139.tif 000008
【図７】
2008067139.tif 000009
【図８】
2008067139.tif 000010
【図９】
2008067139.tif 000011
【図１０】
2008067139.tif 000012
【図１１】
2008067139.tif 000013
【図１２】
2008067139.tif 000014
【図１３】
2008067139.tif 000015
【図１４】
2008067139.tif 000016
【図１５】
2008067139.tif 000017
【図１６】
2008067139.tif 000018
【図１７】
2008067139.tif 000019
【図１８】
2008067139.tif 000020
【図１９】
2008067139.tif 000021