(57)【特許請求の範囲】
【請求項１】
コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記端末装置において、
前記中継装置を検出する検出部と、
コンテンツを再生する再生部と、
再生されている前記コンテンツを、検出された前記中継装置に送信する送信部と、
前記中継装置が前記識別サーバ装置に対して前記コンテンツの識別を依頼し、前記識別サーバ装置が前記中継装置に対して送信した前記コンテンツの識別結果を表すレスポンスであって、前記中継装置によって中継された前記レスポンスを取得する取得部とを備え、
前記中継装置は、使用可能な１以上の前記識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、
前記識別クライアントは、前記端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置が送信した、前記コンテンツの識別結果に対応する前記レスポンスを受信し、受信した前記レスポンスを前記端末装置に中継し、
前記識別サーバ装置は、コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースを参照することにより、前記中継装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成し、生成した前記レスポンスを前記中継装置に送信する
端末装置。
【請求項２】
前記中継装置から取得した前記レスポンスに基づいて特定されるアプリケーションサーバから、再生されている前記コンテンツに対応するアプリケーションを取得して実行するアプリケーション実行部を
さらに備える請求項１に記載の端末装置。
【請求項３】
前記中継装置に対して前記識別サーバ装置の利用を依頼するためのものであって、利用する前記識別サーバ装置に拘わらず汎用性が有る汎用依頼を生成する生成部を
さらに備え、
前記送信部は、検出された前記中継装置に前記汎用依頼も送信する
請求項２に記載の端末装置。
【請求項４】
前記生成部は、前記中継装置が利用可能な複数の前記識別サーバ装置の中から利用するものを指定するための情報を含む前記汎用依頼を生成する
請求項３に記載の端末装置。
【請求項５】
前記中継装置は、受信した前記レスポンスを所定のデータ形式に変換して所定のサーバに格納し、
前記取得部は、前記中継装置から通知される前記所定のサーバを表す情報に基づいて、前記所定のサーバから前記所定のデータに変換されている前記レスポンスを取得する
請求項２に記載の端末装置。
【請求項６】
コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記端末装置の情報処理方法において、
前記端末装置による、
前記中継装置を検出する検出ステップと、
コンテンツを再生する再生ステップと、
再生されている前記コンテンツを、検出された前記中継装置に送信する送信ステップと、
前記中継装置が前記識別サーバ装置に対して前記コンテンツの識別を依頼し、前記識別サーバ装置が前記中継装置に対して送信した前記コンテンツの識別結果を表すレスポンスであって、前記中継装置によって中継された前記レスポンスを取得する取得ステップとを含み、
前記中継装置は、使用可能な１以上の前記識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、
前記識別クライアントは、前記端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置が送信した、前記コンテンツの識別結果に対応する前記レスポンスを受信し、受信した前記レスポンスを前記端末装置に中継し、
前記識別サーバ装置は、コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースを参照することにより、前記中継装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成し、生成した前記レスポンスを前記中継装置に送信する
情報処理方法。
【請求項７】
コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記端末装置の制御用のプログラムにおいて、
前記中継装置を検出する検出ステップと、
コンテンツを再生する再生ステップと、
再生されている前記コンテンツを、検出された前記中継装置に送信する送信ステップと、
前記中継装置が前記識別サーバ装置に対して前記コンテンツの識別を依頼し、前記識別サーバ装置が前記中継装置に対して送信した前記コンテンツの識別結果を表すレスポンスであって、前記中継装置によって中継された前記レスポンスを取得する取得ステップと
を含む処理を前記端末装置のコンピュータに実行させ、
前記中継装置は、使用可能な１以上の前記識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、
前記識別クライアントは、前記端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置が送信した、前記コンテンツの識別結果に対応する前記レスポンスを受信し、受信した前記レスポンスを前記端末装置に中継し、
前記識別サーバ装置は、コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースを参照することにより、前記中継装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成し、生成した前記レスポンスを前記中継装置に送信する
プログラム。
【請求項８】
コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記中継装置において、
前記中継装置は、
使用可能な１以上の識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、
前記識別クライアントは、
端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、
生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、
前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部とを備える
中継装置。
【請求項９】
前記識別クライアントは、使用可能な複数の識別サーバ装置にそれぞれ対応する数だけ実装されている
請求項８に記載の中継装置。
【請求項１０】
使用可能な複数の識別サーバ装置を表す情報を前記端末装置に通知する通知部を
さらに備える請求項９に記載の中継装置。
【請求項１１】
前記中継部は、前記レスポンスを前記端末装置に適したデータ形式に変換して所定のサーバに格納し、前記所定のサーバを表す情報を前記端末装置に通知する
請求項９に記載の中継装置。
【請求項１２】
コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記中継装置の情報処理方法において、
前記中継装置は、使用可能な１以上の識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、
前記識別クライアントによる、
端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出ステップと、
前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成ステップと、
生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信ステップと、
前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継ステップとを含む
情報処理方法。
【請求項１３】
コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記中継装置の制御用のプログラムにおいて、
前記中継装置が、使用可能な１以上の識別サーバ装置にそれぞれ対応する１以上の識別クライアントを含み、
前記識別クライアントが、
端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出ステップと、
前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成ステップと、
生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信ステップと、
前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継ステップとを含む処理を実行するように前記中継装置のコンピュータを制御する
プログラム。
【請求項１４】
コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおいて、
前記端末装置は、
前記中継装置を検出する検出部と、
コンテンツを再生する再生部と、
再生されている前記コンテンツを、検出された前記中継装置に送信する送信部と、
前記中継装置が前記識別サーバ装置に対して前記コンテンツの識別を依頼し、前記識別サーバ装置が前記中継装置に対して送信した前記コンテンツの識別結果を表すレスポンスであって、前記中継装置によって中継された前記レスポンスを取得する取得部と
を備え、
前記中継装置は、使用可能な１以上の前記識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、
前記識別クライアントは、
端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、
生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応する前記レスポンスを受信する通信部と、
前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部と
を備え、
前記識別サーバ装置は、
コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースと、
前記データベースを参照することにより、前記中継装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成するレスポンス生成部と、
生成された前記レスポンスを前記中継装置に送信する送信部と
を備える
コンテンツ識別システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システムに関し、例えば、ユーザが視聴している任意のコンテンツを識別し、その識別結果に応じてコンテンツの進行に連動してアプリケーションプログラムを実行できるようにした端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システムに関する。
【背景技術】
【０００２】
例えば、放送中のＴＶ番組（以下、単に番組と称する）に関連する情報（出演者、あらすじ、次回の予告など）や、番組には直接関係しないが視聴者にとって有益な情報（ニュース、天気予報、交通情報など）などを視聴者に提示することを考える。
【０００３】
これを実現するためには、専用のアプリケーションプログラム（以下、アプリケーションと略記する）を取得、起動させるためのコマンドを番組の進行に連動してＴＶ受像機などに対して送信すればよい。実際、既に日本や欧州などにおいては、ＴＶ放送信号におけるデータ放送用の帯域を利用して当該コマンドやアプリケーションを送信することにより、これが実現されている（例えば、特許文献１参照）。
【０００４】
一方、映像や楽曲などの任意のコンテンツを視聴している場合において、そのコンテンツが何であるのかを認識するACR(Automatic Content Recognition)と称される技術が存在する。
【０００５】
そこで昨今、ACR技術を利用して、端末装置にて再生されている任意のコンテンツを認識し、認識されたコンテンツに対応するアプリケーションをコンテンツの進行に合わせて実行させることが検討されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−５０２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ACR技術では、視聴している任意のコンテンツから抽出したシグニチャデータ（特徴量）と、ACRサーバに予め登録済みのコンテンツのシグニチャデータとを比較することによりコンテンツの識別が行なわれる。
【０００８】
なお、今後はACRサーバを提供する業者が複数表れるともに、登録されるコンテンツの多様化による分類などにより、ACRサーバが複数出現することが予想される。これにより、例えば、ACRサーバＡは映画の認識が得意、ACRサーバＢはミュージックビデオの認識が得意、ACRサーバＣはアニメーションの認識が得意などと、各ACRサーバによって認識する得意分野が分かれることになり、端末装置側がACRサーバを選択して利用することが考えられる。
【０００９】
図１は、端末装置にて再生されている任意のコンテンツを、複数のACRサーバを利用して認識させるためのシステム構成の一例を示している。
【００１０】
このシステムは、端末装置１と、端末装置１がインターネット１２を介して接続する複数のACRサーバ３１Ａ，３１Ｂ，３１Ｃから構成される。
【００１１】
端末装置１は、ACRクライアント２Ａ，２Ｂ，２Ｃを実装する。ACRクライアント２Ａ，２Ｂ，２Ｃは、それぞれACRサーバ３１Ａ，３１Ｂ，３１Ｃから提供されるものである。
【００１２】
ACRクライアント２Ａは、ACRサーバ３１Ａの独自のサービスを利用するためのプロトコルが内蔵されており、端末装置１にて再生した任意のコンテンツからACRサーバ３１Ａに適した抽出方法によりシグニチャデータを抽出してACRサーバ３１Ａに送信する。ACRクライアント２Ｂおよび２Ｃについても、ACRクライアント２Ａと同様である。
【００１３】
端末装置１は、３つのACRクライアント２Ａ乃至２Ｃを実装することにより、３つのACRサーバ３１Ａ乃至３１Ｃを利用することができる。当然、ACRサーバ３１が３つ以上存在し、端末装置１がそれらも利用するには、それらから提供されるACRクライアントも端末装置１に実装することになる。
【００１４】
しかしながら、端末装置１に実装するACRクライアント２の数を、利用するACRサーバ３１を増加させるたびに増やしていては、その実装やメンテナンスにコストがかかってしまう。したがって、端末装置１に実装するACRクライアント２の数を増やすことなく、複数のACRサーバ３１を利用できるようにすることが望ましい。
【００１５】
本開示はこのような状況に鑑みてなされたものであり、端末装置に実装するACRクライアントの数を増やすことなく、複数のACRサーバを利用できるようにするものである。
【課題を解決するための手段】
【００１６】
本開示の第１の側面である端末装置は、コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記端末装置において、前記中継装置を検出する検出部と、コンテンツを再生する再生部と、再生されている前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記識別サーバ装置に対して前記コンテンツの識別を依頼し、前記識別サーバ装置が前記中継装置に対して送信した前記コンテンツの識別結果を表すレスポンスであって、前記中継装置によって中継された前記レスポンスを取得する取得部とを備え、前記中継装置は、使用可能な１以上の前記識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、前記識別クライアントは、前記端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置が送信した、前記コンテンツの識別結果に対応する前記レスポンスを受信し、受信した前記レスポンスを前記端末装置に中継し、前記識別サーバ装置は、コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースを参照することにより、前記中継装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成し、生成した前記レスポンスを前記中継装置に送信する。
【００１７】
本開示の第１の側面である端末装置は、前記中継装置から取得した前記レスポンスに基づいて特定されるアプリケーションサーバから、再生されている前記コンテンツに対応するアプリケーションを取得して実行するアプリケーション実行部をさらに備えることができる。
【００１８】
本開示の第１の側面である端末装置は、前記中継装置に対して前記識別サーバ装置の利用を依頼するためのものであって、利用する前記識別サーバ装置に拘わらず汎用性が有る汎用依頼を生成する生成部をさらに備えることができ、前記送信部は、検出された前記中継装置に前記汎用依頼も送信することができる。
【００１９】
前記生成部は、前記中継装置が利用可能な複数の前記識別サーバ装置の中から利用するものを指定するための情報を含む前記汎用依頼を生成することができる。
【００２０】
前記中継装置は、受信した前記レスポンスを所定のデータ形式に変換して所定のサーバに格納し、前記取得部は、前記中継装置から通知される前記所定のサーバを表す情報に基づいて、前記所定のサーバから前記所定のデータに変換されている前記レスポンスを取得することができる。
【００２１】
本開示の第１の側面である情報処理方法は、コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記端末装置の情報処理方法において、前記端末装置による、前記中継装置を検出する検出ステップと、コンテンツを再生する再生ステップと、再生されている前記コンテンツを、検出された前記中継装置に送信する送信ステップと、前記中継装置が前記識別サーバ装置に対して前記コンテンツの識別を依頼し、前記識別サーバ装置が前記中継装置に対して送信した前記コンテンツの識別結果を表すレスポンスであって、前記中継装置によって中継された前記レスポンスを取得する取得ステップとを含み、前記中継装置は、使用可能な１以上の前記識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、前記識別クライアントは、前記端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置が送信した、前記コンテンツの識別結果に対応する前記レスポンスを受信し、受信した前記レスポンスを前記端末装置に中継し、前記識別サーバ装置は、コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースを参照することにより、前記中継装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成し、生成した前記レスポンスを前記中継装置に送信する。
【００２２】
本開示の第１の側面であるプログラムは、コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記端末装置の制御用のプログラムにおいて、前記中継装置を検出する検出ステップと、コンテンツを再生する再生ステップと、再生されている前記コンテンツを、検出された前記中継装置に送信する送信ステップと、前記中継装置が前記識別サーバ装置に対して前記コンテンツの識別を依頼し、前記識別サーバ装置が前記中継装置に対して送信した前記コンテンツの識別結果を表すレスポンスであって、前記中継装置によって中継された前記レスポンスを取得する取得ステップとを含む処理を前記端末装置のコンピュータに実行させ、前記中継装置は、使用可能な１以上の前記識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、前記識別クライアントは、前記端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置が送信した、前記コンテンツの識別結果に対応する前記レスポンスを受信し、受信した前記レスポンスを前記端末装置に中継し、前記識別サーバ装置は、コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースを参照することにより、前記中継装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成し、生成した前記レスポンスを前記中継装置に送信する。
【００２３】
本開示の第１の側面においては、中継装置が検出され、コンテンツが再生され、再生されている前記コンテンツが、検出された前記中継装置に送信される。そして、前記中継装置が前記識別サーバ装置に対して前記コンテンツの識別を依頼し、前記識別サーバ装置が前記中継装置に対して送信した前記コンテンツの識別結果を表すレスポンスであって、前記中継装置によって中継された前記レスポンスが取得される。
【００２４】
本開示の第２側面である中継装置は、コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記中継装置において、前記中継装置は、使用可能な１以上の識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、前記識別クライアントは、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部とを備える。
【００２５】
前記識別クライアントは、使用可能な複数の識別サーバ装置にそれぞれ対応する数だけ実装することができる。
【００２６】
本開示の第２の側面である中継装置は、使用可能な複数の識別サーバ装置を表す情報を前記端末装置に通知する通知部をさらに備えることができる。
【００２７】
前記中継部は、前記レスポンスを前記端末装置に適したデータ形式に変換して所定のサーバに格納し、前記所定のサーバを表す情報を前記端末装置に通知することができる。
【００２８】
本開示の第２側面である中継方法は、コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記中継装置の情報処理方法において、前記中継装置は、使用可能な１以上の識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装し、前記識別クライアントによる、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出ステップと、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成ステップと、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信ステップと、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継ステップとを含む。
【００２９】
本開示の第２側面であるプログラムは、コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおける前記中継装置の制御用のプログラムにおいて、前記中継装置が、使用可能な１以上の識別サーバ装置にそれぞれ対応する１以上の識別クライアントを含み、前記識別クライアントが、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出ステップと、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成ステップと、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信ステップと、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継ステップとを含む処理を実行するように前記中継装置のコンピュータを制御する。
【００３０】
本開示の第２の側面においては、認識クライアントにより、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータが抽出され、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリが生成されて前記識別サーバ装置に送信され、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスが前記端末装置に中継される。
【００３１】
本開示の第３側面であるコンテンツ識別サーバは、コンテンツを再生する端末装置と、前記端末装置で再生されている前記コンテンツの識別結果を表すレスポンスを前記端末装置に中継する中継装置と、前記端末装置で再生されている前記コンテンツを識別する識別サーバ装置からなるコンテンツ識別システムにおいて、前記端末装置が、前記中継装置を検出する検出部と、コンテンツを再生する再生部と、再生されている前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記識別サーバ装置に対して前記コンテンツの識別を依頼し、前記識別サーバ装置が前記中継装置に対して送信した前記コンテンツの識別結果を表すレスポンスであって、前記中継装置によって中継された前記レスポンスを取得する取得部とを備える。また前記中継装置には、使用可能な１以上の前記識別サーバ装置にそれぞれ対応する１以上の識別クライアントが実装され、前記識別クライアントが、端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応する前記レスポンスを受信する通信部と、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部とを備える。さらに、前記識別サーバ装置が、コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースと、前記データベースを参照することにより、前記中継装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成するレスポンス生成部と、生成された前記レスポンスを前記中継装置に送信する送信部とを備える。
【００３２】
本開示の第３側面においては、端末装置により、中継装置が検出され、コンテンツが再生され、再生されている前記コンテンツが、検出された前記中継装置に送信される。そして、中継装置の識別クライアントにより、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータが抽出され、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリが生成されて前記識別サーバ装置に送信され、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応する前記レスポンスが前記端末装置に中継される。さらに、端末装置により、前記中継装置によって中継された前記レスポンスが取得される。
【発明の効果】
【００３３】
本開示の第１の側面によれば、中継装置を介することにより複数の識別サーバ装置を利用することができる。
【００３４】
本開示の第２側面によれば、端末装置に代わって複数の識別サーバ装置を利用することができる。
【００３５】
本開示の第３側面によれば、端末装置が中継装置を介することにより複数の識別サーバ装置を利用することができる。
【図面の簡単な説明】
【００３６】
【図１】複数のACRサーバを利用するために考えられるシステム構成の一例を示すブロック図である。
【図２】コンテンツ識別システムの構成例を示すブロック図である。
【図３】コンテンツ識別システムの主要部分を抽出したブロック図である。
【図４】汎用ACRクライアントの詳細な構成例を示すブロック図である。
【図５】ACRクライアントの詳細な構成例を示すブロック図である。
【図６】ACRサーバの構成例を示すブロック図である。
【図７】ACRケーパビリティのデータ構造を示す図である。
【図８】ACRクエリのデータ構造を示す図である。
【図９】ACRリファレンスデータのデータ構造を示す図である。
【図１０】ACRレスポンスのデータ構造を示す図である。
【図１１】コンテンツ識別システムの動作を説明するフローチャートである。
【図１２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３７】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３８】
［コンテンツ識別システムの構成例］
図２は、本開示のコンテンツ識別システムの実施の形態であるコンテンツ識別システム１０の構成例を示している。
【００３９】
このコンテンツ識別システム１０は、端末装置２０により再生されている任意のコンテンツが何であるのかを認識し、認識されたコンテンツに対応するアプリケーションをコンテンツの進行に連動して端末装置２０にて実行させるものである。
【００４０】
コンテンツの進行に連動して該アプリケーションが実行されることにより、ユーザが視聴中のコンテンツに関連する情報（出演者、あらすじ、次回の予告など）や、コンテンツには直接関係しないがユーザにとって有益な情報（ニュース、天気予報、交通情報など）などをコンテンツとともに画面上に表示させたり、視聴者が参加できるクイズ、投票などを実現したりすることができる。
【００４１】
なお、本実施の形態においてコンテンツとは、ＴＶ放送網、CATV網、IPTV網などを介して放送されているＴＶ番組に限らず、例えば、レコーダにより録画されて再生されたもの、プレーヤによりパッケージメディアから再生されたもの、インターネットを介して配信またはダウンロードされたものなどのあらゆるＡＶコンテンツを指すものとする。
【００４２】
コンテンツ識別システム１０は、端末装置２０、供給装置３０、およびACRゲートウェイ４０から構成される。
【００４３】
[端末装置２０の説明]
本開示の端末装置の実施の形態である端末装置２０は、ＴＶ受像機、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォンなどのコンテンツ再生装置に内蔵されているものとする。
【００４４】
端末装置２０は、ＴＶ放送網、CATV網、IPTV網などを含むブロードキャストネットワーク１１や外部装置などから供給されるコンテンツを取得し、再生できる。また、端末装置２０は、インターネット１２を介して供給装置３０のアプリケーションサーバ３３にアクセスできる。さらに、端末装置２０は、ACRゲートウェイ４０に接続できる。
【００４５】
端末装置２０は、コンテンツレンダラ２１、汎用ACRクライアント２２、アプリケーションマネージャ２３、およびユーザインターフェース２４を有する。
【００４６】
コンテンツレンダラ２１は、コンテンツを取得、再生する機能を有する。また、コンテンツレンダラ２１は、端末装置２０が内蔵されているＴＶ受像機などのコンテンツ再生装置のディスプレイに表示される全てのコンテンツを分岐して汎用ACRクライアント２２に供給する。すなわち、端末装置２０が内蔵されているコンテンツ再生装置のチューナにて受信されるコンテンツ（番組）のみならず、コンテンツ再生装置の各種入力端子(HDMI端子など)に対して外部装置から入力されるコンテンツを分岐して汎用ACRクライアント２２に供給する。
【００４７】
汎用ACRクライアント２２は、端末装置２０がアクセス可能なACRゲートウェイ４０を検出して接続し、ACRゲートウェイ４０に対してコンテンツレンダラ２１より入力されるコンテンツを送信するとともに、ACRサーバ３１を利用してコンテンツの識別を行なうように指示するための汎用依頼を通知する。
【００４８】
また、汎用ACRクライアント２２は、ACRゲートウェイ４０から通知されるURL(Uniform Resource Locator)にアクセスすることにより、指示したコンテンツの識別結果を取得し、取得した識別結果を解析する。さらに、汎用ACRクライアント２２は、その解析結果に基づき、アプリケーションマネージャ２３に対して、再生中のコンテンツに対応するアプリケーションを取得させて、コンテンツの進行に連動して実行させる。
【００４９】
アプリケーションマネージャ２３は、汎用ACRクライアント２２からの制御に従い、再生中のコンテンツに対応するアプリケーションを、インターネット１２を介してアプリケーションサーバ３３から取得して実行する。また、アプリケーションマネージャ２３は、実行中のアプリケーションが利用する関連メタデータをアプリケーションサーバ３３から取得する。
【００５０】
ユーザインターフェース２４は、コンテンツの進行に連動して実行されたアプリケーションにより表示される各種の情報をＴＶ受像機などのディスプレイに表示させる。また、ユーザインターフェース２４は、実行中のアプリケーションに対するユーザの操作を受け付ける。
【００５１】
[供給装置３０の説明]
供給装置３０は、複数のACRサーバ３１、コンテンツサーバ３２、およびアプリケーシ
ョンサーバ３３から構成される。本実施の形態では、複数のACRサーバ３１をACRサーバ３１Ａ，３１Ｂ，３１Ｃとする。
【００５２】
ACRサーバ３１Ａは、端末装置２０側で視聴され得る様々なコンテンツを取得して登録する。具体的には、コンテンツの特徴量を表すシグニチャデータを抽出し、抽出したシグニチャデータに、コンテンツ識別子、アプリケーション識別子などを対応付けたACRリファレンスデータを予め生成してデータベース化する。
【００５３】
なお、シグニチャデータの抽出方法は既存の任意の方法を適用することができる。例えば、コンテンツに予め埋め込まれているウォータマークを抽出してシグニチャデータとしたり、フィンガプリントを算出し、それをシグニチャデータとしてもよい。
【００５４】
シグニチャデータとしてフィンガプリントを用いることにより、コンテンツの解像度、アスペクト比、ビットレート、符号化フォーマットなどが変換されたとしても、変換前と変換後とで同一のシグニチャデータを得ることができる。したがって、このシグニチャデータに基づいてコンテンツの認識を行った場合の認識精度を上げることができる。
【００５５】
また、ACRサーバ３１Ａは、ACRゲートウェイ４０のACRクライアント４１Ａ（図３）から送信されるACRクエリに応じて、コンテンツの識別を行ない、その識別結果としてのACRレスポンスを生成し、インターネット１２を介してACRクライアント４１Ａに返信する。
【００５６】
ACRサーバ３１Ｂおよび３１ＣについてもACRサーバ３１Ａと同様である。ただし、ACRサーバ３１Ａ乃至３１Ｃは、それぞれにおけるシグニチャデータの抽出方法を統一する必要はなく、それぞれの抽出方法は異なっていてかまわない。また、ACRサーバ３１Ａ乃至３１Ｃのそれぞれに異なるコンテンツを登録するようにしてもよいし、同じコンテンツがACRサーバ３１Ａ乃至３１Ｃに重複して登録されていてもよい。以下、ACRサーバ３１Ａ乃至３１Ｃを個々に区別する必要がない場合、単にACRサーバ３１と称する。
【００５７】
コンテンツサーバ３２は、ブロードキャストネットワーク１１を介してコンテンツを配信するとともに、配信するコンテンツをACRサーバ３１に供給する。
【００５８】
アプリケーションサーバ３３は、端末装置２０のアプリケーションマネージャ２３からの要求に応じ、インターネット１２を介してアプリケーションを供給する。
【００５９】
なお、供給装置３０を構成するACRサーバ３１、コンテンツサーバ３２、およびアプリケーションサーバ３３は、一箇所に集中して配置してもよいし、分散して配置してもよい。また、ACRサーバ３１、コンテンツサーバ３２、およびアプリケーションサーバ３３は、適宜組み合わせて構成するようにしてもよい。
【００６０】
[ACRゲートウェイ４０の説明]
図３は、コンテンツ識別システム１０の構成のうち、ACRに関わる部分の構成例を示している。
【００６１】
本開示の中継装置の実施の形態であるACRゲートウェイ４０は、ACRクライアント４１Ａ，４１Ｂ，４１Ｃ、および制御部４２を有する。
【００６２】
ACRクライアント４１Ａ乃至４１Ｃは、それぞれACRサーバ３１Ａ乃至３１Ｃから提供されてACRゲートウェイ４０に実装される。この場合、ACRゲートウェイ４０は、３つのACRサーバ３１Ａ乃至３１Ｃを利用することができることになる。
【００６３】
ACRクライアント４１Ａは、ACRサーバ３１Ａ独自のサービスを利用するためのプロトコルが内蔵されており、汎用ACRクライアント２２から送信されるコンテンツから、ACRサーバ３１Ａに適した抽出方法によりシグニチャデータを抽出し、インターネット１２を介してACRサーバ３１Ａに送信する。
【００６４】
ACRクライアント４１Ｂおよび４１Ｃについては、ACRクライアント４１Ａと同様であるので、その説明は省略する。以下、ACRクライアント４１Ａ乃至４１Ｃを個々に区別する必要がない場合、単にACRクライアント４１と称する。
【００６５】
制御部４２は、ACRゲートウェイ４０の機能を表すACRケーパビリティを汎用ACRクライアント２２に通知する。
【００６６】
なお、汎用ACRクライアント２２からACRゲートウェイ４０にコンテンツが送信されるに際しては、圧縮符号化や暗号化が解かれたRAWデータの状態とする。したがって、コンテンツのRAWデータが不正に流出してしまいことがないように、ACRゲートウェイ４０は、端末装置２０からのコンテンツをセキュアに送信可能な、端末装置２０が内蔵されたＴＶ受像機などが属するホームネットワークなどのLAN(Local Area Network)上のホームサーバなどに内蔵されているものとする。ただし、端末装置２０からのコンテンツのRAWデータをセキュアに送信可能な通信路を確保すれば、ACRゲートウェイ４０をインターネット１２上に設けてもよい。
【００６７】
また、端末装置２０とACRゲートウェイ４０との通信路のセキュリティの状態に応じ、コンテンツを圧縮符号化されたまま、あるいは暗号化されたままの状態でACRゲートウェイ４０に送信するようにしてもよい。
【００６８】
[汎用ACRクライアント２２の説明]
次に、図４は、端末装置２０の汎用ACRクライアント２２の詳細な構成例を示している。
【００６９】
汎用ACRクライアント２２は、通信部５１、ACRゲートウェイ検出部５２、汎用依頼生成部５３、および解析部５４を有する。
【００７０】
通信部５１は、汎用ACRクライアント２２とACRゲートウェイ４０との間で各種データの通信を実行する。具体的には、汎用ACRクライアント２２から汎用依頼とコンテンツのRAWデータをACRゲートウェイ４０に送信する。また、ACRゲートウェイ４０からのACRケーパビリティを受信する。さらに、ACRゲートウェイ４０がACRサーバ３１から取得したコンテンツの識別結果を参照できるURLを受信する。さらに通信部５１は、解析部５４の制御に従い、コンテンツの識別結果を保持する所定のサーバにアクセスする。
【００７１】
ACRゲートウェイ検出部５２は、通信部５１を介してACRゲートウェイ４０を検出し、その機能を示すACRケーパビリティを取得する。ACRゲートウェイ検出部５２による、ACRゲートウェイ４０の検出とACRケーパビリティの取得には、例えばUPnP(Universal Plug and Play)のSSDP(Simple Service Discovery Protocol)を用いることができる。
【００７２】
このACRケーパビリティには、ACRゲートウェイ４０が利用可能なACRサーバ３１を表すACRサーバ識別子や、汎用ACRクライアント２２からACRゲートウェイ４０に送信するコンテンツのデータ形式を表す汎用プロトコルが記述されている。なお、汎用プロトコルは通常１種類とするが、これを複数種類としてもよい。しかしながら、その数は少ないことが望ましい。ACRケーパビリティの詳細については、図７を参照して後述する。
【００７３】
汎用依頼生成部５３は、ACRゲートウェイ４０が利用可能なACDサーバ３１のうちのどれを利用するかを指定する情報を含む汎用依頼を生成して通信部５１に出力する。また、汎用依頼生成部５３は、コンテンツレンダラ２１から入力されるコンテンツのRAWデータをACRケーパビリティに対応させた状態で通信部５１に送信する。
【００７４】
解析部５４は、通信部５１を介してACRゲートウェイ４０から通知されたURLにアクセスし、そこに格納されているHTMLドキュメントに変換済みの関連メタデータを取得して解析する。そして、その解析結果に基づき、アプリケーションマネージャ２３に対して、再生中のコンテンツに対応するアプリケーションを取得させて、コンテンツの進行に連動して実行させる。
【００７５】
[ACRクライアント４１の詳細な構成例]
次に、図５は、ACRゲートウェイ４０に実装された各ACRクライアント４１の詳細な構成例を示している。
【００７６】
ACRクライアント４１は、通信部６１、シグニチャ抽出部６２、ACRクエリ生成部６３、およびACRレスポンス変換部６４から構成される。
【００７７】
通信部６１は、汎用ACRクライアント２２から送信されたコンテンツ（のRAWデータ）を受信してシグニチャ抽出部６２に出力する。また、通信部６１は、ACRクエリ生成部６３にて生成されたACRクエリを、インターネット１２を介して対応するACRサーバ３１に送信し、それに応じた当該ACRサーバ３１からのACRレスポンスをACRレスポンス変換部６４に出力する。
【００７８】
シグニチャ抽出部６２は、汎用ACRクライアント２２から送信されるコンテンツから、対応するACRサーバ３１と同じ抽出方法によりその特徴を表すシグニチャデータを抽出して、ACRクエリ生成部６３に出力する。
【００７９】
ACRクエリ生成部６３は、シグニチャ抽出部６２からシグニチャデータが入力される毎、そのシグニチャデータを含むACRクエリを生成する。ACRクエリのデータ構造については図８を参照して後述する。
【００８０】
ACRレスポンス変換部６４は、ACRサーバ３１ＡからのACRレスポンスを解析し、そこに含まれる関連メタデータなどをHTMLドキュメント（JavaScript（登録商標）などのクライアントサイドスクリプト）に変換して所定のサーバに格納する。さらに、ACRレスポンス変換部６４は、HTMLドキュメントを格納した所定のサーバを表すURLを通信部６１から汎用ACRクライアント２２に通知させる。なお、当該所定のサーバは、ACRゲートウェイ４０と同様、端末装置２０が属するLAN上のものを用いてもよいし、インターネット１２上のものを用いてもよい。
【００８１】
[ACRサーバ３１の構成例]
図６は、供給装置３０を構成するACRサーバ３１の詳細な構成例を示している。なお、ACRサーバ３１Ａは、インターネット１２を介してACRクライアント４１Ａと通信するものとする。ACRサーバ３１Ｂ，３１Ｃについても同様である。
【００８２】
ACRサーバ３１は、コンテンツ取得部７１、シグニチャ抽出部７２、ACRデータベース７３、通信部７４、およびACRレスポンス生成部７５から構成される。
【００８３】
コンテンツ取得部７１は、端末装置２０側で視聴され得る様々なコンテンツとそのメタデータをコンテンツサーバ３２などから取得し、取得したコンテンツをシグニチャ抽出部７２に供給する。
【００８４】
シグニチャ抽出部７２は、所定の抽出方法により、コンテンツ取得部７１からのコンテンツからその特徴を表すシグニチャデータを所定のサンプリング周期で抽出し、ACRデータベース７３に出力する。
【００８５】
ACRデータベース７３は、シグニチャ抽出部７２から入力される各シグニチャデータに対し、その抽出元のコンテンツを表すコンテンツ識別子、シグニチャデータの抽出タイミングを示すコンテンツ再生時刻、および、当該コンテンツに関連する関連メタデータ（連動して実行されるアプリケーションを表すアプリケーション識別子を含む）を対応付けることによりACRリファレンスデータを生成して保持する。なお、予め生成されているACRリファレンスデータを外部からACRデータベース７３に供給して保持させるようにしてもよい。ACRリファレンスデータのデータ構造については図９を参照して後述する。
【００８６】
通信部７４は、インターネット１２を介し、ACRゲートウェイ４０に実装されているACRクライアント４１のうちの対応するものから送信されるACRクエリを受信してACRレスポンス生成部７５に出力する。また、通信部７４は、ACRレスポンス生成部７５で生成されたACRレスポンスを、インターネット１２を介してACRゲートウェイ４０に実装されているACRクライアント４１のうちの対応するものに送信する。
【００８７】
ACRレスポンス生成部７５は、ACRデータベース７３のACRリファレンスデータを参照し、ACRゲートウェイ４０に実装されているACRクライアント４１のうちの対応するものから送信されるACRクエリに含まれるシグニチャデータの抽出元であったコンテンツを識別する。さらに、ACRレスポンス生成部７５は、識別結果を含むACRレスポンスを生成して通知部７４に出力する。ACRレスポンスのデータ構造については図１０を参照して後述する。
【００８８】
[ACRケーパビリティのデータ構造]
次に、図７は、ACRゲートウェイ４０から汎用ACRクライアント２２に通知されるACRケーパビリティのデータ構造を示している。
【００８９】
ACRケーパビリティ９０には、ACRゲートウェイ４０が利用可能なACRサーバ３１を表す対応可能サーバ識別子９１が記述される。いまの場合、ACRゲートウェイ４０は、ACRクライアント４１Ａ乃至４１Ｃを実装し、ACRサーバ３１Ａ乃至３１Ｃを利用可能なので、ACRケーパビリティ９０には、３つのACRサーバ３１Ａ乃至３１Ｃを表す対応可能サーバ識別子９１Ａ，９１Ｂ，９１Ｃが記述される。
【００９０】
さらに、ACRケーパビリティ９０には、汎用ACRクライアント２２からACRゲートウェイ４０に送信するコンテンツのデータ形式を表す汎用プロトコル９２が記述される。汎用プロトコル９２には、例えばデータブロック（フレーム）のサイズ、取得周期（フレームレート）、フレーム内の領域指定情報、データブロックと共に送信すべき付随情報（ローカルタイムスタンプ、ブロックサイズ、ブロック抽出周期など）が含まれる。
【００９１】
[ACRクエリのデータ構造]
図８は、ACRクライアント４１のACRクエリ生成部６３にて生成されるACRクエリのデータ構造を示している。
【００９２】
ACRクエリ１００には、ACRクエリ識別子１０１、抽出方法識別子１０２、サービス識別子１０３、シグニチャデータ１０４、抽出ローカルタイムスタンプ１０５、発信元アドレス１０６、および署名１０７が含まれる。
【００９３】
ACRクエリ識別子１０１は、当該ACRクエリ１００を特定するための情報である。抽出方法識別子１０２は、シグニチャデータ１０４を抽出する際に用いられた抽出方法を特定するための情報である。サービス識別子１０３は、シグニチャデータ１０４に基づいてコンテンツを識別するACRサーバ３１が複数存在したり、１つのACRサーバ３１が複数のACRサービスを提供したりしている場合において、当該ACRクエリ１００を処理させるACRサーバ３１やACRサービスを選択するための情報である。
【００９４】
シグニチャデータ１０４は、シグニチャ抽出部６２にてコンテンツから抽出されたものである。抽出ローカルタイムスタンプ１０５は、シグニチャ抽出部６２によってコンテンツからシグニチャデータ１０４が抽出されたタイミングを表すものである。
【００９５】
発信元アドレス１０６は、当該ACRクエリ１００を発信するACRゲートウェイ４０のインターネット１２上におけるアドレスであり、当該ACRクエリ１００に応じてACRサーバ３１が生成するACRレスポンスの返信先として利用される。署名１０７は、当該ACRクエリ１００がインターネット１２などの通信経路において改ざんされてしまうことを防止するためのものである。なお、ACRクエリ１００の全体を暗号化して送信することにより、その改ざんを防止するようにしてもよい。
【００９６】
[ACRリファレンスデータのデータ構造]
図９は、ACRサーバ３１のACRデータベース７３に保持されるACRリファレンスデータのデータ構造を示している。
【００９７】
ACRリファレンスデータ１１０は、シグニチャデータ１１１に、コンテンツ識別子１１２、再生時刻１１３、および関連メタデータ１１４が対応付けて構成される。
【００９８】
シグニチャデータ１１１は、シグニチャ抽出部７２にてコンテンツから抽出されたものである。コンテンツ識別子１１２は、当該シグニチャデータ１１１の抽出元のコンテンツを表すものである。再生時刻１１３は、コンテンツ識別子１１２が表すコンテンツから当該シグニチャデータ１１１が抽出されたときのコンテンツの進行タイミングを示すものであり、例えばコンテンツ識別子１１２が表すコンテンツの先頭からの経過時間によって表される。
【００９９】
関連メタデータ１１４は、コンテンツ識別子１１２が表すコンテンツに関連するメタデータであり、当該コンテンツの再生時刻１１３が示す進行タイミングに連動して実行すべきアプリケーションを表すアプリケーション識別子（当該アプリケーションの取得先を表す情報を含む）を含むものである。
【０１００】
[ACRレスポンスのデータ構造]
図１０は、ACRサーバ３１のACRレスポンス生成部７５にて生成されるACRレスポンスのデータ構造を示している。
【０１０１】
なお、同図Ａは、ACRゲートウェイ４０のACRクライアント４１から送信されたACRクエリ１００のシグニチャデータ１０４と、ACRデータベース７３に登録済みのACRリファレンスデータ１１０のシグニチャデータ１１１とが同定できた場合、すなわち、端末装置２０にて視聴中のコンテンツを識別できた場合に生成されるACRレスポンスのデータ構造である。同図Ｂはコンテンツが識別できなかった場合に生成されるACRレスポンスのデータ構造である。
【０１０２】
同図Ａに示されるように、コンテンツが識別できた場合に生成されるACRレスポンス１２０には、ACRクエリ識別子１２１、抽出方法識別子１２２、サービス識別子１２３、コンテンツ識別子１２４、再生時刻１２５、ローカルタイムスタンプ１２６、関連メタデータ１２７、発信元アドレス１２８、および署名１２９が含まれる。
【０１０３】
同図Ｂに示されるように、コンテンツが識別できなかった場合に生成されるACRレスポンス１２０には、ACRクエリ識別子１２１、サービス識別子１２３、発信元アドレス１２８、署名１２９、および同定失敗フラグ１３０が含まれる。
【０１０４】
ACRクエリ識別子１２１、抽出方法識別子１２２、サービス識別子１２３、およびローカルタイムスタンプ１２６は、当該ACRレスポンス１２０が生成されるトリガとなったACRクエリ１００のACRクエリ識別子１０１、抽出方法識別子１０２、サービス識別子１０３、および抽出ローカルタイムスタンプ１０５が流用される。
【０１０５】
コンテンツ識別子１２４、再生時刻１２５、および関連メタデータ１２７は、同定されたシグニチャデータ１１１を含むACRリファレンスデータ１１０のコンテンツ識別子１１２、再生時刻１１３、および関連メタデータ１１４が流用される。
【０１０６】
発信元アドレス１２８は、当該ACRレスポンス１２０を送信するACRサーバ３１Ａ乃至３１Ｃのインターネット１２上のアドレスである。署名１２９は、当該ACRレスポンス１２０が通信経路において改ざんされてしまうことを防止するためのものである。なお、ACRレスポンス１２０の全体を暗号化して送信することにより、その改ざんを防止するようにしてもよい。
【０１０７】
同定失敗フラグ１３０は、ACRサーバ３１にて、ACRクエリ１００に含まれるシグニチャデータ１０４と、ACRデータベース７３に登録済みのACRリファレンスデータ１１０のシグニチャデータ１１１とが同定できなかったこと、すなわち、端末装置２０で視聴中のコンテンツを識別できなかったことを表すものである。
【０１０８】
［コンテンツ識別システム１０による動作］
次に、コンテンツ識別システム１０の動作について説明する。図１１は、コンテンツ識別システム１０の動作を説明するフローチャートである。
【０１０９】
なお、前提として、供給装置３０を構成する各ACRサーバ３１には既に、端末装置２０にて視聴され得るコンテンツが登録されている、すなわち、ACRサーバ３１のACRデータベース７３には、既に生成済みのACRリファレンスデータ１１０が保持されているものとする。
【０１１０】
ステップＳ１において、端末装置２０の汎用ACRクライアント２２を構成するACRゲートウェイ検出部５２は、通信部５１を介してACRゲートウェイ４０を検出する。ステップＳ１１において、検出されたACRゲートウェイ４０の制御部４２は、ACRゲートウェイ４０の機能を示すACRケーパビリティ９０を汎用ACRクライアント２２に通知する。
【０１１１】
端末装置２０が内蔵されているＴＶ受像機によりコンテンツが再生される、すなわち、ユーザがＴＶ受像機によりコンテンツを視聴すると、ステップＳ２において、端末装置２０のコンテンツレンダラ２１は、視聴中のコンテンツを分岐して汎用ACRクライアント２２に出力する。汎用ACRクライアント２２においては、汎用依頼生成部５３が汎用依頼を生成する。また、汎用依頼生成部５３が、ACRケーパビリティ９０の汎用プロトコル９２に従い、視聴中のコンテンツからRAWデータを抽出する。そして、通信部５１が視聴中のコンテンツのRAWデータと汎用依頼をACRゲートウェイ４０に送信する。
【０１１２】
この汎用依頼に応じ、ステップＳ１２において、ACRゲートウェイ４０は、ACRクエリを生成してACRサーバ３１に送信する。具体的には、シグニチャ抽出部６２が、汎用ACRクライアント２２から通知されたコンテンツのRAWデータから、利用するACRサーバ３１に応じた抽出方式でシグニチャデータ１０４を抽出してACRクエリ生成部６３に出力する。そして、ACRクエリ生成部６３が、抽出されたシグニチャデータ１０４を含むACRクエリ１００を生成し、通信部４３が生成されたACRクエリ１００を、インターネット１２を介して利用するACRサーバ３１に送信する。
【０１１３】
一方、供給装置３０のACRサーバ３１は、ステップＳ２１において、ACRゲートウェイ４０のACRクライアント４１から送信されたACRクエリ１００が通信部７４によって受信されるまで待機している。通信部７４によってACRクエリ１００が受信されると、処理はステップＳ２２に進められる。
【０１１４】
ステップＳ２２において、ACRレスポンス生成部７５は、ACRデータベース７３に登録されているACRリファレンスデータ１１０のシグニチャデータ１１１と、受信されたACRクエリ１００に含まれるシグニチャデータ１０４とを比較することにより、シグニチャデータ１０４の抽出元であるコンテンツを識別する。そして、ACRレスポンス生成部７５は、コンテンツの識別結果に応じてACRレスポンス１２０を生成する。すなわち、ACRクエリ１００に含まれるシグニチャデータ１０４の抽出元のコンテンツを識別できた場合には図１０Ａに示されたACRレスポンス１２０を、識別できなかった場合には図１０Ｂに示されたACRレスポンス１２０を生成する。生成されたACRレスポンス１２０は、ACRレスポンス生成部７５から通信部７４に出力される。通信部７４は、生成されたACRレスポンス１２０を、インターネット１２を介してACRゲートウェイ４０に送信する。
【０１１５】
このACRレスポンス１２０がACRゲートウェイ４０のACRクライアント４１により受信されると、ステップＳ１３において、ACRゲートウェイ４０のACRレスポンス変換部６４は、ACRレスポンス１２０を解析し、そこに含まれる関連メタデータ１２７などを、端末装置２０側でアクセス可能なHTMLドキュメントに変換して所定のサーバに格納する。さらに、ACRレスポンス変換部６４は、HTMLドキュメントを格納した所定のサーバを表すURLを通信部６１から汎用ACRクライアント２２に通知させる。
【０１１６】
このURLの通知を受信した汎用ACRクライアント２２は、ステップＳ３において、解析部５４が通信部５１を介してACRゲートウェイ４０から通知されたURLにアクセスし、そこに格納されているHTMLドキュメントに変換済みの関連メタデータ１２７を取得して解析する。そして、この解析結果に基づき、アプリケーションマネージャ２３に対して、再生中のコンテンツに対応するアプリケーション識別子を通知する。アプリケーションマネージャ２３が、このアプリケーション識別子に基づいてアプリケーションサーバ３３にアクセスすると、ステップＳ２３において、アプリケーションサーバ３３は、アプリケーションマネージャ２３からの要求に応じ、アプリケーションを供給する。ステップＳ４において、アプリケーションマネージャ２３は、取得したアプリケーションをコンテンツの進行に連動して実行する。
【０１１７】
なお、以上に説明した各ステップの処理は、端末装置２０にてコンテンツが視聴されている間、繰り返し実行される。これにより、視聴中のコンテンツの進行に連動したアプリケーションの動作が可能となる。
【０１１８】
そして、連動させるアプリケーションの種類により、例えば、コンテンツに関連する情報を表示したり、視聴者参加型のクイズ、投票を実現したり、他のコンテンツを推薦したり、ダウンロードさせたりすることが実現される。
【０１１９】
以上説明したように、複数のACRサーバ３１にそれぞれ対応した複数のACRクライアント４１をACRゲートウェイ４０に設けたことにより、端末装置２０は汎用ACRクライアント２２を有するのみで複数のACRサーバ３１を利用することができる。
【０１２０】
ところで、上述した一連の処理を実行する端末装置２０、供給装置３０、ACRゲートウェイ４０は、それぞれハードウェアにより構成する他、コンピュータがソフトウェアを実行することにより実現することもできる。このコンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１２１】
図１２は、上述したコンピュータのハードウェアの構成例を示すブロック図である。
【０１２２】
このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１２３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
【０１２４】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１２５】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２６】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２７】
コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１２８】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１２９】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１３０】
１０  コンテンツ識別システム，  ２０  端末装置，  ２１  コンテンツレンダラ，  ２２  汎用ACRクライアント，  ２３  アプリケーションマネージャ，  ２４  ユーザインターフェース，  ３０  供給装置，  ３１  ACRサーバ，  ３２  コンテンツサーバ，３３  アプリケーションサーバ，  ４０  ACRゲートウェイ，  ４１  ACRクライアント，  ４２  制御部，  ５１  通信部，  ５２  ACRゲートウェイ検出部，  ５３  汎用依頼生成部，  ５４  解析部，  ６１  通信部，  ６２  シグニチャ抽出部，  ６３  ACRクエリ生成部，  ６４  ACRレスポンス解析部，  ７１  コンテンツ取得部，  ７２  シグニチャ抽出部，  ７３  ACRデータベース，  ７４  通信部，  ７５  ACRレスポンス生成部，  ９０  ACRケーパビリティ，  １００  ACRクエリ，  １１０  ACRリファレンスデータ，  １２０  ACRレスポンス，  ２００  コンピュータ，  ２０１  CPU
【図１】
0005896222.tif 000002
【図２】
0005896222.tif 000003
【図３】
0005896222.tif 000004
【図４】
0005896222.tif 000005
【図５】
0005896222.tif 000006
【図６】
0005896222.tif 000007
【図７】
0005896222.tif 000008
【図８】
0005896222.tif 000009
【図９】
0005896222.tif 000010
【図１０】
0005896222.tif 000011
【図１１】
0005896222.tif 000012
【図１２】
0005896222.tif 000013