(57)【特許請求の範囲】
【請求項１】
マルチメディアコンテンツの視聴者と対話する方法であって、
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行されるべきプログラムを記憶するためのメモリとを備えたサーバデバイスにおいて、
端末デバイスのユーザへ、チャネルのグループからのチャネルを介して、提示されるマルチメディアコンテンツのピースに関連したデータを、前記端末デバイスから受信するステップであって、前記マルチメディアコンテンツのピースは、複数のマルチメディアコンテンツのピースからのものであり、前記データは、前記端末デバイスの前記ユーザによって前記端末デバイスへ提供された対話命令に応答して、前記端末デバイスにおいて取得され、前記データは、前記マルチメディアコンテンツのピースのオーディオフィンガープリントを含む、ステップと、
前記マルチメディアコンテンツのピースの前記オーディオフィンガープリントと前記複数のマルチメディアコンテンツのピースのオーディオフィンガープリントのグループとを比較し、比較結果に基づいて、前記チャネルのグループから、マルチメディアコンテンツのピースがそれを介して提示される前記チャネル、を決定するステップと、
前記決定されたチャネルについての時間ストリーム内の対話の時間を決定するステップであって、前記チャネルは、前記チャネルを介して提示されたマルチメディアコンテンツの前記時間ストリームに関連付けられ、前記時間ストリームは、継続時間に分割され、前記継続時間の各々は、マルチメディアコンテンツの１つのピースに関連付けられる、ステップと、
前記チャネルのグループを介して提示された前記複数のマルチメディアコンテンツのピースのための識別子のセットから、前記マルチメディアコンテンツのピースの識別子を決定するステップであって、前記識別子のセットの各識別子は、前記複数のマルチメディアコンテンツのピースから、少なくとも１つのマルチメディアコンテンツのピースを識別する、ステップと、
ここで、前記マルチメディアコンテンツのピースの識別子を決定するステップは、
前記対話の時間が前記時間ストリームの前記継続時間内にある継続時間を決定するステップと、
前記継続時間に関連付けられた識別子を前記マルチメディアコンテンツのピースの識別子として決定するステップと、を含み、
前記マルチメディアコンテンツのピースの前記識別子に基づいて、
前記継続時間中に前記チャネルを介して提示された前記マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索するステップと、
クライアントデバイスが前記クライアントデバイスのユーザへ前記インタラクティブなコンテンツを提示するよう、前記インタラクティブなコンテンツを前記クライアントデバイスへ送信するステップであって、前記インタラクティブなコンテンツは、前記マルチメディアコンテンツのピースに関連したインタラクティブなウェブページを含む、ステップと
を有する
ことを特徴とする方法。
【請求項２】
前記マルチメディアコンテンツのピースが、ビデオクリップまたはオーディオクリップである、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記インタラクティブなコンテンツが、広告に関連した製品を前記クライアントデバイスの前記ユーザが購入することを可能にするように構成される、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記方法は、前記サーバデバイスにおいて、
前記マルチメディアコンテンツの信号を受信するステップと、
受信した前記信号に基づいて、前記マルチメディアコンテンツのオーディオフィンガープリントを定期的に決定するステップと、
リアルタイムのオーディオフィンガープリントデータベースに記憶されている前記チャネルのグループの各チャネルを介して提示された前記マルチメディアコンテンツに関連したオーディオフィンガープリントが定期的に更新されるよう、前記オーディオフィンガープリントを前記リアルタイムのオーディオフィンガープリントデータベースに記憶するステップと
をさらに有する、
ことを特徴とする請求項１に記載の方法。
【請求項５】
所定のマルチメディアコンテンツデータベースが、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの前記識別子と、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの少なくとも前記チャネルおよび前記継続時間の情報とを記憶する、
ことを特徴とする請求項１に記載の方法。
【請求項６】
マルチメディアコンテンツの視聴者と対話するように構成されたサーバデバイスであって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されるべき１つまたは複数のプログラムを記憶するメモリと
を備え、
前記１つまたは複数のプログラムは、
前記サーバデバイスに動作可能に接続された端末デバイスのユーザへ、チャネルのグループのチャネルを介して、提示されるマルチメディアコンテンツのピースに関連したデータを、前記端末デバイスから受信するための命令であって、前記マルチメディアコンテンツのピースは、複数のマルチメディアコンテンツのピースからのものであり、前記データは、前記端末デバイスの前記ユーザによって前記端末デバイスへ提供された対話命令に応答して、前記端末デバイスにおいて取得され、前記データは、前記マルチメディアコンテンツのピースのオーディオフィンガープリントを含む、命令と、
前記マルチメディアコンテンツのピースの前記オーディオフィンガープリントと前記複数のマルチメディアコンテンツのピースのオーディオフィンガープリントのグループとを比較し、比較結果に基づいて、前記チャネルのグループから、マルチメディアコンテンツのピースがそれを介して提示される前記チャネル、を決定する、命令と、
前記決定されたチャネルについての時間ストリーム内の対話の時間を決定する命令であって、前記チャネルは、前記チャネルを介して提示されたマルチメディアコンテンツの前記時間ストリームに関連付けられ、前記時間ストリームは、継続時間に分割され、前記継続時間の各々は、マルチメディアコンテンツの１つのピースに関連付けられる、命令と、
前記サーバデバイスにおいて、前記チャネルのグループを介して提示された前記複数のマルチメディアコンテンツのピースのための識別子のセットから、前記マルチメディアコンテンツのピースの識別子を決定するための命令であって、前記識別子のセットの各識別子は、前記複数のマルチメディアコンテンツのピースから、少なくとも１つのマルチメディアコンテンツのピースを識別する、命令と、
ここで、前記マルチメディアコンテンツのピースの識別子を決定するための命令は、
前記対話の時間が前記時間ストリームの前記継続時間内にある継続時間を決定する命令と、
前記継続時間に関連付けられた識別子を前記マルチメディアコンテンツのピースの識別子として決定する命令と、を含み、
前記マルチメディアコンテンツのピースの前記識別子に基づいて、前記継続時間中に前記チャネルを介して提示された前記マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索するための命令と、
クライアントデバイスが前記クライアントデバイスのユーザへ前記インタラクティブなコンテンツを提示するよう、前記インタラクティブなコンテンツを前記クライアントデバイスへ送信するための命令であって、前記インタラクティブなコンテンツは、前記マルチメディアコンテンツのピースに関連したインタラクティブなウェブページを含む、命令と
を含む、
ことを特徴とするサーバデバイス。
【請求項７】
前記マルチメディアコンテンツのピースが、前記視聴者に提示される広告である、
ことを特徴とする請求項６に記載のサーバデバイス。
【請求項８】
前記インタラクティブなコンテンツが、前記広告に関連した製品を前記クライアントデバイスの前記ユーザが購入することを可能にするように構成される、
ことを特徴とする請求項７に記載のサーバデバイス。
【請求項９】
前記１つまたは複数のプログラムが、
前記マルチメディアコンテンツの信号を受信するための命令と、
受信した前記信号に基づいて、前記マルチメディアコンテンツのオーディオフィンガープリントを定期的に決定するための命令と、
リアルタイムのオーディオフィンガープリントデータベースに記憶されている前記チャネルのグループの各チャネルを介して提示された前記マルチメディアコンテンツに関連したオーディオフィンガープリントが定期的に更新されるよう、前記オーディオフィンガープリントを前記リアルタイムのオーディオフィンガープリントデータベースに記憶するための命令と
をさらに含む、
ことを特徴とする請求項６に記載のサーバデバイス。
【請求項１０】
所定のマルチメディアコンテンツデータベースが、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの識別子と、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの少なくとも前記チャネルおよび前記継続時間の情報とを記憶する、
ことを特徴とする請求項６に記載のサーバデバイス。
【請求項１１】
１つまたは複数のプログラムを記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記１つまたは複数のプログラムは、１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、
サーバデバイスにおいて、
端末デバイスのユーザへ、チャネルのグループのチャネルを介して、提示されるマルチメディアコンテンツのピースに関連したデータを、前記端末デバイスから受信する手順であって、前記マルチメディアコンテンツのピースは、複数のマルチメディアコンテンツのピースからのものであり、前記データは、前記端末デバイスの前記ユーザによって前記端末デバイスへ提供された対話命令に応答して、前記端末デバイスにおいて取得され、前記データは、前記マルチメディアコンテンツのピースのオーディオフィンガープリントを含む、手順と、
前記マルチメディアコンテンツのピースの前記オーディオフィンガープリントと前記複数のマルチメディアコンテンツのピースのオーディオフィンガープリントのグループとを比較し、比較結果に基づいて、前記チャネルのグループから、マルチメディアコンテンツのピースがそれを介して提示される前記チャネル、を決定する、手順と、
前記決定されたチャネルについての時間ストリーム内の対話の時間を決定する手順であって、前記チャネルは、前記チャネルを介して提示されたマルチメディアコンテンツの前記時間ストリームに関連付けられ、前記時間ストリームは、継続時間に分割され、前記継続時間の各々は、マルチメディアコンテンツの１つのピースに関連付けられる、手順と、
前記チャネルのグループを介して提示された前記複数のマルチメディアコンテンツのピースのための識別子のセットから、前記マルチメディアコンテンツのピースの識別子を決定する手順であって、前記識別子のセットの各識別子は、前記複数のマルチメディアコンテンツのピースから、少なくとも１つのマルチメディアコンテンツのピースを識別する、手順と、
ここで、前記マルチメディアコンテンツのピースの識別子を決定する手順は、
前記対話の時間が前記時間ストリームの前記継続時間内にある継続時間を決定する手順と、
前記継続時間に関連付けられた識別子を前記マルチメディアコンテンツのピースの識別子として決定する手順と、を含み、
前記マルチメディアコンテンツのピースの前記識別子に基づいて、前記継続時間中に前記チャネルを介して提示された前記マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索する手順と、
クライアントデバイスが前記クライアントデバイスのユーザへ前記インタラクティブなコンテンツを提示するよう、前記インタラクティブなコンテンツを前記クライアントデバイスへ送信する手順であって、前記インタラクティブなコンテンツは、前記マルチメディアコンテンツのピースに関連したインタラクティブなウェブページを含む、手順と
を実行させる、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項１２】
前記１つまたは複数のプログラムが、前記１つまたは複数のプロセッサに、
前記マルチメディアコンテンツの信号を受信する手順と、
受信した前記信号に基づいて、前記マルチメディアコンテンツのオーディオフィンガープリントを定期的に決定する手順と、
リアルタイムのオーディオフィンガープリントデータベースに記憶されている前記チャネルのグループの各チャネルを介して提示された前記マルチメディアコンテンツに関連したオーディオフィンガープリントが定期的に更新されるよう、前記オーディオフィンガープリントを前記リアルタイムのオーディオフィンガープリントデータベースに記憶する手順と
をさらに実行させる、
ことを特徴とする請求項１１に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項１３】
所定のマルチメディアコンテンツデータベースが、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの識別子と、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの少なくとも前記チャネルおよび前記継続時間の情報とを記憶する、
ことを特徴とする請求項１１に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権主張および関連出願
本願は、2014年6月13日に出願した「Method and System for Video-Based Interaction with Audience」と題する中国特許出願第201410265948.X号に対する優先権を主張するものであり、引用によって上記中国出願の全体が本明細書に組み込まれる。
【０００２】
本願は、一般に、コンピュータ技術の分野に関し、より詳細には、マルチメディアコンテンツの視聴者と対話するための方法、関連するデバイス、およびシステムに関する。
【背景技術】
【０００３】
最近、オーディオおよびビデオのようなマルチメディアコンテンツは、人々の日常生活の不可欠な部分になっている。視聴者は、テレビを見ること、ラジオを聞くこと、ビデオまたはオーディオをホストするウェブサイトを訪問すること等のような様々な方法によって、異なるタイプのマルチメディアコンテンツを受信し得る。マルチメディアコンテンツを受信した結果、視聴者は、マルチメディアコンテンツに関連したサービスまたは商品の品目への興味を抱くことがある。現在、サービスまたは商品のより多くの情報を得るために、視聴者は一般に(たとえば、サーチエンジンウェブサイトを使用して)、サービスまたは商品に関連した1つまたは複数のキーワードをサーチする必要がある。しかしながら、マルチメディアコンテンツと対話するそのような既知のアプローチ(すなわち、マルチメディアコンテンツの受信後のキーワードのサーチ)は、一般に、マルチメディアコンテンツとの視聴者の対話における遅延を引き起こす。これは、潜在的に、サービスまたは商品に対する視聴者の興味を、その後の商業活動(たとえば、サービスまたは商品を購入すること)に転換させる可能性を下げ得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、視聴者が実質的にリアルタイムにまたは僅かな遅延でマルチメディアコンテンツと対話することを可能にし得る方法およびシステムに対するニーズがある。
【課題を解決するための手段】
【０００５】
マルチメディアコンテンツと対話する既知のアプローチに関連した上記欠点は、本明細書に記述された技術によって低減または除去され得る。
【０００６】
いくつかの実施形態では、マルチメディアコンテンツの視聴者と対話するための方法が開示される。この方法は、サーバデバイスにおいて実行され、サーバデバイスは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されるべきプログラムを記憶するためのメモリとを含む。この方法は、クライアントデバイスのユーザへ提示されたマルチメディアコンテンツのピースに関連したデータを、クライアントデバイスから受信するステップを含む。マルチメディアコンテンツのピースは、マルチメディアコンテンツのピースのセットからのものである。マルチメディアコンテンツのピースに関連したデータは、クライアントデバイスのユーザによってクライアントデバイスへ提供された命令に応答して、クライアントデバイスにおいて取得される。いくつかの事例では、マルチメディアコンテンツのピースは、ビデオクリップまたはオーディオクリップであり、マルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのピースのオーディオフィンガープリントを含む。
【０００７】
この方法は、このデータに基づいて、マルチメディアコンテンツのピースのセットのための識別子のセットから、マルチメディアコンテンツのピースの識別子を決定するステップを含む。識別子のセットの各識別子は、マルチメディアコンテンツのピースのセットから、少なくとも1つのマルチメディアコンテンツのピースを識別する。いくつかの事例では、データは、マルチメディアコンテンツのピースのオーディオフィンガープリントを含む。そのような事例では、マルチメディアコンテンツのピースの識別子を決定するステップは、たとえば、データに含まれるオーディオフィンガープリントを、マルチメディアコンテンツのピースのセットのオーディオフィンガープリントのセットと比較するステップを含み得る。ここで、オーディオフィンガープリントのセットの各オーディオフィンガープリントは、マルチメディアコンテンツのピースのセットから、マルチメディアコンテンツのピースを一意に識別する。
【０００８】
この方法はまた、マルチメディアコンテンツのピースの識別子に基づいて、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索するステップを含む。いくつかの事例では、インタラクティブなコンテンツは、マルチメディアコンテンツのピースに関連したインタラクティブなウェブページを含む。いくつかの事例では、マルチメディアコンテンツのピースは、視聴者に提示される広告であり、マルチメディアコンテンツのピースに関連したデータは、広告のオーディオフィンガープリントを含む。そのような事例では、たとえば、インタラクティブなコンテンツは、クライアントデバイスのユーザが広告に関連した製品を購入することを可能にするように構成され得る。さらに、この方法は、クライアントデバイスがクライアントデバイスのユーザへインタラクティブなコンテンツを提示するよう、インタラクティブなコンテンツをクライアントデバイスへ送信するステップをさらに含む。
【０００９】
いくつかの事例では、マルチメディアコンテンツのピースのセットが、チャネルのグループを介して、視聴者へ提示される。そのような事例では、この方法は、マルチメディアコンテンツの信号を受信するステップと、受信した信号に基づいて、マルチメディアコンテンツのオーディオフィンガープリントを定期的に決定するステップとを含み得る。この方法は、リアルタイムのオーディオフィンガープリントデータベースに記憶された、チャネルのグループの各チャネルを介して提示されたマルチメディアコンテンツに関連したオーディオフィンガープリントが定期的に更新されるよう、オーディオフィンガープリントをリアルタイムのオーディオフィンガープリントデータベースへ記憶するステップをさらに含み得る。
【００１０】
上述された事例では、データは、マルチメディアコンテンツのピースのオーディオフィンガープリントおよびタイムスタンプを含み得る。マルチメディアコンテンツのピースの識別子を決定するステップは、データに含まれるオーディオフィンガープリントを、リアルタイムのオーディオフィンガープリントデータベースに記憶されたオーディオフィンガープリントと比較して、チャネルのグループから、マルチメディアコンテンツのピースが提示されるチャネルを決定するステップを含み得る。マルチメディアコンテンツのピースの識別子を決定するステップは、データに含まれるチャネルおよびタイムスタンプに基づいて、所定のマルチメディアコンテンツデータベースから、マルチメディアコンテンツのピースの識別子を決定するステップをさらに含み得る。いくつかの事例では、所定のマルチメディアコンテンツデータベースは、マルチメディアコンテンツのピースのセットの各マルチメディアコンテンツのピースの識別子と、マルチメディアコンテンツのピースのセットの各マルチメディアコンテンツのピースの少なくともチャネルおよび継続時間の情報とを記憶する。
【００１１】
いくつかの実施形態では、サーバデバイスは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによる実行のための1つまたは複数のプログラムを記憶するメモリとを含む。1つまたは複数のプログラムは、サーバデバイスに対して、上述したように、マルチメディアコンテンツと対話するための方法を実行させる命令を含む。いくつかの実施形態では、非一時的なコンピュータ読み取り可能な記憶媒体は、1つまたは複数のプロセッサによる実行のための命令を含む1つまたは複数のプログラムを記憶する。これら命令は、1つまたは複数のプロセッサによって実行された場合、プロセッサに対して、上述したように、マルチメディアコンテンツと対話する動作を実行させる。
【００１２】
本願の前述した特徴および利点、ならびにその追加の特徴および利点は、図面と併せて理解されると、好ましい実施形態の詳細な説明の結果として、以下においてより明確に理解されるであろう。
【図面の簡単な説明】
【００１３】
【図１】いくつかの実施形態に従って、ユーザがマルチメディアコンテンツと対話することを可能にするように構成されたシステムを例示する概略図である。
【図２】いくつかの実施形態に従って、ユーザがマルチメディアコンテンツと対話することを可能にするために、クライアントデバイスにおいて実行される方法を例示するフローチャートである。
【図３】図2の方法を実行する際にマルチメディアコンテンツのデータをキャプチャするために、クライアントデバイスにおいて実行される方法を例示するフローチャートである。
【図４】いくつかの実施形態に従って、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索および送信するために、サーバデバイスにおいて実行される方法を例示するフローチャートである。
【図５】いくつかの実施形態に従って、チャネルのグループを介して提示されるマルチメディアコンテンツの時間ストリームにおける継続時間のための識別子を決定するために、サーバデバイスにおいて実行される方法を例示するフローチャートである。
【図６】いくつかの実施形態に従って、ユーザがテレビ広告と対話することを可能にする処理を例示する概要図である。
【図７】いくつかの実施形態に従って、クライアントデバイスの構成を例示するブロック図である。
【図８】図7におけるクライアントデバイス内の受信モジュールの構成を例示するブロック図である。
【図９】いくつかの実施形態に従って、クライアントデバイスおよびサーバデバイス内のモジュールからなるシステムの構成を例示するブロック図である。
【図１０】図9におけるシステム内の識別モジュールの構成を例示するブロック図である。
【図１１】いくつかの実施形態に従って、クライアントデバイスおよびサーバデバイス内のモジュールからなる別のシステムの構成を例示するブロック図である。
【図１２】図11におけるシステム内の関連付けモジュールの構成を例示するブロック図である。
【図１３】いくつかの実施形態に従って、サーバデバイスの構成を例示するブロック図である。
【発明を実施するための形態】
【００１４】
同一の符号は、これら図面のいくつかの視点からの対応する部分を指す。実施形態に対する参照が詳細になされ、これらの例は、添付図面に例示される。以下の詳細な記述では、本明細書で提示されている主題の完全な理解を与えるために、多くの具体的な詳細が記述されている。しかしながら、この主題は、これら具体的な詳細無しで実現され得ることが当業者に明らかになるであろう。他の事例では、周知の方法、手順、構成要素、および回路は、実施形態の態様を不必要に不明瞭にしないように、詳細には記述されていない。
【００１５】
本願の目的、技術的解決策、および利点の理解を促進するために、本願の実施形態はさらに、添付図面を参照して以下に詳細に記述される。
【００１６】
図1は、いくつかの実施形態に従って、ユーザが、マルチメディアコンテンツと対話することを可能にするように構成されたシステム100を例示する概略図である。図1に図示されるように、システム100は、サーバデバイス70、クライアントデバイス50、および端末デバイス30を含む。サーバデバイス70は、(図1に図示されない)1つまたは複数のネットワークを介してクライアントデバイス50に動作可能に接続され、クライアントデバイス50と通信する。端末デバイス30は、たとえば衛星10のようなマルチメディアコンテンツのソースから、マルチメディアコンテンツを受信する。その後、端末デバイス30は、受信されたマルチメディアコンテンツを、ユーザ55へ提示する。それに加えて、図1に図示されるように、クライアントデバイス50は、ユーザ55によって操作される。ユーザ55は、端末デバイス30によって提示されたマルチメディアコンテンツを受信し、受信されたマルチメディアコンテンツと対話することに興味を持っているあらゆる人であり得る。
【００１７】
具体的には、端末デバイス30は、端末デバイス30のユーザ(たとえば、ユーザ55)へマルチメディアコンテンツを提示するように構成された任意のタイプの電子デバイスであり得る。端末デバイス30によって提示されるマルチメディアコンテンツは、たとえば、ウェブベースのビデオクリップ、テレビベースのビデオ番組、ウェブベースのオーディオクリップ、ブロードキャストされた無線、および/または、他の任意のタイプのマルチメディアコンテンツ、のような1つまたは複数のタイプのマルチメディアコンテンツであり得る。それに相応して、端末デバイス30は、たとえば、マルチメディアコンテンツを受信し提示するための、(ウェブブラウザ、メディアプレーヤ、スピーカ等が装備された)コンピュータ、テレビ、無線受信機、および/または、他の適切なデバイスであり得る。
【００１８】
いくつかの実施形態では、図1に図示されるように、端末デバイス30は、衛星10からマルチメディアコンテンツ(たとえば、ビデオコンテンツ、オーディオコンテンツ等)を受信し得る。そのような実施形態では、端末デバイス30は、衛星10からワイヤレス通信信号を受信するように構成されたワイヤレス受信機(たとえば、アンテナ)が装備されている。別の実施形態では、端末デバイス30は、他の任意の適切な方法で(たとえば、テレビケーブル、セルラーネットワーク、インターネット等を介して)マルチメディアコンテンツのソースから、マルチメディアコンテンツを受信するように構成される。
【００１９】
いくつかの実施形態では、端末デバイス30によって提示されるマルチメディアコンテンツの視聴者は、個人ユーザ(たとえば、ユーザ55)または多数のユーザであり得る。たとえば、端末デバイス30は、ユーザ(たとえばユーザ55)の家庭においてテレビ番組を見せるように構成されたテレビであり得る。別の例については、端末デバイス30は、ショッピングモールにおいて顧客への商業広告をするように構成されたショッピングモールにおける大画面ディスプレイであり得る。さらに別の例については、端末デバイス30は、輸送ツール(たとえば、ボート、車両、列車、飛行機等)内の乗客へ無線をブロードキャストするように構成された、輸送ツール内の無線受信機であり得る。
【００２０】
クライアントデバイス50は、ユーザ(たとえば、ユーザ55)が、端末デバイス30によって提示されたマルチメディアコンテンツと対話することを可能にするために、クライアント側デバイスとして機能するように構成された任意のタイプの電子デバイスであり得る。いくつかの実施形態では、そのようなクライアントデバイスは、たとえば、セルラー電話、スマートフォン、モバイルインターネットデバイス(MID)、携帯情報端末(PDA)、パームトップコンピュータ、タブレットコンピュータ、eリーダ、ラップトップコンピュータ、ハンドヘルドコンピュータ、ウェアラブルデバイス、デスクトップコンピュータ、車両端末、ポータブル電子デバイス、スマートテレビまたはディスプレイデバイスのコントローラ等であり得る。いくつかの実施形態では、そのようなクライアントデバイスは、たとえば、端末デバイス、ユーザデバイス、モバイルデバイス、ポータブルデバイス、パーソナル電子デバイス等と称され得る。
【００２１】
いくつかの実施形態では、クライアントデバイス50は、端末デバイス30によって提示されるマルチメディアコンテンツのオーディオコンテンツを受信およびキャプチャ(たとえば、記録)することができるデバイスまたは構成要素(たとえば、マイクロフォン、オーディオレコーダ)を含む。そのような実施形態では、以下に記述されるように、クライアントデバイス50は、ユーザ(たとえば、ユーザ55)が、マルチメディアコンテンツと対話することを可能にすることと関連してマルチメディアコンテンツのオーディオコンテンツをキャプチャするように構成される。クライアントデバイスの詳細は、図7〜図9および図11に関して以下に図示および記述される。
【００２２】
サーバデバイス70は、ユーザ(たとえば、ユーザ55)が、端末デバイス30によって提示されたマルチメディアコンテンツと対話することを可能にするためのサーバ側デバイスとして機能するように構成された任意のタイプのデバイスであり得る。そのようなサーバデバイス70は典型的には、1つまたは複数のネットワークを介して多数のクライアントデバイス(たとえば、クライアントデバイス50)と通信するように構成され得る。いくつかの実施形態では、サーバデバイス70は、たとえば、バックグラウンドサーバ、バックエンドサーバ、データベースサーバ、ワークステーション、デスクトップコンピュータ、クラウドコンピューティングサーバ、データ処理サーバ等であり得る。いくつかの実施形態では、サーバデバイス70は、2つ以上のサーバ(たとえば、データ処理サーバおよびデータベースサーバ)からなるサーバクラスタまたはサーバセンタであり得る。サーバデバイスの詳細は、図9〜図13に関して以下に図示および記述される。
【００２３】
図1に図示されていないが、クライアントデバイス(たとえば、クライアントデバイス50)およびサーバデバイス(たとえば、サーバデバイス70)を接続するネットワークは、1つまたは複数のクライアントデバイスを、1つまたは複数のサーバデバイスへ動作可能に接続し、クライアントデバイスとサーバデバイスとの間の通信を可能にするように構成された任意のタイプのネットワークであり得る。いくつかの実施形態では、そのようなネットワークは、たとえば、セルラーネットワーク、衛星ネットワーク、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、ワイヤレスローカルエリアネットワーク(WLAN)、インターネット等のような1つまたは複数のネットワークを含み得る。いくつかの実施形態では、そのようなネットワークはオプションとして、たとえばイーサネット(登録商標)、ユニバーサルシリアルバス(USB)、グローバル移動体通信システム(GSM(登録商標))、エンハンストデータGSM環境(EDGE)、汎用パケット無線サービス(GPRS)、ロングタームエボリューション(LTE)、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA(登録商標))、時分割多元接続(TDMA)、Bluetooth(登録商標)、Wi-Fi、ボイスオーバインターネットプロトコル(VoIP)、Wi-MAX等のような様々なワイヤおよび/またはワイヤレスプロトコルを含む既知のネットワークプロトコルを使用して実施され得る。
【００２４】
図2は、いくつかの実施形態に従って、ユーザが、マルチメディアコンテンツと対話することを可能にするために、クライアントデバイスにおいて実行される方法200を例示するフローチャートである。方法200を実行するクライアントデバイスは、図1に関して図示および上述されたクライアントデバイス50に類似している。特に、クライアントデバイスは、端末デバイス(たとえば、図1における端末デバイス30)によって提示されるマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作される。さらに、クライアントデバイスは、図1に関して図示および上述されたサーバデバイス70に類似したサーバデバイスに動作可能に接続され、このサーバデバイスと通信する。
【００２５】
いくつかの実施形態では、方法200を実行するクライアントデバイスは、1つまたは複数のプロセッサおよびメモリを含み得る。そのような実施形態では、方法200は、クライアントデバイスの非一時的なコンピュータ読み取り可能な記憶媒体に記憶され、クライアントデバイスの1つまたは複数のプロセッサによって実行される、アプリケーションの命令またはコードを使用して実施され得る。このアプリケーションは、ユーザが、端末デバイスによって提示されたマルチメディアコンテンツと対話することを可能にすることに関連付けられる。そのようなアプリケーションは、典型的には、クライアントデバイスにおいて記憶され、および/または、実行されるクライアント側部分と、クライアントデバイスに動作可能に接続され、クライアントデバイスと通信するサーバデバイスにおいて記憶され、および/または、実行されるサーバ側部分とを有する。アプリケーションのクライアント側部分が実行された結果、方法200は、クライアントデバイスにおいて実行される。図2に図示されるように、方法200は、以下のステップを含む。
【００２６】
S210では、クライアントデバイスは、クライアントデバイスのユーザから対話命令を受信する。そのような対話命令は、ユーザの興味を引く端末デバイスによって現在提示されているマルチメディアコンテンツのピースを受信したことに応答して、ユーザによって入力され得る。いくつかの実施形態では、ユーザは、たとえば、テレビで広告を見たこと、ラジオ番組を聞いたこと、ウェブサイトによって提供されたビデオクリップを見たこと等に応答して、クライアントデバイス(たとえば、スマートフォン、ラップトップコンピュータ、PDA、タッチパッド等)へ対話命令を入力し得る。いくつかの実施形態では、ユーザは、たとえば、クライアントデバイスにおいて表示されるユーザインターフェース上のボタンを押すこと、音声コマンドを生成し、クライアントデバイスへ入力すること、クライアントデバイスにおいてインストールされ実行されるアプリケーションを起動すること、または、他の任意の適切な方法を使用することによって、対話命令を提供し得る。
【００２７】
クライアントデバイスは、その後、対話命令に応答して、ユーザに提示されたマルチメディアコンテンツのピースに関連したデータをキャプチャする。いくつかの実施形態では、マルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのピースのオーディオデータを含む。たとえば、ユーザは、端末デバイスにおいてユーザへ提示されているマルチメディアコンテンツ(たとえば、ビデオクリップ、テレビショー等)のピースからのビデオクリップを記録するために、クライアントデバイスのウェブカメラまたはビデオカメラを使用し得る。別の例については、ユーザは、端末デバイスにおいてユーザへ提示されているマルチメディアコンテンツ(たとえば、オーディオクリップ、ラジオ番組等)のピースからのオーディオレコードを記録するために、クライアントデバイスのレコーダを使用し得る。いくつかの実施形態では、マルチメディアコンテンツのピースに関連したデータは、オプションとして、マルチメディアコンテンツのピースのビデオまたは画像を含み得る。
【００２８】
いくつかの実施形態では、クライアントデバイスは、マルチメディアコンテンツのピースのキャプチャされたオーディオデータから、マルチメディアコンテンツのピースのオーディオフィンガープリントを抽出するように構成され得る。そのような実施形態では、クライアントデバイスは、マルチメディアコンテンツのピースのオーディオフィンガープリントを抽出するために、任意の適切な方法またはアルゴリズムを実施し得る。さらに、マルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのピースのキャプチャされたオーディオデータに基づいて、クライアントデバイスにおいて抽出されるマルチメディアコンテンツのピースのオーディオフィンガープリントを含み得る。
【００２９】
S230では、クライアントデバイスは、サーバデバイスが、このデータに基づいて、マルチメディアコンテンツのピースの識別子を決定できるように、このデータを、サーバデバイスへ送信する。いくつかの実施形態では、マルチメディアコンテンツの異なる各ピースが、一意の識別子によって識別される。すなわち、各識別子は、マルチメディアコンテンツの一意のピースにリンクするために使用され得る。別のいくつかの実施形態では、マルチメディアコンテンツの2つ以上の異なるピースが、共通の識別子によって識別され得る。たとえば、製品の多数の異なる商業広告が、同じ識別子によって識別され得る。
【００３０】
いくつかの実施形態では、サーバデバイスは、クライアントデバイスから受信されたマルチメディアコンテンツのピースのオーディオフィンガープリントに基づいて、マルチメディアコンテンツのピースの識別子を決定するように構成される。別の実施形態では、サーバデバイスは、クライアントデバイスから受信されたマルチメディアコンテンツのピースに関連した他の任意のデータに基づいて、マルチメディアコンテンツのピースの識別子を決定し得る。いくつかの実施形態では、マルチメディアコンテンツのピースに関連したデータ(たとえば、マルチメディアコンテンツのピースのオーディオフィンガープリント)は、マルチメディアコンテンツのピースを一意に識別し、マルチメディアコンテンツのピースを、マルチメディアコンテンツの他のピースと区別し得る。
【００３１】
S250では、クライアントデバイスは、データに応答して、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを、サーバデバイスから受信する。インタラクティブなコンテンツは、たとえば、クライアントデバイスにおいてユーザへ表示され得るマルチメディアコンテンツのピースに関連したインタラクティブなウェブページであり得る。たとえば、自動車のテレビコマーシャルに関連したインタラクティブなコンテンツは、近くのディーラにおいて、自動車の試験走行を求める申込書を提示するインタラクティブなウェブページであり得る。別の例のために、飲料の広告に関連したインタラクティブなコンテンツは、賞品として飲料を勝ち取る抽選の情報を含むインタラクティブなウェブページであり得る。
【００３２】
いくつかの実施形態では、マルチメディアコンテンツの様々なピースに関連したインタラクティブなコンテンツが、サーバデバイスにアクセス可能であるインタラクティブなコンテンツの、所定のデータベースにおいて記憶される。そのような実施形態では、サーバデバイスは、(S230において)サーバデバイスにおいて決定されたマルチメディアコンテンツのピースの識別子に基づいて、インタラクティブなコンテンツを検索し得る。
【００３３】
さらに、クライアントデバイスは、その後、ユーザへ、インタラクティブなコンテンツを提示する。いくつかの実施形態では、クライアントデバイス(たとえば、スマートフォン、タッチパッド、コンピュータ)は、クライアントデバイスのディスプレイデバイス(たとえば、スクリーン、モニタ)において、インタラクティブなコンテンツ(たとえば、インタラクティブなウェブページ)を表示し得る。別のいくつかの実施形態では、クライアントデバイス(たとえば、スマートテレビのコントローラ)は、たとえば、端末デバイスのディスプレイデバイス(たとえば、スマートテレビのスクリーン)のような外部ディスプレイデバイスにおいて、インタラクティブなコンテンツ(たとえば、インタラクティブなウェブページ)を表示し得る。
【００３４】
いくつかの実施形態では、マルチメディアコンテンツの異なるピースが、同じインタラクティブなコンテンツに関連し得る。そのような実施形態では、たとえば、ユーザが、同じ製品の異なる広告のうちのいずれかと対話するように指示した場合、同じインタラクティブなウェブページが、ユーザへ提示され得る。いくつかの実施形態では、マルチメディアコンテンツの同じピースが、異なるインタラクティブなコンテンツに関連し得る。そのような実施形態では、たとえば、インタラクティブなウェブページは、インタラクティブなウェブページのグループから、ランダムに(または、他の任意の適切な方法で)選択され、ユーザが、製品の広告と対話するように指示した場合、ユーザに提示され得る。
【００３５】
図3は、図2の方法200を実行する際にマルチメディアコンテンツのデータをキャプチャするための方法300を例示するフローチャートである。方法300は、図2に関して上述されるような方法200を実行するクライアントデバイスによって実行され得る。方法300の動作は、方法200のS210を実行する際の動作に対応する。図3に図示されるように、方法300は、以下のステップを含む。
【００３６】
S211では、クライアントデバイスは、ユーザに現在提示されているマルチメディアコンテンツのピースに関連した対話命令を、クライアントデバイスのユーザから受信する。S213では、対話命令に応答して、クライアントデバイスが、マルチメディアコンテンツのピースのオーディオストリームの記録を開始する。クライアントデバイスは、任意の適切な記録方法を使用して、マルチメディアコンテンツのピースのオーディオストリームを記録するように構成され得る。いくつかの実施形態では、たとえば、クライアントデバイスは、8kHzのサンプリング周波数で、マルチメディアコンテンツのピースのオーディオストリームをサンプルし、その後、デジタルオーディオデータを生成するために、サンプルされたデータを、16ビットで量子化し得る。
【００３７】
S215では、クライアントデバイスは、記録されたオーディオデータから、マルチメディアコンテンツのピースのオーディオフィンガープリントを抽出する。そのようなオーディオフィンガープリントは、マルチメディアコンテンツのピースから記録されたオーディオデータの、コンパクトな一意のコンテンツベースのデジタル署名であり得る。オーディオフィンガープリントの特徴またはパラメータは、たとえば、ロバスト性、信頼性、フィンガープリントサイズ、粒度、サーチ速度、スケーラビリティ等を含む。例として、記録されたオーディオデータからオーディオフィンガープリントを抽出することは、以下の動作を含み得る。
【００３８】
(1)マルチフレームオーディオ信号を生成するために、記録されたオーディオデータを、時間領域における多数のフレームへセグメント化する。具体的には、オーディオデータをフレームへセグメント化するために、様々なウィンドウ関数(たとえば、ハミングウィンドウ、ハニングウィンドウ、ガウシアンウィンドウ等)が使用され得る。たとえば、クライアントデバイスがハミングウィンドウを使用し、w(n)が、
【数１】
0006479804.tif 000002
のように定義される。
【００３９】
(2)(時間領域における)オーディオ信号のフレームの(周波数領域における)周波数スペクトルを生成するために、オーディオ信号の各フレームに対してショートタイムフーリエ変換(STFT)を実行する。結果として得られる周波数スペクトルX(m)は、
【数２】
0006479804.tif 000003
であり、ここで、jは、ウィンドウ関数に対応するパラメータであり、Nは、STFTにおいて使用されるデータポイントの数(たとえば、N=1024)である。
【００４０】
(3)オーディオ信号の各フレームのための振幅スペクトルを抽出し、その後、オーディオ信号の各フレームの時間、周波数スペクトル、および振幅スペクトルに基づいて、2次元スペクトログラムを生成する。結果として得られる2次元スペクトログラムS(t,f)は、S(t,f)=|X(t,f)|として計算され得る。
【００４１】
(4)所定の数のサブスペクトログラムのグループを生成するために、2次元スペクトログラムにおいて時間ベースのモジュロ計算を実行する。ここで、サブスペクトログラムのグループの各サブスペクトログラムは、オーディオ信号のフェーズチャネルに対応する。サブスペクトログラムの所定の数(Mとして示される)は、設定可能な正の整数であり得る。2次元スペクトログラムはその後、時間t mod Mの結果に基づいてセグメント化される。その結果、M個のサブスペクトログラムは、Sk(t,f)、ここでk=1,2,…,M、のように生成される。
【００４２】
(5)M個のフェーズチャネルの各フェーズチャネルのための少なくとも1つのピーク特性ポイントを識別する。各フェーズチャネルのための少なくとも1つのピーク特性ポイントは、そのフェーズチャネルのためのピーク特性ポイントのシーケンスを形成する。具体的には、たとえば、M個のフェーズチャネルの各フェーズチャネルについて、少なくとも1つのピーク特性ポイントを識別するステップは、a)フェーズチャネルに対応するサブスペクトログラムの各特性ポイントのためのエネルギ値を計算するステップと、b)計算されたエネルギ値に基づいて、フェーズチャネルのためのピーク特性ポイントとして、サブスペクトログラム内のある長方形エリア内のすべての特性ポイントから、最も高いエネルギ値を有する特性ポイントを識別するステップと、c)そのフェーズチャネルのためのすべてのピーク特性ポイントを識別するために、サブスペクトログラム内のそのような各長方形エリアについてb)の動作を繰り返すステップとを含み得る。そのような方法では、ある長方形エリアのサイズは、特定の状況に依存して調節され得る。いくつかの実施形態では、少なくとも1つのピーク特性ポイントが、他の適切な方法またはアルゴリズムを使用して各サブスペクトログラムについて識別され得る。
【００４３】
その結果、少なくとも1つのピーク特性ポイントが、M個のフェーズチャネルの各フェーズチャネルのために識別され得る。少なくとも1つのピーク特性ポイントは、その後、対応するフェーズチャネルのためのピーク特性ポイントのシーケンスを形成するように再順序付けされ得る。そのような再順序付けは、任意の適切な方法で実行され得る。たとえば、ピーク特性ポイントは、各ピーク特性ポイントの時間に基づいて順序付けされ得る(たとえば、最も早い時間のピーク特性ポイントが、後の時間の別のピーク特性ポイントの前の位置へ配置される)。さらに、同じ時間(または、実質的に同じ時間)を有する多数のピーク特性ポイントについて、多数のピーク特性ポイントが、各ピーク特性ポイントの周波数に基づいて順序付けられ得る(たとえば、より高い周波数のピーク特性ポイントが、より低い周波数の別のピーク特性ポイントの前の位置へ配置される)。
【００４４】
(6)そのフェーズチャネルのためのピーク特性ポイントのペアのシーケンスを生成するために、各フェーズチャネルのためのピーク特性ポイントのシーケンスにおける各ピーク特性ポイントのためのペアを作る。具体的には、Sn(tk,fk)が、任意のフェーズチャネルのためのピーク特性ポイントのシーケンスにおける任意のピーク特性ポイントを示すと仮定する。ここで、nは、M個のフェーズチャネル(0<n≦M)におけるフェーズチャネルのインデクスを表し、kは、ピーク特性ポイントのシーケンスにおけるピーク特性ポイントのインデクスを表し(kは正の整数)、tkは、ピーク特性ポイントの時間を表し、fkは、ピーク特性ポイントの周波数を表す。
【００４５】
例として、M個のフェーズチャネルからのフェーズチャネルのためのピーク特性ポイントのシーケンスにおける各ピーク特性ポイントについて(そのようなピーク特性ポイントはSn(tk,fk)と表されると仮定する)、そのピーク特性ポイントのためのペアリングは、以下のステップで実行され得る。a)ターゲットとされた長方形エリアを選択するためのアンカとして、ピーク特性ポイントSn(tk,fk)を使用する。そのようなターゲットとされた長方形エリアは、以下のように定義され得る。tstart≦tk≦tendおよびfstart≦fk≦fend、ここで、tstartは、ターゲットとされた長方形エリアのための開始時間を表し、tendは、ターゲットとされた長方形エリアのための終了時間を表し、fstartは、ターゲットとされた長方形エリアのための最小周波数を表し、fendは、ターゲットとされた長方形エリアの最大周波数を表す。
【００４６】
b)アンカSn(tk,fk)とペアとされるべき、ターゲットとされた長方形エリア内の別のピーク特性ポイントを識別する。識別されたピーク特性ポイントをSn(tb,fb)として示し、その後、Sn(tk,fk)およびSn(tb,fb)が、フェーズチャネルのためのピーク特性ポイントのペアのシーケンスにおけるピーク特性ポイントのペアを形成する。ペアを形成するピーク特性ポイントは、任意の適切な原理に基づいて、アンカについて識別され得る。たとえば、識別されたピーク特性ポイントは、適格なすべてのピーク特性ポイント(すなわち、アンカを除くターゲットとされた長方形のエリア内にあるすべてのピーク特性ポイント)のうち、アンカからの最小時間差を有し、識別されたピーク特性ポイントは、適格なすべてのピーク特性ポイント等の中での最大エネルギ値を有する。
【００４７】
したがって、各フェーズチャネルのためのピーク特性ポイントのシーケンスにおけるピーク特性ポイントは、そのフェーズチャネルのためのピーク特性ポイントのペアのシーケンスを形成するために、ペアとされ得る。いくつかの実施形態では、ピーク特性ポイントは、他の適切な方法またはアルゴリズムを使用して、各サブスペクトログラムのためにペアとされ得る。結果的に得られるピーク特性ポイントのペアは、(tk,fk,Δfk,Δtk)nとして表され得る。ここで、nは、M個のフェーズチャネル(0<n≦M)におけるフェーズチャネルのインデクスを表し、kは、ピーク特性ポイントのシーケンスにおけるアンカピーク特性ポイントのインデクスを表し、Δtk=tb-tkは、ペアにおける2つのピーク特性ポイント間の時間差を表し、Δfk=fb-fkは、ペアにおける2つのピーク特性ポイント間の周波数差を表す。
【００４８】
(7)対応するフェーズチャネルのためのフィンガープリントシーケンスを生成するために、ピーク特性ポイントの各シーケンスについてハッシュ計算を実行する。M個のフェーズチャネルのためのそのようなフィンガープリントシーケンスの収集は、その後、オーディオ信号の所望のオーディオフィンガープリントを形成する。具体的に、(tk,fk,Δfk,Δtk)nによって表されるピーク特性ポイントのペアについて、(fk,Δfk,Δtk)は、ピーク特性ポイントのペアの特性部分を表し、tkは、その特性部分が、サブスペクトログラムにおいて(言い換えれば、オーディオ信号において)生じた時を表す。
【００４９】
たとえばhashcodek=H(fk,Δfk,Δtk)のような固定ビット長のハッシュコードを使用して、(fk,Δfk,Δtk)を表すために(fk,Δfk,Δtk)についてハッシュ計算が実行され得る。そのようなハッシュ計算の結果、各フェーズチャネルのためのピーク特性ポイントのペアのシーケンスにおけるピーク特性ポイントの各ペアが、(tk,hashcodek)nによって表され得る。これは、オーディオ信号のオーディオフィンガープリントを形成する際に使用されるフィンガープリントシーケンスである。
【００５０】
図4は、いくつかの実施形態に従って、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索および送信するために、サーバデバイスにおいて実行される方法400を例示するフローチャートである。方法400を実行するサーバデバイスは、図1に関して図示および上述されたサーバデバイス70に類似している。特に、サーバデバイスは、図1に関して図示および上述されたクライアントデバイス50に類似した1つまたは複数のクライアントデバイスに動作可能に接続され、この1つまたは複数のクライアントデバイスと通信する。サーバデバイスに動作可能に接続され、サーバデバイスと通信するクライアントデバイスは、端末デバイス(たとえば、図1における端末デバイス30)によって提示されたマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作される。図2に関して図示および上述された方法200を実行する際におけるS230〜S250の動作に関連して、サーバデバイスは、クライアントデバイスから、マルチメディアコンテンツのピースに関連したデータを受信したことに応答して、インタラクティブなコンテンツを検索および送信するために、方法400の動作を実行する。
【００５１】
いくつかの実施形態では、方法400を実行するサーバデバイスは、1つまたは複数のプロセッサおよびメモリを含み得る。そのような実施形態では、方法400は、サーバデバイスの非一時的なコンピュータ読み取り可能な記憶媒体に記憶され、サーバデバイスの1つまたは複数のプロセッサによって実行される、アプリケーションの命令またはコードを使用して実施され得る。このアプリケーションは、端末デバイスによって提示されるマルチメディアコンテンツとユーザが対話することを可能にすることに関連付けられる。そのようなアプリケーションは典型的には、サーバデバイスに動作可能に接続された各クライアントデバイスにおいて記憶および/または実行されるクライアント側部分と、サーバデバイスにおいて記憶および/または実行されるサーバ側部分とを有する。アプリケーションのサーバ側部分が実行された結果、方法400は、サーバデバイスにおいて実行される。図4に図示されるように、方法400は、以下のステップを含む。
【００５２】
S401では、サーバデバイスは、クライアントデバイスから、マルチメディアコンテンツのピースに関連したデータを受信する。サーバデバイスは、その後、受信されたデータに基づいて、マルチメディアコンテンツのピースが提示されるチャネルと、対話の時間とを決定する。いくつかの実施形態では、マルチメディアコンテンツのピースは、チャネルのグループを介して提示されたマルチメディアコンテンツの多数のピースからのものである。チャネルのグループは、たとえば、異なるテレビチャネルのグループ、異なる無線周波数のグループ、ビデオコンテンツをホストする異なるウェブサイトのグループ等を含み得る。いくつかの実施形態では、チャネルのグループは、テレビチャネル、無線周波数、ウェブサイト等のような異なるタイプのチャネルの組合せを含み得る。
【００５３】
いくつかの実施形態では、所与の瞬間において、マルチメディアコンテンツの多数のピースからのマルチメディアコンテンツの最大1つのピースが、チャネルのグループからのチャネルを介して提示される。そのような実施形態では、所与の時間において、ユーザは、1つの端末デバイスを用いて、チャネルのグループからのチャネルを介して、マルチメディアコンテンツの最大1つのピースを受信し得る(たとえば、視聴する、見る、聞く)。同様に、所与の時間において、ユーザは、2つ以上の端末デバイスを使用して、多数のチャネルを介して、マルチメディアコンテンツの2つ以上のピースを受信し得る。
【００５４】
いくつかの実施形態では、クライアントデバイスから受信されたマルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのピースのオーディオフィンガープリントを含む。そのような実施形態では、サーバデバイスは、マルチメディアコンテンツのピースのオーディオフィンガープリントを、チャネルのグループを介して提示されたマルチメディアコンテンツの多数のピースのためのオーディオフィンガープリントのデータベースにおいて記憶されたオーディオフィンガープリントのグループと比較するように構成される。サーバデバイスは、そのようなデータベースを含んでいるか、または、そのようなデータベースにアクセスし得る。比較の結果、サーバデバイスは、マルチメディアコンテンツのピースが提示されるチャネルのグループからのチャネルを決定する。それに加えて、サーバデバイスは、対話の時間を決定し得る。
【００５５】
たとえば、受信された、マルチメディアコンテンツのピースのオーディオフィンガープリントを、マルチメディアコンテンツのためのオーディオフィンガープリントのデータベースに記憶されたオーディオフィンガープリントと比較するプロセスは、以下のステップを含み得る。
【００５６】
(1)データベースからの各オーディオフィンガープリントを、受信されたオーディオフィンガープリントと比較することによって、受信されたオーディオフィンガープリントのピーク特性ポイントのハッシュコード化されたペアと同じ(または、実質的に同じ)であるオーディオフィンガープリントのピーク特性ポイントのハッシュコード化されたペア(たとえば、hashcodek)を識別する。その結果、受信されたオーディオフィンガープリントと、データベースに記憶されたオーディオフィンガープリントとの両方に含まれたピーク特性ポイントのハッシュコード化された各ペアが、識別され得る。
【００５７】
具体的には、受信されたオーディオフィンガープリントが、
【数３】
0006479804.tif 000004
によって表され、データベースに記憶された任意のオーディオフィンガープリントが、
【数４】
0006479804.tif 000005
によって表されると仮定する。ここで、各hは、ピーク特性ポイントのハッシュコード化されたペアであり、τ,tは、ハッシュコード化されたピーク特性ポイントのためのタイムスタンプである。したがって、FP1およびFP2からのピーク特性ポイントのハッシュコード化されたペアを比較することによって、同じh(または、実質的に同じh)を有する
【数５】
0006479804.tif 000006
が決定され（すなわち、
【数６】
0006479804.tif 000007
）、対応するタイムスタンプ(τi,tj)のペアが決定され得る。
【００５８】
(2)ステップ(1)において決定されたタイムスタンプ(τi,tj)の各ペアの時間差を計算し、その後、計算された時間差のヒストグラムを生成する。具体的には、タイムスタンプ(τi,tj)の各ペアについて、Δt=tj-τiを計算する。
【００５９】
(3)ヒストグラムのピーク高さを計算する。ヒストグラムのそのようなピーク高さは、2つのオーディオフィンガープリント(すなわち、受信されたオーディオフィンガープリントFP1と、データベースからの任意のオーディオフィンガープリントFP2と)の類似性を表す一致スコアである。
【００６０】
(4)ステップ(3)において計算されたヒストグラムのピーク高さに基づいて、2つのオーディオフィンガープリントが、互いに一致するか否かを判定する。具体的には、計算されたピーク高さが、所定のしきい値と比較される。計算されたピーク高さが、所定のしきい値よりも大きいのであれば、対応するヒストグラムは、線形相関に従って、明確なピークを有する。したがって、2つのオーディオフィンガープリントは、互いに一致すると判定される。そう判定されず、計算されたピーク高さが、所定のしきい値よりも大きくないのであれば、対応するヒストグラムは、線形相関に従って、明確なピークを有さない。したがって、2つのオーディオフィンガープリントは、互いに一致しないと判定される。
【００６１】
それに加えて、受信されたオーディオフィンガープリントと、データベースに記憶されたオーディオフィンガープリントとの間に正しい一致が発見されたケースでは、ヒストグラム内のピーク高さに対応する時間差は、2つのオーディオフィンガープリント間の時間のオフセットを表す。対話の時間は、そのような時間のオフセットに基づいて計算され得る。
【００６２】
データベースに記憶された各オーディオフィンガープリントは、チャネルのグループからのチャネルに関連付けられる。すなわち、データベースに記憶された各オーディオフィンガープリントは、チャネルのグループからの関連付けられたチャネルを介して提示されるマルチメディアコンテンツのピースを表す。したがって、上述されたステップ(1)〜(4)を実行することによって、サーバデバイスは、マルチメディアコンテンツのピースが提示されるチャネルのグループからのチャネルのみならず、対話の対応する時間をも決定し得る。
【００６３】
いくつかの実施形態では、サーバデバイスは、データベースから、2つ以上のオーディオフィンガープリントを決定し得る。それらの各々は、受信されたオーディオフィンガープリントと一致する。多数の一致は、マルチメディアコンテンツのピースが、チャネルのグループからの2つ以上のチャネルを介して(実質的に、または、ほとんど同時に)提示され得ることを示す。そのような実施形態では、サーバデバイスは、ユーザがマルチメディアコンテンツのピースを受信すると仮定されているチャネルとして、2つ以上のチャネルから、1つのチャネルを選択し得る。たとえば、サーバデバイスは、2つ以上のチャネルから、1つのチャネルをランダムに選択し得るか、または、2つ以上のチャネルから、最も高い一致スコアを有する1つのチャネルを選択し得る。
【００６４】
S403では、サーバデバイスは、チャネルを介して提示されるマルチメディアコンテンツの時間ストリームにおける継続時間のみならず、その継続時間中に、チャネルを介して提示されるマルチメディアコンテンツの識別子を決定する。ここで、継続時間は、対話の時間を含む。いくつかの実施形態では、チャネルのグループの各チャネルは、そのチャネルを介して提示されたマルチメディアコンテンツの時間ストリームに関連付けられる。そのような時間ストリームは、多くの所定の相互排他的な継続時間へ分割される。これら継続時間の各々は、マルチメディアコンテンツの単一のピースに関連付けられる。言い換えれば、マルチメディアコンテンツの1つで唯一のピースが、各継続時間中に提示される。したがって、各継続時間は、その継続時間中にチャネルを介して提示されたマルチメディアコンテンツのピースの識別子に関連付けられる。
【００６５】
したがって、サーバデバイスは、決定されたチャネルのための時間ストリーム内の対話の時間を見つけ、その後、時間ストリームのすべての継続時間から、対話の時間を含む継続時間を決定する。したがって、サーバデバイスは、決定された継続時間中に、チャネルを介して提示されたマルチメディアコンテンツの識別子を決定する。恐らく、決定された継続時間中に、チャネルを介して提示されたマルチメディアコンテンツは、S401においてクライアントデバイスからデータが受信されたマルチメディアコンテンツのピースと同じマルチメディアコンテンツである。
【００６６】
S405では、サーバデバイスは、継続時間中に、チャネルを介して提示されたマルチメディアコンテンツに関連したインタラクティブなコンテンツを、決定された識別子に基づいて検索する。いくつかの実施形態では、チャネルのグループを介して提示されたマルチメディアコンテンツに関連したインタラクティブなコンテンツは、所定のインタラクティブなコンテンツのデータベースに記憶される、ここで、チャネルのグループからのチャネルを介して潜在的に提示されるマルチメディアコンテンツの各ピースは、インタラクティブなコンテンツの1つまたは複数のピースに関連付けられる。図2に関して上述されたように、インタラクティブなコンテンツは、たとえば、マルチメディアコンテンツ(たとえば、広告)の対応するピースに関連した製品またはサービスを促進または広告するように構成されたインタラクティブなウェブページを含み得る。そのような実施形態では、サーバデバイスは、マルチメディアコンテンツのピースの識別子を使用して、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索し得る。その後、サーバデバイスは、クライアントデバイスへ、インタラクティブなコンテンツを送信し得る。
【００６７】
図5は、いくつかの実施形態に従って、チャネルのグループを介して提示されるマルチメディアコンテンツの時間ストリームにおける継続時間のための識別子を決定するために、サーバデバイスにおいて実行される方法500を例示するフローチャートである。方法500を実行するサーバデバイスは、図1に関して図示および上述されたサーバデバイス70に類似している。特に、サーバデバイスは、図1に関して図示および上述されたクライアントデバイス50に類似した1つまたは複数のクライアントデバイスに動作可能に接続され、この1つまたは複数のクライアントデバイスと通信する。サーバデバイスに動作可能に接続され、サーバデバイスと通信しているクライアントデバイスは、端末デバイス(たとえば、図1における端末デバイス30)によって提示されるマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作される。図4に関して図示および上述された方法400を実行する際におけるS430の動作に関連して、サーバデバイスは、時間ストリーム内の各継続時間を、マルチメディアコンテンツのピースの識別子と関連付けるために、方法500の動作を実行する。
【００６８】
いくつかの実施形態では、方法500を実行するサーバデバイスは、1つまたは複数のプロセッサおよびメモリを含み得る。そのような実施形態では、方法500は、サーバデバイスの非一時的なコンピュータ読み取り可能な記憶媒体に記憶され、サーバデバイスの1つまたは複数のプロセッサによって実行される、アプリケーションの命令またはコードを使用して実施され得る。このアプリケーションは、端末デバイスによって提示されるマルチメディアコンテンツとユーザが対話することを可能にすることに関連付けられる。そのようなアプリケーションは典型的には、サーバデバイスに動作可能に接続された各クライアントデバイスにおいて記憶および/または実行されるクライアント側部分と、サーバデバイスにおいて記憶および/または実行されるサーバ側部分とを有する。アプリケーションのサーバ側部分が実行された結果、方法500は、サーバデバイスにおいて実行される。図5に図示されるように、方法500は、以下のステップを含む。
【００６９】
S501では、サーバデバイスは、チャネルのグループを介して提示されたマルチメディアコンテンツの信号を受信する。いくつかの実施形態では、たとえば、マルチメディアコンテンツは、(端末デバイスのような)テレビを介してユーザへ提示されるテレビ番組および/またはテレビ広告である。そのような実施形態では、サーバデバイスは、たとえば、テレビ衛星から送信されたマルチメディアコンテンツの衛星信号を受信するために、デジタル衛星受信装置を実装し得る。衛星信号の受信後、サーバデバイスは、マルチメディアコンテンツのオーディオ信号を検索するために、衛星信号を処理する。その後、サーバデバイスは、受信されたオーディオ信号に基づいて、マルチメディアコンテンツのデータを定期的に決定する。いくつかの実施形態では、マルチメディアコンテンツのデータは、マルチメディアコンテンツのオーディオフィンガープリントを含む。そのような実施形態では、サーバデバイスは、オーディオ信号からマルチメディアコンテンツのオーディオフィンガープリントを抽出するために、図3に関して上述された方法300のS215における動作を実行し得る。
【００７０】
S503では、サーバデバイスは、定期的に決定されたデータを、所定のマルチメディアコンテンツデータベースにおいて記憶されたデータと比較する。その後、サーバデバイスは、この比較結果に基づいて、定期的に決定されたデータの各ピースのための識別子を決定する。S505では、サーバデバイスは、識別子の各々を、チャネルのグループからのチャネルを介して提示されたマルチメディアコンテンツの時間ストリームにおける対応する継続時間に関連付ける。ここで、継続時間は、マルチメディアコンテンツの対応する信号を受信する時間、または、対応する対話の時間を含む。
【００７１】
いくつかの実施形態では、所定のマルチメディアコンテンツデータベースは、チャネルのグループを介して提示されたマルチメディアコンテンツの多数のピースに関連したデータを記憶する。そのようなデータは、たとえば、マルチメディアコンテンツの多数のピースのためのオーディオフィンガープリントであり得る。いくつかの実施形態では、マルチメディアコンテンツに関連したデータは、サーバデバイスが、S501において、マルチメディアコンテンツの信号を受信する前に、マルチメディアコンテンツの製作者またはプロバイダによって提供され得る。
【００７２】
いくつかの実施形態では、(そのデータが、所定のマルチメディアコンテンツデータベースに記憶される)マルチメディアコンテンツの各ピースが、識別子に関連付けられる。サーバデバイスは、(マルチメディアコンテンツのそのピースのデータを抽出するために、S501において、オーディオ信号が受信され処理される)マルチメディアコンテンツのピースのデータ(たとえば、オーディオフィンガープリント)を、所定のマルチメディアコンテンツデータベースに記憶されたマルチメディアコンテンツの多数のピースのデータと比較する。比較の結果、サーバデバイスは、データが所定のデータベースに記憶され、受信されたマルチメディアコンテンツのピースのデータと一致しているマルチメディアコンテンツのピースを、マルチメディアコンテンツの多数のピースから決定する。その後、サーバデバイスは、受信されたマルチメディアコンテンツのピースの識別子を決定する。
【００７３】
そのような方法では、サーバデバイスは、その信号がサーバデバイスにおいて受信されたマルチメディアコンテンツの各ピースの、定期的に決定されたデータのための識別子を決定する。したがって、サーバデバイスは、チャネルのグループの各チャネルのための時間ストリームを確立する。ここで、各時間ストリームは、多数の相互排他的な継続時間を含む。チャネルのための時間ストリームに含まれる各継続時間は、その継続時間中にチャネルを介して提示されたマルチメディアコンテンツのピースを識別する識別子に関連付けられる。言い換えれば、サーバデバイスは、チャネルのグループの各チャネルを介して提示されたマルチメディアコンテンツに関連した時間ストリームに含まれる各継続時間のためのマルチメディアコンテンツの識別子を決定する。それに加えて、チャネルのための時間ストリームに含まれる各継続時間は、マルチメディアコンテンツの対応するピースの信号を受信する時間をカバーする。
【００７４】
いくつかの実施形態では、所定のマルチメディアコンテンツデータベースは、チャネルのグループを介して潜在的に提示され得るマルチメディアコンテンツのあらゆるピースの情報(たとえば、オーディオフィンガープリント、識別子)を含んでいない。そのような実施形態では、結果的に得られるチャネルのための時間ストリームは、必ずしも長期間の連続的な、中断されていないカバレッジを提供する必要はない。具体的には、そのような時間ストリームは、所定のデータベースに情報が含まれているマルチメディアコンテンツのピースがチャネルを介して提示された場合に、継続時間をカバーする。そして、時間ストリームは、所定のデータベースに情報が含まれていないマルチメディアコンテンツのピースがチャネルを介して提示された場合に、継続時間をカバーしない。
【００７５】
たとえば、所定のデータベースは、テレビ広告の情報(たとえば、オーディオフィンガープリント、識別子)のみを含むが、他のどのタイプのテレビ番組(たとえば、エピソード、ニュース、スポーツ等)の情報も含まない。したがって、サーバデバイスは、所定のデータベースを使用して、テレビ広告のみを決定し得るが、他のタイプのテレビ番組を決定しない。その結果、結果として得られるテレビチャネルのための時間ストリームは、テレビ広告がそのテレビチャネルを介して提示された場合、継続時間を含むが、他のタイプのテレビ番組がそのテレビチャネルを介して提示された場合、いずれの継続時間をも含まない。
【００７６】
方法500を実行する例として、所定のデータベースは、テレビチャネルのグループを介して潜在的に提示され得るテレビ広告のグループの各テレビ広告のためのオーディオフィンガープリントを記憶する。それらのオーディオフィンガープリントは、テレビ広告の製作者または配給者によって提供される。あるいは、テレビ広告は、製作者または配給者によってサーバデバイス(または、サーバデバイスを所有および操作するオペレータまたはエンティティ)へ提供され、その後、サーバデバイス(または、オペレータまたはエンティティ)は、各テレビ広告のためのオーディオフィンガープリントを取得するために、受信されたテレビ広告を処理する。それに加えて、テレビ広告のグループの各テレビ広告は、識別子によって識別される。これはまた、所定のデータベースに記憶され、対応するテレビ広告のオーディオフィンガープリントに関連付けられる。
【００７７】
サーバデバイスは、テレビチャネルのグループを介してブロードキャストされることを目的とされた(たとえば、テレビ衛星からの)衛星テレビ信号を絶えずモニタし、受信し、その後、受信された衛星テレビ信号のオーディオ信号から、オーディオフィンガープリントを定期的に抽出する。いくつかの実施形態では、サーバデバイスは、テレビチャネルのグループの各テレビチャネルを介してブロードキャストされることを目的とされたオーディオ信号を定期的にキャプチャし、その後、各テレビチャネルのための定期的な各サイクルにおいてキャプチャされたオーディオ信号から、オーディオフィンガープリントを抽出し得る。あるいは、サーバデバイスは、テレビチャネルのグループのための衛星テレビ信号を受信し続け得る。サーバデバイスは、その後、単位継続時間(たとえば、毎分、30秒毎、15秒毎等)に対応する定期的スケジュールに従って、そのテレビチャネルの、受信された衛星テレビ信号から、各テレビチャネルのためのオーディオフィンガープリントを抽出し得る。そのような単位継続時間は、センサデバイスが、テレビチャネルのグループからのいずれかのテレビチャネルを介してブロードキャストされたどのテレビ広告も見失わないように、テレビ広告の最小継続時間に基づいて定義され得る。
【００７８】
サーバデバイスが、テレビチャネルのグループからのテレビチャネルを介してブロードキャストされたマルチメディアコンテンツ(たとえば、テレビ番組、テレビ広告、またはテレビエピソード等)のピースのオーディオフィンガープリントを抽出する毎に、サーバデバイスは、オーディオフィンガープリントを、テレビ広告のためのオーディオフィンガープリントの所定のデータベースに記憶されたオーディオフィンガープリントと比較する。テレビ広告のためのオーディオフィンガープリントの所定のデータベースは、テレビチャネルのグループからのテレビチャネルを介して潜在的にブロードキャストされ得る各テレビ広告の識別子およびオーディオフィンガープリントを記憶する。比較結果が、サーバデバイスによって抽出されたオーディオフィンガープリントが所定のデータベースに記憶されたテレビ広告のオーディオフィンガープリントに一致する(すなわち、同一、または実質的に同一である)ことを示すのであれば、サーバデバイスは、マルチメディアコンテンツのピースがそのテレビ広告(または、そのテレビ広告の一部)であると判定する。したがって、サーバデバイスは、テレビ広告の識別子を、マルチメディアコンテンツのピースの識別子になるように割り当てる。
【００７９】
したがって、サーバデバイスは、テレビチャネルのグループの各テレビチャネルのためのテレビ広告の時間ストリームを確立する。そのような時間ストリームの各々は、多数の相互排他的な(および、恐らくは隣接しない)継続時間を含み、その間、テレビ広告は、対応するテレビチャネルを介してブロードキャストされる。テレビチャネルのそのような時間ストリーム内の各継続時間は、その継続時間中に(または、送信および処理によって引き起こされる遅延が考慮されるのであれば、およそその継続時間中に)そのテレビチャネルを介してブロードキャストされるテレビ広告の識別子に関連付けられる。それに加えて、そのようなテレビチャネルの時間ストリーム内の各継続時間は、その継続時間中にそのテレビチャネルを介してブロードキャストされるテレビ広告に関連したマルチメディアコンテンツの対応する信号を受信するサーバデバイスの時間をカバーする。
【００８０】
図6は、いくつかの実施形態に従って、ユーザがテレビ広告と対話することを可能にする処理600を例示する概要図である。たとえば、ユーザは、テレビ信号(たとえば、衛星テレビ信号)を受信し、テレビコンテンツをユーザへ提示するために、端末デバイス(たとえば、テレビのように図1における端末デバイス30)を使用する。ユーザはまた、ユーザがテレビコンテンツと対話することを可能にするために、クライアントデバイス(たとえば、スマートフォンまたはスマートコントローラのような図1におけるクライアントデバイス50)を使用する。クライアントデバイスは、サーバデバイス(たとえば、図1におけるサーバデバイス70)に動作可能に接続され、このサーバデバイスと通信する。
【００８１】
自分が対話するつもりであるテレビ広告をユーザが見た場合、このユーザは、対話命令を生成するためにクライアントデバイスを操作する。S601では、クライアントデバイスは、対話命令に応答してテレビ広告のオーディオ信号を受信する。たとえば、クライアントデバイスは、テレビ広告からのオーディオを記録することによって、オーディオ信号を受信し得る。S602では、クライアントデバイスは、受信されたテレビ広告のオーディオ信号から、オーディオフィンガープリントを抽出する。たとえば、クライアントデバイスは、図3に関して図示および上述された方法300のS215の動作を実行することによって、オーディオフィンガープリントを抽出し得る。続いて、クライアントデバイスは、抽出されたテレビ広告のオーディオフィンガープリントを、サーバデバイスへ送信する。
【００８２】
サーバデバイスは、テレビチャネルのためのオーディオフィンガープリントのデータベース603にアクセスでき得る。このデータベースは、テレビチャネルを介してブロードキャストされたテレビ広告のための情報(たとえば、オーディオフィンガープリント、テレビチャネル)を記憶する。いくつかの実施形態では、S611〜S612に関して以下に記述されるように、データベース603は、規則的および/または定期的に更新される。そのような実施形態では、データベース603は、テレビチャネルのグループの各テレビチャネルにおいて現在ブロードキャストされている、または、最も直近にブロードキャストされたテレビ広告の情報(たとえば、オーディオフィンガープリント、テレビチャネル)を記憶するように構成される。その結果、ユーザがテレビチャネルを介してテレビ広告を見たことに応答して対話処理を開始した場合、そのテレビ広告の情報(たとえば、オーディオフィンガープリント、テレビチャネル)が、データベース603に記憶される。
【００８３】
S604では、クライアントデバイスから抽出されたテレビ広告のオーディオフィンガープリントを受信したことに応答して、サーバデバイスは、抽出されたオーディオフィンガープリントを、データベース603に記憶されたオーディオフィンガープリントと比較する。比較の結果、サーバデバイスは、クライアントデバイスから受信され抽出されたオーディオフィンガープリントに一致する(たとえば、同一または実質的に同一な)、データベース603に記憶されたオーディオフィンガープリントを判定する。したがって、サーバデバイスは、テレビ広告がブロードキャストされるテレビチャネルを決定する。具体的には、サーバデバイスは、データベース603に記憶されたオーディオフィンガープリントとの一致に関連したテレビチャネルが、ユーザによって見られているテレビ広告がブロードキャストされるテレビチャネルであると判定する。
【００８４】
いくつかの実施形態では、サーバデバイスは、オーディオフィンガープリントの一致に基づいて、対話の時間を決定し得る。具体的には、サーバデバイスは、データベース603に記憶されたオーディオフィンガープリントと一致することに関連したテレビ広告がブロードキャストされた場合、対話の時間が、継続時間内にあると判定し得る。そのような実施形態では、テレビ広告の継続時間(たとえば、開始時間および終了時間を含む)が、データベース603に記憶され、データベース603内のそのテレビ広告の他の情報(たとえば、オーディオフィンガープリント、テレビチャネル)に関連付けられ得る。
【００８５】
あるいは、別のいくつかの実施形態では、サーバデバイスは、クライアントデバイスから受信され、ユーザによって見られたテレビ広告のデータに基づいて、対話の時間を決定し得る。具体的には、クライアントデバイスは、(S601において)テレビ広告のオーディオ信号を受信した時間を、他の情報(たとえば、そのテレビ広告の抽出されたオーディオフィンガープリント)をサーバデバイスへ送信し得る。そのような実施形態では、サーバデバイスは、ユーザによって見られたテレビ広告のオーディオ信号を受信した時間を、対話の時間として使用し得る。
【００８６】
恐らく、サーバデバイスが、クライアントデバイスから受信された、抽出されたオーディオフィンガープリントと、データベース603に記憶されたオーディオフィンガープリントとの一致を判定した場合、それは、ユーザによって見られたテレビ広告が、データベース603に記憶されたオーディオフィンガープリントに関連したテレビ広告であることを示す。そのため、S604における比較によって判定されたテレビ広告が、テレビによってブロードキャストされた場合、ユーザによって見られたテレビ広告のオーディオ信号を受信する時間は、典型的には、継続時間内である。言い換えれば、対話の時間を決定するための上述した2つのアプローチは、ユーザによって見られたものと同じテレビ広告のための、同じ(または、実質的に同じ)対話の時間を生成し得る。
【００８７】
それに加えて、いくつかの実施形態では、サーバデバイスは、クライアントデバイスから受信された、抽出されたオーディオフィンガープリントと一致する、データベース603に記憶された2つ以上のオーディオフィンガープリントを決定し得る。これは、ユーザによって見られたテレビ広告が、同時に(または、実質的に同時に、または、オーバラップ時間において)2つ以上のテレビチャネルを介してブロードキャストされることを示す。そのような実施形態では、サーバデバイスは、任意のいずれかの方法を使用して、2つ以上のテレビチャネルから1つのテレビチャネルを選択し、ユーザは、選択されたテレビチャネルを介したテレビ広告を見ると仮定する。
【００８８】
S605では、対話の時間と、ユーザによって見られたテレビ広告が、対話の時間においてブロードキャストされるテレビチャネルとをユーザが決定した後、サーバデバイスは、ユーザによって見られたテレビ広告のための識別子を決定する。以下に記述されるように、S613に至る手順の結果、サーバデバイスは、テレビチャネルのグループの各テレビチャネルのためのテレビ広告の時間ストリームを決定する。テレビチャネルのための各時間ストリームは、多数の相互排他的な継続時間を含む。その各々は、そのテレビチャネルを介してブロードキャストされるテレビ広告の時間に対応する。さらに、各継続時間は、その継続時間においてブロードキャストされたテレビ広告の識別子に関連付けられる。言い換えれば、S613の動作は、各テレビチャネルのための識別子の時間ストリームを生成する。
【００８９】
(S604において決定された)対話の時間、(S604において決定された)テレビチャネル、および(S613において決定された)テレビチャネルのグループのための識別子の時間ストリームのセットに基づいて、サーバデバイスは、S605において、ユーザによって見られたテレビ広告のための識別子を決定する。具体的には、サーバデバイスは、ユーザによって見られたテレビ広告がブロードキャストされるテレビチャネルのための識別子の時間ストリームを、テレビチャネルのグループのための識別子の時間ストリームのセットから識別する。サーバデバイスは、その後、対話の時間を含む時間ストリームにおける継続時間を決定する。最後に、サーバデバイスは、継続時間に関連した識別子が、ユーザによって見られたテレビ広告のための所望の識別子であると判定する。
【００９０】
次に、サーバデバイスは、S605で決定された識別子を使って、インタラクティブなコンテンツのデータベース606における、インタラクティブなコンテンツを探索する。データベース606に記憶されたマルチメディアコンテンツ(たとえば、テレビ広告)のピースに関連したインタラクティブなコンテンツは、たとえば、マルチメディアコンテンツのピースの識別子によって識別および/またはインデクス付けされ得る。その後、サーバデバイスは、テレビ広告の識別子に基づいて、データベース606から、テレビ広告に関連したインタラクティブなウェブページを検索する。S607では、サーバデバイスは、検索されたインタラクティブなウェブページを、クライアントデバイスへ送信する。S608では、インタラクティブなウェブページを受信したことに応答して、クライアントデバイスは、ユーザへ、インタラクティブなウェブページを表示する。したがって、ユーザは、インタラクティブなウェブページによって、テレビ広告と対話するように促される。
【００９１】
あるいは、いくつかの実施形態では、サーバデバイスまたはクライアントデバイスは、インタラクティブなウェブページを、別のディスプレイデバイスにおいてユーザへ表示されるようにするように構成される。たとえば、サーバデバイスは、インタラクティブなウェブページを、端末デバイス(たとえば、スマートテレビ)へ送信する。これを介して、ユーザは、テレビ広告を含むテレビ番組を見る。その後、端末デバイスは、テレビ番組のブロードキャストを中断し、インタラクティブなウェブページをユーザへ提示する。続いて、ユーザは、インタラクティブなウェブページと対話するためにクライアントデバイス(たとえば、スマートテレビのコントローラ)を使用し得るか、または、テレビ番組のブロードキャストを継続するために、インタラクティブなウェブページの提示をキャンセルし得る。
【００９２】
個別の処理において、サーバデバイスは、テレビチャネルのグループにおけるテレビ広告ブロードキャストを識別し、識別されたテレビ広告をその識別子に関連付けるように構成される。具体的には、テレビ広告の1人または複数の製作者、配給者、および/または、プロバイダが、サーバデバイスへテレビ広告614を提供する。S609では、サーバデバイスは、提供された各テレビ広告のオーディオから、オーディオフィンガープリントを抽出する。たとえば、サーバデバイスは、提供されたテレビ広告614のオーディオフィンガープリントを抽出するために、図3に関して上述された方法300のS215における動作を実行し得る。
【００９３】
その後、サーバデバイスは、提供されたテレビ広告614の抽出されたオーディオフィンガープリントを、テレビ広告のためのオーディオフィンガープリントのデータベース610内に記憶する。さらに、各テレビ広告のためのオーディオフィンガープリントが、データベース610に記憶され、データベース610内のそのテレビ広告の識別子に関連付けられる。したがって、データベース610は、テレビチャネルのグループでブロードキャストされた各テレビ広告の、少なくともオーディオフィンガープリントと識別子とを記憶する。いくつかの実施形態では、テレビ広告614は、サーバデバイスへ提供され、データベース610は、テレビチャネルのグループを介してテレビ広告614がブロードキャストされる前に確立される。そのため、テレビ広告がブロードキャストされる前に、および/または、ユーザが対話処理を開始する前に、データベース610があらかじめ定義され、利用可能になる。
【００９４】
S611では、サーバデバイスは、テレビチャネルのグループを介してブロードキャストされたテレビコンテンツのオーディオ信号を受信する。いくつかの実施形態では、サーバデバイスが、他のテレビ番号ではなく、テレビ広告のオーディオ信号を受信するようにスケジュールされるように、サーバデバイスは、所定のスケジュールに従って、オーディオ信号を受信するように構成される。そのような実施形態では、各テレビチャネルのためのオーディオ信号を受信するためのスケジュールが、そのテレビチャネルにおいてブロードキャストされるべきテレビ番組の所定のタイムラインに基づいてあらかじめ設定され得る。あるいは、別の実施形態では、サーバデバイスは、テレビチャネルのグループを介してブロードキャストされたテレビコンテンツのオーディオ信号を受信し、その後、テレビ広告のオーディオ信号を識別し、他のテレビ番組のオーディオ信号から、テレビ広告のオーディオ信号を選択する。
【００９５】
S612では、サーバデバイスは、テレビチャネルのグループを介してブロードキャストされたテレビ広告の受信されたオーディオ信号から、オーディオフィンガープリントを抽出する。いくつかの実施形態では、サーバデバイスは、受信されたオーディオ信号から、オーディオフィンガープリントを定期的に抽出し得る。たとえば、サーバデバイスは、テレビチャネルを介して、10分間継続する第1の継続時間中にブロードキャストされた第1のテレビ広告と、同じテレビチャネルを介して、8分間継続する第2の継続時間中にブロードキャストされた第2のテレビ広告とに関連したオーディオ信号を受信する。第1の継続時間は、第2の継続時間とオーバラップしておらず、または、隣接していない。その後、サーバデバイスは、第1の継続時間および第2の継続時間において、2分毎に、オーディオフィンガープリントを抽出し、各オーディオフィンガープリントは、30秒である短い期間に対応するオーディオ信号から抽出される。すなわち、サーバデバイスは、第1の継続時間における最初の2分の期間(すなわち、10分の継続時間のうちの1分目および2分目)のうちの最初の30秒に対応するオーディオ信号に基づいて、第1のオーディオフィンガープリントを抽出し、サーバデバイスは、第1の継続時間における2番目の2分の期間(すなわち、10分の継続時間のうちの3分目および4分目)のうちの最初の30秒に対応するオーディオ信号に基づいて、第2のオーディオフィンガープリントを抽出し、サーバデバイスが、第1の継続時間における5番目の2分の期間(すなわち、10分の継続時間のうちの9分目および10分目)のうちの最初の30秒に対応するオーディオ信号に基づいて、第5のオーディオフィンガープリントを抽出するまでそのように繰り返す。同様に、サーバデバイスは、(第2の継続時間が4つの2分の期間を含んでいるので)第2の継続時間に対応するオーディオ信号から4つのオーディオフィンガープリントを抽出する。別の実施形態では、サーバデバイスは、他の任意の適切な方法を使用して、受信されたテレビ広告のオーディオ信号に基づいて、オーディオフィンガープリントを抽出し得る。
【００９６】
その後、サーバデバイスは、抽出されたオーディオフィンガープリントを、データベース603に記憶する。データベース603に記憶されたオーディオフィンガープリントは、S604に関して上述されたように、ユーザによって見られたテレビ広告のオーディオ信号から抽出されたオーディオフィンガープリントと比較されるために使用され得る。いくつかの実施形態では、データベース603に記憶され、テレビチャネルにおいてブロードキャストされた、テレビ広告に関連したオーディオフィンガープリントが、定期的に更新され得る。その結果、所与の時間において、テレビチャネルを介して現在ブロードキャストされている、または、最も直近にブロードキャストされた、テレビ広告に関連したオーディオフィンガープリントが、データベース603内に記憶される一方、テレビチャネルを介してブロードキャストされた古いテレビ広告に関連したオーディオフィンガープリントが、データベース603から削除される。たとえば、データベース603は、最後の10分間においてテレビチャネルのグループを介してブロードキャストされたテレビ広告のオーディオフィンガープリントのみを記憶するように構成され得る。別の例については、データベース603は、テレビチャネルのグループの各テレビチャネルを介してブロードキャストされたテレビ広告の、最大でも直近の10個のみのオーディオフィンガープリントを記憶するように構成され得る。そのような方法では、データベース603は、データベース603のストレージを絶えず拡張する必要なく、最も直近にブロードキャストされたテレビ広告のオーディオフィンガープリントを記憶し得る。
【００９７】
S613では、サーバデバイスは、テレビチャネルのグループを介してブロードキャストされたテレビ広告に関連したオーディオフィンガープリントを、データベース610に記憶されたオーディオフィンガープリントと比較する。比較の結果、サーバデバイスは、S612で抽出された各オーディオフィンガープリントのテレビ広告の識別子を識別する。具体的には、サーバデバイスが、S612において抽出されたオーディオフィンガープリントと、データベース610に記憶されたオーディオフィンガープリントとの間の一致を判定した場合、サーバデバイスは、データベース610に記憶されたオーディオフィンガープリントに関連したテレビ広告が、S612において抽出されたオーディオフィンガープリントに対応する時間において、S612において抽出されたオーディオフィンガープリントに関連したテレビチャネルでブロードキャストされたと推論する。
【００９８】
テレビチャネルのための時間ストリームにおいて配信され、S612において抽出されたオーディオフィンガープリントに基づいて、サーバデバイスは、そのテレビチャネルのための時間ストリームを生成する。具体的には、テレビチャネルのための時間ストリームは、多数の相互排他的な継続時間を含み、その各々は、そのテレビチャネルを介してブロードキャストされたテレビ広告の時間に対応する。さらに、S613からの比較結果に基づいて、サーバデバイスは、S612で抽出された各オーディオフィンガープリントのためのテレビ広告の識別子を決定する。テレビチャネルを介してブロードキャストされたテレビ広告のオーディオフィンガープリントのための決定された識別子を、そのテレビチャネルの時間ストリームへ組み込むことによって、サーバデバイスは、そのテレビチャネルのための識別子の時間ストリームを生成する。上述したように、テレビチャネルのための識別子のそのような時間ストリームは、多数の相互排他的な継続時間を含み、それら各々は、そのテレビチャネルを介してブロードキャストされたテレビ広告の時間に対応する。テレビチャネルのための識別子の時間ストリームに含まれる各継続時間は、そのテレビチャネルを介して、継続時間中にブロードキャストされたテレビ広告の識別子に関連付けられるか、または、この識別子によって識別される。チャネルのグループの各テレビチャネルのための識別子のそのような時間ストリームは、その後、S605に関して上述されたように、ユーザによって見られたテレビ広告のための識別子を決定するために使用される。
【００９９】
図7は、いくつかの実施形態に従ってクライアントデバイス700の構成を例示するブロック図である。クライアントデバイス700は、図1に関して図示および上述されたクライアントデバイス50に構成的および機能的に類似し得る。特に、クライアントデバイス700は、サーバデバイス(たとえば、図1におけるサーバデバイス70)に動作可能に接続され、このサーバデバイスと通信し得る。さらに、クライアントデバイス700は、端末デバイス(たとえば、図1における端末デバイス30)を介してマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作され得る。
【０１００】
図7に図示されるように、クライアントデバイス700は、受信モジュール710、送信モジュール730、および提示モジュール750を含む。いくつかの実施形態では、クライアントデバイスは、図7に図示されたものよりも多いかまたは少ないモジュールを含み得る。いくつかの実施形態では、クライアントデバイス700に含まれる各モジュールは、ハードウェアベースのモジュール(たとえば、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、クライアントデバイス700のメモリ(図7に図示せず)に格納され、クライアントデバイス700のプロセッサ(たとえば、CPU)(図7に図示せず)において実行される。全体として、受信モジュール710、送信モジュール730、および提示モジュール750は、図2、図3、および図6に関して図示および上述された方法200、方法300と、処理600のクライアント部分を集合的に実行するように構成され得る。
【０１０１】
受信モジュール710は、他の機能の中でも、クライアントデバイス700のユーザから、対話命令を受信するように構成される。受信モジュール710はまた、対話命令を受信したことに応答して、端末デバイスを介してユーザへ提示されたマルチメディアコンテンツに関連したデータをキャプチャし、抽出するように構成される。本明細書に記述されたように、たとえば、マルチメディアコンテンツは、ビデオコンテンツまたはオーディオコンテンツであり得る。マルチメディアコンテンツに関連したデータは、たとえば、オーディオデータまたはビデオデータを含み得る。いくつかの実施形態では、たとえば、受信モジュール710は、マルチメディアコンテンツのオーディオ信号をキャプチャし、その後、キャプチャされたマルチメディアコンテンツのオーディオ信号から、オーディオフィンガープリントを抽出するように構成され得る。
【０１０２】
いくつかの実施形態では、受信モジュール710は、方法200のS210の動作、および、図2〜図3に関して図示および上述された方法300の動作を実行するように構成される。具体的には、受信モジュール700は、端末デバイスを介してユーザへ現在提示されているマルチメディアコンテンツ(たとえば、テレビにおいてテレビチャネルを介してブロードキャストされたテレビ広告)のピースに関連した対話命令を、クライアントデバイス700のユーザから受信し得る。受信モジュール700は、その後、対話命令に応答して、マルチメディアコンテンツのピースのオーディオを記録することを開始し得る。最後に、受信モジュール700は、マルチメディアコンテンツのピースのオーディオフィンガープリントを、マルチメディアコンテンツのピースの記録されたオーディオから抽出し得る。
【０１０３】
送信モジュール730は、他の機能の中でも、マルチメディアコンテンツに関連し、受信モジュール710において決定されたデータを、サーバデバイスへ送信するように構成される。これによって、サーバデバイスは、このデータに基づいて、マルチメディアコンテンツの識別子を決定できるようになる。いくつかの実施形態では、たとえば、データは、マルチメディアコンテンツのオーディオフィンガープリントを含み得る。いくつかの実施形態では、送信モジュール730は、図2に関して図示および上述された方法200におけるS230の動作を実行するように構成される。
【０１０４】
提示モジュール750は、他の機能の中でも、サーバデバイスから、および、送信モジュール730がデータを送信したことに応答して、マルチメディアコンテンツに関連したインタラクティブなコンテンツを受信するように構成される。提示モジュール750はまた、クライアントデバイス700のユーザへ、インタラクティブなコンテンツを提示するように構成される。いくつかの実施形態では、たとえば、インタラクティブなコンテンツは、ユーザに対してマルチメディアコンテンツに関連した製品またはサービスの購入を促すように構成されたインタラクティブなウェブページを含み得る。いくつかの実施形態では、提示モジュール750は、図2に関して図示および上述された方法200のS250の動作を実行するように構成される。
【０１０５】
図8は、図7におけるクライアントデバイス700内の受信モジュール710の構成を例示するブロック図である。図8に図示されるように、受信モジュール710は、リスニングユニット711、収集ユニット713、および抽出ユニット715を含む。いくつかの実施形態では、クライアントデバイスにおける受信モジュールは、図8に図示されるものよりも多いかまたは少ないサブモジュールまたはユニットを含み得る。いくつかの実施形態では、受信モジュール710に含まれる各モジュール(たとえば、サブモジュール、ユニット)は、ハードウェアベースのモジュール(たとえば、DSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、クライアントデバイス700のメモリ(図8に図示されず)に記憶され、クライアントデバイス700のプロセッサ(たとえば、CPU)(図8に図示されず)において実行され得る。全体として、リスニングユニット711、収集ユニット713、および抽出ユニット715は、方法200のS250の動作と、図2〜図3に関して図示および上述された方法300の動作とを集合的に実行するように構成され得る。
【０１０６】
具体的には、リスニングユニット711は、クライアントデバイス700のユーザから、端末デバイスを介してユーザへ提示されるマルチメディアコンテンツに関連した対話命令を受信するように構成される。言い換えると、リスニングユニット711は、図3における方法300のS211の動作を実行するように構成され得る。
【０１０７】
収集ユニット713は、リスニングユニット711がユーザから対話命令を受信したことに応答して、マルチメディアコンテンツに関連したデータを収集するように構成される。いくつかの実施形態では、たとえば、収集ユニット713は、リスニングユニット711が対話命令を受信したことに応答して、マルチメディアコンテンツのオーディオの記録を開始し得る。言い換えると、収集ユニット713は、図3における方法300のS213の動作を実行するように構成され得る。
【０１０８】
抽出ユニット715は、収集ユニット713によって収集されたマルチメディアコンテンツに関連したデータからオーディオフィンガープリントを抽出するように構成される。いくつかの実施形態では、たとえば、抽出ユニット715は、収集ユニット713によって記録されたマルチメディアコンテンツのオーディオから、オーディオフィンガープリントを抽出し得る。言い換えると、抽出ユニット715は、図3における方法300のS215の動作を実行するように構成され得る。いくつかの実施形態では、たとえば、抽出ユニット715は、図3におけるS215に関して上述されたように、記録されたオーディオデータからオーディオフィンガープリントを抽出するためのサーバステップ動作を実行し得る。
【０１０９】
図9は、いくつかの実施形態に従って、クライアントデバイス700およびサーバデバイス内のモジュールからなるシステム900の構成を例示するブロック図である。サーバデバイスは、図1に関して図示および上述されたサーバデバイス70に構成的および機能的に類似し得る。サーバデバイスは、クライアントデバイス700に動作可能に接続され、クライアントデバイス700と通信する。図9に図示されるように、サーバデバイスは、識別モジュール910を含む。いくつかの実施形態では、サーバデバイスは、図9に図示されるものよりも多くのモジュールを含み得る。
【０１１０】
いくつかの実施形態では、クライアントデバイス700のモジュールに類似して、システム900に含まれるサーバデバイスの各モジュールは、ハードウェアベースのモジュール(たとえば、DSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、サーバデバイスのメモリ(図9に図示せず)に記憶され、サーバデバイスのプロセッサ(たとえば、CPU)(図9に図示せず)において実行され得る。
【０１１１】
識別モジュール910は、他の機能の中でも、クライアントデバイス700からマルチメディアコンテンツに関連したデータを受信することに応答して、マルチメディアコンテンツに関連したインタラクティブなコンテンツを識別し、検索し、送信するように構成される。言い換えると、識別モジュール910は、図4における方法400の動作を実行するように構成され得る。具体的には、たとえば、クライアントデバイス700の送信モジュール730は、サーバデバイスの識別モジュール910へ、マルチメディアコンテンツのピースに関連したデータを送信する。マルチメディアコンテンツのピースに関連したデータに基づいて、識別モジュール910は、マルチメディアコンテンツのピースのための識別子を決定し、その後、マルチメディアコンテンツのピースの決定された識別子に基づいて、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを識別する。識別モジュール910は、インタラクティブなコンテンツを検索し、クライアントデバイス700の提示モジュール750へ送信する。いくつかの実施形態では、たとえば、マルチメディアコンテンツのピースは、広告であり得る。マルチメディアコンテンツのピースに関連したデータは、広告のオーディオフィンガープリントを含み得る。また、インタラクティブなコンテンツは、広告に関連した製品またはサービスの購入のためのインタラクティブなウェブページを含み得る。
【０１１２】
図10は、図9におけるシステム900内の識別モジュール910の構成を例示するブロック図である。図10に図示されるように、識別モジュール910は、処理ユニット911、決定ユニット913、および送信ユニット915を含む。いくつかの実施形態では、サーバデバイスにおける識別モジュールは、図10に図示されるものよりも多いかまたは少ないサブモジュールまたはユニットを含み得る。いくつかの実施形態では、識別モジュール910に含まれる各モジュール(たとえば、サブモジュール、ユニット)は、ハードウェアベースのモジュール(たとえば、DSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、サーバデバイスのメモリ(図10に図示されず)に記憶され、サーバデバイスのプロセッサ(たとえば、CPU)(図10に図示されず)において実行され得る。全体として、処理ユニット911、決定ユニット913、および送信ユニット915は、図4に関して図示および上述された方法400の動作を集合的に実行するように構成され得る。
【０１１３】
処理ユニット911は、クライアントデバイス700(たとえば、クライアントデバイス700の送信モジュール730)から、マルチメディアコンテンツに関連したデータを受信するように構成される。処理ユニット911はまた、マルチメディアコンテンツがユーザへ提示されるチャネルのみならず、対話の時間をも決定するために、受信されたデータを処理するように構成される。言い換えれば、処理ユニット911は、図4における方法400のS401の動作を実行するように構成され得る。
【０１１４】
いくつかの実施形態では、マルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのそのピースのオーディオフィンガープリントを含む。そのような実施形態では、処理ユニット911は、マルチメディアコンテンツのピースが提示されるチャネルを決定するために、受信されたマルチメディアコンテンツのピースのオーディオフィンガープリントを、チャネルのグループを介して提示されたマルチメディアコンテンツのためのオーディオフィンガープリントのデータベース(たとえば、図6におけるテレビチャネル603のためのオーディオフィンガープリントのデータベース)に記憶されたオーディオフィンガープリントと比較し得る。それに加えて、処理ユニット911は、この比較の結果として、対話の時間を決定し得る。いくつかの実施形態では、たとえば、処理ユニット911は、図4におけるS401に関して上述されたように、受信されたオーディオフィンガープリントを、データベースに記憶されたオーディオフィンガープリントと比較するために、4ステップの処理を実行し得る。
【０１１５】
決定ユニット913は、処理ユニット911によって決定された、受信されたマルチメディアコンテンツに関連したチャネルおよび対話の時間に基づいて、受信されたマルチメディアコンテンツの識別子を決定するように構成される。言い換えれば、決定ユニット913は、図4における方法400のS403の動作を実行するように構成され得る。特に、処理ユニット911が、受信されたマルチメディアコンテンツのピースに関連したチャネルおよび対話の時間を決定した後、決定ユニット913は、チャネルのための識別子の時間ストリームにおける対話の時間を見つけることができる。図4および図6に関して上述されたように、チャネルのための識別子のそのような時間ストリームは、多数の相互排他的な継続時間を含む。これらの各々は、その継続時間中に、そのチャネルを介して提示されるマルチメディアコンテンツのピースの識別子に関連付けられる。したがって、決定ユニット913は、マルチメディアコンテンツのピースの識別子を決定でき得る。
【０１１６】
送信ユニット915は、決定ユニット913によって決定されたマルチメディアコンテンツの識別子に基づいて、マルチメディアコンテンツに関連したインタラクティブなコンテンツを検索するように構成される。いくつかの実施形態では、インタラクティブなコンテンツは、たとえば、マルチメディアコンテンツに関連したインタラクティブなウェブページを含む。送信ユニット915はまた、検索されたインタラクティブなコンテンツをクライアントデバイス700(たとえば、クライアントデバイス700の提示モジュール750)へ送信するように構成される。言い換えれば、送信ユニット915は、図4における方法400のS405の動作を実行するように構成され得る。
【０１１７】
図11は、いくつかの実施形態に従って、クライアントデバイス700およびサーバデバイス内のモジュールからなる別のシステム1100の構成を例示するブロック図である。システム1100は、図9を用いて図示および上述されたシステム900に類似している。特に、システム1100に含まれたサーバデバイスは、図9におけるシステム900に含まれるサーバデバイスに構成的および機能的に類似している。図11に図示されるように、サーバデバイスは、識別モジュール910および関連付けモジュール1110を含む。
【０１１８】
関連付けモジュール1110は、他の機能の中でも、チャネルのグループを介して提示されたマルチメディアコンテンツの時間ストリームにおける継続時間のための識別子を決定し、関連付けるように構成される。言い換えると、関連付けモジュール1110は、図5における方法500の動作を実行するように構成され得る。具体的には、たとえば、関連付けモジュール1110は、チャネルのグループを介して提示されたマルチメディアコンテンツの信号を受信し得る。関連付けモジュール1110は、受信された信号に基づいて、マルチメディアコンテンツのデータを定期的に決定し得る。いくつかの実施形態では、受信された信号は、オーディオ信号であり、関連付けモジュール1110によって決定されたデータは、マルチメディアコンテンツのためのオーディオフィンガープリントを含む。関連付けモジュール1110は、定期的に決定されたデータの各ピースのための識別子を決定するために、定期的に決定されたデータを、所定のマルチメディアコンテンツのデータベースにおいて記憶されたデータと比較し得る。最後に、関連付けモジュール1110は、これら識別子の各々を、チャネルのグループからのチャネルを介して提示されたマルチメディアコンテンツの時間ストリームにおける対応する継続時間に関連付け得る。ここで、継続時間は、マルチメディアコンテンツの対応する信号を受信する時間、または、対応する対話の時間を含む。
【０１１９】
図12は、図11におけるシステム1100内の関連付けモジュール1110の構成を例示するブロック図である。図12に図示されるように、関連付けモジュール1110は、キャプチャユニット1111、比較ユニット1113、および関連付けユニット1115を含む。いくつかの実施形態では、サーバデバイスにおける関連付けモジュールは、図12に図示されるものよりも多いかまたは少ないサブモジュールまたはユニットを含み得る。いくつかの実施形態では、関連付けモジュール1110に含まれる各モジュール(たとえば、サブモジュール、ユニット)は、ハードウェアベースのモジュール(たとえばDSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、サーバデバイスのメモリ(図12に図示せず)に記憶され、サーバデバイスのプロセッサ(たとえば、CPU)(図12に図示せず)において実行され得る。全体として、キャプチャユニット1111、比較ユニット1113、および関連付けユニット1115は、図5に関して図示および上述された方法500の動作を集合的に実行するように構成され得る。
【０１２０】
キャプチャユニット1111は、チャネルのグループを介して提示されたマルチメディアコンテンツの信号を受信し、受信された信号に基づいて、マルチメディアコンテンツのデータを定期的に決定するように構成される。言い換えれば、キャプチャユニット1111は、図5における方法500のS501の動作を実行するように構成され得る。いくつかの実施形態では、たとえば、マルチメディアコンテンツの信号は、オーディオ信号であり、決定されたデータは、マルチメディアコンテンツのオーディオフィンガープリントを含む。そのような実施形態では、キャプチャユニット1111は、オーディオ信号から、マルチメディアコンテンツのオーディオフィンガープリントを抽出するために、図3に関して上述された方法300のS215における動作を実行し得る。
【０１２１】
比較ユニット1113は、定期的に決定されたデータを、所定のマルチメディアコンテンツデータベース(たとえば、図6におけるテレビ広告のためのオーディオフィンガープリントのデータベース610)において記憶されたデータと比較するように構成される。比較ユニット1113は、比較結果に基づいて、定期的に決定されたデータの各ピースのための識別子を決定し得る。言い換えれば、比較ユニット1113は、図5における方法500のS503の動作を実行するように構成され得る。
【０１２２】
関連付けユニット1115は、識別子の各々を、チャネルのグループからのチャネルを介して提示されたマルチメディアコンテンツの時間ストリームにおける対応する継続時間に関連付けるように構成される。ここで、継続時間は、マルチメディアコンテンツの対応する信号を受信する時間、または、対応する対話の時間を含む。言い換えれば、関連付けユニット1115は、図5における方法500のS505の動作を実行するように構成され得る。
【０１２３】
図13は、いくつかの実施形態に従って、サーバデバイス1300の構成を例示するブロック図である。サーバデバイス1300は、図1に関して図示および上述されたサーバデバイス70に構成的および機能的に類似し得る。特に、サーバデバイス1300は、端末デバイス(たとえば、図1における端末デバイス30)を介してマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作されるクライアントデバイス(たとえば、図1におけるクライアントデバイス50)に動作可能に接続され、このクライアントデバイスと通信し得る。
【０１２４】
図13に図示されるように、サーバデバイス1300は、受信モジュール1310、識別モジュール1330、および送信モジュール1350を含む。いくつかの実施形態では、サーバデバイスは、図13に図示されるものよりも多いかまたは少ないモジュールを含み得る。いくつかの実施形態では、サーバデバイス1300に含まれる各モジュールは、ハードウェアベースのモジュール(たとえば、DSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、サーバデバイス1300のメモリ(図13に図示せず)に記憶され、サーバデバイス1300のプロセッサ(たとえば、CPU)(図13に図示せず)において実行され得る。全体として、受信モジュール1310、識別モジュール1330、および送信モジュール1350は、図4〜図6に関して図示および上述された方法400、方法500、および処理600のサーバ部を集合的に実行するように構成され得る。
【０１２５】
いくつかの実施形態では、サーバデバイス1300に含まれたモジュールの機能は、図9〜図12に関して図示および上述された、モジュール、ユニット、または、サーバデバイスの様々なモジュールおよび/またはユニットの組合せ、のうちの少なくとも一部に対応する。具体的には、受信モジュール1310は、他の機能の中でも、クライアントデバイスからのマルチメディアコンテンツに関連したデータを受信するように構成される。いくつかの実施形態では、受信モジュール1310の機能は、図9〜図10における識別モジュール910の処理ユニット911の機能の少なくとも一部に対応する。
【０１２６】
識別モジュール1330は、他の機能の中でも、ユーザへ提示されたマルチメディアコンテンツのピースの識別子を、受信モジュール1310によって受信されたデータに基づいて決定するように構成される。いくつかの実施形態では、受信モジュール1310の機能は、図9〜図10における識別モジュール910の処理ユニット911および決定ユニット913の機能の少なくとも一部に対応する。さらに、受信モジュール1310の機能はまた、図11〜図12における関連付けモジュール1110の機能に対応する。
【０１２７】
送信モジュール1350は、他の機能の中でも、識別モジュール1330によって決定されたマルチメディアコンテンツのピースの識別子に基づいて、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索し、このインタラクティブなコンテンツを、クライアントデバイスへ送信するように構成される。いくつかの実施形態では、送信モジュール1350の機能は、図9〜図10における識別モジュール910の送信ユニット915の機能に対応する。
【０１２８】
前述した記述は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な議論は、網羅的であることも、または、本願を、開示された詳細な形態へ限定することも意図されていない。上記の教示を考慮して、多くの修正および変形が可能である。実施形態は、本願およびその現実的な応用の原理を最も良く説明し、それによって、当業者が、本願と、考慮されている特定の用途に対して適合されたような様々な修正を有する様々な実施形態とを最も良く利用することを可能にするために選択され、記述された。
【０１２９】
特定の実施形態が上述されたが、本願をこれら特定の実施形態に限定することは意図されていないと理解されるであろう。それどころか、本願は、添付された特許請求の範囲の精神および範囲内にある代替物、修正物、および均等物を含む。本明細書において表された主題の完全な理解を提供するために、多くの具体的な詳細が記述されている。しかし、この主題は、これら具体的な詳細無しで実現され得ることが当業者に明白になるであろう。他の事例では、周知の方法、手順、構成要素、および回路は、実施形態の態様を不必要に不明瞭にしないように、詳細には記述されていない。
【０１３０】
本明細書における本願の記述において使用される専門用語は、特定の実施形態のみを記述するためのものであり、本願を限定することは意図されていない。本願および添付された特許請求の範囲の記述において使用されるように、単数形「a」、「an」、および「the」は、そうではないと明確に示されていないのであれば、複数形も同様に含むことが意図されている。本明細書において使用されるような「および/または(and/or)」という用語は、関連付けられリストされた項目のうちの1つまたは複数の任意およびすべての可能な組合せを称し、包含することもまた理解されるであろう。「含む(include)」、「含んでいる(including)」、「備える(comprise)」、および/または、「備えている(comprising)」という用語は、本明細書において使用される場合、述べられた特徴、動作、要素、および/または、構成要素の存在を明示するが、1つまたは複数の他の特徴、動作、要素、構成要素、および/または、そのグループの存在または追加を排除しないこともさらに理解されるであろう。
【０１３１】
本明細書で使用されるように、「〜である場合(if)」という用語は、コンテキストに依存して、述べられた条件判定が真で「あるとき(when)」、「あれば(upon)」、「あると判定したことに応答して(in response to determining)」、または「あるとの判定に従って(in accordance with a determination)」、または「あると検出したことに応答して(in response to detecting)」を意味するように解釈され得る。同様に、「[述べられた条件判定が真である]と判定されると(if it is determined)」、または「[述べられた条件判定が真である]場合(if)」、または「[述べられた条件判定が真である]とき(when)」というフレーズは、コンテキストに依存して、述べられた条件判定が真で「あると判定すれば(upon determining)」、「あると判定したことに応答して(in response to determining)」、または「あるとの判定に従って(in accordance with a determination)」、「あると検出すれば(upon detecting)」、または「あると検出したことに応答して(in response to detecting)」を意味するように解釈され得る。
【０１３２】
様々な図面のいくつかは、多くの論理ステージを、特定の順序で例示しているが、順序に依存しないステージが再順序付けされ、他のステージが結合または発生され得る。いくつかの再順序付けまたは他のグルーピングが具体的に述べられたが、その他も当業者に明らかであり、よって、代替例の網羅的なリストを提示しない。さらに、これらステージは、ハードウェア、ファームウェア、ソフトウェア、またはこれら任意の組合せで実現され得るということが認識されるべきである。
【符号の説明】
【０１３３】
10  衛星
30  端末デバイス
50  クライアントデバイス
55  ユーザ
70  サーバデバイス
603  テレビチャネルのためのオーディオフィンガープリントのデータベース
606  インタラクティブなコンテンツのデータベース
610  テレビ広告のためのオーディオフィンガープリントのデータベース
614  テレビ広告
710  受信モジュール
711  リスニングユニット
713  収集ユニット
715  抽出ユニット
730  送信モジュール
750  提示モジュール
910  識別モジュール
911  処理ユニット
913  決定ユニット
915  送信ユニット
1110  関連付けモジュール
1111  キャプチャユニット
1113  比較ユニット
1115  関連付けユニット
1310  受信モジュール
1330  識別モジュール
1350  送信モジュール
【図１】
0006479804.tif 000008
【図２】
0006479804.tif 000009
【図３】
0006479804.tif 000010
【図４】
0006479804.tif 000011
【図５】
0006479804.tif 000012
【図６】
0006479804.tif 000013
【図７】
0006479804.tif 000014
【図８】
0006479804.tif 000015
【図９】
0006479804.tif 000016
【図１０】
0006479804.tif 000017
【図１１】
0006479804.tif 000018
【図１２】
0006479804.tif 000019
【図１３】
0006479804.tif 000020