(57)【特許請求の範囲】
【請求項１】
データ処理ハードウェアにおいて、一連の放送シーンを含むメディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップと、
前記データ処理ハードウェアにおいて、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップと、
前記データ処理ハードウェアが、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数に基づいて、前記第１の放送シーンと前記第２の放送シーンとの間のシーン変化が発生したかどうかを判定するステップと、
前記シーン変化が発生したと判定された場合、前記データ処理ハードウェアが、前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定するステップと、
前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンの識別を前記広告シーンのうちの前記１つとして関連付けるステップと、
を含むことを特徴とする方法。
【請求項２】
前記シーン変化が発生したかどうかを判定するステップは、
前記第２の放送シーンの前記最初の放送フレームの前記最初の放送フィンガープリントと、前記第１の放送シーンの前記最後の放送フレームの前記最後の放送フィンガープリントとの間の前記シーン変化ピアソン相関係数を求めるステップと、
前記データ処理ハードウェアが、前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記シーン変化が発生したかどうかを判定するステップは、
各シーケンシャルに隣接する放送フレームの対について、
前記放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、前記放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間の前記シーン変化ピアソン相関係数を求めるステップと、
前記データ処理ハードウェアが、前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
前記シーン変化ピアソン相関係数が前記シーン変化相関閾値を満たす場合、
前記放送フレームの対の前記第１の放送フレームを、対応する放送シーンの最後の放送フレームとして識別するステップと、
前記放送フレームの対の前記第２の放送フレームを、対応するシーケンシャルに隣接する放送シーンの最初の放送フレームとして識別するステップと、
を含む、請求項１に記載の方法。
【請求項４】
前記第１の放送シーンの前記最後の放送フレームの前記最後の放送フィンガープリントの後、前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定する前に閾値期間待つステップをさらに含む、
請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定するステップは、
各広告フィンガープリントについて、
前記データ処理ハードウェアが、前記それぞれの広告フィンガープリントと前記第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、
前記データ処理ハードウェアが、前記一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップと、
前記一致ピアソン相関係数が前記一致相関閾値を満たす場合、前記データ処理ハードウェアが、前記第２の放送シーンを前記それぞれの広告フィンガープリントの前記広告シーンに対応するものとして識別するステップと、
を含む、請求項３に記載の方法。
【請求項６】
前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンが別の広告シーン内に存在するかどうか、又は該別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む、
請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンに広告識別器を関連付けるステップをさらに含む、
請求項１から６のいずれか１項に記載の方法。
【請求項８】
各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表す、
請求項１から７のいずれか１項に記載の方法。
【請求項９】
各フィンガープリントは、対応するフレームのグレースケール値の合計を表す平均ピクセル値を含む、
請求項１から８のいずれか１項に記載の方法。
【請求項１０】
各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表し、前記１６個のサブフレームは、対応するフレームの４×４配列を定める、
請求項１から９のいずれか１項に記載の方法。
【請求項１１】
データ処理ハードウェアにおいて、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップと、
前記データ処理ハードウェアにおいて、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップと、
各シーケンシャルに隣接する放送フレームの対について、
前記データ処理ハードウェアが、前記放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、前記放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップと、
前記データ処理ハードウェアが、前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
前記シーン変化ピアソン相関係数が前記シーン変化相関閾値を満たす場合、
前記データ処理ハードウェアが、第１の放送シーンが前記第１の放送フレームにおいて終了すると識別するステップと、
前記データ処理ハードウェアが、第２の放送シーンが前記第２の放送フレームにおいて開始すると識別するステップと、
各広告フィンガープリントについて、
前記データ処理ハードウェアが、前記それぞれの広告フィンガープリントと前記第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、
前記データ処理ハードウェアが、前記一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップと、
前記一致ピアソン相関係数が前記一致相関閾値を満たす場合、前記データ処理ハードウェアが、前記第２の放送シーンを前記それぞれの広告フィンガープリントの前記広告シーンとして識別するステップと、
を含むことを特徴とする方法。
【請求項１２】
前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンが別の広告シーン内に存在するかどうか、又は該別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む、
請求項１１に記載の方法。
【請求項１３】
前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンに広告識別器を関連付けるステップをさらに含む、
請求項１１又は１２に記載の方法。
【請求項１４】
各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表す、
請求項１１から１３のいずれか１項に記載の方法。
【請求項１５】
各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表し、前記１６個のサブフレームは、対応するフレームの４×４配列を定める、
請求項１１から１４のいずれか１項に記載の方法。
【請求項１６】
データ処理ハードウェアと、
前記データ処理ハードウェアと通信するメモリハードウェアと、
を備えたシステムであって、前記メモリハードウェアは命令を記憶しており、該命令は、前記データ処理ハードウェア上で実行された時に、前記データ処理ハードウェアに、
一連の放送シーンを含むメディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップと、
広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップと、
第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数に基づいて、前記第１の放送シーンと前記第２の放送シーンとの間のシーン変化が発生したかどうかを判定するステップと、
前記シーン変化が発生したと判定された場合、前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定するステップと、
前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンの識別を前記広告シーンのうちの前記１つとして関連付けるステップと、
を含む動作を実行させる、ことを特徴とするシステム。
【請求項１７】
前記シーン変化が発生したかどうかを判定するステップは、
前記第２の放送シーンの前記最初の放送フレームの前記最初の放送フィンガープリントと、前記第１の放送シーンの前記最後の放送フレームの前記最後の放送フィンガープリントとの間の前記シーン変化ピアソン相関係数を求めるステップと、
前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
を含む、請求項１６に記載のシステム。
【請求項１８】
前記シーン変化が発生したかどうかを判定するステップは、
各シーケンシャルに隣接する放送フレームの対について、
前記放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、前記放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間の前記シーン変化ピアソン相関係数を求めるステップと、
前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
前記シーン変化ピアソン相関係数が前記シーン変化相関閾値を満たす場合、
前記放送フレームの対の前記第１の放送フレームを、対応する放送シーン（３０２ｂ）の最後の放送フレームとして識別するステップと、
前記放送フレームの対の前記第２の放送フレームを、対応するシーケンシャルに隣接する放送シーンの最初の放送フレームとして識別するステップと、
を含む、請求項１６に記載のシステム。
【請求項１９】
前記動作は、前記第１の放送シーンの前記最後の放送フレームの前記最後の放送フィンガープリントの後、前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定する前に閾値期間待つステップをさらに含む、
請求項１６から１８のいずれか１項に記載のシステム。
【請求項２０】
前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定するステップは、
各広告フィンガープリントについて、
前記それぞれの広告フィンガープリントと前記第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、
前記一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップと、
前記一致ピアソン相関係数が前記一致相関閾値を満たす場合、前記第２の放送シーンを前記それぞれの広告フィンガープリントの前記広告シーンに対応するものとして識別するステップと、
を含む、請求項１８に記載のシステム。
【請求項２１】
前記動作は、前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンが別の広告シーン内に存在するかどうか、又は該別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む、
請求項１６から２０のいずれか１項に記載のシステム。
【請求項２２】
前記動作は、前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンに広告識別器を関連付けるステップをさらに含む、
請求項１６から２１のいずれか１項に記載のシステム。
【請求項２３】
各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表す、
請求項１６から２２のいずれか１項に記載のシステム。
【請求項２４】
各フィンガープリントは、対応するフレームのグレースケール値の合計を表す平均ピクセル値を含む、
請求項１６から２３のいずれか１項に記載のシステム。
【請求項２５】
各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表し、前記１６個のサブフレームは、対応するフレームの４×４配列を定める、
請求項１６から２４のいずれか１項に記載のシステム。
【請求項２６】
データ処理ハードウェアと、
前記データ処理ハードウェアと通信するメモリハードウェアと、
を備えたシステムであって、前記メモリハードウェアは命令を記憶しており、該命令は、前記データ処理ハードウェア上で実行された時に、前記データ処理ハードウェアに、
メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップと、
広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップと、
各シーケンシャルに隣接する放送フレームの対について、
前記放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、前記放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップと、
前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
前記シーン変化ピアソン相関係数が前記シーン変化相関閾値を満たす場合、
第１の放送シーンが前記第１の放送フレームにおいて終了すると識別するステップと、
第２の放送シーンが前記第２の放送フレームにおいて開始すると識別するステップと、
各広告フィンガープリントについて、
前記それぞれの広告フィンガープリントと前記第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、
前記一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップと、
前記一致ピアソン相関係数が前記一致相関閾値を満たす場合、前記第２の放送シーンを前記それぞれの広告フィンガープリントの前記広告シーンとして識別するステップと、
を含む動作を実行させる、ことを特徴とするシステム。
【請求項２７】
前記動作は、前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンが別の広告シーン内に存在するかどうか、又は該別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む、
請求項２６に記載のシステム。
【請求項２８】
前記動作は、前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンに広告識別器を関連付けるステップをさらに含む、
請求項２６又は２７に記載のシステム。
【請求項２９】
各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表す、
請求項２６から２８のいずれか１項に記載のシステム。
【請求項３０】
各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表し、前記１６個のサブフレームは、対応するフレームの４×４配列を定める、
請求項２６から２９のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、自動コンテンツ認識中における広告フレームのフラッギング（ｆｌａｇｇｉｎｇ）に関する。
【背景技術】
【０００２】
今日ではメディア装置がますます一般的になってきており、テレビなどの家庭内に欠かせないものからメディアの消費者と共に移動するモバイル装置にまで及ぶことができる。テレビ、セットトップボックス、携帯電話機、ラップトップ及びタブレットなどのメディア装置は、様々なソースからのメディアコンテンツにアクセスしてこれらを検索することができる。例えば、メディア装置は、衛星、無線放送、或いは有線又は無線接続からのストリーミングシステムを介してメディアコンテンツを受け取ることができる。メディア装置の使用が増加し続けるにつれ、メディア装置がメディアコンテンツに接続することも増えた。この増加とともに新たなメディアコンテンツ市場が出現し、古いメディアコンテンツ市場は、メディア消費者とコンテキスト的に関連するメディアコンテンツを理解して提供するように適応してきた。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示の１つの態様は、自動コンテンツ認識のための広告フレームのフラッギング方法を提供する。この方法は、データ処理ハードウェアにおいて、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップを含む。メディアストリームは、一連の放送シーンを含む。方法は、データ処理ハードウェアにおいて、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップも含む。方法は、データ処理ハードウェアが、第１の放送シーンと第２の放送シーンとの間のシーン変化を判定するステップを含む。シーン変化は、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数（ｓｃｅｎｅ−ｃｈａｎｇｅ  Ｐｅａｒｓｏｎ  ｃｏｒｒｅｌａｔｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔ）に基づく。方法は、データ処理ハードウェアが、第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するステップも含む。第２の放送シーンが広告シーンのうちの１つである場合、この方法では、データ処理ハードウェアが、第２の放送シーンの識別を広告シーンのうちの１つとして関連付ける。
【０００４】
本開示の実装は、以下の任意の特徴うちの１つ又は２つ以上を含むことができる。いくつかの実装では、シーン変化が、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップを含む。シーン変化は、データ処理ハードウェアが、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすと判定するステップを含むこともできる。
【０００５】
いくつかの例では、方法が、各シーケンシャルに隣接する放送フレームの対についてシーン変化を判定するステップを含む。この例では、方法が、放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めることができる。方法は、データ処理ハードウェアが、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップを含むこともできる。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、方法は、放送フレームの対の第１の放送フレームを、対応する放送シーンの最後の放送フレームとして識別することができる。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、方法は、放送フレームの対の第２の放送フレームを、対応するシーケンシャルに隣接する放送シーンの最初の放送フレームとして識別することもできる。
【０００６】
いくつかの構成では、方法が、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントの後に、第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するまで閾値期間待つステップを含む。各広告フィンガープリントについて第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するステップは、データ処理ハードウェアが、それぞれの広告フィンガープリントと第２の放送フィンガープリントとの間の一致ピアソン相関係数（ｍａｔｃｈ  Ｐｅａｒｓｏｎ  ｃｏｒｒｅｌａｔｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔ）を求めるステップを含むことができる。方法は、データ処理ハードウェアが、一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップを含むこともできる。一致ピアソン相関係数が一致相関閾値を満たす場合、この方法では、データ処理ハードウェアが、第２の放送シーンをそれぞれの広告フィンガープリントの広告シーンに対応するものとして識別することができる。
【０００７】
いくつかの実装では、第２の放送シーンを広告シーンのうちの１つとすることができる。これらの実装における方法では、データ処理ハードウェアが、第２の放送シーンが別の広告シーン内に存在するかどうか、又は別の広告シーンにシーケンシャルに隣接するかどうかを判定することができる。この方法では、データ処理ハードウェアが、第２の放送シーンに広告識別器を関連付けることもできる。
【０００８】
いくつかの例では、各フィンガープリントが、対応するフレームの少なくとも１つのピクセルを表す。各フィンガープリントは、対応するフレームのグレースケール値の合計を表す平均ピクセル値を含むこともできる。これに加えて、又はこれとは別に、各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表すことができ、１６個のサブフレームは、対応するフレームの４×４配列を定める。
【０００９】
本開示の別の態様は、自動コンテンツ認識のための広告フレームのフラッギング方法を提供する。方法は、データ処理ハードウェアにおいて、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップを含む。方法は、データ処理ハードウェアにおいて、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップも含む。方法は、各シーケンシャルに隣接する放送フレームの対について、データ処理ハードウェアが、放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップを含む。方法は、各シーケンシャルに隣接する放送フレームの対について、データ処理ハードウェアが、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップをさらに含む。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、この方法では、データ処理ハードウェアが、第１の放送シーンを第１の放送フレームの終了部分として識別し、第２の放送シーンを第２の放送フレームの開始部分として識別する。各広告フィンガープリントについて、シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、この方法では、データ処理ハードウェアが、それぞれの広告フィンガープリントと第２の放送フィンガープリントとの間の一致ピアソン相関係数を求め、一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定する。一致ピアソン相関係数が一致相関閾値を満たす場合、方法は、データ処理ハードウェアが、第２の放送シーンをそれぞれの広告フィンガープリントの広告シーンとして識別するステップを含む。
【００１０】
本開示の実装は、以下の任意の特徴うちの１つ又は２つ以上を含むことができる。いくつかの例では、第２の放送シーンが広告シーンのうちの１つである場合、方法は、データ処理ハードウェアが、第２の放送シーンが別の広告シーン内に存在するかどうか又は別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップを含む。第２の放送シーンが広告シーンのうちの１つである場合、方法は、データ処理ハードウェアが、第２の放送シーンに広告識別器を関連付けるステップをさらに含むことができる。
【００１１】
いくつかの実装では、各フィンガープリントが、対応するフレームの少なくとも１つのピクセルを表す。これに加えて、又はこれとは別に、各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表すこともでき、１６個のサブフレームは、対応するフレームの４×４配列を定める。
【００１２】
本開示の別の態様は、自動コンテンツ認識のための広告フレームのフラッギングシステムを提供する。このシステムは、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行された時に、データ処理ハードウェアに動作を実行させる命令を記憶する。この動作は、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップを含む。メディアストリームは、一連の放送シーンを含む。動作は、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップも含む。動作は、シーン変化ピアソン相関係数に基づいて、第１の放送シーンと第２の放送シーンとの間のシーン変化を判定するステップをさらに含む。シーン変化ピアソン相関係数は、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のものである。動作は、第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するステップも含む。第２の放送シーンが広告シーンのうちの１つである場合、動作は、第２の放送シーンの識別を広告シーンのうちの１つとして関連付けるステップを含む。
【００１３】
本開示の実装は、以下の任意の特徴うちの１つ又は２つ以上を含むことができる。いくつかの例では、システムが、シーン変化を判定するステップを含む。これらの例では、シーン変化が、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップを含むことができる。システムは、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすと判定するステップを含むこともできる。
【００１４】
いくつかの構成では、各シーケンシャルに隣接する放送フレームの対について、シーン変化を判定するステップが、放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップを含む。シーン変化を判定するステップは、各シーケンシャルに隣接する放送フレームの対について、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップを含むこともできる。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、システムは、放送フレームの対の第１の放送フレームを、対応する放送シーンの最後の放送フレームとして識別するステップを含むことができる。システムは、放送フレームの対の第２の放送フレームを、対応するシーケンシャルに隣接する放送シーンの最初の放送フレームとして識別するステップを含むこともできる。動作は、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントの後に、第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するまで閾値期間待つステップをさらに含むことができる。
【００１５】
いくつかの実装では、各広告フィンガープリントについて第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するステップが、それぞれの広告フィンガープリントと第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップとを含む。一致ピアソン相関係数が一致相関閾値を満たす場合、システムは、第２の放送シーンをそれぞれの広告フィンガープリントの広告シーンに対応するものとして識別することができる。
【００１６】
いくつかの例では、第２の放送シーンが広告シーンのうちの１つである場合、動作が、第２の放送シーンが別の広告シーン内に存在するかどうか、又は別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む。これに加えて、又はこれとは別に、第２の放送シーンが広告シーンのうちの１つである場合、動作は、第２の放送シーンに広告識別器を関連付けるステップを含むことができる。このシステムでは、各フィンガープリントが、対応するフレームの少なくとも１つのピクセルを表すことができる。各フィンガープリントは、対応するフレームのグレースケール値の合計を表す平均ピクセル値を含むこともできる。各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルをさらに表すことができ、１６個のサブフレームは、対応するフレームの４×４配列を定める。
【００１７】
本開示のさらに別の態様は、自動コンテンツ認識のための広告フレームのフラッギングシステムを提供する。このシステムは、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行された時に、データ処理ハードウェアに動作を実行させる命令を記憶する。この動作は、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップを含む。動作は、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップをさらに含む。動作は、各シーケンシャルに隣接する放送フレームの対について、放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップも含む。動作は、各シーケンシャルに隣接する放送フレームの対について、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップをさらに含む。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、動作は、第１の放送シーンを第１の放送フレームの終了部分として識別し、第２の放送シーンを第２の放送フレームの開始部分として識別するステップを含む。動作は、各広告フィンガープリントについて、それぞれの広告フィンガープリントと第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップとをさらに含む。一致ピアソン相関係数が一致相関閾値を満たす場合、動作は、第２の放送シーンをそれぞれの広告フィンガープリントの広告シーンとして識別するステップを含む。
【００１８】
本開示の実装は、以下の任意の特徴うちの１つ又は２つ以上を含むことができる。いくつかの実装では、第２の放送シーンが広告シーンのうちの１つである場合、動作が、第２の放送シーンが別の広告シーン内に存在するかどうか、又は別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む。第２の放送シーンが広告シーンのうちの１つである場合、動作は、第２の放送シーンに広告識別器を関連付けるステップを含むことができる。各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表すことができる。各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表すこともでき、１６個のサブフレームは、対応するフレームの４×４配列を定める。
【００１９】
添付図面及び以下の説明に、本開示の１又は２以上の実装の詳細を示す。これらの説明及び図面、並びに特許請求の範囲からは、他の態様、特徴及び利点も明らかになるであろう。
【図面の簡単な説明】
【００２０】
【図１Ａ】自動コンテンツ認識環境例の概略図である。
【図１Ｂ】自動コンテンツ認識環境例の概略図である。
【図２】自動コンテンツ認識環境のサーバ例の概略図である。
【図３Ａ】広告識別器例の概略図である。
【図３Ｂ】広告識別器例の概略図である。
【図３Ｃ】広告識別器例の概略図である。
【図３Ｄ】広告識別器例の概略図である。
【図３Ｅ】広告識別器例の概略図である。
【図３Ｆ】広告識別器例の概略図である。
【図４】本明細書で説明するシステム及び方法を実装するために使用できるコンピュータ装置例の概略図である。
【発明を実施するための形態】
【００２１】
様々な図面における同じ参照記号は同じ要素を表す。
【００２２】
一般に、自動コンテンツ認識（ＡＣＲ）は、メディア装置上又はメディアファイル内のメディアコンテンツを自動的に識別するプロセスである。ＡＣＲは、日々社会によって消費される大量のメディアコンテンツを識別するためにますます有用になってきている。商業的視点から見れば、企業及びその他のエンティティは、ＡＣＲによってメディアコンテンツの消費を理解し、場合によってはメディアコンテンツの消費者（すなわち、メディア装置ユーザ）のマーケティング又はターゲッティングをさらに効率的に行うことができる。例えば、メディア装置のユーザに対して広告が個別化されれば、広告又は提案がさらに効果的になる可能性がある。従って、放送局、商用プロバイダ、広告主及びその他のエンティティは、どの番組が視聴されているか、或いはさらに具体的には視聴中に番組内のどこにユーザが存在するかを知りたいと望んでいる。メディア装置ユーザは、この種の情報によってさらに正確に対象化されたメディアコンテンツを受け取ることができる。
【００２３】
メディアコンテンツを理解して識別する方法では、システムが、放送局又はその他のコンテンツプロバイダがメディアコンテンツ消費者に配信する広告（ａｄ）を、先駆として識別することができる。放送局又はその他のコンテンツプロバイダは、予め広告を識別することによって、メディア装置においてＡＣＲをさらに効率的かつ効果的に実行することができる。その後、ＡＣＲ機能の一部又は結果として、識別された広告は、メディアコンテンツのターゲット消費者に対して、置き換えられ、重ね合わせられ、又は修正されることができる。
【００２４】
図１Ａは、ＡＣＲ環境１０の例である。ＡＣＲ環境１０は、メディア装置３０のユーザ２０（すなわち、視聴者）にメディアコンテンツを配信するための複数の層を含むことができる。図１Ａでは、メディアコンテンツ配信プロセスを放送層１００、追加コンテンツ層１１０、ネットワーク層１２０及び装置層１３０という４つの層に単純化するように試みている。各層１００、１１０、１２０、１３０は、メディアストリームＳに影響を与えるエンティティを有することができる。放送層１００は、放送メディアストリームＳBの生成に関与し得る放送エンティティを表す。これらの放送エンティティは、放送局１０２及び放送配信業者１０４を含むことができる。放送局１０２は、地方放送局、多チャンネルネットワーク又はその他のメディアコンテンツ所有者などの、１又は２以上のメディアコンテンツプロバイダとすることができる。放送配信業者１０４は、メディアコンテンツを配信するためのインフラ又はリソース（例えば、信号線、通信タワー、通信アンテナ、サーバなど）を提供する放送エンティティである。放送局１０２及び放送配信業者１０４は、提供されるメディアコンテンツのタイプ又はメディアコンテンツを受け取るメディア装置のタイプなどの放送変数（ｂｒｏａｄｃａｓｔｉｎｇ  ｖａｒｉａｂｌｅｓ）に応じて、同じ放送エンティティ又は異なる放送エンティティとすることができる。
【００２５】
いくつかの実装では、メディアストリームＳが、追加コンテンツ層１１０として表すコンテンツエンティティからの追加メディアコンテンツストリームＳCを含む。これらのコンテンツエンティティは、商用プロバイダ１１２、広告主１１４、又はメディアストリームＳに追加メディアコンテンツを提供するその他のエンティティを含む。一般に、商用プロバイダ１１２は、追加メディアコンテンツストリームＳCを作成及び／又はホストするコンテンツエンティティであるのに対し、広告主１１４は、広告、提案、取引、割引、利益又はその他の商品及び／又はサービスプロモーションなどの、追加メディアコンテンツストリームＳCを生成するコンテンツエンティティである。これに加えて、又はこれとは別に、商用プロバイダ１１２及び広告主１１４は、同じコンテンツエンティティとすることもできる。追加コンテンツ層１１０は、放送層１００、ネットワーク層１２０、装置層１３０、又はこれらの任意の組み合わせに追加メディアコンテンツストリームＳCを伝えることができる。任意に、追加コンテンツ層１１０は、追加メディアコンテンツストリームＳCと放送メディアストリームＳBとを一組にして、放送メディアストリームＳB及び追加メディアコンテンツストリームＳCを含むメディアストリームＳを形成することができる。
【００２６】
さらに図１Ａを参照すると、ネットワーク層１２０は、放送層１１０及び／又は追加コンテンツ層１１０から放送メディアストリームＳB及び追加メディアコンテンツストリームＳCを受け取るように構成される。例えば、ネットワーク層１２０は、放送層１００からメディアストリームＳを受け取る場合、追加メディアコンテンツストリームＳCを含む放送メディアストリームＳB、又は追加メディアコンテンツストリームＳCから独立した放送メディアストリームＳBを受け取ることができる。同様に、ネットワーク層１２０は、追加コンテンツ層１１０からメディアストリームＳを受け取る場合、追加メディアコンテンツストリームＳCを含む放送メディアストリームＳB、又は追加メディアコンテンツストリームＳCから独立した放送メディアストリームＳBを受け取ることができる。いくつかの実装では、ネットワーク層１２０が、放送層１００からの放送メディアストリームＳBと追加コンテンツ層１１０からの追加メディアコンテンツストリームＳCとを一組にして、追加メディアコンテンツストリームＳCで満たされた放送メディアストリームＳBを表すネットワークメディアストリームＳNを生成することができる。
【００２７】
ネットワーク層１２０は、フィンガープリンタ２００を含む。フィンガープリンタ２００は、データ処理ハードウェア２１２とメモリハードウェア２１４とを有するサーバ２１０上で動作するように構成される。フィンガープリンタ２００は、フィンガープリント生成器２２０を含む。ネットワーク層１２０は、フィンガープリント２２２とフィンガープリント２２２に関連するメタデータ２２４とを放送フィンガープリントデータベース又は広告フィンガープリントデータデータベースなどのフィンガープリントデータベース２３０及び／又はメタデータデータベース２４０に記憶するように構成することができる。ネットワーク層１２０は、フィンガープリント生成器２２０によってフィンガープリント２２２を生成し、又はＡＣＲ環境１０内の別のコンテンツエンティティからフィンガープリント２２２を受け取るように構成することができる。例えば、ネットワーク層１２０は、放送層１００及び／又は追加コンテンツ層１１０から、広告フレームＦadを示す広告フィンガープリント２２２、２２２ａを受け取る。一般に、フィンガープリント２２２は、メディアストリームＳの少なくとも１つのフレームＦｎに対応する少なくとも１つの一意的な識別子である。例えば、この少なくとも１つの一意的な識別子は、値（例えば、ピクセル値）、英数字表現、又はオーディオビジュアル画像の圧縮版とすることができる。これに加えて、又はこれとは別に、ネットワーク層１２０は、放送メディアストリームＳB、追加メディアコンテンツストリームＳC、又はこれらの両方を記憶するようにも構成される。
【００２８】
ネットワーク層１２０は、広告識別器３００をさらに含む。図１Ａには、実際には広告識別器３００がネットワーク層１２０を除く他の層（すなわち、放送層１００、追加コンテンツ層１１０又は装置層１３０）にも存在できることを表すように、広告識別器３００を点線ボックスで示す。広告識別器３００は、フィンガープリント２２２を受け取って、フィンガープリント２２２が広告に対応するかどうかを判定するように構成される。いくつかの例では、広告識別器３００が、広告フィンガープリント２２２、２２２ａを受け取って、放送フィンガープリント２２２、２２２ｂが広告フィンガープリント２２２、２２２ａに対応した場合を示す。広告識別器３００には、放送局１０２、放送配信業者１０４、商用プロバイダ１１２、又は広告主１１４などの他の層からのコンテンツエンティティが広告フレームＦad及び／又は広告フィンガープリント２２２、２２２ａを提供することができる。広告識別器３００は、放送フィンガープリント２２２、２２２ｂが広告フィンガープリント２２２、２２２ａに対応すると判定した場合、ＡＣＲ環境１０内の１又は２以上のコンテンツエンティティ、ＡＣＲモジュール１３２及び／又はメディア装置３０に識別３３２を伝えることができる。
【００２９】
図１Ａには、あらゆる層（すなわち、放送層１００、追加コンテンツ層１１０、又はネットワーク層１２０）が装置層１３０と通信できることも示す。装置層１３０では、テレビ、セットトップボックス、ＰＣ、ラップトップ、タブレット又は携帯電話機などのメディア装置１３０がメディア装置ストリームＳD（例えば、放送メディアストリームＳB、追加コンテンツストリームＳC又はネットワークメディアストリームＳNの任意の組み合わせ）を受け取り、対応するメディア装置ストリームＳD（例えば、放送メディアストリームＳB、追加コンテンツストリームＳC又はネットワークメディアストリームＳNの任意の組み合わせ）の全部又は一部をユーザ２０に伝えることができる。装置は、何らかの形のメディアコンテンツを受信又は通信するように構成された、メディア装置３０に関連するあらゆるハードウェア又はあらゆるソフトウェアを意味することができる。さらに、装置は、データ処理ハードウェア及び／又はメモリハードウェアを含むことができる。いくつかの実装では、メディア装置３０を、対応するメディアストリーム（例えば、放送メディアストリームＳB、追加コンテンツストリームＳC又はネットワークメディアストリームＳNの任意の組み合わせ）を解釈し、又はこのようなメディアストリームと相互作用するように構成することができる。例えば、メディア装置３０は、放送メディアストリームＳBからの追加メディアコンテンツストリームＳCを識別する。メディア装置３０は、放送メディアストリームＳBの追加メディアコンテンツストリームＳCを代替メディアコンテンツに置き換え、又は放送メディアストリームＳBの追加メディアコンテンツストリームＳCに代替メディアコンテンツを重ね合わせることができる。メディア装置３０は、所定のコンテンツのメディアストリームＳをフィルタ処理することができる。これに加えて、又はこれとは別に、メディア装置３０は、メディアストリーム（例えば、放送メディアストリームＳB、追加コンテンツストリームＳC又はネットワークメディアストリームＳNの任意の組み合わせ）に関連する情報又はデータを、放送層１００、追加コンテンツ層１１０、ネットワーク層１２０、又は装置層１３０の他のメディア装置３０に伝えるように構成することもできる。メディア装置３０は、ＡＣＲモジュール１３２を実行し、又はＡＣＲモジュール１３２を実行する他のデータ処理ハードウェアと通信することができる。ＡＣＲモジュール１３２は、メディアストリームの一部をサンプリングし、サンプルを処理し、このサンプルを、オーディオ又はビデオフィンガープリント又はウォーターマークなどの一意的な特徴によってコンテンツを識別したソースサービスと比較することに基づいて、メディアストリーム内のコンテンツ要素（例えば、オーディオ、ビデオ又はデジタル画像）を識別するように構成することができる。
【００３０】
図１Ｂに、ＡＣＲ環境例１０を示す。ＡＣＲ環境１０は、放送局１０２と、広告フィンガープリンタ２００、２００ａと、放送フィンガープリンタ２００、２００ｂと、広告識別器３００とを含む。いくつかの例では、広告フィンガープリンタ２００、２００ａ及び放送フィンガープリンタ２００、２００ｂが同じフィンガープリンタ２００であるが、簡単にするために、図１ＢのＡＣＲ環境１０は、広告フレームＦad（広告フィンガープリンタ２００、２００ａ）及び放送フレームＦB(1〜n)（放送フィンガープリンタ２００、２００ｂ）のそれぞれのフィンガープリント２２２を生成するフィンガープリンタ２００を有する。ここでは、放送局１０２が、広告フィンガープリンタ２００、２００ａに広告フレームＦad(1〜n)を伝える。広告フレームＦad(1〜n)は、広告シーン３０２、３０２ａに分割できる広告に対応する。各広告シーン３０２、３０２ａは、広告全体の一部に関連することができる。一例として、広告の長さは様々（例えば、１分広告、３０秒広告、１５秒広告、１０秒広告など）であり、従ってフレーム分析を標準化するために、各広告を広告シーン３０２、３０２ａに対応する離散数の広告フレームＦad(1〜n)に変える。広告フィンガープリンタ２００、２００ａは、広告フィンガープリント生成器２２０、２２０ａにおいて各広告フレームＦad(1〜n)の広告フィンガープリント２２２、２２２ａを生成し、シーン３０２、３０２ａに従って広告フィンガープリント２２２、２２２ａを広告シーンデータベース２５０に記憶することができる。一般に、広告フィンガープリント２２２、２２２ａは、少なくとも広告フレームＦad(1〜n)に対応する少なくとも１つの一意的な識別子である。これに加えて、又はこれとは別に、放送局１０２以外のコンテンツエンティティが広告フィンガープリンタ２００、２００ａに広告フレームＦad(1〜n)を伝えることもできる。広告フィンガープリンタ２００、２００ａは、広告フィンガープリント２２２、２２２ａを取得すると、これらのフィンガープリント２２２、２２２ａを広告識別器３００に送信することができる。広告フィンガープリント２２２、２２２ａは、自動的に広告識別器３００に送信され、又は広告識別器３００が広告識別のために少なくとも１つのフィンガープリント２２２、２２２ａを問い合わせ、若しくは検索することもできる。
【００３１】
さらに図１Ｂを参照すると、放送局１０２は、放送メディアストリームＳBをチャンネルＣｈ1〜nによって放送フレームレートＲBで放送フィンガープリンタ２００、２００ｂに送信する。放送フレームレートＲBは、各放送フレームＦB(1〜n)が放送メディアストリームＳB内のピクセルによって表されるオーディオビジュアル画像に対応するように、放送メディアストリームＳBを放送フレームＦB(1〜n)に分割する。フィンガープリンタ２００、２００ｂは、放送フィンガープリント生成器２２０、２２０ｂにおいて各放送フレームＦB(1〜n)を受け取るように構成される。放送フィンガープリント生成器２２０、２２０ｂは、各放送フレームＦB(1〜n)を受け取って、各放送フレームＦB(1〜n)を示す放送フィンガープリント２２２、２２２ｂを生成するように構成される。一般に、放送フィンガープリント２２２、２２２ｂは、少なくとも１つの放送フレームＦB(1〜n)に対応する少なくとも１つの一意的な識別子である。フィンガープリンタ２００、２００ｂは、各放送フィンガープリント２２２、２２２ｂをフィンガープリントデータベース２３０などのデータベースに記憶することができる。いくつかの例では、フィンガープリンタ２００が、フレーム位置（例えば、フレーム時間コード）、フレームタイプ（例えば、生番組又は広告）又はフィンガープリント識別子タグなどの、フレームＦに対応するメタデータ２２４に従って又はメタデータ２２４と共に各フィンガープリント２２２を記憶する。他の例では、フィンガープリンタ２００が、各放送フィンガープリント２２２のメタデータ２２４に対応する１又は複数の個別のデータベースを有する。フィンガープリンタ２００は、メタデータ２２４のための個別のデータベースによってより多くの放送フィンガープリント２２２を記憶することができる。その後、放送フィンガープリンタ２００、２００ｂは、放送フィンガープリント２２２、２２２ｂを広告識別器３００に伝えることができる。
【００３２】
いくつかの例では、広告識別器３００が、広告フィンガープリンタ２００、２００ａから広告フィンガープリント２２２、２２２ａを受け取り、放送フィンガープリンタ２００、２００ｂから放送フィンガープリント２２２、２２２ｂを受け取る。広告識別器３００は、放送フィンガープリント２２２、２２２ｂを広告フィンガープリント２２２、２２２ａと比較して、放送フィンガープリント２２２、２２２ｂが広告フィンガープリント２２２、２２２ａでもある場合を識別することができる。換言すれば、広告識別器３００は、放送フレームＦB(1〜n)が広告フレームＦadに一致することを識別する。
【００３３】
図２は、フィンガープリンタ２００のフィンガープリント生成器２２０の例である。フィンガープリント生成器２２０は、放送メディアストリームＳBのチャンネルＣｈ1〜n又は広告Ａｄ(1〜n)に対応するフレームＦ1〜n（放送フレームＦB(1〜n)又は広告フレームＦad(1〜n)）を受け取る。フィンガープリント生成器２２０は、受け取った各フレームＦ1〜nのフィンガープリント２２２を生成し、これらをフィンガープリントデータベース２３０又は広告シーンデータベース２５０などのデータベースに記憶することができる。いくつかの例では、各フィンガープリント２２２が、対応するチャンネルＣｈ又は広告ＡｄのフレームＦ1〜nの少なくとも１つのピクセル値ＶPを表す。少なくとも１つのピクセル値ＶPは、フレームＦ1〜nの平均ピクセル値又は色空間値の合計とすることができる。例えば、フィンガープリント生成器２２０がグレーＵＶ（ＹＵＶ）色空間に従ってフィンガープリント２２２を生成する場合、少なくとも１つのピクセル値ＶPは、対応するフレームＦ1〜nのグレースケール値の合計及び／又は平均を表すことができる。換言すれば、対応するフレームＦ1〜nの各ピクセルは、フィンガープリント２２２がピクセル領域のグレースケール値の合計及び／又は平均を表すようにグレースケール値によって表される。いくつかの実装では、フィンガープリント２２２（例えば、広告フィンガープリント２２２、２２２ａ又は放送フィンガープリント２２２、２２２ｂ）が、対応するフレームＦ1〜nのサブフレームＦsubに基づく一意的な識別子である。各サブフレームＦsubは、サブフレームＦsub当たりのピクセルに応じて、対応するピクセル値ＶP又は対応する平均ピクセル値を有することができる。
【００３４】
図２には、サブフレームＦsubに分割されたフレームＦ（例えば、放送フレームＦB(1〜n)又は広告フレームＦad）に対応するフィンガープリント２２２、Ｆ1〜nの例も示す。いくつかの例では、フィンガープリント生成器２２０が、各フレームＦをサブフレームＦsubに分割して、フレームＦ1〜n同士をより正確に比較又は区別することができる。サブフレームＦsubでは、各フィンガープリント２２２（例えば、広告フィンガープリント２２２、２２２ａ又は放送フィンガープリント２２２、２２２ｂ）が、対応するフレームＦ1〜nの複数の平均ピクセル値ＶPを表すことができる。各フレームＦ1〜nをサブフレームＦsubに分割することにより、フィンガープリント生成中に、フレームＦ1〜n全体のピクセル値ＶP（又は平均ピクセル値）に基づいてフィンガープリント２２２よりも多くの詳細（例えば、各サブフレームＦsubのピクセル）が考慮される。従って、フィンガープリント生成器２２０が各フレームＦ1〜nを分割するサブフレームＦsubの数は、望ましい精度レベルに依存する。例えば、図２に示すように、フィンガープリント生成器２２０は、各フレームＦ1〜nを、４×４配列を定める１６個のサブフレームＦsubに分割する。１６個のサブフレームＦsubの各サブフレームＦsubは、平均ピクセル値ＶP11〜44を有し、従って各フィンガープリント２２２は、各サブフレームＦsubに関連する整数値を有する１６個の値の整数ベクトルによって各対応するフレームＦ1〜nを表すようになる。図には、各フレームＦ1〜n又は各メディア装置フレームＦD1〜nを４×４配列として示しているが、あらゆるサブフレーム分割が可能である。
【００３５】
従来、フィンガープリント２２２間（例えば、広告フィンガープリント２２２、２２２ａと放送フィンガープリント２２２、２２２ｂとの間）の比較では解像度の問題が生じやすい。例えば、通常、いくつかのシステムは、各フレームＦに対応する平均ピクセル値ＶPのランクに従ってフレームＦ(1〜n)にインデックスを付ける。ランクに従ってインデックス付けすることにより、ピクセル値のアウトライアーによってランクの偏りが大きくなることがある。また、単一のピクセル値ＶPとしてのランクでは、システムがピクセルの変化を検知しにくくなることもある。例示的な例えとして、科学的測定は、精度を示す数字の桁である有効数字を含む。例えば、１つの有効数字の測定値である０．１は小数点第１位までしか正確でなく、０．１０〜０．１９間で変動し得るのに対し、２つの有効数字の測定値である０．１２は小数点第２位まで正確であり、変動範囲が０．１２０〜０．１２９となり得る。換言すれば、単一のピクセル値ＶPのランクに従うフィンガープリント２２２は１つの有効数字と同様のものであるのに対し、複数のピクセル値ＶPのベクトルに従うフィンガープリント２２２は１つよりも多くの有効数字と同様のものである。ランクに従うフィンガープリント２２２では、ピクセル変動が考慮されることなくこの変動が大きくなってしまう恐れがあり、従ってフレームＦの複数のベクトル値ＶPのベクトル表現であるフィンガープリント２２２と比べると、このランクが実際にフレームＦのピクセルを表す可能性が低い。広告識別器３００では、このことが、広告のいくつかのピクセル値ＶPがライブ番組と同様のものである時に、ランクのフィンガープリント２２２を使用するシーン識別器３１０が広告の識別に苦労することを意味する。
【００３６】
図３Ａ〜図３Ｆに、広告識別器３００の例を示す。広告識別器３００は、シーン識別器３１０と、照合器３２０と、広告インジケータ３３０とを含む。シーン識別器３１０は、シーン３０２が別のシーン３０２に変化した時点（すなわち、シーン変化３１２）をメディアストリームＳから判定するように構成される。一般に、シーン３０２は、同様のピクセル値ＶPを有する一連の連続フレームＦ1〜nである。シーン３０２が同様のピクセル値ＶPを有する理由は、通常、各フレームＦが、フレームレートＲに基づくほんの一瞬に相当するからである。各フレームＦによって表されるオーディオビジュアル画像としてほんの一瞬として取り込まれる対象は、シーン３０２が変化しない限り瞬時に変化することはできない。従って、フィンガープリント２２２によって表される少なくとも１つのピクセル値ＶPは、２つのシーケンシャルに隣接するフレームＦadj、Ｆ1〜nに対応するフィンガープリント２２２間のピクセル値ＶPの相違によってシーン変化３１２を判定することができる。シーン識別器３１０がシーン変化３１２を判定すると、照合器３２０は、シーン変化３１２の次のシーン３０４が広告（例えば、広告シーンデータベース２５０内の広告）に対応するかどうかを判定するように構成される。次のシーン３０４が広告に対応する場合、広告インジケータ３３０は、次のシーン３０４に対応するメディアストリームＳの少なくとも１つの放送フレームＦBの識別３３２を提供するように構成される。
【００３７】
図３Ａ〜図３Ｆ全体を通じ、一般に点線ボックスは、広告識別器３００の機能を例示するための１又は複数の要素の選択を示す。例えば、図によっては、点線ボックスが（単複の）要素の選択を広告識別器３００の入力又は出力として示すものもある。また、図によっては、点線ボックスが広告識別器３００に関連するハードウェア及び／又はソフトウェアの論理的決定を示すものもある。
【００３８】
図３Ａ及び図３Ｂには、広告識別器３００のシーン識別器３１０部分の例を示す。シーン識別器３１０は、メディアストリームＳの放送フレームＦB(1〜n)を示す放送フィンガープリント２２２、２２２ｂを受け取る。同様のピクセル値ＶPを有する放送フレームＦB(1〜n)のシーケンスは、メディアストリームＳが一連の放送シーン３０２、３０２ｂ(1〜n)を含むように放送シーン３０２、３０２ｂを定める。シーン識別器３１０は、シーン変化相関に基づいて第１の放送シーン３０２、３０２ｂ(1)と第２の放送シーン３０２、３０２ｂ(2)との間のシーン変化３１２を判定する。シーン変化相関とは、フレームＦ間及び／又はフレームＦに対応するフィンガープリント２２２間の類似性を示す類似性測定のことである。類似性測定は、２つの変数間の関連性を測定する統計的相関（例えば、ピアソンの相関、ケンドールの相関、又はスピアマンの相関）などの定量的相関とすることができる。いくつかの実装では、シーン変化相関が異なる類似性レベルを有し、各類似性レベルが、フレームＦ間及び／又はフレームＦに対応するフィンガープリント２２２間の異なる類似度を示す。図３Ａには、シーン変化相関がシーン変化ピアソン相関係数ＰSΔである基本例を示す。この例では、シーン変化ピアソン相関係数ＰSΔが、高類似性及び低類似性という２つの類似性レベルを有する。一例として、高類似性及び低類似性は、離散定量測定範囲（ｄｉｓｃｒｅｔｅ  ｑｕａｎｔｉｔａｔｉｖｅ  ｍｅａｓｕｒｅｍｅｎｔ  ｒａｎｇｅｓ）に対応する（例えば、低＝０〜０．５０、高＝０．０５１〜１．０）。これらの離散定量測定範囲は、シーン識別器３１０のために予めプログラムすることも、或いはシーン識別器３１０において測定されたシーン変化相関に基づいて調整することもできる。
【００３９】
いくつかの例では、シーン識別器３１０が、メディアストリームＳ内の各シーケンシャルに隣接する（すなわち、近接する）放送フレームの対ＦB(1〜n)、ＦBadj間のシーン変化ピアソン相関係数ＰSΔを求めることによってシーン変化３１２を識別する。これらの例では、シーン識別器３１０が、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フレームＦB(1)の第１の放送フィンガープリント２２２、２２２ｂ(1)と、放送フレームの対ＦB(1〜n)、ＦBadjの第２の放送フレームＦB(2)の第２の放送フィンガープリント２２２、２２２ｂ(2)との間のシーン変化ピアソン相関係数ＰSΔを求める。図３Ｃ及び図３Ｄなどのいくつかの実装では、シーン識別器３１０が、シーケンシャルに隣接する放送フレームの対ＦB(1〜n)、ＦBadj間のシーン変化ピアソン相関係数ＰSΔがシーン変化３１２に対応すると判定した時に、第１の放送シーン３０２、３０２ｂ(1)及び第２の放送シーン３０２、３０２ｂ(2)を識別する。換言すれば、シーン識別器３１０は、第２の放送シーン３０２、３０２ｂ(2)を第１の放送シーン３０２、３０２ｂ(1)の次のシーン３０４として識別する。例えば、シーン識別器３１０は、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フィンガープリント２２２、２２２ｂ(1)を第１の放送シーン３０２、３０２ｂ(1)の最後の放送フレームＦB(L)の最後の放送フィンガープリント２２２、２２２ｂ(L)として識別し、放送フレームの対ＦB(1〜n)、ＦBadjの第２の放送フィンガープリント２２２、２２２ｂ(2)を第２の放送シーン３０２、３０２ｂ(2)の最初の放送フレームＦB(i)の最初の放送フィンガープリント２２２、２２２ｂ(i)として識別する。
【００４０】
さらに図３Ａを参照すると、放送フレームの対ＦB(1〜n)、ＦBadjに対応する放送フィンガープリント２２２、２２２ｂ間のシーン変化ピアソン相関係数ＰSΔは、（例えば、１．０に向かう）高測定値又は（例えば、０に向かう）低測定値とすることができる。例えば、シーン変化ピアソン相関係数ＰSΔが高い場合、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フィンガープリント２２２、２２２ｂ(1)及び第２の放送フィンガープリント２２２、２２２ｂ(2)は、シーン変化３１２が発生しなかったことを示す類似性を有する。これとは逆に、シーン変化ピアソン相関係数ＰSΔが低い場合、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フィンガープリント２２２、２２２ｂ(1)及び第２の放送フィンガープリント２２２、２２２ｂ(2)は、シーン変化３１２が発生したことを示す非類似性を有する。いくつかの例では、シーン識別器３１０が、シーン変化ピアソン相関係数ＰSΔがシーン変化相関閾値ＴSΔを満たすかどうかを判定する。シーン変化ピアソン相関係数ＰSΔがシーン変化相関閾値ＴSΔを満たす場合、シーン識別器３１０は、シーン識別器３１０がどのように構成されているかに応じて、シーン変化３１２が発生したか、それともしなかったかを判定することができる。一例として、図３Ｂには、シーン変化ピアソン相関係数ＰSΔがシーン変化相関閾値ＴSΔを満たす場合にシーン変化３１２が発生したと識別するように構成されたシーン識別器３１０を示す。図３Ａ及び図３Ｂには、いずれもシーン識別器３１０が、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フィンガープリント２２２、２２２ｂ(1)と第２の放送フィンガープリント２２２、２２２ｂ(2)との間にシーン変化３１２が発生しなかったと判定したことを示す。
【００４１】
図３Ｃ〜図３Ｆに示すように、広告識別器３００は、照合器３２０をさらに含む。照合器３２０は、広告シーン３０２、３０２ａ(1〜n)の広告フレームＦad(1〜n)を示す広告フィンガープリント２２２、２２２ａを受け取る。いくつかの例では、シーン識別器３１０がシーン変化３１２を判定すると、照合器３２０が、広告シーンデータベース２５０から広告フィンガープリント２２２、２２２ａを取得することができる。他の例では、コンテンツエンティティが照合器３２０に広告フィンガープリント２２２、２２２ａを直接提供することができる。これに加えて、又はこれとは別に、照合器３２０は、広告フィンガープリント２２２、２２２ａ及び／又は広告フレームＦad(1〜n)を記憶するように構成された広告シーンデータベース２５０を含むこともできる。シーン識別器３１０がシーン変化３１２を判定して第１の放送シーン３０２、３０２ｂ(1)が第２の放送シーン３０２、３０２ｂ(2)に変化したと識別した場合、広告識別器３００は、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちのうちの１つであるかどうかを判定する。いくつかの実装では、照合器３２０が、受け取った各広告シーン３０２、３０２ａについて、広告シーン３０２、３０２ａに対応するそれぞれの広告フィンガープリント２２２、２２２ａと第２の放送シーン３０２、３０２ｂ(2)の少なくとも１つの放送フィンガープリント２２２、２２２ｂとの間の一致相関を求める。いくつかの例では、第２の放送シーン３０２、３０２ｂ(2)の少なくとも１つの放送フィンガープリント２２２、２２２ｂが、放送フレームの対ＦB(1〜n)、ＦBadjの第２の放送フィンガープリント２２２、２２２ｂ(2)である。いくつかの例では、この一致相関が、シーン変化相関と同様にピアソンの相関、ケンドールの相関又はスピアマンの相関などの統計的相関である。図３Ｃ〜図３Ｆには、一致相関の例を一致ピアソン相関係数ＰMとして示す。例えば、照合器３２０は、第２の放送シーン３０２、３０２ｂの少なくとも１つの放送フィンガープリント２２２、２２２ｂと、各広告シーン３０２、３０２ａに対応する各それぞれの広告フィンガープリント２２２、２２２ａとの間の一致相関ピアソン相関係数ＰMを求める。
【００４２】
いくつかの例では、照合器３２０が、広告シーン３０２、３０２ａの複数の広告フィンガープリント２２２、２２２ａに対応する（例えば、それぞれの広告フィンガープリント２２２、２２２ａを含む）広告フィンガープリントブロック２２２、２２２ａ(block)と、第２の放送シーン３０２、３０２ｂ(2)の複数の放送フィンガープリント２２２、２２２ｂに対応する放送フィンガープリントブロック２２２、２２２ｂ(block)との間の一致相関を求める。広告フィンガープリントブロック２２２、２２２ａ(block)及び放送フィンガープリントブロック２２２、２２２ｂ(block)の各ブロックは、所定数のフィンガープリント２２２を含むことができる。いくつかの実装では、各ブロックが同様の数のフィンガープリント２２２を含むことにより、照合器３２０による一致相関が、等しい数の広告フィンガープリント２２２、２２２ａを等しい数の放送フィンガープリント２２２、２２２ｂと比較する。例えば、広告フィンガープリントブロック２２２、２２２ａ(block)及び放送フィンガープリントブロック２２２、２２２ｂ(block)の各ブロックが２秒のフィンガープリント２２２に対応し、従って毎秒３０フレームのフレームレートでは、各ブロックが６０個のフィンガープリント（例えば、広告フィンガープリント２２２、２２２ａ(1〜60)及び放送フィンガープリント２２２、２２２ｂ(1〜60)）を含むようになる。説明例として、図３Ｃ、図３Ｄ及び図３Ｆには、（各広告シーン３０２、３０２ａにおける点線選択ボックス内の）４つの広告フィンガープリント２２２、２２２ａと、（放送シーン３０２、３０２ｂにおける点線選択ボックス内の）４つの放送フィンガープリント２２２、２２２ｂとに関する一致相関を実行する照合器３２０を示す。
【００４３】
いくつかの例では、広告シーン３０２、３０２ａが広告全体又は広告の一部に対応する。従って、広告シーンデータベース２５０は、広告の全ての広告フレームＦad(1〜n)、又は広告に関するいずれかの数の広告フレームＦad(1〜n)を含むことができる。いくつかの例では、広告識別器３００による一貫性を保証するように、各広告シーン３０２、３０２ａが設定数のフレームＦad(1〜n)である。例えば、各広告が広告の最初の２秒間において一意のものであると仮定すると、各広告シーン３０２、３０２ａは、２秒の広告フレームＦad(1〜n)に対応する。この例では、フレームレートが毎秒３０フレームである場合、２秒の広告フレームＦad(1〜n)が約６０個の広告フレームＦad(1〜60)に等しい。他の例では、各広告シーン３０２、３０２ａがいずれかの量の広告フレームＦad(1〜n)であるが、照合器３２０が、設定数の広告フレームＦad(1〜n)（例えば、２秒の広告フレームＦad(1〜n)）と第２の放送シーン３０２、３０２ｂ(2)（すなわち、次の放送シーン）の同様の数の放送フレームＦB(1〜n)との間の一致相関を求めるように構成される。設定数の広告フレームＦad(1〜n)は、広告シーンデータベース２５０に必要とされる記憶量を低減することができる。状況によっては、広告シーンデータベース２５０に必要とされる記憶量を低減することによって照合器３２０の処理能力を抑えることができる。例えば、広告は、しばしば約１０秒のショートバージョンから約１分のロングバージョンにまで及ぶ。フレームの観点から見れば、ロングバージョンは、ショートバージョンよりも千個を超える多くのフレームを含むことができる。この点、広告シーンデータベース２５０は、広告全体の千フレームを超える潜在的記憶容量を各広告の設定数の広告フレーム（Ｆad(1〜n)）に低減することができ、この記憶容量の低減を利用して、各広告フィンガープリント２２２、２２２ａが広告フレームＦad内により多くのサブフレームＦsubを、従ってより多くのピクセル値ＶPを組み込むようにする。換言すれば、フィンガープリント２２２（例えば、広告フィンガープリント２２２、２２２ａ又は放送フィンガープリント２２２、２２２ｂ）は、単一の平均ピクセル値ＶPのみのフィンガープリント２２２よりもはるかに多くのピクセル値ＶPのベクトル（例えば、１６個の整数ベクトル）を表すことができるので、照合器３２０は、広告の一部（すなわち、離散数の広告フレームＦad(1〜n)）によって放送シーン３０２、３０２ｂが１つの広告に対応することを正確に識別できるようになる。
【００４４】
さらに、図３Ｃ及び図３Ｄには、シーン識別器３１０がシーン変化３１２を判定する例を示す。これらの例では、シーン識別器３１０が、シーケンシャルに隣接する放送フレームの対ＦB(1)、ＦB(2)間のシーン変化ピアソン相関係数ＰSΔがシーン変化３１２に対応すると判定した時に、放送フレームの対ＦB(1)、ＦB(2)の第１の放送フィンガープリント２２２、２２２ｂ(1)を第１の放送シーン３０２、３０２ｂ(1)の最後の放送フレームＦB(L)の最後の放送フィンガープリント２２２、２２２ｂ(L)として識別し、放送フレームの対ＦB(1)、ＦB(2)の第２の放送フィンガープリント２２２、２２２ｂ(2)を第２の放送シーン３０２、３０２ｂ(2)の最初の放送フレームＦB(i)の最初の放送フィンガープリント２２２、２２２ｂ(i)として識別する。シーン変化３１２が判定されると、照合器３２０は、第２の放送シーン３０２、３０２ｂ(2)が広告シーンのうちの１つであるかどうかを判定する。図３Ｃ及び図３Ｄでは、照合器３２０が、同様の数のフレームＦ(1〜n)を表す広告フィンガープリント２２２、２２２ａ及び放送フィンガープリント２２２、２２２ｂを受け取る。場合によっては、広告識別器３００に関連するデータ処理ハードウェア及び／又はメモリハードウェアを効率化するために、照合器３２０が同様の寸法又はベクトルのフィンガープリント２２２を受け取ることが有利となり得る。いくつかの例では、シーン識別器３１０が、照合器３２０に次のシーン３０４の放送フィンガープリント２２２、２２２ｂを伝える。他の例では、シーン識別器３１０がシーン変化３１２を判定した時に、照合器３２０が次のシーン３０４の放送フィンガープリント２２２、２２２ｂを取得することができる。図３Ｃ及び図３Ｄでは、照合器３２０が、第２の放送シーン３０２、３０２ｂ(2)（すなわち、次のシーン３０４）の４つの放送フレームＦB(2〜5)に関連する放送フィンガープリント２２２、２２２ｂと、各広告シーン３０２、３０２ａ(1〜n)の４つの広告フレームＦad(1〜4)に関連する広告フィンガープリント２２２、２２２ａとを受け取る。例えば、照合器３２０は、広告シーンデータベース２５０から広告フィンガープリント２２２、２２２ａを受け取る。
【００４５】
図３Ｃ及び図３Ｄには、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであるかどうかを一致ピアソン相関係数ＰMに基づいて判定する照合器３２０を示す。照合器３２０は、シーン識別器３１０と同様に、一致ピアソン相関係数ＰMに類似性レベル又は類似性閾値を使用することができる。図３Ｃなどのいくつかの例では、照合器３２０が、一致ピアソン相関係数ＰMが類似性レベル（例えば、図３Ａなどの高類似性及び低類似性）に対応する時に、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであると判定する。図３Ｃでは、照合器３２０が、第２の放送シーン３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂが広告シーン３０２、３０２ａ(1〜n)の少なくとも１つの広告フィンガープリント２２２、２２２ａとの高い類似性を有すると判定している。図３Ｄなどの他の例では、照合器３２０が、一致ピアソン相関係数ＰMが一致相関閾値ＴMを満たす時に、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであると判定することができる。一致相関閾値ＴMは、シーン識別器３１０のシーン変化ピアソン相関閾値ＴSΔと同様に、照合器３２０がどのように構成されているかに応じて、次のシーン３０４が広告シーン３０２、３０２ａに一致するかどうかを判定することができる。一例として、図３Ｄには、一致ピアソン相関係数ＰMが一致相関閾値ＴMを満たす時に次のシーン３０４が広告シーン３０２、３０２ａに一致すると識別するように構成された照合器３２０を示す。図３Ｃ〜図３Ｆには一致相関として一致ピアソン相関係数ＰMを示しているが、照合器３２０は、類似性レベル及び／又は閾値と共にあらゆる統計的相関を使用することができる。さらに、図３Ａ〜図３Ｆにはシーン識別器３１０及び照合器３２０の複数の組み合わせを示しているが、任意の組み合わせが可能である。例えば、これらの図には、シーン識別器３１０が閾値を使用して照合器３２０が類似性レベルを使用する、又はシーン識別器３１０が類似性レベルを使用して照合器３２０が閾値を使用する広告識別器３００を示していない。これらの図には、シーン識別器３１０がシーン変化３１２を判定したにもかかわらず、照合器３２０が一致する広告シーン３０２、３０２ａを決定しないことも示していない。この状況は、メディアストリームＳの番組中にライブ番組がシーンを変更したにもかかわらず、番組が広告に移行しない場合に発生し得る。
【００４６】
いくつかの実装では、照合器３２０が、第２の放送シーン３０２、３０２ｂ(2)の少なくとも１つの放送フィンガープリント２２２、２２２ｂに関して各広告シーン３０２、３０２ａの一致相関を求める。照合器３２０は、各一致相関に関して、最大一致相関を有する広告シーン３０２、３０２ａを、第２の放送シーン３０２、３０２ｂ(2)の少なくとも１つの放送フィンガープリント２２２、２２２ｂに一致する広告シーン３０２、３０２ａとして識別するように構成することができる。例えば、この構成は、広告シーン３０２、３０２ａが同様の広告ではあるが長さが異なる広告を含む時に、照合器３２０を正確にするのに役立つことができる。
【００４７】
いくつかの例では、シーン識別器３１０がシーン変化３１２を判定した場合、照合器３２０が、シーン変化３１２に対応する放送フレームの対ＦB(1)、ＦB(2)の第１の放送フィンガープリント２２２、２２２ｂ(1)の後、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであるかどうかを判定する前に閾値期間ＰT待つ。いくつかの実装では、照合器３２０が、第１の放送シーン３０２、３０２ｂ(1)の最後の放送フレーム２２２、２２２ｂ(L)の最後の放送フィンガープリント２２２、２２２ｂ(L)の後、閾値期間ＰT待つ。例えば、図３Ｃ〜図３Ｆでは、第２の放送シーン３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂが、放送フレームＦB(2〜5)の閾値期間ＰTに対応する。換言すれば、照合器３２０によって分析される第２の放送シーン３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂは、複数の放送フレームＦB(1〜n)に対応することができる。いくつかの例では、閾値期間ＰTは、照合器３２０が各広告シーン３０２、３０２ａについて受け取る設定数の広告フレームＦad(1〜n)を占めるように機能する。閾値期間ＰTは、設定数の広告フレームＦad(1〜n)を占めることにより、フィンガープリント２２２を比較するための同等サイズのベクトル又はピクセル値を照合器３２０に提供することができる。例えば、各広告シーン３０２、３０２ａが２秒の広告フレームＦad(1〜n)に対応する場合、閾値期間ＰTは、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであるかどうかを判定する前の少なくとも２秒である。照合器３２０は、この２秒により、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａのうちの１つであるかどうかを２秒の放送フレームＦB(1〜n)に基づいて判定できるようになる。
【００４８】
図３Ｃ〜図３Ｆには、広告識別器３００の広告インジケータ３３０も示す。広告インジケータ３３０は、一致相関が照合器３２０の一致基準（例えば、一致相関閾値ＴM又は類似性レベル）を満たす時に、第２の放送シーン３０２、３０２ｂ(2)の識別３３２を広告シーン３０２、３０２ａ(1〜n)のうちの１つとして関連付けることができる。例えば、広告インジケータ３３０は、第２の放送シーン３０２、３０２ｂ(2)を、照合器３２０が受け取って第２の放送シーン３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂに一致すると判定されたそれぞれの広告フィンガープリント２２２、２２２ａの広告シーン３０２、３０２ａに対応するものとして識別する。いくつかの例では、メディア装置３０におけるリアルタイム観察中に第２の放送シーン３０２、３０２ｂ(2)を容易に識別できるように、識別３３２がコンテンツエンティティ又はＡＣＲモジュール１３２への通信である。この識別３３２に従って、広告に対応する第２の放送シーン３０２、３０２ｂ(2)を別のコンテンツに置き換え、重ね合わせ、又は修正することができる。広告識別器３００は、第２の放送シーン３０２、３０２ｂ(2)が広告であるという識別３３２を提供することにより、メディア装置３０におけるＡＣＲモジュール１３２のより効率的かつ効果的な機能を可能にすることができる。これに加えて、又はこれとは別に、識別３３２は、第２の放送シーン３０２、３０２ｂ(2)に関連するメタデータタグなどの識別子でもある。識別子のいくつかの例としては、対応する広告シーン３０２、３０２ａに関する情報（例えば、広告主、製品、サービス、広告の長さなど）又は放送フレームデータ（例えば、フレーム位置）が挙げられる。換言すれば、この識別子は、メディア装置３０がメディアストリームＳを受け取った時にコンテンツエンティティ又はＡＣＲモジュール１３２が対応する広告シーン３０２、３０２ａを識別するのを支援できるいずれかのデータとすることができる。広告識別器３００は、広告の識別３３２を提供することにより、ＡＣＲモジュール１３２における何らかの広告識別エラーを排除することができる。これに加えて、又はこれとは別に、広告識別器３００は、ＡＣＲモジュール１３２が広告識別器３００と同様の機能の実行に消費したはずの処理能力を抑えることもできる。
【００４９】
いくつかの広告は、より複雑な形態の広告となり得る。一例として、互いに入れ子状になった広告、互いにシーケンシャルに隣接する広告、又は別の広告の前に通常番組の短いひとコマが後続する広告が挙げられる。例えば、ゴルフクラブメーカーは、ゴルフクラブ及び／又はゴルフスイングをクローズアップした標準的な広告のみならず、高級車メーカーと提携することもできる。この例では、車を運転してゴルフコースに行くことから始まって標準的なゴルフクラブの広告及びゴルフクラブのクローズアップで終わることができる広告、ゴルフクラブから始まってゴルフクラブを車に積んで走り去ることで終了する広告、又は車から始まって車で終わるが中間部分に標準的なゴルフクラブの広告を含むことができる広告といった複数の異なる広告シーケンスが存在することができる。広告識別器３００は、これらのいずれの広告シーケンスについても、第２の放送シーン３０２、３０２ｂ(2)が別の広告シーン３０２、３０２ａ内に存在するかどうか、又は別の広告シーン３０２、３０２ａにシーケンシャルに隣接するかどうかを判定するように構成される。
【００５０】
図３Ｅ及び図３Ｆには、第２の放送シーン３０２、３０２ｂ(2)が別の広告シーン３０２、３０２ａ内に存在するかどうか、又は別の広告シーン３０２、３０２ａにシーケンシャルに隣接するかどうかを判定する広告識別器３００を示す。広告インジケータ３３０が第２の放送シーン３０２、３０２ｂ(2)の識別３３２及び／又は識別子を提供すると、識別３３２は、シーン識別器３１０が、第２の放送フレーム３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂの次の放送フレームＦBに第３の放送シーン３０２、３０２ｂ（３）が存在するかどうかを判定することをトリガすることができる。換言すれば、シーン識別器３１０は、後続する放送フレームの対ＦB(1〜n)、ＦBadj間のシーン変化相関を求めることができる。いくつかの例では、シーン識別器３１０が、メディアストリームＳの放送フレームの各シーケンシャルに隣接する対ＦB(1〜n)、ＦBadj間のシーン変化相関を再帰的に実行する。他の例では、第１の反復において照合器３２０によって分析された放送フレームＦB(1〜n)の閾値期間ＰTの最終放送フレームＦB(f)から放送フレームの対ＦB(1〜n)、ＦBadjの第２の反復が開始する。例えば、図３Ｅ及び図３Ｆには、放送フレームＦB(1〜n)の閾値期間ＰTの最終放送フレームＦB(f)（すなわち、図３Ｃ及び図３Ｄの放送フレームＦB(5)）から放送フレームの対ＦB(1〜n)、ＦBadjの第２の反復が開始することを示す。これらの例では、放送フレームＦB(1〜n)の閾値期間ＰTの最終放送フレームＦB(f)が、第２の反復の放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フレームＦB(1)になる。図３Ｅには、シーン識別器３１０が第２の放送シーン３０２、３０２ｂ(2)内にシーン変化３１２が存在しないと判定することを除き、図３Ｂと同様のシーン識別器３１０のプロセスを示す。
【００５１】
一方で、図３Ｆは、第２の放送シーン３０２、３０２ｂ(2)の広告シーン３０２、３０２ａ内の、又はこれにシーケンシャルに隣接する広告を決定する広告識別器３００の例である。ここでは、シーン識別器３１０が、第２の放送シーン３０２、３０２ｂ(2)と第３の放送シーン３０２、３０２ｂ(3)との間のシーン変化３１２を識別する。照合器３２０は、閾値期間ＰT（４つの放送フレームＦB(2〜5)）にわたって待機し、第３の放送シーン３０２、３０２ｂ(3)が別の広告シーン３０２、３０２ａに対応すると判定する。広告インジケータ３３０は、この照合器３２０による判定に基づいて識別３３２を第３の放送シーン３０２、３０２ｂ(3)に関連付ける。
【００５２】
ソフトウェアアプリケーション（すなわち、ソフトウェアリソース）は、コンピュータ装置にタスクを実行させるコンピュータソフトウェアを意味することができる。いくつかの例では、ソフトウェアアプリケーションを「アプリケーション」、「アプリ」、又は「プログラム」と呼ぶこともできる。アプリケーション例としては、以下に限定するわけではないが、システム診断アプリケーション、システム管理アプリケーション、システムメンテナンスアプリケーション、ワープロアプリケーション、スプレッドシートアプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、及びゲームアプリケーションが挙げられる。
【００５３】
図４は、本文書で説明したシステム及び方法を実装するために使用できるコンピュータ装置例４００の概略図である。コンピュータ装置４００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すように意図される。図示のコンポーネント、その接続及び関係、並びにその機能は例示を目的とするものにすぎず、本文書で説明した及び／又は特許請求する発明の実装を限定するものではない。
【００５４】
コンピュータ装置４００は、プロセッサ４１０と、メモリ４２０と、記憶装置４３０と、メモリ４２０及び高速拡張ポート４５０に接続する高速インターフェイス／コントローラ４４０と、低速バス４７０及び記憶装置４３０に接続する低速インターフェイス／コントローラ４６０とを含む。コンポーネント４１０、４２０、４３０、４４０、４５０及び４６０の各々は、様々なバスを使用して相互接続され、必要に応じて共通マザーボード上に又は他の形で取り付けることができる。プロセッサ４１０は、メモリ４２０又は記憶装置４３０に記憶された命令を含む、コンピュータ装置４００内で実行される命令を処理して、高速インターフェイス４４０に結合されたディスプレイ４８０などの外部入力／出力装置上にグラフィカルユーザインターフェイス（ＧＵＩ）のためのグラフィック情報を表示することができる。他の実装では、必要に応じて複数のメモリ及びメモリタイプと共に複数のプロセッサ及び／又は複数のバスを使用することができる。また、複数のコンピュータ装置４００を接続して、各装置が（例えば、サーババンク、一群のブレードサーバ、又はマルチプロセッサシステムとして）必要な動作の一部を提供することもできる。
【００５５】
メモリ４２０は、コンピュータ装置４００内に非一時的に情報を記憶する。メモリ４２０は、コンピュータ可読媒体、（単複の）揮発性メモリユニット、又は（単複の）不揮発性メモリユニットとすることができる。非一時的メモリ４２０は、コンピュータ装置４００が使用するプログラム（例えば、一連の命令）又はデータ（例えば、プログラム状態情報）を一時的又は恒久的に記憶するために使用される物理的装置とすることができる。不揮発性メモリの例としては、以下に限定するわけではないが、フラッシュメモリ及びリードオンリメモリ（ＲＯＭ）／プログラマブルリードオンリメモリ（ＰＲＯＭ）／消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）／電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）（例えば、典型的にはブートプログラムなどのファームウェアに使用されるもの）が挙げられる。揮発性メモリの例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、及びディスク又はテープが挙げられる。
【００５６】
記憶装置４３０は、コンピュータ装置４００のための大容量ストレージを提供することができる。いくつかの実装では、記憶装置４３０がコンピュータ可読媒体である。様々な異なる実装では、記憶装置４３０を、フロッピーディスク装置、ハードディスク装置、光ディスク装置、又はテープ装置、フラッシュメモリ又は他の同様の固体メモリデバイス、或いはストレージエリアネットワーク又はその他の構成を含む一連の装置とすることができる。さらなる実装では、コンピュータプログラム製品が情報キャリア内で有形的に具体化される。コンピュータプログラム製品は、実行時に上述したような１又は２以上の方法を実行する命令を含む。情報キャリアは、メモリ４２０、記憶装置４３０、又はプロセッサ４１０上のメモリなどのコンピュータ可読媒体又は機械可読媒体である。
【００５７】
高速コントローラ４４０は、コンピュータ装置４００の帯域幅集約動作を管理し、低速コントローラ４６０は、低帯域幅集約動作を管理する。このような作業の割り当ては例示にすぎない。いくつかの実装では、高速コントローラ４４０が、メモリ４２０と、ディスプレイ４８０と、様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート４５０とに（例えば、グラフィックスプロセッサ又はアクセラレータを介して）結合される。いくつかの実装では、低速コントローラ４６０が、記憶装置４３０及び低速拡張ポート４９０に結合される。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、ワイヤレスイーサネット）を含むことができる低速拡張ポート４９０は、キーボード、ポインティングデバイス、スキャナなどの１又は２以上の入力／出力装置に、或いはネットワークアダプタなどを介してスイッチ又はルータなどのネットワーク装置に結合することができる。
【００５８】
コンピュータ装置４００は、図示のような複数の異なる形態で実装することができる。例えば、コンピュータ装置４００は、標準サーバ４００ａとして、又は一群のこのようなサーバ４００ａにおいて複数回、ラップトップコンピュータ４００ｂとして、或いはラックサーバシステム４００ｃの一部として実装することができる。
【００５９】
本明細書で説明したシステム及び技術の様々な実装は、デジタル電子回路及び／又は光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせで実現することができる。これらの様々な実装は、ストレージシステム、少なくとも１つの入力装置及び少なくとも１つの出力装置との間でデータ及び命令を送受信するように結合された、専用又は汎用とすることができる少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能な１又は２以上のコンピュータプログラムでの実装を含むことができる。
【００６０】
これらの（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとしても知られている）コンピュータプログラムは、プログラマブルプロセッサのための機械命令を含み、高水準手続き型言語及び／又はオブジェクト指向型プログラミング言語、及び／又はアセンブリ／機械言語で実装することができる。本明細書で使用する「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含む、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用されるあらゆるコンピュータプログラム製品、非一時的コンピュータ可読媒体、装置及び／又はデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理装置（ＰＬＤ））を意味する。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用されるあらゆる信号を意味する。
【００６１】
本明細書で説明したプロセス及びロジックフローは、１又は２以上のコンピュータプログラムを実行する１又は２以上のプログラマブルプロセッサによって、入力データに作用して出力を生成することによって機能を実行するように実行することができる。プロセス及びロジックフローは、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などの専用論理回路によって実行することもできる。コンピュータプログラムを実行するのに適したプロセッサとしては、一例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びにいずれか１つ又は２つのあらゆる種類のデジタルコンピュータのプロセッサが挙げられる。一般に、プロセッサは、リードオンリメモリ又はランダムアクセスメモリ、或いはこれらの両方から命令及びデータを受け取る。コンピュータの必須要素は、命令を実行するためのプロセッサ、並びに命令及びデータを記憶するための１又は２以上のメモリデバイスである。一般に、コンピュータは、磁気ディスク、光磁気ディスク又は光学ディスクなどの、データを記憶する１又は２以上の大容量記憶装置も含み、或いはこのような記憶装置との間でデータの受け取り及びデータの転送、又はこれらの両方を行うように動作可能に結合される。しかしながら、コンピュータは、このような装置を有していなくてもよい。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ可読媒体としては、一例としてＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスク又は取り外し可能ディスクなどの磁気ディスク、磁気光学ディスク、並びにＣＤ  ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む、全ての形態の不揮発性メモリ、媒体及びメモリデバイスが挙げられる。プロセッサ及びメモリは、専用論理回路によって補完することも、或いは専用論理回路に組み込むこともできる。
【００６２】
本開示の１又は２以上の態様は、ユーザとの相互作用を可能にするために、ＣＲＴ（ブラウン管）、ＬＣＤ（液晶ディスプレイ）モニタ又はタッチ画面などの、ユーザに情報を表示するためのディスプレイ装置と、任意にユーザがコンピュータに入力を提供できるようにするキーボード、及びマウス又はトラックボールなどのポインティングデバイスとを有するコンピュータに実装することができる。他の種類の装置を用いてユーザとの相互作用を可能にすることもでき、例えば、ユーザに提供されるフィードバックは、視覚フィードバック、聴覚フィードバック又は触覚フィードバックなどのあらゆる形の感覚フィードバックとすることができ、ユーザからの入力は、音響入力、発話入力又は触覚入力を含むあらゆる形で受け取ることができる。また、コンピュータは、ユーザが使用する装置との間で文書を送受信することにより、例えばユーザのクライアント装置上のウェブブラウザから受け取った要求に応答してこのウェブブラウザにウェブページを送信することによってユーザとの相互作用を行うこともできる。
【００６３】
複数の実装について説明した。それでもなお、本開示の趣旨及び範囲から逸脱することなく様々な修正を行うことができると理解されるであろう。従って、以下の特許請求の範囲には他の実装も含まれる。
【符号の説明】
【００６４】
１０  自動コンテンツ認識環境
２０  ユーザ
３０  メディア装置
１００  放送層
１０２  放送局
１０４  放送配信業者
１１０  追加コンテンツ層
１１２  商用プロバイダ
１１４  広告主
１２０  ネットワーク層
１３０  装置層
１３２  ＡＣＲモジュール
２００  フィンガープリンタ
２１０  サーバ
２１２  データ処理ハードウェア
２１４  メモリハードウェア
２２０  フィンガープリント生成器
２３０  フィンガープリント
２４０  メタデータ
３００  広告識別器
Ｓ  メディアストリーム
ＳB  放送メディアストリーム
ＳC  追加メディアコンテンツ
ＳD  メディア装置ストリーム
ＳN  ネットワークメディアストリーム
【図１Ａ】
0006873321.tif 000002
【図１Ｂ】
0006873321.tif 000003
【図２】
0006873321.tif 000004
【図３Ａ】
0006873321.tif 000005
【図３Ｂ】
0006873321.tif 000006
【図３Ｃ】
0006873321.tif 000007
【図３Ｄ】
0006873321.tif 000008
【図３Ｅ】
0006873321.tif 000009
【図３Ｆ】
0006873321.tif 000010
【図４】
0006873321.tif 000011