(57)【要約】  システムは、対象のビデオを受信する。システムは、対象のビデオ内の動的セグメントと準静的セグメントとを識別する。システムは、対象のビデオの動的セグメントと参照ビデオの参照動的セグメントとの間のマッチを決定する。同様に、システムは、対象のビデオの準静的セグメントと参照ビデオの参照準静的セグメントとの間のマッチを決定する。システムは、1つまたは複数のエントリを含むマッチマージリストを生成する。マッチマージリストの各エントリは、対象のビデオの動的セグメントおよび準静的セグメントの連続的な発生を含む対象のビデオのグループ化セグメントの指標と、参照ビデオの参照動的セグメントおよび参照準静的セグメントの連続的な発生を含む参照ビデオの参照グループ化セグメントの指標とを含み、参照動的セグメントは、動的セグメントとマッチし、参照準静的セグメントは、準静的セグメントとマッチする。
2019514111.tif 000002
【特許請求の範囲】
【請求項１】
対象のビデオを受信するステップと、
前記対象のビデオ内で、1つまたは複数の動的セグメントのセットを識別するステップであって、動的セグメントが、時間期間にわたってしきい値量よりも多く変化するコンテンツを有するセグメントである、ステップと、
前記対象のビデオ内で、1つまたは複数の準静的セグメントのセットを識別するステップであって、準静的セグメントが、時間期間にわたって前記しきい値量よりも少なく変化するコンテンツを有するセグメントである、ステップと、
前記1つまたは複数の動的セグメントと1つまたは複数の参照動的セグメントとの間のマッチを決定するステップと、
前記1つまたは複数の準静的セグメントと1つまたは複数の参照準静的セグメントとの間のマッチを決定するステップと、
1つまたは複数のエントリを含むマッチマージリストを生成するステップであって、各エントリが、
動的セグメントおよび準静的セグメントの連続的な発生を含むグループ化セグメントと、
参照動的セグメントおよび参照準静的セグメントの連続的な発生を含む参照ビデオの参照グループ化セグメントと
を示し、
前記参照動的セグメントが前記動的セグメントとマッチし、前記参照準静的セグメントが前記準静的セグメントとマッチする、ステップと
を含む方法。
【請求項２】
前記1つまたは複数の動的セグメントの各々に対してフィンガープリントを決定するステップをさらに備え、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップが、前記フィンガープリントと、前記参照ビデオに関連付けられた1つまたは複数の参照フィンガープリントとの間のマッチを決定するステップを含む、請求項1に記載の方法。
【請求項３】
各フィンガープリントが、前記ビデオのうちの対応する1つを識別するビデオ識別子と、前記対応するビデオ内で前記対応するセグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項2に記載の方法。
【請求項４】
前記1つまたは複数の準静的セグメントの各々について画像を抽出するステップをさらに備え、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップが、前記画像と1つまたは複数の参照画像との間のマッチを決定するステップを含む、請求項1に記載の方法。
【請求項５】
各画像が、前記ビデオのうちの対応する1つを識別するビデオ識別子と、前記対応するビデオ内で前記対応するセグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項4に記載の方法。
【請求項６】
前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップが、
所与の参照動的セグメントが所与の動的セグメントとマッチする数値尤度を表す動的セグメントマッチ尤度を決定するステップをさらに備え、
前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップが、
所与の参照準静的セグメントが所与の準静的セグメントとマッチする数値尤度を表す準静的セグメントマッチ尤度を決定するステップをさらに含む、請求項1に記載の方法。
【請求項７】
前記マッチマージリストを生成するステップが、前記1つまたは複数のエントリの各々について、参照ビデオの参照グループ化セグメントが前記ビデオのグループ化セグメントとマッチする数値尤度を表す集約マッチ尤度を生成するステップを含む、請求項1に記載の方法。
【請求項８】
前記集約マッチ尤度に基づいて前記マッチマージリストの前記1つまたは複数のエントリをランク付けするステップと、
前記ランク付けされたマッチマージリストを提供するステップと
をさらに含む、請求項7に記載の方法。
【請求項９】
実行されたとき、
対象のビデオを受信するステップと、
前記対象のビデオ内で、1つまたは複数の動的セグメントのセットを識別するステップであって、動的セグメントが、時間期間にわたってしきい値量よりも多く変化するコンテンツを有するセグメントである、ステップと、
前記対象のビデオ内で、1つまたは複数の準静的セグメントのセットを識別するステップであって、準静的セグメントが、時間期間にわたって前記しきい値量よりも少なく変化するコンテンツを有するセグメントである、ステップと、
前記1つまたは複数の動的セグメントと1つまたは複数の参照動的セグメントとの間のマッチを決定するステップと、
前記1つまたは複数の準静的セグメントと1つまたは複数の参照準静的セグメントとの間のマッチを決定するステップと、
1つまたは複数のエントリを含むマッチマージリストを生成するステップであって、各エントリが、
動的セグメントおよび準静的セグメントの連続的な発生を含むグループ化セグメントと、
参照動的セグメントおよび参照準静的セグメントの連続的な発生を含む参照ビデオの参照グループ化セグメントと
を示し、
前記参照動的セグメントが前記動的セグメントとマッチし、前記参照準静的セグメントが前記準静的セグメントとマッチする、ステップと
を含む動作を実行する実行可能なコンピュータ命令を記憶する非一時的コンピュータ可読記憶媒体と、
前記コンピュータ命令を実行するように構成されたプロセッサと
を備えるシステム。
【請求項１０】
実行されたとき、前記命令が、前記1つまたは複数の動的セグメントの各々に対してフィンガープリントを決定するステップを含む動作をさらに実行し、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップが、前記フィンガープリントと、前記参照ビデオに関連付けられた1つまたは複数の参照フィンガープリントとの間のマッチを決定するステップを含む、請求項9に記載のシステム。
【請求項１１】
各フィンガープリントが、前記ビデオのうちの対応する1つを識別するビデオ識別子と、前記対応するビデオ内で前記対応するセグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項10に記載のシステム。
【請求項１２】
実行されたとき、前記命令が、前記1つまたは複数の準静的セグメントの各々について画像を抽出するステップを含む動作をさらに実行し、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップが、前記画像と1つまたは複数の参照画像との間のマッチを決定するステップを含む、請求項9に記載のシステム。
【請求項１３】
各画像が、前記ビデオのうちの対応する1つを識別するビデオ識別子と、前記対応するビデオ内で前記対応するセグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項12に記載のシステム。
【請求項１４】
実行されたとき、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップを含む動作を実行する前記命令が、実行されたとき、
所与の参照動的セグメントが所与の動的セグメントとマッチする数値尤度を表す動的セグメントマッチ尤度を決定するステップを含む動作を実行する命令をさらに備え、
実行されたとき、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップを含む動作を実行する前記命令が、実行されたとき、
所与の参照準静的セグメントが所与の準静的セグメントとマッチする数値尤度を表す準静的セグメントマッチ尤度を決定するステップを含む動作を実行する命令をさらに備える、請求項9に記載のシステム。
【請求項１５】
実行されたとき、前記マッチマージリストを生成するステップを含む動作を実行する前記命令が、実行されたとき、前記1つまたは複数のエントリの各々について、参照ビデオの参照グループ化セグメントが前記ビデオのグループ化セグメントとマッチする数値尤度を表す集約マッチ尤度を生成するステップを含む動作を実行する命令をさらに備える、請求項9に記載のシステム。
【請求項１６】
実行されたとき、前記命令が、
前記集約マッチ尤度に基づいて前記マッチマージリストの前記1つまたは複数のエントリをランク付けするステップと、
前記ランク付けされたマッチマージリストを提供するステップと
を含む動作をさらに実行する、請求項15に記載のシステム。
【請求項１７】
プロセッサによって実行されたとき、
対象のビデオを受信するステップと、
前記対象のビデオ内で、1つまたは複数の動的セグメントのセットを識別するステップであって、動的セグメントが、時間期間にわたってしきい値量よりも多く変化するコンテンツを有するセグメントである、ステップと、
前記対象のビデオ内で、1つまたは複数の準静的セグメントのセットを識別するステップであって、準静的セグメントが、時間期間にわたって前記しきい値量よりも少なく変化するコンテンツを有するセグメントである、ステップと、
前記1つまたは複数の動的セグメントと1つまたは複数の参照動的セグメントとの間のマッチを決定するステップと、
前記1つまたは複数の準静的セグメントと1つまたは複数の参照準静的セグメントとの間のマッチを決定するステップと、
1つまたは複数のエントリを含むマッチマージリストを生成するステップであって、各エントリが、
動的セグメントおよび準静的セグメントの連続的な発生を含むグループ化セグメントと、
参照動的セグメントおよび参照準静的セグメントの連続的な発生を含む参照ビデオの参照グループ化セグメントと
を示し、
前記参照動的セグメントが前記動的セグメントとマッチし、前記参照準静的セグメントが前記準静的セグメントとマッチする、ステップと
を含む動作を実行する実行可能なコンピュータ命令を記憶する非一時的コンピュータ可読記憶媒体。
【請求項１８】
前記命令が、前記プロセッサによって実行されたとき、前記1つまたは複数の動的セグメントの各々に対してフィンガープリントを決定するステップを含むさらなる動作を実行し、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップが、前記フィンガープリントと、前記参照ビデオに関連付けられた1つまたは複数の参照フィンガープリントとの間のマッチを決定するステップを含む、請求項17に記載の非一時的コンピュータ可読記憶媒体。
【請求項１９】
各フィンガープリントが、前記ビデオのうちの対応する1つを識別するビデオ識別子と、前記対応するビデオ内で前記対応するセグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項18に記載の非一時的コンピュータ可読記憶媒体。
【請求項２０】
前記命令が、前記プロセッサによって実行されたとき、前記1つまたは複数の準静的セグメントの各々について画像を抽出するステップを含むさらなる動作を実行し、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップが、前記画像と1つまたは複数の参照画像との間のマッチを決定するステップを含む、請求項17に記載の非一時的コンピュータ可読記憶媒体。
【請求項２１】
各画像が、前記ビデオのうちの対応する1つを識別するビデオ識別子と、前記対応するビデオ内で前記対応するセグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項20に記載の非一時的コンピュータ可読記憶媒体。
【請求項２２】
前記プロセッサによって実行されたとき、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップを含む動作を実行する前記命令が、
所与の参照動的セグメントが所与の動的セグメントとマッチする数値尤度を表す動的セグメントマッチ尤度を決定するステップを含むさらなる動作を実行し、
前記プロセッサによって実行されたとき、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップを含む動作を実行する前記命令が、
所与の参照準静的セグメントが所与の準静的セグメントとマッチする数値尤度を表す準静的セグメントマッチ尤度を決定するステップを含むさらなる動作を実行する、請求項17に記載の非一時的コンピュータ可読記憶媒体。
【請求項２３】
前記プロセッサによって実行されたとき、前記マッチマージリストを生成するステップを含む動作を実行する前記命令が、前記1つまたは複数のエントリの各々について、参照ビデオの参照グループ化セグメントが前記ビデオのグループ化セグメントとマッチする数値尤度を表す集約マッチ尤度を生成するステップを含むさらなる動作を実行する、請求項17に記載の非一時的コンピュータ可読記憶媒体。
【請求項２４】
前記命令が、前記プロセッサによって実行されたとき、
前記集約マッチ尤度に基づいて前記マッチマージリストの前記1つまたは複数のエントリをランク付けするステップと、
前記ランク付けされたマッチマージリストを提供するステップと
を含むさらなる動作を実行する、請求項23に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、ビデオ処理に関し、より詳細には、ビデオマッチングおよび画像マッチングに関する。
【背景技術】
【０００２】
従来、公知のビデオマッチング技法は、対象のビデオとマッチする1つまたは複数の参照ビデオを決定するために、対象のビデオまたはその一部を参照ビデオまたはその一部とマッチさせるために使用される。動的なコンテンツ(たとえば、動画コンテンツ)と準静的なコンテンツ(たとえば、画像コンテンツ)とを含む対象のビデオを、動的なコンテンツと準静的なコンテンツとを含む参照ビデオとマッチさせるためのビデオマッチング技法のみを実施することは、時間を消費し、計算コストが高い場合があり、ビデオとマッチする参照ビデオの適合率および再現率を低減する場合がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
マッチマージリストを生成するためのシステムが提供される。システムは、たとえば、コンテンツプロバイダから対象のビデオを受信する。システムは、対象のビデオ内の1つまたは複数の動的セグメントを識別し、対象のビデオ内の1つまたは複数の準静的セグメントを識別する。システムは、対象のビデオの1つまたは複数の動的セグメントと、1つまたは複数の参照ビデオの1つまたは複数の参照動的セグメントとの間のマッチを決定する。同様に、システムは、対象のビデオの1つまたは複数の準静的セグメントと、1つまたは複数の参照ビデオの1つまたは複数の参照準静的セグメントとの間のマッチを決定する。システムは、1つまたは複数のエントリを含むマッチマージリストを生成する。マッチマージリストの各エントリは、対象のビデオの動的セグメントおよび準静的セグメントの連続的な発生を含む対象のビデオのグループ化セグメントの指標と、参照動的セグメントおよび参照準静的セグメントの連続的な発生を含む参照ビデオの参照グループ化セグメントの指標とを含み、参照動的セグメントは、動的セグメントとマッチし、参照準静的セグメントは、準静的セグメントとマッチする。
【０００４】
本明細書で開示される実施形態の教示は、添付図面と併せて以下の詳細な説明を考慮することによって容易に理解され得る。
【図面の簡単な説明】
【０００５】
【図１】一実施形態による、対象のビデオをセグメント化し、識別するためのコンピューティング環境のフロー図である。
【図２】一実施形態による、マッチマージリストを生成するためのマッチモジュールの構成要素を示す図である。
【図３】一実施形態による、動的セグメントと準静的セグメントとを含む例示的な対象のビデオと、動的セグメントおよび/または準静的セグメントを含む参照ビデオとを示す図である。
【図４】一実施形態による、マッチマージリストを生成するためのフローチャートである。
【図５】一実施形態による、機械可読媒体から命令を読出し、それらをコンピュータプロセッサ(またはコントローラ)において実行することができる例示的な機械の構成要素を示す図である。
【発明を実施するための形態】
【０００６】
図および以下の説明は、例示としてのみ様々な実施形態に関する。以下の議論から、本明細書で開示される構造および方法の代替実施形態が、本明細書で論じられる原理から逸脱することなく用いられ得る実行可能な代替案として容易に認識されることに留意すべきである。ここで、いくつかの実施形態を詳細に参照し、その例は添付の図面において示される。
【０００７】
I.構成の概要
動的コンテンツ(たとえば、動画コンテンツ)と準静的コンテンツ(たとえば、画像コンテンツ)とを含む対象のビデオを、動的コンテンツと準静的コンテンツとを含む参照ビデオとマッチさせるためのビデオマッチング技法と画像マッチング技法とを一緒に実施することは、リソースの使用状況、マッチの適合率および再現率を向上させることと、処理時間および関連する計算コストを低減することとを含むいくつかの理由のために有利である。ビデオマッチング技法は、対象のビデオの動的コンテンツを参照ビデオの動的コンテンツとマッチさせることによって実施され得、画像マッチング技法は、対象のビデオの準静的コンテンツを参照ビデオの準静的コンテンツとマッチさせることによって実施され得る。参照ビデオの参照動的コンテンツおよび参照準静的コンテンツの連続的な発生とマッチする対象のビデオの動的コンテンツおよび準静的コンテンツの連続的な発生が決定され、乱用(abuse)検出のために対象のビデオの部分を参照ビデオの部分とマッチさせるために使用され得る。
【０００８】
II.コンピューティング環境
図1は、一実施形態による、コンピューティング環境100のフロー図を示す。コンピューティング環境100は、コンテンツプロバイダ102と、マッチマージシステム110(以下、「システム110」と呼ぶ)とを含む。これらのエンティティの各々は、互いから物理的に離れている場合があるが、コンピュータネットワーク104によって通信可能に結合されるコンピューティングデバイスを含む。コンピュータネットワーク104は、典型的にはインターネットであるが、限定はしないが、LAN、MAN、WAN、モバイル有線ネットワークもしくはワイヤレスネットワーク、プライベートネットワーク、仮想プライベートネットワーク、またはそれらの組合せを含む任意のネットワークであり得る。代替例では、異なる構成要素または追加の構成要素が使用され得る。
【０００９】
コンテンツプロバイダ102は、ネットワーク104を介して対象のビデオをシステム110に提供する。コンテンツプロバイダ102の例は、ビデオプロデューサのようなコンテンツクリエータを含む。コンテンツプロバイダ102はまた、ビデオホスティングサイトおよびストリーミングサイト、サーチエンジン、アドバタイザ、およびソーシャルネットワーキングサイトを含むことができる。対象のビデオは、対象のビデオのビデオフレームの数が対象のビデオのフレームレート、対象のビデオの持続時間などに依存する1つまたは複数のビデオフレームを含む。
【００１０】
コンテンツプロバイダ102は、圧縮された状態または圧縮されていない状態において対象のビデオをシステム110に提供することができる。コンテンツプロバイダ102は、第1のコーデックを使用して、対象のビデオの符号化されていない表現(すなわち、生のフォーマット)を第1のフォーマット(すなわち、圧縮されたフォーマット)に符号化することができる。例示的なコーデックは、H.265/MPEG-H HEVC、H.264/MPEG-4 AVC、H.263/MPEG-4パート2、H.262/MPEG-2、WMV、MS MPEG-4v3などを含む。コンテンツプロバイダ102は、対象のビデオを第1のフォーマットにおいてシステム110に提供することができる。
【００１１】
システム110は、コンテンツプロバイダ102から対象のビデオを受信し、対象のビデオを処理し、マッチマージリストを出力する。対象のビデオを処理することは、対象のビデオをトランスコーディングすることと、対象のビデオの動的セグメントおよび準静的セグメントの存在を決定することと、動的セグメントのためのフィンガープリントと準静的セグメントのための画像とを生成することと、フィンガープリントを参照フィンガープリントとマッチさせ、画像を参照画像とマッチさせることと、マッチに基づいてマッチマージリストを決定することとを含むことができる。マッチマージリストは、1つまたは複数のエントリを含み、各エントリは、動的セグメントおよび準静的セグメントの連続的な発生を含む対象のビデオのグループ化セグメント、ならびにマッチング参照動的セグメントおよびマッチング参照準静的セグメントの同様の連続的な発生を含む参照ビデオの対応するグループ化参照セグメントの指標をそれぞれ含む。
【００１２】
図1に示すように、システム110は、トランスコードモジュール112と、準静的領域検出モジュール114と、フィンガープリントモジュール116と、画像抽出器モジュール118と、マッチモジュール120と、出力モジュール122とを含む。代替例では、異なる構成要素または追加の構成要素が使用され得る。
【００１３】
トランスコードモジュール112は、対象のビデオを受信し、対象のビデオをトランスコーディングし、対象のビデオのトランスコーディングされたバージョンを出力する。対象のビデオをトランスコーディングすることは、第1のコーデックを使用して、対象のビデオを第1のフォーマット(すなわち、圧縮されたフォーマット)から符号化されていない表現(すなわち、生のフォーマット)に復号することを含むことができる。対象のビデオをトランスコーディングすることは、第2のコーデックを使用して対象のビデオの符号化されていない表現を第2のフォーマットに符号化することをさらに含むことができ、第2のフォーマットおよび第2のコーデックは、それぞれ、第1のフォーマットおよび第1のコーデックとは異なる。一例では、第2のフォーマットにおける対象のビデオを記憶することは、第1のフォーマットにおける対象のビデオを記憶することよりも少ないストレージを必要とする場合がある。別の例では、第2のフォーマットにおける対象のビデオを分析することは、第1のフォーマットにおける対象のビデオを分析することよりも計算コストが低い場合がある。トランスコードモジュール112は、ロッシートランスコーディングを使用して、またはロスレストランスコーディングを使用して対象のビデオをトランスコーディングすることができる。
【００１４】
準静的領域検出モジュール114(以下、「検出モジュール114」と呼ぶ)は、トランスコードモジュール112から対象のビデオを受信し、対象のビデオを1つまたは複数のセグメントにセグメント化する。検出モジュール114はまた、動的セグメントとして識別されたセグメントと、準静的セグメントとして識別されたセグメントとを識別し、分割する。検出モジュール114は、動的セグメントおよび準静的セグメント自体のいずれかを出力し、または、検出モジュール114は、各々のそのようなセグメントと、それらのそれぞれの開始時間/停止時間および/もしくは持続時間とを識別する1つもしくは複数のリストを出力する。
【００１５】
図3を簡単に参照すると、図3は、一実施形態による対象のビデオ(SV)310を示している。たとえば、検出モジュール114は、対象のビデオ310をセグメント312〜322にセグメント化する。検出モジュール114は、セグメント314および318を動的セグメント(バックスラッシュパターンによって示されている)として識別し、セグメント312、316、320、および322を準静的セグメント(点状パターンによって示されている)として識別する。
【００１６】
本明細書で説明される動的セグメントは、ある時間期間(たとえば、時間セグメント)にわたってしきい値量よりも多く変化するコンテンツを含むセグメントを指す。動的セグメントの例は、ビデオフレームのコンテンツがフレーム間で十分に変化するビデオコンテンツを含む。本明細書で説明される準静的セグメントは、ある時間期間(たとえば、時間セグメント)にわたってしきい値量よりも少なく変化するコンテンツを含むセグメントを指す。準静的セグメントの例は、ビデオフレームのコンテンツがフレーム間で十分に変化しないビデオコンテンツを含む。これは、連続するビデオフレームが同じ画像もしくは類似の画像を投影する場合、または、同じグラフィックまたはテキストが連続するビデオフレーム上に現れる場合であり得る。準静的セグメントはまた、ビデオフレームのコンテンツが、順番に繰り返される同じグラフィック、テキスト、または画像全体を含むビデオコンテンツを含むことができる。例は、従来の「スクリーンセーバー」と同様に、単に回転または移動する単純なグラフィックを含む。しかしながら、反例として、ゆっくりとパンニングするカメラのように各ビデオフレーム内の画像が移動するビデオコンテンツは、動的セグメントと見なされ、しきい値は、区別するためにそれに応じて設定される。
【００１７】
セグメントを識別し分割するために、検出モジュール114は、対象のビデオの1つまたは複数のセグメントの各セグメントが動的セグメントまたは準静的セグメントのどちらであるのかを決定する。セグメントが準静的セグメントであるかどうかを検出するいくつかの方法が存在する。1つの手法は、PフレームおよびBフレーム(デルタフレーム)が非常に小さいサイズである限り、セグメントを準静的と見なすことである。しかしながら、この方法は、ゆっくりと動くシーンを準静的セグメントとして受け入れることになり、それは、最適ではない。別の手法は、セグメントの初期フレームとセグメントの後続のフレームとの間のデルタのサイズを調べ、フレームと初期フレームとの間のデルタがしきい値未満である限り、準静的セグメントを拡張することである。
【００１８】
フィンガープリントモジュール116は、検出モジュール114によって決定された動的セグメントを受信し、動的セグメントの各々に対してフィンガープリントを生成し、生成されたフィンガープリントを出力する。フィンガープリントモジュール116は、動的セグメント自体のビデオコンテンツを受信することができ、または、動的セグメントと、それらのそれぞれの開始時間/停止時間および/もしくは持続時間とを識別するリストを受信することができる。先の例を続けると、フィンガープリントモジュール116は、検出モジュール114によって決定された動的セグメント314および318を受信し、動的セグメント314および318の各々に対してフィンガープリントを生成する。
【００１９】
フィンガープリントは、動的セグメントのビデオコンテンツの固有の特性および/または特徴の固有のセットの圧縮された表現である。フィンガープリント内に含まれる固有の特性および/または特徴の固有のセットは、フィンガープリントが関連付けられた動的セグメントの他のインスタンスまたはその一部を識別するために使用され得る。フィンガープリントは、ビデオ解像度、ビデオビットレート、ビデオ符号化、ビデオファイルフォーマットなどと無関係である。フィンガープリントはまた、ビデオコンテンツに関連付けられたオーディオコンテンツのオーディオフィンガープリントを含むことができる。フィンガープリントを記憶し処理することは、対象のビデオの動的セグメントの基礎となるビデオコンテンツおよびオーディオコンテンツの全体を記憶し処理するよりも少ないリソースを消費する。
【００２０】
フィンガープリントはまた、基礎となるビデオと、動的セグメントと、フィンガープリントと基礎となるビデオの対応する動的セグメントとの間の関連付けとに関するメタデータ情報を含むことができる。たとえば、この関連付けは、ビデオ識別子およびセグメント識別子の形態であり得る。ビデオ識別子は、フィンガープリントが関連付けられた基礎となるビデオを識別し、セグメント識別子は、フィンガープリントが関連付けられた基礎となるビデオの時間期間を識別する。セグメント識別子は、フィンガープリントによってカプセル化された開始時間/停止時間および/または持続時間のような、セグメントと基礎となるビデオとの間の時間的関係に関する情報をさらに含むことができる。
【００２１】
フィンガープリントモジュール116は、フィンガープリントアルゴリズムを実装することによって、動的セグメントの各々に対してフィンガープリントを生成する。一般に、フィンガープリントを生成することは、動的セグメントの特徴を識別し抽出することと、識別され抽出された特徴をフィンガープリントに圧縮することとを含む。これらのステップ自体は、キーフレーム解析、色解析、シーン解析、オブジェクト追跡、および/または動き推定をさらに含むことができる。場合によっては、フィンガープリントは、動的セグメントの統計的サンプルである。フィンガープリントモジュール116は、動的セグメントをサンプリングし、サンプルの情報をフィンガープリント内に含める。たとえば、動的セグメントが120のビデオフレームを含む場合、フィンガープリントモジュール116は、10のビデオフレームごとに1回動的セグメントをサンプリングし、12のサンプリングされたビデオフレームからの情報をフィンガープリント内に含める。一実施形態では、動的セグメントごとに2つ以上のフィンガープリントが生成され得る。
【００２２】
画像抽出器モジュール118は、検出モジュール114によって決定された準静的セグメントを受信し、準静的セグメントの各々から画像を抽出し、抽出された画像を出力する。画像抽出器モジュール118は、準静的セグメント自体のビデオコンテンツを受信することができ、または、準静的セグメントと、それらのそれぞれの開始時間/停止時間および/または持続時間とを識別するリストを受信することができる。先の例を続けると、画像抽出器モジュール118は、検出モジュール114によって決定された準静的セグメント312、316、320、および322を受信し、準静的セグメント312、316、320、および322の各々から画像を抽出する。
【００２３】
実際の画像コンテンツに加えて、抽出された画像はまた、基礎となるビデオと、準静的セグメントと、画像と基礎となるビデオの対応する準静的セグメントとの間の関連付けとに関するメタデータ情報を含むことができる。たとえば、この関連付けは、ビデオ識別子およびセグメント識別子の形態であり得る。ビデオ識別子は、画像が関連付けられた基礎となるビデオを識別し、セグメント識別子は、画像が関連付けられた基礎となるビデオの時間期間を識別する。セグメント識別子は、たとえば、画像によってカプセル化された開始時間/停止時間および/または持続時間のような、セグメントと基礎となるビデオとの間の時間的関係に関する情報をさらに含むことができる。
【００２４】
画像抽出器モジュール118は、準静的セグメント内のフレームのセットから画像を抽出する。これを行うために、画像抽出器モジュール118は、たとえば、準静的セグメント内の任意のフレームから画像を抽出することができ、または、準静的セグメント内のフレームの複合集約もしくは他の同様の集約を生成することができる。
【００２５】
マッチモジュール120は、対象のビデオに関する、フィンガープリントモジュール116からの動的セグメントの各々に関連付けられたフィンガープリントと、画像抽出器モジュール118からの準静的セグメントの各々に関連付けられた画像とを受信し、受信したフィンガープリントを参照フィンガープリントとマッチさせ、受信した画像を参照画像とマッチさせ、マッチマージリストを決定する。マッチマージリストの作成について、以下のセクションIIIにおいて説明する。出力モジュール122は、マッチマージリストを出力する。マッチマージリストは、コンテンツ識別、検証、乱用検出などのためのマッチする参照ビデオを識別するために使用され得る。
【００２６】
III.マッチモジュール
図2は、一実施形態による、図1のマッチモジュール120の論理構成要素のフロー図を示す。マッチモジュール120は、フィンガープリントマッチモジュール202と、画像マッチモジュール204と、フィンガープリントデータベース206と、画像データベース208と、マージモジュール210とを含む。代替例では、別の構成要素または追加の構成要素が使用され得る。
【００２７】
フィンガープリントマッチモジュール202は、フィンガープリントモジュール116から対象のビデオの動的セグメントの各々に関連付けられたフィンガープリントを受信し、受信したフィンガープリントの各々とフィンガープリントデータベース206内に記憶された参照フィンガープリントとの間のマッチを決定し、受信した各フィンガープリントについて、受信したフィンガープリントとマッチする1つまたは複数の参照フィンガープリントを出力する。フィンガープリントマッチモジュール202は、フィンガープリントを参照フィンガープリントと比較することによってマッチを決定する。いくつかの例では、フィンガープリントマッチモジュール202は、受信したフィンガープリントとマッチする1つまたは複数の参照フィンガープリントの各々に関するマッチ尤度を決定する。マッチ尤度は、所与の参照フィンガープリントが受信したフィンガープリントとマッチする数値尤度(信頼値とも呼ばれる)を表す。マッチ尤度はまた、1つまたは複数のマッチする参照フィンガープリントと共に出力され得る。
【００２８】
先の例を続けると、フィンガープリントマッチモジュール202は、動的セグメント314および318の各々に関連付けられたフィンガープリントを受信する。フィンガープリントマッチモジュール202は、動的セグメント314に関連付けられたフィンガープリントが、それぞれ、参照ビデオRV3およびRV4の参照動的セグメント336および338に関連付けられた参照フィンガープリントとマッチすることを決定する。同様に、フィンガープリントマッチモジュール202は、動的セグメント318に関連付けられたフィンガープリントが、それぞれ、参照ビデオRV6およびRV7の参照動的セグメント346および348に関連付けられた参照フィンガープリントとマッチすることを決定する。
【００２９】
場合によっては、フィンガープリントマッチモジュール202は、受信したフィンガープリントと、フィンガープリントデータベース206内に記憶されたいかなる参照フィンガープリントとの間のマッチも存在しないことを決定する。これは、特に、受信したフィンガープリントが、そのコンテンツが参照ビデオのコンテンツよりも新しい動的セグメントに関連付けられている場合に予想される動作である。これらの場合、フィンガープリントモジュール116は、いかなる参照フィンガープリントも出力しない。
【００３０】
画像マッチモジュール204は、画像抽出器モジュール118からビデオの準静的セグメントの各々に関する画像を受信し、受信した画像と、画像データベース208において記憶された参照画像各々との間のマッチを決定し、受信した各画像について、受信した画像とマッチする1つまたは複数の参照画像を出力する。画像マッチモジュール204は、画像のキーポイントおよび/または特徴を参照画像のキーポイントおよび/または特徴と比較することによってマッチを決定する。加えて、または代替的に、画像マッチモジュール204は、マッチを決定するために、画像の特徴および参照画像の特徴に基づいて特徴変換を実施することができる。特徴変換を実施することは、画像および参照画像がわずかに変化する(たとえば、一方が他方の単純な変形である)場合でも、画像と参照画像との間のマッチを決定することができる。場合によっては、画像マッチモジュール204は、受信した画像とマッチする1つまたは複数の参照画像の各々に関するマッチ尤度を決定する。マッチ尤度は、所与の参照画像が受信した画像とマッチする数値尤度を表す。マッチ尤度はまた、1つまたは複数のマッチする参照画像と共に出力され得る。
【００３１】
先の例を続けると、画像マッチモジュール204は、準静的セグメントの312、316、320、および322の各々に関する画像を受信する。画像マッチモジュール204は、準静的セグメント312に関連付けられた画像が、それぞれ、参照ビデオRV1およびRV2の参照準静的セグメント332および334に関連付けられた参照画像とマッチすることを決定する。同様に、画像マッチモジュール204は、準静的セグメント316、320、および322に関連付けられた画像が、それぞれ、参照ビデオRV4、RV5、RV8、RV9、RV10、およびRV11の参照準静的セグメント342、344、352、354、356、および358に関連付けられた参照画像とマッチすることを決定する。
【００３２】
場合によっては、画像マッチモジュール204は、受信した画像と、画像データベース208内に記憶されたいかなる参照画像との間のマッチも存在しないことを決定する。これは、特に、受信した画像が、そのコンテンツが参照ビデオのコンテンツよりも新しい準静的セグメントに関連付けられている場合に予想される動作である。これらの場合、画像マッチモジュール204は、受信した画像、または受信した画像に関するいかなる参照画像も出力しない。
【００３３】
マージモジュール210は、フィンガープリントマッチモジュール202および画像マッチモジュール204から情報を受信し、1つまたは複数の参照ビデオの動的セグメントおよび準静的セグメントの連続的な発生とマッチする対象のビデオの動的セグメントおよび準静的セグメントの連続的な発生を決定する。
【００３４】
フィンガープリントマッチモジュール202から受信された情報は、対象のビデオのフィンガープリントと、1つまたは複数の受信したフィンガープリントの各々について、1つまたは複数のマッチする参照フィンガープリントと、任意の関連するマッチ尤度およびメタデータとを含む。同様に、画像マッチモジュール204から受信された情報は、対象のビデオから抽出された画像と、1つまたは複数の受信した画像の各々について、1つまたは複数のマッチする参照画像と、任意の関連するマッチ尤度およびメタデータとを含む。
【００３５】
マージモジュール210は、フィンガープリントおよび画像に関連付けられたセグメント識別子に基づいて、対象のビデオの動的セグメントおよび準静的セグメント(および/またはその逆)の連続的な発生を決定する。マージモジュール210は、フィンガープリントに関連付けられたセグメント識別子を画像に関連付けられたセグメント識別子と比較する。画像に関連付けられたセグメント識別子の(時間またはフレームによる)時間的に直後に続くフィンガープリントに関連付けられたセグメント識別子(またはその逆)に応答して、マージモジュール210は、少なくとも動的セグメントと準静的セグメントの両方を含むグループ化されたセグメントを作成するために、隣接するセグメントをグループ化する。グループ化されたセグメントは、ビデオ識別子と、2つのセグメント識別子、フィンガープリントのセグメント識別子に関連付けられた1つのセグメント識別子と、画像のセグメント識別子に関連付けられた他のセグメント識別子とを含むそれ自体の識別子を含む。
【００３６】
先の例を続けると、マージモジュール210は、動的セグメント314および318のフィンガープリントに関連付けられたセグメント識別子と、準静的セグメント312、316、320、および322の画像に関連付けられたセグメント識別子とを比較し、対象のビデオ310に関する動的セグメントおよび準静的セグメント(またはその逆)の連続的な発生を決定する。この例では、マージモジュール210は、対象のビデオ310に関する4つの連続的な発生を決定し、各々についてグループ化されたセグメントを作成する。第1のグループ化されたセグメントは、セグメント312および314を含み、第2のグループ化されたセグメントは、セグメント314および316を含み、第3のグループ化されたセグメントは、セグメント316および318を含み、第4のグループ化されたセグメントは、セグメント318および320を含む。
【００３７】
マージモジュール210はまた、1つまたは複数の連続する画像に関連付けられたセグメント識別子の時間的に直後に続く1つまたは複数の連続的なフィンガープリントに関連付けられたセグメント識別子(またはその逆)に応答して、隣接するセグメントをグループ化することができる。ここで、グループ化されたセグメント識別子は、再び、ビデオ識別子と、いくつかのセグメント識別子とを含むそれ自体の識別子を含み、セグメント識別子のうちのいくつかは、1つまたは複数のフィンガープリントのセグメント識別子に関連付けられ、セグメント識別子のうちのいくつかは、1つまたは複数の画像のセグメント識別子に関連付けられる。先の例を続けると、マージモジュール210は、動的セグメント318と準静的セグメント320および322とをグループ化する。
【００３８】
上記で論じたように、グループ化されたセグメントは、少なくとも動的セグメントと準静的セグメントの両方を含む。グループ化されたセグメントごとに、マージモジュール210は、参照ビデオ識別子のいずれかがマッチするかどうかを決定するために、グループ化されたセグメントの動的セグメントに関連付けられたフィンガープリントとマッチする参照フィンガープリントに関連付けられた参照ビデオ識別子を、グループ化されたセグメントの準静的セグメントに関連付けられた画像とマッチする参照画像に関連付けられた参照ビデオ識別子と比較する。言い換えれば、マージモジュール210は、グループからのセグメントが既存の参照ビデオのセグメントとマッチするかどうかを決定するために、動的コンテンツと準静的コンテンツの両方について、マッチする参照セグメントと比較して、対象のビデオ内のセグメントのタイミングに関する基礎となる情報を比較する。
【００３９】
先の例を続けると、動的セグメント314と準静的セグメント316とを含む第2のグループ化されたセグメントについて、マージモジュール210は、参照動的セグメント336および338に関連付けられた参照フィンガープリントに関連付けられた参照ビデオ識別子を、参照準静的セグメント342および344に関連付けられた参照画像に関連付けられた参照ビデオ識別子と比較する。マージモジュール210は、参照動的セグメント338に関連付けられた参照フィンガープリントに関連付けられた参照ビデオRV4を識別する参照ビデオ識別子が、参照準静的セグメント342に関連付けられた参照画像に関連付けられた参照ビデオRV4を識別する参照ビデオ識別子とマッチすることを決定する。したがって、マージモジュール210は、参照動的セグメント338および参照準静的セグメント342が同じ参照ビデオRV4からのものであることを決定する。
【００４０】
参照画像の参照ビデオ識別子とマッチする参照フィンガープリントに関連付けられた参照ビデオ識別子に応答して、マージモジュール210は、参照動的セグメントおよび参照準静的セグメントが、それらのマッチする動的セグメントおよび準静的セグメントが対象のビデオ内で連続的に発生するのと同じ順序において参照ビデオ内で連続的に発生するかどうかを決定するために、参照フィンガープリントに関連付けられた参照セグメント識別子を、参照画像に関連付けられた参照セグメント識別子と比較する。参照画像内に含まれるセグメント識別子に時間的に直接続く参照フィンガープリント内に含まれるセグメント識別子に応答して、マージモジュール210は、参照動的セグメントと参照準静的セグメントの両方を含む参照グループ化セグメントを作成するために、隣接する参照セグメントをグループ化する。
【００４１】
先の例を続けると、マージモジュール210は、参照動的セグメント338に関連付けられた参照フィンガープリントに関連付けられた参照セグメント識別子と、参照準静的セグメント342に関連付けられた参照画像に関連付けられた参照セグメント識別子とを比較する。マージモジュール210は、参照動的セグメント338および参照準静的セグメント342が、マッチする動的セグメント314および準静的セグメント316が対象のビデオ310において発生したのと同じ順序において参照ビデオRV4内で連続的に発生することを決定する。マージモジュール210は、参照セグメント338および342の両方を含む参照グループ化セグメントを作成するために、隣接する参照セグメント338および342をグループ化する。
【００４２】
マージモジュール210は、1つまたは複数のエントリを含むマッチマージリストを決定し、各エントリは、対象のビデオのグループ化セグメントの指標と、対応する参照グループ化セグメントの指標とを含む。場合によっては、各エントリは、参照ビデオの所与の参照グループ化セグメントが対象のビデオのグループ化セグメントとマッチする数値尤度を表す集約マッチ尤度をさらに含む。マージモジュール210は、参照グループ化セグメントの参照動的セグメントに関連付けられた参照フィンガープリントのマッチ尤度と、参照グループ化セグメントの参照画像に関連付けられた参照画像のマッチ尤度とに基づいて、集約マッチ尤度を決定する。場合によっては、マージモジュール210は、集約マッチ尤度に基づいてマッチマージリストをランク付けする。マージモジュール210は、決定されたマッチマージリストを出力する。
【００４３】
IV.マッチマージリストを生成するための例示的なプロセス
図4は、一実施形態による、マッチマージリストを生成するための方法のフローチャートを示す。システム110は、対象のビデオを、たとえば、コンテンツプロバイダ102から受信する(402)。準静的領域検出モジュール114は、対象のビデオ内の1つまたは複数の動的セグメントを識別し(406)、対象のビデオ内の1つまたは複数の準静的セグメントを識別する(406)。フィンガープリントマッチモジュール202は、対象のビデオの1つまたは複数の動的セグメントと、1つまたは複数の参照ビデオの1つまたは複数の参照動的セグメントとの間のマッチを決定する(408)。画像マッチモジュール204は、対象のビデオの1つまたは複数の準静的セグメントと、1つまたは複数の参照ビデオの1つまたは複数の参照準静的セグメントとの間のマッチを決定する(410)。マージモジュール210は、1つまたは複数のエントリを含むマッチマージリストを生成する(412)。マッチマージリストの各エントリは、対象のビデオの動的セグメントおよび準静的セグメントの連続的な発生を含む対象のビデオのグループ化セグメントの指標と、参照ビデオの参照動的セグメントおよび参照準静的セグメントの連続的な発生を含む参照ビデオの参照グループ化セグメントの指標とを含み、参照動的セグメントは、動的セグメントとマッチし、参照準静的セグメントは、準静的セグメントとマッチする。
【００４４】
V.コンピューティングマシンアーキテクチャ
図5は、非一時的機械可読媒体から命令を読み取ることができ、システムを実装し、上記で説明される関連する方法を実行するためにプロセッサ(またはコントローラ)においてそれらを実行することができる例示的なコンピューティングデバイス500の構成要素を示すブロック図である。コンピューティングデバイスは、そのマシンによってとられるべきアクションを指定する命令524を(順次にまたは他の方法で)実行することができる任意のコンピューティングデバイスであり得る。さらに、コンピューティングデバイスのみが示されているが、「コンピューティングデバイス」という用語は、本明細書で論じた方法論のうちの任意の1つまたは複数を実行するために、命令524を個別にまたは共同して実行するコンピューティングデバイスの任意の集合も含むものとする。
【００４５】
例示的なコンピューティングデバイス500は、プロセッサ502(たとえば、中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、1つもしくは複数の特定用途向け集積回路(ASIC)、1つもしくは複数の無線周波数集積回路(RFIC)、またはこれらの任意の組合せ)と、メインメモリ504と、スタティックメモリ506とを含み、それらは、バス508を介して互いに通信するように構成される。コンピューティングデバイス500は、グラフィックスディスプレイユニット510(たとえば、プラズマディスプレイパネル(PDP)、有機発光ダイオード(OLED)ディスプレイ、液晶ディスプレイ(LCD)、プロジェクタ、または陰極線管(CRT))と、対応するディスプレイドライバとをさらに含むことができる。コンピューティングデバイス500はまた、英数字入力デバイス512(たとえば、キーボード)と、カーソル制御デバイス514(たとえば、マウス、トラックボール、ジョイスティック、モーションセンサ、または他のポインティング装置)と、記憶ユニット516と、信号生成デバイス518(たとえば、スピーカ)と、ネットワークインターフェースデバイス520とを含むことができ、それらはまた、バス508を介して通信するように構成される。
【００４６】
記憶ユニット516は、本明細書で説明される方法論または機能のうちの任意の1つまたは複数を具体化する命令524(たとえば、ソフトウェア)が記憶される非一時的機械可読媒体522を含む。命令524(たとえば、ソフトウェア)はまた、コンピューティングデバイス500によるそれらの実行中にメインメモリ504内またはプロセッサ502内(たとえば、プロセッサのキャッシュメモリ内)に完全にまたは少なくとも部分的に存在することができ、メインメモリ504およびプロセッサ502はまた、機械可読媒体を構成する。命令524(たとえば、ソフトウェア)は、ネットワークインターフェースデバイス520を介してネットワーク526を介して送信または受信され得る。
【００４７】
機械可読媒体522は、単一の媒体であるように例示的な実施形態において示されているが、「機械可読媒体」という用語は、命令(たとえば、命令524)を記憶することができる単一の媒体または複数の媒体(たとえば、集中型もしくは分散型のデータベース、または関連するキャッシュおよびサーバ)を含むものとする。「機械可読媒体」という用語はまた、機械によって実行するための命令(たとえば、命令524)を記憶することができ、本明細書で開示する方法論のうちの任意の1つまたは複数を機械に実行させる任意の媒体を含むものとする。「機械可読媒体」という用語は、限定はしないが、固体メモリ、光学媒体、および磁気媒体の形態におけるデータレポジトリを含む。
【００４８】
VI.追加の構成考慮事項
特定の実施形態は、たとえば、図1および図2に示されているように、論理、またはいくつかの構成要素、モジュール、もしくは機構を含むものとして本明細書で説明される。モジュールは、ソフトウェアモジュール(たとえば、機械可読媒体上に具体化されたコード)またはハードウェアモジュールのいずれかを構成することができる。ハードウェアモジュールは、特定の動作を実行することができる有形のユニットであり、特定の方法において構成または配置され得る。例示的な実施形態では、1つまたは複数のコンピューティングデバイスは、本明細書で説明される動作を実施するための1つまたは複数のハードウェアモジュールを含むことができる。
【００４９】
様々な実施形態では、ハードウェアモジュールは、機械的または電子的に実装され得る。たとえば、ハードウェアモジュールは、特定の動作を実行するように(たとえば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)のような専用プロセッサとして)恒久的に構成された専用回路またはロジックを備えることができる。ハードウェアモジュールはまた、特定の動作を実行するためにソフトウェアによって一時的に構成された(たとえば、汎用プロセッサまたは他のプログラマブルプロセッサ内に包含されるような)プログラマブルロジックまたは回路を備えることができる。ハードウェアモジュールを、専用の恒久的に構成された回路において機械的に、または(たとえば、ソフトウェアによって構成された)一時的に構成された回路において実装する決定は、コストおよび時間の考慮によって決められ得ることが理解されよう。
【００５０】
ハードウェアモジュールまたはソフトウェアモジュールはまた、「クラウドコンピューティング」環境において、または「ソフトウェアアズアサービス」(SaaS)として関連動作の実行をサポートするように動作することができる。たとえば、動作のうちの少なくともいくつかは、コンピューティングデバイスのグループによって実行されもてもよく、これらの動作は、ネットワーク(たとえば、インターネット)を介し、1つまたは複数の適切なインターフェース(たとえば、アプリケーションプログラムインターフェース(API))を介してアクセス可能である。特定の動作の実行は、単一の機械内に存在するだけでなく、いくつかの機械にわたって配置された1つまたは複数のプロセッサ間で分散されてもよい。いくつかの例示的な実施形態では、1つまたは複数のプロセッサまたはプロセッサ実装モジュールは、単一の地理的位置内(たとえば、家庭環境内、オフィス環境内、またはサーバファーム内)に配置されてもよい。他の例示的な実施形態では、1つまたは複数のプロセッサまたはプロセッサ実装モジュールは、いくつかの地理的位置にわたって分散されてもよい。
【００５１】
本明細書のいくつかの部分は、機械メモリ(たとえば、コンピュータメモリ)内にビットまたはバイナリデジタル信号として記憶されたデータに対する演算のアルゴリズムまたは記号表現に関して提示される。これらのアルゴリズムまたは記号表現は、当業者の作業の内容を他の当業者に伝えるためにデータ処理技術における当業者によって使用される技法の例である。本明細書で使用される場合、「アルゴリズム」は、所望の結果を導く演算または同様の処理の自己矛盾のないシーケンスである。この文脈において、アルゴリズムおよび演算は、物理量の物理的操作を含む。典型的には、必須ではないが、そのような量は、機械によって記憶され、アクセスされ、転送され、結合され、比較され、または他の方法で操作され得る電気信号、磁気信号、または光信号の形態をとることができる。「データ」、「コンテンツ」、「ビット」、「値」、「要素」、「記号」、「文字」、「項」、「数」、「数字」などのような単語を使用してそのような信号に言及することは、主に一般的な用法の理由で、ときには便利である。しかしながら、これらの単語は、単に便利なラベルであり、適切な物理量に関連付けられるべきである。
【００５２】
特に記述されない限り、「処理する」、「演算する」、「計算する」、「決定する」、「提示する」、「表示する」などのような単語を使用する本明細書の議論は、1つまたは複数のメモリ(たとえば、揮発性メモリ、不揮発性メモリ、もしくはそれらの組合せ)内、レジスタ内、または、情報を受信し、記憶し、送信し、もしくは表示する他の機械構成要素内で、物理的(たとえば、電子的、磁気的、または光学的)量として表されたデータを操作または変換する機械(たとえば、コンピュータ)のアクションまたは処理を指すことができる。
【００５３】
本開示を読むと、当業者は、本明細書における開示された原理を通して、動的セグメントおよび準静的セグメントを互いにマッチさせるためのシステムおよびプロセスのためのさらに追加の代替設計を理解するであろう。したがって、特定の実施形態およびアプリケーションを例示し、説明してきたが、開示された実施形態は、本明細書で開示される厳密な構成および構成要素に限定されないことが理解されるべきである。添付の特許請求の範囲で定義される要旨および範囲から逸脱することなく、本明細書で開示される方法および装置の配置、動作、および詳細において、当業者には明らかであろう様々な修正、変更、および変形がなされ得る。
【符号の説明】
【００５４】
100  コンピューティング環境
102  コンテンツプロバイダ
104  コンピュータネットワーク、ネットワーク
110  マッチマージシステム、システム
112  トランスコードモジュール
114  準静的領域検出モジュール、検出モジュール
116  フィンガープリントモジュール
118  画像抽出器モジュール
120  マッチモジュール
122  出力モジュール
202  フィンガープリントマッチモジュール
204  画像マッチモジュール
206  フィンガープリントデータベース
208  画像データベース
210  マージモジュール
310  対象のビデオ(SV)
312  セグメント、準静的セグメント
314  セグメント、動的セグメント
316  準静的セグメント、セグメント
318  セグメント、動的セグメント
320  セグメント、準静的セグメント
322  セグメント、準静的セグメント
332  参照準静的セグメント
334  参照準静的セグメント
336  参照動的セグメント
338  参照動的セグメント、参照セグメント
342  参照準静的セグメント、参照セグメント
344  参照準静的セグメント
346  参照動的セグメント
348  参照動的セグメント
352  参照準静的セグメント
354  参照準静的セグメント
356  参照準静的セグメント
358  参照準静的セグメント
500  コンピューティングデバイス
502  プロセッサ
504  メインメモリ
506  スタティックメモリ
508  バス
510  グラフィックスディスプレイユニット
512  英数字入力デバイス
514  カーソル制御デバイス
516  記憶ユニット
518  信号生成デバイス
520  ネットワークインターフェースデバイス
522  非一時的機械可読媒体
524  命令
526  ネットワーク
【図１】
2019514111.tif 000003
【図２】
2019514111.tif 000004
【図３】
2019514111.tif 000005
【図４】
2019514111.tif 000006
【図５】
2019514111.tif 000007
【手続補正書】
【提出日】平成30年9月25日(2018.9.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マッチマージシステムの1つまたは複数のプロセッサによって、対象のビデオを受信するステップと、
前記マッチマージシステムの前記1つまたは複数のプロセッサによって、前記対象のビデオ内で、1つまたは複数の動的セグメントのセットを識別するステップであって、動的セグメントが、時間期間にわたってしきい値量よりも多く変化するコンテンツを有するセグメントである、ステップと、
前記マッチマージシステムの前記1つまたは複数のプロセッサによって、前記対象のビデオ内で、1つまたは複数の準静的セグメントのセットを識別するステップであって、準静的セグメントが、時間期間にわたって前記しきい値量よりも少なく変化するコンテンツを有するセグメントである、ステップと、
前記マッチマージシステムの前記1つまたは複数のプロセッサによって、前記1つまたは複数の動的セグメントと1つまたは複数の参照動的セグメントとの間のマッチを決定するステップと、
前記マッチマージシステムの前記1つまたは複数のプロセッサによって、前記1つまたは複数の準静的セグメントと1つまたは複数の参照準静的セグメントとの間のマッチを決定するステップと、
前記マッチマージシステムの前記1つまたは複数のプロセッサによって、1つまたは複数のエントリを含むマッチマージリストを生成するステップであって、各エントリが、
動的セグメントおよび準静的セグメントの連続的な発生を含むグループ化セグメントと、
参照動的セグメントおよび参照準静的セグメントの連続的な発生を含む参照ビデオの参照グループ化セグメントと
を示し、
前記参照動的セグメントが前記動的セグメントとマッチし、前記参照準静的セグメントが前記準静的セグメントとマッチする、ステップと
を含む方法。
【請求項２】
前記マッチマージシステムの前記1つまたは複数のプロセッサによって、前記1つまたは複数の動的セグメントの各々に対してフィンガープリントを決定するステップをさらに備え、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップが、前記フィンガープリントと、前記参照ビデオに関連付けられた1つまたは複数の参照フィンガープリントとの間のマッチを決定するステップを含む、請求項1に記載の方法。
【請求項３】
各フィンガープリントが、
前記1つまたは複数の動的セグメントの各動的セグメントに対応し、
前記対象のビデオを識別するビデオ識別子と、前記対象のビデオ内で前記対応するセグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項2に記載の方法。
【請求項４】
前記マッチマージシステムの前記1つまたは複数のプロセッサによって、前記1つまたは複数の準静的セグメントの各々について画像を抽出するステップをさらに備え、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップが、前記画像と1つまたは複数の参照画像との間のマッチを決定するステップを含む、請求項1に記載の方法。
【請求項５】
各画像が、
前記1つまたは複数の準静的セグメントの各準静的セグメントに対応し、
前記対象のビデオを識別するビデオ識別子と、前記対象のビデオ内で前記対応する準静的セグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項4に記載の方法。
【請求項６】
前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップが、
所与の参照動的セグメントが所与の動的セグメントとマッチする数値尤度を表す動的セグメントマッチ尤度を決定するステップをさらに備え、
前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップが、
所与の参照準静的セグメントが所与の準静的セグメントとマッチする数値尤度を表す準静的セグメントマッチ尤度を決定するステップをさらに含む、請求項1に記載の方法。
【請求項７】
前記マッチマージリストを生成するステップが、前記1つまたは複数のエントリの各々について、参照ビデオの参照グループ化セグメントが前記対象のビデオのグループ化セグメントとマッチする数値尤度を表す集約マッチ尤度を生成するステップを含む、請求項1に記載の方法。
【請求項８】
前記マッチマージシステムの前記1つまたは複数のプロセッサによって、前記集約マッチ尤度に基づいて前記マッチマージリストの前記1つまたは複数のエントリをランク付けし、ランク付けされたマッチマージリストを取得するステップと、
前記マッチマージシステムの前記1つまたは複数のプロセッサによって、前記ランク付けされたマッチマージリストを提供するステップと
をさらに含む、請求項7に記載の方法。
【請求項９】
実行されたとき、
対象のビデオを受信するステップと、
前記対象のビデオ内で、1つまたは複数の動的セグメントのセットを識別するステップであって、動的セグメントが、時間期間にわたってしきい値量よりも多く変化するコンテンツを有するセグメントである、ステップと、
前記対象のビデオ内で、1つまたは複数の準静的セグメントのセットを識別するステップであって、準静的セグメントが、時間期間にわたって前記しきい値量よりも少なく変化するコンテンツを有するセグメントである、ステップと、
前記1つまたは複数の動的セグメントと1つまたは複数の参照動的セグメントとの間のマッチを決定するステップと、
前記1つまたは複数の準静的セグメントと1つまたは複数の参照準静的セグメントとの間のマッチを決定するステップと、
1つまたは複数のエントリを含むマッチマージリストを生成するステップであって、各エントリが、
動的セグメントおよび準静的セグメントの連続的な発生を含むグループ化セグメントと、
参照動的セグメントおよび参照準静的セグメントの連続的な発生を含む参照ビデオの参照グループ化セグメントと
を示し、
前記参照動的セグメントが前記動的セグメントとマッチし、前記参照準静的セグメントが前記準静的セグメントとマッチする、ステップと
を含む動作を実行する実行可能なコンピュータ命令を記憶するコンピュータ可読記憶媒体と、
前記コンピュータ命令を実行するように構成されたプロセッサと
を備えるシステム。
【請求項１０】
実行されたとき、前記コンピュータ命令が、前記1つまたは複数の動的セグメントの各々に対してフィンガープリントを決定するステップを含む動作をさらに実行し、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップが、前記フィンガープリントと、前記参照ビデオに関連付けられた1つまたは複数の参照フィンガープリントとの間のマッチを決定するステップを含む、請求項9に記載のシステム。
【請求項１１】
各フィンガープリントが、
前記1つまたは複数の動的セグメントの各動的セグメントに対応し、
前記対象のビデオを識別するビデオ識別子と、前記対象のビデオ内で前記対応するセグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項10に記載のシステム。
【請求項１２】
実行されたとき、前記コンピュータ命令が、前記1つまたは複数の準静的セグメントの各々について画像を抽出するステップを含む動作をさらに実行し、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップが、前記画像と1つまたは複数の参照画像との間のマッチを決定するステップを含む、請求項9に記載のシステム。
【請求項１３】
各画像が、
前記1つまたは複数の準静的セグメントの各準静的セグメントに対応し、
前記対象のビデオを識別するビデオ識別子と、前記対象のビデオ内で前記対応する準静的セグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項12に記載のシステム。
【請求項１４】
実行されたとき、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップを含む動作を実行する前記コンピュータ命令が、実行されたとき、
所与の参照動的セグメントが所与の動的セグメントとマッチする数値尤度を表す動的セグメントマッチ尤度を決定するステップを含む動作を実行する命令をさらに備え、
実行されたとき、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップを含む動作を実行する前記コンピュータ命令が、実行されたとき、
所与の参照準静的セグメントが所与の準静的セグメントとマッチする数値尤度を表す準静的セグメントマッチ尤度を決定するステップを含む動作を実行する命令をさらに備える、請求項9に記載のシステム。
【請求項１５】
実行されたとき、前記マッチマージリストを生成するステップを含む動作を実行する前記コンピュータ命令が、実行されたとき、前記1つまたは複数のエントリの各々について、参照ビデオの参照グループ化セグメントが前記対象のビデオのグループ化セグメントとマッチする数値尤度を表す集約マッチ尤度を生成するステップを含む動作を実行する命令をさらに備える、請求項9に記載のシステム。
【請求項１６】
実行されたとき、前記コンピュータ命令が、
前記集約マッチ尤度に基づいて前記マッチマージリストの前記1つまたは複数のエントリをランク付けし、ランク付けされたマッチマージリストを取得するステップと、
前記ランク付けされたマッチマージリストを提供するステップと
を含む動作をさらに実行する、請求項15に記載のシステム。
【請求項１７】
プロセッサによって実行されたとき、
対象のビデオを受信するステップと、
前記対象のビデオ内で、1つまたは複数の動的セグメントのセットを識別するステップであって、動的セグメントが、時間期間にわたってしきい値量よりも多く変化するコンテンツを有するセグメントである、ステップと、
前記対象のビデオ内で、1つまたは複数の準静的セグメントのセットを識別するステップであって、準静的セグメントが、時間期間にわたって前記しきい値量よりも少なく変化するコンテンツを有するセグメントである、ステップと、
前記1つまたは複数の動的セグメントと1つまたは複数の参照動的セグメントとの間のマッチを決定するステップと、
前記1つまたは複数の準静的セグメントと1つまたは複数の参照準静的セグメントとの間のマッチを決定するステップと、
1つまたは複数のエントリを含むマッチマージリストを生成するステップであって、各エントリが、
動的セグメントおよび準静的セグメントの連続的な発生を含むグループ化セグメントと、
参照動的セグメントおよび参照準静的セグメントの連続的な発生を含む参照ビデオの参照グループ化セグメントと
を示し、
前記参照動的セグメントが前記動的セグメントとマッチし、前記参照準静的セグメントが前記準静的セグメントとマッチする、ステップと
を含む動作を実行する実行可能なコンピュータ命令を記憶するコンピュータ可読記憶媒体。
【請求項１８】
前記コンピュータ命令が、前記プロセッサによって実行されたとき、前記1つまたは複数の動的セグメントの各々に対してフィンガープリントを決定するステップを含むさらなる動作を実行し、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップが、前記フィンガープリントと、前記参照ビデオに関連付けられた1つまたは複数の参照フィンガープリントとの間のマッチを決定するステップを含む、請求項17に記載のコンピュータ可読記憶媒体。
【請求項１９】
各フィンガープリントが、
前記1つまたは複数の動的セグメントの各動的セグメントに対応し、
前記対象のビデオを識別するビデオ識別子と、前記対象のビデオ内で前記対応するセグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項18に記載のコンピュータ可読記憶媒体。
【請求項２０】
前記コンピュータ命令が、前記プロセッサによって実行されたとき、前記1つまたは複数の準静的セグメントの各々について画像を抽出するステップを含むさらなる動作を実行し、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップが、前記画像と1つまたは複数の参照画像との間のマッチを決定するステップを含む、請求項17に記載のコンピュータ可読記憶媒体。
【請求項２１】
各画像が、
前記1つまたは複数の準静的セグメントの各準静的セグメントに対応し、
前記対象のビデオを識別するビデオ識別子と、前記対象のビデオ内で前記対応する準静的セグメントが発生する時間期間を識別するセグメント識別子とを含むメタデータ情報を含む、請求項20に記載のコンピュータ可読記憶媒体。
【請求項２２】
前記プロセッサによって実行されたとき、前記1つまたは複数の動的セグメントと前記1つまたは複数の参照動的セグメントとの間の前記マッチを決定するステップを含む動作を実行する前記コンピュータ命令が、
所与の参照動的セグメントが所与の動的セグメントとマッチする数値尤度を表す動的セグメントマッチ尤度を決定するステップを含むさらなる動作を実行し、
前記プロセッサによって実行されたとき、前記1つまたは複数の準静的セグメントと前記1つまたは複数の参照準静的セグメントとの間の前記マッチを決定するステップを含む動作を実行する前記コンピュータ命令が、
所与の参照準静的セグメントが所与の準静的セグメントとマッチする数値尤度を表す準静的セグメントマッチ尤度を決定するステップを含むさらなる動作を実行する、請求項17に記載のコンピュータ可読記憶媒体。
【請求項２３】
前記プロセッサによって実行されたとき、前記マッチマージリストを生成するステップを含む動作を実行する前記コンピュータ命令が、前記1つまたは複数のエントリの各々について、参照ビデオの参照グループ化セグメントが前記対象のビデオのグループ化セグメントとマッチする数値尤度を表す集約マッチ尤度を生成するステップを含むさらなる動作を実行する、請求項17に記載のコンピュータ可読記憶媒体。
【請求項２４】
前記コンピュータ命令が、前記プロセッサによって実行されたとき、
前記集約マッチ尤度に基づいて前記マッチマージリストの前記1つまたは複数のエントリをランク付けし、ランク付けされたマッチマージリストを取得するステップと、
前記ランク付けされたマッチマージリストを提供するステップと
を含むさらなる動作を実行する、請求項23に記載のコンピュータ可読記憶媒体。
【国際調査報告】
2019514111.tif 000008
2019514111.tif 000009