(57)【要約】【課題】ビデオオブジェクトのフィンガープリンティング方法及びシステムを提供する。【解決手段】前記方法は、ビデオオブジェクトに関する複数のフレームを取得するステップを含む。また、該方法は、複数のフレーム中の各フレームに対し、前記複数のフレームに関する情報を処理し、少なくとも複数のフレーム中の各フレームに関する情報に基づいて、複数のフレーム中の各フレームの複数の空間特徴を決定し、少なくとも複数のフレームに関する情報に基づいて、複数のフレーム中の各フレームの複数の時間域特徴を決定する。複数の空間特徴はそれぞれ複数の解像度と対応づけられ、複数の時間域特徴はそれぞれ複数のフレームレートと対応づけられている。【選択図】図１
2009535920.tif 000002
【特許請求の範囲】
【請求項１】
ビデオオブジェクトに関する複数のフレームを取得し、
複数のフレーム中の各フレームに対し、
前記複数のフレームに関する情報を処理し、
少なくとも複数のフレーム中の各フレームに関する情報に基づいて、複数のフレームの各フレームの、複数の解像度のそれぞれと対応づけられている複数の空間特徴を決定し、
少なくとも複数のフレームに関する情報に基づいて、複数のフレームの各フレームの、複数のフレームレートのそれぞれと対応づけられている複数の時間域特徴を決定し、
複数の空間特徴及び複数の時間域特徴に関する情報を処理し、
複数のフレーム中の各フレームの、それぞれ複数の解像度に対応する複数の空間特徴、及びそれぞれ複数のフレームレートに対応する複数の時間域特徴を含むフレームフィンガープリントを決定し、
複数のフレームのそれぞれに対して、複数のフレーム中の各フレームのフレームフィンガープリントを含む複数のフレームフィンガープリントを処理し、
前記ビデオオブジェクトの、該複数のフレームフィンガープリントを含むビデオフィンガープリントを決定する、
ステップを含むことを特徴とするビデオオブジェクトのフィンガープリンティング方法。
【請求項２】
複数のフレーム中の各フレームに対し、
少なくとも複数のフレームに関する情報に基づいて、複数のフレーム中の各フレームの、複数の解像度とフレームレートとの組み合わせのそれぞれと対応づけられている複数の空間−時間域特徴を決定し、
複数の空間−時間域特徴に関する情報を処理する、
ステップをさらに含み、
前記フレームフィンガープリントは、複数の解像度とフレームレートの組み合わせのそれぞれと対応づけられている複数の空間−時間域特徴をさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
複数のフレーム中の各フレームに対し、複数のフレーム中の各フレームに対する前記フレームフィンガープリントを記憶する
ステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
ビデオオブジェクトのビデオフィンガープリントを記憶する
ステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
複数の空間特徴を決定するステップは、複数の解像度のそれぞれに対し、複数のフレーム中の各フレームを複数の行と複数の列に区画し、複数の解像度におけるそれぞれを、少なくとも行と列の数により表示する
ステップを含むことを特徴とする請求項１に記載の方法。
【請求項６】
複数の時間域特徴を決定するステップは、複数のフレームレートのそれぞれに対し、複数のフレーム中の各フレーム及び複数のフレーム中の各フレームに関する隣り合うフレームに対応する差分値を決定するステップを含み、該複数のフレームレートのそれぞれは、複数のフレーム中の各フレームと、隣り合うフレームとの間の時間間隔に反比例する、
ことを特徴とする請求項１に記載の方法。
【請求項７】
ビデオオブジェクトに関する１フレームを取得し、
該フレームを複数のブロックに分割することにより、複数のブロックがそれぞれ複数の位置に対応され、複数のブロック中の各ブロックが複数のピックセルを含み、複数のピックセルがそれぞれ複数のピックセル値と対応づけられるようにし、
複数のブロックのそれぞれに対し、複数の平均ピックセル値を決定し、
複数の平均ピックセル値を処理し、
少なくとも複数の平均ピックセル値に関する情報に基づいて、複数のブロックの複数のランクをそれぞれ決定することにより、複数のランクのそれぞれが１ブロックと対応づけられるようにし、
複数のランクに関する情報を処理し、
少なくとも複数のランク及び複数の位置に関する情報に基づいて、ランク順番を決定する、
ステップを含み、
該フレームの空間特徴は前記ランク順番に関する情報を含む、
ことを特徴とするビデオオブジェクト中の１フレームに対し空間特徴を生成する方法。
【請求項８】
ランク順番を決定するステップは、
予め定められたパターンに従って、複数のブロックを走査し、
走査ステップの結果によりブロックの順番を決定し、
ブロック順番における対応するブロックの位置に基づき、複数のランクのそれぞれを配列する、
ステップを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記予め定められたパターンはラスター走査順番と関連づけられている
ことを特徴とする請求項８に記載の方法。
【請求項１０】
複数のランクは複数の順番ランクである
ことを特徴とする請求項７に記載の方法。
【請求項１１】
該フレームが複数の行と複数の列を含むように、該フレームを複数のブロックに区画し、
該フレームの空間特徴は、少なくとも行数と列数により表示される解像度と対応づけられている
ことを特徴とする請求項７に記載の方法。
【請求項１２】
解像度は基解像度であり、前記空間特徴はベース空間特徴である
ことを特徴とする請求項１１に記載の方法。
【請求項１３】
ビデオオブジェクトに関する第１グループの複数のフレームを取得することにより、前記第１グループの複数のフレームが少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームが第１グループの複数のピックセルを含み、且つ隣り合うフレームと対応づけられ、前記隣り合うフレームが第２グループの複数のピックセルを含むようにし、
第１グループの複数のフレームに関する情報を処理し、
第１グループの複数のフレームの複数の差分値をそれぞれ決定することにより、前記複数の差分値のそれぞれが、前記第１グループの複数のフレーム中の各フレームと、隣り合うフレームとに対応づけられるようにし、
複数の差分値に関する情報を処理し、
少なくとも複数の差分値に関する情報に基づいて、前記第１グループの複数のフレームに対応する複数のランクをそれぞれ決定する
ステップを含み、
前記複数のランクは該フレームに対応する１ランクを含み、該ランクは該フレームの１つの時間域特徴である
ことを特徴とするビデオオブジェクトの１フレームに対し時間域特徴を生成する方法。
【請求項１４】
第２グループの複数のフレームを取得し、
第２グループの複数のフレームに関する情報を処理し、
少なくとも第２グループの複数のフレームに関する情報に基づいて、前記第１グループの複数のフレームを決定する
ステップをさらに含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記第１グループの複数のフレームを決定するステップは、
開始時間と終了時間を含む1時間帯に関する情報を受け付け、
該フレームを該時間帯の開始時間に設定し、
第２グループの複数のフレーム中から、該時間帯内の少なくともいくつかのフレームを選択する
ステップを含み、
前記第１グループの複数のフレームはこれらの選択されたフレームを含む
ことを特徴とする請求項１４に記載の方法。
【請求項１６】
複数の差分値を決定するステップは、
第１グループの複数のフレーム中の各フレームに対し、
第１グループの複数のピックセルの第１の数値と第２グループの複数のピックセルの第２の数値との間の差異の大きさをそれぞれ決定し、
該差異の大きさを累計することにより、複数の差分値中の１つを決定する
ステップを含むことを特徴とする請求項１３に記載の方法。
【請求項１７】
複数のランクは複数の順番ランクである
ことを特徴とする請求項１３に記載の方法。
【請求項１８】
第１グループの複数のフレームは第１のフレームレートとが対応づけられ、前記ランクは第１のフレームレートと対応するフレームの時間域特徴である
ことを特徴とする請求項１３に記載の方法。
【請求項１９】
ビデオオブジェクトは第２のフレームレートと対応づけられ、
第１のフレームレートが第２のフレームレートより低い場合、第１グループの複数のフレームは前記ビデオオブジェクトのダウンサンプリングされたフレームである
ことを特徴とする請求項１８に記載の方法。
【請求項２０】
ビデオオブジェクトに関する第１グループの複数のフレームを取得することにより、前記第１グループの複数のフレームが少なくとも１フレームを含み、且つ、第１グループの複数のフレーム中の各フレームが隣り合うフレームと対応づけられるようにし、
前記第１グループの複数のフレーム中の各フレームを区画することにより、区画されたフレームがそれぞれ複数の位置に対応する第１グループの複数のブロックを含み、第１グループの複数のブロック中の各ブロックが第１グループの複数のブロック中の各ブロックを含む第２グループの複数のブロックと対応づけられ、第２グループの複数のブロックがそれぞれ第１グループの複数のフレームにおけるブロックと関連づけられているようにし、
第１グループの複数のフレームに関する情報を処理し、
第１グループの複数のブロック中の各ブロックに対し、
第２グループの複数のブロックの複数の差分値をそれぞれ決定することにより、複数の差分値のそれぞれが、第２グループの複数のブロックの各ブロック及び隣り合うフレーム中の対応するブロックとに関連付けられるようにし、
複数の差分値に関する情報を処理し、
少なくとも複数の差分値に関する情報に基づいて、第２グループの複数のブロックに対応する第１グループの複数のランクをそれぞれ決定し、
第１グループの複数のランクに関する情報を処理し、
少なくとも第１グループの複数のランクに関する情報に基づいて、第１グループの複数のブロック中の各ブロックのランクを決定し、
第２グループの複数のランクに関する情報を処理することにより、第２グループの複数のランクがそれぞれ第１グループの複数のブロックに対応づけられ、第２グループの複数のランクが該ランクを含むようにし、
少なくとも第２グループの複数のランク及び第１グループの複数のブロックの複数の位置に関する情報に基づいて、ランク順番を決定する
ステップを含み、
該フレームの空間−時間域特徴は該ランク順番に関する情報を含む
ことを特徴とするビデオオブジェクトの１フレームに対し空間−時間域特徴を生成する方法。
【請求項２１】
第１グループの複数のブロックは、時間的に同一時刻である同一のフレーム上にある
ことを特徴とする請求項２０に記載の方法。
【請求項２２】
第２グループの複数のブロックのそれぞれは、時間域軸に沿って、異なるフレームにおける同一の位置上にある
ことを特徴とする請求項２０に記載の方法。
【請求項２３】
ランク順番を決定するステップは、
予め定められたパターンに従って、第１グループの複数のブロックを走査し、
走査ステップの結果により、フレームにおけるブロックの順番を決定し、
ブロック順番における対応するブロックの位置に基づいて、第２グループの複数のランクのそれぞれを配列する
ステップを含むことを特徴とする請求項２０に記載の方法。
【請求項２４】
第１グループの複数のフレームが第１のフレームレートと対応づけられ、該フレームの前記空間−時間域特徴が該第１のフレームレートと対応づけられている
ことを特徴とする請求項２０に記載の方法。
【請求項２５】
前記ビデオオブジェクトが第２のフレームレートと対応づけられ、
第１のフレームレートが第２のフレームレートより低い場合、第１グループの複数のフレームは前記ビデオオブジェクトのダウンサンプリングされたフレームである
ことを特徴とする請求項２４に記載の方法。
【請求項２６】
第２グループの複数のフレームを取得し、
第２グループの複数のフレームに関する情報を処理し、
少なくとも第２グループの複数のフレームに関する情報に基づいて、第１グループの複数のフレームを決定する
ステップをさらに含むことを特徴とする請求項２０に記載の方法。
【請求項２７】
第１グループの複数のフレームを決定するステップは、
開始時間と終了時間を含む１時間帯に関する情報を受け付け、
該フレームを該時間帯の開始時間に設定し、
第２グループの複数のフレーム中から、該時間帯内の少なくともいくつかのフレームを選択する
ステップをさらに含み、
前記第１グループの複数のフレームはこれらの選択されたフレームを含む
ことを特徴とする請求項２６に記載の方法。
【請求項２８】
ビデオオブジェクトに対しフィンガープリンティングを行うための指令が含まれたコンピュータにより読取可能な媒体を含むコンピュータプログラム製品であって、
前記コンピュータにより読取可能な媒体は、
ビデオオブジェクトに関する複数のフレーム取得するための１つまたは複数の指令と、
１つまたは複数の指令は前記複数のフレーム中の各フレームに対し、
前記複数のフレームに関する情報を処理し、
少なくとも複数のフレーム中の各フレームに関する情報に基づいて、複数のフレームの各フレームの、複数の解像度のそれぞれと対応づけられている複数の空間特徴を決定し、
少なくとも複数のフレームに関する情報に基づいて、複数のフレーム中の各フレームの、複数のフレームレートのそれぞれと対応づけられている複数の時間域特徴を決定し、
複数の空間特徴及び複数の時間域特徴に関する情報を処理し、
複数のフレーム中の各フレームのフレームフィンガープリントを決定することにより、フレームフィンガープリントが、それぞれ複数の解像度と対応する複数の空間特徴、及びそれぞれ複数のフレームレートと対応する複数の時間域特徴とを含むようにする
ための１つまたは複数の指令と、
複数のフレームのそれぞれに対して、複数のフレーム中の各フレームのフレームフィンガープリントを含む複数のフレームフィンガープリントを処理するための１つまたは複数の指令と、
前記ビデオオブジェクトの、該複数のフレームフィンガープリントを含むビデオフィンガープリントを決定するための１つまたは複数の指令と、
を含むことを特徴とするコンピュータプログラム製品。
【請求項２９】
ビデオオブジェクトの１フレームに対し空間特徴を生成するための指令が含まれたコンピュータにより読取可能な媒体を含むコンピュータプログラム製品であって、
前記コンピュータにより読取可能な媒体は、
ビデオオブジェクトに関する１フレームを取得するための１つまたは複数の指令と、
該フレームを複数のブロックに分割することにより、複数のブロックがそれぞれ複数の位置に対応づけられ、複数のブロック中の各ブロックが複数のピックセルを含み、複数のピックセルがそれぞれ複数のピックセル値と対応づけられるようするための１つまたは複数の指令と、
複数のブロックのそれぞれに対し、複数の平均ピックセル値を決定するための１つまたは複数の指令と、
複数の平均ピックセル値を処理するための１つまたは複数の指令と、
少なくとも複数の平均ピックセル値に関する情報に基づいて、複数のブロックの複数のランクをそれぞれ決定することにより、複数のランクのそれぞれが１ブロックと対応付けられるようにするための１つまたは複数の指令と、
複数のランクに関する情報を処理するための１つまたは複数の指令と、
少なくとも複数のランク及び複数の位置に関する情報に基づいて、ランク順番を決定するための１つまたは複数の指令と、
を含み、
該フレームの空間特徴は前記ランク順番に関する情報を含む
ことを特徴とするコンピュータプログラム製品。
【請求項３０】
ビデオオブジェクト中的１フレームに対して時間域特徴を生成するための指令が含まれたコンピュータにより読取可能な媒体を含むコンピュータプログラム製品であって、
前記コンピュータにより読取可能な媒体は、
ビデオオブジェクトに関する第１グループの複数のフレームの取得により、前記第１グループの複数のフレームが少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームが第１グループの複数のピックセルを含み、且つ隣り合うフレームと対応づけられ、前記隣り合うフレームが第２グループの複数のピックセルを含むようにするための１つまたは複数の指令と、
第１グループの複数のフレームに関する情報を処理するための１つまたは複数の指令と、
第１グループの複数のフレームの複数の差分値をそれぞれ決定することにより、前記複数の差分値のそれぞれが、前記第１グループの複数のフレーム中の各フレームと、隣り合うフレームとに対応づけられるようにするための１つまたは複数の指令と、
複数の差分値に関する情報を処理するための１つまたは複数の指令と、
少なくとも複数の差分値に関する情報に基づいて、前記第１グループの複数のフレームに対応する複数のランクをそれぞれ決定するための１つまたは複数の指令と、
を含み、
前記複数のランクは該フレームに対応するランクを含み、該ランクは該フレームの１つの時間域特徴である
ことを特徴とするコンピュータプログラム製品。
【請求項３１】
ビデオオブジェクト中の１フレームに対し空間−時間域特徴を生成するための指令が含まれたコンピュータにより読取可能な媒体を含むコンピュータプログラム製品であって、
前記コンピュータにより読取可能な媒体は、
該ビデオオブジェクトに関する第１グループの複数のフレームを取得することにより、前記第１グループの複数のフレームが少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームが隣り合うフレームと対応づけられるようにするための１つまたは複数の指令と、
前記第１グループの複数のフレーム中の各フレームを区画することにより、区画されたフレームがそれぞれ複数の位置に対応する第１グループの複数のブロックを含み、第１グループの複数のブロック中の各ブロックが第１グループの複数のブロック中の各ブロックを含む第２グループの複数のブロックと対応づけられ、第２グループの複数のブロックがそれぞれ第１グループの複数のフレームにおけるブロックと対応づけられるようにするための１つまたは複数の指令と、
第１グループの複数のフレームに関する情報を処理するための１つまたは複数の指令と、
第１グループの複数のブロック中の各ブロックに対し、
第２グループの複数のブロックの複数の差分値をそれぞれ決定することにより、前記複数の差分値のそれぞれが、第２グループの複数のブロック中の各ブロックと、隣り合うフレーム中の対応するブロックとに関連付けられるようにし、
前記複数の差分値に関する情報を処理し、
少なくとも複数の差分値に関する情報に基づいて、第２グループの複数のブロックに対応する第１グループの複数のランクをそれぞれ決定し、
第１グループの複数のランクに関する情報を処理し、
少なくとも第１グループの複数のランクに関する情報に基づいて、第１グループの複数のブロック中の各ブロックのランクをそれぞれ決定する
ための１つまたは複数の指令と、
第２グループの複数のランクに関する情報を処理することにより、第２グループの複数のランクがそれぞれ第１グループの複数のブロックに対応づけられ、前記第２グループの複数のランクが該ランクを含むようにするための１つまたは複数の指令と、
少なくとも第２グループの複数のランク及び第１グループの複数のブロックの複数の位置に関する情報に基づいて、ランク順番を決定するための１つまたは複数の指令と、
を含み、
該フレームの空間−時間域特徴は該ランク順番に関する情報を含む
ことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオオブジェクトを識別するための技術及びデジタルビデオオブジェクトに対してフィンガープリンティングを行う技術に関するものであり、特に、多重解像度、複数のフレームレートの空間及び時間域特徴に基づいて、デジタルビデオオブジェクトのために唯一且つ穏健な識別子を生成する方法及びシステムに関するものである。
【背景技術】
【０００２】
過去十年以来、デジタルビデオは非常に普及されるようになってきた。例えば携帯型のＤＶビデオカメラ、デジタルビデオディスク（ＤＶＤ）、デジタルビデオレコーダー（ＤＶＲ，Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）及びインタネットを介して流通しダウンロード可能なビデオのような、デジタルビデオを生成、録画及び配布する複数種のソースがある。本願では、１段落のデジタルビデオを１デジタルビデオオブジェクトと称し、またはビデオオブジェクトと略して称する。該ビデオオブジェクトは、例えばハードドライバの記憶媒体に記憶された１ファイルであってもよく、または、放送チャネル或いはインタネットを介して上伝送される１ビット流でってもよい。デジタルビデオオブジェクト数の持続的増加、及びデジタルビデオエンターテインメントとサービスの拡充に伴い、デジタルビデオオブジェクトを有効で効率高いインデキシング及び識別するための方法及びシステムに対する要求が高まってきている。
【０００３】
デジタルオブジェクトを唯一に識別するための一般的方法として、ハッシュ関数を用いていわゆるハッシュ和またはメッセージダイジェストの固定長の出力を生成する。よく用いられるハッシュ関数はメッセージダイジェスト５（ＭＤ５）であり、その詳細はＲＦＣ１３２１に記載されている。ハッシュ和は識別子として、例えばデータ完全性テストにような具体的な用途においては役に立っているが、通常のコンテンツの識別には不適である。例えば、デジタルビデオオブジェクトは、例えばＭＰＥＧ４またはＷｉｎｄｏｗｓ（登録商標）媒体にような異なるフォーマット、及び例えば放送に用いられる２Ｍｂｐｓまたはインタネットダウンロードに用いられる７００Ｋｂｐｓのような異なるビットレートに符号化されることができる。コンテンツが同一であっても、これらの異なるフォーマットにおけるハッシュ和の値はそれぞれ異なる。デジタルビデオオブジェクトのフィンガープリントとハッシュ和との相違点は、前者はビデオコンテンツの唯一の識別子であるのに対し、後者はファイルの唯一の識別子である。ビデオオブジェクトごとに唯一且穏健なフィンガープリントを与えることにより、例えばビデオコンテンツのインデキシング、検索及び調査、コンテンツのフィルタリング、放送のモニタリング及びメタデータサービスのような複数種の応用を可能にしている。
【０００４】
関連のある出願のクロス引用
本願は、２００６年４月２８日に提出されたＵＳＡ仮出願番号が６０／７９５,７８６である出願に基づく優先権を主張する。ここでは、引用することにより、その全体を本明細書中に併記する。
連邦政府後援の研究や開発による発明の権利に関する声明
適用なし
ＣＤにより提出された“序列表”、テーブルまたはコンピュータプログラムリストアペンディックスについての参照
適用なし
【発明の開示】
【発明が解決しようとする課題】
【０００５】
つまり、本発明はビデオ信号処理に関するものである。より具体的に、本発明は、デジタルビデオオブジェクトを特徴付けるための方法及びシステムを提供する。本発明は、例示のみを通じて、多重解像度の空間特徴、複数のフレームレートの時間域特徴、及び／または空間-時間域特徴の取得への応用を記述しているが、本発明がより広い応用範囲を有すると理解すべきである。
【０００６】
本発明の実施例によれば、ビデオオブジェクトのフィンガープリンティング方法はビデオオブジェクトに関する複数のフレームを取得するステップを含む。また、該方法は、複数のフレーム中の各フレームに対し、前記複数のフレームに関する情報を処理し、少なくとも複数のフレーム中の各フレームに関する情報に基づいて、複数のフレーム中の各フレームの複数の空間特徴を決定するとともに、少なくとも複数のフレームに関する情報に基づいて、複数のフレーム中の各フレームの複数の時間域特徴を決定する、ステップを含む。複数の空間特徴はそれぞれ複数の解像度と対応づけられ、複数の時間域特徴は複数のフレームレートのそれぞれと対応づけられている。また、該方法は、複数のフレーム中の各フレームに対し、複数の空間特徴及び複数の時間域特徴に関する情報を処理し、複数のフレーム中の各フレームの、それぞれ複数の解像度に対応する複数の空間特徴及びそれぞれ複数のフレームレートに対応する複数の時間域特徴を含むフレームフィンガープリントを決定するステップをさらに含む。また、該方法は、複数のフレームのそれぞれに対し、複数のフレーム中の各フレームのフレームフィンガープリントを含む複数のフレームフィンガープリントを処理するステップを含む。また、該方法は、前記ビデオオブジェクトの、該複数のフレームフィンガープリントを含むビデオフィンガープリントを決定するステップを含む。
【０００７】
本発明のさらに他の一実施例によれば、ビデオオブジェクトの１フレームに対し空間特徴を生成するための方法は、ビデオオブジェクトに関する１フレームを取得し、該フレームを複数のブロックに分割することにより、複数のブロックがぞれぞれ複数の位置に対応するようにするステップを含む。複数のブロック中の各ブロックは複数のピックセルを含み、複数のピックセルはそれぞれ複数のピックセル値に対応づけられるようになる。また、該方法は、複数のブロックのそれぞれに対し複数の平均ピックセル値を決定し、複数の平均ピックセル値を処理し、少なくとも複数の平均ピックセル値に関する情報に基づいて、複数のブロックの複数のランクをそれぞれ決定することにより、複数のランクのそれぞれが１ブロックと対応づけられるようにするステップを含む。また、該方法は、複数のランクに関する情報を処理し、少なくとも複数のランク及び複数の位置に関する情報に基づいて、ランク順番を決定するステップを含む。該フレームの空間特徴は前記ランク順番に関する情報を含む。
【０００８】
本発明のさらに他の一実施例によれば、ビデオオブジェクトの１フレームに対し時間域特徴を生成する方法は、ビデオオブジェクトに関する第１グループの複数のフレーム取得するステップを含む。前記第１グループの複数のフレームは少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームは第１グループの複数のピックセルを含み、且つ隣り合うフレームと対応づけられ、前記隣り合うフレームは第２グループの複数のピックセルを含むようにする。また、該方法は、第１グループの複数のフレームに関する情報を処理し，第１グループの複数のフレームの複数の差分値をそれぞれ決定するステップを含む。前記複数の差分値のそれぞれは、前記第１グループの複数のフレーム中の各フレームと、隣り合うフレームとに対応づけられるようにする。また、該方法は、複数の差分値に関する情報を処理し、少なくとも複数の差分値に関する情報に基づいて、前記第１グループの複数のフレームに対応する複数のランクをそれぞれ決定するステップを含む。前記複数のランクは該フレームに対応する１ランクを含み、該ランクは該フレームの１つの時間域特徴である。
【０００９】
本発明のさらに他の一実施例によれば、ビデオオブジェクトの１フレームに対し空間−時間域特徴を生成する方法は、該ビデオオブジェクトに関する第１グループの複数のフレームを取得するステップを含む。前記第１グループの複数のフレームは少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームは隣り合うフレームに対応づけられるようにする。また、該方法は、前記第１グループの複数のフレーム中の各フレームを区画するステップを含む。区画されたフレームはそれぞれ複数の位置に対応する第１グループの複数のブロックを含み、第１グループの複数のブロック中の各ブロックは第１グループの複数のブロック中の各ブロックを含む第２グループの複数のブロックと対応づけられ、第２グループの複数のブロックはそれぞれ第１グループの複数のフレームにおけるブロックと関連付けられる。また、該方法は、第１グループの複数のフレームに関する情報を処理するステップを含む。また、該方法は、第１グループの複数のブロック中の各ブロックに対し、第２グループの複数のブロックとの複数の差分値をそれぞれ決定するステップをさらに含む。前記複数の差分値のそれぞれは、第２グループの複数のブロック中のそれぞれ及び隣り合うフレーム中の対応するブロックとに関連付けられている。また、該方法は、第１グループの複数のブロック中の各ブロックに対し、複数の差分値に関する情報を処理し、少なくとも複数の差分値に関する情報に基づいて、第２グループの複数のブロックに対応する第１グループの複数のランクをそれぞれ決定し、第１グループの複数のランクに関する情報を処理し、少なくとも第１グループの複数のランクに関する情報に基づいて、第１グループの複数のブロック中の各ブロックのランクをそれぞれ決定するステップを含む。また、該方法は、第１グループの複数のブロックにそれぞれ対応づけられている第２グループの複数のランクに関する情報を処理し、少なくとも第２グループの複数のランク及び第１グループの複数のブロックの複数の位置に関する情報に基づいて、ランク順番を決定するステップを含む。前記第２グループの複数のランクは該ランクを含み、該フレームの空間−時間域特徴は該ランク順番に関する情報を含む。
【００１０】
本発明のさらに他の一実施例によれば、コンピュータプログラム製品はコンピュータにより読取可能な媒体を含み、該コンピュータにより読取可能な媒体はビデオオブジェクトに対しフィンガープリンティングを行うための指令を含む。前記コンピュータにより読取可能な媒体は、ビデオオブジェクトに関する複数のフレームを取得するための１つまたは複数の指令を含む。また、該コンピュータにより読取可能な媒体は、前記複数のフレーム中の各フレームに対し、前記複数のフレームに関する情報を処理し、少なくとも複数のフレーム中の各フレームに関する情報に基づいて、複数のフレーム中の各フレームの複数の空間特徴を決定し、少なくとも複数のフレームに関する情報に基づいて、複数のフレーム中の各フレームの複数の時間域特徴を決定するための１つまたは複数の指令を含む。前記複数の空間特徴は複数の解像度のそれぞれと対応づけられ、複数の時間領域特徴は複数のフレームレートのそれぞれと対応づけられている。また、前記１つまたは複数の指令は、複数のフレーム中の各フレームに対し、複数の空間特徴及び複数の時間域特徴に関する情報を処理し、複数のフレーム中の各フレームの、それぞれ複数の解像度に対応する複数の空間特徴及びそれぞれ複数のフレームレートに対応する複数の時間域特徴を含むフレームフィンガープリントを決定するために用いられる。また、前記コンピュータにより読取可能な媒体は、複数のフレームのそれぞれに対し複数のフレームフィンガープリントを処理するための１つまたは複数の指令と、前記ビデオオブジェクトのビデオフィンガープリントを決定するための１つまたは複数の指令とを含む。該複数のフレームフィンガープリントは複数のフレーム中の各フレームのフレームフィンガープリントを含み、前記ビデオフィンガープリントは該複数のフレームフィンガープリントを含む。
【００１１】
本発明のさらに他の一実施例によれば、コンピュータプログラム製品はコンピュータにより読取可能な媒体を含み、該コンピュータにより読取可能な媒体はビデオオブジェクト中の１フレームに対し空間特徴を生成するための指令を含む。前記コンピュータにより読取可能な媒体は、ビデオオブジェクトに関する１フレームを取得するための１つまたは複数の指令と、該フレームを複数のブロックに分割するための１つまたは複数の指令を含む。前記複数のブロックはそれぞれ複数の位置に対応づけられている。複数のブロック中の各ブロックは複数のピックセルを含み、複数のピックセルはそれぞれ複数のピックセル値に対応づけられる。また、該コンピュータにより読取可能な媒体は、複数のブロックのそれぞれに対し、複数の平均ピックセル値を決定するための１つまたは複数の指令と、複数の平均ピックセル値を処理するための１つまたは複数の指令と、少なくとも複数の平均ピックセル値に関する情報に基づいて，複数のブロックの複数のランクをそれぞれ決定することにより、複数のランクのそれぞれが１ブロックと対応づけられるようにするための１つまたは複数の指令とを含む。また、該コンピュータにより読取可能な媒体は、複数のランクに関する情報を処理するための１つまたは複数の指令と、少なくとも複数のランク及び複数の位置に関する情報に基づいて、ランク順番を決定するための１つまたは複数の指令とを含む。該フレームの空間特徴は前記ランク順番に関する情報を含む。
【００１２】
本発明のさらに他の一実施例によれば、コンピュータプログラム製品はコンピュータにより読取可能な媒体を含み、該コンピュータにより読取可能な媒体はビデオオブジェクトの１フレームに対し時間域特徴を生成するための指令を含む。前記コンピュータにより読取可能な媒体は、ビデオオブジェクトに関する第１グループの複数のフレームを取得するための１つまたは複数の指令を含む。前記第１グループの複数のフレームは少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームは第１グループの複数のピックセルを含み、且つ隣り合うフレームと対応づけられ、前記隣り合うフレームが第２グループの複数のピックセルを含む。また、前記コンピュータにより読取可能な媒体は、第１グループの複数のフレームに関する情報を処理するための１つまたは複数の指令と、第１グループの複数のフレームの複数の差分値をそれぞれ決定するための１つまたは複数の指令とを含む。前記複数の差分値のそれぞれは、前記第１グループの複数のフレーム中それぞれと、隣り合うフレームとに対応する。また、前記コンピュータにより読取可能な媒体は、複数の差分値に関する情報を処理するための１つまたは複数の指令と、少なくとも複数の差分値に関する情報に基づいて、前記第１グループの複数のフレームに対応する複数のランクをそれぞれ決定するための１つまたは複数の指令とを含む。前記複数のランクは該フレームに対応するランクを含み、該ランクは該フレームの１つの時間域特徴である。
【００１３】
本発明のさらに他の一実施例によれば、コンピュータプログラム製品はコンピュータにより読取可能な媒体を含み、該コンピュータにより読取可能な媒体はビデオオブジェクトの１フレームに対し空間−時間域特徴を生成するための指令を含む。前記コンピュータにより読取可能な媒体は、該ビデオオブジェクトに関する第１グループの複数のフレームを取得するための１つまたは複数の指令を含む。前記第１グループの複数のフレームは少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームは隣り合うフレームに対応づけられている。また、前記コンピュータにより読取可能な媒体は、前記第１グループの複数のフレーム中の各フレームを区画するための１つまたは複数の指令を含む。区画されたフレームはそれぞれ複数の位置に対応する第１グループの複数のブロックを含み、第１グループの複数のブロック中の各ブロックは第１グループの複数のブロック中の各ブロックを含む第２グループの複数のブロックと対応づけられ、第２グループの複数のブロックはそれぞれ第１グループの複数のフレームにおけるブロックと対応づけられている。また、前記コンピュータにより読取可能な媒体は、第１グループの複数のフレームに関する情報を処理するための１つまたは複数の指令を含む。また、前記コンピュータにより読取可能な媒体は、第１グループの複数のブロック中の各ブロックに対し、第２グループの複数のブロックとの複数の差分値をぞれぞれ決定し、複数の差分値に関する情報を処理し、少なくとも複数の差分値に関する情報に基づいて、第２グループの複数のブロックに対応する第１グループの複数のランクをそれぞれ決定し、第１グループの複数のランクに関する情報を処理し、少なくとも第１グループの複数のランクに関する情報に基づいて、第１グループの複数のブロック中の各ブロックのランクをそれぞれ決定するための１つまたは複数の指令を含む。複数の差分値のそれぞれは第２グループの複数のブロック中のそれぞれ及び隣り合うフレーム中の対応するブロックとに関連付けられている。また、前記コンピュータにより読取可能な媒体は、第２グループの複数のランクに関する情報を処理することにより、第２グループの複数のランクはそれぞれ第１グループの複数のブロックに対応づけられるようにするための１つまたは複数の指令と、少なくとも第２グループの複数のランク及び第１グループの複数のブロックの複数の位置に関する情報に基づいて、ランク順番を決定するための１つまたは複数の指令とを含む。前記第２グループの複数のランクは該ランクを含み、フレームの空間−時間域特徴は該ランク順番に関する情報を含む。
【００１４】
伝統的な技術と比較すると、本発明の場合、多い面で利点が得られる。本発明のいくつかの実施例によれば、本発明は、複数面において利点を有する。本発明のいくつかの実施例により穏健なフィンガープリントを生成することができ、異なるフォーマット、ビットレートまたは解像度を有する同一のビデオオブジェクト、及び／またはある変更及び／または変形が行われた同一のビデオオブジェクトの場合、そのフィンガープリントは変化しないか、またはその変化がわずかである。本発明のいくつかの実施例によれば、高い識別力のあるフィンガープリントを生成することができ、異なるビデオコンテンツを含む２つのビデオオブジェクトに対して、全く異なるフィンガープリントが生成される。本発明のいくつかの実施例によれば、記憶のためのコンパクトなフィンガープリントを生成することができ、効率高い検索及びマッチングに適した形態に記憶することができる。
【００１５】
実施例によれば、これらの利点中の１項またはその以上を得ることができる。本発明のこれらの利点及び異なる付加的な目的、特徴と長所は、以下の具体的な記述及び図面により十分に理解できるだろう。
【発明を実施するための最良の形態】
【００１６】
本発明は、ビデオコンテンツの本質的特徴によりビデオコンテンツに対し特徴付けを行い、これらの特徴をコンパクトな特徴またはフィンガープリントに変換する方法及びシステムを含む。同一のビデオコンテンツは、異なるフォーマット、ビットレートまたは解像度に符号化可能であり、且つ前記ビデオコンテンツは、切り取りされたり、編集されたり、または程度の異なる変形をされたりするため、ビデオオブジェクトを特徴付けるフィンガープリントの穏健さは非常に重要となり、このような場合おいて変化しないか、または微細な変化しかしない程度に達する。一方、フィンガープリントは必ず高度の識別性有すべきであり、この面から見れば、異なるビデオコンテンツを含む２つのビデオオブジェクトは、全く異なるフィンガープリントを生成すべきである。また、ビデオフィンガープリントのデータ表示は、記憶のために十分コンパクトに、かつ効率高い検索とマッチングに有利な形態に記憶できるようにする必要がある。
【００１７】
ビデオオブジェクトのフィンガープリンティング
本発明に係るビデオオブジェクトに対してフィンガープリンティングを行うプロセスを図１のブロック図に示す。フレームのそれぞれを放映順に処理することにより、１つの空間特徴ブロック（ＳＳＢ，Ｓｐａｔｉａｌ Ｓｉｇｎａｔuｒｅ Ｂｌｏｃｋ）、１つの時間域特徴ブロック（ＴＳＢ，Ｔｅｍｐｏｒａｌ Ｓｉｇｎａｔuｒｅ Ｂｌｏｃｋ）及び１つの選択可能な空間−時間域特徴ブロック（ＳＴＳＢ，Ｓｐａｔｉａｌ-Ｔｅｍｐｏｒａｌ Ｓｉｇｎａｔuｒｅ Ｂｌｏｃｋ）を生成する。前記ＳＳＢは、複数種の解像度において、１つまたは複数の空間特徴（ＳＳ，Ｓｐａｔｉａｌ Ｓｉｇｎａｔuｒｅ）により構成され、前記ＴＳＢは、複数種のフレームレートにおいて、１つまたは複数の時間域特徴（ＴＳ，Ｔｅｍｐｏｒａｌ Ｓｉｇｎａｔuｒｅ）により構成され、前記ＳＴＳＢは、複数種の解像度及び複数種のフレームレートにおいて、空間−時間域特徴（ＳＴＳ，Ｓｐａｔｉａｌ-Ｔｅｍｐｏｒａｌ Ｓｉｇｎａｔuｒｅ）により構成される。ビデオオブジェクト中の各フレームに対し、前記ＳＳＢ、ＴＳＢ及びＳＴＳＢは、該フレームに対応するフィンガープリントブロックを構成する。フレーム順番に従う全てのフィンガープリントブロックのシーケンスは、前記ビデオオブジェクトのフィンガープリントを構成する。以下に、ＳＳＢ、ＴＳＢ及びＳＴＳＢを算出する方法を説明する。この実施例では、全ての特徴及び該フィンガープリントの算出は明るさの分量成分においてのみ行われる。より一般的な場合、前記特徴及フィンガープリントの算出は、明るさの分量及び色度の分量において行われたり、ＲＧＢまたは他の色空間のいずれか/全ての分量において行われる。
【００１８】
空間特徴
１ビデオフレームの空間特徴（ＳＳ）は、複数種の解像度において算出される。本発明に係る一実施例において、１フレームは、図２（ａ）に示すように、等しい大きさを有する２×２または４ブロックに均等に分割される。これはＳＳを算出時フレームを分割する最低解像度であり、生成されるＳＳをベース空間特徴（ＢＳＳ, Ｂａｓｅ Ｓｐａｔｉａｌ Ｓｉｇｎａｔuｒｅ）またはＢＳＳと称する。図２（ｂ）に示すように、解像度を１レベル向上させるために、該フレームを４×４または１６ブロックに分割することができる。例えば８×８または６４ブロックなどのさらに細かいフレームの分割により、解像度をさらに向上させることができ、より細かい解像度におけるＳＳを生成することができる。例えば３×３または９ブロックのような異なるフレームの分割方法によりＢＳＳを算出してもよく、例えば６×６＝３６ブロック及び１２×１２＝１４４ブロックのように、持続的にその次元を倍にすることにより、さらに高い解像度にしてもよい。但し、発明者らは、例えばアスペクト比の変化のような幾つかの画像歪みを克服するために、２×２＝４ブロックを用いてＢＳＳを算出した方がより穏健であることを見つけ出した。
【００１９】
図２（ａ）中の２×２ブロックのパターンによるＢＳＳの算出は下記のようである。
１.ブロックごとのピックセル値の平均値は
2009535920.tif 000003
になる。但し、図３（ａ）中の例示のように、Ｂｉはｉ番目ブロックのピックセル値の平均値、ｘ（ｋ）はｉ番目ブロック中の１ピックセル値、Ｎｉはｉ番目ブロックのピックセルの総和である。
２. 図３（ｂ）中の例示のように、ブロックごとに、Ｂｉ値を比較することによりランクをつけるとともに、ブロックごとに順番ランクを指定する。
３. 図３（ｃ）中の例示のように、ラスター走査順にブロックそれぞれの順番ランクを収集することによりＢＳＳを生成するとともに、ＢＳＳベクトルを形成する。
【００２０】
上記と同様のステップにより、さらに高い解像度におけるＳＳを算出することができる。唯一の相違点として、さらに高い解像度におけるＳＳベクトルはより高い次元を有するとの点である。例えば、２×２ブロックにより算出されるＢＳＳベクトルは４次元であるのに対し、４×４ブロックにより算出されるＢＳＳベクトルは１６次元である。
【００２１】
２×２ブロックの順番ランクのそれぞれはｌｏｇ２(４)＝２ビットにより表示可能であることから、前記ＢＳＳは４*ｌｏｇ２(４)＝８ビットにより表示可能であることが、容易に分かる。同様に、４×４ブロックのＳＳは１６*ｌｏｇ２(４)＝６４ビットにより表示可能であることが、容易に分かる。さらに高い解像度におけるＳＳの表示に必要なビット数は、同様の方法により算出することができる。
【００２２】
全ての利用可能の解像度におけるＢＳＳとＳＳを配列・重ね合うことにより、１フレームのＳＳＢを形成する。上記の実施例において、前記ＳＳＢは８＋６４＝７２ビットにより表示してもよい。
【００２３】
時間域特徴
スライディングタイムウィンドウにおいて、フレームごとの時間域特徴（ＴＳ，Ｔｅｍｐｏｒａｌ Ｓｉｇｎａｔuｒｅｓ）を算出する。
【００２４】
フレームごとに、現在のフレームが該ウィンドウの右エッジに位置するように、該ウィンドウに対し位置決めを行う（図４をご参照）。該ウィンドウの位置を、時間軸に沿って１フレームずつ移動する。ウィンドウの大きさは調整可能なパラメータである。本発明に係る一実施例では、スライドウィンドウの大きさを時間的に１秒に定義している。これは、複数のフレームが、ウィンドウ内のいずれかの位置になるように該スライドウィンドウ内に入ることを意味し、且つ、その数は該ビデオオブジェクトのフレームレートに依存する。例えば、１ビデオオブジェクトのフレームレートを毎秒３０フレームとすると、該スライドウィンドウ内に３０フレームが存在し、これらの３０フレームは、該ウィンドウ内のいずれかの位置にある。1ビデオオブジェクトのフレームレートが毎秒１フレームにより小さいと、該スライドウィンドウ内のいずれかの位置にもフレームが存在しない。
【００２５】
異なるフレームレートにおけるビデオオブジェクトのＴＳ同士が同等になるように、ダウンサンプリングを通じて、ビデオオブジェクトごとのフレームレートを1グループの共通のフレームレートとする。ダウンサンプリングされたビデオオブジェクトの該共通のフレームレートグループは調整可能である。一般的に、これらは、複数のフレームレートにおけるＴＳを代表するように設計される。本発明に係る一実施例では、ＴＳを算出するための特定の共通のフレームレートグループは{毎秒６フレーム，毎秒１２フレーム，毎秒２４フレーム}である。
【００２６】
共通のフレームレートグループを実現するために、フレームレートをダウンサンプリングして複数グループのフレームを生成する。各グループのフレームにおいてＴＳを算出して、複数のフレームレートＴＳを生成する。本明細書において、記載の明確化を図るため、特定のグループにより算出されたＴＳを、該グループのダウンサンプリングされたフレームレートを用いて表示する。例えば、ＴＳ６は、該ＴＳが毎秒６フレームであるフレームグループから算出されたことを表す。
【００２７】
ダウンサンプルグループ{毎秒６フレーム，毎秒１２フレーム，毎秒２４フレーム}及びこれらに関するダウンサンプリングされたフレームグループを用いて、以下のステップによりＴＳを算出する。
１. 各グループのフレームに対し、グループ内の２つの連続するフレームにおける対応するピックセル間の絶対誤差の和、即ち
2009535920.tif 000004
を算出する。但し、図５（ａ）に示すように、ｉはグループ内のｉ番目フレームのインテックスであり、且つｋ＝１,２,３,…,Ｎは１フレーム中のピックセルにインテックスである。
２. 図５（ｂ）に示すように、該グループ内の各フレームのＤｉ値を比較してランクをつけるとともに、フレームそれぞれの順番ランクを指定する。
３. 図５（ｂ）に示すように、現在のフレーム（即ち、スライドウィンドウの右エッジにあるフレーム）の順番ランクを記録する。これが、該グループ内の現在のフレームのＴＳとなる。
【００２８】
順番ランクがグループ内のフレーム数以下であるため、ＴＳ６はΥｌｏｇ２(６)／＝３ビットにより表示でき、ＴＳ１２はΥｌｏｇ２(１２)／＝４ビットにより表示でき、ＴＳ２４はΥｌｏｇ２(２４)／＝５ビットにより表示できることが、容易に分かる。ここで、演算子Υ は数学的な天井関数を指す。例えばΥ４.２／＝５である。
【００２９】
全ての利用可能なフレームレートにおけるＴＳを配列・重ね合うことにより、１フレームのＴＳＢを形成する。上記の実施例において、前記ＴＳＢは３＋４＋５＝１２ビットにより表示することができる。
【００３０】
空間−時間域特徴
分割されたフレームのスライドウィンドウにおいて、フレームごとの空間−時間域特徴（ＳＴＳ）を算出する。フレームを前述のような異なる方法により分割することにより、複数種の解像度におけるＳＳを算出することができる。一実施例において、前記フレームは２×２ブロックに分割される。１フレームにおいて、前述と同様の方法による各ブロックのＴＳを算出して、各ダウンサンプルグループの各フレームのそれぞれに対し４つのＴＳを生成する。生成されるＴＳをラスター走査順に収集することによりＳＴＳを形成して、これらを１ベクトルに置く。全ての利用可能なフレームレートにおけるＳＴＳを配列・重ね合うことにより、ＳＴＳＢを形成する。該実施例において、該ＳＴＳＢは４*(３＋４＋５)＝４８ビットにより表示される。
【００３１】
空間及び時間域特徴によるフィンガープリント
１フレーム中のＳＳＢ、ＴＳＢと選択可能なＳＴＳＢを收集することにより、対応するフレームのフィンガープリントブロック（ＦＢ）を形成する。ビデオオブジェクト中の各フレームと対応するＦＢシーケンスは、該ビデオオブジェクトのフィンガープリントに定義される。本明細書に記載の実施例において、ＳＴＳＢが存在しない場合、ＦＢは８４ビットにより表示可能であるが、ＳＴＳＢが存在する場合、ＦＢは１３２ビットにより表示可能である。フレームレートが毎秒３０フレームであるビデオオブジェクトに対し、侯のように定義されたＦＢは２５２０ビット／秒（ＳＴＳＢを含む場合は３９３０ビット／秒）のデータ転送速度を有する。
【００３２】
上記のように、図１は、本発明の一実施例に係るデジタルビデオオブジェクトに対して特徴づけ及びフィンガープリンティングを行う簡易な方法を示す。該図は例示として示されているだけであって、これにより特許請求の範囲を不適切に限定するものではない。また、当業者であれば、この例示に関する複数種の変化、代替及び変更に対し理解するだろう。方法１００は、ビデオオブジェクトを受け付けるためのステップ１１０と、次のフレームを取得するためのステップ１２０と、１つまたは複数の空間特徴を決定するためのステップ１３０と、１つまたは複数の時間域特徴を決定するためのステップ１４０と、１つまたは複数の空間−時間域特徴を取得するためのステップ１５０と、フィンガープリントブロックを記憶するためのステップ１６０と、及び、全てのフレームが処理済みであるかを決定するためのステップ１７０とを含む。上記の内容により、該方法を利用するために選択可能なステップ群を示しているが、複数種の代替、変更及び変化を行ってもよい。例えば、いくつかのステップに対して、展開及び／または組み合わせを行ってもよい。他のいくつかのステップに関しては、上記のいくつかのステップ中に挿入してもよい。実施例によっては、ステップの順番を入れ替えたり、他のステップに代替えたりしてもよい。その１つの例示として、該方法のいくつかのまたは全てのステップを、コンピュータまたはプロセッサーにより、直接コードを介して実行してもよい。もう１つの例示として、該方法のいくつかのまたは全てのステップを、コンピュータプログラム製品であって、コンピュータにより読取可能な媒体中に含まれている指令に従って実行してもよい。これらのステップのより具体的な内容は、本明細書の全文範囲に記載されている。
【００３３】
ステップ１１０において、ビデオオブジェクトを受け付けてから、該ビデオオブジェクトに対し処理を行う。例えば、前記ビデオオブジェクトは１段落のデジタルビデオのような１段落のビデオである。もう１つの例示として、前記ビデオオブジェクトは、図１に従って取得または処理される１つまたは複数のフレームを含む。一実施例において、これらのフレームは、これらの放映順番に従って処理される。他の一実施例において、１フレームごとに、空間特徴ブロック（ＳＳＢ）、時間域特徴ブロック（ＴＳＢ）及び／または空間−時間域特徴ブロック（ＳＴＳＢ）を決定する。例えば、前記ＳＳＢは１つまたは複数の解像度における空間特徴（ＳＳ）を１つまたは複数を含み、前記ＴＳＢは１つまたは複数のフレームレートにおける時間域特徴（ＴＳ）を１つまたは複数含み、及び／または、前記ＳＴＳＢは１つまたは複数の解像度と１つまたは複数のフレームレートにおける空間−時間域特徴（ＳＴＳ）を１つまたは複数含む。さらに他の一実施例において、同一のフレームのおける前記ＳＳＢ、ＴＳＢ及び／またはＳＴＳＢは、少なくとも該フレームのフィンガープリントブロックの一部を構成する。例えば、１フィンガープリントブロックは１フレームフィンガープリントである。図１に示すように、前記フィンガープリントブロックを記憶した後、ステップ１７０で、全てのフレームが処理済みであるかを決定する。全てのフレームが処理済みでない場合、次のフレームを取得して処理する。本発明に係る一実施例によれば、フレーム順番に従う全てのフィンガープリントブロックシーケンス郡は、少なくとも前記ビデオオブジェクトのフィンガープリントの一部を構成する。
【００３４】
なお、ここで、図１は例示として示されているだけであって、これにより特許請求の範囲を不適切に限定するものではないことを、さらに強調したい。また、当業者であれば、この例示に関する複数種の変化、代替及び変更に対し理解するだろう。例えば、全てのフレームが処理済みであるかを決定するステップ１７０を、追加フレームを処理する必要があるかを決定するためのステップに代替えしてもよい。もう１つの例示として、１つまたは複数の空間特徴を決定するためのステップ１３０、１つまたは複数の時間域特徴を決定するためのステップ１４０及び１つまたは複数の空間−時間域特徴を決定するためのステップ１５０の１つまたは複数は、スキップされてもよい。
【００３５】
上記のように、図２は発明の一実施例に係る多重解像度における空間特徴を決定するために１フレームを分割する例を示している。図２は図２（ａ）と図２（ｂ）を含む。これらの図は例示として示されているだけであって、これらにより特許請求の範囲を不適切に限定するものではない。また、当業者であれば、この例示に関する複数種の変化、代替及び変更に対し理解するだろう。
【００３６】
図２（ａ）に示すように、一実施例によれば、１フレームはｍｂ×ｎｂブロックに分割される。例えば、ｍｂ及びｎｂは正整数である。もう一つの例示として、ｍｂ及びｎｂは、数値的に相等または異なっている。さらにもう一つの例示として、全てのｍｂ×ｎｂブロックは等しい大きさを有する。図２（ｂ）に示すように、一実施例によれば、該フレームはｍｈ×ｎｈブロックに分割される。例えば、ｍｈ及びｎｈは正整数である。もう一つの例示として、ｍｈ及びｎｈはｍ数値的に相等または異なっている。さらにもう一つの例示として、全てのｍｈ×ｎｈブロックは等しい大きさを有する。
【００３７】
一実施例において、ｍｂ×ｎｂブロックに基づく空間特徴（ＳＳ）はベース空間特徴（ＢＳＳ）と称され、ｍｈ×ｎｈブロックに基づく空間特徴（ＳＳ）は高解像度における空間特徴（ＳＳ）と称される。例えば、ｍｈはｍｂより大きく、及び／または、ｎｈはｎｂより大きい。もう一つの例示として、ｍｂ及びｎｂのいずれもが２に等しく、且つ、ｍｈ及びｎｈのいずれもが２×２ｎに等しい。但し、ｎは正整数である。さらにもう一つの例示として、ｍｂ及びｎｂのいずれもが３に等しく、且つ、ｍｈ及びｎｈのいずれもが３×２ｎに等しい。
【００３８】
上記の記述によれば、図３は本発明の一実施例に係る２×２ブロックに基づくベース空間特徴（ＢＳＳ）を決定するステップである。図３は図３（ａ）、（ｂ）及び（ｃ）を含む。これらの図は例示として示されているだけであって、これらにより特許請求の範囲を不適切に限定するものではない。また、当業者であれば、この例示に関する複数種の変化、代替及び変更に対し理解するだろう。例えば、ｍｂまたはｎｂまたは両者が２に等しくないとしても、ｍｂ×ｎｂブロックに基づくＢＳＳは、実質的に同様の方法により算出することができる。もう１つの例示として、ｍｈ×ｎｈブロックに基づくＳＳは、実質的の同様の方法により算出することができる。
【００３９】
図３に示すように、ｍｂ×ｎｂまたはｍｈ×ｎｈのブロックに基づく空間特徴を決定するための方法は以下のような三つのステップを含む。
１. ブロックごとのピックセル値の平均値は
2009535920.tif 000005
により特定される。但し、Ｂｉはｉ番目ブロックのピックセル値の平均値、ｘ（ｋ）はｉ番目ブロック中のｋ番目ピックセルのピックセル値、Ｎｉはｉ番目ブロックのピックセルの総和である。一実施例において、ｉ＝１、２、…、ｍｂ× ｎｂである。他の一実施例において、ｉ＝１、２、…、ｍｈ× ｎｈである。
２. ブロックごとにランク数をつける。例えば、各ブロックのＢｉの値を比較して、対応するブロックに対しＢｉの順番ランク数を指定する。一実施例において、ブロックの総和がｍｂ× ｎｂであるため、順番ランク数は１からｍｂ× ｎｂとなり、他の一実施例において、ブロックの総和がｍｈ× ｎｈであるので、順番ランク数は１からｍｈ× ｎｈとなる。
３. ランク数に基づき空間特徴を決定する。例えば、空間特徴は、ＢＳＳまたは高解像度におけるＳＳである。もう一つの例示として、前記空間特徴はベクトルを含む。該ベクトルにおいて、該ブロックのランク数は、該フレーム中のこれらのブロックの物理的位置に従って配列される。他の一実施例において、ラスター走査順にランク数を収集することにより空間特徴を生成する。
【００４０】
本発明の一実施例によれば、多重解像度における１フレームの空間特徴が特定された後、さらに高い解像度におけるＢＳＳ和ＳＳを１つまたは複数配列・重ね合うことにより、ＳＳＢを決定する。
【００４１】
図４は本発明の一実施例係る時間域特徴を算出するためのスライドウィンドウの位置決めを示す。該図は例示として示されているだけであって、これにより特許請求の範囲を不適切に限定するものではない。また、当業者であれば、この例示に関する複数種の変化、代替及び変更に対し理解するだろう。
【００４２】
図４に示すように、各フレームごとに、現在のフレームが該ウィンドウの右エッジになるように、スライドウィンドウに対し位置決めを行う。時間軸に沿って、該ウィンドウの位置を１フレームずつ移動する。ウィンドウの幅は調整可能なパラメータである。一実施例において、スライドウィンドウの幅は、時間的に１秒とされる。例えば、複数のフレームがスライドウィンドウ内に入り、且つ、これらのフレーム的数は該ビデオオブジェクトのフレームレートに依存する。一実施例によれば、時間域特徴を決定するためのフレームレートが該ビデオオブジェクトの元のフレームレートである場合、前記フレームまたは複数のフレームは該ビデオの元のフレームまたは複数のフレームである。他の一実施例によれば、時間域特徴を決定するためのフレームレートが該ビデオオブジェクトの元のフレームレートと異なる場合、前記フレームまたは複数のフレームは該ビデオオブジェクトのサンプリングされたフレームまたは複数のフレームである。例えば、時間域特徴を決定するためのフレームレートが該ビデオオブジェクトの元のフレームレートより低い場合、該ビデオオブジェクトに対し時間域上でダウンサンプリングを行う。
【００４３】
用いられる特定のサンプリングされたフレームレートに対し、時間域特徴を決定する方法は、下記のような三つのステップを含む。
１. １フレームと隣り合うフレームとの間の差分値を決定する。例えば、下記のように、２つの連続するフレームに対して、対応するピックセルの間の絶対誤差の和を算出する。
2009535920.tif 000006
但し、ｉは１フレームのインテックスである。例えば、該スライドウィンドウ内において、各フレームのＤｉを算出する。また、ｋはｋ番目ピックセルを示し、Ｎは該フレームにおけるピックセル総数を示す。
２. 現在のフレームのランク数を決定する。例えば、スライドウィンドウ内の全てのフレームのＤｉ値を比較して、対応するフレームに対しＤｉの順番ランク数を付すようにする。一実施例において、スライドウィンドウの右エッジにある現在のフレームに対し、対応する順番ランク数を付すようにする。
３. 現在のフレームの時間域特徴として、現在のフレーム的順番ランク数を記録する。
本発明の実施例によれば、１フレームの複数のフレームレートに基づく時間域特徴が特定された後、複数のフレームレートにおけるＴＳを配列・重ね合うことによりＴＳＢを決定する。
【００４４】
上記のように、本発明の実施例によれば、分割されたフレームのスライドウィンドウにおいて、各フレームの空間−時間域特徴（ＳＴＳ）を算出する。例えば、１フレームをｍ×ｎブロックに分割する。但し、ｍ及びｎのいずれもは正整数である。もう一つの例示として、ｍ及びｎは数値的に相等または不等である。さらにもう一つの例示として、全てのｍ×ｎ個のブロックのそれぞれが等しい大きさを有する。
【００４５】
一実施例において、フレーム中の各ブロックのＴＳを算出する。用いられる特定のサンプリングされたフレームレートに対し、各ブロックの時間域特徴を決定する方法は、下記のような２つのステップを含む。
１. １フレームにおける１ブロックと、隣り合う１フレームにおける対応するブロックとの間の差分値を決定する。一実施例によれば、時間域特徴を決定するためのフレームレートが該ビデオオブジェクトの元のフレームレートである場合、前記フレームは該ビデオオブジェクトの元のフレームである。他の一実施例によれば、時間域特徴を決定するためのフレームレートが該ビデオオブジェクトの元のフレームレートと異なる場合、前記フレームは該ビデオオブジェクトのサンプリングされたフレームである。例えば、時間域特徴を決定するためのフレームレートが該ビデオオブジェクトの元のフレームレートより低い場合、該ビデオオブジェクトに対し時間域上でダウンサンプリングを行う。
【００４６】
例えば、下記のように、２つの連続するフレームにおける２つの隣り合うブロックに対して、対応するピックセルの間の絶対誤差の和を算出する。
2009535920.tif 000007
但し、ｉはフレームのインテックスである。例えば、スライドウィンドウ内において、各フレームに対し、対応するブロックのＤｉを算出する。また、ｋは対応するブロック中のｋ番目ピックセルを示し、Ｎは該ブロック中のピックセル総数を示す。
２. 現在のフレームにおけるブロックのランク数を決定する。例えば、スライドウィンドウ内の全てのフレームにおける対応するブロックの間のＤｉ値を比較して、対応するブロックに対し、Ｄｉの順番ランク数を指定する。一実施例において、スライドウィンドウの右エッジにある現在のフレームに対し、順番ランク数を付すようにする。
【００４７】
実施例によれば、この２つのステップを繰り返すことにより、現在のフレームのｍ×ｎブロックの全ての順番ランク数を決定する。現在のフレームブロックのランク数に基づき、前記空間−時間域特徴を決定する。例えば、前記空間−時間域特徴は１つのベクトルを含む。該ベクトルにおいて、該ブロックのランク数は、現在のフレーム中のこれらのブロックの物理的位置に従って配列される。一実施例において、ラスター走査順にランク数を收集することにより空間−時間域特徴を生成する。
【００４８】
上記のように、空間−時間域特徴は、対応するフレームレートにおいて、現在のフレーム中の各ブロックのＴＳを算出することにより取得される。一実施例において、現在のフレームの複数のフレームレートに基づいて空間−時間域特徴を決定するとともに、本発明の実施例によれば、複数のフレームレートにおけるＳＴＳを配列・重ね合うことにより前記ＳＴＳＢを決定する。
【００４９】
本発明の実施例によれば、各フレームに対し、ＳＳＢ、ＴＳＢ及びＳＴＳＢの１つまたは複数は、他の情報を有するかまたは有さないが、該対応するフレームのフィンガープリントブロック（ＦＢ）を形成することができる。例えば、フィンガープリントブロック（ＦＢ）はフレームフィンガープリントであり、１つまたは複数の空間特徴、１つまたは複数の時間域特徴及び／または１つまたは複数の空間−時間域特徴を含む。本発明のさらに他の一実施例によれば、ビデオオブジェクトのフレームシーケンスに対し、対応するＦＢシーケンスを該ビデオのフィンガープリントとして用いてもよい。例えば、時間域特徴を決定するためのフレームレートが該ビデオオブジェクトの元のフレームレートである場合、前記フレームは該ビデオ的元のフレームである。他の一実施例によれば、時間域特徴を決定するためのフレームレートが該ビデオオブジェクトの元のフレームレートと異なる場合、前記フレームは該ビデオオブジェクトのサンプリングされたフレームである。本発明の実施例によれば、データベースに該ビデオオブジェクトのフィンガープリントを記憶する。例えば、該データベースは１つまたは複数の対応するビデオオブジェクトの１つまたは複数のフィンガープリントを含むようになる。
【００５０】
図６は本発明の実施例に係るデジタルビデオオブジェクトに対して特徴づけ及びフィンガープリンティングを行うための方法１００を実施する簡易化システムである。該図は例示として示されているだけであって、これにより特許請求の範囲を不適切に限定するものではない。また、当業者であれば、この例示に関する複数種の変化、代替及び変更に対し理解するだろう。システム６００は、デコーダーモジュール６１０、フィンガープリンティングモジュール６２０、フィンガープリントデータベース６３０及び策略モジュール６４０を含む。上記のように、該システムに用いられる選択可能な部品郡を示しているが、複数種の代替、変更及び変化を行ってもよい。例えば、いくつかのモジュールに対して、展開及び／また組み合わせを行ってもよい。他のいくつかのモジュールに関しては、上記に提示したいくつかのモジュール中に挿入してもよい。実施例によっては、モジュールの配列を他の代替可能なものに交換してもよい。その１つの例示として、該方法のいくつかのまたは全てのステップを、コンピュータまたはプロセッサーにより、直接コードを介して実現してもよい。もう１つの例示として、該方法のいくつかのまたは全てのステップを、コンピュータプログラム製品であって、コンピュータにより読取可能な媒体中に含まれている指令に従って実行してもよい。これらのステップのより具体的な内容は、本明細書の全文範囲に記載されている。
【００５１】
図６に示すように、入力されたビデオは、デコーダーモジュール６１０により復号化され、フィンガープリンティングモジュール６２０に伝送される。本発明の実施例によれば、フィンガープリンティングモジュール６２０は方法１００を実行する。例えば、図１、２、３、４及び／または５に基づき、フィンガープリンティングモジュール６２０を実現する。ビデオを識別するために、生成されたビデオフィンガープリントとフィンガープリントデータベース中に記憶されたフィンガープリントとを比較して、関連のあるメタデータ（例えば、ビデオコンテンツのタイトルと所有権）と一緒に、その識別結果をアプリケーションプログラムにリターンさせる。該アプリケーションプログラムは、該識別結果に基づき、策略モジュール６４０においてあるポリシーを採用する。例えば、該ビデオが海賊版またはコピーであると識別された場合、該アプリケーションプログラムはフィルタリングのポリシーを採用する。
【００５２】
上述のように、ここで、図６は例示として示されているだけであって、これにより特許請求の範囲を不適切に限定するものではないことを、さらに強調したい。また、当業者であれば、この例示に関する複数種の変化、代替及び変更に対し理解するだろう。例えば、モジュール６１０、６２０、６３０及び６４０中いずれかは、ハードウェアであってもよく、ソフトウェアであってもよく、あるいはソフトウェアとハードウェアの組み合わせであってもよい。もう１つの例示として、フィンガープリントデータベース６３０は、アプリケーションプログラム中に組み込まれたり、ローカルハードディスクまたはリモートサーバーに位置するアプリケーションプログラムの外側に設けられてもよい。
【００５３】
本発明のさらに他の一実施例によれば、ビデオオブジェクトに対してフィンガープリンティング行うための方法は、ビデオオブジェクトに関する複数のフレームを取得することを含む。また、該方法は、複数のフレームのそれぞれに対して、前記複数のフレームに関する情報を処理し、少なくとも複数のフレームのそれぞれに関する情報に基づいて、複数のフレームごとの複数の空間特徴を決定し、少なくとも複数のフレームに関する情報に基づいて、複数のフレームごとの複数の時間域特徴を決定することを含む。複数の空間特徴はそれぞれ複数の解像度に対応づけられ、複数の時間域特徴はぞれぞれ複数のフレームレートに対応づけられている。また、該方法は、複数のフレーム中のそれぞれに対し、複数の空間特徴及び複数の時間域特徴に関する情報を処理して、複数のフレーム中の各フレームのフレームフィンガープリントを決定することを含む。前記フレームフィンガープリントは、それぞれ複数の解像度と対応する複数の空間特徴、及びぞれぞれ複数のフレームレートと対応する複数の時間域特徴を含む。また、該方法は、それぞれ複数のフレームに対して複数のフレームフィンガープリントを処理することを含む。前記複数のフレームフィンガープリントは、複数のフレーム中の各フレームのフレームフィンガープリントを含む。また、該方法は、前記ビデオオブジェクトのビデオフィンガープリントを決定することを含む。前記ビデオフィンガープリントは、該複数のフレームフィンガープリントを含む。例えば、該方法は、図１、２、３、４及び／または５により実現される。
【００５４】
本発明のさらに他の一実施例によれば、ビデオオブジェクトの１フレームに対して空間特徴を生成するための方法は、ビデオオブジェクトに関する１フレームを取得して、該フレームをそれぞれ複数の位置に対応する複数のブロックに分割することを含む。複数のブロック中の各ブロックは複数のピックセルを含むとともに、複数のピックセルはそれぞれ複数のピックセル値に対応づけられている。また、該方法は、それぞれ複数のブロックに対して複数の平均ピックセル値を決定して、複数の平均ピックセル値を処理し、少なくとも複数の平均ピックセル値に関する情報に基づいて、複数のブロックの複数のランクをそれぞれ決定することを含む。該複数のランク中のそれぞれは１ブロックと対応される。また、該方法は、複数のランクに関する情報を処理し、少なくとも複数のランク及び複数の位置に関する情報に基づいて、ランク順番を決定する。該フレームの空間特徴は前記ランク順番に関する情報を含む。例えば、該方法は図１、２及び／または３により実現される。
【００５５】
本発明のさらに他の一実施例によれば、ビデオオブジェクトの１フレームに対し時間域特徴を生成するための方法は、ビデオオブジェクトに関する第１グループの複数のフレームを取得することを含む。前記第１グループの複数のフレームは少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームは、第１グループの複数のピックセルを含み、且つ隣り合うフレームと対応するとともに、前記隣り合うフレームは第２グループの複数のピックセルを含む。また、該方法は、第１グループの複数のフレームに関する情報を処理して、第１グループの複数のフレームの複数の差分値をそれぞれ決定することを含む。前記複数の差分値のそれぞれは、前記第１グループの複数のフレーム中の各フレーム及びそれと隣り合うフレームに対応づけられている。また、該方法は、複数の差分値に関する情報を処理し、少なくとも複数の差分値に関する情報に基づいて、前記第１グループの複数のフレームに対応する複数のランクをそれぞれ決定する。前記複数のランクは、該フレームに対応する１ランクを含む。該ランクは該フレームの１つの時間域特徴である。例えば、該方法は、図１、４及び／または５により実現される。
【００５６】
本発明のさらに他の一実施例によれば、ビデオオブジェクトの１フレームに対し空間−時間域特徴を生成するための方法は、該ビデオオブジェクトに関する第１グループの複数のフレームを取得することを含む。前記第１グループの複数のフレームは、少なくとも１フレームを含み、該第１グループの複数のフレーム中の各フレームは隣り合うフレームに対応づけられている。また、該方法は、前記第１グループの複数のフレーム中の各フレームを区画することを含む。前記区分されたフレームはそれぞれ複数の位置に対応する第１グループの複数のブロックを含み、第１グループの複数のブロック中の各ブロックは、第１グループの複数のブロック中の各ブロックを含む第２グループの複数のブロックに対応づけられ、且つ、第２グループの複数のブロックはぞれぞれ第１グループの複数のフレームにおけるブロックと関連付けられている。また、該方法は、第１グループの複数のフレームに関する情報を処理することを含む。また、該方法は、第１グループの複数のブロック中の各ブロックに対し、第２グループの複数のブロックとの複数の差分値をそれぞれ決定することを含む。複数の差分値のそれぞれは、第２グループの複数のブロック中の各ブロックと、隣り合うフレーム中の対応するブロックとに関連付けられている。また、該方法は、第１グループの複数のブロック中の各ブロックに対し、複数の差分値に関する情報を処理し、少なくとも複数の差分値に関する情報に基づいて、第２グループの複数のブロックに対応する第１グループの複数のランクをそれぞれ決定して、第１グループの複数のランクに関する情報を処理し、少なくとも第１グループの複数のランクに関する情報に基づいて、第１グループの複数のブロック中の各ブロックのランクをそれぞれ決定することを含む。また、該方法は第２グループの複数のランクに関する情報を処理することを含み、第２グループの複数のランクはそれぞれ第１グループの複数のブロックに対応づけられ、少なくとも第２グループの複数のランク及び第１グループの複数のブロックの複数の位置に関する情報に基づき、ランク順番を決定する。前記第２グループの複数のランクは該ランクを含み、該フレームの空間−時間域特徴は該ランク順番に関する情報を含む。例えば、該方法は、図１、２、３、４及び／または５により実現される。
【００５７】
本発明のさらに他の一実施例によれば、コンピュータプログラム製品はコンピュータにより読取可能な媒体を含み、該コンピュータにより読取可能な媒体は、ビデオオブジェクトに対しフィンガープリンティングを行うための指令を含む。前記コンピュータにより読取可能な媒体は、ビデオオブジェクトに関する複数のフレームを取得するための１つまたは複数の指令を含む。また、該コンピュータにより読取可能な媒体は、前記複数のフレーム中の各フレームに対し、前記複数のフレームに関する情報を処理し、少なくとも複数のフレーム中の各フレームに関する情報に基づいて、複数のフレームの各フレームの複数の空間特徴を決定するとともに、少なくとも複数のフレームに関する情報に基づいて、複数のフレームの各フレームにおける複数の時間域特徴を決定するための、１つまたは複数の指令を含む。複数の空間特徴はぞれぞれ複数の解像度と対応づけられ、複数の時間域特徴はそれぞれ複数のフレームレートと対応づけられている。また、前記１つまたは複数の指令は、複数のフレーム中の各フレームに対し、複数の空間特徴及び複数の時間域特徴に関する情報を処理して、複数のフレームの各フレームのフレームフィンガープリントを決定する。該フレームフィンガープリントは、それぞれ複数の解像度と対応する複数の空間特徴、及びそれぞれ複数のフレームレートと対応する複数の時間域特徴含む。また、前記コンピュータにより読取可能な媒体は、複数のフレームのそれぞれに対し複数のフレームフィンガープリントを処理するための１つまたは複数の指令と、前記ビデオオブジェクトのビデオフィンガープリントを決定するための１つまたは複数の指令とを含む。複数のフレームフィンガープリントは複数のフレーム中の各フレームのフレームフィンガープリントを含み、前記ビデオフィンガープリントは該複数のフレームフィンガープリントを含む。例えば、該コンピュータプログラム製品は、図１、２、３、４、５及び／または６により実現される。
【００５８】
本発明のさらに他の一実施例によれば、コンピュータプログラム製品はコンピュータにより読取可能な媒体を含み、該コンピュータにより読取可能な媒体はビデオオブジェクト中の１フレームに対して空間特徴を生成するための指令を含む。前記コンピュータにより読取可能な媒体は、ビデオオブジェクトに関する１フレームを取得するための１つまたは複数の指令と、該フレームを複数のブロックに分割するための１つまたは複数の指令とを含む。複数のブロックはぞれぞれ複数の位置と対応づけられている。複数のブロック中の各ブロックは複数のピックセルを含み、複数のピックセルはぞれぞれ複数のピックセル値に対応づけられている。また、該コンピュータにより読取可能な媒体は、複数のブロックのそれぞれに対し複数の平均ピックセル値を決定するための１つまたは複数の指令と、複数の平均ピックセル値を処理するための１つまたは複数の指令と、少なくとも複数の平均ピックセル値に関する情報に基づいて、複数のブロックの複数のランクをそれぞれ決定するための１つまたは複数の指令とを含む。該複数のランクのそれぞれは１ブロックと対応づけられている。また、該コンピュータにより読取可能な媒体は、複数のランクに関する情報を処理するための１つまたは複数の指令と、少なくとも複数のランク及び複数の位置に関する情報に基づいて、ランク順番を決定するための１つまたは複数の指令とを含む。該フレームの空間特徴は前記ランク順番に関する情報を含む。例えば、該コンピュータプログラム製品は、図１、２、３及び／または６により実現される。
【００５９】
本発明のさらに他の一実施例によれば、コンピュータプログラム製品はコンピュータにより読取可能な媒体を含み、該コンピュータにより読取可能な媒体はビデオオブジェクト中の１フレームに対し時間域特徴を生成するための指令を含む。前記コンピュータにより読取可能な媒体は、ビデオオブジェクトに関する第１グループの複数のフレームを取得するための１つまたは複数の指令を含む。前記第１グループの複数のフレームは少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームは、第１グループの複数のピックセルを含むとともに、隣り合うフレームに対応づけられ、且つ、前記隣り合うフレームは第２グループの複数のピックセルを含む。また、前記コンピュータにより読取可能な媒体は、第１グループの複数のフレームに関する情報を処理するための１つまたは複数の指令と、第１グループの複数のフレームの複数の差分値をそれぞれ決定するための１つまたは複数の指令とを含む。前記複数の差分値のそれぞれは前記第１グループの複数のフレーム中の各フレーム及び隣り合うフレームと対応づけられている。また、前記コンピュータにより読取可能な媒体は、複数の差分値に関する情報を処理するための１つまたは複数の指令と、少なくとも複数の差分値に関する情報に基づいて、前記第１グループの複数のフレーム対応する複数のランクをそれぞれ決定するための１つまたは複数の指令とを含む。前記複数のランクは該フレームに対応するランクを含み、該ランクは該フレームの１つの時間域特徴である。例えば、該コンピュータプログラム製品は、図１、４、５及び／または６により実現される。
【００６０】
本発明のさらに他の一実施例によれば、コンピュータプログラム製品はコンピュータにより読取可能な媒体を含み、該コンピュータにより読取可能な媒体はビデオオブジェクト中の１フレームに対して空間−特徴を生成するための指令を含む。前記コンピュータにより読取可能な媒体は、該ビデオオブジェクトに関する第１グループの複数のフレームを取得するための１つまたは複数の指令を含む。前記第１グループの複数のフレームは少なくとも１フレームを含み、第１グループの複数のフレーム中の各フレームは隣り合うフレームに対応づけられている。また、前記コンピュータにより読取可能な媒体は、前記第１グループの複数のフレーム中の各フレームを区画するための１つまたは複数の指令を含む。区画されたフレームはそれぞれ複数の位置に対応する第１グループの複数のブロックを含み、第１グループの複数のブロック中の各ブロックは、第１グループの複数のブロック中の各ブロックを含む第２グループの複数のブロックと対応づけられ、第２グループの複数のブロックはぞれぞれ第１グループの複数のフレームにおけるブロックと対応づけられている。また、前記コンピュータにより読取可能な媒体は、第１グループの複数のフレームに関する情報を処理するための１つまたは複数の指令を含む。また、前記コンピュータにより読取可能な媒体は、第１グループの複数のブロック中の各ブロックに対し、第２グループの複数のブロックとの複数の差分値をそれぞれ決定して、複数の差分値に関する情報を処理し、少なくとも複数の差分値に関する情報に基づいて、第２グループの複数のブロックに対応する第１グループの複数のランクをそれぞれ決定するとともに、第１グループの複数のランクに関する情報を処理し、少なくとも第１グループの複数のランクに関する情報に基づいて、第１グループの複数のブロック中の各ブロックのランクをそれぞれ決定するための１つまたは複数の指令を含む。複数の差分値のそれぞれは、第２グループの複数のブロック中のそれぞれ及び隣り合うフレーム中の対応するブロックとに関連付けられている。また、前記コンピュータにより読取可能な媒体は、第１グループの複数のブロックとそれぞれ対応づけられている第２グループの複数のランクに関する情報を処理するための１つまたは複数の指令と、少なくとも第２グループの複数のランク及び第１グループの複数のブロックの複数の位置に関する情報に基づいて、ランク順番を決定するための１つまたは複数の指令とを含む。前記第２グループの複数のランクは該ランクを含み、該フレームの空間−時間域特徴は該ランク順番に関する情報を含む。例えば、該コンピュータプログラム製品は、図１、２、３、４，５及び／または６により実現される。
【００６１】
本発明は、複数面において利点を有する。本発明のいくつかの実施例により穏健なフィンガープリントを生成することができ、同一のビデオオブジェクトのフォーマット、ビットレートまたは解像度が異なったり、及び／またはある変更及び／または変形が行われた場合、本発明により生成されるフィンガープリントは変化しないか、またはその変化がわずかである。本発明のいくつかの実施例によれば、高い識別力のあるフィンガープリントを生成することができ、異なるビデオコンテンツを含む２つのビデオオブジェクトに対して、全く異なるフィンガープリントが生成される。本発明のいくつかの実施例によれば、記憶に適したコンパクトなフィンガープリントを生成することができ、効率高い検索及びマッチングに適した形態に記憶することができる。
以上、本発明の実施例に対し説明したが、当業者であれば、これらの以外にも、説明された実施例と同等の他の実施例が存在していることを理解するだろう。したがって、本発明は、明記された実施例により限定されず、付記の特許請求の範囲のみにより限定されるものである。
【図面の簡単な説明】
【００６２】
【図１】本発明に係るデジタルビデオオブジェクトに対し特徴付け及びフィンガープリンティングを行うためのアルゴリズムのフローチャートである。
【図２】本発明に係る多重解像度の空間特徴を算出するために１フレームを分割する方法を示す。
【図３】本発明の実施例に係る２×２ブロックに基づくベース空間特徴を算出するプロセスを示す。
【図４】本発明に係る時間域特徴を算出するためのスライドウィンドウの位置決めを示す。
【図５】本発明の実施例に係るフレームのダウンサンプルグループにおいて時間域特徴を計算するプロセスを示す。
【図６】本発明の実施例に係るデジタルビデオオブジェクトに対して特徴付け及びフィンガープリンティングを行うための方法を実施する簡易化システムを示す。
【図１】
2009535920.tif 000008
【図２】
2009535920.tif 000009
【図３】
2009535920.tif 000010
【図４】
2009535920.tif 000011
【図５】
2009535920.tif 000012
【図６】
2009535920.tif 000013
【国際調査報告】
2009535920.tif 000014