(57)【要約】  保護されるビデオを脱同期化し、これにより１つまたは複数のデジタルフィンガープリント入りのビデオを制作する、システムおよび方法が説明されている。一実装では、保護されるビデオは、時間的脱同期化され、また空間的脱同期化される。時間的脱同期化および空間的脱同期化により変更されるような、ビデオのフィンガープリント入りコピーが作成される。
2008546277.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデジタルフィンガープリンティングを行うためのコンピュータ実行可能命令を備える１つまたは複数のコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、
保護されるビデオを時間的脱同期化する命令と、
前記ビデオを空間的脱同期化する命令と、
前記時間的脱同期化および前記空間的脱同期化により変更された、前記ビデオのフィンガープリント入りコピーを作成する命令と
を含むことを特徴とするコンピュータ可読媒体。
【請求項２】
前記ビデオを時間的脱同期化することは、アフィンワーピング解を適用することを含み、前記アフィンワーピング解は、
前記ビデオ内のフレームＦ1からフレームＦ2へのアフィンワーピングを記述する方程式を導出する命令と、
前記方程式から導出された最小化問題を解くことにより前記ワーピングを記述するパラメータベクトルを求める命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項３】
前記ビデオを時間的脱同期化することは、アフィンワーピング解を適用することを含み、前記アフィンワーピング解は、
Ｆ1からＦ2へのワーピング行列Ｗを評価する命令と、
順方向および逆方向アフィン行列を計算する命令と、
ワープ座標でＦ1およびＦ2をリサンプリングすることにより順方向および逆方向ワープフレームを取得する命令と、
非整数座標を補間して出力値を生成する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項４】
前記ビデオを時間的脱同期化することは、オプティカルフロー解を適用することを含み、前記オプティカルフロー解は、
運動の前後のある点（ｘ，ｙ）に対し一定の輝度ｆを仮定する命令と、
∇ｆをｆの空間勾配ベクトルとするフロー方程式を導出する命令と、
∇ｆならびに評価された前記輝度の空間勾配および時間勾配を使用して前記ビデオをサンプリングするために使用する運動ベクトルを計算する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項５】
前記ビデオを時間的脱同期化することは、運動ベクトルスイッチング解を適用することを含み、前記運動ベクトルスイッチング解は、
複数の対のワープフレームを生成する命令と、
運動ベクトルを前記ワープフレームのそれぞれの対に関連付け、これにより、複数の運動ベクトルを取得する命令と、
誤差関数を前記運動ベクトルのそれぞれに適用する命令と、
前記誤差関数を使用して、前記複数の運動ベクトルのうちから前記時間的脱同期化で使用する運動ベクトルを選択する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項６】
前記ビデオを時間的脱同期化することは、運動補正時間的補間解を適用することを含み、前記運動補正時間的補間解は、
Ｆ1およびＦ2を時刻インスタンスに向かってワープすることによりＧ1およびＧ2を生成する命令と、
Ｇ1およびＧ2をＦ1およびＦ2の関数としてリサンプリングする命令と、
前記補間フレームＦをＧ1およびＧ2の関数として取得する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項７】
前記ビデオを時間的脱同期化することは、制約付きランダム時間的リサンプリング解を適用することを含み、前記制約付きランダム時間的リサンプリング解は、
時間軸に沿って擬似ランダム時間指数を生成し、フレーム補間を使って、前記新しく生成された時刻インスタンスで前記ビデオをリサンプリングする命令と、
元のビデオ内の２つのフレーム間隔の間の前記リサンプリングに少なくとも１つのフレームを入れる必要があるように前記生成を制約する命令と、
ランダム時間増分Δiを、［１−δ，１＋δ］内に一様分布するように生成する命令と、
ｔ（０）＝０に初期化し、Ｎがリサンプリングされたビデオの長さであり、Ｎ〜Ｕｎｉｆｏｒｍ［Ｍ（１−α），Ｍ（１＋α）］に従ってランダムであるとして、ｉ＝１、２、．．．、Ｎについて時間指数ｔ（ｉ）＝ｔ（ｉ−１）＋Δiを計算する命令と、
すべての時間指数が［０，Ｍ］内に収まることを必要とするように値ｔ（１）からｔ（Ｎ）をスケーリングする命令と、
変動の長さを制御するようにαを選択し、時間ジッタを制御するようにδを選択する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項８】
前記ビデオを時間的脱同期化することは、補間スキップ戦略を含み、前記補間スキップ戦略は、
前記ビデオ内のどのフレームが素早い運動および複雑なビデオを記述するかを判定する命令と、
それらのフレームのリサンプリングをスキップする命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項９】
前記ビデオを空間的脱同期化することは、保護される前記ビデオ内の点を回転、スケーリング、および平行移動する命令を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項１０】
前記ビデオを空間的脱同期化することは、ランダムベンディング解を含み、前記ランダムベンディング解は、
キーを使用して、擬似ランダムサンプリンググリッドを生成する命令と、
行と列の両方に関して、サンプリング位置の順序付けを保存する命令と、
閾値よりも大きな面積を有するすべての領域をサンプリングする命令と、
サンプリングされた位置について周期的に摂動ベクトルを生成する命令と、
補間により前記摂動ベクトルを平滑化する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項１１】
前記ビデオを空間的脱同期化することは、輝度フィルタ処理を含み、前記輝度フィルタ処理は、
対称輝度フィルタを作成する命令と、
知覚的品質を高め、前記ビデオの前記フィンガープリント入りコピー中のランダム性を高めるために、前記フィルタ内でパラメータを選択する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項１２】
前記ビデオを空間的脱同期化することは、パラメータ離散化を含み、前記パラメータ離散化は、
フレームに対し回転演算を実行する命令と、
前記フレームと前記回転されたフレームとの平均をとる命令と、
平均されたフレーム内に知覚的アーチファクトを結果として生じる前記回転演算の実行に使用される小さな値を決定する命令と、
前記小さな値を前記フィンガープリント入りコピーを作成する際の離散ステップサイズとして使用する命令と、
スケーリングおよび平行移動演算について反復する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項１３】
前記ビデオを空間的脱同期化することは、時間的平滑化の命令を含み、前記時間的平滑化は、
フレームの個数Ｎ毎に前記ビデオ内でフレームを空間的脱同期化するために使用される回転、スケーリング、および平行移動ならびに輝度フィルタ処理パラメータを生成する命令と、
補間してＮ個のフレームからなる群の間の中間フレーム内でパラメータ場を取得する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項１４】
前記ビデオを空間的脱同期化することは、パラメータ分布の命令を含み、前記パラメータ分布は、
フレームＦ1およびフレームＦ2に関連付けられた回転、スケーリング、平行移動、およびランダムベンディングのパラメータの間隔をあけることにより、前記ビデオのフレームＦのフィンガープリント入りコピー１およびコピー２内で関連付けられているフレームＦ1およびＦ2を分離する命令と、
閾値を超えたパラメータの分布のエントロピーの関数となっているランダム性制約条件を前記パラメータに導入する命令と
を含むことを特徴とする請求項１に記載のコンピュータ可読媒体。
【請求項１５】
ビデオデジタルフィンガープリンティングを行うためのコンピュータ実行可能命令を備える１つまたは複数のコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、
保護されるビデオに第１および第２の時間的脱同期化を適用する命令と、
前記ビデオに第１および第２の空間的脱同期化を適用する命令と、
前記時間的脱同期化と前記空間的脱同期化に応じて前記ビデオの第１および第２のフィンガープリント入りコピーを作成する命令とを含み、
前記第１および第２のフィンガープリント入りコピーを共謀ビデオ中に組み込むことで、知覚的アーチファクトを生じさせることを特徴とするコンピュータ可読媒体。
【請求項１６】
時間的脱同期化を適用することは、前記ビデオのフレームサンプリングに関連付けられている時間指数をランダム時間指数で置き換える命令を含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項１７】
空間的脱同期化を適用することは、複数のフレームに適用される大域演算の命令と個別のフレームに適用される局所演算の命令とを含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
【請求項１８】
ビデオデジタルフィンガープリンティングを行うためのコンピュータ実行可能命令を備える１つまたは複数のコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、
擬似ランダム時間指数を使用することにより、保護されるビデオを時間的脱同期化する命令と、
ランダムベンディング演算と組み合わせて回転、スケーリング、および平行移動演算を適用することにより、前記ビデオを空間的脱同期化する命令と、
前記時間的脱同期化および空間的脱同期化により変更された、前記ビデオのフィンガープリント入りコピーを作成する命令と
を含むことを特徴とするコンピュータ可読媒体。
【請求項１９】
前記時間的脱同期化は、パラメータベクトルが前記ビデオ内のフレームを変更するために使用される、アフィンワーピング解を前記リサンプリングに適用する命令を含むことを特徴とする請求項１８に記載のコンピュータ可読媒体。
【請求項２０】
前記空間的脱同期化は、前記回転、スケーリング、および平行移動演算を大域的に、前記ランダムベンディング演算を局所的に適用する命令を含むことを特徴とする請求項１８に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアのフィンガープリンティングに関する。
【背景技術】
【０００２】
デジタルマルチメディアが広く行き渡り、インターネット通信の回線容量が増加の一途をたどるとともに、デジタル著作権の管理は、ますます困難になってきている。マルチメディアコンテンツのコピーを受け取ったエンドユーザは、そのコピーを他のユーザに再配布することができるので、デジタル著作権を保護するために不法配布者を追跡するメカニズムを確立する必要がある。マルチメディアフィンガープリンティング（Ｍｕｌｔｉｍｅｄｉａ  ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ）は、それぞれのユーザのマルチメディアコンテンツ内に一意的なＩＤを埋め込むための一手段である。埋め込まれたフィンガープリントは、コピーを与えられたユーザに一意に関連付けられるため、海賊版に含まれるそのフィンガープリントの抽出により、フィンガープリントに関連付けられているユーザが一意に識別される。
【０００３】
マルチメディアデータは、知覚上の歪みを引き起こすことなくわずかに変更できるため、フィンガープリントを、エンドユーザのエクスペリエンスを低下させることなくデータ内に埋め込むことができる。画像およびオーディオ信号をフィンガープリントすることに関して従来多くの研究がなされてきた。しかし、ビデオフィンガープリンティングの研究は、極めて限られていた。通常、フィンガープリンティングのホスト信号が変化すると、フィンガープリンティング法も適応させる必要がある。例えば、自然の情景のカラー画像では、フィンガープリント埋め込みのための領域は、通常、２値画像に比べてかなり大きい。当然のことながら、ビデオの場合、埋め込み容量はさらに大きいと予測される。しかし、ビデオ中の大量のデータは、都合のよい側面と都合の悪い側面を合わせて持ち込む。都合のよい側面は、ビデオの埋め込み容量が静止画像に比べてかなり高く、したがって、フィンガープリンティングのロバスト性が増大する。都合のよくない側面は、ビデオ信号の空間的および時間的冗長性が攻撃者につけこまれる可能性があるという点である。したがって、ビデオフィンガープリンティング方式の設計は、静止画像およびオーディオのフィンガープリンティングに比べて高度である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
フィンガープリントの設計者のデジタル著作権を保護しようという努力の一方で、攻撃者たちも、フィンガープリントを除去しようとする強い意欲を持つ。例えば、一般的なマーケティング計画では、人気のある動画を、「ビデオで」例えばＤＶＤ媒体で販売する期間に先立って劇場に送る。海賊版制作者が劇場上映中に映画をＤＶＤにして販売することができると、巨額の利益を実現することができる。フィンガープリント法を攻撃する際、攻撃者の目標は、フィンガープリントを検出するか、または正しく識別することができないようにフィンガープリント検出器を欺くことである。攻撃者にとっては、マルチメディアの価値が一部は適時性と知覚品質にあるため、時間的コストと知覚品質も重要な考慮事項である。したがって、それぞれがビデオのフィンガープリント入りコピーを保有する一群の攻撃者が、共謀攻撃を仕掛けようとたくらむ可能性がある。このような攻撃では、それぞれのコピーに埋め込まれたフィンガープリントを弱めるか、または除去することを試みる。共謀攻撃におけるフィンガープリント入りコピーの数が十分に大きければ、例えば３０から４０人の共謀者がいると、フィンガープリントの有用性は大きく低下し、フィンガープリント検出器が、共謀されたコピー中のフィンガープリントの存在を検出することができない可能性がある。
【課題を解決するための手段】
【０００５】
デジタルビデオフィンガープリンティングで使用される共謀防止脱同期化（ｃｏｌｌｕｓｉｏｎ  ｒｅｓｉｓｔａｎｔ  ｄｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）について説明するが、そこでは、保護されるビデオは脱同期化され、１つまたは複数のデジタルフィンガープリント入りのビデオを生成する。一実装では、保護されるビデオは、時間的脱同期化され、また空間的脱同期化される。時間的脱同期化および空間的脱同期化により変更された、ビデオのフィンガープリント入りコピーが作成される。
【発明を実施するための最良の形態】
【０００６】
詳細な説明は、添付図面を参照して説明する。図中、参照番号の一番左の数字により、その参照番号が最初に出現する図面を識別する。異なる図中で同じ参照番号を使用している場合は、類似または同一の項目を示している。
【０００７】
以下の説明は、マルチメディアコンテンツ（例えば、映画などのオーディオビデオコンテンツを収めたＤＶＤ）のフィンガープリント入りコピーの２人またはそれ以上の受取人が、それらのコピーを組み合わせてフィンガープリントを有しない高品質バージョンを作成しようとする、共謀攻撃に対抗するシステムおよび方法を対象とする。特に、これらのシステムおよび方法は、フィンガープリント入りコピーが再度組み合わされた場合に、結果として知覚上のアーチファクトが生成されるように設計されている。
【０００８】
図１は、共謀攻撃に対抗するためにマルチメディアコンテンツにフィンガープリントを入れるのに使用される例示的な脱同期化技術１００を示している。図１の実施形態では、共謀防止脱同期化方式は、時間的領域と空間的領域の両方におけるビデオ脱同期化を含む。それぞれのユーザのビデオコピーは、個々のコピーについては変更が目立たないが、複数のコピーが組み合わされたときに変更が知覚上のアーチファクトを生じるほど十分に顕著となるように、わずかに変更される（例えば、平均をとるなどの方法により）。時間軸と空間軸の物理的特性は、著しく異なるため、時間的脱同期化と空間的脱同期化は、典型的には２つのステップに分けられる。第１のステップでは、制約付き擬似ランダムサンプリングが最初に、時間領域内で適用される。時間軸にそって一様サンプリングされた一組のビデオフレームが与えられた場合、運動に基づくフレーム補間を使用して、任意の時間指数の新しいビデオフレームを生成する。第２のステップで、それぞれのビデオフレームは、さらに、回転、スケーリング、および平行移動と、その後に続く、ランダム化された空間的サンプリンググリッドを使用する局所的ランダムベンディングを伴う、大域的幾何学演算により脱同期化される。知覚的品質の問題は、空間軸および時間軸にそって脱同期化パラメータを平滑化することにより取り扱われる。それに加えて、脱同期化のセキュリティの問題は、計算の複雑性に関して分析される。
【０００９】
特に、図１は、ビデオの擬似ランダム時間的サンプリングおよび空間的脱同期化技術が組み合わされ、これにより、元々の受取人にまで遡ることができ、類似のフィンガープリント入りコピーと組み合わせたときに目に見えるアーチファクトにより損なわれた欠陥コピーが得られる実施形態の実施例１００を示している。ブロック１０２で、保護されるビデオが時間的脱同期化される。ブロック１０４で、ビデオが空間的脱同期化される。ブロック１０６で、時間的脱同期化および空間的脱同期化により変更された、ビデオのフィンガープリント入りコピーが作成される。
【００１０】
ビデオの擬似ランダム時間的サンプリング 
この節では、図１のブロック１０２により導入された時間的脱同期化に関して敷衍する。時間的脱同期化では、ビデオフレーム補間を伴う、擬似ランダム時間的サンプリングを使用することができる。ビデオフレーム補間に関連する基本的な問題は、時間的に近い一対のビデオフレーム（例えば、時刻ｔ1においてＦ1、および時刻ｔ2においてＦ2、ｔ2＞ｔ1、Ｔ＝ｔ2−ｔ1はソースビデオのフレーム期間）が与えられたときに、時刻（ｔ1＋Δ＊Ｔ）（ただし、０≦Δ≦１）に中間フレームを生成したいということである。多くの場合、対応するフレームピクセルの平均を直接とってもよい結果は得られないが、それは、ビデオフレーム内の対象は動く傾向があり、そのような運動は、補間が行われるときに考慮されなければならないからである。したがって、より高度な技術が必要である。
【００１１】
時間的脱同期化では、擬似ランダム時間的サンプリングを使用することができる。ビデオの擬似ランダム時間的サンプリングでは、アフィンワーピング戦略を使用して、ビデオフレーム補間の基準を設けることができる。例えば、２つのビデオフレームＦ1およびＦ2が与えられた場合、Ｆ1をＦ2に向けてワープさせると都合がよい。Ｆ1の座標は、（ｘ1，ｙ1）で、Ｆ2の座標は、（ｘ2，ｙ2）で表される。同次座標を使用し、式
【００１２】
【数１】
2008546277.tif 000003
【００１３】
に従ってＦ1からＦ2への２Ｄアフィンワーピングを記述することができる。
【００１４】
アフィン変換行列は、上記の式でＷにより表される。パラメータｗ1からｗ6は、回転、スケーリング、および平行移動演算に関するものである。これらのパラメータはすべて、まず最初にＦ1およびＦ2からダウンサンプリングされた画像について評価され、次いで、画像がスケーリングされ、さらに大きなサイズの画像について精緻化され、最終的に、元のフレームサイズに到達する。
【００１５】
パラメータ探索では、最小化問題の解を求める必要がある。ｗａｒｐw（・）によりフレームのワープ演算を表し、２つのフレームの間の距離を測定する距離メトリックをｄｉｓｔ（・，・）により表す。ワープ演算は、ワーピングパラメータにより一意に決定されるため、
【００１６】
【数２】
2008546277.tif 000004
【００１７】
が成り立つようなパラメータベクトルｗ＊＝［ｗ1＊ｗ2＊ｗ3＊ｗ4＊ｗ5＊ｗ6＊］Tを求めてみる。
【００１８】
距離メトリックが差の平方の和である場合、上記の式は、最小二乗問題になる。このような問題は、最小値を求めるために本質的にＧａｕｓｓ−Ｎｅｗｔｏｎ法を使用する古典的なＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムにより解くことができる。
【００１９】
高い次元性による計算の複雑度を低減するために、平行移動パラメータｗ3およびｗ6が、他のパラメータから分離可能であることに注意する。したがって、まずｗ3およびｗ6を決定し、次いで逐次法を実行して、パラメータベクトルを収束するまで更新することができる。
【００２０】
したがって、アフィンワーピング解は、式（１）など、ビデオ内のフレームＦ1からフレームＦ2までのアフィンワーピングを記述する式を導出することにより適用することができる。式が導出されたら、式（２）などの式から導出された最小化問題を解くことにより、ワーピングを記述するパラメータベクトルを求めることができる。
【００２１】
図２は、フレームＦ1がフレームＦ2へワープされるアフィンワーピング解を特徴とする、時間的脱同期化の実施形態２００を示す。アフィンワーピング解は、画像Ｉが与えられた場合に、ユーザｋへの配給についてワーピング関数φk（・）∈Φを画像Ｉに適用し、Ｉ’＝φk（Ｉ）を求めることにより、ワープされた画像Ｉ’が生成されうるように一組のワーピング関数Φ内に見つけられる。したがって、それぞれのユーザは、画像Ｉの異なるコピーを受け取り、これにより、共謀攻撃が複雑なものとなる。ブロック２０２で、ビデオ内のフレームＦ1からフレームＦ2にワープするように、回転、スケーリング、および平行移動（ＲＳＴ）演算を考慮に入れた、アフィン変換行列が導出される。式（１）は、アフィン変換行列を表す。ブロック２０４で、この行列に関連付けられた最小化問題の解が求められる。式（２）は、最小化問題を表す。最小化問題は、任意の適切な方法で取り組むことができる。例えば、ブロック２０６で、最小二乗解が適用され、この場合、式は差の平方の和である距離メトリックｄｉｓｔに基づく。ブロック２０８において、平行移動パラメータを他のパラメータから分離し、まず最初に平行移動パラメータについて解き、そして逐次法をパラメータベクトルにそれが収束するまで適用し続けることにより、最小化問題の計算の複雑度を低減することができる。そのため、上の実施例において、パラメータｗ1およびｗ6が最初に決定され、これにより、問題の次元が下げられて残りのパラメータに対する解が求めやすくなった。
【００２２】
図２に関する上記議論は、一般的にビデオフレーム補間に関係しており、より具体的には、擬似ランダム時間的サンプリングのアフィンワーピングツールに関係する。このような状況において、２つのビデオフレームＦ1およびＦ2が与えられた場合、Ｆ1をＦ2に向けてワープさせると都合がよいことがわかった。代替的アフィンワーピングツールが、図３に示されており、類似のアプリケーションに適合されているが、ワープＦ1とＦ2の両方をワープすると都合がよいとだろう。
【００２３】
時刻ｔ1のフレームＦ1および時刻ｔ2のフレームＦ2を与えられ、Ｆ1とＦ2の両方のフレームを、時刻インスタンス（ｔ1＋Δ・Ｔ）（ただし、０≦Δ≦１）に向けてワープしたいと仮定する。まず、Ｆ1からＦ2へのワーピング行列Ｗを評価する。次いで、Ｆ1とＦ2を時間（ｔ1＋Δ・Ｔ）に向けてワープする、順方向および逆方向のアフィン変換行列ＷFおよびＷBを、
【００２４】
【数３】
2008546277.tif 000005
【００２５】
に従って計算することができる。
【００２６】
順方向および逆方向ワープフレーム、つまりＦ1からのＦfwdおよびＦ2からのＦbwdは、ワープ座標
Ｆfwd＝ｒｅｓａｍｐｌｅ（Ｆ1（ＷF，［ｘ  ｙ  １］T））              （５）
Ｆbwd＝ｒｅｓａｍｐｌｅ（Ｆ2（ＷB［ｘ  ｙ  １］T））                （６）
で、それぞれＦ1およびＦ2をリサンプリングすることにより得られる。
【００２７】
リサンプリング点は、整数座標のところにない場合があるため、出力値を得るために双線形補間法または三次補間法などの補間法が使用可能である。
【００２８】
図３は、Ｆ1とＦ2の両方が時刻インスタンス（ｔ1＋Δ・Ｔ）（ただし、０≦Δ≦１）に向かってワープされる第２のアフィンワーピング解を特徴とする、時間的脱同期化の実施形態３００を示す。第２のアフィンワーピング解も、画像Ｉが与えられた場合に、ユーザｋへの配給についてワーピング関数φk（・）∈Φを画像Ｉに適用し、Ｉ’＝φk（Ｉ）を求めることにより、ワープされた画像Ｉ’が生成されうるように一組のワーピング関数Φ内に見つけられる。したがって、それぞれのユーザは、画像Ｉの異なるコピーを受け取り、これにより、共謀攻撃が複雑なものとなる。ブロック３０２で、Ｆ1からＦ2へのワーピング行列Ｗが評価される。ブロック３０４で、評価された行列Ｗを使用して、順方向および逆方向アフィン行列が計算されうる。上の式（３）および（４）は、順方向および逆方向行列のいくつかの実施例である。順方向および逆方向行列を使用することにより、順方向および逆方向ワープフレームの計算を実行することができる。それに応じて、ブロック３０６で、ワープ座標でＦ1およびＦ2をリサンプリングすることにより順方向および逆方向ワープフレームが得られる。上の実施例では、式（５）および（６）は、順方向および逆方向行列をリサンプリングし、また使用することにより、どのように順方向および逆方向フレームＦfwdおよびＦbwdを得られるかを示している。ブロック３０８で、非整数座標が生成される場合、補間を使用して、許容可能な出力値を生成することができる。
【００２９】
ビデオの擬似ランダム時間的サンプリングの実施形態では、オプティカルフロー戦略を使用して、ビデオフレーム補間の基準を設けることができる。したがって、オプティカルフローでは、保護すべきビデオから導出されたビデオにフィンガープリントを施すために使用される、ビデオの擬似ランダム時間的サンプリングを提供することができる。オプティカルフローとは、ビデオデータ中の観察された二次元の運動のことである。人間の目は、異なる時間に異なる場所の対応する点を観測することにより運動を知覚するので、運動の識別は、同じ対象の輝度値が動いた後も変化しないという一定強度仮定（ｃｏｎｓｔａｎｔ  ｉｎｔｅｎｓｉｔｙ  ａｓｓｕｍｐｔｉｏｎ）に基づく。ビデオシーケンスにおいて、輝度の変化がｆ（ｘ，ｙ，ｔ）により表されると考える。空間位置（ｘ，ｙ）および時刻ｔにおける物点は、時刻ｔ＋ｄｔには（ｘ＋ｄｘ，ｙ＋ｄｙ）に移動するとする。一定強度の仮定の下で、
ｆ（ｘ＋ｄｘ，ｙ＋ｄｙ，ｔ＋ｄｔ）＝ｆ（ｘ，ｙ，ｔ）                  （７）
が得られる。
【００３０】
空間軸および時間軸にそって輝度場の連続性を仮定して、（７）の左辺にテーラー展開を適用することができ、式は
【００３１】
【数４】
2008546277.tif 000006
【００３２】
となる。
【００３３】
そして、オプティカルフローの方程式
【００３４】
【数５】
2008546277.tif 000007
【００３５】
が得られる。ここで、（∇ｆ）は、ｆ（ｘ，ｙ，ｔ）の空間勾配ベクトルである。
【００３６】
オプティカルフローの方程式は、輝度の空間勾配および時間勾配を推定できる場合に運動ベクトルを計算するための一手段となる。一実施形態では、位置（ｘ，ｙ）に対する空間勾配は、（ｘ，ｙ）を中心とする５×５ウィンドウ内で評価される。それに応じて、運動ベクトルのｘおよびｙ成分を計算するように、方程式（１０）の機能が高められる。
【００３７】
図４は、オプティカルフロー解をリサンプリングに適用することを特徴とする、時間的脱同期化の実施形態４００を示す。特に、空間勾配ベクトルが、ビデオ内の複数のフレームを変更するために使用され、これにより、ビデオのコピーの配布先となるユーザ毎に別々の方法でビデオをワープする。ブロック４０２で、運動の前後のある点（ｘ，ｙ）に対し輝度ｆが一定であると仮定する。このような仮定は、人間の目で行われる自然な追尾と一致し、運動は、対象が一般に一貫性のある外観を有する場合に最も容易に観察される。ブロック４０４で、フロー方程式が導かれる。例えば、式（９）および（１０）は、輝度の空間勾配および時間勾配の評価が与えられた場合に、運動ベクトルの計算をしやすくするオプティカルフロー方程式を表す。ブロック４０６で、運動ベクトルが計算され、これにより、∇ｆならびに輝度の評価された空間勾配および時間勾配を使用してビデオをサンプリングする。
【００３８】
ビデオの擬似ランダム時間的サンプリングの実施形態では、運動ベクトルスイッチング戦略を使用して、ビデオフレーム補間の基準を設けることができる。運動ベクトルスイッチングは、Ｗにより暗示されるワーピングを補正する運動ベクトルを選択するのを補助するものである。時刻ｔ1のフレームＦ1および時刻ｔ2（ｔ2＞ｔ1）のフレームＦ2を与えられ、新しいフレームを、時刻（ｔ1＋Δ・Ｔ）に生成したい仮定する。まず、３対のワープフレームを生成する。第１の対は、入力フレーム（Ｆ1，Ｆ2）だけである。第２の対は、時刻インスタンス（ｔ1＋Δ・Ｔ）に向かってアフィンワープされた入力フレーム（Ｆfwd，Ｆbwd）である。第３の対は、アフィンワープフレームに修正運動補正（ｃｏｒｒｅｃｔｉｏｎ  ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）を加えたもの（Ｆ'fwd，Ｆ'bwd）であり、ここで運動場は、前のダウンサンプリングされたレベルから継承される。フレームの対毎に、オプティカルフロー方式を用いて差分運動推定（ｄｉｆｆｅｒｅｎｔｉａｌ  ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ）が適用される。この結果、３つの運動ベクトル場が得られる。運動ベクトル場は、ｖ1（ｘ，ｙ）、ｖ2（ｘ，ｙ）、およびｖ3（ｘ，ｙ）である。運動ベクトルスイッチングは、Ｗによって暗示されるアフィンワーピングへの修正である位置（ｘ，ｙ）における３つの候補となる運動ベクトルから好ましい運動ベクトルを決定するプロセスである。決定基準は、オプティカルフロー方程式（１０）の実用的形式とみることはできる、誤差関数Ｅv（ｘ，ｙ）
【００３９】
【数６】
2008546277.tif 000008
【００４０】
に基づいており、Ｓは、（ｘ，ｙ）を中心とする５×５ピクセルの小さなウィンドウである。運動ベクトルｖ（ｘ，ｙ）は総和にわたって一定であり、∇ｆx、∇ｆy、∇ｆtは、（ｘ，ｙ）の関数である。このような定式化は、古典的なＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムにより解くことができ、これは、本質的に、与えられた数値最適化問題を逐次法で解くＧａｕｓｓ−Ｎｅｗｔｏｎ法である。上記誤差関数を使用することで、位置（ｘ，ｙ）で最小誤差に到達する候補運動ベクトルが、新しい運動ベクトルとして選択される。補間用途では、中間値フィルタまたは平均化フィルタを使用して運動ベクトル場に平滑化フィルタ処理を適用することにより、運動ベクトルに対し平滑化を強制する。これにより、最終的な運動ベクトル場ｖが得られる。
【００４１】
図５は、運動ベクトルスイッチング解をリサンプリングに適用することを特徴とする、時間的脱同期化の実施形態５００を示す。ブロック５０２で、複数の対のワープフレームが生成される。ブロック５０４で、運動ベクトルがフレームの各対に関連付けられ、これにより、複数の運動ベクトルが得られる。ブロック５０６で、誤差関数が各運動ベクトルに適用される。誤差関数は、式（１１）の形式とすることができる。ブロック５０８で、誤差関数が、時間的脱同期化で使用する運動ベクトルを選択するために使用される。
【００４２】
ビデオの擬似ランダム時間的サンプリングの実施形態では、運動補正時間的補間戦略（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｅｄ  ｔｅｍｐｏｒａｌ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｓｔｒａｔｅｇｙ）を使用して、ビデオフレーム補間の基準を設けることができる。運動補正時間的補間戦略では、入力フレームは、時刻インスタンスに向かってワープされうる。例えば、運動場ｖに基づいて、入力フレームＦ1およびＦ2が、時刻インスタンス（ｔ1＋Δ・Ｔ）に向かってワープされ、２つのワープフレーム（ｗａｒｐｅｄ  ｆｒａｍｅ）Ｇ1およびＧ2が生成される。この目的のために、運動ベクトルは、線形的にスケーリングされ、ワープフレームは、ソースフレームからリサンプリングされたバージョンである。例えば、
Ｇ1＝ｒｅｓａｍｐｌｅ（Ｆ1（ｘ＋Δｖx，ｙ＋Δｖy））              （１２）
であり、フレームＧ2も同様にして求められる。Ｇ1およびＧ2が得られた後、最終的な補間フレームＦ（ｘ，ｙ）は、
Ｆ（ｘ，ｙ）＝（１−Δ）・Ｇ1（ｘ，ｙ）＋Δ・Ｇ2（ｘ，ｙ）        （１３）
として得られる。
【００４３】
こうして、ビデオは、運動補正時間的補間解をリサンプリングに適用することにより時間的脱同期化されうる。Ｇ1およびＧ2は、Ｆ1およびＦ2を、（ｔ1＋Δ・Ｔ）などの時刻インスタンスに向けてワープすることにより生成できる。次いで、Ｇ1およびＧ2は、式（１２）などのＦ1およびＦ2の関数によりリサンプリングすることができる。最後に、補間されたフレームＦは、式（１３）などを使用して、Ｇ1およびＧ2の関数として求めることができる。
【００４４】
図６は、運動補正時間的補間解をリサンプリングに適用することを特徴とする時間的脱同期化の実施形態６００を示しており、入力フレームＦ1およびＦ2ならびに関連付けられている運動ベクトルｖが、補間フレームＦを導き出すために使用され、Ｆのサンプリングの結果、フィンガープリント入りのサンプリングが得られる。ブロック６０２で、フレームＦ1およびＦ1を時刻インスタンス（ｔ1＋Δ・Ｔ）に向けてワープすることによりフレームＧ1およびＧ2が生成される。例えば、式（１２）は、フレームＧ1をフレームＦ1から求める方法を示している。ブロック６０４で、フレームＦ1およびＦ2からフレームＧ1およびＧ2がリサンプリングされる。例えば、リサンプリングは、式（１２）に従って実行することができる。ブロック６０６で、ワープフレームＧ1およびＧ2の関数として補間フレームを求めることができる。例えば、式（１３）は、補間フレームＦをワープフレームＧ1およびＧ2から得る方法を示す一実施例である。
【００４５】
ビデオの擬似ランダム時間的サンプリングの実施形態では、制約付きランダム時間的リサンプリング戦略を使用して、ビデオフレーム補間の基準を設けることができる。一実施形態では、時間軸にそって擬似ランダム時間指数が生成され、フレーム補間を使って、新しく生成された時刻インスタンスにおいてビデオをリサンプリングすることができる。知覚的品質をよくするために、元のビデオ内の２つのフレーム間隔の間に、つまり、元のビデオ内のフレームｉとフレームｉ＋２との間に、少なくとも１つのフレームがリサンプリングされたビデオ内になければならないという制約条件を課す。図７を参照すると、ランダムサンプリングされた時間指数は、一様サンプリングされた時間指数のそれぞれの間に置かれることがわかる。このような制約条件により、リサンプリングされたビデオ内の時間的ジッタが制限され、それと同時に、時間的ランダム化の余地が生じる。この目標を達成するために、まず、範囲［１−δ，１＋δ］に一様に分布する、ｉ．ｉ．ｄ．（互いに独立で同一の分布に従う）ランダム時間増分Δiを生成する。次いでｔ（０）＝０に初期化し、ｉ＝１、２、．．．、Ｎについて、時間指数ｔ（ｉ）＝ｔ（ｉ−１）＋Δiを計算する。ここで、Ｎは、リサンプリングされたビデオの全長であり、Ｍを元のビデオ内のフレームの数として、Ｎ〜Ｕｎｉｆｏｒｍ［Ｍ（１−α），Ｍ（１＋α）］によるランダムな値である。最後に、ｔ（１）からｔ（Ｎ）までの値をスケーリングして、すべての時間指数が［０，Ｍ］の範囲内に収まることを確認する。
【００４６】
この設定では、２つのパラメータ、時間的ジッタの量を制御するδと長さ変動を制御するαが選択できる。時間的脱同期化を実施できる実施例では、δおよびαは、δ＝０．７５およびα＝０．００３５として選択することができる。他の値も、これらの概念の様々な応用において十分な結果をもたらしうる。
【００４７】
図８は、制約付きランダム時間的リサンプリング戦略をリサンプリングに適用することを特徴とする時間的脱同期化の一実施形態８００を示しており、ビデオに関連付けられている一様サンプリングされた時間指数は、リサンプリングに関連付けられているランダムにサンプリングされた時間指数で置き換えられる。ブロック８０２で、擬似ランダム時間指数が時間軸にそって生成される。次いで、ビデオは、フレーム補間などを使用して、新たに生成された時刻インスタンスにおいてリサンプリングされる。ブロック８０４で、元のビデオ内の２つのフレーム間隔の間のリサンプリングに少なくとも１つのフレームを入れる必要があるように擬似ランダムサンプリングされた時間指数の生成が制約される。図７の実施例では、（時系列の上に見える）元のフレームマーカーの２つおきに、（時系列の下に見える）１つの擬似ランダムフレームマーカーがあることがわかる。ブロック８０６で、ランダム時間増分Δiが生成され、範囲［１−δ、１＋δ］内に一様分布される。ブロック８０８で、時間指数が初期化され、ビデオの長さにわたって計算される。例えば、時間指数は、ｔ（０）＝０に初期化されることができ、また時間指数は、ｉ＝１、２、．．．、Ｎについてｔ（ｉ）＝ｔ（ｉ−１）＋Δiに従って計算されるが、ただし、Ｎは、リサンプリングされたビデオの長さであり、Ｎ〜Ｕｎｉｆｏｒｍ［Ｍ（１−α），Ｍ（１＋α）］に従ってランダムである。ブロック８１０で、Ｍをビデオ中のフレームの総数として、すべての時間指数が［０，Ｍ］の範囲内に収まる必要があるように、値ｔ（１）からｔ（Ｎ）がスケーリングされる。ブロック８１２で、ビデオの複数の態様を制御するように変数を選択することができる。特に、αは、変動の長さを制御するように選択され、δは、時間ジッタを制御するように選択される。例えば、δは、０．７５に設定することができ、αは、０．００３５に設定することができる。
【００４８】
ビデオの擬似ランダム時間的サンプリングの実施形態では、補間スキップ戦略を使用して、品質管理を高めることができる。フレームが、高速な運動および／または複雑な場面を全体として構成する場合、フレーム補間を使用しても、十分満足な知覚上の結果が得られない可能性がある。したがって、補間フレームの品質は、高速で複雑な運動を表すフレームをスキップすることにより制御することができる。定量的には、運動ベクトル場の分散は、ｖａｒ（ｖx）およびｖａｒ（ｖy）として計算することができ、補間は、和ｖａｒ（ｖx）＋ｖａｒ（ｖy）が閾値Ｖthよりも大きい場合に必ずスキップされる。一実装では、フレームサイズを６４０×４８０ピクセルに設定し、Ｖthを３００に設定することができる。一般に、フレームの幅または高さに基づき、小さなフレームサイズを使用するほど、閾値はそれに比例して小さくなるであろう。
【００４９】
図９は、品質管理を高めるための補間スキップ戦略の実施形態９００を示す。ブロック９０２で、ビデオ内のどのフレームが素早い運動および複雑なビデオを記述するかが判定される。これらのフレームは、擬似ランダム時間的サンプリングが適用された場合の潜在的な品質上の問題を表している。ブロック９０４で、素早い運動および複雑なビデオを記述すると判定されたフレームが見分けられ、これらのフレームのリサンプリングはスキップされる。
【００５０】
ビデオの空間的脱同期化 
この節では、図１のブロック１０４により導入した空間的脱同期化に関して説明する。空間的脱同期化は、ビデオの擬似ランダム時間的サンプリングと連携して使用され、これにより脱同期化を行うことができる。空間的脱同期化の一実装は、大域演算および局所演算の両方を含む。大域演算は、フレームの回転、スケーリング、および平行移動（ＲＳＴ）を含む。局所演算は、滑らかさが変化するランダムベンディング（ｓｍｏｏｔｈ−ｖａｒｙｉｎｇ  ｒａｎｄｏｍ  ｂｅｎｄｉｎｇ）および輝度フィルタ処理を含む。知覚品質を良好なものにするため、空間的にも時間的に滑らかになるように、これらの演算に対するパラメータが生成される。
【００５１】
ＲＳＴ演算は、空間的脱同期化の一形態である。回転、スケーリング、および平行移動（シフト）は、同次座標を使用して表すことができる。ＲＳＴ演算の前の座標が（ｘ1，ｙ1）であり、ＲＳＴ演算の後の座標が（ｘ2，ｙ2）であるとすると、θ度回転させると、関係式
【００５２】
【数７】
2008546277.tif 000009
【００５３】
が得られる。
【００５４】
同様に、（ｔx，ｔy）の平行移動の後の座標関係式
【００５５】
【数８】
2008546277.tif 000010
【００５６】
およびスケーリングの後の関係式
【００５７】
【数９】
2008546277.tif 000011
【００５８】
を求めることができる。
【００５９】
全体的効果は、回転、平行移動、およびスケーリングの変換行列の組合せを使用して表すことができる。
【００６０】
式１４〜１６の実装において、回転角θ、スケーリング係数ｓxおよびｓy、および平行移動量ｔxおよびｔyは、ＲＳＴ演算の非認知性を実現するために有界となるように選択される。これと一致する選択は、θ∈［−Θ，Θ］、ｓx，ｓy∈［１−Ｓ，１＋Ｓ］、ｔｙ∈［−Γ，Γ］を含む。この実装では、三次スプライン補間が使用され、周期は、Ｔ＝３２に選択される。一実装では、ＲＳＴパラメータ範囲は、Θ＝π／１００、Ｓ＝０．０４に設定され、Γは、フレーム寸法の１％である。
【００６１】
図１０は、典型的にはフレームの回転、スケーリング、および平行移動（ＲＳＴ）の大域演算を含む戦略を適用することを特徴とする空間的脱同期化の実施形態１０００を示している。ブロック１００２で、保護されるビデオ内の点が回転される。ブロック１００４で、保護されるビデオ内の点がスケーリングされる。ブロック１００６で、保護されるビデオ内の点が平行移動される。１つ、２つ、またはすべてのＲＳＴ演算を必要に応じて適用できることに留意されたい。これらの演算はランダム性を与え、ビデオに適用されるフィンガープリントの一部をなす。
【００６２】
ランダムベンディングは、ランダム化されたサブピクセル位置における画像の空間的リサンプリングに使用されるツールである。通常、デジタル画像中のピクセルは、図１１に示されているように、一様なグリッドでサンプリングされる。ランダムベンディングでは、元のサンプリンググリッドは、キーを使用して生成された擬似ランダムサンプリンググリッドで置き換えられる。サンプリング点の個数は、ベンディングの前と後とで保存される。知覚的品質を保存するために、複数の制約条件が満たされる必要がある。まず、サンプリング位置の順序付けを保存する、つまり、２つのサンプリング位置（ｘi，ｙk）および（ｘj，ｙk）が同じ「行」にあり、ｉ＜ｊであれば、ｘi＜ｘjである。列の順序付けにも同じ規則が適用される。第２に、大半の領域がほぼ均等にサンプリングされることを保証する。数学的には、Ａよりも大きな面積を有する任意の凸領域Ｓに関して、Ｓの内側に少なくとも１つのサンプリング点Ｐが存在しなければならないということである。空間的摂動サンプリンググリッドをベンディンググリッドとして選択する。それぞれの元のサンプリング位置（ｘ，ｙ）について、摂動ベクトル（Ａ，Ａy）を生成し、サンプリング位置（ｘ’，ｙ’）は、
ｘ’＝ｘ＋Δx                                                    （１７ａ）
および
ｙ’＝ｘ＋Δy                                                    （１７ｂ）
である。
【００６３】
すべてのサンプリング位置に対する摂動ベクトル（Δx（ｉ，ｊ），Δy（ｉ，ｊ））が、場を形成する。摂動ベクトル場が空間的に滑らかな変化をするようにするために、ｉ．ｉ．ｄ．摂動ベクトルを周期的に取得し、空の位置のベクトル場を補間することを提案する。これは、以下の２つのステップで実現される。
【００６４】
ｋ＝０、１、２．．．、ｒ＝０、１、２、．．．、およびある周期Ｔについて、摂動ベクトル（Δx（ｋＴ，ｒＴ），Δy（ｋＴ，ｒＴ））を生成する。
【００６５】
双線形または三次補間法を使用して、２Ｄ場上で摂動ベクトル値を補間する。まず、行補間が適用され、次いで、列補間が適用される。
【００６６】
図１２は、ランダムベンディング演算を特徴とする空間的脱同期化の実施形態１２００を示す。ブロック１２０２で、典型的にはキーを使用して、擬似ランダムサンプリンググリッドが生成される。ブロック１２０４で、行と列の両方に関して、サンプリング位置の順序付けが保存される。ブロック１２０６で、閾値よりも大きな面積を有するすべての領域がサンプリングされる。ブロック１２０８で、サンプリングされた位置に対し摂動ベクトルが周期的に生成される。ブロック１２１０で、典型的には補間などの技術により、摂動ベクトルが平滑化される。
【００６７】
輝度フィルタ処理機能は、ビデオ内の異なる領域をランダムに鮮明にするか、または平滑化するために使用されるツールである。輝度フィルタ処理には２つの効果がある。第１に、時間的補間、空間的ＲＳＴ、およびベンディング演算の後、生成された画像は不鮮明になる傾向がある。そのため、エッジシャープニングフィルタを使用して、最終出力の知覚的品質を高めることができる。第２に、輝度フィルタのパラメータをランダムにし、脱同期化ビデオのランダム性を高めることができる。脱同期化システムを特徴とする一実施形態において、
【００６８】
【数１０】
2008546277.tif 000012
【００６９】
の形式の対称３×３輝度フィルタを考える。
【００７０】
ここで、パラメータＡは、フィルタの全エネルギーを制御し、パラメータＢは、シャープニング効果を説明する。知覚的品質をよくするために、Ａは１に近くなければならず、Ｂは０よりも大きくなければならず、これにより、エッジシャープニング効果が得られる。例示的な一実装では、Ａは範囲［１−０．０４，１＋０．０４］、Ｂは範囲［０，０．７］にある。
【００７１】
図１３は、輝度フィルタ処理を特徴とする空間的脱同期化の実施形態１３００を示す。ブロック１３０２で、対称輝度フィルタが形成される。フィルタは、式（１７Ｃ）などの形式とすることができる。ブロック１３０４で、知覚的品質を高め、ビデオのフィンガープリント入りコピー中のランダム性を高めるパラメータが選択される。式（１７Ｃ）などのフィルタが使用される一実施形態では、パラメータＡおよびＢは、必要に応じて、輝度フィルタを調整するように選択される。
【００７２】
パラメータ平滑化および最適化ツールは、パラメータ値を制御し、異なる形で脱同期化されたビデオのコピーを形成するように構成されている。このようなツールの１つである「パラメータ離散化」を使用すると、ビデオの異なるコピーに関連付けられたパラメータに対し十分に異なる値を与えることができる。前に述べたように、ＲＳＴパラメータは、知覚的品質を保存するように有界である。さらに、２つの異なる形で脱同期化されたビデオのコピー同士が十分に異なるように、十分に大きなステップサイズでパラメータを離散化する（つまり、不連続にする）必要もある。離散化に適したステップサイズを決定するために、以下の実験を実施することができる。一実施例では、６４０×４８０フレームの２つのコピーの平均がとられ、その際に、第１のコピーは元のコピーであり、第２のコピーはΔθ度だけ回転した後のコピーである。次いで、２つのフレームは平均され、平均されたフレーム内にぼけ（ｂｌｕｒｒｉｎｇ）などの知覚上のアーチファクトがあるかどうか調べるために観察される。一般に、離散ステップサイズとして、知覚上のアーチファクトを引き起こす最小のΔθ値を使用する。類似の方法を使用して、スケーリングおよび平行移動パラメータのステップサイズを決定する。例えば、回転パラメータに対して８つ、平行移動パラメータに対して８つ、スケーリングパラメータに対しての８つの量子化レベルを選択する。これらの結果は、表Ｉにまとめられている。
【００７３】
【表１】
2008546277.tif 000013
【００７４】
図１４は、パラメータ平滑化および最適化を特徴とする空間的脱同期化の実施形態１４００を示す。この演算は、空間的脱同期化演算を実行する際に使用する離散ステップサイズを与える。ブロック１４０２で、１つのフレームに対し回転演算が実行される。ブロック１４０４で、そのフレームと回転されたフレームの平均が一緒にとられる。この平均化を実行する方法には、いくぶん柔軟性がある。ブロック１４０６で、回転演算の実行に使用される小さな値が決定され、それらの値の結果として、平均されたフレーム内に知覚的アーチファクトが生じる。ブロック１４０８で、これらの小さな値は、フィンガープリント入りコピーを作成する際の離散ステップサイズとして使用される。ブロック１４１０で、ブロック１４０２〜１４０８は、スケーリングおよび平行移動演算に関して反復され、これにより、それらの演算に対する離散ステップサイズが得られる。
【００７５】
時間的平滑化ツールは、脱同期化フレームのビデオ画像を平滑化するために使用される。ビデオは、３Ｄ信号として、空間的脱同期化を行う機会とともに、その問題ももたらす。人間の視覚系は、画像を見てから短時間だけ画像を保持することができるため、毎秒約３０フレームの標準的ビデオフレームレートで、個別フレーム内の小さな歪みを平滑化することができる。その結果、静止画像として見たときに知覚的アーチファクトを引き起こしたであろうある種の歪みは、動画として見たときに知覚的アーチファクトを引き起こさない。他方、人間の目は、ビデオシーケンス内の時間的および空間的変化に敏感である。
【００７６】
例えば、フレームが０．５度回転され、静止画像として見た場合、通常、回転は気づかれない。しかし、このフレームの後に−０．５度回転された他のフレームが続くと、このような回転は、「ジッタ」効果を生じるためはっきりと気づかれることになるであろう。
【００７７】
われわれの方式で時間的平滑性を実現するために、ＲＳＴ、ベンディング、および輝度フィルタ処理パラメータ場をＬ個のフレーム毎に生成することを選択し、線形補間を使用して中間フレーム内のパラメータ場を得る。線形補間は、パラメータ更新時間および必要な記憶容量を節約するように選択される。例えば、ｋ番目のフレームに対する回転パラメータｒ（ｋ）および（ｋ＋Ｌ）番目のフレームに対する回転パラメータｒ（ｋ＋Ｌ）を生成すると仮定する。ｋ＜ｉ＜ｋ＋Ｌに対するパラメータｒ（ｉ）は
ｒ（ｉ）＝（ｉ−ｋ）（ｒ（ｋ＋Ｌ）−ｒ（ｋ））／Ｌ
となる。
【００７８】
上記の実装では、パラメータＬ＝１２８であり、ビデオレートが毎秒３０フレームであれば、約４秒に対応する。
【００７９】
図１５は、時間的平滑化を特徴とする空間的脱同期化の実施形態１５００を示す。ブロック１５０２で、ＲＳＴ（回転、スケーリング、および平行移動）、ベンディング、および／または輝度フィルタ処理パラメータが、フレーム数Ｎ毎にビデオ内に生成される。ブロック１５０４で、Ｎ個のフレームからなる群の間の中間フレーム内のパラメータ場が、補間により決定される。その結果、時間的平滑性が高まり、これにより、ＲＳＴ、ベンディング、および輝度フィルタ処理演算により入り込むジッタ効果の一部が除去される。
【００８０】
パラメータ分布ツールは、ビデオの脱同期化バージョンのフレームを分離するのを補助する。フレームＦがあり、またこのフレームＦ1およびＦ2の２つの脱同期化バージョンがあると仮定する。共謀を抑止するために、Ｆ1とＦ2との間の距離はできる限り遠くしたい。可能な１つの距離測度は、ピクセル毎の差、つまり、ｄ（Ｆ1（ｘ，ｙ），Ｆ2（ｘ，ｙ））＝｜Ｆ1（ｘ，ｙ）−Ｆ2（ｘ，ｙ）｜である。Ｆ1およびＦ2は、Ｆの回転されたバージョンのみであると仮定し、ただし、Ｆ1はθ1の角度だけ回転され、Ｆ2はθ2の角度だけ回転される。フレームＦ1内の位置（ｘ，ｙ）のピクセルは、フレームＦ内の位置（ｘ1，ｙ1）からのピクセルであり、フレームＦ2内のピクセル（ｘ，ｙ）は、フレームＦ内の位置（ｘ2，ｙ2）である、つまり、
Ｆ1（ｘ，ｙ）＝Ｆ（ｘ1，ｙ1）およびＦ2（ｘ，ｙ）＝Ｆ（ｘ2，ｙ2）
である。
【００８１】
式（１４）により、以下の式が得られる。
【００８２】
ｘ1＝ｃｏｓθ1ｘ−ｓｉｎθ1ｙ
ｙ1＝ｓｉｎθ1ｘ＋ｃｏｓθ1ｙ
ｘ2＝ｃｏｓθ2ｘ−ｓｉｎθ2ｙ
ｙ2＝ｓｉｎθ2ｘ＋ｃｏｓθ2ｙ
回転角度θ1およびθ2は非常に小さいと仮定するが、このことはコンテンツをほぼ同じに保ちたいため脱同期化の場合に正しい。この仮定の下で、
【００８３】
【数１１】
2008546277.tif 000014
【００８４】
が得られる。
【００８５】
２つのフレームの間のピクセル毎の距離は、
【００８６】
【数１２】
2008546277.tif 000015
【００８７】
である。
【００８８】
Ｆの輝度値は位置（ｘ，ｙ）の小さな近傍内でほぼ線形的に変化すると仮定し、Ｌ2ノルムを使用して空間的距離を測定すると、上記の式は
【００８９】
【数１３】
2008546277.tif 000016
【００９０】
になる。
【００９１】
類似の結果は、平行移動、スケーリング、およびベンディング演算について導き出すことができる。このような結果の導出の下で、脱同期化フレームの２つのバージョンの間の距離を最大化したい場合、２つの回転パラメータの間の距離を最大化する必要があることは明らかである。２つの回転パラメータは、ｉ．ｉ．ｄ．ランダム変数であり、離散集合｛−Θ，−Θ＋Δθ，−Θ＋２Δθ，．．．，Θ｝の中から値をとるので、問題は、θ1とθ2との間の予想距離を最大化するパラメータに対する分布ｐを求めることということになる。Ｌ２ノルムを使用して距離を評価し、問題を
【００９２】
【数１４】
2008546277.tif 000017
【００９３】
として定式化する。
【００９４】
上記の定式化から、Ｐｒ（θ＝−Θ）＝Ｐｒ（θ＝Θ）＝１／２となる分布が得られる。
【００９５】
このような分布は、１つのフレームの２つの回転されたコピーの間の予想距離を最大化したが、ランダムさの量が小さすぎるため強引な攻撃に耐えられない。そこで、ランダム性制約条件を式（２２）に加えて、
【００９６】
【数１５】
2008546277.tif 000018
【００９７】
のようにすることができる。ここで、Ｈ（・）は分布のエントロピーを表し、ｈはエントロピーの閾値である。回転パラメータは、８つのレベルに量子化されているため、可能な最大エントロピーは３ビットである。エントロピー閾値をｈ＝２．８に選択し、（２３）を数値的に解くと、表ＩＩの第１の２つの行の分布が得られる。ｐｍｆは対称的なので、片側ｐｍｆのみを示す。分布は、すべての８レベルｐｍｆについて（２３）の解となっていることに留意されたい。したがって、これは、平行移動パラメータに対する分布として使用することもできる。スケーリングパラメータについては、４つのレベルに量子化されるため、エントロピー閾値をｈ＝１．９ビットに選択すると、対応するｐｍｆは、表ＩＩの最後の２つの行に示されているものとなる。
【００９８】
【表２】
2008546277.tif 000019
【００９９】
図１６は、パラメータ分布ツールを特徴とする空間的脱同期化の実施形態１６００を示す。このようなツールは、ビデオの２つのフィンガープリント入りコピー内の２つのフレームの間の距離を増大するのに役立つ。ブロック１６０２で、フレームＦ1およびＦ2が分離されるが、その際に、フレームＦ1およびＦ2は、ビデオのフレームＦのフィンガープリント入りコピー１および２内で関連付けられている。この分離は、Ｆ1およびＦ2に関連付けられている回転、スケーリング、平行移動、およびランダムベンディングのパラメータを隔たらせることにより実行される。ブロック１６０４で、ランダム性制約条件が、Ｆ1およびＦ2を作成する際に使用されるパラメータに導入されるが、ただし、ランダム性制約条件は、閾値を超えたパラメータの分布のエントロピーの関数となっている。
【０１００】
例示的なコンピューティング環境 
図１７は、デジタルビデオフィンガープリンティングの共謀防止脱同期化を実装するのに適している例示的なコンピューティング環境を示す。コンピューティング環境１７００は、コンピュータ１７０２の形態の汎用コンピューティングシステムを含む。コンピュータ１７０２のコンポーネントは、限定はしないが、１つまたは複数のプロセッサまたは演算処理装置１７０４、システムメモリ１７０６、およびプロセッサ１７０４を含む様々なシステムコンポーネントをシステムメモリ１７０６に結合するシステムバス１７０８を含むことができる。システムバス１７０８は、メモリバスまたはメモリコントローラ、周辺機器バス、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、アクセラレイティッドグラフィックスポート、および様々なバスアーキテクチャのどれかを使用するプロセッサまたはローカルバスを含む数種類のバス構造のうちの１つまたは複数を表している。
【０１０１】
コンピュータ１７０２は、典型的には、様々なコンピュータ可読媒体を備える。そのような媒体は、コンピュータ１７０２によってアクセス可能な媒体であればどのような媒体でも使用可能であり、揮発性および不揮発性媒体、取り外し可能および取り外し不可能媒体を含む。システムメモリ１７０６は、ランダムアクセスメモリ（ＲＡＭ）１７１０などの揮発性メモリ、および／または読み取り専用メモリ（ＲＯＭ）１７１２などの不揮発性メモリの形態のコンピュータ可読媒体を含む。起動時などにコンピュータ１７０２内の要素間の情報伝送を助ける基本ルーチンを含む基本入出力システム（ＢＩＯＳ）１７１４は、ＲＯＭ  １７１２に格納される。ＲＡＭ  １７１０は、典型的には、演算処理装置１７０４に直接アクセス可能な、および／または演算処理装置１７０４によって現在操作されているデータおよび／またはプログラムモジュールを格納する。
【０１０２】
コンピュータ１７０２は、さらに、他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ記憶媒体も備えることができる。例えば、図１７は、取り外し不可能な不揮発性磁気媒体（図に示されていない）の読み出しおよび書き込みを行うハードディスクドライブ１７１６、取り外し可能な不揮発性磁気ディスク１７２０（例えば、「フロッピー（登録商標）ディスク」）の読み出しおよび書き込みを行う磁気ディスクドライブ１７１８、およびＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、またはその他の光媒体などの取り外し可能な不揮発性光ディスク１７２４の読み出しおよび／または書き込みを行う光ディスクドライブ１７２２を例示している。ハードディスクドライブ１７１６、磁気ディスクドライブ１７１８、および光ディスクドライブ１７２２は、それぞれ、１つまたは複数のデータメディアインターフェース１７２５によりシステムバス１７０８に接続される。代替えとして、ハードディスクドライブ１７１６、磁気ディスクドライブ１７１８、および光ディスクドライブ１７２２は、ＳＣＳＩインターフェース（図に示されていない）によりシステムバス１７０８に接続することができる。
【０１０３】
ディスクドライブおよび関連コンピュータ可読媒体は、コンピュータ１７０２用のコンピュータ可読命令、データ構造体、プログラムモジュール、およびその他のデータを格納する不揮発性記憶装置を実現する。実施例は、ハードディスク１７１６、取り外し可能磁気ディスク１７２０、および取り外し可能光ディスク１７２４を例示しているが、磁気カセットまたはその他の磁気記憶デバイス、フラッシュメモリカード、ＣＤ−ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）または他の光記憶装置、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）などの、コンピュータによりアクセス可能なデータを格納することができる他のタイプのコンピュータ可読媒体も、このコンピューティングシステムおよび環境例を実装するために使用することができることは理解されるであろう。
【０１０４】
例えば、オペレーティングシステム１７２０、１つまたは複数のアプリケーションプログラム１７２８、その他のプログラムモジュール１７３０、およびプログラムデータ１７３２を含む、多くのプログラムモジュールは、ハードディスク１７１６、磁気ディスク１７２０、光ディスク１７２４、ＲＯＭ  １７１２、および／またはＲＡＭ  １７１０に格納されることができる。そのようなオペレーティングシステム１７２６、１つまたは複数のアプリケーションプログラム１７２８、他のプログラムモジュール１７３０、およびプログラムデータ１７３２（またはそれらの何らかの組合せ）はそれぞれ、ユーザネットワークアクセス情報に対するキャッシングスキームの一実施形態を含むことができる。
【０１０５】
コンピュータ１７０２は、通信媒体として識別される様々なコンピュータ／プロセッサ可読媒体を含むことができる。通信媒体は、典型的には、コンピュータ可読命令、データ構造体、プログラムモジュール、または搬送波もしくはその他のトランスポートメカニズムなどの変調データ信号によるその他のデータを具現するものであり、任意の情報配信媒体を含む。「変調データ信号」という用語は、信号内に情報を符号化するような方法で特性のうちの１つまたは複数が設定または変更された信号を意味する。例えば、限定はしないが、通信媒体は、有線ネットワークまたは直接配線接続などの有線媒体、および音響、ＲＦ、赤外線、およびその他の無線媒体などの無線媒体を含む。上記のいずれの組合せもコンピュータ可読媒体の範囲に含まれる。
【０１０６】
ユーザはキーボード１７３４およびポインティングデバイス１７３６（例えば、「マウス」）などの入力デバイスを介してコンピュータシステム１７０２にコマンドおよび情報を入力することができる。他の入力デバイス１７３８（図に特には示されていない）としては、マイク、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、シリアルポート、スキャナなどがある。これらの入力デバイスおよびその他の入力デバイスは、システムバス１７０８に結合されている入力／出力インターフェース１７４０を介して演算処理装置１７０４に接続され、またパラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェースおよびバス構造により接続されることも可能である。
【０１０７】
モニタ１７４２またはその他のタイプのディスプレイデバイスも、ビデオアダプタ１７４４などのインターフェースを介してシステムバス１７０８に接続できる。モニタ１７４２に加えて、他の出力周辺デバイスは、スピーカー（図に示されていない）およびプリンタ１７４６などのコンポーネントを含み、入力／出力インターフェース１７４０を介してコンピュータ１７０２に接続できる。
【０１０８】
コンピュータ１７０２は、（複数の）リモートコンピューティングデバイス１７４８などの１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク接続環境で動作させることができる。例えば、リモートコンピューティングデバイス１７４８は、パーソナルコンピュータ、ポータブルコンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピアデバイス、または他の共通ネットワークノードなどとすることができる。リモートコンピューティングデバイス１７４８は、コンピュータシステム１７０２に関して本明細書で説明されている要素および特徴の多くまたは全部を含むことができるポータブルコンピュータとして例示されている。
【０１０９】
コンピュータ１７０２とリモートコンピュータ１７４８との間の論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７５０と一般的なワイドエリアネットワーク（ＷＡＮ）１７５２として表されている。このようなネットワーキング環境は、オフィス、企業全体にわたるコンピュータネットワーク、イントラネット、およびインターネットでは一般的である。ＬＡＮネットワーキング環境で実装された場合、コンピュータ１７０２はネットワークインターフェースまたはアダプタ１７５４を介してローカルネットワーク１７５０に接続される。ＷＡＮネットワーキング環境で実装される場合、コンピュータ１７０２は、典型的には、広域ネットワーク１７５２上での通信を確立するためのモデム１７５６または他の手段を含む。モデム１７５６は、コンピュータ１７０２に内蔵されても、外付けでもよいが、入力／出力インターフェース１７４０または他の適切なメカニズムを介してシステムバス１７０８に接続することができる。例示されているネットワーク接続は例示的であり、コンピュータ１７０２と１７４８との間の（複数の）通信リンクを確立する他の手段を採用できることは理解されるであろう。
【０１１０】
コンピューティング環境１７００とともに例示されているようなネットワーク接続環境では、コンピュータ１７０２またはその一部に関して示されているプログラムモジュールは、リモートメモリ記憶デバイスに格納されうる。例えば、リモートアプリケーションプログラム１７５８は、リモートコンピュータ１７４８のメモリデバイスに常駐する。説明のため、アプリケーションプログラムおよびオペレーティングシステムなどの他の実行可能なプログラムコンポーネントは、本明細書では、離散ブロックとして例示されているが、そのようなプログラムおよびコンポーネントは、様々な時点において、コンピュータシステム１７０２の異なる記憶コンポーネント内にあり、コンピュータの（複数の）データプロセッサにより実行されることは理解される。
【０１１１】
まとめ 
デジタルビデオフィンガープリンティングの共謀防止脱同期化を行ういくつかの態様を実装するための例示的なシステムおよび方法は、一部は図１〜６、８〜１０、および１２〜１６の流れ図に関して説明されている。説明されている方法の要素は、例えば、ＡＳＩＣ上のハードウェア論理ブロックまたはプロセッサ可読媒体上で定義されているプロセッサ可読命令の実行などを含む、適切な手段により実行できる。本明細書で使用される「プロセッサ可読媒体」は、プロセッサにより使用または実行される命令を含む、格納する、伝達する、伝搬する、または移送することができる任意の手段とすることができる。プロセッサ可読媒体は、限定はしないが、電子、磁気、光、電磁気、赤外線、または半導体のシステム、装置、デバイス、または伝搬媒体とすることができる。プロセッサ可読媒体のより具体的な実施例としては、特に、１つまたは複数の電線を有する電気接続、ポータブルコンピュータのディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、書き換え可能コンパクトディスク（ＣＤ−ＲＷ）、およびポータブルコンパクトディスク読み取り専用メモリ（ＣＤＲＯＭ）がある。
【０１１２】
本開示の態様は、好ましいいくつかの実施形態の構造および／または方法に関する特徴を特に記述する専門用語を含むが、付属の特許請求の範囲は、説明されている特定の特徴または動作に限定されないことは理解されるであろう。むしろ、特定の特徴および活動は例示的な実装としてのみ開示され、より一般的な概念を表している。
【図面の簡単な説明】
【０１１３】
【図１】一様サンプリングされた時間指数をランダムサンプリングされた時間指数と比較できる例示的な時系列を示す図である。
【図２】フレームＦ1がフレームＦ2へワープされる、アフィンワーピング（ａｆｆｉｎｅ  ｗａｒｐｉｎｇ）戦略を含む、時間的脱同期化の例示的な態様を示す図である。
【図３】フレームＦ1とフレームＦ2が両方ともワープされる、アフィンワーピング戦略を含む、時間的脱同期化の例示的な態様を示す図である。
【図４】オプティカルフロー戦略を含む、時間的脱同期化の例示的な態様を示す図である。
【図５】運動ベクトルスイッチング（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｓｗｉｔｃｈｉｎｇ）戦略を含む、時間的脱同期化の例示的な態様を示す図である。
【図６】運動補正時間的補間（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｅｄ  ｔｅｍｐｏｒａｌ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）戦略を含む、時間的脱同期化の例示的な態様を示す図である。
【図７】時間的リサンプリングに対する擬似ランダム時間指数の例示的な態様を示す図である。
【図８】制約付きランダム時間的リサンプリング（ｃｏｎｓｔｒａｉｎｅｄ  ｒａｎｄｏｍ  ｔｅｍｐｏｒａｌ  ｒｅ−ｓａｍｐｌｉｎｇ）戦略を含む、時間的脱同期化の例示的な態様を示す図である。
【図９】補間スキップ戦略を含む、時間的脱同期化の例示的な態様を示す図である。
【図１０】回転、スケーリング、および平行移動（ＲＳＴ）戦略を含む、空間的脱同期化の例示的な態様を示す図である。
【図１１】空間的脱同期化の例示的な態様を示す図である。
【図１２】ランダムベンディング戦略を含む、空間的脱同期化の例示的な態様を示す図である。
【図１３】輝度フィルタリング戦略を含む、空間的脱同期化の例示的な態様を示す図である。
【図１４】パラメータ離散化戦略を含む、空間的脱同期化の例示的な態様を示す図である。
【図１５】時間的平滑化戦略を含む、空間的脱同期化の例示的な態様を示す図である。
【図１６】パラメータ分布戦略を含む、空間的脱同期化の例示的な態様を示す図である。
【図１７】デジタルビデオフィンガープリンティングの共謀防止脱同期化を実装するのに適している例示的なコンピューティング環境を示す図である。
【図１】
2008546277.tif 000020
【図２】
2008546277.tif 000021
【図３】
2008546277.tif 000022
【図４】
2008546277.tif 000023
【図５】
2008546277.tif 000024
【図６】
2008546277.tif 000025
【図７】
2008546277.tif 000026
【図８】
2008546277.tif 000027
【図９】
2008546277.tif 000028
【図１０】
2008546277.tif 000029
【図１１】
2008546277.tif 000030
【図１２】
2008546277.tif 000031
【図１３】
2008546277.tif 000032
【図１４】
2008546277.tif 000033
【図１５】
2008546277.tif 000034
【図１６】
2008546277.tif 000035
【図１７】
2008546277.tif 000036