(57)【特許請求の範囲】
【請求項１】
疑わしい画像中の透かしを検出する方法であって、対象画像と全ての有効な移動ベクトルについての対象画像の移動されたバージョンとの間の相関を計算することにより上記対象画像の自己相関を計算することにより、上記疑わしい画像が周期的に繰り返される埋め込まれたデータパターンを有するかどうかを検出する段階と、上記周期的に繰り返されるデータパターンが埋め込まれた透かしを表わすと判定する段階と、を有する方法。
【請求項２】
上記データパターンの周期性を決定する段階と、所与の周期性を有する所与の透かしを与える段階と、上記処理された疑わしい画像中の上記データパターンの上記周期性を上記処理された所与の透かしの上記周期性と一致させるよう上記疑わしい画像及び／又は上記所与の透かしを処理する段階と、上記処理された疑わしい画像中の上記データパターンが上記処理された所与の透かしに対応するかどうかを検出する段階と、を更に有する、請求項１記載の方法。
【請求項３】
上記疑わしい画像及び／又は上記所与の透かしを処理する段階は、まっすぐな線がまっすぐなままであり、平行な線が平行なままである一方、非平行な線についての角度が変化し得る性質を有するアフィン変換操作を上記疑わしい画像及び／又は上記所与の透かしに受けさせる段階を有する、請求項２記載の方法。
【請求項４】
上記疑わしい画像及び／又は上記所与の透かしを処理する段階は、所与の周期性を表す処理された画像をもたらすように、上記疑わしい画像を拡大縮小する段階、回転する段階、剪断する段階又はそれらの組み合わせの段階を有する、請求項２又は３記載の方法。
【請求項５】
疑わしい画像中の透かしを検出する装置であって、対象画像と全ての有効な移動ベクトルについての対象画像の移動されたバージョンとの間の相関を計算することにより上記対象画像の自己相関を計算することにより、上記疑わしい画像が周期的に繰り返される埋め込まれたデータパターンを有するかどうかを検出する手段と、上記周期的に繰り返されるデータパターンが埋め込まれた透かしを表わすと判定する手段と、を有する装置。
【請求項６】
上記データパターンの周期性を決定する手段と、所与の周期性を有する所与の透かしを与える手段と、上記処理された疑わしい画像中の上記データパターンの上記周期性を上記処理された所与の透かしの上記周期性と一致させるよう上記疑わしい画像及び／又は上記所与の透かしを処理する手段と、上記処理された疑わしい画像中の上記データパターンが上記処理された所与の透かしに対応するかどうかを検出する手段と、を有する、請求項５記載の装置。
【請求項７】
上記疑わしい画像及び／又は上記所与の透かしを処理する手段は、まっすぐな線がまっすぐなままであり、平行な線が平行なままである一方、非平行な線についての角度が変化し得る性質を有するアフィン変換操作を上記疑わしい画像及び／又は上記所与の透かしに受けさせるよう備えられている、請求項６記載の方法。
【発明の詳細な説明】
【０００１】
［発明の分野］
本発明は疑わしい画像に埋め込まれた透かしを検出する方法及び装置に関する。
【０００２】
［発明の背景］
透かしは、画像又はビデオの所有権を証明する技術である。通常は、透かしは特殊な低振幅のノイズの多いパターンを画像に付加することによって埋め込まれる。ノイズの多いパターンは透かしを表わす。疑わしい画像が埋め込まれた与えられた透かしを有するか否かは、受信器側において、疑わしい画像と透かしを適用したバージョンとの相関を計算し、相関と閾値を比較することによって検出される。相関が閾値よりも大きければ、適用された透かしが存在するとされ、相関が閾値よりも大きくなければ、透かしは存在しないとされる。
【０００３】
本願の出願人によって出願された国際特許出願ＩＢ９９／００３５８（ＰＨＮ１７．３１６）は、画像全体に亘って小さい寸法の基本透かしパターンを繰り返すことによって埋め込まれた透かしを検出するための装置を開示する。このようは「タイル」操作は、透かし検出処理が比較的小さい空間に亘る透かしを探索し、検出の信頼性を改善させることを可能とする。
【０００４】
殆どの透かし技術は画像の幾何学的な歪みに対して耐性がないことが知られている。平行移動、拡大縮小、回転、又は伸長といった操作は、操作された画像と適用される透かしとの間の相関を失わせる。上述の従来技術の透かし検出器は、平行移動に対する耐性はあるが、画像が拡大縮小、回転、又は伸長されている場合は透かしを検出することが可能でない。
【０００５】
［本発明の目的及び概要］
本発明は改善された透かし検出方法及び装置を提供することを目的とする。このために、疑わしい画像中の透かしを検出する方法は、疑わしい画像が周期的に繰り返される埋め込まれたパターンを含むかどうかを検出する段階と、周期的に繰り返されるデータパターンが埋め込まれた透かしを表わすと判定する段階とを含む。本発明は、透かしが上述の「タイル」操作によって埋め込まれていれば、拡大、回転、伸長といった操作は透かしの周期性を変化させはするが失わせないという認識に基づく。従って、疑わしい画像中に周期的に繰り返されるデータパターンがただ存在することは、画像に透かしが付されていることを意味する。
【０００６】
埋め込まれた透かしが特殊な所与の透かしであるかどうかについて検出は、疑わしい画像と与えられた透かしを元の相関が復元されるように処理することによって達成される。これは、データパターンの周期性を決定する段階と、所与の周期性を有する所与の透かしを与える段階と、処理された疑わしい画像中のデータパターンの周期性を処理された所与の透かしの周期性と一致させるよう疑わしい画像及び／又は所与の透かしを処理する段階と、処理された疑わしい画像中のデータパターンが処理された所与の透かしに対応するかどうかを検出する段階とを含む本発明の方法の実施例によって達成される。疑わしい画像を処理する段階は、疑わしい画像が透かしを付された後に受けた操作（拡大縮小、回転、伸長）を元に戻すことを目的とするものである。
【０００７】
米国特許第５，６３６，２９２号は、画像に対して別の較正信号（例えば特定の周波数を有する正弦波）を付加する段階を開示する。画像が拡大縮小又は回転されると、正弦波の周波数は変化し、画像の周波数スペクトル中のピークを移動させる。本発明は、周期的な透かしのパターン自体が較正パラメータを与えるという点で従来技術とは異なる。
【０００８】
本発明の上述及び他の面は、以下説明する実施例より明らかとなろう。背景となる情報を与えるため、まず、従来技術の透かし埋込み器と従来技術の透かし検出器について説明する。図１は従来技術の透かし埋込み器の実際的な実施例を示す図である。埋込み器は、画像Ｐを発生する画像源１１と、画像Ｐに所与の透かしＷ’を加える加算器１２とを含む。透かしＷ’は、画像と同じ大きさ、例えば水平方向にＮ１画素と垂直方向にＮ２画素（例えばＰＡＬ−ＴＶでは７２０×５７６）を有するノイズパターンである。これは、より小さい基本透かしパターン即ち「タイル」Ｗを画像全体に亘って繰り返し、必要であれば切り捨てることによって発生される。図２は、タイル操作回路１３によって実行されるこのタイル操作について示す図である。基本パターンＷは、例えば１２８×１２８画素の一定の寸法Ｍ１×Ｍ２を有する。
【０００９】
図３は、従来技術の透かし検出器の実際的な実施例を示す図である。検出器は、おそらく透かしが付されているであろう画像Ｑを受信する。画像（又は多数の蓄積されたビデオフレーム）は基本透かしパターンＷの寸法Ｍ１×Ｍ２ここでは（１２８×１２８）を有するブロックへ分割される。次に、ブロックは図４に示されるように、寸法Ｍ１×Ｍ２のバッファｑへスタックされる。これらの操作は、折り重ね及びバッファ回路３１によって実行される。
【００１０】
バッファｑが所与の透かしパターンＷを含むか否かを検出するため、バッファの内容と透かしパターンＷは相関を受ける。疑わしい情報信号ｑの透かしパターンｗとの相関を計算することは、情報信号と透かしパターンの対応する値との内積ｄ＝＜ｑ，ｗ＞を計算することを含む。２次元のＭ１×Ｍ２の画像ブロックｑ＝｛ｑｉｊ｝と透かしパターンＷ＝｛ｗｉｊ｝については、内積は数学的に、
【００１１】
【数１】
0004257059.tif 000002
と表わすことができる。
【００１２】
疑わしい画像Ｑは、透かし検出の前に平行移動又はクロッピングといった操作を受けている可能性があるため、検出器は画像ブロックｑの境界に対する透かしパターンＷの空間的な位置を知らない。従って、全ての可能な移動ベクトルｋ（水平方向にｋｘ画素、垂直方向にｋｙ画素）に対して、多数の相関ｄｋ、即ち、
【００１３】
【数２】
0004257059.tif 000003
が計算されねばならない。上記の相関値ｄｋは、（高速）フーリエ変換を用いて同時に計算されうる。バッファｑと基本透かしパターンＷの両方の内容は、変換回路３２及び３３において夫々高速フーリエ変換（ＦＦＴ）を受ける。これらの操作は、
【００１４】
【数３】
0004257059.tif 000004
を生じさせ、式中、
【００１５】
【外１】
0004257059.tif 000005
は複素数の組である。
【００１６】
相関を計算することは、ｑとＷの共役との畳み込みを計算することと同様である。変換ドメインでは、これは、
【００１７】
【数４】
0004257059.tif 000006
に対応し、
【００１８】
【外２】
0004257059.tif 000007
は点毎の乗算を示し、ｃｏｎｊ（）は、引き数の虚部の符号を反転することを示す。図３中、
【００１９】
【外３】
0004257059.tif 000008
の共役は共役回路３４によって行なわれ、点毎の乗算は乗算器３５によって行なわれる。一組の相関値ｄ＝｛ｄｋ｝は、上記の乗算の結果を逆フーリエ変換すること、即ち、
【００２０】
【数５】
0004257059.tif 000009
によって得られ、これは逆ＦＦＴ回路３６によって行なわれる。相関値のうちの１つが顕著なピークを有する場合、即ち閾値よりも大きければ、透かしパターンが存在するとして検出される。
【００２１】
従来技術の検出方法は、疑わしい画像が、埋め込まれた透かしパターンの寸法及び／又は幾何学形状に影響を与える操作を受けたときに、パフォーマンスが低下する。このような操作の例は、拡大縮小、回転、及び伸長（又は剪断）である。まっすぐな線がまっすぐなままであり、平行な線が平行なままである一方で、平行でない線では角度が変化しうるこのような操作は、しばしばアフィン変換と称される。図５Ａ乃至図５Ｃは、図２に示される透かしが付された画像に対する拡大縮小、回転、剪断の効果を夫々示す図である。図２と同様、基本透かしパターンははっきりと見えるＷとして象徴的に示されている。しかしながら、各Ｗは、実際上は、低い振幅の知覚可能でないノイズパターンである。図５Ａ乃至図５Ｃに示される疑わしい画像と元々埋め込まれている透かし（図２参照）との間の相関は大きく失われていることが認められる。
【００２２】
図６は、本発明による透かし検出器を概略的に示す図である。検出器は、疑わしい画像の自己相関を計算し、この相関が周期的なパターンを示すか否かを決定する。図６に示される透かし検出器の実施例は、疑わしい画像の自己相関を計算する。更に特定的には、検出器は、疑わしい画像Ｑと全ての可能な移動ベクトルｋ（水平方向にｋｘ画素、垂直方向にｋｙ画素）についての同じ画像の移動されたバージョンとの間の相関、
【００２３】
【数６】
0004257059.tif 000010
を計算する。図３を参照して上述したように、必要とされる計算は、（高速）フーリエ変換を用いることによって有利に実行されうる。従って、検出器は、ＦＦＴ回路６１、共役回路６２、変換された画像とその共役されたバージョンとを点毎に乗算する乗算器６３、及び、逆ＦＦＴ回路６４を含む。
【００２４】
逆ＦＦＴ回路６４の出力は、相関値ｄｋのＮ１×Ｎ２行列である。この行列の中心（０，０）は、ｋｘ＝０，ｋｙ＝０についての相関を表わす。この値は、疑わしい画像とそれ自身との相関を表わすため、非常に高い。相関は、移動が大きくなるにつれ、急速に下方に傾く。しかしながら、画像が繰り返される透かしパターンを含む場合、行列は画像中の透かしパターンとその移動されたバージョンが一致する座標において局所的なピークを有する。図７Ａ乃至図７Ｃは、図５Ａ乃至図５Ｃに示される操作された画像についてのピークのパターンを夫々示す。尚、行列はエイリアシングにより、シフト｜ｋｘ｜＞Ｎ１／２及び｜ｋｙ｜＞Ｎ２／２に対するピークを含みうる。これらのピークは、一般的には低い値を有し、図７Ａ乃至図７Ｃには示されない。
【００２５】
ピーク検出及び解析回路６５は、ピークを検出し、ピークパターンが繰り返しパターンを示すかどうかを検出する。このため、回路は、少なくともピークのサブセットが規則的なパターンを構成するかどうか決定する。このような解析アルゴリズムは、従来技術で知られている。例えば、線形組合せにより周期的なピークパターンを再構成しうる基底ベクトルを探索する数学的なアルゴリズムがある。このようにして見つけられる基底ベクトルの例は、図７Ａ乃至図７Ｃ中、ｋ１及びｋ２として示される。繰り返しのピークパターンが数学的な解析によって見つけられる場合、回路６５は、疑わしい画像が、上述のタイル操作によって透かしが付されている画像であることを示す検出信号Ｄを出力する。回路６５は、以下説明するように更なる処理回路によって使用される基底ベクトルｋ１及びｋ２を出力する。
【００２６】
図８は、透かし検出器の他の実施例を示す図である。この検出器は、自己相関ではなく、異なる画像領域間の相関を計算する。検出器は、画像を２つの領域、例えば左半分ＱＬと右半分ＱＲに分割する画像分割回路８１を含む。相関回路は、第１のＦＦＴ回路８２、第２のＦＦＴ回路８３、共役回路８４、乗算器８５、ＩＦＦＴ回路８６を含み、上述と同様の方法で２つの半分の画像の間の相関を計算する。相関回路は、ここで画像の寸法の半分の大きさを有するピークパターンを発生させる。ピークパターンは、図６のピーク検出及び解析回路６５と同様に動作するピーク検出及び解析回路８７に与えられる。図６では単一のＦＦＴ回路（６１）があるのに対して、図８では２つのＦＦＴ回路（８２、８３）が必要であるが、これは計算上の複雑さが減少されることで補償される。計算上の複雑さは、画像を更なる領域へ分割することによって更に減少される。
【００２７】
図６及び図８に示される透かし検出器は、埋め込まれた透かしが特別な所与の透かしであるか否かについての情報を与えない。図９は、おそらく操作されているであろう疑わしい画像中に所与の透かしが存在するか否かについて検出する透かし検出器が示されている。透かし検出器は、図３を参照して上述されるような従来の透かし検出装置３を含む。本発明によれば、疑わしい画像Ｑは、従来の検出器３に与えられる前に、画像処理装置９によって処理される。画像プロセッサ９は、透かしが埋め込まれた後に画像Ｑが受けた操作を元に戻す。このため、画像プロセッサ９は、解析装置６からの上記の操作を表わすパラメータを受け取る。解析装置は、図６又は図８を参照して上述されたような装置である。装置（図７Ａ乃至図７Ｃ参照）によって見つけられた基底ベクトルｋ１及びｋ２は、画像Ｑ中の基本透かしパターンの周期性を示すパラメータの例である。画像プロセッサ９は、上記パラメータに応答して画像Ｑを操作（拡大縮小、回転、剪断、又はその組合せ）し、それにより処理された画像Ｑ’が所与の周期性を示すよう配置される。更に特定的には、疑わしい画像は、処理された画像が夫々の長さＭ１及びＭ２（ここでは１２８）に対して直交するよう処理される。これを行なうためのアルゴリズムは、画像処理の分野において周知である。
【００２８】
同じ結果は、検出されるべき透かしが疑わしい画像と同じ操作を受け、続いて疑わしい画像中に操作された透かしパターンが存在することが検出される場合に達成される。図１０は、このような透かし検出器の実施例を示す図である。解析装置６によって見つけられる操作パラメータｋ１及びｋ２は、基本透かしパターンＷに対して同じ操作を行なう処理回路１０に対して与えられる。１２８×１２８の透かしパターンＷは、このように疑わしい画像のパターンに対応するバージョンＷ”に変換される。これは図１１に示されており、図中、図５Ａ乃至図５Ｃに示される画像操作に夫々対応する拡大縮小された透かしパターン１１ａ、回転された透かしパターン１１ｂ、及び、剪断された透かしパターン１１ｃが示される。
【００２９】
図９及び図１０に示される透かし検出器の潜在的な問題は、画像プロセッサ９又は１０によって実行されるべき処理操作が基底ベクトルｋ１及びｋ２によってはっきりとは定義されていないことである。その例として、図１２Ａは、画像を９０°に亘って回転させ、その結果を剪断したときの効果を示す。解析装置６によって見つけられたピークパターンと周期性は、剪断されただけの画像（図５Ｃ参照）の周期性と全く同じである。画像プロセッサが、単に剪断操作を元に戻した場合、透かしは検出されない。幸いなことに、同じピークパターンを生じさせる操作（その組合せ）の数は限られており、その多くは実際には使用されない。このことを考慮に入れると、透かし検出器の望ましい実施例の処理回路（図９の参照番号９、図１０の参照番号１０）は、複数の適当な候補逆操作を行ない、透かし検出器３は最も高い相関を与えるものに基づいて透かしの存在を検出する。このような実施例は、当業者によれば、上述の説明を考慮に入れて容易に設計されうるため、本願では詳細には説明しない。
【００３０】
本発明は、以下のように概説される。殆どの透かし付け方法は、透かしが付けられた画像の幾何学的な歪みには耐性がなく、なぜならばこのような操作は元の透かしと操作された画像中の透かしとの間の相関を失わせるからである。相関を復元する方法及び装置が開示される。このために、疑わしい画像（Ｑ）を繰り返されるデータパターンの存在について解析する（６）。このようなパターンが見つけられなければ、画像は、小さい寸法の透かしパターンを画像全体に亘って「タイル」操作することによって透かしが付されているとすることができる。透かしが所与の透かしＷであるか否かについての実際の検出は、疑わしい画像の中で見つかったパターンの周期性を決定し、処理された画像の周期性を検出されるべき透かしの所与の周期性と一致させるよう疑わしい画像を処理すること（９）によって行なわれる。疑わしい画像が実際に所与の透かしＷを含む場合、幾何学的な操作はそれによって元に戻され、従って従来の透かし検出器はこれを示す。操作の組合せが同じ周期性を発生させうる場合、検出段階は可能な組合せの組を含む。
【図面の簡単な説明】
【図１】  従来技術の透かし埋込み器を示す図である。
【図２】  図１に示される透かし埋込み器の動作を示すために透かしが付された画像を示す図である。
【図３】  従来技術の透かし検出器を示す図である。
【図４】  図４に示される透かし検出器によって実行される動作を概略的に示す図である。
【図５Ａ】  透かしが付された画像に対する拡大縮小の効果を示す図である。
【図５Ｂ】  透かしが付された画像に対する回転の効果を示す図である。
【図５Ｃ】  透かしが付された画像に対する剪断の効果を示す図である。
【図６】  本発明による透かし検出器を示す図である。
【図７Ａ】  図６に示される透かし検出器の動作を示す相関パターンである。
【図７Ｂ】  図６に示される透かし検出器の動作を示す相関パターンである。
【図７Ｃ】  図６に示される透かし検出器の動作を示す相関パターンである。
【図８】  本発明による透かし検出器の更なる実施例を示す図である。
【図９】  本発明による透かし検出器の更なる実施例を示す図である。
【図１０】  本発明による透かし検出器の更なる実施例を示す図である。
【図１１】  図１０に示される透かし検出器の動作を示すために所与の透かしに適用される様々な種類の処理を示す図である。
【図１２】  透かしが付された画像に適用される操作の組合せの効果を示す図である。
【図１】
0004257059.tif 000011
【図２】
0004257059.tif 000012
【図３】
0004257059.tif 000013
【図４】
0004257059.tif 000014
【図５Ａ】
0004257059.tif 000015
【図５Ｂ】
0004257059.tif 000016
【図５Ｃ】
0004257059.tif 000017
【図６】
0004257059.tif 000018
【図７Ａ】
0004257059.tif 000019
【図７Ｂ】
0004257059.tif 000020
【図７Ｃ】
0004257059.tif 000021
【図８】
0004257059.tif 000022
【図９】
0004257059.tif 000023
【図１０】
0004257059.tif 000024
【図１１】
0004257059.tif 000025
【図１２】
0004257059.tif 000026