(57)【特許請求の範囲】
【請求項１】
疑わしい画像を前処理するステップと、前処理された画像とウォータマークの相関の量を決定するステップと、前記相関の量に従ってウォータマーク検出信号を生成するステップとを有する、疑わしい画像中のウォータマークを検出する方法であって、
前記前処理するステップは、元の疑わしい画像と似ているがウォータマークとの相関がより低い歪まされた画像を得るために、疑わしい画像に非畳み込みフィルタ演算を行うステップと、前記歪まされた画像を疑わしい画像から減算するステップとを有することを特徴とする方法。
【請求項２】
疑わしい画像は、画像シーケンスのうちの１つであり、方法は、動きベクトルを得るために、疑わしい画像と前記シーケンスのほかの画像との間の動きを推定するステップを有し、歪まされた画像は前記動きベクトルを使用して前記ほかの画像へ動き補償を行うことにより得られる請求項１の方法。
【請求項３】
少なくとも動きベクトルがゼロ又は同一の画像領域内では、前記動きベクトルをランダムに変更するステップを更に有する請求項２記載の方法。
【請求項４】
疑わしい画像が複数の画像領域に分割され、歪まされた画像は前記領域を異なって移動させることにより得られる請求項１記載の方法。
【請求項５】
疑わしい画像は、残余の画像と動きベクトルを有する動画ビデオ信号の、ブロックに基づいて予測的に符号化された画像であり、前記残余の画像が前処理された画像を構成することを特徴とする請求項１記載の方法。
【請求項６】
疑わしい画像に非畳み込みフィルタ演算を行う前記ステップは、疑わしい画像に非線形フィルタ演算を行うステップを有する請求項１記載の方法。
【請求項７】
前記非線形フィルタは、メディアンフィルタである請求項６記載の方法。
【請求項８】
疑わしい画像を前処理する手段と、前処理された画像とウォータマークの間の相関の量を決定する手段と、前記相関の量に従ってウォータマーク検出信号を生成する手段とを有する画像中のウォータマークを検出する装置であって、
前記前処理する手段は、疑わしい画像から、元の疑わしい画像と似ているウォータマークとの相関がより低い歪まされた画像を得るよう構成された手段と、前記歪まされた画像を疑わしい画像から減算する手段とを有することを特徴とする装置。
【発明の詳細な説明】
【０００１】
発明の分野
本発明は、疑わしい画像を前処理するステップと、前処理した画像とウォータマークの相関の量を決定するステップと、前記相関の量に従ってウォータマーク検出信号を生成するステップとを有する、疑わしい画像中のウォータマークを検出する方法に関する。本発明は、本方法を実行する装置にも関する。
【０００２】
発明の背景
前文で述べたウォータマークを検出する方法は、国際特許出願ＷＯ−Ａ９８／０３０１４に開示されている。この出願に記載されている様に、疑わしい画像と検出されるべきウォータマークとの相関の量を決定することに基づいている。相関の量が所定の閾値よりも小さい場合には、ウォータマークはないとされ、そうでなければ、存在するとされる。相関が大きくなると、更に検出の信頼性が上り、さらにウォータマークがこれ以上検出できなくなるまで更にウォータマークの付された画像の処理ができる。
【０００３】
ウォータマーク検出の信頼性を改善するために、疑わしい画像は前処理される。従来技術のウォータマーク検出方法では、従来のウォータマーク検出の前に、疑わしい画像の予測又は整合フィルタ処理を含む。そのような整合フィルタは畳み込みフィルタである。即ち、フィルタされた画像は、同じ画像の全体的な移動の空間的に一様な線形結合である。ウォータマーク上を画像が支配している周波数を減衰させるために最適化される。ウォータマーク上及び、下の画像で等しく動作する。
【０００４】
発明の概要
本発明の目的は、ウォータマークの改善された検出方法を提供することである。
【０００５】
このために、前記前処理するステップは、歪んでいるがしかし似ているウォータマークと相関が低い画像を得るために、疑わしい画像に非畳み込みフィルタ演算を行うステップと、前記歪んだ画像を疑わしい画像から減算するステップとを有することを特徴とする。
【０００６】
非畳み込みフィルタは、ここでは非線形フィルタ又は、空間的に変化する線形フィルタを意味する。
【０００７】
本発明は、ほとんどのウォータマーク機構は、（少しの）非線形又は、空間的に変化する歪にも抵抗力がないという認識に基づいている。そのような歪は、画像の外観を知覚するのには影響ないが、しかし、ウォータマーク情報を破壊する。歪んだ画像は元の画像と似ているが、しかし、ウォータマークとは相関が低い。この特性は、ここで、ウォータマーク検出の信頼性を改善するのに活用する。疑わしい画像から、歪んだ画像を減算することにより、ウォータマーク情報と下に残る画像の間の比が非常に改善された、差分画像が得られる。その後に続く従来のウォータマーク検出器の性能は、非常に改善される。
【０００８】
非線形フィル多の例は、メディアンフィルタ、極小値フィルタ、極大値フィルタである。空間的に変化する演算の例は、伸張、縮小、ずれ、動き補償及び、領域に基づく移動である。種々の優位な具体化が、請求項に定義され、以下の記載で開示される。
【０００９】
詳細な説明
図１は、本発明に従った、疑わしい画像からウォータマークを検出する装置を示す図である。配置は、画像Ｉを受信する。疑わしい画像に従来のウォータマーク検出器１を適用する前に、画像は非畳み込みフィルタ２（以後、歪回路と呼ぶ）と、疑わしい画像Ｉから歪んだ画像Ｉ’を減算する減算回路３を有する配置により前処理される。差分画像Ｑは、従来のウォータマーク検出器１に与えられる。
【００１０】
従来のウォータマーク検出器１は、乗算器１１、総和回路１２、閾値回路１３を有する。乗算器１１と総和回路１２は相関回路を構成する。乗算器は差分画像Ｑを受けウォータマークＷと乗算する。ウォータマークＷは、目立たない様に画像Ｐの対応する画素ｐｉｊに加算されたデータ値ｗｉｊのマトリックスである。
【００１１】
図１に示す装置のタスクは、疑わしい画像Ｉはウォータマークが付されているか（Ｉ＝Ｐ＋Ｗ）否か（Ｉ＝Ｐ）を検出することである。このために、相関回路（１１，１２）は、差分画像ＱとウォータマークＷの以下で定義される内積＜Ｑ，Ｗ＞を計算する。
【００１２】
【数１】
0004001717.tif 000002
ここで、Ｎ１とＮ２は画素数で数えた画像の幅と高さであり、ｑｉｊは位置（ｉ，ｊ）における差分画像Ｑの画素値であり、ｗｉｊは画素位置（ｉ，ｊ）におけるウォータマークのデータ値である。画像信号が  アナログ信号の場合には、総和回路１２は積分器である。
【００１３】
相関＜Ｑ，Ｗ＞の計算は、フーリエ領域でしばしば行われる。フーリエ領域における差分画像のダイナミックレンジは小さいので、差分画像は、浮動少数点よりもむしろ整数で表現される。これにより、ハードウェアの複雑さはかなり減少される。
【００１４】
総和回路１２の出力＜Ｑ，Ｗ＞は、入力信号Ｑと与えられたウォータマークＷとの間の相関の量を表す。閾値回路１３は、前記相関の量が、所定の閾値を超えたかどうかを決定する。検出信号Ｄ＝１が発生された場合には、ウォータマークの存在を示す。そうでなければ，ウォータマークは無い（Ｄ＝０）。
【００１５】
図２は、本発明に従った、ウォータマークを検出する装置の実施例を示す図である。本実施例では、疑わしい画像Ｉは、共に動画ビデオ信号を構成する画像シーケンスの１つである。歪回路２は、動き推定回路２１、メモリ２２及び、動き補償回路２３を有する。シーケンスの以前の画像はメモリ２２の出力で利用可能である。以前の画像（以後参照画像と呼ぶ）は、前の画像又は、幾つかの画像だけ離れた画像でも良い。現在の画像と同じウォータマークを有する。参照画像と現在の画像は、動き推定回路２１に与えられる。動き推定は、画像符号化の分野では良く知られた操作であり、詳細な説明は不要である。動き推定回路２１は、現在の画像の各画像ブロックに対して，メモリ２２内の最も似ている画像ブロック検索し、このように見つけたブロックとの相対位置を示す動きベクトルｍｖを発生する。動き推定は、画像内容が支配的なので、ウォータマークによりめったに影響を受けないことに注意する。
【００１６】
動きベクトルｍｖと参照画像は、現在の画像の予測を得るために、動き推定回路２３へ与えられる。予測画像Ｉ’は、現在の画像と似ているが、ウォータマークは動きベクトルにより移動させられている。これは，図３Ａから３Ｃで、例により示されている。図３Ａでは、動き推定回路２１により発生された動きベクトルが矢印により示されている。例えば、動きベクトル３１は、現在の画像Ｉの画像ブロック３２に非常に似ている参照画像の画像ブロック３３が見つかったことを示す。図３Ｂは、現在の画像と参照画像で同じであるウォータマークを示す。明確にするために、この例では、ウォータマークのパターンは非常に単純であるとする。実施には、ウォータマーク上で支配している画像コンテンツはこの図では示されていない。図３Ｃは、動き補償回路により発生された予測画像Ｉ’を示す。予測画像の画像ブロック３４は、参照画像（図３Ｂ）の画像ブロック３３とと同じであり、現在の画像のブロック３２と似ているが、しかしウォータマークはシフトされている。この図でも、支配する画像コンテンツを示していない。
【００１７】
疑わしい画像Ｉから予測画像Ｉ’を引いた後に得られる差分画像Ｑは、
【００１８】
【数２】
0004001717.tif 000003
のように書ける。ここで、Ｐ’とＷ’は動き補償された画像コンテンツと動き補償されたウォータマーク（図３Ｃ参照）をそれぞれ示す。
【００１９】
完全な動き推定の場合には、画像の残余（Ｐ−Ｐ’は、非常に小さく、ウォータマーク検出器１により計算された相関は、
【００２０】
【数３】
0004001717.tif 000004
近似できる。
図３Ｂと３Ｃを参照して容易に理解できる様に、動きベクトルが十分に異なっている場合には、ウォータマークＷと動き補償されたＷ’との間の相関を表す項＜Ｗ，Ｗ’＞は小さい。相関＜Ｑ，Ｗ＞はこのように主に望まれる項＜Ｗ，Ｗ＞により定義される。
【００２１】
動き推定（２１）、動き補償（２３）及び、減算（３）はビデオ伝送連鎖の符号化端で既に行われている場合が多いことに注意する。例えば、ＭＰＥＧ符号化されたビデオ信号は予測的に符号化された（ＰとＢ）画像を含む。それらは、残余の画像と動きベクトルとして伝送される。その点で，受信されたＭＰＥＧビデオ信号中のウォータマークを、残余の画像にウォータマーク検出を行うことにより検出できる。
【００２２】
図２に示すウォータマーク検出装置の実施例は，動き画像と参照画像間に動きが無い場合（全動きベクトルがゼロの場合）には、性能が低下する。また、大きな画像領域が同じ動きベクトル（全動きベクトルが同じ）であるときは、性能が低下する。図４は、問題が緩和された装置の実施例を示す。実施例は，図２に示す実施例と、動き推定回路２１と動き補償回路２４の間に動きベクトルｍｖをランダムに変更する回路２４が挿入されている点で異なる。それゆえ、ウォータマークＷと動き補償された対の片方Ｗ’は、（大部分の）動きベクトルが均一か否かに関わらず、無相関にされることが達成される。動きベクトルをランダムにすることの欠点は、動き推定が完全でも残余の画像の成分（上述の式のＰ−Ｐ’）が増加することである。これは、必要なら，動きベクトルが実質的にゼロ又は、同一の画像領域でのみ動きベクトルを変更することにより解決できる。
【００２３】
ウォータマーク検出の性能は動きベクトルをランダム化することにより劇的な影響は受けないことが分かった。観測により図５に示す更なる実施例が導かれる。この実施例では、動き推定回路が省略され、動きベクトルをランダムに発生する回路２５で置換される。この実施例は高価な動き推定器が不要な点でコスト効率が良いだけで無く、同じウォータマークを有する以前の画像を参照すること無く孤立した画像中のウォータマークを検出するのにも使用できる。このために、動き補償回路２３は、以前の参照画像の代わりに疑わしい画像を受信する。実際に、図５の歪回路２は、図３Ｃに示す疑わしい画像Ｉのランダムに移動されたことにより歪まされた画像Ｉ’を発生する。
【００２４】
図６Ａから６Ｃは、歪回路２により行われる空間的に変化する線形フィルタ動作の更なる例を示す図を示す。図において、矩形ＡＢＣＤは疑わしい画像を示し、ポリゴンＡ’Ｂ’Ｃ’Ｄ’は歪まされた画像Ｉ’を示す。図６Ａにおいて、歪んだ画像は、伸張（又は、画像サイズが減少するなら縮小）により得られる。図６Ｂにおいては、歪まされた画像はずれにより得られる。図６Ｃにおいては、歪まされた画像は回転により得られる。
【００２５】
本発明に従った装置の更なる実施例は、歪フィルタが非線形フィルタである。そのようなフィルタの例は、メディアンフィルタである。メディアンフィルタは、Ｎ入力サンプルの系列を受信し、系列を値の降順又は、昇順に再配置し、再配置された系列の真中のサンプルを選択する。ここで、メディアンフィルタは、系列のサンプルの第ｎ番目のサンプル（真中である必要は無い）を選択することを意味するとも理解されるべきである。メディアンフィルタされたウォータマーク画像は、画像コンテンツに関する限り非常に似た画像を生じるが、しかし、埋め込まれたウォータマークを大きく破壊する。このために、疑わしい画像Ｉからフィルタされた画像Ｉ’を減算した後に、画像情報は減少され、そして、ウォータマークは維持される。図６に示す実施例では、メディアンフィルタは、３＊３のメディアンフィルタである。疑わしい画像の各画素は、原画素と８個の隣接する画素を有する系列の中間値により置換される。
【００２６】
以上まとめると、疑わしい画像（Ｉ）とウォータマーク（Ｗ）の間に所定量の相関がある場合には、疑わしい画像にウォータマークが埋め込まれていると仮定する。このようなウォータマーク検出方法の信頼性は、疑わしい画像に似た歪まされた画像（Ｉ’）は得られるが、一方ウォータマークは破壊される様にして、疑わしい画像を歪ませる（２）ことによりかなり改善される。歪まされた画像は、ウォータマークが更に支配的な残余の画像（Ｑ）を得るために、疑わしい画像から歪まされた画像が減算される（３）。歪は、伸張、縮小、ずれ又は、回転又は、非線形変換又は、フィルタ操作のような空間的に変化する歪でも良い。
【図面の簡単な説明】
【図１】  本発明に従った、ウォータマークを検出する方法を実行する装置の概略を示す図である。
【図２】  本発明に従った、ウォータマークを検出する装置の実施例を示す図である。
【図３】  図３Ａから３Ｃは、図２に示す装置の動作を示す図である。
【図４】  本発明に従った、ウォータマークを検出する装置の更なる実施例を示す図である。
【図５】  本発明に従った、ウォータマークを検出する装置の更なる実施例を示す図である。
【図６】  図６Ａから６Ｃは、図１に示す歪回路の更なる実施例の動作を示す図である。
【図１】
0004001717.tif 000005
【図２】
0004001717.tif 000006
【図３Ａ】
0004001717.tif 000007
【図３Ｂ】
0004001717.tif 000008
【図３Ｃ】
0004001717.tif 000009
【図４】
0004001717.tif 000010
【図５】
0004001717.tif 000011
【図６Ａ】
0004001717.tif 000012
【図６Ｂ】
0004001717.tif 000013
【図６Ｃ】
0004001717.tif 000014