(57)【要約】ウォータマーク検出方法が開示され、本方法は、疑わしい信号とウォータマークとの間の相互相関を計算することに基づいている。相関に悪影響を及ぼす長く続く支配的な信号成分に対してよりロバストとするため、ウォータマークと相関がとられる信号サンプルの系列６１は、サブ系列Ａ（ｋ）に分割される。サブ系列は、重み付け関数により処理され、オリジナルの信号の変動を個々に示すが、より平坦なサンプル値の分布を集合的に示す変更されたサブ系列Ｂ（ｋ）が得られる。これにより、信号における支配的なピークが大幅に低減される。
2005534053.tif 000002
【特許請求の範囲】
【請求項１】
信号におけるウォータマークを検出する方法であって、
信号サンプルからなる系列と予め決定されたウォータマークとの間の相関を計算するステップと、該相関が所与の閾値を超えるかを検出するステップとを有し、
該信号サンプルからなる系列を前処理するステップをさらに含み、該前処理ステップは、
該信号サンプルからなる系列をサブ系列に分割するステップと、
該サブ系列の全ての信号サンプルを同じ重みに従属させ、該系列を通して実質的に平坦な分散の信号サンプルを得るため、サブ系列からサブ系列に該重みを変えるステップと、
前処理された信号サンプルからなる系列を得るため、重み付けされたサブ系列を連結するステップと、
を含むことを特徴とする方法。
【請求項２】
相関の前に複数の信号サンプルからなる系列を蓄積するステップをさらに含み、
該前処理ステップは、蓄積された系列に適用される、
ことを特徴とする請求項１記載の方法。
【請求項３】
該信号サンプルからなる系列をサブ系列に分割する該ステップは、オーバラップするサブ系列に分割するステップを含む、
請求項１記載の方法。
【請求項４】
該オーバラップは５０パーセントである、
請求項３記載の方法。
【請求項５】
オーバラップするサブ系列に分割する該ステップは、窓関数を該オーバラップするサブ系列に適用するステップを含む、
請求項３記載の方法。
【請求項６】
該重み付けする該ステップは、該信号サンプルのサブ系列をフーリエ変換するステップ、フーリエ係数の大きさを正規化するステップ、及び正規化された係数を逆変換するステップを含む、
請求項１記載の方法。
【請求項７】
該重み付けするステップは、サブ系列の全ての信号サンプルを該サブ系列の最も大きい信号サンプルで割るステップを含む、
請求項１記載の方法。
【請求項８】
信号におけるウォータマークを検出するための装置であって、
信号サンプルからなる系列と予め決定されたワータマークとの間の相関を計算するための計算手段と、該相関が所与の閾値を超えるかを検出するための閾値手段とを有し、
該信号サンプルからなる系列を前処理するための前処理手段をさらに有し、該前処理手段は、
該信号サンプルからなる系列をサブ系列に分割するための分割手段と、
該サブ系列の全ての信号サンプルを同じ重みに従属させ、該系列を通して実質的に平坦な分散の信号サンプルを得るため、サブ系列からサブ系列に該重みを変えるための重み付け手段と、
前処理された信号サンプルからなる系列を得るため、重み付けされたサブ系列を連結するための連結手段と、
を含むことを特徴とする装置。
【請求項９】
請求項１乃至７のいずれか記載の方法を実行するためのコンピュータプログラムをコンピュータに実行させるために調整されるコンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号におけるウォータマークの検出の方法及び装置に関し、本方法は、信号サンプルからなる系列と予め決定されたウォータマークとの間の相関を検出するステップ、及び該相関が所与の閾値を超えているかを検出するステップを有している。
【背景技術】
【０００２】
ウォータマークは、オーディオ及びビデオのような情報信号のコンテンツに埋め込まれている知覚できないメッセージである。ウォータマークは、モニタリング及びコピー制御のような、様々なアプリケーションをサポートする。それぞれのウォータマークのサンプルに従って信号のサンプルを変更することで、一般に、ウォータマークが信号に埋め込まれる。用語「サンプル」は、ウォータマークが埋め込まれる領域における信号値を示している。
【０００３】
従来のオーディオ向けのウォータマーク埋め込み及び検出システムは、Jaap  Haitsma,  Michiel  vander  Veen,  Ton  Kaller及びFons  Bruekersによる“Audio  Watermarking  for  Monitoring  and  Copy  Protection”,  ACM  Multimedia  Conference,  October30-November4,  2002,  pp.  119-122に開示されている。オーディオ信号は、フレームにセグメント化されており、周波数領域に変換される。ウォータマーク系列は、それぞれのフーリエ係数の大きさで埋め込まれる。検出器は、時間領域のバージョンのウォータマークが埋め込まれたオーディオ信号を受信する。受信された信号は、フレームにセグメント化され、周波数領域に変換される。フーリエ係数の大きさは、ウォータマークとの相互相関がとられる。相関が所与の閾値を超える場合、ウォータマークが存在するとされる。開始節で定義される表現「信号サンプルの系列」は、このケースにおけるオーディオフレームのフーリエ係数の大きさをいう。
【０００４】
従来のビデオ向けのウォータマーク埋め込み及び検出システムは、Ton  Kaller,  Greert  Depovere,  Jaap  Haiysma及びMaurice  Maesによる“A  Video  Watermarking  System  for  Broadcast  Monitoring”,  Proceedings  of  SPIE,  Vol.3657,  January  1999,  pp.103-112に開示されている。このシステムでは、ウォータマークは、画素領域に埋め込まれる。ウォータマーク系列は、１２８×１２８ウォータマークパターンであり、このパターンは、画像にわたりタイル張りされる。ウォータマーク検出器は、１２８×１２８イメージブロックをウォータマークパターンと相関をとる。相関が十分に高い場合、ウォータマークが存在するとされる。開始節で定義される表現「信号サンプルの系列」は、このケースでは１２８×１２８画素のイメージブロックを示している。
【０００５】
ウォータマーク検出アルゴリズムは、オーディオ信号に存在するか又はオーディオ信号に加えられる強い信号トーン、各ビデオフレームにおける固定された位置に存在する強度のロゴ、若しくは各フレームの下にある白のサブタイトル文字のような、アタック又は特定の信号条件に対して高感度にすることができる。
【発明の開示】
【課題を解決するための手段】
【０００６】
本発明の目的は、従来のウォータマークの検出方法の性能を改善することにある。
上記目的のため、本発明の方法は、本方法が信号サンプルの系列を前処理するステップを含むことを特徴としており、該前処理ステップは、信号サンプル系列をサブ系列に分割するステップ、サブ系列の全ての信号サンプルを同じ重みに従属させ、該系列にわたって実質的にフラットな信号サンプルの分布を得るため、サブ系列からサブ系列に該重みを変化させるステップ、及び信号サンプルの前処理された系列を得るため、重み付けされたサブ系列を連結するステップ、を有することを特徴としている。
【０００７】
本発明に係る方法は、ウォータマークを表している微小な信号の変動を保持しつつ、大きな信号ピークを効果的に抑圧する。このことは、信号における乱れ成分（disturbing  component）の位置を知ること又は検出することなしに達成される。
【０００８】
本発明は、ウォータマーク検出方法が複数の信号系列の蓄積を含んでいる場合に特に効果的である。かかる蓄積により、検出の信頼性が通常改善されるが（ウォータマークが加えられて信号が平均化される）、これは、信号が実質的に全ての蓄積された系列に同じ乱れ成分を含むケースではもはやない。本発明に係る方法の好適な実施の形態では、前処理は、かかる蓄積された系列に適用される。乱れ成分が蓄積された系列から効果的に除かれることで達成される。
【０００９】
本発明に係る方法の有利な実施の形態では、信号サンプルの系列は、オーバラップする、好ましくは窓関数が乗じられるサブ系列に分割される。適切な窓は、公知のハミング窓であるか、又はハミング窓の平方根である。５０％のオーバラップは、良好な結果を与えることが分かっている。ウォータマークと相関がとられる連結された系列は、重み付けされたサブ系列を加えることで得られる。
【００１０】
好ましくは、重み付けするステップは、信号サンプルのサブ系列をフーリエ変換するステップ、該フーリエ係数の大きさを正規化するステップ、及び正規化された係数を逆変換するステップを有している。代替的に、重み付けするステップは、サブ系列の全ての信号サンプルを該サブ系列の最も大きな信号サンプルにより分割するステップを有している。第二のオプション、すなわちスケーリングは、第一のオプションよりも低い算術的な複雑さを有しており、重み付けは、周波数領域における大きさを正規化することで得られる。両方の実施の形態では、系列は、信号の特性に基づいて適応的に重み付けされる。
本発明のこれらの態様及び他の態様は、添付図面を参照することで明らかとされるであろう。
【発明を実施するための最良の形態】
【００１１】
本発明は、オーディオ信号に埋め込まれるウォータマークの検出を参照して説明される。背景情報を提供するため、埋め込み装置がはじめに説明される。図１は、かかる構成を概念的に示している。この構成は、オーディオサンプルｘ（ｎ）の形式でオーディオ信号を受信し、ウォータマークｗ（ｎ）を信号に加えるための加算器１０１を有している。ウォータマークｗ（ｎ）の支配的な部分は、フーリエ領域で導出される。この構成は、セグメント化ユニット（ＳＧＭＮＴ）１０２を備えており、このユニットは、オーディオ信号をフレーム又は２０４８サンプルの系列にセグメント化する。この系列は、フーリエ変換ユニット（Ｆ）１０３を使用して変換される。周波数領域におけるランダムウォータマークＷ（ｋ）は、平均及び標準偏差０及び１をそれぞれもつ正規分布から引き出される。ウォータマークＷ（ｋ）は、シフト回路（ＳＨＦＴ）１０４において、１０ビットペイロードｄを表す量だけ巡回的にシフトされる。フーリエ係数の大きさは、以下の式に従って乗算器１０５だけ変更される。
【００１２】
【数１】
2005534053.tif 000003
ここでｉはフレーム又は系列番号を示し、Ｘi（ｋ）はフレームｘi（ｎ）のスペクトル表現であり、Ｗs（ｋ）はＷ（ｋ）の巡回的にシフトされたバージョンであり、Ｗi（ｋ）は結果的に得られる周波数領域のウォータマークである。時間領域のウォータマーク表現ｗ（ｎ）を得るため、逆フーリエ変換（Ｆ-1）１０６が使用される。
【００１３】
図２は、本発明に係るウォータマークを検出するための構成に関する好適な実施の形態を概念的に示している。この図で例示するために試みられているように、本構成は、蓄積（１）、前処理（２）及び相関（３）といった３つの主要なステージを有している。
【００１４】
蓄積ステージのセグメント化ユニット（ＳＧＭＮＴ）１１では、本装置は、疑いのあるオーディオ信号ｙ（ｎ）をフレーム又は２０４８オーディオサンプルからなる系列ｙi（ｎ）にセグメント化する。それぞれの系列は、フーリエ変換（Ｆ）され（１２）、フーリエ係数Ｙi（ｋ）の大きさが計算される（１３）。フレームｉのフーリエ係数の大きさは、ウォータマーク情報が埋め込まれている、１０２４の実数の系列｜Ｙ｜i（ｋ）を構成している。好適な実施の形態の構成では、複数のかかる系列｜Ｙ｜i（ｋ）がアキュムレータ１４により蓄積され、蓄積された系列Ｙ（ｋ）が取得される。蓄積されている系列の数は、周期、すなわち２秒のオーディオ信号を表すために選択される。
【００１５】
相関ステージ３が以下に簡単に説明される。相関を使用したウォータマーク検出に関する詳細な説明のため、国際特許出願WO99/45707号が引用される。相関ステージは、信号サンプルの蓄積された系列（この例では「信号サンプル」は、フーリエ係数の大きさを示す）と、それぞれ可能性のあるシフトされたバージョンのウォータマーク系列Ｗ（ｋ）との間の相関Ｃを計算する。相関ステージは、系列Ｚ（ｋ）を受ける。はじめに、相関ステージが蓄積ステージ１から蓄積された系列を直接受けること、すなわちＺ（ｋ）＝Ｙ（ｋ）であることが想定されている。
【００１６】
それぞれ可能性のあるシフトされたバージョンのＷ（ｋ）の相互相関は、フーリエ変換を使用して最も効率的に計算される。慣習的な相互相関は、以下のように表される場合がある。
【００１７】
【数２】
2005534053.tif 000004
ここでＦ（．）はフーリエ変換を示し、Ｆ*（．）は複素フーリエ係数の共役を含むフーリエ変換であり、Ｆ-1（．）は逆フーリエ変換である。それぞれの変換は、図２におけるフーリエ変換回路３１，３２及び３３により実行される。乗算は、乗算器３４により実行される。検出パフォーマンスは、ＳＰＯＭＦ（Symmetrical  Phase  Only  Filtering）によりエンハンスされる。この相互相関の手順では、信号Ｆ（Ｚ（ｋ））及びＦ*（Ｗ（ｋ））の位相情報のみが使用される。位相のみの演算は、以下のように定義される。
【００１８】
【数３】
2005534053.tif 000005
この位相のみの演算は、図２におけるそれぞれの位相抽出回路３５及び３６により実行される。
【００１９】
ピーク検出器（PEAK  DET）４は、相互相関関数Ｃがピーク値ρを示すかを判定し、このピーク値は、所与の検出閾値（たとえば５δ、ここでδは相関関数の標準偏差）よりも大きい。このケースでは、ウォータマークＷ（ｋ）は、存在するものと判定される。ピーク検出器は、該ピーク値の位置を調べ、このピーク値は、ウォータマークに加えられるシフト量に対応しており、したがって１０ビットのペイロードｄを表している。しかし、この態様は、本発明に関連しない。
【００２０】
図３は、オーディオ信号の１秒間隔で計測される相関ピーク値ρのグラフを示している。実線３１は、正規の音楽部分の結果を示している。容易に理解できるように、それぞれのピーク値は、閾値５δを明らかに超えており、すなわち信号は、埋め込まれたウォータマークを有している。破線３２は、同じ音楽部分のピーク値を示しており、強い１５ｋＨｚの正弦波により乱れている。ピーク値のいずれもが閾値５δを超えていない。検出器は、この信号が埋め込まれたウォータマークを有していないことを誤って判定する。図４及び図５を参照して、問題点が説明される。図４では、符号４１は、正規の音楽部分から導出された典型的な蓄積された系列を示している。図５では、符号５１は、同じであるが乱れた音楽部分から導出された対応する系列Ｙ（ｋ）を示している。１５ｋＨｚのトーンは、ウォータマーク情報を搬送する系列５１におけるフーリエ成分の大きさにおける変動が系列４１における変動に比較して問題にならないまでに減少されるように、信号を支配する。
【００２１】
問題を克服するための可能性のある解決策は、乱れ成分が存在する信号の一部、たとえば、ビデオフレームの一部又はオーディオスペクトルの一部を無視することである。たとえば、ビデオ信号におけるロゴの位置は、対応する画素を無視することができるように、前もって知られている場合がある。または、オーディオウォータマーク検出器がＦＭラジオ局を観察している場合、搬送波に近い周波数が無視される。信号の一部を無視することは、多かれ少なかれ突然の重み関数を信号に適用することとして見ることができる。しかし、乱れ成分の位置は、一般的に知られていない。重み付け関数を信号に適合させるため、ある種のメカニズムが望まれる。
【００２２】
上記のため、本発明に係るウォータマークを検出する構成は、蓄積ステージ１と相関ステージ２との間に前処理ステージ２を含んでいる（図２参照）。前処理ステージは、サブセグメント化ユニット２１、重み付け回路２２及び連結回路２３を含んでいる。
【００２３】
サブセグメント化ユニット２１は、蓄積された系列Ｙ（ｋ）を複数の可能性のあるオーバラップし、かつ窓関数が乗じられたサブ系列Ａ（ｋ）に分割する。系列Ｙ（ｋ）が１０２４の信号サンプルを有しているオーディオ信号について、１６サンプルのサブ系列の長さは、良好な選択であることが分かっている。
【００２４】
重み付け回路２２は、それぞれ個々のサブ系列を重み付け関数に従属させる。重み付け関数は、それぞれのサブ系列内の信号サンプルのオリジナルの変動を保持しつつ、全体の系列を通しての信号サンプルの分散が実質的に平坦であるように選択される。表現「実質的に平坦である」とは、たとえば、サブ系列の信号サンプルの平均値が全てのサブ系列について同じであることを意味している場合がある。
【００２５】
１実施の形態では、これは、周波数領域でそれぞれのサブ系列の大きさを正規化することで達成される。このため、重み付け回路は、以下の演算を実行する。
【００２６】
【数４】
2005534053.tif 000006
ここでＦ（．）はフーリエ変換を示し、Ｐ（．）は先に定義されたような位相のみの演算を示し、Ｆ-1（．）は逆フーリエ変換を示している。
【００２７】
別の実施の形態では、以下のスケーリング演算により重み付けが実行される。
【００２８】
【数５】
2005534053.tif 000007
Ａk及びＢkはオリジナルのサブ系列Ａ（ｋ）及び重み付けされたサブ系列Ｂ（ｋ）のサンプルをそれぞれ示しており、｜Ａk｜はサブ系列Ａ（ｋ）の信号サンプルの最も大きな絶対値である。
【００２９】
重み付けされたサブ系列Ｂ（ｋ）は、前処理された系列Ｚ（ｋ）を取得するため、連結回路２３により続いて連結される。サブ系列が互いにオーバラップする場合、適切なウィンドウ（たとえば、ハミング窓）がＢ（ｋ）に適用されることが好ましい。相関ステージ３に入力されるのは、前処理された系列Ｚ（ｋ）である。
【００３０】
図６は、前処理演算を概念的に例示する図である。参照符号６１は、サブ系列Ａ（ｋ）に分割されている蓄積された系列Ｙ（ｋ）を示している。図示するために試みられているように、それぞれのサブ系列Ａ（ｋ）が重み付けされる。同じ重み付け要素は、サブ系列の全ての信号サンプルに適用されているが、異なる重み付け要素が異なるサブ系列に適用される。結果として、信号サンプルにおける変動を局所的に保持しつつ、信号サンプルのよりフラットな分散が得られる。
【００３１】
図４及び図５は、実際の特定の音楽部分の前処理ステージ２の作用を例示している。先に既に説明されたように、図４における符号４１は、正規の音楽部分から導出された蓄積された系列Ｙ（ｋ）を示している。図５における符号５１は、強度の１５ｋＨｚトーンにより乱されている同じ音楽部分から導出された蓄積された系列Ｙ（ｋ）を示している。系列は、１０２４の蓄積された信号サンプルを有している。参照符号４２及び５２は、式（１）により定義されるような周波数領域におけるそれぞれのサブ系列の振幅を正規化することで得られる、対応する重み付けされた系列Ｚ（ｋ）を示している。参照符号４３及び５３は、式（２）により定義されたようなスケーリングにより得られた対応する重み付けされた系列Ｚ（ｋ）を示している。両方の音楽部分についてであるが、特に乱れた音楽部分について、図は、かなり大きな相関ピークが相関ステージにより検出されることが予想される。
【００３２】
図３には、本発明に係るウォータマーク検出方法により達成される改善が示されている。この図では、実線は、正規の音楽部分を示し、破線は、乱れた音楽部分を示している。実線３１及び破線３２は、既に前に説明されている。実線３３及び３５は、式（１）に従う重み付け演算の性能を示している。破線３４及び３６は、式（２）に従う重み付け演算の性能を示している。容易に理解することができるように、全てのピーク相関値は、ピーク検出器４により使用される閾値５δを超えたところにある。完璧さのため、図７は、同じ音楽部分について同一のレジェンド及び参照符号をもつ同じグラフを示しているが、ＭＰＥＧ３符号化及びその後復号化されている。
【００３３】
先に説明された実施の形態では、ウォータマークは、フーリエ係数の大きさ、すなわち周波数領域における僅かな変更により表されている。しかし、本発明は、時間領域又は空間（ビデオ）領域で埋め込まれているウォータマークの検出に対して同様に適用可能であることが理解される。
【００３４】
ウォータマーク検出方法が開示され、疑わしい信号とウォータマークとの間に相互相関を計算することに基づいている。相関に悪影響を及ぼす延長される支配的な信号成分に対してよりロバストであるため、ウォータマークと相関がとられる信号サンプル６１の系列は、サブ系列Ａ（ｋ）に分割される。オリジナルの信号の変動を個々に示すが、よりフラットなサンプル値の分布を集合的に示す変更されたサブ系列Ｂ（ｋ）を得るため、重み付け関数によりサブ系列が処理される。これにより、信号における支配的なピークが大幅に低減される。
【図面の簡単な説明】
【００３５】
【図１】ウォータマーク埋め込み処理に関する背景情報を提供するため、ウォータマークを埋め込むための従来の構成を概念的に示すブロック図である。
【図２】本発明に係るウォータマークを検出するための好適な実施の形態に関する構成を概念的に示すブロック図である。
【図３】本発明に係る方法の性能を説明するためのオーディオ信号向けの相関ピーク値のグラフを示す図である。
【図４】図２において示されるウォータマーク検出構成の動作を説明する図である。
【図５】図２において示されるウォータマーク検出構成の動作を説明する図である。
【図６】図２において示されるウォータマーク検出構成の動作を説明する図である。
【図７】本発明に係るウォータマーク検出の性能を説明するための相関ピーク値の更なるグラフである。
【図１】
2005534053.tif 000008
【図２】
2005534053.tif 000009
【図３】
2005534053.tif 000010
【図４】
2005534053.tif 000011
【図５】
2005534053.tif 000012
【図６】
2005534053.tif 000013
【図７】
2005534053.tif 000014
【国際調査報告】
2005534053.tif 000015
2005534053.tif 000016
2005534053.tif 000017