(57)【要約】  本発明は、ＱＩＭに基づくウォーターマーキングスキームにおいて生じる恐れのあるスケール劣化の問題に対処する。本発明によれば、埋め込み器（１１）及び検出器（２１）により用いられる量子化ステップサイズ（Ｄ）が、適用される信号が係数（ａ）によりスケーリングされる場合に、該量子化ステップサイズが実質的に同じ係数によりスケーリングされる特性を持つ可測特性パラメータから得られる（１２、２２）。好ましい実施例においては、前記パラメータは、信号のエネルギの平方根であり、量子化ステップはその所定の小数部（α）である。
2005513543.tif 000002
【特許請求の範囲】
【請求項１】
メディア信号の信号成分に量子化ステップを用いるＱＩＭを施すことにより補助情報を該メディア信号に埋め込む方法において、
前記信号成分の可測特性パラメータから前記量子化ステップを導く工程を有することを特徴とする方法。
【請求項２】
前記工程は前記量子化ステップを前記特性パラメータに比例するように制御する工程を含み、該特性パラメータは、前記メディア信号成分がある倍率によりスケーリングされる場合に同一の倍率によりスケーリングされる特性を持つことを特徴とする請求項１に記載の方法。
【請求項３】
前記特性パラメータは前記信号成分のＬｐ−ノームであることを特徴とする請求項１に記載の方法。
【請求項４】
前記特性パラメータは前記信号成分のエネルギの平方根であることを特徴とする請求項１に記載の方法。
【請求項５】
前記信号成分は前記メディア信号の個々のサンプルであることを特徴とする請求項１に記載の方法。
【請求項６】
前記信号成分は前記メディア信号のスペクトル周波数成分であることを特徴とする請求項１に記載の方法。
【請求項７】
前記特性パラメータは関連する周波数副帯域における前記スペクトル周波数成分のエネルギの平方根であることを特徴とする請求項６に記載の方法。
【請求項８】
前記副帯域は対数的な間隔で並んだ副帯域であることを特徴とする請求項７に記載の方法。
【請求項９】
メディア信号の信号成分に量子化ステップを用いるＱＩＭを施すことにより補助情報を該メディア信号に埋め込むための装置において、
前記信号成分の可測特性パラメータから前記量子化ステップを導くための手段を有することを特徴とする装置。
【請求項１０】
メディアホスト信号の信号成分にＱＩＭを施すことによりウォーターマーク入りメディア信号に埋め込まれているデータを取得する方法であって、量子化ステップを用いて前記埋め込まれたデータを取得する工程を有する方法において、
前記ウォーターマーク入り信号成分の可測特性パラメータから前記量子化ステップを導く工程を有することを特徴とする方法。
【請求項１１】
前記量子化ステップを導く工程は前記量子化ステップを前記特性パラメータに比例するように制御する工程を含み、該特性パラメータは、前記メディア信号成分がある倍率によりスケーリングされる場合に同一の倍率によりスケーリングされる特性を持つことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記特性パラメータは前記信号成分のＬｐ−ノームであることを特徴とする請求項１０に記載の方法。
【請求項１３】
前記特性パラメータは前記信号成分のエネルギの平方根であることを特徴とする請求項１０に記載の方法。
【請求項１４】
前記信号成分は前記メディア信号の個々のサンプルであることを特徴とする請求項１０に記載の方法。
【請求項１５】
前記信号成分は前記メディア信号のスペクトル周波数成分であることを特徴とする請求項１０に記載の方法。
【請求項１６】
前記特性パラメータは関連する周波数副帯域における前記スペクトル周波数成分のエネルギの平方根であることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記副帯域は対数的な間隔で並んだ副帯域であることを特徴とする請求項１６に記載の方法。
【請求項１８】
メディアホスト信号の信号成分にＱＩＭを施すことによりウォーターマーク入りメディア信号に埋め込まれているデータを取得する装置であって、量子化ステップを用いることにより前記埋め込まれたデータを取得するように構成された装置において、
前記ウォーターマーク入り信号成分の可測特性パラメータから前記量子化ステップを導く手段を有することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディア信号の信号成分にＱＩＭ(quantization index modulation)を施すことにより補助情報を該メディア信号に埋め込むための方法及び装置に関する。本発明はまた、このように埋め込まれたデータをウォーターマーク入り信号(watermarked signal)から取得する(retrieve)ための方法及び装置に関する。
【背景技術】
【０００２】
デジタルウォーターマーキングは、補助情報をオーディオビジュアルオブジェクトに埋め込む技術である。デジタルウォーターマーキングには多くの応用例がある。例えば、コピー（著作権）保護、ロイヤルティの追跡、商業的認証、付加価値のコンテンツ、インタラクティブトイ等々様々である。デジタルウォーターマーキングに対する古典的なアプローチは基本的にノイズの付加であり、これにより、既知のノイズライクな信号ｗの付加がオリジナル信号ｓに変形をきたす。ウォーターマークの検出は本質的に相関関係にあり、結果としての相関値が２つの成分、即ち、所望項(wanted term)<s、s>及び干渉項(interference term)<s、w>からなる。この後者の干渉項が、ノイズの付加が、少なくとも理論的に、ウォーターマーキングに対しそれほど最適でない方法であることの主な理由である。
【０００３】
最近の刊行物は、あるアタックモデル(attack models)を仮定して、最適なウォーターマーキングが量子化により達成され得ることを示している。本質において、量子化ウォーターマーキングは結果として以下のようになる。ホスト信号sの空間Sにおいて、N組のコードポイントCnが選ばれる。ここで、Nは埋め込まれるべきメッセージの数（ウォーターマークのペイロード）に等しい。メッセージｍが、ホスト信号sを信号s_に変形することにより該ホスト信号sに、s及びs_が(知覚的に)近くなるように且つs_がCm内のポイントに如何なる他のコードセットCn内の如何なる他のポイントよりも近くなるように埋め込まれる。ここで、nはmと異なる。この種のウォーターマーキングは、通例、Quantization Index Modulation又はQIMと呼ばれる。コードセットのポイント間の距離は、格子パラメータ又は量子化ステップと呼ばれる。
【０００４】
ウォーターマークを復号することは、結果として、コードポイントセットの集合内で最も近いポイントcを見つけ出し、該ポイントcがコードセットCmのメンバーである場合及びその場合に限りメッセージmを決定することになる。
【０００５】
QIMウォーターマーキングスキームの問題は、格子パラメータが検出器側で知られるべき必要があることである。しかしながら、量子化ステップの知得は、多くの実例において保証されない。QIMに関する理論的な刊行物においては、一般に、検出器は埋め込み器(embedder)と同じ量子化ステップを用いると仮定されている。しかしながら、これは、ウォーターマーク入り信号がスケーリング(scaling)等の劣化を受けた場合に不正確な結果を招く。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、埋め込まれたデータをスケーリングされたウォーターマーク入り信号(scaled watermarked signal)から正確に取得することを可能にする、データをメディアホスト信号に埋め込むための方法及び装置を提供することにある。本発明の他の目的は、埋め込まれたデータを取得するための対応する方法及び装置を提供することにある。
【課題を解決するための手段】
【０００７】
このため、当該埋め込み方法は、ホスト信号の可測特性パラメータ(measurable characteristic parameter)から量子化ステップを導く工程を有することを特徴とする。対応する検出方法は、ウォーターマーク入り信号の同一の可測特性パラメータから量子化ステップを導く工程を有する。これにより、実質的に同一の相対量子化ステップが両者で用いられることが達成される。
【０００８】
好ましくは、信号のスケーリングが量子化ステップのスケーリングと交換可能である。すなわち、信号がある倍率によりスケーリングされる場合、特性パラメータも同一の倍率によりスケーリングされる。斯様な特性パラメータの有利な例は、信号のエネルギの平方根である。量子化ステップは、好ましくは、特性パラメータに比例するように制御される。
【０００９】
埋め込み及び検出方法及び装置の更に有利な実施例が従属請求項に規定され、以下で例示として述べられるであろう。
【発明を実施するための最良の形態】
【００１０】
図1は、本発明によるウォーターマーク埋め込み器（すなわちエンコーダ）１及び検出器（すなわちデコーダ）２を有するシステムの全体的な概略図を示す。ウォーターマークエンコーダは、ホスト信号ｓとウォーターマーク入り信号ｓ＿との間の歪みが無視できるようにウォーターマークメッセージｂを該ホスト信号ｓに埋め込む。検出器２は、受け取った信号ｓ＿から上記ウォーターマークメッセージを検出できなければならない。図1は、“ブラインド(blind)”ウォーターマーキングスキームを示している。これは、ホスト信号ｓが検出器２に利用可能でないことを意味する。
【００１１】
実際には、ウォーターマーク入り信号は、通信チャネルに通されて信号処理を受ける、及び／又はアタック(attack)を被る。これが、図１において、埋め込み器１と検出器２との間のチャネル３として示されている。チャネルは、ウォーターマーク入り信号ｓの振幅を係数ａ（通例ａ＜１）でスケーリングする(scale)。チャネルはまた、ノイズを付加するかもしれず、及び／又は追加のオフセット（図示せず）を導入するかもしれない。
【００１２】
ウォーターマークエンコーダ１及び検出器２は、両者で利用可能な“コードブック”を伴う。エンコーダ１において、コードブックは入力サンプルｓｊを出力サンプルｓ＿ｊ上にマッピングし、出力サンプル値はメッセージシンボルｂｊに依存する。検出器２は、同じコードブックを用いて、上記サンプルｓ＿ｊからメッセージシンボルｂｊを再構築する。
【００１３】
ＱＩＭ符号化／復号原理は、信号サンプル値のスカラー量子化を考えることにより最も容易に理解される。このため、量子化ステップＤを選び、セットＣ０が全てＤの偶数倍数からなり、セットＣ１が全てＤの奇数倍数からなるよう二つのコードセットＣ０及びＣ１を構築する。その最も単純な形態において、ビットストリングｂ＝（ｂ１，．．．，ｂｋ）による長さＫの信号ｓ＝（ｓ１，．．．，ｓｋ）のウォーターマーキングが、各ｊに対して、ｂｊ＝０に対して最も近いＤの偶数倍数にｓｊを丸め、ｂｊ＝１に対して最も近いＤの奇数倍数にｓｊを丸めることにより達成される。ビットストリングｂは、ｓ＿の成分をＤによってスパンされる格子に丸め、どのＤの偶数倍数に対しても０ビットを結論付け、どのＤの奇数倍数に対しても１ビットを結論付けることにより再現され得る。
【００１４】
ウォーターマークエンコーダ及びデコーダによって用いられるコードブックは、好ましくは、ウォーターマークコミュニケーションの秘密性を達成するために暗号化キーに依存してランダム化される。このため、ｓ＿の値が、各サンプルインデックスｊに対してシークレットディザー値ｖｊを用いることによりディザリングされる。ディザー値ｖｊは、好ましくは、実数である。これは、サンプルｓ＿ｊがＤによってスパンされる格子上に常に位置することを防止し、故に、観察者は信号にウォーターマークが入れられていることさえ“分からない”。このウォーターマーク埋め込みスキームが図２に示されている。左垂直軸上の信号メディアサンプルｓｊ（一例がＸで示されている）は、Ｄの最も近い偶数（ｂｊ＝０）又は奇数（ｂｊ＝１）倍数に丸められ、オフセットｖｊを備えている。図２において、量子化ステップサイズはＤ＝１．５であり、特定の信号サンプルに対するディザー値はｖｊ＝０．５である。以後、ディザー値ｖｊは、乗算係数νｊと量子化ステップサイズＤとの積として表される。すなわち、ｖｊ＝νｊ×Ｄであり、ここで−１＜νｊ＜１である。
【００１５】
“ディザリングされる一様なスカラー量子化(dithered uniform scalar quantization)”と呼ばれるこの埋め込みプロセスの数学的表現が、以下のように導かれ得る。出力サンプルｓ＿ｊが所与のオフセットｖｊに対してとることができる離散レベルは、
【数１】
2005513543.tif 000003
である。ここで，ｍ＝、、，−２，−１，０，１，２、、、である。出力値ｓ＿ｊは入力値ｓｊにできるだけ近くなければならない。これは、以下のように表現され得る。
【数２】
2005513543.tif 000004
後者の条件は、
【数３】
2005513543.tif 000005
の場合に満たされる。式（１）への式（２）の代入が、
【数４】
2005513543.tif 000006
をもたらす。
【００１６】
この式は以下の解釈を持つ。第１に、サンプル値ｓｊに対して、“量子化インデックス”ｓｊ／Ｄを演算する。第２に、この量子化インデックスを整数のシフトされたバージョン(shifted version of integers)に丸める。ｂｊ＝０又はｂｊ＝１に対して、変調されたインデックスクスが二つの別個のサブセット上に位置することが容易に分かる。最後に、Ｄにより乗算し、サンプル値ｓの元のスケールを復元する。サンプル値に対する最大の歪みはＤに等しいことが容易に分かる。
【００１７】
ディザーシーケンスの目的は二つある。先ず、セキュリティを提供することである。すなわち、ステップサイズＤを推定することが異なるタスクとなっていて、サンプル値ヒストグラムの単純な分析は最早十分ではない。そして、Ｄが知られても、ｂｊ＋ｖｊからｂｊを推定することがｖｊの知得なしには不可能である。第２に、ロバストネスを提供する。すなわち、ディザーシーケンスが十分にランダムである場合、信号ｓ＿はｓ＋ノイズ項としてモデル化され得る。以後の項目のトピックのために、これは、ｓに一定のオフセットを与える場合よりもｓ＿からのより良好なＤの近似を可能にする。式（３）は、スケール劣化がＱＩＭに対してなぜ問題であるかを直ちに明らかにする。ｓのスケーリングされたバージョンａ×ｓは、量子化インデックスａ×ｓ／Ｄ、即ち、元の量子化インデックスｓ／Ｄのａ倍を招く。以下の式（４）における検出式を考えると、もはや埋め込まれた情報を信頼性をもって取得することができないことは明らかである。
【００１８】
本発明の開示の完全性のために、図３は、ＱＩＭウォーターマーク埋め込みプロセスのよりいっそう一般的な実施例の動作を図示する。この実施例においては、３値（ｂｊ＝０、１又は２）の埋め込みが用いられる。さらに、埋め込まれたシンボルは、ｓ＿軸の別個のポイントにより表されず、値ｓ＿ｊの別個のレンジにより表される。この図から、出力信号ｓｊが以下のように記述され得ることが容易に導かれ得る。
【数５】
2005513543.tif 000007
ここで、ｚｊは式(３)により上記で定義された通りの別個のポイントを示す。
【００１９】
埋め込まれた情報の検出は、単に、量子化インデックスを演算し、ディザーを補償し、結果のパリティをチェックする事柄にすぎない。二進埋め込みスキームに対し、これは以下のように簡潔に表される。
【数６】
2005513543.tif 000008
ここで、ｂ＿ｊは推定されたビット値を示す。
【００２０】
式（４）は、ウォーターマーク検出器が、ウォーターマークペイロードが取得され得る前にいくつかの不可欠なパラメータ値を必要とすることを示している。第１に、０又は１ビットと正確に解釈するためにディザーシーケンスｖ＝（ｖ１，．．．，ｖｋ）を必要とする。ディザーストリング及び信号のアライメントが通例補償されない何れの実際のシステムにおいても、このことは直ちに同期の問題を含意する。第２に、そしてより重要なことに、格子パラメータＤが検出器側において知られるべき必要がある。しかしながら、Ｄの知得は多くの実例において保証されない。ゲイン劣化の典型的な例は、ｓが波形サンプル値を表すように選ばれるオーディオのウォーターマーキングに見られ得る。この場合のゲイン劣化は音量の増大又は減少となる。ゲイン係数が限度内である場合、通例これは知覚的劣化として体験されないであろう。とりわけ、無線でウォーターマークを検出すること（再生装置からの再生、記録装置を用いた無線での受信）は、ゲイン劣化を伴うであろう。
【００２１】
本発明が取り組む問題は、ゲイン係数ａの明確な知得なしに受け取った信号ｓ＿から量子化ステップサイズＤを取得することである。この問題は、文献においてこれまでそれほど注目を集めていない。キーとなるアイデアは、ｓが係数aにより振幅をスケーリングされる場合、推定されるステップサイズＤ（ａ×ｓ）も係数ａによりａ×Ｄ（ｓ）にスケーリングされるように、ホスト信号ｓに依存してステップサイズＤを作成することである。言い換えれば、ｓのスケーリングがＤのスケーリングと交換可能である。
【００２２】
量子化ステップＤは、例えば、信号ｓのＬｐ−ノルムの選択小数部(chosen fraction)（または個々の信号サンプルｓｊの選択小数部）であり、ここでは、ｐ＝１またはｐ＝２である。
【数７】
2005513543.tif 000009
好ましい実施例において、量子化ステップサイズは、信号のエネルギの平方根に等しい（すなわち、ｐ＝２）。
【００２３】
図１に戻り、ウォーターマーク埋め込み器１が式（３）に従って動作するＱＩＭ回路１１を有することが示されている。埋め込み器は、以下の式
【数８】
2005513543.tif 000010
に従って動作する量子化ステップ制御回路１２からＱＩＭプロセスに用いられるべき量子化ステップサイズＤを受ける。ここで、Ｅ（ｓ）はホスト信号ｓのエネルギであり、αは所定の係数である。
【００２４】
同様に、ウォーターマーク検出器２は、式（４）に従って動作する復調（ＱＩＭ−１）回路３１を有する。検出器は、以下の式
【数９】
2005513543.tif 000011
に従って動作する量子化ステップ制御回路１２から用いられるべき量子化ステップサイズＤ’を受ける。ここで、Ｅ（ｓ＿’）は受けた信号ｓ＿のエネルギであり、αは埋め込み器１により用いられるのと同じ係数である。
【００２５】
ＱＩＭは、元の信号領域における全ての信号サンプル（音声波形サンプル、ビデオピクセル）に、または該信号サンプルの選択されたものに適用されても良い。ＱＩＭはまた、ある変換領域における信号の成分、例えば、ビデオ画像のＤＣＴ係数またはオーディオ信号のスペクトル周波数成分に適用されても良い。
【００２６】
好ましい実施例をより詳細にここで述べる。この例においては、信号ｓがオーディオクリップである。図４は、時間領域における斯様なオーディオ信号の波形を示す。よく認識されているように、音声は周波数領域で最良に表され、故に、高速フーリエ変換（ＦＦＴ）を用いた周波数表現に適用する。図５は、オーディオ信号の周波数スペクトルを示す。
【００２７】
この好ましい実施例においては、ウォーターマークの埋め込みは、パワースペクトル成分の振幅を変調することによりなされる。スペクトル成分は、量子化により変形される。スペクトルエネルギ全体に基づいて量子化ステップサイズを決定することは幾つかの不利な点を持つ。第１に、どのスペクトル成分も同じステップサイズＤで量子化されることを含意する。これは、知覚的に最適な方法ではない。なぜなら、スペクトル成分毎に許容される歪みが、該成分の振幅に対して線形だからである。ステップサイズをエネルギ全体に基づかせることは、大きな成分（典型的にはより低い周波数）の量子化が精細すぎるであろうし、小さな成分（典型的にはより高い周波数）の量子化が荒すぎるであろうことを含意する。第２に、ゲイン劣化が非常に多くの場合周波数レンジにわたって一様ではなく、推定されたゲイン係数と実際のゲイン係数との間に成分毎のミスマッチを招く。これらの問題を解消するために、スペクトルが幾つかの帯域に細分され、係数αが帯域毎のエネルギに基づいて帯域毎に決定される。心理音響モデルに従って、これらの帯域は、周波数と共に対数的に大きくなるように選択される。各帯域に対して、平均パワーの平方根の固定小数部（ＲＭＳＥ）が該帯域に対する閾値（すなわち、量子化ステップ）として選択される。
【００２８】
図６は、帯域の対数的分割（破線の垂直格子６１）の一例を示す。参照符号６３はホストパワースペクトル密度を示す。参照符号６２は、関連する副帯域における量子化ステップサイズＤ（図１参照）が導かれる結果としてのＲＭＳＥを示す。ＲＭＳＥはより高い周波数に対するホストパワースペクトル密度の合理的な近似ではあるが、より低い周波数に対して誤差がより大きくなることに留意されたい。
【００２９】
図７は、図６の一部の拡大である。この図の破線７３は、小数部係数(fractional factor)α＝０．１を用いた埋め込み後の埋め込まれた信号のパワースペクトル密度を示す。元の信号６３とウォーターマーク入り信号７３との間の差が最小であることが分かる。破線７２は、副帯域における量子化ステップサイズＤ’（図１参照）が導かれる結果としてのＲＭＳＥを示す。元のステップサイズ６２及び再度推定されたステップサイズ(re-estimated step sizes)７２が僅かばかりしか異なっていないことが明らかである。適当な比較のために、ゲイン劣化（図１におけるａ=１）がこの例において仮定されていないことに留意されたい。
【００３０】
図８は、上述のように動作する埋め込み装置の好ましい実施例のブロック図を示す。この装置は、オーディオ信号を時間フレームでセグメント化するための回路８１、高速フーリエ変換回路８２、並びに各フーリエ係数をその位相及び振幅に分割するための回路８３を含む。振幅が埋め込み回路１（図１参照）に対するホスト信号ｓを構築する。次いで、変形された振幅ｓ＿及び対応する位相φがマージされ（８４）、逆フーリエ変換がなされる（８５）。最後に、時間フレームが、ウォーターマーク入りオーディオ信号を形成するために連結される。
【００３１】
図９は、対応する検出装置のブロック図を示す。この装置は、図８に示されるものと同じセグメント化回路８１、フーリエ変換回路８２、及び分割回路８３を有する。フーリエ係数の振幅が、検出器２（図１参照）に対するウォーターマーク入り信号成分ｓ＿を構築する。
【００３２】
提案された帯域ベースの演算は多くの変形例を許容することに留意されたい。言及される必要のあるものは、帯域ベースの平均の“連続的”バージョンであるスライディング拡張平均（sliding & expanding average）である。すなわち、どの周波数成分ｆｎに対しても、量子化ステップサイズが、［ｎ／factor（係数），．．．，factor×ｎ］なる周波数間隔におけるエネルギに基づいて演算される。この式は、平均間隔が周波数インデックスｎに対して線形的に大きくなり、対数的周波数帯域のアイデアに従っていることを述べている。  
【００３３】
同様の技術が像及びビデオウォーターマーキングに対して用いられ得ることにも留意されたい。像ウォーターマーキング(image watermarking)の場合、当然のオプションは、量子化ステップサイズがいくらかの局所統計モーメントに基づく、空間サンプル値の量子化であろう。
【００３４】
本発明は以下のように要約され得る。ＱＩＭに基づくウォーターマーキングスキームにおいて生じる恐れのあるスケール劣化の問題に対処する。本発明によれば、埋め込み器（１１）及び検出器（２１）により用いられる量子化ステップサイズ（Ｄ）が、適用される信号が係数（ａ）によりスケーリングされる場合に、該量子化ステップサイズが実質的に同じ係数によりスケーリングされる特性を持つ可測特性パラメータから得られる（１２、２２）。好ましい実施例においては、前記パラメータは、信号のエネルギの平方根
【数１０】
2005513543.tif 000012
であり、量子化ステップはその所定の小数部（α）である。
【図面の簡単な説明】
【００３５】
【図１】本発明によるウォーターマーク埋め込み器及び検出器を有するシステムの全体的な概略図を示す。
【図２】図１に示されるシステムの動作を説明する図を示す。
【図３】図１に示されるシステムの動作を説明する図を示す。
【図４】本発明によるシステムの好ましい実施例の動作を説明する図を示す
【図５】本発明によるシステムの好ましい実施例の動作を説明する図を示す。
【図６】本発明によるシステムの好ましい実施例の動作を説明する図を示す。
【図７】本発明によるシステムの好ましい実施例の動作を説明する図を示す。
【図８】本発明によるウォーターマーク埋め込み器の好ましい実施例の概略図を示す。
【図９】本発明によるウォーターマーク検出器の好ましい実施例の概略図を示す。
【図１】
2005513543.tif 000013
【図８】
2005513543.tif 000014
【図９】
2005513543.tif 000015
【図２】
2005513543.tif 000016
【図３】
2005513543.tif 000017
【図４】
2005513543.tif 000018
【図５】
2005513543.tif 000019
【図６】
2005513543.tif 000020
【図７】
2005513543.tif 000021
【国際調査報告】
2005513543.tif 000022
2005513543.tif 000023
2005513543.tif 000024