(57)【要約】本発明は、マルチメディアコンテンツ（音声、映像、画像）のスケーリング及び回転といった全般的な歪みに対してロバスト性を有するウォータマーキング方式に関する。これは、ウォータマークをホスト信号の第１の要素に及び同じウォータマークを変換したものを第２の要素に埋め込むことによって達成される。例えば、ウォータマークは輝度要素（Ｙ）に埋め込まれ、そのウォータマークを循環的にシフトしたものは映像信号のクロミナンス要素（ＵＶ）に埋め込まれる。検出器は、輝度ウォータマークをクロミナンスウォータマークの全ての循環的にシフトしたものと相関させる（４６）。最も高い相関ピークは、埋め込み装置の終わりで適用されたシフトを示す。このように見つけられたシフトを元の値と比較することによって、スケーリング係数及び回転係数は回復される（４７）。本発明は、スケーリング及び回転操作がされないことを可能にし、その後、埋め込まれたウォータマークが従来の方法で容易に検出され得る。
2009514305.tif 000002
【特許請求の範囲】
【請求項１】
情報信号にデータを埋め込む方法であって：
情報信号の第１の要素にデータを埋め込むステップ；及び
前記情報信号の第２の要素に前記データを変換したものを埋め込むステップ；
を有する方法。
【請求項２】
前記情報信号は映像信号を有し、
前記第１の要素は前記映像信号の輝度要素を有し、
前記第２の要素は前記映像信号のクロミナンス要素を有する、請求項１記載の方法。
【請求項３】
前記映像信号が画像の連続を有する場合に、当該方法は：
夫々の画像において前記情報信号の第１の要素に前記データを埋め込むステップ；及び
夫々の画像において前記情報信号の第２の要素に前記データを変換したものを埋め込むステップ；
を有する、請求項２記載の方法。
【請求項４】
前記データはウォータマークデータの２次元配列を有する、請求項３記載の方法。
【請求項５】
前記データを変換したものを生成するよう少なくとも第１の方向で前記データを循環的にシフトするステップを更に有する、請求項４記載の方法。
【請求項６】
前記少なくとも第１の方向で前記データをシフトするステップは、前記第１の方向で前記ウォータマークデータの２次元配列の長さの半分だけ前記データをシフトする、請求項５記載の方法。
【請求項７】
前記第１の方向に直交する第２の方向で前記データをシフトするステップを更に有する、請求項５又は６記載の方法。
【請求項８】
前記第２の要素に前記データを変換したものを埋め込むステップは、前記情報信号の第２の要素に前記データの第１及び第２の変換したものを埋め込む、請求項１乃至７記載の方法。
【請求項９】
前記データの第１の変換したものを生成するよう第１のベクトルに沿って前記データをシフトするステップと、前記データの第２の変換したものを生成するよう第２のベクトルに沿って前記データをシフトするステップとを更に有する、請求項８記載の方法。
【請求項１０】
反対の極性を有して前記データの第１及び第２の変換したものを埋め込むステップを更に有する、請求項９記載の方法。
【請求項１１】
請求項１乃至１０のうちいずれか一項記載の方法を実行するようコンピュータを制御するコンピュータ読出可能なコードを有する記録媒体。
【請求項１２】
情報信号にデータを埋め込むコンピュータ機器であって：
プロセッサ読出可能な命令を記憶するプログラムメモリ；及び
前記プログラムメモリに記憶された命令を読み出して実行するよう構成されるプロセッサ；
を有し、
前記プロセッサ読出可能な命令は、請求項１乃至１０のうちいずれか一項記載の方法を実行するよう前記プロセッサを制御する、コンピュータ機器。
【請求項１３】
情報信号にデータを埋め込むための装置であって：
情報信号の第１の要素にデータを埋め込むよう構成される第１のデータ埋め込み部；及び
前記情報信号の第２の要素に前記データを変換したものを埋め込むよう構成される第２の埋め込み部；
を有する装置。
【請求項１４】
情報信号に埋め込まれたデータを回復する方法であって：
前記情報信号の第１の要素に埋め込まれたデータを、前記情報信号の第２の要素に埋め込まれた前記データを変換したものと相関させるステップを有する方法。
【請求項１５】
前記情報信号は映像信号を有し、
前記第１の要素は前記映像信号の輝度要素を有し、
前記第２の要素は前記映像信号のクロミナンス要素を有する、請求項１４記載の方法。
【請求項１６】
前記情報信号の第１の要素に埋め込まれたデータを、前記情報信号の第２の要素に埋め込まれた前記データを変換したものと相関させるステップは：
前記第１の要素に埋め込まれた前記データを推定するステップ；
前記第２の要素に埋め込まれた前記データを変換したものを推定するステップ；及び
前記第１の要素に埋め込まれた前記データの推定を、前記第２の要素に埋め込まれた前記データを変換したものの推定と相関させるステップ；
を有する、請求項１４又は１５記載の方法。
【請求項１７】
前記データはウォータマークデータの２次元配列を有する、請求項１４乃至１６のうちいずれか一項記載の方法。
【請求項１８】
相関ピークを与える変換を特定するよう、前記第２の要素に埋め込まれた前記データを変換したものの推定を、前記第１の要素に埋め込まれた前記データの推定を変換したものと相関させるステップを更に有する、請求項１７記載の方法。
【請求項１９】
変換行列を回復するよう、相関ピークを与える前記変換を、前記情報信号の第１の要素に埋め込まれた前記データと前記情報信号の第２の要素に埋め込まれた前記データを変換したものとの間の既知の変換と比較するステップを更に有する、請求項１８記載の方法。
【請求項２０】
前記情報信号の第１の要素に埋め込まれた前記データを回復するよう前記変換行列を用いるステップを更に有する、請求項１９記載の方法。
【請求項２１】
請求項１４乃至２０のうちいずれか一項記載の方法を実行するようコンピュータを制御するコンピュータ読出可能なコードを有する記録媒体。
【請求項２２】
情報信号に埋め込まれたデータを回復するコンピュータ機器であって：
プロセッサ読出可能な命令を記憶するプログラムメモリ；及び
前記プログラムメモリに記憶された命令を読み出して実行するよう構成されるプロセッサ；
を有し、
前記プロセッサ読出可能な命令は、請求項１４乃至２０のうちいずれか一項記載の方法を実行するよう前記プロセッサを制御する、コンピュータ機器。
【請求項２３】
情報信号に埋め込まれたデータを回復する装置であって：
前記情報信号の第１の要素に埋め込まれたデータを、前記情報信号の第２の要素に埋め込まれた前記データを変換したものと相関させるよう構成される相関器を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データを情報信号に埋め込む方法に関する。本発明は、また、情報信号に埋め込まれたデータを回復する方法に関する。具体的に、しかしそれだけに限定されないが、本発明は、データが情報信号の変更又は劣化に対してロバスト性を有し且つ回復され得るようにデータを埋め込む方法に関する。
【背景技術】
【０００２】
現在、例えばインターネットを介して、つなぎ合わされたコンピュータのネットワークを用いて情報信号（例えば、画像及び音響。）を表すデジタルデータの取得及び配信は容易である。
【０００３】
しかし、データのこのような容易な配信は、かかるデータの著作権者にとっては問題がある。例えば、映像ファイルのようなメディアファイルは、著作権法に違反して配信及び複製をされていることが知られる。このような配信及び複製により、夫々の著作権の所有者は、彼らが権限を有するロイヤリティを受け取ることができないという結果に陥る。同様の問題は、例えば音楽ファイルのような他の形態のメディアファイルでも起こっている。
【０００４】
このような認められない複製及び配信の防止及び検出のために、デジタルウォータマークを情報信号内に埋め込むことが知られる。デジタルウォータマークは、情報信号の正当性を立証するメカニズムを提供することができる。代替的に、デジタルウォータマークは、情報信号の認められない複製を検出する法目的のために使用され得る。デジタルウォータマークは、一般に、著作権者の名前と、購入者の識別と、例えば、「コピー禁止」、「コピーは１度のみ」又は「再度コピー不可」といったタグとを含む。タグは、認められない複製が作られることを防ぐために使用される。例えば、「コピー禁止」とタグを付されたＭＰＥＧ映像ファイルは、タグを読むことができる複製用のハードウェア及びソフトウェアを用いてＭＰＥＧファイルが複製されることを防ぐ。同様に、「コピーは１度のみ」とタグを付されたＭＰＥＧファイルは、単一の複製が作られることを認める。新しい複製は「コピー禁止」とタグを付され、元のＭＰＥＧファイル上のタグは「再度コピー不可」であるよう改められる。
【０００５】
今日、ウォータマーキング技術は、より幅広い展望で見られている。この技術で、ウォータマークは、ノイジー（noisy）チャネルを介してデコーダへとエンコーダによって送信されるメッセージである。ノイジーチャネルとは、通常、音響、画像又は映像信号である。受信において、ウォータマークデコーダは、受信したメッセージの推定を行う。音響、画像又は映像信号の変更（例えば、スケーリング。）は、受信したウォータマークメッセージを推定することをより困難なものとする。
【０００６】
デジタルウォータマークが音声又は映像データに埋め込まれる場合に、ウォータマークは、データを認知可能なほどに劣化させ、あるいは歪ませないように、ほんのかすかに加えられる。一方、音声又は映像データは、時間とともに急速に且つ著しく変わっていく。結果として、映像データからウォータマークデータを取り出すことを可能にするために、バッファに記憶されるフレームの連続にわたってウォータマーク情報を累算し、次いで、映像データにおけるウォータマークの存在を立証又は反証するために１又はそれ以上の期待されるウォータマークテンプレートを用いる相関技術を適用することが知られる。
【０００７】
しかし、ウォータマークデータを回復する空間的相関は、実際上不可能でない場合に、たとえ映像コンテンツの元のスケール又は映像コンテンツのスケール係数が分かっているとしても、実施するのが極めて困難であることが知られる。スケール係数を見つける多数の既知の方法がある。
【０００８】
１つの既知のウォータマーキング技術は、映像信号に埋め込まれたウォータマークパターンを用いる。ウォータマークパターンは、映像信号の夫々の画像の全てで、既知の空間グリッドに従って、タイルパターンで繰り返され得る。画像は自己相関をとられ、結果として、埋め込まれたウォータマークに依存したピークのグリッドがもたらされる。スケール係数の大きさは、ピークのグリッドを元のウォータマークと比較することによって得られる。元のスケール係数は、相関データにおける相関ピークの位置に対応する。このような方法は、以下の文献、即ち、米国特許出願公開番号ＵＳ２００２／０１１４４９０（特許文献１）、Ｋｕｔｔｅｒ著、“Watermarking  resistant  to  translation，rotation  and  scaling（変換、回転及びスケーリングに耐性があるウォータマーク挿入）”、ＰｒｏｃＳＰＩＥ３５２８巻、Multimedia  systems  and  applications、１９９８年（非特許文献１）、及びＴｅｒｍｏｎｔ等、“How  to  achieve  robustness  against  scaling  in  a  real-time  digital  watermarking  system  for  broadcast  monitoring（放送監視のための実時間デジタルウォータマーク挿入システムにおいてスケーリングに対するロバスト性を達成する方法）”、ＰｒｏｃＩＥＥＥ  International  Conference  on  Image  Processing、１９９８年（非特許文献２）に記載されている。
【０００９】
しかし、タイル状ウォータマークを用いるウォータマーキング方法には多数の欠点がある。第１に、タイル状ウォータマークは、映像データのフォーマットが変更されると劣化する。これは、特に、サンプリングが変換処理の間に行われる場合に当てはまる。ウォータマークパターンは、最終的に極めて限定された分解能となり、場合によっては利用するには小さすぎる。
【００１０】
更に、画像がトリミング又はスケーリングをされる場合は、画像は、２つの完全な縦に隣接するウォータマークタイルを含むよう垂直方向で極めて小さくなり、垂直方向のスケール係数の回復を困難なものとしうる。また、トリミングに起因して画像が小さすぎる場合は、正確なスケール係数に対応する相関ピークは、映像信号のバックグランド“ノイズ”に埋もれる危険性を有するほどに小さくなりうる。
【００１１】
スケールを回復する他の既知の方法は、フーリエ−メリン（Ｍｅｌｌｉｎ）変換を用いる。これは、Ｌｉｎ等、“Rotation，scale  and  translation  resilient  watermarking  for  images（回転、スケーリング及び変換から回復可能な画像のウォータマーキング）”、IEEE  Trans  Image  Processing、２００１年（非特許文献３）及びＯ’Ｒｕａｎａｉｄｈ等、“Rotation，scale  and  translation  invariant  digital  image  watermarking（回転、スケーリング及び変換により変化しないデジタル画像ウォータマーキング）”、ProcIEEE  International  Conference  on  Image  Processing、１９９７年（非特許文献４）に記載されている。これは、フーリエ変換された画像の対数−極マッピングの実行を含む。しかし、かかるアプローチの欠点は、このマッピング及び変換並びにその逆の不連続の実施は、計算的に集中し、且つ、エラーに敏感である。
【００１２】
公開されていない欧州特許出願番号０４１０２００７．４号（出願人整理番号ＰＨＮＬ０４０４９７）では、デジタルウォータマーキング技術が提案されており、この技術では、ウォータマークの幾何学的特性は、画像の連続を有する映像データの全体で時間的に変更される。画像は画像の連続したグループに分けられ、ウォータマークの幾何学的特性はグループ間で変更される。ウォータマーク検出器は、異なるグループからの画像を処理し、取り出したウォータマークを解析して、映像コンテンツデータのスケーリング係数を導き出すことができる。例えば、ウォータマーク埋め込み装置は、画像の連続における最初の６００の画像フレームには元の位置にある標準的なウォータマークパターンを埋め込むよう配置される。次の６００のフレームでは、埋め込み装置は、変換されたフォーマットでウォータマークを埋め込む。変換されたウォータマークは、ミラーリング及び／又は空間変換及び／又は回転をされ得る。通常は、変換されたウォータマークは、水平方向及び垂直方向の両方で所定数のピクセルだけシフトされた元のウォータマークを有する。続く６００のフレームでは、埋め込み装置は元のウォータマークを埋め込み、以降同様に続く。
【００１３】
映像コンテンツがスケーリングをされる場合に、元のウォータマーク及び変換されたウォータマークの両方も然るべくスケーリングをされ得る。ウォータマークデコーダは、画像の連続を回復し、画像を、元のウォータマークを含む第１のグループ及び変換されたウォータマークを含む第２のグループにソートするよう配置される。ウォータマークデコーダは、２つのグループに埋め込まれたウォータマークの間の元の変換を知っている。従って、２つのグループを相互に解析することによって、ウォータマークデコーダは、ウォータマークに対する１又はそれ以上の変更及び、ひいては、どのように変換が変更されたかを決定し、それによって、元の映像コンテンツ信号に対する映像コンテンツのスケーリングに関するスケール係数を取り出す。次いで、元のウォータマークデータは回復され得る。
【特許文献１】米国特許出願公開番号ＵＳ２００２／０１１４４９０
【特許文献２】欧州特許出願番号０４１０２００７．４号（出願人整理番号ＰＨＮＬ０４０４９７）
【非特許文献１】Ｋｕｔｔｅｒ著、“Watermarking  resistant  to  translation，rotation  and  scaling（変換、回転及びスケーリングに耐性があるウォータマーク挿入）”、Ｐｒｏｃ  ＳＰＩＥ３５２８巻、Multimedia  systems  and  applications、１９９８年
【非特許文献２】Ｔｅｒｍｏｎｔ等、“How  to  achieve  robustness  against  scaling  in  a  real-time  digital  watermarking  system  for  broadcast  monitoring（放送監視のための実時間デジタルウォータマーク挿入システムにおいてスケーリングに対するロバスト性を達成する方法）”、ProcIEEE  International  Conference  on  Image  Processing、１９９８年
【非特許文献３】Ｌｉｎ等、“Rotation，scale  and  translation  resilient  watermarking  for  images（回転、スケーリング及び変換から回復可能な画像のウォータマーキング）”、IEEE  Trans  Image  Processing、２００１年
【非特許文献４】Ｏ’Ｒｕａｎａｉｄｈ等、“Rotation，scale  and  translation  invariant  digital  image  watermarking（回転、スケーリング及び変換により変化しないデジタル画像ウォータマーキング）”、ProcIEEE  International  Conference  on  Image  Processing、１９９７年
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかし、かかるアプローチの欠点は、ウォータマークデコーダが、画像を２つのグループにソートするためにウォータマーク埋め込み装置と時刻同期をしなければならないことである。これは、ウォータマークデコーダが、最も高い相関を有するために、フレームの連続が夫々いつ開始し、終了するのかを知る必要があるためである。この時刻同期は、埋め込み装置とデコーダとの間の更なる通信又は映像データへの更なる情報の付加を伴うことなく達成することが困難である。ウォータマーク埋め込み装置とウォータマークデコーダとの間の同期の欠如は、元のウォータマーク及び変換されたウォータマークが互いに干渉するために、ウォータマークの誤った検出をもたらしうる。結果として、得られたスケール係数は不正確なものである場合がある。これは、ウォータマークデータが回復され得ないことを意味しうる。
【００１５】
本発明は、従来技術の問題のうち１又はそれ以上を取り除き、あるいは軽減することを目的とする。本発明の実施形態にかかる具体的な目的は、映像コンテンツのスケーリング及び回転に対してロバスト性を有する映像ウォータマーキング方式を提供することである。
【課題を解決するための手段】
【００１６】
本発明の第１の態様に従って、情報信号にデータを埋め込む方法であって、情報信号の第１の要素にデータを埋め込むステップと、前記情報信号の第２の要素に前記データを変換したものを埋め込むステップとを有する方法が提供される。
【００１７】
本発明の有利な点は、情報信号の第１の要素にデータ埋め込み、望ましくは同時に、前記情報信号の第２の要素に前記データを変換したものを埋め込むことによって、前記情報信号がスケーリング、回転又はミラーリングをされた場合に、データの回復を可能にすることである。スケール、回転又はミラーリングのパラメータは回復されて、元のデータを回復するために使用され得る。本発明の好ましい実施形態は、また、例えば、変換、トリミング、アスペクト比の変更及び歪曲といった情報信号のより一般的な幾何学歪みに対してロバスト性を有する。
【００１８】
望ましくは、前記情報信号は映像信号を有する。前記第１の要素は前記映像信号の輝度要素を有しても良く、前記第２の要素は前記映像信号のクロミナンス要素を有しても良い。これは、映像信号が、例えばスケーリングによって変換される場合に、データが回復され得るようにデータが映像信号に埋め込まれることを可能にするので、有利である。輝度要素及びクロミナンス要素にデータを埋め込むことによって、デコーダはデータ埋め込み装置と時刻同期をする必要がなくなることが確実となる。
【００１９】
望ましくは、前記映像信号は画像の連続を有する。当該方法は、夫々の画像において前記情報信号の第１の要素に前記データを埋め込むステップと、夫々の画像において前記情報信号の第２の要素に前記データを変換したものを埋め込むステップとを有する。これは、画像の連続をバッファリングし且つ相関させることによってデータ及び該データを変換したものの回復を助けることから、有利である。
【００２０】
望ましくは、前記データはウォータマークデータの２次元配列を有する。これは、ウォータマークが、例えば著作権行使にかかる映像信号のような情報信号に付加されることを可能にする。
【００２１】
望ましくは、当該方法は、前記データを変換したものを生成するよう少なくとも第１の方向で前記データを循環的にシフトするステップを更に有する。これは、元の変換との比較によって、デコーダでの変換の回復、ひいては、情報信号に適用された如何なる変換の回復も可能にする。データを循環的にシフトするとは、変換されたデータが、“巻いて束ねる（wrap  round）”ように、元のデータに対してオフセットされることを意味する。これは、オフセットデータが失われないことを確実にする。
【００２２】
望ましくは、前記少なくとも第１の方向で前記データをシフトするステップは、前記第１の方向で前記ウォータマークデータの２次元配列の長さの半分だけ前記データをシフトする。これは、埋め込まれたデータのその後の回復の精度を改善する。望ましくは、当該方法は、前記第１の方向に直交する第２の方向で前記データをシフトするステップを更に有する。有利に、これは、当該方法が映像信号に適用されることを可能にする。映像信号では、該信号のクロミナンス要素は、前記データを変換したものの分解能を低下させることなく、ダウンサンプリングをされている。
【００２３】
望ましくは、前記第２の要素に前記データを変換したものを埋め込むステップは、前記情報信号の第２の要素に前記データの第１及び第２の変換したものを埋め込む。有利に、これは、情報信号の更なる変換パラメータの回復を可能にする。
【００２４】
望ましくは、当該方法は、反対の極性を有して前記データの第１及び第２の変換したものを埋め込むステップを更に有する。これは、第１及び第２の変換されたデータが、デコーダで相関ピークの各符号を確認することによって識別され得るので、かかるデータの検出の助けとなる。
【００２５】
本発明の第２の態様に従って、上記の方法を実行するようコンピュータを制御するコンピュータ読出可能なコードを有する記録媒体が提供される。
【００２６】
本発明の第３の態様に従って、情報信号にデータを埋め込むコンピュータ機器であって、プロセッサ読出可能な命令を記憶するプログラムメモリと、前記プログラムメモリに記憶された命令を読み出して実行するよう構成されるプロセッサとを有し、前記プロセッサ読出可能な命令は、上記の方法を実行するよう前記プロセッサを制御する、コンピュータ機器が提供される。
【００２７】
本発明の第４の態様に従って、情報信号にデータを埋め込むための装置であって、情報信号の第１の要素にデータを埋め込むよう構成される第１のデータ埋め込み部と、前記情報信号の第２の要素に前記データを変換したものを埋め込むよう構成される第２の埋め込み部とを有する装置が提供される。
【００２８】
本発明の第５の態様に従って、情報信号に埋め込まれたデータを回復する方法であって、前記情報信号の第１の要素に埋め込まれたデータを、前記情報信号の第２の要素に埋め込まれた前記データを変換したものと相関させるステップを有する方法が提供される。
【００２９】
本発明の第５の態様の有利な点は、データ及び該データを変換したものを相関させることによって、変換行列が回復され得、元のデータの回復を可能にする点である。
【００３０】
望ましくは、映像信号は画像の連続を有し、当該方法は、前記画像の連続をバッファリングするステップと、前記画像の連続を前記第１の要素及び前記第２の要素に分けるステップとを更に有する。これは、変換行列の回復の精度を高めることによって前記データの回復方法を改善する。
【００３１】
望ましくは、当該方法は、前記第２の要素に埋め込まれた前記データを変換したものの推定値の絶対値を計算するステップを更に有する。これにより、データの漠然とした回復は回避される。
【００３２】
望ましくは、当該方法は、前記第１の要素に埋め込まれた前記データの推定値及び前記第２の要素に埋め込まれた前記データを変換したものの推定値に高域通過フィルタリングをかけるステップを更に有する。これはデータ対情報信号比を改善し、データの回復を改善する。
【００３３】
望ましくは、当該方法は、前記第２の要素に埋め込まれた前記データを変換したものの推定値を、前記第１の要素に埋め込まれた前記データの推定値を変換したものと相関させて、相関ピークを与える変換を特定するステップを更に有する。相関ピークを与える変換は、その場合、相関ピークを与える変換を、情報信号の第１の要素に埋め込まれたデータと情報信号の第２の要素に埋め込まれた前記データを変換したものとの間の既知の変換と比較して、変換行列を回復することによって、元のデータを回復するために使用され得る。
【００３４】
本発明の第６の態様に従って、上記の方法を実行するようコンピュータを制御するコンピュータ読出可能なコードを有する記録媒体が提供される。
【００３５】
本発明の第７の態様に従って、情報信号に埋め込まれたデータを回復するコンピュータ機器であって、プロセッサ読出可能な命令を記憶するプログラムメモリと、前記プログラムメモリに記憶された命令を読み出して実行するよう構成されるプロセッサとを有し、前記プロセッサ読出可能な命令は、上記の方法を実行するよう前記プロセッサを制御する、コンピュータ機器が提供される。
【００３６】
本発明の第８の態様に従って、情報信号に埋め込まれたデータを回復する装置であって、前記情報信号の第１の要素に埋め込まれたデータを、前記情報信号の第２の要素に埋め込まれた前記データを変換したものと相関させるよう構成される相関器を有する装置が提供される。
【発明を実施するための最良の形態】
【００３７】
本発明は、単なる一例として、添付の図面を参照して記載される。
【００３８】
図１に示されるように、アナログ映像信号１をエンコーダ２が受信する。エンコーダ２は、後の送信又は記憶のために、アナログ映像信号１をデジタル映像信号３（例えば、Moving  Pictures  Experts  Groupによって作られたデータフォーマットであるＭＰＥＧストリーム。）にデジタル化して圧縮するよう構成される。デジタル映像信号３をウォータマーク埋め込み装置４が受信する。ウォータマーク埋め込み装置４は、ウォータマークをデジタル映像信号３に埋め込み、ウォータマーク埋め込み映像信号５を生成する。続いて、ウォータマーク埋め込み映像信号５は送信され且つ／あるいは取り出され、最終的に、ウォータマークデコーダ６によってデコードされる。ウォータマークデコーダ６はウォータマークデータ７を回復する。ウォータマークは、気付かれないようにウォータマーク埋め込み映像信号５に隠されている。従って、ユーザは、元のアナログ映像ストリーム１を再構成したものを見る際に、ウォータマークの存在を認識することはできない。
【００３９】
本発明は、映像信号の時間軸に代わって映像信号の色情報を利用することによって、２つの埋め込まれるウォータマーク（元のウォータマーク及び変換されたウォータマーク）の間の同期化の欠如に関する問題を解消する。元のウォータマークはビデオ画像の輝度要素に埋め込まれ、変換されたウォータマークはビデオ画像のクロミナンス要素に埋め込まれる（あるいは、その逆であっても良い。）。これは、スケール係数の回復を可能にすることによって、ビデオ画像のスケーリングに対してロバスト性を与える。ウォータマーク埋め込み方法は、また、映像コンテンツの回転又はミラーリングに対してもロバスト性を示す。画像データの輝度要素及びクロミナンス要素の時間配置により、本発明に従うウォータマーキング方法は、ウォータマークデコーダがウォータマーク埋め込み装置と同期化することを要しない。輝度要素及びクロミナンス要素の空間配置により、スケール及び回転係数の取得は、また、全く同じ歪みが両ウォータマークに適用される場合は、より全体的な幾何学歪みに対してロバスト性を示す。
【００４０】
カラー映像信号は、赤緑青（ＲＧＢ）色モデルを用いてモデル化され得る。これは加法モデルであって、赤、緑及び青の光が他の色を作るために足し合わせられる方法を利用する。映像信号における各ピクセルは、３つの独立した値を与えられる。それらの値は、正確な色を与えるために当該のピクセルに必要とされる赤、緑及び青の光の強さである。ＲＧＢ色モデルは、通例、映像モニタ又はテレビにおける表示色に使用される。赤、緑及び青の光の強さの適切な組み合わせを用いることによって、画面は、黒と白との間にある如何なる色も再現することができる。一般的に、各ＲＧＢ値は、赤、緑及び青に係る２５６の異なったレベルを与える８ビット数に対応する。このシステムを用いて、おおよそ１６７０万色の個々の色が再現され得る。
【００４１】
代わりの色モデルはＹＵＶ色モデルある。これは、例えば、欧州その他におけるテレビ放送に関するＰＡＬシステムで使用される。Ｙは輝度要素（明るさ）を表し、Ｕ及びＶはクロミナンス（色）要素を表す。Ｙ成分並びにＵ成分及びＶ成分をスケーリングしたものを有する代わりの色モデルが多数存在する。ＹＵＶ信号は、例えば、以下の式：
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝０．４９２（Ｂ−Ｙ）＝−０．１４７Ｒ−０．２８９Ｇ＋０．４３６Ｂ
Ｖ＝０．８７７（Ｒ−Ｙ）＝０．６１５Ｒ−０．５１５Ｇ−０．１００Ｂ
を用いることによるＲＧＢ値の重み付け加算によって、元のＲＧＢ発生源信号から生成される。
【００４２】
テレビ又はモニタで、ＲＧＢ値は、正確な信号を各ピクセルへ供給するために、ＹＵＶ値から回復され得る。ＲＧＢ色モデルに対するＹＵＶ色モデルの利点は、黒及び白のテレビジョン信号と下位互換性がある点である。Ｙ信号は、原則的には、黒及び白のテレビジョン信号のために放送されうるものと同じ信号であり、一方、Ｕ信号及びＶ信号は無視され得る。加えて、人の目は色に対して相当に低い分解能を有するので、ＹＵＶモデルを変形したものでは、Ｕ成分及びＶ成分で送信される情報の量は、帯域幅を節約するためにダウンサンプリングによって低減可能である。
【００４３】
本発明はここではＹＵＶ色モデルを例として記載されるが、これに限定されない。実際には、例えばＲＧＢ又はＹＵＶと等価なものなど、少なくとも２つの別個の成分を有する色モデルであれば、如何なる色モデルも使用され得る。ここで、映像信号内にウォータマークを埋め込み、そのウォータマークデータを回復する処理について、図２乃至７を参照して記載する。
【００４４】
本発明の好ましい実施例では、ウォータマークは、デジタル映像信号の輝度要素に埋め込まれ、同じウォータマークを循環的にシフトしたものは、デジタル映像信号のクロミナンス要素に埋め込まれる。一般的に、ウォータマークは２次元行列パターンである。ウォータマークは、映像信号の画像又はフレームのサイズと同程度であっても、あるいは、小さい割合の画像フレーム上にのみあっても良い。ウォータマークは、フレームを横切ってタイル状に配置され得る。ウォータマークは、ピクセルごとに輝度値及び／又はクロミナンス値を僅かに変更することによって埋め込まれる。
【００４５】
図２を参照して、ウォータマークを循環的にシフトしたものを埋め込む方法について、一次元を例として、より簡単に説明することができる。
【００４６】
図２は一次元のウォータマーク１０を表す。ウォータマーク１０は８エレメント長である。エレメントはｗ（０）からｗ（７）の番号を付されている。下側のウォータマーク１１は、ウォータマーク１０を循環的にシフトしたもの（即ち、巻いて束ねるように横方向にシフトされたもの。）であり、同じく、ｗ（０）からｗ（７）の番号を付された８個のエレメントを有する。下側のウォータマーク１１は、４つのエレメントが左へシフトされた上側のウォータマーク１０と等しいことは明らかであり、従って、それは、エレメントｗ（４）から始まっている。上側のウォータマーク１０は、デジタル映像信号３の輝度要素に埋め込まれ、下側のウォータマーク１１は、デジタル映像信号３のクロミナンス要素に埋め込まれる。当然、これは、代替的に、上側のウォータマーク１０が下側のウォータマーク１１に対して循環的にシフトされていると見なすこともできる。
【００４７】
上側のウォータマーク１０及び下側のウォータマーク１１は、左又は右へシフトされ得る単一のウォータマークｗであると考えることができる。ウォータマークｗは、８エレメント長であるベクトルである。
【００４８】
シフト演算子Ｓｋは、上側のウォータマーク１０と下側のウォータマーク１１との間の関係として定義される。ｋは、シフト演算子Ｓが循環的にウォータマークｗを左へシフトする桁数を示す。上側のウォータマーク１０が総称的なウォータマークｗとして設定される場合は、下側のウォータマーク１１は（Ｓ４ｗ）と等価である。即ち、ｗは左へ４桁だけシフトされた。ウォータマークｗは、それ自身を循環的にシフトしたもの：
【数１】
2009514305.tif 000003
と相関性を有しないように配置される。
【００４９】
なお、Ｎはウォータマークの長さであり、ｌはカウンタであり、＜ｗ，（Ｓｋｗ）＞は、ウォータマークｗと、桁数ｋだけシフトされたウォータマークとの間の相関を表し、δ［ｋ］は、ｋ∈Ｚ＼｛０｝（なお、Ｚは整数を表す。）に関してδ［０］＝１及びδ［ｋ］＝１を有するクロネッカーのデルタである。
【００５０】
ウォータマークｗと、０個のエレメント又はウォータマーク長Ｎの倍数のエレメントだけシフトされたものとの間の相関は１に等しい（ｋ＝０。即ち、事実上シフトはない。）。相関は、ｋのその他の値に関しては０に等しい（即ち、ウォータマークの長さＮの倍数以外の量によるウォータマークｗの左又は右へのいずれかのシフト。）。
【００５１】
シフト演算子Ｓｋは：
（Ｓｋｘ）（ｎ）＝ｘ（ｎ−ｋ）
と定義される。
【００５２】
なお、ｘはベクトルであり、ｘ（ｎ）はベクトルｘのｎ番目のエレメントである。（Ｓｋｘ）は、ベクトルｘがｋ桁だけシフトされた場合に生ずるベクトルである。言い換えると、ベクトルｘがｋ桁だけシフトされる場合は、新しいベクトルの各エレメントは、その部分からｋ桁だけ右にあるベクトルｘのエレメントに等しい。
【００５３】
上で述べたように、図２の上側のウォータマーク１０はウォータマークｗであり、下側のウォータマーク１１はＳ４ｗである。上側のウォータマーク１０及び下側のウォータマーク１１に相関性がある場合は、
＜ｗ，（Ｓ４ｗ）＞＝０（即ち、相関なし。）
である。しかし、下側のウォータマーク１１が、上側のウォータマーク１０の全ての可能な循環的にシフトされたものと相関する場合は、上側のウォータマーク１０が４個のエレメント（又はウォータマークの長さＮの倍数＋４エレメント）だけ循環的にシフトされる場合にのみ相関ピークが存在する。即ち、
＜（Ｓ４ｗ），（Ｓ４ｗ）＞＝１
である。
【００５４】
ここで、図３を参照すると、上側のウォータマーク１０及び下側のウォータマーク１１を含むウォータマーク埋め込み信号５は、ウォータマークデコーダ６によって受信される前にスケーリングをされている。ウォータマークは、スケール係数２によってスケーリングをされている。スケーリングをされたウォータマーク２０は、図２の上側（輝度）のウォータマーク１０に対応する。スケーリングをされたウォータマーク２１は、図２の下側（クロミナンス）のウォータマーク１１に対応する。
【００５５】
このとき、元のウォータマーク１０、１１の各エレメントは、スケーリングをされたウォータマーク２０、２１における２つのエレメント部分を占める。例えば、このとき、元のエレメントｗ（１）は、スケーリングをされたエレメントｗ（１ａ）及びｗ（１ｂ）に対応する。余分のエレメントは、元のウォータマークのエレメントを補間したものに対応する。
【００５６】
クロミナンスウォータマーク２１が輝度ウォータマーク２０の全ての可能な循環的にシフトされたものと相関する場合は、輝度ウォータマーク２０が８個のエレメントだけシフトされる場合にのみ相関ピークが存在する。即ち：
＜（Ｓ８ｗ），（Ｓ８ｗ）＞＝１
である。
【００５７】
元の循環シフト（桁送り）が4エレメントであったことが知られるので、受信したウォータマーク埋め込みデジタル映像信号５に含まれる情報と、元の変換の知識とを用いて、スケール係数が２であることは、ウォータマークデコーダ６において輝度ウォータマーク及びクロミナンスウォータマークの相関から容易に推定され得る。第１のステップとして、ウォータマークデコーダ６は、ウォータマーク埋め込み映像信号５に含まれる連続した受信画像の各構成要素における輝度ウォータマーク及びクロミナンスウォータマークを推定する。次いで、ウォータマークデコーダは、推定された輝度ウォータマークを、推定されたクロミナンスウォータマークの全ての可能なシフトされたものと相関させる（あるいは、逆に、推定されたクロミナンスウォータマークを、推定された輝度ウォータマークの全ての可能なシフトされたものと相関させる）。これは、１又はそれ以上の比較的高い相関ピークをもたらす。映像信号の劣化又は変更により、１又はそれ以上の相関ピークは１よりも低くなり、正確なウォータマークが回復されたかどうかに関して幾らかの不確実性をもたらしうる。
【００５８】
スケール係数が計算されると、ウォータマークデコーダ６は、元のウォータマーク、又は（他のチャネルを介してアクセスした）一連の可能な元のウォータマーク及び推定された輝度（若しくはクロミナンス）ウォータマークを相関させることができる。これは、どのウォータマークがウォータマーク埋め込みデジタル映像信号に存在するかを示しうる。
【００５９】
２次元の循環シフトの場合には、即ち、水平及び垂直の両方向でシフトされる２次元のウォータマークに関しては、水平及び垂直の両方のスケール係数が計算され得る。更に、ビデオ画像が回転される場合は、回転の角度も決定され得る。これは、図４を参照して説明される。図４は２つのウォータマークを示す。第１のウォータマーク３０は、デジタル映像信号３の輝度要素に埋め込まれる。ウォータマーク３０の水平及び垂直方向で循環的にシフトされたものは、クロミナンス要素に埋め込まれる。ベクトル３１は、輝度要素及びクロミナンス要素に夫々埋め込まれたウォータマーク間のシフトを示す。９０度のウォータマーク埋め込みデジタル映像信号５の回転の後、ウォータマーク埋め込みデジタル映像信号５の輝度要素はウォータマーク３２となる。このとき、輝度ウォータマークとクロミナンスウォータマークとの間のシフトはベクトル３３によって表される。ベクトル３３が、デジタル映像信号と同じ量（即ち、９０度。）で回転されたベクトル３１と等しいことは明らかである。便宜上、ウォータマーク埋め込みデジタル映像信号５の如何なる付加的なスケーリングの可能性も無視されている。
【００６０】
ウォータマークデコーダ６で、ベクトル３３は、クロミナンスウォータマークを輝度ウォータマークの全ての可能なシフトされたものと相関させることによって計算され得る。ウォータマークデコーダ６がベクトル３１の元の方向を知っている場合は、回転係数は計算され得、従って、ウォータマークデータは回復する。
【００６１】
ウォータマーク埋め込みデジタル映像信号にスケーリング及び回転が施されていると考えられる場合には、回転されたウォータマークを回復すべく輝度要素及びクロミナンス要素を相関させる同様の手順を適用することによって、クロミナンスウォータマークは、スケーリング係数を回復するよう、輝度ウォータマーク３０の全ての可能な水平及び垂直方向で循環的にシフトされたものと相関しうる。
【００６２】
可能な回転係数及びスケーリング係数の精度は、ベクトル３１の長さに比例する。従って、精度は、クロミナンス要素に埋め込む前のウォータマークの水平長さ及び垂直長さの夫々の半分の長さだけ輝度ウォータマークを循環的にシフトすることによって達成される。例えば、輝度ウォータマークが３６０×２４０個のエレメント（又はピクセル）である場合は、クロミナンスウォータマークは、水平方向で１８０エレメント及び垂直方向で１２０エレメントだけシフトされる。それが循環シフトである場合は、水平方向又は垂直方向の長さの半分より大きいシフトは、より小さな負のシフトに等しい。
【００６３】
先に記載したスケール及び回転係数の回復メカニズムは、また、他の種類の幾何学歪みに対してもロバスト性を示す。例えば、幾つかのピクセルが、例えば画像のたわみ又はそりによって歪む場合は、輝度要素及びクロミナンス要素は同じ量だけ歪む。歪みに関わらずウォータマークデータを回復することが依然として可能である。
【００６４】
ウォータマークを埋め込まれたデジタル映像信号５がミラーリングを受ける場合は、これは、漠然とした結果をもたらしうる。あるいは、これは、輝度要素に埋め込まれた単一のウォータマーク及びクロミナンス要素に埋め込まれた単一のウォータマークに関して、ウォータマークの検出をできなくしうる。
【００６５】
実際には、真のデジタル映像信号３は、しばしば、ダウンサンプリングをされたクロミナンス要素を有する。これは、人の目が輝度要素よりもクロミナンス要素に対して鈍感であるためである。従って、クロミナンス要素のみをダウンサンプリングすることによって、帯域幅は、デジタル映像信号３を知覚できるほどに劣化させることなく、デジタル映像信号３で確保され得る。一般に、クロミナンス要素は、水平方向及び垂直方向において係数２でダウンサンプリングをされる（４：２：０サブサンプリングと称される。）。これは、７２０×４８０ピクセルサイズの画像は、輝度分可能が７２０×４８０であるが、クロミナンス分解能がたった３６０×２４０であることを意味する。
【００６６】
低減されたクロミナンス分解能に合うよう、水平方向及び垂直方向において係数２で、クロミナンス要素に埋め込まれたウォータマークをダウンサンプリングすることが必要である。次いで、ウォータマークデコーダは、相関の前にクロミナンスウォータマークをアップサンプリングしなければならない。しかし、このダウンサンプリングにより、クロミナンスウォータマーク内に保持された高周波の情報の量は低減され、結果として、検出することができない低減された相関ピークがもたらされる。
【００６７】
従って、４：４：４サブサンプリング映像信号が４：２：２サブサンプリング映像信号に変換される場合に相関ピークのかかる低減を回避するために、輝度及びクロミナンスの両要素にサイズ３６０×２４０のウォータマークを埋め込むことに代えて、輝度ウォータマーク及びクロミナンスウォータマークは、最初に、７２０×４８０へと係数２によってアップサンプリングをされる。クロミナンスウォータマークは、ウォータマーク埋め込みデジタル映像信号のクロミナンス要素がダウンサンプリングをされる場合は有効にダウンサンプリングをされる。従って、周波数の全てが依然として存在し、相関はより一層高くなりうる。輝度ウォータマークは、ウォータマークデコーダでダウンサンプリングをされる必要がある。
【００６８】
代替的に、クロミナンス要素のダウンサンプリングが、ウォータマークが埋め込まれる前に行われる場合は、輝度ウォータマークは係数２によってアップサンプリングをされ、クロミナンスウォータマークは元の大きさで埋め込まれる。先と同じく、輝度ウォータマークは、ウォータマークが相関しうる前に、ウォータマークデコーダでダウンサンプリングをされる必要がある。
【００６９】
更なる選択肢として、クロミナンス要素は、水平方向でのみダウンサンプリングをされ得る（４：２：２サブサンプリングと称される。）。輝度ウォータマーク及びクロミナンスウォータマークがアップサンプリングをされる場合は、ウォータマークデコーダにおいて、クロミナンスウォータマークは、水平方向に対して垂直方向でより高い分解能を有する。ウォータマークデコーダは、輝度ウォータマークを水平及び垂直の両方の方向でダウンサンプリングし、クロミナンスウォータマークを垂直方向でのみダウンサンプリングすることができる。
【００７０】
ウォータマークは、適切なピクセルの彩度を変更することによってクロミナンス要素に埋め込まれる。そのピクセルのウォータマークエレメントが１に等しい場合は、ピクセル彩度は気付かれない程度に増大する。その画素のウォータマークエレメントが０に等しい場合は、ピクセル彩度は気付かれない程度に低下する。
【００７１】
ウォータマークを埋め込むことによって生ずる映像信号の劣化を低減するために、ウォータマーク埋め込み装置は、気付かれない程度に変更可能なピクセルのみを変更しうる。これは、映像信号のコンテンツに応じてウォータマークパターンの変更を必要としうる。
【００７２】
彩度は、定数ｃをピクセルのＵ及びＶ成分に乗ずることによって変更される。定数ｃの値は、ウォータマークが特定の画素に関して‘０’又は‘１’の値を有するかどうかとは無関係に選択される。定数ｃは‘１’に近い値を有するが、変更を気付かせないようにすべくピクセルごとに異なっていても良い。定数ｃは、ウォータマークが‘１’の値を有する場合は１よりも大きい値を有し、ウォータマークが‘０’の値を有する場合は１よりも小さい値を有する。例えば、ピクセルの元のＵ及びＶ値が、夫々、（値の８ビット表示に関して０〜２５５の範囲内にある）６４及び１６３である場合は、彩度は以下：
Ｕｍ＝ｃ（Ｕ−１２８）＋１２８＝ｃ（６４−１２８）＋１２８＝１２８−６４ｃ
Ｖｍ＝ｃ（Ｖ−１２８）＋１２８＝ｃ（１６３−１２８）＋１２８＝３５ｃ＋１２８
のように変更される。
【００７３】
定数ｃは１に近い値を有する。ｃ＞１である場合は、彩度は増大する。ｃ＜１である場合は、彩度は低下する。負のクロミナンス値は、彩度が増大する場合、即ち、ウォータマークｗ（ｎ）＝１が埋め込まれる場合は、より小さくなりうる。これは、検出器（図５を参照。）で補償され得る。Ｕ及びＶの両値は同時に変更される。変更されるＹ値は以下：
Ｙｍ＝Ｙ＋λ
のように計算される。
【００７４】
なお、λは、ウォータマークが‘１’の値を有する場合は０に等しいか、より大きく、ウォータマークが‘０’の値を有する場合は０に等しいか、より小さい。
【００７５】
図５は、本発明に従う検出器の動作を表す図である。ＹＵＶ値は、４：２：０サブサンプリング方式に従ってサブサンプリングをされる（即ち、デジタル映像信号のクロミナンス要素は、４：４：４サブサンプリング方式のクロミナンスウォータマークに関して水平及び垂直方向でダウンサンプリングをされる。）。図５の目的のために、クロミナンス値は予め−１２８〜１２７の範囲内にあるとされる（即ち、１２８が、予めクロミナンス値から減じられている）。
【００７６】
元のクロミナンス値が負である可能性（即ち、ｃ＞１の場合に減少するクロミナンス値。）を補償するために、Ｕｍ及びＶｍの値は、Ｕｍ及びＶｍの絶対値が得られるように、夫々、変調器４０及び４１を通される。Ｙｍ値は、ウォータマーク埋め込みデジタル映像信号５のクロミナンス要素のダウンサンプリングが、クロミナンスウォータマークが埋め込まれた後に行われるところの選択肢に関して先に述べられたように、ダウンサンプラ４２で（水平に若しくは垂直に又は両方で）ダウンサンプリングをされる。４：２：２サブサンプリング方式のために、垂直方向でＵｍ及びＶｍの値をダウンサンプリングする必要がある。
【００７７】
望ましくは、Ｕｍ及びＶｍの値の絶対値は、加算器４３で足し合わされる。しかし、この加算は、ウォータマークデコーダが、Ｕｍ又はＶｍの値のみからクロミナンス要素に埋め込まれたウォータマークを推定することができる場合は、必ずしも必要ではない。結合されたクロミナンス値及び輝度値は、高域通過フィルタ４４及び４５を通される。高域通過フィルタは信号を白くする（whiten）。このことはウォータマークの推定に有用である。これは、ウォータマークエネルギがデジタル映像信号のエネルギに対して低いためである。しかし、より高い周波数では、ウォータマークエネルギは相対的により高い。従って、変更されたＹＵＶ値の高域通過フィルタリングによって、これはウォータマーク対信号のエネルギ比を増大させる。このことは整合フィルタリングとして知られる。代替的に、検出されるべき画像及びウォータマークは、相関前に、表される高域通過フィルタリングに代わって、ＳＰＯＭＦ（Symmetrical  Phase  Only  Matched  Filtering）を受けても良い。これはＷＯ９９／４５７０７（フィリップス）に記載されている。ＳＰＯＭＦは、ウォータマークの多数のとり得る位置に関して情報信号及び適用されるウォータマークの相関がフーリエ領域で最も良く計算され、且つ、検出の信頼性がＳＰＯＭＦを相関前に情報信号及びウォータマークに適用することによって改善され得るという見識を利用する。ＳＰＯＭＦは、相関性の検出のために必要とされるほとんどの関連情報がフーリエ係数の位相によって搬送されることを前提とする。複素フーリエ係数の大きさは、実質的に同じ大きさを有するよう正規化される。
【００７８】
高域通過フィルタリングを受けたクロミナンス値及び輝度値は、次いで、相関器４６で、高域通過フィルタリングを受けた輝度値を循環的にシフトしたものと相関する。最も高い相関ピークの位置に基づき、スケール係数ｓ及び回転係数ｒは、スケール及び回転係数計算器４７によって計算され得る。これは、次いで、回復されたウォータマークを可能な元のウォータマークと相関させることによって元のウォータマークデータを回復するために使用され得る。
【００７９】
上述された、情報信号におけるデータの埋め込み及び回復の方法に従って、ウォータマークデコーダ６でウォータマーク埋め込みデジタル映像信号５のアスペクト比がウォータマークエンコーダ４でのアスペクト比から変更されない場合は、スケール係数及び回転係数を回復することのみが可能である。代替的に、回転の角度が分かっている場合は、アスペクト比の変更は回復され得る。先に述べたように、映像コンテンツがミラーリングを受ける場合は、これは、ウォータマークの漠然とした回復、又はウォータマークデータを全く回復できないこと、をもたらしうる。
【００８０】
これは、クロミナンス要素に更なる循環的にシフトされたウォータマークを埋め込むことによって解決され得る。クロミナンス要素に埋め込まれた両ウォータマークは、クロミナンス要素に埋め込まれたウォータマークを循環的にシフトしたものである。かかる２つのウォータマークは、２つの独立ベクトル（即ち、輝度ウォータマークからのシフト。）を表す。２つのベクトルは、ウォータマーク埋め込みデジタル映像信号５に適用される更なる変換パラメータの回復及び、ひいては、ウォータマークデータの回復を可能にする。具体的には、ウォータマークのミラーリング、回転及びアスペクト比の起こり得る変化により水平方向及び垂直方向のスケール係数を決定することが可能である。
【００８１】
このことは以下のように説明され得る。ウォータマークｗは、サイズＭ×Ｎピクセルのデジタル映像フレームの輝度要素に埋め込まれる。上述された同様のアップサンプリングアプローチがここでも適用され得ることが好ましいが、便宜上、クロミナンス要素の分解能は同じであるとする。ウォータマークｖは、デジタル映像信号のクロミナンス要素に埋め込まれる。クロミナンスウォータマークｖは、以下：
ｖ＝（ＳＳ０−ｗ）−（ＳＳ１−ｗ）
のような、輝度ウォータマークの２つの循環的にシフトしたものを有する。
【００８２】
シフト演算子Ｓは、上記で定義されている。ｓを有する２次元循環シフト演算子に対応するＳｓは、整数要素を有する長さ２のベクトルである。言い換えると、ｓ（０）は水平シフトであり、ｓ（１）は垂直シフトである。従って、Ｓｓは、代替的に：
（Ｓｓｘ）（ｎ）＝ｘ（ｎ−ｓ）
ｓ∈Ｚ２
のように表されても良い。
【００８３】
ｎは、ベクトルｘのｎ次要素を表す２次元ベクトルである。先と同じく、輝度ウォータマークを循環的にシフトしたものは、輝度ウォータマークと相関しないので、
＜ｗ，（Ｓｓｗ）＞＝δ［Ｓｓ］
ｓ∈Ｚ２
となる。
【００８４】
シフトｓ０及びｓ１は必ずしも等しくない。例えば、ｓ０＝（Ｍ／２，０）及び＝ｓ１（０，Ｎ／２）である。これは図６に表されている。図６で、５０は輝度要素に埋め込まれたウォータマークであり、ベクトルｓ０及びｓ１が図示されている。ベクトルは、どの方向で且つどれくらいのピクセルによってウォータマークがシフトされているかを示す。ｓ１を上回って循環的にシフトされるウォータマークは負の符号を有し、一方、ｓ０を上回って循環的にシフトされるウォータマークは正の符号を有する。このことは、２つのウォータマークを区別することを可能にする。即ち、ｖがｗの全ての可能な循環的にシフトされたものと相関する場合は、正のピークは（Ｍ／２，０）で見つけられ、負のピークは（０，Ｎ／２）で見つけられる。シフトの如何なる対も、ベクトルｓ０及びｓ１が互いから独立している限り使用され得る。
【００８５】
映像コンテンツがスケーリング、回転及び／又はミラーリングをされる場合は、ベクトルｓ０及びｓ１は然るべく変更される。例えば、映像コンテンツが９０度回転される場合は、変更された輝度ウォータマーク５１が、図６で示されるように、変換されたベクトルｐ０及びｐ１を有して得られる。より一般的には、変換係数Ｔが映像コンテンツに適用される場合は、ベクトルｓ０及びｓ１は、夫々、ベクトルＴｓ０及びＴｓ１にマッピングされる。例えば、９０度時計回りの回転の場合には、変換係数Ｔは：
【数２】
2009514305.tif 000004
によって与えられる。
【００８６】
ウォータマークデコーダは、どの変換係数が、ウォータマークデータを回復するために映像コンテンツに適用されたかを見つけ出すために必要とされる。これは、
Ｐ＝Ｔ．Ｓ
によって決定され得る。
【００８７】
Ｓは、列として２つの元のベクトルｓ０及びｓ１を有する行列である。Ｐは、列として２つの変換されたベクトルｐ０及びｐ１を有する行列である。従って：
Ｔ＝Ｐ．Ｓ−１
である。
【００８８】
行列Ｓが反転されるべき場合には、ベクトルｓ０及びｓ１は独立でなければならない。
【００８９】
ウォータマークデコーダは、ｓ０及びｓ１を知り、クロミナンスウォータマークを輝度ウォータマークの全ての循環的にシフトしたものと相関させることによってｐ０及びｐ１を決定する。ウォータマークデコーダが変換行列Ｔを回復した場合は、ウォータマークデコーダは、輝度ウォータマークを全てのとり得る元のウォータマークと相関させることによって、元のウォータマークデータを回復することができる。
【００９０】
図７は、クロミナンス要素に埋め込まれた２つの循環的にシフトされたウォータマークを有する上記ウォータマーキング方法に関して、変換行列Ｔ及び、ひいては元のウォータマークデータを回復するのに適したウォータマークデコーダを図式的に表す。これは、相関器４６が２つのベクトルｐ０及びｐ１を回復する点を除いて、図５に表されるウォータマークデコーダと同じである。また、ウォータマークデータの回復の前に、変換係数Ｔの回復のための更なるステップ６０がある。
【００９１】
ウォータマーク対信号比を増大するための更なる改良として、ウォータマークデコーダは、信号をデコードする前に多数のフレームをバッファリングしても良い（図５及び７のデコーダには図示せず。）。同じウォータマークが連続したフレームに埋め込まれるので、ウォータマークはコヒーレントに合い、一方、映像信号は合わない。
【００９２】
当業者には容易に理解されるように、様々な改良が、上記の本発明の好ましい実施例に対して行われ得る。具体的に、実施例は、映像信号にウォータマークを埋め込むための配置を参照して記載される。しかし、本発明は、映像信号又は特定の規格に限定されるわけではない。例えば、ＲＧＢ色モデル又はＹＵＶと等価なものを用いてエンコードされたデジタル映像信号は、信号の少なくとも２つの要素がある限り、本発明を用いてウォータマークを埋め込まれ得る。
【００９３】
本発明は、映像ストリームを表すデータストリームを埋め込むために特に使用されるが、本発明は、例えば、デジタル信号が少なくとも２つの要素に分けられ、別個のウォータマークが夫々の要素に埋め込まれ得るところのデジタル音声信号のような、他の種類のデジタル又はアナログデータストリームにウォータマークを埋め込むために使用されると考えられている。例えば、ステレオデジタル音声信号に関し、ウォータマーク及び変換されたウォータマークは、左右の音声チャネルに別々に埋め込まれ得る。代替的に、第１のウォータマークは第１の周波数サブチャネルに埋め込まれ得、第２のシフトされたウォータマークは、第２の別の周波数チャネルに埋め込まれ得る。第１のウォータマーク及び第２の変換されたウォータマークを情報信号に埋め込む他の方法は、当業者には容易に理解され得るだろう。本発明は、また、予めデジタルウォータマークを処理するデータストリームを判別するためにも使用され得る。本発明の更なる改良及び応用は、添付の特許請求の範囲の適用範囲を逸脱することなく、ここで教示されたことから当業者には容易に理解され得るだろう。
【００９４】
要約すると、マルチメディアコンテンツ（音声、映像、画像）のスケーリング及び回転といった全般的な歪みに対してロバスト性を有するウォータマーキング方法が開示される。これは、ウォータマークをホスト信号の第１の要素に及び同じウォータマークを変換したものを第２の要素に埋め込むことによって達成される。例えば、ウォータマークは輝度要素（Ｙ）に埋め込まれ、そのウォータマークを循環的にシフトしたものは映像信号のクロミナンス要素（ＵＶ）に埋め込まれる。検出器は、輝度ウォータマークをクロミナンスウォータマークの全ての循環的にシフトしたものと相関させる（４６）。最も高い相関ピークは、埋め込み装置の終わりで適用されたシフトを示す。このように見つけられたシフトを元の値と比較することによって、スケーリング係数及び回転係数は回復される（４７）。本発明は、スケーリング及び回転操作がされないことを可能にし、その後、埋め込まれたウォータマークが従来の方法で容易に検出され得る。
【図面の簡単な説明】
【００９５】
【図１】アナログ信号をデジタル化するステップ、本発明の実施例に従ってその信号にウォータマークを埋め込むステップ及びウォータマークデータを回復するようそのウォータマーク埋め込み信号をデコードするステップに含まれる処理の概略を表す図である。
【図２】一次元のウォータマークと、その一次元のウォータマークの循環的にシフトされた複製とを表す図である。
【図３】スケーリング後の図２のウォータマーク及び循環的にシフトされたウォータマークを表す図である。
【図４】埋め込まれたウォータマーク及び循環的にシフトされた埋め込まれたウォータマークを回転させる効果を図式的に表す。
【図５】図４の埋め込まれたウォータマークをデコードするための本発明の実施例に従うウォータマークデコーダを表す図である。
【図６】埋め込まれたウォータマーク及び２つの循環的にシフトされた埋め込まれたウォータマークを回転させる効果を図示的に表す。
【図７】図６の埋め込まれたウォータマークをデコードするための本発明の実施例に従うウォータマークデコーダを表す図である。
【図１】
2009514305.tif 000005
【図２】
2009514305.tif 000006
【図３】
2009514305.tif 000007
【図４】
2009514305.tif 000008
【図５】
2009514305.tif 000009
【図６】
2009514305.tif 000010
【図７】
2009514305.tif 000011
【国際調査報告】
2009514305.tif 000012
2009514305.tif 000013