(57)【要約】  本発明は、メディア信号に埋め込まれるべき付加データを決定するための方法、装置及びコンピュータプログラムに関し、また付加データを決定するための斯かる装置を持つメディア信号処理装置に関する。付加データを決定するための装置は、埋め込みユニット（２８）を有する。埋め込みユニットは動き補償ユニット（３２）を有し、該動き補償ユニットは、幾つかの信号サンプル値のブロックを持つフレームに分割されたメディア信号（Ｘ）から、信号サンプルの第１のブロックと関連付けられた現在のフレームの少なくとも１つの動きベクトル（Ｖ）を取得し、該動きベクトルに依存して前記信号の以前のフレームに埋め込まれた付加データ（ＷＰ０）を取得する。埋め込みユニットはまた修正ユニット（３６）を持ち、該修正ユニットは、付加基準データ（ＷＲ）に基づいて取得された付加データの係数を決定する。埋め込みユニットは更に、前記第１のブロックに修正された付加データを埋め込むデータ埋め込みユニット（３８）を持つ。
2008502256.tif 000002
【特許請求の範囲】
【請求項１】
メディア信号に埋め込まれるべき付加データを決定する方法であって、
幾つかの信号サンプル値のブロックを持つフレームに分割されたメディア信号から、信号サンプルの第１のブロックと関連付けられた現在のフレームの少なくとも１つの動きベクトルを得るステップと、
前記動きベクトルに依存して、前記信号の以前のフレームに埋め込まれた付加データを取得するステップと、
前記取得された付加データ及び付加基準データに基づいて、前記信号に埋め込まれるべき付加データ係数を決定するステップと、
前記付加データ係数を前記第１のブロックに埋め込むステップと、
を有する方法。
【請求項２】
１つの動きベクトルを利用して取得された前記付加データは、前記動きベクトルが指す前記以前のフレームの第２のブロックについて供給され、前記付加基準データは、埋め込まれるべき前記付加データが何に類似するべきかを特定するデータである、請求項１に記載の方法。
【請求項３】
前記付加データは前記信号サンプルに埋め込まれるべき幾つかの係数を持つ電子透かしであり、前記方法は前記メディア信号を得るステップを更に有し、
前記取得するステップは更に、前記動きベクトルに基づいて保存された以前のフレームの電子透かしの少なくとも一部を取得するステップを有し、
前記決定するステップは、
前記以前のフレームの電子透かしの前記取得された一部の係数の変化の方向を、前記基準電子透かしの対応する部分の係数の変化の方向と比較し、前記基準電子透かし係数の変化の方向と異なる前記取得された電子透かし係数の変化の方向を、対応する修正係数を加算することにより、前記基準電子透かし係数の変化の方向に変更することによって、前記以前のフレームの電子透かしの前記一部を修正するステップを有し、
前記埋め込むステップは、前記修正係数を埋め込むステップを有する、
請求項１に記載の方法。
【請求項４】
前記取得された電子透かしの前記一部に前記修正係数を加算し、該加算の結果を後続するフレームの修正における利用のため以前のフレームの電子透かしの一部として保存するステップを更に有する、請求項３に記載の方法。
【請求項５】
前記以前のフレームの電子透かしは空間ドメインで供給され、前記取得するステップは空間ドメインで実行され、少なくとも前記取得された電子透かし係数をＤＣＴドメインに変換し、前記修正するステップ及び埋め込むステップをＤＣＴドメインで実行するステップを更に有する、請求項３に記載の方法。
【請求項６】
前記メディア信号は、空間ドメイン以外のドメインで供給される、請求項１に記載の方法。
【請求項７】
前記現在のフレームは、前記現在のフレームの前に提示されるべきフレームのみに基づいて予測されるフレームである、請求項１に記載の方法。
【請求項８】
メディア信号に埋め込まれるべき付加データを決定する装置であって、
幾つかの信号サンプル値のブロックを持つフレームに分割されたメディア信号から、信号サンプルの第１のブロックと関連付けられた現在のフレームの少なくとも１つの動きベクトルを得、前記動きベクトルに依存して、前記信号の以前のフレームに埋め込まれた付加データを取得するように構成された動き補償ユニットと、
前記取得された付加データ及び付加基準データに基づいて、前記信号に埋め込まれるべき付加データ係数を決定するように構成された決定ユニットと、
前記付加データ係数を前記第１のブロックに埋め込むように構成されたデータ埋め込みユニットと、
を持つ埋め込みユニットを有する装置。
【請求項９】
前記付加データは電子透かしであり、前記動き補償ユニットは更に、
前記動きベクトルに基づいて保存された以前のフレームの電子透かしの少なくとも一部を、第１の電子透かしバッファから取得するように構成され、
前記決定ユニットは、前記決定を実行するときに、
前記以前のフレームの電子透かしの前記取得された一部の係数の変化の方向を、前記基準電子透かしの対応する部分の係数の変化の方向と比較し、前記基準電子透かし係数の変化の方向と異なる前記取得された電子透かし係数の変化の方向を、対応する修正係数を加算することにより前記基準電子透かし係数の変化の方向に変更することによって、前記以前のフレームの電子透かしを修正するように構成され、
前記データ埋め込みユニットは更に、前記メディア信号を得、前記信号に前記修正係数を埋め込むように構成された、請求項８に記載の装置。
【請求項１０】
前記動き補償ユニットは、空間ドメインで前記以前のフレームの電子透かしを取得するように構成され、前記埋め込みユニットは更に、前記取得された電子透かしの少なくとも前記一部をＤＣＴドメインに変換し、ＤＣＴドメインにおいて前記決定ユニットが前記修正を実行し前記データ埋め込みユニットが前記電子透かしの埋め込みを実行できるようにするように構成されたＤＣＴ変換ユニットを有する、請求項９に記載の装置。
【請求項１１】
前記埋め込みユニットは更に逆ＤＣＴ変換ユニットを有し、前記決定ユニットは更に、前記修正係数を前記取得された電子透かしの前記一部に加算し、該加算の結果を、第２の電子透かしバッファにおける以前のフレームの電子透かしとしての保存のため空間ドメインへ変換するために前記逆ＤＣＴユニットに転送するように構成された、請求項１０に記載の装置。
【請求項１２】
請求項８に記載の付加データを決定する装置を有するメディア信号処理装置。
【請求項１３】
メディア信号に埋め込まれるべき付加データを決定するためのコンピュータプログラムであって、前記プログラムがコンピュータにロードされたときに、前記コンピュータに、
幾つかの信号サンプル値のブロックを持つフレームに分割されたメディア信号から、信号サンプルの第１のブロックと関連付けられた現在のフレームの少なくとも１つの動きベクトルを得させ、
前記動きベクトルに依存して、前記信号の以前のフレームに埋め込まれた付加データを取得させ、
前記取得された付加データ及び付加基準データに基づいて、前記信号に埋め込まれるべき付加データ係数を決定させ、
前記付加データ係数を前記第１のブロックに埋め込ませる、コンピュータプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にはメディア信号の電子透かしの分野に関し、特に例えばＭＰＥＧ符号化方式により符号化されたビデオ信号に関する。更に詳細には、本発明は、メディア信号に埋め込まれるべき付加データを決定するための方法、装置及びコンピュータプログラムに関し、更に付加データを決定するための斯かる装置を持つメディア信号処理装置に関する。
【背景技術】
【０００２】
コンテンツの所有者の権利を著作権侵害や詐欺から保護するために、メディア信号に電子透かしを入れる（watermark）ことが良く知られている。電子透かしは、ここでは通常メディア信号に挿入される疑似ランダム的なノイズ符号である。
【０００３】
電子透かし処理において、電子透かしが知覚可能でないことが必須である。例えばビデオ信号に埋め込まれた電子透かしは、エンドユーザにとって可視あるべきではない。しかしながら、電子透かし検出器を利用して安全に電子透かしを検出することが可能であるべきであり、それ故電子透かしは更に信号を通して構造を維持するべきである。
【０００４】
ビデオ信号用の１つの知られた電子透かし方式は、WO-02/060182に記載されている。ここでは、電子透かしがＭＰＥＧビデオ信号に埋め込まれる。ＭＰＥＧ信号は受信され、フレームに分割されたビデオストリームのＶＬＣ（Variable-Length Coding）符号化され量子化されたＤＣＴ（Discrete Cosine Transform）サンプルを有する。ここで各フレームが幾つかの画素情報のブロックを含む。該電子透かし方式においては、量子化されたＤＣＴサンプルが、ＶＬＣ符号化されたストリームから得られ、電子透かしが該ドメインにおいて直接に埋め込まれる。電子透かしはここでは、ビットレートコントローラを利用して８ｘ８のサイズのブロックの量子化されたＤＣＴ成分に埋め込まれ、これにより±１を持つ小さなＤＣＴレベルのみがゼロ値に変更される。これらの値は更に、前記ストリームのビットレートが増大されない場合にのみ変更される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、斯かる信号におけるフレームにおいて符号化されたオブジェクトが移動する場合に、該オブジェクトに埋め込まれた電子透かし成分もまた移動し、しばしば
真の電子透かしをもはや反映しない不正な電子透かしへと導く。このことは、検出をより困難にする。
【０００６】
それ故、ビデオ信号において提供されるオブジェクトが移動する場合に、上述の方式による電子透かしが改善されれば有利となる。
【０００７】
それ故本発明の目的は、メディア信号に付加データを埋め込む方式であって、該信号に符号化された移動されたオブジェクトの付加データに対する影響が制限される方式を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、本目的は、メディア信号に埋め込まれるべき付加データを決定する方法であって、
幾つかの信号サンプル値のブロックを持つフレームに分割されたメディア信号から、信号サンプルの第１のブロックと関連付けられた現在のフレームの少なくとも１つの動きベクトルを得るステップと、
前記動きベクトルに依存して、前記信号の以前のフレームに埋め込まれた付加データを取得するステップと、
前記取得された付加データ及び付加基準データに基づいて、前記信号に埋め込まれるべき付加データ係数を決定するステップと、
前記付加データ係数を前記第１のブロックに埋め込むステップと、
を有する方法によって達成される。
【０００９】
本発明の第２の態様によれば、本目的は、メディア信号に埋め込まれるべき付加データを決定する装置であって、
幾つかの信号サンプル値のブロックを持つフレームに分割されたメディア信号から、信号サンプルの第１のブロックと関連付けられた現在のフレームの少なくとも１つの動きベクトルを得、前記動きベクトルに依存して、前記信号の以前のフレームに埋め込まれた付加データを取得するように構成された動き補償ユニットと、
前記取得された付加データ及び付加基準データに基づいて、前記信号に埋め込まれるべき付加データ係数を決定するように構成された決定ユニットと、
前記付加データ係数を前記第１のブロックに埋め込むように構成されたデータ埋め込みユニットと、
を持つ埋め込みユニットを有する装置によって達成される。
【００１０】
本発明の第３の態様によれば、本目的は、前記第２の態様による付加データを決定する装置を有するメディア信号処理装置によって達成される。
【００１１】
本発明の第４の態様によれば、本発明は、メディア信号に埋め込まれるべき付加データを決定するためのコンピュータプログラムであって、前記プログラムがコンピュータにロードされたときに、前記コンピュータに、
幾つかの信号サンプル値のブロックを持つフレームに分割されたメディア信号から、信号サンプルの第１のブロックと関連付けられた現在のフレームの少なくとも１つの動きベクトルを得させ、
前記動きベクトルに依存して、前記信号の以前のフレームに埋め込まれた付加データを取得させ、
前記取得された付加データ及び付加基準データに基づいて、前記信号に埋め込まれるべき付加データ係数を決定させ、
前記付加データ係数を前記第１のブロックに埋め込ませる、コンピュータプログラムコードを有するコンピュータプログラムによって達成される。
【００１２】
請求項２によれば、１つの動きベクトルを利用して取得された付加データが、該動きベクトルが指す前記以前のフレームの第２のブロックに供給され、付加基準データは、埋め込まれるべき付加データが何に類似するべきかを特定するデータである。
【００１３】
請求項３及び９によれば、前記付加データは電子透かしであり、以前のフレームの電子透かしの取得された部分の係数の変化の方向が、基準電子透かしの対応する部分の係数の変化の方向と比較され、前記基準電子透かし係数の変化の方向と異なる前記取得された電子透かし係数の変化の方向が、対応する修正係数を加算することにより、前記基準電子透かし係数の変化の方向へと変更される。前記修正係数が次いで前記信号に埋め込まれる。この特徴は、前記信号のビットレートを上昇させることなく、電子透かしを復元するために必要とされる処理の量を制限する。
【００１４】
請求項４及び１１によれば、前記修正係数は、前記取得された電子透かしの前記部分に追加され、結果が後続するフレームの修正のために以前のフレームの電子透かしの一部として保存される。このことは、電子透かしが他のフレームにおいても復元されることを確実とする。
【００１５】
請求項５及び１０によれば、前記取得は空間ドメインで実行され、前記修正及び埋め込みはＤＣＴドメインで実行される。前記動きベクトルは空間ドメインに関連し、このことは前記取得が空間ドメインで実行される必要があり、一方で電子透かしの埋め込みがＤＣＴドメインで為される必要があることを意味する。
【００１６】
請求項７によれば、現在のフレームは、該現在のフレームの前に提示されるべきフレームのみに基づき予測されたフレームである。この特徴は、本発明による修正方式の複雑さを低下させることを可能とする。
【００１７】
本発明は、メディア信号に符号化されたオブジェクトが移動された場合に、埋め込まれた付加データをあるべき状態に復元するという利点を持つ。このことは、埋め込まれた付加データと埋め込まれることを意図された付加データとの間の高い相関を維持することを可能とする。
【００１８】
本発明の本質的な発想は、符号化されたオブジェクトが移動された場合に、信号に埋め込まれるべき付加データが、該オブジェクトと関連する動きベクトルを用いて動き補償される点である。次いで、前記動き補償された付加データ及び付加基準データが、埋め込まれるべき付加データを決定するために利用され、付加データの意図された情報を復元する。
【００１９】
本発明のこれらの及び他の態様は、以下に説明される実施例を参照しながら説明され明らかとなるであろう。
【発明を実施するための最良の形態】
【００２０】
本発明はここで、添付する図面に関連してより詳細に以下説明される。
【００２１】
本発明は、メディア信号への付加データの埋め込みに向けたものである。斯かる付加データは、好ましくは電子透かしである。しかしながら、本発明は電子透かしに限定されるものではなく、他のタイプの付加データに適用されることができる。前記メディア信号は、以下においては、ビデオ信号及びＭＰＥＧ符号化されたビデオ信号に関連して説明される。本発明はＭＰＥＧ符号化に限定されるものではなく、他のタイプの符号化もまた予期されることは理解されるべきである。
【００２２】
ＭＰＥＧ規格によるビデオ信号即ちストリームＸが、図１において模式的に示される。ＭＰＥＧストリームＸは、幾つかの送信されるフレーム即ちＩ、Ｂ及びＰと示されるピクチャを有する。図１は、次々と提示される幾つかの斯かるフレームを示す。前記フレームの下には、第１の数字の列が示され、これらの数字は表示される順番、即ち該フレームに関連する情報が表示されるべき順番を示す。前記第１の数字の列の下には第２の数字の列が示され、送信及び復号化の順番、即ちビデオシーケンスを表示するためにフレームが受信され復号化される順番を示す。フレームの上には、該フレームが互いをどのように参照するかを示す矢印が示される。前記ストリームは、オーバヘッド情報のような他の情報をも含むことは理解されるべきである。
【００２３】
種々のタイプのフレームは、Ｉ、Ｂ及びＰピクチャに分類される。Ｐピクチャである斯かるピクチャの１つが、参照番号１０として示される。Ｉピクチャは、参照番号１１で示される。Ｉピクチャは、所謂フレーム内符号化されたピクチャである。これらのピクチャは、他のピクチャと独立に符号化され、画像を表示するために必要な全ての情報を含む。Ｐ及びＢピクチャは、所謂フレーム間符号化されたピクチャであり、連続するピクチャ間の時間的な冗長性を利用しており、予測誤差を最小化するために動き補償を利用している。Ｐピクチャは過去の１つのピクチャを参照し、以前のピクチャはＩピクチャ又はＰピクチャであっても良い。Ｂピクチャは過去の２つのピクチャ及び未来の１つのピクチャを参照し、参照されるピクチャはＩ又はＰピクチャであっても良い。このため、Ｂピクチャは該Ｂピクチャが参照するピクチャの後に送信される必要があり、このことは送信順序を表示順序と異ならしめる。
【００２４】
ここで符号化の原理が、フレーム内符号化されたブロックに関連して説明される。なぜなら、ここでは符号化の原理が最も明らかに示されるからである。フレーム内符号化されたピクチャ即ちＩピクチャにおいては、フレームが幾つかの画素を含み、各画素について輝度及び色差が備えられる。以下では輝度に焦点を当てる。なぜなら、電子透かしは画素の当該属性に埋め込まれるためである。斯かるフレームの各々は、更に輝度値の８ｘ８の画素ブロックに分割される。１つの斯かるフレーム１１が図２に示され、前記ストリーム中に供給されたオブジェクト１２を示す。例として、ここで輝度値の８ｘ８のブロックが１２個供給されており、水平方向に４個、垂直方向に３個の斯かるブロックがある。図中の全てのブロックは更に電子透かしを入れられ、ここではこれらブロックに電子透かしが埋め込まれたことを示すため文字ｗにより示される。電子透かしは一般に可視でないことに留意されたい。ブロック１４の１つが強調され、ＭＰＥＧ符号化の説明に関連して使用される。
【００２５】
図３は、図２に示されたブロックについての幾つかの輝度値ｙの例を示す。
【００２６】
フレーム内符号化されたブロックの符号化を実行する処理において、ＤＣＴ（Discrete Cosine Transform）演算がこれらブロックに対して実行され、ＤＣＴ係数の８ｘ８のブロックに帰着する。図４は、図３におけるブロックについての、斯かるＤＣＴ係数ブロックを示す。前記係数は、入力ブロックの水平及び垂直空間周波数についての情報を含む。ゼロの水平及び垂直周波数に対応する係数はＤＣ成分と呼ばれ、図４の左上の角における係数である。一般に、自然の画像については、これら係数は均一に分布せず、変換は低周波係数、即ち図４の左上側にエネルギーを集中させる傾向がある。
【００２７】
次いで、フレーム内符号化されたブロックにおけるＡＣ係数が、量子化ステップｑ＊Ｑｉｎｔｒａ（ｍ，ｎ）／１６を適用することにより量子化される。図５は、ここで利用されるデフォルトの量子化値を示す。量子化ステップｑは、ブロック毎に異なるように設定されても良く、１と１１２との間で変化し得る。
【００２８】
該量子化の後、ブロック中の係数は、６４個の係数から成る１次元の配列に並べられる。ここで、この並べる方式は、図６に示されるようなジグザグ（zigzag）方式であり、最初の係数はＤＣ成分であり、最後のエントリが右下の角の最も高い空間周波数を表す。ＤＣ成分から該最後の成分まで、係数がジグザグパターンで互いに接続される。
【００２９】
前記１次元の配列は次いで、ＶＬＣ（variable length code）を利用して圧縮即ちエントロピー符号化される。このことは、前記配列に基づいて、限られた数の符号語を提供することにより為される。各符号語はゼロ値のラン、即ち特定のレベルの非ゼロ係数によって後続される、量子化されたＤＣＴ係数に先行するゼロの値を持つ係数の数を示す。このことは、図６における値について、以下の符号語の列の生成に導く：
（０，４），（０，７），（１，−１），（０，１），（０，−１），（０，１），（０，２），（０，１），（２，１），（０，１），（０，−１），（０，−１），（２，１），（３，１），（１０，１），ＥＯＢ
ここでＥＯＢはブロックの末尾（end of the block）を示す。
【００３０】
これらの所謂ラン／レベル対は次いで、適切な符号化テーブルを利用してディジタル値に変換される。このようにして、輝度情報がかなり削減される。
【００３１】
上述したように、Ｉフレームはフレーム内符号化されたブロックのみを有する。Ｐ及びＢフレームは、フレーム間符号化されたブロックを含み、係数が予測誤差を表す。斯かるフレームのオーバヘッド情報においては、該フレーム間符号化されたブロックに関連する動きベクトルも備えられる。しかしながら、Ｐ及びＢフレームはフレーム内符号化されたブロックをも含み得ることは留意されたい。
【００３２】
フレーム間符号化されたブロックは、上述したように、符号化される際にはフレーム内符号化されたブロックと同様に処理される。ここでの違いは、ＤＣＴ係数が輝度値を表すのではなく、予測誤差を表すことであるが、ＤＣＴ係数はフレーム内符号化された係数と同様に取り扱われる。量子化において、ｑ＊Ｑｎｏｎ−ｉｎｔｒａ（ｍ，ｎ）／１６による量子化ステップが適用される。図７は、ここで利用されるデフォルトの量子化値Ｑｎｏｎ−ｉｎｔｒａを示す。量子化ステップｑは、ブロック毎に異なるように設定されても良く、ここでも１と１１２との間で変化し得る。
【００３３】
上述したように、電子透かしの形をとる付加情報が、種々のブロックに埋め込まれる。典型的なアルゴリズムは、WO-02/060182（参照により本明細書に組み込まれたものとする）に記載された所謂ラン併合（run-merge）アルゴリズムである。
【００３４】
本文献によれば、疑似ランダム的なノイズシーケンスの形をとる電子透かしｗが、フレームのブロックに埋め込まれる。ここで電子透かしは、画像全体に亘って提供される幾つかの同一のタイルとして提供され、１つのタイルが１２８ｘ１２８画素のサイズを持ち得る。該電子透かしタイルは、ＤＣＴブロックのサイズに対応するブロックに分割され、ＤＣＴドメインに変換される。これらのＤＣＴブロックは次いで、電子透かしバッファに保存される。該アルゴリズムにおいては、電子透かしは、ビットレートコントローラの制御下で、量子化されたＤＣＴ係数に埋め込まれる。電子透かしは、最小の量子化されたＤＣＴレベルに±１を加算することにより埋め込まれる。しかしながら、信号係数の多くはゼロであるため、±１の加算はビットレートの増大を導き得、このことは不利である。更に、電子透かしが可視となるリスクもある。
【００３５】
それ故、変更が増大されたビットレートに導き得る場合には、信号の変更が実行されないように電子透かしが埋め込まれる。最小の量子化されたＤＣＴレベル±１のみが、電子透かしによりゼロに変更される。
【００３６】
このことは、以下のように示される：
【数１】
2008502256.tif 000003
ここでｌｉｎは量子化された入力ＤＣＴレベル、ｗは電子透かし、ｌｏｕｔは結果の電子透かしを入れられた量子化されたＤＣＴレベルである。
【００３７】
本問題を解くためのメディア処理装置が一般的に図８に示される。
【００３８】
前記メディア処理装置は、パースユニット１８、付加データを決定するための装置２０及び出力段２２を含む。前記パースユニットは、装置２０及び出力段２２に接続され、装置２０もまた出力段２２に接続される。装置２０は、埋め込みユニット２８及び第２の処理ユニット３０に接続された第１の処理ユニット２６を含む。電子透かしバッファ２４は、埋め込みユニット２８に接続される。電子透かしバッファ２４は、後に基準電子透かしバッファと呼ばれるが、その理由は後に説明により明らかとなるであろう。
【００３９】
通常の動作においては、パースユニット１８は、ＶＬＣ符号化された符号語を伴うブロックを含む幾つかのビデオ画像又はフレームの形をとるメディア信号Ｘを受信する。前記パースユニットは、ＶＬＣ符号化された符号語を他のタイプの情報から分離し、該ＶＬＣ符号化された符号語を装置２０の第１の処理ユニット２６に送信する。該第１の処理ユニット２６は、各ブロックのラン−レベル対を再生成するために、ストリームＸを処理する。パースユニット１８はまた、フレーム間符号化されたブロックと関連する、Ｂ及びＰフレームのオーバヘッド情報中に供給された動きベクトルＶを分離し、これら動きベクトルＶを埋め込みユニット２８に供給する。埋め込みユニット２８は、これら動きベクトルＶをこのように取得する。第１の処理ユニット２６によって受信された前記ラン−レベル対、即ち量子化されたＤＣＴ係数行列は次いで、埋め込みユニット２８に送信される。埋め込みユニット２８は、前記電子透かしバッファに保存された電子透かしを埋め込み、該電子透かしを入れられたＤＣＴ行列を第２の処理ユニット３０に供給する。第２の処理ユニット３０は該ＤＣＴ行列を符号化し、他のＭＰＥＧ符号と組み合わせるために組み合わせユニット２２に供給する。次いで、組み合わせユニット２２から電子透かしを入れられた信号Ｘ'が供給される。
【００４０】
本発明による電子透かしは通常WO-02/060182に概説されたように処理されるが、ことによると電子透かし係数の±１よりも高い又は低いレベルを可能とする。ブロックの通常の電子透かし処理の間、±１以外の電子透かしレベルが可能とされる。許容可能なビットレートにより設定される制限のため、ゼロレベル係数に電子透かしを加算することを不可とし、信号サンプルの増大されたＤＣＴレベルを不可とする一方で、電子透かしを加算することによりゼロレベルに近い係数レベルをもたらすことが必須となり得る。更に、最初にブロック係数を逆量子化し、次いで該逆量子化されたＤＣＴ係数に電子透かしを加算することにより、同様にビットレートが増大しないようにすることが好ましい。前記信号係数についての電子透かし係数は電子透かしバッファ２４から取られ、ここで該電子透かし係数はＤＣＴドメインで保存される。ここで前記電子透かし係数は、対応する逆量子化された信号係数が変化すべき量及び方向（即ち符号）を規定する値を持つ。
【００４１】
動き補償に関連して生じる問題は、フレーム中のオブジェクトが移動された場合に、該オブジェクトに埋め込まれた電子透かしもまた移動されるという点である。該移動は、空間的な電子透かしの変化を引き起こし、正確な空間的な電子透かしをもはや提供しなくなり得る。電子透かしはかくして歪められ得る。
【００４２】
上述の問題を解決するための埋め込みユニット２８が、図９におけるブロック模式図に示される。埋め込みユニット２８は、先行フレーム電子透かしバッファ２５に接続された動き補償ユニット３２を有する。動き補償ユニット３２は更に、ＤＣＴ変換ユニット３４に接続される。ＤＣＴ変換ユニット３４は決定ユニット３６に接続され、決定ユニット３６はデータ埋め込みユニット３８に接続される。決定ユニット３６は更に、基準電子透かしバッファ２４及び逆ＤＣＴ変換ユニット４０に接続され、逆ＤＣＴ変換ユニット４０はまた先行フレーム電子透かしバッファ２５に接続される。前記先行フレーム電子透かしバッファはここでは、第１のバッファ２５Ａと第２のバッファ２５Ｂとに分割されている。第１のバッファ２５Ａは、以前のフレームに埋め込まれた電子透かしを有し、第２のバッファ２５Ｂは、後続するフレーム用の基準電子透かしとして後に利用される、現在のフレームに埋め込まれた電子透かしを有する。
【００４３】
図９における装置の機能は、図２におけるオブジェクト１２がＰフレームにおいて移動されるという仮定の下に、以下に説明される。ここで先行するフレームに関連する空間ドメインにおける先行電子透かしＷＰ０が、第１のバッファ２５Ａに保存されている。動き補償ユニット３２は、ブロックカウンタを利用してフレームの行及び列を計数し、１つずつ位置のベクトルを取得することにより、連続的な態様でＰフレームの全てのブロックのベクトルＶを取得する。各ベクトルは、現在のフレームの第１のブロック位置に関連付けられ、対応するブロックが移動された位置から以前のフレームの第２の位置を指す。ブロックに関連付けられた動きベクトルがない場合、当該ベクトルはゼロの長さを持つ。各ベクトルについて、前記動き補償ユニットは次いで、該ベクトルが指す前記第２の位置に対応する、以前のフレームの電子透かしＷＰ０ブロックを取得する。前記ベクトルがゼロの場合、前記第１の位置と前記第２の位置とは同一である。前記取得された以前のフレームの電子透かしＷＰ０ブロックは次いで、現在のブロックの第１の位置、即ち前記ベクトルに関連付けられた位置へと移動される。このことは、以前のフレームの電子透かしブロックが、前記第２の位置から前記第１の位置まで移動されるように、ベクトルＶを利用して動き補償されたと考えることができる。取得され再配列された以前のフレームの電子透かしブロックＷＰ０は次いでＤＣＴ変換ユニット３４に供給され、該ＤＣＴ変換ユニット３４が、以前のフレームのブロックを、空間ドメインからＤＣＴドメインに変換し、決定ユニット３６に供給する。決定ユニット３６において、前記取得され再配列された以前のフレームの電子透かしと基準電子透かしとに基づいて、埋め込まれるべき電子透かしが決定される。このことは、埋め込まれることを意図されたデータを有する基準電子透かしＷＲが、前記再配列された以前のフレーム電子透かしＷＰ０とブロック毎に比較されることにより為される。かくして、ここで前記基準電子透かしの第１のブロックが、前記以前のフレームの電子透かしの第２のブロックと比較される。
【００４４】
前記決定（ここでは以前のフレームの電子透かしＷＰ０を修正することにより為される）は、以下のように為される。前記動き補償された以前のフレームの電子透かし係数の変化の方向即ち符号が、対応する基準電子透かし係数の符号と比較される。第１のブロックの符号と同一である、動き補償された第２のブロックの係数の、所与の第１の及び第２のブロック結合については、何も行われない。第２のブロックの係数が全てゼロであったならば、即ち電子透かしが以前のフレームの当該ブロックにおいて提供されていなかったならば、この場合にも何も行われない。第１のブロックの係数の符号と異なる、動き補償された第２のブロックの係数については、第２のブロック係数の符号が反対の符号に変更される。即ち＋が−に変更され、及びその逆である。このことは、修正係数を加算することにより為される。前記修正係数は、第１のブロック係数と類似するものとなるように、第２のブロック係数に加算される。かくして、動き補償された電子透かし係数が、前記基準電子透かし係数と同一の符号を受信することが確実とされる。このことは常に起こる。ビットレートが増大されない場合、前記修正係数のレベルが更に上昇され、理想的には電子透かしを完全に復元するために第２のブロック係数の２倍を受信する。その理由は、予測誤差が動き補償されたフレームに加算され、それ故逆の符号を持つ電子透かしを得るために、電子透かしが２倍のエネルギーを伴って埋め込まれる必要があることである。ここでは、増大されたビットレート以外の理由のために、前記変化を符号の変化に限定するために、又はゼロレベルを供給する即ちレベルをスキップするために、元のエネルギーレベルの２倍よりも低いレベルを持つことが必須となり得る。このことは、修正されるべきブロックと関連付けられた量子化ステップが大き過ぎる場合である。斯かるレベル修正は、電子透かしを可視としてしまうことに導き得る。ここで電子透かし係数が逆量子化される代わりに量子化されても良い。
【００４５】
かくして決定ユニット３６が必要に応じて前記動き補償された第２のブロックを部分的に修正した場合に、前記修正係数がデータ埋め込みユニット３８に供給され、データ埋め込みユニット３８が前記修正係数を信号Ｘに埋め込む。かくして修正係数のみが、前記信号の現在のフレームのフレーム間符号化されたブロックに埋め込まれる。前記修正係数が逆量子化されている場合は、前記データ埋め込みユニットは、埋め込みの前に該修正係数を最初に量子化し、前記修正係数が既に量子化されている場合は、該修正係数は直接前記信号に埋め込まれる。
【００４６】
決定ユニット３６は更に、前記取得され再配列された電子透かしに前記修正係数を加算する。修正が為されない係数については、合計は取得された係数のみから成る。前記加算の結果は次いで、逆ＤＣＴ変換ユニット４０に供給され、逆ＤＣＴ変換ユニット４０が逆ＤＣＴ変換を実行し、空間ドメインで以前のフレームの電子透かしＷＰｌを取得する。該以前のフレームの電子透かしは次いで、後続するフレームのための新たな以前のフレームの電子透かしとしての保存のために、第２の電子透かしバッファ２５Ｂに供給される。
【００４７】
上述した方法を用いることにより、電子透かしは持つべき構造を維持し、このことは電子透かしを検出する際に重要である。電子透かしは更に不可視のままである。前記係数の符号を変更することにより、ＤＣＴドメインにおいて電子透かしを埋め込むために符号のみが利用された場合に、高い相関が維持される。
【００４８】
本発明に対して、多くの変更が為され得る。１フレーム内の１ブロック以上を変更することも可能である。Ｐフレームはフレーム内符号化されたブロックを有しても良く、ここでは本発明による相関は利用されない。しかしながら、該ブロックのための電子透かし係数は、先行するフレームの電子透かしバッファの第２のバッファに保存される。前記相関を、上述のＰピクチャにのみ制約することも可能である。なぜならこれらのピクチャは他のＰ及びＢピクチャのための基準として利用されるからである。このことは、Ｉ及びＰピクチャのためのみに、埋め込まれた電子透かしが将来の利用のためにバッファに保存され、電子透かしはＰピクチャにおいて動き補償され、必要とされる処理の量を削減することを意味する。しかしながら、Ｂピクチャについても実装され得ることは理解されるべきである。Ｂフレームの場合には、更なる以前のフレームバッファが必要とされ得る。なぜなら、動き補償は、多くて２つのバッファに依存するからである。Ｂピクチャの場合には、２つの以前のフレームの係数が互いに更に加算され、２によって除算される。Ｂフレームについては、相関処理はかくしてより複雑になる。更に、ＤＣＴドメインにおいて動き補償を実行することが可能である。この場合には、基準電子透かしも該ドメインにおいて保存されても良く、ＤＣＴ変換ユニット及び逆ＤＣＴ変換ユニットの必要がなくなり得る。
【００４９】
本発明は、電子透かし埋め込みユニットに関連して説明された。該埋め込みユニットは好ましくは、本発明による方法を実行するためのプログラムコードを含む１以上のプロセッサの形で提供される。該プログラムコードは、一般的に図１０に示されるような、ＣＤ−ＲＯＭ４２のようなコンピュータプログラム媒体上に提供されても良い。このとき、本発明による方法は、該ＣＤ−ＲＯＭがコンピュータにロードされたときに実行される。前記プログラムコードは更に、例えばインターネットを介して、サーバからダウンロードされても良い。
【００５０】
「有する（comprise/comprising）」なる語は、本明細書において使用される場合においては、記載された特徴、整数、ステップ又は要素の存在を規定するものであって、１以上のその他の特徴、整数、ステップ、要素又はこれらの群の存在又は付加を除外するものではないことは強調されるべきである。更に、請求項に示された参照記号は、本発明の範囲を限定するものとして解釈されるべきではないことは理解されるべきである。
【図面の簡単な説明】
【００５１】
【図１】メディア信号中のビデオ情報の幾つかのフレームを模式的に示す。
【図２】電子透かしが備えられ、フレームが幾つかのブロックに分割された、ビデオ情報の１つのフレームを模式的に示す。
【図３】１つのフレーム内符号化されたブロックについて空間ドメインにおける幾つかの輝度レベルの例を示す。
【図４】図３における輝度レベルに対応する当該ブロックについてのＤＣＴレベルを示す。
【図５】図３及び図４におけるブロックについてのデフォルトのフレーム内量子化マトリクスを示す。
【図６】ＶＬＣ符号化されたビデオ信号を得るための量子化されたＤＣＴ係数の走査を示す。
【図７】フレーム間符号化されたブロックについてのデフォルトのフレーム間量子化マトリクスを示す。
【図８】本発明による付加データを埋め込むための装置を示す。
【図９】本発明による埋め込みユニットのブロック模式図をより詳細に示す。
【図１０】本発明による方法を実行するためのコンピュータプログラムコードを有するコンピュータプログラム製品を模式的に示す。
【図１】
2008502256.tif 000004
【図２】
2008502256.tif 000005
【図３】
2008502256.tif 000006
【図４】
2008502256.tif 000007
【図５】
2008502256.tif 000008
【図６】
2008502256.tif 000009
【図７】
2008502256.tif 000010
【図８】
2008502256.tif 000011
【図９】
2008502256.tif 000012
【図１０】
2008502256.tif 000013
【国際調査報告】
2008502256.tif 000014
2008502256.tif 000015
2008502256.tif 000016