【誤訳訂正書】
【提出日】平成20年5月12日(2008.5.12)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【書類名】      明細書
【発明の名称】  圧縮情報信号のウォーターマーキング
【特許請求の範囲】
【請求項１】
ゼロの値を持つ第１の信号サンプルと異なる値を持つ他の信号サンプルとを含むように圧縮される情報信号にウォーターマークを埋め込む方法であり、ウォーターマークのパターンに従って信号サンプルを変更するステップを含む方法において、
前記変更ステップは、変更される信号サンプルが前記変更によりゼロの値を呈する場合にのみ、当該信号サンプルに適用されることを特徴とする方法。
【請求項２】
変更の対象となる前記信号サンプルの絶対値が最小の非ゼロ値である請求項１記載の方法。
【請求項３】
前記信号サンプルがある量子化ステップサイズで量子化されており、変更の対象となる前記信号サンプルが、所定の閾値よりも小さいステップサイズで量子化されている信号サンプルである請求項１記載の方法。
【請求項４】
前記情報信号が区画に分割され、変更の対象となる信号サンプルの数が、区画当たり所定の最大値に制限される請求項１記載の方法。
【請求項５】
区画の前記信号サンプルがある量子化ステップのスケールに従って量子化されており、当該方法が、変更される信号サンプルの前記最大値を、前記量子化ステップのスケールが大きい程、減少するように制御するステップを含む請求項４記載の方法。
【請求項６】
前記情報信号が区画に分割され、区画の前記信号サンプルがある量子化サイズのスケールに従って量子化されており、当該方法が、変更の対象となる前記信号サンプルの区画内の場所を、前記量子化ステップのスケールが大きい程、前記区画内の後方となるように制御するステップを含む請求項１記載の方法。
【請求項７】
前記圧縮される信号が可変長の符号語を含み、各符号語が第１の信号サンプルのラン及び後続の又は先行する他の信号サンプルを識別し、当該方法が、
前記変更ステップの前に、前記可変長の符号語を各第１及び他の信号サンプルに復号するステップと、
第１の信号サンプルの新しいランを得るために、後続の又は先行する第１の信号サンプルに前記変更される信号サンプルをマージするステップと、
前記第１の信号サンプルの新しいラン及び後続の又は先行する他の信号サンプルを新しい可変長の符号語に符号化するステップと
を更に含む請求項１ないし６のいずれか１項に記載の方法。
【請求項８】
ゼロの値を持つ第１の信号サンプルと異なる値を持つ他の信号サンプルとを含むように圧縮される情報信号にウォーターマークを埋め込むための装置であり、ウォーターマークのパターンに従って信号サンプルを変更する手段を有する装置において、
前記変更手段は、変更される信号サンプルが前記変更によりゼロの値を呈する場合にのみ、当該信号サンプルを変更するように設けられたことを特徴とする装置。
【請求項９】
ランレングス符号化により第1の値を持つ第１の信号サンプルと異なる値を持つ他の信号サンプルとを含むように圧縮される情報信号にウォーターマークを埋め込む方法であり、少なくとも、第1の値を持つ第1の信号サンプルの連続する数がランの長さを表し、ウォーターマークのパターンに従って信号サンプルを変更するステップを含む方法において、
前記変更ステップは、変更される信号サンプルが前記変更により第1の値を呈する場合にのみ、当該信号サンプルに適用されることを特徴とする方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所与の第１の値を持つ第１の信号サンプルと異なる値を持つ他の信号サンプルとを含むように圧縮される情報信号にウォーターマークを埋め込む方法に関する。このような圧縮情報信号の典型的な例は、ビデオ画像が変換係数により表されるＭＰＥＧ２ビデオ信号であり、かなりの数の変換係数は、第１の値ゼロを有している。
【０００２】
【従来の技術】
圧縮ビデオ信号にウォーターマークを埋め込む既知の方法は、F. Hartung及びB. Girodの「Digital Watermarking of MPEG-2 Coded Video in the Bitstream Domain」（ICASSP, Vol.4, 1997, pp.2621-2624）に開示されている。ウォーターマークは、元の信号ドメインにおける擬似ノイズのシーケンスである。このウォーターマークは、埋め込まれる前に離散コサイン変換される。圧縮される信号の非ゼロＤＣＴ係数は、該非ゼロＤＣＴ係数に変換されたウォーターマークのシーケンスの対応する係数を加えることにより変更される。
【０００３】
【発明が解決しようとする課題】
従来技術のウォーターマークを埋め込む方式は、幾つかの欠点を有している。ＭＰＥＧ２のような動き補償符号化に適用される場合、変換係数の変更は、やがて伝搬する。以前のフレームからのウォーターマークが、現在のフレームに蓄積され、画像の歪みを引き起こす。これを回避するために、従来技術のウォーターマーク埋め込み器は、ドリフト補償を必要としている。また、既に圧縮されたビットストリームにおけるＤＣＴ係数の変更は、ビットレートに影響を及ぼす。従って，従来技術の埋め込み器は、ウォーターマークが付加された係数の伝搬がビットレートを増加させているかどうかをチェックし、増加させている場合には元の係数を送信する。
【０００４】
本発明の目的は、上述した欠点を改善するウォーターマークの埋め込み方法を提供することにある。
【０００５】
【課題を解決するための手段】
この目的のため，本発明による方法は、変更ステップが、変更されるサンプルが変更により第１の値を呈する場合に、当該信号サンプルに適用されることを特徴としている。これにより、上記第１の値を持つ信号サンプルの数が増加し、これは、一般に、より低いビットレートをもたらす。実際に、ビット数についてサンプルの変更の影響を試す必要がない。
【０００６】
変更の対象となる上記信号サンプルは、最小の非ゼロ値（例えば＋１又は−１として量子化されるＭＰＥＧビデオ係数）を持つサンプルであることが好ましい。これらの係数はノイズのような情報を表し、変化が非常に小さい（±量子化ステップ）ので、ドリフト補償が不要であり、埋め込まれるウォーターマークは感じ取れない程であるが、依然として検出可能である。
【０００７】
【発明の実施の形態】
ここでは、ＭＰＥＧ２規格に従って圧縮されたビデオ信号にウォーターマークを埋め込む装置を参照して本発明が説明されるが、本発明は、ビデオ信号に制限されるものではなく、特定の圧縮規格に制限されるものでもない。上記圧縮信号は、埋め込まれたウォーターマークを既に有し得ることに注意されたい。その場合、当該信号に追加のウォーターマークが埋め込まれる。既にウォーターマークが付加された信号にウォーターマークを付加するこのプロセスは、通常、「リマーキング」と呼ばれている。
【０００８】
図１は、本発明による方法を実行する装置の模式図を示している。この装置は、解析ユニット１１０と、ＶＬＣ処理ユニット１２０と、出力段１３０と、ウォーターマークバッファ１４０とを有している。この装置の動作は、図２Ａ〜図２Ｃ及び図３Ａ〜図３Ｇを参照して説明される。
【０００９】
上記装置は、ビデオ画像のシーケンスを表すＭＰＥＧエレメンタリビデオストリームＭＰinを受け取る。このようなビデオ画像の１つが実例として図２Ａに示されている。このビデオ画像は８×８画素のブロックに分割されており、そのうちの１つが図２Ａの２０１で示されている。上記画素ブロックは、８×８のＤＣＴ（離散コサイン変換）係数の各ブロックにより表される。このようなＤＣＴブロックの左上の変換係数は、対応する画素ブロックの平均輝度を表しており、通常ＤＣ係数と呼ばれている。他の係数は空間周波数を表しており、ＡＣ係数と呼ばれている。左上方のＡＣ係数は、画像の粗いディテールを表しており、右下方の係数は精細なディテールを表している。これらＡＣ係数は、量子化される。この量子化プロセスは、ＤＣＴブロックの多くのＡＣ係数が値ゼロを呈するようにする。図３Ａは、ＤＣＴブロック３００の典型的な例を示すものであり、図２Ａの画素ブロック２０１に対応している。
【００１０】
上記ＤＣＴブロックの係数は、ジグザグパターン（図３Ａの３０１）に従って順次スキャンされ、可変長符号化される。この可変長符号化の方式は、ハフマン符号化とランレングス符号化とを組み合わせたものである。より具体的には、ゼロＡＣ係数のラン及びそれに続く非ゼロＡＣ係数の各々が、単一の可変長符号語に符号化されるランレベルのペアを構成する。図３Ｂは、ＤＣＴブロック３００のランレベルのペアを示している。ＥＯＢ（End-Of-Block）の符号は、当該ＤＣＴブロックに更なる非ゼロ係数が存在しないことを表している。図３Ｃは、上記装置により受け取られたままのＤＣＴブロック３００を表す一連の可変長符号語を示している。
【００１１】
ＭＰＥＧ２エレメンタリビデオストリームでは、４つのこのようなＤＣＴ輝度ブロックと２つのＤＣＴクロミナンスブロックとがマクロブロックを構成し、幾つかのマクロブロックがスライスを構成し、幾つかのスライスがピクチャ（フィールド又はフレーム）を構成し、一連のピクチャがビデオシーケンスを構成する。ピクチャの中には、自主的に符号化されるもの（Ｉピクチャ）もあれば、動き補償を伴って予測符号化されるもの（Ｐピクチャ及びＢピクチャ）もある。後者の場合、ＤＣＴ係数は、画素自体ではなく、現在のピクチャの画素と基準ピクチャの画素との差分を表している。
【００１２】
上記ＭＰＥＧ２エレメンタリビデオストリームＭＰinは、解析ユニット１１０（図１）に供給される。この解析ユニットは、上記ＭＰＥＧビットストリームを部分的に変換し、該ストリームを輝度ＤＣＴ係数を表す可変長の符号語（以下、ＶＬＣという。）と他のＭＰＥＧ符号とに分割する。このユニットはまた、ブロックの座標、符号化のタイプ（フィールド又はフレーム）、スキャンのタイプ（ジグザグ又はオルタネート）のような情報を収集する。上記ＶＬＣ及び関連する情報は、ＶＬＣ処理ユニット１２０に供給される。上記他のＭＰＥＧ符号は、出力段１３０に直接供給される。
【００１３】
埋め込まれるべきウォーターマークは、空間ドメインにおける擬似ランダムノイズのシーケンスである。上記装置のこの実施態様では、１２８×１２８の基本のウォーターマークパターンが画像の範囲を超えてタイルのように並べられる。この動作は、図２Ｂに示されている。より良好な視覚化のために、１２８×１２８の基本の擬似ランダムノイズウォーターマークパターンが、ここでは符号Ｗにより表されている。
【００１４】
上記基本のウォーターマークの空間画素値は、ＭＰＥＧストリームのビデオコンテンツと同じ表現に変換される。この目的のため、上記１２８×１２８の基本的なウォーターマークのパターンは、８×８のブロックに分割され、その１つが図２Ｂに２０２で示されている。これらのブロックは、離散コサイン変換され、量子化される。変換動作及び量子化動作は、専ら一度に行われる必要があることに注意されたい。このようにして計算されたＤＣＴ係数は、上記装置の１２８×１２８のウォーターマークバッファ１４０に蓄積される。
【００１５】
ウォーターマークバッファ１４０は、ＶＬＣ処理ユニット１２０に接続されており、このＶＬＣ処理ユニット１２０において実際のウォーターマークの埋め込みが行われる。上記ＶＬＣ処理ユニットは、ビデオ画像を表す選択された可変長の符号語をランレベルのペアに復号し（１２１）、一連のランレベルのペアを２次元の８×８のＤＣＴ係数アレイに変換する（１２２）。ウォーターマークは、変更段１２３において、各ビデオＤＣＴブロックに空間的に対応するウォーターマークＤＣＴブロックを加えることにより埋め込まれる。従って，図２Ｂにおいてウォーターマークブロック２０２を表すＤＣＴブロックは、図２Ａにおいて画像ブロック２０１を表すＤＣＴブロックに付加される。しかしながら、本発明の好ましい実施態様によれば、この動作によってゼロ係数に変わるＤＣＴ係数のみがウォーターマーキングの目的のために選択される。例えば、図３Ａにおいて値２を持つＡＣ係数は、対応するウォーターマークの係数が値−２を有する場合にのみ変更される。数学的な表記では、
if ｃin（ｉ,ｊ）＋ｗ（ｉ,ｊ）＝０
then ｃout（ｉ,ｊ）＝０
else ｃout（ｉ,ｊ）＝ｃin（ｉ,ｊ）
である。ここで、ｃｉｎはビデオＤＣＴブロックの係数であり、ｗは空間的に対応するウォーターマークのＤＣＴブロックの係数であり、ｃｏｕｔはウォーターマークが付加されたビデオＤＣＴブロックの係数である。
【００１６】
この動作により上記ＤＣＴブロックのゼロ係数の数が増加し、ウォーターマークが付加されたビデオＤＣＴブロックは、元のＤＣＴブロックよりも効率的に符号化され得ることがよく理解されるであろう。これは、特にＭＰＥＧ圧縮信号に関する場合である。その理由は、新しいゼロ係数が他のランレベルのペアのランに含まれる（ランマージ）からである。この再符号化は、可変長符号化器１２４（図１）により行われる。ウォーターマークが付加された上記ブロックは、出力段１３０に供給され、出力段１３０は、解析ユニット１１０により与えられる上記ＭＰＥＧ符号を複製し、ＶＬＣ処理ユニット１２０により与えられる再生成ＶＣＬを挿入することによって、ＭＰＥＧストリームを再生成する。また、出力段１３０は、出力ビットレートを元のビデオビットレートに等しくするようにスタッフィングビットを挿入することが可能である。
【００１７】
本発明の有利な実施形態では、ウォーターマークパターンのＤＣＴ係数の符号（sign）のみが、ウォーターマークバッファ１４０に蓄積され、その結果、このバッファは＋１及び−１の値のみを蓄積する。これは、バッファのメモリ容量を係数あたり１ビット（合計で１２８×１２８ビット）に低減する。また、実験では、最も重要なＤＣＴ係数（最も重要な係数は、ジグザグスキャンする際に最初に生じるものである。）にのみウォーターマークの埋め込みを供給すれば十分であることが示された。これは、メモリの要求を更に一層低減させる。図３Ｄは、ウォーターマークＤＣＴブロック３０２の典型的な例を示しており、これは、図２Ｂにおける空間的なウォーターマークブロック２０２に対応している。
【００１８】
図３Ｅはウォーターマークが付加されたビデオＤＣＴブロック３０３を示しており、これは、ウォーターマークＤＣＴブロック３０２をビデオＤＣＴブロック３００に付加することにより得られたものである。この特定の例では、非ゼロ係数の１つ（図３Ａにおいて値−１を持つもの）がゼロ係数に変えられる。これは、空間的に対応するウォーターマーク係数が値＋１を有しているからである。図３Ｆは、上記ウォーターマークが付加されたＤＣＴブロックのランレベルのペアを示している。以前のランレベルのペア（１，−１）及び（０，２）は、１つのランレベルのペア（２，２）により置き換えられていることに注意されたい。図３Ｇは、対応する出力ビットストリームを示している。上記ランマージの動作は、この例では１ビットを不要にするようである。
【００１９】
図２Ｃは、上記装置の出力信号ＭＰoutにより表されるウォーターマークが付加された画像を示している。この図において符号２０３で示されている画素ブロックは、図３Ｅにおいてウォーターマークが付加されたビデオＤＣＴブロック３０３に対応している。図２Ｃにおいて説明するために試みられているように、ウォーターマークの埋め込み量は、タイルからタイルまで及びブロックからブロックまで変化する。
【００２０】
上述した例では、最も小さい係数（＋１及び−１）のみが変更の対象となる。これは、ドリフト補正をしなくても済むようにし、ウォーターマークを感じ取ることができないようにし、特に、変更される係数の数がある最大値（例えば３）内である場合にこのようにされる。
【００２１】
上述した実施態様のウォーターマークの係数値＋１及び−１は、対応する画像の係数が変更されるべきである（正及び負のそれぞれの）方向を意味するように割り当てられてもよい。例えば、負のＤＣＴ係数のある範囲（例えば、−２及び−１）がウォーターマーク係数値＋１によりゼロに変えられるのに対して、正のＤＣＴ係数の範囲（例えば、＋２及び＋１）がウォーターマーク係数値−１によりゼロに変えられることが規定され得る。
【００２２】
ＭＰＥＧ２エレメンタリビデオストリームは、フィールド符号化ＤＣＴブロック及びフレーム符号化ＤＣＴブロックを含むことにも注意されたい。これによれば、ウォーターマークバッファ１４０は、１つはフィールド符号化ブロック用であり、１つはフレーム符号化ブロック用である２つのウォーターマークのパターンを含むように設けられ得る。その場合、ウォーターマークを埋め込むために用いられるパターンは、入力ビデオストリームに収容されたフィールド／フレーム選択識別信号により選択される。
【００２３】
ＭＰＥＧ符号化信号にウォーターマークを埋め込むための上述した装置では、ランレベルのペアの「レベル」の部分が変化する。しかしながら、レベルは、ＡＣ係数の実際の値ではなく、その量子化されたバージョンである。例えば、図３Ｂにおけるランレベルのペア（１，−１）は、実際には係数Ｘ＝−１０４を表し得る。他のブロックでは、同じペア（１，−１）が、量子化ステップサイズに依存して係数Ｘ＝−６を表し得る。言うまでもなく、ＡＣ係数を−１０４から０に変化させることの作用は、一般に、埋め込まれるウォーターマークの認知に関して、同じＡＣ係数を−６から０に変化させる場合とは異なる作用を及ぼす。
【００２４】
このように、視認度についての作用を低減するようにウォーターマークの埋め込みプロセスを制御する必要がある。この目的のために，埋め込み方法の他の実施態様は、量子化ステップサイズに依存して変更される係数の数及び／又は場所を制御するステップを含んでいる。
【００２５】
ＭＰＥＧ復号器では、受け取ったレベルｘ（ｎ）に量子化ステップサイズを掛け合わせることによって逆量子化が実現される。上記量子化ステップサイズは、ブロック内において上記ステップサイズを変更する重み付けマトリクスＷ（ｎ）と、（マクロ）ブロックから（マクロ）ブロックまで上記ステップサイズを変更するスケールファクタＱＳとにより制御される。下記の式は、復号されるレベルｘ（ｎ）からＡＣ係数Ｘ（ｎ）を復元するためのＭＰＥＧの演算を規定する。
Ｘ（ｎ）＝ｘ（ｎ）×Ｗ（ｎ）×ＱＳ
ここで、ｎはジグザグスキャンする際の順序を示すものである。
【００２６】
変更され得る係数の数に関する上限をもたらす種々の形態が存在する。ある実施態様では、レベルｘ（ｎ）は、対応する量子化ステップサイズＱ（ｎ）＝Ｗ（ｎ）×ＱＳが所定の閾値よりも小さい場合にのみ変更され得る。それにより、ＤＣＴブロックの種々の場所に関して（すなわち、種々の順序の指標ｎに関して）異なる閾値が用いられ得る。
【００２７】
他の実施態様では、ブロックにおいて変更され得る係数の最大数Ｎは、量子化スケールファクタＱＳが増加するとＮが減少するような量子化スケールファクタＱＳの関数である。この実施態様の実現性は、上記スケールファクタが実際にはＤＣＴブロックがどの程度強く量子化されたかを示していることを理解すれば、容易に理解され得る。上記スケールファクタが大きい程、すなわち量子化ステップサイズが大きい程、効果が感じ取られないようにするために、より少ない数の係数が変えられ得る。このような関数の一例は、Ｎ＝ｃ／ＱＳ（但し、ｃはある一定の値）である。
【００２８】
量子化スケールファクタＱＳは、パラメータquantizer_scale_code及びパラメータq_scale_typeの組み合わせとしてＭＰＥＧビットストリームに収容され得る。上記パラメータquantizer_scale_codeは、５ビットの符号である。上記パラメータq_scale_typeは、該符号が２〜６２の線形性の範囲のＱＳ値を表しているかどうか、又は１〜１１２の指数関数的な範囲の値を表しているかどうかを示している。どちらの場合にも、上記符号は、ステップサイズを示す。従って、上述した関数のＱＳの項は、パラメータquantizer_scale_codeによって置き換えられ得る。
【００２９】
量子化ステップサイズに依存してウォーターマークプロセスにより変更される係数の場所を制御することも有利である。量子化ステップサイズが大きい程、ジグザグスキャンのより後方において所望の変更が実行される。これは、低周波数の係数を影響を受けないままにし、高周波の係数に対してウォーターマークの埋め込みプロセスの視認性を制限する。
【００３０】
量子化ステップサイズに依存して変更可能な係数の最大数及び／又は場所を制御するという特徴は、装置の最小限の変更しか必要としない。このような変更は、当業者によって容易に実行され得る。従って、ここでは図示はしない。
【００３１】
ＭＰＥＧ圧縮ビデオストリームにウォーターマークを埋め込む方法及び装置が開示された。このウォーターマーク（空間的なノイズのパターン）は、最小の量子化ＤＣＴ係数を選択的に切り捨てることにより埋め込まれる。上記切り捨てられた係数は、残っている係数のランに順次マージされる。係数が切り捨てられるか否かの判断は、前もって計算される（pre-calculate）ウォーターマークバッファと８×８のＤＣＴブロック当たり既に切り捨てられた係数の数とに基づいて行われる。この方法の利点は、（ｉ）非常に単純なビットレート制御システムであること、（ｉｉ）ドリフト補正が不要であることである。このアルゴリズムは、メモリの要求及び計算の複雑さについて、非常に効率的にインプリメントされ得る。
【図面の簡単な説明】
【図１】  本発明による方法を実行する装置を模式的に示した図である。
【図２Ａ】  図１に示した装置の動作を説明するための図である。
【図２Ｂ】  図１に示した装置の動作を説明するための他の図である。
【図２Ｃ】  図１に示した装置の動作を説明するための更に他の図である。
【図３Ａ】  図１に示した装置の動作を説明するための更に他の図である。
【図３Ｂ】  図１に示した装置の動作を説明するための更に他の図である。
【図３Ｃ】  図１に示した装置の動作を説明するための更に他の図である。
【図３Ｄ】  図１に示した装置の動作を説明するための更に他の図である。
【図３Ｅ】  図１に示した装置の動作を説明するための更に他の図である。
【図３Ｆ】  図１に示した装置の動作を説明するための更に他の図である。
【図３Ｇ】  図１に示した装置の動作を説明するための更に他の図である。