(57)【要約】例えば、ＭＰＥＧ２映像信号にウォーターマークを埋め込むような、圧縮メディア信号を処理する、方法及び配置が開示される。空間雑音パターン（１４０）である、前記ウォーターマークは、最小の量子化されたＤＣＴ係数を選択的に廃棄することによって埋め込まれる（１２３）。当該の廃棄された係数は、後に、他の連続/レベル対の連続にマージされる。ビット通信速度の大きすぎる削減を補償するのに、前記の新しい連続/レベル対の一部は、可変長符号化（１２４）されず、そのようなより長い符号語を設けている、それ以上の、符号化規則（１２５）、例えば、ＭＰＥＧの「エスケープ符号化」、によって表される。
2004536531.tif 000002
【特許請求の範囲】
【請求項１】
圧縮メディア信号を処理する方法であって、当該メディア信号のサンプルが、第１符号化規則によって可変長符号語で表され、当該方法が：
選択された可変長符号語をそれぞれの選択された信号サンプルに復号化するステップ、
所定の信号処理アルゴリズムによって前記の選択された信号サンプルを変更するステップ、及び、
前記の第１符号化規則によって前記の変更された信号のサンプルを変更された可変長符号語に符号化するステップ、を有していて、
前記方法が、前記の符号化ステップは、前記の圧縮メディア信号のビット通信速度を減少させるかどうかを検査するステップ、及び、もしそうであれば、第２符号化規則によってより長い符号語に信号サンプルを再符号化するステップ、を有することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記の所定の信号処理アルゴリズムが、前記の圧縮メディア信号にウォーターマークを埋め込んでいることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、信号のサンプルを再符号化する前記ステップが、前記の変更された信号のサンプルに適用されることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、それぞれの選択された可変長符号語が、第１値を有する信号サンプルの連続、及び、違った、第２値、を有する連続した信号サンプル、を表し、前記の変更するステップが前記の連続した信号サンプルに適用されていることを特徴とする方法。
【請求項５】
請求項４記載の方法であって、前記の変更するステップが、前記の変更された連続した信号サンプルが前記変更によって前記の第１値を呈する場合のみ、前記の連続した信号サンプルに適用されることを特徴とする方法。
【請求項６】
請求項５記載の方法であって、前記の再符号化のステップが、信号サンプルの新しい連続を得るよう、前記の変更された連続した信号サンプルを、後に来る又は前の、信号サンプルの連続とマージするステップ、及び、前記の新しい信号サンプルの連続、並びに、前記の第２値を有するさらに加えた連続する信号サンプルを、新しい可変長符号語に前記の第１符号化規則によって符号化するステップ、を有することを特徴とする方法。
【請求項７】
請求項４記載の方法であって、前記の第１値がゼロで、及び、前記の、変更するよう量子化された信号サンプルは、最小のゼロでない値を有する信号サンプルであることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、前記のメディア信号がセクションに分割され、及び変更された連続した信号サンプルの数がセクション毎の所定の最大値に制限されることを特徴とする方法。
【請求項９】
第１符号化規則によって可変長符号語によって表される前記メディア信号のサンプルが圧縮メディア信号を処理する配置であって、当該配置が；
選択された可変長符号語をそれぞれの選択された信号サンプルに復号化する複合器、
所定の信号処理アルゴリズムによって、前記の選択された信号サンプルを変更、する手段、及び、
前記の第１符号化規則によって前記の変更された信号サンプルを変更された可変長符号語に符号化する符号器、を有していて、
前記配置が、前記符号化が前記の圧縮メディア信号のビット通信速度を減少させるかどうかを検査する、及び、もしそうであるならば、第２符号化規則によって信号サンプルをより長い符号語に再符号化するよう前記符号器を制御する、処理手段を有することを特徴とする配置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮メディア信号を処理する、方法及び配置に関するものであって、前記メディア信号のサンプルが、第１符号化規則によって、可変長の符号語によって表され、前記方法が：
選択された可変長符号語をそれぞれの選択された信号サンプルに復号化するステップ、
所定の信号処理アルゴリズムによって、前記の選択された信号サンプルを変更するステップ、
及び、前記第１符号化規則によって、前記の変更された信号サンプルを、変更された可変長符号に符号化するステップ、を有することを特徴とする方法である。
【０００２】
本発明は、特に、ウォーターマークをエムペグ（ＭＰＥＧ）で符号化された映像信号に埋め込む処理過程に関するものであって、当該信号のサンプルは離散コサイン変換（ＤＣＴ）係数である。
【背景技術】
【０００３】
従来の技術には、圧縮メディア信号にウォーターマークを埋め込む公知の方法がある（例えば、非特許文献１参照。）。当該文献では、前記メディア信号は映像信号であって、当該信号のサンプルは前記の画像のピクセルを離散コサイン変換することによって得られるＤＣＴ係数である。前記ウォーターマークはＤＣＴ変換された擬似雑音シーケンスである。前記ウォーターマークは前記のＤＣＴ変換された雑音シーケンスを前記の、対応するＤＣＴ係数に加えることによって埋め込まれる。前記のＭＰＥＧで符号化された信号のゼロの係数は影響されない。
【０００４】
さらに、ウォーターマーキング処理過程に関するものもある（例えば、特許文献１  欧州特許第01200277.0号（代理人管理番号PHNL010062）参照。）。
【特許文献１】
欧州特許第01200277.0号明細書
【非特許文献１】
F.Hartung及びB.Girod、  ”Digital  Watermarking of  MPEG-2  Coded  Video  in  the  Bitstream  Domain”、1997年、ICASSP第4号（第2621-2624頁）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前記の従来技術のウォーターマークを埋め込む案の問題点は、既に圧縮されたビット・ストリームにおけるＤＣＴ係数の変更が、当該ＤＣＴ係数は可変長符号語によって表されるので、ビット通信速度を変更する、ことにある。増加されたビット通信速度は一般に好ましくない。前記の公知の埋め込み器はしたがって前記のウォーターマークされた係数の伝送が前記ビット通信速度を増加させるかどうかをチェックし、及びその場合に前記の元の係数を伝送する。しかしながら、前記ビット通信速度の低減もまた、望ましくない。ＭＰＥＧのシステムでは、例えば、前記ビット通信速度の変更は前記復号器におけるバッファのオーバフロー又はアンダーフローに帰結し、及び前記ビット・ストリームにおけるタイミング情報の位置を変更することがある。
【課題を解決するための手段】
【０００６】
本発明の目的は前記にて説明した欠点を軽減するウォーターマークを埋め込む方法を設けるものである。
【０００７】
そのためには、本発明による前記方法は、当該方法が、前記の符号化のステップが前記の圧縮メディア信号の前記ビット通信速度を減少させるかどうかを検査するステップ、及び、そうである場合、第２符号化規則によってより長い符号語に信号のサンプルを再符号化するステップ、を有することを特徴とするものである。前記の、より長い符号語に再符号化すること、は前記ウォーターマーキングの処理過程に引き起こされた、前記のビット通信速度の減少の補償をする。前記の、再符号化されている、信号のサンプルは、必ずしも前記の変更された信号のサンプルであるとは限らないが、前記の変更された信号のサンプルであるであることが望ましい。
【０００８】
前記の圧縮信号を復号化し得るには、復号器は第２符号化規則を理解していなければならない。この目的のためには、前記第２符号化規則を前記ビット・ストリームにて伝達し得る。しかしながら、本発明はそのような第２符号化規則を既に設ける圧縮標準との組み合わせにて好都合に利用するものである。前記のＭＰＥＧ映像圧縮規則はその例である。前記のＭＰＥＧ標準は、ゼロのＤＣＴ係数と、その前又は後ろに来る、ゼロでないＤＣＴ係数の連続との、頻繁に発生している組み合わせ(対)における、可変長の符号語を設けるものである。統計的にまれな連続/レベルの対について、ＭＰＥＧは、比較的長い固定長の符号語を設ける「エスケープ符号化」方法を定義する。本発明の望ましい実施態様はＭＰＥＧのエスケープ符号化規則がどのような連続/レベルの対にも適用し得るという洞察を利用するものである。
【０００９】
本発明は、前記ウォーターマーキング処理過程が前記の連続/レベルの対の第２値（すなわち、ゼロでないＤＣＴ係数）を前記の第１値（すなわち、ゼロのＤＣＴ係数）に変更する場合、特に都合がよいものである。そのようなウォーターマーキング処理過程は、連続/レベルの対をゼロの連続に変更させ、それは後に来る、又は、前記の、前の連続/レベルの対と後にマージされる。これはビット通信速度をかなり減少させ、及びビット通信速度を補償するよう、前記第２符号化規則による前記の連続/レベルの対の再符号化の根拠となる。
【００１０】
本発明は映像信号と特定の圧縮標準のどちらにも限定されないが、ＭＰＥＧ２標準によって圧縮された映像信号にウォーターマークを埋め込む配置に関して次に説明する。前記の圧縮信号は埋め込まれたウォーターマークを既に有していることがあることを特筆する。その場合、さらに付け加わったウォーターマークが前記信号に組み込まれる。この、既にウォーターマークされた信号をウォーターマーキングする処理過程は、一般に、「注釈」と呼ばれるものである。
【発明を実施するための最良の形態】
【００１１】
図１は本発明による前記方法の望ましい実施態様を実行している配置の略図を表すものである。前記配置はパース装置１１０、可変長符号化（ＶＬＣ）処理装置１２０、出力段１３０、ウォーターマーク・バッファ１４０、及びビット通信速度制御プロセッサ１５０を有する。前記配置の動作は、図２Ａ乃至図２Ｃ、及び、図３Ａ乃至図３Ｃを参照して説明する。
【００１２】
前記配置は動画像のシーケンスを表す、ＭＰＥＧ映像ストリームＭＰｉｎを受信する。図２Aはそのような動画像の一つを例示によって表すものである。前記動画像は８ｘ８ピクセルを有するブロックに分けられ、そのひとつは図２Aで２１０と示されている。前記のピクセルのブロックはそれぞれの８ｘ８のDCT係数を有するブロックによって表される。そのようなDCTブロックの左上変換係数は、前記の相当するピクセル・ブロックの平均ルミナンスを表し、及び、一般に、直流成分（DC）係数と呼ばれるものである。他の係数は空間周波数を表し、及び交流成分（AC）係数と呼ばれるものである。左上のAC係数は前記画像の粗い細部を表し、右下の係数は細かい細部を表す。前記AC係数は量子化されている。この量子化処理過程はDCTブロックの多くのAC係数をゼロの値にさせる。図３Aは、図２Ａの画像ブロック２１０を表しているDCTブロック３１０の典型例を表すものである。
【００１３】
前記DCTブロックの前記係数はジグザグ式パターン（図３Ａにおける３０１）によって順に続けて走査される。前記の可変長符号化の企図はハフマン符号及び連続長符号の組み合わせのものである。特に、ゼロのAC係数、及び、次のゼロでないAC係数、を有する連続は各々、単一の可変長符号語に符号化される連続/レベル対を構成する。図３Aにおける参照番号３１１はDCTブロック３１０を表している連続/レベル対のひと続を表すものである。ブロック終結符号（EOB）は、前記DCTブロックにおける、それ以上の、ゼロでない係数がないことを表すものである。図３Ａにおける参照番号３１２は前記ＭＰＥＧ２の映像圧縮標準による、相当する可変長符号語を表すものである。
【００１４】
MPEG2の映像ストリームにおいては、４つのそのようなDCTルミナンス・ブロック及び２つのDCTのクロミナンス・ブロックが一マクロブロックを構成し、多数のマクロブロックが一スライスを構成し、多数のスライスが一ピクチャーを構成し、及びピクチャーのひと続きが１つの映像シーケンスを構成する。一部のピクチャーは自律的に符号化（I−ピクチャー）され、他のピクチャーは動き補償（P及びB−ピクチャー）を伴って予測符号化される。後者の場合、前記のDCT係数は、前記ピクセル自体よりもむしろ、現時のピクチャーのピクセルと、参照ピクチャーのピクセルとの間の違いを表す。
【００１５】
前記ＭＰＥＧ２映像ストリームＭＰｉｎは前記パース装置１１０（図１）に適用される。このパース装置は前記MPEGビット・ストリームを部分的に解釈し、及び、ルミナンスＤＣＴ係数（以後、可変長符合（ＶＬＣ）と呼ぶ）及び他のＭＰＥＧ符号を表している可変長符号語に分割する。前記装置はさらに、前記ブロックの座標、符号化種類（フィールド又はフレーム）、走査種類（ジグザグの、又はジグザグでない別の）のような、情報を収集する。前記のＶＬＣ及び関連する情報はＶＬＣ処理装置１２０に適用される。他のＭＰＥＧ符号は前記出力段１３０に適用される。
【００１６】
前記の埋め込まれるウォーターマークはピクセル・ドメインにおける擬似乱数雑音シーケンスである。前記配置のこの実施態様では、１２８ｘ１２８の基本ウォーターマーク・パターンは当該画像の範囲上を「タイリングされる」。このタイリング動作は図２Ｂに示される。前記の１２８ｘ１２８の基本擬似乱数ウォーターマーク・パターンはよりよく視覚化させるためにここではシンポルＷとして表される。前記基本ウォーターマークの空間雑音値は前記ＭＰＥＧストリームにおける前記映像コンテンツと同様の表現に変換される。この目的のために、前記の１２８ｘ１２８の基本ウォーターマーク・パターンは８ｘ８のブロックに同様に分割され、内１つは図２Ｂにおいて２２０と示される。前記ブロックは離散コサイン変換され、及び量子化される。前記の変換及び量子化の動作は１度だけ実行される必要がある。このように算出された前記ＤＣＴ係数は前記配置の前記の１２８ｘ１２８のウォーターマーク・バッファ１４０に格納される。
【００１７】
前記ウォーターマーク・バッファ１４０は、前記ウォーターマークの前記の実際の埋め込みが実施される、前記ＶＬＣ処理装置１２０、に接続される。前記ＶＬＣ処理装置は、前記動画像を表している、選択された可変長符号語を連続/レベル対に復号化し（１２１）、及び前記連続/レベル対を８ｘ８のＤＣＴ係数の２次元配列に変換する。前記ウォーターマークは、変更段１２３にて、それぞれの映像ブロックに、空間的に相当しているウォーターマーク・ブロックを加えることによって、埋め込まれる。前記ウォーターブロック２２０（図２Ｂ）はこのように、前記の空間的に相当している画像ブロック２１０（図２Ａ）に加えられる。この動作はＤＣＴドメインにおいて実行される。本発明の望ましい実施態様によれば、この動作によって、ゼロ係数になったＤＣＴ係数のみがウォーターマークの埋め込みの目的で選択される。例えば、図３Ａにおいて２の値を有する係数は、相当しているウォーターマーク係数が−２の値を有する場合のみ変更されるものである。
【００１８】
数学的表記法では、ｃ  ｉｎが映像ＤＣＴブロックの係数、ｗ  が前記の空間的に相当しているウォーターマークのＤＣＴブロック、及び  ｃ  ｏｕｔが前記のウォーターマークされた映像ＤＣＴブロックの係数、である時：
Ｉｆ  ｃ  ｉｎ（ｉ，ｊ）＋ｗ（ｉ，ｊ）＝０
ｔｈｅｎ  ｃ  ｏｕｔ（ｉ，ｊ）＝０
ｅｌｓｅ  ｃ  ｏｕｔ（ｉ，ｊ）＝ｃ  ｉｎ（ｉ，ｊ）、で表される。
さらに他の実施態様によれば、前記のウォーターマーク・パターンの前記ＤＣＴ係数の正負の記号のみが前記ウォーターマーク・バッファ１４０に格納されるので、当該バッファは＋１及び−１の値のみを格納する。これは前記バッファの記憶容量を係数毎１ビット（計１２８ｘ１２８ビット）に削減する。実験ではウォーターマーク埋め込みを最も有意なＤＣＴ係数（最も有意な係数とは前記のジグザグ式の走査において最初に発生するものである。）のみに適用することで十分であることを明らかにしている。これはさらに前記の記憶の要求を削減するものである。図３Ｂは前記のＤＣＴドメインにおけるウォーターマーク・ブロック３２０の典型例を表すものであり、図２Ｂにおける雑音ブロック２２０に相当している。
【００１９】
図３Ｃは、上記にて説明された、ウォーターマークＤＣＴブロック３２０を映像ＤＣＴブロック３１０に「加算すること」、によって得られた、ウォーターマークされた映像ＤＣＴブロック３３０を表すものである。当該ＤＣＴブロックにおけるゼロ係数の数がこの動作によって増加することがよくわかるものである。この特定の例では、２つのゼロでない係数がゼロ係数になる。それらは図３Ｃにおいて濃く塗られているものである。前記の新しいゼロ係数は他の連続/レベル対の連続にマージされる。図３Ｃの参照番号３３１は前記のウォーターマークされたＤＣＴブロック３３０の前記の連続/レベル対を表すものである。前記の連続/レベル対（１／−１）及び（０／２）は新しい連続/レベル対（２／２）にマージされていて、及び、前記の連続/レベル対（２／１）及び（７／−１）は新しい連続/レベル対（１０／−１）にマージされている。
【００２０】
新しい連続/レベル対は再符号化される。図１に表された、当該配置においては、前記の再符号化は可変長の符号器１２４、及び、固定長の符号器１２５、によって実行される。前記符号器１２４及び１２５は関連がある圧縮標準に準拠するものである。この例では、それらは、頻繁に起こる連続/レベル対についての短い可変長符号語、及び、他の連続/レベル対についての長い固定長（２４ビット）の「エスケープ符号」を定義する、ＭＰＥＧのＤＣＴ係数表に準拠する。図３Ｃにおける参照番号３３２は連続/レベル対３３１の受信に応じた、可変長符号器１２４の出力を表すものである。前記のウォーターマーク埋め込み処理過程は、前記の対応している入力３１２（図３Ａ参照）と比較すると、４ビットを節約したようである。同様のビット・コストの削減が前のブロックにおいても、あったかもしれない。
【００２１】
本発明は、ＭＰＥＧの固定長の「エスケープ符号化」規則がさらに、前記の可変長の符号化表にある項目を有する連続/レベル対にも適用し得るという洞察を利用するものである。前記固定長符号器１２５はそれぞれの（又は少なくともそれぞれの新しい）連続/レベル対について前記の固定長の符号語を生じさせるものである。セレクタ１２６は符号器１２４によって生じさせた前記可変長符号語、又は符号器１２５によって生じさせた前記のより長い、固定長符号語を選択する。当該選択はビット送信速度制御プロセッサ１５０によって制御される。
【００２２】
図４は前記ビット通信速度制御プロセッサ１５０によって実行される動作の流れ図を表すものである。ステップ４０１においては、前記プロセッサは入力ストリームＭＰｉｎのビット数と出力ストリームＭＰｏｕｔのビット数との間の累積差ＤＩＦを記録しておく。前記プロセッサはさらにＶＬＣ符号器１２４によって生じさせた前記符合ワードの長さｎｖを受信し、及びＦＬＣ（固定長）符号器１２５によって生じさせた前記符合ワードの長さｎｆ（ここでは２４）を理解する。前記の累積差ＤＩＦが（ステップ４０２において）ｎｆ−ｎｖよりも小さいとわかりさえすれば、前記プロセッサは、ステップ４０３において、前記の可変長符号語を選択するよう、セレクタ１２６を制御する。前記の累積差がｎｆ−ｎｖを超える場合、より長い固定長符号語がステップ４０４において選択される。
【００２３】
図３Ｃにおける参照番号３３３はこの選択の、起こりうる結果を表すものである。ｎ＝８の長さを有する前記の新しい連続/レベルの対（２/２）についての前記可変長符号語の選択は前記の累積差を１増加させる。ｎｖ＝９を有する、新しい連続/レベルの対（１０/−１）についての前記可変長符号語の選択は、前記の前の連続/レベルの対（２/１）（７/−１）は１２の長さを有したので、前記の累積差を３増加させるものである。後者の選択は前記の累積差が１５を超える危険性があることをもたらす。それに応じて、前記のプロセッサ１５０は２４ビットの固定長の符号を選択する。
【００２４】
そのようにして選択された前記符号語は後に、前記のウォーターマークされた出力信号ＭＰｏｕｔを設ける、出力段１３０に適用される。図２Ｃは当該のウォーターマークされた画像を表すものである。この図において２３０と示されるピクセル・ブロックは図３Ｃの前記のウォーターマークされた映像ＤＣＴブロック３３０に相当する。図２Ｃによって表そうとしたように、ウォーターマークを埋め込む量はブロック毎及びタイル毎に異なる。
【００２５】
固定長で符号化されるのは、前記のウォーターマーク埋め込み処理過程によって作られている、前記の新しい、連続/レベルの対に限らないことを特筆する。未変更の連続/レベルの対もまた、固定長で符号化されることがある。例えば、前記のウォーターマーク埋め込み処理過程もまた、ブロックの最後のゼロでない係数（図３Ａの−１の係数値）をゼロ係数にする。それぞれの連続/レベルの対（図３Ａにおける（７/−１））はそして、前記のビット・ストリームから取り除かれる。その場合、前の、未変更の、連続/レベルの対（すなわち、図３Ｃにおける（１/１））を固定長で符号化することを予想する。
【００２６】
例えば、ＭＰＥＧ２の映像信号にウォーターマークを埋め込んでいる、圧縮メディア信号を処理する、方法及び配置が開示される。空間雑音パターンである、前記ウォーターマークは、最小の、量子化されたＤＣＴ係数、を選択的に廃棄することによって埋め込まれる。当該の廃棄された係数は、後に、他の連続/レベル対の連続とマージされる。ビット通信速度の大きすぎる削減を補償するよう、前記の新しい、連続/レベル対の一部は、可変長で符号化されず、例えば、ＭＰＥＧの「エスケープ符号化」のように、より長い符号語を設けている、さらに追加された符号化規則によって、より長い符号語によって表される。
【図面の簡単な説明】
【００２７】
【図１】本発明による前記方法を実行する配置を表した略図である。
【図２Ａ】図１に表された前記配置の前記動作を表示した図である。
【図２Ｂ】図１に表された前記配置の前記動作を表示した図である。
【図２Ｃ】図１に表された前記配置の前記動作を表示した図である。
【図３Ａ】図１に表された前記配置の前記動作を表示した図である。
【図３Ｂ】図１に表された前記配置の前記動作を表示した図である。
【図３Ｃ】図１に表された前記配置の前記動作を表示した図である。
【図４】図１に表されたビット通信速度制御プロセッサによって実行される動作の流れ図である。
【国際公開パンフレット】
2004536531.tif 000003
2004536531.tif 000004
2004536531.tif 000005
2004536531.tif 000006
2004536531.tif 000007
2004536531.tif 000008
2004536531.tif 000009
2004536531.tif 000010
2004536531.tif 000011
2004536531.tif 000012
2004536531.tif 000013
2004536531.tif 000014
2004536531.tif 000015
【国際調査報告】
2004536531.tif 000016
2004536531.tif 000017
2004536531.tif 000018