(57)【特許請求の範囲】
【請求項１】
エンコーダと帰還ループとを含み、信号を所定の予測単ビット符号化処理に従って符号化するステップと、
符号化された信号を付加データに従って修正して前記符号化された信号に付加データを埋込むステップとを具える符号化信号に付加データを埋め込む方法において、
前記符号化された信号を修正するステップは、前記符号化された信号を前記エンコーダから前記帰還ループへ供給する前に実行し、
前記符号化された信号を修正するステップは、前記単ビット符号化信号の選択されたサンプルを反転し、埋込まれたデータが順次の反転サンプル間のサンプル周期の数により表わされることを特徴とする符号化信号に付加データを埋込む方法。
【請求項２】
前記符号化をシグマ−デルタ変調とすることを特徴とする請求項１に記載の符号化信号に付加データを埋込む方法。
【請求項３】
エンコーダと帰還ループとを含み、信号を所定の予測符号化処理に従って符号化するステップと、符号化された信号を前記帰還ループに供給する前に、前記符号化された信号を付加データに従って修正して前記符号化された信号に付加データを埋込むステップとを用いて選択されたサンプルが付加データのサンプルで置換された受信符号化信号から付加データを抽出する方法であって、
エンコーダと帰還ループとを含み、前記受信符号化信号の原信号を該エンコーダに供給するとともに前記受信符号化信号を前記帰還ループに供給して前記原信号を前記所定の予測符号化処理に従って符号化するステップと、
符号化された原信号と前記受信符号化信号とを比較するステップとを具え、該符号化された原信号と前記受信符号化信号との差が前記付加データを表わすことを特徴とする受信符号化信号から付加データを抽出する方法。
【請求項４】
前記付加データは順次の反転サンプル間のサンプル周期の数によって表わされ、前記反転サンプル間のサンプル周期の数を計数して前記付加データを抽出するステップを具えることを特徴とする請求項３に記載の受信符号化信号から付加データを抽出する方法。
【請求項５】
帰還ループを有する予測単ビット符号化エンコーダと、
該エンコーダで符号化された信号を付加データに従って修正して前記符号化された信号に付加データを埋め込む手段と、
を具える符号化信号に付加データを埋め込む装置において、
前記修正された符号化信号を帰還するように前記帰還ループが前記埋込み手段に接続され、前記修正手段が前記単ビット符号化信号の選択されたサンプルを反転するインバータであり、前記埋込まれたデータが順次の反転サンプル間のサンプル周期の数により表わされることを特徴とする符号化信号に付加データを埋込む装置。
【請求項６】
前記エンコーダがシグマ−デルタ変調器であることを特徴とする請求項５に記載の符号化信号に付加データを埋込む装置。
【請求項７】
帰還ループを有する所定の予測符号化処理に従って信号を符号化するステップと、符号化された信号を前記帰還ループに供給する前に、前記符号化された信号を付加データに従って修正して前記符号化された信号に付加データを埋込むステップとを用いて選択されたサンプルが付加データのサンプルで置換された受信符号化信号から付加データを抽出する装置であって、
前記受信符号化信号の原信号を受信し、該原信号を前記所定の予測符号化処理に従って符号化する予測エンコーダを具え、該予測エンコーダの帰還ループには前記受信符号化信号が供給され、
符号化された原信号と前記受信符号化信号とを比較する手段を具え、該符号化された原信号と前記受信符号化信号との差が前記付加データを表わすことを特徴とする受信符合化信号から付加データを抽出する装置。
【請求項８】
前記付加データは順次の反転サンプル間のサンプル周期の数によって表わされ、前記反転サンプル間のサンプル周期の数を計数して前記付加データを抽出するカウンタを具えることを特徴とする請求項７に記載の受信符号化信号から付加データを抽出する装置。
【発明の詳細な説明】
発明の技術分野
本発明は符号化された信号に付加データを埋込む方法および装置に関するものである。この方法は符号化信号をフィードバックして符号化を制御するステップを含む所定の符号化処理に従って信号を符号化するステップと、符号化された信号を修正して前記付加データを表わすステップとを具える。また、本発明はかかる符号化信号から付加データを抽出する方法および装置に関するものである。
発明の背景
オーディオおよびビデオ信号に電子透かしを埋込む必要性が増してきはじめた。この電子透かしとは、マルチメディア資産に、好適には不可視態様で埋込まれた付加データメッセージである。これら電子透かしは、例えば文書および視聴覚プログラムの出典または著作権の状態に関する情報である。これら電子透かしを用いて著作権者の法律的な防御を行い、著作権侵害の探索を行い、知的財産の保護を行うことができる。
上述したようにビデオ信号に電子透かしを付与する既知の方法はF.HartungおよびB.Giros著“生および圧縮ビデオのディジタル電子透かし”SPIE Vol. 2952,pp.205-212に記載されている。この著書では電子透かしは予測符号化（ＰまたはＢ）画像のDCT係数を含むMPEG２エンコーダの出力ビット流の選択されたDCT係数を修正することによって達成する。予測エンコーダは符号化処理を制御するフィードバックループを具える。入力信号自体ではなく予測エラー（入力信号と予測信号の差）を符号化する。予測信号は符号化信号を局部的に複号することによって得ることができる。
従来の方法では、電子透かしは慣例の符号化の後に挿入する。斯様にして符号化された信号に電子透かし処理を施し得る可能性は制限される。
発明の概要
本発明の目的は、知覚品質に悪影響を殆ど与えることなく符号化信号の多くのビットを変更し得る、符号化されたオーディオまたはビデオ信号に付加データを埋込む方法を提供せんとするにある。
この目的のため、本発明方法は、符号化された信号をフィードバックして符号化を制御するステップを含む所定の符号化処理に従って信号を符号化するステップと、符号化された信号を修正して付加データを表わすステップとを具える符号化された信号に付加データを埋込むに当たり、前記符号化された信号をフィードバックするステップを、前記符号化された信号を修正するステップの後に実行することを特徴とする。符号化された信号を修正するステップはエンコーダのフィードバックループ内で行う。従って、電子透かしを付与するための符号化された信号の修正がフィードバックされ、次の符号化処理で補償される。こうして埋込まれた電子透かしは、受信機において送信機における符号化処理で受けたのと同様に復号化処理を受ける。送信機における補償処理の結果として、受信機は入力信号の充分に良好なレプリカを再生する。信号対雑音比は著しく改善されるか、或は又、多くの電子透かしデータを所定の信号対雑音比で埋込むこができる。
本発明は、特に、単ビット符号化信号に付加データを埋込むために特に好適である。単ビット符号化信号は電子透かし処理の影響を特に受けやすい。エンコーダは各符号化ステップごとに１ビット出力サンプルを発生する。一般に、電子透かしを付与するための符号化信号の出力サンプルの修正は例えばマルチビットサンプルの値を単に変化させる場合よりも一層厳しい。
単ビット符号化の例はデルタ変調器、シグマ−デルタ変調器、およびノイズシェープエンコーダである。また、これらはフィードバックループを有するエンコーダのファミリーに属する。シグマ−デルタ変調は、２８２２４００Ｈｚ（６４＊４４１００）のサンプリング周波数を用い、１１５ｄＢの信号対雑音比を有するディジタルバーサタイルディスク（ＤＶＤ）のオーディオバージョンに高品質オーディオを記録することを想定している。電子透かしは例えば出力ビット流の選択されたビットをディジタル電子透かしパターンのビットで置換えることによって挿入される。この挿入を従来既知のように、即ち、慣例の符号化後に行う場合には、電子透かしビットの挿入は大きな量子化雑音を発生する。例えば、１電子透かしビットによるシグマ−デルタ変調されたオーディオ信号の１００ビットごとの１ビット置換によって−６０ｄＢまでの量子化雑音が発生する。これに対し、本発明によれば量子化雑音を１ｄＢ増大するだけで、シグマ−デルタ変調されたオーディオ信号を１００ビット当たり１ビット変化させることができる。これはほぼ２８０００ビット／秒の電子透かしビットレートに相当する。
発明を実施するための最良の形態
図１は本発明による符号化オーディオまたはビデオ信号に付加データを埋込む装置のブロック回路図を示す。本例装置は予測エンコーダ１および修正回路２を具える。予測エンコーダ１は（アナログまたはディジタル）入力信号ｘを受けるとともに入力信号ｘから予測信号
0003929501.tif 000002
を差引く減算器１１を具える。斯くして得た予測エラー信号ｅを符号化段１２に供給する。予測エンコーダはさらに復号化段１３、加算器１４および遅延器１５を含み予測信号ｘを得るためのフィードバック経路を具える。予測エンコーダ１はデルタ復調器、差分パルス符号変調器または離散余弦変換（ＤＣＴ）エンコーダのような従来既知の種々の形態のものとすることができる。
修正回路２は符号化予測エラー信号ｙを受けるとともに所定の電子透かしｗに従ってこの信号を修正するように配列する。この修正回路の例は既知である。前述したHartung等の文献では電子透かし信号ｗの８＊８ブロックにＤＣＴを施し、斯くして得たＤＣＴ係数を変換符号化予測エラー信号の選択されたＤＣＴ係数に加算する。他の例は、I.J.Cox, J.Kilian, T.LeightonおよびT.Shamoon著“ASecure Imperceptible yet Perceptually Salient, Spread Spectrum Watermark for Multimedia”Conference Record of Southcon 96，６月25−27日，1996年第192-197頁に記載されている。この文献では、一連の実数をDC係数を除く最高次数の変換係数に加算することによりビデオ信号に電子透かし処理を施すようにしている。
本発明によれば、この修正回路２を符号化段１２および復号化段１３間に、即ち、予測エンコーダのループ内に配置する。これがため、予測信号
0003929501.tif 000003
は無修正符号化信号ｙの代わりに修正符号化信号ｚから取出す。信号を電子透かし化するステップが符号化信号ｙにエラーを導入することと等価であると考えると、その効果は明らかとなる。従来のシステムでは、“エラー”は送信された信号に挿入される。予測符号化の分野で既知のように、かかるエラーは受信機の復号化処理を経て伝搬し、信号品質を著しく劣化する。修正回路によって導入された“エラー”は復号化段１３を経て減算器１１にフィードバックされ、その結果の予測エラーが次に符号化されてその影響が補償される。従って、所定の信号対雑音比に対する許容“エラーレート”が著しく増大し、および／または知覚品質が著しく改善される。
図１に示すようなエンコーダから符号化された信号を復号化する受信機は一般にエンコーダの予測ループと同一であり、従って個別には示さない。
一層詳細な例を図２につき説明する。図２はアナログまたはＰＣＭ符号化オーディオ信号を符号化するデルタ変調器を示す。この回路配置は入力信号ｘから予測信号
0003929501.tif 000004
を減算する減算器２１を具える。予測エラーｅを極性検出器２２に供給しこれによりサンプリング周波数ｆｓにより決まる速度でｘ＞
0003929501.tif 000005
に対し出力サンプル＋１，ｘ＜
0003929501.tif 000006
に対し出力サンプル−１をそれぞれ発生する。フィードバックループは予測信号を得るための復号化フィルタ２３（加算器または積分器）を含む。本発明によれば、修正回路２４は極性検出器２２およびフィルタ２３間に接続する。
本例では、修正回路はマルチプレクサとし、これによって、極性検出器の出力の選択されたビット（例えば、１００番目のビット毎）を、選択信号ｓに応答して電子透かしビットパターンｗに置換する。電子透かしを埋込む他の例では符号化信号の選択されたサンプルを反転し、電子透かしデータを順次の反転されたサンプル間のビット周期の数で表わすようにする必要がある。
図３−５は図２に示す装置の作動を説明する種々の信号波形を示す。これらの図では記号３０は入力信号ｘを示す。
例えば、図３は電子透かし機能のない従来のデルタ変調器の波形を示す。この図３では記号３１は予測信号
0003929501.tif 000007
または等価的には受信機の出力信号（過剰な高周波成分を除去するための低域通過フィルタ処理は別にすれば）を示す。記号３２は慣例のデルタ変調器の出力ビット流を示す。
図４は従来の技術により既知のように符号化信号を電子透かし処理する影響を説明する。記号３４は、ビット流３２の６番目、１６番目および２６番目のビット（図３）をディジタル電子透かしパターンｗ＝“００１”にそれぞれ相当する−１、−１および＋１で置換して得られたビット流を示す。記号３３はこのビット流を受信する受信機の出力信号を示す。この図から明らかなように信号対雑音比が著しく減少することを観察できる。
図５は本発明により電子透かしを埋込む効果を示す。記号３５は予測信号
0003929501.tif 000008
を示す。記号３６は装置の出力ビット流を示す。図４に示す所と同様に、電子透かしビットパターンｗ＝“００１”はビット流３６の６番目、１６番目および２６番目のビット位置に収容されるが、今はビット修正を符号化信号のフィードバック前に実行する。埋込まれた電子透かしの最初のビット５１は極性検出器がこのサンプル周期に対して発生するサンプル−１と相違しない。従って、予測信号レベル５４は図３の予測信号レベル３７と同一である。電子透かしの第２ビット５２は極性エンコーダが発生するサンプル＋１と相違する。この“誤り”ビットが予測ループを経てフィードバックされるため、予測信号はレベル５５になり、このレベルをデルタ変調器が異なる次のビットを発生することにより補償する。この結果、予測信号３５が数サンプル周期後に再び入力信号と交差するようになる。同様に、第３電子透かしビット５３によって装置から＋１サンプルを発生するが、装置は、そうでなければ、このサンプル周期に値−１を発生した（極性検出器が実際に発生する）。再び“誤り”予測レベル５６を補償するには数サンプル周期のみが必要となる。
また、図５の記号３５は受信機の出力信号を示す。波形３３および３５を比較することによって信号対雑音比が充分に改善されたことを示す。
図６は本発明によるシグマ−デルタ変調器を示す。シグマ−デルタ変調はＤＶＤのオーディオバージョンに高品質オーディオを記録するものである。このシグマ−デルタ変調は、デルタ変調器の予測ループのフィルタと同一のフィルタによって符号化前に、入力信号ｘをフィルタ処理する点でデルタ変調とは相違する。次いで、入力経路およびフィードバック経路のフィルタを符号化ループのフォワード経路の単一フィルタと置換する。従って、図６に示すシグマ−デルタ変調器は、フィルタ２３がフィードバック経路からフォワード経路に移動した点で、図２に示すデルタ変調器とは相違する。
図７は電子透かし機能のない従来のシグマ−デルタ変調器の波形を示す。記号７０は入力信号ｘを示し、記号７１は符号化された出力信号を示す。シグマ−デルタ変調器によって、入力信号が大きくなるにつれてより多くの正のサンプルを発生する。記号７０は入力信号ｘを示し、記号７１は符号化された出力信号を示す。シグマ−デルタ変調器によって、入力信号が大きくなるにつれてより多くの正のサンプルを発生する。図７に示すように、−０．５Ｖの入力信号は３つの−１Ｖパルスと１つの＋１Ｖパルスのシーケンスとして符号化され、０Ｖの入力信号は−１Ｖパルスおよび＋１Ｖパルスの交互のシーケンスとして符号化され、＋０．５Ｖの入力信号は３つの＋１Ｖパルスと１つの−１Ｖパルスのシーケンスとして符号化される。この信号は、受信したパルスを再成形し低域通過フィルタを通過させることによって受信側で復号化される。図７では、ビット流の１３サンプルを平均化することによって斯かる信号を復調する。記号７２は、平均化処理によって生ずる遅延は別として、再構成された信号をも示す。斯くして再構成された信号は入力信号と時間的に整列される。
図８は従来技術に従って、即ち、慣例のシグマ−デルタ変調後に符号化信号を電子透かし処理する影響を示す。本例では、慣例のシグマ−デルタ変調器の−１サンプル７３（図７）は、＋１サンプル７４と置換されている。この置換は符号化処理には影響を与えず、修正されていない符号化出力信号７５の残部はそのままなる。記号７６は受信側の再構成信号を示す。図７の再構成された信号７２との差は記号７７（図では信号の時間整列により時間的に早い時点）で著しくなり、復号化処理の残部中リップルを生ずるようになる。この場合にも信号対雑音比の大きな減少が観測される。
図９は本発明による同一の電子透かしサンプル７４を埋込む処理の影響を示す。本発明によれば、この電子透かし処理の影響は入力側にフィードバックされ、電子透かしの挿入後に入力信号を個別に符号化することにより補償される。本例では再構成信号７８は入力信号に著しく良好に類似している。２８２２４００（６４＊４４１００）のサンプリング周波数ｆｓで高品質オーディオ信号を符号化する図６に示すシグマ−デルタ変調器の特定の例は１１５ｄＢの信号対雑音比を有する。この場合には、１００サンプル当たり１サンプルの置換によって量子化雑音が１ｄＢ増大するだけであることが確かめられた。これは２８０００ビット／秒の電子透かしビットレートに相当する。
図１０は図２に示すような装置によって発生するデルタ変調された信号から、または図６に示すような装置によって発生するシグマ−デルタ変調されたシグマ−デルタ変調器から埋込み電子透かしを抽出する装置を示す。修正された符号化信号ｚは選択信号ｓによってクロックされるレジスタ１００のデルタ入力端子に供給する。レジスタ１００の出力は電子透かしビットパターンｗとなる。選択信号ｓによってビット流のどのビットが電子透かしビットであるかどうかを決める。この選択信号はサンプル周波数ｆｓを所定数Ｎ，例えば、１００で分周する分周段１０１によって発生させる。この信号は送信機における関連する選択信号ｓと同期するものとする。この同期化は電子透かし信号ｗに所定の同期化ビットパターンを組込むことによって達成する。かかる例では、同期検出器１０２によってこのパターンを検出し、同期パターンが検出されるまで駆動段１０１の位相を変化させるようにする。
図１１は原入力信号ｘを受信側で使用可能である場合に使用することができる埋込み電子透かしを抽出する装置を示す。本例装置は図１に示す関連送信機と同一のエンコーダ１を具える。しかし、フィードバックループは電子透かしの付された信号ｚを受信する。従って、再構成された予測信号
0003929501.tif 000009
は送信側で発生した信号と同一である。局部的に符号化された信号ｙと受信した信号ｚとを抽出回路３に供給し、この抽出回路は図１の修正回路２と反対の動作を行う。例えば、電子透かし信号がＭＰＥＧエンコーダのＤＣＴ係数に加算された実数のシーケンスである場合には、抽出回路を減算器とする。
図１２は（シグマ−）デルタ変調信号から電子透かしを抽出する特定の例を示す。図１２において、記号２１−２３は図２に示す所と同一のデルタ変調器を構成する。抽出回路３は排他的ＯＲゲート３０１を具え、これによって電子透かし信号ｚのビットまたは符号化信号ｙの関連するビットが等しいかどうかを決める。これらビットが等しくない場合には電子透かし信号ｚが反転ビットを桁上げするビット周期を検出する。検出された信号はカウンタ３０２に供給され、このカウンタはサンプル周波数ｆｓでクロックされ、２つの連続する反転ビット間のビット周期の数が第１の所定数（例えば、７５）である場合には２進数“０”を発生するとともにビット周期の数が第２の所定数（例えば、１２５）である場合には２進数“１”を発生する。
図１３はこの例の動作を説明するための信号波形を示す。記号１３０は原入力信号ｘを示し、記号１３１は受信した電子透かし信号ｚを示し、記号１３２は電子透かし信号を復号化することにより得られる予測信号
0003929501.tif 000010
を示す。記号１３３は局部極性検出器２２（図１２）の出力信号を示す。図から明らかなように、局部極性検出器によって、受信した信号ｚが＋１となる箇所（記号１３５）で出力−１（記号１３４）を発生する。この不一致を排他的ＯＲゲート３０１（図１２）により検出する。同様に、排他的ＯＲゲートによって電子透かしビットの発生箇所１３６および１３７を検出する。カウンタ３０２（図１２）によって検出された電子透かしビット間のビット周期の数を計数する。本例では、１５ビット周期の距離で電子透かしパターンの“０”を表わし、７ビット周期の距離で“１”を表わす。
要するに、フィードバックループを有するエンコーダ、例えば、シグマ−デルタ変調器（２１、２２、２３）によって符号化された信号に電子透かしを埋込む方法を述べる。ディジタル電子透かしパターン（ｗ）は、電子透かしパターンのサンプルにより符号化信号（ｙ）の選択されたサンプルを修正（例えば、１００番目のビット毎に置換）することによって信号（ｚ）に埋込む。サンプルを修正する回路（２４）はエンコーダのフィードバックループ内に位置させる。これがため、電子透かしの影響は次の符号化ステップで補償され、信号対雑音比はわずかに影響を受けるだけとなる。
【図面の簡単な説明】
図１は本発明による符号化オーディオまたはビデオ信号に付加データを埋込む装置を示すブロック回路図、
図２は本発明によるデルタ変調されたオーディオ信号に付加データを埋込む装置を示すブロック回路図、
図３−５は図２に示す本発明装置の作動を説明するための特性図、
図６は本発明によるシグマ−デルタ変調されたオーディオ信号に付加データを埋込む装置を示すブロック回路図、
図７−９は図６に示す本発明装置の作動を説明するための特性図、
図１０は図２または図６に示す装置によって符号化された信号から埋込まれた電子透かしを抽出する装置を示すブロック回路図、
図１１は図１に示す装置によって符号化された信号から埋込まれた電子透かしを抽出する装置を示すブロック回路図、
図１２は（シグマ−）デルタ変調された信号電子透かしを抽出する他の例を示すブロック回路図、
図１３は図６に示す例の作動を説明するための特性図である。
【図１】
0003929501.tif 000011
【図２】
0003929501.tif 000012
【図６】
0003929501.tif 000013
【図３】
0003929501.tif 000014
【図４】
0003929501.tif 000015
【図５】
0003929501.tif 000016
【図７】
0003929501.tif 000017
【図８】
0003929501.tif 000018
【図９】
0003929501.tif 000019
【図１０】
0003929501.tif 000020
【図１１】
0003929501.tif 000021
【図１２】
0003929501.tif 000022
【図１３】
0003929501.tif 000023