(57)【要約】      （修正有）【課題】被量子化信号に電子透かし信号を付加した場合でも、その品質の劣化を最小限に抑えることができる信号処理装置を提供する。【解決手段】聴覚心理モデル処理部１４がオーディオ信号Ｓ１３1 等に割り当てる量子化ビット長を決定し、レベル制御回路１６がその量子化ビット長を基に、電子透かし信号Ｓ１５1 等の振幅レベルを調整する。加算回路１７が、上記調整された電子透かし信号を、オーディオ信号Ｓ１３1 等に付加する（埋め込む）。その後、量子化回路１８において、上記決定された量子化ビット長を基にオーディオ信号が量子化される。【選択図】      図２
2004191800.tif 000002
【特許請求の範囲】
【請求項１】
被量子化信号に割り当てられた量子化ビット長を基に、前記被量子化信号に付加する付加信号のレベルを調整するレベル調整手段と、
前記レベル調整手段で前記レベルが調整された前記付加データを前記被量子化信号に付加する付加手段と
を有する信号処理装置。
【請求項２】
前記レベル調整手段は、前記量子化ビット長を基に、前記被量子化信号の量子化誤差以下または以上のレベルに前記付加データを調整する
請求項１に記載の信号処理装置。
【請求項３】
前記レベル調整手段は、量子化後の前記被量子化信号の最下位ビットレベルに前記付加データレベルが設定されるように、前記レベルを調整する
請求項２に記載の信号処理装置。
【請求項４】
前記レベル調整手段は、前記被量子化信号を構成する複数のブロック信号のそれぞれに割り当てられた前記量子化ビット長を基に、前記複数のブロック信号にそれぞれ付加される複数の付加データのレベルを調整し、
前記付加手段は、前記複数のブロック信号のそれぞれに、前記レベル調整手段で前記レベルが調整された前記付加データを付加する
請求項１に記載の信号処理装置。
【請求項５】
前記レベル調整手段は、第１の付加データを構成する複数の付加ブロック信号のレベルを、当該付加ブロック信号に対応した前記ブロックに割り当てられた量子化ビット長を基に調整し、
前記付加手段は、前記レベル調整手段で前記レベルが調整された前記付加ブロク信号を、当該付加ブロック信号に対応する前記ブロック信号に付加する
請求項４に記載の信号処理装置。
【請求項６】
前記被量子化信号を分割して前記複数のブロック信号を生成する分割手段と、
前記分割手段が生成した前記ブロック信号のそれぞれに前記量子化ビット長を割り当てる割り当て手段と、
前記付加手段で前記付加データが付加された前記ブロック信号を、前記割り当て手段が割り当てた前記量子化ビット長を基に量子化する量子化手段と
をさらに有し、
前記レベル調整手段は、前記割り当て手段が割り当てた前記量子化ビット長を基に、前記付加データを前記ブロック信号に付加するレベルを調整し、
前記付加手段は、前記分割手段が生成した前記ブロック信号に、前記レベル調整手段で前記レベルが調整された前記付加データを付加する
請求項４に記載の信号処理装置。
【請求項７】
前記分割手段は、前記量子化対象の信号を、ブロック単位で符号化して前記ブロック信号を生成する
請求項１に記載の信号処理装置。
【請求項８】
被量子化信号に割り当てられた量子化ビット長を基に、前記被量子化信号に付加する付加信号のレベルを調整する第１の工程と、
前記第１の工程で前記レベルが調整された前記付加データを前記被量子化信号に付加する第２の工程と
を有する信号処理方法。
【請求項９】
前記第１の工程は、量子化後の前記被量子化信号の最下位ビットレベルになるように、前記レベルを調整する
請求項８に記載の信号処理方法。
【請求項１０】
処理装置によって実行されるプログラムであって、
被量子化信号に割り当てられた量子化ビット長を基に、前記被量子化信号に付加する付加信号のレベルを調整する第１の手順と、
前記第１の手順で前記レベルが調整された前記付加データを前記被量子化信号に付加する第２の手順と
を有するプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子透かしデータなどの付加データを信号に付加する信号処理装置、その方法およびプログラムに関する。
【０００２】
【従来の技術】
デジタルコンテンツには、知的財産権などの対象となっているものが数多くある。このようなデジタルコンテンツの使用を希望する者は、例えば、知的財産権者などが規定した条件に従って、当該コンテンツの視聴や、複製が許可される。
この場合に、通常、知的財産権者は、ユーザに（コンスーマ）に対して、当該供給したデジタルコンテンツを無断でコピーや複製して第３者に供給することを禁止する。
しかしながら、例えば、知的財産権者が定めた条件を無視して、ユーザがデジタルコンテンツの違法なコピーやネット配信などを行い、デジタルコンテンツを不正に第３者に供給した場合に、当該デジタルコンテンツの権利関係、並びに誰から流出したものであるかを特定することは殆どできず、不正なユーザを特定することが困難である。
【０００３】
このような問題を解決するために、例えば、下記特許文献１には、オーディオ信号に、著作権保護用の電子透かし(Digital Watermark) データを付加するシステムが開示されている。
当該システムでは、オーディオ信号の周波数スペクトラムを検出し、その検出結果を基にフィルタ処理した電子透かし信号をオーディオ信号に付加（加算）し、当該加算で得たオーディオ信号をリードソロモン符号化してコンパクトディスクに記録している。
また、ウェブサイトにおいて、上記コンパクトディスクから再生した電子透かしデータが付加されたオーディオ信号を、複数の周波数帯域に分割し、続いて、ＭＤＣＴ処理、非線形量子化処理、符号化処理等を施して、ＭＰ３(MPEG audiolayer 3)ファイルを生成する。
【０００４】
【特許文献１】
特開２００１−１８８５４９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来のシステムでは、オーディオ信号に付加された電子透かし信号により、オーディオ信号を基に再生された音響品質が大きく劣化する場合があるという問題がある。
イメージ信号に電子透かし信号を付加する場合にも同様の問題が生じる。
【０００６】
本発明は上述した従来技術の問題点に鑑みてなされ、被量子化信号に電子透かし信号を付加した場合でも、その品質の劣化を最小限に抑えることができる信号処理装置、その方法およびそのプログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明の第１の発明の信号処理装置は、被量子化信号に割り当てられた量子化ビット長を基に、前記被量子化信号に付加する付加信号のレベルを調整するレベル調整手段と、前記レベル調整手段で前記レベルが調整された前記付加データを前記被量子化信号に付加する付加手段とを有する。
【０００８】
第１の発明の信号処理装置の作用は以下のようになる。
レベル調整手段が、被量子化信号に割り当てられた量子化ビット長を基に、前記被量子化信号に付加する付加信号のレベルを調整する。
次に、付加手段が、前記レベル調整手段で前記レベルが調整された前記付加データを前記被量子化信号に付加する。
【０００９】
第２の発明の信号処理方法は、被量子化信号に割り当てられた量子化ビット長を基に、前記被量子化信号に付加する付加信号のレベルを調整する第１の工程と、前記第１の工程で前記レベルが調整された前記付加データを前記被量子化信号に付加する第２の工程とを有する。
【００１０】
第２の発明の信号処理方法の作用は以下のようになる。
第１の工程において、被量子化信号に割り当てられた量子化ビット長を基に、前記被量子化信号に付加する付加信号のレベルを調整する。
次に、第２の工程において、前記第１の工程で前記レベルが調整された前記付加データを前記被量子化信号に付加する。
【００１１】
第３の発明のプログラムは、処理装置によって実行されるプログラムであって、被量子化信号に割り当てられた量子化ビット長を基に、前記被量子化信号に付加する付加信号のレベルを調整する第１の手順と、前記第１の手順で前記レベルが調整された前記付加データを前記被量子化信号に付加する第２の手順とを有する。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
本実施形態では、著作権保護の対象となるデジタル形式のコンテンツ信号に、そのコンテンツや利用者（ユーザ）などを特定するための電子透かし信号を付加（埋め込む）信号処理装置について説明する。
【００１３】
第１実施形態
図１は、本実施形態の通信システム１の全体構成図である。
図１に示すように、信号処理装置１は、例えば、Ｗｅｂサイトのサーバ装置２からユーザの端末装置３に、ネットワーク５を介してオーディオ信号を配信する音楽配信システムである。
サーバ装置２は、エンコーダ１０において、配信するオーディオ信号に電子透かし信号を付加し、電子透かし信号が付加されたオーディオ信号を端末装置３に配信する。
端末装置３は、デコーダ５０において、受信したオーディオ信号から電子透かし信号を検出し、その検出結果を基に、所定の処理を行う。
なお、本発明は、例えば、エンコーダ１０が生成したオーディオ信号をＭＤなどの記録媒体に記録して配給し、デコーダ５０が当該記録媒体から読み出したオーディオ信号について処理を行ってもよい。
【００１４】
以下、図１に示すエンコーダ１０およびデコーダ５０について説明する。
〔エンコーダ１０〕
図２は、本実施形態のエンコーダ１０の構成図である。
図２に示すように、エンコーダ１０は、例えば、ＱＭＦ(Quadrature Mirror Filter)１１、ゲイン制御回路１２1 〜１２4 、ＭＤＣＴ(Modified Discrete Cosine Transform)１３1 〜１３4 、聴覚心理モデル処理部１４、電子透かし生成回路１５、レベル制御回路１６、加算回路１７、量子化回路１８およびハフマン符号化回路１９を有する。
エンコーダ１０の構成要素のうち、全てあるいは一部は、例えば単体の半導体集積回路（チップ）内に構築され、あるいは、プロセッサでプログラムを実行して実現される。
ここで、エンコーダ１０が本発明の信号処理装置に対応している。
また、レベル制御回路１６が本発明のレベル調整手段に対応し、加算回路１７が本発明の付加手段に対応している。
また、ＱＭＦ１１が本発明の分割手段に対応し、聴覚心理モデル処理部１４が本発明の割り当て手段に対応し、量子化回路１８が本発明の量子化手段に対応している。
【００１５】
エンコーダ１０は、例えば、オーディオ符号化方式であるＡＴＲＡＣ(Adaptive Transform Acoustic Coding)方式を改良したＡＴＲＡＣ３方式のエンコーダである。
ここで、ＡＴＲＡＣ方式は、４４．１ｋＨｚ、１６ｂｉｔｓ／ｓａｍｐｌｅでサンプリングされたオーディオ信号（７０５．６ｋｂｐｓ／ｃｈ）を聴覚上殆ど劣化を生じさせずに、１２８ｋｂｐｓ／ｃｈ程度に圧縮する技術である。
【００１６】
ＱＭＦ１１は、帯域分割フィルタであり、入力したオーディオ信号Ｓ９（本発明の被量子化信号）を例えば等しいバンド幅の４つの周波数帯域に分割し、それによって得られたサンプルデータを１０２４サンプル毎に図示しないレジスタに格納する。
サンプリングデータは、各帯域において１／４のレートに間引かれたデータである。
【００１７】
ゲイン制御回路１２1 〜１２4 は、上記レジスタに記憶されている１０２４サンプルのサンプリングデータであるオーディオデータを読み出し、当該読み出したオーディオデータに応じたオーディオ信号に対して、ＱＭＦ１１で分割された各帯域毎に、振幅変化のレベルに応じて適応的に構成されたゲイン制御関数を用いてゲイン制御を行い、ゲイン制御したオーディオ信号をＭＤＣＴ１３1 〜１３4 に出力する。
【００１８】
ＭＤＣＴ１３1 〜１３4 は、それぞれゲイン制御回路１２1 〜１２4 から入力した１０２４サンプルのオーディオ信号を所定のデータ長の変換ブロックを単位としてスペクトル係数に変換し、そのスペクトル係数を示すオーディオ信号Ｓ１３1 〜Ｓ１３4 を聴覚心理モデル処理部１４および加算回路１７に出力する。
ここで、オーディオ信号Ｓ１３1 〜Ｓ１３4 が本発明のブロック信号に対応している。
【００１９】
聴覚心理モデル処理部１４は、聴覚心理モデルに基づいて、聴覚的に殆ど知覚されないように、ＭＤＣＴ１３1 〜１３4 から入力したオーディオ信号Ｓ１３1〜Ｓ１３4 に係わる量子化処理において、オーディオ信号Ｓ１３1 〜Ｓ１３4 ののそれぞれに割り当てる量子化ビット長を決定する。
聴覚心理モデル処理部１４は、上記決定した量子化ビット長を示す量子化ビット長データＳ１４をレベル制御回路１６および量子化回路１８に出力する。
【００２０】
電子透かし生成回路１５は、オーディオ信号Ｓ９を特定するための識別データ、オーディオ信号Ｓ９の配信元の識別データ、その知的財産権者やその配信先のユーザの名前や識別データなどのうち少なくとも一のデータを示し、上記オーディオ信号Ｓ１３1 〜Ｓ１３4 にそれぞれ重畳される電子透かし信号Ｓ１５1 〜Ｓ１５4 を生成し、これをレベル制御回路１６に出力する。
なお、上記電子透かし信号は、上述したものの他に、エンコーダ１０において処理を行った日付や、配信を行う日付などを示してもよい。
【００２１】
図３は、図２に示す電子透かし生成回路１５の構成図である。
図３に示すように、電子透かし生成回路１５は、例えば、ＱＭＦ２１、ゲイン制御回路２２1 〜２２4 、ＭＤＣＴ回路２３1 〜２３4 および電子透かしデータ生成回路２４1 〜２４4 を有する。
電子透かし生成回路１５は、例えば、音声信号の所定の部分（例えば、１フレーム）に対応付けて生成されたＰＮ(Pseudo Noise) 系列信号に対して、ＡＴＲＡＣ３のエンコード処理を行う。
ＱＭＦ２１は、帯域分割フィルタであり、入力した上記ＰＮ系列信号Ｓ２０を例えば等しいバンド幅の４つの周波数帯域に分割し、それによって得られたサンプルデータを図示しないレジスタに格納する。
サンプリングデータは、各帯域において１／４のレートに間引かれたデータである。
【００２２】
ゲイン制御回路２２1 〜２２4 は、上記レジスタからサンプリングデータを読み出し、当該読み出したサンプリングデータに応じたサンプリング信号に対して、ＱＭＦ２１で分割された各帯域毎に、振幅変化のレベルに応じて適応的に構成されたゲイン制御関数を用いてゲイン制御を行い、ゲイン制御したサンプリング信号をＭＤＣＴ２３1 〜２３4 に出力する。
【００２３】
ＭＤＣＴ２３1 〜２３4 は、それぞれゲイン制御回路１２1 〜１２4 から入力したサンプリング信号を所定のデータ長の変換ブロックを単位としてスペクトル係数に変換してスペクトル係数信号を生成し、これらをそれぞれ電子透かしデータ生成回路２４1 〜２４4 に出力する。
【００２４】
電子透かしデータ生成回路２４1 〜２４4 は、それぞれＭＤＣＴ回路２３1 〜２３4 から入力したスペクトル係数信号を、埋め込むべき電子透かしデータに応じて変調して電子透かし信号Ｓ１５1 〜Ｓ１５4 を生成し、これらを図２に示すレベル制御回路１６に出力する。
【００２５】
レベル制御回路１６は、聴覚心理モデル処理部１４から入力した量子化ビット長データＳ１４に示される、ＭＤＣＴ１３1 〜１３4 から加算回路１７に入力される４つの帯域のオーディオ信号Ｓ１３1 〜Ｓ１３4 に割り当てられた量子化ビット長を基に、当該４つの帯域のオーディオ信号に対応する電子透かし信号Ｓ１５1 〜Ｓ１５4 の振幅レベルをそれぞれ調整（変調）する。
レベル制御回路１６は、上記レベルを調整して生成した電子透かし信号Ｓ１６1 〜Ｓ１６4 を加算回路１７に出力する。
レベル制御回路１６は、例えば、オーディオ信号Ｓ１３1 〜Ｓ１３4 の係数値が＋５１２（９ビットデータ）で、聴覚心理モデル処理部１４によって、正側に８ビットの割り当てビット長が決定された場合に、２未満の値が誤差になるため、電子透かし信号Ｓ１６1 〜Ｓ１６4 を「２」（下位１ビットに埋め込む）にレベル調整する。また、この場合に、割り当てビット長が７ビットの場合は、「４」（下位２ビットの埋め込む）にレベル調整する。
すなわち、レベル制御回路１６は、オーディオ信号Ｓ１３1 〜Ｓ１３4 に割り当てられた量子化ビット長を基に、オーディオ信号Ｓ１３1 〜Ｓ１３4 の量子化誤差以上の振幅レベルになるように、量子化後のオーディオ信号の最下位ビットレベルに電子透かし信号のレベルが設定されるように、当該電子透かし信号の振幅レベルを調整する。
【００２６】
加算回路１７は、ＭＤＣＴ１３1 〜１３4 から入力した上記４つの帯域のオーディオ信号Ｓ１３1 〜Ｓ１３4 のそれぞれに、レベル制御回路１６から入力したレベル変調された電子透かしＳ１６1 〜Ｓ１６4 をそれぞれ重畳（加算あるいは減算）し、その結果であるオーディオ信号Ｓ１７1 〜Ｓ１７4 を量子化回路１８に出力する。
このとき、加算回路１７において、電子透かし信号Ｓ１６1 〜Ｓ１６4 は、オーディオ信号の周波数スペクトラム係数に加算処理されるため、量子化回路１８における量子化処理においても削除されない。
【００２７】
量子化回路１８は、加算回路１７から入力したオーディオ信号Ｓ１７1 〜Ｓ１７4 のそれぞれを、量子化ビット長データＳ１４が示す対応する量子化ビット長で量子化を行い、量子化されたオーディオ信号Ｓ１８1 〜Ｓ１８4 をハフマン符号化回路１９に出力する。
ここで、量子化回路１８は、オーディオ信号Ｓ１７1 〜Ｓ１７4 の量子化ビット長がＮである場合に、その上位ｎ（Ｎ，ｎは整数）ビットを取り出して、下位ｍ（＝Ｎ−ｎ）ビットを切り捨てる処理を行う。
【００２８】
ハフマン符号化回路１９は、量子化回路１７から入力した量子化後のオーディオ信号Ｓ１８1 〜Ｓ１８4 をハフマン符号化してレジスタに記憶した後に、ビットストリームのオーディオ信号Ｓ１０として出力する。
【００２９】
以下、図１に示すエンコーダ１０の動作例を説明する。
先ず、図３に示す電子透かし生成回路１５の動作例を説明する。
図４は、図３に示す電子透かし生成回路１５の動作例を説明するためのフローチャートである。
ステップＳＴ１：
ＱＭＦ２１が、入力した上記ＰＮ系列信号Ｓ２０を、例えば等しいバンド幅の４つの周波数帯域に分割し、それによって得られたサンプルデータを図示しないレジスタに格納する。
ステップＳＴ２：
ゲイン制御回路２２1 〜２２4 が、上記レジスタからサンプリングデータを読み出し、当該読み出したサンプリングデータに応じたサンプリング信号に対して、ＱＭＦ２１で分割された各帯域毎に、振幅変化のレベルに応じて適応的に構成されたゲイン制御関数を用いてゲイン制御を行い、ゲイン制御したサンプリング信号をＭＤＣＴ２３1 〜２３4 に出力する。
【００３０】
ステップＳＴ３：
ＭＤＣＴ２３1 〜２３4 が、それぞれゲイン制御回路２２1 〜２２4 から入力したサンプリング信号を所定のデータ長の変換ブロックを単位としてスペクトル係数に変換してスペクトル係数信号を生成し、これらをそれぞれ電子透かしデータ生成回路２４1 〜２４4 に出力する。
ステップＳＴ４：
電子透かしデータ生成回路２４1 〜２４4 が、それぞれＭＤＣＴ回路２３1 〜２３4 から入力したスペクトル係数信号を、埋め込むべき電子透かしデータに応じて変調して電子透かし信号Ｓ１５1 〜Ｓ１５4 を生成し、これらを図２に示すレベル制御回路１６に出力する。
【００３１】
次に、図２に示すエンコーダ１０の全体動作例を説明する。
ステップＳＴ１１：
配信対象の原オーディオ信号であるオーディオ信号Ｓ９がサーバ装置２に入力される。
ステップＳＴ１２：
ＱＭＦ１１が、ステップＳＴ１で入力したオーディオ信号Ｓ９を例えば等しいバンド幅の４つの周波数帯域に分割し、それによって得られたサンプルデータを１０２４サンプル毎に図示しないレジスタに格納する。
【００３２】
ステップＳＴ１３：
ゲイン制御回路１２1 〜１２4 が、ステップＳＴ１２でレジスタに記憶された１０２４サンプルのサンプリングデータであるオーディオデータを読み出し、当該読み出したオーディオデータに応じたオーディオ信号に対して、ＱＭＦ１１で分割された各帯域毎に、振幅変化のレベルに応じて適応的に構成されたゲイン制御関数を用いてゲイン制御を行い、ゲイン制御したオーディオ信号をＭＤＣＴ１３1 〜１３4 に出力する。
【００３３】
ステップＳＴ１４：
ＭＤＣＴ１３1 〜１３4 が、それぞれゲイン制御回路１２1 〜１２4 から入力した１０２４サンプルのオーディオ信号を所定のデータ長の変換ブロックを単位としてスペクトル係数に変換し、そのスペクトル係数を示すオーディオ信号Ｓ１３1 〜Ｓ１３4 を聴覚心理モデル処理部１４および加算回路１７に出力する。
【００３４】
ステップＳＴ１５：
聴覚心理モデル処理部１４が、聴覚心理モデルに基づいて、聴覚的に殆ど知覚されないように、ＭＤＣＴ１３1 〜１３4 から入力したオーディオ信号Ｓ１３1〜Ｓ１３4 に係わる量子化処理において、オーディオ信号Ｓ１３1 〜Ｓ１３4 ののそれぞれに割り当てる量子化ビット長を決定する。
そして、聴覚心理モデル処理部１４が、上記決定した量子化ビット長を示す量子化ビット長データＳ１４をレベル制御回路１６および量子化回路１８に出力する。
【００３５】
ステップＳＴ１６：
電子透かし生成回路１５が、オーディオ信号Ｓ９を特定するための識別データ、その知的財産権者やその配信先のユーザの名前や識別データなどのうち少なくとも一のデータを示し、上記オーディオ信号Ｓ１３1 〜Ｓ１３4 にそれぞれ重畳される電子透かし信号Ｓ１５1 〜Ｓ１５4 を生成し、これをレベル制御回路１６に出力する。
【００３６】
ステップＳＴ１７：
レベル制御回路１６が、聴覚心理モデル処理部１４から入力した量子化ビット長データＳ１４に示される、ＭＤＣＴ１３1 〜１３4 から加算回路１７に入力される４つの帯域のオーディオ信号Ｓ１３1 〜Ｓ１３4 に割り当てられた量子化ビット長を基に、当該４つの帯域のオーディオ信号に対応する電子透かし信号Ｓ１５1 〜Ｓ１５4 の振幅レベルをそれぞれ調整（変調）する。
レベル制御回路１６は、上記レベルを調整して生成した電子透かし信号Ｓ１６1 〜Ｓ１６4 を加算回路１７に出力する。
【００３７】
ステップＳＴ１８：
加算回路１７が、ＭＤＣＴ１３1 〜１３4 から入力した上記４つの帯域のオーディオ信号Ｓ１３1 〜Ｓ１３4 のそれぞれに、レベル制御回路１６から入力したレベル変調された電子透かしＳ１６1 〜Ｓ１６4 をそれぞれ重畳（加算）し、その結果であるオーディオ信号Ｓ１７1 〜Ｓ１７4 を量子化回路１８に出力する。
【００３８】
ステップＳＴ１９：
量子化回路１８は、加算回路１７から入力したオーディオ信号Ｓ１７1 〜Ｓ１７4 のそれぞれを、量子化ビット長データＳ１４が示す対応する量子化ビット長で量子化を行い、量子化されたオーディオ信号Ｓ１８1 〜Ｓ１８4 をハフマン符号化回路１９に出力する。
【００３９】
ステップＳＴ２０：
ハフマン符号化回路１８が、量子化回路１７から入力した量子化後のオーディオ信号Ｓ１８1 〜Ｓ１８4 をハフマン符号化してレジスタに記憶した後に、ビットストリームのオーディオ信号Ｓ１０として出力する。
【００４０】
以上説明したように、エンコーダ１０によれば、オーディオ信号に付加する電子透かし信号の振幅レベルを、レベル制御回路１６において、当該オーディオ信号に割り当てられた量子化ビット長を基に振幅レベルをそれぞれ調整（変調）する。具体的には、レベル制御回路１６は、オーディオ信号に割り当てられた量子化ビット長を基に、当該オーディオ信号の量子化誤差以上の振幅レベルになるように、特定的には、量子化後のオーディオ信号の最下位ビットレベルに電子透かし信号のレベルが設定されるように、当該電子透かし信号の振幅レベルを調整する。
そのため、その後に量子化されたオーディオ信号内で、量子化誤差により、電子透かし信号を検出不能になることを回避できると共に、電子透かし信号がオーディオ信号の再生品質に与える悪影響を小さくできる。
【００４１】
また、エンコーダ１０によれば、オーディオ信号Ｓ９をエンコードしてオーディオ信号Ｓ１０を生成する過程で、オーディオ信号内に電子透かし信号を、エンコーダ１０のユーザの意思とは無関係に自動的に、電子透かし情報が埋め込まれる。
そのため、オーディオ信号Ｓ１０をデコーダ５０で復号して電子透かし信号を検出することで、オーディオ信号Ｓ１０がエンコーダ１０を用いて生成されたものであることを特定できる。
また、例えば、知的財産権者などが、複製したり第３者に貸し渡さないことを条件に、ユーザにコンテンツを供給した場合に、当該ユーザから流出したオーディオ信号に埋め込まれた電子透かし信号がユーザを特定するものであることが分かれば、当該ユーザの不正行為を簡単に立証できる。すなわち、ネット上やメディア上に流出したコンテンツであるオーディオ信号に含まれる電子透かし信号を基に、当該オーディオ信号が特定のユーザに供給されたコンテンツであることを容易に知ることができる。
また、上述した電子透かし信号が個々のオーディオ信号や、その所有者を特定できる情報を示すことで、同一のオーディオ信号が多数のユーザに配布された場合でも、容易にそのオーディオ信号の権利関係を特定できる。
【００４２】
また、エンコーダ１０によれば、オーディオ信号への電子透かし信号の付加が、エンコーダ１０のユーザの意思とは無関係に行われるため、電子透かし信号をオーディオ信号に確実に付加できる。
また、図２に示す各構成要素を半導体チップ内等に構築し、外部から操作できないようにすることで、オーディオ信号への電子透かし信号が付加されないようにするなどの不正行為を回避できる。
【００４３】
〔デコーダ５０〕
以下、図１に示すデコーダ５０について説明する。
図６は、図１に示すデコーダ５０の機能ブロック図である。
図６に示すように、デコーダ５０は、例えば、ハフマン復号回路５１、逆量子化回路５２、逆ＭＤＣＴ回路５３および電子透かし検出回路５４を有する。
デコーダ５０は、前述した図２に示すＡＴＲＡＣ３エンコーダ１０を用いて生成され、サーバ装置２から配信されたオーディオ信号Ｓ１０を入力し、これをデコードするＡＴＡＲＣ３デコーダである。
【００４４】
ハフマン復号回路５１は、入力したオーディオ信号Ｓ１０をハフマン復号し、当該ハフマン復号によって得られた量子化されたスペクトル係数をレジスタに記憶する。
逆量子化回路５２は、上記レジスタから読み出した上記スペクトル係数を示すスペクトル係数信号Ｓ５１を逆量子化してスペクトル係数Ｓ５２を生成し、これを逆ＭＤＣＴ処理回路５３および電子透かし情報検出回路５４に出力する。
【００４５】
逆ＭＤＣＴ処理回路５３は、逆量子化回路５２から入力したスペクトル係数信号Ｓ５２を逆ＭＤＣＴ処理して周波数領域から時間領域に変換し、当該変換によって得られたＰＣＭ信号であるオーディオ信号Ｓ５０を出力する。
【００４６】
電子透かし情報検出回路５４は、例えば、逆量子化回路５２から入力したスペクトル係数信号Ｓ５２に対して、逆拡散処理を行い、その結果を基に、前述した電子透かし信号Ｓ１５1 〜Ｓ１５4 が付加されている（埋め込まれている）か否かを検出し、当該検出した電子透かし信号Ｓ１５1 〜Ｓ１５4 を出力する。
【００４７】
以下、図６に示すデコーダ５０の動作例を説明する。
図７は、図６に示すデコーダ５０の動作例を説明するためのフローチャートである。
ステップＳＴ３１：
ハフマン復号回路５１が、入力したオーディオ信号Ｓ１０をハフマン復号し、当該ハフマン復号によって得られた量子化されたスペクトル係数をレジスタに記憶する。
ステップＳＴ３２：
逆量子化回路５２が、ステップＳＴ３１で上記レジスタに書き込まれた上記スペクトル係数を読み出し、当該スペクトル係数を示すスペクトル係数信号Ｓ５１を逆量子化してスペクトル係数Ｓ５２を生成し、これを逆ＭＤＣＴ処理回路５３および電子透かし情報検出回路５４に出力する。
【００４８】
ステップＳＴ３３：
逆ＭＤＣＴ処理回路５３が、逆量子化回路５２から入力したスペクトル係数信号Ｓ５２を逆ＭＤＣＴ処理して周波数領域から時間領域に変換し、当該変換によって得られたＰＣＭ信号であるオーディオ信号Ｓ５０を出力する。
ステップＳＴ３４：
電子透かし情報検出回路５４が、例えばステップＳＴ３３の処理と並行して、逆量子化回路５２から入力したスペクトル係数信号Ｓ５２に対して、逆拡散処理を行い、その結果を基に、前述した電子透かし信号Ｓ１５1 〜Ｓ１５4 が付加されているか否かを検出し、当該検出した電子透かし信号Ｓ１５1 〜Ｓ１５4 を出力する。
【００４９】
以上説明したように、デコーダ５０によれば、図２に示すエンコーダ１０を用いて生成されたオーディオ信号Ｓ１０から、電子透かし信号を検出することができる。その結果、デコーダ５０によれば、オーディオ信号Ｓ１０が図２に示すエンコーダ１０によって生成されたことを特定でき、第１実施形態で前述した効果を得ることができる。
【００５０】
第２実施形態
本実施形態では、ＭＰＥＧ方式のイメージデータをエンコードするエンコーダについて説明する。
図８は、本実施形態のエンコーダ４０の構成図である。
図８に示すように、エンコーダ４０は、例えば、ブロック分割回路４１、ＤＣＴ処理回路４２、線形量子化回路４３、電子透かし生成回路４４およびハフマン符号化回路４５を有し、これらが単体の半導体チップで構成される。
【００５１】
ここで、エンコーダ４０が本発明の信号処理装置に対応し、ブロック分割回路４１が本発明の分割手段に対応し、線形量子化回路４３が本発明の量子化手段、レベル調整手段および付加手段に対応している。
【００５２】
ブロック分割回路４１は、入力した原イメージ信号であるイメージ信号Ｓ３９を８×８画素のマクロブロックに分割してマクロブロック信号Ｓ４１を生成し、これをＤＣＴ処理回路４２に出力する。
ＤＣＴ処理回路４２は、ブロック分割回路４１から入力したマクロブロック信号Ｓ４１を単位としてＤＣＴ処理を行ってＤＣＴ変換係数を生成し、当該ＤＣＴ変換係数を示すＤＣＴ変換係数信号Ｓ４２を線形量子化回路４３に出力する。
なお、ＤＣＴ処理回路４２の代わりに、ウェーブレット変換を行うウェーブレット変換処理回路を用いてもよい。
【００５３】
線形量子化回路４３は、ＤＣＴ処理回路４２から入力したＤＣＴ変換係数信号Ｓ４２を線形量子化する。
線形量子化回路４３は、当該量子化を行う際に、電子透かし生成回路４４から入力した電子透かし信号Ｓ４４を基に、ＤＣＴ変換係数信号Ｓ４２が示す予め定めた周波数のＤＣＴ変換係数の値を画質に殆ど影響を与えない範囲で変更（変調）することで電子透かし信号Ｓ４４をＤＣＴ変換係数信号Ｓ４２に付加して（埋め込んで）ＤＣＴ変換係数信号Ｓ４３を生成する。
線形量子化回路４３は、例えば、ＤＣＴ変換係数信号Ｓ４２に割り当てられた量子化ビット長を基に、電子透かし信号Ｓ４４の振幅レベルを調整し、その調整で得た電子透かし信号をＳ４４をＤＣＴ係数信号Ｓ４２に付加（加算あるいは減算）している。
線形量子化回路４３は、ＤＣＴ変換係数信号Ｓ４３をハフマン符号化回路４５に出力する。
【００５４】
電子透かし生成回路４４は、イメージ信号Ｓ１０を特定するための識別データ、その知的財産権者やその配信先のユーザの名前や識別データなどのうち少なくとも一のデータを示し、オーディオ信号Ｓ４２に重畳される電子透かし信号Ｓ４４を生成し、これを線形量子化回路４３に出力する。
なお、上記電子透かし信号は、上述したもの他に、エンコーダ４０において処理を行った日付や、配信を行う日付などを示してもよい。
【００５５】
ハフマン符号化回路４５は、線形量子化回路４３から入力した電子透かし信号が付加された量子化後のＤＣＴ変換係数信号Ｓ４３をハフマン符号化してレジスタに記憶した後に、ビットストリームのイメージ信号Ｓ４０として出力する。
【００５６】
エンコーダ４０では、電子透かし生成回路４４による電子透かし信号の生成処理、並びに線形量子化回路４３によるイメージ信号への電子透かし信号の付加処理は、エンコーダ４０の外部からユーザによって操作（制御）できないようになっている。
【００５７】
以下、図８に示すエンコーダ４０の動作例を説明する。
図９は、図８に示すエンコーダ４０の動作例を説明するためのフローチャートである。
ステップＳＴ４１：
ブロック分割回路４１が、入力した原イメージ信号であるイメージ信号Ｓ３９を８×８画素のマクロブロックに分割してマクロブロック信号Ｓ４１を生成し、これをＤＣＴ処理回路４２に出力する。
【００５８】
ステップＳＴ４２：
ＤＣＴ処理回路４２が、ブロック分割回路４１から入力したマクロブロック信号Ｓ４１を単位としてＤＣＴ処理を行ってＤＣＴ変換係数を生成し、当該ＤＣＴ変換係数を示すＤＣＴ変換係数信号Ｓ４２を線形量子化回路４３に出力する。
【００５９】
ステップＳＴ４３：
電子透かし生成回路４４が、イメージ信号Ｓ１０を特定するための識別データ、その知的財産権者やその配信先のユーザの名前や識別データなどのうち少なくとも一のデータを示し、オーディオ信号Ｓ４２に重畳される電子透かし信号Ｓ４４を生成し、これを線形量子化回路４３に出力する。
ステップＳＴ４４：
線形量子化回路４３が、ＤＣＴ処理回路４２から入力したＤＣＴ変換係数信号Ｓ４２を線形量子化する。
このとき、線形量子化回路４３が、当該量子化を行う際に、電子透かし生成回路４４から入力した電子透かし信号Ｓ４４を基に、ＤＣＴ変換係数信号Ｓ４２が示す予め定めた周波数のＤＣＴ変換係数の値を画質に殆ど影響を与えない範囲で変更（変調）することで電子透かし信号Ｓ４４をＤＣＴ変換係数信号Ｓ４２に付加して（埋め込んで）ＤＣＴ変換係数信号Ｓ４３を生成する。
具体的には、線形量子化回路４３が、例えば、ＤＣＴ変換係数信号Ｓ４２に割り当てられた量子化ビット長を基に、電子透かし信号Ｓ４４の振幅レベルを調整し、その調整で得た電子透かし信号をＳ４４をＤＣＴ係数信号Ｓ４２に付加（加算あるいは減算）する。
そして、線形量子化回路４３が、ＤＣＴ変換係数信号Ｓ４３をハフマン符号化回路４５に出力する。
【００６０】
ステップＳＴ４５：
ハフマン符号化回路４５が、線形量子化回路４３から入力した電子透かし信号が付加された量子化後のＤＣＴ変換係数信号Ｓ４３をハフマン符号化してレジスタに記憶した後に、ビットストリームのイメージ信号Ｓ４０として出力する。
【００６１】
以上説明したように、エンコーダ４０によれば、前述した第１実施形態のエンコーダ１０と同様に、違法にコピーを行われたイメージ信号や、その配信先のユーザなどを容易に特定することを可能にし、第１実施形態と同様の効果が得られる。
【００６２】
なお、エンコーダ４０に対応するデコーダは、エンコーダ４０において電子透かし信号が付加されたイメージ信号周波数成分を逆拡散処理を行うことで電子透かし信号を検出する。そして、当該デコーダは、その検出した電子透かし信号が示す情報を基に、イメージ信号またはユーザを特定する。
【００６３】
本発明は上述した実施形態には限定されない。
例えば、上述した実施形態では、図２，図３，図６および図８に示すように、専用の回路を用いて各処理を行う場合を例示したが、これらの処理の全部あるいは一部を、プロセッサ（処理手段）がプログラムを実行して実現してもよい。
また、当該プログラムは、ネットワークなどを介して所定の処理装置が取得しても、あるいは、ＣＤ−ＲＯＭ、ＤＶＤあるいはフロッピー（登録商標）ディスクなどのコンピュータで読み取り可能な記録媒体に記憶されてもよい。
【００６４】
また、上述した実施形態では、ＡＴＲＡＣ３およびＭＰＥＧのエンコーダおよびデコーダを例示したが、被量子化対象の信号に、本発明は、電子透かし信号などの付加信号を付加するものであれば、特に限定されない。
【００６５】
また、上述した第１実施形態では、符号化処理中の量子化の直前で電子透かし信号をオーディオ信号に付加する場合を例示した。この場合には、まだ係数が量子化される前段階であるので、その段階で、例えば量子化レベルより小さい情報を付加することによっても、量子化後の係数に反映されるため、情報の品質に影響を与えにくい埋め込みが可能である。第２実施形態についても、同様な埋め込み方法を用いてもよい。
なお、本発明は、量子化の直前だけに限らず、符号化プロセス前のＰＣＭ(Pulse Code Modulation) 信号に電子透かし信号を付加してもよい。
逆に、量子化後であれば、量子化レベル以下の信号内の付加結果に反映されないため、量子化レベル以上の強度で電子透かし信号を付加すれば、出力に電子透かし信号が反映されるので、量子化後、または符号化終了後のＰＣＭ信号に対しても電子透かし信号を付加できる。その場合は、被量子化対象の信号の劣化を知覚できないように、その信号レベルに応じて、電子透かし信号のレベルを制御する。
【００６６】
また、例えば、図２に示すレベル制御回路１４では、電子透かし信号のレベル変調の基準値をｎ（実数値）倍、１／ｎ倍したり、オーディオ信号のＭＤＣＴ係数値の大きさや、電子透かし信号のＭＤＣＴ係数値の大きさなどに応じて、レベルを制御したりしても良いし、それぞれの方法を併用したりしても良い。
【００６７】
また、符号化対象の信号（被量子化信号）の性質に応じて、ナローバンドと、クリティカルバンドでの符号化を異ならせるような方法を採用してもよい。この場合に、付加する電子透かし信号の係数を両方の符号化方式に対応させて、別々に係数を生成しておき、被量子化信号の係数に付加してもよい。
ここでは、電子透かし信号の係数列は、ＡＴＲＡＣ３エンコーダのプリプロセス部分を用いて生成するように説明したが、これに限らず、ＰＮの符号列に対応して、付加すべき係数位置を決めておいて、埋め込むようにしてもよい。
【００６８】
【発明の効果】
以上説明したように、本発明によれば、被量子化信号に電子透かし信号を付加した場合でも、その品質の劣化を最小限に抑えることができる信号処理装置、その方法およびそのプログラムを提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の第１実施形態に係わる通信システムの全体構成図である。
【図２】図２は、図１に示すエンコーダの構成図である。
【図３】図３は、図２に示す図２に示す電子透かし生成回路の構成図である。
【図４】図４は、図３に示す電子透かし生成回路の動作例を説明するためのフローチャートである。
【図５】図５は、図２に示すエンコーダの全体動作例を説明するためのフローチャートである。
【図６】図６は、図１に示すデコーダの構成図である。
【図７】図７は、図６に示すデコーダの動作例を説明するためのフローチャートである。
【図８】図８は、本発明の第２実施形態に係わるエンコーダの構成図である。
【図９】図９は、図８に示すエンコーダの動作例を説明するためのフローチャートである。
【符号の説明】
１０…エンコーダ、１１…ＱＭＦ、１２1 〜１２4 …ゲイン制御回路、１３1〜１３4 …ＭＤＣＴ処理回路、１４…レベル制御回路、１５…電子透かし生成回路、１６…レベル制御回路、１７…加算回路、１８…量子化回路、１９…ハフマン符号化回路、２１…ＱＭＦ、２２1 〜２２4 …ゲイン制御回路、２３1 〜２３4 …ＭＤＣＴ回路、２４1 〜２４4 …電子透かしデータ生成回路、４１…ブロック分割回路、４２…ＤＣＴ処理回路、４３…線形量子化回路、４４…電子透かし生成回路、４５…ハフマン符号化回路、５１…ハフマン復号回路、５２…逆量子化回路、５３…逆ＭＤＣＴ回路、５４…電子透かし検出回路
【図１】
2004191800.tif 000003
【図２】
2004191800.tif 000004
【図３】
2004191800.tif 000005
【図４】
2004191800.tif 000006
【図５】
2004191800.tif 000007
【図６】
2004191800.tif 000008
【図７】
2004191800.tif 000009
【図８】
2004191800.tif 000010
【図９】
2004191800.tif 000011