(57)【特許請求の範囲】
【請求項１】
オーディオ信号に付加情報を埋め込む付加情報埋め込み方法において、
オーディオ信号を直交変換して直交変換係数を算出する直交変換工程と、
上記直交変換係数を減衰して周波数軸方向にシフトして上記元の直交変換係数に加算することにより上記付加情報を埋め込むシフト・加算工程とを有する付加情報埋め込み方法。
【請求項２】
上記直交変換工程は、上記オーディオ信号をＭＤＣＴ変換することによりＭＤＣＴ係数を算出し、上記シフト・加算工程は、上記算出された上記ＭＤＣＴ係数を減衰して周波数軸方向にシフトして元のＭＤＣＴ係数に加算することにより上記付加情報を埋め込む請求の範囲第１項記載の付加情報埋め込み方法。
【請求項３】
上記シフト・加算工程は、周波数マスキング条件及びテンポラルマスキング条件を満たすように、上記周波数軸上でシフトされた上記直交変換係数を上記元の直交変換係数に対して加算する請求の範囲第１項記載の付加情報埋め込み方法。
【請求項４】
上記シフト・加算工程は、上記元の直交変換係数の値に上記シフトされた直交変換係数が加算されたときの値が所定値以下にあるとき、上記加算を行う請求の範囲第１項記載の付加情報埋め込み方法。
【請求項５】
上記シフト・加算工程は、上記元の直交変換係数の値の値に上記シフトされた直交変換係数が加算されたときの値の極性に応じて上記シフト及び加算を禁止する請求の範囲第１項記載の付加情報埋め込み方法。
【請求項６】
上記シフト・加算工程は、上記オーディオ信号が上限値から下限値の範囲であるとき上記シフト及び加算を行う請求の範囲第１項記載の付加情報埋め込み方法。
【請求項７】
上記シフト・加算工程は、上記オーディオ信号が人の聴覚特性に基づいて設定される上記上限値から上記下限値の範囲であるとき上記シフト及び加算を行う請求の範囲第６項記載の付加情報埋め込み方法。
【請求項８】
上記シフト・加算工程は、所定の周波数帯域の上記直交変換係数の上記シフト及び加算を行う請求の範囲第１項記載の付加情報埋め込み方法。
【請求項９】
上記シフト・加算工程は、所定の周波数帯域の上記ＭＤＣＴ係数の上記シフト及び加算を行う請求の範囲第２項記載の付加情報埋め込み方法。
【請求項１０】
上記シフト・加算工程は、上記オーディオ信号の周波数帯域を分割してそれぞれ分割した周波数帯域毎に行う請求の範囲第１項記載の付加情報埋め込み方法。
【請求項１１】
上記シフト・加算工程は、上記分割された隣接する周波数帯域の上記シフト方向を逆にする請求の範囲第１０項記載の付加情報埋め込み方法。
【請求項１２】
更に、上記方法は、上記シフト・加算工程により算出された信号に対して疑似ランダム信号によるスクランブルをかける工程を有する請求の範囲第１項記載の付加情報埋め込み方法。
【請求項１３】
上記シフト・加算工程は、周波数が増加する側に上記ＭＤＣＴ係数をずらして上記元のＭＤＣＴ係数に加算する請求の範囲第２項記載の付加情報埋め込み方法。
【請求項１４】
上記シフト・加算工程は、上記ＭＤＣＴ係数が２Ｎ個（Ｎは自然数）シフトされることにより（（サンプリング周波数／ＭＤＣＴ係数のサンプル数）×２Ｎ）Ｈｚ分周波数が増加する請求の範囲第１３項記載の付加情報埋め込み方法。
【請求項１５】
上記シフト・加算工程は、実質的に上記オーディオ信号の振幅に等しい請求の範囲第１４項記載の付加情報埋め込み方法。
【請求項１６】
上記シフト・加算工程は、周波数が減少する側に上記元のＭＤＣＴ係数に加算する請求の範囲第２項記載の付加情報埋め込み方法。
【請求項１７】
上記シフト・加算工程は、上記ＭＤＣＴ係数が２Ｎ個（Ｎは自然数）シフトされることにより（（サンプル周波数／ＭＤＣＴ係数のサンプル数）×２Ｎ）Ｈｚ分周波数が減少する請求の範囲第１６項記載の付加情報埋め込み方法。
【請求項１８】
上記シフト・加算工程は、実質的にオーディオ信号の周波数変調に等しい請求の範囲第１７項記載の付加情報埋め込み方法
【請求項１９】
上記シフト・加算工程は、上記ＭＤＣＴ係数を２Ｎ個（Ｎは自然数）シフトする請求の範囲第２項記載の付加情報埋め込み方法。
【請求項２０】
上記シフト・加算工程は、上記ＭＤＣＴ係数を２Ｎ−１（Ｎは自然数）シフトする請求の範囲第２項記載の付加情報埋め込み方法。
【請求項２１】
上記シフト・加算工程は、上記元のオーディオ信号のＭＤＣＴ係数の周波数マスキング領域のクリティカルバンド内に上記シフトされたＭＤＣＴ係数を加算する請求の範囲第２項記載の付加情報埋め込み方法。
【請求項２２】
上記付加情報は、上記オーディオ信号の転送を禁止する制限情報である請求の範囲第１項記載の付加情報埋め込み方法。
【請求項２３】
上記付加情報は、上記オーディオ信号の記録媒体への記録を禁止する制限情報である請求の範囲第１項記載の付加情報埋め込み方法。
【請求項２４】
上記付加情報は、上記オーディオ信号に対応する著作物データである請求の範囲第１項記載の付加情報埋め込み方法。
【請求項２５】
オーディオ信号に付加情報を埋め込む付加情報埋め込み装置において、
オーディオ信号を直交変換して直交変換係数を算出する直交変換手段と、
上記直交変換係数を減衰して周波数軸方向にシフトして上記元の直交変換係数に加算することにより上記付加情報を埋め込むシフト・加算手段とを付加情報埋め込み装置。
【請求項２６】
上記直交変換手段は、上記オーディオ信号をＭＤＣＴ変換することによりＭＤＣＴ係数を算出し、上記シフト・加算手段は、上記算出された上記ＭＤＣＴ係数を減衰して周波数軸方向にシフトして元のＭＤＣＴ係数に加算することにより上記付加情報を埋め込む請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項２７】
上記シフト・加算手段は、周波数マスキング条件及びテンポラルマスキング条件を満たすように、上記周波数軸上でシフトされた上記直交変換係数を上記元の直交変換係数に対して加算する請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項２８】
上記シフト・加算手段は、上記元の直交変換係数の値に上記シフトされた直交変換係数が加算されたときの値が所定値以下にあるとき、上記加算を行う請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項２９】
上記シフト・加算手段は、上記元の直交変換係数の値の値に上記シフトされた直交変換係数が加算されたときの値の極性に応じて上記シフト及び加算を禁止する請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項３０】
上記シフト・加算手段は、上記オーディオ信号が上限値から下限値の範囲であるとき上記シフト及び加算を行う請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項３１】
上記シフト・加算手段は、上記オーディオ信号が人の聴覚特性に基づいて設定される上記上限値から上記下限値の範囲であるとき上記シフト及び加算を行う請求の範囲第３０項記載の付加情報埋め込み装置。
【請求項３２】
上記シフト・加算手段は、所定の周波数帯域の上記直交変換係数の上記シフト及び加算を行う請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項３３】
上記シフト・加算手段は、所定の周波数帯域の上記ＭＤＣＴ係数の上記シフト及び加算を行う請求の範囲第２６項記載の付加情報埋め込み装置。
【請求項３４】
上記シフト・加算手段は、上記オーディオ信号の周波数帯域を分割してそれぞれ分割した周波数帯域毎に行う請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項３５】
上記シフト・加算手段は、上記分割された隣接する周波数帯域の上記シフト方向を逆にする請求の範囲第３４項記載の付加情報埋め込み装置。
【請求項３６】
更に、上記装置は、上記シフト・加算手段により算出された信号に対して疑似ランダム信号によるスクランブルをかける手段を有する請求の範囲第２５項記載の付加情報埋め込み方法。
【請求項３７】
上記シフト・加算手段は、周波数が増加する側に上記ＭＤＣＴ係数をずらして上記元のＭＤＣＴ係数に加算する請求の範囲第２６項記載の付加情報埋め込み装置。
【請求項３８】
上記シフト・加算手段は、上記ＭＤＣＴ係数が２Ｎ個（Ｎは自然数）シフトされることにより（（サンプリング周波数／ＭＤＣＴ係数のサンプル数）×２Ｎ）Ｈｚ分周波数が増加する請求の範囲第３７項記載の付加情報埋め込み装置。
【請求項３９】
上記シフト・加算手段は、実質的に上記オーディオ信号の振幅に等しい請求の範囲第３８項記載の付加情報埋め込み装置。
【請求項４０】
上記シフト・加算手段は、周波数が減少する側に上記元のＭＤＣＴ係数に加算する請求の範囲第２６項記載の付加情報埋め込み装置。
【請求項４１】
上記シフト・加算手段は、上記ＭＤＣＴ係数が２Ｎ個（Ｎは自然数）シフトされることにより（（サンプル周波数／ＭＤＣＴ係数のサンプル数）×２Ｎ）Ｈｚ分周波数が減少する請求の範囲第４０項記載の付加情報埋め込み装置。
【請求項４２】
上記シフト・加算手段は、実質的にオーディオ信号の周波数変調に等しい請求の範囲第４１項記載の付加情報埋め込み装置。
【請求項４３】
上記シフト・加算手段は、上記ＭＤＣＴ係数を２Ｎ個（Ｎは自然数）シフトする請求の範囲第２６項記載の付加情報埋め込み装置。
【請求項４４】
上記シフト・加算手段は、上記ＭＤＣＴ係数を２Ｎ−１（Ｎは自然数）シフトする請求の範囲第２６項記載の付加情報埋め込み装置。
【請求項４５】
上記シフト・加算手段は、上記元のオーディオ信号のＭＤＣＴ係数の周波数マスキング領域のクリティカルバンド内に上記シフトされたＭＤＣＴ係数を加算する請求の範囲第２６項記載の付加情報埋め込み装置。
【請求項４６】
上記直交変換手段と上記シフト及び加算手段とが一体に構成されている請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項４７】
上記付加情報は、上記オーディオ信号の転送を禁止する制限情報である請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項４８】
上記付加情報は、上記オーディオ信号の記録媒体への記録を禁止する制限情報である請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項４９】
上記付加情報は、上記オーディオ信号に対応する著作物データである請求の範囲第２５項記載の付加情報埋め込み装置。
【請求項５０】
付加情報が埋め込まれたオーディオ信号を受信し上記付加情報を復調する復調方法において、
オーディオ信号を周波数変調すると共に減衰した周波数軸方向にシフトして元の周波数軸上の上記オーディオ信号に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する受信工程と、
上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する復調工程とを有する復調方法。
【請求項５１】
上記受信工程は、オーディオ信号を直交変換して算出される直交変換係数を減衰して周波数軸方向にシフトして元の直交変換係数に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する請求の範囲第５０項記載の復調方法。
【請求項５２】
上記受信工程は、オーディオ信号をＭＤＣＴ変換して算出されるＭＤＣＴ係数を減衰して周波数軸方向にシフトし元のＭＤＣＴ係数に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する請求の範囲第５１項記載の復調方法。
【請求項５３】
上記受信工程は、ＡＭ変調により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調工程は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第５０項記載の復調方法。
【請求項５４】
上記受信工程は、ＦＭ変調により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調工程は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第５０項記載の復調方法。
【請求項５５】
上記受信工程は、ヒルベルト変換により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調工程は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号に極性に基づいて上記付加情報を復調する請求の範囲第５０項記載の復調方法。
【請求項５６】
上記復調工程は、上記受信される信号の所定周波数帯域内における所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第５０項記載の復調方法。
【請求項５７】
上記付加情報は、上記オーディオ信号の転送を禁止する制御情報である請求の範囲第５０項記載の復調方法。
【請求項５８】
上記付加情報は、上記オーディオ信号の記録媒体への記録を禁止する制御情報である請求の範囲第５０項記載の復調方法。
【請求項５９】
上記付加情報は、上記オーディオ信号に対応する著作物データである請求の範囲第５０項記載の復調方法。
【請求項６０】
付加情報が埋め込まれたオーディオ信号を受信し上記付加情報を復調する復調装置において、
オーディオ信号を周波数変調すると共に減衰した周波数軸方向にシフトして元の周波数軸上の上記オーディオ信号に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する受信手段と、
上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する復調手段とを有する復調装置。
【請求項６１】
上記受信手段は、オーディオ信号を直交変換して算出される直交変換係数を減衰して周波数軸方向にシフトして元の直交変換係数に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する請求の範囲第６０項記載の復調装置。
【請求項６２】
上記受信手段は、オーディオ信号をＭＤＣＴ変換して算出されるＭＤＣＴ係数を減衰して周波数軸方向にシフトし元のＭＤＣＴ係数に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する請求の範囲第６１項記載の復調装置。
【請求項６３】
上記受信手段は、ＡＭ変調により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調手段は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第６０項記載の復調装置。
【請求項６４】
上記受信手段は、ＦＭ変調により上記付加情報が埋め込まれる上記オーディオ信号を受信し、上記復調手段は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第６０項記載の復調装置。
【請求項６５】
上記受信手段は、ヒルベルト変換により上記付加情報が埋め込まされる上記オーディオ信号を受信し、上記復調手段は、上記受信される信号の所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第５０項記載の復調装置。
【請求項６６】
上記復調手段は、上記受信される信号の所定周波数帯域内における所定間隔毎の上記周波数軸上のオーディオ信号の極性に基づいて上記付加情報を復調する請求の範囲第６０項記載の復調装置。
【請求項６７】
上記付加情報は、上記オーディオ信号の転送を禁止する制御情報である請求の範囲第６０項記載の復調装置。
【請求項６８】
上記付加情報は、上記オーディオ信号の記録媒体への記録を禁止する制御情報である請求の範囲第６０項記載の復調装置。
【請求項６９】
上記付加情報は、上記オーディオ信号に対応する著作物データである請求の範囲第６０項記載の復調装置。
【発明の詳細な説明】
技術分野
本発明は、オーディオ信号にこのオーディオ信号の記録を制限し、あるいは他の機器へ転送を禁止し、著作権者の利益を保護することを可能とする情報などを付加情報として埋め込む付加情報埋め込み方法及びその装置であり、更にオーディオ信号に付加された付加情報を復調する復調方法及びその装置に関する。
背景技術
従来、オーディオ著作物としてのコンテンツの保護を図るため、オーディオ信号の他の機器への転送を禁止し、あるいはオーディオ信号の記録を制限する情報を当該オーディオ情報に付加情報として埋め込む技術が用いられている。この種の付加情報は、オーディオ信号にウォーターマークとして埋め込まれるものであって、デジタルウォーターマークとアナログウォーターマークがある。
デジタルオーディオ信号にデジタルウォーターマークを埋め込む技術として、１６ビットのＰＣＭオーディオ信号の最下位ビット（ＬＳＢ）をウォーターマークのデータ用に用いるものが用いられている。また、圧縮符号化されたデジタルオーディオ信号の変形離散コサイン変換（ＭＤＣＴ）係数や、サブバンドの係数を操作して、付加情報をウォーターマークとしてデジタルオーディオ信号に埋め込む技術が用いられている。
デジタルウォーターマークは、ウォーターマーク用のデータを直接デジタルオーディオ信号に重畳して読み書きすることができるので、信号処理が容易となる。しかし、デジタルウォーターマークは、デジタルオーディオ信号がアナログオーディオ信号に復調されたとき破壊されてしまう。また、デジタルウォーターマークは、デジタルオーディオ信号が異なるデータフォーマットに変換されたときにも破壊されてしまうことがある。このため、デジタルウォーターマークは、アナログオーディオ信号の繰り返しの記録、すなわちアナログオーディオ信号の複写を制限するようなことができなくなり、オーディオ著作物の著作者利益を十分に保護することができなくなってしまう。
また、アナログウォーターマークは、アナログ信号の形態で検出されるようにデジタルオーディオ信号に埋め込まれるもので、ファイルフォーマットの変換などを行った後であっても、デジタルオーディオ信号をアナログオーディオ信号に復調することによりウォーターマークを再び読み取ることができる。
ところで、楽曲などのオーディオ著作物を通信ネットワークを介してユーザに配信する技術が提案されている。この配信技術としてデジタルオーディオ信号をデータ圧縮したデータフォーマットで伝送し、記録を行うようにした電子音楽配信（Ｅｌｅｃｔｒｉｃ  Ｍｕｓｉｃ  Ｄｉｓｔｒｉｂｕｔｉｏｎ、ＥＭＤ）がある。ＥＭＤにより配信されるデータ圧縮されたデジタルオーディオ信号に埋め込まれたアナログウォーターマークは、データ圧縮されたデジタルオーディオ信号をＰＣＭ信号やアナログ信号に復調しないと読み出しあるいは書き込むことができない。そのため、ユーザが、ＥＭＤにより配信されたアナログウォーターマークが重畳されたオーディオ信号を記録するためには、ＰＣＭ信号などに復調する必要がある。圧縮されたデジタルオーディオ信号をＰＣＭ信号などに復調するとデータサイズが大きくなり、記録媒体に効率よく記録することができなくなってしまう。また、オーディオ信号の配信側においても、アナログウォーターマークの書き換えを行うには、一旦データ圧縮したオーディオ信号をＰＣＭ信号などに復調する必要があり、容易にアナログウォーターマークを書き換えることができない。
アナログウォーターマークをオーディオ信号に埋め込む方法として、スペクトラム拡散方式や位相変移変調（ＰＳＫ）方式が提案されている。これらスペクトラム拡散方式やＰＳＫ方式は、オーディオ信号を再生したとき聴感上のマスキング効果を利用して付加情報をオーディオ信号に埋め込む方式であるが、十分にマスキング効果を得ることができず、再生音響の音質の劣化を招くことなく付加情報をオーディオ信号に埋め込むことが困難である。
発明の開示
本発明は、従来提案されているオーディオ信号に付加情報を埋め込む技術の問題点を解決することができる新規な付加情報埋め込み方法及びその装置並びに付加情報の復調方法及びその復調装置を提供することを目的とする。
また、本発明は、再生音響の音質の劣化を招くことなくオーディオ信号に付加情報を埋め込むことを可能とする付加情報埋め込み方法及びその装置を提供することにあり、さらに、付加情報が埋め込まれたオーディオ信号を音質の劣化を招くことなく付加情報を復調することができる付加情報の復調方法及びその装置を提供することを目的とする。
さらに、本発明は、オーディオ信号がデジタル信号からアナログ信号に復調され、あるいはデータフォーマットの形式などが変更された場合でも容易に損傷を受けることなく付加情報をオーディオ信号に埋め込むことができる付加情報埋め込み方法及びその装置並びに付加情報の復調方法及びその復調装置を提供することを目的とする。
さらにまた、本発明は、データ圧縮されたオーディオ信号に容易に付加情報を埋め込むことができる付加情報埋め込み方法及びその装置を提供することにあり、さらに、この埋め込まれた付加情報をデータ圧縮した状態で復調することができる付加情報の復調方法及びその復調装置を提供することを目的とする。
上述のような目的を達成するために提案される本発明は、オーディオ信号に付加情報を埋め込む付加情報埋め込み方法において、オーディオ信号を直交変換して直交変換係数を算出する直交変換工程と、直交変換係数を減衰及び周波数軸方向にシフトして上記元の直交変換係数に加算することにより上記付加情報を埋め込むシフト・加算工程とを備える。
ここで、直交変換工程は、オーディオ信号をＭＤＣＴ変換することによりＭＤＣＴ係数を算出し、シフト・加算工程は、算出されたＭＤＣＴ係数を減衰及び周波数軸方向にシフトして元のＭＤＣＴ係数に加算することにより付加情報を埋め込む。
本発明は、更に、シフト・加算工程により算出された信号に対して疑似ランダム信号によるスクランブルをかける工程を有する。
ここで、オーディオ信号に埋め込まれる付加情報は、オーディオ信号の転送を禁止する制限情報であり、オーディオ信号の記録媒体への記録を禁止する制限情報であり、さらには、オーディオ信号に対応する著作物データである。
さらに、本発明方法において、シフト・加算工程は、周波数マスキング条件及びテンポラルマスキング条件を満たすように、周波数軸上でシフトされた直交変換係数を元の直交変換係数に加算する。
さらにまた、シフト・加算工程は、元の直交変換係数の値にシフトされた直交変換係数が加算されたときの値が所定値以下にあるときに加算を行う。
さらにまた、シフト・加算工程は、元の直交変換係数の値にシフトされた直交変換係数が加算されたときの値の極性に応じてシフト及び加算を禁止する。
さらにまた、シフト・加算工程は、オーディオ信号が上限値から下限値の範囲であるときシフト及び加算を行う。ここで、シフト・加算工程は、オーディオ信号が人の聴覚特性に基づいて設定される上限値から下限値の範囲であるときシフト及び加算を行う。
さらにまた、シフト・加算工程は、所定の周波数帯域内の直交変換係数のシフト及び加算を行う。
さらにまた、シフト・加算工程は、上記オーディオ信号の周波数帯域を分割してそれぞれ分割した周波数帯域毎に行う。ここでシフト・加算工程は、分割された隣接する周波数帯域のシフト方向を逆にする。
さらにまた、シフト・加算工程は、周波数が増加する側にＭＤＣＴ係数をずらして元のＭＤＣＴ係数に加算する。ここで、シフト・加算工程では、ＭＤＣＴ係数が２Ｎ個（Ｎは自然数）シフトされることによりＭＤＣＴ係数」は（（サンプリング周波数／ＭＤＣＴ係数のサンプル数）×２Ｎ）Ｈｚ分周波数が増加する。このシフト・加算工程は、実質的にオーディオ信号の振幅に等しい。
また、シフト・加算工程は、ＭＤＣＴ係数を周波数が減少する側シフトして元のＭＤＣＴ係数に加算する。ここで、シフト・加算工程は、ＭＤＣＴ係数が２Ｎ個（Ｎは自然数）シフトされることにより、ＭＤＣＴ係数は（（サンプル周波数／ＭＤＣＴ係数のサンプル数）×２Ｎ）Ｈｚ分周波数が減少する。
また、本発明は、オーディオ信号に付加情報を埋め込む付加情報埋め込み装置において、オーディオ信号を直交変換して直交変換係数を算出する直交変換手段と、直交変換係数を減衰及び周波数軸方向にシフトして元の直交変換係数に加算することにより付加情報を埋め込むシフト・加算手段とを備える。
ここで、直交変換手段は、オーディオ信号をＭＤＣＴ変換することによりＭＤＣＴ係数を算出し、シフト・加算手段は、算出されたＭＤＣＴ係数を減衰及び周波数軸方向にシフトして元のＭＤＣＴ係数に加算することにより付加情報を埋め込む。
本発明に係る付加情報埋め込み装置は、更にシフト・加算手段により算出された信号に対して疑似ランダム信号によるスクランブルをかける手段を有する。
本発明は、付加情報が埋め込まれたオーディオ信号を受信し付加情報を復調する復調方法において、減衰及び周波数軸方向にシフトして元の周波数軸上のオーディオ信号に加算することにより付加情報が埋め込まれたオーディオ信号を受信する受信工程と、受信される信号の周波数軸上の所定間隔毎のオーディオ信号の極性に基づいて付加情報を復調する復調工程とを有する。ここで、受信工程は、オーディオ信号を直交変換して算出される直交変換係数を減衰して周波数軸方向にシフトして元の直交変換係数に加算することにより付加情報が埋め込まれるオーディオ信号を受信する。この受信工程は、オーディオ信号をＭＤＣＴ変換して算出されるＭＤＣＴ係数を減衰して周波数軸方向にシフトし元のＭＤＣＴ係数に加算することにより付加情報が埋め込まれたオーディオ信号を受信する。
さらに、受信工程は、振幅変調（ＡＭ変調）により付加情報が埋め込まれるオーディオ信号を受信し、復調工程は、受信される信号の周波数軸上の所定間隔毎のオーディオ信号の極性に基づいて付加情報を復調する。
さらにまた、受信工程は、ＦＭ変調により付加情報が埋め込まれるオーディオ信号を受信し、復調工程は、受信される信号の周波数軸上の所定間隔毎のオーディオ信号の極性に基づいて付加情報を復調する。
さらにまた、復調工程は、受信される信号の所定周波数帯域内における周波数軸上の所定間隔毎のオーディオ信号の極性に基づいて付加情報を復調する。
また、本発明は、付加情報が埋め込まれたオーディオ信号を受信し付加情報を復調する復調装置において、オーディオ信号を減衰及び周波数軸方向にシフトして元の周波数軸上のオーディオ信号に加算することにより上記付加情報が埋め込まれる上記オーディオ信号を受信する受信手段と、受信される信号の所定間隔毎の周波数軸上のオーディオ信号の極性に基づいて付加情報を復調する復調手段とを有する。ここで用いられる受信手段は、オーディオ信号を直交変換して算出される直交変換係数を減衰して周波数軸方向にシフトして元の直交変換係数に加算することにより付加情報が埋め込まれる上記オーディオ信号を受信する。
また、受信手段は、オーディオ信号をＭＤＣＴ変換して算出されるＭＤＣＴ係数を減衰して周波数軸方向にシフトし元のＭＤＣＴ係数に加算することにより付加情報が埋め込まれるオーディオ信号を受信する。
さらに、受信手段は、ＡＭ変調により付加情報が埋め込まれるオーディオ信号を受信し、復調手段は、受信される信号の所定間隔毎の周波数軸上のオーディオ信号の極性に基づいて付加情報を復調する。
さらに、受信手段は、ＦＭ変調により上記付加情報が埋め込まれるオーディオ信号を受信し、復調手段は、受信される信号の所定間隔毎の周波数軸上のオーディオ信号の極性に基づいて付加情報を復調する。
さらにまた、復調手段は、受信される信号の所定周波数帯域内における所定間隔毎の周波数軸上のオーディオ信号の極性に基づいて付加情報を復調する。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。
発明を実施するための最良の形態
以下、本発明に係る付加情報埋め込み方法及びその装置並びに付加情報の復調方法及びその復調装置を図面を参照して説明する。
本発明の説明に先立って音のマスキング効果について説明する。マスキング効果は、ある周波数で所定の音圧レベル以上の音であるマスカーに対し、一定の範囲内で周波数がずれた音圧レベル以下の音に対し人の聴感は反応しない状態をいう。ある周波数で所定の音圧レベル以上の音Ｍｓがあるとき、図１に示す一定の周波数領域Ｂｗ内にあってはマスキングカーブ１で示す音圧レベル以下の音ＷＭは、人の聴感は反応しない。例えば、１ｋＨｚ以下の周波数帯域にある音Ａｓにあっては、そオーディオ信号を中心にして１００Ｈｚの範囲のクリティカルバンド幅Ｂｗの範囲にあってマスキングカーブ１に示す音圧レベル以下の音ＷＭは、人の聴感は反応しない。クリティカルバンド幅Ｂｗは、周波数依存性があり、図１に示すように、１ｋＨｚ以上では徐々に周波数帯域幅が広くなる。
また、マスキング効果には、テンポラルマスキング効果と称されるものがある。このテンポラルマスキング効果は、時間軸方向のマスキングカーブ１で示す音圧レベル以下にあるマスクされるマスキーである音ＷＭであっても、ある周波数で所定の音圧レベル以上のマスカーとして機能する音Ａｓに対して時間軸方向にずれがあると人によっては聞こえてしまう。例えば、マスキーとされる音ＷＭが、マスカーである音Ａｓに対し時間軸方向おいて前方に約数ミリ秒あるいは後方に約数十ミリ秒ずれていると人によっては聞こえてしまう。
そこで、オーディオ信号をマスカーとして付加情報をマスキーとして埋め込むには、上述したようなマスキング効果を考慮し、マスカーとなるオーディオ信号に対しマスキングカーブで示した音圧レベル以下の範囲内で付加情報を付加する必要がある。また、付加情報は、テンポラルマスキング効果を考慮して、マスカーとなるオーディオ信号に対し時間軸方向に大きくずれていないように必要がある。
次に、本発明において取り扱われるオーディオ信号を説明すると、オーディオ信号は、種々の周波数のサイン波を重畳したものがある。このサイン波を高速フーリエ変換（ＦＦＴ）すると、図２Ａに示すように、ある周波数に１つのスペクトル（高速フーリエ変換係数）が生じる。一方、サイン波をＭＤＣＴ（変形離散コサイン変換）変換すると、図２Ｂに示すように、複数の周波数に両極性の複数のＭＤＣＴ係数が生じる。図２Ｂに示すように、中央の４本のＭＤＣＴ係数が全体の９０％程度を占める。なお、図２Ａ及び図２Ｂにおいて、縦軸はゲイン（又はレベル）を示す。
サイン波をＭＤＣＴ変換して得られるＭＤＣＴ係数には、次のような性質がある。すなわち、ＭＤＣＴ係数は、ＭＤＣＴ係数の全体を周波数軸方向に偶数個シフトして逆ＭＤＣＴ（ＩＭＤＣＴ）変換すると、ＭＤＣＴと逆ＭＤＣＴとの性質により、その結果はＰＣＭ信号上で周波数シフトした信号になる。例えば、１ｋＨｚのオーディオ信号を４４．１ｋＨｚの周波数でサンプリングし、図３Ａに示すように、１０２４個のサンプル値をＭＤＣＴ変換し、得られるＭＤＣＴ係数を、図３Ｂに示すように、周波数軸上で２個分右にシフトした後逆ＭＤＣＴ変換すると、図４Ａに示す１ｋＨｚのオーディオ信号は、図４Ｂに示すように、４３Ｈｚだけ周波数を高くしたものとなる。同様に、得られるＭＤＣＴ係数を周波数軸上で、図４Ｂに示すように、４個分右にシフトした後、逆ＭＤＣＴ変換すると、図３Ｂに示すように、８６Ｈｚだけ周波数を高くしたものとなる。したがって、上述したよう、ＭＤＣＴ係数の全体を周波数軸方向に２個分右にシフトすると、図４Ａに示す１ｋＨｚのオーディオ信号をシフトした図４Ｂに示す１０４３Ｈｚの信号が生成され、４個分シフトすると、図４Ｂに示す１０８６Ｈｚの信号が生成される。
そして、一般のオーディオ信号を４４．１ｋＨｚの周波数でサンプリングし、１０２４個のサンプル値をＭＤＣＴ変換し、図５Ａに示すように、得られるＭＤＣＴ係数から所定数のＭＤＣＴ係数を選択し、この選択されたＭＤＣＴ係数を逆ＭＤＣＴ変換することにより、周波数制限が加えれた変調結果を得ることができる。これにより、オーディオ信号の周波数全体ではなく、例えば、図５Ｂに示すように、１．５ｋＨｚ〜５ｋＨｚ帯のみの信号に付加情報をウォーターマークＷＭとして埋め込むことができる。
また、オーディオ信号に付加情報をウォーターマークＷＭとして埋め込む方式として、オーディオ信号そのものから付加情報を直接生成するものであって、すなわち、オーディオ信号に含まれる一定周波数帯域波の成分を付加情報とし、この付加情報を図１に示すマスキング効果が得られる範囲内にウォーターマークＷＭとして埋め込む方式がある。
この方式の一つとしてＡＭ変調方式がある。このＡＭ変調方式は、図６Ａ、図６Ｂ、図６Ｃに示すような処理を行うものである。すなわち、図６Ｃに示すように、付加情報が埋め込まれる元のオーディオ信号中の特定周波数の信号（サイン波）のエンベロープを、図６Ｂで示すサイン波で振幅変調すると、図６Ａに示すように、元のオーディオ信号の両側に、サイドバンド信号ＳＢが現れ、このサイドバンド信号ＳＢを図１に示すマスキングカーブ１の範囲内となるようにする。そして、このサイドバンド信号ＳＢを利用して、付加情報をウォーターマークとしてオーディオ信号に埋め込むことができる。
さらに、他の方式として、ＦＭ変調方式がある。このＦＭ変調方式は、図７Ａ、図７Ｂ、図７Ｃに示すような処理を行うものである。すなわち、図７Ｃに示すように、付加情報が埋め込まれるオーディオ信号中の特定周波数の信号（サイン波）を、図７Ｂに示すサイン波で周波数変調すると、図７Ａに示すように、元のオーディオ信号の両側にサイドバンド信号ＳＢが得られ、このサイドバンド信号ＳＢ、図１に示すマスキングカーブ１の範囲内となるようにする。そして、このサイドバンド信号ＳＢを利用して、付加情報をウォーターマークとしてオーディオ信号に埋め込むことができる。
さらに、オーディオ信号に付加情報をウォーターマークとして埋め込む場合、図８Ａに示すように、付加情報が埋め込まれるオーディオ信号中の特定周波数の信号の高域の周波数帯域、又は図８Ｂに示すように、特定周波数の信号の低域の周波数帯域の一方にのみ付加情報をウォーターマークＷＭとして埋め込むようにしてもよい。これら図８Ａ及び図８Ｂに示す場合のいずれにおいても、ウォーターマークＷＭは、図１に示すように、特定周波数のオーディオ信号のマスキングカーブ１の範囲内となるようにゲインが減衰されて埋め込まれる。
次に、上述したように、オーディオ信号をＭＤＣＴ変換して復号されるＭＤＣＴ係数を減衰させるとともに、周波数軸方向へシフトし、オーディオ信号のマスキングカーブ１の範囲にウォーターマークＷＭとして埋め込まれた付加情報を復調する方法を説明する。
ところで、オーディオ信号をＭＤＣＴ変換して得られるＭＤＣＴ係数を復調する場合、変調時におけるＭＤＣＴ変換の単位である１０２４個のサンプルと、復調時における逆ＭＤＣＴ変換の単位である１０２４個の変換係数がずれると、正しく復調することができない。したがって、付加情報を正しく復調するとき、図９に示すように、変換係数を一つずつ位相をずらした１０２４回の逆ＭＤＣＴ変換を行う必要がある。このような多数回の逆ＭＤＣＴ変換を行うことは処理時間や演算速度を考慮すると非現実的であり、回路規模も大きくなりすぎる。
オーディオ信号をＭＤＣＴ変換して得られるＭＤＣＴ係数を周波数軸方向へシフトしてオーディオ信号に埋め込まれた付加情報は、元のオーディオ信号と相関関係がある。そこで、この付加情報の性質を利用して、オーディオ信号に埋め込まれた付加情報の復調を行う。この復調では、オーディオ信号をＭＤＣＴ変換して得られる元のＭＤＣＴ係数に周波数軸方向にシフトしたＭＤＣＴ係数を加算することにより簡単に付加情報を復調することができる。
具体的には、オーディオ信号をＭＤＣＴ変換して得られる図１０Ａに示すＭＤＣＴ係数を周波数軸方向に４つ分シフトし、元のＭＤＣＴ係数に加算すると、図１０Ｂに示すように、元のＭＤＣＴ係数係数の極性と加算されたＭＤＣＴ係数の極性は同相になる確率が高くなる。すなわち、図１０Ｂに示すように、周波数軸方向に加算されたＭＤＣＴ係数は、元のＭＤＣＴ係数と同相となるものが増加し、逆相となるものが減少する。そこで、周波軸方向に４つ分シフトされ、ＭＤＣＴ係数が加算された図１０Ｂに示すＭＤＣＴ係数の極性を同相又は逆相で計数して統計処理することにより、シフトされたＭＤＣＴ係数が同相として加算されたか逆相として加算されたかを検出することで、変調時におけるＭＤＣＴ変換の単位である１０２４個のサンプルと、復調時における逆ＭＤＣＴ変換の単位である１０２４個の変換係数がずれたとしても、多数回の逆ＭＤＣＴ変換を行うことなく、簡単に変調されている付加情報を復調することができる。
ここでは、ＭＤＣＴ係数の極性が同相になる確率を高くするため、ＭＤＣＴ係数を周波数軸方向に４つ分シフトしているが、これに限らず、２Ｎ個（Ｎは自然数））分シフトするようにしてよい。
ところで、付加情報を復調する際、オーディオ信号をＭＤＣＴ変換して復号される元のＭＤＣＴ係数に加算又は減算される周波数軸方向にシフトされたＭＤＣＴ係数のうち、極性の増減に寄与しないものがある。すなわち、周波数軸方向にシフトされたＭＤＣＴ係数のうち、元のＭＤＣＴ係数に加算又は減算されることにより極性が変更されないものがある。
すなわち、オーディオ信号をＭＤＣＴ変換して得られる図１１Ａに示す元のＭＤＣＴ係数に周波数軸方向に例えば４つシフトされたＭＤＣＴ係数を加算する。このとき、加算されるＭＤＣＴ係数は、図１１Ｂに示すように、ゲインを一定レベル、例えば３０ｄＢ程度小さくして元のＭＤＣＴ係数に加算される。この加算された結果は、図１１Ｃに示すようになる。このように、元のＭＤＣＴ係数に対し３０ｄＢゲインを低下させたＭＤＣＴ係数を加算した場合であっても、元のＭＤＣＴ係数の極性の反転に寄与しないばかりか、所定周波数のオーディオ信号によるマスキングレベルを越えてしまいウォーターマークとして機能しなくなるＭＤＣＴ係数があり、再生音響の音質を劣化させてしまうおそれがある。
このような問題点を解消するため、元のＭＤＣＴ係数のレベルより大きくかつ逆相のＭＤＣＴ係数のみを加算することが考えられる。しかし、このような処理を完全に行ったとしても、ＭＤＣＴ変換されたオーディオ信号をアナログ信号に変換し、異なるサンプル値のブロックで再びＭＤＣＴ変換を行ったとき、オーディオ信号に埋め込まれた付加情報を復調することができなくなるおそれがある。すなわち、アナログ信号に変換されたオーディオ信号を再度ＭＤＣＴ変換して得られるＭＤＣＴ係数に、周波数軸方向にシフトしたＭＤＣＴ係数を上述したのと同様の処理を行って加算したとき、付加情報が失われるおそれがあるためである。
そこで、オーディオ信号に埋め込まれた付加情報が損傷されてしまうことを防止しながら、復調されたオーディオ信号の音質の劣化を防止するために、付加情報が埋め込まれるオーディオ信号をＭＤＣＴ変換して得られるＭＤＣＴ係数のうち、ゲインが一定レベル以下のＭＤＣＴ係数のみを付加情報の埋め込みに用いることにする。所定の周波数の音に対し、周波数がずれたある音圧レベル以上の音は聴感上のマスキング効果を得ることができない。このような音の性質から、図１２Ａに示すように、人の聴感上の観点から、付加情報に用いるＭＤＣＴ係数のゲイン及び周波数に閾値Ｓ１を設け、この閾値Ｓ１以下の範囲にあるＭＤＣＴ係数のみを付加情報の埋め込みに用いる。ここで選択されたＭＤＣＴ係数は、周波数軸方向に４つずらし、ゲインを低下させて元のＭＤＣＴ係数に加算することにより、図１２Ｂに示すように、元のＭＤＣＴ係数の両側に付加情報がウォーターマークＷＭとして埋め込まれる。このとき、図１２Ｂに示すように、所定周波数の元のＭＤＣＴ係数に対し所定周波数離れた位置に、一定レベル以上の付加情報が埋め込まれることを防止でき、聴感上雑音成分として再生される音の発生を防止できる。
また、オーディオ信号に付加情報をウォーターマークＷＭとして埋め込むとき、所定周波数のＭＤＣＴ係数に対し常に所定周波数離れた位置に付加情報のためのＭＤＣＴ係数を埋め込むと、オーディオ信号を再生したとき、図１を用いて説明したように、マスキングされることなく聴感上雑音として聴取されるものがある。マスキング効果が得られる周波数帯域は、周波数により変化するので、付加情報が埋め込まれるオーディオ信号の周波数に応じて、付加情報をウォーターマークＷＭとして埋め込む周波数距離Ｈｒを可変させる。例えば、１ｋＨｚ以下のオーディオ信号に付加情報をウォーターマークＷＭとして埋め込むときには、図１３Ａに示すように、４３Ｈｚの周波数距離Ｈｒ内で付加情報のためのＭＤＣＴ係数が埋め込まれるように元のＭＤＣＴ係数を周波数軸上でシフトさせる。また、２ｋＨｚ以上のオーディオ信号に付加情報をウォーターマークＷＭとして埋め込むときには、図１３Ａに示すように、８６Ｈｚの周波数距離Ｈｒ内で付加情報を生成するＭＤＣＴ係数が埋め込まれるように元のＭＤＣＴ係数を周波数軸上をシフトさせる。
さらに、オーディオ信号に付加情報をウォーターマークＷＭとして埋め込むとき、２ｋＨｚ以上のオーディオ信号に対しては、付加情報をウォーターマークＷＭとして埋め込める周波数距離Ｈｒを大きくすることができる。そこで、この周波数距離Ｈｒ内に、図１３Ｂに示すように、付加情報のためのＭＤＣＴ係数を多重化して埋め込むようにしてもよい。
上述したように、付加情報がウォーターマークＷＭとして埋め込まれたオーディオ信号にビデオ信号に対する圧縮量子化による信号圧縮処理を施すと破壊されてしまうおそれがある。これは、信号圧縮の過程で量子化ステップ数の制限により、オーディオ信号の周波数帯域内の各周波数成分の振幅がまるめこまれて小さくなるものもあるためである。このような問題点を解消するためには、オーディオ信号に付加される付加情報のレベルを一定以上確保すればよい。例えば、付加情報が埋め込まれる所定周波数のオーディオ信号のレベルに対し、付加情報のレベルを−６〜−３０ｄＢ程度とすれば確保すれば、付加情報が埋め込まれたオーディオ信号を量子化などにより信号圧縮しても、付加情報の耐性（ｔｏｒｅｌａｎｃｅ）を保証し、破壊を防止することができる。信号圧縮したときの付加情報の破壊を防止するためには、元のＭＤＣＴ係数に対し−３０ｄＢ以上減衰されたＭＤＣＴ係数を付加情報のために用いないようにしてもよい。
オーディオ信号をＭＤＣＴ変換して得られるＭＤＣＴ係数を周波数軸方向へシフトし、付加情報をウォーターマークＷＭとして埋め込むとき、埋め込まれる付加情報を、図１４に示すように、複数のレイヤーＬ１、Ｌ２・・・ＬＮに多重化して埋め込む場合、各レイヤーの周波数は排他的に設定すればよい。
また、コーデックによっては、図１５Ａ及び図１５Ｂに示すように、データフィルタによってオーディオ信号の周波数帯域を所定周波数帯域に分割してから、オーディオ信号をＭＤＣＴ変換をするようにしてもよい。このような周波数分割された領域の成分を直接レイヤーとして用いるようにしてもよい。ここで、図１５Ａは、適応型オーディオ信号圧縮技術（ＡＴＲＡＣ２；Ａｄａｐｔｉｖｅ  Ｔｒａｎｓｆｏｒｍ  Ａｃｏｕｓｔｉｃ  Ｃｏｄｉｎｇ、ソニー（株）の商標）に適用した例で、５ｋＨｚごとに周波数分割した例を示す。図１５Ｂは、ＭＤＣＴレイヤー３で３２に分割されたサブバンドフィルタからの出力がＭＤＣＴ変換されることを利用した例を示す。
上述のように、オーディオ信号をＭＤＣＴ変換して得られるＭＤＣＴ係数を周波数軸方向へシフトしてオーディオ信号に付加情報をウォーターマークＷＭとして埋め込む方法においては、元のＭＤＣＴ係数と周波数軸方向に所定個数シフトされて加算されるＭＤＣＴ係数と極性の一致、不一致によって、付加情報を生成ためのＭＤＣＴ係数のレベルが決まるので、ＭＤＣＴ係数のレベルが高いことが付加情報の変調強度に直接影響を与えない。そして、レベルの低いＭＤＣＴ係数もレベルの高いＭＤＣＴ係数も同一のデータ量を有するので、再生されるオーディオ信号の音質を優先する場合、付加情報が付加されるオーディオ信号によるマスキング効果及び信号圧縮されたときの付加情報の耐性を考慮して、付加情報を生成するＭＤＣＴ係数のレベルは、できるだけ小さいものを用いることが望ましい。
そして、オーディオ信号に付加される付加情報のレベルをオーディオ信号のレベルに対して自動的に設定するようにした場合には、オーディオ信号のレベルの加減を制限することにより、付加情報の最大振幅を設定することができる。また、オーディオ信号に付加される付加情報のレベルの下限を設定することにより、信号圧縮やデジタル信号からアナログ信号への変換の繰り返しなどによって損傷されてしまうような付加情報を生成しないようにすることもできる。
付加情報が付加されるオーディオ信号のレベルを自動的に設定するためには、各周波数帯域毎、あるいは上述したフィルタ・バンク毎の出力を正規化する方法が用いられる。ＡＴＲＡＣ２、ＡＴＲＡＣ３では、ポリフェーズ・クワドラチャーフィルタ（ＰＱＦ）の後段にＡＧＣ回路が設けられているので、オーディオ信号をＭＤＣＴ変換する前にレベル調整が行われるので、ＡＴＲＡＣ２、ＡＴＲＡＣ３は、本発明の復調方法にも用いることができる。
また、オーディオ信号のレベルを自動的に設定する方法として、オーディオ信号に付加される付加情報を生成するのに有効なＭＤＣＴ係数の数を計数し、平均的に一定の数のＭＤＣＴ係数が加算されるように付加情報を生成するＭＤＣＴ係数のレベルを自動的に制限するようにしてもよい。
次に、オーディオ信号に付加情報をウォーターマークとして埋め込む付加情報埋め込み装置及びオーディオ信号に埋め込まれた付加情報を復調する復調装置について説明する。
本発明においては、付加情報埋め込み装置と付加情報の復調装置は、図１６に示すように、コーデック１０として一体に構成されている。このコーデック１０は、オーディオ信号入力端子１０ａを介して入力されるオーディオ信号をデジタル信号に変換するＡ／Ｄ変換器１２と、Ａ／Ｄ変換器によりデジタル信号に変換されたオーディオデータをＭＤＣＴ（変形離散コサイン変換）変換するＭＤＣＴ変換部１４を備える。このＭＤＣＴ変換部１４は、一次元のオーディオデータであるＰＣＭ信号を一次元の直交変換を行うものであって、ＰＣＭ信号を一次元のＭＤＣＴ変換してＭＤＣＴ係数を出力する。
さらに、ＭＤＣＴ変換部１４により算出されたＭＤＣＴ係数が入力されるとともに付加情報入力端子１０ｂを介して入力される付加情報が入力されるシフト・加算部１６を備える。このシフト・加算部１６は、ＭＤＣＴ変換部１４から供給されるＭＤＣＴ係数を周波数軸方向にシフトするとともに、付加情報に基づいて元のＭＤＣＴ係数の極性変換を行い、ＭＤＣＴ係数に付加情報を埋め込む。
シフト・加算部１６から出力される信号は、逆ＭＤＣＴ変換部１８に入力される。逆ＭＤＣＴ変換部１８は、シフト・加算部１６から出力される信号をＭＤＣＴ変換部１４とは逆変形離散コサイン変換する。
逆ＭＤＣＴ変換部１８からデジタル信号として出力される付加情報が埋め込まれたデジタルオーディオデータは、Ｄ／Ａ変換器２０によりアナログのオーディオ信号に変換されて出力端子２１を介して出力される。出力端子２１から出力されるオーディオ信号は、付加情報が埋め込まれた信号である。
このコーデック１０は、付加情報の復調装置としても用いられるものであって、ＭＤＣＴ変換部１４から出力されるＭＤＣＴ係数からオーディオ信号に埋め込まれた付加情報を復調する付加情報復調部２２を備えている。付加情報復調部２２により復調された付加情報は、出力端子２１を介して装置外部に出力される。
ここで、オーディオ信号にウォーターマークとして埋め込まれる付加情報には、オーディオ信号の転送を禁止する制限情報や、オーディオ信号の他の記録媒体への記録を禁止する制限情報があり、さらには、オーディオ信号に対応する著作物データである。この著作物データとしては、オーディオ信号に対応する楽曲などの著作権を管理するデータであり、著作権者コード、著作権管理番号などがある。
図１６に示す付加情報の埋め込み機能を備えたコーデック１０を用いて、オーディオ信号に付加情報を埋め込む手順を図１７に示すフローチャートを参照しながら説明する。
ステップＳ１でオーディオ信号入力端子１０ａからオーディオ信号が入力されると、このオーディオ信号は、Ａ／Ｄ変換器１２に入力され、ステップＳ２においてデジタル信号に変換される。デジタル信号に変換されたオーディオ信号は、ＭＤＣＴ変換部１４に入力される。ＭＤＣＴ変換部１４に入力されたオーディオ信号は、ステップＳ３において、ＭＤＣＴ変換されＭＤＣＴ係数が算出される。ＭＤＣＴ変換部１４で算出されたＭＤＣＴ係数は、シフト・加算部１６に入力される。
ステップＳ４において、シフト・加算部１６に付加情報が入力されたか否か判断される。すなわち、付加情報の入力が「１」を示すとき、シフト・加算部１６は、ステップＳ５において、ＭＤＣＴ変換部１４から入力されたＭＤＣＴ係数を周波数軸方向に例えば２個分あるいは４個分シフトし、元のＭＤＣＴ係数に加算して付加情報をウォーターマークＷＭとして埋め込む。そして、付加情報の入力がないとき、すなわち、付加情報が「０」であるときには、シフト・加算部１６は、上述のシフト・加算を行うことなく元のＭＤＣＴ係数を出力する。このように、シフト・加算部１６は、付加情報が「１」のとき、元のＭＤＣＴ係数に周波数軸方向にシフトしたＭＤＣＴ係数を加算し、付加情報が「０」であるとき、ＭＤＣＴ係数のシフト・加算を行わないことにより、この付加情報埋め込み装置から出力されるオーディオ信号を受信しあるいは供給される機器側において、付加情報の「０」又は「１」を検出することができる。このとき、オーディオ信号を４４．１ｋＨｚの周波数でサンプリングし、１０２４個のサンプル値を１ブロックとしてＭＤＣＴ変換してＭＤＣＴ係数を得るようにした場合には、１０２４サンプル毎に付加情報を１ビットずつ埋め込むことができる。なお、サンプル数は、１０２４に限定されるものではない。
シフト・加算部１６により所定の処理が施されたＭＤＣＴ係数は、ステップＳ６でＭＤＣＴ変換とは逆の逆変形離散コサイン変換が施され、その後ステップＳ７において、アナログのオーディオ信号に変換されて、ステップＳ８において、付加情報が埋め込まれたアナログのオーディオ信号として出力される。
次に、図１６に示すコーデック１０を用いて、オーディオ信号にウォーターマークとして埋め込まれた付加情報を復調する場合を説明する。
ところで、シフト・加算部１６において、ＭＤＣＴ係数を周波数軸方向に例えば２個分あるいは４個分シフトし、元のＭＤＣＴ係数に加算して付加情報をウォーターマークＷＭとして埋め込むような場合、ウォーターマークとして埋め込まれた付加情報成分によって任意のＭＤＣＴ係数の左右の４個目の係数の極性が確率的に多く反転され、極性の増減が行われている。そこで、ＭＤＣＴ係数の左右の４個目の係数を同極性、異極性でそれぞれ累積させていくと、所定時間の区間、例えば１秒間の区間で明らか極性の偏りを検出することができる。
そこで、ＭＤＣＴ係数の極性の偏りを用いて、オーディオ信号に埋め込まれた付加情報を検出するには、図１８に示すように、１秒おきに計数をリセットし、各区間の極性の偏りを調べることにより、ウォーターマークとして埋め込まれた付加情報の検出が可能となる。このとき、極性が正方向に偏りを持つ場合と、負方向に偏りを持つ場合の組み合わせにより、各区間のデータを図１８に示すように、「１」、「１」、「０」のデータ列を伝送し、検出することができる。
また、ＭＤＣＴ係数を周波数軸方向に例えば４個分シフトし、元のＭＤＣＴ係数に加算して付加情報をウォーターマークＷＭとして埋め込むような場合、単純に同極性のＭＤＣＴ係数が増加する信号を復調する際、アナログ信号に変換してから再びＭＤＣＴ変換を行うとき、サンプル値の位相にずれが生ずると、正負の極性の組み合わせによる付加情報の読み出しができなくなる場合がある。
ところで、例えばＭＤＣＴ係数を周波数軸方向に例えば４個分シフトし、元のＭＤＣＴ係数に加算して付加情報をウォーターマークＷＭとして埋め込んだような場合、サンプル値の位相がずれると、極性が一致する数の変化がコサイン波の形で増減する。また、ＭＤＣＴ係数を周波数軸方向に例えば５個分シフトし、元のＭＤＣＴ係数に加算して付加情報をウォーターマークＷＭとして埋め込んだような場合、サンプル値の位相がずれると、極性が一致する数の変化がサイン波の形で増減する。したがって、１０２４個のサンプル値を１ブロックとしてＭＤＣＴ変換した場合、ＭＤＣＴ係数の位相が１２８サンプル値分ずれると、４個分周波数軸方向にシフトしたＭＤＣＴ係数の同極性の係数の総計がゼロとなっても、５個分周波数軸方向にシフトしたＭＤＣＴ係数の同極性の係数は十分な数を得ることができるので、ウォーターマークとして埋め込まれた付加情報を復調することができる。
この方法は、コピーコントロールによる方法より容易な方法でこれを検出したい場合、あるいはＭＤＣＴ変換の位相が制御できない応用において有益な手法となる。
また、正しい位相に合わせる同期処理においても、ＭＤＣＴ係数の４の値と５の値を調べることで大まかな位置を特定できるから、１０２４個のサンプル値全ての位相を調べなくとも正しい位相に同期できる。あるいは、１０２４個のサンプル値の最大のゲイン（利得）が得られる位相を求めてもよい。
図２０は、ＭＤＣＴ係数を周波数軸方向に８個分シフトし、元のＭＤＣＴ係数に加算して付加情報をウォーターマークＷＭとして埋め込んだような場合と、ＭＤＣＴ係数を周波数軸方向に９個分シフトし、元のＭＤＣＴ係数に加算を行って付加情報をウォーターマークＷＭとして埋め込んだ場合を示す。ここでは、６４サンプル値毎に、距離が８と９とに入れ代わっている。また、ＭＤＣＴ係数を周波数軸方向に８個分シフトし、元のＭＤＣＴ係数に加算して付加情報をウォーターマークＷＭとして埋め込んだような場合と、ＭＤＣＴ係数を周波数軸方向に９個分シフトし、元のＭＤＣＴ係数に加算を行って付加情報をウォーターマークＷＭとして埋め込んだような場合を組み合わせると正しい位相を求めるための粗調整が更に容易となる。
この方式を多層のレイヤーを持つようにする方法を次に述べる。
付加情報復調部２２において、元のＭＤＣＴ係数の周波数の高い方向で付加情報となるＭＤＣＴ係数を加算又は減算するようにする。あるいは、付加情報復調部２２において、元のＭＤＣＴ係数の周波数の低い方向で付加情報となるＭＤＣＴ係数を加算又は減算するようにする。これら方法において、元のＭＤＣＴ係数のレベルと加減算されるＭＤＣＴ係数のレベルの関係を設定することにより、完全に独立した２種類のレイヤーとして利用できる。
また、ＭＤＣＴ係数は、周波数帯域に対応しているので、前述した図５に示したように、ＭＤＣＴ係数の制限により、周波数帯域を制限することができる。
また、オーディオ信号の成分には、ＭＤＣＴ係数を周波数軸方向にシフトし、元のＭＤＣＴ係数に加算を行って付加情報を埋め込んだ場合、ここで得られる付加情報と同じ信号が存在することがあり、このような場合に付加情報の誤検出の原因となる。
このような信号成分が発生する一番の原因は、図２１Ｂに示すような元のオーディオ信号のエンベロープが変調しようとする変化と同相、あるいは逆相の変調になっている。オーディオ信号では、この場合、各周波数帯域で同相で変化することが多いから、非常に強い変調になり、これを打ち消すような大きな信号を用いると、音質に問題を引き起こす。そこで、付加情報を元のオーディオ信号と区別しやすくするために、図２１Ａに示すように、周波数帯域をブロックＡとブロックＢに分割して変調方向を互いに逆になるようにしている。ここでは、１．５ｋＨｚ〜５ｋＨｚを１．５ｋＨｚ〜３ｋＨｚと３ｋＨｚ〜５ｋＨｚに分割している。
この２つの周波数帯域のブロックＡ，Ｂを同方向に変調すると、図２１Ｃに示すようになるが、互いに逆方向に変調すると、図２１Ｄに示すように、元のオーディオ信号に含まれていた変調成分は低い帯域と高い帯域とで逆相のデータとして復調されるので、データは同じ利得のままで誤信号のみをキャンセルできる。
図２２Ａ及び図２２Ｂは、周波数分割をしないＭＤＣＴ係数相互間の同極性、異極性の数を示すグラフであり、図２３Ａ及び図２３Ｂは、周波数分割を行った場合のＭＤＣＴ係数相互間の同極性、異極性の数を示すグラフである。周波数分割をした場合、オーディオ信号で偶然起こるパターンを極力回避することにより、データレート及びエラーレートを低下させることができることが分かる。
また、周波数分割する際、分割する周波数をオクターブに選択することはキャンセル効果を高めることにある。その理由は、音楽の性質からくるものであり、音程を含む成分がオクターブ上で反対に働くことにより、キャンセル方向が確率的に逆相を保つのに役立つ。あるいは、２つの周波数帯域のブロックＡ，Ｂに含まれるＭＤＣＴ係数の個数を同程度に選ぶことも有効である。
また、周波数帯域を分割する方法としては、前述した図１５に示したように、更に細かく分割して確率的にキャンセル方法を用いることも可能である。
また、音声圧縮の中に応用する場合、上述した周波数分割の方法としては、例えばＡＴＲＡＣ２のポリフェーズ・クワドラチャーフィルタ（ＰＱＦ）の分割特性を利用することができる。あるいは、ＭＰＥＧレイヤー３のサブバンドフィルタを利用することもできる。
ここで、ＭＤＣＴ係数を周波数軸方向にシフトし、元のＭＤＣＴ係数に加算を行ってウォーターマークＷＭとして埋め込まれた付加情報は、アナログ信号や高速フーリエ変換されても分離することができない非常に高い秘匿性を有する。しかし、ＭＤＣＴ変換を用いて攻撃されると、比較的容易に攻撃できる。このような問題点を解消するため、ＭＤＣＴ変換を用いたオーディオ信号に埋め込まれた付加情報の検出は、オーディオ信号に基づく元のＭＤＣＴ係数とこの元のＭＤＣＴ係数に加算された周波数軸方向にシフトされたＭＤＣＴ係数の距離、すなわちシフト数を設定してその互いの極性を用いて行っている。ところで、各時間、付加情報を生成するＭＤＣＴ係数ごとに極性を疑似ランダム信号などで反転させた場合、第三者がＭＤＣＴ変換を用いて調べてもその信号が付加情報によって変調されているか否かも分からなくなる。
このときに用いる疑似ランダム信号は、簡単なＰＮ系列やゴールド符号を用いることができ、さらに、複雑なＤＥＳや楕円暗号を用いることができる。あるいは、単なる１，０の信号が反転を繰り返すＡＣ信号でもよい。
また、疑似信号を、例えばゴールド符号のように２種類の暗号同士から作り、１つを固定して他方を各個人の端末ごとに変化させ、合成された暗号を各端末単位で変化させることにより、付加情報の秘匿性を高めることができる。
次に、オーディオ信号に付加情報をウォーターマークとして埋め込む付加情報埋め込み装置及びオーディオ信号に埋め込まれた付加情報を復調する復調装置の他の例について説明する。
ここに示す装置も、付加情報埋め込み装置と付加情報の復調装置は、図２４に示すように、コーデック３０として一体に構成されている。このコーデック３０は、オーディオ信号入力端子３０ａを介して所定の音源から入力されるアナログ信号のオーディオ信号をデジタル信号に変換するＡ／Ｄ変換器３２と、Ａ／Ｄ変換器３２によりデジタル信号に変換されたオーディオデータをＭＤＣＴ（変形離散コサイン変換）変換するＭＤＣＴ変換部３４を備える。このＭＤＣＴ変換部３４は、ＰＣＭ信号をＭＤＣＴ変換してＭＤＣＴ係数を出力するものであって、一次元のオーディオ信号に対して直交変換を行う一次元の離散コサイン変換する。
さらに、ＭＤＣＴ変換部３４により算出されたＭＤＣＴ係数が入力されるとともに付加情報入力端子３０ｂを介して入力される付加情報が入力されるシフト・加算部３６を備える。このシフト・加算部３６は、ＭＤＣＴ変換部３４から供給されるオーディオ信号を変換して得られるＭＤＣＴ係数を周波数軸方向にシフトするとともに、付加情報に基づいて元のＭＤＣＴ係数の極性変換を行い、ＭＤＣＴ係数と付加情報を符号化する。
ＭＤＣＴ変換部３４により出力される信号は、逆ＭＤＣＴ変換部３８に入力される。逆ＭＤＣＴ変換部３８は、ＭＤＣＴ演算部３４から出力される信号をＭＤＣＴ変換部３４とは逆の変形離散コサイン変換を行う。
逆ＭＤＣＴ変換部３８からデジタル信号として出力される付加情報が埋め込まれたデジタルオーディオデータは、圧縮処理回路４０により圧縮符号化され、圧縮符号化信号として出力端子３１を介して出力される。
このコーデック３０も、付加情報の復調装置としても用いられるものであって、ＭＤＣＴ変換部３４から出力されるＭＤＣＴ係数からオーディオ信号に埋め込まれた付加情報を復調する付加情報復調部３８を備えている。付加情報復調部３８により復調された付加情報は、出力端子３１を介して装置外部に出力される。
ここで、オーディオ信号にウォーターマークとして埋め込まれる付加情報には、オーディオ信号の転送を禁止する制限情報や、オーディオ信号の他の記録媒体への記録を禁止する制限情報が用いられ、さらには、オーディオ信号に対応する著作物データである。この著作物データとしては、オーディオ信号に対応する楽曲などの著作権を管理するデータであり、著作権者コード、著作権管理番号などが用いられる。
図２４に示すコーデック３０にあっては、シフト・加算部３６と付加情報復調部３８が一体のユニット回路３５として構成されている。シフト・加算部３６と付加情報復調部３５は、一体のユニット回路３５と構成されることにより、外部から不正な目的でアクセスすることを制限している。さらに、ＭＤＣＴ変換部３４、ユニット回路３５、圧縮処理回路４０も一体の回路３３として構成することにより、外部から不正な目的でアクセスされることを制限している。ここで用いる一体の回路３３には、ＡＴＲＡＣ２を実行する回路を用いることができる。このような構成を備えることにより、コーデック３０の秘匿性が向上され、コーデック３０での信号処理に外部か不正にアクセスすることを困難としている。
図２４に示す付加情報の埋め込み機能を備えたコーデック３０を用いて、オーディオ信号に付加情報を埋め込む手順を図２５に示すフローチャートを参照しながら説明する。
ステップＳ１１でオーディオ信号入力端子３０ａからオーディオ信号が入力されると、このオーディオ信号は、Ａ／Ｄ変換器３２に入力され、ステップＳ１２においてデジタル信号に変換される。デジタル信号に変換されたオーディオ信号は、ＭＤＣＴ変換部３４に入力される。ＭＤＣＴ変換部３４に入力されたオーディオ信号は、ステップＳ１３において、ＭＤＣＴ変換してＭＤＣＴ係数が算出する。ＭＤＣＴ変換部３４で算出されたＭＤＣＴ係数は、シフト・加算部３６に入力される。
ステップＳ１４において、シフト・加算部３６に付加情報が入力されたか否か判断される。すなわち、付加情報の入力が「１」を示すとき、シフト・加算部３６は、ステップＳ１５において、ＭＤＣＴ変換部３４から入力されたＭＤＣＴ係数を周波数軸方向に例えば２個分あるいは４個分シフトし、元のＭＤＣＴ係数に加算を行って付加情報をウォーターマークＷＭとして埋め込む。そして、付加情報の入力がないとき、すなわち、付加情報が「０」であるときには、シフト・加算部３６は、上述のシフト・加算を行うことなく元のＭＤＣＴ係数を出力する。このように、シフト・加算部３６は、付加情報が「１」のとき、元のＭＤＣＴ係数に周波数軸方向にシフトしたＭＤＣＴ係数を加算し、付加情報が「０」であるとき、ＭＤＣＴ係数のシフト・加算を行わないことにより、この付加情報埋め込み装置から出力されるオーディオ信号を受信しあるいは供給される機器側において、付加情報の有無を検出することができる。このとき、オーディオ信号を４４．１ｋＨｚの周波数でサンプリングし、１０２４サンプル値を１ブロックとしてＭＤＣＴ変換してＭＤＣＴ係数を得るようにした場合には、１０２４毎に付加情報を１ビットずつ得ることができる。なお、サンプル値は、１０２４に限定されるものではない。
シフト・加算部３６により所定の処理が施されたＭＤＣＴ係数は、ステップＳ１６で圧縮処理回路４０により、例えばＡＴＲＡＣ２の圧縮方式で圧縮処理が施され、ステップ１７において、付加情報が埋め込まれたデジタルのオーディオ信号として出力端子３１から出力される。
上述した図２４に示すコーデック３０を用いて、オーディオ信号にウォーターマークとして埋め込まれた付加情報を復調する場合を説明する。
コーデック３０を復調器として用いる場合には、入力端子３０ａから入力されたアナログのオーディオ信号をＤ／Ａ変換器３２によりデジタル信号に変換する。Ｄ／Ａ変換器３２によりデジタル信号に変換されする。ＭＤＣＴ変換部３４は、Ａ／Ｄ変換器３２から出力されたデジタル信号にＭＤＣＴ変換してＭＤＣＴ係数を出力する。このＭＤＣＴ係数は、付加情報復調部３８から出力されたＭＤＣＴ係数から付加情報を復調し、出力端子３１から出力する。
次に、信号圧縮されたデジタルのオーディオ信号に付加情報をウォーターマークとして埋め込む付加情報埋め込み装置及び信号圧縮されたデジタルのオーディオ信号に埋め込まれた付加情報を復調する復調装置の他の例を図２６を参照して説明する。この装置は、例えば、通信ネットワークを介して配信されるデジタルのオーディオ信号を受信して復調する場合に用いて有用となる。
図２６に示す装置も、付加情報埋め込み装置及び付加情報の復調装置をコーデック５０として一体に構成したものである。このコーデック５０は、入力端子５０ａを介して入力される信号圧縮されたデジタルのオーディオ信号を伸張するとともに、伸張されたオーディオデータをＭＤＣＴ（変形離散コサイン変換）変換する伸張処理部５２と、伸張処理部５２により算出されたＭＤＣＴ係数が入力されるとともに付加情報入力端子５０ｂを介して入力される付加情報が入力されるシフト・加算部５４を備える。このシフト・加算部５４は、伸張処理部５２から供給されるオーディオデータをＭＤＣＴ変換して得られるＭＤＣＴ係数を周波数軸方向にシフトするとともに、付加情報入力端子５０ｂから入力される付加情報に基づいて元のＭＤＣＴ係数の極性変換を行い、ＭＤＣＴ係数と付加情報を符号化する。
シフト・加算部５４より出力される信号は、逆ＭＤＣＴ変換部５８に入力される。逆ＭＤＣＴ変換部５８は、シフト・加算部５４から出力されるデジタルデータを逆の変形離散コサイン変換を行う。
逆ＭＤＣＴ変換部５８から出力される付加情報が埋め込まれたデジタルオーディオデータは、Ａ／Ｄ変換器６０によりアナログのオーディオ信号に変換されて出力端子５１から出力される。
このコーデック５０も、付加情報の復調装置としても用いられるものであって、伸張処理部５２から出力されるＭＤＣＴ係数からオーディオ信号に埋め込まれた付加情報を復調する付加情報復調部５６を備えている。付加情報復調部５６により復調された付加情報は、出力端子６１を介して装置外部に出力される。
ここで、オーディオ信号にウォーターマークとして埋め込まれる付加情報には、オーディオ信号の転送を禁止する制限情報や、オーディオ信号の他の記録媒体への記録を禁止する制限情報が用いられ、さらには、オーディオ信号に対応する著作物データである。この著作物データとしては、オーディオ信号に対応する楽曲などの著作権を管理するデータであり、著作権者コード、著作権管理番号などが用いられる。
図２６に示すコーデック５０にあっては、シフト・加算部５４と付加情報復調部５６が一体のユニット回路５３として構成されている。シフト・加算部５４と付加情報復調部５６は、一体のユニット回路５３と構成されることにより、外部から不正な目的でアクセスすることを制限している。さらに、伸張処理部５２、ユニット回路５３、逆ＭＤＣＴ回路５８も一体の回路５１として構成することにより、外部から不正な目的でアクセスされることを制限している。
ところで、オーディオ信号に付加情報をウォーターマークとして埋め込む場合に、前述した図６を参照して説明したように、図６Ｂに示すアナログのオーディオ信号のエンベロープを、図６Ｃに示すように、直接サイン波で振幅（ＡＭ）変調すると、図６Ａに示すように、元のオーディオ信号の両側にサイドバンド信号ＳＢを形成することができる。このサイドバンド信号ＳＢは、元のオーディオ信号に対しウォーターマークとして機能するので、このサイドバンド信号ＳＢを利用して付加情報を埋め込むことができる。
また、オーディオ信号に付加情報をウォーターマークとして埋め込む場合に、前述した図７を参照して説明したように、図７Ｂに示すアナログのオーディオ信号を、図７Ｃに示すように、所定周波数のサイン波で周波数（ＦＭ）変調すると、図７Ａに示すように、元のオーディオ信号の両側にサイドバンド信号ＳＢを形成することができる。このサイドバンド信号ＳＢは、元のオーディオ信号に対しウォーターマークとして機能するので、このサイドバンド信号ＳＢを利用して付加情報を埋め込むことができる。
そこで、上述したＡＭ変調、ＦＭ変調によるサイドバンド信号ＳＢをヒルベルト変換により生成することができる。
このヒルベルト変換により、オーディオ信号にサイドバンドを生成する例を図２７を参照して説明する。
このヒルベルト変換を用いてオーディオ信号にサイドバンド信号ＳＢを生成するするサイドバンド生成回路１００は、入力端子１０１ａから入力されるデジタルのオーディオ信号であるＰＣＭ信号をヒルベルト変換するヒルベルト変換器１０２と、入力端子１０１ｂから入力される周波数、利得、位相などの制御信号から変調周波数を発生させる変調周波数発生器１０４と、ヒルベルト変換器１０２の実数部出力と、変調周波数発生器１０４の実数部出力を乗算する実数部乗算器１０６と、ヒルベルト変換器１０２の虚数部出力と変調周波数発生器１０４の虚数部出力を乗算する虚数部乗算器１０８と、実数部乗算器１０６からの出力と虚数部乗算器１０８の出力を減算して元のオーディオ信号であるＰＣＭ信号の高い周波数帯域側に上側サイドバンド信号ＳＢを生成する第１の加算器１１０と、実数部乗算器１０６からの出力と虚数部乗算器１０８の出力を加算して元のオーディオ信号であるＰＣＭ信号の低い周波数帯域側に下側サイドバンド信号ＳＢを生成する第２の加算器１１２とを備える。
このように、元のオーディオ信号であるＰＣＭ信号の高い周波数帯域側あるいは低い周波数帯域側に生成されるサイドバンド信号ＳＢを用いて付加情報をウォーターマークとして埋め込むことができる。
このように元のオーディオ信号をＡＭ変調あるいはＦＭ変調し、元のオーディオ信号の両側に生成されるサイドバンド信号ＳＢを用いて付加情報をウォーターマークとして埋め込む変調装置２００の例を図２７に示す。この変調装置２００は、元のオーディオ信号であるＰＣＭ信号が入力端子２０１を介して入力されるＭＤＣＴ変換部２０２と、付加情報が付加される所定周波数のオーディオ信号を抽出するオーディオ信号抽出器２０４と、逆ＭＤＣＴ変換部２０６と、ヒルベルト変換によるウォーターマーク発生器２０８と、タイミング調整遅延器２１０と、信号埋め込み回路２１２とを有する。
ＭＤＣＴ変換部２０２は、ＰＣＭ信号として入力されるオーディオ信号をＭＤＣＴ変換してＭＤＣＴ係数を算出する。オーディオ信号抽出回路２０４は、ＭＤＣＴ係数から付加情報がウォーターマークが埋め込まれる所定周波数のオーディオ信号を抽出する。逆ＭＤＣＴ変換部２０６は、オーディオ信号抽出回路２０４により抽出したＰＣＭ信号について逆ＭＤＣＴ変換を行う。
ヒルベルト変換によるウォーターマーク発生回路２０８は、前述した図２８に示すような構成を備え、付加情報がウォーターマークとして埋め込まれる所定周波数のオーディオ信号の両側にサイドバンド信号ＳＢを生成する。
タイミング調整遅延回路２１０は、入力端子２０１を介して入力されたＰＣＭオーディオ信号を、ＭＤＣＴ変換部２０２、オーディオ信号抽出器２０４、逆ＭＤＣＴ変換部２０６及びヒルベルト変換によるウォーターマーク発生器２０８における演算処理が行われている間に相当する時間遅延して、タイミング調整を行う。
信号埋め込み回路２１２は、タイミング調整遅延回路２１０から出力されたオーディオ信号にこのオーディオ信号のマスキング効果を得ることができる上側又は下側の周波数帯域に生成されるサイドバンド信号ＳＢをウォーターマークとして付加情報として埋め込む。
ヒルベルト変換を用いてオーディオ信号に付加情報をウォーターマークとして埋め込む変調装置２００は、前述した図６Ａ及び図７Ａに示すように、任意の周波数のオーディオ信号の上下の周波数帯域にサイドバンド信号ＳＢを生成することができるので、ヒルベルト変換による周波数シフトによってＡＭ変調やＦＭ変調を行うことができる。また、ヒルベルト変換によって、図７Ａに示すように、任意の周波数のオーディオ信号の上側又は下側の周波数帯域のいずれか一方にのみサイドバンド信号ＳＢを生成することもできるので、任意の周波数で付加情報をウォーターマークとして埋め込むこともできる。
産業上の利用可能性
本発明は、オーディオ信号を直交変換して直交変換係数を算出し、この算出した直交変換係数を減衰して周波数軸方向にシフトして元の直交変換係数に加算することにより付加情報を埋め込むようにしているので、付加情報をウォーターマークとしてオーディオ信号に埋め込むことができ、しかも、オーディオ信号を圧縮したした場合にもウォーターマークとして埋め込んだ付加情報が損傷されることを確実に防止できる。
【図面の簡単な説明】
図１は、オーディオ信号の周波数マスキングを説明するための図である。
図２Ａは、サイン波としてオーディオ信号をＭＤＣＴ変換した結果を示すグラフであり、図２Ｂは、サイン波としてのオーディオ信号を高速フーリエ変換した結果を示す図である。
図３Ａ及び図３Ｂは、ＭＤＣＴ係数を周波数軸方向にシフトする状態を示すグラフであり、図４Ａ及び図４Ｂは、ＭＤＣＴ係数を周波数軸方向にシフトしたときの周波数の変化を示すグラフである。
図５Ａ及び図５Ｂは、オーディオ信号に埋め込まれるウォーターマークの周波数選択処理を示すグラフである。
図６Ａは、オーディオ信号がサイン波によって振幅変調された信号の周波数領域での信号特性を示すグラフであり、図６Ｂは、元のオーディオ信号を示すグラフであり、図６Ｃは、図６Ｂに示すオーディオ信号をサイン波で振幅変調した信号を示すグラフである。
図７Ａは、オーディオ信号がサイン波によって周波数変調された信号の周波数領域での信号特性を示すグラフであり、図７Ｂは、元のオーディオ信号を示すグラフであり、図７Ｃは、図７Ｂに示すオーディオ信号をサイン波で周波数調した信号を示すグラフである。
図８Ａは、元のオーディオ信号の高域の周波数帯域側にウォーターマークが埋め込まれる例を示すグラフであり、図８Ｂは、元のオーディオ信号の低域の周波数帯域側にウォーターマークが埋め込まれる例を示すグラフである。
図９は、ＭＤＣＴ係数の算出方法を図解するグラフである。
図１０Ａ及び図１０Ｂは、ＭＤＣＴ係数の置き換えを示すグラフである。
図１１Ａは、元オーディオ信号のＭＤＣＴ係数を示すグラフであり、図１１Ｂは、元のオーディオ信号のＭＤＣＴ係数に周波数軸方向にシフトされたＭＤＣＴ係数を加算する様子を示すグラフであり、図１１Ｃは、元のオーディオ信号のＭＤＣＴ係数に周波数軸方向にシフトされたＭＤＣＴ係数を加算したとき、元々存在しない極性変化が生じている様子を示すグラフである。
図１２Ａは、ＭＤＣＴ係数のレベルに応じてウォーターマークが埋め込まれるＭＤＣＴ係数を選択する様子を示すグラフであり、図１２Ｂは、図１２Ａにより選択されたＭＤＣＴ係数の周辺にウォーターマークとして付加情報を埋め込む様子を示すグラフである。
図１３Ａは、ウォーターマークの周波数帯域制限の例を示す第１のグラフであり、図１３Ｂは、ウォーターマークの周波数帯域制限の例を示す第２のグラフである。
図１４は、ウォーターマークを複数のレイヤーにして多重の情報を挿入する例を示すグラフである。
図１５Ａは、複数の周波数帯域に分割する周波数帯域分割の第１の例を示すグラフであり、図１５Ｂは、複数の周波数帯域に分割する周波数帯域分割の第２の例を示すグラフである。
図１６は、付加情報をウォーターマークとしてオーディオ信号に重畳することにより変調し、付加情報が重畳されたオーディオ信号を復号するコーデックを示すブロック図である。
図１７は、オーディオ信号に付加情報を重畳する手順を示すフローチャートである。
図１８は、１秒おきにリセットして各区間の偏りを検出することにより、オーディオ信号に埋め込まれたウォーターマークによる付加情報を抽出する処理を示すグラフである。
図１９は、ＭＤＣＴ係数の周波数軸方向のシフト量の相違による曲線の比較から復調する動作を示す第１のグラフであり、図２０は、ＭＤＣＴ係数の周波数軸方向のシフト量の相違による曲線の比較から復調する動作を示す第２のグラフである。
図２１Ａは、周波数帯域の分割の様子を示すグラフであり、図２１Ｂは、図２１Ａで帯域分割したオーディオ信号が各々逆相で変調されたエンベロープを示すグラフであり、図２１Ｃは、エンベロープにより発生したエラーを示すグラフであり、図２１Ｄは、各々逆相で変調された帯域分割オーディオ信号の合成の様子を示すグラフである。
図２２Ａは、周波数分割をしないときのＭＤＣＴ係数相互間の同極性、異極性の数を示すグラフであり、図２２Ｂは、周波数分割をしないときのブロック毎及び合成されたＭＤＣＴ係数相互間の同極性、異極性の数を示すグラフである。
図２３Ａは、周波数分割されたときのＭＤＣＴ係数相互間の同極性、異極性の数を示すグラフであり、図２２Ｂは、周波数分割をしたときのブロック毎及び合成されたＭＤＣＴ係数相互間の同極性、異極性の数を示すグラフである。
図２４は、付加情報をウォーターマークとしてオーディオ信号に重畳することにより変調し、付加情報が重畳されたオーディオ信号を復号するコーデックの他の例を示すブロック図である。
図２５は、図２４に示すコーデックを用いてオーディオ信号に付加情報を重畳する手順を示すフローチャートである。
図２６は、付加情報をウォーターマークとしてオーディオ信号に重畳することにより変調し、付加情報が重畳されたオーディオ信号を復号するコーデックの更に他の例を示すブロック図である。
図２７は、ヒルベルト変換によるウォーターマーク発生回路を示すブロック図である。
図２８は、ヒルベルト変換によるウォーターマーク発生回路を用いて付加情報をウォーターマークとしてオーディオ信号に埋め込むブロック図である。
【図１】
0004470322.tif 000002
【図２Ａ】
0004470322.tif 000003
【図２Ｂ】
0004470322.tif 000004
【図３Ａ】
0004470322.tif 000005
【図３Ｂ】
0004470322.tif 000006
【図４Ａ】
0004470322.tif 000007
【図４Ｂ】
0004470322.tif 000008
【図５Ａ】
0004470322.tif 000009
【図５Ｂ】
0004470322.tif 000010
【図６Ａ】
0004470322.tif 000011
【図６Ｂ】
0004470322.tif 000012
【図６Ｃ】
0004470322.tif 000013
【図７Ａ】
0004470322.tif 000014
【図７Ｂ】
0004470322.tif 000015
【図７Ｃ】
0004470322.tif 000016
【図８Ａ】
0004470322.tif 000017
【図８Ｂ】
0004470322.tif 000018
【図９】
0004470322.tif 000019
【図１０Ａ】
0004470322.tif 000020
【図１０Ｂ】
0004470322.tif 000021
【図１１Ａ】
0004470322.tif 000022
【図１１Ｂ】
0004470322.tif 000023
【図１１Ｃ】
0004470322.tif 000024
【図１２Ａ】
0004470322.tif 000025
【図１２Ｂ】
0004470322.tif 000026
【図１３Ａ】
0004470322.tif 000027
【図１３Ｂ】
0004470322.tif 000028
【図１４】
0004470322.tif 000029
【図１５Ａ】
0004470322.tif 000030
【図１５Ｂ】
0004470322.tif 000031
【図１６】
0004470322.tif 000032
【図１７】
0004470322.tif 000033
【図１８】
0004470322.tif 000034
【図１９】
0004470322.tif 000035
【図２０】
0004470322.tif 000036
【図２１Ａ】
0004470322.tif 000037
【図２１Ｂ】
0004470322.tif 000038
【図２１Ｃ】
0004470322.tif 000039
【図２１Ｄ】
0004470322.tif 000040
【図２２Ａ】
0004470322.tif 000041
【図２２Ｂ】
0004470322.tif 000042
【図２３Ａ】
0004470322.tif 000043
【図２３Ｂ】
0004470322.tif 000044
【図２４】
0004470322.tif 000045
【図２５】
0004470322.tif 000046
【図２６】
0004470322.tif 000047
【図２７】
0004470322.tif 000048
【図２８】
0004470322.tif 000049