(57)【要約】【課題】簡単な処理で、コンテンツの劣化がなく、耐性に優れたオーディオデータの透かし情報の埋め込みを実現する。【解決手段】オーディオデータ（原信号）を所定の長さのセグメントに分割する（Ｓ１）。分割された各セグメントの少なくとも一部のサンプルデータに対してＤＦＴを施す（Ｓ２）。求められた周波数スペクトル（振幅スペクトル）から区間（ａ，ｂ）内のピークの周波数ｋ０を選出する（Ｓ３）。周波数ｋ０に対してオクターブ隔てた周波数（ｋ０／２又は２・ｋ０）の振幅成分を透かしビットｍ（ｉ）の値に応じて周波数スペクトル（振幅スペクトル）から消去することにより周波数スペクトルに透かしビットを埋め込む（Ｓ４）。この透かしビットが埋め込まれた周波数スペクトルに対してＩＤＦＴを施し（Ｓ５）、最後にセグメント結合して透かしビットが埋め込まれたオーディオデータを生成する（Ｓ６）。【選択図】  図１
2005049409.tif 000002
【特許請求の範囲】
【請求項１】
オーディオデータを所定の長さのセグメントに分割するステップと、
このステップで分割された各セグメントの少なくとも一部のサンプルデータに対して直交変換を施して周波数スペクトルを求めるステップと、
このステップで求められた周波数スペクトルから特徴的な周波数成分を選出するステップと、
このステップで求められた周波数スペクトルの特徴的な周波数成分に対してオクターブ隔てた周波数成分を透かしビットの値に応じて前記周波数スペクトルから消去することにより前記周波数スペクトルに前記透かしビットを埋め込むステップと、
このステップで前記透かしビットが埋め込まれた周波数スペクトルに対して直交逆変換を施して前記透かしビットが埋め込まれたサンプルデータを生成するステップと、
このステップで生成されたサンプルデータをセグメントの状態で結合して前記透かしビットが埋め込まれたオーディオデータを生成するステップと
を備えたことを特徴とするオーディオデータの透かし情報埋め込み方法。
【請求項２】
前記周波数スペクトルから特徴的な周波数成分を選出するステップは、前記周波数スペクトルの特定の周波数範囲から前記特徴的な周波数成分を選出するステップであることを特徴とする請求項１記載のオーディオデータの透かし情報埋め込み方法。
【請求項３】
前記周波数スペクトルに透かしビットを埋め込むステップは、前記特徴的な周波数成分に対応する周波数のＮ倍（Ｎは２以上の整数）の周波数における周波数成分と１／Ｎ倍の周波数における周波数成分のいずれか一方を前記透かしビットの値に応じて消去するステップであることを特徴とする請求項１記載のオーディオデータの透かし情報埋め込み方法。
【請求項４】
請求項１記載の透かし情報埋め込み方法により透かしビットが埋め込まれたオーディオデータを所定の長さのセグメントに分割するステップと、
このステップで分割された各セグメントの少なくとも一部のサンプルデータに対して直交変換を施して周波数スペクトルを求めるステップと、
このステップで求められた周波数スペクトルから特徴的な周波数成分を選出するステップと、
このステップで求められた周波数スペクトルの特徴的な周波数成分に対応する周波数のＮ倍と１／Ｎ倍の周波数における周波数成分を評価して透かしビットを抽出するステップと
を備えたことを特徴とするオーディオデータの透かし情報検出方法。
【請求項５】
オーディオデータを所定の長さのセグメントに分割するステップと、
このステップで分割された各セグメントの少なくとも一部のサンプルデータに対して直交変換を施して周波数スペクトルを求めるステップと、
このステップで求められた周波数スペクトルから特徴的な周波数成分を選出するステップと、
このステップで求められた周波数スペクトルの特徴的な周波数成分に対してオクターブ隔てた周波数成分を透かしビットの値に応じて前記周波数スペクトルから消去することにより前記周波数スペクトルに前記透かしビットを埋め込むステップと、
このステップで前記透かしビットが埋め込まれた周波数スペクトルに対して直交逆変換を施して前記透かしビットが埋め込まれたサンプルデータを生成するステップと、
このステップで生成されたサンプルデータをセグメントの状態で結合して前記透かしビットが埋め込まれたオーディオデータを生成するステップと
をコンピュータに実行させることを特徴とするオーディオデータの透かし情報埋め込みプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、オーディオデータに対して著作権情報等の透かし情報を埋め込むオーディオデータの透かし情報埋め込み方法、埋め込みプログラム及び検出方法に関する。
【０００２】
【従来の技術】
ディジタル・オーディオデータのようなディジタル・コンテンツの違法コピーを防止するため、従来より、ディジタル・コンテンツに、著作者情報、購入者情報、コンテンツ情報等を含む透かし情報を埋め込み、違法コピーの流出経路の追跡を可能にすることがなされている。この種の目的で用いられる透かし情報は、▲１▼コンテンツに直接埋め込まれること、▲２▼埋め込み後もコンテンツを劣化させないこと（音質）、▲３▼編集、加工、圧縮処理後も残ること（耐性）が必要とされている。
【０００３】
オーディオデータへの透かし情報の埋め込み方式としては、良く知られた方式としては、スペクトル拡散法、位相操作法等が挙げられる。スペクトル拡散法は、ディジタル・コンテンツをＰＮ（Ｐｓｅｕｄｏ−ｒａｎｄｏｍ  Ｎｏｉｓｅ）系列と呼ばれる雑音信号を用いて変調する方式である。この方式では、振幅スペクトル全体に透かし信号を拡散して埋め込むが、透かし信号は本来ノイズ成分であるから音質が劣化する。また、位相スペクトルに透かし情報を埋め込む位相スペクトル法も、残響音（エコー）が発生するという問題がある。更に、これらの方式では、フィルタ処理に弱いという問題もある。
【０００４】
一方、大きな振幅の前後の周波数成分が人間の耳に検知し難いという、いわゆる聴覚マスキング効果を利用して透かし情報を埋め込もうとする試みもなされている（特許文献１）。この方式では、オーディオ信号をフレームに分割し、各フレームでの周波数変換で得られた周波数スペクトルの分布から、各周波数の差異が検知できない変更範囲を決定し、付加情報埋め込み用のマスクを生成する。そして、このマスクを用いて付加情報（透かし情報）を埋め込み、時系列データに逆変換する。
【０００５】
また、オーディオ信号の可聴周波数帯域を分析し、可聴限界を聴覚心理パラメータとして算出し、この聴覚心理パラメータに基づいて、オーディオ信号中の人間の耳には聞こえない音の周波数帯域に透かし情報を挿入する方式も知られている（特許文献２）。透かし情報が挿入されたオーディオ信号は、聴覚心理パラメータに基づいて復号され、オーディオ信号と透かし情報とを抽出する。ここで、可聴限界の音としては、人間の可聴周波数帯域を超えた低周波数帯域や高周波数帯域の音の他、前述したようなマスキング効果による聞き取りにくい音などが例示されている。
【０００６】
【特許文献１】
特開２０００−１７２２８２、第７〜９頁、段落００１８〜００２３
【特許文献２】
特開２００１−９４４３４、第３頁、段落００１３
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来の透かし情報埋め込み方式のうち、前者は、周波数分布に基づいて人間の可聴帯域特性から各周波数成分毎に最大の変更範囲を決定したり、マスクをフレーム毎に作成する必要があり、処理が複雑でリアルタイムでの処理が難しく、また、マスクが適切で無いとフレーム間での連続性が崩れてコンテンツが劣化し易いという問題がある。また、後者の場合、符号化過程において、聴覚特性上知覚しにくい周波数帯域を決定し、その周波数帯域のデータを別の情報に置き換えて符号化し、これを復号する際には、別の情報を先に抽出してからオーディオ信号を復号するので、コンテンツの劣化は少ないものの、フィルタリング等の攻撃に対する耐性が無いと言う問題がある。
【０００８】
この発明は、このような問題点に鑑みなされたもので、極めて簡単な処理で、コンテンツの劣化がなく、しかも耐性に優れたオーディオデータの透かし情報埋め込み方法、埋め込みプログラム及び検出方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係るオーディオデータの透かし情報埋め込み方法は、オーディオデータを所定の長さのセグメントに分割するステップと、このステップで分割された各セグメントの少なくとも一部のサンプルデータに対して直交変換を施して周波数スペクトルを求めるステップと、このステップで求められた周波数スペクトルから特徴的な周波数成分を選出するステップと、このステップで求められた周波数スペクトルの特徴的な周波数成分に対してオクターブ隔てた周波数成分を透かしビットの値に応じて前記周波数スペクトルから消去することにより前記周波数スペクトルに前記透かしビットを埋め込むステップと、このステップで前記透かしビットが埋め込まれた周波数スペクトルに対して直交逆変換を施して前記透かしビットが埋め込まれたサンプルデータを生成するステップと、このステップで生成されたサンプルデータをセグメントの状態で結合して前記透かしビットが埋め込まれたオーディオデータを生成するステップとを備えたことを特徴とする。
【００１０】
また、この発明に係るオーディオデータの透かし情報埋め込みプログラムは、上述した各ステップをコンピュータに実行させるものであることを特徴とする。
【００１１】
また、この発明に係るオーディオデータの透かし情報検出方法は、上述した透かし情報埋め込み方法により透かしビットが埋め込まれたオーディオデータを所定の長さのセグメントに分割するステップと、このステップで分割された各セグメントの少なくとも一部のサンプルデータに対して直交変換を施して周波数スペクトルを求めるステップと、このステップで求められた周波数スペクトルから特徴的な周波数成分を選出するステップと、このステップで求められた周波数スペクトルの特徴的な周波数成分に対してオクターブ隔てた周波数成分を評価して透かしビットを抽出するステップとを備えたことを特徴とする。
【００１２】
即ち、一般に人間の聴覚構造は、周波数が高くなるに従い、主観的な音も同様に高くなる音色的な高さに加え、周波数が２：１の関係にある音（オクターブ）が聴覚上同類のものとして知覚される、調性的な高さ（ｔｏｎｅ  ｃｈｒｏｍａ）を判別する構造を持つ。従来法による透かし情報を特定の周波数成分に埋め込む方式や、スペクトル拡散を用いた方式では、信号内の特徴とは無関係に透かし情報を埋め込むため、埋め込み強度に比例して、音質が低下する。
【００１３】
本発明によれば、オーディオデータを所定の長さでセグメントに分割して得られた各セグメントの少なくとも一部のサンプルデータの周波数スペクトルから特徴的な周波数成分を選出し、この特徴的な周波数成分に対してオクターブ隔てた周波数成分を透かしビットの値に応じて前記周波数スペクトルから消去することにより透かしビットを埋め込むようにしている。このため、透かしビットとして周波数スペクトルから消去された周波数成分は、基準音によって覆われることにより、埋め込み後の音質劣化の低下が極めて少なく、しかも特定の周波数成分を消去することにより透かしビットが埋め込まれるため、フィルタ等の攻撃に対しても高い耐性が得られるという効果がある。
【００１４】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
図１は、本発明の一実施形態に係るオーディオデータの透かし情報埋め込み処理のフローチャート、図２は、同処理を説明するための図である。この処理は、図示のフローチャートの各ステップを実行するプログラムをコンピュータで実行することにより実現される。
【００１５】
まず、透かし情報が埋め込まれる前のオーディオデータ（原信号）をセグメント分割する（Ｓ１）。即ち、図２（ａ）に示すように、対象となる原信号ｘ（ｎ）をＬサンプル毎にセグメントに分けたものをｘｉ（ｎ）とする。次に、各セグメントｘｉ（ｎ），ｘｉ＋１（ｎ），…の例えば先頭のＬ´（但し、Ｌ≧Ｌ´）サンプルのデータｘｉ（ｎ´）（図２（ｂ）参照）に対し、ＤＦＴ（離散フーリエ変換）を施す（Ｓ２）。これにより周波数スペクトルの振幅成分（振幅スペクトル）が図２（ｃ）のＸｉ（ｋ）のように得られる。なお、周波数スペクトルは、振幅スペクトルＸｉ（ｋ）と位相スペクトルθｉ（ｋ）を用いて、Ｘｉ（ｋ）ｅｘｐ［ｊθｉ（ｋ）｝と表わされる。ここにｊは虚数である。この振幅スペクトルＸｉ（ｋ）の特定の周波数区間（ａ≦ｋ≦ｂ）で特徴的な周波数成分、例えば図２（ｃ）で示す最大値Ｘｉ（ｋ０）に対応する周波数ｋ０を選出する（Ｓ３）。次に、透かしビットの値ｍ（ｉ）に応じてｋ０／２又は２・ｋ０の周波数成分を範囲ｒにわたり消去する（Ｓ４）。例えば、図２（ｄ）に示すように、
【００１６】
▲１▼ｍ（ｉ）＝０のとき、
ｋ０／２−ｒ／２≦ｋ≦ｋ０／２＋ｒ／２
の範囲のＸｉ（ｋ）＝０とし、
▲２▼ｍ（ｉ）＝１のとき、
２・ｋ０−ｒ／２≦ｋ≦２・ｋ０＋ｒ／２
の範囲のＸｉ（ｋ）＝０とする。
【００１７】
このようにして透かしビットが埋め込まれた新たな振幅スペクトルＸｉ´（ｋ）に元の位相スペクトルを合わせて新たな周波数スペクトルとし、これに対して、図２（ｅ）に示すように、ＩＤＦＴ（逆離散フーリエ変換）を施し、Ｌ´サンプルのデータｘｉ´（ｎ´）を求める（Ｓ５）。以上のステップＳ２〜Ｓ５をセグメント毎に繰り返し実行する。そして、最後に、図２（ｆ）に示すように、得られたデータｘｉ´（ｎ´），ｘｉ＋１´（ｎ´），…を元の位置に組み込んだＬサンプルのセグメントｘｉ´（ｎ），ｘｉ＋１´（ｎ），…を結合して透かし情報が埋め込まれたオーディオデータｘ´（ｎ）（透かし入り信号）が求められる。
【００１８】
なお、以上の処理において、セグメントサイズＬ、ＤＦＴサイズＬ´、特徴的周波数の選出範囲（ａ，ｂ）及びｋ０／２又は２・ｋ０の周波数成分を消去する範囲ｒは、鍵情報とすることができる。そして、透かし情報を検出する際には、この鍵情報に基づいて、例えば図３に示すような透かし情報検出処理を実行する。鍵情報は、どれか１つでも欠ければ、透かし情報を検出することができないものとなっている。
まず、透かし情報セグメントサイズＬ毎に分割し（Ｓ１１）、先頭のＬ´サンプルのデータに対してＤＦＴを行う（Ｓ１２）。次に、周波数区間（ａ≦ｋ≦ｂ）で振幅スペクトルが最大値を示す周波数ｋ０を選出する（Ｓ１３）。そして、Ｘｉ（２・ｋ０）とＸｉ（ｋ０／２）とを比較して、前者が後者に比べて大きい場合には、透かしビットの値ｍ（ｉ）＝０、前者が後者に比べて小さい場合には、透かしビットの値ｍ（ｉ）＝１と決定する（Ｓ１４）。これにより、極めて簡単に透かし情報の抽出が可能になる。
【００１９】
このように、本実施形態による透かし情報埋め込み方法及び検出方法は、音信号の振幅スペクトルの特定の周波数成分を範囲ｒに亘って除去する方式であるため、フィルタリング等の外乱に対し強い。また、除去する周波数も、特徴的な周波数成分に対してオクターブの関係にあるため、除去された成分は、基準音に覆われて劣化が殆ど目立たない。
【００２０】
図４は、本発明の他の実施形態に係る透かし情報埋め込み方法を説明するためのフローチャートである。
セグメント分割（Ｓ１）、ＤＦＴ（Ｓ２）及び特徴的な周波数ｋ０の選出（Ｓ３）までの処理と、最後のセグメント結合（Ｓ６）は、先の実施形態と同様であるため説明は割愛する。
この実施形態では、振幅スペクトルＸｉ（ｋ）の特定の周波数区間（ａ≦ｋ≦ｂ）で特徴的な周波数ｋ０を選出したのち、次の▲１▼▲２▼の処理を並列的に実行する。
▲１▼ｋ０／２の周波数成分を範囲ｒにわたり消去した振幅スペクトルを作成するステップ（Ｓ２１）及びそれに対応する周波数スペクトルをＩＤＦＴするステップ（Ｓ２２）、
▲２▼２・ｋ０の周波数成分を範囲ｒにわたり消去した振幅スペクトルを作成するステップ（Ｓ２３）及びそれをＩＤＦＴするステップ（Ｓ２４）。
そして、透かしビットｍ（ｉ）＝０のときには、▲１▼のステップＳ２２でＩＤＦＴされたＬ´サンプルのデータｘｉ´（ｎ´）を選択し、透かしビットｍ（ｉ）＝１のときには、▲２▼のステップＳ２４でＩＤＦＴされたＬ´サンプルのデータｘｉ´（ｎ´）を選択する（Ｓ２５）。これにより、選択されたサンプルのデータを用いてセグメント結合を行い（Ｓ６）、透かし入り信号を生成する。
【００２１】
この実施形態によれば、セグメント毎に特徴的な周波数と１／２倍及び２倍の関係（オクターブの関係）にある周波数成分を除去してＩＤＦＴ処理を施した情報を予め準備しておき、透かしビットが与えられたときに、いずれか一方を選択するようにしているので、透かしビットが決定された後に、周波数成分を操作する方式に比べて高速処理が可能になるという利点がある。
【００２２】
なお、以上の実施形態では、直交変換処理としてＤＦＴ、直交逆変換としてＩＤＦＴを例示したが、離散コサイン変換等、他の直交変換方式を用いても良いことは言うまでも無い。
また、周波数ｋ０に加えて、振幅スペクトルの区間（ａ，ｂ）における第２ピーク、第３ピークの周波数ｋ１，ｋ２を求め、これら周波数ｋ１，ｋ２を基準にしてオクターブの関係にある周波数成分を同様に操作することで、攻撃に対する耐性を更に向上させることができる。
【００２３】
【発明の効果】
以上述べたように、この発明によれば、オーディオデータを所定の長さでセグメントに分割して得られた各セグメントの少なくとも一部のサンプルデータの周波数スペクトルから特徴的な周波数成分を選出し、この特徴的な周波数成分に対してオクターブ隔てた周波数成分を透かしビットの値に応じて前記周波数スペクトルから消去することにより透かしビットを埋め込むようにしているので、透かしビットとして周波数スペクトルから消去された周波数成分は、基準音によって覆われることにより、埋め込み後の音質劣化の低下が極めて少なく、しかも特定の周波数成分を消去することにより透かしビットが埋め込まれるため、フィルタ等の攻撃に対しても高い耐性が得られるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る透かし情報埋め込み処理のフローチャートである。
【図２】同処理の各ステップにおけるデータを模式的に示す図である。
【図３】本発明の一実施形態に係る透かし情報検出処理を示すフローチャートである。
【図４】本発明の他の実施形態に係る透かし情報埋め込み処理のフローチャートである。
【図１】
2005049409.tif 000003
【図２】
2005049409.tif 000004
【図３】
2005049409.tif 000005
【図４】
2005049409.tif 000006