(57)【特許請求の範囲】
【請求項１】
２チャンネルステレオデジタル音響信号に特定情報データを埋め込んで送出する音響信号伝送装置であって、
入力された第１チャンネルのデジタル音響信号に特定情報データを埋め込む埋め込み手段と、
入力された第２チャンネルのデジタル音響信号と、前記埋め込み手段から出力されたデジタル音響信号とを合成して、新たな第２チャンネルのデジタル音響信号を形成する合成手段と、
前記入力された第１チャンネルのデジタル音響信号と、前記新たな第２チャンネルのデジタル音響信号とを２チャンネルステレオデジタル音響信号として送出する出力手段と
を具備したことを特徴とする音響信号伝送装置。
【請求項２】
請求項１に記載の音響信号伝送装置において、
前記埋め込み手段は、
前記特定情報データと所定の鍵データに基づいてインパルス応答関数を作成するインパルス応答作成手段と、
前記入力された第１チャンネルのデジタル音響信号と、前記インパルス応答関数とを畳み込み演算することにより、前記特定情報データを埋め込んだデジタル音響信号を作成する畳み込み演算手段とを有する
ことを特徴とする音響信号伝送装置。
【請求項３】
２チャンネルステレオデジタル音響信号に特定情報データを埋め込んで送出するに際して、
入力された第１チャンネルのデジタル音響信号に特定情報データを埋め込む第１ステップと、
入力された第２チャンネルのデジタル音響信号と、前記第１ステップにより得られたデジタル音響信号とを合成して、新たな第２チャンネルのデジタル音響信号を形成する第２ステップと、
前記入力された第１チャンネルのデジタル音響信号と、前記新たな第２チャンネルのデジタル音響信号とを２チャンネルステレオデジタル音響信号として送出する第３ステップと
を有することを特徴とする音響信号伝送方法。
【請求項４】
請求項３に記載の音響信号伝送方法において、
前記入力された第１チャンネルのデジタル音響信号に特定情報データを埋め込む第１ステップは、
前記特定情報データと所定の鍵データに基づいてインパルス応答関数を作成するインパルス応答作成ステップと、
前記入力された第１チャンネルのデジタル音響信号と、前記インパルス応答関数とを畳み込み演算することにより、前記特定情報データを埋め込んだデジタル音響信号を作成する畳み込み演算ステップとを有する
ことを特徴とする音響信号伝送方法。
【請求項５】
第１チャンネルデジタル音響信号と、特定情報データが埋め込まれた第２チャンネルデジタル音響信号とを入力して該特定情報データを抽出するデータ抽出装置であって、
前記第１チャンネルデジタル音響信号と前記特定情報データが埋め込まれた第２チャンネルデジタル音響信号との同期をとりながら、該第１チャンネルデジタル音響信号と該第２チャンネルデジタル音響信号とを各別に予め定められた一定時間長からなるデータ列に順次分割する分離手段と、
前記第１チャンネルデジタル音響信号および該第１チャンネルデジタル音響信号に対応する前記特定情報データが埋め込まれた第２チャンネルデジタル音響信号を対象に、クロススペクトル法を用いて前記特定情報データに対応するインパルス応答関数を抽出して、特定情報データ埋め込み時の前記特定情報データと該インパルス応答関数の対応情報に基づき前記抽出したインパルス応答関数を前記特定情報データに逆変換する抽出手段と
を具備したことを特徴とするデータ抽出装置。
【請求項６】
第１チャンネルデジタル音響信号と、特定情報データが埋め込まれた第２チャンネルデジタル音響信号とを入力して該特定情報データを抽出するに際して、
前記第１チャンネルデジタル音響信号と前記特定情報データが埋め込まれた第２チャンネルデジタル音響信号との同期をとりながら、該第１チャンネルデジタル音響信号と該第２チャンネルデジタル音響信号とを各別に予め定められた一定時間長からなるデータ列に順次分割する第１ステップと、
前記第１チャンネルデジタル音響信号および該第１チャンネルディジタル音響信号に対応する前記特定情報データが埋め込まれた第２チャンネルデジタル音響信号を対象に、クロススペクトル法を用いて前記特定情報データに対応するインパルス応答関数を抽出して、特定情報データ埋め込み時の前記特定情報データと該インパルス応答関数の対応情報に基づき前記抽出したインパルス応答関数を前記特定情報データに逆変換する第２ステップと
を有することを特徴とするデータ抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音響信号伝送装置および音響信号伝送方法、ならびに、音響信号の埋め込みデータを抽出するデータ抽出装置およびデータ抽出方法に関するものである。
【０００２】
さらに詳述すると本発明は、２チャンネルステレオデジタル音響信号に特定情報データを埋め込んで送出する音響信号伝送装置および音響信号伝送方法に関するものである。さらに、その他の本発明は、第１チャンネルデジタル音響信号と、特定情報データが埋め込まれた第２チャンネルデジタル音響信号とを入力して該特定情報データを抽出するデータ抽出装置およびデータ抽出方法に関するものである。
【０００３】
【従来の技術】
デジタル音響信号に対して所定の情報を埋め込んで送信する従来技術としては、以下に列挙する技術が知られている。
【０００４】
▲１▼デジタル音響データの下位ビットに所定の情報を埋め込む方法(特開平９−２１４６３６号公報参照)。
【０００５】
▲２▼音響信号を周波数変換した後に、位相成分に所定の情報を埋め込む方法(日経エレクトロニクス1997年Ｎｏ．６８４，“電子透かしを支えるデータハイディング技術”参照)。
【０００６】
▲３▼所定の情報をスペクトラム拡散させて周波数変換した音響信号に埋め込む方法(日経エレクトロニクス1997年Ｎｏ．６８４，“電子透かしを支えるデータハイディング技術”参照)。
【０００７】
▲４▼インパルス応答の時間遅れパラメータを変えてエコーとして所定の情報を埋め込む方法(日経エレクトロニクス1997年Ｎｏ．６８４，“電子透かしを支えるデータハイディング技術”参照)。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した▲１▼項〜▲４▼項に記載の従来技術は、以下の問題点を有していた。
【０００９】
▲１▼項の従来技術は、情報が埋め込まれている位置を特定し易いため、改ざん等の操作に対する耐性が弱く、さらに伝送路の雑音の影響を受けやすいという欠点を持っている。
【００１０】
▲２▼項の従来技術は、位相を変化させることによって生ずる歪み量がもとの音響信号の位相に依存していることから、所定の情報を聴感上分からないように埋め込むことが難しいという問題を含んでいる。
【００１１】
▲３▼項の従来技術は、受信側で埋め込み情報を抽出するに際して、所定の情報に対応したデータが埋め込まれている位置を特定し、その基準となるタイミングを合わせることが難しく、これが可能な場合でも装置が大規模のものになってしまうという欠点を有している。
【００１２】
▲４▼項の従来技術は、１フレーム(一連のデータ埋め込み処理を行うために分割された原信号の一部分であって、通常数秒〜数十秒程度の長さ)の中に1ビットしか埋め込むことができないため、埋め込むデータ量を多くできないという欠点を持っている。
【００１３】
よって本発明の目的は、上述の点に鑑み、聴感上の違和感を招来することなく、多量の情報を容易かつ安全に埋め込むことができるようにした音響信号伝送装置および音響信号伝送方法、ならびに、音響信号の埋め込みデータを抽出するデータ抽出装置およびデータ抽出方法を提供することにある。
【００１４】
より具体的には、本発明の目的は、以下に列挙する課題を全て同時に解決することにある。
（１）伝送による雑音の混入、操作に対する耐性に優れていること。
（２）データを埋め込んだ音響信号と原音響信号との間に聴感上の差が生じにくいこと。
（３）比較的簡単な処理により、特定情報の埋め込み、および、その情報の抽出ができること。
（４）埋め込めるデータ量が多いこと。
（５）埋め込んだデータの抽出時に、原音声を必要としないこと。
【００１５】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係る本発明は、２チャンネルステレオデジタル音響信号に特定情報データを埋め込んで送出する音響信号伝送装置であって、入力された第１チャンネルのデジタル音響信号に特定情報データを埋め込む埋め込み手段と、入力された第２チャンネルのデジタル音響信号と前記埋め込み手段から出力されたデジタル音響信号とを合成して新たな第２チャンネルのデジタル音響信号を形成する合成手段と、前記入力された第１チャンネルのデジタル音響信号と、前記新たな第２チャンネルのデジタル音響信号とを２チャンネルステレオデジタル音響信号として送出する出力手段とを具備したものである。
【００１６】
請求項２に係る本発明は、請求項１に係る音響信号伝送装置において、前記埋め込み手段は、前記特定情報データと所定の鍵データに基づいてインパルス応答関数を作成するインパルス応答作成手段と、前記入力された第１チャンネルのデジタル音響信号と前記インパルス応答関数とを畳み込み演算することにより前記特定情報データを埋め込んだデジタル音響信号を作成する畳み込み演算手段とを有する。
【００１７】
請求項３に係る本発明は、２チャンネルステレオデジタル音響信号に特定情報データを埋め込んで送出するに際して、入力された第１チャンネルのデジタル音響信号に特定情報データを埋め込む第１ステップと、入力された第２チャンネルのデジタル音響信号と前記第１ステップにより得られたデジタル音響信号とを合成して新たな第２チャンネルのデジタル音響信号を形成する第２ステップと、前記入力された第１チャンネルのデジタル音響信号と前記新たな第２チャンネルのデジタル音響信号とを２チャンネルステレオデジタル音響信号として送出する第３ステップとを有する音響信号伝送方法である。
【００１８】
請求項４に係る本発明は、請求項３に係る音響信号伝送方法において、前記入力された第１チャンネルのデジタル音響信号に特定情報データを埋め込む第１ステップは、前記特定情報データと所定の鍵データに基づいてインパルス応答関数を作成するインパルス応答作成ステップと、前記入力された第１チャンネルのデジタル音響信号と前記インパルス応答関数とを畳み込み演算することにより前記特定情報データを埋め込んだデジタル音響信号を作成する畳み込み演算ステップとを有する。
【００１９】
請求項５に係る本発明は、第１チャンネルデジタル音響信号と特定情報データが埋め込まれた第２チャンネルデジタル音響信号とを入力して該特定情報データを抽出するデータ抽出装置であって、前記第１チャンネルデジタル音響信号と前記特定情報データが埋め込まれた第２チャンネルデジタル音響信号との同期をとりながら該第１チャンネルデジタル音響信号と該第２チャンネルデジタル音響信号とを各別に予め定められた一定時間長からなるデータ列に順次分割する分離手段と、前記第１チャンネルデジタル音響信号および該第１チャンネルデジタル音響信号に対応する前記特定情報データが埋め込まれた第２チャンネルデジタル音響信号を対象に、クロススペクトル法を用いて前記特定情報データに対応するインパルス応答関数を抽出して、特定情報データ埋め込み時の前記特定情報データと該インパルス応答関数の対応情報に基づき前記抽出したインパルス応答関数を前記特定情報データに逆変換する抽出手段とを具備したものである。
【００２０】
請求項６に係る本発明は、第１チャンネルデジタル音響信号と特定情報データが埋め込まれた第２チャンネルデジタル音響信号とを入力して該特定情報データを抽出するに際して、前記第１チャンネルデジタル音響信号と前記特定情報データが埋め込まれた第２チャンネルデジタル音響信号との同期をとりながら、該第１チャンネルデジタル音響信号と該第２チャンネルデジタル音響信号とを各別に予め定められた一定時間長からなるデータ列に順次分割する第１ステップと、前記第１チャンネルデジタル音響信号および該第１チャンネルディジタル音響信号に対応する前記特定情報データが埋め込まれた第２チャンネルデジタル音響信号を対象に、クロススペクトル法を用いて前記特定情報データに対応するインパルス応答関数を抽出して、特定情報データ埋め込み時の前記特定情報データと該インパルス応答関数の対応情報に基づき前記抽出したインパルス応答関数を前記特定情報データに逆変換する第２ステップとを有するデータ抽出方法である。
【００２１】
【発明の実施の形態】
実施の形態の概要
本実施の形態は、音響信号の識別・コピー保護に必要な情報(以下、「埋め込みデータ」という)を、「埋め込みデータ」に応じて生成したインパルス応答関数と音響信号との畳み込み処理により音響信号の中に埋め込み、聴感上の変化を生じにくいようにしたものである。「埋め込みデータ」は、そのデータを埋め込んだ音響信号から後述するクロススペクトル法を用いることによって抽出でき、電子透かしやデータベースのインデクス情報として使用できる。
【００２２】
換言すると本実施の形態は、デジタル音響信号に対して、音響信号の識別・コピー保護に必要な情報を埋め込む技術および埋め込み済みの音響信号から「埋め込みデータ」を高い精度で抽出する具体的技術を開示している。
【００２３】
実施の形態の詳細な説明
以下、図面を参照しながら、本実施の形態を詳細に説明する。
【００２４】
図１は、本発明を適用した「埋め込みデータ」送信系のブロック構成を示す。本図において、４は「埋め込みデータ」入力部、６は鍵情報入力部、８はインパルス応答作成部、１０は畳み込み演算部、１２は合成部、１６は「埋め込みデータ」の埋め込み処理を記憶プログラムに従って制御する制御部である。
【００２５】
図２は、図１に示した各ブロックによって実行される「埋め込みデータ」埋め込み処理手順を示したフローチャートである。
【００２６】
これら図１および図２を参照して、埋め込み側の処理を説明する。
【００２７】
（ステップＳ１における処理）
（ａ）Ｌ，Ｒチャンネルデジタル音響信号を埋め込み側フレーム分割部（図示せず）で一定時間長(例えば、後述するように抽出時に十分なパルス列の推定が可能となるよう設定しておく)のフレームに順次に分割する。
（ｂ）「埋め込みデータ」および鍵情報をインパルス応答作成部８に入力し、インパルス応答関数を作成する。このインパルス応答関数は、先頭フレームを基準とする遅れ時間がそれぞれ予め定められたシード番号の一様乱数系列であって、予め定められた振幅を持つ「埋め込みデータ」に対応したパルスから構成される。このシード番号は鍵情報として、抽出時に使用するために保管しておく。
（ｃ）「埋め込みデータ」を符号化して作成したインパルス応答関数と、上記（ａ）で分割したフレーム毎のＬチャンネル音響信号とを対象に、畳み込み演算部１０で畳み込み演算を行い、データを埋め込んだ音響信号を作成する。
（ｄ）フレーム毎に（ａ）〜（ｃ）の処理を行う。
【００２８】
（ステップＳ２における処理）
フレームごとに作成した埋め込み音響信号を、合成部１２で時間軸方向に順次に合成し、データを埋め込んだ音響信号を作成する。
【００２９】
なお、「埋め込みデータ」を埋め込む処理は、「埋め込みデータ」を抽出する確率を向上するため、および、音響信号の一部のみの不正使用に対する電子透かしの耐性を向上するためにも繰り返し行うことが望ましい。
【００３０】
（ステップＳ３における処理）
Ｌチャンネル音響信号はそのままＬチャンネル音響信号として、「埋め込みデータ」を埋め込んだ音響信号はＲチャンネル音響信号として送信する。
【００３１】
図３は、「埋め込みデータ」抽出系のブロック構成を示す。本図において、２０は同期部、２２および２４はフレーム分割部、２６は抽出部、２８は「埋め込みデータ」の抽出処理を記憶プログラムに従って制御する制御部である。
【００３２】
図４は、図３に示した各ブロックによって実行される「埋め込みデータ」抽出処理手順を示したフローチャートである。
【００３３】
これら図３および図４を参照して、抽出側の処理を説明する。
【００３４】
（ステップＳ１１における処理）
Ｌチャンネル音響信号、および、「埋め込みデータ」を埋め込んだＲチャンネル音響信号を入力する。
【００３５】
（ステップＳ１２における処理）
同期部２０でＲチャンネルの埋め込み音響信号とＬチャンネル音響信号の相互相関を求め、波形を比較して大まかなタイミングをとり、さらに相互相関の時間差を詳細に変化させた結果を検討し、両信号の相互相関が最大となるタイミングを見つける。
【００３６】
（ステップＳ１３における処理）
ステップＳ１２で見つけたタイミングを基準に両信号の同期をとりながら、埋め込み側で分割したフレームと同一となるように、データ埋め込み時のフレーム分割情報に基づき、フレーム分割部２２，２４でＲチャンネルの埋め込み音響信号，Ｌチャンネル音響信号をフレームに分割する。
【００３７】
（ステップＳ１４における処理）
公知のクロススペクトル法を用いて、抽出部２６でフレーム内の合成パルス列（「埋め込みデータ」）を抽出する。クロススペクトル法の処理を以下に詳述する。
【００３８】
クロススペクトル法：フレーム内のＬチャンネル音響信号x(n)と、この信号に合成パルス列(「埋め込みデータ」)d(n)を畳み込んだＲチャンネル埋め込み音響信号y(n)の2つの信号を用いることにより、合成パルス列を統計的に推定する。
【００３９】
【数１】
y(n)=d(n)＊x(n)      (1)
xi(n)=x((i-1)L+n),n=1,2,...,M      (2)
yi(n)=y((i-1)L+n),n=1,2,...,M      (3)
Xi(k)=FFT[w(n)xi(n)]      (4)
Yi(k)=FFT[w(n)yi(n)]      (5)
Sxx(k)=ΣXi(k) Xi(k)      (6)
Sxy(k)=ΣXi(k) Yi(k)      (7)
h(n)=IFFT[Sxy(k)/Sxx(k)]      (8)
上式で＊は畳み込み積分を表し、＿は複素共役を表す。
【００４０】
フレーム内に１ブロックM点(ブロック長M)から構成されるブロック信号x(n)とy(n)を定義し、そのブロック信号をフレーム先頭からL点ずつシフトした第i番目のブロックの２つの信号を式（２），式（３）のようにxi(n),yi(n)とする。第i番目のブロック信号はブロック両端の回り込み現象を低減するために、式（４），式（５）式のようにハミング窓等の重み付けw(n)を行う。
【００４１】
Sxx、SxyはそれぞれＬチャンネル音響信号の平均パワースペクトル、Ｌチャンネル音響信号とＲチャンネル埋め込み音響信号の平均クロスパワースペクトルを表す。（８）式のh(n)は原合成パルス列d(n)を近似する推定パルス列である。平均回数をＰとすると、（８）式の推定のために必要なデータ数は、((Ｐ−１)Ｌ＋Ｍ)点である。
【００４２】
「埋め込みデータ」の検出は、抽出したインパルス応答の音響信号の先頭フレームの時刻を基準として、遅れ時間が既知のシード番号の一様乱数に対応して設定した「埋め込みデータ」に対応する遅れ時間のパルスが存在するか否かを検討して行う。
【００４３】
以上説明した埋め込み側，抽出側での処理をまとめると、次の通りである。
【００４４】
埋め込み側での処理：
・Ｌ，Ｒチャンネルのデジタル音響信号を一定時間長のフレームに分割する。
【００４５】
・Ｌチャンネルの音響信号はそのまま出力する。
【００４６】
・「埋め込みデータ」に基づいてインパルス応答関数を作成する。
【００４７】
・Ｌチャンネル音響信号と「埋め込みデータ」から作成したインパルス応答関数とを畳み込み演算し、これとＲチャンネルの音響信号を加算合成することにより、「埋め込みデータ」が埋め込まれたＲチャンネル音響信号を作成する。
【００４８】
・Ｌ，Ｒチャンネルの各フレームを合成する。
【００４９】
抽出側での処理：
・Ｌチャンネル音響信号とＲチャンネル音響信号を同期させ、埋め込み時のフレーム分割情報を用いて埋め込み時と同一のフレームに分割する。
【００５０】
・Ｌチャンネル音響信号と、それに対応するＲチャンネル音響信号のフレームに対し、公知のクロススペクトル法を用いてそれぞれのインパルス応答関数を推定し、「埋め込みデータ」を抽出する。
【００５１】
実施の形態による効果
本実施の形態によれば、以下に列挙する格別な効果を奏することができる。
【００５２】
（i）遅れ時間が一様乱数をもとにした合成パルス列を構成することにより、「埋め込みデータ」を秘匿することができると同時に、特定の周波数で生じる振幅のピーク，ディップを軽減することができる。
【００５３】
（ii）Ｌチャンネル音響信号と作成したインパルス応答を畳み込んで埋め込み音響信号を生成し、これをＲチャンネル音響信号に加算合成して作成したＲチャンネル音響信号と、Ｌチャンネル音響信号とを同時に聞いた場合、原音響信号と聴感上差が生じにくくすることが可能となる。また、人間の聴覚は時間軸方向に積分特性をもつため、作成したインパルス応答とＬチャンネル音響信号とを畳み込んで作成した埋め込み音響信号と、Ｒチャンネル音響信号を加算合成して作成したＲチャンネル音響信号において、聴感上エコーが聞こえにくく、埋め込み前のＲチャンネル音響信号との差が検知されにくい。
【００５４】
（iii）Ｌ，Ｒチャンネルの音響信号は同一の伝送系を通ることが多いと考えられるため、Ｌ，Ｒチャンネルの相関を利用した本実施の形態は伝送中のランダムに発生する雑音の混入等に対して大きな耐性を持つ。
【００５５】
【発明の効果】
以上説明した通り、本発明によれば、聴感上の違和感を招来することなく、多量の情報を容易かつ安全に埋め込むことができるようにした音響信号伝送装置および音響信号伝送方法、ならびに、音響信号の埋め込みデータを抽出するデータ抽出装置およびデータ抽出方法を実現することができる。
【図面の簡単な説明】
【図１】本発明を適用した「埋め込みデータ」送信系のブロック構成図である。
【図２】図１に示した各ブロックによって実行される「埋め込みデータ」埋め込み処理手順を示したフローチャートである。
【図３】「埋め込みデータ」抽出系のブロック構成図である。
【図４】図３に示した各ブロックによって実行される「埋め込みデータ」抽出処理手順を示したフローチャートである。
【符号の説明】
４    「埋め込みデータ」入力部
６    鍵情報入力部
８    インパルス応答作成部
１０    畳み込み演算部
１２    合成部
１６    制御部
２０    同期部
２２，２４    フレーム分割部
２６    抽出部
２８    制御部
【図１】
0004028676.tif 000002
【図２】
0004028676.tif 000003
【図３】
0004028676.tif 000004
【図４】
0004028676.tif 000005