(57)【要約】【課題】  録音機器により無許可録音された場合に、録音後の複製音響信号を再生した際、本来の状態での複製を防止することが可能な音響信号に対する妨害音の埋め込み装置を提供する。【解決手段】  広帯域音響信号からＮサンプルの第１音響フレーム、第２音響信号からＭサンプルの第２音響フレームを読み込み(S2,3)、第１スペクトル、第２スペクトルを得て(S4,5)、第１スペクトルの信号成分中、周波数Ｆｔ以上を除去し、周波数Ｆｔ以下を正負を反転させて高域に折り返して付加し(S6)、第２スペクトルの周波数Ｆｔ以上を除去し、周波数Ｆｔ以下を折り返したものを、第１スペクトルの対応周波数の信号成分に合成し(S7)、周波数−時間変換後(S8)、２チャンネル分の改変音響フレームに対して、双方のチャンネルの対応サンプルの加算時に、隣接２サンプルが一致するように、２チャンネル分の隣接２サンプルの計４サンプル中２サンプルの値を変化させる補正を行う(S9)。【選択図】  図５
2013257378.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２チャンネル以上の時系列のサンプル列で構成される原音響信号に対して、時系列のサンプル列で構成される第２の音響信号を妨害音として聴取不能な状態で埋め込む装置であって、
前記原音響信号から２チャンネルを選出し、チャンネルごとに所定数のサンプルで構成される音響フレームを第１音響フレームとして読み込むとともに、前記第２の音響信号から所定数のサンプルで構成される音響フレームを第２音響フレームとして読み込む音響フレーム読込手段と、
前記第１音響フレームに対してチャンネルごとに時間−周波数変換を行い、複素周波数成分である第１スペクトルを得るとともに、前記第２音響フレームに対して時間−周波数変換を行い、複素周波数成分である第２スペクトルを得る時間−周波数変換手段と、
前記第２スペクトルの信号成分の中で、所定の周波数Ｆｔ以上の信号成分を除去するとともに、周波数Ｆｔを中心に周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔに含まれる所定範囲の信号成分に対して所定の係数値を乗算しながら、前記第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分をチャンネルごとに改変する周波数成分改変手段と、
前記周波数成分が改変された第１スペクトルに対して周波数−時間変換を行って、改変音響フレームを生成する周波数−時間変換手段と、
前記生成された２チャンネル分の改変音響フレームに対して、双方のチャンネルを対応するサンプルごとに加算した際に、隣接する２サンプルを一致させるように、２チャンネル分の隣接する２サンプルの計４サンプルを一組として各組のうち２サンプルの値を変化させる補正を行う改変音響フレーム補正手段と、
前記改変音響フレーム補正手段により補正された改変音響フレームを順次出力する改変音響フレーム出力手段と、
を有することを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項２】
少なくとも２チャンネル以上の時系列のサンプル列で構成される原音響信号に対して、時系列のサンプル列で構成される雑音を妨害音として聴取不能な状態で埋め込む装置であって、
前記原音響信号から２チャンネルを選出し、チャンネルごとに所定数のサンプルで構成される音響フレームを第１音響フレームとして読み込む音響フレーム読込手段と、
前記第１音響フレームに対してチャンネルごとに時間−周波数変換を行い、複素周波数成分である第１スペクトルを得る時間−周波数変換手段と、
前記第１スペクトルの信号成分の中で、所定の周波数Ｆｔから周波数２Ｆｔに含まれる所定範囲の信号成分に対して、信号の絶対値が所定値だけ増加するように、前記第１スペクトルの周波数成分を改変する周波数成分改変手段と、
前記周波数成分が改変された第１スペクトルに対して周波数−時間変換を行って、改変音響フレームを生成する周波数−時間変換手段と、
前記生成された２チャンネル分の改変音響フレームに対して、双方のチャンネルを対応するサンプルごとに加算した際に、隣接する２サンプルを一致させるように、２チャンネル分の隣接する２サンプルの計４サンプルを一組として各組のうち２サンプルの値を変化させる補正を行う改変音響フレーム補正手段と、
前記改変音響フレーム補正手段により補正された改変音響フレームを順次出力する改変音響フレーム出力手段と、
を有することを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項３】
請求項２において、
前記周波数成分改変手段は、前記音響フレーム読込手段により読み込まれた音響フレームのうち、所定間隔ごとの音響フレームに対して、処理を行うものであることを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項４】
請求項１から請求項３のいずれか一項において、
前記周波数成分改変手段は、前記時間−周波数変換手段により得られた第１スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、前記周波数Ｆｔを中心に前記周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの信号成分に対して正負符号を反転しかつ所定の係数値を乗算しながら、前記第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分をチャンネルごとに改変する処理を予め行うことを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項５】
請求項１から請求項４のいずれか一項において、
前記原音響信号は、サンプリング周波数Ｆｓでサンプリングされたものであり、
前記原音響信号に対して、サンプリング周波数Ｆｕｓ（Ｆｕｓ＞Ｆｓ）でアップサンプリングを行い、広帯域の原音響信号である広帯域音響信号を作成するアップサンプリング手段をさらに有し、
前記Ｆｔ＝Ｆｓ／２であり、
前記時間−周波数変換手段、前記周波数成分改変手段、周波数−時間変換手段、改変音響フレーム補正手段、改変音響フレーム出力手段は、前記広帯域音響信号に対して処理を行うものであることを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項６】
請求項１から請求項４のいずれか一項において、
前記原音響信号は、サンプリング周波数Ｆｓでサンプリングされたものであり、
前記Ｆｔ＝Ｆｓ／４であることを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項７】
請求項６において、
前記周波数成分改変手段における乗算する所定の係数値または増加させる所定値は、前記時間−周波数変換手段により得られた第１スペクトルの信号成分の中で、周波数Ｆｔから周波数２Ｆｔに含まれる所定範囲の信号成分の平均値に基づいて変化させるものであることを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項８】
請求項１から請求項７のいずれか一項において、
前記時間−周波数変換手段は、窓幅Ｎサンプルとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）における重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数を用いて時間−周波数変換を行うものであることを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の音響信号に対する妨害音の埋込み装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＤ・ＤＶＤ・ＢＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、および音楽コンテンツプロバイダー等が商業目的で配信するネットワーク音楽配信分野に関し、特に、音楽コンテンツのコピーを防止する技術に関する。
【背景技術】
【０００２】
従来、音楽コンテンツの複製防止のため、様々な技術が開発されている。例えば、ＤＲＭ（Digital Rights Management：特許文献１参照）という方式では、デジタルの音楽コンテンツに暗号化を施すことにより音楽コンテンツの複製を防止している。具体的には、商用ＤＶＤやＢＤメディアから別のＤＶＤ−Ｒ等の記録メディアにデジタルケーブル接続によりレコーダ機器で録画したり、パソコンのドライブに挿入してパソコン上で動画ファイルとしてリッピングしたりすることを不可能にしている。ただし、音楽ＣＤに対しては諸般の事情により現状ではＤＲＭが解除されているため、特にレンタルＣＤからリッピングして作成されたデジタル的な違法コピー音楽ファイルがサイトにアップされ流通してしまう被害が問題になっている。このＤＲＭ方式では、デジタルコンテンツのコピーを防止することは可能であるが、アナログコンテンツのコピーを防止することはできない。すなわち、再生中のディスプレイ画面をビデオカメラで撮影したり、再生信号をスピーカ出力よりラインまたはマイクロフォンで録音したりすることにより複製可能となる。現状、最も大きな問題は、映画館やホールなどに小型ビデオカメラを持ち込み、スクリーンに映し出された映像とともに、スピーカから流れるサウンドトラックが収録され、無尽蔵にＤＶＤが作成され商品（海賊版）として出荷されたり、違法コピー動画ファイルが動画サイトやＰ２Ｐを介して流通したりしている例がある。近年の民生用ビデオカメラはＨＤＴＶ対応になっておりＢＤ並みの画質で記録が可能であるため、それをマスターにして複製されるＤＶＤは商用品質を確保することが容易である。
【０００３】
幸い、日本国内では、2007年より施行された「映画の盗撮の防止に関する法律」の効果により、スクリーン盗撮事件は2009年の愛知県での現行犯逮捕を最後に終焉したが、新たな問題が浮上している。海外では盗撮が相変わらず行われているため、盗撮洋画がネットを介して日本に上陸しているが、そのままでは日本で売れない。即ち、日本国内で流通させるためには、その盗撮洋画に字幕スーパーを入れるか、日本語に吹き替える必要があるが、後者の方が、圧倒的に需要が大きい。そこで、海外から移入された洋画の日本語吹き替え版が上映されている映画館で音声だけ隠し録りされ、海外盗撮映像にアフレコされ出荷されている。邦画に対しても、海外に輸出され違法コピーされた外国語版邦画の違法コピー品を逆移入し、日本国内で音声だけ隠し撮りし、海外盗撮邦画にアフレコして国内で出荷されている例も見つかった。盗音はスクリーン盗撮のように三脚などを必要とせず、ポケットにレコーダを隠して行えるため、暗い映画館の中で犯行を見つけることは不可能に近い。即ち、映像に対する盗撮は法整備により撲滅できたが、音響に対する盗音に対しては刃が立たず、前述のレンタル音楽ＣＤの違法リッピング問題を含め、現状では、音響コンテンツ保護に対する需要は映像コンテンツ保護に比べ格段に大きい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００３−５１７７６７号公報
【特許文献２】ＷＯ２０１１／００２０５９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
アナログコンテンツの複製を防止する手法として、主として前述の海賊版ＤＶＤ製造への対抗策としては、映像信号に不可視のコピー妨害信号を付加する技術が提案されている（特許文献２参照）。特許文献２に開示の手法では、コピー妨害信号として赤外線を用いているため、人間には不可視だが、ビデオカメラには映り込み、違法コピーを牽制することができる。しかし、コピー妨害信号はコンテンツ自体には埋め込むことができず、コピー妨害信号を発射する特殊なモジュールを装着したスクリーンやディスプレイでないと機能せず、業務用ビデオカメラや赤外カットフィルタを装着したカメラを用いるとコピー妨害信号の映り込みを回避できるという問題がある。また、映像のサウンドトラックの違法コピーに対しては全く無防備である。
【０００６】
一方、録音機器も進化しており、最近のボイスレコーダーは携帯型でありながらも、ステレオ録音可能となっている。しかし、違法録音を行おうとする場合、隠し録りをすることになり、２本のマイクを立てることは困難であるから、複数のチャンネル信号が混合したモノラル信号に近い状態で録音される。特に日本では海賊版（商用）を作成する目的で違法録音が行われることは殆どなく、ネット動画サイトで無償で流通させるボランティア的に違法録音が行われる。（営利を目的としないことから、リスクの大きいスクリーン盗撮は行われなくなった。）そのため、画質・音質は一切問われず、サウンドトラックについては音楽が多少歪んでいてもセリフが聞き取れれば問題なく、もちろんモノラルで充分である。
【０００７】
そこで、本発明は、ボイスレコーダー等の録音機器により無許可で録音を行われた場合であっても、録音後のデジタル化された複製音響信号を再生した際、原音響信号に非可聴に埋め込まれた妨害音が可聴となって再生されることにより、本来の状態での複製を防止することが可能な音響信号に対する妨害音の埋め込み装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明第１の態様では、少なくとも２チャンネル以上の時系列のサンプル列で構成される原音響信号に対して、時系列のサンプル列で構成される第２の音響信号を妨害音として聴取不能な状態で埋め込む装置であって、前記原音響信号から２チャンネルを選出し、チャンネルごとに所定数のサンプルで構成される音響フレームを第１音響フレームとして読み込むとともに、前記第２の音響信号から所定数のサンプルで構成される音響フレームを第２音響フレームとして読み込む音響フレーム読込手段と、前記第１音響フレームに対してチャンネルごとに時間−周波数変換を行い、複素周波数成分である第１スペクトルを得るとともに、前記第２音響フレームに対して時間−周波数変換を行い、複素周波数成分である第２スペクトルを得る時間−周波数変換手段と、前記第２スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、前記周波数Ｆｔを中心に前記周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔに含まれる所定範囲の信号成分に対して所定の係数値（β、βｌ、βｒ）を乗算しながら、前記第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分をチャンネルごとに改変する周波数成分改変手段と、前記周波数成分が改変された第１スペクトルに対して周波数−時間変換を行って、改変音響フレームを生成する周波数−時間変換手段と、前記生成された２チャンネル分の改変音響フレームに対して、双方のチャンネルを対応するサンプルごとに加算した際に、隣接する２サンプルを一致させるように、２チャンネル分の隣接する２サンプルの計４サンプルを一組として各組のうち２サンプルの値を変化させる補正を行う改変音響フレーム補正手段と、前記改変音響フレーム補正手段により補正された改変音響フレームを順次出力する改変音響フレーム出力手段を有することを特徴とする音響信号に対する妨害音の埋込み装置を提供する。
【０００９】
本発明第１の態様によれば、埋め込むべき第２音響信号から得られた第２スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、周波数Ｆｔを中心に周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔ（Ｆｔの２倍）の範囲の第２スペクトルの信号成分に対して所定の係数値（β、βｌ、βｒ）を乗算しながら、改変後のチャンネルごとの第１スペクトルの対応する周波数の信号成分に加算して改変音響フレームを得て、改変音響フレームに対して、双方のチャンネルを対応するサンプルごとに加算した際に、隣接する２サンプルを一致させるように、一方のチャンネルの２サンプルの値を変化させる補正を行うようにしたので、単一のマイクロフォンを介したモノラル録音を行うことにより、双方のチャンネルが混合し、混合された録音信号は擬似的に１／２に間引かれ再サンプリングされた状態と等価になり、複製時におけるＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）による影響をほとんど受けることなくエイリアシングが発生し、２チャンネル以上のステレオ、またはサラウンド音響空間で、録音機器によりモノラルで録音複製された複製音響信号を再生した場合に、妨害音を可聴化することができる。ここで、「疑似的な１／２再サンプリング」という意味は、物理的にはサンプリング周波数および総サンプル数に変化は無いが、隣接サンプルを同一にするということは、フーリエ変換すると、サンプリング周波数および総サンプル数を１／２に改変することと等価になる。これにより、複製音響信号を再生すると、原音響信号に記録された音と同時に、原音響信号に記録された音とは異なる音楽やメッセージが妨害音として発せられるため、複製する意味がなくなり、複製を抑止することが可能となる。
【００１０】
また、本発明第２の態様では、少なくとも２チャンネル以上の時系列のサンプル列で構成される原音響信号に対して、時系列のサンプル列で構成される雑音を妨害音として聴取不能な状態で埋め込む装置であって、前記原音響信号から２チャンネルを選出し、チャンネルごとに所定数のサンプルで構成される音響フレームを第１音響フレームとして読み込む音響フレーム読込手段と、前記第１音響フレームに対してチャンネルごとに時間−周波数変換を行い、複素周波数成分である第１スペクトルを得る時間−周波数変換手段と、前記第１スペクトルの信号成分の中で、周波数Ｆｔから周波数２Ｆｔに含まれる所定範囲の信号成分に対して、信号の絶対値が所定値（γ、γｌ、γｒ）だけ増加するように、前記第１スペクトルの周波数成分を改変する周波数成分改変手段と、前記周波数成分が改変された第１スペクトルに対して周波数−時間変換を行って、改変音響フレームを生成する周波数−時間変換手段と、前記生成された２チャンネル分の改変音響フレームに対して、双方のチャンネルを対応するサンプルごとに加算した際に、隣接する２サンプルを一致させるように、２チャンネル分の隣接する２サンプルの計４サンプルを一組として各組のうち２サンプルの値を変化させる補正を行う改変音響フレーム補正手段と、前記改変音響フレーム補正手段により補正された改変音響フレームを順次出力する改変音響フレーム出力手段を有することを特徴とする音響信号に対する妨害音の埋込み装置を提供する。
【００１１】
本発明第２の態様によれば、原音響信号から得られた第１スペクトルの信号成分の中で、周波数Ｆｔ以上、周波数２Ｆｔ（Ｆｔの２倍）以下の信号成分に対して信号の絶対値が所定値（γ、γｌ、γｒ）だけ増加するように、前記第１スペクトルの周波数成分を改変して改変音響フレームを得て、改変音響フレームに対して、双方のチャンネルを対応するサンプルごとに加算した際に、一方のチャンネルにおいて隣接する２サンプルを一致させるように、一方のチャンネルの２サンプルの値を変化させる補正を行うようにしたので、単一のマイクロフォンを介したモノラル録音を行うことにより、双方のチャンネルが混合し、混合された録音信号は擬似的に１／２に間引かれ再サンプリングされた状態と等価になり、複製時におけるＬＰＦによる影響をほとんど受けることなくエイリアシングが発生し、２チャンネル以上のステレオ、またはサラウンド音響空間で、録音機器によりモノラルで録音複製された複製音響信号を再生した場合に、妨害音を可聴化することができる。これにより、複製音響信号を再生すると、原音響信号に記録された音と同時に、意味をなさない雑音が妨害音として発せられるため、複製する意味がなくなり、複製を抑止することが可能となる。
【００１２】
本発明第３の態様では、本発明第２の態様の音響信号に対する妨害音の埋込み装置において、前記周波数成分改変手段は、前記音響フレーム読込手段により読み込まれた音響フレームのうち、所定間隔ごとの音響フレームに対して、処理を行うものであることを特徴とする。
【００１３】
本発明第３の態様によれば、所定間隔ごとの音響フレームに対して改変を行うようにしたので、原音響信号の改変のための演算処理量を減らすことができるとともに、雑音再生音を明瞭にすることができる。特に、所定間隔として２音響フレームごと、すなわち奇数番目の音響フレームか偶数番目の音響フレームのどちらかに対してのみ改変を行うようにすれば、演算処理量に対する妨害音の埋め込みの効率が良い。
【００１４】
本発明第４の態様では、本発明第１から第３のいずれかの態様の音響信号に対する妨害音の埋込み装置において、前記周波数成分改変手段は、前記時間−周波数変換手段により得られた第１スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、前記周波数Ｆｔを中心に前記周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの信号成分に対して正負符号を反転しかつ所定の係数値を乗算しながら、前記第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分をチャンネルごとに改変する処理を予め行うことを特徴とする。
【００１５】
本発明第４の態様によれば、原音響信号の第１スペクトルの信号成分の中で、所定の周波数Ｆｔ以上の信号成分を除去するとともに、周波数Ｆｔを中心に周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔ（Ｆｔの２倍）の範囲の第１スペクトルの信号成分に対して正負符号を反転しかつ所定の係数値を乗算しながら、第１スペクトルの対応する周波数の信号成分に加算することにより、第１スペクトルの周波数成分を改変した後、第１、第２の態様に示した周波数成分の改変を行うようにしたので、第１、第２の態様に示したモノラル録音を施すことにより、疑似的に通常再生した音をサンプリング周波数２Ｆｔで再サンプリングされ複製された信号と等価な複製音響信号を再生した場合には、周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの位相反転された信号成分が、逆に周波数Ｆｔを中心に周波数Ｆｔ以下の低域の周波数方向に折り返され、原音響信号の周波数Ｆｔ以下の信号成分に重畳（または減算）されるため、原音響信号に基づく音が所定の係数値の割合だけ打ち消される。
【００１６】
本発明第５の態様では、本発明第１から第４のいずれかの態様の音響信号に対する妨害音の埋込み装置において、前記原音響信号は、サンプリング周波数Ｆｓでサンプリングされたものであり、前記原音響信号に対して、サンプリング周波数Ｆｕｓ（Ｆｕｓ＞Ｆｓ）でアップサンプリングを行い、広帯域の原音響信号である広帯域音響信号を作成するアップサンプリング手段をさらに有し、前記Ｆｔ＝Ｆｓ／２であり、前記時間−周波数変換手段、前記周波数成分改変手段、周波数−時間変換手段、改変音響フレーム補正手段、改変音響フレーム出力手段は、前記広帯域音響信号に対して処理を行うものであることを特徴とする。
【００１７】
本発明第５の態様によれば、原音響信号の信号成分除去の下限であり、折り返しの中心である周波数Ｆｔを、原音響信号のサンプリング周波数Ｆｓの１／２とし、改変音響信号のサンプル数を原音響信号のサンプル数より大きくなるように改変するようにしたので、埋め込まれた位相反転された原音響信号の低域成分や妨害音の成分の下限がＦｓ／２となり、周波数Ｆｓ／２を人間の可聴域の上限付近に設定しておくことにより、位相反転された原音響信号の低域成分や妨害音の信号成分は完全に非可聴域に入り、これらの信号成分は全く聴取されない。ところが、改変音響信号がアナログ系に変換されるかデジタルの状態で、第１、第２の態様に示したモノラル録音を施すことにより、疑似的にサンプリング周波数Ｆｓで再度サンプリングされ複製された場合に、複製された音響信号を再生すると、エイリアシングが発生して周波数Ｆｓ／２以上の妨害音の信号成分が周波数Ｆｓ／２を中心に周波数Ｆｓ／２以下の可聴帯域に折り返され、原音信号に基づく音が抑圧され、代わりに第２の音響信号に基づく音または妨害音が可聴な状態で出力される。このため、原音響信号のサンプリング周波数と同一のサンプリング周波数で、原音響信号に記録された音のみを複製されることを防ぐことが可能となる。
【００１８】
本発明第６の態様では、本発明第１から第４のいずれかの態様の音響信号に対する妨害音の埋込み装置において、前記原音響信号は、サンプリング周波数Ｆｓでサンプリングされたものであり、前記Ｆｔ＝Ｆｓ／４であることを特徴とする。
【００１９】
本発明第６の態様によれば、折り返しの中心である周波数Ｆｔを、原音響信号のサンプリング周波数Ｆｓの１／４としたので、位相反転された原音響信号の低域成分および第２の音響信号または妨害音の信号成分の上限がＦｓ／２となり、原音響信号の周波数Ｆｓ／４からＦｓ／２までの信号成分に位相反転された原音響信号の低域成分および第２の音響信号または妨害音の信号成分が重畳されており、第１、第２の態様に示したモノラル録音を施すことにより、疑似的にサンプリング周波数Ｆｓ／２で複製された場合に、複製された音響信号を再生すると、エイリアシングが発生して、周波数Ｆｓ／４からＦｓ／２までの位相反転された原音響信号の低域成分および第２の音響信号または雑音の信号成分が周波数Ｆｓ／４を中心に周波数Ｆｓ／４以下に折り返され、原音響信号に基づく音が抑圧され、代わりに第２の音響信号に基づく音または雑音が可聴な状態で出力される。このため、原音響信号のサンプリング周波数の１／２のサンプリング周波数で、原音響信号に記録された音のみを複製されることを防ぐことが可能となる。
【００２０】
本発明第７の態様では、本発明第６の態様の音響信号に対する妨害音の埋込み装置において、前記周波数成分改変手段における乗算する所定の係数値（β、βｌ、βｒ）または増加させる所定値（γ、γｌ、γｒ）は、前記時間−周波数変換手段により得られた第１スペクトルの信号成分の中で、周波数Ｆｔから周波数２Ｆｔに含まれる所定範囲の信号成分の平均値に基づいて変化させるものであることを特徴とする。
【００２１】
本発明第７の態様によれば、原音響信号を改変する際に、第２の音響信号の成分または妨害音の成分として作用させる度合いを、原音響信号の周波数Ｆｔから周波数２Ｆｔに含まれる所定範囲の信号成分の平均的な強度値に基づいて変化させるようにしたので、原音響信号の信号強度と連動させて増減させることとなり、埋め込みによる原音響信号の品質劣化を抑えることができる。
【００２２】
本発明第８の態様では、本発明第１から第７のいずれか１つの態様の音響信号に対する妨害音の埋込み装置において、前記時間−周波数変換手段は、窓幅Ｎサンプルとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）における重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数を用いて時間−周波数変換を行うものであることを特徴とする。
【００２３】
本発明第８の態様によれば、周波数解析を行う際に、ハニング窓関数を用いるようにしたので、擬似高調波成分を発生させることなく、原音響信号に与える歪みを低減させながら時間−周波数変換を行うことが可能になる。
【発明の効果】
【００２４】
本発明によれば、ボイスレコーダー等の録音機器により無許可で録音を行われた場合であっても、録音後のデジタル化された複製音響信号を再生した際、エイリアシングが発生し、原音響信号に非可聴に埋め込まれた妨害音が可聴となって再生されることにより、本来の状態での複製を防止することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】エイリアシングの原理を示す図である。
【図２】本発明の一実施形態の基本原理を示す図である。
【図３】本発明に係る音響信号に対する妨害音の埋め込み装置のハードウェア構成図である。
【図４】本発明に係る音響信号に対する妨害音の埋め込み装置の構成を示す機能ブロック図である。
【図５】第１（第３）の実施形態に係る音響信号に対する妨害音の埋め込み装置の処理動作を示すフローチャートである。
【図６】ステップＳ８までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。
【図７】第１の実施形態におけるステップＳ９の補正処理を示す図である。
【図８】ステップＳ９までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。
【図９】第２（第４）の実施形態に係る音響信号に対する妨害音の埋め込み装置の処理動作を示すフローチャートである。
【図１０】第３の実施形態における妨害音の埋め込み処理の概念を示す図である。
【図１１】第３の実施形態におけるステップＳ９の補正処理を示す図である。
【図１２】第３の実施形態のステップＳ９までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。
【図１３】５．１チャンネルサラウンド音響信号に適用する場合におけるスピーカと処理対象チャンネルの関係を示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について図面を参照して詳細に説明する。
＜１．本発明の基本概念＞
最初に、本発明の基本概念について説明しておく。本発明では、エイリアシングと呼ばれる折り返し歪みを利用して、複製を防止したい原音響信号に対して、原音響信号のレベルを抑圧するための原音響信号の位相反転した信号成分と新たに警告メッセージなど第２の音響信号や白色雑音等の雑音を妨害音として埋め込む改変を行い、改変音響信号を得る処理を行う。埋め込まれた位相反転された原音響信号の信号成分および第２の音響信号または雑音の信号成分は、改変音響信号の通常再生時には聴き取ることができないが、再生された改変音響信号を録音して再サンプリングされ複製された複製音響信号（複製方法はデジタルコピーであるか、アナログコピーであるかは問わないが、原音響信号と同一のサンプリング周波数による複製を防止する場合にはアナログコピーに限定される）を再生すると、原音響信号が抑圧され、代わりに警告メッセージなどの第２の音響信号や白色雑音等の雑音が可聴な状態で再生される。しかし、エイリアシングという現象は当業界において公知であるため、録音時に高周波雑音が混入しないように、録音装置またはサンプラーにアンチエイリアシング処理、具体的にはサンプラーの前にＬＰＦ回路が設置されているのが一般的である。これにより、エイリアシングにより折り返される高域成分がＬＰＦ回路により減衰されてしまうため、実質的には折り返しが殆ど発生しないのと等価となり、上記目的は実現できない。本発明では、これに対する解決策も提案するものである。具体的には、原音響信号の再生は２チャンネル以上のステレオまたはサラウンド（映画・シアターなど）で行われるが、違法録音を行う人はポケットに隠せる携帯型のボイスレコーダーやスマートフォンを用いてモノラルで収録される点に注目し、複数のチャンネルの信号が混合されると、隣接サンプルが同一の値になるように制御し、疑似的に１／２のサンプリング周波数で収録されるようにし、ボイスレコーダーのサンプリング周波数に依存せずにエイアリシングを確実に発生できるようにしたものである。違法録音を行う人は原音響信号と同等以上のサンプリング周波数で録音すれば、ＬＰＦ回路を通しても、ＬＰＦ回路による影響を受けずに１／２のサンプリング周波数で、再サンプリングが行われ、所望の折り返しが発生し、上記目的を実現できる。
【００２７】
図１は、エイリアシングの原理を示す図である。このうち、図１（ａ）は、原音響信号の信号スペクトル、図１（ｂ）は図１（ａ）の原音響信号をサンプリング周波数Ｆｓでサンプリングしたサンプリングデータの信号スペクトルを示している。原音響信号に対して、サンプリング周波数Ｆｓでサンプリングを行うと、ナイキスト周波数Ｆｓ／２を超える高周波の信号成分が、Ｆｓ／２を中心に低域側に折り返され、Ｆｓ／２以下の低域信号成分として誤解析され重畳されてしまう。これが、エイリアシングである。図１の例では、サンプリング周波数Ｆｓでサンプリングを行うことにより、周波数Ｆｓ／２〜Ｆｓの信号成分は周波数方向に反転して重畳され、周波数Ｆｓ〜３Ｆｓ／２の信号成分は周波数方向に２回反転して元の向きで重畳される。図１（ｂ）の例では、３種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。
【００２８】
図２は、後述する本発明の一実施形態の原理を示す図である。図２において、図２（ａ）は、サンプリング周波数Ｆｓでサンプリングされた原音響信号の信号スペクトル、図２（ｂ）は、サンプリング周波数Ｆｓでサンプリングされた第２の音響信号である第２音響信号の信号スペクトル、図２（ｃ）は、本発明による埋め込み処理の結果得られた改変音響信号の信号スペクトル、図２（ｄ）は、改変音響信号を複製手段により再サンプリングして得られた複製音響信号の信号スペクトルである。
【００２９】
図２（ａ）に示した原音響信号、図２（ｂ）に示した第２音響信号は、ともにサンプリング前にハイカットフィルタ処理によりサンプリング周波数Ｆｓ／２より高域の成分を削除し、エイリアシングが生じていないものを用いる。ここでは、図１（ａ）に示した原音響信号に対してあらかじめ同サンプリング周波数を２Ｆｓ（Ｆｓの２倍）に拡大して、図２（ｂ）に示した異なる音響信号を周波数Ｆｓ／２を中心に高域側へ折り返したものをサンプリング周波数が拡大された原音響信号に合成し、図２（ｃ）に示す改変音響信号を得る。この際、本発明では、原音響信号のＦｓ／２以下の成分を振幅反転しながら、Ｆｓ／２を中心に周波数方向に折り返し、合成する処理を行う。
【００３０】
このようにして得られた図２（ｃ）に示す改変音響信号を再生した場合、Ｆｓ／２を人間の可聴域より高い値（例えば、２２．０５ｋＨｚ）に設定しておくことにより、Ｆｓ／２より高い異なる音響信号に由来する信号成分に基づく音は、人間にはほとんど聴こえない。図２（ｃ）に示す改変音響信号を、複製してサンプリング周波数Ｆｓで再サンプリングすると、図２（ｄ）に示す複製音響信号が得られる。図２（ｄ）に示す複製音響信号は、エイリアシングが発生し、原音響信号成分が振幅反転して人間の可聴域であるＦｓ／２以下の原音響信号に折り返されて原音響信号は打ち消され、代わりに第２音響信号に由来する信号成分が、人間の可聴域であるＦｓ／２以下に折り返される。この結果、複製音響信号には、第２音響信号に由来する信号成分が主に記録されるため、第２音響信号として記録された警告メッセージ等の第２音響信号のみが人間に聴こえることになる。このため、原音響信号の複製を防止することができる。しかし、通常は、サンプリング周波数Ｆｓで再サンプリングすると、Ｆｓ／２以上の信号成分はサンプラー前処理のＬＰＦによりカットされるため、Ｆｓ／２以下に折り返される現象は起こらず、所望の第２音響信号は聴取されない。そこで、本願では、モノラル録音により疑似的に所望の周波数による再サンプリングと同等な効果が得られるように制御することにより、ＬＰＦによる影響を受けない手法を提案するものである。
【００３１】
＜２．１．埋め込み装置の構成＞
次に、本発明に係る音響信号に対する妨害音の埋め込み装置について説明する。図３は、本発明に係る音響信号に対する妨害音の埋め込み装置のハードウェア構成図である。音響信号に対する妨害音の埋め込み装置は、汎用のコンピュータで実現することができ、図３に示すように、ＣＰＵ１（CPU: Central Processing Unit）と、コンピュータのメインメモリであるＲＡＭ２（RAM: Random Access Memory）と、ＣＰＵ１が実行するプログラムやデータを記憶するための大容量の記憶装置３（例えば、ハードディスク、フラッシュメモリ等）と、キーボード、マウス等のキー入力Ｉ／Ｆ（インターフェース）４と、外部装置（データ記憶媒体等）とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、表示装置（ディスプレイ）に情報を送出するための表示出力Ｉ／Ｆ（インターフェース）６と、を備え、互いにバスを介して接続されている。
【００３２】
図４は、本発明に係る音響信号に対する妨害音の埋め込み装置の構成を示す機能ブロック図である。図４において、８はアップサンプリング手段、１０は音響フレーム読込手段、２０は時間−周波数変換手段、３０は周波数成分改変手段、４０は周波数−時間変換手段、４５は改変音響フレーム補正手段、５０は改変音響フレーム出力手段、６０は記憶手段、６１は音響信号記憶部、６２は改変音響信号記憶部である。なお、図４に示す装置は、ステレオ音響信号、５．１チャンネルサラウンド音響信号等の２チャンネル以上の音響信号に対応可能であるが、本実施形態では、２チャンネルのステレオ音響信号に対して処理を行う場合について説明していく。
【００３３】
アップサンプリング手段８は、音響信号記憶部６１に記憶された原音響信号である第１音響信号に対して、第１音響信号のサンプリング周波数よりも周波数を上げてサンプリングを行い、広帯域音響信号を得る機能を有している。音響フレーム読込手段１０は、広帯域音響信号の各チャンネルから所定数のサンプルを１音響フレームとして読み込む機能を有している。第２の音響信号である第２音響信号を埋め込む場合は、音響フレーム読込手段１０は、第２音響信号の各チャンネルからも所定数のサンプルを１音響フレームとして読み込む機能も有している。時間−周波数変換手段２０は、音響フレーム読込手段１０が広帯域音響信号から読み込んだ音響フレーム（以下、第１音響フレームという。）をフーリエ変換等により時間−周波数変換して周波数次元の複素数のスペクトルを生成する機能を有している。第２音響信号を埋め込む場合は、時間−周波数変換手段２０は、音響フレーム読込手段１０が第２音響信号から読み込んだ音響フレーム（以下、第２音響フレームという。）もフーリエ変換等により時間−周波数変換して周波数次元の複素数のスペクトルを生成する機能も有している。周波数成分改変手段３０は、第１音響フレームから得られたスペクトルを改変する機能を有している。第２音響信号を埋め込む場合は、周波数成分改変手段３０は、第２音響フレームから得られたスペクトルを参照しながら、第１音響フレームから得られたスペクトルを改変する機能を有している。周波数−時間変換手段４０は、改変されたスペクトル集合を含む複数の複素数のスペクトルに対して周波数−時間変換を行うことにより、時間次元の改変音響フレームを生成する機能を有している。改変音響フレーム補正手段４５は、周波数−時間変換手段４０により得られた改変音響フレームを補正する機能を有している。改変音響フレーム出力手段５０は、補正された改変音響フレームを順次出力する機能を有している。
【００３４】
記憶手段６０は、第２音響信号を埋め込む場合は第２音響信号を含めて第１音響信号を記憶した音響信号記憶部６１と、改変音響信号を記憶する改変音響信号記憶部６２を有しており、その他処理に必要な各種情報を記憶するものである。
【００３５】
図４に示した各構成手段は、現実には図３に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
【００３６】
図３の記憶装置３には、ＣＰＵ１を動作させ、コンピュータを、音響信号に対する妨害音の埋め込み装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、ＣＰＵ１は、アップサンプリング手段８、音響フレーム読込手段１０、時間−周波数変換手段２０、周波数成分改変手段３０、周波数−時間変換手段４０、改変音響フレーム補正手段４５、改変音響フレーム出力手段５０としての機能を実現することになる。また、記憶装置３は、記憶手段６０としての機能を実現する他、処理に必要な様々なデータを記憶する。
【００３７】
＜２．２．埋め込み装置の処理動作＞
＜２．２．１．第１の実施形態＞
以下、本発明に係る音響信号に対する妨害音の埋め込み装置の処理動作について説明する。図５は、本発明第１の実施形態に係る音響信号に対する妨害音の埋め込み装置の処理動作を示すフローチャートである。第１音響信号、第２音響信号としては、サンプリング周波数Ｆｓとして９６ｋＨｚ、４８ｋＨｚ（映画など映像・放送業務用）または４４．１ｋＨｚ（ＣＤなど民生用）でサンプリングしたものを用いることができるが、本実施形態では、４８ｋＨｚでサンプリングしたものを用いる。また、本実施形態では、折り返しの中心となる周波数Ｆｔ＝Ｆｓ／２とする。
【００３８】
まず、アップサンプリング手段８が、音響信号記憶部６１に記憶されたステレオの第１音響信号の左右の各チャンネルに対して、元のサンプリング周波数よりもサンプリング周波数を上げてサンプリングを行う処理、すなわち、アップサンプリングを行う（ステップＳ１）。どの程度サンプリング周波数を上げるかについては、適宜設定しておくことが可能であるが、本実施形態では、元の第１音響信号のサンプリング周波数４８ｋＨｚを、サンプリング周波数９６ｋＨｚにアップサンプリングする。具体的には、アップサンプリング手段８は、音響信号記憶部６１に記憶された各チャンネルの総サンプル数Ｓ個の第１音響信号ｘｌ、ｘｒに対して、以下の〔数式１〕に従った処理を実行する。
【００３９】
〔数式１〕
ｘｌ´（ｓ）＝ｘｌ（ｓ×４８／９６）
ｘｒ´（ｓ）＝ｘｒ（ｓ×４８／９６）
【００４０】
上記〔数式１〕において、ｓ＝０，・・・，Ｓ´−１であり、Ｓ´＝Ｓ×９６／４８である。上記〔数式１〕に従った処理を実行した結果、各チャンネルのサンプル数Ｓ個の音響信号が、各チャンネルのサンプル数Ｓ´個の広帯域音響信号にアップサンプリングされる。元の音響信号ｘｌ、ｘｒに存在しないサンプルについては、近傍のサンプルの値を用いて補間する。
【００４１】
音響フレーム読込手段１０は、アップサンプリングされたステレオの広帯域音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの音響フレームとして読み込む（ステップＳ２）。同様に、音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの第２音響信号の左右の各チャンネルから、それぞれ所定数Ｍのサンプルを１つの第２音響フレームとして読み込む（ステップＳ３）。
【００４２】
音響フレーム読込手段１０が読み込む１つの第１音響フレームのサンプル数Ｎ、第２音響フレームのサンプル数Ｍは、適宜設定することができるが、本実施形態では、以下、Ｎ＝８１９２、Ｍ＝４０９６の場合について説明する。したがって、音響フレーム読込手段１０は、広帯域音響信号から左チャンネル、右チャンネルについてそれぞれ８１９２サンプルずつ、順次第１音響フレームとして読み込み、第２音響信号から左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次第２音響フレームとして読み込んでいくことになる。
【００４３】
本実施形態では、第１音響フレーム、第２音響フレームともに、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態ではＮ／２＝４０９６、Ｍ／２＝２０４８）のサンプルを重複して設定される。したがって、第２音響フレームの場合、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、重複させるサンプル数は適宜設定することが可能である。
【００４４】
次に、時間−周波数変換手段２０が、第１音響フレームに対して時間−周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ４）。同様に、時間−周波数変換手段２０が、第２音響フレームに対して時間−周波数変換を行って、その第２音響フレームの複素数のスペクトルを得る（ステップＳ５）。ステップＳ４、Ｓ５では、具体的には、窓関数を利用して時間−周波数変換を行う。時間−周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、複素数のスペクトルを得られる手法である必要がある。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。
【００４５】
一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、区切った信号に対してそのまま矩形窓でフーリエ変換を行うと、区切った境界部に基づく擬似高調波成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、窓境界部の値を減衰変化させた後、変化後の値に対してフーリエ変換を実行する。
【００４６】
本実施形態においても、ハニング窓関数Ｗ（ｉ）、Ｗ２（ｉ）を利用している。ハニング窓関数Ｗ（ｉ）、Ｗ２（ｉ）は、中央の所定のサンプル番号ｉの位置において最大値１をとり、両端付近のサンプル番号ｉの位置において最小値０をとるように設定されている。本実施形態では、各第１音響フレームについてのフーリエ変換は、以下の〔数式２〕で定義されるハニング窓関数Ｗ（ｉ）を乗じたものに対して行われることになる。また、各第２音響フレームについてのフーリエ変換は、以下の〔数式３〕で定義されるハニング窓関数Ｗ２（ｉ）を乗じたものに対して行われることになる。
【００４７】
〔数式２〕
Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）
【００４８】
〔数式３〕
Ｗ２（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｍ）
【００４９】
本実施形態においては、第１音響フレーム、第２音響フレームいずれについても、奇数番目の音響フレームと偶数番目の音響フレームを、所定サンプルずつ重複して読み込む。したがって、周波数成分の改変を行った後、音響信号の状態に復元する際、窓関数を乗じた奇数番目の音響フレームと、窓関数を乗じた偶数番目の音響フレームの重複サンプルを加算した場合に、ほぼ元の値に戻るようにしなければならない。このため、奇数番目の音響フレームと偶数番目の音響フレームの重複部分において、窓関数Ｗ（ｉ）、Ｗ２（ｉ）を加算すると、全区間固定値１になるように定義される必要がある。
【００５０】
時間−周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、以下の〔数式４〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。
【００５１】
〔数式４〕
Ａｌ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
【００５２】
上記〔数式４〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ／２−１の整数値をとる。サンプリング周波数が９６ｋＨｚ、Ｎ＝８１９２の場合、ｊの値が１つ異なると、周波数が約１１．７Ｈｚ異なることになる。
【００５３】
時間−周波数変換手段２０が、第２音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘ２ｌ（ｉ）、右チャンネル信号Ｘ２ｒ（ｉ）（ｉ＝０，…，Ｍ−１）に対して、窓関数Ｗ（ｉ）を用いて、以下の〔数式５〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａ２ｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａ２ｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。
【００５４】
〔数式５〕
Ａ２ｌ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ２ｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｍ）
Ｂ２ｌ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ２ｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｍ）
Ａ２ｒ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ２ｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｍ）
Ｂ２ｒ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ２ｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｍ）
【００５５】
上記〔数式４〕〔数式５〕において、ｉは、各音響フレーム内のＭ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｍ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｍ／２−１の整数値をとる。サンプリング周波数が４８ｋＨｚ、Ｍ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１１．７Ｈｚ異なることになる。
【００５６】
ステップＳ４、Ｓ５においてそれぞれ上記〔数式４〕〔数式５〕に従った処理を実行することにより、各第１音響フレーム、第２音響フレームに対応する複素数のスペクトルが得られる。続いて、周波数成分改変手段３０が、ステップＳ６、Ｓ７において周波数成分の改変を行う。まず、周波数成分改変手段３０は、第１音響フレームから得られた第１スペクトルを用いて、高域に低域打消し成分を追加する処理を行う（ステップＳ６）。具体的には、第１スペクトルの成分を正負反転させ、周波数Ｆｔ（本実施形態では、Ｆｔ＝Ｆｓ／２）を中心に折り返す処理を行う。
【００５７】
ステップＳ６における低域打消し成分の追加処理を行ったら、次に、周波数成分改変手段３０は、低域打消し成分の追加処理後の第１スペクトルと第２スペクトルの合成を行う（ステップＳ７）。第２スペクトルについては、周波数Ｆｓ／２を中心に折り返しながら加算する。この結果、第１スペクトル（合成スペクトル）は、図２（ｃ）に示すような状態となる。合成後の第１スペクトル（改変音響信号のスペクトル）においては、周波数Ｆｓ／２より大きい範囲において、元の第１スペクトルに存在した信号成分を振幅反転したものと、第２スペクトルの信号成分が、折り返された状態で存在することになる。
【００５８】
図２（ｃ）の例では、周波数Ｆｓ／２〜Ｆｓにおいて、２種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。図２（ｃ）に示すように、合成後のスペクトルでは、周波数Ｆｓ／２〜Ｆｓにおいて、第１音響信号の振幅反転成分（低域打消し成分）および第２音響信号に由来する成分は双方とも雑音化されて、エネルギーが高い第１音響信号の低域成分にマスキングされるため、改変後の音響信号を再生したとしても、第１音響信号の振幅反転成分および第２音響信号の成分は、人間には聴取されない。
【００５９】
周波数成分改変手段３０が上記ステップＳ６、Ｓ７で行った処理は以下の〔数式６〕としてまとめることができる。
【００６０】
〔数式６〕
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／２−ｊ）×α＋Ａ２ｌ（Ｍ−ｊ）×β
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／２−ｊ）×α＋Ｂ２ｌ（Ｍ−ｊ）×β
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／２−ｊ）×α＋Ａ２ｒ（Ｍ−ｊ）×β
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／２−ｊ）×α＋Ｂ２ｒ（Ｍ−ｊ）×β
【００６１】
周波数成分改変手段３０は、周波数成分Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａ２ｌ（ｊ）、Ｂ２ｌ（ｊ）に対して、上記〔数式６〕に従った処理を、ｊ＝Ｎ／４＋１，・・・，Ｎ／２−１の各ｊについて実行する。１音響フレームのサンプル数Ｎ=８１９２、サンプリング周波数Ｆｕｓ＝９６ｋＨｚ（＝２Ｆｓ）でアップサンプリングを行った場合、ｊ＝Ｎ／４は、周波数Ｆｓ／２（＝Ｆｕｓ／４）に対応し、ｊ＝Ｎ／２は、周波数Ｆｓ（＝Ｆｕｓ／２）に対応する。したがって、〔数式６〕においては、ｊ＝２０４９，・・・，４０９６が処理対象となり、約２４．０ｋＨｚ（略人間の可聴域上限）〜約４７．９ｋＨｚの周波数成分が変更される。
【００６２】
上記〔数式６〕において、α、βは、０．０＜α、β≦１．０の範囲で設定されるスケーリング実数値である。本実施形態ではα＝β＝１．０に設定されている。上記〔数式６〕に示した各式右辺の第１項（−Ａｌ（Ｎ／２−ｊ）×α等）は第１スペクトルの低域打消し成分であり、各式右辺の第２項（Ａ２ｌ（Ｍ−ｊ）×β等）は、第２スペクトルを周波数方向に折り返した成分である。
【００６３】
図５のフローチャートと上記〔数式６〕の対応関係を示すと、ステップＳ６における高域に低域打消し成分を追加する処理が、上記〔数式６〕の右辺第１項を加算する処理に対応し、ステップＳ７における第１スペクトルと第２スペクトルの合成処理が、上記〔数式６〕の右辺第２項を加算する処理に対応することになる。
【００６４】
周波数成分改変手段３０が、ステップＳ７における合成処理を終えたら、次に、周波数−時間変換手段４０が、改変後の第１スペクトルを周波数−時間変換して改変音響フレームを得る処理を行う（ステップＳ８）。この周波数−時間変換は、当然のことながら、時間−周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、時間−周波数変換手段２０において、フーリエ変換を施しているため、周波数−時間変換手段４０は、フーリエ逆変換を実行することになる。
【００６５】
具体的には、周波数−時間変換手段４０は、周波数成分改変手段３０により得られた第１スペクトルの左チャンネルの実部Ａｌ´（ｊ）、虚部Ｂｌ´（ｊ）、右チャンネルの実部Ａｒ´（ｊ）、虚部Ｂｒ´（ｊ）を用いて、以下の〔数式７〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、周波数成分改変手段３０において改変されていない周波数成分については、Ａｌ´（ｊ）、Ｂｌ´（ｊ）、Ａｒ´（ｊ）、Ｂｒ´（ｊ）として、それぞれ元の周波数成分であるＡｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）を用いる。
【００６６】
〔数式７〕
Ｘｌ´（ｉ）＝１／Ｎ×｛ΣjＡｌ´（ｊ）×ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（ｊ）×ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｌｐ（ｉ＋Ｎ／２）
Ｘｒ´（ｉ）＝１／Ｎ×｛ΣjＡｒ´（ｊ）×ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（ｊ）×ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｒｐ（ｉ＋Ｎ／２）
【００６７】
上記〔数式７〕においては、式が繁雑になるのを防ぐため、Σj=0,…,N-1をΣjとして示している。上記〔数式７〕における第１式の“＋Ｘｌｐ（ｉ＋Ｎ／２）”、第２式の“＋Ｘｒｐ（ｉ＋Ｎ／２）”の項は、直前に改変された改変音響フレームのデータＸｌｐ（ｉ）、Ｘｒｐ（ｉ）が存在する場合に、時間軸上Ｎ／２サンプル分重複することを考慮して加算するためのものである。上記〔数式７〕により改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。
【００６８】
ステップＳ８における周波数−時間変換の後、得られた改変音響フレームを順次出力して改変音響信号を得ることができる。ステップＳ８までの処理であっても、実験上は、図２を用いて説明したように、デジタル的に再サンプリングすることにより複製された際に、原音響信号が抑圧され、代わりに第２音響信号の成分が可聴化されることを確認できる。しかし、一般に普及している音響信号加工ツールを用いてデジタル的に再サンプリングを行ったり、複製の際に一般的に利用されるＡ／Ｄ変換器やサンプラーを用いて複製を行ったりすると、前述の所望の効果は殆ど実現できない。その理由は、商用の音響信号加工ツールやサンプラー・録音機器等においては、アンチエイリアシング処理を行うＬＰＦ回路が前置されていることが普通で、サンプリング時に指定されたサンプリング周波数の１／２より高域の周波数成分を減衰させてからサンプリングを行うようにし、高域折り返し信号成分による品質劣化を防ぐように対策されているためである。そのため、ステップ８までの処理で埋め込んだ原音響信号を打ち消すための信号成分および第２音響信号を発生させる信号成分が削除されてしまうのが通常である。
【００６９】
図６は、ステップＳ８までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。図６において、図６（ａ）は図２（ｃ）と同一であり、ステップＳ８までの処理の結果得られた改変音響信号の信号スペクトルを示す。図６（ｂ）は、ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）処理によるフィルタゲインを示す。図６（ｃ）は、改変音響信号に対してＬＰＦ処理を行った信号の信号スペクトルを示す。図６（ｄ）は、改変音響信号をＬＰＦ処理後に再サンプリングして得られた複製音響信号の信号スペクトルを示す。
【００７０】
図６（ｂ）に示すように、ＬＰＦ処理によるフィルタゲインは、周波数Ｆｓ／２までは減衰値０［ｄＢ］で一定であり、周波数Ｆｓ／２前後で急激に下がり、ある程度まで下がったところで最大減衰値に値（−３０ｄＢなど）で一定になる。アナログ的な複製処理を行う場合は無論のこと、デジタル的な複製処理を行う場合でもサンプリング周波数の変更を伴う場合には、サンプリングの前処理として通常ＬＰＦ処理が行われるため、図６（ａ）に示した改変音響信号は、図６（ｂ）に示したような特性のＬＰＦ処理が行われることになる。改変音響信号に対してＬＰＦ処理を行った信号は、図６（ｃ）に示したようなものになる。図６（ａ）と図６（ｃ）を比較するとわかるように、周波数Ｆｓ／２以下の元の音響信号に対応する部分はそのまま残り、周波数Ｆｓ／２を超える打消し成分、妨害音に対応する成分については、ＬＰＦの影響で減衰する。
【００７１】
さらに、図６（ｃ）に示す信号を、サンプリング周波数Ｆｓで再サンプリングすると、図６（ｄ）に示す複製音響信号が得られる。複製音響信号では、エイリアシングが発生し、減衰した打消し成分、妨害音に対応する成分が、人間の可聴域である周波数Ｆｓ／２以下に折り返される。これにより、図６（ｄ）に示すように、複製音響信号の周波数Ｆｓ／２以下の範囲には、減衰した打消し成分の影響により、僅かながら減衰した元の音響信号の成分に、減衰した第２音響信号に対応する成分が重畳されることになる。減衰した第２音響信号は、僅かながら減衰したものの残っている元の音響信号の成分によりマスキングされ、ほとんど人間に聴こえなくなり、複製防止効果がなくなる。本実施形態では、複製時にＬＰＦ処理が行われた場合にも第２音響信号を聴取可能にするため、以下のステップＳ９において補正処理を行う。
【００７２】
図７は、ステップＳ９の補正処理による信号スペクトルの変化の様子を示す図である。図７において、図７（ａ）、（ｂ）は、図６（ａ）と同一であり、それぞれステップＳ８までの処理の結果得られた改変音響信号のＬチャンネル、Ｒチャンネルの信号スペクトルを示す。現実には、ステレオ音響信号の場合、Ｌチャンネル、Ｒチャンネルの信号スペクトルは同一でない場合が多いが、ここでは、説明の便宜上、Ｌチャンネル、Ｒチャンネルを同一の信号スペクトルで示している。図７（ｃ）、（ｄ）は、それぞれステップＳ９による処理後のＬチャンネル、Ｒチャンネルの信号スペクトルを示す。ステップＳ９においては、Ｌチャンネルの信号に対しては改変を行わず、Ｒチャンネルの信号に対してのみ改変を行うため、図７（ｃ）は図７（ａ）と同一となっている。
【００７３】
再び図５のフローチャートに戻って説明する。ステップＳ８までの処理により得られた図７（ａ）、（ｂ）に示す改変音響信号に対して、チャンネル間およびサンプル間の演算処理を行う（ステップＳ９）。具体的には、２つのチャンネルで対応する成分を加算しモノラル化すると、隣接する２つのサンプルの値が同一の値（２つのチャンネルで計４つのサンプルの平均値×２）になるように、Ｒチャンネルの各サンプルの値を補正する。本実施形態では、以下の〔数式８〕に従った処理を実行し、Ｒチャンネルの各サンプルの値Ｘｒ´を補正する。
【００７４】
〔数式８〕
Ｘｒ´（ｋ×２）←｛Ｘｌ´（ｋ×２）＋Ｘｌ´（ｋ×２＋１）＋Ｘｒ´（ｋ×２）＋Ｘｒ´（ｋ×２＋１）｝／２−Ｘｌ´（ｋ×２）
Ｘｒ´（ｋ×２＋１）←｛Ｘｌ´（ｋ×２）＋Ｘｌ´（ｋ×２＋１）＋Ｘｒ´（ｋ×２）＋Ｘｒ´（ｋ×２＋１）｝／２−Ｘｌ´（ｋ×２＋１）
【００７５】
上記〔数式８〕において、ｋは、ｋ＝０，・・・，Ｎ／２−１の範囲の値をとる整数であり、Ｘｌ´（ｋ×２）はＬチャンネル信号の偶数番目のサンプル値、Ｘｌ´（ｋ×２＋１）はＬチャンネル信号の奇数番目のサンプル値、Ｘｒ´（ｋ×２）はＲチャンネル信号の偶数番目のサンプル値、Ｘｒ´（ｋ×２＋１）はＲチャンネル信号の奇数番目のサンプル値を示している。〔数式８〕において、第１式、第２式に共通の第１項は、２つのチャンネルの隣接する２サンプル（計４サンプル）の値の平均値×２の値である。第１式は、４サンプルの平均値×２から対応するＬチャンネルの偶数番目のサンプル値を減じた値を、新たなＲチャンネルの偶数番目のサンプル値とする処理を示している。また、第２式は、４サンプルの平均値×２から対応するＬチャンネルの奇数番目のサンプル値を減じた値を、新たなＲチャンネルの奇数番目のサンプル値とする処理を示している。このような補正を施した結果を図７（ｃ）、（ｄ）に示す。Ｌチャンネル側は何も補正を行っていないため、図７（ｃ）は図７（ｄ）と全く同一である。Ｒチャンネル側は、時間次元では大きく改変されているが、図７（ｄ）に示される周波数次元では図７（ｂ）に比べ顕著な変化は見られない。ただし、改変前に比べ隣接する２つのサンプルの値が近くなるため、図７（ｄ）の左側の点線で示されるように若干折り返しが発生する。
【００７６】
上述のように、ステップＳ９においては、２つのチャンネルで対応する成分を加算しモノラル化すると、隣接する２つのサンプルの値が同一の値（２つのチャンネルで計４つのサンプルの平均値×２）になるように、Ｒチャンネルの各サンプルの値を補正する。ステップＳ９においては、上記〔数式８〕に限定されず、モノラル化した状態で隣接する２つのサンプルが同一になるように、変更の程度を増減させることができる。また、補正対象はＲチャンネルのサンプルに限定されず、Ｌチャンネル側の２つのサンプルを補正するようにしてもよく、あるいはＲチャンネルの奇数番目１サンプルとＬチャンネルの偶数番目１サンプルを補正するようにしても良い。
【００７７】
改変音響フレーム出力手段５０は、改変音響フレーム補正手段４５の処理により得られた補正後の改変音響フレームを順次出力ファイルに出力する。上記図５のフローチャートに示した処理は、広帯域音響信号の全ての第１音響フレームに対して実行される。第１音響フレームの数が、第２音響フレームの数より多い場合は、先頭の第２音響フレームに戻って繰り返し処理を行う。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで第２音響信号を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。
【００７８】
図８は、ステップＳ９までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。図８において、図８（ａ）、（ｂ）は、それぞれ図７（ｃ）、（ｄ）と同一であり、ステップＳ９までの処理の結果得られた補正後の改変音響信号のＬチャンネル、Ｒチャンネルの信号スペクトルを示す。図８（ｃ）は、ＬＰＦ処理後に再サンプリングして得られた複製音響信号の信号スペクトルを示す。
【００７９】
図８に示すように、Ｌチャンネルスピーカー、Ｒチャンネルスピーカーからそれぞれ発せられたＬチャンネル改変音響信号、Ｒチャンネル改変音響信号をステレオまたはモノラルマイクロフォンで混合して録音し、サンプリング周波数Ｆｓで再サンプリングして複製音響信号を得る。（ステレオマイクロンフォンで録音しても実質的には左右同一のＬＲ混合信号が収録され、モノラルマイクロフォンで収録する場合と大差ない）。すると、ステレオ音響信号の混合により隣接する２つのサンプルが同一値になり１／２に間引いた状態と等価になりエイリアシングが発生し、図８（ｃ）に示すように、複製音響信号の周波数Ｆｓ／２以下の範囲には、図２（ｂ）に示したような第２音響信号が復元され、第２音響信号に基づく音が人間に聴こえる。警告メッセージ等の第２音響信号が音楽に重ねて聴こえると、客観的に違法コピーであることが判明するとともに、本来の状態で音楽を鑑賞することができず、商品化することができない。このため、複製に対する抑止力が働くことになる。
【００８０】
＜２．２．２．第２の実施形態＞
次に、本発明の第２の実施形態である音響信号に対する妨害音の埋め込み装置について説明する。図９は、第２の実施形態に係る音響信号に対する妨害音の埋め込み装置の処理動作を示すフローチャートである。第１の実施形態では、あらかじめ準備しておいた第２の音響信号を用いたが、第２の実施形態では、あらかじめ音源を準備することなく白色雑音など人工的に生成した雑音を埋め込む処理を行う。本実施形態においても、第１の実施形態と同様、第１音響信号は、サンプリング周波数Ｆｓとして４８ｋＨｚでサンプリングしたものを用いる。また、本実施形態では、折り返しの中心となる周波数Ｆｔ＝Ｆｓ／２とする。
【００８１】
まず、第１の実施形態におけるステップＳ１と同様、アップサンプリング手段８が、音響信号記憶部６１に記憶されたステレオの第１音響信号の左右の各チャンネルに対して、元のサンプリング周波数よりもサンプリング周波数を上げてサンプリングする処理を行う（ステップＳ１１）。本実施形態でも、第１の実施形態と同様、上記〔数式１〕に従った処理を実行し、元の第１音響信号のサンプリング周波数４８ｋＨｚを、サンプリング周波数９６ｋＨｚにアップサンプリングする。
【００８２】
音響フレーム読込手段１０は、アップサンプリングされたステレオの広帯域音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの音響フレームとして読み込む（ステップＳ１２）。
【００８３】
音響フレーム読込手段１０が読み込む１つの第１音響フレームのサンプル数Ｎ、適宜設定することができるが、本実施形態では、以下、Ｎ＝４０９６の場合について説明する。したがって、音響フレーム読込手段１０は、広帯域音響信号から左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次第１音響フレームとして読み込んでいくことになる。
【００８４】
本実施形態でも、第１の実施形態と同様、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態ではＮ／２＝２０４８）のサンプルを重複して設定される。したがって、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、重複させるサンプル数は適宜設定することが可能である。
【００８５】
次に、時間−周波数変換手段２０が、第１音響フレームに対して時間−周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ１３）。ステップＳ１３では、具体的には、窓関数を利用して時間−周波数変換を行う。時間−周波数変換としては、フーリエ変換、ウェーブレット変換その他、複素数のスペクトルを得られる公知の種々の手法を用いることができる。本実施形態では、第１の実施形態と同様、フーリエ変換を用いた場合を例にとって説明する。
【００８６】
本実施形態では、各第１音響フレームについてのフーリエ変換は、上記〔数式２〕で定義されるハニング窓関数Ｗ（ｉ）を乗じたものに対して行われることになる。
【００８７】
時間−周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式４〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。上記〔数式４〕による処理の結果、サンプリング周波数が９６ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約２３．４Ｈｚ異なることになる。
【００８８】
ステップＳ１３において上記〔数式４〕に従った処理を実行することにより、各第１音響フレームに対応する複素数のスペクトルが得られる。続いて、周波数成分改変手段３０が、第１音響フレームから得られた第１スペクトルを用いて、高域に低域打消し成分を追加する処理を行う（ステップＳ１４）。具体的には、第１の実施形態におけるステップＳ６と同様、第１スペクトルの成分を正負反転させ、周波数Ｆｓ／２を中心に折り返す処理を行う。ステップＳ１４における低域打消し成分の付加処理は、奇数番目の音響フレームに対してのみ行われ、偶数番目の音響フレームに対しては行われない。奇数番目と偶数番目で低域打消し成分をＯｎ／Ｏｆｆさせることにより、原音響信号に対して改変を加える割合を半分にするとともに、Ｏｎ／Ｏｆｆの低周波的な交番変動を加えることにより雑音再生音を明瞭にすることができる。
【００８９】
ステップＳ１４における低域打消し成分の追加処理を行ったら、次に、周波数成分改変手段３０は、低域打消し成分の追加処理後の第１スペクトルに白色雑音を付加する処理を行う（ステップＳ１５）。白色雑音とは、全ての周波数帯域においてエネルギーが均一に混入した雑音を示す。具体的には、以下の〔数式９〕に従った処理を実行し、高域の所定の範囲に、各周波数成分を同等に含む雑音である白色雑音を付加する処理を行う。
【００９０】
〔数式９〕
Ａｌ（ｊ）≧０の場合
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／２−ｊ）×α＋γ
Ａｌ（ｊ）＜０の場合
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／２−ｊ）×α−γ
Ｂｌ（ｊ）≧０の場合
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／２−ｊ）×α＋γ
Ｂｌ（ｊ）＜０の場合
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／２−ｊ）×α−γ
Ａｒ（ｊ）≧０の場合
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／２−ｊ）×α＋γ
Ａｒ（ｊ）＜０の場合
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／２−ｊ）×α−γ
Ｂｒ（ｊ）≧０の場合
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／２−ｊ）×α＋γ
Ｂｒ（ｊ）＜０の場合
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／２−ｊ）×α−γ
【００９１】
周波数成分改変手段３０は、周波数成分Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）に対して、上記〔数式９〕に従った処理を、ｊ＝１，・・・，Ｎ／２の各ｊについて実行する。１音響フレームのサンプル数Ｎ=４０９６、アップサンプリング後のサンプリング周波数Ｆｕｓ＝９６ｋＨｚ（＝２Ｆｓ）の場合、ｊ＝Ｎ／４は、周波数Ｆｓ／２（＝Ｆｕｓ／４）に対応し、ｊ＝Ｎ／２は、周波数Ｆｓ（＝Ｆｕｓ／２）に対応する。なお、ｊ＝Ｎ／２を超える高周波数成分に対しては、改変を加えない。上記〔数式９〕において、αは、０．０＜α≦１．０の範囲で設定されるスケーリング実数値である。本実施形態ではα＝１．０に設定されている。また、γは信号レベル実数値であり、本実施形態では、Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）が１６ビットの範囲（−３２７６８〜＋３２７６７）で定義されている場合、γ＝１０２４０．０に設定されている。上記〔数式９〕に示した各式右辺の第１項（−Ａｌ（Ｎ／２−ｊ）×α等）は低域打消し成分であり、各式右辺の第２項γは、白色雑音である。
【００９２】
上記〔数式９〕に示したように、複素数の実数成分および虚数成分の絶対値を増加させるように、所定の強度γを白色雑音として与える。ステップＳ１５における白色雑音の付加処理は、奇数番目の音響フレームに対してのみ行われ、偶数番目の音響フレームに対しては行われない。奇数番目と偶数番目で白色雑音をＯｎ／Ｏｆｆさせることにより、原音響信号に対して改変を加える割合を半分にするとともに、Ｏｎ／Ｏｆｆの低周波的な交番変動を加えることにより雑音再生音を明瞭にすることができる。
【００９３】
本実施形態では、ステップＳ１４、Ｓ１５における周波数成分の改変処理を奇数番目の音響フレームに対して行い、偶数番目の音響フレームに対しては行っていないが、１つ置きの音響フレームに対して改変処理を行う必要は必ずしもなく、妨害音の効果がより高まれば、２つ置きあるいは３つ置きの音響フレームに対して改変処理を行うようにしても良く、逆に全ての音響フレームに対して行うようにしても良い。なお、上記の例では、奇数番目と偶数番目は相対的なものであるため、偶数番目の音響フレームに対して処理を行い、奇数番目の音響フレームに対して処理を行わないようにしても良い。
【００９４】
周波数成分改変手段３０が、ステップＳ１５における白色雑音付加を行って改変処理を終えたら、次に、周波数−時間変換手段４０が、改変後のスペクトルを周波数−時間変換して改変音響フレームを得る処理を行う（ステップＳ１６）。この周波数−時間変換は、当然のことながら、時間−周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、時間−周波数変換手段２０において、フーリエ変換を施しているため、周波数−時間変換手段４０は、上記〔数式７〕に従った処理によりフーリエ逆変換を実行することになる。
【００９５】
ステップＳ１６における周波数−時間変換の後、得られた改変音響フレームを順次出力して改変音響信号を得ることができる。しかし、この段階で複製が行われても、前述の通り、複製の際に利用されるＡ／Ｄ変換器やサンプラーに前置されるアンチエイリアシング処理により、埋め込んだ原音響信号に対する打ち消し成分および妨害音を発生させる信号成分が減衰されてしまうことが通常である。そこで、本実施形態においても、第１の実施形態と同様、複製時にＬＰＦ処理が行われた場合にも所望の妨害音が聴取されるようにするため、以下のステップＳ１７の処理を行う。
【００９６】
すなわち、第１の実施形態と同様、ステップＳ１６までの処理により得られた改変音響信号に対して、チャンネル間およびサンプル間の演算処理を行う（ステップＳ１７）。具体的には、第１の実施形態と同様、双方のチャンネルを対応するサンプルごとに加算した際に、隣接する２つのサンプルを一致させるように、Ｒチャンネルの各サンプルの値を補正する。本実施形態では、第１の実施形態と同様、上記〔数式８〕に従った処理を実行し、Ｒチャンネルの各サンプルの値Ｘｒ´を補正する。
【００９７】
改変音響フレーム出力手段５０は、改変音響フレーム補正手段４５の処理により得られた補正後の改変音響フレームを順次出力ファイルに出力する。上記図９のフローチャートに示した処理は、広帯域音響信号の全ての第１音響フレームに対して実行される。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで妨害音を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。
【００９８】
＜２．２．３．第３の実施形態＞
次に、本発明第３の実施形態の音響信号に対する妨害音の埋め込み装置について説明する。第１の実施形態では、原音響信号をアップサンプリングして広帯域音響信号を作成し、広帯域音響信号に対して第２音響信号の埋め込みを行ったが、第３の実施形態では、アップサンプリングを行わず、原音響信号に対して直接第２音響信号を埋め込む処理を行う。第１の実施形態と類似する処理が多いため、図５のフローチャートを用いて説明を行う。本実施形態においては、第１音響信号として、サンプリング周波数Ｆｓ＝４４．１ｋＨｚでサンプリングしたものを用いる。また、本実施形態では、折り返しの中心となる周波数Ｆｔ＝Ｆｓ／４とする。
【００９９】
本実施形態では、アップサンプリング手段８を介さず、音響フレーム読込手段１０が、直接音響信号記憶部６１に記憶された原音響信号を読み込む。音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの原音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第１音響フレームとして読み込む（ステップＳ２）。同様に、音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの第２音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第２音響フレームとして読み込む（ステップＳ３）。
【０１００】
音響フレーム読込手段１０が読み込む１つの音響フレームのサンプル数Ｎは、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすると、最も原音に対するダメージを少なくできることが分かっているので、以下この設定値で説明する。したがって、音響フレーム読込手段１０は、音響信号から、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。
【０１０１】
本実施形態でも、第１の実施形態と同様、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態では２０４８）のサンプルを重複して設定される。したがって、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。
【０１０２】
次に、時間−周波数変換手段２０が、第１音響フレームに対して時間−周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ４）。同様に、時間−周波数変換手段２０が、第２音響フレームに対して時間−周波数変換を行って、その第２音響フレームの複素数のスペクトルを得る（ステップＳ５）。ステップＳ４、Ｓ５では、具体的には、窓関数を利用して時間−周波数変換を行う。時間−周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、複素数のスペクトルを得られる手法である必要がある。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。ステップＳ４、Ｓ５では、第１の実施形態と同様、上記〔数式２〕に示した窓関数Ｗ（ｉ）を利用して時間−周波数変換を行う。
【０１０３】
時間−周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式４〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。上記〔数式４〕に従った処理の結果、サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１０．８Ｈｚ異なることになる。ステップＳ４により得られる原音響信号の信号スペクトルは、図１０（ａ）に示したようなものとなる。
【０１０４】
時間−周波数変換手段２０が、第２音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘ２ｌ（ｉ）、右チャンネル信号Ｘ２ｒ（ｉ）（ｉ＝０，…，Ｍ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式５〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａ２ｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａ２ｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。上記〔数式４〕に従った処理の結果、サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１０．８Ｈｚ異なることになる。ステップＳ５により得られる第２音響信号の信号スペクトルは、図１０（ｂ）に示したようなものとなる。
【０１０５】
ステップＳ４、Ｓ５においてそれぞれ上記〔数式４〕〔数式５〕に従った処理を実行することにより、各第１音響フレーム、第２音響フレームに対応する複素数のスペクトルが得られる。続いて、周波数成分改変手段３０が、第１音響フレームから得られた第１スペクトルを用いて、高域に低域打消し成分を追加する処理を行う（ステップＳ６）。具体的には、第１スペクトルの成分を正負反転させ、周波数Ｆｓ／２を中心に折り返す処理を行う。
【０１０６】
ステップＳ６における低域打消し成分の追加処理を行ったら、次に、周波数成分改変手段３０は、低域打消し成分の追加処理後の第１スペクトルと第２スペクトルの合成を行う（ステップＳ７）。第２スペクトルについては、周波数Ｆｓ／４を中心に折り返しながら加算する。この結果、第１スペクトル（合成スペクトル）は、図１０（ｃ）に示すような状態となる。合成後の第１スペクトル（改変音響信号のスペクトル）においては、周波数Ｆｓ／４より大きい範囲において、元の第１スペクトルに存在した信号成分を振幅反転したものと、第２スペクトルの信号成分が、折り返された状態で存在することになる。
【０１０７】
図１０（ｃ）の例では、周波数Ｆｓ／４〜Ｆｓ／２において、２種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。図１０（ｃ）に示すように、合成後のスペクトルでは、周波数Ｆｓ／４〜Ｆｓ／２において、第１音響信号の振幅反転成分および第２音響信号に由来する成分は雑音化されて、第１音響信号の低域成分にマスキングされるため、改変後の音響信号を再生したとしても、第１音響信号の振幅反転成分および第２音響信号の成分は、人間には聴取されない。
【０１０８】
周波数成分改変手段３０が上記ステップＳ６、Ｓ７で行った処理は以下の〔数式１０〕としてまとめることができる。
【０１０９】
〔数式１０〕
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／２−ｊ）×α＋Ａ２ｌ（Ｎ／２−ｊ）×βｌ
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／２−ｊ）×α＋Ｂ２ｌ（Ｎ／２−ｊ）×βｌ
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／２−ｊ）×α＋Ａ２ｒ（Ｎ／２−ｊ）×βｒ
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／２−ｊ）×α＋Ｂ２ｒ（Ｎ／２−ｊ）×βｒ
【０１１０】
周波数成分改変手段３０は、周波数成分Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａ２ｌ（ｊ）、Ｂ２ｌ（ｊ）に対して、上記〔数式１０〕に従った処理を、ｊ＝Ｎ／４＋１，・・・，Ｎ／２−１の各ｊについて実行する。１音響フレームのサンプル数Ｎ=４０９６、サンプリング周波数Ｆｓ＝４４．１ｋＨｚの場合、ｊ＝Ｎ／４は、周波数Ｆｓ／４に対応し、ｊ＝Ｎ／２は、周波数Ｆｓ／２に対応する。したがって、〔数式１０〕においては、ｊ＝１０２５，・・・，２０４８が処理対象となり、約１１．１ｋＨｚ〜約２２．１ｋＨｚ（略人間の可聴域上限）の周波数成分が変更される。
【０１１１】
上記〔数式１０〕において、α、βｌ、βｒは、０．０＜α、βｌ、βｒ≦１．０の範囲で設定されるスケーリング実数値である。本実施形態ではα＝βｌ＝βｒ＝１．０に設定されている。上記〔数式１０〕に示した各式右辺の第１項（−Ａｌ（Ｎ／２−ｊ）×α等）は低域打消し成分であり、各式右辺の第２項（Ａ２ｌ（Ｎ／２−ｊ）×βｌ等）は、第２スペクトルを周波数方向に折り返した成分である。
【０１１２】
第２音響信号の成分を可聴域へ埋め込む場合は、音質劣化に留意する必要がある。そのため、本実施形態のように、人間の可聴域である約１１．１ｋＨｚ〜約２２．１ｋＨｚに埋め込む際には、βｌ、βｒを元の原音響信号の信号強度と連動させて増減させることにより、埋め込みによる品質劣化を抑えることができる。具体的には、以下の〔数式１１〕により算出することができる。
【０１１３】
〔数式１１〕
βｌ＝βｏ[βｌｐ＋５０×Ａｖｅｌ]／２
βｒ＝βｏ[βｒｐ＋５０×Ａｖｅｒ]／２
Ａｖｅｌ＝[Σi=1,…,N/4-1｛Ａｌ（ｊ＋Ｎ／４）2＋Ｂｌ（ｊ＋Ｎ／４）2｝×１６ｊ／Ｎ2] 1/2
Ａｖｅｒ＝[Σi=1,…,N/4-1｛Ａｒ（ｊ＋Ｎ／４）2＋Ｂｒ（ｊ＋Ｎ／４）2｝×１６ｊ／Ｎ2] 1/2
【０１１４】
上記〔数式１１〕において、βｏ＝１．０であり、βｌｐ、βｒｐは、それぞれ直前の音響フレームで決定されたβｌ、βｒの値である。先頭の音響フレームの場合、直前の音響フレームが存在しないため、βｌｐ、βｒｐ＝βｏとする。第１式、第２式に登場する係数“５０”は、所定の定数であり、０〜１００の整数値に設定することが可能であるが、本実施形態のように“５０”に近い程好ましい。Ａｖｅｌ、Ａｖｅｒは、周波数Ｆｔから周波数２Ｆｔに含まれる所定範囲の信号成分の平均値である。上記〔数式１１〕で算出されたβｌ、βｒをそのまま使用すると、βｌ、βｒの急変によりスパイクノイズが発生する場合があるため、本実施形態では、上記〔数式１１〕で算出されたβｌ、βｒとその直前の音響フレームから得られたβｌｐ、βｒｐの平均値を新たなβｌ、βｒとして算出し、〔数式１０〕において用いる。
【０１１５】
図５のフローチャートと上記〔数式１０〕の対応関係を示すと、ステップＳ６における高域に低域打消し成分を追加する処理が、上記〔数式１０〕の右辺第１項を加算する処理に対応し、ステップＳ７における第１スペクトルと第２スペクトルの合成処理が、上記〔数式１０〕の右辺第２項を加算する処理に対応することになる。
【０１１６】
周波数成分改変手段３０が、ステップＳ７における合成処理を終えたら、次に、周波数−時間変換手段４０が、改変後の第１スペクトルを周波数−時間変換して改変音響フレームを得る処理を行う（ステップＳ８）。この周波数−時間変換は、当然のことながら、時間−周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、時間−周波数変換手段２０において、フーリエ変換を施しているため、周波数−時間変換手段４０は、フーリエ逆変換を実行することになる。
【０１１７】
具体的には、第１の実施形態と同様、周波数−時間変換手段４０は、周波数成分改変手段３０により得られた第１スペクトルの左チャンネルの実部Ａｌ´（ｊ）、虚部Ｂｌ´（ｊ）、右チャンネルの実部Ａｒ´（ｊ）、虚部Ｂｒ´（ｊ）を用いて、上記〔数式７〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、周波数成分改変手段３０において改変されていない周波数成分については、Ａｌ´（ｊ）、Ｂｌ´（ｊ）、Ａｒ´（ｊ）、Ｂｒ´（ｊ）として、それぞれ元の周波数成分であるＡｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）を用いる。
【０１１８】
第１の実施形態と同様、ステップＳ８における周波数−時間変換の後、得られた改変音響フレームを順次出力して改変音響信号を得ることができる。ステップＳ８までの処理は前述の通り複製された際に、原音信号の打ち消し成分や第２音響信号の成分が複製の際に利用されるＡ／Ｄ変換器やサンプラーに前置されているアンチエイリアシング処理により減衰されてしまうことが通常である。本実施形態においても、複製時にＬＰＦ処理が行われた場合にも所望の効果を働かせるため以下のステップＳ９の処理を行う。
【０１１９】
図１１は、ステップＳ９の処理による信号スペクトルの変化の様子を示す図である。図１１において、図１１（ａ）、（ｂ）は、図１０（ａ）と同一であり、それぞれステップＳ８までの処理の結果得られた改変音響信号のＬチャンネル、Ｒチャンネルの信号スペクトルを示す。現実には、ステレオ音響信号の場合、Ｌチャンネル、Ｒチャンネルの信号スペクトルは同一でない場合が多いが、ここでは、図７と同様、説明の便宜上、Ｌチャンネル、Ｒチャンネルを同一の信号スペクトルで示している。図１１（ｃ）、（ｄ）は、それぞれステップＳ９による処理後のＬチャンネル、Ｒチャンネルの信号スペクトルを示す。ステップＳ９においては、Ｌチャンネルの信号に対しては改変を行わず、Ｒチャンネルの信号に対してのみ改変を行うため、図１１（ｃ）は図１１（ａ）と同一となっている。
【０１２０】
再び図５のフローチャートに戻って説明する。ステップＳ８までの処理により得られた図１１（ａ）、（ｂ）に示す改変音響信号に対して、チャンネル間およびサンプル間の演算処理を行う（ステップＳ９）。具体的には、双方のチャンネルを対応するサンプルごとに加算した際に、隣接する２つのサンプルを一致させるように、Ｒチャンネルの各サンプルの値を補正する。本実施形態では、第１の実施形態と同様、上記〔数式８〕に従った処理を実行し、Ｒチャンネルの各サンプルの値Ｘｒ´を補正する。このような補正を施した結果を図１１（ｃ）、（ｄ）に示す。Ｌチャンネル側は何も補正を行っていないため、図１１（ｃ）は図１１（ｄ）と全く同一である。Ｒチャンネル側は、時間次元では大きく改変されているが、図１１（ｄ）に示される周波数次元では図１１（ｂ）に比べ顕著な変化は見られない。ただし、改変前に比べ隣接する２つのサンプルの値が近くなるため、図１１（ｄ）の左側の点線で示されるように若干折り返しが発生する。
【０１２１】
改変音響フレーム出力手段５０は、改変音響フレーム補正手段４５の処理により得られた補正後の改変音響フレームを順次出力ファイルに出力する。上記図５のフローチャートに示した処理（ステップＳ１除く）は、第１音響信号の全ての第１音響フレームに対して実行される。第１音響フレームの数が、第２音響フレームの数より多い場合は、先頭の第２音響フレームに戻って繰り返し処理を行う。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで第２音響信号を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。
【０１２２】
図１２は、ステップＳ９までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。図１２において、図１２（ａ）、（ｂ）は、それぞれ図１１（ｃ）、（ｄ）と同一であり、ステップＳ９までの処理の結果得られた補正後の改変音響信号のＬチャンネル、Ｒチャンネルの信号スペクトルを示す。図１２（ｃ）は、ＬＰＦ処理後に再サンプリングして得られた複製音響信号の信号スペクトルを示す。
【０１２３】
図１２に示すように、Ｌチャンネルスピーカー、Ｒチャンネルスピーカーからそれぞれ発せられたＬチャンネル改変音響信号、Ｒチャンネル改変音響信号をステレオまたはモノラルマイクロフォンで混合して録音し、サンプリング周波数Ｆｓで再サンプリングして複製音響信号を得る。すると、ステレオ音響信号の混合により隣接する２つのサンプルが同一値になり１／２に間引いた状態と等価になりエイリアシングが発生し、図１２（ｃ）に示すように、複製音響信号の周波数Ｆｓ／２以下の範囲には、図２（ｂ）に示したような第２音響信号が復元され、第２音響信号に基づく音が人間に聴こえる。警告メッセージ等の第２音響信号が音楽に重ねて聴こえると、客観的に違法コピーであることが判明するとともに、本来の状態で音楽を鑑賞することができず、商品化することができない。このため、複製に対する抑止力が働くことになる。
【０１２４】
＜２．２．４．第４の実施形態＞
次に、本発明の第４の実施形態である音響信号に対する妨害音の埋め込み装置について説明する。第２の実施形態では、原音響信号をアップサンプリングして広帯域音響信号を作成し、白色雑音の埋め込みを行ったが、第４の実施形態では、アップサンプリングを行わず、原音響信号に対して直接白色雑音を埋め込む処理を行う。第２の実施形態と類似する処理が多いため、図９のフローチャートを用いて説明を行う。本実施形態においては、第１音響信号として、サンプリング周波数Ｆｓ＝４４．１ｋＨｚでサンプリングしたものを用いる。また、本実施形態では、折り返しの中心となる周波数Ｆｔ＝Ｆｓ／４とする。
【０１２５】
本実施形態では、アップサンプリング手段８を介さず、音響フレーム読込手段１０が、直接音響信号記憶部６１に記憶された音響信号を読み込む。音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第１音響フレームとして読み込む（ステップＳ１２）。
【０１２６】
音響フレーム読込手段１０が読み込む１つの第１音響フレームのサンプル数Ｎ、適宜設定することができるが、本実施形態では、以下、Ｎ＝４０９６の場合について説明する。したがって、音響フレーム読込手段１０は、広帯域音響信号から左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次第１音響フレームとして読み込んでいくことになる。
【０１２７】
本実施形態でも、第１〜第３の実施形態と同様、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態ではＮ／２＝２０４８）のサンプルを重複して設定される。したがって、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、重複させるサンプル数は適宜設定することが可能である。
【０１２８】
次に、時間−周波数変換手段２０が、第１音響フレームに対して時間−周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ１３）。ステップＳ１３では、具体的には、窓関数を利用して時間−周波数変換を行う。時間−周波数変換としては、フーリエ変換、ウェーブレット変換その他、複素数のスペクトルを得られる公知の種々の手法を用いることができる。本実施形態では、第１の実施形態と同様、フーリエ変換を用いた場合を例にとって説明する。
【０１２９】
本実施形態では、各第１音響フレームについてのフーリエ変換は、上記〔数式１〕で定義されるハニング窓関数Ｗ（ｉ）を乗じたものに対して行われることになる。
【０１３０】
時間−周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式４〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。上記〔数式４〕による処理の結果、サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１０．８Ｈｚ異なることになる。
【０１３１】
ステップＳ１３において上記〔数式４〕に従った処理を実行することにより、各第１音響フレームに対応する複素数のスペクトルが得られる。続いて、第２の実施形態と同様、周波数成分改変手段３０が、第１音響フレームから得られた第１スペクトルを用いて、高域に低域打消し成分を追加する処理を行う（ステップＳ１４）。
【０１３２】
ステップＳ１４における低域打消し成分の追加処理を行ったら、次に、周波数成分改変手段３０は、第２の実施形態と同様、低域打消し成分の追加処理後の第１スペクトルに白色雑音を付加する処理を行う（ステップＳ１５）。具体的には、以下の〔数式１２〕に従った処理を実行し、高域の所定の範囲に、各周波数成分を同等に含む雑音である白色雑音を付加する処理を行う。
【０１３３】
〔数式１２〕
Ａｌ（ｊ）≧０の場合
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／４−ｊ）×α＋γｌ
Ａｌ（ｊ）＜０の場合
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／４−ｊ）×α−γｌ
Ｂｌ（ｊ）≧０の場合
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／４−ｊ）×α＋γｌ
Ｂｌ（ｊ）＜０の場合
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／４−ｊ）×α−γｌ
Ａｒ（ｊ）≧０の場合
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／４−ｊ）×α＋γｒ
Ａｒ（ｊ）＜０の場合
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／４−ｊ）×α−γｒ
Ｂｒ（ｊ）≧０の場合
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／４−ｊ）×α＋γｒ
Ｂｒ（ｊ）＜０の場合
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／４−ｊ）×α−γｒ
【０１３４】
周波数成分改変手段３０は、周波数成分Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）に対して、上記〔数式１２〕に従った処理を、ｊ＝Ｎ／４＋１，・・・，Ｎ／２−１の各ｊについて実行する。１音響フレームのサンプル数Ｎ=４０９６、サンプリング周波数Ｆｓ＝４４．１ｋＨｚの場合、ｊ＝Ｎ／４は、周波数Ｆｓ／４に対応し、ｊ＝Ｎ／２は、周波数Ｆｓ／２に対応する。なお、ｊ＝１，・・・Ｎ／４の各成分に対しては、改変を加えない。上記〔数式１２〕において、αは、０．０＜α≦１．０の範囲で設定されるスケーリング実数値である。本実施形態ではα＝１．０に設定されている。また、γｌ、γｒは白色雑音成分に相当する信号レベル実数値であり、本実施形態では、Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）が１６ビットの範囲（−３２７６８〜＋３２７６７）で定義されている場合、γｌ＝γｒ＝１０２４．０に設定されている。上記〔数式１２〕に示した各式右辺の第１項（−Ａｌ（Ｎ／４−ｊ）×α等）は低域打消し成分であり、各式右辺の第２項γｌ、γｒは、白色雑音成分である。
【０１３５】
白色雑音成分を可聴域へ埋め込む場合は、音質劣化に留意する必要がある。そのため、本実施形態のように、人間の可聴域である約１１．１ｋＨｚ〜約２２．１ｋＨｚに埋め込む際には、γｌ、γｒを元の原音響信号の信号強度と連動させて増減させることにより、埋め込みによる品質劣化を抑えることができる。具体的には、以下の〔数式１３〕により算出することができる。
【０１３６】
〔数式１３〕
γｌ＝γｏ[γｌｐ＋５０×Ａｖｅｌ]／２
γｒ＝γｏ[γｒｐ＋５０×Ａｖｅｒ]／２
Ａｖｅｌ＝[Σi=1,…,N/4-1｛Ａｌ（ｊ＋Ｎ／４）2＋Ｂｌ（ｊ＋Ｎ／４）2｝×１６ｊ／Ｎ2] 1/2
Ａｖｅｒ＝[Σi=1,…,N/4-1｛Ａｒ（ｊ＋Ｎ／４）2＋Ｂｒ（ｊ＋Ｎ／４）2｝×１６ｊ／Ｎ2] 1/2
【０１３７】
上記〔数式１３〕において、γｏ＝１０２４．０であり、γｌｐ、γｒｐは、それぞれ直前の音響フレームで決定されたγｌ、γｒの値である。先頭の音響フレームの場合、直前の音響フレームが存在しないため、γｌｐ、γｒｐ＝γｏとする。第１式、第２式に登場する係数“５０”は、所定の定数であり、０〜１００の整数値に設定することが可能であるが、本実施形態のように“５０”に近い程好ましい。Ａｖｅｌ、Ａｖｅｒは、第３実施形態と同様、周波数Ｆｔから周波数２Ｆｔに含まれる所定範囲の信号成分の平均値である。上記〔数式１３〕で算出されたγｌ、γｒをそのまま使用すると、γｌ、γｒの急変によりスパイクノイズが発生する場合があるため、本実施形態では、上記〔数式１３〕で算出されたγｌ、γｒとその直前の音響フレームから得られたγｌｐ、γｒｐの平均値を新たなγｌ、γｒとして算出し、〔数式１２〕において用いる。
【０１３８】
上記〔数式１２〕に示したように、複素数の実数成分および虚数成分の絶対値を増加させるように、所定の強度γｌ、γｒを白色雑音成分として与える。ステップＳ１５における白色雑音の付加処理は、第２の実施形態と同様、奇数番目の音響フレームに対してのみ行われ、偶数番目の音響フレームに対しては行われない。奇数番目と偶数番目で白色雑音をＯｎ／Ｏｆｆさせることにより、原音響信号に対して改変を加える割合を半分にするとともに、Ｏｎ／Ｏｆｆの低周波的な交番変動を加えることにより雑音再生音を明瞭にすることができる。
【０１３９】
本実施形態では、ステップＳ１４、Ｓ１５における周波数成分の改変処理を奇数番目の音響フレームに対して行い、偶数番目の音響フレームに対しては行っていないが、前述の通り、１つ置きの音響フレームに対して改変処理を行う必要はなく、妨害音の効果が高い手法を適宜選択すれば良い。
【０１４０】
周波数成分改変手段３０が、ステップＳ１５における白色雑音付加を行って改変処理を終えたら、次に、周波数−時間変換手段４０が、改変後のスペクトルを周波数−時間変換して改変音響フレームを得る処理を行う（ステップＳ１６）。この周波数−時間変換は、当然のことながら、時間−周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、時間−周波数変換手段２０において、フーリエ変換を施しているため、周波数−時間変換手段４０は、上記〔数式７〕に従った処理によりフーリエ逆変換を実行することになる。
【０１４１】
ステップＳ１６における周波数−時間変換の後、得られた改変音響フレームを順次出力して改変音響信号を得ることができる。ただし、前述の通りステップＳ１６までの処理の段階では、複製防止効果はない。そこで、本実施形態においても、第１〜第３の実施形態と同様、複製時にＬＰＦ処理が行われた場合にも所望の妨害音が再生されるようにするため、以下のステップＳ１７の処理を行う。
【０１４２】
すなわち、第２の実施形態と同様、ステップＳ１６までの処理により得られた改変音響信号に対して、チャンネル間およびサンプル間の演算処理を行う（ステップＳ１７）。具体的には、第２の実施形態と同様、２つのチャンネルで対応する成分を加算しモノラル化すると、隣接する２つのサンプルの値が同一の値（２つのチャンネルで計４つのサンプルの平均値×２）になるように、Ｒチャンネルの各サンプルの値を補正する。本実施形態では、第１の実施形態と同様、上記〔数式８〕に従った処理を実行し、Ｒチャンネルの各サンプルの値Ｘｒ´を補正する。
【０１４３】
改変音響フレーム出力手段５０は、改変音響フレーム補正手段４５の処理により得られた補正後の改変音響フレームを順次出力ファイルに出力する。上記図９のフローチャートに示した処理は、第１音響信号の全ての第１音響フレームに対して実行される。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで妨害音を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。
【０１４４】
＜３．５．１チャンネルサラウンド音響への対応＞
上記実施形態では、ＬＲの２チャンネルステレオ音響の場合について説明したが、本発明は５．１チャンネルサラウンド音響に対応することも可能である。５．１チャンネルサラウンド音響信号は、図１３に示すように、前方スピーカ用のチャンネルＦｌ、Ｆｃ、Ｆｒ、後方スピーカ用のチャンネルＢｌ、Ｂｒ、低音スピーカ用のチャンネルＬｆの計６チャンネルで構成される。
【０１４５】
本発明を５．１チャンネルサラウンド音響信号に適用する場合、前方スピーカ用のＦｌとＦｃの組み合わせで、Ｆｃをステレオ音響信号の場合のＬチャンネル（図１３において「Ｌ１」）、Ｆｌをステレオ音響信号の場合のＲチャンネル（図１３において「Ｒ１」）として、上記実施形態と同様な処理を行い、Ｆｌの信号に対して改変音響フレーム補正手段４５が補正を施す。続いて、前方スピーカ用のＦｒとＦｃの組み合わせで、Ｆｃをステレオ音響信号の場合のＬチャンネル（図１３において「Ｌ２」）、Ｆｒをステレオ音響信号の場合のＲチャンネル（図１３において「Ｒ２」）として、上記実施形態と同様な処理を行い、Ｆｒの信号に対して改変音響フレーム補正手段４５が補正を施す。さらに、後方スピーカ用のＢｌとＢｒの組み合わせで、Ｂｌをステレオ音響信号の場合のＬチャンネル（図１３において「Ｌ３」）、Ｂｒをステレオ音響信号の場合のＲチャンネル（図１３において「Ｒ３」）として、上記実施形態と同様な処理を行い、Ｂｒの信号に対して改変音響フレーム補正手段４５が補正を施す。低音スピーカ用のＬｆに対しては、埋め込み処理を行わない。
【０１４６】
このようにして、妨害音が埋め込まれた５．１チャンネルサラウンド音響信号を再生した際、何者かが違法に複製しようとした場合、ＦｌとＦｃの信号が混合されるか、ＦｒとＦｃの信号が混合されるか、ＢｌとＢｒの信号が混合されるかのいずれか、または各信号の混合が同時に発生することにより、エイリアシングが発生する。その結果、複製音響信号には、妨害音に相当する成分が記録され、複製音響信号を再生すると、妨害音が再生される。
【０１４７】
＜４．変形例等＞
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、第１音響信号において、周波数Ｆｔ以上の信号成分を除去し、周波数Ｆｔを中心に周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返しているが、具体的なＦｔの値は上記実施形態に限定されず、様々な値を設定することが可能である。
【０１４８】
また、上記第１、第３の実施形態におけるステップＳ６、第２、第４の実施形態におけるステップＳ１４では、時間−周波数変換手段２０が、第１スペクトルの高域に低域打消し成分を付加する処理を行うようにしたが、この処理を省略するようにしても良い。
【０１４９】
また、上記第２、第４の実施形態では、ステップＳ１４、Ｓ１５における低域打消し成分、白色雑音の付加処理を奇数番目の音響フレームまたは偶数番目の音響フレームに対して行ったが、２つ以上のフレーム間隔を置きながら付加処理を実行するようにしても良いし、あるいは全ての音響フレームに対して実行するようにしても良い。
【符号の説明】
【０１５０】
１・・・ＣＰＵ
２・・・ＲＡＭ
３・・・記憶装置
４・・・キー入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・表示出力Ｉ／Ｆ
８・・・アップサンプリング手段
１０・・・音響フレーム読込手段
２０・・・時間−周波数変換手段
３０・・・周波数成分改変手段
４０・・・周波数−時間変換手段
４５・・・改変音響フレーム補正手段
５０・・・改変音響フレーム出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・改変音響信号記憶部
【図１】
2013257378.tif 000003
【図２】
2013257378.tif 000004
【図３】
2013257378.tif 000005
【図４】
2013257378.tif 000006
【図５】
2013257378.tif 000007
【図６】
2013257378.tif 000008
【図７】
2013257378.tif 000009
【図８】
2013257378.tif 000010
【図９】
2013257378.tif 000011
【図１０】
2013257378.tif 000012
【図１１】
2013257378.tif 000013
【図１２】
2013257378.tif 000014
【図１３】
2013257378.tif 000015