(57)【特許請求の範囲】
【請求項１】
時系列のサンプル列で構成されるサンプリング周波数Ｆｓの原音響信号に対して、時系列のサンプル列で構成される第２の音響信号を聴取不能な状態で埋め込む装置であって、
前記原音響信号から所定数のサンプルで構成される第１音響フレームを読み込むとともに、前記第２の音響信号から所定数のサンプルで構成される第２音響フレームを読み込む音響フレーム読込手段と、
前記第１音響フレームに対して周波数変換を行い、複素周波数成分である第１スペクトルを得るとともに、前記第２音響フレームに対して周波数変換を行い、複素周波数成分である第２スペクトルを得る周波数変換手段と、
前記第１スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、前記周波数Ｆｔを中心に前記周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの信号成分に対して正負符号を反転しかつ所定の係数値を乗算しながら、前記第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分を改変する第１の周波数成分改変手段と、
前記第２スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、前記周波数Ｆｔを中心に前記周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第２スペクトルの信号成分に対して所定の係数値を乗算しながら、前記改変された第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分を改変する第２の周波数成分改変手段と、
前記周波数成分が改変された第１スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、
前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段と、
を有することを特徴とする音響信号に対する第２の音響信号の埋込み装置。
【請求項２】
時系列のサンプル列で構成されるサンプリング周波数Ｆｓの原音響信号に対して、妨害音を聴取不能な状態で埋め込む装置であって、
前記原音響信号から所定数のサンプルで構成される第１音響フレームを読み込む音響フレーム読込手段と、
前記第１音響フレームに対して周波数変換を行い、複素周波数成分である第１スペクトルを得る周波数変換手段と、
前記第１スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、前記周波数Ｆｔを中心に前記周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの信号成分に対して正負符号を反転しかつ所定の係数値を乗算しながら、前記第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分を改変する第１の周波数成分改変手段と、
前記第１スペクトルの信号成分の中で、周波数Ｆｔ以上、周波数２Ｆｔ以下の信号成分に対して、信号の絶対値が所定値だけ増加するように、前記第１スペクトルの周波数成分を改変する第２の周波数成分改変手段と、
前記周波数成分が改変された第１スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、
前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段と、
を有することを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項３】
請求項２において、
前記第１の周波数成分改変手段および第２の周波数成分改変手段は、前記音響フレーム読込手段により読み込まれた音響フレームのうち、所定間隔ごとの音響フレームに対して、処理を行うものであることを特徴とする音響信号に対する妨害音の埋込み装置。
【請求項４】
請求項１から請求項３のいずれか一項において、
前記原音響信号に対して、サンプリング周波数Ｆｓ´（Ｆｓ´＞Ｆｓ）でアップサンプリングを行い、広帯域の原音響信号を作成するアップサンプリング手段をさらに有し、
前記Ｆｔ＝Ｆｓ／２であり、
前記音響フレーム読込手段、前記周波数変換手段、前記第１の周波数成分改変手段、前記第２の周波数成分改変手段、前記周波数逆変換手段、前記改変音響フレーム出力手段は、前記アップサンプリング後の原音響信号に対して処理を行うものであることを特徴とする音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置。
【請求項５】
請求項１から請求項３のいずれか一項において、
前記Ｆｔ＝Ｆｓ／４であることを特徴とする音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置。
【請求項６】
請求項１から請求項５のいずれか一項において、
前記改変音響フレームの奇数番目と偶数番目のサンプル値のうち一方のサンプル値を、当該サンプル値の直前のサンプル値に１以下の実数値である重みＧを乗算した値と、当該サンプル値に（１−Ｇ）を乗算した値との和に変換することにより前記改変音響フレームを補正する改変音響フレーム補正手段をさらに有し、
前記改変音響フレーム出力手段は、前記補正された改変音響フレームを順次出力するものであることを特徴とする音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置。
【請求項７】
請求項６において、
前記改変音響フレーム補正手段は、前記改変音響フレームに含まれるサンプルの平均値に基づいて前記重みＧを算出するものであることを特徴とする音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置。
【請求項８】
請求項１から請求項７のいずれか一項において、
前記周波数変換手段は、窓幅Ｎサンプルとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）における重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数を用いて周波数変換を行うものであることを特徴とする音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＤ・ＤＶＤ・ＢＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、および音楽コンテンツプロバイダー等が商業目的で配信するネットワーク音楽配信分野に関し、特に、音楽コンテンツのコピーを防止する技術に関する。
【背景技術】
【０００２】
従来、音楽コンテンツの複製防止のため、様々な技術が開発されている。例えば、ＤＲＭ（特許文献１参照）という方式では、デジタルの音楽コンテンツに暗号化を施すことにより音楽コンテンツの複製を防止している。具体的には、商用ＤＶＤやＢＤメディアから別のＤＶＤ−Ｒ等の記録メディアにデジタルケーブル接続でレコーダ機器で録画したり、パソコンのドライブに挿入してパソコン上で動画ファイルとしてリッピングすることを不可能にしている。ただし、音楽ＣＤに対しては諸般の事情により現状ではＤＲＭが解除されているため、特にレンタルＣＤからリッピングして作成されたデジタル的な違法コピー音楽ファイルがサイトにアップされ流通してしまう被害が問題になっている。このＤＲＭ方式では、デジタルコンテンツのコピーを防止することは可能であるが、アナログコンテンツのコピーを防止することはできない。すなわち、再生中のディスプレイ画面をビデオカメラで撮影したり、再生信号をスピーカ出力よりラインまたはマイクロフォンで録音することにより複製可能となる。現状、最も大きな問題は、映画館やホールなどに小型ビデオカメラを持ち込み、スクリーンに映し出された映像とともに、スピーカから流れるサウンドトラックが収録され、無尽蔵にＤＶＤが作成され商品（海賊版）として出荷されたり、違法コピー動画ファイルが動画サイトやＰ２Ｐを介して流通している例がある。近年の民生用ビデオカメラはＨＤＴＶ対応になっておりＢＤ並みの画質で記録が可能であるため、それをマスターにして複製されるＤＶＤは商用品質を確保することが容易である。
【０００３】
幸い、日本国内では、2007年より施行された「映画の盗撮の防止に関する法律」の効果により、スクリーン盗撮事件は2009年の愛知県での現行犯逮捕を最後に終焉したが、新たな問題が浮上している。海外では盗撮が相変わらず行われているため、盗撮洋画がネットを介して日本に上陸しているが、そのままでは日本で売れない。即ち、日本国内で流通させるためには、その盗撮洋画に字幕スーパーを入れるか、日本語に吹き替える必要があるが、後者の方が圧倒的に需要が大きい。そこで、海外から移入された海賊版洋画の日本語吹き替え版が上映されている映画館で音声だけ隠し録りされ、海外盗撮映像にアフレコされ出荷されている。邦画に対しても、海外に輸出され違法コピーされた外国語版邦画の違法コピー品を逆移入し、日本国内で音声だけ隠し撮りし、海外盗撮邦画にアフレコして国内で出荷されている例も見つかった。盗音はスクリーン盗撮のように三脚などを必要とせず、ポケットにレコーダを隠して行えるため、暗い映画館の中で犯行を見つけることは不可能に近い。即ち、映像に対する盗撮は法整備により撲滅できたが、音響に対する盗音に対しては刃が立たず、前述のレンタル音楽ＣＤの違法リッピング問題を含め、現状では、音響コンテンツ保護に対する需要は映像コンテンツ保護に比べ格段に大きい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００３−５１７７６７号公報
【特許文献２】ＷＯ２０１１／００２０５９
【特許文献３】ＷＯ２０１１／１０５１６４
【特許文献４】ＵＳ２００７／０１９２０９１
【特許文献５】ＵＳ２００４／０２５２６１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
アナログコンテンツの複製を防止する手法として、主として前述の海賊版ＤＶＤ製造への対抗策としては、映像信号に不可視のコピー妨害信号を付加する技術が提案されている（特許文献２参照）。特許文献２に開示の手法では、コピー妨害信号として赤外線を用いているため、人間には不可視だが、ビデオカメラには映り込み、違法コピーを牽制することができる。しかし、コピー妨害信号はコンテンツ自体には埋め込むことができず、コピー妨害信号を発射する特殊なモジュールを装着したスクリーンやディスプレイでないと機能せず、業務用ビデオカメラや赤外カットフィルタを装着したカメラを用いるとコピー妨害信号の映り込みを回避できるという問題がある。また、映像のサウンドトラックの違法コピーに対しては全く無防備である。
【０００６】
一方、デジタル状態での複製を防止する方法としては、空間（映像・画像）または時間（音響）サンプリング時におけるエイリアシング（折り返し歪み）を活用する方法も提案されている（特許文献３参照）。これは旧来のアナログ形態の映像信号または音響信号には無限大の周波数成分を記録することができていたが、デジタル形態に変換する過程で、シャノン・ナイキストの情報理論に基づきサンプリング周波数の１／２の周波数（ナイキスト周波数）を超える信号成分が記録できないという制約があり、かつナイキスト周波数を超える高帯域の信号成分はナイキスト周波数を中心に低域に折り返され、低帯域の信号成分として誤った周波数帯域に重畳されてしまう現象（エイリアシング）に着目したものである。特許文献３では保護対象の動画像の各フレームの高帯域にコピー牽制用の二値画像を重畳させている。通常再生では、画像のエッジ部にわずかなノイズが認識される程度であるが、同動画像に対してサンプリング周波数が１／２以下になるように縮小操作を施すと、重畳された二値画像の信号成分が低帯域に折り返され同動画像の上に重畳して二値画像が可視化される。本方法では、二値画像の信号成分が埋め込まれている周波数帯域が不可視ではないため、通常の動画再生時において若干の品質劣化が避けられないことと、画像サイズを変更させずにサンプリング周波数の変更を伴わないように複製されてしまえば、あるいは一度アナログ系に変換されて再サンプリングされてしまえば、重畳された二値画像は可視化されないという問題がある。
【０００７】
特許文献２に類似した音響分野の先行技術として、特許文献４がある。特許文献２において不可視の赤外線による妨害雑音を映像に重畳するのと類似して、後者は通常の音響用スピーカと一緒に超音波スピーカを配置し、超音波による妨害雑音を加えるようにしたものである。この妨害雑音は非可聴であるが、マイクロフォンを介してサンプリングを行うと、特許文献３で活用しているエイリアシングにより可聴帯域内にシフトし、可聴化される特性を利用したものである。特許文献４ではハードウェアに超音波出力用のアンプ・スピーカを付加する必要があるという問題と、特許文献４に基づいて追試を行ったところ、通常のレコーダ用マイクロフォンでは超音波帯の感度が殆ど無く、本特許に記載のように、妨害雑音をエイリアシングにより可聴帯域内にシフトさせることは困難であった。
また、特許文献４と同目的で音響信号のアナログ的なコピーを抑止する手法として、特許文献５では、保護対象の音響信号の高域部に妨害雑音を非可聴に埋め込み、アナログ的なコピーによりスペクトルにテープレコーダに基づく非線形歪みを発生させ、埋め込まれた妨害雑音の倍音や相互変調成分を低域側に発生させることにより、妨害雑音を可聴化させるようにしている。特許文献５に基づいて追試を行ったところ、最近のレコーダでは特許文献５に記載のような非線形歪みが発生せず、妨害雑音を可聴化させることは困難であった。
【０００８】
そこで、本発明は、サンプリング時におけるエイリアシング特性を活用し、音響信号を所定のサンプリング周波数以下でサンプリングして複製を行い、複製後のデジタル化された音響信号を再生した場合に、原音響信号に非可聴に埋め込まれた妨害音が再生されることにより、本来の状態での複製を防止することが可能な音響信号に対する第２の音響信号の埋め込み装置および音響信号に対する妨害音の埋め込み装置を提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明第１の態様では、
時系列のサンプル列で構成されるサンプリング周波数Ｆｓの原音響信号に対して、時系列のサンプル列で構成される第２の音響信号を聴取不能な状態で埋め込む装置であって、
前記原音響信号から所定数のサンプルで構成される第１音響フレームを読み込むとともに、前記第２の音響信号から所定数のサンプルで構成される第２音響フレームを読み込む音響フレーム読込手段と、
前記第１音響フレームに対して周波数変換を行い、複素周波数成分である第１スペクトルを得るとともに、前記第２音響フレームに対して周波数変換を行い、複素周波数成分である第２スペクトルを得る周波数変換手段と、
前記第１スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、前記周波数Ｆｔを中心に前記周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの信号成分に対して正負符号を反転しかつ所定の係数値を乗算しながら、前記第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分を改変する第１の周波数成分改変手段と、
前記第２スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、前記周波数Ｆｔを中心に前記周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第２スペクトルの信号成分に対して所定の係数値を乗算しながら、前記改変された第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分を改変する第２の周波数成分改変手段と、
前記周波数成分が改変された第１スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、
前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段を有する音響信号に対する第２の音響信号の埋込み装置を提供する。
【００１０】
本発明第１の態様によれば、原音響信号の第１スペクトルの信号成分の中で、所定の周波数Ｆｔ以上の信号成分を０にするとともに、周波数Ｆｔを中心に周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔ（Ｆｔの２倍）の範囲の第１スペクトルの信号成分に対して正負符号を反転しかつ所定の係数値を乗算しながら、第１スペクトルの対応する周波数の信号成分に加算することにより、第１スペクトルの周波数成分を改変した後、第２スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、周波数Ｆｔを中心に周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第２スペクトルの信号成分に対して所定の係数値を乗算しながら、改変後の第１スペクトルの対応する周波数の信号成分に加算するようにしたので、通常再生では、原音響信号の高域に埋め込まれた位相反転された原音響信号の低域成分や第２の音響信号成分は不可聴であるが、通常再生した音をサンプリング周波数２Ｆｔで再サンプリングされ複製された音響信号を再生した場合には、周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの位相反転された信号成分が、逆に周波数Ｆｔを中心に周波数Ｆｋ以下の低域の周波数方向に折り返され、原音響信号の周波数Ｆｔ以下の信号成分に重畳（減算）されるため、原音響信号に基づく音が所定の係数値の割合だけ打ち消されるとともに、周波数Ｆｔから周波数２Ｆｔの範囲の第２スペクトルの信号成分が、逆に周波数Ｆｔを中心に周波数Ｆｋ以下の低域の周波数方向に折り返され、原音響信号の周波数Ｆｔ以下の信号成分に重畳され、第２の音響信号に基づく音が抑圧された原音響信号に基づく音の代わりに再生されるようになり、本来の原音響信号に基づく音のみの再生を防ぐことを可能とする。また、複製する際のサンプリング周波数は２Ｆｔ丁度である必要はなく、２Ｆｔ前後以下（３Ｆｔ以下）であれば設定されたサンプリング周波数の１／２の周波数を中心に折り返しが発生し、折り返される対象の信号成分や折り返される低域の周波数帯は所望の位置からずれて、原音響信号が中途半端に打ち消され、代わりに再生される第２の音響信号に歪みが加わり雑音化されるものの、少なくとも本来の原音響信号に基づく音のみの再生を防ぐという目的は達成可能となる。
【００１１】
本発明第２の態様では、
時系列のサンプル列で構成されるサンプリング周波数Ｆｓの原音響信号に対して、妨害音を聴取不能な状態で埋め込む装置であって、
前記原音響信号から所定数のサンプルで構成される第１音響フレームを読み込む音響フレーム読込手段と、
前記第１音響フレームに対して周波数変換を行い、複素周波数成分である第１スペクトルを得る周波数変換手段と、
前記第１スペクトルの信号成分の中で、周波数Ｆｔ以上の信号成分を除去するとともに、前記周波数Ｆｔを中心に前記周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの信号成分に対して正負符号を反転しかつ所定の係数値を乗算しながら、前記第１スペクトルの対応する周波数の信号成分に加算することにより、前記第１スペクトルの周波数成分を改変する第１の周波数成分改変手段と、
前記第１スペクトルの信号成分の中で、周波数Ｆｔ以上、周波数２Ｆｔ以下の信号成分に対して、信号の絶対値が所定値だけ増加するように、前記第１スペクトルの周波数成分を改変する第２の周波数成分改変手段と、
前記周波数成分が改変された第１スペクトルに対して周波数逆変換を行って、改変音響フレームを生成する周波数逆変換手段と、
前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段を有する音響信号に対する妨害音の埋込み装置を提供する。
【００１２】
本発明第２の態様によれば、原音響信号の第１スペクトルの信号成分の中で、所定の周波数Ｆｔ以上の信号成分を０にするとともに、周波数Ｆｔを中心に周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返し、折り返された周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの信号成分に対して正負符号を反転しかつ所定の係数値を乗算しながら、第１スペクトルの対応する周波数の信号成分に加算することにより、第１スペクトルの周波数成分を改変した後、第１スペクトルの信号成分の中で、周波数Ｆｔ以上、周波数２Ｆｔ以下の信号成分に対して、信号の絶対値が所定値だけ増加するように、前記第１スペクトルの周波数成分を改変するようにしたので、通常再生では、原音響信号の高域に埋め込まれた位相反転された原音響信号の低域成分や白色雑音成分は不可聴であるが、通常再生した音をサンプリング周波数２Ｆｔで再サンプリングされ複製された音響信号を再生した場合には、周波数Ｆｔから周波数２Ｆｔの範囲の第１スペクトルの位相反転された信号成分が、逆に周波数Ｆｔを中心に周波数Ｆｔ以下の低域の周波数方向に折り返され、原音響信号の周波数Ｆｔ以下の信号成分に重畳（減算）されるため、原音響信号に基づく音が所定の係数値の割合だけ打ち消されるとともに、Ｆｔから周波数２Ｆｔの範囲の白色雑音に対応する成分が、逆に周波数Ｆｔを中心に周波数Ｆｔ以下の低域の周波数方向に折り返され、原音響信号の周波数Ｆｔ以下の信号成分に重畳され、白色雑音が抑圧された原音響信号に基づく音の代わりに再生され、本来の原音響信号に基づく音のみの再生を防ぐことを可能とする。また、複製する際のサンプリング周波数は２Ｆｔ丁度である必要はなく、２Ｆｔ前後以下（３Ｆｔ以下）であれば設定されたサンプリング周波数の１／２の周波数を中心に折り返しが発生し、折り返される対象の信号成分や折り返される低域の周波数帯は所望の位置からずれて、原音響信号が中途半端に打ち消され、代わりに再生される白色雑音の周波数特性が変化するものの、少なくとも本来の原音響信号に基づく音のみの再生を防ぐという目的は達成可能となる。
【００１３】
本発明第３の態様では、本発明第２の態様の音響信号に対する妨害音の埋込み装置において、前記第１の周波数成分改変手段および第２の周波数成分改変手段は、前記音響フレーム読込手段により読み込まれた音響フレームのうち、所定間隔ごとの音響フレームに対して、処理を行うものであることを特徴とする。
【００１４】
本発明第３の態様によれば、所定間隔ごとの音響フレームに対して奇数番目の音響フレームと偶数番目の音響フレームのうち、いずれか一方のみに対して改変を行うようにしたので、原音響信号の改変のための演算処理量を減らすことができるとともに、雑音再生音を明瞭にすることができる。特に、所定間隔として２音響フレームごと、すなわち奇数番目の音響フレームか偶数番目の音響フレームのどちらかに対してのみ改変を行うようにすれば、演算処理量に対する妨害音の埋め込みの効率が良い。
【００１５】
本発明第４の態様では、本発明第１から第３のいずれかの態様の音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置において、前記原音響信号に対して、サンプリング周波数Ｆｓ´（Ｆｓ´＞Ｆｓ）でアップサンプリングを行い、広帯域の原音響信号を作成するアップサンプリング手段をさらに有し、前記Ｆｔ＝Ｆｓ／２であり、前記音響フレーム読込手段、前記周波数変換手段、前記第１の周波数成分改変手段、前記第２の周波数成分改変手段、前記周波数逆変換手段、前記改変音響フレーム出力手段は、前記アップサンプリング後の原音響信号に対して処理を行うものであることを特徴とする。
【００１６】
本発明第４の態様によれば、原音響信号の信号成分除去の下限であり、折り返しの中心である周波数Ｆｔを、原音響信号のサンプリング周波数Ｆｓの１／２とし、改変音響信号のサンプル数を原音響信号のサンプル数より大きくなるように改変するようにしたので、埋め込まれた位相反転された原音響信号の低域成分や第２の音響信号または妨害音の成分の下限がＦｓ／２となり、周波数Ｆｓ／２を人間の可聴域の上限付近に設定しておくことにより、位相反転された原音響信号の低域成分や第２の音響信号または妨害音の信号成分は完全に非可聴域に入り、これらの信号成分は全く聴取されない。ところが、改変音響信号がアナログ系に変換されるかデジタルの状態で、サンプリング周波数Ｆｓで再度サンプリングされ複製された場合に、複製された音響信号を再生すると、エイリアシングが発生して周波数Ｆｓ／２以上の妨害音の信号成分が周波数Ｆｓ／２を中心に周波数Ｆｓ／２以下の可聴帯域に折り返され、原音信号に基づく音が抑圧され、代わりに第２の音響信号に基づく音または妨害音が可聴な状態で出力される。このため、原音響信号のサンプリング周波数と同一のサンプリング周波数で、原音響信号に記録された音のみを複製されることを防ぐことが可能となる。また、複製する際のサンプリング周波数はＦｓ丁度である必要はなく、Ｆｓ前後以下（３Ｆｓ／２（Ｆｓを３／２倍したもの）以下）であれば設定されたサンプリング周波数の１／２の周波数を中心に折り返しが発生し、折り返される対象の信号成分や折り返される低域の周波数帯は所望の位置からずれて、原音響信号が中途半端に打ち消され、代わりに再生される第２の音響信号に歪みが加わり雑音化されるか、妨害音の周波数特性が変化するものの、少なくとも本来の原音響信号に基づく音のみの再生を防ぐという目的は達成可能となる。
【００１７】
本発明第５の態様では、本発明第１から第３のいずれかの態様の音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置において、前記Ｆｔ＝Ｆｓ／４であることを特徴とする。
【００１８】
本発明第５の態様によれば、折り返しの中心である周波数Ｆｔを、原音響信号のサンプリング周波数Ｆｓの１／４としたので、位相反転された原音響信号の低域成分および第２の音響信号または妨害音の信号成分の上限がＦｓ／２となり、原音響信号の周波数Ｆｓ／４からＦｓ／２までの信号成分に位相反転された原音響信号の低域成分および第２の音響信号または妨害音の信号成分が重畳されており、サンプリング周波数Ｆｓ／２で複製された場合に、複製された音響信号を再生すると、エイリアシングが発生して、周波数Ｆｓ／４からＦｓ／２までの位相反転された原音響信号の低域成分および第２の音響信号または妨害音の信号成分が周波数Ｆｓ／４を中心に周波数Ｆｓ／４以下に折り返され、原音響信号に基づく音が抑圧され、代わりに第２の音響信号に基づく音または妨害音が可聴な状態で出力される。このため、原音響信号のサンプリング周波数の１／２のサンプリング周波数で、原音響信号に記録された音のみを複製されることを防ぐことが可能となる。また、複製する際のサンプリング周波数はＦｓ／２丁度である必要はなく、Ｆｓ／２前後以下（３Ｆｓ／４（Ｆｓを３／４倍したもの）以下）であれば設定されたサンプリング周波数の１／２の周波数を中心に折り返しが発生し、折り返される対象の信号成分や折り返される低域の周波数帯は所望の位置からずれて、原音響信号が中途半端に打ち消され、代わりに再生される第２の音響信号に歪みが加わり雑音化されるか、妨害音の周波数特性が変化するものの、少なくとも本来の原音響信号に基づく音のみの再生を防ぐという目的は達成可能となる。
【００１９】
本発明第６の態様では、本発明第１から第５のいずれかの態様の音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置において、前記改変音響フレームの奇数番目と偶数番目のサンプル値のうち一方のサンプル値を、当該サンプル値の直前のサンプル値に１以下の実数値である重みＧ（Ｇｌ、Ｇｒ）を乗算した値と、当該サンプル値に（１−Ｇ）を乗算した値との和に変換することにより前記改変音響フレームを補正する改変音響フレーム補正手段をさらに有し、前記改変音響フレーム出力手段は、前記補正された改変音響フレームを順次出力するものであることを特徴とする。
【００２０】
本発明第６の態様によれば、改変音響フレームの奇数番目と偶数番目のサンプル値のうち一つ置きのサンプル値を、所定の重みを乗じて変換するようにしたので、部分的にサンプリング周波数の１／２の周波数で再サンプリングを行ったのと同様な効果が起こり、サンプリング周波数の１／２以上の高域に埋め込まれている位相反転された原音響信号の低域成分および第２の音響信号または妨害音の信号成分が所定の重みＧに基づく割合だけ事前に僅かに折り返された状態になる。ただし、元の音響信号の低周波成分に基づく聴覚マスキングの作用により、低域に折り返される位相反転された原音響信号の低域成分および第２の音響信号または妨害音の信号成分が聴取不能なレベルに重みＧが調整されているので、通常再生時には元の原音響信号しか聴取されない。ところが、所定のサンプリング周波数Ｆｔで再サンプリングし複製を行うと、周波数Ｆｔ／２以上の高域信号成分を減衰させるＬＰＦ（Low Pass Filter, 低域通過フィルタ）回路を介して再サンプリングされることが一般的で、そのように複製された場合、位相反転された原音響信号の低域成分および第２の音響信号または妨害音に基づく信号成分が大幅に減衰されながら折り返されることになるが、あらかじめ所定の重みＧに基づく割合だけ同一の信号成分が折り返されているため、これらの信号成分は強めあう。そうすると、原音響信号の抑圧が働き、代わりに再生される第２の音響信号または妨害音のレベルが原音響信号による聴覚マスキングの範囲から逸脱し聴取可能になる。
【００２１】
本発明第７の態様では、本発明第６の態様の音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置において、前記改変音響フレーム補正手段は、前記改変音響フレームに含まれるサンプルの平均値に基づいて前記重みＧを算出するものであることを特徴とする。
【００２２】
本発明第７の態様によれば、低周波成分を付加するためにサンプル値に乗じる重みＧを、各改変音響フレームのサンプルの平均値としたので、時系列に変化する各改変音響フレームに応じた改変を行うことが可能となる。
【００２３】
本発明第８の態様では、本発明第１から第７のいずれか１つの態様の音響信号に対する第２の音響信号の埋込み装置または音響信号に対する妨害音の埋込み装置において、前記周波数変換手段は、窓幅Ｎサンプルとして、サンプル位置ｉ（０≦ｉ≦Ｎ−１）における重みＷ（ｉ）（０≦Ｗ（ｉ）≦１）が、Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）で定義されるハニング窓関数を用いて周波数変換を行うものであることを特徴とする。
【００２４】
本発明第８の態様によれば、周波数解析を行う際に、ハニング窓関数を用いるようにしたので、擬似高調波成分を発生させることなく、原音響信号に与える歪みを低減させながら周波数変換を行うことが可能になる。
【発明の効果】
【００２５】
本発明によれば、音響信号を所定のサンプリング周波数以下でサンプリングして複製を行い、複製後のデジタル化された音響信号を再生した場合に、原音響信号に基づく音が抑圧され代わりに非可聴に埋め込まれた第２の音響信号に基づく音または妨害音が再生されることにより、本来の原音響信号のみが記録された状態での複製を防止することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】エイリアシングの原理を示す図である。
【図２】本発明の基本原理を示す図である。
【図３】本発明に係る音響信号に対する第２の音響信号または妨害音の埋め込み装置のハードウェア構成図である。
【図４】本発明に係る音響信号に対する第２の音響信号または妨害音の埋め込み装置の構成を示す機能ブロック図である。
【図５】第１（第３）の実施形態に係る音響信号に対する第２の音響信号の埋め込み装置の処理動作を示すフローチャートである。
【図６】ステップＳ８までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。
【図７】第１の実施形態におけるステップＳ９、ステップＳ１０の低周波成分補正処理を示す図である。
【図８】ステップＳ１０までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。
【図９】第２（第４）の実施形態に係る音響信号に対する妨害音の埋め込み装置の処理動作を示すフローチャートである。
【図１０】第３の実施形態における第２の音響信号の埋め込み処理の概念を示す図である。
【図１１】第３の実施形態におけるステップＳ９、ステップＳ１０の低周波成分補正処理を示す図である。
【図１２】第３の実施形態のステップＳ１０までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．本発明の基本概念）
最初に、本発明の基本概念について説明しておく。本発明では、エイリアシングと呼ばれる折り返し歪みを利用して、複製を防止したい原音響信号に対して、原音響信号のレベルを抑圧するための原音響信号の位相反転した信号成分と新たに警告メッセージなど第２の音響信号や白色雑音等の妨害音を埋め込む改変を行い、改変音響信号を得る処理を行う。埋め込まれた位相反転された原音響信号の信号成分および第２の音響信号または妨害音の信号成分は、改変音響信号の通常再生時には聴き取ることができないが、再生された改変音響信号を録音して再サンプリングされ複製された複製音響信号（複製方法はデジタルコピーであるか、アナログコピーであるかは問わないが、原音響信号と同一のサンプリング周波数による複製を防止する場合にはアナログコピーに限定される）を再生すると、原音響信号が抑圧され、代わりに警告メッセージなどの第２の音響信号や白色雑音等の妨害音が可聴な状態で再生される。しかし、エイリアシングという現象は当業界において周知事項であるため、録音時に高周波雑音が混入しないように、録音装置またはサンプラーにアンチエイリアシング処理、具体的にはサンプラーの前にＬＰＦ回路が設置されているのが一般的である。これにより、エイリアシングにより折り返される高域成分がＬＰＦ回路により減衰されてしまうため、実質的には折り返しが殆ど発生しないのと等価となり、上記目的は実現できない。本発明では、これに対する解決策も提案するものである。具体的には、聴覚マスキングの範囲内に収まるレベルに、事前にわずかながらエイリアシングが発生した状態を形成しておく。ＬＰＦ回路を通して再サンプリングが行われると、ＬＰＦにより減衰された折り返し信号成分が事前にわずかながら折り返されている信号成分に加算され強め合い、聴覚マスキングの範囲を逸脱し、折り返し信号成分が聴取可能なレベルにすることができ、上記目的を実現できる。
【００２８】
図１は、エイリアシングの原理を示す図である。このうち、図１（ａ）は、原音響信号の信号スペクトル、図１（ｂ）は図１（ａ）の原音響信号をサンプリング周波数Ｆｓでサンプリングしたサンプリングデータの信号スペクトルを示している。原音響信号に対して、サンプリング周波数Ｆｓでサンプリングを行うと、ナイキスト周波数Ｆｓ／２を超える高周波の信号成分が、Ｆｓ／２を中心に低域側に折り返され、Ｆｓ／２以下の低域信号成分として誤解析され重畳されてしまう。これが、エイリアシングである。図１の例では、サンプリング周波数Ｆｓでサンプリングを行うことにより、周波数Ｆｓ／２〜Ｆｓの信号成分は周波数方向に反転して重畳され、周波数Ｆｓ〜３Ｆｓ／２の信号成分は周波数方向に２回反転して元の向きで重畳される。図１（ｂ）の例では、３種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。
【００２９】
図２は、本発明の基本原理を示す図である。図２において、図２（ａ）は、サンプリング周波数Ｆｓでサンプリングされた原音響信号の信号スペクトル、図２（ｂ）は、サンプリング周波数Ｆｓでサンプリングされた第２の音響信号である第２音響信号の信号スペクトル、図２（ｃ）は、本発明による埋め込み処理の結果得られた改変音響信号の信号スペクトル、図２（ｄ）は、改変音響信号を何らかの複製手段で再サンプリングして得られた複製音響信号の信号スペクトルである。
【００３０】
図２（ａ）に示した原音響信号、図２（ｂ）に示した第２音響信号は、ともにサンプリング前にハイカットフィルタ処理によりサンプリング周波数Ｆｓ／２より高域の成分を削除し、エイリアシングが生じていないものを用いる。ここでは、図１（ａ）に示した原音響信号に対してあらかじめ同サンプリング周波数を２Ｆｓ（Ｆｓの２倍）に拡大して、図２（ｂ）に示した異なる音響信号を周波数Ｆｓ／２を中心に高域側へ折り返したものをサンプリング周波数が拡大された原音響信号に合成し、図２（ｃ）に示す改変音響信号を得る。この際、本発明では、原音響信号のＦｓ／２以下の成分を振幅反転しながら、Ｆｓ／２を中心に周波数方向に折り返し、合成する処理を行う。
【００３１】
このようにして得られた図２（ｃ）に示す改変音響信号を再生した場合、Ｆｓ／２を人間の可聴域より高い値（例えば、２２．０５ｋＨｚ）に設定しておくことにより、Ｆｓ／２より高い異なる音響信号に由来する信号成分に基づく音は、人間にはほとんど聴こえない。図２（ｃ）に示す改変音響信号を、複製してサンプリング周波数Ｆｓで再サンプリングすると、図２（ｄ）に示す複製音響信号が得られる。図２（ｄ）に示す複製音響信号は、エイリアシングが発生し、原音響信号成分が振幅反転して人間の可聴域であるＦｓ／２以下の原音響信号に折り返されて原音響信号は打ち消され、代わりに第２音響信号に由来する信号成分が、人間の可聴域であるＦｓ／２以下に折り返される。この結果、複製音響信号には、第２音響信号に由来する信号成分が主に記録されるため、第２音響信号として記録された警告メッセージ等の第２音響信号のみが人間に聴こえることになる。このため、原音響信号の複製を防止することができる。
【００３２】
（２．１．埋め込み装置の構成）
次に、本発明に係る音響信号に対する第２の音響信号または妨害音の埋め込み装置について説明する。図３は、本発明に係る音響信号に対する第２の音響信号または妨害音の埋め込み装置のハードウェア構成図である。音響信号に対する第２の音響信号または妨害音の埋め込み装置は、汎用のコンピュータで実現することができ、図３に示すように、ＣＰＵ１（CPU: Central Processing Unit）と、コンピュータのメインメモリであるＲＡＭ２（RAM: Random Access Memory）と、ＣＰＵ１が実行するプログラムやデータを記憶するための大容量の記憶装置３（例えば、ハードディスク、フラッシュメモリ等）と、キーボード、マウス等のキー入力Ｉ／Ｆ（インターフェース）４と、外部装置（データ記憶媒体等）とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、表示装置（ディスプレイ）に情報を送出するための表示出力Ｉ／Ｆ（インターフェース）６と、を備え、互いにバスを介して接続されている。
【００３３】
図４は、本発明に係る音響信号に対する第２の音響信号または妨害音の埋め込み装置の構成を示す機能ブロック図である。図４において、８はアップサンプリング手段、１０は音響フレーム読込手段、２０は周波数変換手段、３０は周波数成分改変手段、４０は周波数逆変換手段、４５は改変音響フレーム補正手段、５０は改変音響フレーム出力手段、６０は記憶手段、６１は音響信号記憶部、６２は改変音響信号記憶部である。なお、図４に示す装置は、ステレオ音響信号、モノラル音響信号あるいは３チャンネル以上のサラウンド音響信号のいずれにも対応可能であるが、本実施形態では、２チャンネルのステレオ音響信号に対して処理を行う場合について説明していく。
【００３４】
アップサンプリング手段８は、音響信号記憶部６１に記憶された原音響信号である第１音響信号に対して、第１音響信号のサンプリング周波数よりも周波数を上げてサンプリングを行い、広帯域音響信号を得る機能を有している。音響フレーム読込手段１０は、広帯域音響信号の各チャンネルから所定数のサンプルを１音響フレームとして読み込む機能を有している。第２音響信号を埋め込む場合は、音響フレーム読込手段１０は、第２音響信号の各チャンネルからも所定数のサンプルを１音響フレームとして読み込む機能も有している。周波数変換手段２０は、音響フレーム読込手段１０が広帯域音響信号から読み込んだ音響フレーム（以下、第１音響フレームという。）をフーリエ変換等により周波数変換して周波数次元の複素数のスペクトルを生成する機能を有している。第２音響信号を埋め込む場合は、周波数変換手段２０は、音響フレーム読込手段１０が第２音響信号から読み込んだ音響フレーム（以下、第２音響フレームという。）もフーリエ変換等により周波数変換して周波数次元の複素数のスペクトルを生成する機能も有している。周波数成分改変手段３０は、第１音響フレームから得られたスペクトルを改変する機能を有している。第２音響信号を埋め込む場合は、周波数成分改変手段３０は、第２音響フレームから得られたスペクトルを参照しながら、第１音響フレームから得られたスペクトルを改変する機能を有している。周波数逆変換手段４０は、改変されたスペクトル集合を含む複数の複素数のスペクトルに対して周波数逆変換を行うことにより、時間次元の改変音響フレームを生成する機能を有している。改変音響フレーム補正手段４５は、周波数逆変換手段４０により得られた改変音響フレームを補正する機能を有している。改変音響フレーム出力手段５０は、生成された改変音響フレームを順次出力する機能を有している。
【００３５】
記憶手段６０は、第２音響信号を埋め込む場合は第２音響信号を含めて第１音響信号を記憶した音響信号記憶部６１と、改変音響信号を記憶する改変音響信号記憶部６２を有しており、その他処理に必要な各種情報を記憶するものである。
【００３６】
図４に示した各構成手段は、現実には図３に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
【００３７】
図３の記憶装置３には、ＣＰＵ１を動作させ、コンピュータを、音響信号に対する異なる音響信号の埋め込み装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、ＣＰＵ１は、アップサンプリング手段８、音響フレーム読込手段１０、周波数変換手段２０、周波数成分改変手段３０、周波数逆変換手段４０、改変音響フレーム補正手段４５、改変音響フレーム出力手段５０としての機能を実現することになる。また、記憶装置３は、記憶手段６０としての機能を実現する他、処理に必要な様々なデータを記憶する。
【００３８】
（２．２．埋め込み装置の処理動作）
（２．２．１．第１の実施形態）
以下、本発明に係る音響信号に対する第２の音響信号の埋め込み装置および妨害音の埋め込み装置の処理動作について説明する。図５は、本発明第１の実施形態に係る音響信号に対する第２の音響信号の埋め込み装置の処理動作を示すフローチャートである。第１音響信号、第２音響信号としては、サンプリング周波数Ｆｓとして９６ｋＨｚ、４８ｋＨｚ（映画など映像・放送業務用）または４４．１ｋＨｚ（ＣＤなど民生用）でサンプリングしたものを用いることができるが、本実施形態では、４８ｋＨｚでサンプリングしたものを用いる。また、本実施形態では、折り返しの中心となる周波数Ｆｔ＝Ｆｓ／２とする。
【００３９】
まず、アップサンプリング手段８が、音響信号記憶部６１に記憶されたステレオの第１音響信号の左右の各チャンネルに対して、元のサンプリング周波数よりもサンプリング周波数を上げてサンプリングを行う処理、すなわち、アップサンプリングを行う（ステップＳ１）。どの程度サンプリング周波数を上げるかについては、適宜設定しておくことが可能であるが、本実施形態では、元の第１音響信号のサンプリング周波数４８ｋＨｚを、サンプリング周波数９６ｋＨｚにアップサンプリングする。具体的には、アップサンプリング手段８は、音響信号記憶部６１に記憶された各チャンネルの総サンプル数Ｓ個の第１音響信号ｘｌ、ｘｒに対して、以下の〔数式１〕に従った処理を実行する。
【００４０】
〔数式１〕
ｘｌ´（ｓ）＝ｘｌ（ｓ・４８／９６）
ｘｒ´（ｓ）＝ｘｒ（ｓ・４８／９６）
【００４１】
上記〔数式１〕において、ｓ＝０，・・・，Ｓ´−１であり、Ｓ´＝Ｓ・９６／４８である。上記〔数式１〕に従った処理を実行した結果、各チャンネルのサンプル数Ｓ個の音響信号が、各チャンネルのサンプル数Ｓ´個の広帯域音響信号にアップサンプリングされる。元の音響信号ｘｌ、ｘｒに存在しないサンプルについては、近傍のサンプルの値を用いて補間する。
【００４２】
音響フレーム読込手段１０は、アップサンプリングされたステレオの広帯域音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの音響フレームとして読み込む（ステップＳ２）。同様に、音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの第２音響信号の左右の各チャンネルから、それぞれ所定数Ｍのサンプルを１つの第２音響フレームとして読み込む（ステップＳ３）。
【００４３】
音響フレーム読込手段１０が読み込む１つの第１音響フレームのサンプル数Ｎ、第２音響フレームのサンプル数Ｍは、適宜設定することができるが、本実施形態では、以下、Ｎ＝８１９２、Ｍ＝４０９６の場合について説明する。したがって、音響フレーム読込手段１０は、広帯域音響信号から左チャンネル、右チャンネルについてそれぞれ８１９２サンプルずつ、順次第１音響フレームとして読み込み、第２音響信号から左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次第２音響フレームとして読み込んでいくことになる。
【００４４】
本実施形態では、第１音響フレーム、第２音響フレームともに、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態ではＮ／２＝４０９６、Ｍ／２＝２０４８）のサンプルを重複して設定される。したがって、第２音響フレームの場合、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、重複させるサンプル数は適宜設定することが可能である。
【００４５】
次に、周波数変換手段２０が、第１音響フレームに対して周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ４）。同様に、周波数変換手段２０が、第２音響フレームに対して周波数変換を行って、その第２音響フレームの複素数のスペクトルを得る（ステップＳ５）。ステップＳ４、Ｓ５では、具体的には、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、複素数のスペクトルを得られる手法である必要がある。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。
【００４６】
一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、区切った信号に対してそのまま矩形窓でフーリエ変換を行うと、区切った境界部に基づく擬似高調波成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、窓境界部の値を減衰変化させた後、変化後の値に対してフーリエ変換を実行する。
【００４７】
本実施形態においても、ハニング窓関数Ｗ（ｉ）、Ｗ２（ｉ）を利用している。ハニング窓関数Ｗ（ｉ）、Ｗ２（ｉ）は、中央の所定のサンプル番号ｉの位置において最大値１をとり、両端付近のサンプル番号ｉの位置において最小値０をとるように設定されている。本実施形態では、各第１音響フレームについてのフーリエ変換は、以下の〔数式２〕で定義されるハニング窓関数Ｗ（ｉ）を乗じたものに対して行われることになる。また、各第２音響フレームについてのフーリエ変換は、以下の〔数式３〕で定義されるハニング窓関数Ｗ２（ｉ）を乗じたものに対して行われることになる。
【００４８】
〔数式２〕
Ｗ（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）
【００４９】
〔数式３〕
Ｗ２（ｉ）＝０．５−０．５ｃｏｓ（２πｉ／Ｍ）
【００５０】
本実施形態においては、第１音響フレーム、第２音響フレームいずれについても、奇数番目の音響フレームと偶数番目の音響フレームを、所定サンプルずつ重複して読み込む。したがって、周波数成分の改変を行った後、音響信号の状態に復元する際、窓関数を乗じた奇数番目の音響フレームと、窓関数を乗じた偶数番目の音響フレームの重複サンプルを加算した場合に、ほぼ元の値に戻るようにしなければならない。このため、奇数番目の音響フレームと偶数番目の音響フレームの重複部分において、窓関数Ｗ（ｉ）、Ｗ２（ｉ）を加算すると、全区間固定値１になるように定義される必要がある。
【００５１】
周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、以下の〔数式４〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。
【００５２】
〔数式４〕
Ａｌ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
【００５３】
上記〔数式４〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ／２−１の整数値をとる。サンプリング周波数が９６ｋＨｚ、Ｎ＝８１９２の場合、ｊの値が１つ異なると、周波数が約１１．７Ｈｚ異なることになる。
【００５４】
周波数変換手段２０が、第２音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘ２ｌ（ｉ）、右チャンネル信号Ｘ２ｒ（ｉ）（ｉ＝０，…，Ｍ−１）に対して、窓関数Ｗ（ｉ）を用いて、以下の〔数式５〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａ２ｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａ２ｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。
【００５５】
〔数式５〕
Ａ２ｌ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ２ｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｍ）
Ｂ２ｌ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ２ｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｍ）
Ａ２ｒ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ２ｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｍ）
Ｂ２ｒ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ２ｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｍ）
【００５６】
上記〔数式４〕〔数式５〕において、ｉは、各音響フレーム内のＭ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｍ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｍ／２−１の整数値をとる。サンプリング周波数が４８ｋＨｚ、Ｍ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１１．７Ｈｚ異なることになる。
【００５７】
ステップＳ４、Ｓ５においてそれぞれ上記〔数式４〕〔数式５〕に従った処理を実行することにより、各第１音響フレーム、第２音響フレームに対応する複素数のスペクトルが得られる。続いて、周波数成分改変手段３０が、ステップＳ６、Ｓ７において周波数成分の改変を行う。周波数成分改変手段３０は、第１の周波数成分改変手段、第２の周波数成分改変手段として区分することができ、第１の周波数成分改変手段がステップＳ６の処理、第２の周波数成分改変手段がステップＳ７の処理を行う。まず、周波数成分改変手段３０は、第１音響フレームから得られた第１スペクトルを用いて、高域に低域打消し成分を追加する処理を行う（ステップＳ６）。具体的には、第１スペクトルの成分を正負反転させ、周波数Ｆｓ／２を中心に折り返す処理を行う。
【００５８】
ステップＳ６における低域打消し成分の追加処理を行ったら、次に、周波数成分改変手段３０は、低域打消し成分の追加処理後の第１スペクトルと第２スペクトルの合成を行う（ステップＳ７）。第２スペクトルについては、周波数Ｆｓ／２を中心に折り返しながら加算する。この結果、第１スペクトル（合成スペクトル）は、図２（ｃ）に示すような状態となる。合成後の第１スペクトル（改変音響信号のスペクトル）においては、周波数Ｆｓ／２より大きい範囲において、元の第１スペクトルに存在した信号成分を振幅反転したものと、第２スペクトルの信号成分が、折り返された状態で存在することになる。
【００５９】
図２（ｃ）の例では、周波数Ｆｓ／２〜Ｆｓにおいて、２種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。図２（ｃ）に示すように、合成後のスペクトルでは、周波数Ｆｓ／２〜Ｆｓにおいて、第１音響信号の振幅反転成分（低域打消し成分）および第２音響信号に由来する成分は双方とも雑音化されて、エネルギーが高い第１音響信号の低域成分にマスキングされるため、改変後の音響信号を再生したとしても、第１音響信号の振幅反転成分および第２音響信号の成分は、人間には聴取されない。
【００６０】
周波数成分改変手段３０が上記ステップＳ６、Ｓ７で行った処理は以下の〔数式６〕としてまとめることができる。
【００６１】
〔数式６〕
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／２−ｊ）・α＋Ａ２ｌ（Ｍ−ｊ）・β
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／２−ｊ）・α＋Ｂ２ｌ（Ｍ−ｊ）・β
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／２−ｊ）・α＋Ａ２ｒ（Ｍ−ｊ）・β
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／２−ｊ）・α＋Ｂ２ｒ（Ｍ−ｊ）・β
【００６２】
周波数成分改変手段３０は、周波数成分Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａ２ｌ（ｊ）、Ｂ２ｌ（ｊ）に対して、上記〔数式６〕に従った処理を、ｊ＝Ｎ／４＋１，・・・，Ｎ／２−１の各ｊについて実行する。１音響フレームのサンプル数Ｎ=８１９２、サンプリング周波数Ｆｕｓ＝９６ｋＨｚ（＝２Ｆｓ）の場合、ｊ＝Ｎ／４は、周波数Ｆｓ／２（Ｆｕｓ／４）に対応し、ｊ＝Ｎ／２は、周波数Ｆｓ（Ｆｕｓ／２）に対応する。したがって、〔数式６〕においては、ｊ＝２０４９，・・・，４０９６が処理対象となり、約２４．０ｋＨｚ（略人間の可聴域上限）〜約４７．９ｋＨｚの周波数成分が変更される。
【００６３】
上記〔数式６〕において、α、βは、０．０＜α、β≦１．０の範囲で設定されるスケーリング実数値である。本実施形態ではα＝β＝１．０に設定されている。上記〔数式６〕に示した各式右辺の第１項（−Ａｌ（Ｎ／２−ｊ）・α等）は第１スペクトルの低域打消し成分であり、各式右辺の第２項（Ａ２ｌ（Ｍ−ｊ）・β等）は、第２スペクトルを周波数方向に折り返した成分である。
【００６４】
図５のフローチャートと上記〔数式６〕の対応関係を示すと、ステップＳ６における高域に低域打消し成分を追加する処理が、上記〔数式６〕の右辺第１項を加算する処理に対応し、ステップＳ７における第１スペクトルと第２スペクトルの合成処理が、上記〔数式６〕の右辺第２項を加算する処理に対応することになる。
【００６５】
周波数成分改変手段３０が、ステップＳ７における合成処理を終えたら、次に、周波数逆変換手段４０が、改変後の第１スペクトルを周波数逆変換して改変音響フレームを得る処理を行う（ステップＳ８）。この周波数逆変換は、当然のことながら、周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。
【００６６】
具体的には、周波数逆変換手段４０は、周波数成分改変手段３０により得られた第１スペクトルの左チャンネルの実部Ａｌ´（ｊ）、虚部Ｂｌ´（ｊ）、右チャンネルの実部Ａｒ´（ｊ）、虚部Ｂｒ´（ｊ）を用いて、以下の〔数式７〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、周波数成分改変手段３０において改変されていない周波数成分については、Ａｌ´（ｊ）、Ｂｌ´（ｊ）、Ａｒ´（ｊ）、Ｂｒ´（ｊ）として、それぞれ元の周波数成分であるＡｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）を用いる。
【００６７】
〔数式７〕
Ｘｌ´（ｉ）＝１／Ｎ・｛ΣjＡｌ´（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｌｐ（ｉ＋Ｎ／２）
Ｘｒ´（ｉ）＝１／Ｎ・｛ΣjＡｒ´（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｒｐ（ｉ＋Ｎ／２）
【００６８】
上記〔数式７〕においては、式が繁雑になるのを防ぐため、Σj=0,…,N-1をΣjとして示している。上記〔数式７〕における第１式の“＋Ｘｌｐ（ｉ＋Ｎ／２）”、第２式の“＋Ｘｒｐ（ｉ＋Ｎ／２）”の項は、直前に改変された改変音響フレームのデータＸｌｐ（ｉ）、Ｘｒｐ（ｉ）が存在する場合に、時間軸上Ｎ／２サンプル分重複することを考慮して加算するためのものである。上記〔数式７〕により改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。
【００６９】
ステップＳ８における周波数逆変換の後、得られた改変音響フレームを順次出力して改変音響信号を得ることができる。ステップＳ８までの処理であっても、実験上は、図２を用いて説明したように、デジタル的に再サンプリングすることにより複製された際に、原音響信号が抑圧され、代わりに第２音響信号の成分が可聴化されることを確認できる。しかし、一般に普及している音響信号加工ツールを用いてデジタル的に再サンプリングを行ったり、複製の際に一般的に利用されるＡ／Ｄ変換器やサンプラーを用いて複製を行うと、前述の所望の効果は殆ど実現できない。その理由は、商用の音響信号加工ツールやサンプラー・録音機器等においては、アンチエイリアシング処理を行うＬＰＦ回路が前置されていることが普通で、サンプリング時に指定されたサンプリング周波数の１／２より高域の周波数成分を減衰させてからサンプリングを行うようにし、高域折り返し信号成分による品質劣化を防ぐように対策されているためである。そのため、ステップ８までの処理で埋め込んだ原音響信号を打ち消すための信号成分および第２音響信号を発生させる信号成分が削除されてしまうのが通常である。
【００７０】
図６は、ステップＳ８までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。図６において、図６（ａ）は図２（ｃ）と同一であり、ステップＳ８までの処理の結果得られた改変音響信号の信号スペクトルを示す。図６（ｂ）は、ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）処理によるフィルタゲインを示す。図６（ｃ）は、改変音響信号に対してＬＰＦ処理を行った信号の信号スペクトルを示す。図６（ｄ）は、改変音響信号をＬＰＦ処理後に再サンプリングして得られた複製音響信号の信号スペクトルを示す。
【００７１】
図６（ｂ）に示すように、ＬＰＦ処理によるフィルタゲインは、周波数Ｆｓ／２までは減衰値０［ｄＢ］で一定であり、周波数Ｆｓ／２前後で急激に下がり、ある程度まで下がったところで最大減衰値に値（−３０ｄＢなど）で一定になる。アナログ的な複製処理を行う場合は無論のこと、デジタル的な複製処理を行う場合でもサンプリング周波数の変更を伴う場合には、サンプリングの前処理として通常ＬＰＦ処理が行われるため、図６（ａ）に示した改変音響信号は、図６（ｂ）に示したような特性のＬＰＦ処理が行われることになる。改変音響信号に対してＬＰＦ処理を行った信号は、図６（ｃ）に示したようなものになる。図６（ａ）と図６（ｃ）を比較するとわかるように、周波数Ｆｓ／２以下の元の音響信号に対応する部分はそのまま残り、周波数Ｆｓ／２を超える打消し成分、妨害音に対応する成分については、ＬＰＦの影響で減衰する。
【００７２】
さらに、図６（ｃ）に示す信号を、サンプリング周波数Ｆｓで再サンプリングすると、図６（ｄ）に示す複製音響信号が得られる。複製音響信号では、エイリアシングが発生し、減衰した打消し成分、妨害音に対応する成分が、人間の可聴域である周波数Ｆｓ／２以下に折り返される。これにより、図６（ｄ）に示すように、複製音響信号の周波数Ｆｓ／２以下の範囲には、減衰した打消し成分の影響により、僅かながら減衰した元の音響信号の成分に、減衰した第２音響信号に対応する成分が重畳されることになる。減衰した第２音響信号は、僅かながら減衰したものの残っている元の音響信号の成分によりマスキングされ、ほとんど人間に聴こえなくなり、複製防止効果がなくなる。本実施形態では、複製時にＬＰＦ処理が行われた場合にも第２音響信号を聴取可能にするため、以下のステップＳ９、ステップＳ１０の処理を行う。
【００７３】
図７は、ステップＳ９、ステップＳ１０の処理を示す図である。図７において、図７（ａ）は図２（ｃ）、図６（ａ）と同一であり、ステップＳ８までの処理の結果得られた改変音響信号の信号スペクトルを示す。図７（ｂ）は、図７（ａ）の改変音響信号を間引き処理した信号の信号スペクトルを示す。図７（ｃ）は、図７（ｂ）を再度アップサンプリングしてサンプリング周波数を元に戻し所定の割合だけ減衰させた信号の信号スペクトルを示す。図７（ｄ）は、図７（ａ）の改変音響信号に、図７（ｃ）の信号を合成して得られる補正改変音響信号の信号スペクトルを示す。
【００７４】
ステップＳ８までの処理により得られた図７（ａ）に示す改変音響信号に対して、間引き・拡大処理を行う（ステップＳ９）。具体的には、まず、間引き処理として、サンプリング周波数２Ｆｓの改変音響信号を、サンプリング周波数Ｆｓでダウンサンプリングする。サンプリング周波数Ｆｓでダウンサンプリングした信号のスペクトルのイメージは図７（ｂ）に示したようなものとなる。ダウンサンプリング手法としては、サンプルを単純に１つ置きに間引く方法をとり、平均値をとるようなダウンサプリング手法（ＬＰＦ作用が働くため）を用いない。
【００７５】
さらに、間引き処理した信号の周波数方向への拡大処理を行う。具体的には、間引き処理したサンプリング周波数Ｆｓの信号を、サンプリング周波数２Ｆｓでアップサンプリングする。アップサンプリング手法としては、隣接サンプルをそのまま用いて補間する方法をとり、隣接サンプル間の平均値で補間するようなアップサプリング手法（ＬＰＦ作用が働くため）を用いない。サンプリング周波数２Ｆｓでアップサンプリングした後、周波数Ｆｓ／２を超える成分を除去した信号のスペクトルのイメージは図７（ｃ）に示したようなものとなる。
【００７６】
続いて、間引き・拡大処理後の信号に重み付けを行って改変音響信号に合成する処理を行う（ステップＳ１０）。すなわち、図７（ａ）に示した改変音響信号に、図７（ｃ）に示したように所定の割合だけ減衰させた信号を加算する。この結果、図７（ｄ）に示すような補正された改変音響信号が得られる。具体的には、改変音響信号の周波数Ｆｓ／２以下の成分に、間引き・拡大処理・振幅減衰処理後の信号成分が加算されることになる。
【００７７】
改変音響信号補正手段５５が上記ステップＳ９、Ｓ１０で行った処理は以下の〔数式８〕として、まとめることができる。
【００７８】
〔数式８〕
Ｘｌ´（ｋ・２＋１）←  Ｘｌ´（ｋ・２）・Ｇｌ＋Ｘｌ´（ｋ・２＋１）・（１−Ｇｌ）
Ｘｒ´（ｋ・２＋１）←  Ｘｒ´（ｋ・２）・Ｇｒ＋Ｘｒ´（ｋ・２＋１）・（１−Ｇｒ）
【００７９】
上記〔数式８〕は、改変音響信号の奇数番号のサンプル値のみを直前の偶数番号のサンプル値を所定の割合だけ僅かに加算するような補正を施している。具体的には、左辺は改変音響信号の補正対象の奇数番号のサンプル値であり、右辺第１項は、改変音響信号の補正対象の直前の偶数番号のサンプル値に重みＧｌまたはＧｒを乗じたもの、右辺第２項は、改変音響信号の補正対象の奇数番号のサンプル値に重み（１−Ｇｌ）または（１−Ｇｒ）を乗じたものである。重みＧｌ、Ｇｒは、以下の〔数式９〕に従った処理により算出される。
【００８０】
〔数式９〕
Ｇｌ＝０．２・Σi=0,…,N-1｜Ｘｌ´（ｉ）｜／Ｎ／３２７６８
Ｇｒ＝０．２・Σi=0,…,N-1｜Ｘｒ´（ｉ）｜／Ｎ／３２７６８
【００８１】
上記〔数式９〕において、０．２を乗じているのは、平均的にそのサンプルの８０％を残し、２０％を隣接するサンプルから得るためであり、適宜変更可能な値であるが、０．２程度が望ましい。ただし、このような改変を施しても聴覚マスキング効果を用いて聴取されないようにするため、改変音響信号の平均的レベルにより、重みＧｌ、Ｇｒを０．２を中心に増減させている。上記〔数式９〕の最後において、３２７６８を除しているのは、Ｇｌ、Ｇｒを０〜１の範囲に正規化するためのものである。
【００８２】
改変音響フレーム出力手段５０は、改変音響信号補正手段５５の処理により得られた補正後の改変音響フレームを順次出力ファイルに出力する。上記図５のフローチャートに示した処理は、広帯域音響信号の全ての第１音響フレームに対して実行される。第１音響フレームの数が、第２音響フレームの数より多い場合は、先頭の第２音響フレームに戻って繰り返し処理を行う。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで第２音響信号を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。
【００８３】
図８は、ステップＳ１０までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。図８において、図８（ａ）は、ステップＳ１０までの処理の結果得られた補正後の改変音響信号の信号スペクトルを示す。図８（ｂ）は、図６（ｂ）と同一であり、ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）処理によるフィルタゲインを示す。図８（ｃ）は、改変音響信号に対してＬＰＦ処理を行った信号の信号スペクトルを示す。図８（ｄ）は、改変音響信号をＬＰＦ処理後に再サンプリングして得られた複製音響信号の信号スペクトルを示す。
【００８４】
改変音響信号に対してＬＰＦ処理を行った信号は、図８（ｃ）に示したようなものになる。図８（ａ）と図８（ｃ）を比較するとわかるように、周波数Ｆｓ／２以下の元の音響信号に対応する部分、間引き・拡大処理した成分はそのまま残り、周波数Ｆｓ／２を超える原音響信号の打消し成分、第２音響信号に対応する成分については、ＬＰＦの影響で減衰する。
【００８５】
さらに、図８（ｃ）に示す信号を、サンプリング周波数Ｆｓで再サンプリングすると、図８（ｄ）に示す複製音響信号が得られる。複製音響信号では、エイリアシングが発生し、減衰した原音響信号の打消し成分、第２音響信号に対応する成分が、人間の可聴域である周波数Ｆｓ／２以下に折り返される。これにより、図８（ｄ）に示すように、複製音響信号の周波数Ｆｓ／２以下の範囲には、間引き・拡大処理した成分に減衰した原音響信号の打消し成分と第２音響信号に対応する成分が重畳され、これらは互いに同相であるため強め合い、結果的に減衰した原音響信号の打消し成分と第２音響信号に対応する成分が増強される。即ち、マスカーである原音響信号の抑圧効果が高まるとともに、マスキーである第２音響信号のレベルが高まり、聴覚マスキング効果は働かなくなり、第２音響信号が人間に聴こえる。警告メッセージ等の第２音響信号が音楽に重ねて聴こえると、客観的に違法コピーであることが判明するとともに、本来の状態で音楽を鑑賞することができず、商品化することができない。このため、複製に対する抑止力が働くことになる。
【００８６】
また、改変音響信号に対して複製する際のサンプリング周波数がＦｓより若干小さくＦｓ／２より大きいＦｓ´の場合でも、同様にエイリアシングが発生し、周波数Ｆｓ´／２〜Ｆｓ´の信号成分は反転してＦｓ´／２以下の周波数帯に重畳される。即ち、図８（ａ）の右半分より左端が左側にずれて、図８（ａ）の右半分より帯域幅が狭い信号成分が図８（ｃ）の左半分より右端が左側にずれた位置に折り返される。この複製音響信号を再生すると、原音響信号は中途半端な打ち消しがなされ、第２音響信号に記録された音と同等の音が発せられることは期待できないが、歪みやかなりの雑音を伴って原音響信号の打ち消し成分や第２音響信号に基づく音が人間の耳に明瞭に聴取されることになる。この場合でも、鑑賞に堪える再生音を得ることができなくなるという目的は達成できるため、複製を抑止することが可能となる。更に、改変音響信号に対して複製する際のサンプリング周波数がＦｓ／２より小さい場合には、顕著なエイリアシングが発生して原音響信号自身の主要信号成分が破壊され鑑賞に堪える再生音を得ることができなくなる。逆に、改変音響信号に対して複製する際のサンプリング周波数がＦｓより若干大きく３Ｆｓ／２より小さいＦｓ´の場合でも、同様にエイリアシングが発生し、周波数Ｆｓ´／２〜Ｆｓ´の信号成分は反転してＦｓ´／２以下の周波数帯に重畳される。
【００８７】
即ち、図８（ａ）の右半分より右端が右側にずれて、図８（ａ）の右半分より帯域幅が広い信号成分が図８（ｃ）の左半分より右端が右側にずれた位置に折り返される。この複製音響信号を再生すると、原音響信号は中途半端な打ち消しがなされ、第２音響信号に記録された音と同等の音が発せられることは期待できないが、歪みやかなりの雑音を伴って原音響信号の打ち消し成分や第２音響信号に基づく音が人間の耳に明瞭に聴取されることになる。この場合でも、鑑賞に堪える再生音を得ることができなくなるという目的は達成できるため、複製を抑止することが可能となる。しかし、３Ｆｓ／２より大きい場合には、エイリアシングが殆ど発生せず、原音響信号および第２音響信号の品質は維持され、第２音響信号は可聴化されず複製を抑止することはできない。以上のことから、改変音響信号に対して複製する際のサンプリング周波数が３Ｆｓ／２より小さい場合には、エイリアシングが発生して。複製を抑止することが可能となる。
【００８８】
（２．２．２．第２の実施形態）
次に、本発明の第２の実施形態である音響信号に対する妨害音の埋め込み装置について説明する。図９は、第２の実施形態に係る音響信号に対する妨害音の埋め込み装置の処理動作を示すフローチャートである。第１の実施形態では、あらかじめ準備しておいた第２の音響信号を用いたが、第２の実施形態では、あらかじめ音源を準備することなく白色雑音など人工的に生成した雑音を埋め込む処理を行う。本実施形態においても、第１の実施形態と同様、第１音響信号は、サンプリング周波数Ｆｓとして４８ｋＨｚでサンプリングしたものを用いる。また、本実施形態では、折り返しの中心となる周波数Ｆｔ＝Ｆｓ／２とする。
【００８９】
まず、第１の実施形態におけるステップＳ１と同様、アップサンプリング手段８が、音響信号記憶部６１に記憶されたステレオの第１音響信号の左右の各チャンネルに対して、元のサンプリング周波数よりもサンプリング周波数を上げてサンプリングする処理を行う（ステップＳ１１）。本実施形態でも、第１の実施形態と同様、上記〔数式１〕に従った処理を実行し、元の第１音響信号のサンプリング周波数４８ｋＨｚを、サンプリング周波数９６ｋＨｚにアップサンプリングする。
【００９０】
音響フレーム読込手段１０は、アップサンプリングされたステレオの広帯域音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの音響フレームとして読み込む（ステップＳ１２）。
【００９１】
音響フレーム読込手段１０が読み込む１つの第１音響フレームのサンプル数Ｎ、適宜設定することができるが、本実施形態では、以下、Ｎ＝４０９６の場合について説明する。したがって、音響フレーム読込手段１０は、広帯域音響信号から左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次第１音響フレームとして読み込んでいくことになる。
【００９２】
本実施形態でも、第１の実施形態と同様、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態ではＮ／２＝２０４８）のサンプルを重複して設定される。したがって、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、重複させるサンプル数は適宜設定することが可能である。
【００９３】
次に、周波数変換手段２０が、第１音響フレームに対して周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ１３）。ステップＳ１３では、具体的には、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他、複素数のスペクトルを得られる公知の種々の手法を用いることができる。本実施形態では、第１の実施形態と同様、フーリエ変換を用いた場合を例にとって説明する。
【００９４】
本実施形態では、各第１音響フレームについてのフーリエ変換は、上記〔数式２〕で定義されるハニング窓関数Ｗ（ｉ）を乗じたものに対して行われることになる。
【００９５】
周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式４〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。上記〔数式４〕による処理の結果、サンプリング周波数が９６ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約２３．４Ｈｚ異なることになる。
【００９６】
ステップＳ１３において上記〔数式４〕に従った処理を実行することにより、各第１音響フレームに対応する複素数のスペクトルが得られる。続いて、周波数成分改変手段３０が、第１音響フレームから得られた第１スペクトルを用いて、高域に低域打消し成分を追加する処理を行う（ステップＳ１４）。具体的には、第１の実施形態におけるステップＳ６と同様、第１スペクトルの成分を正負反転させ、周波数Ｆｓ／２を中心に折り返す処理を行う。ステップＳ１４における低域打消し成分の付加処理は、奇数番目の音響フレームに対してのみ行われ、偶数番目の音響フレームに対しては行われない。奇数番目と偶数番目で低域打消し成分をＯｎ／Ｏｆｆさせることにより、原音響信号に対して改変を加える割合を半分にするとともに、Ｏｎ／Ｏｆｆの低周波的な交番変動を加えることにより雑音再生音を明瞭にすることができる。
【００９７】
ステップＳ１４における低域打消し成分の追加処理を行ったら、次に、周波数成分改変手段３０は、低域打消し成分の追加処理後の第１スペクトルに白色雑音を付加する処理を行う（ステップＳ１５）。具体的には、以下の〔数式１０〕に従った処理を実行し、高域の所定の範囲に、各周波数成分を同等に含む雑音である白色雑音を付加する処理を行う。
【００９８】
〔数式１０〕
Ａｌ（ｊ）≧０の場合
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／２−ｊ）・α＋γ
Ａｌ（ｊ）＜０の場合
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／２−ｊ）・α−γ
Ｂｌ（ｊ）≧０の場合
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／２−ｊ）・α＋γ
Ｂｌ（ｊ）＜０の場合
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／２−ｊ）・α−γ
Ａｒ（ｊ）≧０の場合
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／２−ｊ）・α＋γ
Ａｒ（ｊ）＜０の場合
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／２−ｊ）・α−γ
Ｂｒ（ｊ）≧０の場合
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／２−ｊ）・α＋γ
Ｂｒ（ｊ）＜０の場合
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／２−ｊ）・α−γ
【００９９】
周波数成分改変手段３０は、周波数成分Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）に対して、上記〔数式１０〕に従った処理を、ｊ＝１，・・・，Ｎ／２の各ｊについて実行する。１音響フレームのサンプル数Ｎ=４０９６、アップサンプリング後のサンプリング周波数Ｆｓ´＝９６ｋＨｚの場合、ｊ＝Ｎ／４は、周波数Ｆｓ´／４に対応し、ｊ＝Ｎ／２は、周波数Ｆｓ／２に対応する。なお、ｊ＝Ｎ／２を超える高周波数成分に対しては、改変を加えない。上記〔数式１０〕において、αは、０．０＜α≦１．０の範囲で設定されるスケーリング実数値である。本実施形態ではα＝１．０に設定されている。また、γは信号レベル実数値であり、本実施形態では、Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）が１６ビットの範囲（−３２７６８〜＋３２７６７）で定義されている場合、γ＝１０２４０．０に設定されている。上記〔数式１０〕に示した各式右辺の第１項（−Ａｌ（Ｎ／２−ｊ）・α等）は低域打消し成分であり、各式右辺の第２項γは、白色雑音である。
【０１００】
上記〔数式１０〕に示したように、複素数の実数成分および虚数成分の絶対値を増加させるように、所定の強度γを白色雑音として与える。ステップＳ１５における白色雑音の付加処理は、奇数番目の音響フレームに対してのみ行われ、偶数番目の音響フレームに対しては行われない。奇数番目と偶数番目で白色雑音をＯｎ／Ｏｆｆさせることにより、原音響信号に対して改変を加える割合を半分にするとともに、Ｏｎ／Ｏｆｆの低周波的な交番変動を加えることにより雑音再生音を明瞭にすることができる。
【０１０１】
本実施形態では、ステップＳ１４、Ｓ１５における周波数成分の改変処理を奇数番目の音響フレームに対して行い、偶数番目の音響フレームに対しては行っていないが、１つ置きの音響フレームに対して改変処理を行う必要は必ずしもなく、妨害音の効果がより高まれば、２つ置きあるいは３つ置きの音響フレームに対して改変処理を行うようにしても良く、逆に全ての音響フレームに対して行うようにしても良い。なお、上記の例では、奇数番目と偶数番目は相対的なものであるため、偶数番目の音響フレームに対して処理を行い、奇数番目の音響フレームに対して処理を行わないようにしても良い。
【０１０２】
周波数成分改変手段３０が、ステップＳ１５における白色雑音付加を行って改変処理を終えたら、次に、周波数逆変換手段４０が、改変後のスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（ステップＳ１６）。この周波数逆変換は、当然のことながら、周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ変換を施しているため、周波数逆変換手段４０は、上記〔数式７〕に従った処理によりフーリエ逆変換を実行することになる。
【０１０３】
ステップＳ１６における周波数逆変換の後、得られた改変音響フレームを順次出力して改変音響信号を得ることができる。しかし、この段階で複製が行われても、前述の通り、複製の際に利用されるＡ／Ｄ変換器やサンプラーに前置されるアンチエイリアシング処理により、埋め込んだ原音響信号に対する打ち消し成分および妨害音を発生させる信号成分が減衰されてしまうことが通常である。そこで、本実施形態においても、第１の実施形態と同様、複製時にＬＰＦ処理が行われた場合にも所望の妨害音が聴取されるようにするため、以下のステップＳ１７、ステップＳ１８の処理を行う。
【０１０４】
まず、ステップＳ１６までの処理により得られた改変音響信号に対して、間引き・拡大処理を行う（ステップＳ１７）。具体的には、まず、間引き処理として、第１の実施形態と同様、サンプリング周波数２Ｆｓの改変音響信号を、サンプリング周波数Ｆｓでダウンサンプリングする。
【０１０５】
さらに、間引き処理した信号の周波数方向への拡大処理を行う。具体的には、間引き処理したサンプリング周波数Ｆｓの信号を、サンプリング周波数２Ｆｓでアップサンプリングする。
【０１０６】
続いて、間引き・拡大処理後の信号に重み付けを行って改変音響信号に合成する処理を行う（ステップＳ１８）。具体的には、改変音響信号の周波数Ｆｓ／２以下の成分に、間引き・拡大処理後の信号成分が加算されることになる。
【０１０７】
改変音響信号補正手段５５が上記ステップＳ１７、Ｓ１８で行った処理は、第１の実施形態と同様、上記〔数式８〕として、まとめることができる。
【０１０８】
改変音響フレーム出力手段５０は、改変音響信号補正手段５５の処理により得られた補正後の改変音響フレームを順次出力ファイルに出力する。上記図９のフローチャートに示した処理は、広帯域音響信号の全ての第１音響フレームに対して実行される。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで妨害音を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。
【０１０９】
（２．２．３．第３の実施形態）
次に、本発明第３の実施形態の音響信号に対する第２の音響信号の埋め込み装置について説明する。第１の実施形態では、原音響信号をアップサンプリングして広帯域音響信号を作成し、広帯域音響信号に対して第２音響信号の埋め込みを行ったが、第３の実施形態では、アップサンプリングを行わず、原音響信号に対して直接第２音響信号を埋め込む処理を行う。第１の実施形態と類似する処理が多いため、図５のフローチャートを用いて説明を行う。本実施形態においては、第１音響信号として、サンプリング周波数Ｆｓ＝４４．１ｋＨｚでサンプリングしたものを用いる。また、本実施形態では、折り返しの中心となる周波数Ｆｔ＝Ｆｓ／４とする。
【０１１０】
本実施形態では、アップサンプリング手段８を介さず、音響フレーム読込手段１０が、直接音響信号記憶部６１に記憶された音響信号を読み込む。音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第１音響フレームとして読み込む（ステップＳ２）。同様に、音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの第２音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第２音響フレームとして読み込む（ステップＳ３）。
【０１１１】
音響フレーム読込手段１０が読み込む１つの音響フレームのサンプル数Ｎは、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすると、最も原音に対するダメージを少なくできることが分かっているので、以下この設定値で説明する。したがって、音響フレーム読込手段１０は、音響信号から、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。
【０１１２】
本実施形態でも、第１の実施形態と同様、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態では２０４８）のサンプルを重複して設定される。したがって、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。
【０１１３】
次に、周波数変換手段２０が、第１音響フレームに対して周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ４）。同様に、周波数変換手段２０が、第２音響フレームに対して周波数変換を行って、その第２音響フレームの複素数のスペクトルを得る（ステップＳ５）。ステップＳ４、Ｓ５では、具体的には、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、複素数のスペクトルを得られる手法である必要がある。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。ステップＳ４、Ｓ５では、第１の実施形態と同様、上記〔数式２〕に示した窓関数Ｗ（ｉ）を利用して周波数変換を行う。
【０１１４】
周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式４〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。上記〔数式４〕に従った処理の結果、サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１０．８Ｈｚ異なることになる。ステップＳ４により得られる原音響信号の信号スペクトルは、図１０（ａ）に示したようなものとなる。
【０１１５】
周波数変換手段２０が、第２音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘ２ｌ（ｉ）、右チャンネル信号Ｘ２ｒ（ｉ）（ｉ＝０，…，Ｍ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式５〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａ２ｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａ２ｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。上記〔数式４〕に従った処理の結果、サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１０．８Ｈｚ異なることになる。ステップＳ５により得られる第２音響信号の信号スペクトルは、図１０（ｂ）に示したようなものとなる。
【０１１６】
ステップＳ４、Ｓ５においてそれぞれ上記〔数式４〕〔数式５〕に従った処理を実行することにより、各第１音響フレーム、第２音響フレームに対応する複素数のスペクトルが得られる。続いて、周波数成分改変手段３０が、第１音響フレームから得られた第１スペクトルを用いて、高域に低域打消し成分を追加する処理を行う（ステップＳ６）。具体的には、第１スペクトルの成分を正負反転させ、周波数Ｆｓ／２を中心に折り返す処理を行う。
【０１１７】
ステップＳ６における低域打消し成分の追加処理を行ったら、次に、周波数成分改変手段３０は、低域打消し成分の追加処理後の第１スペクトルと第２スペクトルの合成を行う（ステップＳ７）。第２スペクトルについては、周波数Ｆｓ／４を中心に折り返しながら加算する。この結果、第１スペクトル（合成スペクトル）は、図１０（ｃ）に示すような状態となる。合成後の第１スペクトル（改変音響信号のスペクトル）においては、周波数Ｆｓ／４より大きい範囲において、元の第１スペクトルに存在した信号成分を振幅反転したものと、第２スペクトルの信号成分が、折り返された状態で存在することになる。
【０１１８】
図１０（ｃ）の例では、周波数Ｆｓ／４〜Ｆｓ／２において、２種のスペクトル成分を重ねて表示しているが、実際には複素ベクトルで加算される。図１０（ｃ）に示すように、合成後のスペクトルでは、周波数Ｆｓ／４〜Ｆｓ／２において、第１音響信号の振幅反転成分および第２音響信号に由来する成分は雑音化されて、第１音響信号の低域成分にマスキングされるため、改変後の音響信号を再生したとしても、第１音響信号の振幅反転成分および第２音響信号の成分は、人間には聴取されない。
【０１１９】
周波数成分改変手段３０が上記ステップＳ６、Ｓ７で行った処理は以下の〔数式１１〕としてまとめることができる。
【０１２０】
〔数式１１〕
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／２−ｊ）・α＋Ａ２ｌ（Ｎ／２−ｊ）・β
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／２−ｊ）・α＋Ｂ２ｌ（Ｎ／２−ｊ）・β
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／２−ｊ）・α＋Ａ２ｒ（Ｎ／２−ｊ）・β
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／２−ｊ）・α＋Ｂ２ｒ（Ｎ／２−ｊ）・β
【０１２１】
周波数成分改変手段３０は、周波数成分Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａ２ｌ（ｊ）、Ｂ２ｌ（ｊ）に対して、上記〔数式１１〕に従った処理を、ｊ＝Ｎ／４＋１，・・・，Ｎ／２−１の各ｊについて実行する。１音響フレームのサンプル数Ｎ=４０９６、サンプリング周波数Ｆｓ＝４４．１ｋＨｚ（＝２Ｆｓ）の場合、ｊ＝Ｎ／４は、周波数Ｆｓ／４に対応し、ｊ＝Ｎ／２は、周波数Ｆｓ／２に対応する。したがって、〔数式１１〕においては、ｊ＝１０２５，・・・，２０４８が処理対象となり、約１１．１ｋＨｚ〜約２２．１ｋＨｚ（略人間の可聴域上限）の周波数成分が変更される。
【０１２２】
上記〔数式１１〕において、α、βは、０．０＜α、β≦１．０の範囲で設定されるスケーリング実数値である。本実施形態ではα＝β＝１．０に設定されている。上記〔数式１１〕に示した各式右辺の第１項（−Ａｌ（Ｎ／２−ｊ）・α等）は低域打消し成分であり、各式右辺の第２項（Ａ２ｌ（Ｎ／２−ｊ）・β等）は、第２スペクトルを周波数方向に折り返した成分である。
【０１２３】
図５のフローチャートと上記〔数式１１〕の対応関係を示すと、ステップＳ６における高域に低域打消し成分を追加する処理が、上記〔数式１１〕の右辺第１項を加算する処理に対応し、ステップＳ７における第１スペクトルと第２スペクトルの合成処理が、上記〔数式１１〕の右辺第２項を加算する処理に対応することになる。
【０１２４】
周波数成分改変手段３０が、ステップＳ７における合成処理を終えたら、次に、周波数逆変換手段４０が、改変後の第１スペクトルを周波数逆変換して改変音響フレームを得る処理を行う（ステップＳ８）。この周波数逆変換は、当然のことながら、周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。
【０１２５】
具体的には、第１の実施形態と同様、周波数逆変換手段４０は、周波数成分改変手段３０により得られた第１スペクトルの左チャンネルの実部Ａｌ´（ｊ）、虚部Ｂｌ´（ｊ）、右チャンネルの実部Ａｒ´（ｊ）、虚部Ｂｒ´（ｊ）を用いて、上記〔数式７〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、周波数成分改変手段３０において改変されていない周波数成分については、Ａｌ´（ｊ）、Ｂｌ´（ｊ）、Ａｒ´（ｊ）、Ｂｒ´（ｊ）として、それぞれ元の周波数成分であるＡｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）を用いる。
【０１２６】
第１の実施形態と同様、ステップＳ８における周波数逆変換の後、得られた改変音響フレームを順次出力して改変音響信号を得ることができる。ステップＳ８までの処理は前述の通り複製された際に、原音信号の打ち消し成分や第２音響信号の成分が複製の際に利用されるＡ／Ｄ変換器やサンプラーに前置されているアンチエイリアシング処理により減衰されてしまうことが通常である。本実施形態においても、複製時にＬＰＦ処理が行われた場合にも所望の効果を働かせるため以下のステップＳ９、ステップＳ１０の処理を行う。
【０１２７】
図１１は、ステップＳ９、ステップＳ１０の処理を示す図である。図１１において、図１１（ａ）は図１０（ｃ）と同一であり、ステップＳ８までの処理の結果得られた改変音響信号の信号スペクトルを示す。図１１（ｂ）は、図１１（ａ）の改変音響信号を間引き処理した信号の信号スペクトルを示す。図１１（ｃ）は、アップサンプリングしてサンプリング周波数を拡大した信号の信号スペクトルを示す。図１１（ｄ）は、図１１（ａ）の改変音響信号に、図１１（ｃ）の信号を合成して得られる補正改変音響信号の信号スペクトルを示す。
【０１２８】
ステップＳ８までの処理により得られた図１１（ａ）に示す改変音響信号に対して、間引き・拡大処理を行う（ステップＳ９）。具体的には、まず、間引き処理として、サンプリング周波数Ｆｓの改変音響信号を、サンプリング周波数Ｆｓ／２でダウンサンプリングする。サンプリング周波数Ｆｓ／２でダウンサンプリングした信号のスペクトルのイメージは図１１（ｂ）に示したようなものとなる。
【０１２９】
さらに、間引き処理した信号の周波数方向への拡大処理を行う。具体的には、間引き処理したサンプリング周波数Ｆｓ／２の信号を、サンプリング周波数Ｆｓでアップサンプリングする。サンプリング周波数Ｆｓでアップサンプリングした後、周波数Ｆｓ／４を超える成分を除去した信号のスペクトルのイメージは図１１（ｃ）に示したようなものとなる。
【０１３０】
続いて、間引き・拡大処理後の信号に重み付けを行って改変音響信号に合成する処理を行う（ステップＳ１０）。すなわち、図１１（ａ）に示した改変音響信号に、図１１（ｃ）に示したような信号を加算する。この結果、図１１（ｄ）に示すような補正された改変音響信号が得られる。具体的には、改変音響信号の周波数Ｆｓ／４以下の成分に、間引き・拡大処理後の信号成分が加算されることになる。
【０１３１】
改変音響信号補正手段５５が上記ステップＳ９、Ｓ１０で行った処理は、第１の実施形態と同様、上記〔数式８〕として、まとめることができる。
【０１３２】
改変音響フレーム出力手段５０は、改変音響信号補正手段５５の処理により得られた補正後の改変音響フレームを順次出力ファイルに出力する。上記図５のフローチャートに示した処理は、第１音響信号の全ての第１音響フレームに対して実行される。第１音響フレームの数が、第２音響フレームの数より多い場合は、先頭の第２音響フレームに戻って繰り返し処理を行う。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで第２音響信号を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。
【０１３３】
図１２は、第３の実施形態のステップＳ１０までの処理により得られた改変音響信号が、ＬＰＦ回路を備えた現実的な装置で複製される場合の概念を示す図である。図１２において、図１２（ａ）は、ステップＳ１０までの処理の結果得られた補正後の改変音響信号の信号スペクトルを示す。図１２（ｂ）は、ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）処理によるフィルタゲインを示す。図１２（ｃ）は、改変音響信号に対してＬＰＦ処理を行った信号の信号スペクトルを示す。図１２（ｄ）は、改変音響信号をＬＰＦ処理後に再サンプリングして得られた複製音響信号の信号スペクトルを示す。
【０１３４】
改変音響信号に対してＬＰＦ処理を行った信号は、図１２（ｃ）に示したようなものになる。図１２（ａ）と図１２（ｃ）を比較するとわかるように、周波数Ｆｓ／４以下の元の音響信号に対応する部分、間引き・拡大処理した成分はそのまま残り、周波数Ｆｓ／４を超える打消し成分、第２音響信号に対応する成分については、ＬＰＦの影響で減衰する。
【０１３５】
さらに、図１２（ｃ）に示す信号を、サンプリング周波数Ｆｓ／２で再サンプリングすると、図１２（ｄ）に示す複製音響信号が得られる。複製音響信号では、エイリアシングが発生し、減衰した打消し成分、第２音響信号に対応する成分が、人間の可聴域である周波数Ｆｓ／４以下に折り返され間引き・拡大処理した成分に同相で合成される。これにより、減衰した打消し成分、第２音響信号に対応する成分が強調され、人間に聴こえるようになる。警告メッセージ等の第２音響信号が音楽に重ねて聴こえると、本来の状態で音楽を鑑賞することができない。このため、複製に対する抑止力が働くことになる。
【０１３６】
また、改変音響信号に対して複製する際のサンプリング周波数がＦｓ／２より若干小さくＦｓ／４より大きいＦｓ´の場合でも、同様にエイリアシングが発生し、周波数Ｆｓ´／２〜Ｆｓ´の信号成分は反転してＦｓ´／２以下の周波数帯に重畳される。即ち、図１２（ａ）の右半分より左端が左側にずれて、図１２（ａ）の右半分より帯域幅が狭い信号成分が図１２（ｄ）の左半分より右端が左側にずれた位置に折り返される。この複製音響信号を再生すると、原音響信号が中途半端に打ち消され、第２音響信号に記録された音と同等の音が発せられることは期待できないが、歪みやかなりの雑音を伴って原音響信号の打ち消し成分と第２音響信号に基づく音が人間の耳に明瞭に聴取されることになる。この場合でも、鑑賞に堪える再生音を得ることができなくなるという目的は達成できるため、複製を抑止することが可能となる。更に、改変音響信号に対して複製する際のサンプリング周波数がＦｓ／４より小さい場合には、顕著なエイリアシングが発生して原音響信号自身の主要信号成分が破壊され鑑賞に堪える再生音を得ることができなくなる。逆に、改変音響信号に対して複製する際のサンプリング周波数がＦｓ／２より若干大きく３Ｆｓ／４より小さいＦｓ´の場合でも、同様にエイリアシングが発生し、周波数Ｆｓ´／２〜Ｆｓ´の信号成分は反転してＦｓ´／２以下の周波数帯に重畳される。即ち、図１２（ａ）の右半分より右端が右側にずれて、図１２（ａ）の右半分より帯域幅が広い信号成分が図１２（ｄ）の左半分より右端が右側にずれた位置に折り返される。この複製音響信号を再生すると、原音響信号が中途半端に打ち消され、第２音響信号に記録された音と同等の音が発せられることは期待できないが、歪みやかなりの雑音を伴って原音響信号の打ち消し成分と第２音響信号に基づく音が人間の耳に明瞭に聴取されることになる。この場合でも、鑑賞に堪える再生音を得ることができなくなるという目的は達成できるため、複製を抑止することが可能となる。しかし、３Ｆｓ／４より大きい場合には、エイリアシングが殆ど発生せず、原音響信号および第２音響信号の品質は維持され、第２音響信号は可聴化されず複製を抑止することはできない。以上のことから、改変音響信号に対して複製する際のサンプリング周波数が３Ｆｓ／４より小さい場合には、エイリアシングが発生して。複製を抑止することが可能となる。
【０１３７】
（２．２．４．第４の実施形態）
次に、本発明の第４の実施形態である音響信号に対する妨害音の埋め込み装置について説明する。第２の実施形態では、原音響信号をアップサンプリングして広帯域音響信号を作成し、白色雑音の埋め込みを行ったが、第４の実施形態では、アップサンプリングを行わず、原音響信号に対して直接白色雑音を埋め込む処理を行う。第２の実施形態と類似する処理が多いため、図９のフローチャートを用いて説明を行う。本実施形態においては、第１音響信号として、サンプリング周波数Ｆｓ＝４４．１ｋＨｚでサンプリングしたものを用いる。また、本実施形態では、折り返しの中心となる周波数Ｆｔ＝Ｆｓ／４とする。
【０１３８】
本実施形態では、アップサンプリング手段８を介さず、音響フレーム読込手段１０が、直接音響信号記憶部６１に記憶された音響信号を読み込む。音響フレーム読込手段１０は、音響信号記憶部６１に記憶されたステレオの音響信号の左右の各チャンネルから、それぞれ所定数Ｎのサンプルを１つの第１音響フレームとして読み込む（ステップＳ１２）。
【０１３９】
音響フレーム読込手段１０が読み込む１つの第１音響フレームのサンプル数Ｎ、適宜設定することができるが、本実施形態では、以下、Ｎ＝４０９６の場合について説明する。したがって、音響フレーム読込手段１０は、広帯域音響信号から左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次第１音響フレームとして読み込んでいくことになる。
【０１４０】
本実施形態でも、第１〜第３の実施形態と同様、奇数番目の音響フレーム、偶数番目の音響フレームは、互いに所定数（本実施形態ではＮ／２＝２０４８）のサンプルを重複して設定される。したがって、奇数番目の音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、偶数番目の音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、重複させるサンプル数は適宜設定することが可能である。
【０１４１】
次に、周波数変換手段２０が、第１音響フレームに対して周波数変換を行って、その第１音響フレームの複素数のスペクトルを得る（ステップＳ１３）。ステップＳ１３では、具体的には、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他、複素数のスペクトルを得られる公知の種々の手法を用いることができる。本実施形態では、第１の実施形態と同様、フーリエ変換を用いた場合を例にとって説明する。
【０１４２】
本実施形態では、各第１音響フレームについてのフーリエ変換は、上記〔数式１〕で定義されるハニング窓関数Ｗ（ｉ）を乗じたものに対して行われることになる。
【０１４３】
周波数変換手段２０が、第１音響フレームに対してフーリエ変換を行う場合は、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（ｉ）を用いて、上記〔数式４〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。上記〔数式４〕による処理の結果、サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が約１０．８Ｈｚ異なることになる。
【０１４４】
ステップＳ１３において上記〔数式４〕に従った処理を実行することにより、各第１音響フレームに対応する複素数のスペクトルが得られる。続いて、第２の実施形態と同様、周波数成分改変手段３０が、第１音響フレームから得られた第１スペクトルを用いて、高域に低域打消し成分を追加する処理を行う（ステップＳ１４）。
【０１４５】
ステップＳ１４における低域打消し成分の追加処理を行ったら、次に、周波数成分改変手段３０は、第２の実施形態と同様、低域打消し成分の追加処理後の第１スペクトルに白色雑音を付加する処理を行う（ステップＳ１５）。具体的には、以下の〔数式１２〕に従った処理を実行し、高域の所定の範囲に、各周波数成分を同等に含む雑音である白色雑音を付加する処理を行う。
【０１４６】
〔数式１２〕
Ａｌ（ｊ）≧０の場合
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／４−ｊ）・α＋γ
Ａｌ（ｊ）＜０の場合
Ａｌ´（ｊ）←  −Ａｌ（Ｎ／４−ｊ）・α−γ
Ｂｌ（ｊ）≧０の場合
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／４−ｊ）・α＋γ
Ｂｌ（ｊ）＜０の場合
Ｂｌ´（ｊ）←  −Ｂｌ（Ｎ／４−ｊ）・α−γ
Ａｒ（ｊ）≧０の場合
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／４−ｊ）・α＋γ
Ａｒ（ｊ）＜０の場合
Ａｒ´（ｊ）←  −Ａｒ（Ｎ／４−ｊ）・α−γ
Ｂｒ（ｊ）≧０の場合
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／４−ｊ）・α＋γ
Ｂｒ（ｊ）＜０の場合
Ｂｒ´（ｊ）←  −Ｂｒ（Ｎ／４−ｊ）・α−γ
【０１４７】
周波数成分改変手段３０は、周波数成分Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）に対して、上記〔数式１２〕に従った処理を、ｊ＝Ｎ／４＋１，・・・，Ｎ／２−１の各ｊについて実行する。１音響フレームのサンプル数Ｎ=４０９６、サンプリング周波数Ｆｓ＝４４．１ｋＨｚの場合、ｊ＝Ｎ／４は、周波数Ｆｓ／４に対応し、ｊ＝Ｎ／２は、周波数Ｆｓ／２に対応する。なお、ｊ＝１，・・・Ｎ／４の各成分に対しては、改変を加えない。上記〔数式１２〕において、αは、０．０＜α≦１．０の範囲で設定されるスケーリング実数値である。本実施形態ではα＝１．０に設定されている。また、γは信号レベル実数値であり、本実施形態では、Ａｌ（ｊ）、Ｂｌ（ｊ）、Ａｒ（ｊ）、Ｂｒ（ｊ）が１６ビットの範囲（−３２７６８〜＋３２７６７）で定義されている場合、γ＝１０２４．０に設定されている。上記〔数式１２〕に示した各式右辺の第１項（−Ａｌ（Ｎ／４−ｊ）・α等）は低域打消し成分であり、各式右辺の第２項γは、白色雑音である。
【０１４８】
上記〔数式１２〕に示したように、複素数の実数成分および虚数成分の絶対値を増加させるように、所定の強度γを白色雑音として与える。ステップＳ１５における白色雑音の付加処理は、第２の実施形態と同様、奇数番目の音響フレームに対してのみ行われ、偶数番目の音響フレームに対しては行われない。奇数番目と偶数番目で白色雑音をＯｎ／Ｏｆｆさせることにより、原音響信号に対して改変を加える割合を半分にするとともに、Ｏｎ／Ｏｆｆの低周波的な交番変動を加えることにより雑音再生音を明瞭にすることができる。
【０１４９】
本実施形態では、ステップＳ１４、Ｓ１５における周波数成分の改変処理を奇数番目の音響フレームに対して行い、偶数番目の音響フレームに対しては行っていないが、前述の通り、１つ置きの音響フレームに対して改変処理を行う必要はなく、妨害音の効果が高い手法を適宜選択すれば良い。
【０１５０】
周波数成分改変手段３０が、ステップＳ１５における白色雑音付加を行って改変処理を終えたら、次に、周波数逆変換手段４０が、改変後のスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（ステップＳ１６）。この周波数逆変換は、当然のことながら、周波数変換手段２０が実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ変換を施しているため、周波数逆変換手段４０は、上記〔数式７〕に従った処理によりフーリエ逆変換を実行することになる。
【０１５１】
ステップＳ１６における周波数逆変換の後、得られた改変音響フレームを順次出力して改変音響信号を得ることができる。ただし、前述の通りステップＳ１６までの処理の段階では、複製防止効果はない。そこで、本実施形態においても、第１〜第３の実施形態と同様、複製時にＬＰＦ処理が行われた場合にも所望の妨害音が再生されるようにするため、以下のステップＳ１７、ステップＳ１８の処理を行う。
【０１５２】
まず、ステップＳ１６までの処理により得られた改変音響信号に対して、間引き・拡大処理を行う（ステップＳ１７）。具体的には、まず、間引き処理として、第３の実施形態と同様、サンプリング周波数Ｆｓの改変音響信号を、サンプリング周波数Ｆｓ／２でダウンサンプリングする。
【０１５３】
さらに、間引き処理した信号の周波数方向への拡大処理を行う。具体的には、間引き処理したサンプリング周波数Ｆｓ／２の信号を、サンプリング周波数Ｆｓでアップサンプリングする。
【０１５４】
続いて、間引き・拡大処理後の信号に重み付けを行って改変音響信号に合成する処理を行う（ステップＳ１８）。具体的には、改変音響信号の周波数Ｆｓ／４以下の成分に、間引き・拡大処理後の信号成分が加算されることになる。
【０１５５】
改変音響信号補正手段５５が上記ステップＳ１７、Ｓ１８で行った処理は、第１の実施形態と同様、上記〔数式８〕として、まとめることができる。
【０１５６】
改変音響フレーム出力手段５０は、改変音響信号補正手段５５の処理により得られた補正後の改変音響フレームを順次出力ファイルに出力する。上記図９のフローチャートに示した処理は、第１音響信号の全ての第１音響フレームに対して実行される。このようにして全ての第１音響フレームに対して処理を行った結果、改変音響フレームの集合である改変音響信号が、改変音響信号記憶部６２に記憶される。本実施形態では、第１音響信号の先頭から最後まで妨害音を埋め込むようにしたが、埋め込む位置を設定して、その範囲にだけ埋め込むようにすることも可能である。
【０１５７】
（３．変形例等）
以上、本発明の好適な実施形態について限定したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、第１音響信号において、周波数Ｆｔ以上の信号成分を除去し、周波数Ｆｔを中心に周波数Ｆｔ以下の信号成分を高域の周波数方向に折り返しているが、具体的なＦｔの値は上記実施形態に限定されず、様々な値を設定することが可能である。
【０１５８】
また、上記実施形態では、商品として一般に流通している２チャンネルのステレオ音響信号を利用した場合を例にとって説明したが、５．１チャンネルのサラウンド音響信号に対してもＬＦＣを除く５チャンネルの各音響信号に同様な処理を施せば良く、逆に１チャンネルのモノラル音響信号を利用しても良い。この場合は、上記ＬチャンネルまたはＲチャンネルのいずれか一方に対して行った処理を実行すれば良い。
【０１５９】
また、上記第２、第４の実施形態では、ステップＳ１４、Ｓ１５における低域打消し成分、白色雑音の付加処理を奇数番目の音響フレームまたは偶数番目の音響フレームに対して行ったが、２つ以上のフレーム間隔を置きながら付加処理を実行するようにしても良いし、あるいは全ての音響フレームに対して実行するようにしても良い。
【符号の説明】
【０１６０】
１・・・ＣＰＵ
２・・・ＲＡＭ
３・・・記憶装置
４・・・キー入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・表示出力Ｉ／Ｆ
８・・・アップサンプリング手段
１０・・・音響フレーム読込手段
２０・・・周波数変換手段
３０・・・周波数成分改変手段
４０・・・周波数逆変換手段
４５・・・改変音響フレーム補正手段
５０・・・改変音響フレーム出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・改変音響信号記憶部
【図１】
0006003107.tif 000002
【図２】
0006003107.tif 000003
【図３】
0006003107.tif 000004
【図４】
0006003107.tif 000005
【図５】
0006003107.tif 000006
【図６】
0006003107.tif 000007
【図７】
0006003107.tif 000008
【図８】
0006003107.tif 000009
【図９】
0006003107.tif 000010
【図１０】
0006003107.tif 000011
【図１１】
0006003107.tif 000012
【図１２】
0006003107.tif 000013