(57)【特許請求の範囲】
【請求項１】
時系列のサンプル列で構成される音響信号から、あらかじめ聴取不能な状態で埋め込まれた情報を抽出する装置であって、
前記音響信号から、Ｎ個のサンプルで構成される音響フレームを獲得する音響フレーム獲得手段と、
前記音響フレームを基準フレームとして設定するとともに、当該設定された基準フレームの最終サンプルから所定サンプル数分のオフセット値だけ移動させたサンプルを先頭サンプルとして次の基準サンプルを設定していくことにより複数の基準フレームを順次設定する基準フレーム設定手段と、
前記設定された各基準フレームについて、当該基準フレームからＮ／Ｐ個の整数倍だけ順次サンプルを移動させた位置におけるＰ−１個の音響フレームを互いに位相の異なる位相変更フレームとして設定する位相変更フレーム設定手段と、
前記基準フレームおよび位相変更フレームとして設定された各音響フレームに対して周波数変換を行い、前記各音響フレーム中の２箇所に対応する２種類のフレームスペクトルを生成する周波数変換手段と、
前記生成された２種類のフレームスペクトルから所定の周波数以下の成分に相当する２種類の低周波強度の合算値を、２種類の符号判定パラメータとして各音響フレームについて算出する符号判定パラメータ算出手段と、
前記基準フレームから移動させたサンプル数が同数の音響フレームを互いに同位相と定義し、過去の同位相の音響フレームにおいて算出された２種類の符号判定パラメータのうち、大きい方の符号判定パラメータを小さい方の符号判定パラメータで除した値を累積加算した値Ｓ（ｐ）が最大となる音響フレームを、位相が最適な最適位相フレームであると判断し、当該最適位相フレームについて判断された前記符号判定パラメータに基づいて、所定の符号を出力するとともに、当該最適位相フレームが、直前の最適位相フレームと位相が異なり、２つ前の最適位相フレームと位相が同一である場合に、前記オフセット値を変更する符号出力手段と、
前記各最適位相フレームに対して出力された符号により構成されるビット配列を、所定の規則により変換して付加情報を抽出する付加情報抽出手段と、
を有することを特徴とする音響信号からの情報の抽出装置。
【請求項２】
請求項１において、
前記周波数変換手段は、
前記音響フレームに対して、当該音響フレーム中の前半にのみ作用する第１窓関数、後半にのみ作用する第３窓関数を用いてそれぞれ周波数変換を行い、前記第１窓関数に対応するスペクトルである第１窓スペクトル、前記第３窓関数に対応するスペクトルである第３窓スペクトルを前記２種類のフレームスペクトルとして生成するものであり、
前記符号判定パラメータ算出手段は、前記第１窓スペクトル、第３窓スペクトルから所定の低周波数帯に対応するスペクトル集合をそれぞれ抽出し、各スペクトル集合ごとにスペクトル強度の総和値である低周波強度の合算値を符号判定パラメータとして算出するものであり、
前記符号出力手段は、前記２種類の符号判定パラメータの大小関係および比率に基づいて、所定の符号を出力するものであることを特徴とする音響信号からの情報の抽出装置。
【請求項３】
請求項１または請求項２において、
前記符号出力手段は、前記累積加算した値Ｓ（ｐ）の算出に当たり、所定回数加算した場合に、当該Ｓ（ｐ）の値を半分にする処理を行うものであることを特徴とする音響信号からの情報の抽出装置。
【請求項４】
請求項１から請求項３のいずれかにおいて、
前記符号出力手段は、
前記生成されたフレームスペクトルから抽出した２種類の符号判定パラメータが、ともに所定の下限閾値未満である場合に、前記音響フレームを無効フレームであると判断するものであり、
前記判断に使用する下限閾値を、過去に有効フレームとして判断された音響フレームについて求められた符号判定パラメータの累積加算値を、音響フレーム数で除した値に所定の係数を乗じることにより算出し、前記符号判定パラメータの加算に当たり、所定回数加算した場合に、前記累積加算値を半分にする処理を行うものであることを特徴とする音響信号からの情報の抽出装置。
【請求項５】
請求項４において、
前記符号出力手段は、
前記音響フレームが無効フレームと判断され、かつ過去の連続する所定の個数の音響フレームも全て無効フレームとして判断された場合には、
前記下限閾値を初期値に再設定するものであることを特徴とする音響信号からの情報の抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野における音楽著作権の保護（不正コピーの監視）および音楽属性情報の提供（楽曲タイトル検索サービス）分野、ミュージアム、イベント会場における展示説明ナレーションに連動した文字情報の提供サービス、放送番組やＣＤ／ＤＶＤパッケージの音声信号からＵＲＬなどの情報を抽出し、携帯電話を用いて所定のコンテンツに関連するｗｅｂサイトにアクセスして詳細情報を抽出したり、アンケートに回答したりする非接触なインターネットへのゲートウェイサービス分野に関する。
【背景技術】
【０００２】
最近、流れている音楽のタイトル等を知ることができる楽曲属性情報の提供サービスとして、放送された音楽に対して日時と地域を放送局に照会したり、携帯電話で流れている音楽断片を録音してデータベースに登録されているメロディーと照合したりするサービスが実用化されている（例えば、特許文献１、２参照）。
【０００３】
特許文献１、２に記載の発明では、録音した音楽の断片と、データベースに登録されているメロディーと照合するため、データベースに登録される楽曲が増えると、処理負荷が増え、類似したメロディーを誤判定する可能性が増える。そこで、曲名やアーチスト情報などの楽曲属性情報を不可聴な電子透かしとして音響信号に埋め込む手法も提案されている（例えば、特許文献３〜６参照）。
【０００４】
特許文献１〜６に記載の手法では、埋め込み可能な情報量が少なく、音質が少なからず劣化し、各種信号処理により透かし情報が消失し、またアナログコピーに対しては、透かし検出が困難であるという問題がある。そこで、本出願人は、複数チャンネル有する音響信号の低周波数成分の比率を属性情報のビット値に応じて変更することにより、属性情報を埋め込む手法を提案すると共に、このようにして埋め込まれた音響信号から高い精度で属性情報を抽出するために、位相を変化させて解析を行う手法を提案した（特許文献７、８参照）。
【特許文献１】特開２００２−２５９４２１号公報
【特許文献２】特開２００３−１５７０８７号公報
【特許文献３】特開平１１−１４５８４０号公報
【特許文献４】特開平１１−２１９１７２号公報
【特許文献５】特許第３３２１７６７号公報
【特許文献６】特開２００３−９９０７７号公報
【特許文献７】特願２００５−５１５７号
【特許文献８】特願２００５−５１３８１号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献８に記載の手法では、段階的に位相の変更が行われるため、抽出側で取り込んだ信号の先頭が、各段階の中間近辺にずれると、最適な位相の判断が不安定となり、極度に検出精度が低下したり、検出不能になる等の問題がある。この対策として、位相補正段階を細かくすることも考えられるが、演算時間が増大してリアルタイム抽出処理が困難になると共に、最適位相判定の計算誤差も増大して判定精度が向上しないという問題がある。
【０００６】
また、特許文献８に記載の手法では、低周波成分の強度が閾値より小さい場合には、ビット値検出の対象としないこととしているが、信号レベルの急激な変動や一時的な信号レベル低下や無音状態が発生した場合には、適切に判定できなくなるという問題もある。
【０００７】
そこで、本発明は、ＣＤや放送で提供される複数チャンネルの音響信号について、不可聴な状態で埋め込まれた属性情報等の付加情報を、演算量の負荷を抑えつつ、より正確に抽出することが可能な音響信号からの情報の抽出装置を提供することを課題とする。また、本発明は、信号レベルの急激な変動や一時的な信号レベル低下や無音状態が発生した場合にも、適切に負荷情報を抽出することが可能な音響信号からの情報の抽出装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明では、時系列のサンプル列で構成される音響信号から、あらかじめ聴取不能な状態で埋め込まれた情報を抽出する装置であって、前記音響信号から、Ｎ個のサンプルで構成される音響フレームを獲得する音響フレーム獲得手段と、前記音響フレームを基準フレームとして設定するとともに、当該設定された基準フレームの最終サンプルから所定サンプル数分のオフセット値だけ移動させたサンプルを先頭サンプルとして次の基準サンプルを設定していくことにより複数の基準フレームを順次設定する基準フレーム設定手段と、前記設定された各基準フレームについて、当該基準フレームからＮ／Ｐ個の整数倍だけ順次サンプルを移動させた位置におけるＰ−１個の音響フレームを互いに位相の異なる位相変更フレームとして設定する位相変更フレーム設定手段と、前記基準フレームおよび位相変更フレームとして設定された各音響フレームに対して周波数変換を行い、前記各音響フレーム中の２箇所に対応する２種類のフレームスペクトルを生成する周波数変換手段と、前記生成された２種類のフレームスペクトルから所定の周波数以下の成分に相当する２種類の低周波強度の合算値を、２種類の符号判定パラメータとして各音響フレームについて算出する符号判定パラメータ算出手段と、前記基準フレームから移動させたサンプル数が同数の音響フレームを互いに同位相と定義し、過去の同位相の音響フレームにおいて算出された２種類の符号判定パラメータのうち、大きい方の符号判定パラメータを小さい方の符号判定パラメータで除した値を累積加算した値Ｓ（ｐ）が最大となる音響フレームを、位相が最適な最適位相フレームであると判断し、当該最適位相フレームについて判断された前記符号判定パラメータに基づいて、所定の符号を出力するとともに、当該最適位相フレームが、直前の最適位相フレームと位相が異なり、２つ前の最適位相フレームと位相が同一である場合に、前記オフセット値を変更する符号出力手段と、前記各最適位相フレームに対して出力された符号により構成されるビット配列を、所定の規則により変換して付加情報を抽出する付加情報抽出手段を有する音響信号からの情報の抽出装置を提供する。
【０００９】
また、本発明では、前記符号出力手段は、前記生成されたフレームスペクトルから抽出した２種類の符号判定パラメータが、ともに所定の下限閾値未満である場合に、前記音響フレームを無効フレームであると判断するものであり、前記判断に使用する下限閾値を、過去に有効フレームとして判断された音響フレームについて求められた符号判定パラメータの累積加算値を、音響フレーム数で除した値に所定の係数を乗じることにより算出し、前記符号判定パラメータの加算に当たり、所定回数加算した場合に、前記累積加算値を半分にする処理を行うものとしたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、取得した音響信号を所定の音響フレーム単位で解析する際、過去の音響フレームにおける最適位相の変化に基づいて、基準フレームの位置を決定し、この基準フレームに対して位相をずらしながら、各音響フレームについて最適な位相を判断し、最適な位相と判断される音響フレームの状態に基づいて、埋め込まれていた情報を判断するため、演算負荷を最小にして最適な位相を決定することができ、不可聴な状態で埋め込まれた付加情報を、再生されている音響信号から正確に抽出することが可能となるという効果を奏する。
【００１１】
また、本発明では、ビット値を抽出するために必要な低周波強度の閾値の算出にあたり、時間的に遠く離れた過去のフレームほど、その影響を小さくするようにしたので、信号レベルの急激な変動や一時的な信号レベル低下や無音状態が発生した場合にも、適切に付加情報を抽出することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．埋め込み装置）
まず、本発明に係る音響信号からの情報の抽出装置により抽出すべき付加情報を音響信号に対して埋め込むための埋め込み装置について説明する。図１は、埋め込み装置の構成を示す機能ブロック図である。図１において、１０は音響フレーム読込手段、２０は周波数変換手段、３０は低周波成分変更手段、４０は周波数逆変換手段、５０は改変音響フレーム出力手段、６０は記憶手段、６１は音響信号記憶部、６２は付加情報記憶部、６３は改変音響信号記憶部、７０は付加情報読込手段である。
【００１３】
音響フレーム読込手段１０は、付加情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。周波数変換手段２０は、音響フレーム読込手段１０が読み込んだ音響信号のフレームをフーリエ変換等により周波数変換してフレームスペクトルを生成する機能を有している。低周波成分変更手段３０は、生成された複数のフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、付加情報記憶部６２から抽出した付加情報に基づいて、チャンネル間で対応する低周波強度データのチャンネル間比率を変更する機能を有している。周波数逆変換手段４０は、変更された低周波強度データを含む複数のフレームスペクトルに対して周波数逆変換を行うことにより、複数の改変音響フレームを生成する機能を有している。改変音響フレーム出力手段５０は、生成された改変音響フレームを順次出力する機能を有している。記憶手段６０は、付加情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部６１と、ビット配列として構成され、ステレオ音響信号に埋め込まれる付加情報を記憶した付加情報記憶部６２と、付加情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部６３を有しており、その他処理に必要な各種情報を記憶するものである。付加情報読込手段７０は、付加情報記憶部６２から付加情報を抽出する機能を有している。なお、付加情報とは、音響情報に付加して埋め込むべき情報であり、タイトルやアーティスト名等の属性情報、および属性情報以外の他の情報を含むものである。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
【００１４】
（２．埋め込み装置の処理動作）
次に、図１に示した埋め込み装置の処理動作について図２のフローチャートに従って説明する。まず、付加情報読込手段７０は、付加情報記憶部６２から付加情報を１ワード単位で読み込む（Ｓ１０１）。具体的には、レジスタに１ワード読み込むことになる。続いて、モードを区切りモードに設定する（Ｓ１０２）。モードは区切りモードと、ビットモード、継続識別モードの３種類が存在する。区切りモードは１ワード単位の区切りにおける処理を行うモードを示し、ビットモードは１ワードの各ビットの値に基づいた処理を行うモードを示している。付加情報記憶部６２から１バイト読み込んだ場合には、その直後に必ず区切りモードに設定されることになる。
【００１５】
続いて、音響フレーム読込手段１０が、音響信号記憶部６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む（Ｓ１０４）。音響フレーム読込手段１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。したがって、音響フレーム読込手段１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。
【００１６】
続いて、周波数変換手段２０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ１０５）。具体的には、各音響フレームについて、３つの窓関数を用いて行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。
【００１７】
ここで、一般的なフーリエ変換を行う場合について説明しておく。所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、区切り部分が不連続になる。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。
【００１８】
ここで、一般的なフーリエ変換を行う場合の信号波形の変化の様子を図３に示す。図３において、横軸は時間軸（ｔ）であり、図３（ａ）〜図３（ｃ）は全て対応したものとなっている。また、図３（ａ）、図３（ｃ）において縦軸は信号の振幅値（レベル）を示す。図３（ｂ）において縦軸は窓関数Ｗ（ｔ）の値を示している。なお、Ｗ（ｔ）＝０．５−０．５・ｃｏｓ（２πｔ／Ｔ）であり、Ｗ（ｔ）の最大値は１である。
【００１９】
一般的なフーリエ変換の場合、図３（ａ）に示すような所定長さの信号に対して、図３（ａ）に示すような窓関数Ｗ（ｔ）を乗じて、図３（ｃ）に示すような信号に変換する。そして、図３（ｃ）に示すような波形の信号をフーリエ変換対象としてフーリエ変換を実行することになる。
【００２０】
本実施形態では、フーリエ変換後の不連続性を除去するためではなく、一つの音響フレームから、情報を埋め込むための複数の状態を作り出すため、複数の窓関数を用意し、一つの音響フレームに対して、各窓関数を利用してフーリエ変換を行い、複数のスペクトルを得る。ここで、１音響フレームの信号波形および複数の窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）の様子を図４に示す。図４において、横軸は時間軸（ｉ）である。ｉは、後述するように、各音響フレーム内のＮ個のサンプルに付した通し番号であるため時刻ｔに比例している。また、図４（ａ）（ｅ）（ｆ）（ｇ）において縦軸は信号の振幅値（レベル）を示す。図４（ｂ）〜（ｄ）において縦軸は窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）の値を示しており、Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）の最大値はいずれも１である。
【００２１】
第１窓関数Ｗ（１，ｉ）は、音響フレームの前部を抽出するためのものであり、図４（ｂ）に示すように前部の所定のサンプル番号ｉの位置において、最大値１をとり、後部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、第１窓関数Ｗ（１，ｉ）の設計によって異なってくる。第１窓関数Ｗ（１，ｉ）を乗じることにより、図４（ａ）に示すような音響フレームの信号波形は、図４（ｅ）に示すように、前部に信号成分が残り、後部の信号成分が削除されたものとなり、これがフーリエ変換対象となる。また、第２窓関数Ｗ（２，ｉ）は、音響フレームの中央部を抽出するためのものであり、図４（ｃ）に示すように、中央部の所定のサンプル番号ｉの位置において、最大値１をとり、前部、後部においては、最小値０をとるように設定されている。第２窓関数Ｗ（２，ｉ）を乗じることにより、図４（ａ）に示すような音響フレームの信号波形は、図４（ｆ）に示すように、中央部に信号成分が残り、前部と後部の信号成分が削除されたものとなり、これがフーリエ変換対象となる。また、第３窓関数Ｗ（３，ｉ）は、音響フレームの後部を抽出するためのものであり、図４（ｄ）に示すように、前部においては最小値０をとり、後部の所定のサンプル番号ｉの位置において、最大値１をとるように設定されている。第３窓関数Ｗ（３，ｉ）を乗じることにより、図４（ａ）に示すような音響フレームの信号波形は、図４（ｇ）に示すように、前部の信号成分が削除され、後部に信号成分が残ったものとなり、これがフーリエ変換対象となる。このように前部、中央部、後部を抽出した後、フーリエ変換を実行するため、前部、中央部、後部に対応したスペクトルが得られることになる。１つの音響フレームにビット値を埋め込むためには、本来、前部と後部の２つに分けられれば良いのであるが、抽出側においては、必ずしも、信号を同期して読み込むことができるとは限らず、したがって、前部と後部をはっきりと区別するため、本発明では、中央部の信号も抽出することとしている。
【００２２】
具体的には、各窓関数は、ハニング窓関数Ｗ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）を基本として窓分割を行うための窓分離関数Ｗｃ（ｉ）を以下の〔数式１〕に示すように定義し、この窓分離関数Ｗｃ（ｉ）を用いて定められる。
【００２３】
〔数式１〕
３Ｎ／８≦ｉ≦５Ｎ／８のとき、Ｗｃ（ｉ）＝０．５−０．５・ｃｏｓ（８π（ｉ−３Ｎ／８）／Ｎ）
ｉ＜３Ｎ／８またはｉ＞５Ｎ／８のとき、Ｗｃ（ｉ）＝０．０
【００２４】
そして、この窓分離関数Ｗｃ（ｉ）を利用して、第１窓関数Ｗ（１，ｉ）、第２窓関数Ｗ（２，ｉ）、第３窓関数Ｗ（３，ｉ）を以下の〔数式２〕に示すように定義する。
【００２５】
〔数式２〕
Ｗ（２，ｉ）＝Ｗ（ｉ）・Ｗｃ（ｉ）
ｉ≦Ｎ／２のとき、Ｗ（１，ｉ）＝｛１−Ｗｃ（ｉ）｝Ｗ（ｉ）、Ｗ（３，ｉ）＝０．０
ｉ＞Ｎ／２のとき、Ｗ（１，ｉ）＝０．０、Ｗ（３，ｉ）＝｛１−Ｗｃ（ｉ）｝Ｗ（ｉ）
【００２６】
図４および上記〔数式１〕〔数式２〕からわかるように、第１窓関数、第２窓関数、第３窓関数は、ハニング窓関数を１音響フレームにおいて時間軸上で分割したものである。このうち、第１窓関数と第２窓関数、第２窓関数と第３窓関数は、同一時刻において、双方が同時に０でない値をもつような箇所が存在するように、すなわち時間軸上で互いにオーバーラップして設定される。また、第１窓関数と第３窓関数は、一方が０でない値をもつ場合に他方は必ず０となるように、すなわち時間軸上で互いにオーバーラップしないように設定される。また、第１窓関数、第３窓関数は、図４（ｂ）（ｄ）に示すように、その両側が非対称な余弦関数をもつように設定される。これは、第１窓関数を通して処理された結果と第３窓関数を通して処理された結果との違いが明瞭になるようにするためで、処理された音響フレームが時間軸上でずれが発生しても、互いに逆の窓関数で解析されるのを防ぐことができる。
【００２７】
Ｓ１０５においてフーリエ変換を行う場合、具体的には、左チャンネル信号ｘｌ（ｉ）、右チャンネル信号ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、上記〔数式２〕に従った３つの窓関数である第１窓関数Ｗ（１，ｉ）、第２窓関数Ｗ（２，ｉ）、第３窓関数Ｗ（３，ｉ）を用いて、以下の〔数式３〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（１，ｊ）、Ａｌ（２，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（２，ｊ）、Ｂｌ（３，ｊ）、右チャンネルに対応する変換データの実部Ａｒ（１，ｊ）、Ａｒ（２，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（２，ｊ）、Ｂｒ（３，ｊ）を得る。なお、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）は、それぞれ音響フレームの前部（先頭）付近、中央付近、後部付近において値が大きくなる関数となっている。
【００２８】
〔数式３〕
Ａｌ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｌ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｌ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
【００２９】
上記〔数式３〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。
【００３０】
上記〔数式３〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３０が、生成されたフレームスペクトルから３つの所定周波数範囲のスペクトル集合を抽出する。人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっていることが知られている（コロナ社１９９０年１０月３０日発行「音響工学講座１．基礎音響工学、日本音響学会編」ｐ２４７図９・２６参照）。したがって、本実施形態では、低周波成分を２００Ｈｚ程度以下としている。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式３〕により算出された実部Ａｌ（１，ｊ）、Ａｌ（２，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ａｌ（２，ｊ）、Ａｌ（３，ｊ）、実部Ａｒ（１，ｊ）、Ａｒ（２，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（２，ｊ）、Ｂｒ（３，ｊ）のうち、ｊ≦２０のものを抽出することになる。
【００３１】
続いて、低周波成分変更手段３０は、抽出した実部Ａｌ（１，ｊ）等（（２，ｊ）（３，ｊ）も含む、他の実部、虚部についても同様）、虚部Ｂｌ（１，ｊ）等、実部Ａｒ（１，ｊ）等、虚部Ｂｒ（１，ｊ）等のうち、左チャンネルの実部Ａｌ（１，ｊ）等、虚部Ｂｌ（１，ｊ）等を利用して、以下の〔数式４〕により、合算値Ｅ1、合算値Ｅ2を算出する。
【００３２】
〔数式４〕
Ｅ1＝Σj=1,…,M-3｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝
Ｅ2＝Σj=1,…,M-3｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝
【００３３】
上記〔数式４〕により算出されたＥ1は音響フレーム前部付近のスペクトル集合の成分強度の合算値、Ｅ2は音響フレーム後部付近のスペクトル集合の成分強度の合算値を示すことになる。続いて、この合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上であるかどうかの判定を行う。レベル下限値Ｌｅｖは、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）の振幅最大値が１に正規化されており、Ｍ＝２０に設定されている場合、０．０５に設定する。この条件において、経験的にアナログ変換への耐性が維持できるレベルは“０．５”となるが、本発明においては、後述するように、電子透かし抽出・照合手段２００において照合を行うため、余裕を持たせておく必要がある。したがって、本実施形態においては、アナログ変換への耐性が維持できるレベルの１／１０程度の０．０５に設定している。なお、上記〔数式４〕において、総和を計算する範囲を１〜Ｍ−３までとし、Ｍ−２、Ｍ−１、Ｍを除外しているのは、後述するように、非埋め込み領域との分離を明瞭にするためである。
【００３４】
合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。また、本実施形態では、第１の値（例えば“１”）と第２の値（例えば“０”）をとり得るビット値が“１”の場合、窓３成分に、ビット値が“０”の場合、窓１成分に、埋め込むこととしている。したがって、埋め込むビット値が“１”の場合は、合算値Ｅ1が下限値Ｌｅｖ未満であるとき、埋め込むビット値が“０”の場合は、合算値Ｅ2がレベル下限値Ｌｅｖ未満であるとき、付加情報のビット値に応じた記録をせず、モードを区切りモードに設定する（Ｓ１０６）。一方、埋め込むビット値が“１”で合算値Ｅ1がレベル下限値Ｌｅｖ以上であるか、埋め込むビット値が“０”で合算値Ｅ2がレベル下限値Ｌｅｖ以上であるときには、モードを判断することになる。
【００３５】
低周波成分変更手段３０は、モードが区切りモードである場合、左（Ｌ）チャンネル信号において、窓１成分と窓３成分を均等（全て０となる場合も含む）とする処理を行う（Ｓ１０８）。具体的には、以下の〔数式５〕に従って、Ｌ側の双方を０に設定する処理を実行することになる。この場合、右（Ｒ）チャンネル信号の窓１成分と窓３成分は必ずしも均等ではない。
【００３６】
〔数式５〕
ｊ＝１〜Ｍに対して、
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
【００３７】
上記〔数式５〕に従った処理を実行することにより、左チャンネルのフレームスペクトルの低周波数成分は、窓１成分と窓３成分共に“０” で同一となる。この窓１成分と窓３成分が均等のパターンは、付加情報の先頭位置（区切り）を示す情報となる。なお、上記〔数式５〕においては、窓１成分と窓３成分ともにＡｌ´（ｊ）＝Ｂｌ´（ｊ）＝０としているが、抽出側で区切りであることが認識可能とすることを目的としているため、十分小さな値であれば、必ずしも０とする必要はない。また、必ずしも窓１成分と窓３成分において同一である必要はなく、差が小さければ良い。この意味で、ここでは「均等」という言葉を用いている。
【００３８】
一方、低周波成分変更手段３０は、モードがビットモードまたは継続識別モードである場合、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、左チャンネル信号の窓１成分と窓３成分のスペクトル強度の割合を窓１成分が優位か、窓３成分が優位かのいずれかの状態に変更する処理を行う（Ｓ１０７）。ここで、「優位」とは、一方の窓成分のスペクトル集合におけるスペクトル強度が、他方の窓成分のスペクトル集合におけるスペクトル強度よりも大きいことを示す。そこで、Ｓ１０７においては、第１の値と第２の値をとり得るビット値に応じて以下の〔数式６〕、〔数式７〕のいずれかに従った処理を実行することにより、窓１成分のスペクトル強度と、窓３成分のスペクトル強度の大小関係を変更し、窓１成分が優位か、窓３成分が優位かのいずれかに変更する処理を行う。例えば、第１の値を１、第２の値を０とした場合、ビット値が１のとき、窓１成分に対して、以下の〔数式６〕に従った処理を実行する。なお、継続識別モードである場合、新規であるときは〔数式６〕に従って窓１成分のスペクトル強度と、窓３成分のスペクトル強度の大小関係を変更し、窓３成分優位に変更し、継続であるときは〔数式７〕に従って窓１成分優位に変更する。
【００３９】
〔数式６〕
ｊ＝１〜Ｍに対して
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｌ´（３，ｊ）＝Ａｌ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2｝1/2
Ｂｌ´（３，ｊ）＝Ｂｌ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2｝1/2
【００４０】
なお、上記〔数式６〕において、最後の３つの式において、情報が埋め込まれる左チャンネル信号の窓３成分に、右チャンネル信号の対応する周波数成分を加算して、Ａｌ´（３，ｊ）、Ｂｌ´（３，ｊ）を得ている。これにより、窓３成分と他の窓成分の強度の大小が明確となり、抽出側において、情報の抽出が行い易くなる。
【００４１】
なお、この場合、窓３成分の一部の周波数成分に対しては、以下の〔数式７〕に従った処理を実行する。
【００４２】
〔数式７〕
ｊ＝Ｍ−２、Ｍ−１、Ｍの３成分に対して
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
【００４３】
ビット値が０のとき、窓３成分に対して、以下の〔数式８〕に従った処理を実行する。
【００４４】
〔数式８〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
【００４５】
なお、上記〔数式８〕においても、上記〔数式６〕と同様、最後の３つの式を用いて、Ｅ（１，ｊ）、Ａｌ´（１，ｊ）、Ｂｌ´（１，ｊ）を算出している。このように、情報が埋め込まれる左チャンネル信号の窓１成分に、右チャンネル信号の対応する周波数成分を加算して、Ａｌ´（１，ｊ）、Ｂｌ´（１，ｊ）を得ることにより、窓１成分と他の窓成分の強度の大小が明確となり、抽出側において、情報の抽出が行い易くなる。
【００４６】
なお、この場合、窓１成分の一部の周波数成分に対しては、以下の〔数式９〕に従った処理を実行する。
【００４７】
〔数式９〕
ｊ＝Ｍ−２、Ｍ−１、Ｍの３成分に対して
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
【００４８】
上記〔数式８〕〔数式９〕による処理を行った結果、窓１成分のｊ＝Ｍ−２、Ｍ−１、Ｍにおいては、値が“０”となるが、他は所定値以上の信号成分が存在することになる。したがって、この場合、窓１成分が優位な状態にスペクトル強度の割合が変更されたことになる。
【００４９】
上記〔数式６〕および〔数式７〕、又は〔数式８〕および〔数式９〕のいずれかに従った処理を実行することにより、付加情報のビット配列の各ビット値に応じて、左チャンネル信号の窓１成分が優位か、窓３成分が優位かのどちらかのパターンに変更されることになる。
【００５０】
この場合、高周波帯と低周波数帯の間には、必ず信号成分が“０”の部分が存在し、これにより、高周波帯と低周波数帯の信号成分が混在することを防いでいる。結局、低周波成分変更手段３０は、区切りモードの場合に〔数式５〕に基づく処理をＳ１０８において行い、ビットモード又は継続識別モードの場合に〔数式６〕〔数式７〕又は〔数式８〕〔数式９〕に基づく処理をＳ１０７において行うことになる。
【００５１】
上記Ｓ１０７、Ｓ１０８いずれの場合であっても、次に、低周波成分変更手段３０は、窓２成分の削除を行う（Ｓ１０９）。具体的には、窓２成分に対して、以下の〔数式１０〕に従った処理を実行することになる。
【００５２】
〔数式１０〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（２，ｊ）＝０
Ｂｌ´（２，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
【００５３】
次に、周波数逆変換手段４０が、上記Ｓ１０７〜Ｓ１０９の処理により各窓成分のスペクトル集合間の割合が変更されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ１１０）。この周波数逆変換は、当然のことながら、周波数変換手段２０がＳ１０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ逆変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式５〕〜〔数式１０〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ´（１，ｊ）等、虚部Ｂｌ´（１，ｊ）等、右チャンネルの実部Ａｒ´（１，ｊ）等、虚部Ｂｒ´（１，ｊ）等を用いて、以下の〔数式１１〕に従った処理を行い、ｘｌ´（ｉ）、ｘｒ´（ｉ）を算出する。なお、上記〔数式５〕〜〔数式１０〕において処理されていない周波数成分については、Ａｌ´（１，ｊ）等、Ｂｌ´（１，ｊ）等、Ａｒ´（１，ｊ）等、Ｂｒ´（１，ｊ）等として、Ａｌ（１，ｊ）等、Ｂｌ（１，ｊ）等、Ａｒ（１，ｊ）等、Ｂｒ（１，ｊ）等を用いる。
【００５４】
〔数式１１〕
ｘｌ´（ｉ）＝１／Ｎ・｛ΣjＡｌ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｌ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｌ´（３，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（３，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋ｘｌｐ（ｉ＋Ｎ／２）
ｘｒ´（ｉ）＝１／Ｎ・｛ΣjＡｒ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｒ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｒ´（３，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（３，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋ｘｒｐ（ｉ＋Ｎ／２）
【００５５】
上記〔数式１１〕においては、式が繁雑になるのを防ぐため、Σj=0,…,N-1をΣjとして示している。
【００５６】
上記〔数式１１〕における第１式の“＋ｘｌｐ（ｉ＋Ｎ／２）”、第２式の“＋ｘｒｐ（ｉ＋Ｎ／２）”の項は、直前に改変された改変音響フレームのデータｘｌｐ（ｉ）、ｘｒｐ（ｉ）が存在する場合に、時間軸上Ｎ／２サンプル分重複することを考慮して加算するためのものである。上記〔数式１１〕により改変音響フレームの左チャンネルの各サンプルｘｌ´（ｉ）、右チャンネルの各サンプルｘｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段５０は、得られた改変音響フレームを順次出力ファイルに出力する（Ｓ１１１）。こうして１つの音響フレームに対する処理を終えたら、モードの判定を行い（Ｓ１１２）、モードが区切りモードである場合は、モードを継続識別モードに設定した後（Ｓ１１３）、音響フレーム読込手段１０が、音響フレームを読み込む（Ｓ１０４）。一方、モードがビットモード又は継続識別モードである場合は、モードをビットモードに設定した後（Ｓ１１４）、低周波成分変更手段３０が付加情報のビット配列中の次のビットを読み込む（Ｓ１０３）。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していく。すなわち、所定数のサンプルを音響フレームとして読み込み、音響信号から読み込むべき音響フレームがなくなったら（Ｓ１０４）、処理を終了する。なお、Ｓ１０１において読み込んだ１ワードのデータの各ビットに対応する処理を終えた場合、Ｓ１０３からＳ１０１に戻り、付加情報の次のワードを読み込み処理をすることになる。付加情報の全ワードに対して、処理が終了した場合は、付加情報の先頭ワードに戻って処理を行う。この結果、全ての音響フレームに対して処理を行った全ての改変音響フレームが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段６０内の改変音響信号記憶部６３に出力され、記憶される。
【００５７】
以上の処理による左チャンネル信号の変化の様子を図５を用いて説明する。図５において、図面左右方向は、時間軸であり、サンプル数に比例する。また、図中多数存在する矩形は、改変音響フレームの窓１成分、窓３成分を示している。窓成分を示す矩形の横幅はサンプル数、縦幅は強度を示しているが、図３においては、横幅、縦幅とも正確に示したものではなく、窓１成分に対応する先頭部分に強い信号成分があるか、窓３成分に対応する後部部分に強い信号成分があるかということを示すものである。図５（ａ）は、上記〔数式４〕により算出された合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満となる音響フレームが存在しない場合、すなわち、付加情報を埋め込むには、良好な信号である場合を示している。図５（ｂ）は、上記〔数式４〕により算出された合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満となる音響フレームが存在する場合、すなわち、付加情報を埋め込むには、良好でない信号である場合を示している。
【００５８】
例えば、付加情報として、１バイト目が「１１０１１１００」、２バイト目が「１１０００００１」の２バイトのビット配列を埋め込むとする。まず、各バイトの先頭には、区切りを示す情報として、窓１成分、窓３成分が均等な状態に設定されることになる。これは、Ｓ１０２により区切りモードに設定され、Ｓ１０８において、上記〔数式５〕に従った処理を実行した結果得られる。続いて、付加情報の各ビットに対応した処理を行う前に、新規であるか継続であるかを示す情報を記録することになる。これは、レベル下限値未満となる音響フレームが存在した場合であっても、その時点で処理したビットは有効とし、そこから継続して行うため、そのビットが新規であるか継続であるかの情報を記録しておく必要があるからである。そこで、区切りを示す情報を記録した後には、新規であるか継続であるかを示す情報を記録する。具体的には、区切りモードの状態で、モード判断を行うことにより（Ｓ１１２）、継続識別モードに設定され（Ｓ１１３）、付加情報のビットを読み込むことなく、音響フレームの抽出を行う（Ｓ１０４）。そして、周波数変換後（Ｓ１０５）、新規である場合には、〔数式６〕〔数式７〕に従った処理により、低周波成分の窓１成分、窓３成分間の分布を窓３成分が優位な状態に変更する（Ｓ１０７）。
【００５９】
このようにして、新規か継続かを示す情報を記録した後は、継続識別モードの状態でモード判断を行うため（Ｓ１１２）、ビットモードに設定され（Ｓ１１４）、レジスタから先頭のビットを読み込み（Ｓ１０３）、音響フレームの抽出を行う（Ｓ１０４）。図５（ａ）の例では、レベル下限値Ｌｅｖ未満となる音響フレームが存在しないため、１バイトが連続してＳ１０７により処理されることになる。これは、Ｓ１０３からＳ１１４を経由するループが８回連続して繰り返され、その間レベル下限値Ｌｅｖ未満であるとしてＳ１０６およびＳ１０８、Ｓ１１３を経由することがなかったことを示している。
【００６０】
図５（ｂ）の例では、上記〔数式６〕〔数式７〕に従った処理の結果、レベル下限値Ｌｅｖ未満となる音響フレームが存在するので、この場合Ｓ１０６およびＳ１０８を経由して、上記〔数式５〕に従った処理を実行した結果、窓１成分と窓３成分が均等な状態に設定される。この場合、Ｓ１０６において、区切りモードに設定されるため、Ｓ１１２を経由して、新規か継続かを示す情報を記録することになる。図５（ｂ）の例では、１バイト目の「１１０１１１００」を埋め込む場合に、最初は第１ビット目の「１」の１ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第２ビット目の「１」から処理をしている。そして、第２ビット目から第５ビット目の「１０１１」を処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第６ビット目の「１」から処理をしている。
【００６１】
なお、図５の例では、付加情報が１ワード＝１バイトである場合について説明したが、図２に示す処理は、新規か継続かを示す情報を記録するため、付加情報を任意のビット数単位で記録することが可能である。
【００６２】
上記の例では、可変長のワード単位で区切りを示す情報を挿入するようにしたが、さらにビット単位で区切りを示す情報を挿入することも可能である。この場合、音響フレーム読込手段１０が音響フレームの抽出を行う際、前後の音響フレームに重複する重複音響フレームを抽出し、この重複音響フレームに対して、〔数式１〕に従って周波数変換を行い、さらに、〔数式５〕に従って窓１成分と窓３成分を均等にする処理を行う。重複音響フレームは、前後の音響フレームと半数づつサンプルが重複するように設定する。例えば、先行する音響フレームがサンプル番号１から４０９６まで、後続する音響フレームがサンプル番号４０９７から８１９２までである場合、この間に設定される重複音響フレームはサンプル番号２０４９から６１４４までとなる。同様にして、音響信号の全区間について、重複音響フレームを読み込み、窓１成分と窓３成分を均等にする処理を行うことになる。
【００６３】
上記のように、重複音響フレームを設定して、その窓１成分と窓３成分を均等にする処理を行った場合、これを改変音響信号に反映させるため、窓１成分と窓３成分を均等にする処理後の重複フレームスペクトルに対して周波数逆変換を行って改変重複音響フレームを得て、さらに改変音響フレームと連結する処理を行う必要がある。
【００６４】
上記のようにして得られた改変音響信号の左チャンネルのうち、付加情報が埋め込まれている部分については、低周波成分は、窓１成分と窓３成分が均等となっているか、あるいは窓１成分が優位か、窓３成分が優位かの３通りの分布しかないことになる。しかし、高周波成分については、元の音響信号のままであるので、制作者の設定に基づいた種々な分布になる。また、上記の例で示したように、ステレオ音響信号を利用した場合には、左チャンネルにおいて変化させられた低周波成分は、上記〔数式５〕〜〔数式１０〕の処理からも明らかなように、必ず右チャンネルの低周波成分に付加されている。したがって、右チャンネルが左チャンネルにおいて削除された成分を補っているため、両チャンネル全体として見ると、信号の劣化がない。人間の聴覚は、高周波成分については、方向性を感知し易いが、低周波成分については、方向性を感知しにくくなっている。したがって、低周波成分が一方に偏っていても、聴いている人にとっては、通常の音響信号と変わりなく聴こえることになる。
【００６５】
（３．音響信号からの情報の抽出装置）
次に、本発明に係る音響信号からの情報の抽出装置について説明する。図６は、本発明に係る音響信号からの情報の抽出装置の一実施形態を示す構成図である。図６において、１００は音響信号入力手段、１１０は音響フレーム獲得手段、１２０は基準フレーム設定手段、１３０は位相変更フレーム設定手段、１４０は周波数変換手段、１５０は符号判定パラメータ算出手段、１６０は符号出力手段、１７０は付加情報抽出手段、１８０は音響フレーム保持手段である。
【００６６】
音響信号入力手段１００は、流れている音声をデジタル音響信号として取得し、入力する機能を有している。現実には、マイクロフォンおよびＡ／Ｄ変換器により実現される。マイクロフォンとしては、左右の２チャンネルからの音声入力が可能な指向性マイクロフォンであることが必要である。音響フレーム獲得手段１１０は、入力されたデジタルのステレオ音響信号の各チャンネルから所定数のサンプルで構成される音響フレームを読み込む機能を有している。基準フレーム設定手段１２０は、読み込んだ音響フレームをオフセット値分移動させたものを基準フレームとして設定する機能を有している。位相変更フレーム設定手段１３０は、基準フレームと所定サンプルずつ移動させることにより位相を変更した音響フレームを位相変更フレームとして設定する機能を有している。周波数変換手段１４０は、図１に示した周波数変換手段２０と同様の機能を有している。符号判定パラメータ算出手段１５０は、生成された複数のフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、窓１成分、窓３成分ごとに各低周波強度データの合算値Ｅc1、Ｅc2を算出し、この合算値Ｅc1、Ｅc2を符号判定パラメータとし、この符号判定パラメータＥc1、Ｅc2の比率に基づいて、所定の状態であると判断する機能を有している。
【００６７】
符号出力手段１６０は、１つの基準フレームに対応する音響フレーム（基準フレームおよび位相変更フレーム）の中から最適な位相であると判断されるものを判断し、その音響フレームの状態に対応する符号を出力する機能を有している。また、以降の基準フレームを設定するためのオフセット値を決定する機能も有している。付加情報抽出手段１７０は、符号出力手段１６０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある付加情報として抽出する機能を有している。音響フレーム保持手段１８０は、各チャンネルごとに、連続する２個の音響フレームを保持可能なバッファメモリである。図６に示した各構成手段は、現実には情報処理機能を有する小型のコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。特に、本発明の目的をより簡易に達成するためには、携帯型端末装置をハードウェアとして用いることが望ましい。
【００６８】
（４．抽出装置の処理動作）
次に、図６に示した音響信号からの情報の抽出装置の処理動作について図７のフローチャートに従って説明する。利用者が流れている音楽について、その楽曲名等の属性情報を知りたいと思った場合、まず、抽出装置に対して、抽出装置としての起動の指示を行う。これは、例えば、抽出装置を携帯電話機等の携帯端末で実現している場合は、所定のボタンを操作することにより実行できる。抽出装置は、指示が入力されると、音響信号入力手段１００が、流れている音楽を録音し、デジタル化してデジタル音響信号として入力する。具体的には、指向性マイクロフォンの左右から入力される音声を、それぞれＡ／Ｄ変換器によりデジタル化する処理を行うことになる。
【００６９】
続いて、平均符号レベルＨＬ１、ＨＬ２、位相判定テーブルＳ（ｐ）、非符号カウンタＮｎ、微小オフセット値の５つを初期化する（Ｓ２００）。これらについて説明する。平均符号レベルＨＬ１、ＨＬ２は、ビット値に対応する２値が埋め込まれていたと判断される音響フレーム（以下、有効フレームと呼ぶことにする）についての、下記〔数式１２〕で算出される低周波成分の合算値Ｅc1、Ｅc2の平均値、すなわち、過去の有効フレームにおける合算値Ｅc1、Ｅc2の平均値で与えられるものであり、初期値は、上記埋め込み装置においても用いられるレベル下限値Ｌｅｖの２倍に設定されている。したがって、本実施形態では、ＨＬ１、ＨＬ２の初期値はともに“０．１”に設定されることになる。位相判定テーブルＳ（ｐ）は、位相を判定するためのテーブルであり、ｐは０〜５の整数値をとる。初期値はＳ（ｐ）＝０に設定されている。非符号カウンタＮｎは、信号レベルが低く、非符号（区切りを示す符号と同一）であると判断されるフレーム数のカウンタであり、初期状態では、Ｎｎ＝０に設定される。微小オフセット値は、音響信号から抽出した基準フレームを移動させる場合に、そのオフセット値を示すものである。オフセット値は、８通りの値をとり、各値は、各フレームサイズの位相変更分をさらに１／８にした値、すなわち、本実施形態では、４０９６×１／６×１／８単位で設定される。
【００７０】
続いて、音響フレーム獲得手段１１０が、音響信号入力手段１００から入力されたステレオ音響信号の各チャンネルから、それぞれ所定数のサンプルで構成される音響フレームを抽出する（Ｓ２０１）。具体的には、音響フレームを抽出して音響フレーム保持手段１８０に読み込むことになる。音響フレーム獲得手段１１０が基準フレームとして読み込む１音響フレームのサンプル数は、図１に示した音響フレーム読込手段１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、音響フレーム獲得手段１１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次基準フレームとして読み込んでいくことになる。音響フレーム保持手段１８０には、上述のように各チャンネルごとに２個の基準フレームが格納可能となっており、新しい基準フレームが読み込まれると、古い基準フレームを破棄するようになっている。したがって、音響フレーム保持手段１８０には、常に各チャンネルごとに基準フレーム２個分（連続する８１９２サンプル）が格納されていることになる。基準フレーム設定手段１２０は、オフセット値が“０”である場合は、音響フレーム保持手段１８０に保持されている各音響フレームを、そのまま基準フレームとして設定する。
【００７１】
埋め込み装置で処理する音響フレームは、オフセット値が“０”の場合に、先頭から途切れることなく隣接して設定される基準フレームと、この基準フレームと位相を変更した位相変更フレームとに分けることができる。基準フレームについては、最初の基準フレームとしてサンプル番号１からサンプル番号４０９６までを設定したら、次の基準フレームは、サンプル番号４０９７からサンプル番号８１９２、さらに次の基準フレームは、サンプル番号８１９３からサンプル番号１２２８８、というように、オフセット値が“０”である限り、途切れることなく設定される。そして、各基準フレームについて、１／６フレーム（約６８３サンプル）ずつ移動した５個の位相変更フレームを設定する。例えば、最初の基準フレームについては、サンプル番号６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される５個の位相変更フレームが設定されることになる。
【００７２】
続いて、周波数変換手段１４０、符号判定パラメータ算出手段１５０が、読み込んだ各音響フレームから、埋め込まれている情報を判定し、対応する符号を出力する（Ｓ２０２）。出力される情報の形式は、埋め込み側のビット値に対応する２値、および区切りとして入力された値の３値の形式となる。
【００７３】
ここで、Ｓ２０２の符号出力処理の詳細を図８のフローチャートに従って説明する。まず、符号判定パラメータ算出手段１５０は、候補符号テーブルの初期化を行う（Ｓ３０４）。候補符号テーブルは、１つの基準フレームおよび５個の位相変更フレームを特定する０〜５の位相番号および、この６個の音響フレームの状態から得られる３値の符号を記録するものである。
【００７４】
次に、アドレスの微小オフセット処理を行う（Ｓ３００）。具体的には、オフセット番号（オフセット値）に従って、基準フレームおよび位相変更フレームの読込位置を、所定フレーム数移動させた位置に設定する。
【００７５】
続いて、周波数変換手段１４０が、前記オフセット処理された位置から読み込んだ各音響フレームに対して、周波数変換を行ってフレームスペクトルを得る（Ｓ３０１）。この処理は、図１に示した周波数変換手段２０における処理と同様である。ただし、抽出に用いるのは、左チャンネルだけであるので、上記〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（１，ｊ）等、虚部Ｂｌ（１，ｊ）等を得る。
【００７６】
上記周波数変換手段１４０における処理により、周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、符号判定パラメータ算出手段１５０は、平均符号レベルＨＬ１、ＨＬ２の算出を行う（Ｓ３０２）。具体的には、過去窓１成分が優位な状態と判断された音響フレームについての合算値Ｅc1の積算値であるｖ１を、過去窓１成分が優位な状態と判断された音響フレームの数であるｎ１で除算することによりＨＬ１を算出し、過去窓３成分が優位な状態と判断された音響フレームについての合算値Ｅc2の積算値であるｖ２を、過去窓３成分が優位な状態と判断された音響フレームの数であるｎ２で除算することによりＨＬ２を算出する。ここで、Ｅc1およびＥc2は後述する左チャンネル信号の各々窓１成分および窓３成分の合算値で、以下〔数式１２〕で与えられる。
【００７７】
〔数式１２〕
Ｅc1＝Σj=1,…,M-3｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝
Ｅc2＝Σj=1,…,M-3｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2｝
【００７８】
したがって、平均符号レベルＨＬ１、ＨＬ２は、過去対応する窓成分が優位な状態と判断された音響フレームの低周波強度データの合算値の平均値に近くなる。厳密な平均値とならないのは、上述のように、ＨＬ１、ＨＬ２の初期値はともに“０．１”が設定されており、この初期値に合算値Ｅc1、合算値Ｅc2を分子に加算していくためである。また、平均符号レベルＨＬ１、ＨＬ２の算出のための分母として用いるｎ１、ｎ２は、上記合算値Ｅc1、合算値Ｅc2が各々ｖ１、ｖ２に加算されるごとに、同時に各々１づつ加算されるが、最大値ｎｍａｘを超えないようにし、ｎ１＝ｎｍａｘとなった場合には、ｖ１をｖ１／２に、ｎ１をｎ１／２に再設定し、ｎ２＝ｎｍａｘとなった場合には、ｖ２をｖ２／２に、ｎ２をｎ２／２に再設定する。これにより、絶えず最新のｎｍａｘ／２個の合算値Ｅc1、合算値Ｅc2で殆ど平均符号レベルＨＬ１、ＨＬ２は決定され、信号レベルの変動に速やかに追従できるようになる。
【００７９】
さらに、符号判定パラメータ算出手段１５０は、生成されたフレームスペクトルから所定の周波数範囲の各低周波強度データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が２００Ｈｚ以下の低周波強度データを抽出することになり、埋め込み装置の場合と同様、上記〔数式１〕により算出された左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）のうち、ｊ≦２０のものを抽出する。そして、符号判定パラメータ算出手段１５０は、上記〔数式１２〕に従った処理を実行することにより左チャンネル信号の窓１成分の合算値Ｅc1、窓３成分の合算値Ｅc2を算出する。このＥc1、Ｅc2を符号判定パラメータとして用いる。
【００８０】
続いて、符号判定パラメータ算出手段１５０は、窓１成分の合算値Ｅc1、窓３成分の合算値Ｅc2がそれぞれ所定値以下であるかどうかの判定を行う（Ｓ３０５）。ここで、所定値として符号判定レベルＦＬ１、ＦＬ２を用いる。符号判定レベルＦＬ１、ＦＬ２としては、それぞれ平均符号レベルＨＬ１、ＨＬ２に０．００１を乗じた値を設定する。合算値Ｅc1がＦＬ１未満であり、かつ、合算値Ｅc2がＦＬ２未満である場合、符号判定パラメータ算出手段１５０は、区切り情報であると判定する（Ｓ３０９）。
【００８１】
一方、合算値Ｅc1、Ｅc2のうちいずれか一方が所定値以上である場合、すなわち、Ｅc1＞ＦＬ１またはＥc2＞ＦＬ２の条件を満たす場合、符号判定パラメータ算出手段１５０は、上記算出された符号判定パラメータＥc1、Ｅc2の比較判定を以下の〔数式１３〕に従って行い（Ｓ３０６）、比較結果に対応する符号を出力する。
【００８２】
〔数式１３〕
Ｅc2＞ＦＬ２かつＥc2／Ｅc1＞２の場合、窓３成分が優位な状態
Ｅc1＞ＦＬ１かつＥc1／Ｅc2＞２の場合、窓１成分が優位な状態
上記いずれでもない場合（Ｅc2≦ＦＬ２またはＥc2／Ｅc1≦２、かつＥc1≦ＦＬ１またはＥc1／Ｅc2≦２）、両窓成分が均等
【００８３】
符号判定パラメータ算出手段１５０は、各音響フレーム単位で、上記判定結果に応じて３値の符号を出力する。すなわち、窓３成分が優位と判定した場合には、第１のビット値（例えば“１”）を出力し（Ｓ３０７）、窓１成分が優位と判定した場合には、第２のビット値（例えば“０”）を出力し（Ｓ３０８）、両窓成分が均等と判定した場合には、区切り情報を示す符号を出力する（Ｓ３０９）。窓３成分が優位と判定して、第１のビット値を出力した場合（Ｓ３０７）、又は窓１成分が優位と判定して、第２のビット値を出力した場合（Ｓ３０８）は、さらに、以下の〔数式１４〕に従って位相判定テーブルＳ（ｐ）の更新を行う（Ｓ３１０）。
【００８４】
〔数式１４〕
窓３成分が優位の場合、Ｓ（ｐ）←Ｓ（ｐ）＋Ｅc2／Ｅc1
窓１成分が優位の場合、Ｓ（ｐ）←Ｓ（ｐ）＋Ｅc1／Ｅc2
【００８５】
続いて、符号判定パラメータ算出手段１５０は、候補符号テーブルに、最適位相となる候補を保存する（Ｓ３１１）。具体的には、位相判定テーブルに記録されているＳ（ｐ）の値が最大となる位相番号ｐの値、前記Ｓ３０７〜Ｓ３０９により判定された３値のいずれかの符号、その音響フレームについての各Ｅc2、Ｅc1の値を最適位相の候補として候補符号テーブルに保存する。
【００８６】
続いて、全ての位相番号ｐに対応する処理を終えたかどうかを判定する（Ｓ３１２）。これは、ある基準フレームに対して全ての位相変更フレームの処理を行ったかどうかを判定している。本実施形態では、ｐが０〜５までの値をとるので、６回分処理していない場合は、処理していた音響フレームから所定サンプル数ずらして、位相の異なる音響フレームを設定し、Ｓ３０５に戻って処理を繰り返す。なお、ｐ＝０の場合が基準フレームであり、ｐ＝１〜５の場合が位相変更フレームである。全ての位相番号ｐに対応する処理を終えた場合は、候補保存テーブルに記録されている位相番号ｐに対応する位相が最適位相であると判定し、候補保存テーブルに記録されている符号を出力する（Ｓ３１３）。この際、後続の音響フレームについての最適位相を求めるため、位相番号ｐを最適位相決定テーブルに保存しておく。
【００８７】
次に、オフセット変更処理を行う（Ｓ３１４）。このオフセット変更処理についての詳細を図９のフローチャートに示す。オフセット変更処理においては、まず、判定位相の変動があったかどうかを判断する（Ｓ４０１）。具体的には、最適位相決定テーブルを参照し、たった今処理した音響フレームの最適位相が、その２つ前の音響フレームと同一であり、かつ直前の音響フレームと異なるという変動条件に該当するかどうかを判断する。
【００８８】
前記変動条件に該当する場合、微小オフセット値を更新する（Ｓ４０２）。具体的には、８種類用意されているオフセット値のうち、現在のオフセット値より大きく一番近いものに変更する。微小オフセット値の更新を行った場合、または上記Ｓ４０１において変動条件に該当しないと判断した場合は、モード判定を行う（Ｓ４０３）。モードは、区切りモードとビット出力モードの２つが用意されている。
【００８９】
ビット出力モードである場合、平均符号レベルＨＬ１、ＨＬ２のパラメータおよび位相判定テーブルＳ（ｐ）の更新を行う（Ｓ４０４）。平均符号レベルＨＬ１、ＨＬ２のパラメータの更新は、平均符号レベルＨＬ１、ＨＬ２算出の際の分子となる積算値ｖ１、ｖ２に合算値Ｅc1、Ｅc2を加算して積算値ｖ１、ｖ２を更新し、分母となるフレーム数ｎ１、ｎ２に１を加算してフレーム数ｎ１、ｎ２を更新することにより行う。位相判定テーブルＳ（ｐ）の更新は、上記Ｓ３１０ および〔数式１４〕に従った処理と同様にして行われる。さらに、Ｓ４０４においては、更新カウンタの更新も行う。更新カウンタの値は、Ｓ４０４における処理が実行される度に１づつ加算される。
【００９０】
そして、更新回数が所定以上となった場合、すなわち、更新カウンタの値が所定値以上となった場合には、平均符号レベルＨＬ１、ＨＬ２のパラメータおよび位相判定テーブルＳ（ｐ）のリフレッシュを行う（Ｓ４０５）。具体的には、参照する過去データの回数を５０回までと制限し、１００回累積されるごとに積算値ｖおよびＳ（ｐ）の値を半分にする。そして、更新カウンタの値を“０”にリセットする。
【００９１】
上記Ｓ４０３において区切りモードと判定された場合、Ｓ４０４において更新回数が所定未満である場合、Ｓ４０５においてリフレッシュを行った場合は、オフセット変更処理（Ｓ３１４）を終了する。
【００９２】
オフセット変更処理の終了により、図８に示す符号判定処理が終了するため、図７のフローチャートに戻って説明する。Ｓ２０２による処理の結果、ビット値に相当する符号が出力された場合には、平均符号レベルＨＬ１、ＨＬ２のパラメータの更新および非符号カウンタの初期化処理を行う（Ｓ２０３）。具体的には、平均符号レベルＨＬのパラメータの更新は、上記Ｓ４０４と同様、平均符号レベルＨＬ算出の際の分子となる積算値ｖ１、ｖ２に合算値Ｅc1、Ｅc2を加算して積算値ｖ１、ｖ２を更新し、分母となるフレーム数ｎ１、ｎ２に１を加算してフレーム数ｎ１、ｎ２を更新することにより行う。非符号カウンタの初期化処理は、上記Ｓ２００の初期化処理における処理と同様、非符号カウンタＮｎ＝０と設定する。
【００９３】
続いて、モードの判定を行う（Ｓ２０４）。具体的には、上記Ｓ４０３と同様、区切りモードかビット出力モードかの判定を行う。ビット出力モードである場合は、そのビット値をバッファに保存する（Ｓ２０９）。続いて、ビットカウンタをカウントアップする（Ｓ２１０）。一方、Ｓ２０４による判定の結果、区切りモードである場合には、さらに抽出された符号が、新規を意味するものか継続を意味するものかを判定する（Ｓ２０５）。この結果、新規である場合には、その直前で１ワードが終了していることを意味するので、バッファに記録された１ワード分のデータを、付加情報抽出手段１７０が出力する（Ｓ２０６）。そして、ビットカウンタを０に初期化する（Ｓ２０７）。さらに、モードをビット出力モードに設定する（Ｓ２０８）。Ｓ２０５において、継続と判定された場合には、バッファ内のビットに値を出力すべきであるので、ビット出力モードに設定する処理のみを行う。
【００９４】
続いて、次の音響フレームから新規か継続かの情報を抽出するため、モードを区切りモードに設定する（Ｓ２１２）。そして、非符号カウンタのカウントアップ処理を行う（Ｓ２１３）。具体的には、非符号カウンタＮｎの値に１を加算する。図７に示す処理を各基準フレームに対して実行することにより、付加情報が抽出されることになる。Ｓ２０１において全ての基準フレームが抽出されたと判断された場合には、処理を終了する。
【００９５】
上記Ｓ２０６の処理において、付加情報抽出手段１７０は、まず、符号判定パラメータ算出手段１５０により出力された３値の符号のうち、両窓成分均等を示す符号を区切り位置として、その次の符号を先頭とし、窓３成分優位、窓１成分優位の符号をビット値に対応させて、ビット配列を作成する。続いて、このビット配列を、所定の規則により変換して意味のある付加情報として抽出する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、文字情報として認識するための規則としている。すなわち、付加情報抽出手段１７０は、符号判定パラメータ算出手段１５０が判定し、符号出力手段１６０から出力される符号を１バイト（８ビット）単位で認識し、これを設定されたコード体系に従って文字情報を認識する。このようにして得られた文字情報は、表示装置（図示省略）の画面に表示出力される。
【００９６】
従って、埋め込み装置により音響信号に、その楽曲の曲名やアーチスト等の属性情報を文字情報として埋め込んでおけば、利用者は、その音楽が流れているのを聞いて、その曲名やアーチストを知りたいと思ったときに、抽出装置として機能する自身の携帯端末に所定の操作を行えば、自身の携帯端末の画面に曲名やアーチスト等の属性情報が文字情報として表示されることになる。
【００９７】
以上の処理においては、抽出装置において正確に付加情報を抽出するために、位相を補正する処理、左右の低周波成分の強度の差を補正する処理、無効フレームであることを判断するための下限閾値を補正する処理を行っている。次に、これら３つの補正処理について補足説明を行う。
【００９８】
（５．位相補正処理およびオフセット変更処理について）
上記のように、抽出時には、埋め込み時に埋め込んだ音響フレームに対応して、音響信号を読み込むことができるとは限らない。そこで、音響フレームの位相をずらして複数通り（本実施形態では６通り）で読み込み、その中で最適な位相を決定し、その位相で特定される音響フレームに対応する符号を出力することにしている。この際、検出精度をさらに向上させるため、本発明では、基準フレームの位置を微小量づつ移動させて、最適な音響フレームを符号抽出対象として決定するようにしている。
【００９９】
位相補正処理については、例えば６通りで読み込む場合、先頭の音響フレームは、本来サンプル番号１〜４０９６のサンプルであるが、サンプル番号１、６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される６個の各音響フレームに対して処理を行い、最適な音響フレームに対応する符号を出力することになる。この位相補正処理は、Ｓ３０４、Ｓ３１０、Ｓ３１１、Ｓ３１２、Ｓ３１３における処理を中心として行われることになる。
【０１００】
また、オフセット変更処理については、最適位相フレームが、２つ前の最適位相フレームと同じ位相であり、１つ前の最適位相フレームと異なる位相である場合に限り、オフセット値を変更することになる。このオフセット変更処理は、Ｓ３０４およびＳ３１４における処理を中心として行われることになる。
【０１０１】
ここで、オフセット変更処理による情報抽出の対象とする音響フレームの変化の様子を図１０に示す。図１０において、左右方向は時系列方向を示し、右側に行くほど未来であることを示している。図１０（ａ）は、音響信号入力手段１００が、サンプル列として取得する対象であるデジタル音響信号を模式的に示したもので、音響フレームＡから音響フレームＤと示している４つの箇所に付加情報が埋め込まれているものとする。図１０（ｂ）の各々は、音響信号入力手段１００が、前記付加情報を抽出するためにサンプル列として位相をずらしながら取得したデジタル音響信号を模式的に示したものである。上述のように、音響フレーム獲得手段１１０は、入力されたデジタルのステレオ音響信号の各チャンネルから所定数のサンプル（サンプル群）を基準フレームとして読み込み、位相変更フレーム設定手段１３０が、基準フレームと所定サンプルずつ移動させることにより位相を変更した音響フレームを位相変更フレームとして設定する。図１０（ｂ）は、基準フレームおよび位相変更フレームとしての音響フレームを示すものである。図１０の例では、サンプル群Ａを基準フレーム（音響フレームＡ０）として読み込み、音響フレームＡ１〜音響フレームＡ５は、位相変更フレームとして読み込まれたものであることを示している。サンプル群Ｂ、Ｃと音響フレームＢ０〜音響フレームＢ５、音響フレームＣ０〜音響フレームＣ５の関係についても同様である。すなわち、音響フレームのアルファベットはサンプル群のアルファベットに対応し、音響フレームの数字は、位相番号ｐに対応している。
【０１０２】
このような状況で、音響フレームＡ０〜音響フレームＡ５の中では音響フレームＡ２、音響フレームＢ０〜音響フレームＢ５の中では音響フレームＢ１、音響フレームＣ０〜音響フレームＣ５の中では音響フレームＣ２が最適位相フレームとして決定されたとする。この場合、上記Ｓ３１３における処理により、最適位相決定テーブルには、位相番号ｐが、各基準フレームに対応して、“２” “１” “２”という順序で記録されていることになる。このような不安定な現象は、音響フレームＡの位相が音響フレームＡ１と音響フレームＡ２の中間に位置することに起因するもので、どちらが最適と判断できないため、サンプル群ごとに異なる位相番号が判定されることになり、Ｓ４０１の判定位相の変動条件に該当する。すなわち、図１０（ｂ）に示すように、たった今処理した音響フレームの最適位相（Ｃ２）が、その２つ前の音響フレーム（Ａ２）と同一であり、かつ直前の音響フレーム（Ｂ１）と異なる。すると、Ｓ４０２において、微小オフセット値が更新され、Ｓ３００において、アドレスの微小オフセット処理、すなわち、更新されたオフセット値に従って、基準フレームおよび位相変更フレームの読込位置を、所定フレーム数移動させた位置に設定する。したがって、図１０（ｂ）に示すように、サンプル群Ｄは、オフセット値分移動されたものとなる。そうすると、音響フレームＤ０〜音響フレームＤ５のいずれの候補音響フレームも前記オフセット値分だけ移動し、図１０（ｂ）の例では、音響フレームＤ１以外は選択される余地がなくなり、これ以降はしばらく位相番号ｐ＝１が安定して判定されるようになる。ただし実際には、本例のように、１回の微小オフセット処理で安定することは稀であり、逆に微小オフセット処理を施すことにより位相判定の不安定さが悪化する場合もあるが、そのような場合でも本実施例では、多くても７回の微小オフセット処理を施せば位相判定が安定するようになる。
【０１０３】
（７．下限閾値（平均符号レベル）補正処理について）
信号レベルが小さい場合には、両窓成分の大小が判定できず、抽出側で誤判断することが多くなる。そこで、低周波強度Ｅc1、Ｅc2が符号判定レベルＦＬ１、ＦＬ２以下のフレームについては、Ｓ３０５において、無効なフレームであると判断する（ビット値抽出の対象としない）ようにしているが、この符号判定レベルＦＬ１、ＦＬ２を過去の有効フレームについての低周波強度の積算値Ｅc1、Ｅc2を利用して補正する処理を行っている。このように閾値である符号判定レベルＦＬ１、ＦＬ２を変動させることにより、信号レベルが変動しても無効なフレームであるか、有効なフレームであるかを正確に判断することが可能となる。特に、本発明では、入力信号レベルが、信号が断絶したと判断される程小さい状態が続いた場合には、平均符号レベルＨＬ１、ＨＬ２を初期値であるレベル下限値Ｌｅｖに初期化する処理を行う。また、本発明では、音響信号全般を通して信号レベルが変化した場合であっても、それに対応できるように、平均符号レベルＨＬ１、ＨＬ２の算出の際に、時間的に遠くなったフレームについての低周波強度Ｅc1、Ｅc2を、その比重を軽くして用いるようにしている。この下限閾値補正処理は、Ｓ３０２、Ｓ２０３、Ｓ４０４における処理を中心として行われることになる。
【０１０４】
ここで、従来のように、平均符号レベルＨＬ１、ＨＬ２の算出の基礎である低周波強度Ｅc1、Ｅc2を過去全てのフレームについて均等に扱った場合と、本発明のように、時間的に遠いフレームの重要度を小さくし、信号が極端に小さい場合には、初期化するようにした場合の、符号判定の様子を図１１に示す。図１１において、横軸は時間軸をフレーム単位で示し、縦軸は信号レベルを示している。また、フレーム幅の太い実線は低周波強度Ｅc1、Ｅc2（図中Ｅと示す）、フレーム幅の太い破線は符号判定レベルＦＬ１、ＦＬ２（図中ＦＬと示す）を示している。なお、図１１（ａ）（ｂ）に示す低周波強度Ｅは対応するフレームにおいて全く同一となっている。
【０１０５】
このような低周波強度Ｅが得られる場合、従来法では、図１１（ａ）に示すように、左から６番目のフレームにおいて、低周波強度Ｅc1、Ｅc2が符号判定レベルＦＬ１、ＦＬ２未満となるため、Ｓ３０９において、区切り情報と判定される。このように、従来法では、左から６番目のフレームは、それなりの低周波強度Ｅc1、Ｅc2を有しており、本来ならビット値の抽出が可能であるにも関わらず、区切り情報と判定してしまうことになる。一方、本発明では、時間的に遠くなったフレームについての低周波強度Ｅc1、Ｅc2の比重を軽くしている。したがって、時間的に近いフレームについての低周波強度Ｅの値が符号判定レベルＦＬ１、ＦＬ２に大きく反映される。このため、左から４番目から６番目のフレームにおいて低周波強度Ｅが徐々に小さくなっている場合には、それが反映されて符号判定レベルＦＬ１、ＦＬ２の値も小さくなる。すると、図１１（ｂ）に示すように、左から６番目のフレームにおいて、低周波強度Ｅc1、Ｅc2が符号判定レベルＦＬ１、ＦＬ２以上となるため、Ｓ３０６〜Ｓ３０８において、ビット値が設定されることになる。
【０１０６】
また、左から１０、１１番目のフレームにおいて低周波強度Ｅc1、Ｅc2は“０”になっているが、従来法では、このような場合に符号判定レベルＦＬ１、ＦＬ２に対して特別な処理を行わないため、符号判定レベルＦＬ１、ＦＬ２の値は急激には減少しない。このため、図１１（ａ）に示すように、左から１２、１３番目のフレームにおいて、低周波強度Ｅc1、Ｅc2が符号判定レベルＦＬ１、ＦＬ２未満となるため、Ｓ３０９において、区切り情報と判定される。一方、本発明では、低周波強度Ｅが“０”の状態が所定フレーム数以上連続すると、符号判定レベルＦＬ１、ＦＬ２を初期値に再設定する。このため、左から１１番目のフレームにおいて符号判定レベルＦＬ１、ＦＬ２の値も小さくなる。すると、図１１（ｂ）に示すように、左から１２、１３番目のフレームにおいて、低周波強度Ｅが符号判定レベルＦＬ１、ＦＬ２以上となるため、Ｓ３０６〜Ｓ３０８において、ビット値が設定されることになる。なお、図１１の例では、低周波強度Ｅc1、Ｅc2が“０”の状態が２フレーム連続しただけで、符号判定レベルＦＬ１、ＦＬ２を初期値に設定しているが、これは、説明の便宜のためであり、現実には、多数のフレームについて、連続して低周波強度Ｅが“０”の場合に、符号判定レベルＦＬ１、ＦＬ２が初期値に設定される。
【図面の簡単な説明】
【０１０７】
【図１】音響信号に対する情報の埋め込み装置の機能ブロック図である。
【図２】図１に示した装置の処理概要を示すフローチャートである。
【図３】一般的なフーリエ変換を行う場合の信号波形の変化の様子を示す図である。
【図４】本発明において用いる窓関数を示す図である。
【図５】図２に従った処理による低周波成分の変化の様子を示すである。
【図６】本発明に係る音響信号からの情報の抽出装置の機能ブロック図である。
【図７】図６に示した装置の処理概要を示すフローチャートである。５
【図８】図７のＳ２０２の符号判定処理の詳細を示すフローチャートである。
【図９】図８のＳ３１４の符号判定処理の詳細を示すフローチャートである。
【図１０】オフセット変更処理による情報抽出の対象とする音響フレームの変化の様子を示すブロック図である。
【図１１】従来法と本発明における符号判定の様子を示す図である。
【符号の説明】
【０１０８】
１０・・・音響フレーム読込手段
２０・・・周波数変換手段
３０・・・低周波成分変更手段
４０・・・周波数逆変換手段
５０・・・改変音響フレーム出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・付加情報記憶部
６３・・・改変音響信号記憶部
７０・・・付加情報読込手段
１００・・・音響信号入力手段
１１０・・・音響フレーム獲得手段
１２０・・・基準フレーム設定手段
１３０・・・位相変更フレーム設定手段
１４０・・・周波数変換手段
１５０・・・符号判定パラメータ算出手段
１６０・・・符号出力手段
１７０・・・付加情報抽出手段
１８０・・・音響フレーム保持手段
【図１】
0004531653.tif 000002
【図２】
0004531653.tif 000003
【図３】
0004531653.tif 000004
【図４】
0004531653.tif 000005
【図５】
0004531653.tif 000006
【図６】
0004531653.tif 000007
【図７】
0004531653.tif 000008
【図８】
0004531653.tif 000009
【図９】
0004531653.tif 000010
【図１０】
0004531653.tif 000011
【図１１】
0004531653.tif 000012