(57)【要約】【課題】  モノラル、ステレオのいずれの音響信号にも対応可能であって、埋め込まれた付加情報を簡易に抽出することが可能な音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置、および音響信号再生装置を提供する。【解決手段】  音響信号を周波数帯に応じて信号分離を行い、２つの低周波数帯に対して、埋め込むべきビット列の２値および区切りの計３値に合わせて状態を変化させた後、高周波成分と合成する。ステレオ音響信号の場合は、Ｌチャンネル信号に埋め込むが、埋め込み処理のために削除された成分をＲチャンネルに付加する処理を行い、信号の劣化を防ぐ。【選択図】  図１２
2006243340.tif 000002
【特許請求の範囲】
【請求項１】
時系列のサンプル列で構成される音響信号に対して、付加情報を聴取不能な状態で埋め込む装置であって、
前記音響信号より、所定数のサンプルを音響フレームとして読み込む音響フレーム読込手段と、
前記音響フレームに対して周波数変換を行い、フレームスペクトルを生成する周波数変換手段と、
前記生成されたフレームスペクトルから２つの所定周波数範囲のスペクトル集合を２セット抽出し、前記埋め込むべき付加情報の情報配列の値に基づいて、前記スペクトル強度データの前記周波数範囲間の割合を変更する低周波成分変更手段と、
前記変更されたスペクトル強度データを含むフレームスペクトルに対して周波数逆変換を行い、改変音響フレームを生成する周波数逆変換手段と、
前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段と、
を有することを特徴とする音響信号に対する情報の埋め込み装置。
【請求項２】
請求項１において、
前記音響フレーム読込手段は、隣接する音響フレームと所定数のサンプルを重複させて読み込み、読み込んだ音響フレーム全体に所定の窓関数を乗じて前記周波数変換手段に渡すものであり、
前記改変音響フレーム出力手段は、前記生成された改変音響フレームを隣接する改変音響フレームと連結させて出力するものであることを特徴とする音響信号に対する情報の埋め込み装置。
【請求項３】
請求項１または請求項２において、
前記低周波成分変更手段は、所定周波数範囲のスペクトル集合として、２００Ｈｚ未満の低周波領域に相当するスペクトル集合をさらに２つの周波数範囲に分けて抽出するものであることを特徴とする音響信号に対する情報の埋め込み装置。
【請求項４】
請求項１において、
前記音響信号が左右２チャンネルの時系列のサンプル列で構成されるステレオ音響信号であって、
前記音響フレーム読込手段は、各チャンネルに対応する音響フレームをそれぞれ読み込み、前記周波数変換手段は、各チャンネルの音響フレームに対して周波数変換を行い、各チャンネル別のフレームスペクトルを生成するものであり、
前記低周波成分変更手段は、一方のチャンネルのフレームスペクトルから抽出した２セットのスペクトル集合に対して、前記埋め込むべき付加情報の情報配列の値に基づいて、前記スペクトル強度データの前記スペクトル集合間の割合を変更すると共に、他方のチャンネルからも２つの対応する周波数範囲のスペクトル集合を２セット抽出し、前記一方のチャンネルにおいて行われた変更により削除された成分を補足するよう前記スペクトル強度データの前記スペクトル集合間の割合を変更するものであり、
前記周波数逆変換手段は、各チャンネルについて、変更されたスペクトル強度データを含むフレームスペクトルに対して周波数逆変換を行って改変音響フレームを生成し、前記改変音響フレーム出力手段は、各チャンネルについて、生成された改変音響フレームを順次出力するものであることを特徴とする音響信号に対する情報の埋め込み装置。
【請求項５】
時系列のサンプル列で構成される音響信号に対して、付加情報を聴取不能な状態で埋め込む方法であって、
前記音響信号より、所定数のサンプルを音響フレームとして読み込む音響フレーム読込段階と、
前記音響フレームに対して周波数変換を行い、フレームスペクトルを生成する周波数変換段階と、
前記生成されたフレームスペクトルから２つの所定周波数範囲のスペクトル集合を２セット抽出し、前記埋め込むべき付加情報の情報配列の値に基づいて、前記スペクトル強度データの前記周波数範囲間の割合を変更する低周波成分変更段階と、
前記変更されたスペクトル強度データを含むフレームスペクトルに対して周波数逆変換を行い、改変音響フレームを生成する周波数逆変換段階と、
前記生成された改変音響フレームを順次出力する改変音響フレーム出力段階と、
を有することを特徴とする音響信号に対する情報の埋め込み方法。
【請求項６】
音響信号から、あらかじめ聴取不能な状態で埋め込まれた付加情報を抽出する装置であって、
前記音響信号の所定の区間をデジタル化して、所定数のサンプルで構成される音響フレームを獲得する音響フレーム獲得手段と、
前記音響フレームに対して周波数変換を行い、フレームスペクトルを生成する周波数変換手段と、
前記生成されたフレームスペクトルから２つの所定周波数範囲のスペクトル集合を２セット抽出し、各スペクトル集合ごとにスペクトル強度データの総和値を算出し、その総和値のスペクトル集合間比率に基づいて、所定の符号を出力するスペクトル集合間比率符号化手段と、
前記出力された符号に対応する情報配列を、所定の規則により変換して付加情報を抽出する付加情報抽出手段と、
を有することを特徴とする音響信号からの情報の抽出装置。
【請求項７】
請求項６において、
前記音響フレーム獲得手段は、前記音響信号から、所定数のサンプルで構成される音響フレームを基準フレームとして獲得する基準フレーム獲得手段と、前記基準フレームと所定サンプルずつ移動させることにより位相を変更して設定される複数の音響フレームを位相変更フレームとして設定する位相変更フレーム設定手段により構成され、
前記スペクトル集合間比率符号化手段は、前記抽出したスペクトル集合に基づいて、符号判定パラメータを算出する符号判定パラメータ算出手段と、基準フレームが異なる過去の同位相の音響フレームにおいて算出された符号判定パラメータに基づいて、前記基準フレームおよび複数の位相変更フレームのうち１つの音響フレームを位相が最適なものであると判断し、当該最適な位相の音響フレームについて判断された前記符号判定パラメータに基づいて、所定の符号を出力する符号出力手段を有するものであることを特徴とする音響信号からの情報の抽出装置。
【請求項８】
音響信号から、あらかじめ聴取不能な状態で埋め込まれた付加情報を抽出する方法であって、
前記音響信号の所定の区間をデジタル化して、所定数のサンプルで構成される音響フレームを獲得する音響フレーム獲得段階と、
前記音響フレームに対して周波数変換を行い、フレームスペクトルを生成する周波数変換段階と、
前記生成されたフレームスペクトルから２つの所定周波数範囲のスペクトル集合を２セット抽出し、各スペクトル集合ごとにスペクトル強度データの総和値を算出し、その総和値のスペクトル集合間比率に基づいて、所定の符号を出力するスペクトル集合間比率符号化段階と、
前記出力された符号に対応する情報配列を、所定の規則により変換して付加情報を抽出する付加情報抽出段階と、
を有することを特徴とする音響信号からの情報の抽出方法。
【請求項９】
音響信号から、あらかじめ聴取不能な状態で埋め込まれた付加情報を抽出しながら音響再生する装置であって、
前記音響信号より、所定数のサンプルを音響フレームとして読み込む音響フレーム読込手段と、
前記読み込んだ音響フレームに対して周波数変換を行い、フレームスペクトルを生成する周波数変換手段と、
前記生成されたフレームスペクトルから２つの所定周波数範囲のスペクトル集合を２セット抽出し、各スペクトル集合ごとにスペクトル強度データの総和値を算出し、その総和値のスペクトル集合間比率に基づいて、所定の符号を出力するスペクトル集合間比率符号化手段と、
前記出力された符号に対応する情報配列を、付加情報に変換して表示出力する付加情報表示手段と、
前記音響フレームを２つ以上蓄積する再生フレーム蓄積手段と、
前記音響フレーム読込手段により読み込まれた音響フレームを前記再生フレーム蓄積手段に投入する再生フレーム投入手段と、
前記再生フレーム蓄積手段内に存在する音響フレームのうち最初に投入された音響フレームを音響再生し、再生終了後に当該音響フレームを前記再生フレーム蓄積手段から削除させることで、新規に音響フレームを投入できる余地を前記再生フレーム蓄積手段に設けるとともに、次に蓄積されている音響フレームが存在する場合に、前記最初に投入された音響フレームに連続して次の音響フレームを音響再生する音響フレーム再生手段と、
を備えていることを特徴とする音響信号再生装置。
【請求項１０】
音響信号から、あらかじめ聴取不能な状態で埋め込まれた付加情報を抽出しながら音響再生する方法であって、
前記音響信号より、所定数のサンプルを音響フレームとして読み込む音響フレーム読込段階と、
前記読み込んだ音響フレームに対して周波数変換を行い、フレームスペクトルを生成する周波数変換段階と、
前記生成されたフレームスペクトルから２つの所定周波数範囲のスペクトル集合を２セット抽出し、各スペクトル集合ごとにスペクトル強度データの総和値を算出し、その総和値のスペクトル集合間比率に基づいて、所定の符号を出力するスペクトル集合間比率符号化段階と、
前記出力された符号に対応する情報配列を、付加情報に変換して表示出力する付加情報表示段階と、
前記音響フレーム読込段階において読み込まれた音響フレームを、音響フレームを２つ以上蓄積する再生フレーム蓄積手段に、投入する再生フレーム投入段階と、
前記再生フレーム蓄積手段内に存在する音響フレームのうち最初に投入された音響フレームを音響再生し、再生終了後に当該音響フレームを前記再生フレーム蓄積手段から削除させることで、新規に音響フレームを投入できる余地を前記再生フレーム蓄積手段に設けるとともに、次に蓄積されている音響フレームが存在する場合に、前記最初に投入された音響フレームに連続して次の音響フレームを音響再生する音響フレーム再生段階と、
を備えていることを特徴とする音響信号再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野における音楽著作権の保護（不正コピーの監視）および音楽属性情報の提供（楽曲タイトル検索サービス）分野、ミュージアム、イベント会場における展示説明ナレーションに連動した文字情報の提供サービス分野に関する。
【背景技術】
【０００２】
最近、流れている音楽のタイトル等を知ることができる楽曲属性情報の提供サービスとして、放送された音楽に対して日時と地域を放送局に照会したり、携帯電話で流れている音楽断片を録音してデータベースに登録されているメロディーと照合したりするサービスが実用化されている（例えば、特許文献１、２参照）。
【０００３】
特許文献１、２に記載の発明では、録音した音楽の断片と、データベースに登録されているメロディーと照合するため、データベースに登録される楽曲が増えると、処理負荷が増え、類似したメロディーを誤判定する可能性が増える。そこで、曲名やアーチスト情報などの楽曲属性情報を不可聴な電子透かしとして音響信号に埋め込む手法も提案されている（例えば、特許文献３〜６参照）。
【０００４】
特許文献１〜６に記載の手法では、埋め込み可能な情報量が少なく、音質が少なからず劣化し、各種信号処理により透かし情報が消失し、またアナログコピーに対しては、透かし検出が困難であるという問題がある。そこで、本出願人は、複数チャンネル有する音響信号の低周波数成分の比率を属性情報のビット値に応じて変更することにより、属性情報を埋め込む手法や、モノラル信号の位相を属性情報のビット値に応じて変更することにより、属性情報（付加情報）を埋め込む手法を提案した（特許文献７、８参照）。
【特許文献１】特開２００２−２５９４２１号公報
【特許文献２】特開２００３−１５７０８７号公報
【特許文献３】特開平１１−１４５８４０号公報
【特許文献４】特開平１１−２１９１７２号公報
【特許文献５】特許第３３２１７６７号公報
【特許文献６】特開２００３−９９０７７号公報
【特許文献７】特願２００５−５１５７号
【特許文献８】特願２００５−１３４９０号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献７に記載の手法では、モノラルには対応できず、モノラル変換すると埋め込まれた属性情報等の付加情報が消えてしまう。また、抽出には、ステレオ・マイクロフォンおよびステレオによる音響信号処理を必要とし、抽出装置の小型化が困難であり、指向性マイクロフォンを使用するため抽出操作が難しいという問題がある。
【０００６】
また、上記特許文献８に記載の手法では、アナログ経由で属性情報等の付加情報を抽出する場合、特にマイク入力時のビット検出精度が悪いため、高精度な音響入力系を必要とし、抽出装置の実現コストが高くなるという問題がある。
【０００７】
そこで、本発明は、モノラル、ステレオのいずれの音響信号にも対応可能であって、埋め込まれた付加情報を簡易に抽出することが可能な音響信号に対する情報の埋め込み装置、音響信号からの情報の抽出装置、および音響信号再生装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明では、時系列のサンプル列で構成される音響信号に対して、付加情報を聴取不能な状態で埋め込む装置であって、前記音響信号より、所定数のサンプルを音響フレームとして読み込む音響フレーム読込手段と、前記音響フレームに対して周波数変換を行い、フレームスペクトルを生成する周波数変換手段と、前記生成されたフレームスペクトルから２つの所定周波数範囲のスペクトル集合を２セット抽出し、前記埋め込むべき付加情報の情報配列の値に基づいて、前記スペクトル強度データの前記周波数範囲間の割合を変更する低周波成分変更手段と、前記変更されたスペクトル強度データを含むフレームスペクトルに対して周波数逆変換を行い、改変音響フレームを生成する周波数逆変換手段と、前記生成された改変音響フレームを順次出力する改変音響フレーム出力手段を有する音響信号に対する情報の埋め込み装置を提供する。
【発明の効果】
【０００９】
本発明によれば、音響信号の低周波領域における２つの低周波数帯間の強度の割合を、埋め込むべき付加情報の情報配列に基づいて変化させるようにしたので、モノラル、ステレオのいずれの音響信号にも対応可能であって、埋め込んだ付加情報を簡易に抽出することが可能となるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．音響信号に対する情報の埋め込み装置）
図１は、本発明に係る音響信号に対する情報の埋め込み装置の構成を示す機能ブロック図である。図１において、１０は音響フレーム読込手段、２０は周波数変換手段、３０は低周波成分変更手段、４０は周波数逆変換手段、５０は改変音響フレーム出力手段、６０は記憶手段、６１は音響信号記憶部、６２は付加情報記憶部、６３は改変音響信号記憶部、７０は付加情報読込手段である。なお、図１に示す装置は、ステレオ音響信号、モノラル音響信号の両方に対応可能であるが、ここでは、ステレオ音響信号に対して処理を行う場合について説明していく。
【００１１】
音響フレーム読込手段１０は、付加情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。周波数変換手段２０は、音響フレーム読込手段１０が読み込んだ音響信号のフレームをフーリエ変換等により周波数変換してフレームスペクトルを生成する機能を有している。低周波成分変更手段３０は、生成されたフレームスペクトルから２つの所定周波数範囲に相当するスペクトル集合を２セット抽出し、付加情報記憶部６２から抽出した付加情報に基づいて、低周波強度データのスペクトル集合間比率を変更する機能を有している。周波数逆変換手段４０は、変更された低周波強度データを含む複数のフレームスペクトルに対して周波数逆変換を行うことにより、改変音響フレームを生成する機能を有している。改変音響フレーム出力手段５０は、生成された改変音響フレームを順次出力する機能を有している。記憶手段６０は、付加情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部６１と、ビット配列として構成され、ステレオ音響信号に埋め込まれる付加情報を記憶した付加情報記憶部６２と、付加情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部６３を有しており、その他処理に必要な各種情報を記憶するものである。付加情報読込手段７０は、付加情報記憶部６２から付加情報を抽出する機能を有している。なお、付加情報とは、音響情報に付加して埋め込むべき情報であり、タイトルやアーティスト名等の属性情報、および属性情報以外の他の情報を含むものである。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
【００１２】
（２．埋め込み装置の処理動作）
次に、図１に示した音響信号に対する情報の埋め込み装置の処理動作について図２のフローチャートに従って説明する。ここでは、音響信号として、Ｌ（左）、Ｒ（右）の２チャンネルを有するステレオ音響信号に対して処理を行う場合について説明していく。図２は、付加情報１バイトの処理に対応したものとなっている。まず、付加情報読込手段７０は、付加情報記憶部６２から付加情報を１バイト単位で読み込む（Ｓ１０１）。具体的には、レジスタに１バイト読み込むことになる。続いて、モードを区切りモードに設定する（Ｓ１０２）。モードは区切りモードと、ビットモードの２種類が存在する。区切りモードは１バイト単位の区切りにおける処理を行うモードを示し、ビットモードは１バイトの各ビットの値に基づいた処理を行うモードを示している。付加情報記憶部６２から１バイト読み込んだ場合には、その直後に必ず区切りモードに設定されることになる。
【００１３】
続いて、音響フレーム読込手段１０が、音響信号記憶部６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む（Ｓ１０４）。音響フレーム読込手段１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。したがって、音響フレーム読込手段１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。
【００１４】
続いて、周波数変換手段２０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ１０５）。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。フーリエ変換を行う場合、左チャンネル信号ｘｌ（ｉ）、右チャンネル信号ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、以下の〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルに対応する変換データの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を得る。
【００１５】
〔数式１〕
Ａｌ（ｊ）＝Σi=0,…,N-1ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（ｊ）＝Σi=0,…,N-1ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（ｊ）＝Σi=0,…,N-1ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（ｊ）＝Σi=0,…,N-1ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
【００１６】
〔数式１〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。この際、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる。このような窓関数は、フーリエ変換を行う際に、周波数成分に波形を分断することにより発生する高周波ノイズを低減するためと、フーリエ逆変換を行う際に解析区間（音響フレームに相当）の間で信号レベルが不連続にならないように連結させるために用いられるものであり、周知の技術である。
【００１７】
上記〔数式１〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３０が、生成されたフレームスペクトルから２つの所定周波数範囲のスペクトル集合を抽出する。人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっていることが知られている（コロナ社１９９０年１０月３０日発行「音響工学講座１．基礎音響工学、日本音響学会編」ｐ２４７図９・２６参照）。したがって、本実施形態では、低周波成分を２００Ｈｚ程度以下とし、さらに、低周波成分を１００Ｈｚ近辺で２つに分け、第１低周波数帯、第２低周波数帯として抽出することにしている。周波数１００Ｈｚ付近、２００Ｈｚ付近は、それぞれ上記ｊが１０、２０に相当するので、上記〔数式１〕により算出された実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）のうち、第１低周波数帯としてｊ≦１０、第２低周波数帯として１１≦ｊ≦２０のものを抽出することになる。
【００１８】
続いて、低周波成分変更手段３０は、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）のうち、左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）を利用して、以下の〔数式２〕によりｊ＝１〜Ｍ１までの低周波強度の合算値Ｅ1、（Ｍ１＋１）〜Ｍ２（例えば、Ｍ１＝１０、Ｍ２＝２０）までの低周波強度の合算値Ｅ2を算出する。
【００１９】
〔数式２〕
Ｅ1＝Σj=1,…,M1｛Ａｌ（ｊ）2＋Ｂｌ（ｊ）2｝
Ｅ2＝Σj=M1+1,…,M2｛Ａｌ（ｊ）2＋Ｂｌ（ｊ）2｝
【００２０】
上記〔数式２〕により算出されたＥ1、Ｅ2は、フレームスペクトルにおける第１低周波数帯、第２低周波数帯のそれそれのスペクトル集合の成分強度の合算値を示すことになる。続いて、この合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上であるかどうかの判定を行う。レベル下限値Ｌｅｖは、音響信号ｘｌ（ｉ）、ｘｒ（ｉ）の振幅最大値が１に正規化されており、Ｍ２＝２０に設定されている場合、２．０に設定する。合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。したがって、合算値Ｅ1、Ｅ2が共にレベル下限値Ｌｅｖ未満である場合は、付加情報のビット値に応じた記録をせず、先頭ビットから再度処理するため、読み込み位置を先頭ビットに戻し、モードを区切りモードに設定する（Ｓ１０６）。一方、合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上である場合には、モードを判断することになる。
【００２１】
低周波成分変更手段３０は、モードが区切りモードである場合、第１低周波数帯と第２低周波数帯で均等（双方０も含む）とする処理を行う（Ｓ１０８）。具体的には、以下の〔数式３〕に従って、Ｌ側の双方を０に設定する処理を実行することになる。この場合、Ｒ側の第１低周波数帯と第２低周波数帯の成分は均等ではない。
【００２２】
〔数式３〕
第１低周波数帯（ｊ＝１〜１０）、第２低周波数帯（ｊ＝１１〜２０）共に
Ｅ（ｊ）＝｛Ａｌ（ｊ）2＋Ｂｌ（ｊ）2＋Ａｒ（ｊ）2＋Ｂｒ（ｊ）2｝1/2
Ａｌ（ｊ）＝０
Ｂｌ（ｊ）＝０
Ａｒ（ｊ）←Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）2＋Ｂｒ（ｊ）2｝1/2
Ｂｒ（ｊ）←Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）2＋Ｂｒ（ｊ）2｝1/2
【００２３】
上記〔数式３〕において、第４式および第５式における“←”は右辺の計算結果を左辺に代入することを示している。上記〔数式３〕に従った処理を実行することにより、左チャンネルのフレームスペクトルの低周波数成分は、第１低周波数帯、第２低周波数帯共に“０” で同一となる。この第１低周波数帯、第２低周波数帯が均等のパターンは、付加情報の先頭位置（区切り）を示す情報となる。なお、上記〔数式３〕においては、第１低周波数帯、第２低周波数帯ともにＡｌ（ｊ）＝Ｂｌ（ｊ）＝０としているが、抽出側で区切りであることが認識可能とすることを目的としているため、十分小さな値であれば、必ずしも０とする必要はない。
【００２４】
一方、低周波成分変更手段３０は、モードがビットモードである場合、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、第１、第２低周波数帯間の分布を第１低周波数帯が優位か、第２低周波数帯が優位かのいずれかに変更する処理を行う（Ｓ１０７）。具体的には、第１の値と第２の値をとり得るビット値に応じて以下の〔数式４〕、〔数式５〕のいずれかに従った処理を実行することにより、第１、第２低周波数帯間の大小関係を変更する。例えば、第１の値を１、第２の値を０とした場合、ビット値が１のとき、以下の〔数式４〕に従った処理を実行する。なお、この場合、第２低周波数帯（ｊ＝１１〜２０）に対しては処理は行わない。
【００２５】
〔数式４〕
第１低周波数帯（ｊ＝１〜１０）に対して
Ａｌ（ｊ）＝０
Ｂｌ（ｊ）＝０
Ｅ（ｊ）＝｛Ａｌ（ｊ）2＋Ｂｌ（ｊ）2＋Ａｒ（ｊ）2＋Ｂｒ（ｊ）2｝1/2
Ａｒ（ｊ）←Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）2＋Ｂｒ（ｊ）2｝1/2
Ｂｒ（ｊ）←Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）2＋Ｂｒ（ｊ）2｝1/2
【００２６】
ビット値が０の場合、以下の〔数式５〕に従った処理を実行する。なお、この場合、第１低周波数帯（ｊ＝１〜１０）に対しては処理は行わない。
【００２７】
〔数式５〕
第２低周波数帯（ｊ＝１１〜２０）に対して
Ａｌ（ｊ）＝０
Ｂｌ（ｊ）＝０
Ｅ（ｊ）＝｛Ａｌ（ｊ）2＋Ｂｌ（ｊ）2＋Ａｒ（ｊ）2＋Ｂｒ（ｊ）2｝1/2
Ａｒ（ｊ）←Ａｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）2＋Ｂｒ（ｊ）2｝1/2
Ｂｒ（ｊ）←Ｂｒ（ｊ）・Ｅ（ｊ）／｛Ａｒ（ｊ）2＋Ｂｒ（ｊ）2｝1/2
【００２８】
上記〔数式４〕、〔数式５〕のいずれかに従った処理を実行することにより、付加情報のビット配列の各ビット値に応じて、第１低周波数帯が優位か、第２低周波数帯が優位かのどちらかのパターンに変更されることになる。結局、低周波成分変更手段３０は、区切りモードの場合に〔数式３〕に基づく処理をＳ１０８において行い、ビットモードの場合に〔数式４〕又は〔数式５〕に基づく処理をＳ１０７において行うことになる。
【００２９】
次に、周波数逆変換手段４０が、低周波強度データのスペクトル集合間比率が変更されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ１０９）。この周波数逆変換は、当然のことながら、周波数変換手段２０がＳ１０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段２０において、フーリエ逆変換を施しているため、周波数逆変換手段４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式３〕〜〔数式５〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、右チャンネルの実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を用いて、以下の〔数式６〕に従った処理を行い、ｘｌ´（ｉ）、ｘｒ´（ｉ）を算出する。
【００３０】
〔数式６〕
ｘｌ´（ｉ）＝１／Ｎ・｛Σj=0,…,N-1Ａｌ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σj=0,…,N-1Ｂｌ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋｛１−Ｗ（ｉ）｝・ｘｌ（ｉ）
ｘｒ´（ｉ）＝１／Ｎ・｛Σj=0,…,N-1Ａｒ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σj=0,…,N-1Ｂｒ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋｛１−Ｗ（ｉ）｝・ｘｒ（ｉ）
【００３１】
上記〔数式６〕における第１式の“＋｛１−Ｗ（ｉ）｝・ｘｌ（ｉ）”、第２式の“＋｛１−Ｗ（ｉ）｝・ｘｒ（ｉ）”の項は、上記〔数式１〕において周波数変換する際に、窓関数Ｗ（ｉ）を乗じることにより除去された信号成分を復元するためのものである。上記〔数式６〕により改変音響フレームの左チャンネルの各サンプルｘｌ´（ｉ）、右チャンネルの各サンプルｘｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段５０は、得られた改変音響フレームを順次出力ファイルに出力する（Ｓ１１０）。こうして１つの音響フレームに対する処理を終えたら、モードをビットモードに設定した後（Ｓ１１１）、付加情報読込手段７０が付加情報のビット配列中の次のビットを読み込む（Ｓ１０３）。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していく。すなわち、所定数のサンプルを音響フレームとして読み込み、音響信号から読み込むべき音響フレームがなくなったら（Ｓ１０４）、処理を終了する。なお、Ｓ１０１において読み込んだ１バイトのデータの各ビットに対応する処理を終えた場合、Ｓ１０３からＳ１０１に戻り、付加情報の次のバイトを読み込み処理をすることになる。付加情報の全バイトに対して、処理が終了した場合は、付加情報の先頭バイトに戻って処理を行う。この結果、全ての音響フレームに対して処理を行った全ての改変音響フレームが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段６０内の改変音響信号記憶部６３に出力され、記憶される。
【００３２】
以上の処理による左チャンネル信号の変化の様子を図３を用いて説明する。図３において、左右方向は、時間軸であり、サンプル数に比例する。また、図中多数存在する矩形は、改変音響フレームの第１低周波数帯、第２低周波数帯成分を示し、その横幅はサンプル数（本実施形態では、４０９６）、縦幅は強度を示している。図３（ａ）は、上記〔数式２〕により算出された合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満となる音響フレームが存在しない場合、すなわち、付加情報を埋め込むには、良好な信号である場合を示している。図３（ｂ）は、上記〔数式２〕により算出された合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満となる音響フレームが存在する場合、すなわち、付加情報を埋め込むには、良好でない信号である場合を示している。
【００３３】
例えば、付加情報として、１バイト目が「１１０１１１００」、２バイト目が「１１０００００１」の２バイトのビット配列を埋め込むとする。まず、各バイトの先頭には、区切りを示す情報として、第１低周波数帯、第２低周波数帯が均等な状態に設定されることになる。これは、Ｓ１０２により区切りモードに設定され、Ｓ１０８において、上記〔数式３〕に従った処理を実行した結果得られる。また、図３（ａ）の例では、合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満となる音響フレームが存在しないため、１バイトが連続して上記〔数式４〕又は〔数式５〕により処理されることになる。これは、Ｓ１０３からＳ１１１を経由するループが８回連続して繰り返され、その間レベル下限値未満であるとしてＳ１０６およびＳ１０８を経由することがなかったことを示している。図３に示すように、付加情報のビット値が１の場合は、第１低周波数帯側に低周波成分が存在し、付加情報のビット値が０の場合は、第２低周波数帯側に低周波成分が存在する。上記〔数式４〕、〔数式５〕からもわかるように、この場合は他方の低周波数帯の低周波成分は０となる。
【００３４】
図３（ｂ）の例では、上記〔数式２〕に従った処理の結果、レベル下限値Ｌｅｖ未満となる音響フレームが存在するので、この場合Ｓ１０６およびＳ１０８を経由して、上記〔数式３〕に従った処理を実行した結果第１低周波数帯、第２低周波数帯が均等な状態に設定される。この場合、Ｓ１０６において、読み込み位置が先頭ビットに戻されるため、再び同じビットを読むことになる。図３（ｂ）の例では、１バイト目の「１１０１１１００」を埋め込む場合に、最初は「１１」の２ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現し、２度目は「１１０１１」の５ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現し、３度目でようやく８ビット処理することができたことを示している。
【００３５】
しかし、図２に従った処理を行った場合には、図３（ｂ）に示したように、低周波成分の信号レベルが小さい音響フレームが出現するたびに、１バイト単位で先頭から繰り返して処理することになるため、効率が悪い。そこで、図２に代えて、図４に示すような処理を行うようにしても良い。
【００３６】
図４に示す処理で、図２に示す処理と大きく異なるのは、区切りモード、ビットモードの他に継続識別モードを備え、３つのモードとし、低周波成分の信号レベルが小さい音響フレームが出現した場合であっても、先頭に戻らず、継続して処理するようにした点である。そのため、継続識別モードにおいては、次のビットが先頭から始まる新規なものか、中断されたために継続されたものであるかを識別するための情報を記録することになる。なお、図４の処理では、付加情報の処理をバイト単位でなく、ワード単位で行っている。これは、図２のＳ１０６に示したように、強制的に読み込み位置を先頭に戻す処理がないため、バイト以外の単位で処理するのが容易であるためである。１ワードのビット数は自由に設定でき、１バイトに設定することもできる。
【００３７】
図４の処理については、図２の処理と共通する部分が多いため、異なる部分を中心に説明していく。まず、付加情報読込手段７０は、付加情報記憶部６２から付加情報を１ワード単位で読み込む（Ｓ２０１）。その後、モードを区切りモードに設定し（Ｓ２０２）、音響フレーム読込手段１０が、音響信号記憶部６１に記憶されたステレオ音響信号の左右各チャンネルから、音響フレームを読み込み（Ｓ２０４）、周波数変換手段２０が、読み込んだ各音響フレームに対して、〔数式１〕に従って周波数変換を行ってフレームスペクトルを得て（Ｓ２０５）、低周波成分変更手段３０が、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）、実部Ａｒ（ｊ）、虚部Ｂｒ（ｊ）を利用して、〔数式２〕により合算値Ｅ1、Ｅ2を算出し、合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上であるかどうかを判断するところまでは同一である。ただし、図４の処理においては、合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満である場合は、モードを区切りモードに設定するだけである（Ｓ２０６）。一方、合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上である場合には、モードを判断することになる。
【００３８】
低周波成分変更手段３０は、モードが区切りモードである場合、上記〔数式３〕に従って、低周波強度を第１低周波数帯、第２低周波数帯で同一とする処理を行う（Ｓ２０８）。一方、低周波成分変更手段３０は、モードがビットモードである場合、上記〔数式４〕、〔数式５〕に従って、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、低周波強度の第１低周波数帯、第２低周波数帯間の比率を変更する処理を行う（Ｓ２０７）。また、Ｓ２０７においては、図２のＳ１０７と異なり、継続識別モードである場合にも処理を行う。継続識別モードである場合、新規であるときは〔数式４〕に従って低周波成分の第１低周波数帯、第２低周波数帯間の分布を第１低周波数帯が大に変更し、継続であるときは〔数式５〕に従って低周波成分の第１低周波数帯、第２低周波数帯間の分布を第２低周波数帯が大に変更する。
【００３９】
次に、周波数逆変換手段４０が、低周波強度データのスペクトル集合間比率が変更されたフレームスペクトルを〔数式６〕に従って周波数逆変換して改変音響フレームを得る処理を行い（Ｓ２０９）、改変音響フレーム出力手段５０は、得られた改変音響フレームを順次出力ファイルに出力する（Ｓ２１０）。こうして１つの音響フレームに対する処理を終えたら、モードの判定を行い（Ｓ２１１）、モードが区切りモードである場合は、モードを継続識別モードに設定した後（Ｓ２１２）、音響フレーム読込手段１０が、音響フレームを読み込む（Ｓ２０４）。一方、モードがビットモード又は継続識別モードである場合は、モードをビットモードに設定した後（Ｓ２１３）、低周波成分変更手段３０が付加情報のビット配列中の次のビットを読み込む（Ｓ２０３）。そして、全音響フレームの処理を行い、音響信号から読み込むべき音響フレームがなくなったら（Ｓ２０４）、処理を終了する。
【００４０】
図４に従った処理による左チャンネル信号の変化の様子を図５を用いて説明する。図５においては、図３と同様、左右方向は時間軸であり、図中多数存在する矩形は、改変音響フレームの第１低周波数帯、第２低周波数帯成分を示し、その横幅はサンプル数、縦幅は強度を示している。図５（ａ）は、図３（ａ）と同様、上記〔数式２〕により算出された合算値Ｅ1、Ｅ2が、レベル下限値Ｌｅｖ以上となる音響フレームが存在しない場合を示しており、図５（ｂ）は、図３（ｂ）と同様、上記〔数式２〕により算出された合算値Ｅ1、Ｅ2が、レベル下限値Ｌｅｖ未満となる音響フレームが存在する場合を示している。
【００４１】
また、図２の処理との比較のため、埋め込む付加情報も、図３の場合と同様、１バイト目が「１１０１１１００」、２バイト目が「１１０００００１」の２バイトのビット配列とする。図３と同様、各バイトの先頭には、区切りを示す情報として、第１低周波数帯、第２低周波数帯が均等な状態に設定されることになる。これは、Ｓ２０２により区切りモードに設定され、Ｓ２０８において、上記〔数式３〕に従った処理を実行した結果得られる。続いて、付加情報の各ビットに対応した処理を行う前に、新規であるか継続であるかを示す情報を記録することになる。図２に示す処理によれば、レベル下限値Ｌｅｖ未満となる音響フレームが存在した場合には、処理するビットを各バイトの先頭に戻して処理するため、全て新規となるが、図４に示す処理では、レベル下限値Ｌｅｖ未満となる音響フレームが存在した場合であっても、その時点で処理したビットは有効とし、そこから継続して行うため、そのビットが新規であるか継続であるかの情報を記録しておく必要がある。そこで、区切りを示す情報を記録した後には、新規であるか継続であるかを示す情報を記録する。具体的には、区切りモードの状態で、モード判断を行うことにより（Ｓ２１１）、継続識別モードに設定され（Ｓ２１２）、付加情報のビットを読み込むことなく、音響フレームの抽出を行う（Ｓ２０４）。そして、周波数変換後（Ｓ２０５）、新規である場合には、〔数式４〕に従った処理により、低周波成分の第１低周波数帯、第２低周波数帯間の分布を第１低周波数帯が大に変更する（Ｓ２０７）。
【００４２】
このようにして、新規か継続かを示す情報を記録した後は、継続識別モードの状態でモード判断を行うため（Ｓ２１１）、ビットモードに設定され（Ｓ２１３）、レジスタから先頭のビットを読み込み（Ｓ２０３）、音響フレームの抽出を行う（Ｓ２０４）。図５（ａ）の例では、レベル下限値Ｌｅｖ未満となる音響フレームが存在しないため、１バイトが連続して上記〔数式４〕又は〔数式５〕により処理されることになる。これは、Ｓ２０３からＳ２１３を経由するループが８回連続して繰り返され、その間レベル下限値Ｌｅｖ未満であるとしてＳ２０６およびＳ２０８、Ｓ２１２を経由することがなかったことを示している。
【００４３】
図５（ｂ）の例では、上記〔数式２〕に従った処理の結果、レベル下限値Ｌｅｖ未満となる音響フレームが存在するので、この場合Ｓ２０６およびＳ２０８を経由して、上記〔数式３〕に従った処理を実行した結果第１低周波数帯、第２低周波数帯が均等な状態に設定される。この場合、Ｓ２０６において、区切りモードに設定されるため、Ｓ２１２を経由して、新規か継続かを示す情報を記録することになる。図５（ｂ）の例では、１バイト目の「１１０１１１００」を埋め込む場合に、最初は第１ビット目の「１」の１ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第２ビット目の「１」から処理をしている。そして、第２ビット目から第５ビット目の「１０１１」を処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第６ビット目の「１」から処理をしている。
【００４４】
なお、図５の例では、図３との比較のため、付加情報がバイト単位で記録されている場合について説明したが、図４に示す処理は、新規か継続かを示す情報を記録するため、付加情報を任意のビット数単位で記録することが可能である。
【００４５】
上記の例では、固定長のバイト単位又は可変長のワード単位で区切りを示す情報を挿入するようにしたが、さらにビット単位で区切りを示す情報を挿入することも可能である。この場合、音響フレーム読込手段１０が音響フレームの抽出を行う際、前後の音響フレームに重複する重複音響フレームを抽出し、この重複音響フレームに対して、〔数式１〕に従って周波数変換を行い、さらに、〔数式３〕に従って第１低周波数帯、第２低周波数帯の低周波成分を均等にする処理を行う。重複音響フレームは、前後の音響フレームと半数づつサンプルが重複するように設定する。例えば、先行する音響フレームがサンプル番号１から４０９６まで、後続する音響フレームがサンプル番号４０９７から８１９２までである場合、この間に設定される重複音響フレームはサンプル番号２０４９から６１４４までとなる。同様にして、音響信号の全区間について、重複音響フレームを読み込み、第１低周波数帯、第２低周波数帯の低周波成分を均等にする処理を行うことになる。
【００４６】
上記のように、重複音響フレームを設定して、その第１低周波数帯、第２低周波数帯の低周波成分を均等にする処理を行った場合、これを改変音響信号に反映させるため、第１低周波数帯、第２低周波数帯の低周波成分を均等にする処理後の重複フレームスペクトルに対して周波数逆変換を行って改変重複音響フレームを得て、さらに音響フレームと連結する処理を行う必要がある。この場合、窓関数Ｗ（ｉ）を乗じることにより音響フレームから除去された信号成分を、重複音響フレームの信号と連結することにより補うことが可能となるため、上記〔数式６〕における第１式の“＋｛１−Ｗ（ｉ）｝・ｘｌ（ｉ）”、第２式の“＋｛１−Ｗ（ｉ）｝・ｘｒ（ｉ）” の項が不要となる。したがって、この場合、重複フレームスペクトルに対する周波数逆変換、およびフレームスペクトルに対する周波数逆変換（Ｓ１０９、Ｓ２０９）は上記〔数式６〕ではなく、以下の〔数式７〕に従って処理することになる。
【００４７】
〔数式７〕
ｘｌ´（ｉ）＝１／Ｎ・｛Σj=0,…,N-1Ａｌ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σj=0,…,N-1Ｂｌ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝
ｘｒ´（ｉ）＝１／Ｎ・｛Σj=0,…,N-1Ａｒ（ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−Σj=0,…,N-1Ｂｒ（ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝
【００４８】
上記〔数式７〕により改変音響フレーム、改変重複音響フレームの左チャンネルの各サンプルｘｌ´（ｉ）、右チャンネルの各サンプルｘｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段５０は、Ｓ１１０、Ｓ２１０において、得られた改変音響フレームおよび改変重複音響フレームを順次連結して出力ファイルに出力する。上述のように、音響フレームおよび重複音響フレームは、音響フレーム読込手段１０により音響信号から読み込む際、音響フレームと重複音響フレームに同一のサンプルが重複して含まれるように処理されている。したがって、音響フレーム出力手段５０においては、重複して読み込まれたサンプルについて、各サンプルの値を合算した値として、出力ファイルに記録していく。
【００４９】
このようにして得られた改変音響信号の左チャンネルのうち、付加情報が埋め込まれている部分については、低周波成分は、第１低周波数帯、第２低周波数帯に均等に存在するか、あるいは第１低周波数帯、第２低周波数帯のどちらか一方に偏在するかの３通りの分布しかないことになる。しかし、高周波成分については、元の音響信号のままであるので、制作者の設定に基づいた種々な分布になる。また、上記の例で示したように、ステレオ音響信号を利用した場合には、左チャンネルにおいて変化させられた低周波成分は、上記〔数式３〕〜〔数式５〕の処理からも明らかなように、必ず右チャンネルの低周波成分に付加されている。したがって、右チャンネルが左チャンネルにおいて削除された成分を補っているため、両チャンネル全体として見ると、信号の劣化がない。人間の聴覚は、高周波成分については、方向性を感知し易いが、低周波成分については、方向性を感知しにくくなっている。したがって、低周波成分が一方に偏っていても、聴いている人にとっては、通常の音響信号と変わりなく聴こえることになる。
【００５０】
（３．音響信号からの情報の抽出装置）
次に、本発明に係る音響信号からの情報の抽出装置について説明する。図６は、本発明に係る音響信号からの情報の抽出装置の一実施形態を示す構成図である。図６において、１００は音響信号入力手段、１１０は基準フレーム獲得手段、１２０は位相変更フレーム設定手段、１３０は周波数変換手段、１４０は符号判定パラメータ算出手段、１５０は符号出力手段、１６０は付加情報抽出手段、１７０は音響フレーム保持手段である。
【００５１】
音響信号入力手段１００は、流れている音声をデジタル音響信号として取得し、入力する機能を有している。現実には、マイクロフォンおよびＡ／Ｄ変換器により実現される。マイクロフォンとしては、低周波成分が検出可能なものであれば、モノラル無指向性のものであっても、ステレオ指向性のものであっても使用可能である。ステレオ指向性のものであっても一方のチャンネルだけ利用すれば良い。基準フレーム獲得手段１１０は、入力されたデジタルのモノラル音響信号（あるいはステレオ音響信号の１チャンネル）から所定数のサンプルで構成される音響フレームを基準フレームとして読み込む機能を有している。位相変更フレーム設定手段１２０は、基準フレームと所定サンプルずつ移動させることにより位相を変更した音響フレームを位相変更フレームとして設定する機能を有している。周波数変換手段１３０は、図１に示した周波数変換手段２０と同様の機能を有している。符号判定パラメータ算出手段１４０は、生成されたフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、第１低周波数帯、第２低周波数帯ごとに各低周波強度データの合算値Ｅ1、Ｅ2を算出し、この合算値Ｅ1、Ｅ2を符号判定パラメータとし、この符号判定パラメータＥ1、Ｅ2の比率に基づいて、所定の状態であると判断する機能を有している。
【００５２】
符号出力手段１５０は、１つの基準フレームに対応する音響フレーム（基準フレームおよび位相変更フレーム）の中から最適な位相であると判断されるものを判断し、その音響フレームの状態に対応する符号を出力する機能を有している。付加情報抽出手段１６０は、符号出力手段１５０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある付加情報として抽出する機能を有している。音響フレーム保持手段１７０は、連続する２個の基準フレームを保持可能なバッファメモリである。図６に示した各構成手段は、現実には情報処理機能を有する小型のコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。特に、本発明の目的をより簡易に達成するためには、携帯型端末装置をハードウェアとして用いることが望ましい。
【００５３】
（４．抽出装置の処理動作）
次に、図６に示した音響信号からの情報の抽出装置の処理動作について図７のフローチャートに従って説明する。まず、本装置では、平均符号レベルＨＬ１、ＨＬ２、周波数帯バランステーブル、位相判定テーブルが初期化される。これらについて説明する。平均符号レベルＨＬ１、ＨＬ２は、ビット値に対応する２値が埋め込まれていたと判断される音響フレーム（以下、有効フレームと呼ぶことにする）についての、上記〔数式２〕で算出される低周波成分の合算値Ｅ1、Ｅ2の平均値、すなわち、過去の有効フレームにおける合算値Ｅ1、Ｅ2の平均値で与えられるものであり、初期値は、上記埋め込み装置においても用いられるレベル下限値Ｌｅｖに設定されている。周波数帯バランステーブルは、実際には、２種の補正係数Ｃ１（ｊ）、Ｃ２（ｊ）により構成されるものであり、初期値は、Ｍ２以下の各ｊについて、Ｃ１（ｊ）＝Ｃ２（ｊ）＝１に設定されている。位相判定テーブルＳ（ｐ）は、位相を判定するためのテーブルであり、ｐは０〜５の整数値をとる。初期値はＳ（ｐ）＝０に設定されている。
【００５４】
このように、初期値が設定されている状態で、利用者が流れている音楽について、その楽曲名等の属性情報を知りたいと思った場合、まず、抽出装置に対して、抽出装置としての起動の指示を行う。これは、例えば、抽出装置を携帯電話機等の携帯端末で実現している場合は、所定のボタンを操作することにより実行できる。抽出装置は、指示が入力されると、音響信号入力手段１００が、流れている音楽を録音し、デジタル化してデジタル音響信号として入力する。具体的には、無指向性マイクロフォン（または指向性マイクロフォンの一方のチャンネル）から入力される音声を、Ａ／Ｄ変換器によりデジタル化する処理を行うことになる。
【００５５】
続いて、基準フレーム獲得手段１１０が、音響信号入力手段１００から入力された音響信号から、所定数のサンプルで構成される音響フレームを基準フレームとして抽出する（Ｓ３０１）。具体的には、基準フレームを抽出して音響フレーム保持手段１７０に読み込むことになる。基準フレーム獲得手段１１０が基準フレームとして読み込む１音響フレームのサンプル数は、図１に示した音響フレーム読込手段１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、基準フレーム獲得手段１１０は、４０９６サンプルずつ、順次基準フレームとして読み込んでいくことになる。音響フレーム保持手段１７０には、上述のように２個の基準フレームが格納可能となっており、新しい基準フレームが読み込まれると、古い基準フレームを破棄するようになっている。したがって、音響フレーム保持手段１７０には、常に基準フレーム２個分（連続する８１９２サンプル）が格納されていることになる。
【００５６】
埋め込み装置で処理する音響フレームは、先頭から途切れることなく隣接して設定される基準フレームと、この基準フレームと位相を変更した位相変更フレームとに分けることができる。基準フレームについては、最初の基準フレームをサンプル番号１からサンプル番号４０９６までを設定したら、次の基準フレームは、サンプル番号４０９７からサンプル番号８１９２、さらに次の基準フレームは、サンプル番号８１９３からサンプル番号１２２８８、というように途切れることなく設定される。そして、各基準フレームについて、１／６フレーム（約６８３サンプル）ずつ移動した５個の位相変更フレームを設定する。例えば、最初の基準フレームについては、サンプル番号６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される５個の位相変更フレームが設定されることになる。
【００５７】
続いて、周波数変換手段１３０、符号判定パラメータ算出手段１４０が、読み込んだ各音響フレームから、埋め込まれている情報を判定し、対応する符号を出力する（Ｓ３０２）。出力される情報の形式は、埋め込み側のビット値に対応する２値、および区切りとして入力された値の３値の形式となる。
【００５８】
ここで、ステップＳ３０２の符号判定処理の詳細を図８のフローチャートに従って説明する。まず、周波数変換手段１３０が、読み込んだ各音響フレームに対して、周波数変換を行ってフレームスペクトルを得る（Ｓ４０１）。この処理は、図１に示した周波数変換手段２０における処理と同様である。ただし、抽出に用いるのは、左チャンネルだけであるので、上記〔数式１〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）を得る。この際、左チャンネル音響信号ｘｌ（ｉ）には、それぞれＷ（ｉ）＝０．５−０．５・ｃｏｓ（２πｉ／Ｎ）で表現される窓関数（ハニング窓）を重みとして乗じる処理も、周波数変換手段２０と同様に行われる。
【００５９】
上記周波数変換手段１３０における処理により、周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、符号判定パラメータ算出手段１４０は、平均符号レベルＨＬ１、ＨＬ２の算出を行う（Ｓ４０２）。具体的には、過去第１低周波数帯が大きいと判断された音響フレームについての合算値Ｅ1の積算値であるｖ１を、過去第１低周波数帯が大きいと判断された音響フレームの数であるｎ１で除算することによりＨＬ１を算出し、過去第２低周波数帯が大きいと判断された音響フレームについての合算値Ｅ2の積算値であるｖ２を、過去第１低周波数帯が大きいと判断された音響フレームの数であるｎ２で除算することによりＨＬ２を算出する。したがって、平均符号レベルＨＬ１、ＨＬ２は、過去対応する低周波数帯が大きいと判断された音響フレームの低周波強度データの合算値の平均値となる。
【００６０】
さらに、符号判定パラメータ算出手段１４０は、生成されたフレームスペクトルから所定の周波数範囲の各低周波強度データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が２００Ｈｚ以下の低周波強度データを抽出することになり、埋め込み装置の場合と同様、上記〔数式１〕により算出された左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）のうち、ｊ≦２０のものを抽出する。そして、符号判定パラメータ算出手段１４０は、周波数帯バランスの補正を行う（Ｓ４０３）。具体的には、抽出した実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）を利用して、以下の〔数式８〕により各周波数成分ごとの強度Ｅｌ（ｊ）を算出すると共に、上記〔数式２〕によりｊ＝１〜Ｍ１（例えばＭ１＝１０）までの第１低周波数帯の低周波強度の合算値Ｅ1、ｊ＝Ｍ１＋１〜Ｍ２（例えばＭ２＝２０）までの第２低周波数帯の低周波強度の合算値Ｅ2を符号判定パラメータとして算出する。第２低周波数帯については、以下の〔数式９〕を用いてＥ2´を算出する。
【００６１】
〔数式８〕
Ｅｌ（ｊ）＝Ａｌ（ｊ）2＋Ｂｌ（ｊ）2
【００６２】
〔数式９〕
Ｅ2´＝Ｅ2・Σj=M1+1,…,M2｛Ｃ１（ｊ）／Ｃ２（ｊ）｝
【００６３】
上記〔数式９〕において、Ｃ１（ｊ）、Ｃ２（ｊ）は、周波数帯バランスの補正係数であり、“Σj=M1+1,…,M2｛Ｃ１（ｊ）／Ｃ２（ｊ）｝”を第２低周波数帯の低周波強度に乗じることにより、周波数帯バランスを補正している。逆に、第１低周波数帯の低周波強度に“Σj=1,…,M1｛Ｃ２（ｊ）／Ｃ１（ｊ）｝”を乗じてＥ1´を算出しても同様の効果が得られる。
【００６４】
続いて、符号判定パラメータ算出手段１４０は、候補符号テーブルの初期化を行う（Ｓ４０４）。候補符号テーブルは、１つの基準フレームおよび５個の位相変更フレームを特定する０〜５の位相番号および、この６個の音響フレームの状態から得られる３値の符号を記録するものである。
【００６５】
続いて、符号判定パラメータ算出手段１４０は、第２低周波数帯の低周波強度の合算値Ｅ1、第２低周波数帯の低周波強度の合算値Ｅ2´がそれぞれ所定値以上であるかどうかの判定を行う（Ｓ４０５）。具体的には、所定値としてそれぞれ平均符号レベルＨＬ１、ＨＬ２の１０分の１を設定する。合算値Ｅ1が平均符号レベルＨＬ１の１０分の１未満であり、かつ、合算値Ｅ2´が平均符号レベルＨＬ２の１０分の１未満である場合、符号判定パラメータ算出手段１４０は、区切り情報であると判定する（Ｓ４０９）。
【００６６】
一方、合算値Ｅ1、Ｅ2´のうちいずれか一方が所定値以上である場合、符号判定パラメータ算出手段１４０は、上記算出された符号判定パラメータＥ1、Ｅ2´の比較判定を以下の〔数式１０〕に従って行い（Ｓ４０６）、比較結果に対応する符号を出力する。
【００６７】
〔数式１０〕
Ｅ2´／Ｅ1＞２の場合、第２低周波数帯が大
Ｅ1／Ｅ2´＞２の場合、第１低周波数帯が大
Ｅ2´／Ｅ1≦２かつＥ1／Ｅ2´≦２の場合、両周波数帯が均等
【００６８】
符号判定パラメータ算出手段１４０は、各音響フレーム単位で、上記判定結果に応じて３値の符号を出力する。すなわち、第１低周波数帯が大と判定した場合には、第１のビット値（例えば“１”）を出力し（Ｓ４０７）、第２低周波数帯が大と判定した場合には、第２のビット値（例えば“０”）を出力し（Ｓ４０８）、両周波数帯が均等と判定した場合には、区切り情報を示す符号を出力する（Ｓ４０９）。なお、Ｓ４０６において、第１低周波数帯が大と判定した場合は、Ｅ1がＨＬ１以上であるか、また、第２低周波数帯が大と判定した場合は、Ｅ2´がＨＬ２以上であるかを判定し、これらの条件を満たしていない場合は、区切り情報を示す符号を出力する（Ｓ４０９）。
【００６９】
第１低周波数帯が大と判定して、第１のビット値を出力した場合（Ｓ３２７）、又は第２低周波数帯が大と判定して、第２のビット値を出力した場合（Ｓ３２８）は、さらに、以下の〔数式１１〕に従って位相判定テーブルＳ（ｐ）の更新を行う（Ｓ４１０）。
【００７０】
〔数式１１〕
第１低周波数帯が大の場合、Ｓ（ｐ）←Ｓ（ｐ）＋Ｅ1／Ｅ2´
第２低周波数帯が大の場合、Ｓ（ｐ）←Ｓ（ｐ）＋Ｅ2´／Ｅ1
【００７１】
続いて、符号判定パラメータ算出手段１４０は、候補符号テーブルに、最適位相となる候補を保存する（Ｓ４１１）。具体的には、位相判定テーブルに記録されているＳ（ｐ）の値が最大となる位相番号ｐの値、前記Ｓ４０７〜Ｓ４０９により判定された３値のいずれかの符号、その音響フレームについての上記〔数式８〕により算出した低周波数成分に対応する各Ｅ1（ｊ）、Ｅ2（ｊ）の値を最適位相の候補として候補符号テーブルに保存する。
【００７２】
続いて、全ての位相番号ｐに対応する処理を終えたかどうかを判定する（Ｓ４１２）。これは、ある基準フレームに対して全ての位相変更フレームの処理を行ったかどうかを判定している。本実施形態では、ｐが０〜５までの値をとるので、６回分処理していない場合は、処理していた音響フレームから所定サンプル数ずらして、位相の異なる音響フレームを設定し、Ｓ４０５に戻って処理を繰り返す。なお、ｐ＝０の場合が基準フレームであり、ｐ＝１〜５の場合が位相変更フレームである。全ての位相番号ｐに対応する処理を終えた場合は、候補保存テーブルに記録されている位相番号ｐに対応する位相が最適位相であると判定し、候補保存テーブルに記録されている符号を出力する（Ｓ４１３）。
【００７３】
再び図７のフローチャートに戻って説明する。Ｓ３０２による処理の結果、ビット値に相当する符号が出力された場合には、平均符号レベルのパラメータの更新を行う（Ｓ３０３）。具体的には、平均符号レベルＨＬ１、ＨＬ２算出の際の分子となる積算値ｖ１、ｖ２にそれぞれ合算値Ｅ1、Ｅ2を加算して積算値ｖ１、ｖ２を更新し、分母となるフレーム数ｎ１、ｎ２にそれぞれ１を加算してフレーム数ｎ１、ｎ２を更新する。続いて、出力された符号に対応するビット値をバッファに保存する（Ｓ３０４）。続いて、ビットカウンタをカウントアップする（Ｓ３０５）。そして、ビットカウンタが８ビット以上であるかどうかを判断する（Ｓ３０６）。その結果、ビットカウンタが８ビット以上である場合には、１バイト分のビット値がバッファに格納されていることになるので、バッファ内の１バイト分のデータを、付加情報抽出手段１６０が出力する（Ｓ３０７）。一方、Ｓ３０２による処理の結果、区切り情報に対応する値が出力された場合には、周波数帯バランステーブルの更新を行う（Ｓ３０８）。具体的には、以下の〔数式１２〕により、周波数帯バランステーブルを構成するＣ１（ｊ）、Ｃ２（ｊ）を更新する。
【００７４】
〔数式１２〕
Ｃ１（ｊ）←Ｃ１（ｊ）＋Ｅ1（ｊ）
Ｃ２（ｊ）←Ｃ２（ｊ）＋Ｅ2（ｊ）
【００７５】
なお、上記〔数式１２〕におけるＥ1（ｊ）、Ｅ2（ｊ）は、上記Ｓ４１３において最適位相であると判定された音響フレームに対応して、候補保存テーブルに記録されていたものである。
【００７６】
そして、ビットカウンタを０に初期化する（Ｓ３０９）。図７に示す処理を各音響フレームに対して実行することにより、付加情報が抽出されることになる。Ｓ３０１において全ての音響フレームが抽出されたと判断された場合には、処理を終了する。
【００７７】
上記Ｓ３０７の処理において、付加情報抽出手段１６０は、まず、符号判定パラメータ算出手段１４０により出力された３値の符号のうち、第１低周波数帯と第２低周波数帯が均等であることを示す符号を区切り位置として、その次の符号を先頭とし、第１低周波数帯が大、第２低周波数帯が大の符号をビット値に対応させて、ビット配列を作成する。続いて、このビット配列を、所定の規則により変換して意味のある付加情報として抽出する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、文字情報として認識するための規則としている。すなわち、付加情報抽出手段１６０は、符号判定パラメータ算出手段１４０が判定し、符号出力手段１５０から出力される符号を１バイト（８ビット）単位で認識し、これを設定されたコード体系に従って文字情報を認識する。このようにして得られた文字情報は、表示装置（図示省略）の画面に表示出力される。
【００７８】
従って、埋め込み装置により音響信号に、その楽曲の曲名やアーチスト等の属性情報を文字情報として埋め込んでおけば、利用者は、その音楽が流れているのを聞いて、その曲名やアーチストを知りたいと思ったときに、抽出装置として機能する自身の携帯端末に所定の操作を行えば、自身の携帯端末の画面に曲名やアーチスト等の属性情報が文字情報として表示されることになる。
【００７９】
以上の処理においては、抽出装置において正確に付加情報を抽出するために、位相を補正する処理、第１低周波数帯と第２低周波数帯の低周波成分の強度のバランスを補正する処理、無効フレームであることを判断するための下限閾値を補正する処理を行っている。次に、これら３つの補正処理について補足説明を行う。
【００８０】
（５．位相補正処理について）
上記のように、抽出時には、埋め込み時に埋め込んだ音響フレームに対応して、音響信号を読み込むことができるとは限らない。そこで、音響フレームの位相をずらして複数通り（本実施形態では６通り）で読み込み、その中で最適な位相を決定し、その位相で特定される音響フレームに対応する符号を出力することにしている。例えば、６通りで読み込む場合、先頭の音響フレームは、本来サンプル番号１〜４０９６のサンプルであるが、サンプル番号１、６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される６個の各音響フレームに対して処理を行い、最適な音響フレームに対応する符号を出力することになる。この位相補正処理は、Ｓ４０４、Ｓ４１０、Ｓ４１１、Ｓ４１２、Ｓ４１３における処理を中心として行われることになる。
【００８１】
（６．低周波数帯バランス補正処理について）
アナログ系を介した場合、音響信号の第１低周波数帯と第２低周波数帯の信号が互いに影響しあって、両周波数帯のバランスが崩れ、抽出側で誤判断することが多くなる。そこで、過去の音響フレームについての対応する周波数帯別の積算値により、両周波数帯のバランスを補正する処理を行っている。この周波数帯バランス補正処理は、Ｓ４０３、Ｓ３０８における処理を中心として行われることになる。
【００８２】
（７．下限閾値補正処理について）
信号レベルが小さい場合には、周波数帯別の強度の大小が判定できず、抽出側で誤判断することが多くなる。そこで、低周波強度Ｅ1およびＥ2´が所定の閾値以下のフレームについては、無効なフレームであると判断するようにしているが、この際の閾値を過去の有効フレームについての低周波強度の積算値を利用して補正する処理を行っている。このように閾値を変動させることにより、信号レベルが変動しても無効なフレームであるか、有効なフレームであるかを正確に判断することが可能となる。この下限閾値補正処理は、Ｓ４０２、Ｓ３０３における処理を中心として行われることになる。
【００８３】
図７のフローチャートは、埋め込み側において、付加情報をバイト単位で記録したものに対応している。埋め込み側で付加情報をワード単位で記録している場合には、図９のフローチャートに従った処理を行うことになる。まず、図７のＳ３０１と同様、基準フレーム獲得手段１１０が、音響信号入力手段１００から入力されたステレオ音響信号の各チャンネルから、それぞれ所定数のサンプルを１基準フレームとして読み込む（Ｓ５０１）。
【００８４】
続いて、図７のＳ３０１と同様、周波数変換手段１３０、符号判定パラメータ算出手段１４０が、読み込んだ各基準フレームを利用して、基準フレームもしくは位相変更フレームから最適な位相の音響フレームを特定し、その音響フレームに埋め込まれている情報に対応する符号を出力する（Ｓ５０２）。このＳ５０２における処理の詳細は、Ｓ３０２と同様、図８に示したようなものとなる。
【００８５】
Ｓ５０２による処理の結果、ビット値に相当する符号が抽出された場合には、Ｓ３０３と同様、平均符号レベルＨＬ１、ＨＬ２いずれかのパラメータの更新を行う（Ｓ５０３）。続いて、モードの判定を行う（Ｓ５０４）。モードは、区切りモードとビット出力モードの２つが用意されている。ビット出力モードである場合は、そのビット値をバッファに保存する（Ｓ５０９）。続いて、ビットカウンタをカウントアップする（Ｓ５１０）。一方、Ｓ５０４による判定の結果、区切りモードである場合には、さらに抽出された符号が、新規を意味するものか継続を意味するものかを判定する（Ｓ５０５）。この結果、新規である場合には、その直前で１ワードが終了していることを意味するので、バッファに記録された１ワード分のデータを、付加情報抽出手段１６０が出力する（Ｓ５０６）。そして、ビットカウンタを０に初期化する（Ｓ５０７）。さらに、モードをビット出力モードに設定する（Ｓ５０８）。Ｓ５０５において、継続と判定された場合には、バッファ内のビットに値を出力すべきであるので、ビット出力モードに設定する処理のみを行う。また、Ｓ５０２において、区切り情報に相当する符号が抽出された場合には、Ｓ３０８と同様、周波数帯バランステーブルの更新を行う（Ｓ５１１）。続いて、次の音響フレームから新規か継続かの情報を抽出するため、モードを区切りモードに設定する（Ｓ５１２）。図９に示す処理を各基準フレームに対して実行することにより、付加情報が抽出されることになる。Ｓ５０１において全ての基準フレームが抽出されたと判断された場合には、処理を終了する。
【００８６】
（８．音響信号再生装置）
次に、本発明に係る音響信号再生装置について説明する。図１０は、本発明に係る音響信号再生装置の一実施形態を示す構成図である。図１０において、２００は音響フレーム読込手段、２１０は付加情報抽出表示手段、２４０は再生フレーム投入手段、２５０は再生フレーム蓄積手段、２６０はサウンドデバイスドライバ、２６１はサウンドデバイス、２６２はタイマーである。本発明に係る音響信号再生装置は、モノラル音響信号でもステレオ音響信号でも再生可能であるが、図１０に示す装置は、ステレオ音響信号を再生するものとして説明する。
【００８７】
音響フレーム読込手段２００は、図１に示した音響フレーム読込手段１０と同様、ステレオ音響信号の各チャンネルから所定数のサンプルをフレームして読み込む機能を有している。音響フレーム読込手段２００により読み込まれた各音響フレームは、付加情報抽出表示手段２１０、再生フレーム投入手段２４０の２系統において処理されることになる。付加情報抽出表示手段２１０は、具体的には、図６に示した抽出装置のうち、位相変更フレーム設定手段１２０、周波数変換手段１３０、符号判定パラメータ算出手段１４０、符号出力手段１５０、付加情報抽出手段１６０、音響フレーム保持手段１７０、および付加情報抽出手段１６０が抽出した付加情報を表示出力する手段により構成されている。
【００８８】
再生フレーム投入手段２４０は、音響フレーム読込手段２００により読み込まれた各音響フレームを再生フレーム蓄積手段２５０に投入する機能を有している。ただし、再生フレーム投入手段２４０は、単純に音響フレームを投入するだけでなく、後述するように、再生フレーム蓄積手段２５０に空きが無い場合は、音響フレームの投入を制御する機能も有している。再生フレーム蓄積手段２５０は、音響フレームを蓄積するバッファメモリを複数有しており、これらのバッファメモリに蓄積された音響フレームを、ＦＩＦＯ（ファーストイン・ファーストアウト）方式、すなわち、先に入ってきた情報が、先に出ていく方式で処理する機能を有している。すなわち、再生フレーム蓄積手段２５０は、再生フレーム投入手段２４０から投入された音響フレームを投入された順序で蓄積し、その順序でサウンドデバイスドライバ２６０に渡す機能を有することとなる。サウンドデバイスドライバ２６０は、サウンドデバイス２６１を駆動させて音響フレームを音響再生する機能を有しており、サウンドデバイス２６１は、デジタルデータである音響フレームをＤ／Ａ変換して音声として再生する機能を有している。すなわち、サウンドデバイスドライバ２６０およびサウンドデバイス２６１は音響フレーム再生手段として機能することになる。タイマー２６２は、サウンドデバイスによる音響信号の再生と、外部機器の音響信号の再生とのタイミングをとるために利用するタイマーであり、コンピュータにおいて時刻管理を行うタイマーと共用されている。
【００８９】
図１０に示す音響信号再生装置においては、上述のように、付加情報抽出表示手段２１０における付加情報を抽出・表示する系統と、再生フレーム投入手段２４０〜サウンドデバイスドライバ２６０の音響再生する系統の２系統が存在する。モノラル音響信号を処理する場合には、音響信号にチャンネルが１つしかなく、そのチャンネルに付加情報が埋め込まれているため、両系統とも１つのチャンネルの信号を処理する。一方、ステレオ音響信号を処理する場合には、音響再生系統は２つのチャンネルの信号を処理してステレオ再生するが、付加情報抽出系統は、付加情報が埋め込まれている１つのチャンネルの信号のみを処理することになる。
【００９０】
（９．再生装置の処理動作）
次に、図１０に示した音響信号の再生装置の処理動作について説明する。図１に示した埋め込み装置により付加情報が埋め込まれた改変音響信号を記録した記録媒体を再生装置において再生すると、まず、音響フレーム読込手段２００が記録媒体から読み取られたステレオ音響信号の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む。音響フレーム読込手段２００が読み込む１音響フレームのサンプル数も、図１に示した音響フレーム読込手段１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、音響フレーム読込手段２００は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。また、図１に示した音響フレーム読込手段１０において、音響フレームを、隣接する音響フレームとサンプルが重複するように読み込んでいる場合には、音響フレーム読込手段２００においても、音響フレームを、隣接する音響フレームとサンプルが重複するように読み込んで行く。この場合、重複させるサンプル数は、音響フレーム読込手段１０で重複させたサンプル数と同一とし、１音響フレームを構成する４０９６サンプルの半数の２０４８サンプルとする。なお、音響フレームを重複して読み込んだ場合であっても、付加情報抽出表示手段２１０に対しては、重複していない音響フレームのみを渡す処理を行う。また、付加情報抽出表示手段２１０に渡される音響フレームは、付加情報が埋め込まれている左チャンネルのものだけになる。
【００９１】
続いて、付加情報抽出表示手段２１０においては、読み込んだ各音響フレームを基準フレームとして、図６に示した抽出装置と同様の処理を行い、付加情報を抽出した後、画面に表示出力する。
【００９２】
一方、音響フレーム読込手段２００により読み込まれた音響フレームは、再生フレーム投入手段２４０により再生フレーム蓄積手段２５０に蓄積されていく。再生フレーム蓄積手段２５０に少なくとも１フレーム蓄積されれば、サウンドデバイスドライバ２６０による再生処理は開始されるが、この再生処理は音響フレーム読込手段２００、付加情報抽出表示手段２１０および再生フレーム投入手段２４０の処理に比べ圧倒的に処理時間がかかる。（換言すれば、付加情報抽出表示手段２１０などは再生処理に比べ圧倒的に速くなるように設計している。）そこで、本実施形態では、再生フレーム蓄積手段２５０に４フレームまで蓄積可能となっており、図１０に示すように、音響フレーム読込手段２００は、連続して次の音響フレームを読み込み、再生フレーム投入手段２４０により再生フレーム蓄積手段２５０に音響フレームを４フレームまで蓄積できるようにしている。再生フレーム蓄積手段２５０に４フレーム蓄積されると、音響フレーム読込手段２００および再生フレーム投入手段２４０は、再生フレーム蓄積手段２５０に空きが発生するまで待機状態になる。従って、再生フレーム蓄積手段２５０には常時４フレーム分蓄積され、サウンドデバイスドライバ２６０は、再生フレーム蓄積手段２５０に蓄積された音響フレームのうち先頭の音響フレームを音響再生する。具体的には、サウンドデバイス２６１が音響フレームのデータをＤ／Ａ変換してスピーカに出力することになる。音響再生された音響フレームは、再生フレーム蓄積手段２５０から削除される。
【００９３】
音響フレームが削除されて、再生フレーム蓄積手段２５０内に余裕ができると、再生フレーム投入手段２４０から音響フレームが再生フレーム蓄積手段２５０に投入される。これにより、再生フレーム蓄積手段２５０内は再び最大容量まで蓄積されることになる。読み込まれた音響フレームは、現実には、ＣＰＵが再生フレーム投入手段２４０として機能することにより、再生フレーム蓄積手段２５０内に投入される。この再生フレーム投入手段２４０は、音響フレームを再生フレーム蓄積手段２５０に単純に投入するだけでなく、再生フレーム蓄積手段２５０に空きが無い場合は、音響フレーム読込手段２００、付加情報抽出表示手段２１０に対して処理を中断するメッセージを送り、再生フレーム蓄積手段２５０への音響フレームの投入を制御している。
【００９４】
一方、サウンドデバイス２６１は、再生フレーム蓄積手段２５０に蓄積された音響フレームのうち先頭の音響フレームを順次音響再生していく。この際、サウンドデバイス２６１は、１つの音響フレームの音響再生を終了する度に、音響フレーム読込手段２００、付加情報抽出表示手段２１０、再生フレーム投入手段２４０に対して各処理の実行を許可するメッセージを送る。
【００９５】
ここで、上記再生装置における音響再生側、すなわち再生フレーム投入手段２４０、再生フレーム蓄積手段２５０、サウンドデバイスドライバ２６０の処理の概要を整理して図１１のフローチャートに示す。まず、再生フレーム投入手段２４０が、再生フレーム蓄積手段２５０内に空いているバッファメモリが存在するかどうかを探索する（Ｓ６０１）。空いているバッファメモリが存在しない場合は、音響フレーム読込手段２００に対して処理を中断するメッセージを送り、サウンドデバイス２６１からの再生終了メッセージの受信待ちとする（Ｓ６０２）。サウンドデバイスドライバ２６１からの再生終了メッセージがあった場合には、再生が終了した音響フレームを格納していたバッファメモリから削除して再生終了バッファを空きバッファに設定する（Ｓ６０３）。サウンドデバイス２６１からの再生終了メッセージは、同時に音響フレーム読込手段２００、付加情報抽出表示手段２１０、再生フレーム投入手段２４０にも送信されるため、音響フレーム読込手段２００、再生フレーム投入手段２４０が処理を再開する（Ｓ６０４）。続いて、空いているバッファメモリに音響フレームが格納される（Ｓ６０５）。一方、サウンドデバイス２６１では、常に、再生フレーム蓄積手段２５０内のバッファメモリを探索しており（Ｓ６０６）、音響フレームが存在する場合には、音響フレームを再生する（Ｓ６０７）。１つの音響フレームの再生を待ち（Ｓ６０８）、再生が終了したら、再生終了メッセージを音響フレーム読込手段２００、再生フレーム投入手段２４０に送信する（Ｓ６０９）。
【００９６】
図１０に示した音響信号再生装置は、音響信号については、それが付加情報が埋め込まれているか否かに関わらず、同様に音響再生処理を行う。したがって、付加情報が埋め込まれていない音響信号もそのまま音響再生されることになる。音響信号のうち、左チャンネルの付加情報が埋め込まれている部分については、改変されている。しかし、高周波成分については、元の音響信号のままであるので、制作者の設定に基づいた種々な分布になる。また、上述のように、ステレオ音響信号を利用した場合には、左チャンネルにおいて変化させられた低周波成分は、上記〔数式３〕〜〔数式５〕の処理により必ず右チャンネルの低周波成分に付加されているので、両チャンネル全体として見ると、信号の劣化がない。そのため、通常の音響信号と変わりなく聴こえることになる。
【００９７】
（１０．モノラル音響信号の場合）
上記実施形態においては、埋め込み装置、抽出装置、再生装置のいずれにおいても、左右のチャンネルを有するステレオ音響信号の左チャンネル信号に付加情報を埋め込む場合を例にとって説明したが、逆に右チャンネル信号に付加情報を埋め込むようにしても良い。本発明は、左右の特性には無関係だからである。また、１つのチャンネルしかないモノラル音響信号に対して処理を行う場合は、上記実施形態において、左チャンネル信号に対して行った処理を行うことになる。本発明は、１つのチャンネル信号に対して付加情報を埋め込み、また抽出を行うので、モノラル音響信号であってもステレオ音響信号であっても同様に行うことができる。
【００９８】
図１２にステレオ音響信号とモノラル音響信号に対して、本発明により付加情報を埋め込む場合の概念図を示す。図１２（ａ）はステレオ音響信号の場合、図１２（ｂ）はモノラル音響信号の場合である。なお、図１２の例では、音響フレーム３つ分の低周波成分を波形で表現しており、埋め込むビット列は、付加情報中の“０”“１”の連続するビット列であり、間に区切りを挿入するものとしている。
【００９９】
ステレオ音響信号の場合、埋め込みは左チャンネル（Ｌ−ｃｈ）信号に対して行われる。図１２（ａ）に示すように、周波数変換後、信号分離し、さらに、ビット埋め込み処理を行う。具体的には、〔数式３〕〜〔数式５〕の処理の結果、ビット埋め込みがなされることになる。ここで、上述のように、“０”を埋め込む場合〔数式４〕、区切りモードである場合〔数式３〕、“１”を埋め込む場合〔数式５〕を用いる。したがって、ビット埋め込み処理後は、先頭（左端）の音響フレームは、第１低周波数帯の信号成分は０（図中、波形がないことで表現）、中央の音響フレームは、第１低周波数帯、第２低周波数帯の信号成分は共に０、最後尾（右端）の音響フレームは、第２低周波数帯の信号成分は０となる。この際、〔数式３〕〜〔数式５〕の内容から明らかなように、左チャンネル信号の削除された信号成分は、右チャンネル（Ｒ−ｃｈ）信号に加算される。したがって、図１２（ａ）の下段に示すように、右チャンネル信号の低周波成分は大きくなる。ビット埋め込み処理後は、高周波成分を含めて信号合成された後、周波数逆変換され、改変音響信号が得られることになる。
【０１００】
モノラル音響信号の場合、図１２（ｂ）に示すように、処理が行われるが、図１２（ａ）の上段と比較するとわかるように、ステレオ音響信号の左チャンネルと同様の処理が行われることになる。
【図面の簡単な説明】
【０１０１】
【図１】音響信号に対する情報の埋め込み装置の機能ブロック図である。
【図２】図１に示した装置の処理概要を示すフローチャートである。
【図３】図２に従った処理による低周波成分の変化の様子を示すである。
【図４】図１に示した装置の他の手法による処理概要を示すフローチャートである。
【図５】図４に従った処理による低周波成分の変化の様子を示すである。
【図６】本発明に係る音響信号からの情報の抽出装置の機能ブロック図である。
【図７】図６に示した装置の処理概要を示すフローチャートである。
【図８】図７のＳ３０２の符号判定処理の詳細を示すフローチャートである。
【図９】図６に示した装置の他の手法による処理概要を示すフローチャートである。
【図１０】本発明に係る音響信号再生装置の機能ブロック図である。
【図１１】図１０に示した装置の処理概要を示すフローチャートである。
【図１２】本発明による付加情報の埋め込み処理の概念図である。
【符号の説明】
【０１０２】
１０・・・音響フレーム読込手段
２０・・・周波数変換手段
３０・・・低周波成分変更手段
４０・・・周波数逆変換手段
５０・・・改変音響フレーム出力手段
６０・・・記憶手段
６１・・・音響信号記憶部
６２・・・付加情報記憶部
６３・・・改変音響信号記憶部
７０・・・付加情報読込手段
１００・・・音響信号入力手段
１１０・・・基準フレーム獲得手段
１２０・・・位相変更フレーム設定手段
１３０・・・周波数変換手段
１４０・・・符号判定パラメータ算出手段
１５０・・・符号出力手段
１６０・・・付加情報抽出手段
１７０・・・音響フレーム保持手段
２００・・・音響フレーム読込手段
２１０・・・付加情報抽出表示手段
２４０・・・再生フレーム投入手段
２５０・・・再生フレーム蓄積手段
２６０・・・サウンドデバイスドライバ
２６１・・・サウンドデバイス
２６２・・・タイマー
【図１】
2006243340.tif 000003
【図２】
2006243340.tif 000004
【図３】
2006243340.tif 000005
【図４】
2006243340.tif 000006
【図５】
2006243340.tif 000007
【図６】
2006243340.tif 000008
【図７】
2006243340.tif 000009
【図８】
2006243340.tif 000010
【図９】
2006243340.tif 000011
【図１０】
2006243340.tif 000012
【図１１】
2006243340.tif 000013
【図１２】
2006243340.tif 000014