(57)【要約】【課題】音声データのフレーム内に関連情報を付加する際に、時間的に隣り合うフレームでの信号レベルの連続性を保つことが可能になり、関連情報が付加された音声信号にノイズが含まれないように比較的簡易に処理することを可能にする。【解決手段】音声データに対してフレーム毎に区切り、フレーム位置を特定する情報を付加するフレーム位置特定手段302 と、区切られたフレーム毎にフレームを抽出するフレーム抽出手段303 と、抽出処理されたフレーム毎にフレーム内に音声データに関連する関連情報の埋め込みを行うか否かを交互に切り替える付加情報切り替え手段304 と、関連情報の埋め込み対象として選択された第１フレーム内に関連情報を付加する関連情報付加手段305 と、関連情報の非埋め込み対象として選択された第２フレーム内に、第２フレームと時間的に隣り合う第１フレーム内の信号レベルとの連続性を保つようにフェードデータを付加するフェード付加手段306 と、を具備する。【選択図】    図２
2008225235.tif 000002
【特許請求の範囲】
【請求項１】
音声データに対して一定長の区間であるフレーム毎に区切り、当該フレームの時間位置を特定するフレーム位置特定手段と、
前記フレーム位置特定手段により区切られたフレーム毎にフレームを抽出するフレーム抽出手段と、
前記フレーム抽出手段により抽出処理されたフレーム毎に、当該フレーム内に前記音声データに関連する関連情報の埋め込みを行うか否かを交互に切り替えるように制御する付加情報切り替え手段と、
前記付加情報切り替え手段により前記関連情報の埋め込み対象として選択された第１フレーム内に、前記関連情報を所定のルールにしたがって付加する関連情報付加手段と、
前記付加情報切り替え手段により前記関連情報の非埋め込み対象として選択された第２フレーム内に、当該第２フレームと時間的に隣り合う前記第１フレーム内の信号レベルとの連続性を保つようにフェードデータを付加するフェード付加手段と、
を具備することを特徴とする音声信号処理装置。
【請求項２】
前記付加情報切り替え手段は、
前記フレーム抽出手段により抽出処理されたフレーム毎に、当該フレームの信号を前記関連情報付加手段または前記フェード付加手段に交互に切り替えて供給するように制御する第１のフレーム切り替え手段と、
前記第１のフレーム切り替え手段と同期して動作し、前記情報付加手段の出力フレームおよび前記フェード付加手段の出力フレームを交互に取り込んで時間的に連続するように合成し、情報付加済みの音声データとして出力する第２のフレーム切り替え手段と、
を具備することを特徴とする請求項１記載の音声信号処理装置。
【請求項３】
音声データのフレーム毎に交互に関連情報が付加され、かつ、時間的に隣り合うフレーム相互で信号レベルの連続性が保たれた情報埋め込み済みの音声データが入力し、各フレーム毎にフレーム内のデータを抽出するフレーム抽出手段と、
前記フレーム抽出手段により抽出されたフレーム毎に、当該フレームの出力先を交互に切り替えるように制御するフレーム切り替え手段と、
前記フレーム切り替え手段から供給されたフレームに対して所定の処理を行い、フレーム内に埋め込まれている前記関連情報を抽出する関連情報抽出手段と、
前記関連情報抽出手段から出力するフレームおよび前記フレーム切り替え手段から供給されたフレーム出力を交互に取り込んで合成し、音声データを再生して出力するとともに関連情報を出力する再生手段と、
を具備することを特徴とする音声信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置に係り、特に音声データに関連する関連情報の埋め込みまたは抽出を行う装置に関するもので、例えばストリームデータ形式の音楽コンテンツの配信システムに使用されるものである。
【背景技術】
【０００２】
デジタル化された音楽コンテンツ、例えばCD品質のデジタル音声データは、各チャンネル毎に1 秒あたり44100 個の16ビット長のサンプルから構成される。このような無圧縮のデジタル音声データに対して、著作権情報等の電子透かし情報や、その他の情報を付加（埋め込み）する場合、デジタル信号処理の基本手法として、ある一定長の区間でサンプルを抽出し、抽出されたサンプルに対して個別の処理を行う手法が多く用いられる。ここで、一定長の各抽出区間をフレームと呼ぶ。フレーム処理を用いる代表的な手法として高速フーリェ変換を挙げることができる。
【０００３】
従来、CD品質のデジタル音声データに対して情報を付加する情報付加装置は、音声データを例えば2048サンプル毎に区切り、区切られたフレーム内のサンプルを抽出し、所定の情報付加処理を行ったうえで、情報付加済みの音声データとして出力する。そして、上記したような情報付加済みの音声データが入力される情報抽出装置は、情報付加装置における動作時と同じ2048サンプル毎にフレーム区間内のサンプルを抽出し、所定の信号処理を行うことによって、音声データに埋め込まれた情報を抽出する。
【０００４】
ところで、従来の情報付加装置において、音声データのフレーム内に対する情報付加手法によっては、隣り合うフレームでの音声信号の連続性を保つことが不可能になり、この場合には情報が付加された音声信号にノイズが含まれることになってしまうという問題がある。
【０００５】
なお、フレーム処理に基づく情報付加によるノイズを低減する手法として、フレームの長さや、形状、連続するフレームの処理方法などをその状態に合わせて適応的に変化させる手法も提案されているが、処理計算量が多く、安価な製品への適用は困難である。（特許文献１参照）。
【特許文献１】特表２００４−５２５４２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は前記した従来の問題点を解決すべくなされたもので、音声データのフレーム内に関連情報を付加する際に、時間的に隣り合うフレームでの信号レベルの連続性を保つことが可能になり、関連情報が付加された音声信号にノイズが含まれないように比較的簡易に処理し得る音声信号処理装置を提供することを目的とする。
【０００７】
また、本発明の他の目的は、音声データのフレーム毎に交互に関連情報が付加され、かつ、時間的に隣り合うフレーム相互で信号レベルの連続性が保たれた情報埋め込み済みの音声データから、所望の関連情報を比較的簡易に抽出し得る音声信号処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の音声信号処理装置の第１の態様は、音声データに対して一定長の区間であるフレーム毎に区切り、当該フレームの時間位置を特定するフレーム位置特定手段と、前記フレーム位置特定手段により区切られたフレーム毎にフレームを抽出するフレーム抽出手段と、前記フレーム抽出手段により抽出処理されたフレーム毎に、当該フレーム内に前記音声データに関連する関連情報の埋め込みを行うか否かを交互に切り替えるように制御する付加情報切り替え手段と、前記付加情報切り替え手段により前記関連情報の埋め込み対象として選択された第１フレーム内に、前記関連情報を所定のルールにしたがって付加する関連情報付加手段と、前記付加情報切り替え手段により前記関連情報の非埋め込み対象として選択された第２フレーム内に、当該第２フレームと時間的に隣り合う前記第１フレーム内の信号レベルとの連続性を保つようにフェードデータを付加するフェード付加手段と、を具備することを特徴とする。
【０００９】
本発明の音声信号処理装置の第２の態様は、音声データのフレーム毎に交互に関連情報が付加され、かつ、時間的に隣り合うフレーム相互で信号レベルの連続性が保たれた情報埋め込み済みの音声データが入力し、各フレーム毎にフレーム内のデータを抽出するフレーム抽出手段と、前記フレーム抽出手段により抽出されたフレーム毎に、当該フレームの出力先を交互に切り替えるように制御するフレーム切り替え手段と、前記フレーム切り替え手段から供給されたフレームに対して所定の処理を行い、フレーム内に埋め込まれている前記関連情報を抽出する関連情報抽出手段と、前記関連情報抽出手段から出力するフレームおよび前記フレーム切り替え手段から供給されたフレーム出力を交互に取り込んで合成し、音声データを再生して出力するとともに関連情報を出力する再生手段と、を具備することを特徴とする。
【発明の効果】
【００１０】
本発明の音声信号処理装置によれば、音声データのフレーム内に関連情報を付加する際に、時間的に隣り合うフレームでの信号レベルの連続性を保つように処理し、情報が付加された音声信号にノイズが含まれないように比較的簡易に処理することができる。
【００１１】
また、本発明の音声信号処理装置によれば、フレーム毎に交互に関連情報が付加され、かつ、時間的に隣り合うフレーム相互で信号レベルの連続性が保たれた音声データから、所望の関連情報を比較的簡易に抽出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。この説明に際して、全図にわたり共通する部分には共通する参照符号を付す。
【００１３】
＜第１の実施形態＞
図１は、本発明の音声信号処理装置の第１の実施形態に係る音声コンテンツ配信システムの構成を概略的に示している。この音声コンテンツ配信システムの送信側１０では、音声コンテンツ配信システムの音声データが入力し、所定の情報を付加する情報付加装置３０と、この情報付加装置３０の出力を何らかの伝送路４０に送出する送信回路２０とを具備する。そして、音声コンテンツ配信システムの受信側５０では、伝送路４０からの入力を受領する受信回路６０と、この受信回路６０の出力から所定の情報を抽出し、オーディオデータを抽出する情報抽出装置７０とを具備する。上記情報付加装置３０および情報抽出装置７０は、ソフトウェア的に、または、ハードウェアにより実現することができるが、本例では、ＣＰＵとプログラムを用いて実現している。
【００１４】
図２は、図１中の情報付加装置３０における処理機能に着目して処理フロー（ステップ）の一例にしたがって示すブロック図である。この情報付加装置３０は、フレーム位置特定手段302 と、フレーム抽出手段303 と、付加情報切り替え手段304 と、関連情報付加手段305 と、フェード付加手段306 と、を具備する。
【００１５】
フレーム位置特定手段302 は、音声コンテンツ配信システムの音声データ（オーディオデータ）、例えばCD品質の音声データが入力し、この音声データを一定長の区間であるフレーム（例えば2048サンプル）毎に区切ることによってフレーム位置の特定を行う機能を有する。フレーム抽出手段303 は、フレーム位置特定手段302 により区切られたフレーム毎にフレーム内のサンプルを抽出する機能を有する。
【００１６】
付加情報切り替え手段304 は、本例では、第１のフレーム切り替え手段3041と、第２のフレーム切り替え手段3042と、からなる。付加情報切り替え手段304 の機能は、フレーム抽出手段303 により抽出処理されたフレーム毎に、当該フレーム内に音声データに関連する関連情報の埋め込みを行うか否かを交互に切り替えるように制御するものである。
【００１７】
関連情報付加手段305 は、付加情報切り替え手段304 により関連情報の埋め込み対象として選択された第１フレーム内に、関連情報を所定のルールにしたがって付加する機能を有する。ここで、音声データに関連する関連情報は、例えば歌詞などのテキスト情報、著作権情報、あるいは楽譜やリズムなどの演奏情報、演奏用ロボットや玩具の演奏動作制御情報などであり、例えばMIDI規格のデータ形式で付加される。
【００１８】
フェード付加手段306 は、付加情報切り替え手段304 により関連情報の非埋め込み対象として選択された第２フレーム内に、当該第２フレームと時間的に隣り合う第１フレーム内の信号レベルとの連続性を保つようにフェードデータを付加する機能を有する。
【００１９】
第１のフレーム切り替え手段3041は、フレーム抽出手段303 により抽出処理されたフレーム毎にフレーム出力を関連情報付加手段305 およびフェード付加手段306 へ交互に切り替えて供給する機能を有する。この第１のフレーム切り替え手段3041により例えば奇数番目のフレームが関連情報付加手段305 へ供給される場合、関連情報が付加された奇数番目のフレーム信号は隣り合う偶数番目のフレーム内信号との連続性を失うおそれがある。この連続性を補うため、偶数番目のフレームの信号は第１のフレーム切り替え手段3041によりフェード付加手段306 に供給され、時間的に隣り合う奇数番目のフレームの信号と波形の連続性が保たれるように処理が施される。
【００２０】
第２のフレーム切り替え手段3042は、第１のフレーム切り替え手段3041と同期して動作し、情報付加手段305 の出力およびフェード付加手段306 の出力を交互に取り込んで合成し、情報付加済みの音声データとして出力する機能を有する。
【００２１】
次に、図２の情報付加装置３０における処理例について説明する。図３は、図２中のフレーム位置特定手段302 に入力する音声データの信号波形の一例を示す。ここでは、音声信号の振幅のサンプリング値がデジタル的に表現されたCD品質の音声データ入力を例にとり、サンプリング値を連続的に連ねた波形で表現しており、３つのフレーム区間N1、N2、N3に区切られている例を示している。奇数番目のフレームN1、N3は第１のフレーム切り替え手段304 によって関連情報付加手段305 へ供給され、偶数番目のフレームN2は第１のフレーム切り替え手段304 によってフェード付加手段306 に供給される。
【００２２】
図４は、図２中の関連情報付加手段305 によって元に音声データのフレーム内に音声データに関連する関連情報が付加された情報付加済みの音声データの信号波形の一例を示す。ここでは、奇数番目のフレームN1、N3が関連情報付加手段305 によって処理されて波形に変更が施される結果、フレームN1の後縁（図中では右端）と後続のフレームN2の前縁（図中では左端）、および、フレームN2の後縁と後続のフレームN3の前縁において、信号波形の連続性が失われる様子を示している。
【００２３】
図５は、図２中のフェード付加手段306 に入力するフェード付加の対象となるフレームN2に付加されるフェードデータの一例を示す。図６は、図２中のフェード付加手段306 によってフェード付加の対象となるフレームN2にフェードデータが付加されたフェード付加後のデータx'(n) の信号波形の一例を示す。
【００２４】
この例では、フレーム長の設定値をN サンプルとした場合、フェード付加手段306 によってフレームN2の信号x(N)〜x(2N-1) は以下の（式１）、（式２）で表される信号x'(n)に置き換えられる。
【００２５】
（N ≦ n < N + N/2の場合）
x'(n) = x(n) + {x(N-1) - x(N)}×(3N / 2 - n) / (N / 2)    ……（式１）
（N + N/2 ≦ n < 2N の場合）
x'(n) = x(n) + {x(2N) - x(2N-1)}×(n - 3N / 2) / (N / 2)  ……（式２）
すなわち、フェード付加手段306 は、隣り合うフレーム間の信号振幅の相関を検出し、フェード付加の対象となるフレームN2にフェード信号を付加する。このフェード信号の値は、本例では、隣り合うフレームの差分値をフレームN2の中心位置（時間的な中心位置）からの距離（時間）に応じて比例変化させたものとなる。
【００２６】
この際、フェード付加手段306 は、時間的に隣り合う複数のフレームの信号について隣り合うフレーム間の信号振幅の相関を検出した後にフェード信号を付加するので、この処理に要する若干の時間分の遅延が生じるとしても、音声データの速度に比して殆んど問題とならなず、フェード付加をリアルタイムで処理することが可能である。
【００２７】
なお、フェード信号値の変化方法としては、上記したように時間軸に対して一次的に変化する以外に、二次的な変化や、三角関数による曲線等、各種の特性を用いることができる。
【００２８】
上記したようにフェード付加の対象となるフレームN2に対してフェード付加を行ったことにより、時間的に隣り合うフレーム同士の信号波形の連続性が補正される。また、フェード付加の対象とならないフレームN1およびN3の信号は、フェード処理の影響を受けることがなく、後の処理段階における付加情報の抽出処理を妨げる要因とはならない。
【００２９】
上記した情報付加装置３０によれば、音声データのフレーム内に情報を付加する際に、時間的に隣り合うフレームで音声信号の連続性を保つように処理し、情報が付加された音声信号にノイズが含まれないように比較的簡易に処理することができる。なお、上記した情報付加装置３０は、前記したような音声コンテンツ配信システムの送信側に限らず、任意の音声信号処理システムに設けることが可能である。
【００３０】
図７は、図１中の情報抽出装置７０における処理機能に着目して処理フロー（ステップ）の一例にしたがって示すブロック図である。この情報抽出装置は、フレーム抽出手段402と、フレーム切り替え手段403 と、関連情報抽出手段404 と、再生手段405 と、を具備する。
【００３１】
フレーム抽出手段402 は、前述したような情報埋め込み済みの音声データが入力し、各フレーム毎（情報付加装置の動作時と同じ2048サンプル毎）にフレーム内のサンプルを抽出する。
【００３２】
フレーム切り替え手段403 は、フレーム抽出手段402 により抽出処理されたフレーム毎にフレーム出力を関連情報抽出手段404 および音声再生手段405 へ交互に切り替えて供給する機能を有する。本例では、関連情報抽出手段404 には、奇数番目のフレームだけ供給され、偶数番目のフレームは供給されない。
【００３３】
関連情報抽出手段404 は、フレーム切り替え手段403 により供給された奇数番目のフレームに対して所定の処理を行い、フレーム内に埋め込まれている関連情報を抽出する機能を有する。本例では、フレーム切り替え手段403 により供給された奇数番目のフレームからだけ情報抽出が行われ、偶数番目のフレームからは情報抽出が行われない。
【００３４】
再生手段405 は、関連情報抽出手段404 から出力する奇数番目のフレームおよびフレーム切り替え手段403 から出力する偶数番目のフレーム出力を交互に取り込んで合成し、音声データを再生して出力するとともに、関連情報を出力する機能を有する。
【００３５】
上記した情報抽出装置７０によれば、音声データのフレーム毎に交互に関連情報が付加され、かつ、時間的に隣り合うフレーム相互で信号レベルの連続性が保たれた情報埋め込み済みの音声データが入力される場合でも、所望の関連情報を比較的簡易に抽出することができる。
【産業上の利用可能性】
【００３６】
本発明は、DVD やムービーファイルなどの映像信号の音声部分を利用し、その音声部分に制御信号などの補助的信号を埋め込む分野に適用可能である。さらには、CDに記録されたオーディオデータ、あるいはパソコンで扱うwave形式などの非圧縮オーディオや、DVDや音楽配信、携帯デジタル音楽プレーヤ、着うたなどのようにMP-3やAAC 等のオーディオ圧縮伸張技術を用いたパッケージやファイル形式、あるいはファイル配信やストリーミングなどの音声信号を伝達・配信する分野に適用可能である。例えば、着うたなどの歌詞（解説やアーティストメッセージ）表示付きの音楽コンテンツ販売、MP-3/AAC等のオーディオ圧縮伸張技術を用いたカラオケサービス、歌詞表示音楽配信サービス、楽器演奏ロボット玩具の商品化、演奏情報付き音楽コンテンツの販売、ビートタイミング付き音楽コンテンツの販売、などの分野に適用可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の音声信号処理装置の第１の実施形態に係る音声コンテンツ配信システムの構成を概略的に示すブロック図。
【図２】図１中の情報付加装置における処理機能に着目して処理フロー（ステップ）の一例にしたがって示すブロック図。
【図３】図２中のフレーム位置特定手段に入力する音声データの一例を示す信号波形図。
【図４】図２中の関連情報付加手段によって音声データのフレーム内に音声データに関連する関連情報が付加された情報付加済みの音声データの一例を示す信号波形図。
【図５】図２中のフェード付加手段に入力するフェード付加の対象となるフレームN2に付加されるフェードデータの一例を示す信号波形図。
【図６】図２中のフェード付加手段によってフェード付加の対象となるフレームN2にフェードデータが付加されたフェード付加後のデータx'(n) の一例を示す信号波形図。
【図７】図１中の情報抽出装置における処理機能に着目して処理フロー（ステップ）の一例にしたがって示すブロック図。
【符号の説明】
【００３８】
302 …フレーム位置特定手段、303 …フレーム抽出手段、304 …付加情報切り替え手段、3041…第１のフレーム切り替え手段、3042…第２のフレーム切り替え手段、305 …関連情報付加手段、306 …フェード付加手段。
【図１】
2008225235.tif 000003
【図２】
2008225235.tif 000004
【図３】
2008225235.tif 000005
【図４】
2008225235.tif 000006
【図５】
2008225235.tif 000007
【図６】
2008225235.tif 000008
【図７】
2008225235.tif 000009