(57)【要約】【課題】音声データの情報付加処理フレームの開始位置の特定を比較的簡易に行い得るように情報を付加し、音声データがストリームデータ形式で入力される場合でも、音声データの情報付加処理フレームの開始位置の特定を比較的簡易に行うことを可能にする。【解決手段】音声データ入力に対して一定長の区間であるフレーム毎にフレームの時間位置を示す同期情報を付加する同期情報付加手段304 と、同期情報が付加された音声データのフレーム内に、音声データ入力に関連する関連情報の埋め込みを行う情報付加手段305と、を具備する。また、情報埋め込み済みの音声データがストリームデータ形式で入力し、同期情報を検出してフレーム開始位置を検出する同期情報検出手段702 と、同期情報検出結果に基づいて情報埋め込み済みの音声データに対してフレーム毎に所定の処理を行うとともに、フレーム内に埋め込まれている関連情報を抽出する関連情報抽出手段704 と、を具備する。【選択図】    図２
2008225234.tif 000002
【特許請求の範囲】
【請求項１】
音声データ入力に対して一定長の区間であるフレーム毎に当該フレームの時間位置を示す同期情報を付加する同期情報付加手段と、
前記同期情報付加手段により同期情報が付加された音声データのフレーム内に、当該音声データに関連する関連情報の埋め込みを行う関連情報付加手段と、
を具備することを特徴とする音声信号処理装置。
【請求項２】
音声データ入力に対して一定長の区間であるフレーム毎に所定の処理が行われ、かつ、当該音声データに対して前記フレームの時間位置を示す同期情報が付加されるとともに、前記フレーム内に前記音声データに関連する関連情報が埋め込まれた情報埋め込み済みの音声データがストリームデータ形式で入力し、前記同期情報を検出する同期情報検出手段と、
前記同期情報検出手段より検出された同期情報に基づいて前記情報埋め込み済みの音声データのフレーム開始位置を検出する機能を有するフレーム抽出手段と、
前記フレーム抽出手段より検出されたフレーム情報に基づいて前記情報埋め込み済みの音声データに対してフレーム毎に所定の処理を行うとともに、前記フレーム内に埋め込まれている関連情報を抽出する関連情報抽出手段と、
を具備することを特徴とする音声信号処理装置。
【請求項３】
前記同期情報として、前記音声データの隣り合う２つのフレームを１周期としてフレームに同期し、振幅が三角形状に変化する波形を有する三角波信号であって、聴感に与える影響が少ない所定の低周波帯域の信号を用いることを特徴とした請求項１または２に記載の音声信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置に係り、特に音声データに対する処理フレームの時間位置を示す同期情報および音声データに関連する関連情報の埋め込みまたは抽出を行う装置に関するもので、例えばストリームデータ形式の音楽コンテンツの配信システムに使用されるものである。
【背景技術】
【０００２】
デジタル化された音楽コンテンツ、例えばCD品質のデジタル音声データは、各チャンネル毎に1 秒あたり44100 個の16ビット長のサンプルから構成される。このような無圧縮のデジタル音声データに対して、著作権情報等の電子透かし情報や、その他の情報を付加（埋め込み）する場合、デジタル信号処理の基本手法として、ある一定長の区間でサンプルを抽出し、抽出されたサンプルに対して個別の処理を行う手法が多く用いられる。ここで、一定長の各抽出区間をフレームと呼ぶ。フレーム処理を用いる代表的な手法として高速フーリェ変換を挙げることができる。
【０００３】
従来、CD品質のデジタル音声データに対して情報を付加する情報付加装置は、音声データを例えば2048サンプル毎に区切り、区切られたフレーム内のサンプルを抽出し、所定の情報付加処理を行ったうえで、情報付加済みの音声データとして出力する。そして、上記したような情報付加済みの音声データが入力される情報抽出装置は、情報付加装置における動作時と同じ2048サンプル毎にフレーム区間内のサンプルを抽出し、所定の信号処理を行うことによって、音声データに埋め込まれた情報を抽出する。
【０００４】
ところで、従来の情報抽出装置において、所定の記録媒体等から音声データを読み出すような場合には、情報付加装置の動作により定められた音声データのフレームの開始位置を明確に再現することができる。しかし、音声データがストリームデータ形式で情報抽出装置に入力される場合、入力データがアナログ／デジタルに拘らず、情報付加処理フレームの開始位置の特定を行うことは一般には難しい。
【０００５】
なお、情報付加処理フレームの開始位置の特定を行うため、フレームの開始位置を１サンプル毎にずらしながら特定の符号の抽出を行ったり、フレーム内信号の周波数の特定に基づいた抽出処理を行う手法が提案されている（特許文献１参照）が、抽出に伴う演算量が膨大となるという問題が発生する。
【特許文献１】特開２０００−１７２２８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は前記した従来の問題点を解決すべくなされたもので、音声データの情報付加処理フレームの開始位置の特定を比較的簡易に行い得るように情報を付加することが可能になる音声信号処理装置を提供することを目的とする。
【０００７】
また、本発明の他の目的は、音声データがストリームデータ形式で入力される場合でも、音声データの情報付加処理フレームの開始位置の特定を比較的簡易に行うことが可能になる音声信号処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の音声信号処理装置の第１の態様は、音声データ入力に対して一定長の区間であるフレーム毎に当該フレームの時間位置を示す同期情報を付加する同期情報付加手段と、前記同期情報付加手段により同期情報が付加された音声データのフレーム内に、当該音声データに関連する関連情報の埋め込みを行う関連情報付加手段と、を具備することを特徴とする。
【０００９】
本発明の音声信号処理装置の第２の態様は、音声データ入力に対して一定長の区間であるフレーム毎に所定の処理が行われ、かつ、当該音声データに対して前記フレームの時間位置を示す同期情報が付加されるとともに、前記フレーム内に前記音声データに関連する関連情報が埋め込まれた情報埋め込み済みの音声データがストリームデータ形式で入力し、前記同期情報を検出する同期情報検出手段と、前記同期情報検出手段より検出された同期情報に基づいて前記情報埋め込み済みの音声データのフレーム開始位置を検出する機能を有するフレーム抽出手段と、前記フレーム抽出手段より検出されたフレーム情報に基づいて前記情報埋め込み済みの音声データに対してフレーム毎に所定の処理を行うとともに、前記フレーム内に埋め込まれている関連情報を抽出する関連情報抽出手段と、を具備することを特徴とする。
【００１０】
前記同期情報として、前記音声データの隣り合う２つのフレームを１周期としてフレームに同期し、振幅が三角形状に変化する波形を有する三角波信号であって、聴感に与える影響が少ない所定の低周波帯域の信号を用いることが望ましい。
【発明の効果】
【００１１】
本発明の音声信号処理装置によれば、音声データの情報付加処理フレームの開始位置の特定を比較的簡易に行い得るように情報を付加することができる。また、本発明の音声信号処理装置によれば、音声データがストリームデータ形式で入力される場合でも、音声データの情報付加処理フレームの開始位置の特定を比較的簡易に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。この説明に際して、全図にわたり共通する部分には共通する参照符号を付す。
【００１３】
＜第１の実施形態＞
図１は、本発明の音声信号処理装置の第１の実施形態に係る音声コンテンツ配信システムの構成を概略的に示している。この音声コンテンツ配信システムの送信側１０では、音声コンテンツ配信システムの音声データが入力し、所定の情報を付加する情報付加装置３０と、この情報付加装置３０の出力を何らかの伝送路４０に送出する送信回路２０とを具備する。そして、音声コンテンツ配信システムの受信側５０では、伝送路４０からの入力を受領する受信回路６０と、この受信回路６０の出力から所定の情報を抽出し、音声データを抽出する情報抽出装置７０とを具備する。上記情報付加装置３０および情報抽出装置７０は、ソフトウェア的に、あるいは、ハードウェアにより実現することができるが、本例では、ＣＰＵとプログラムを用いて実現している。
【００１４】
図２は、図１中の情報付加装置３０における処理機能に着目して処理フロー（ステップ）の一例にしたがって示すブロック図である。この情報付加装置３０は、フレーム位置特定手段302 と、フレーム抽出手段303 と、同期情報付加手段304 と、関連情報付加手段305と、を具備する。
【００１５】
フレーム位置特定手段302 は、音声コンテンツ配信システムの音声データ（オーディオデータ）、例えばCD品質の音声データが入力し、この音声データを一定長の区間であるフレーム（例えば2048サンプル）毎に区切ることによってフレーム位置の特定を行う（例えばフレーム同期情報を付加する）機能を有する。フレーム抽出手段303 は、フレーム位置特定手段302 により区切られたフレーム毎にフレーム内のサンプルを抽出する。
【００１６】
同期情報付加手段304 は、音声データ入力のフレーム毎にフレーム内のサンプルに対してフレームの時間位置を示す同期情報を付加する機能を有する。本例では、音声データ入力のフレームに同期した同期信号を生成する同期信号生成機能と、音声データ入力に同期信号をアナログ的に加算（重畳）する加算機能と、を有する。
【００１７】
関連情報付加手段305 は、同期情報付加手段304 により同期情報が付加された音声データのフレーム内に、音声データに関連する関連情報を所定のルールにしたがって埋め込む（付加する）ことによって、情報付加処理済みの音声データとして出力する機能を有する。ここで、音声データに関連する関連情報は、例えば歌詞などのテキスト情報、著作権情報、あるいは楽譜やリズムなどの演奏情報、演奏用ロボットや玩具の演奏動作制御情報などであり、例えばMIDI規格のデータ形式で付加される。
【００１８】
次に、図２中の同期情報付加手段304 における処理例について、図３、図４、図５を参照して説明する。図３（ａ）、（ｂ）は、図２中のフレーム位置特定手段302 に入力する音声データの信号波形の一例を示す。ここでは、音声信号の振幅のサンプリング値がデジタル的に表現されたCD品質の音声データ入力を例にとり、サンプリング値を連続的に連ねた波形で表現している。また、本例では、ステレオデータの左チャンネルＬの信号と、右チャンネルＲの信号を示している。図４（ａ）、（ｂ）は、元の音声データに同期情報として付加されるフレーム同期信号の信号波形の一例を示す。図５（ａ）、（ｂ）は、元の音声データにフレーム同期信号が加算により付加された情報付加済みの音声データの信号波形の一例を示す。
【００１９】
前記フレーム同期信号に要求される条件は次のようなものである。
【００２０】
（１）フレーム同期信号は、音声データの隣り合う２つのフレームを１周期としてフレームに同期する交流波である。換言すれば、フレーム同期信号は、フレームの両端位置に対応する振幅が基準レベル(0) であり、フレームの中央において振幅が最大値あるいは最小値となり、時間的に隣り合うフレームで振幅方向が対称となるように交互に反転する交流波である。この交流波は、振幅が三角形状に変化する波形を有する三角形、矩形波、正弦波、三角形状の脈流波などでもよいが、後述するように同期信号を検出する際にフレームの境界を明確に検出するために、三角波信号を用いることが望ましい。
【００２１】
（２）フレーム同期信号は、音声データを再生した場合に、聴感に与える影響が少ない所定の低周波帯域の信号、例えば直流成分に近い帯域の数十Ｈｚ以下の信号を用いることが望ましい。
【００２２】
（３）フレーム同期信号がステレオデータに対して付加される場合には、フレーム同期信号は、ステレオデータの同時刻の左チャンネルのフレーム、右チャンネルのフレームでフレーム同期信号の振幅方向が対称となるように付加される。なお、フレーム同期信号がモノラルデータに対して付加される場合には、この条件（３）は不要である。
【００２３】
上記した情報付加装置３０によれば、音声データの情報付加処理フレームの開始位置の特定を比較的簡易に行い得るように情報を付加することができる。なお、上記した情報付加装置３０は、前記したような音声コンテンツ配信システムの送信側に限らず、任意の音声信号処理システムに設けることが可能である。
【００２４】
図６は、図１中の情報抽出装置７０における処理機能に着目して処理フロー（ステップ）の一例にしたがって示すブロック図である。この情報抽出装置は、同期情報検出手段702と、フレーム抽出手段703 と、関連情報抽出手段704 と、を具備する。
【００２５】
すなわち、同期情報検出手段702 は、前述したように元の音声データに対して一定長の区間であるフレーム毎に所定の処理が行われ、かつ、当該音声データに対してフレームの時間位置を示す同期情報が付加されるとともに、フレーム内に音声データに関連する関連情報が埋め込まれた情報埋め込み済みの音声データがストリームデータ形式で入力し、この音声データ入力から同期情報を検出する機能を有する。
【００２６】
フレーム抽出手段703 は、同期情報検出手段702 より検出された同期情報に基づいて、前記情報付加装置３０の動作時と同じ2048サンプル毎の同期位置（フレーム開始位置）を検出する機能を有する。
【００２７】
関連情報抽出手段704 は、前記フレーム抽出手段703 より検出されたフレーム情報に基づいて情報埋め込み済みの音声データに対して各フレーム区間内のサンプルを抽出し、所定の処理を行い、フレーム内に埋め込まれている関連情報を抽出する機能を有する。
【００２８】
次に、図６中の同期情報検出手段702 における処理例について、図７、図８を参照して説明する。同期情報検出手段702 では、まず、情報埋め込み済みの音声データ入力の各チャンネル毎に、フレーム長の総和値の推移を演算する。この演算の結果ｙ（ｎ）は、入力信号をｘ（ｎ）、検出するフレーム長をＮとした場合、次の（式１）で表される。
【数１】
2008225234.tif 000003
【００２９】
ここで、ステレオデータの左チャンネルＬの信号と、右チャンネルＲの信号について、フレーム長の総和値の推移データの一例を図７（ａ）、（ｂ）に示している。
【００３０】
次に、左チャンネルＬの総和値の推移の演算結果yL(n) と右チャンネルＲの総和値の推移の演算結果yR(n) の差分（絶対値）を演算する。上記差分の演算結果ｚ（ｎ）は、次の（式２）で表される。
【００３１】
ｚ（ｎ）＝｜ｙL(n)−ｙR(n)｜                    …（式２）
ここで、フレーム総和値推移のチャンネル間差分データの一例を図８に示している。
【００３２】
次に、前記差分の演算結果ｚ（ｎ）が最大値をとる位置を検出することにより、検出されるべきフレームの境界（フレームの開始位置）を検出する。ここで、同期信号として、前記したような三角波信号を用いていた場合には、フレームの境界を極めて明確に検出することができる。
【００３３】
次に、図６中の同期情報検出手段702 による処理手順の一例について詳細に説明する。検出するフレーム長をN とした場合、（Ａ）0 番目のサンプル（抽出開始点）〜(N-1) 番目のサンプルに対する処理、（Ｂ）N 番目のサンプル〜(2N-1)番目のサンプルに対する処理、（Ｃ）2N番目のサンプル以降に対する処理、の３つの状態に分けられる。
【００３４】
図９は、図６中の同期情報検出手段702 における0 番目のサンプル（抽出開始点）〜(N-1) 番目のサンプルに対する処理（Ａ）の一例を示すフローチャートである。ステップＳ1000において、回数n=0,左チャンネルＬのフレーム長の総和値の推移の演算結果YL=0, 右チャンネルＲの総和値の推移の演算結果YR=0に初期設定を行う。
【００３５】
本状態では、抽出開始点以降に得ることができるサンプルがN サンプル未満であるので、（式１）の演算を満足することができない。そこで、N サンプル以降に（式１）の結果を評価するため、ステップＳ1001において、得られた入力サンプルXL(n) およびXR(n) をディレイバッファx'L(n)およびx'R(n)に保存する。次に、ステップＳ1002において、累積値に最新入力サンプルXL(n) を加算する演算YL= YL+ XL(n) およびYR=YR+XR(n) を行う。そして、ステップＳ1003においてnのインクリメント処理を行い、ステップＳ1004で判定を行い、n<N であればステップＳ1001に戻る。
【００３６】
図１０は、図６中の同期情報検出手段702 におけるN 番目のサンプル〜(2N-1)番目のサンプルに対する処理（Ｂ）の一例を示すフローチャートである。ステップＳ1101において、得られた入力サンプルXL(n) およびXR(n) をディレイバッファx'L(n)およびx'R(n)に保存する。そして、ステップＳ1102において、累積値YLからN サンプル前の値XL(n-N) を除き、さらに最新入力サンプルXL(n) を加算する演算YL= YL-XL(n-N)+ XL(n) を行う。また、累積値YRからN サンプル前の値XR(n-N) を除き、さらに最新入力サンプルXR(n) を加算する演算YR=YR-XR(n-N)+XR(n) を行う。
【００３７】
この結果、ステップＳ1103の演算を行って得られる値は、左チャンネルＬおよび右チャンネルＲに対応して算出されたn サンプル時点での（式１）の値と等しい。このように（式１）の演算は、加減算を１つずつ行うだけで良く、処理負荷を低く保つことができる。
【００３８】
次に、ステップＳ1104において（式２）の演算を行い、ステップＳ1105において、本状態のN 番目のサンプル〜(2N-1)番目のサンプルにおいてz(n)が最大値をとるn を識別し、変数nfに保存する。そして、ステップＳ1106においてnのインクリメント処理を行い、ステップＳ1107で判定を行い、n<2NであればステップＳ1101に戻る。
【００３９】
本状態の完了時点でnfに保存されたサンプル位置が検出フレームの開始位置を示すものであり、具体的にはnf + N, nf + 2N, nf + 3N, ……をフレーム開始位置サンプルとして利用することができる。
【００４０】
図１１は、図６中の同期情報検出手段702 における2N番目のサンプル以降に対する処理（Ｃ）の一例を示すフローチャートである。本状態は、前の状態で得られたフレーム開始位置に対する補正処理を行うものである。ステップＳ1201〜ステップＳ1204までの処理は、前述したステップＳ1101〜ステップＳ1104までの処理に等しい。ステップＳ1205において、ステップＳ1104と同様に、2N番目のサンプル以降でz(n)が最大値をとるn を識別し、変数nf’に保存する。この識別の結果、ステップＳ1206において、n'f が以前に得られたnfとずれているかを検出し、ずれが生じている場合は、ステップＳ1207においてnfを更新する。そして、ステップＳ1208においてnのインクリメント処理を行い、ステップＳ1201に戻る。
【００４１】
上記した情報抽出装置７０によれば、音声データがストリームデータ形式で入力される場合でも、音声データの情報付加処理フレームの開始位置の特定を比較的簡易に行うことができる。
【産業上の利用可能性】
【００４２】
本発明は、DVD やムービーファイルなどの映像信号の音声部分を利用し、その音声部分に制御信号などの補助的信号を埋め込む分野に適用可能である。さらには、CDに記録されたオーディオデータ、あるいはパソコンで扱うwave形式などの非圧縮オーディオや、DVDや音楽配信、携帯デジタル音楽プレーヤ、着うたなどのようにMP-3やAAC 等のオーディオ圧縮伸張技術を用いたパッケージやファイル形式、あるいはファイル配信やストリーミングなどの音声信号を伝達・配信する分野に適用可能である。例えば、着うたなどの歌詞（解説やアーティストメッセージ）表示付きの音楽コンテンツ販売、MP-3/AAC等のオーディオ圧縮伸張技術を用いたカラオケサービス、歌詞表示音楽配信サービス、楽器演奏ロボット玩具の商品化、演奏情報付き音楽コンテンツの販売、ビートタイミング付き音楽コンテンツの販売、などの分野に適用可能である。
【図面の簡単な説明】
【００４３】
【図１】本発明の音声信号処理装置の第１の実施形態に係る音声コンテンツ配信システムの構成を概略的に示すブロック図。
【図２】図１中の情報付加装置における処理機能に着目して処理フローの一例にしたがって示すブロック図。
【図３】図２中の同期情報付加手段により処理される音声データ入力の一例を示す波形図。
【図４】図２中の同期情報付加手段において元の音声データに同期情報として付加されるフレーム同期信号の一例を示す波形図。
【図５】図２中の同期情報付加手段により処理された情報付加処理済みの音声データの一例を示す波形図。
【図６】図１中の情報抽出装置における処理機能に着目して処理フローの一例にしたがって示すブロック図。
【図７】図６中の同期情報検出手段で情報埋め込み済みの音声データ入力がステレオデータである場合に各チャンネル毎にフレーム長の総和値の推移を演算した結果の一例を示す特性図。
【図８】図６中の同期情報検出手段で情報埋め込み済みの音声データ入力がステレオデータである場合に各チャンネル毎にフレーム長の総和値の推移データの差分の絶対値を演算した結果の一例を示す特性図。
【図９】図６中の同期情報検出装置における0 番目のサンプル（抽出開始点）〜(N-1) 番目のサンプルに対する処理の一例を示すフローチャート。
【図１０】図６中の同期情報検出装置におけるN 番目のサンプル〜(2N-1)番目のサンプルに対する処理の一例を示すフローチャート。
【図１１】図６中の同期情報検出装置における2N番目のサンプル以降に対する処理の一例を示すフローチャート。
【符号の説明】
【００４４】
１０…音声コンテンツ配信システムの送信側、２０…送信回路、４０…伝送路、３０…情報付加装置、５０…音声コンテンツ配信システムの受信側、６０…受信回路、７０…情報抽出装置、302 …フレーム位置特定手段、303 …フレーム抽出手段、304 …同期情報付加手段、305 …関連情報付加手段。
【図１】
2008225234.tif 000004
【図２】
2008225234.tif 000005
【図３】
2008225234.tif 000006
【図４】
2008225234.tif 000007
【図５】
2008225234.tif 000008
【図６】
2008225234.tif 000009
【図７】
2008225234.tif 000010
【図８】
2008225234.tif 000011
【図９】
2008225234.tif 000012
【図１０】
2008225234.tif 000013
【図１１】
2008225234.tif 000014