(57)【要約】【課題】音楽、映像等のコンテンツファイルとの再生互換性を維持し、映像等の再生端末機器に対してファイルの再生互換性を持たせつつ、既存の信号圧縮技術に対して十分な耐性を持つように、音声、画像等の信号に対して付加情報を埋め込み、あるいは、付加情報を取り出すことを可能にする。【解決手段】音声あるいは画像等の信号処理装置において、連続的に変化する入力信号の中から所定の第１の区間の信号および第２の区間の信号のパワー値をそれぞれ求め、両パワー値の差分値が前記第１の区間の信号のパワー値をＬ分割した値の奇数倍または偶数倍のいずれかになるように、第２の区間の信号のパワー値を設定制御することによって、入力信号に二値の付加情報を埋め込んで出力する付加情報埋め込み手段３０を具備する。【選択図】    図２
2008225233.tif 000002
【特許請求の範囲】
【請求項１】
連続的に変化する入力信号の中から所定の第１の区間の信号および第２の区間の信号のパワー値をそれぞれ求め、両パワー値の差分値が前記第１の区間の信号のパワー値をＬ分割した値の奇数倍または偶数倍のいずれかになるように、前記第２の区間の信号のパワー値を設定制御することによって、入力信号に二値の付加情報を埋め込んで出力する付加情報埋め込み手段を具備することを特徴とする信号処理装置。
【請求項２】
連続的に変化する入力信号の中から所定の第１の区間の信号および第２の区間の信号のパワー値をそれぞれ求め、両パワー値の差分値が一方の区間の信号のパワー値をＬ分割した値の奇数倍または偶数倍のいずれであるかを判定することにより、前記入力信号に埋め込まれている二値の付加情報を取り出す付加情報取り出し手段を具備することを特徴とする信号処理装置。
【請求項３】
前記入力信号は、音声信号または画像信号がサンプリングされてアナログ／デジタル変換されたデジタルデータであり、
前記第１の区間および第２の区間は、前記デジタルデータの一定のサンプル数を有するフレームであって時間的に隣り合う２つのフレームであり、
前記パワー値は、前記デジタルデータの離散値の絶対値の総和、または、離散値の二乗の総和である
ことを特徴とする請求項１または２に記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置に係り、特に音声信号や画像信号の処理フレームに対して付加情報を埋め込む装置および埋め込んだ情報を取り出す装置に関するもので、例えばストリームデータ形式の音楽コンテンツの配信システムに使用されるものである。
【背景技術】
【０００２】
デジタル化された音楽コンテンツ、例えばCD品質のデジタル音声データは、各チャンネル毎に1 秒あたり44100 個の16ビット長のサンプルから構成される。このような無圧縮のデジタル音声データに対して、著作権情報等の電子透かし情報や、その他の情報を付加（埋め込み）する場合、デジタル信号処理の基本手法として、ある一定長の区間でサンプルを抽出し、抽出されたサンプルに対して個別の処理を行う手法が多く用いられる。ここで、一定長の各抽出区間をフレームと呼ぶ。フレーム処理を用いる代表的な手法として高速フーリェ変換を挙げることができる。
【０００３】
従来、CD品質のデジタル音声データに対して情報を付加する情報付加装置は、音声データを例えば2048サンプル毎に区切り、区切られたフレーム内のサンプルを抽出し、所定の情報付加処理を行ったうえで、情報付加済みの音声データとして出力する。そして、上記したような情報付加済みの音声データが入力される情報抽出装置は、情報付加装置における動作時と同じ2048サンプル毎にフレーム区間内のサンプルを抽出し、所定の信号処理を行うことによって、音声データに埋め込まれた情報を抽出する。なお、特許文献１にはフレームの開始位置の特定を行うため、フレームの開始位置を１サンプル毎にずらしながら特定符号の抽出を行ったり、フレーム内信号の周波数の特定に基づいた抽出処理を行う手法が提案されている。
【０００４】
ところで、既存の音楽、映像等のコンテンツファイルに対して、テキスト情報や著作権情報、あるいは楽譜やリズムなどの演奏情報などを新たに補助情報として付加することにより、既に普及している音楽、映像等の再生端末機器に対してファイルの再生互換性を持たせつつ、新たな価値を持たせることが望まれる。また、付加情報埋め込み形式の音声信号をファイルに記録する処理、当該ファイルに対する複製、圧縮／伸長、フォーマット変換などの処理を行った場合に付加情報が存続することが望まれる。
【特許文献１】特開２０００−１７２２８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は前記した要望に鑑みてなされたもので、音楽、映像等のコンテンツファイルとの再生互換性を維持し、映像等の再生端末機器に対してファイルの再生互換性を持たせつつ、既存の信号圧縮技術に対して十分な耐性を持つように、音声、画像等の信号に対して付加情報を埋め込み、あるいは、付加情報を取り出すことが可能になる信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の信号処理装置の第１の態様は、連続的に変化する入力信号の中から所定の第１の区間の信号および第２の区間の信号のパワー値をそれぞれ求め、両パワー値の差分値が前記第１の区間の信号のパワー値をＬ分割した値の奇数倍または偶数倍のいずれかになるように、前記第２の区間の信号のパワー値を設定制御することによって、入力信号に二値の付加情報を埋め込んで出力する付加情報埋め込み手段を具備することを特徴とする。
【０００７】
本発明の信号処理装置の第２の態様は、連続的に変化する入力信号の中から所定の第１の区間の信号および第２の区間の信号のパワー値をそれぞれ求め、両パワー値の差分値が一方の区間の信号のパワー値をＬ分割した値の奇数倍または偶数倍のいずれであるかを判定することにより、前記入力信号に埋め込まれている二値の付加情報を取り出す付加情報取り出し手段を具備することを特徴とする。
【発明の効果】
【０００８】
本発明の信号処理装置によれば、音楽、映像等のコンテンツファイルとの再生互換性を維持し、映像等の再生端末機器に対してファイルの再生互換性を持たせつつ、既存の信号圧縮技術に対して十分な耐性を持つように、音声、画像等の信号に対して付加情報を埋め込み、あるいは、付加情報を取り出すことができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。この説明に際して、全図にわたり共通する部分には共通する参照符号を付す。
【００１０】
＜第１の実施形態＞
図１は、本発明の音声信号処理装置の第１の実施形態に係る音声コンテンツ配信システムの構成を概略的に示している。この音声コンテンツ配信システムの送信側１０では、音声コンテンツ配信システムの音声データ（音声信号）が入力し、所定の情報を付加する情報付加装置（付加情報埋め込み手段）３０と、この情報付加装置３０の出力を何らかの伝送路４０に送出する送信回路２０とを具備する。そして、音声コンテンツ配信システムの受信側５０では、伝送路４０からの入力を受領する受信回路６０と、この受信回路６０の出力から所定の情報を抽出し、音声信号および付加情報を抽出する情報抽出装置（付加情報取り出し手段）７０とを具備する。上記情報付加装置３０および情報抽出装置７０は、ソフトウェア的に、あるいは、ハードウェアにより実現することができるが、本例では、ＣＰＵとプログラムを用いて実現している。
【００１１】
なお、本実施形態では、音声信号入力は、例えばCD品質のPCM （パルスコード変調）データを対象とする場合を例にとる。また、付加情報埋め込み装置および付加情報取り出し装置の両方の系において、パワーを計算する区間のサンプル数Ｎおよび基準パワーを計算する除数Ｌのパラメータを共通に決定し、付加情報埋め込みおよび付加情報取り出しの開始位置を相互間で対応させる手法を採用するものとする。また、本実施形態では、音声信号が入力する場合を例にとって説明するが、画像信号が入力する場合でも本実施形態に準じて実施可能である。
【００１２】
図２は、図１中の情報付加装置３０における処理機能に着目して処理フロー（ステップ）の一例にしたがって示すブロック図である。この情報付加装置３０は、パワー解析手段３１と、符号化手段３２と、ゲイン調整手段３３と、を具備する。そして、連続的に変化する入力信号の中から所定の２つの区間（第１の区間の信号および第２の区間）の信号のパワー値をそれぞれ求める機能と、両パワー値の差分値が一方の区間（本例では第１の区間）の信号のパワー値をＬ分割した値の奇数倍または偶数倍になるように、他方の区間（本例では第２の区間）の信号のパワー値を設定制御することによって、入力信号に二値の付加情報として埋め込んで出力する機能を有する。
【００１３】
ここで、第１の区間および第２の区間として、任意の２区間を選定し得るが、本例では、PCM データの一定長の区間（例えば2048サンプル）毎に区切った各フレームのうち、時間的に連続する２つのフレームを選定する。また、パワー値として、PCM データの離散値の絶対値の総和、または、離散値の二乗の総和、または、それらに準じた値を求める。
【００１４】
上記したような情報付加処理の前処理を行うために、情報付加装置３０の前段には、図示しないが、フレームの位置を特定するためのフレーム位置特定手段と、フレーム位置特定手段により区切られたフレーム毎にフレーム内のサンプルを抽出するためのフレーム抽出手段と、フレーム毎にフレーム内のサンプルに対してフレームの時間位置を示す同期情報を付加するための同期情報付加手段と、を有する。
【００１５】
なお、前記二値の付加情報として、音声データに関連する関連情報、例えば歌詞などのテキスト情報、著作権情報、あるいは楽譜やリズムなどの演奏情報、演奏用ロボットや玩具の演奏動作制御情報などであって、例えばMIDI規格のデータが挙げられる。
【００１６】
次に、図２の情報付加装置３０における具体的な処理例について、図３に示すタイミング図および図４に示すフローチャートを参照しながら説明する。入力データのK サンプルの信号をS(x) {x=1,2,...K} （K は2N以上、本例では単純化のためにK=2N）と表わす。
【００１７】
まず、ステップＳ１では、パワー解析手段３１において、入力データのK サンプルからそれぞれN サンプルの２つ区間A,B を時間的に重ならないように抽出する。この場合、基準となる区間A をA(x){x=1,2,...N}、後述するゲイン調整の対象となる区間B をB(x){x=1,2,...N}と表わすと、A(x){x=1,2,...N}としてS(x){x=1,2,...K/2}を一時的に格納し、B(x){x=1,2,...N}としてS(x){x=K/2+1,K/2+2,...K}を一時的に格納する。
【００１８】
次に、２つ区間A,B の信号のパワー値PA,PB をそれぞれ計算する。本例では、区間A の信号のパワー値PAとして、A(x)の絶対値の総和
【数１】
2008225233.tif 000003
【００１９】
を計算する。区間B の信号のパワー値PBとして、B(x)の絶対値の総和
【数２】
2008225233.tif 000004
【００２０】
を計算する。そして、パワー値PA、PBは符号化手段３２へ出力し、信号S(x)はそのままゲイン調整手段３３へ出力（スルーパス）する。
【００２１】
次に、ステップＳ２では、符号化手段３２において、パワー解析手段３１から入力されたパワー値PA,PB から区間B のゲイン調整後の設定値となるパワー値PFを計算する。この符号化手段３２には、パワー値PA、PBが入力されるとともに、付加情報入力a として0 または1 の二値データが入力される。そして、両パワー値PA,PB の差分値が一方の区間の信号のパワー値（本例では区間A の信号A(x)のパワー値PA）をＬ分割した値の奇数倍または偶数倍になるように、他方の区間の信号のパワー値（本例では区間B の信号B(x)のパワー値PB）の設定値PFを計算し、計算結果をゲイン調整手段３３へ出力する。この際、
b=(PB −PA)/(PA/L)                                        ……式（３）
により係数を求め、a=0 の場合：b を最も近い偶数に整数化し、a=1 の場合：b を最も近い奇数に整数化する。そして、区間B の信号のパワーの設定値PFとして
PF=PA+b(PA/L)                                             ……式（４）
を計算する。つまり、付加情報入力a の二値データに応じて奇数倍または偶数倍になるように、区間B の信号のパワーの設定値PFを計算する。
【００２２】
次に、ステップＳ３では、ゲイン調整手段３３において、パワー解析手段３１からスルーパスされた信号S(x)のうちでゲイン調整の対象となる区間（本例では区間B ）の信号B(x)に対して、符号化手段３２から供給された設定値PFに基づいてゲインを制御して所望のパワー値になるように設定制御する。
【００２３】
この際、ゲイン調整の対象となる区間B の信号と前後の区間の信号との間で波形不連続点が発生することを防止し、波形不連続点の発生による音声信号のノイズの発生を防止するために、適切な処理を行うことが望ましい。その一例として窓関数（あるいは時間関数）H(x)を用いる、本例では、各サンプルが0 から1 の値をとる長さN のハミング窓を採用する。そして、窓関数全体の加重平均係数C （0<C<1 ）として
【数３】
2008225233.tif 000005
【００２４】
を用いる。
【００２５】
そして、区間B の信号B(x)に窓関数H(x)と係数D をかけて元のB(x)に加えた場合に、その区間のパワー値がPFになるような係数D を単純計算により求める。この際、まず、
D=((PF−PB)/PB) ×(1/C)                                   ……式（６）
を予測係数D として用いる。この予測係数D を用いた場合のパワー値PDは、
【数４】
2008225233.tif 000006
【００２６】
により計算できる。
【００２７】
なお、実用上、上式（７）の計算結果のPDをPFとして採用してもよいが、上式（７）の計算結果のPDがPFに十分に近ければ前式（６）の係数D を採用し、上式（７）の計算結果のパワー値PDがPFから遠ければ、PDがPFにほぼ等しい値に収束するように係数D を変化させてパワー値PDを求める処理を繰り返すようにしてもよい。このような処理は、通常の収束処理ルーチンを用いることで可能である。
【００２８】
最終的なPDが決定したら、パワー解析手段３１からスルーパスされたS(x)のうちで区間B の信号B(x)の部分をD ×H(x)×B(x)＋B(x)で置換することによって、２つの区間A,B の信号のパワー値PA,PF の差分値を付加情報入力a の二値データに応じて設定して出力する。
【００２９】
このような２つの区間に対する処理を、入力信号S(x)に対して２つの区間を順次選定しながら繰り返すことにより、入力信号S(x)に二値の付加情報が埋め込まれた音声信号として出力することが可能になる。この際、２つの区間A,B に対する処理の後、次の２つの区間として、例えば区間B と後続の区間C に対する処理を行うように順次設定することにより、入力信号S(x)に二値の付加情報を連続的に埋め込むことが可能になり、入力信号S(x)の付加情報量を効率良く増やすことが可能になる。
【００３０】
図５は、図１中の情報抽出装置７０における処理機能に着目して処理フロー（ステップ）の一例にしたがって示すブロック図である。この情報抽出装置７０は、パワー解析手段７１、複合化手段７２とを具備する。そして、入力信号の中から所定の２つの区間（本例では、時間的に連続する２フレーム）の信号のパワー値をそれぞれ求める機能と、両パワー値の差分値が一方の区間のパワー値をＬ分割した値の奇数倍または偶数倍のいずれであるかを判定することによって、入力信号から二値の付加情報を取り出す機能を有する。
【００３１】
上記したような情報抽出処理の前処理を行うために、情報抽出装置７０の前段には、図示しないが、ストリームデータ形式で入力する音声データから同期情報を検出する同期情報検出手段と、この同期情報検出手段より検出された同期情報に基づいてフレームの位置を特定するフレーム位置特定手段と、このフレーム位置特定手段により特定されたフレーム毎にフレーム内のサンプルを抽出するフレーム抽出手段と、を具備する。
【００３２】
パワー解析手段７１は、付加情報埋め込み装置３０におけるパワー解析手段３１と比べて、基本的に同様であり、計算したパワー値PA,PB を複合化手段７２へ出力し、信号S(x)はそのまま音声信号として出力（スルーパス）する機能が異なる。
【００３３】
複合化手段７２は、パワー解析手段７１から入力した２つのパワー値PA,PB の差分値が一方の区間の信号のパワー値PAをＬ分割した値の奇数倍または偶数倍のいずれであるかを判定することによって、入力信号から二値の付加情報を取り出す機能を有する。例えば、(PB −PA) /(PA/L) の結果に最も近い整数が、偶数に近ければ0 、奇数に近ければ１が埋め込まれているものと判定し、二値の付加情報として出力する
上記した本実施形態の信号処理装置によれば、音楽、映像等のコンテンツファイルとの再生互換性を維持し、映像等の再生端末機器に対してファイルの再生互換性を持たせつつ、既存の信号圧縮技術に対して十分な耐性を持つように、音声、画像等の信号に対して付加情報を埋め込み、あるいは、付加情報を取り出すことができる。
【００３４】
因みに、上記した本実施形態において、パラメータとしてN=1024、L=20に設定し、CD品質の音声信号（44.1Khz/16bit ）に二値データを埋め込み、MP-3方式の圧縮伸張（パラメータはCBR128Kbps Joint-Stereo ON）を行った後に二値データを取り出した場合の誤検出率は、0.5%〜10% 程度と低い結果が得られた。
【産業上の利用可能性】
【００３５】
本発明は、DVD やムービーファイルなどの映像信号の音声部分を利用し、その音声部分に制御信号などの補助的信号を埋め込む分野に適用可能である。さらには、CDに記録されたオーディオデータ、あるいはパソコンで扱うwave形式などの非圧縮オーディオや、DVDや音楽配信、携帯デジタル音楽プレーヤ、着うたなどのようにMP-3やAAC 等のオーディオ圧縮伸張技術を用いたパッケージやファイル形式、あるいはファイル配信やストリーミングなどの音声信号を伝達・配信する分野に適用可能である。例えば、着うたなどの歌詞（解説やアーティストメッセージ）表示付きの音楽コンテンツ販売、MP-3/AAC等のオーディオ圧縮伸張技術を用いたカラオケサービス、歌詞表示音楽配信サービス、楽器演奏ロボット玩具の商品化、演奏情報付き音楽コンテンツの販売、ビートタイミング付き音楽コンテンツの販売、などの分野に適用可能である。
【図面の簡単な説明】
【００３６】
【図１】本発明の音声信号処理装置の第１の実施形態に係る音声コンテンツ配信システムの構成を概略的に示すブロック図。
【図２】図１中の情報付加装置における処理機能に着目して処理フローの一例にしたがって示すブロック図。
【図３】図２の情報付加装置における具体的な処理例を説明するために入力信号S(X)の一例を示すタイミング図。
【図４】図２の情報付加装置における具体的な処理例を説明するために示すフローチャート。
【図５】図１中の情報抽出装置における処理機能に着目して処理フローの一例にしたがって示すブロック図。
【符号の説明】
【００３７】
３０…情報付加装置（付加情報埋め込み手段）、３１…パワー解析手段、３２…符号化手段、３３…ゲイン調整手段。
【図１】
2008225233.tif 000007
【図２】
2008225233.tif 000008
【図３】
2008225233.tif 000009
【図４】
2008225233.tif 000010
【図５】
2008225233.tif 000011