(57)【要約】【課題】  アナログ、ディジタル伝送に対応し、モノラル伝送、不可逆的圧縮に対応する音声データへの付加情報埋め込み方法、音声データからの付加情報埋読み取り方法及びそれらの装置を提供することを目的とする。【解決手段】  ディジタル化された離散振幅信号を時間領域から周波数領域へと変換し、得られたスペクトルを奇数、偶数などの単位で２つのグループと化し、片グループの振幅の総和がもう片方の振幅の総和よりも大きい場合は「１」、逆の場合は「０」となるように、ゲインを調整することでデータを重畳化し、逆変換により元の時間領域へ戻す。このデータ重畳済み信号を、再度周波数領域へと変換し、２つのグループのスペクトルの振幅和の比較を行い、埋め込まれたデータを取り出す。 【選択図】        図１
2006171110.tif 000002
【特許請求の範囲】
【請求項１】
音声データのスペクトル分布の周波数振幅特性に付加情報信号を重畳することを特徴とする音声データへの付加情報埋め込み方法。
【請求項２】
ディジタル化された音声データの時間領域での離散振幅信号を周波数領域へ変換し、
該変換された信号に周波数系列データに付加情報を重畳し、
付加データが重畳された周波数系列データを音声データに変換することを特徴とする
請求項１の音声データへの付加情報埋め込み方法。
【請求項３】
音声データのスペクトル分布を抽出し、
該スペクトル分布のうち所定の周波数分布域を複数の帯域に分割し、
該分割した帯域を複数のデータ群に纏め、
該複数のデータ群のゲインを付加情報値に基づいて大小化し、
再付加情報埋め込み後の複数データ群を連続したスペクトル分布に編成し、
このスペクトル分布に基づいて付加情報を加えた音声データを作成することを特徴とする請求項１または２の音声データへの付加情報埋め込み方法。
【請求項４】
纏めるデータ群の群数を２とし、前記データ群の合計振幅の大小により１ビットの情報を割り付けることを特徴とする請求項３の音声データへの付加情報埋め込み方法。
【請求項５】
２つに纏めたデータ群の合計振幅の平均値を略等しいものとする前処理を行なうことを特徴とする請求項３の音声データへの付加情報埋め込み方法。
【請求項６】
時系列データから、周波数系列データへの変換を、ＦＦＴ（高速フーリエ変換），ＤＦＴ（離散フーリエ変換）、ＤＳＴ（離散サイン変換）、ＤＣＴ（離散コサイン変換）、ＭＤＣＴ（変形離散コサイン変換）のうち少なくとも１つを含む変換で行なうことを特徴とする請求項２ないし４のいずれかの音声データへの付加情報埋め込み方法。
【請求項７】
音声データの領域を複数選択し、選択された各領域を対象として処理を行い選択された複数領域数に対応する複数ビット数の付加情報を埋め込むことを特徴とする請求項１ないし６の音声データへの付加情報埋め込み方法。
【請求項８】
付加情報を埋め込む周波数領域を再生音が聴取者の音声認識への影響が大きい帯域をさけて行なうことを特徴とする請求項１ないし７のいずれかの音声データへの付加情報埋め込み方法。
【請求項９】
前記周波数系列データへの変換に際して時間領域で隣りあうフレームをなだらかに重ね合わせ変換することを特徴とする請求項１ないし８のいずれかの音声データへの付加情報埋め込み方法。
【請求項１０】
音声データのスペクトル分布を抽出し、
該スペクトル分布のうち所定の周波数分布域を複数の帯域に分割し、
該分割した帯域を複数のデータ群に纏め、
該複数のデータ群の振幅を各データ群について大小判定し、
前記各データ群の大小関係に基づいて付加情報を取り出すことを特徴とする音声データからの付加情報取り出し方法。
【請求項１１】
前記音声周波数の分割及び纏めは付加信号と同調するように行なうことを特徴とする請求項１０の音声データからの付加情報読み出し方法。
【請求項１２】
音声データのスペクトル分布の周波数振幅特性を抽出する振幅特性抽出手段と、周波数振幅特性に付加情報信号を重畳する重畳手段とを備えたことを特徴とする音声データへの付加情報埋め込み装置。
【請求項１３】
付加情報重畳手段はディジタル化された音声データの時間領域での離散振幅信号を周波数領域へ変換して該変換された信号に周波数系列データに付加情報を重畳し、付加データが重畳された周波数系列データを音声データに変換する変換手段を備えたことを特徴とする請求項１２の音声データへの付加情報埋め込み装置。
【請求項１４】
音声データのスペクトル分布を抽出するスペクトル分布抽出手段と、
該スペクトル分布のうち所定の周波数分布域を複数の帯域に分割する帯域分割手段と、
該分割した帯域を複数のデータ群に纏める帯域分割手段と、
該複数のデータ群のゲインを付加情報値に基づいて大小化し、再付加情報埋め込み後の複数データ群を連続したスペクトル分布に編成する付加情報付加手段と、
このスペクトル分布に基づいて付加情報を加えた音声データを作成する音声データ作成手段と、を備えたことを特徴とする請求項１２または１３の音声データへの付加情報埋め込み装置。
【請求項１５】
前記帯域分割手段は、纏めるデータ群の群数を２とし、
前記付加情報付加手段は前記データ群の合計振幅の大小により１ビットの情報を割り付けることを特徴とする請求項１２ないし１４のいずれかの音声データへの付加情報埋め込み装置。
【請求項１６】
２つに纏めたデータ群の合計振幅の平均値を略等しいものとする前処理手段を備えたことを特徴とする請求項１２ないし１５のいずれかの音声データへの付加情報埋め込み装置。
【請求項１７】
振幅特性抽出手段は、時系列データから、周波数系列データへの変換を、ＦＦＴ（高速フーリエ変換），ＤＦＴ（離散フーリエ変換）、ＤＳＴ（離散サイン変換）、ＤＣＴ（離散コサイン変換）、ＭＤＣＴ（変形離散コサイン変換）のうち少なくとも１つを含む変換で行なうことを特徴とする請求項１２ないし１６のいずれかの音声データへの付加情報埋め込み装置。
【請求項１８】
音声データの周波数領域を複数選択し、選択された各領域を対象として処理を行い選択された複数領域数に対応する複数ビット数の付加情報を埋め込むことを特徴とする請求項１２ないし１７の音声データへの付加情報埋め込み装置。
【請求項１９】
付加情報を埋め込む周波数領域を再生音が聴取者の音声認識への影響が大きい帯域をさけて行なうことを特徴とする請求項１２ないし１８のいずれかの音声データへの付加情報埋め込み装置。
【請求項２０】
前記振幅特性抽出手段は、前記周波数系列データへの変換に際して時間領域で隣りあうフレームをなだらかに重ね合わせて変換することを特徴とする請求項１２ないし１９のいずれかの音声データへの付加情報埋め込み方法。
【請求項２１】
音声データのスペクトル分布を抽出するスペクトル分布抽出手段と、
該スペクトル分布のうち所定の周波数分布域を複数の帯域に分割する帯域分割手段と、
該分割した帯域を複数のデータ群に纏め、該複数のデータ群の振幅を各データ群について大小判定し、前記各データ群の大小関係に基づいて付加情報を取り出す付加情報抽出手段とをと備えたことを特徴とする音声データからの付加情報取り出し装置。
【請求項２２】
帯域分割手段には前記音声周波数の分及び纏めの付加信号に同調させるフレーム同期手段を備えた特徴とする請求項２１の音声データからの付加情報読み出し装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データへの付加情報埋め込み方法、音声データからの付加情報埋読み取り方法及びそれらの装置に係り、特に音声データに付加信号データを埋め込むことができる音声データへの付加情報埋め込み方法、音声データからの付加情報埋読み取り方法及び装置に関する。
【背景技術】
【０００２】
現在、ディジタル化された音楽コンテンツはＣＤのほか、インターネットを経由しても提供されている。このようなデジタル・オーディオデータでは、何度複製しても音質の劣化がない。このため、不正コピー防止技術が重要となっている。
【０００３】
これらの不正な複製を防ぐためには、あらかじめ著作権情報等をオーディオデータ自身に埋め込むことで著作権の所在を明確にすることや、また、コンテンツ配布先の情報を埋め込むことで不正なコピーが出回った場合にもその流出経路を追跡することが考えられる。このとき、コンテンツの商品価値を下げないためには、情報の埋込みによる音質の変化が聴者に判別されてはならない。
【０００４】
また、音楽コンテンツにはフィルター処理、ＭＰＥＧやＡＣ３やＡＴＲＡＣなどの圧縮・解凍、ディジタルからアナログへの変換、アナログからディジタルへの変換、切り出し、再生速度の変化などの処理が行われるので、オーディオデータの音質に著しい劣化を引き起こさない範囲でのデータ値の変更、欠損、挿入、リサンプリングに対し、埋め込んだ情報が保存されている必要がある。
【０００５】
このような現状に鑑み音信号に人間には聞こえにくいように他のデータを重畳する、電子透かし技術が提唱されている。電子透かしでは、スペクトル拡散を用いて弱い疑似ランダム信号をそのまま原音に加えるなどの基本的方式のほか、元の音の質を可能なかぎり損なわないようにするため、聴覚を模した心理音響モデルを用いて、音質を損なわずデータを埋め込もうとしているものが多い。
【０００６】
データ埋め込みに用いられる代表的な心理音響モデルとして、最小可聴限界、周波数マスキング（同時マスキング）、時間マスキング、バンドエリミネーション、位相変化への鈍感さなどが挙げられる。
【０００７】
特許文献１には最小可聴限界を利用した例が記載されている。この技術は、聴覚は、３〜４ｋＨｚを中心として鋭敏であり高周波や低周波の弱音には極めて鈍感であることを利用して、原音に加えるデータの周波数特性を可聴限界下に押さえることで、データの埋め込みによる音質変化を抑えている。
【０００８】
特許文献２には周波数マスキングを利用した例が記載されている。この技術は近接している周波数に大きな周波数成分がある場合、小さな成分は聞き取れなく現象を利用して埋め込みを行なうものである。
【０００９】
特許文献３には時間マスキングを利用した例が記載されている。この技術は、大きな音の直後に小さな音を鳴らしても聞こえないことを利用したもので、エコー法、エコー拡散法などと呼ばれる。
【００１０】
特許文献４には、バンドエリミネーションを利用した例が記載されている。このは可聴帯域の一部に信号の無い周波数帯域を作っても聞こえにくいことを利用し、その帯域の有無で、空中伝搬を試みている。
【００１１】
以上に挙げた心理音響モデルは、音の不可逆圧縮技術でも同様に用いられている。すなわち、聞こえにくい信号は再現性を落とすことによって成り立っている音の不可逆圧縮では、心理音響モデルを用いており、圧縮を強くするほど聞こえにくい成分に対する情報の割り当ては削減される。そのため、不可逆圧縮に弱いものがほとんどである。特に、最小可聴限界下に埋め込む方法や、バンドエリミネーションのような音がない領域を作る方法は、その領域が真っ先に情報削減の対象とされるため、不可逆圧縮に非常に弱い。
【００１２】
特許文献５には、位相変化を利用した例が記載されている。これは位相変化に対して聴覚が鈍感であることを利用し、データ信号で位相変調を加えることにより透かしを埋め込む手法である。しかし、位相の基準となるキャリア信号を付加した音が必要となるため、位相変調によってキャリア信号を付加しただけの原音、もしくは他チャネル音声を必要とし、原音または他チャネルとの比較を行なわなくてはデータを取り出すことができず、特にモノラル信号においてデータが埋め込まれた音のみからデータを取り出すことが困難である。
【００１３】
以上のような方式の多くは、埋め込まれたデータと原音の区別をつけるために、原音そのものか、埋め込み時に利用したパラメータであるキーが必要となるものが多い。直接振幅の大きさを少し変える、圧縮されたデータを改変するなどの手法もあるが、同様の問題を持っている。そのため、対象の音そのものを判別するという用途に用いようとした場合に適さない。
【００１４】
また、これらの方式の多くは、ディジタル化された信号を演算してデータを取り出すことを想定しているため、一時アナログ化することを想定していないものも多い。
特許文献６には、音場定位の移動を利用した方法が記載されている。これは、多チャネルの音信号に対して、チャネル間の音量を変え、音の定位位置をずらすことで信号を埋め込むが、モノラル信号には用いることができない。空中伝搬も、空気中で音が混合するため不可能である。これは前期位相変調においても同様である。
【００１５】
【特許文献１】特表２００３−５３６１１３号公報
【特許文献２】特開２００３−２６３１８３号公報
【特許文献３】特開２０００−１７２２８２号公報
【特許文献４】特開２００１−１４８６７０号公報
【特許文献５】特開２００４−２７９４６９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
前記の従来技術では、一般的な心理音響モデルを用いたものは不可逆圧縮に弱い、ディジタル信号のみを対象とし伝送時のアナログ化を考慮していない、データの取り出しに原音もしくはキーが必要、モノラル信号に対応していないなどの問題があった。また、アナログ放送、アナログ通信路に対応するためにアナログ音声からデータを取り出すことができる必要があり、対象の音が不明な状態でデータの抽出を行なう必要があるため原音やキーを必要せず、音信号の伝送過程での不可逆圧縮伸張処理に耐え、空中伝搬にも応用可能とすることが求められている。
【００１７】
そこで本発明は、アナログ、ディジタル伝送に対応し、モノラル伝送、不可逆的圧縮に対応する音声データへの付加情報埋め込み方法、音声データからの付加情報埋読み取り方法及びそれらの装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
請求項１の発明は音声データのスペクトル分布の周波数振幅特性に付加情報信号を重畳する、音声データへの付加情報埋め込み方法である
【００１９】
請求項２の発明は、請求項１の音声データへの付加情報埋め込み方法において、ディジタル化された音声データの時間領域での離散振幅信号を周波数領域へ変換し、該変換された信号に周波数系列データに付加情報を重畳し、付加データが重畳された周波数系列データを音声データに変換することを特徴とする。
【００２０】
請求項３の発明は、請求項１または２の音声データへの付加情報埋め込み方法において、音声データのスペクトル分布を抽出し、該スペクトル分布のうち所定の周波数分布域を複数の帯域に分割し、該分割した帯域を複数のデータ群に纏め、該複数のデータ群のゲインを付加情報値に基づいて大小化し、再付加情報埋め込み後の複数データ群を連続したスペクトル分布に編成し、このスペクトル分布に基づいて付加情報を加えた音声データを作成することを特徴とする。
【００２１】
請求項４の発明は、請求項１ないし３のいずれかの音声データへの付加情報埋め込み方法において、纏めるデータ群の群数を２とし、前記データ群の合計振幅の大小により１ビットの情報を割り付けることを特徴とする。
【００２２】
請求項５の発明は、請求項１ないし４のいずれかの音声データへの付加情報埋め込み方法において、２つに纏めたデータ群の合計振幅の平均値を略等しいものとする前処理を行なうことを特徴とする。
【００２３】
請求項６の発明は、請求項１ないし５のいずれかの音声データへの付加情報埋め込み方法において、時系列データから、周波数系列データへの変換を、ＦＦＴ（高速フーリエ変換），ＤＦＴ（離散フーリエ変換）、ＤＳＴ（離散サイン変換）、ＤＣＴ（離散コサイン変換）、ＭＤＣＴ（変形離散コサイン変換）のうち少なくとも１つ含む変換で行なうことを特徴とする。
【００２４】
請求項７の発明は、請求項１ないし６の音声データへの付加情報埋め込み方法において、音声データの領域を複数選択し、選択された各領域を対象として処理を行い選択された複数領域数に対応する複数ビット数の付加情報を埋め込むことを特徴とする。
【００２５】
請求項８の発明は、請求項１ないし６のいずれかの音声データへの付加情報埋め込み方法において、付加情報を埋め込む周波数領域を再生音が聴取者の音声認識への影響が大きい帯域をさけて行なうことを特徴とする。
【００２６】
請求項９の発明は、請求項１ないし８のいずれかの音声データへの付加情報埋め込み方法において、前記周波数系列データへの変換に際して時間領域で隣りあうフレームをなだらかに重ね合わせて辺関することを特徴とする。
【００２７】
請求項１０の発明は、音声データのスペクトル分布を抽出し、該スペクトル分布のうち所定の周波数分布域を複数の帯域に分割し、該分割した帯域を複数のデータ群に纏め、該複数のデータ群の振幅を各データ群について大小判定し、前記各データ群の大小関係に基づいて付加情報を取り出す音声データからの付加情報取り出し方法である
【００２８】
請求項１の発明は、請求項１０の音声データからの付加情報読み出し方法において、前記音声周波数の分割及び纏めは付加信号と同調するように行なうことを特徴とする。
【００２９】
請求項１２の発明は、音声データのスペクトル分布の周波数振幅特性を抽出する振幅特性抽出手段と、周波数振幅特性に付加情報信号を重畳する重畳手段とを備えた、音声データへの付加情報埋め込み装置である。
【００３０】
請求項１３の発明は、請求項１２の音声データへの付加情報埋め込み装置において、付加情報重畳手段はディジタル化された音声データの時間領域での離散振幅信号を周波数領域へ変換して該変換された信号に周波数系列データに付加情報を重畳し、付加データが重畳された周波数系列データを音声データに変換する変換手段を備えたことを特徴とする。
【００３１】
請求項１４の発明は、請求項１２または１３の音声データへの付加情報埋め込み装置において、音声データのスペクトル分布を抽出するスペクトル分布抽出手段と、該スペクトル分布のうち所定の周波数分布域を複数の帯域に分割する帯域分割手段と、該分割した帯域を複数のデータ群に纏める帯域分割手段と、該複数のデータ群のゲインを付加情報値に基づいて大小化し、再付加情報埋め込み後の複数データ群を連続したスペクトル分布に編成する付加情報付加手段と、このスペクトル分布に基づいて付加情報を加えた音声データを作成する音声データ作成手段と、を備えたことを特徴とする。
【００３２】
請求項１５の発明は、請求項１２ないし１４のいずれかの音声データへの付加情報埋め込み装置において、前記帯域分割手段は、纏めるデータ群の群数を２とし、前記付加情報付加手段は前記データ群の合計振幅の大小により１ビットの情報を割り付けることを特徴とする。
【００３３】
請求項１６の発明は、請求項１２ないし１５いずれかの音声データへの付加情報埋め込み装置において、２つに纏めたデータ群の合計振幅の平均値を略等しいものとする前処理手段を備えたことを特徴とする。
【００３４】
請求項１７の発明は、請求項１２ないし１６のいずれかの音声データへの付加情報埋め込み方法において、振幅特性抽出手段は、時系列データから、周波数系列データへの変換を、ＦＦＴ（高速フーリエ変換），ＤＦＴ（離散フーリエ変換）、ＤＳＴ（離散サイン変換）、ＤＣＴ（離散コサイン変換）、ＭＤＣＴ（変形離散コサイン変換）のうち少なくとも１つを含む変換で行なうことを特徴とする。
【００３５】
請求項１８の発明は、請求項１２ないし１７の音声データへの付加情報埋め込み装置において、音声データの周波数領域を複数選択し、選択された各領域を対象として処理を行い選択された複数領域数に対応する複数ビット数の付加情報を埋め込むことを特徴とする。
【００３６】
請求項１９の発明は、請求項１２ないし１８のいずれかの音声データへの付加情報埋め込み装置において、付加情報重畳手段は、付加情報を埋め込む周波数領域を再生音が聴取者の音声認識への影響が大きい帯域をさけて行なうことを特徴とする。
【００３７】
請求項２０の発明は、請求項１２ないし１９のいずれかの音声データへの付加情報埋め込み方法において、前記振幅特性抽出手段は、前記周波数系列データへの変換に際して時間領域で隣りあうフレームをなだらかに重ね合わせて辺関することを特徴とする。
【００３８】
請求項２１の発明は、音声データのスペクトル分布を抽出するスペクトル分布抽出手段と、該スペクトル分布のうち所定の周波数分布域を複数の帯域に分割する帯域分割手段と、該分割した帯域を複数のデータ群に纏め、該複数のデータ群の振幅を各データ群について大小判定し、前記各データ群の大小関係に基づいて付加情報を取り出す付加情報抽出手段とをと備えた音声データへの付加情報取り出し装置である。
【００３９】
請求項２２の発明は、請求項２０の音声データへの付加情報読み出し装置において、帯域分割手段には前記音声周波数の分及び纏めの付加信号に同調させるフレーム同期手段を備えた特徴とする。
【発明の効果】
【００４０】
本発明によれば、音声データに付加データを重畳化し、この付加データの重畳、取り出しはアナログ、ディジタル伝送に対応し、モノラル伝送、不可逆的圧縮に対応することができる。このため、テレビ、ラジオ等で何が放送されているのか、ＣＤやＤＶＤに何が記録されているのかを判別することが可能となり、より詳細な情報を、例えばインターネットなどに接続された他の計算機等から取得したり、データそのものを提示したりするなどの動作を行なわせることができる。
【００４１】
さらに、音信号に字幕など文字情報や他の音声のデータを重畳しておくことにより、聴覚障害者のアクセシビリティの向上や、災害時などにおける各種情報の提示、副音声を用いた解説や他国語の情報の挿入も可能となる。また、聴覚上は等しく聞こえる音でも重畳化するデータを変えることにより、音による認証など、セキュリティ分野への応用も可能となる。
【発明を実施するための最良の形態】
【００４２】
以下本発明を実施するための最良の形態を、図に基づいて説明する。
【００４３】
まず、本例に係る音声データへの付加情報埋め込み装置について説明する。図１は本発明の実施の形態に係る音声データへの付加情報埋め込み装置を示すブロック図、図２は本発明の実施の形態に係る音声データへの付加情報埋め込み方法を示すフローチャートである。
【００４４】
本例に係る音声データへの付加情報埋め込み装置は、音声信号に出所を明らかにする「すかし」である付加信号を埋め込むものである。本例では音声データへの付加情報埋め込み装置は、図１に示すように、付加信号を埋め込むべき音声データをアナログデータとして格納している音声信号格納手段１１と、Ａ／Ｄ変換手段１２と、ディジタル化された離散振幅信号を時間領域から周波数領域へと変換し、二つのグループに分割するＦＦＴ変換装置１３と、２つの分割されたグループのスペクトラム振幅の総和をそろえる信号平均化手段１４と、付加信号埋め込み手段（すかし信号埋め込み手段）１５を備える。この、付加信号埋め込み手段１５は片グループの振幅の総和がもう片方の振幅の総和よりも大きい場合は「１」、逆の場合は「０」となるようにゲインを調整することで付加データを重畳化する。また、本例では付加情報埋め込み装置は、音声信号に付加すべきすかし信号を格納した付加信号格納手段１６と、離散振幅信号を周波数領域から時間領域へと変換する逆ＦＦＴ変換手段１７と、ディジタル信号をアナログ信号に変換するＤＡ変換器１８とからなる。
【００４５】
本例では、原音のスペクトルの存在している部分のゲインを調整し、周波数特性に図５に示すように、細かな強弱、即ち凹凸を持たせる。この周波数特性の凹凸は、共振性のものとは異なり、人間には知覚しにくいものである。実際に、２台以上のスピーカから同時に同じ音を流した場合に、距離が異なれば干渉による凹凸が生じるが、聴覚上はほとんど違和感を生じないことは、多チャネルオーディオが実用化されている現状では自明ともいえる。
【００４６】
以下図２に示すフローチャート、及び図５ないし図１０に従って本例の作動を説明する。本例では、音声信号格納手段１１から読み取られたアナログ音声信号は、Ａ／Ｄ変換手段１２で図６に示すように、デジタルデータに変換される（ＳＴ１）。図に示した例では一つのフレームを例えば３２点の離散値に対して、ＦＦＴ変換手段１３はディジタル音声データのスペクトル分布をＦＦＴ変換で抽出し、該スペクトル分布のうち所定の周波数分布域を周波数に沿って２つの帯域（奇数次（Ｏ）、偶数次（Ｅ））に交互に分割する（ＳＴ３）。このようなフレームを必要とされるデータ長数分だけ選択して処理する。
【００４７】
これによりは図７（ａ）の時系列のアナログデータ波形は図７（ｂ）ように周波数列に沿った所定の周波数間を奇数次（Ｏ）、偶数次（Ｅ）のディジタル信号に変換され、２つのデータグループ化することができる。なお、前記離散値数は任意であり、例えば２５６以上とすることができる。これにより振幅信号を時間領域から周波数領域に変換される。
【００４８】
ついで、本例では信号平均化手段１４は、２つに纏めたデータ群の合計振幅の平均値を略等しいものとする前処理を行なう（ＳＴ４）。即ち該複数のデータ群のゲインを付加情報値に基づいて大小化し、再付加情報埋め込み後の複数データ群を連続したスペクトル分布に編成する。
【００４９】
これは、図８に示すように、Σ（Ｅ）＝Σ（Ｏ）となるように、それぞれに係数を掛ける処理をおこなうのであるが、１フレームの点数が多く（1024点以上など）、様々な音が混在する楽音では、統計的にΣE≒ΣOとなっているため省略できることが多い。もし、特定の周波数領域にしか埋め込まない場合は、埋め込む部分と埋め込まない部分で係数を変えることが望ましい
【００５０】
そして、本例では、すかし信号の埋め込み処理を行なう（ＳＴ５）。これは、図９に示すように、前記奇数次（Ｏ）、偶数次（Ｅ）の単位で２つのグループのうち、片グループの振幅の総和がもう片方の振幅の総和よりも大きい場合は「１」、逆の場合は「０」となるように、各次のゲインを調整する。これにより、所定周波数間で１ビットの情報を付加することができる。
【００５１】
即ち、埋め込むデータが1ならばΣＥ＞ΣＯ、０ならばΣＥ＜ΣＯとなるように、奇数次（Ｏ）、偶数次（Ｅ）のスペクトラムそれぞれのゲインを操作するのである。本例では、埋め込む付加情報のビット数に必要な数のフレームを選択し、フレームごとに、この計算を行なうことで、１フレームに１ビットを埋め込み、必要なビット数のデータを埋め込むものとする。この際、特定の周波数成分を対象とすることが好適である。即ち、低周波、高周波、聴覚上鋭敏な領域などをさけることが好ましい。
【００５２】
この付加信号を付したデータを図１０に示すように、逆ＦＦＴ変換手段１７で逆変換し（ＳＴ７）元の時間領域へ戻し、Ｄ／Ａ変換して音声信号に復元する。これらの処理により、付加信号は、全スペクトル、もしくは一部のスペクトルに埋め込まれ出力される（ＳＴ８）。
【００５３】
図１２に付加信号埋め込み前の音声信号の時系列データ（上段）と周波数系列データ（下段）を、図１３に付加信号埋め込み後の音声信号の時系列データ（上段）と周波数系列データ（下段）を示す。両図を比較して時系列データにほとんど差がなく聴覚上変化がほとんどないことが分かる。また、付加信号埋め込み後の周波数系列データには付加信号による凹凸が発生していることが分かる。なお、この例では８ｋＨｚ以上には信号はなく、８ｋＨｚ以上の帯域に付加信号を埋め込むには雑音成分を付加することが必要となる。
【００５４】
このようにすかし信号が埋め込まれ、スペクトルに凹凸が存在していてもわずか数ｄＢの変化であり、バンドエリミネーション、絶対可聴限界、周波数および時間マスキングを用いたときのように、圧縮によって消されることはない。本発明では、仮にゲインを低下させられたスペクトルが周波数マスキングと同様の原理で消滅するとしても、ゲインを上げられたスペクトルが残り、その振幅差が広がるため、データの取り出しが行ないやすくなる場合もある。
【００５５】
次に音声データからの付加情報装置について説明する。図３は本発明の実施の形態に係る音声データからの付加情報取り出し装置を示すブロック図、図４は本発明の実施の形態に係る音声データからの付加情報取り出し方法を示すフローチャートである。
【００５６】
本例では音声データへの付加情報取り出し装置は、図３に示すように、付加信号を埋め込まれた音声データをアナログデータとして格納しているすかし入り音声信号格納手段２１と、Ｄ／Ａ変換手段２２と、ディジタル化された離散振幅信号を時間領域から周波数領域へと変換しＦＦＴ変換装置２４と、前記ＦＦＴ変換装置２４において、付加信号が埋め込まれたフレームにおいて変換を行なうよう同期させるフレーム同期手段２３と、ＦＦＴ変換された信号である２つのグループのスペクトルの振幅和の比較を行いすかしデータを取り出す付加信号抽出手段２５とからなる。
【００５７】
本例では、フレーム同期手段２３は、付加信号が埋め込まれているフレームと処理中のフレームとのずれを解消する。このため、処理中のフレームを移動させ、ΣＥとΣＯとを比較し、図１１に示すように、両値の比が最大となる点で処理中のフレームが付加信号が埋め込まれたフレームと一致したと判断する。なお、フレーム位置の決定に際しては、元音スペクトラムによりなだらかな曲線にならない場合には移動平均の処理を行う。
【００５８】
本例ではすかし入り音声信号を取得し（ＳＴ１１）、Ａ／Ｄ変換した（ＳＴ１２）後、フレームを同期しつつＦＦＴ変換を行い（ＳＴ１３〜ＳＴ１５）、すかし信号の取得を行なう。
【００５９】
なお、付加信号を埋め込むため行ったバンドスペクトルの上記２つのグループ化は、隣り合う奇数次、偶数次で行なったが、２つずつ纏める、１つおきに行なうようにしても良い。さらに、時間領域から周波数領域への変換は、ＤＦＴ、ＤＳＴ、ＤＣＴ、ＭＤＣＴなどを使用することができ、これらの変換のうち少なくとも１つを含む変換で行なうことができる。
【００６０】
また、図１４（ｃ）に示すように、ＦＦＴの場合、時間領域のフレームに重なり合いを持たせず、時間領域から周波数領域へ変換する（Ｍ＝０）。この場合、スペクトラムの強度を変更し、周波数領域から時間領域へ戻した場合、周波数領域での信号の埋め込みによる波形の変化が生じ、つなぎ合わせた際に、フレーム間で不連続になり、雑音を発生することがある。
【００６１】
このような事態に対処するため、ＭＤＣＴでは、フレーム間をなだらかに重ね合わせる。すなわち図１４（ａ）に示すように、時間領域にフレームを２つの領域で完全にオーバーラップさせるものとしている。即ち前のフレームと重複させて、フレームの更新の長さＮの２倍の窓関数をかけることにより、フレーム長をＮ、重なり幅をＭとしたときＭとＮとを等しいものととしている（Ｍ＝Ｎ）。このようにして不連続をなくして、音質を改善しするものとしている。なお、オーバーラップの幅は、図１４（ｂ）に示すようにフレームの一部においてオーバーラップする（Ｍ＝Ｎ／２）ようにしてもよい。このような処理は、ＭＤＣＴに限らず、ＦＦＴ，ＤＦＴ，ＤＳＴ，ＤＣＴなどいかなる方法でも、同様に行うことができる。
【００６２】
また、可聴帯域を複数のバンドに分割し、それぞれにデータを埋め込むようにしたり、音への影響が大きい帯域、特に直流領域や超低域などには埋め込まないなどの処理を加えることで音質劣化を防ぐことができる。なお、放送では６０Ｈｚの垂直同期信号、１５．７５ｋＨｚの水平同期信号の飛びつき、さらに約１９ｋＨｚの高域にステレオパイロット信号等があるため、この部分はデータを埋め込まない、データ取り出し時に考慮しないなどの処理を行った方が、音質、エラーレートともによりよい結果が得られる。
【００６３】
情報の埋め込み前には、２つのグループのスペクトルの振幅の総和をそろえる前処理を行なうことが望ましく、データの読み取りを確実にする。特に、信号を埋め込まない帯域をもうける場合には、その帯域内の振幅をそろえる前処理を掛けるか、データ取り出し時に埋め込まれていない帯域を除外して振幅の合計を求めるのが望ましい。
【産業上の利用可能性】
【００６４】
本発明では、音にデータを重畳化し、そのデータを取り出すことで、テレビ、ラジオ等で何が放送されているのか、ＣＤやＤＶＤに何が記録されているのかを判別することが可能となり、より詳細な情報を、例えばインターネットなどに接続された他の計算機等から取得したり、データそのものを提示したりするなどの動作を行なわせることができる。音信号に字幕など文字情報や他の音声のデータを重畳しておくことにより、聴覚障害者のアクセシビリティの向上や、災害時などにおける各種情報の提示、副音声を用いた解説や他国語の情報の挿入も可能となる。
【００６５】
また、聴覚上は等しく聞こえる音でも重畳化するデータを変えることにより、音による認証など、セキュリティ分野への応用も可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態に係る音声データへの付加情報埋め込み装置を示すブロック図である。
【図２】本発明の実施の形態に係る音声データへの付加情報埋め込み方法を示すフローチャートである。
【図３】本発明の実施の形態に係る音声データへの付加情報取り出し装置を示すブロック図である。
【図４】本発明の実施の形態に係る音声データへの付加情報取り出し方法を示すフローチャートである。
【図５】本発明の音声データへの付加情報埋め込み方法の概要を説明する音声データ時系列のグラフである。
【図６】本発明に係る音声データへの付加情報埋め込み方法における周波数系列のバンドスペクトルを示す図である。
【図７】実施の形態に係る音声データへの付加情報埋め込み方法のＦＦＴ処理を示す図である。
【図８】実施の形態に係る音声データへの付加情報埋め込み方法の前処理を示す図である。
【図９】実施の形態に係る音声データへの付加情報埋め込み方法の付加信号の埋め込みを説明する図である。
【図１０】実施の形態に係る音声データへの付加情報埋め込み方法の逆ＦＦＴ変換を説明する図である。
【図１１】実施の形態に係る音声データへの付加情報取り出し方法の付加信号の取り出しを説明する図である。
【図１２】実施の形態に係る音声データへの付加情報埋め込み方法における付加信号を付加する前の音声データを示すグラフである。
【図１３】実施の形態に係る音声データへの付加情報埋め込み方法における付加信号を付加した音声データを示すグラフである。
【図１４】実施の形態に係る音声データへの付加情報埋め込み方法におけるオーバーラップの状態を示すグラフである。
【符号の説明】
【００６７】
１１  音声信号格納手段
１２  Ａ／Ｄ変換手段
１３  ＦＦＴ変換装置
１４  信号平均化手段
１５  付加信号埋め込み手段
１６  付加信号格納手段
１７  逆ＦＦＴ変換手段
１８  ＤＡ変換器
２１  音声信号格納手段
２２  Ｄ／Ａ変換手段
２３  フレーム同期手段
２４  ＦＦＴ変換装置
２５  付加信号抽出手段
【図１】
2006171110.tif 000003
【図２】
2006171110.tif 000004
【図３】
2006171110.tif 000005
【図４】
2006171110.tif 000006
【図５】
2006171110.tif 000007
【図６】
2006171110.tif 000008
【図７】
2006171110.tif 000009
【図８】
2006171110.tif 000010
【図９】
2006171110.tif 000011
【図１０】
2006171110.tif 000012
【図１１】
2006171110.tif 000013
【図１２】
2006171110.tif 000014
【図１３】
2006171110.tif 000015
【図１４】
2006171110.tif 000016