(57)【要約】【課題】本発明は、より正確な有声音/無声音分離を行う音声信号のハーモニック成分の分析を用いた有声音/無声音分離情報を抽出する方法及び装置を提供する。【解決手段】本発明は、音声信号のハーモニック成分を用いた有声音/無声音分離情報抽出方法において、音声信号が入力されれば、周波数ドメインに変換するステップと、変換された音声信号からハーモニック信号とハーモニック信号を除いた残り信号とを計算するステップと、計算結果を用いてＨＲＲを計算するステップと、ＨＲＲをしきい値と比較して、有声音/無声音分離を遂行するステップとを含む。【選択図】図１
2007041593.tif 000002
【特許請求の範囲】
【請求項１】
音声信号のハーモニック成分を用いた有声音/無声音分離情報抽出方法において、
音声信号が入力されると、周波数ドメインに変換するステップと、
前記変換された音声信号からハーモニック信号と前記ハーモニック信号を除いた残り信号とを計算するステップと、
前記計算結果を用いてＨＲＲを計算するステップと、
前記ＨＲＲをしきい値と比較して、有声音/無声音分離を行うステップと
を含むことを特徴とする方法。
【請求項２】
前記変換された音声信号は、下記の式１のように表現されることを特徴とする、請求項１に記載の方法。
【数１】
2007041593.tif 000019
上記式１において、Snは前記変換された音声信号、rnは残り信号、hn はハーモニック成分(ハーモニック信号)、Nはフレーム長、Lは存在するハーモニック数、ω0はピッチ、aとb は各フレーム別に異なる値を持つ常数である。
【請求項３】
前記ハーモニック信号と前記ハーモニック信号を除いた残り信号とを計算するステップは、
残りエネルギーを最小化するための当該ハーモニック係数を計算するステップと、
前記計算されたハーモニック係数を用いて前記ハーモニック信号を求めるステップと、
前記ハーモニック信号が求められると、前記変換された音声信号から前記ハーモニック信号を引いて前記残り信号を計算するステップと
を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記ハーモニック係数の計算は、最小二乗法と同様に行われることを特徴とする、請求項３に記載の方法。
【請求項５】
前記残りエネルギーは、下記の式２のように表現されることを特徴とする、請求項３に記載の方法。
【数２】
2007041593.tif 000020
【請求項６】
前記当該ハーモニック係数を計算するステップは、上記式２において全てのｋに対し、
【数３】
2007041593.tif 000021
及び
【数４】
2007041593.tif 000022
を計算することを特徴とする、請求項５に記載の方法。
【請求項７】
前記ＨＲＲを計算するステップは、
前記計算されたハーモニック信号と前記残り信号とを用いて、ハーモニックエネルギーを求めるステップと、
前記全体の音声信号エネルギーから前記ハーモニックエネルギーを引いて残りエネルギーを計算するステップと、
前記計算されたハーモニックエネルギーと残りエネルギーとの比率を計算するステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記ＨＲＲは、下記の式５のように表現されることを特徴とする、請求項１に記載の方法。
【数５】
2007041593.tif 000023
【請求項９】
前記ＨＲＲは、パーセバルの定理を利用すると、周波数ドメインでは下記の式６のように表現されることを特徴とする、請求項１に記載の方法。
【数６】
2007041593.tif 000024
前記式６において、ωは周波数ビンを示し、ｋは周波数ビンの数を示す。
【請求項１０】
前記ＨＲＲをしきい値と比較して有声音/無声音分離を行うステップは、前記ＨＲＲが前記しきい値よりも大きければ、有声音と判断して分離することを特徴とする、請求項１に記載の方法。
【請求項１１】
音声信号のハーモニック成分を用いた有声音/無声音分離情報抽出方法において、
音声信号が入力されると、周波数ドメインに変換するステップと、
前記変換された音声信号からハーモニック信号とノイズ信号とを分離するステップと、
前記ハーモニック部分及びノイズ部分に対するエネルギー比率を計算するステップと、
前記計算結果を用いて有声音/無声音分離を行うステップと
を含むことを特徴とする方法。
【請求項１２】
前記ハーモニック部分及びノイズ部分に対するエネルギー比率は、ＨＮＲであることを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記ＨＮＲは、下記の式７のように表現されることを特徴とする、請求項１２に記載の方法。
【数７】
2007041593.tif 000025
上記式７において、Ｈはハーモニック信号を示し、Ｎはノイズ信号を示し、ωは周波数ビンを示す。
【請求項１４】
前記ハーモニック部分及びノイズ部分に対するエネルギー比率は、ＳＢ−ＨＮＲであることを特徴とする、請求項１１に記載の方法。
【請求項１５】
前記ＳＢ−ＨＮＲは、下記の式８のように表現されることを特徴とする、請求項１４に記載の方法。
【数８】
2007041593.tif 000026
上記式８において、
【数９】
2007041593.tif 000027
は第ｎハーモニックバンドの周波数上限(Upper frequency Bound of nth Harmonic Band)、
【数１０】
2007041593.tif 000028
は第ｎハーモニックバンドの周波数下限(Lower frequency Bound of nth Harmonic Band)、Nはサブバンドの数を示す。
【請求項１６】
音声信号のハーモニック成分を用いた有声音/無声音分離情報抽出装置は、
音声信号が入力される音声信号入力部と、
前記入力された時間ドメイン上の音声信号を周波数ドメイン上の音声信号に変換する周波数ドメイン変換部と、
前記変換された音声信号からハーモニック信号と前記ハーモニック信号を除いた残り信号とを計算するハーモニック−残り信号計算部と、
前記計算結果を用いて前記ＨＲＲを計算するＨＲＲ計算部と
を含むことを特徴とする装置。
【請求項１７】
基本周波数のハーモニック合計と小さな残りとで表現したハーモニックモデルを用いて表現された前記音声信号から前記残りに対するエネルギーを最小化するための当該ハーモニック係数を計算するハーモニック係数計算部と、
前記ハーモニック係数計算時、必要なピッチを提供するピッチ検出部と
をさらに含むことを特徴とする請求項１６に記載の装置。
【請求項１８】
前記ＨＲＲは、下記の式１１のように表現されることを特徴とする、請求項１６に記載の装置。
【数１１】
2007041593.tif 000029
【請求項１９】
音声信号のハーモニック成分を用いた有声音/無声音分離情報抽出装置は、
音声信号が入力される音声信号入力部と、
前記入力された時間ドメイン上の音声信号を周波数ドメイン上の音声信号に変換する周波数ドメイン変換部と、
前記変換された音声信号からハーモニック部分とノイズ部分とを分離するハーモニック−ノイズ分離部と、
前記ハーモニック部分及びノイズ部分に対するエネルギー比率を計算するハーモニック−ノイズエネルギー比率計算部と
を含むことを特徴とする装置。
【請求項２０】
前記ハーモニック−ノイズエネルギー比率計算部は、前記ＨＮＲを計算することを特徴とする、請求項１９に記載の装置。
【請求項２１】
前記ＨＮＲは、下記の式１２のように表現されることを特徴とする、請求項２０に記載の装置。
【数１２】
2007041593.tif 000030
上記式１２において、Ｈはハーモニック信号を示し、Ｎはノイズ信号を示し、ωは周波数ビンを示す。
【請求項２２】
前記ハーモニック−ノイズエネルギー比率計算部は、ＳＢ−ＨＮＲを計算することを特徴とする、請求項１９に記載の装置。
【請求項２３】
前記ＳＢ−ＨＮＲは、下記の式１３のように表現されることを特徴とする、請求項２２に記載の装置。
【数１３】
2007041593.tif 000031
上記式１３において、
【数１４】
2007041593.tif 000032
は第ｎハーモニックバンドの周波数上限(Upper frequency Bound of nth Harmonic Band)、
【数１５】
2007041593.tif 000033
は第ｎハーモニックバンドの周波数下限(Lower frequency Bound of nth Harmonic Band)、Nはサブバンドの数を示す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、有声音/無声音分離情報を抽出する方法及び装置に関し、特に、より正確な有声音/無声音分離を行う音声信号のハーモニック成分の分析を用いた有声音/無声音分離情報を抽出する方法及び装置に関する。
【背景技術】
【０００２】
一般に、音声信号は、時間領域及び周波数領域での統計的特性に従い、周期的(peridoc or harmonic)成分及び非周期的(non-peridoc or random)成分、すなわち、有声音及び無声音に分けられるが、これを準周期的(quasi-periodic)という。このとき、周期的成分及び非周期的成分は、ピッチ情報の有無によって有声音及び無声音に判別し、この情報に基づいて周期性の有声音と非周期性の無声音とを区分して使用する。
【０００３】
このように、有声音/無声音分離情報は、全ての音声信号処理システムにおいて、コーディング、認識、合成、強化などに用いるための最も基本的且つ決定的な情報である。よって、音声信号から有声音/無声音を分離するための多様な方法が提案されている。一例として音素コーディング(Phonetic coding)で使用した方法がある。この方法は、音素分割(Phonetic segmentation)のために、開始(onset)、フルバンド定常状態有声音(full-band steady-state voiced)、フルバンド過渡有声音(full-band transient voiced)、ローパス過度有声音(low-pass transient voiced)、ローパス定常状態有声音/無声音(low-pass steady-state voiced and unvoiced)等、６つのカテゴリに分けられる。
【０００４】
特に、有声音/無声音分離のために使用する特徴としては、ローバンドスピーチエネルギー(low-band speech energy)、ゼロクロスカウント(Zero-crossing count)、第１の反射係数(First reflection coefficient)、プレエンファシスエネルギー比率(pre-emphasized Energy ratio)、第２の反射係数(Second reflection coefficient)、カジュアルピッチ予想利得(casual pitch prediction gains)、非カジュアルピッチ予想利得(non-casual pitch prediction gains)などがあり、線形判別器(linear discriminator)で組合わせて使用している。しかしながら、現在、一つの特徴を用いて有声音/無声音を分離する方法はないため、いくつかの特徴をどのように組合わせるかが性能に重要な影響を及ぼすことになる。
【０００５】
一方、有声音の程度(すなわち、有声音の成分の含有程度)の中には、ボーカルシステム(vocal system)(すなわち、音声を生成するシステム)により、多くのパワーが発生して有声音のサウンドが音声エネルギーの殆どを占めることになるので、音声信号から有声音部分での歪みは、コーディングされたスピーチの全体的な音質に多くの影響を及ぼすことになる。
【０００６】
このような有声音スピーチでは、声門刺激(glottal excitation)と声道(vocal tract)との間の相互作用がスペクトラムの推定を困難にする。よって、殆どの音声信号処理システムでは、有声音成分の程度に対する測定情報が必須になる。このような測定情報は、音声認識及び音声コーディングでも使用され、特に音声合成の音質を決定する重要なパラメーターなので、誤った情報や推測値を使用することは認識と合成において性能を低下させる原因になる。
【０００７】
しかしながら、推定される現像自体がある程度の無作為性を内包しており、推定が一定の区間で行われ、有声音手段(voicing measure)の出力はランダムな構成要素を持つ。よって、有声音手段の算出時には、統計的な性能測定方法が適切であり、多数のフレームを介した算出混合物の平均を主な指標として使用することになる。
【０００８】
前述したように、従来は、有声音/無声音分離情報を抽出するために使用される特徴は多いが、その各々は一つの特徴だけにより有声音/無声音分離を行うのに情報が不足する。よって、現在は、一つだけでは信頼できない特徴からなる組合わせにより有声音/無声音を分離している。しかしながら、各特徴の相関関係の問題やノイズによる性能低下の問題が深刻なため、これを解決するための方案が要求されている。また、このような方法は、有声音と無声音の本質的な差異点であるハーモニック成分の有無とハーモニック程度の差とを正しく表現していない実情である。したがって、ハーモニック成分に対する分析により、有声音/無声音を正確に分離できる方案が必須的に要求されている。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
よって、本発明の目的は、より正確な有声音/無声音分離を行う音声信号のハーモニック成分の分析を用いた有声音/無声音分離情報を抽出する方法及び装置を提供することにある。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、本発明は、音声信号のハーモニック成分を用いた有声音/無声音分離情報抽出方法において、音声信号が入力されると、周波数ドメインに変換するステップと、前記変換された音声信号からハーモニック信号と前記ハーモニック信号を除いた残り信号とを計算するステップと、前記計算結果を用いてＨＲＲを計算するステップと、前記ＨＲＲをしきい値と比較して、有声音/無声音分離を行うステップとを含むことを特徴とする。
【００１１】
また、本発明は、音声信号のハーモニック成分を用いた有声音/無声音分離情報抽出方法において、音声信号が入力されると、周波数ドメインに変換するステップと、  前記変換された音声信号からハーモニック信号とノイズ信号とを分離するステップと、前記ハーモニック部分及びノイズ部分に対するエネルギー比率を計算するステップと、前記計算結果を用いて有声音/無声音分離を行うステップとを含むことを特徴とする。
【００１２】
一方、本発明による音声信号のハーモニック成分を用いた有声音/無声音分離情報抽出装置は、音声信号が入力される音声信号入力部と、前記入力された時間ドメイン上の音声信号を周波数ドメイン上の音声信号に変換する周波数ドメイン変換部と、前記変換された音声信号からハーモニック信号と前記ハーモニック信号を除いた残り信号とを計算するハーモニック−残り信号計算部と、前記計算結果を用いて前記ＨＲＲを計算するＨＲＲ計算部とを含むことを特徴とする。
【００１３】
また、本発明による音声信号のハーモニック成分を用いた有声音/無声音分離情報抽出装置は、音声信号が入力される音声信号入力部と、前記入力された時間ドメイン上の音声信号を周波数ドメイン上の音声信号に変換する周波数ドメイン変換部と、前記変換された音声信号からハーモニック部分とノイズ部分とを分離するハーモニック−ノイズ分離部と、前記ハーモニック部分及びノイズ部分に対するエネルギー比率を計算するハーモニック−ノイズエネルギー比率計算部とを含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、実用的で、簡単で、且つ、有声音の程度の測定が非常に正確で、効率的な特徴抽出法を提案する。本発明で提示する有声音の程度を抽出するためのハーモニック分離及び分析方法は、多様な音声とオーディオ特徴抽出法に容易に適用できると共に、従来の他の方法と組合わせる場合には、より正確な有声音/無声音分離が可能である。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。なお、下記の説明において、本発明の要旨のみを明瞭にするために、公知の機能や構成についての具体的な説明は適宜省略する。
【００１６】
本発明は、音声信号から有声音/無声音分離情報の抽出の精度を向上できる機能を具現する。このために、本発明では、ハーモニック(harmonic)/非ハーモニック(non-harmonic又はresidual)成分比率の分析により有声音/無声音分離情報を抽出する。具体的に、ハーモニック成分の分析により得られる特徴抽出法であるＨＲＲ(Harmonic to Residual Ratio)、ＨＮＲ(Harmonic to Noise Ratio)、ＳＢ−ＨＮＲ(Sub-band Harmonic to Noise Ratio)を介して有声音/無声音を正確に分離できる。これにより、有声音/無声音分離情報を得ることで、これを音声コーディング、認識、合成、強化の遂行時の全ての音声信号システムで用いられる。
【００１７】
本発明に係る手段は、音声やオーディオ信号のハーモニック成分の強度を測定するため、有声音/無声音分離情報の抽出の本質的な性質を数値化する方法である。
【００１８】
本発明の説明に先立ち、有声音推定部(voicinge stimator)の性能を左右する要素について簡略に説明する。
【００１９】
具体的に、このような要素としては、音声合成に対する感度、ピッチ動作(例えば、ピッチの高低、ピッチのスムーズな変化の有無、ピッチ周期の無作為性の有無などを含む)に対する無感覚性、スペクトラムエンベロープ(envelope)に対する無感覚性、主観的(subjective)性能などがある。実質的に、聴覚システム(auditory system)は、有声音の強度の小さな変化にあまり敏感ではないため、有声音基準の測定において僅少なエラーはあり得るが、最も重要な性能測定手段は、聴き取りによる主観的パフォーマンス(subjective performance)と言える。
【００２０】
本発明では、前述した条件を満足させると共に、いくつかの信頼できない特徴を組合する必要なく一つの特徴のみ用いて、有声音/無声音分離情報、すなわち、特徴を抽出して分離可能な分離情報抽出方法を提示する。
【００２１】
よって、前述したような機能が具現された有声音/無声音分離情報抽出装置の構成要素及び動作について説明する。このために、本発明の一実施形態による有声音/無声音分離情報抽出装置に対するブロック構成図である図１を参照する。以下、本発明の一実施形態は、音声信号の全体をスピーチのハーモニック正弦波形モデル(Harmonic sinusoidal model of speech)で表現して当該ハーモニック係数を求め、これを用いてハーモニック信号及び残り信号を計算することで、ＨＲＲを求める構成を開示する。このＨＲＲを用いると、有声音と無声音との分離が可能になる。
【００２２】
図１によれば、本発明の一実施形態による有声音/無声音分離情報抽出装置は、音声信号入力部１１０、周波数ドメイン変換部１２０、ハーモニック係数計算部１３０、ピッチ検出部１４０、ハーモニック−残り信号計算部１５０、ＨＲＲ計算部１６０及び有声音/無声音分離部１７０を含む。
【００２３】
音声信号入力部１１０は、ＭＩＣ(Microphone)などからなり、音声及び音響を含んだ音声信号の入力を受ける。周波数ドメイン変換部１２０は、入力された音声信号を時間ドメインから周波数ドメインに変換する。
【００２４】
周波数ドメイン変換部１２０は、ＦＦＴ(Fast Fourier Transform)などを用いて、時間ドメイン上の音声信号を周波数ドメイン上の音声信号に変換する。
【００２５】
続いて、周波数ドメイン変換部１２０から信号、すなわち、音声信号の全体が提供されれば、これはスピーチのハーモニック正弦波形モデルで表すことができる。これは、計算量が小さく、効率的に、正確なハーモニック手段を具現するためである。具体的に、音声信号を基本周波数のハーモニック合計と小さな残り(small residual)とで表すハーモニックモデルを用いると、下記の式1のように示す。すなわち、音声信号をコサインとサインとの組合せで表すことができるので、下記の式1のように示す。
【００２６】
【数１】
2007041593.tif 000003
【００２７】
上記式１において、
【数２】
2007041593.tif 000004
はハーモニック部分で、rn はハーモニック部分を除いた残り部分である。ここで、Snは変換された音声信号、rnは残り、hn はハーモニック成分、Nはフレーム長、Lは存在するハーモニック数、ω0はピッチ、aとb は常数として各フレーム別に異なる値を持つ。このとき、残り信号を最小化させるために、上記式１でrn を最小化する過程を遂行する。ここで、ハーモニック係数計算部１３０は、ω0に該当する値を入れるために、ピッチ検出部１４０からピッチ値が提供される。ピッチ値が提供されると、ハーモニック係数計算部１３０は、下記の式により残りエネルギーを最小化するためのハーモニック係数a、bを求める。
【００２８】
まず、上記式１の残り部分rnについて説明すれば、rn=Sn-hnで、
【数３】
2007041593.tif 000005
になる。一方、残りエネルギーは、下記式４のように示す。
【００２９】
【数４】
2007041593.tif 000006
【００３０】
ここで、残りエネルギーを最小化するには、全てのｋに対し、
【数５】
2007041593.tif 000007
と
【数６】
2007041593.tif 000008
を計算する。
【００３１】
ハーモニック係数a、bの計算は最小二乗法(least squares method)と同様であり、この方法は、計算量が少なく、効率的に、残りの最小化を保証する。
【００３２】
ハーモニック−残り信号計算部１５０は、前述したような過程を介して、残りエネルギーを最小化するハーモニック係数a、bを求める。その後、ハーモニック−残り信号計算部１５０は、求められたハーモニック係数を用いてハーモニック信号と残り信号とを計算する。具体的に、ハーモニック−残り信号計算部１５０は、計算されたハーモニック係数及びピッチを
【数７】
2007041593.tif 000009
に代入してハーモニック信号を求める。その後、ハーモニック信号が求めらると、変換された全体の音声信号(Sn)からハーモニック信号(hn)を引いて残り信号(rn)を計算するため、ハーモニック信号と残り信号とを求める計算が可能になる。同様に、残りエネルギーは、全体の音声信号のエネルギーからハーモニックエネルギーを単純に引く方式にて計算が可能である。ここで、残り信号はノイズと類似して有声音フレームの場合には非常に小さい。
【００３３】
このように求められたハーモニック信号と残り信号とがＨＲＲ計算部１６０に提供されると、ＨＲＲ計算部１６０は、ハーモニック信号と残り信号とのエネルギー比率を示すＨＲＲを求める。ＨＲＲは下記の式８のように示す。
【００３４】
【数８】
2007041593.tif 000010
【００３５】
上記式８において、パーセバルの定理(Parseval's theorem)を用いると、この手段は、周波数ドメインでは下記の式９のように示される。
【００３６】
【数９】
2007041593.tif 000011
【００３７】
上記式９において、ωは周波数ビン(frequency bin)を示し、kは周波数ビンの数を示す。
【００３８】
このような手段は、各フレームから信号の有声音成分の程度を示す分離情報、すなわち、特徴を抽出する手段である。このような過程を介してＨＲＲを得ることは、有声音/無声音を分離するために分離情報を得るものである。
【００３９】
このとき、有声音と無声音との分離のために統計的分析法を使用するが、例えば、ヒストグラム分析を用いると、９５％のしきい値を使用する。これにより、-２.６５ｄＢを基準として、ＨＲＲが-２.６５ｄＢよりも大きければ有声音と判断でき、ＨＲＲが-２.６５ｄＢよりも小さければ無声音と判断できる。したがって、有声音/無声音分離部１７０は、求められたＨＲＲをしきい値と比較して、有声音/無声音に分離する動作を遂行する。
【００４０】
続いて、本発明の一実施形態による有声音/無声音分離情報抽出の過程を説明する。このために、本発明の一実施形態による有声音/無声音分離情報抽出の過程を説明するための図面である図２を参照する。
【００４１】
図２によれば、有声音/無声音分離情報抽出装置は、段階Ｓ２００においてＭＩＣなどを介して音声信号が入力される。 有声音/無声音分離情報抽出装置は、 段階Ｓ２１０においてＦＦＴなどを用いて入力された時間ドメイン上の音声信号を周波数ドメインに変換する。続いて、有声音/無声音分離情報抽出装置は、この音声信号をスピーチハーモニック正弦波形モデルで表現し、段階Ｓ２２０において当該ハーモニック係数を計算する。その後、有声音/無声音分離情報抽出装置は、段階Ｓ２３０において計算されたハーモニック係数を用いてハーモニック信号と残り信号とを計算する。続いて、有声音/無声音分離情報抽出装置は、段階Ｓ２４０において計算結果を用いてＨＲＲを計算する。続いて、有声音/無声音分離情報抽出装置は、段階Ｓ２５０においてＨＲＲを用いて有声音/無声音を分離する。換言すれば、ハーモニックと非ハーモニック、すなわち、残りの成分比率分析に基づき、有声音/無声音分離情報を抽出し、これを有声音/無声音に分離するのに使用する。
【００４２】
このように、本発明の一実施形態によれば、常にノイズよりも高レベルで存在するハーモニック領域を分析して、ハーモニックとノイズとのエネルギー比率を求めることにより、全ての音声及びオーディオ信号を使用するシステムにおいて必ず使用される有声音と無声音との分離情報抽出方法を提示した。
【００４３】
以下では、本発明の他の実施形態による有声音と無声音分離情報を抽出する過程について説明する。
【００４４】
本発明の他の実施形態による有声音/無声音分離情報抽出装置の構成要素及び動作について、図３を参照して説明する。図３は、本発明の他の実施形態による有声音/無声音分離情報抽出装置に対するブロック構成図である。
【００４５】
図３によれば、本発明の他の実施形態による有声音/無声音分離情報抽出装置は、音声信号入力部３１０、周波数ドメイン変換部３２０、ハーモニック−ノイズ分離部３３０、ハーモニック−ノイズエネルギー比率計算部３４０及び有声音/無声音分離部３５０を含む。
【００４６】
音声信号入力部３１０は、ＭＩＣ(Microphone)などからなり、音声及び音響を含んだ音声信号の入力を受ける。周波数ドメイン変換部３２０は、入力された音声信号を時間ドメインから周波数ドメインに変換する。具体的に、周波数ドメイン変換部３２０は、ＦＦＴ(Fast Fourier Transform)などを用いて、時間ドメイン上の音声信号を周波数ドメイン上の音声信号に変換する。
【００４７】
ハーモニック−ノイズ分離部３３０は、周波数ドメイン上の音声信号をハーモニック区間とノイズ区間とに分離する。このとき、ハーモニック−ノイズ分離部３３０はピッチ情報を用いる。
【００４８】
ここで、音声信号をハーモニック区間とノイズ区間とに分離する過程について、図５を参照して具体的に説明する。図５は、本発明の他の実施形態による周波数ドメイン上の音声信号を示す図である。図５に示すように、音声信号をＨＮＤ(Harmonic-plus-Noise Decomposition)処理すれば、周波数ドメイン上の音声信号は、ノイズ区間Ｂ(Noise or Stochastic part)と、ハーモニック区間Ａ(Harmonic or Deterministic part)とに分離することができる。ここで、ＨＮＤ方法は周知の方法なので、その詳細な説明は省略する。
【００４９】
前記過程を介して図６に示すような元の音声信号の波形は、図７Ａ及び図７Ｂに示すようにハーモニック信号とノイズ信号とに区分される。ここで、図６は本発明の他の実施形態によって分解前の元の音声信号の波形を示す図で、図７Ａは本発明の他の実施形態によって分解されたハーモニック信号を示す図で、図７Ｂは本発明の他の実施形態によって分解されたノイズ信号を示す図である。
【００５０】
図７Ａ及び図７Ｂのように信号が分離されると、ハーモニック−ノイズエネルギー比率計算部３４０は、ハーモニック区間の信号エネルギーとノイズ区間の信号エネルギーとの比率を計算する。このとき、ハーモニック区間及びノイズ区間を、全体を基準とする場合、ハーモニック区間の全体とノイズ区間の全体とのエネルギー比率は、ＨＮＲ(Harmonic to Noise Ratio)で定義され、さらに、全体区間を所定周波数バンド別に区分して、各周波数バンド別ハーモニック部分及びノイズ部分に対するエネルギー比率はＳＢ−ＨＮＲ(Sub-band Harmonic to Noise Ratio)で定義できる。ハーモニック−ノイズエネルギー比率計算部３４０でＨＮＲ又はＳＢ−ＨＮＲが求められると、有声音/無声音分離部３５０は、これにより有声音/無声音分離を遂行することになる。
【００５１】
まず、ハーモニック区間とノイズ区間との各信号エネルギー比率であるＨＮＲは、下記の式１０のように定義することができる。このように求められたＨＮＲは、有声音/無声音分離部３５０に提供され、有声音/無声音分離部３５０は求められたＨＮＲをしきい値と比較して、有声音/無声音分離を行う。
【００５２】
【数１０】
2007041593.tif 000012
【００５３】
上記式１０のように定義されたＨＮＲは、図７Ａ及び図７Ｂによれば、図７Ａの波形の下部領域を図７Ｂの波形の下部領域で除算した値に該当する。すなわち、図７Ａ及び図７Ｂの波形の下部に該当する領域はエネルギーを示す。
【００５４】
続いて、本発明の他の実施形態による有声音/無声音分離情報抽出の過程を説明する。このために、本発明の他の実施形態によって有声音/無声音分離情報抽出の過程を説明するための図面である図４を参照する。
【００５５】
図４によれば、有声音/無声音分離情報抽出装置は、段階Ｓ４００においてＭＩＣなどを介して音声信号が入力される。 有声音/無声音分離情報抽出装置は、 段階Ｓ４１０においてＦＦＴなどを用いて入力された時間ドメイン上の音声信号を周波数ドメインに変換する。続いて、有声音/無声音分離情報抽出装置は、段階Ｓ４２０において周波数ドメイン上の音声信号からハーモニック部分とノイズ部分とを分離する。その後、有声音/無声音分離情報抽出装置は、段階Ｓ４３０においてハーモニック及びノイズに対するエネルギー比率を計算した後、段階Ｓ４４０においてその計算結果を用いて有声音/無声音を分離する。
【００５６】
一方、ＨＮＲとＨＲＲとの比較時、一貫性のために、[０、１]の範囲(無声音は０、有声音は１)に含まれるように本発明の特徴抽出法を再定義できる。具体的に、ＨＮＲ及びＨＲＲの単位をｄＢで表現すべきである。しかしながら、有声音の程度を示す手段で使用するために、ＨＮＲの場合を例として上記式１０を再定義すれば、下記式１１のように表現できる。
【００５７】
【数１１】
2007041593.tif 000013
【００５８】
上記式１１において、Ｐはパワーであり、ＨＮＲの場合ではＰＮを使用し、ＨＲＲの場合にはＰＲを使用するが、これは手段によって変更可能である。そして、有声音の場合の範囲が無限大であれば、無声音の場合にはマイナス無限大の範囲を有する。上記式１１をさらに
【数１２】
2007041593.tif 000014
で表現することができ、有声音の程度を示す[０、１]間の手段は、下記式１３のように表現することができる。
【００５９】
【数１３】
2007041593.tif 000015
【００６０】
一方、本発明の他の実施形態によって有声音/無声音分離情報に該当するＨＮＲを求める過程において、基本的には残りをノイズと見なすことができるので、前述した本発明の一実施形態によるＨＲＲと同様な概念を持つ。しかしながら、本発明の一実施形態におけるＨＲＲでは、残りを正弦波形の表現の観点で使用したが、本発明の他の実施形態におけるＨＮＲでは、ノイズをＨＮＤ処理した後に計算されるという点で差異がある。
【００６１】
混合有声音の程度の場合には、低い周波数バンドでは周期的な構造を持つが、高い周波数バンドではノイズのような傾向を持つ。このような場合には、分解後のハーモニックとノイズ要素とを、ＨＮＲで計算する前に、ローパスフィルターリングして処理できる。
【００６２】
一方、周波数バンド間に非常に大きいエネルギー差が存在する場合に発生し得る問題点を予め防止するために、本発明のもう一つの実施形態によって有声音と無声音との分離情報抽出方法を提案する。これはＳＢ−ＨＮＲ(Sub-band Harmonic to Noise Ratio)で定義できるが、この方法は特に高いエネルギーバンドがＨＮＲを抑圧することで、過度に大きいＨＮＲ値を持つ無声音部分が存在する場合に発生し得る問題点を除去でき、それぞれのバンドに対する多くの制御が可能である。
【００６３】
この方法は、全体の比率を計算するために、各ＨＮＲ値を加算する前に各ハーモニック領域のＨＮＲを各々計算することで、各ハーモニック領域を他の領域に比べて效果的に標準化することになる。具体的に、図７Ａ及び図７Ｂを参照すれば、図７Ａの図面符号ｃにより指示されるバンドと、図７Ｂの図面符号ｄにより指示されるバンドとでＨＮＲを求める。このような方式により、図７Ａ及び図７Ｂの周波数バンドを一定の大きさを持つ各周波数バンドに除算した後、各バンド別にＨＮＲを計算すると、ＳＢ−ＨＮＲが得られる。このようなＳＢ−ＨＮＲを数式に定義すれば、下記の式１４のように示す。
【００６４】
【数１４】
2007041593.tif 000016
【００６５】
上記式１４において、
【数１５】
2007041593.tif 000017
は第ｎハーモニックバンドの周波数上限(Upper frequency Bound of nth Harmonic Band)、
【数１６】
2007041593.tif 000018
は第ｎハーモニックバンドの周波数下限(Lower frequency Bound of nth Harmonic Band)、Nはサブバンドの数を示す。ＳＢ−ＨＮＲを図７Ａ及び図７Ｂを用いて定義すれば、SB-HNR=Σ(図７Ａの領域(per Harmonic Band)/図７Ｂの領域(per Harmonic Band))となる。
【００６６】
一つのサブバンドは、ハーモニックピークでセンターを持ち、そのセンターを基準として両方向に半ピッチだけ離れていると定義できる。このようなＳＢ−ＨＮＲは、ＨＮＲに比べて各ハーモニック領域が效果的に均等化して全てのハーモニック領域が類似した加重値を持つことになる。また、ＳＢ−ＨＮＲは、時間軸で分割されたＳＮＲの周波数軸の同類と考えることができる。それぞれのサブバンドのＨＮＲが各々計算されるので、ＳＢ−ＨＮＲはサブバンド有声音/無声音分離に対しより正確な根拠になり得る。ここに、選択的にバンドパスノイズサプレッションフィルタ(bandpass noise-suppression filter)(例えば、ninth order Butterworth filter with cutoff frequency of 200Hz and upper cutoff frequency of 3400Hz)を適用できる。このようなフィルターリングを介して適当な高周波スペクトラルロールオフ(high frequency spectral roll-off)を提供すると同時に、ノイズがある場合、帯域外ノイズ(out-of-band noise)をディエンファシス(deemphasize)する効果が得られる。
【００６７】
このようなハーモニックに基づいた技術として、例えば、ＳＢ−ＨＮＲは、各サブバンドの有声音/無声音分離に必要なマルチバンドエクサイテイションボコーダ(multi-band excitation vocoder)で使用できる等、多様な分野で応用できる。さらに、本発明は、ドミナントハーモニック領域(dominant harmonic region)に対する分析に基づいてその効用性が一層大きくなり、聴覚現象(auditory perception phenomena)を考慮して有声音/無声音分離において、実際に重要な周波数領域を強調することで、高性能を期待できる。また、本発明では、実際にコーディング、認識、強化、合成などに全部適用可能であり、特に少ない計算量と正確なハーモニック領域検出に従う有声音成分検出により、携帯電話、テレマティクス、ＰＤＡ、ＭＰ３などの移動性が要求され、計算及び格納容量の制限があったり、迅速な処理が要求されるアプリケーションにおいて効率的に、全ての音声及びオーディオ信号処理システムで源泉技術になり得る技術を提示する。
【００６８】
なお、本発明の詳細な説明では具体的な実施形態について説明したが、本発明の要旨から逸脱しない範囲内で多様に変形できる。よって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施形態による有声音/無声音分離情報抽出装置に対するブロック構成図である。
【図２】本発明の実施形態による有声音/無声音分離情報抽出の過程を説明するための図である。
【図３】本発明の他の実施形態による有声音/無声音分離情報抽出装置に対するブロック構成図である。
【図４】本発明の他の実施形態による有声音/無声音分離情報抽出の過程を説明するための図である。
【図５】本発明の他の実施形態による周波数ドメイン上の音声信号を示す図である。
【図６】本発明の他の実施形態による分解前の元の音声信号の波形を示す図である。
【図７Ａ】本発明の他の実施形態によって分解されたハーモニック信号を示す図である。
【図７Ｂ】本発明の他の実施形態によって分解されたノイズ信号を示す図である。
【符号の説明】
【００７０】
１１０  音声信号入力部
１２０  周波数ドメイン変換部
１３０  ハーモニック係数計算部
１４０  ピッチ検出部
１５０  ハーモニック−残り信号計算部
【図１】
2007041593.tif 000034
【図２】
2007041593.tif 000035
【図３】
2007041593.tif 000036
【図４】
2007041593.tif 000037
【図５】
2007041593.tif 000038
【図６】
2007041593.tif 000039
【図７Ａ】
2007041593.tif 000040
【図７Ｂ】
2007041593.tif 000041