(57)【要約】【課題】音のエネルギーやＦＦＴスペクトラムのような音声特徴量を用いてまやかしの音声検出を行わず、真に人の音声区間を検出すること。【解決手段】音声解析に適したローパスフィルタを通した音声波形そのものを処理して、零交差点に基づき粗く音声を小セグメントと呼ぶ小区間に分割し、隣接する小セグメントのエネルギーが小さい場合に直前のセグメントと結合を行うことにより、音声セグメントの統合を行う。そして、基準とする音声セグメントに関しては時間方向に見て正の値を持つ波形の始点である零交差点を始点とし時間方向に見て負の値を持つ波形の終点である零交差点を終点となるものを選び、更に比較する音声セグメントに関しては始点を先の基準とする部分音声信号波形の終点とし終点を時間方向に見て負の値を持つ波形の終点である零交差点を終点となるものを選び、これら２つの音声セグメントの類似度を求める。【選択図】図１
2005266098.tif 000002
【特許請求の範囲】
【請求項１】
ローパスフィルタを通した音声信号の零交差点を求め、零交差点を始点と終点に持つ小セグメント群を形成し、更に隣接する小セグメントの信号エネルギーが小さい場合に直前の小セグメントと結合を行うことによりセグメントを決定することを特徴とする音声信号セグメント方法。
【請求項２】
請求項１で求めたセグメントに対し、基準とする部分音声信号波形の始点となる零交差点を時間方向に見て正の値を持つ波形の始点とし終点となる零交差点を時間方向に見て負の値を持つ波形の終点とし、比較する部分音声信号波形の始点を基準とする部分音声信号波形の終点とし、終点となる零交差点を時間方向に見て負の値を持つ波形の終点とし、該２つの部分音声信号波形の類似度を求めることにより音声ピッチの有無を判断することを特徴とする音声ピッチ検出方法。
【請求項３】
基準とする部分音声信号波形の長さがピッチとして存在し得ない位長い場合には、基準とする部分音声信号波形に対応する音声ピッチは無いと判断し、基準とする部分音声信号波形の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点の内最も近いもを終点とする新たな基準とする部分音声信号波形を設定することを特徴とする請求項２記載の音声ピッチ検出方法。
【請求項４】
基準とする部分音声信号波形の長さがピッチとして存在し得ない位短い場合には、基準とする部分音声信号波形の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点の内最も近いものを終点とする部分音声区間を基準とする部分音声信号波形の末尾に統合し新たな基準とする部分音声信号波形とすることを特徴とする請求項２記載の音声ピッチ検出方法。
【請求項５】
２つの部分音声信号波形の類似度とは、２波形の差分の絶対値或は差分の二乗和とすることを特徴とする請求項２記載の音声ピッチ検出方法。
【請求項６】
音声ピッチの有無の判断は、繰り返し隣接する部分音声信号波形の類似度演算を行った結果、類似条件が定められた回数以上連続して満たされた場合であることを特徴とする請求項２記載の音声ピッチ検出方法。
【請求項７】
初回に音声ピッチが検出されたときに、最もエネルギーの大きな小区間がピッチセグメントの最後になるように基準とする部分音声信号波形の位置及び比較する部分音声信号波形の位置を補正することを特徴とする請求項６記載の音声ピッチ検出方法。
【請求項８】
音声ピッチの有無の判定結果とそのピッチ周期をその個別の音声ピッチのセグメント情報として記憶することを特徴とする請求項６記載の音声ピッチ検出方法。
【請求項９】
音声ピッチの有無の判断基準とは類似度がある閾値以上である事をとすることを特徴とする請求項２又は６記載の音声ピッチ検出方法。
【請求項１０】
音声信号を複数のセグメントへ分割し、それらのセグメントに対しその性質を表す属性情報をラベルとして与え、そのラベルに必ず音声ピッチに対するラベルを含み音声ピッチセグメント内の音声ピッチ周期情報を併せ持ち、音声検出に関して音声ピッチラベルを持つセグメント群を拠り所とし、音声ピッチラベルを持つセグメントを音声ピッチ周期の連続性を用い或は隣接する音声ピッチラベルを持つセグメント間の距離を閾値処理する更に音声ピッチ周期の連続性とセグメント間の距離の両者を考慮することにより、離散的な音声ピッチラベルを持つセグメントを統合することにより音声区間を検出することを特徴とする音声区間検出処理方法。
【請求項１１】
上記セグメントに対しその性質を表す属性情報に無音ラベル、無声子音ラベル、有声子音ラベル、雑音ラベル及び音声ピッチラベルを含むことを特徴とする請求項１０記載の音声区間検出処理方法。
【請求項１２】
連続するピッチラベルを持つセグメントを求めこれを結合し統合ピッチセグメントを生成し、その統合ピッチセグメントの平均ピッチ周期を求めそれを記憶することを特徴とする請求項１０又は１１記載の音声区間検出処理方法。
【請求項１３】
統合ピッチセグメントに挟まれた雑音ラベルを持つセグメントを求め、その両端の統合ピッチセグメントの平均ピッチ周期変動率が或る閾値以下であるかを判断しこれを満たす場合には、両端の統合ピッチセグメントと挟まれた雑音ラベルを持つセグメントを結合し１つの統合ピッチセグメントとすることを特徴とする請求項１０〜１２の何れかに記載の音声区間検出処理方法。
【請求項１４】
先ず先頭の統合ピッチセグメントと２つの目の統合ピッチセグメントとの間に無声子音ラベル或は有声子音ラベルを持つセグメントが存在する場合に、統合ピッチセグメントのインターバルが定められた閾値より小さい場合先の統合ピッチセグメントの始点を始点とし後の統合ピッチセグメントの終点を終点とする音声区間として記憶し、この処理を繰り返し行うことで間に無声子音ラベル或は有声子音ラベルを持つ統合ピッチセグメントを音声区間に反映することを特徴とする請求項１０〜１２の何れかに記載の音声区間検出処理方法。
【請求項１５】
２つの統合ピッチセグメントの間に無音ラベルや雑音ラベルが存在しても良いこととして、近傍の統合ピッチセグメントの間隔が定められた閾値以下で且つ平均ピッチ周期変動率がある閾値以下である場合にはこれらを音声区間に反映することを特徴とする請求項１０〜１２の何れかに記載音声区間検出処理方法。
【請求項１６】
請求項１３の処理を行った後、請求項１４の処理を行い、更に後に請求項１５の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
【請求項１７】
請求項１３の処理を行った後、請求項１５の処理を行い、更に後に請求項１４の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
【請求項１８】
請求項１４の処理を行った後、請求項１３の処理を行い、更に後に請求項１５の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
【請求項１９】
請求項１４の処理を行った後、請求項１５の処理を行い、更に後に請求項１３の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
【請求項２０】
請求項１５の処理を行った後、請求項１３の処理を行い、更に後に請求項１４の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
【請求項２１】
請求項１５の処理を行った後、請求項１４の処理を行い、更に後に請求項１３の処理を行うことにより音声区間を決定することを特徴とする音声区間検出処理方法。
【請求項２２】
ローパスフィルタを通した音声信号の零交差点を求め、零交差点を始点と終点に持つ小セグメント群を形成し、更に隣接する小セグメントの信号エネルギーが小さい場合に直前の小セグメントと結合を行うことによりセグメントを決定し、それらのセグメントに対しその性質を表す属性情報をラベルとして与え、そのラベルに必ず音声ピッチに対するラベルを含み音声ピッチセグメント内の音声ピッチ周期情報を併せ持ち、音声検出に関して音声ピッチラベルを持つセグメント群を拠り所とし、音声ピッチラベルを持つセグメントを音声ピッチ周期の連続性を用い或は隣接する音声ピッチラベルを持つセグメント間の距離を閾値処理する更に音声ピッチ周期の連続性とセグメント間の距離の両者を考慮することにより、離散的な音声ピッチラベルを持つセグメントを統合することにより音声区間を検出することを特徴とする音声区間検出処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号中から人の音声部分を検出する処理に関し、音声信号セグメント方法、音声ピッチ検出方法及び音声区間検出処理方法に関するものである。
【背景技術】
【０００２】
従来、特許文献１や特許文献２のように、音声エネルギーにより無音を検出し、それ以外の音を人の音声区間と見なし動画のサマリーを行う処理も提案されているが、ニュース番組等のような人の音声が支配的な動画においては、音声エネルギーによる人の音声区間検出が程ほどには可能なものの、バックグラウンドノイズやバックグラウンド音楽が存在する環境下ではこの方法は現実的ではない。
【０００３】
それ以前にも「音声検出」を行いこれを考慮した動画再生をクレームに持つ特許明細は数多く存在するが、その殆どが問題を解決するための手段や実施例中では音のエネルギーを閾値処理して音声検出を行っている。これは日本語の曖昧さに起因する問題であり、「人の声」も「音声」と言い、人の声を含む音一般も「音声」と呼ぶことに起因しており、エネルギーの閾値処理を真に「音声検出」と称することは大きな問題がある。
【０００４】
又、特許文献３の請求項３で「音声情報等の特徴点」を検出するとあり、問題を解決するための手段では、ＦＦＴスペクトラムを求め特異点を求めその音量を分析するとあるが、やはりＦＦＴスペクトラムでは音楽等の広い帯域のスペクトルを持つバックグラウンド音楽がある場合等では人の声を検出することは困難である。
【０００５】
他方、近年音声認識技術が発達しているが、現状、入力された音声信号が知識ベースのどの言葉に相当するかを判断しているだけであり、人の声であることを前提に類似演算を行っている。勿論、或る程度のバックグラウンドノイズを含む音声学でいうところ「無音」と人声の始まり認識程度の処理程度は当然実装しているものの、何かの物音や音楽を音声信号として入力した場合には、何か音響的に類似する言葉が認識結果として出力されるか、或は認識尤度が低くて出力をキャンセルする程度のものであり、結果として音声信号に対して常に音声認識を行うことはナンセンスであり、処理の負荷が重く無駄である。いわんや、音のエネルギーだけで人の音声を検出することは不可能である。
【０００６】
人声の大部分は母音が占めていることは公知であり、前記特許文献３では、問題を解決するための手段で、ＦＦＴスペクトラムを求めこれを人の声の検出に用いていると思われるが、純粋な人の声では各母音に対応するフォルマントの検出が個人差の影響は受けながらも、或る程度は可能と推測されるが、ＢＧＭ等の広帯域な音が被った場合には安定且つ正確な音声検出は困難である。
【０００７】
元を正せば、人の音声発声メカニズムの基本は声帯の振動、所謂音声ピッチであり、これを音声信号中から抽出することにより有用な音声区間に関する情報が得られる。公知のピッチ抽出方法としてはケプストラム分析が挙げられる。
【０００８】
ケプストラムとは音声信号のパワースペクトルの対数をフーリエ逆変換したものである。これにより低ケフレンシー部の声道特性と高ケフレンシー部の声帯振動の分離が可能となり、声帯振動数即ち音声ピッチが求まる。
【０００９】
しかしながら、この方法も純粋な人の声という環境下では良い結果が得られるものの、多少でもＢＧＭ等が被ると音楽の音源等の影響もあり正しい結果は得られない。
【００１０】
【特許文献１】特開平１０−３２７７６号公報
【特許文献２】特開平９−２４３３５１号公報
【特許文献３】特開平９−２４７６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来、人声の大部分は母音が占めていることを用いてＦＦＴスペクトラムを求め、これを人の声の検出したり、人の音声発声メカニズムの基本は音声ピッチでありのでこれを音声信号中から公知のケプストラム分析等を用いていた。
【００１２】
しかしながら、この方法も純粋な人の声という環境下では多少は良い結果が得られるものの、多少でもＢＧＭ等が被ると音楽の音源等の影響もあり正しい結果は得られない。
【００１３】
又、上記の周波数解析においては必ず解析窓を用いるために、理想的な音声セグメント単位の処理ができないという問題があった。
【００１４】
本発明は上記問題に鑑みてなされたもので、音のエネルギーやＦＦＴスペクトラムのような音声特徴量を用いてまやかしの音声検出を行わず、真に人の音声区間を検出することを目的とする。
【課題を解決するための手段】
【００１５】
本発明では、音声解析に適したローパスフィルタを通した音声波形そのものを処理して、零交差点に基づき粗く音声を小セグメントと呼ぶ小区間に分割し、隣接する小セグメントのエネルギーが小さい場合に直前のセグメントと結合を行うことにより、音声セグメントの統合を行う。
【００１６】
そして、基準とする音声セグメントに関しては時間方向に見て正の値を持つ波形の始点である零交差点を始点とし時間方向に見て負の値を持つ波形の終点である零交差点を終点となるものを選び、更に比較する音声セグメントに関しては始点を先の基準とする部分音声信号波形の終点とし終点を時間方向に見て負の値を持つ波形の終点である零交差点を終点となるものを選び、これら２つの音声セグメントの類似度を求め、これを閾値処理することにより音声ピッチの有無を判断する。
【００１７】
但し、基準とする音声セグメントに関しては、その長さがピッチとして存在し得ない位長い場合には、この基準とする音声セグメントに対応する音声ピッチは無いと判断し、基準とする音声セグメントの終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点の内最も近いものを終点とし、基準とする音声セグメントの変更を行い、比較する音声セグメントに関しても先のルールに基づき変更を行う。
【００１８】
又、基準とする音声セグメントの長さがピッチとして存在し得ない位短い場合には、基準とする音声セグメントの終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点の内最も近い物を終点とするセグメントを基準とする音声セグメントの末尾に統合し新たな基準とする音声セグメントとし、基準とする音声セグメントの変更を行い、比較する音声セグメントに関しても先のルールに基づき変更を行う。
【００１９】
初回に音声ピッチが検出されたときに音声ピッチ検出の基準を明確にするために、最もエネルギーの大きな小区間がピッチセグメントの最後になるように基準とする音声セグメントの位置及び比較する音声セグメントの位置を補正し、上記と同様のルールで隣接する２つの音声セグメントの類似度を求め、これを閾値処理することにより音声ピッチの有無を判定する。
【００２０】
そして、最終的な音声ピッチの有無の判断は、繰り返し隣接する部分音声信号波形の類似度演算を行った結果、類似条件が定められた回数以上連続して満たされた場合とする。その理由は、母音等の音声ピッチは通常数十オーダーで連続することが殆であるからである。
【００２１】
そして、後の音声区間判定のために、最終的に音声ピッチの有無の判定結果とそのピッチ周期をその個別の音声ピッチのセグメント情報として記憶する。
【００２２】
音声信号を複数のセグメントへ分割し、それらのセグメントに対しその性質を表す属性情報をラベルとして与えるが、無音ラベル、無声子音ラベル、有声子音ラベル、雑音ラベル及び勿論音声ピッチラベルを含んでいることとする。
【００２３】
音声ピッチ以外のラベルに対応する判定処理は公知のものを用いて良い。例えば、無音判定はエネルギーと零交差やエネルギーに占める高周波成分の割合等の様々な方法が考えられる。
【００２４】
更に、連続するピッチラベルを持つセグメントを求め、これを結合し、統合ピッチセグメントを生成し、その統合ピッチセグメントの平均ピッチ周期を求めそれを記憶する。
【００２５】
次に、音声区間推定について説明する。
【００２６】
音声区間の判定は、音声ピッチラベルを持つセグメント群を拠り所とし、音声ピッチラベルを持つセグメントを音声ピッチ周期の連続性を用い或は隣接する音声ピッチラベルを持つセグメント間の距離を閾値処理する更に音声ピッチ周期の連続性とセグメント間の距離の両者を考慮することにより、離散的な音声ピッチラベルを持つセグメントを統合し、音声区間推定を行う。
【００２７】
１．先ず、統合ピッチセグメントに挟まれた雑音ラベルを持つセグメントを求め、その両端の統合ピッチセグメントの平均ピッチ周期変動率がある閾値以下であるかを判断し、これを満たす場合には、両端の統合ピッチセグメントと挟まれた雑音ラベルを持つセグメントを結合し１つの統合ピッチセグメントとする。
【００２８】
２．又、先頭の統合ピッチセグメントと２つの目の統合ピッチセグメントとの間に無声子音ラベル或は有声子音ラベルを持つセグメントが存在する場合に、統合ピッチセグメントのインターバルが定められた閾値より小さい場合先の統合ピッチセグメントの始点を始点とし、後の統合ピッチセグメントの終点を終点とする音声区間として記憶し、この処理を繰り返し行うことで間に無声子音ラベル或は有声子音ラベルを持つ統合ピッチセグメントを音声区間に反映する。
【００２９】
３．更に、２つの統合ピッチセグメントの間に無音ラベルや雑音ラベルが存在しても良いこととして、近傍の統合ピッチセグメントの間隔が定められた閾値以下で且つ平均ピッチ周期変動率が或る閾値以下である場合には、これらを音声区間に反映することを特徴とする音声区間検出処理及びこれを用いたソフトウエア及び装置。
【００３０】
但し、上記１，２及び３の処理の順序に関する制限はなく、どの順番の組み合わせでも良い。
【００３１】
又、音声ピッチラベル以外のラベル情報を用いず、単に音声ピッチラベルを持つセグメントを音声ピッチ周期の連続性だけを用いて離散的な音声ピッチラベルを持つセグメントを統合し簡易に音声区間推定を行う方法や、単に隣接する音声ピッチラベルを持つセグメント間の距離を閾値処理だけを用いて離散的な音声ピッチラベルを持つセグメントを統合し簡易に音声区間推定を行う方法や、或は音声ピッチ周期の連続性とセグメント間の距離の両者を論理積で処理する簡易な方法も当然存在する。
【発明の効果】
【００３２】
本発明によれば、人の音声発声メカニズムの基本は声帯の振動、所謂音声ピッチであり、これを波形処理するすることにより解析窓の問題を生ずることなく音声信号中から抽出し、ピッチを検出したセグメントを基準とし、音声中にＢＧＭ等による阻害要因が生じても、その前後統合ピッチセグメントの平均ピッチ周期の連続性を考慮して統合ピッチセグメントの統合を行い、更に、ＣＶＣモデルを導入することにより無声子音や有声子音を間に持つ統合ピッチセグメントをまとめて音声区間とし、更にＶＶモデルを考慮して２つの統合ピッチセグメントをまとめて音声区間を決定することにより、更に外乱に強い音声区間推定処理を実現した結果、音声の特徴を利用した外乱に強い音声区間抽出が可能となり、或る程度の音量のＢＧＭやバックグラウンドノイズのある音声信号に対しても音声区間の抽出を行うことができる。
【発明を実施するための最良の形態】
【００３３】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００３４】
本発明の音声区間検出アルゴリズムは、図１に示すように、ＡＧＣ（オートゲインコントロール）、ローパスフィルタ、零交差検出部、音声セグメント化部、音声ピッチ検出部、音声ラベリング部、音声エネルギー計算部及び音声区間推定部から成る。
【００３５】
図２を用いて処理の大まかな流れを説明すると、先ずＳ２０１で音声信号を複数のセグメントに分割し、それらのセグメントの音響的な特徴を表す音声ラベリングをＳ２０２で行うが、この際、Ｓ２０３音声ピッチを検出しロバストな母音候補の検出を行い、最後に音声ピッチ検出結果を強い拠り所にしてＳ２０４で音声区間推定を行う。
【００３６】
ここで、処理の流れに従って説明を行う。
【００３７】
先ず、音声信号をＡＧＣ（オートゲインコントロール）に通すことにより音声エネルギーを正規化する。ＡＧＣの構成に関しては公知のもので良く、登録済みの音声データに関しては全体を通して最大の音を基準に行って正規化を行う構成で良い。
【００３８】
正規化された音声信号は、ローパスフィルタを通り後段の解析に適した帯域にフィルタリングするものと、無声子音認識に必要な帯域を持つ元の音声信号に分岐する。
・音声セグメント化
先ず、ローパスフィルタを通過した音声信号をセグメントと呼ぶ小部分に分割を行う。ローパスフィルタをセグメント分割に用いる理由は、セグメントの基準が無声子音や有声子音及び音声ピッチ等の単位であり、高周波の影響があると無声子音等の悪影響があるからである。
【００３９】
これを行うのが音声セグメント化部であり、そのために零交差点を求めこれを基準としたセグメントに暫定的に分割する。
【００４０】
ところで、暫定的に音声信号に対して零交差点を基準として小セグメントに分割するが、その小セグメントとは以下の２条件を満たすものとする。
【００４１】
ルール１：小セグメントの始点と終点は零交差点であること
ルール２：小セグメントのエネルギーが小さい場合には、直前の小セグメントと結合するｘ1を始点とし、ｘ2を終点とする小セグメントｆ（ｘ）に対して音声エネルギーＰを、
【００４２】
【数１】
2005266098.tif 000003
と定義し、これがある閾値を  Ｅth1  を用いて
Ｐ≦  Ｅth1              ・・・（式２）   
を満たす場合には直前の小セグメントに統合する。
【００４３】
勿論、ｆ（ｘ）の絶対値の累積でなく、ｆ（ｘ）の二乗エネルギーを用いて計算しても良い。
【００４４】
図４に小セグメントの統合に関する例を示す。縦線がルール１及びルール２適応後の小セグメント決定処理の結果であり、矢印で指し示された２つの小セグメントは前の小セグメントに統合されたことを示している。
・音声ラベリング処理
各小セグメントに対して、始点、終点、平均零交差数及び平均エネルギー以下を計算し、記憶する。但し、平均零交差数および平均エネルギーはセグメント長 SegLen を用いて、以下の式により計算される。
【００４５】
平均零交差数＝小セグメント中の元音声信号の零交差点数／ SegLen 
平均エネルギー＝小セグメント中のローパスフィルタした音声信号のエネルギー／ SegLen 
である。
【００４６】
更に、小セグメントを５種類のカテゴリに分類し、そのカテゴリを表すラベルを付与する。
【００４７】
ラベルは、無音、無声子音、有声子音、音声ピッチ、雑音である。
【００４８】
図５に示すフローにより着目している小セグメントがどのラベルに相当するかを決定する。
【００４９】
Ｓ５０１で着目する小セグメントの平均零交差数
AveZeroCrossRate 及び平均エネルギーAveEnergy
を読込む。
【００５０】
ラベル判断条件として、以下の閾値を設けるが全て定数である。
【００５１】
無音の最大エネルギーを表す閾値  SileceEnergyMax 
無声子音の最小のエネルギー閾値  ConHEnergyLow 
無声子音の最大のエネルギー閾値  ConHEnergyMax 
有声子音の最小のエネルギー閾値  ConLEnergyLow 
有声子音の最大のエネルギー閾値  ConLEnergyMax 
無声子音の最小の零交差閾値 ConHZeroCrossRateLow
有声子音の最大の零交差閾値
ConLZeroCrossRateMax 
但し、 SileceEnergyMax＞ ConHEnergyLowを満たすこととする。
【００５２】
Ｓ５０２の無音ラベル条件とは、  
((AveEnergy < SileceEnergyMax) AND
(AveZeroCrossRate < ConHZeroCrossRateLow)) 
((AveEnergy < ConHEnergyLow) AND
(AveZeroCrossRate > ConHZeroCrossRateLow)) 
・・・（式３）) 
と表わすこととする。
【００５３】
この条件を満たす場合にＳ５０３により着目小セグメントに無音ラベルを付与し記憶する。又、もしＳ５０２の条件を満たさない場合には、Ｓ５０４の無声子音ラベル条件判定を行うが、                                                                        Ｓ５０４の条件とは、
(ConHEnergyLow  <  AveEnergy
< ConHEnergyMax) 
AND 
(AveZeroCrossRate > ConHZeroCrossRateLow)      ・・・（式４）
と表わすこととする。
【００５４】
この条件を満たす場合にＳ５０５により着目小セグメントに無声子音ラベルを付与し記憶する。
【００５５】
又、もしＳ５０４の条件を満たさない場合には、Ｓ５０６で音声ピッチを検出試み、もし検出できばＳ５０７で音声ピッチラベルを該当する小セグメント群に付与する。
【００５６】
小セグメント群としたのは、後述のピッチ検出では小セグメントの統合が行われる可能性があり、その場合Ｓ５０８により着目小セグメント以降の複数の小セグメントを１つに統合し、これに対してピッチラベルを与えるからである。
【００５７】
ピッチが検出されるセグメントは主に声帯振動を伴う母音である。
【００５８】
尚、ピッチ検出に関しては詳しく後述する。
【００５９】
又、もしＳ５０６の条件を満たさない場合には、Ｓ５０９の有声子音ラベル条件判定を行うが、Ｓ５０９の条件とは、
(ConLEnergyLow  ＜ AveEnergy＜ ConLEnergyMax) 
AND 
(AveZeroCrossRate＜ ConLZeroCrossRateMax)      ・・・（式５）
と表わすこととする。
【００６０】
この条件を満たす場合にＳ５１０により着目小セグメントに有声子音ラベルを付与し記憶する。
【００６１】
そして、最後にＳ５０９の条件を満たさない場合には、Ｓ５１１により着目小セグメントに雑音ラベルを付与し記憶する。
【００６２】
図６に音声信号波形のセグメント化からラベリングに至るまでの処理過程の例を示す。
【００６３】
図６（ａ）はローパスフィルタ後の音声信号波形であり、図６（ｂ）はその零交差点を基準に小セグメント化したものであり、縦の線が小セグメントの区切りである。図６（ｃ）は音声ラベリングとセグメント化を行った結果であり、縦の長い線がセグメントの区切りを表し、縦の短い線が統合された小セグメントの名残を示している。図６（ｃ）では１つのピッチセグメントに統合されていることが分かる。
【００６４】
そして、それぞれのセグメント毎にそのラベルを示している。
・音声ピッチ検出
次に、音声ピッチ検出に関して図９及び図１０を用いて音声ピッチ検出のフローを説明する。
【００６５】
先ず、ローパスフィルタ後の音声信号波形の零交差点情報をＳ９０１において得る。
【００６６】
そして、零交差点を基準として波形の類似性を検証し、ピッチを求める。
【００６７】
図７にその説明のための音声信号波形の図を示す。
【００６８】
図７に示すように、基準とする零交差点は、時間方向に見て正の値を持つ波形の始点とする。
【００６９】
図７においては、基準とする零交差点はｘ１ とｘ２ である。
【００７０】
ここで、ｘ1を始点としｘ2を終点とする部分波形をｆ（ｘ）、ｘ2を始点としｘ3を終点とする部分波形をｇ（ｘ）とする。
【００７１】
Ｓ９０２において、初期基準と成るｆ（ｘ）を決定する。
【００７２】
そして、Ｓ９０３において未処理の音声区間が存在するかを判断し、存在する場合にはＳ９０４へ、存在しない場合には処理を終了する。
【００７３】
Ｓ９０４のピッチ抽出処理に関しては図５を用いて詳しく後述する。
【００７４】
Ｓ９０４は音声ピッチの有無およびそのセグメント範囲を報告する。
【００７５】
報告するタイミングは、音声ピッチセグメントが途切れたタイミング或はｆ（ｘ）に対するピッチが見つからなかった場合である。そして、Ｓ９０５において音声ピッチが存在すると判断した場合には、Ｓ９０６において音声ピッチセグメント情報を追記記憶する。
【００７６】
他方、音声ピッチが存在しない場合には、Ｓ９０３に戻り、処理すべき未処理の音声セグメントが存在するだけ上記処理を行う。
【００７７】
次に、Ｓ９０４のピッチ抽出処理に関して図１０を用いて詳しく説明する。
【００７８】
設定されたｆ（ｘ）に対するｇ（ｘ）をＳ１００１で設定する。
【００７９】
そして、Ｓ１００２でｆ（ｘ）の長さをチェックし、ピッチとして存在し得ない位長い場合には、ｆ（ｘ）に対応する音声ピッチは無いと判断し、Ｓ１００３において、ｆ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる零交差点のうち最も始点に近傍のものを終点とする新たな部分音声セグメントｆ（ｘ）を設定し、ｆ（ｘ）のセグメントはピッチセグメントでないとレポートする。
【００８０】
更に、Ｓ１００４でｆ（ｘ）の長さをチェックし、ピッチとして存在し得ない位短い場合にはＳ１００５においてｆ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる始点に最も近傍の零交差点を終点とする部分音声セグメントをｆ（ｘ）の末尾に統合し新たなｆ（ｘ）とし、再びＳ１００１で新たに設定されたｆ（ｘ）に対するｇ（ｘ）を設定し、Ｓ１００２及びＳ１００４のピッチとしてあり得る長さであるかチェックを受ける。
【００８１】
Ｓ１００２及びＳ１００４のチェックを通過したｆ（ｘ）に対して、ｇ（ｘ）との類似度演算を行う。
【００８２】
Ｓ１００６で行う類似度演算は以下の類似度評価関数を用いて算出する。
【００８３】
部分波形をｆ（ｘ）のｘｆにおける、ｆ（ｘ）とｇ（ｘ）の差の絶対値をδ（ｘf）とすると、
δ（ｘf）＝｜ｆ（ｘf）−ｇ（ｘg）｜
但し、ｘ1≦ｘf≦ｘ2且つｘg＝ｘ2＋（ｘf−ｘ1）
と表される。
【００８４】
勿論、ｆ（ｘ）とｇ（ｘ）の差の絶対値では無く差の二乗、
δ（ｘf）＝[ ｆ（ｘf）−ｇ（ｘg）] [ ｆ（ｘf）−ｇ（ｘg）] 
としても構わない。
【００８５】
そして更に、
【００８６】
【数２】
2005266098.tif 000004
と表すことができる。
【００８７】
そして、Ｓ１００７により、上記で算出した類似度を閾値ＥＴｈにて処理し、DiffSum ＜ＥＴｈを満たさない場合には、Ｓ５０５においてｇ（ｘ）の補正を行い、再びＳ１００２の処理を行う。
【００８８】
他方、DiffSum ＜ＥThを満たす場合には、より精密に音声ピッチ検出を行うためにＳ１００８において、最もエネルギーの大きな小区間がピッチセグメントの最後に成るようにｆ（ｘ）及びｇ（ｘ）の位置を補正する。その概念図を図８に示す。最もエネルギーの大きな小区間でピッチの基準を補正することはこの小区間が声帯振動の直後のタイミングで生成される波形であることからも合理的である。
【００８９】
そして、Ｓ１００９でピッチ検出カウンタを０にリセットする。
【００９０】
そして、Ｓ１０１０で式１に基づき類似度演算を行い、Ｓ１０１１で閾値ＥThにて処理し、DiffSum ＜ＥThを満たさない場合にはＳ１０１３においてピッチを２回以上検出しない場合はＳ１００５においてｇ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる始点に最も近傍の零交差点を終点とする部分音声セグメントをｇ（ｘ）の末尾に統合し新たなｇ（ｘ）とし、再びＳ１００２及びＳ１００４のピッチとしてあり得る長さであるかチェックを受ける。
【００９１】
DiffSum ＜ＥＴｈ   を満たさない場合でＳ１０１３においてピッチを２回以上検出した場合には音声ピッチセグメントを検出したと判断し、Ｓ１０１５において、ｇ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる始点に最も近傍の零交差点を終点とする新たなセグメントｆ（ｘ）を設定し、ピッチセグメントを検出したこととピッチセグメント範囲を報告する。
【００９２】
他方、DiffSum ＜ＥＴｈを満たす場合にはＳ１０１４においてｇ（ｘ）の終点を始点に持ち、時間方向に見て負の値を持つ波形の終点となる始点に最も近傍の零交差点を終点とする新たな部分音声セグメントｆ（ｘ）を設定し、音声ピッチセグメントを検出したこととピッチセグメント範囲を報告し、終了し呼び出し側に戻る。
【００９３】
このようにして得た音声ピッチセグメントを記憶し、後段の音声区間推定部で利用する。
・音声区間推定
次に、音声区間推定部において、上記区間判定を用いて音声区間の推定を行う。
【００９４】
純粋な人の声であればその音声区間の大半を母音が占め、従って、ピッチの存在するセグメントが長く安定して現れる。
【００９５】
他方、ＢＧＭがある場合には影響を受けるが、音声エネルギーがＢＧＭのエネルギーよりも或る程度大きい場合にはさほど影響を受けないことは実験的に分かっている。
【００９６】
不幸にも、或る部分区間内において音声エネルギーがＢＧＭのエネルギーよりも十分大きくない場合には、その部分区間においては正確なピッチはない。
【００９７】
又、多くの場合母音の直前には子音を伴うが、声帯の振動を伴わない子音の場合にもピッチは現れず、しかも、その時間は持続時間が短い破裂音で１０ｍｓ以下であり、最も長い摩擦音で数１０ｍｓのオーダーである。又、破裂音等の発生直前に無音が生じるものもある。
【００９８】
従って、外部機要因だけでなく、音声自身の要因で音声ピッチが求まるセグメントが離散的になるが、音声ピッチが求まるセグメントが離散的となっても前後或は全体のピッチ周期を考慮し、部分区間の音声ピッチ周期演算結果を統合して、更に音声の特徴を活用して音声区間を判断する方法が必要になる。
【００９９】
図１１を用いて音声区間推定処理の説明を行う。
【０１００】
先ず、Ｓ１１０１において、連続する無音、無声子音ラベル、有声子音ラベル、連続する雑音ラベルを持つセグメント群を１つのセグメントに結合する。
【０１０１】
更に、Ｓ１１０２において、連続するピッチラベルセグメントを求めこれを結合し、そのセグメントの平均ピッチ周期を求める。この統合したピッチセグメントを統合ピッチセグメントと呼ぶこととする。
【０１０２】
Ｓ１１０３において統合ピッチセグメントに挟まれた雑音ラベルを持つセグメント求め、Ｓ１１０４においてその両端の統合ピッチセグメントの平均ピッチ周期変動率が或る閾値以下であるかを判断し、これを満たす場合には、Ｓ１１０５においてこれらを結合して１つの統合ピッチセグメントとする。
【０１０３】
この処理により、ピッチセグメント即ち母音の一部にエネルギーの大きなＢＧＭが重なったとしても補正可能である。
【０１０４】
ところで、殆どの場合、単独の子音は存在しないので、通常、後方或は前方に子音を伴うことが多い。これはＣＶＣ（Consonant Vowel Consonant ）モデルと呼ばれている。
【０１０５】
そこで、Ｓ１１０６ではこのモデルに基づき、無声子音セグメント、有声子音セグメント及びピッチセグメントを統合し、音声区間を求める。
【０１０６】
このＳ１１０６の処理の詳細を図１２に示す。
【０１０７】
Ｓ１２０１において、最も先頭の統合ピッチセグメントを基準となる統合ピッチセグメントとする。
【０１０８】
次に、Ｓ１２０２において、基準となる統合ピッチセグメントの次の統合ピッチセグメントを求める。
【０１０９】
更に、Ｓ１２０３において、２つの統合ピッチセグメントの間に有声子音セグメント或は無声子音セグメントがあるかを判断し、存在しなければＳ１２０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１２０７において基準となる統合ピッチセグメントを更新する。
【０１１０】
他方、Ｓ１２０３において２つの統合ピッチセグメントの間に有声子音セグメント或は無声子音セグメントがあるかを判断し存在する場合には、Ｓ１２０４において２つの統合ピッチセグメントの間の間隔Distをこれが閾値 Pimax1 より小さい場合Ｓ１２０５において２つの統合ピッチセグメントの端点を終点と始点とする音声区間として記憶する。
【０１１１】
閾値Pimax1は、通常の最も長い持続時間を持つ子音、例えば無声摩擦音／Ｓ／等の持続時間よりも十分長いものを用いると良い。
【０１１２】
この際、２つの統合ピッチセグメントの間に子音セグメントだけでなく無音セグメントが存在しても良い。その理由は、無声子音のうち破裂音や破擦音では発声の前に短い無音が生じることがあるからである。
【０１１３】
Ｓ１２０５の音声区間記憶後、Ｓ１２０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１２０７において基準となる統合ピッチセグメントを更新し、Ｓ１２０６の終了条件を満たすまで繰り返し処理を行う。
【０１１４】
但し、統合ピッチセグメント情報及びその平均ピッチ情報は次の処理のために破棄せずに保存しておく。
【０１１５】
他方、Ｓ１２０４において２つの統合ピッチセグメントの平均ピッチ周期を比較し周期変動率がある閾値以下でない場合には、Ｓ１２０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１２０７において基準となる統合ピッチセグメントを更新し、Ｓ１２０６の終了条件を満たすまで繰り返し処理を行う。
【０１１６】
次に、ＣＶＣ構造を採らない、例えば「あお」のようなＶＶ構造の場合を考える。そこで、Ｓ１１０７ではこのモデルに基づき、隣接或はは間に無音セグメント又は雑音セグメントを持つ２つのピッチセグメントを統合し、音声区間を求める。
【０１１７】
このＳ１１０７の処理の詳細を図13に示す。
【０１１８】
Ｓ１３０１において、最も先頭の統合ピッチセグメントを基準となる統合ピッチセグメントとする。
【０１１９】
次に、Ｓ１３０２において、基準となる統合ピッチセグメントの次の統合ピッチセグメントを求める。
【０１２０】
更に、Ｓ１３０３において、２つの統合ピッチセグメントの間隔がDistがある閾値Pimax2以下であるかを判断し、これを満たさなければＳ１３０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１３０７において基準となる統合ピッチセグメントを更新する。
【０１２１】
他方、Ｓ１３０３においてDistがある閾値Pimax2以下である場合には、Ｓ１３０４において２つの統合ピッチセグメントの平均ピッチ周期を比較し周期変動率が或る閾値以下である場合には、Ｓ１３０５において２つの統合ピッチセグメントと挟まれるセグメントを音声区間として記憶する。
【０１２２】
この際、外乱に対する耐性を上げるために、２つの統合ピッチセグメントの間に無音セグメントや雑音セグメントが存在しても良い。
【０１２３】
Ｓ１３０５の音声区間記憶後、Ｓ１３０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１３０７において基準となる統合ピッチセグメントを更新し、Ｓ１３０６の終了条件を満たすまで繰り返し処理を行う。
【０１２４】
他方、Ｓ１３０４において２つの統合ピッチセグメントの平均ピッチ周期を比較し、周期変動率がある閾値以下でない場合には、Ｓ１３０６において基準となる統合ピッチセグメントの次の統合ピッチセグメントが存在するかを判断し、無ければ終了、有ればＳ１２０７において基準となる統合ピッチセグメントを更新し、Ｓ１２０６の終了条件を満たすまで繰り返し処理を行う。
【０１２５】
このようにして、ピッチを検出したセグメントを基準とし、音声中にＢＧＭ等による雑音ラベルが生じても、その前後統合ピッチセグメントの平均ピッチ周期の連続性を考慮して統合ピッチセグメントの統合を行い、更に、ＣＶＣモデルを導入する事により無声子音セグメントや有声子音セグメントを間に持つ統合ピッチセグメントをまとめて音声区間とし、更にＶＶモデルを考慮して２つの統合ピッチセグメントをまとめて音声区間を決定する事により、音声の特徴を利用した外乱に強い音声区間抽出が可能となった。
【０１２６】
＜他の実施の形態＞
前記実施の形態においては、音声ラベリング処理として零交差数や音声エネルギーを用いたが、その処理は必ずしも前記実施の形態のアルゴリズムに制約されるものではなく、公知の特徴量を用いたり、或は異なるラベル判定アルゴリズムを用いても良い。
【０１２７】
本発明の趣旨は、ローパスフィルタした音声信号の零交差情報を用いて、音声信号を合理的な音声セグメントに分割するとともにその際に波形処理により音声ピッチを検出し、音声ラベリングを行った後に人の声の大半を占める母音に必ず伴う音声ピッチを基準に、ＣＶＣ音声モデル等の音声の特徴を用いて音声セグメントを統合し、その際にＢＧＭ等の外乱が有ってもそれをリカバリする処理を含むところにある。
【０１２８】
従って、ＡＧＣやローパスフィルタの実現方法に関しては制約はなく、又、音声ラベリングに関しては必ずしも前記実施の形態のアルゴリズムに制約されるものではなく、異なるラベル判定アルゴリズムを用いても良い。
【０１２９】
又、音声区間判定処理においても、Ｓ１１０６の無声子音セグメント或は有声子音セグメント及びピッチセグメントを統合し音声区間を求める処理と、Ｓ１１０７の隣接或は間に無音セグメント又は雑音セグメントを持つ２つのピッチセグメントを統合し音声区間を求める処理の順序はこれに限定するものではなく、又、これらを平行して処理するアルゴリズムでも良い。
【産業上の利用可能性】
【０１３０】
本発明は、音声信号中から人の音声部分を検出する処理に対して有用である。
【図面の簡単な説明】
【０１３１】
【図１】本発明における処理ブロックの関連を示す図である。
【図２】本発明における処理フローの概要を示す図である。
【図３】音声信号の用語説明に用いる図である。
【図４】本発明におけるセグメント化のセグメントの結合の説明に用いる図である。
【図５】本発明の音声ラベリングの処理の流れの一例を示す図である。
【図６】本発明におけるラベリング処理とピッチ検出結果によるセグメントの結合の説明を行うための図である。
【図７】本発明におけるピッチ検出の説明のために用いる音声信号波形の図である。
【図８】本発明におけるピッチ検出処理におけるピッチ検出基準の更新に関して説明を行うための図である。
【図９】本発明のピッチ検出処理の処理概要を示す図である。
【図１０】本発明の図９のＳ９０４ピッチ検出処理の詳細処理を示す図である。
【図１１】本発明の音声区間安定処理の概要を示す図である。
【図１２】本発明の図１１のＳ１１０６ピッチ検出処理の詳細処理を示す図である。
【図１３】本発明の図１１のＳ１１０７ピッチ検出処理の詳細処理を示す図である。
【符号の説明】
【０１３２】
１１    ＡＧＣ
１２    ローパスフィルタ
１３    零交差検出部
１４    音声セグメント化部
１５    音声ピッチ検出部
１６    音声ラベリング部
１７    音声エネルギー計算部
１８    音声区間判定部
【図１】
2005266098.tif 000005
【図２】
2005266098.tif 000006
【図３】
2005266098.tif 000007
【図４】
2005266098.tif 000008
【図５】
2005266098.tif 000009
【図６】
2005266098.tif 000010
【図７】
2005266098.tif 000011
【図８】
2005266098.tif 000012
【図９】
2005266098.tif 000013
【図１０】
2005266098.tif 000014
【図１１】
2005266098.tif 000015
【図１２】
2005266098.tif 000016
【図１３】
2005266098.tif 000017