(57)【要約】【課題】従来、声帯振動を伴った有声音声をAR-HMMに基づいて分析する技術では、声帯振動が周期的であることから、各状態がリング状に接続されたトポロジのHMMを用いていたが、しかし、HMMのトポロジをリング状に固定している先行技術では、食道発声法のような声帯を用いない代替発声音声の声質、そして音声の品質劣化などに関する詳細な分析が不可能であった。【解決手段】本発明では、音声信号からボトムアップに音源モデルであるHMMのトポロジを自動生成して、声帯ポリープや喉頭がんなど発声障害の原因となる様々な声帯の疾患、話者の個人性、音声に含まれる感情、食道発声法のような声帯を用いない代替発声音声の声質、そして音声の品質劣化などを識別し得る有益な情報が抽出することが可能になった。【選択図】図１
2014071417.tif 000002
【特許請求の範囲】
【請求項１】
フレーム毎に切り出した音声信号に基づいてARフィルタ係数とHMMの確率・統計値のパラメータ(AR-HMMパラメータセット)を推定しそのトポロジを生成し得るAR-HMM分析方法であって、
前記音声信号に基づいて単一の遷移状態からなるトポロジのAR-HMMのパラメータセット推定を行いNS−１(NSは２以上の自然数)からなる遷移状態に係る第１のAR-HMMパラメータと生成されたトポロジとして初期設定するステップ１と、
前記音声信号に基づいてリング状の２の遷移状態からなるトポロジのAR-HMMのパラメータセット推定を行いNSからなる遷移状態に係る第２のAR-HMMのパラメータセットと生成されたトポロジとして初期設定するステップ２と、
NS−１の遷移状態に係る第１のAR-HMMのパラメータセットとNSの遷移状態に係る第２のAR-HMMのパラメータについてMDL(Minimum Description Length)を各々計算して比較し、第１のAR-HMMパラメータセットのMDLが小さい場合は、当該第１のAR-HMMパラメータセットと生成されたトポロジを前記音声信号に係る最終AR-HMMモデルとして出力するステップ３と、
そうでない場合は、さらに、
NSの各遷移状態に対して所定の尤度計算により最小尤度となる遷移状態ｓを選択するステップ４と、
遷移状態ｓについて状態間を一方向に遷移するように直列に２分割してトポロジを再生成したNS＋１の遷移状態からなるAR-HMMのパラメータセットの再推定を行い第３のAR-HMMパラメータを設定するステップ５と、
遷移状態Ｓについて状態間の遷移が排他的に遷移するように並列に２分割してトポロジを再生成したNS＋１の遷移状態に係るAR-HMMのパラメータセットの再推定を行い第４のAR-HMMパラメータセットを設定するステップ６と、
第３と第４のAR-HMMパラメータセットについてMDLを各々計算して比較し、第３のAR-HMMパラメータセットのMDLが大きい場合は、第４のAR-HMMパラメータと再生成されたトポロジをNS＋１の遷移状態に係る第１のAR-HMMパラメータセットとして、そうでない場合は当該第３のAR-HMMパラメータと再生成されたトポロジをNS＋１の遷移状態に係る第１のAR-HMMパラメータセットとして再設定するステップ７と、
NS＋１の遷移状態を新たにＮSと置き換えてステップ３に戻るループを構成することを特徴とするAR-HMM分析方法。
【請求項２】
ステップ１のAR-HMMのパラメータ推定は、
音声信号を固定幅のフレームに切り出しフレーム毎にAR-HMMパラメータ推定を行う方法であって、
ARフィルタを要素とするベクトルと音声に係る駆動源の期待値ベクトルと駆動源信号ベクトルの共分散行列に基づいて、
駆動源信号の母数に対する駆動源ベクトルの生起確率が最大になるようにARフィルタを要素とするベクトルと音声に係る駆動源の期待値ベクトルを更新するサブステップと、
駆動源信号の母数を前記更新した音声に係る駆動源の期待値ベクトルに対して駆動源信号に係る所定の尤度が最大になるように更新するサブステップと、
上記最大となった尤度の収束を判定するサブステップと、
からなる繰返しアルゴリズムであることを特徴とする請求項１に記載のAR-HMM分析方法。
【請求項３】
ステップ４の所定の各遷移状態の尤度計算は、遷移状態間の遷移確率と正規分布で表わした出力分布の期待値と分散の推定値と前記駆動源信号の推定値に基づいて行うことを特徴とする請求項２に記載のAR-HMM分析方法。
【請求項４】
少なくとも音声マイクと音声信号のA/D変換処理機構とディジタル音声信号の演算機構と表示装置を備えた情報処理装置であって請求項１乃至３のいずれか１項に記載するAR-HMM分析方法を実行することを特徴とする情報処理装置。
【請求項５】
請求項１乃至３のいずれか１項に記載するAR-HMM分析方法を実行することを特徴とするプログラム。
【請求項６】
前記フレーム毎に切り出した音声信号に代わり、１次元の振動信号に基づきAR-HMMパラメータセットを推定しそのトポロジを生成し得るAR-HMM分析方法であることを特徴とする請求項１乃至３のいずれか１項に記載するAR-HMM分析方法。
【請求項７】
前記音声マイクに代わり振動センサを備えることを特徴とする請求項４に記載の情報処理装置。
【請求項８】
請求項６に記載するAR-HMM分析方法を実行することを特徴とするプログラム。
【請求項９】
前記情報処理装置は、携帯電話端末、タブレット端末、またはパーソナルコンピュータであることを特徴とする請求項４または請求項７のいずれか１項に記載する情報処理装置。
【請求項１０】
前記フレーム毎に切り出した音声信号に代わり、加速度、電流・電圧、気温、気圧、心電図、地震波、また各種経済指標などの１次元信号であって、
その生成過程を、自己回帰(Auto-Regressive；AR)フィルタとHIDden MARkov Model (HMM)駆動源を組合せて模擬するソースフィルタモデル(AR-HMM)で表現し得る１次元信号に基づきAR-HMMパラメータセットを推定しそのトポロジを生成し得るAR-HMM分析方法であることを特徴とする請求項１乃至３のいずれか１項に記載するAR-HMM分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声などの音響信号の他、加速度、電流・電圧、気温、気圧、心電図や地震波、また各種経済指標などの様々な１次元信号の中で、その生成過程を自己回帰(Auto-Regressive；AR)フィルタとHIDden MARkov Model(HMM)駆動源の組合せであるソースフィルタモデル(AR-HMM)で表現することが妥当な１次元信号を対象に、観測信号からボトムアップに、ARフィルタ係数やHMMの確率・統計パラメータだけでなく、HMMのトポロジも推定する方法及び装置に関する。
【背景技術】
【０００２】
声帯振動を伴った有声音声をAR-HMMに基づいて分析する先行技術[非特許文献１]では、声帯振動が周期的であることから、各状態がリング状に接続されたトポロジのHMMを用いていた。
もし、音声信号からボトムアップに音源モデルであるHMMのトポロジを自動生成できれば、声帯ポリープや喉頭がんなど発声障害の原因となる様々な声帯の疾患、話者の個人性、音声に含まれる感情、食道発声法のような声帯を用いない代替発声音声の声質、そして音声の品質劣化などに関する有益な情報が抽出可能になるかもしれない。
【０００３】
しかし、HMMのトポロジをリング状に固定している先行技術では、これらの情報に関する詳細な分析が不可能であった。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】佐宗晃、田中和世、 "HMMによる音源のモデリングと高基本周波数に頑健な声道特性抽出," 電子情報通信学会論文誌(D-II), Vol.J84-D-II, No.9, pp.1960-1969, Sep. 2001
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、以上のような先行技術の欠点を改善するために、音声のような１次元信号からARフィルタ係数やHMMの確率・統計パラメータだけでなく、トポロジの推定も行う分析手法の実現を課題とする。
【課題を解決するための手段】
【０００６】
本願では、まず音声信号に関しトポロジを自動生成し得るAR-HMM分析方法、
（１）フレーム毎に切り出した音声信号に基づいてARフィルタ係数とHMMの確率・統計値のパラメータ(AR-HMMパラメータセット)を推定しそのトポロジを生成し得るAR-HMM分析方法であって、
前記音声信号に基づいて単一の遷移状態からなるトポロジのAR-HMMのパラメータセット推定を行いNS−１(NSは２以上の自然数)からなる遷移状態に係る第１のAR-HMMパラメータと生成されたトポロジとして初期設定するステップ１と、
前記音声信号に基づいてリング状の２の遷移状態からなるトポロジのAR-HMMのパラメータセット推定を行いＮSからなる遷移状態に係る第２のAR-HMMのパラメータセットと生成されたトポロジとして初期設定するステップ２と、
NS−１の遷移状態に係る第１のAR-HMMのパラメータセットとＮSの遷移状態に係る第２のAR-HMMのパラメータについてMDL(Minimum Description Length)を各々計算して比較し、第１のAR-HMMパラメータセットのMDLが小さい場合は、当該第１のAR-HMMパラメータセットと生成されたトポロジを前記音声信号に係る最終AR-HMMモデルとして出力するステップ３と、
そうでない場合は、さらに、
NSの各遷移状態に対して所定の尤度計算により最小尤度となる遷移状態ｓを選択するステップ４と、
遷移状態ｓについて状態間を一方向に遷移するように直列に２分割してトポロジを再生成したNS＋１の遷移状態からなるAR-HMMのパラメータセットの再推定を行い第３のAR-HMMパラメータを設定するステップ５と、
遷移状態Ｓについて状態間の遷移が排他的に遷移するように並列に２分割してトポロジを再生成したNS＋１の遷移状態に係るAR-HMMのパラメータセットの再推定を行い第４のAR-HMMパラメータセットを設定するステップ６と、
第３と第４のAR-HMMパラメータセットについてMDLを各々計算して比較し、第３のAR-HMMパラメータセットのMDLが大きい場合は、第４のAR-HMMパラメータと再生成されたトポロジをNS＋１の遷移状態に係る第１のAR-HMMパラメータセットとして、そうでない場合は当該第３のAR-HMMパラメータと再生成されたトポロジをNS＋１の遷移状態に係る第１のAR-HMMパラメータセットとして再設定するステップ７と、
NS＋１の遷移状態を新たにＮSと置き換えてステップ３に戻るループを構成することを特徴とするAR-HMM分析方法を提供する。
次に
（２）  ステップ１のAR-HMMのパラメータ推定は、  音声信号を固定幅のフレームに切り出しフレーム毎にAR-HMMパラメータ推定を行う方法であって、ARフィルタを要素とするベクトルと音声に係る駆動源の期待値ベクトルと駆動源信号ベクトルの共分散行列に基づいて、駆動源信号の母数に対する駆動源ベクトルの生起確率が最大になるようにARフィルタを要素とするベクトルと音声に係る駆動源の期待値ベクトルを更新するサブステップと、  駆動源信号の母数を前記更新した音声に係る駆動源の期待値ベクトルに対して駆動源信号に係る所定の尤度が最大になるように更新するサブステップと、上記最大となった尤度の収束を判定するサブステップと、からなる繰返しアルゴリズムであることを特徴とする(１)に記載のAR-HMM分析方法を提供する。
さらに、
（３）  ステップ４の所定の各遷移状態の尤度計算は、遷移状態間の遷移確率と正規分布で表わした出力分布の期待値と分散の推定値と前記駆動源信号の推定値に基づいて行うことを特徴とする(２)に記載のAR-HMM分析方法を提供する。
そして、
（４）  少なくとも音声マイクと音声信号のA/D変換処理機構とディジタル音声信号の演算機構と表示装置を備えた情報処理装置であって(１)乃至(３)のいずれに記載するAR-HMM分析方法を実行することを特徴とする情報処理装置を提供する。
最後に、音声信号について、
（５）  (１)乃至(３)のいずれかに記載するAR-HMM分析方法を実行することを特徴とするプログラムを提供する。
【０００７】
さらに、一次元の振動信号に関しても、次の手段を提供できる。
（６）  前記フレーム毎に切り出した音声信号に代わり、一次元の振動信号に基づきAR-HMMパラメータセットを推定しそのトポロジを生成し得るAR-HMM分析方法であることを特徴とする(１)乃至(３)のいずれかに記載するAR-HMM分析方法。
（７）  前記音声マイクに代わり振動センサを備えることを特徴とする(４)に記載の情報処理装置。
（８）  (６)に記載するAR-HMM分析方法を実行することを特徴とするプログラム。
【０００８】
また音声信号と振動信号のARHMM分析方法を実行する具体的な情報処理装置として、
（９）  前記情報処理装置は、携帯電話端末、タブレット端末、またはパーソナルコンピュータであることを特徴とする(４)または(７)のいずれかに記載する情報処理装置を提供する。
【０００９】
最後に、自然界にある様々な１次元信号に関し、トポロジを自動生成し得るARHMM分析方法、
（１０）  前記フレーム毎に切り出した音声信号に代わり、加速度、電流・電圧、気温、気圧、心電図、地震波、また各種経済指標などの１次元信号であって、その生成過程を、自己回帰(Auto-Regressive；AR)フィルタとHIDden MARkov Model(HMM)駆動源を組合せて模擬するソースフィルタモデル(AR-HMM)で表現し得る１次元信号に基づきAR-HMMパラメータセットを推定しそのトポロジを生成し得るAR-HMM分析方法であることを特徴とする(１)乃至(３)のいずれかに記載するAR-HMM分析方法を提供する。
【発明の効果】
【００１０】
本願発明により、食道発声法のような声帯を用いない代替発声音声の声質、そして音声の品質劣化などに関する有益な情報の抽出が可能になった。
また本願発明により、自然界に存する様々な観測対象に係る一次元信号に関し自動生成されるHMMトポロジ表現による遷移状態の可視化により、観測対象に関し、従前の手法で得られるトポロジ表現による分析に比較してより効率的に広範に有益な情報が得られるものと期待できる。
【図面の簡単な説明】
【００１１】
【図１】図１は本発明のアナログ音声信号をA/D変換したディジタル信号の分析手法の繰返しアルゴリズムを示すフローチャートを示す。
【図２】図２はAR-HMMと呼ばれる、駆動源としてHMMを用い、フィルタとしてAR過程を用いたソースフィルタモデルを示す。
【図３】図３は先行技術によるディジタル音声信号の分析の繰返しアルゴリズムを示す概略フローチャートである。
【図４】図４は、通常音声を本発明方法で分析し、母音毎に得られたHMMの状態数の出現確率を通常話者毎に５母音の平均にした結果の表である。
【図５】図５は、食道発声音声を本発明方法で分析し、母音毎に得られたHMMの状態数の出現確率を食道発声音声話者毎に５母音の平均にした結果の表である。
【図６ａ】図６ａは通常音声を本発明方法で分析し、母音毎に得られたHMMのトポロジの出現確率を全通常話者について平均して、平均出現確率の高い上位９位までのトポロジを表わした図である。
【図６ｂ】図６ｂは図６ａの３位のトポロジについて、本願によるトポロジ生成の分割過程・分割順序を表わした図である。
【図６ｃ】図６ｃは図６ａの５位のトポロジについて、本願によるトポロジ生成の分割過程・分割順序を表わした図である。
【図７ａ】図７ａは食道発声音声を本発明方法で分析し、母音毎に得られたHMMのトポロジの出現確率を全食道発声音声話者について平均して、平均出現確率の高い上位９位までのトポロジを表わした図である。
【図７ｂ】図７ｂは図７ａの１位のトポロジについて、本願によるトポロジ生成の分割過程・分割順序を表わした図である。
【図７ｃ】図７ｃは図７ａの４位のトポロジについて、本願によるトポロジ生成の分割過程・分割順序を表わした図である。
【図８】図８は従来の線形予測法で食道発声音声の短母音/e/から抽出した声道特性のスペクトルの時系列のグラフを示す。
【図９】図９は本発明で食道発声音声の短母音/e/から抽出した声道特性のスペクトルの時系列のグラフを示す。
【図１０】図１０は本発明方法と従来法により、通常音声の各母音から求めた声道特性スペクトルから前述の指標を計算し、母音毎に全話者の指標を平均した結果の比較表である。
【図１１】図１１は本発明方法と従来法により、通常音声の各母音から求めた声道特性スペクトルから前述の指標を計算し、母音毎に全話者の指標を平均した結果の比較表である。
【図１２ａ】図１２ａ乃至図１２ｄは食道発声音声において２位の３状態トポロジが得られた分析例を示す図であり、図１２ａは食道発声音声波形を表している。
【図１２ｂ】図１２ｂは[数４]で求められる駆動源の推定信号に、繰り返し推定の最終回で得られる[数１１]の駆動源期待値ベクトルの要素を重ね書きした波形を表している。
【図１２ｃ】図１２ｃは[数１２]の共分散行列の対角要素を並べた波形を表している。
【図１２ｄ】図１２ｄは[数９]の状態遷移系列を表している。
【発明を実施するための形態】
【００１２】
音声などの１次元アナログ信号はサンプリングおよび振幅の量子化によりディジタル信号に変換し、次に述べる手順により分析を行う。図１に本発明の分析手法のフローチャートを示す。
【００１３】
AR-HMMは、図２に示すように、駆動源としてHMMを用い、フィルタとしてAR過程を用いたソースフィルタモデルである。音声にAR-HMMを適用する場合、声帯振動による音源をHMMで表わし、舌や顎などの調音器官の位置や形状により決まる声道特性をARフィルタで表わしている。先行技術では有声音声の分析を前提に、HMMの状態数は可変としているが、トポロジはリング状に固定していた。そして、ARフィルタの次数およびHMMの状態数を与えた上で、ARフィルタの係数、およびHMMの状態遷移確率や正規分布で表わした各状態における出力分布の期待値と分散を、図３に示す繰返しアルゴリズムにより推定する。
【００１４】
図３の先行技術による音声信号の分析は、音声信号を固定幅のフレームに切り出し、フレーム毎にAR-HMMのパラメータ推定を行う。以降、フレーム内のサンプル数をTとし、フレームに切り出した音声信号を、
【００１５】
【数１】
2014071417.tif 000003
【００１６】
で表わす。図３の繰返しアルゴリズムにおいて、i回の繰返しにより得られたARフィルタ係数を要素とするベクトルを、
【００１７】
【数２】
2014071417.tif 000004
【００１８】
とする。ここで、PはARフィルタの次数を表わす。そして、i回の繰返しにより得られたHMMの出力である駆動源信号の推定値、
【００１９】
【数３】
2014071417.tif 000005
【００２０】
を、
【００２１】
【数４】
2014071417.tif 000006
【００２２】
により求める。ここで、
【００２３】
【数５】
2014071417.tif 000007
【００２４】
【数６】
2014071417.tif 000008
【００２５】
【数７】
2014071417.tif 000009
【００２６】
である。次に、HMMの各状態に集合S={1,…,Ns}からユニークに番号を割り振り、各状態を他から区別する。ここで、NsはHMMの状態数を表わす。また、各状態の正規分布で表わした出力分布の期待値と分散の推定値を、
【００２７】
【数８】
2014071417.tif 000010
【００２８】
とする。現在推定されているHMMパラメータに基づいてViterbiアルゴリズムにより、[数５]の推定駆動源信号に対するHMMの状態遷移系列
【００２９】
【数９】
2014071417.tif 000011
【００３０】
を求める。[数８]と[数９]により、時刻tにおける駆動源の従う母数は、
【００３１】
【数１０】
2014071417.tif 000012
【００３２】
により与えられる。これを時刻PからT-1まで並べることで、[数５]の駆動源の期待値ベクトルは、
【００３３】
【数１１】
2014071417.tif 000013
【００３４】
で与えられる。また、異なる時刻の駆動源信号は互いに独立であるとの仮定より、駆動源信号ベクトルの共分散行列は対角行列、
【００３５】
【数１２】
2014071417.tif 000014
【００３６】
で与えられる。
【００３７】
以上の関係を用いてAR-HMMのパラメータを以下の手順に従い推定する。
【００３８】
Step1：AR-HMMパラメータの繰返し推定の開始時に、
【数１３】
2014071417.tif 000015
【００３９】
を駆動源信号の初期母数とする。そして、i=0から以下の手続きを繰り返す。
Step2：母数に対する駆動源ベクトルの生起確率、
【００４０】
【数１４】
2014071417.tif 000016
【００４１】
が最大になるように、ARフィルタ係数a(i+1)と駆動源ベクトルep(i+1)を更新する。具体的には、
【００４２】
【数１５】
2014071417.tif 000017
【００４３】
によりARフィルタ係数を更新し、[数４]により駆動源ベクトルを更新する。
【００４４】
Step3：駆動源ベクトルの母数は、前手順により更新した駆動源ベクトル、
【００４５】
【数１６】
2014071417.tif 000018
【００４６】
に対して母数の尤度、
【００４７】
【数１７】
2014071417.tif 000019
【００４８】
を最大にするように更新する。これは、[数１６]の更新駆動源ベクトルに対してBaum- Welchのアルゴリズムを適用することでHMMのパラメータを推定し、各状態における出力分布の期待値と分散の更新値、
【００４９】
【数１８】
2014071417.tif 000020
【００５０】
を得る。
そして、更新したHMMパラメータに基づいてViterbiアルゴリズムにより、[数１６]の推定駆動源信号に対する[数９]の状態遷移系列を求める。
[数１０]から[数１２]に従い駆動源ベクトルの更新期待値ベクトル、
【００５１】
【数１９】
2014071417.tif 000021
【００５２】
と駆動源ベクトルの更新共分散行列、
【００５３】
【数２０】
2014071417.tif 000022
【００５４】
を得る。
【００５５】
以上の手順を経て、もし尤度が収束していればアルゴリズムは終了し、そうでなければ、
【００５６】
【数２１】
2014071417.tif 000023
【００５７】
として、Step2から繰り返す。
【００５８】
本発明では、図１に示したフローチャートに従って、ARフィルタの次数を与えた上で、ARフィルタ係数やHMMの確率・統計パラメータに加え、HMMのトポロジも音声信号からボトムアップに推定する。
【００５９】
以降、状態数がNsのHMMを駆動源とするAR-HMMのパラメータ(ARフィルタ係数、HMMのトポロジ情報、各状態の初期確率、状態遷移確率、各状態の出力分布の期待値と分散)のセットをΦ(Ns)で表わす。
【００６０】
第１トポロジは、図１に示すように、状態数が１で自己遷移パスだけを持つトポロジと仮定する。
そして、この状態数が１のAR-HMMのパラメータセットΦ(1)を、図３に示す先行技術のアルゴリズムにより推定する。
【００６１】
続いて、状態数が２のAR-HMMのパラメータセットΦ(2)を推定する。
状態数が２の第２トポロジは、図１に示すように、リング状のトポロジと仮定する。
【００６２】
以下、一般的に状態数がNsの場合で説明をするが、Ns=2とすれば現在の状態にあてはまる。
【００６３】
得られた２つのAR-HMMパラメータセットΦ(Ns−1)とΦ(Ns)を、Minimum Description Length (MDL)に基づいて比較し、MDLの値が小さい方を選択する。
【００６４】
状態数NsのMDLは次式により求める。
【００６５】
【数２２】
2014071417.tif 000024
【００６６】
ここで、L(xp;Φ(Ns))はAR-HMMパラメータの尤度を表し、繰返し推定の最終回で得られた［数４］に対して、フォワードアルゴリズムで求められる全パス上での尤度の和、またはViterbiアルゴリズムで求められる最大尤度の何れかの方法で求められる値を用いる。
κ(Φ)はAR-HMMの全パラメータ数を表わす。
【００６７】
Loop：もしΦ(Ns−1)のMDLがΦ(Ns)のMDLより小さければ、Φ(Ns−1)を最終モデルとして終了する。
【００６８】
それ以外の場合は、Ns個ある各状態の尤度を次式により計算する。
【００６９】
【数２３】
2014071417.tif 000025
【００７０】
ここで、qs1,s2は、状態s1から状態s2への遷移確率を表す。
そして、尤度が最小となる状態s*を選択する。
【００７１】
【数２４】
2014071417.tif 000026
【００７２】
続いて、最小尤度の状態を２状態に分割する。
２状態への分割は、直列分割と並列分割の２タイプを用意する。直列分割は、分割後の２状態の一方の状態に残りの状態が続くかたちで接続し、状態間の遷移が一方向に進むように分割する。
並列分割は、分割後の２状態の一方だけを通って排他的に遷移するように分割する。
何れの分割も、分割後の各状態に自己遷移パスが設けられる。１つの状態を２状態に分割する際には、状態遷移確率や出力分布の分散は同じ値を持たせるが、出力分布の期待値は乱数を加えて分割後の分布が互いに若干異なるようにする。
【００７３】
直列分割して状態数を１つ増やしたAR-HMMのパラメータセットをΦs(Ns＋1)で表わし、並列分割のパラメータセットをΦp(Ns＋1)で表わす。
それぞれ、現在の値を初期値として、AR-HMMの全パラメータを再推定する。
【００７４】
再推定したAR-HMMパラメータセットのMDLを次式により計算する。
【００７５】
【数２５】
2014071417.tif 000027
【００７６】
【数２６】
2014071417.tif 000028
【００７７】
もし、
【００７８】
【数２７】
2014071417.tif 000029
【００７９】
の場合は、直列分割により状態数を１つ増やしたAR-HMMをΦ(Ns＋1)として採用する。
【００８０】
それ以外の場合は、並列分割したAR-HMMをΦ(Ns＋1)として採用する。
Loopへ戻り、状態数が１つ少ない以前のモデルとの比較を行う。
【実施例１】
【００８１】
喉頭がんのために喉頭部の摘出手術を受けた喉頭摘出者は、声帯を失うため、それまでと同様の方法で発声することができなくなる。
このような人が音声を取り戻すための１つの方法に、食道発声法がある。
これは食道内部にためた空気を逆流させ、食道入口部の粘膜のヒダを新しい声門として振動させて発声する方法である。
食道内部にためられる空気の容量は多くないため、食道発声法の初心者は音声を継続的に安定的に発声することが難しい。
また、音声の周期は女性が発声しても低いため、男性の音声のように間違われやすく、その周期も一定ではなく乱れやすいなどの特徴があり、食道発声音声の声質は通常音音声に比べて著しく劣化している。
このことから、食道発声音声の声質変換を目的に、計算機に入力した食道発声音声を分析して声質劣化要因である音源と声道特性を分離し、きれいな音源と抽出した声道特性とを再合成する手法が従来試みられている。
しかし、従来の分析手法では、食道発声音声の音源と声道特性の分離精度が高くないため、再合成音声の声質を著しく改善することは困難であった。
【００８２】
通常音声の音源である声帯振動に関しては、従来から研究が行われており、既に多くの知見が得られている。
しかし、食道発声音声の音源に関しては未知な部分が多い。
本発明の分析手法は、音源に関する事前知識を持ち合わせてなくても、音源に関する情報をHMMのトポロジおよび確率・統計パラメータとして音声信号からボトムアップに推定可能であるので、食道発声音声の音源と声道特性を高精度に分離・抽出可能であると期待される。
以下では、食道発声音声を本発明の手法で分析を実施した例について述べる。
また、比較のために、従来の線形予測法でも分析を行う。
【００８３】
使用した音声は、声帯振動による通常話者５名と食道発声法による話者５名が、それぞれ発声した５母音(/a/,/i/,/u/,/e/,/o/)を、サンプリング周波数16kHz、16bitでディジタル変換したものを用いた。
【００８４】
各音声は40msの固定フレーム、10msのフレーム周期で、フレーム毎に分析した。このとき、フレーム内のサンプル数はT=640である。
ARフィルタの次数は、本発明および従来の線形予測法で同様にP=16で固定とした。
通常音声を本発明方法で分析し、母音毎に得られたHMMの状態数の出現確率を話者毎に５母音の平均にした結果を図４に示す。
また、食道発声音声を本発明方法で分析した結果を、図５に示す。通常音声と食道発声音声ともに、状態数３が一番高い頻度で現れている。
しかし、通常音声の方がより多い状態数まで分割が進んだ様子がわかる。
これは通常音声の方がフレーム内にある複数の周期において、同様の確率・統計的な性質が繰り返されていることを示しており、食道発声音声と比較して、通常音声の音源の方がより均一に整った波形をなしていることが示されている。
【００８５】
通常音声を本発明方法で分析し、母音毎に得られたHMMのトポロジの出現確率を全話者について平均して、平均出現確率の高い上位１０位までのトポロジの中から１状態のトポロジを除いた９個のトポロジを図６ａに示す。
通常音声の場合、１状態のトポロジを除いた上位９位までの範囲内で、１位、２位、４位および７位の確率でリング状のトポロジが検出され、これらの出現確率の総和は77.90%となる。
一方、図７ａに示す食道発声音声の分析結果を見ると、１位、３位および６位の確率でリング状のトポロジが検出され、これらの総和は57.09%であった。
これらの結果より、食道発声音声と比較して、通常音声の音源の方がより周期的な波形になっていることが示されている。
【００８６】
食道発声音声において２位の３状態トポロジが得られた分析例を図１２ａ〜図１２ｄに示す。
図１２ａのグラフは食道発声音声波形を表し、図１２ｂのグラフは[数４]で求められる駆動源の推定信号に、繰り返し推定の最終回で得られる[数１１]の駆動源期待値ベクトルの要素を重ね書きした波形を表し、図１２ｃのグラフは[数１２]の共分散行列の対角要素を並べた波形を表し、そして図１２ｄのグラフは[数９]の状態遷移系列を表している。
状態遷移系列を表わす図１２ｄのグラフにおいて、IDが１の状態が３状態トポロジの中央の状態を表している。
IDが１と２の状態間をおおよそ一定の周期で遷移が繰り返されている。
この周期的な状態遷移の中で、IDが１の状態から０の状態への遷移が起きる周期もあれば、全く起きない周期もある。
また、遷移が起こったとしても、IDが０の状態に留まる時間幅は周期によって大きく異なっている。従って、IDが０の状態は食道発声音声の駆動源に含まれている不規則な要素を表していると言える。
このような不規則な要素を表現している状態を含む３状態トポロジが37.60%という高い出現確率で得られていることから、駆動源に不規則な要素が含まれるというのが食道発声音声の顕著な特徴であると言える。
これが通常音声と食道発声音声という異なる発声法の差異を、トポロジの観点から表現した具体例になっている。
また、この不規則な要素が食道発声音声の声質を劣化させている原因の１になっている可能性も高い。
そうだとすると、駆動源信号の中でIDが０の状態に対応する区間を、１の状態の出力分布(期待値と分散)に従い生成した乱数で置き換え、この駆動源信号でARフィルタを駆動し音声を再合成することで、声質を改善できる可能性が出てくる。
【００８７】
また、図６ｂおよび図６ｃに、図６ａの３位と５位のトポロジについて、本願によるトポロジ生成の分割順序を表わした分割過程図を示す。
同様に図７ｂおよび図７ｃに、図７ａの３位と５位のトポロジについて、本願によるトポロジ生成の分割順序を表わした分割過程図を示す。
【００８８】
次に、声道特性の抽出精度について、本発明方法と従来の線形予測法を比較する。
本発明方法および従来の線形予測法ともに、ARフィルタ係数を用いて、次式に従い対数振幅の声道スペクトルを計算する。
【００８９】
【数２８】
2014071417.tif 000030
【００９０】
ここでは、t番目のフレームから得られたARフィルタ係数をat(1)、・・・、at(P)で表わしている。
【００９１】
食道発声音声の短母音/e/から従来の線形予測法で抽出した声道特性のスペクトルの時系列のグラフを図８に示す。
横軸が時間(時間単位は１サンプル、サンプリング周波数16kHz)、奥行きが周波数(単位はヘルツ)、縦軸がスペクトルの対数振幅を表わしている。
短母音音声を分析しているので発声中に声道の形状は大きくは変わらない筈なので、分析により得られる声道のスペクトルも時間的に大きく変動しないものと考えられるが、従来の線形予測法で得られた結果は期待に反し変動していることがわかる。
一方、図９に示した本発明方法により得られた声道特性のスペクトルの時系列のグラフ結果を見ると、従来法に比べて、時間的に滑らかな声道スペクトルの時系列が得られている様子がわかる。
【００９２】
次に、声道スペクトル時系列の時間的な変動を評価するための指標を定義する。離散的な周波数
【００９３】
【数２９】
2014071417.tif 000031
【００９４】
において、各離散周波数における声道スペクトルの期待値を求める。
【００９５】
【数３０】
2014071417.tif 000032
【００９６】
そして、各離散周波数における声道スペクトルの標準偏差を求める。
【００９７】
【数３１】
2014071417.tif 000033
【００９８】
最後に、全離散周波数における標準偏差の平均を求め、これを目的の指標とする。
【数３２】
2014071417.tif 000034
【００９９】
本発明方法と従来法により、通常音声の各母音から求めた声道特性スペクトルから前述の指標を計算し、母音毎に全話者の指標を平均した結果を図１０に示す。
また、食道発声音声から同様に計算した指標を図１１に示す。
何れも、従来法より、本発明方法の方がより滑らかな声道特性が得られていることがわかる。これらの実験では単母音を用いているため発声中の声道特性は大きく変化しない。
従って、変動のより少ない声道特性が得られた本発明方法の方が、従来法より良好に声道特性の推定が行われたと言える。
一方、従来法は、音源に対して定常性の仮定を設けており、このため声道特性と音源の分離精度が低く、音源の非定常な変化が声道特性に残留してしまっている。
特に、図１１に示した食道発声音声の分析結果において、本発明方法の従来法に対する優位性が顕著である。
【産業上の利用可能性】
【０１００】
音声以外の応用としては、例えば、自動車走行時の車内振動を評価するために、ショックアブソーバの振動伝達・吸収特性を本発明方法で分析することが可能である。
この場合、走行速度を一定とすれば、自動車へ振動を加える駆動源は主に道路面状況に依存して変化する。走行時車内で加速度センサや振動センサなどにより観測した加速度信号や振動信号に、本発明方法を適用して分析することで、この道路面状況の違いを駆動源HMMの各状態で推定・表現し、ショックアブソーバの特性をARフィルタで推定・表現することができる。
【０１０１】
その他の例としては、プラント内に設置したレシプロ・コンプレッサの開閉弁の動作監視などがある。
正常状態における開閉弁動作の学習フェーズでは、開閉弁近くに設置した加速度センサで加速度信号を観測し、この加速度信号に本発明方法を適用することで、正常状態における加速度信号のAR-HMMを予め学習しておく。
弁が開閉する時にコンプレッサ内の圧力が大きく不連続に変化し、これが駆動源となって生じる振動が各機構を介し加速度センサに伝搬する。
弁の開閉に伴い生じる振動を駆動源HMMで推定・表現し、振動を伝搬する機構の特性をARフィルタで推定・表現する。
駆動源HMMのトポロジを観測加速度信号の更新AR係数を用いた逆フィルタリングで求められる駆動源の推定値に対して最適化を繰り返すことで、正常状態における駆動源の変動許容範囲が学習される。
そして、開閉弁の経時変化を監視する監視フェーズでは、観測された加速度信号を予め学習したAR-HMMのARフィルタで逆フィルタリングし駆動源の推定値を求め、これに対し同様に予め学習した駆動源HMMの尤度をViterbiアルゴリズムを用いて計算することで、正常状態からの逸脱を数値化する。尤度が高ければ正常状態と同様の変化をしていると判断され、逆に尤度が低くなれば何らかの異常状態が生じている可能性が高くなっていると判断できる。
もう1つの経時変化の監視方法としては、加速度センサからの観測信号が得られるたびに、本発明により駆動源HMMのトポロジを推定し、HMMの確率・統計パラメータと合わせてトポロジの変化を注視することで、何らかの異常を検知する方法も考えられる。本来、レシプロ・コンプレッサの動作は周期的で、正常状態であれば同じ状態遷移が繰り返されている。しかし、何らかの異常状態が発生すると、不規則な状態遷移として表出することが予想される。これは、音声の例でも見たように、状態遷移が巡回するようなトポロジに出島のように接続する状態として表現されるであろう。
【０１０２】
本発明は、上に述べた音声などの音響信号の他、加速度、電流・電圧、気温、気圧、心電図や地震波、また各種経済指標などの様々な１次元信号の中で、その生成過程を自己回帰(Auto-Regressive；AR)フィルタとHIDden MARkov Model(HMM)駆動源の組合せであるソースフィルタモデル(AR-HMM)で表現することが妥当な１次元信号であれば、観測信号からボトムアップに、ARフィルタ係数やHMMの確率・統計パラメータだけでなく、HMMのトポロジも推定することができる。
【図１】
2014071417.tif 000035
【図２】
2014071417.tif 000036
【図３】
2014071417.tif 000037
【図４】
2014071417.tif 000038
【図５】
2014071417.tif 000039
【図６ａ】
2014071417.tif 000040
【図６ｂ】
2014071417.tif 000041
【図６ｃ】
2014071417.tif 000042
【図７ａ】
2014071417.tif 000043
【図７ｂ】
2014071417.tif 000044
【図７ｃ】
2014071417.tif 000045
【図８】
2014071417.tif 000046
【図９】
2014071417.tif 000047
【図１０】
2014071417.tif 000048
【図１１】
2014071417.tif 000049
【図１２ａ】
2014071417.tif 000050
【図１２ｂ】
2014071417.tif 000051
【図１２ｃ】
2014071417.tif 000052
【図１２ｄ】
2014071417.tif 000053