(57)【要約】【課題】作成しようとしている音素モデルセットの内の幾つかの音素モデルセットを作成することができなかったとき、当該音素モデルセットに類似する既に作成されている音素モデルセットを利用して作成することができなかった音素モデルセットを補完して、音素モデルセットを完成させる音素モデルセット補完方法、装置およびプログラムを提供する。【解決手段】学習用音声データを元に音素モデルセットを学習し、学習に失敗した音素判定して学習失敗リスト７を作成し、既学習音素モデルの内の学習失敗音素に対応する音素モデルセットを選択し、学習結果に学習失敗音素に対応する既学習音素モデルを代用付加して補完音素モデルセットを形成する音素モデルセット補完方法、装置およびプログラム。【選択図】  図１
2004252166.tif 000002
【特許請求の範囲】
【請求項１】
学習しようとする音素の音素リストを保持し、学習用音声データを格納する学習用音声データ格納部から音素リストを参照して対応する学習用音声データを出力してこれを元に音素モデルセットを学習し、
音素リストを保持して学習結果である音素モデルセットの内の学習に失敗した音素を音素リストを参照して判定して学習失敗リストを作成し、
統計的に充分な量の既学習音素モデルを格納する既学習音素モデル格納部に格納される既学習音素モデルの内の学習失敗音素に対応する音素モデルセットを学習失敗リストを参照して選択し、
学習失敗音素に対応する既学習音素モデルを格納する他音素モデルセットリストを作成し、
学習結果に他音素モデルセットリストの学習失敗音素に対応する既学習音素モデルを代用付加して補完音素モデルセットを形成する、ことを特徴とする音素モデルセット補完方法。
【請求項２】
学習用音声データを格納する学習用音声データ格納部を具備し、
学習しようとする音素の音素リストを内部に保持し、音素リストを参照して学習用音声データ格納部から供給される対応する学習用音声データを元に音素モデルセットを学習する音素モデルセット学習部を具備し、
音素モデルセット学習部の学習結果である音素モデルセットを入力して格納する音素モデルセット格納部を具備し、
音素リストを内部に保持し、音素モデルセット格納部から供給される音素モデルセットの内の学習に失敗した音素を音素リストを参照して判定する音素モデル学習失敗判定処理部を具備し、
音素モデル学習失敗判定処理部の出力する学習失敗音素を格納する学習失敗リストを具備し、
統計的に充分な量の既学習音素モデルを格納する既学習音素モデル格納部を具備し、
学習失敗リストを参照して既学習音素モデル格納部に格納される既学習音素モデルの内の学習失敗音素に対応する音素モデルセットを選択する他音素モデルセット管理部を具備し、
他音素モデル管理部の供給する学習失敗音素に対応する既学習音素モデルを格納する他音素モデルセットリストを具備し、
音素モデルセット格納部から供給される音素モデルセット学習部の学習結果に他音素モデルセットリストから供給される学習失敗音素に対応する既学習音素モデルを代用付加して補完音素モデルセットを形成する他音素モデルセット代用制御部を具備し、
他音素モデルセット代用制御部から供給される補完音素モデルセットを格納する補完音素モデルセット格納部を具備することを特徴とする音素モデルセット補完装置。
【請求項３】
学習しようとする音素の音素リストを保持し、学習用音声データを格納する学習用音声データ格納部から音素リストを参照して対応する学習用音声データを出力してこれを元に音素モデルセットを学習し、
音素リストを保持して学習結果である音素モデルセットの内の学習に失敗した音素を音素リストを参照して判定して学習失敗リストを作成し、
統計的に充分な量の既学習音素モデルを格納する既学習音素モデル格納部に格納される既学習音素モデルの内の学習失敗音素に対応する音素モデルセットを学習失敗リストを参照して選択し、
学習失敗音素に対応する既学習音素モデルを格納する他音素モデルセットリストを作成し、
学習結果に他音素モデルセットリストの学習失敗音素に対応する既学習音素モデルを代用付加して補完音素モデルセットを形成する、
指令をコンピュータに対して実行する音素モデルセット補完プログラム。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、音素モデルセット補完方法、装置およびプログラムに関し、特に作成しようとしている音素モデルセットの内の幾つかの音素モデルセットを作成することができなかったとき、当該音素モデルセットに類似する既に作成されている音素モデルセットを利用して作成することができなかった音素モデルセットを補完して、音素モデルセットを完成させる音素モデルセット補完方法、装置およびプログラムに関する。
【０００２】
【従来の技術】
音声認識、テキスト音声合成、自動音素ラベリングの如き音声関連技術分野において音素モデルセットを作成するに、その構成単位である音素の全てを統計的に充分な量のデータで学習することができる様に、音素のバランス、量を予め考慮して音声データを集めて、これを元にして音素モデルセットの学習を行っている。
しかし、学習したい音声データは音素モデルセットの全ての音素に対して必ずしも統計的に充分なデータ量があるとは限らない。例えば、或る個人的な音響的特徴を含む音素モデルを学習したいとき、その個人の音声データが充分に集められない場合があり、或いは、既に準備されている音声データが充分ではないという場合も考えられる。音素モデルを学習するに際して、充分な量の音声データが準備されていないと、音素モデルの内の幾つかを作成することができないことがある。
【０００３】
【特許文献１】
特開２００１−２５５８８３
【特許文献２】
特開２００２−２３９４４８
【０００４】
【発明が解決しようとする課題】
この発明は、複数個の音素モデルより成る音素モデルセットの内の作成することができなかった音素モデルセットを他の音声データから既に学習済みの音素モデルセットで代用することにより、上述の問題を解消した音素モデルセット補完方法、装置およびプログラムを提供するものである。
【０００５】
【課題を解決するための手段】
学習しようとする音素の音素リストを保持し、学習用音声データを格納する学習用音声データ格納部２から音素リストを参照して対応する学習用音声データを出力してこれを元に音素モデルセットを学習し、音素リストを保持して学習結果である音素モデルセットの内の学習に失敗した音素α、β、γ、・・・・を音素リストを参照して判定して学習失敗リスト７を作成し、統計的に充分な量の既学習音素モデルＭα、Ｍβ、Ｍγ、・・・を格納する既学習音素モデル格納部４に格納される既学習音素モデルの内の学習失敗音素に対応する音素モデルセットを学習失敗リスト７を参照して選択し、学習失敗音素に対応する既学習音素モデルを格納する他音素モデルセットリスト７’を作成し、学習結果に対して他音素モデルセットリスト７’の学習失敗音素に対応する既学習音素モデルを代用付加して補完音素モデルセットを形成する音素モデルセット補完方法を構成した。
【０００６】
そして、学習用音声データを格納する学習用音声データ格納部２を具備し、学習しようとする音素の音素リストを内部に保持し、音素リストを参照して学習用音声データ格納部２から供給される対応する学習用音声データを元に音素モデルセットを学習する音素モデルセット学習部６を具備し、音素モデルセット学習部６の学習結果である音素モデルセットを入力して格納する音素モデルセット格納部１を具備し、音素リストを内部に保持し、音素モデルセット格納部１から供給される音素モデルセットの内の学習に失敗した音素α、β、γ、・・・・を音素リストを参照して判定する音素モデル学習失敗判定処理部８を具備し、音素モデル学習失敗判定処理部８の出力する学習失敗音素を格納する学習失敗リスト７を具備し、統計的に充分な量の既学習音素モデルＭα、Ｍβ、Ｍγ、・・・・を格納する既学習音素モデル格納部４を具備し、学習失敗リスト７を参照して既学習音素モデル格納部４に格納される既学習音素モデルの内の学習失敗音素に対応する音素モデルセットを選択する他音素モデルセット管理部９を具備し、他音素モデル管理部９の供給する学習失敗音素に対応する既学習音素モデルを格納する他音素モデルセットリスト７’を具備し、音素モデルセット格納部１から供給される音素モデルセット学習部６の学習結果に他音素モデルセットリスト７’から供給される学習失敗音素に対応する既学習音素モデルを代用付加して補完音素モデルセットを形成する他音素モデルセット代用制御部１１を具備し、他音素モデルセット代用制御部１１から供給される補完音素モデルセットを格納する補完音素モデルセット格納部１０を具備する音素モデルセット補完装置を構成した。
【０００７】
また、学習しようとする音素の音素リストを保持し、学習用音声データを格納する学習用音声データ格納部２から音素リストを参照して対応する学習用音声データを出力してこれを元に音素モデルセットを学習し、音素リストを保持して学習結果である音素モデルセットの内の学習に失敗した音素α、β、γ、・・・・を音素リストを参照して判定して学習失敗リスト７を作成し、統計的に充分な量の既学習音素モデルＭα、Ｍβ、Ｍγ、・・・・を格納する既学習音素モデル格納部４に格納される既学習音素モデルの内の学習失敗音素に対応する音素モデルセットを学習失敗リスト７を参照して選択し、学習失敗音素に対応する既学習音素モデルを格納する他音素モデルセットリスト７’を作成し、学習結果に他音素モデルセットリスト７’の学習失敗音素に対応する既学習音素モデルを代用付加して補完音素モデルセットを形成する指令をコンピュータに対して実行する音素モデルセット補完プログラムを構成した。
【０００８】
【発明の実施の形態】
上述した通り、或る音声データセットから、自動音素ラベリングや音声認識に用いる音素モデルセットを学習するに際して際、モデルセットの作成に充分な音声データが準備されておらず不足している場合、音素モデルセットの内の幾つかは作成することができないことがある。ここで、この発明は、音素モデルセットを作成することができた音素については、そのままその音素モデルセットを使用し、作成することができなかった音素については、他の既存の音素モデルセットで代用補完することで、目標とする特徴を有する音素モデルをできるだけ生かした自動ラベリング、音声認識を実現させる。即ち、不特定話者、他話者その他の全ての音素を学習してある予め準備されている音素モデルセットを、音素モデルセットの学習中に学習できなかった音素モデルセットのみについて代用する。
音素モデルセットを作成することができなかった音素のみについてこれを補完することにより、音素モデルの特徴ベクトル空間を全体の音素に亘って歪ませることをする必要はなくなる。
【０００９】
【実施例】
この発明の実施例を図１を参照して説明する。
２は学習用音声データを格納する学習用音声データ格納部である。
６は音素モデルセット学習部であり、学習しようとする音素の音素リストを内部に保持し、音素リストを参照して学習用音声データ格納部２から供給される対応する学習用音声データを元に音素モデルセットを学習する部位である。
１は音素モデルセット格納部であり、音素モデルセット学習部６の学習結果である音素モデルセットを入力して格納する部位である。音素モデルセット格納部１の音素モデルセットは音素の種類分の音素モデルを含む。
８は音素モデル学習失敗判定処理部であり、音素リストを内部に保持し、音素モデルセット格納部１から供給される音素モデルセットの内の学習に失敗した音素α、β、γ、・・・・を音素リストを参照して判定する部位である。
７は学習失敗リストであり、音素モデル学習失敗判定処理部８の出力する学習失敗音素を格納する部位である。
４は既学習音素モデル格納部であり、統計的に充分な量の既学習音素モデルＭα、Ｍβ、Ｍγ、・・・・を格納している部位である。
【００１０】
９は他音素モデルセット管理部であり、学習失敗リスト７を参照して既学習音素モデル格納部４に格納される既学習音素モデルの内の学習失敗音素に対応する音素モデルセットを選択する部位である。
７’は他音素モデルセットリストであり、他音素モデル管理部９の供給する学習失敗音素に対応する既学習音素モデルを格納する部位である。
１１は他音素モデルセット代用制御部であり、音素モデルセット格納部１から供給される音素モデルセット学習部６の学習結果に、他音素モデルセットリスト７’から供給される学習失敗音素に対応する既学習音素モデルを代用付加して補完音素モデルセットを形成する部位である。
１０は補完音素モデルセット格納部であり、他音素モデルセット代用制御部１１から供給される補完音素モデルセットを格納する部位である。
【００１１】
ここで、先の既学習音素モデル４を選択決定する既学習音素モデル選択部５について説明する。既学習音素モデル選択部５は、音素モデルセットの音響的特長量の統計的な学習において、学習用音声データ格納部３、ａａ或はｘｘを元にして既に統計的に充分な量の音素モデルＭα、Ｍβ、Ｍγ、・・・・を学習済みの既学習音素モデルセット４、ＡＡ或いはＸＸの内から、当該学習中に学習することができた音素モデルセット格納部１に格納された音素モデルセットと音響的特徴量の似通った音声データの音素モデルセットを格納した既学習音素モデル格納部を選択する部位である。例えば、音響的に似通った話者性、発話様式、発話内容の音声データに着目して選択する。具体的には、既学習音素モデル選択部５は学習用音声データ格納部２から供給される学習用音声データと、学習音素モデルセット格納部１から供給される音素モデルセットとを参照して既学習音素モデル４、ＡＡ或いはＸＸの内の何れかを選択する。以上の既学習音素モデル４の選択決定について、更に具体的に説明する。
【００１２】
この選択決定の仕方は大別して三通りに分類される。
１）音素モデルセットＡＡ、ＢＢ、ＣＣ、・・・・を学習した音声データ（Ａ）、（Ｂ）、（Ｃ）、・・・・の中から音素モデルセット１の学習元の音声データ２と特徴が類似する音声データ３を選択し、音声データ３を学習した音素モデルセット４を決定する。
２）音素モデルセットＡＡ、ＢＢ、ＣＣ、・・・・の中から、新規に学習中の音素モデルセット１と音響的な特徴が類似する音素モデルセット４を決定する。
３）音声データ（Ａ）、（Ｂ）、（Ｃ）、・・・・の属性（女声、男声、子供の声／読み上げデータが同一分野、同類の発話様式であると考えられる、その他）を用いて一意に決定する。
即ち、音素モデルセットの学習元である音声データの音響的特徴を分析して類似性を比較するか、音素モデルセット中の学習された音響的特徴を用いて類似性を比較するかの何れかである。後者は既存の音響的特徴をを比較するので、分析に要するコストが少ない反面、類似性の判定において学習する音響的特徴に偏り依存する結果となる。
先ず、１）において類似性を比較するための特徴量としては、
▲１▼Ｆ０の平均値および分散
▲２▼例えば３０００Ｈｚ、を境界として低音域のパワーと高音域のパワーの比、
▲３▼ＬＰＣ或いはＦＦＴ包絡における形状の比較として各周波数毎のパワー、の内、▲１▼ないし▲３▼の音響的特徴量のそれぞれ単独、或いはこれらの組み合わせを用いて、音素毎に求め、音素モデルセット１において学習された音素α、β、γ、・・・・における類似性を、音声データ２と音声データ３との間における値の差の２乗和の如き数値的な距離により求め、数値の最も小さいものを類似性が高いと考える。
【００１３】
▲１▼の場合、Ｆ０の分散を縦軸にとると共に平均を縦軸にとって、この平面に音声データ２、音声データ（Ａ）、（Ｂ）、（Ｃ）を分布させ、音声データ２と音声データ（Ａ）、（Ｂ）、（Ｃ）との間の距離計算を実行する。
（音声データ２の（Ｆ０分散／Ｆ０平均）−音声データ（Ａ）、（Ｂ）、（Ｃ）、・・・・の（Ｆ０分散／Ｆ０平均））２  ・・・・・（式１）
音声データ（Ａ）、（Ｂ）、（Ｃ）、・・・・から、（式１）の値が最も小さくなる音声データ３を選択し、音声データ３から作成された音素モデルセット４を選択する。
▲２▼の場合、例えば、音素／Ａ／の高音域パワーを平均化し、音素／Ａ／の低音域パワーを平均化する。音素／Ａ／における３ｋＨｚ以下の平均：−５０ｄＢ、３ｋＨｚ以上の平均：−７５ｄＢである場合、音素／Ａ／の音域間のパワー比は１．５である。
（音声データ２の音素／Ｘ／における音域間パワー比−音声データ（Ａ）、（Ｂ）、（Ｃ）、・・・・の音素／Ｘ／における音域間パワー比）２  の全ての音素／Ｘ／についての総和・・・・・・・・・・・・・・（式２）
音声データ（Ａ）、（Ｂ）、（Ｃ）、・・・・から、（式２）の値が最も小さくなる音声データ３を選択し、音声データ３から作成された音素モデルセット４を選択する。
【００１４】
▲３▼の場合、ＬＰＣ或はＦＦＴの包絡曲線が各音素について類似しているもの、即ち、各周波数におけるパワーの差の累計を計算して、差が小さいものを選択する。（式３）を最少にする音声データ（Ａ）、（Ｂ）、（Ｃ）、・・・・から音声データ３を選択し、音声データ３から作成された音素モデルセット４を選択する。
｛（音声データ２の音素／Ｘ／の周波数Ｙにおける平均的な包絡曲線上のパワー−音声データ（Ａ）、（Ｂ）、（Ｃ）、・・・・の音素／Ｘ／の周波数Ｙにおける平均的な包絡曲線上のパワ）２  の周波数Ｙ（０〜ＸｋＨｚ）の総和｝の全ての音素／Ｘ／についての総和・・・・・・・・・・・・・・（式３）
▲４▼の場合、は（式１）〜（式３）を組み合わせた和を最小にする音声データ３を選択する。
２）においては、各状態の学習特徴量における各値に重み付けを考え、音素モデルセット１において学習された音素α、β、γ、・・・・を、既学習の音素モデルセットＡＡ、ＢＢ、ＣＣ・・・・中のα’、β’、γ’、・・・・、α’’、β’’、γ’’、・・・・、・・・・と比較し、
｛（重みＸ×（音響特徴量の差）２）の音響特徴量の次元数分の総和｝の既学習音素分の総和・・・・・・・・・・・・・・・・・（式４）
を最小化する音素モデルセット４を既学習の音素モデルセットＡＡ、ＢＢ、ＣＣ・・・・から選択する。
例：音素／α／のモデル
状態１〜３がそれぞれ次元数３１次である時、重み係数を同一次元分定める。音素モデルセット１の
2004252166.tif 000003
最後に、３）においては、音声データ２の属性（性別、年齢、発話様式）と比較し、同一の或いは類似した属性を有する音声データ３を選択する。
【００１５】
以下、応用例について説明する。
音素モデルセットの使用例として、音素モデルの学習数を変化させて、自動ラベリングの音素境界誤差を調べたところ、音素モデル当たりの学習数が充分なデータ量で学習されなければ、精度が低いことがわかった。よって、音素モデルセットを学習する際、音素当たりの学習データ数が少ない音素モデルについては、他の音素モデルセットから代用するというこの発明の適用が有効である。以下、詳細に説明する。
音素モデルセット１（音素の種類分の音素モデルを含む）の音響的特長量（メルフィルタバンク１０チャンネルの係数と波形のエネルギー（Ｅ＝ｌｏｇΣｎ＝１ＮＳｎ２を正規化））を、Ｋ−Ｍｅａｎｓ法で初期学習し、Ｂａｕｍ−Ｗｅｌｃｈ法で再学習することで、ＨＭＭ学習した。音素モデル学習用データ選択用の読み上げ文データは表１に示され、学習条件は表２および表３に示される通りである。音素モデルセットに含まれる音素の種類は表３に示される５１種類で、モノフォンの音素モデルを学習した。表６に示されえる基準学習データ数に基づいて検索された文の音声データ（話者Ａ）と、音声データ（話者Ｂ）によってそれぞれ音素モデルを学習し、表５に示す音声データ（話者Ａ）に対してＶｉｔｅｒｂｉアルゴリズムで自動音素ラベリングを行った。
【表１】
2004252166.tif 000004
【表２】
2004252166.tif 000005
【表３】
2004252166.tif 000006
【表４】
2004252166.tif 000007
【表５】
2004252166.tif 000008
【表６】
2004252166.tif 000009
しかし、特徴量の学習において統計的にデータ量が充分ではない音素は音素モデルの作成がうまく行かなかった。５１音素より成る音素モデルセットの内の、音声データ２時間分を使って学習しても充分に学習のできない音素が１５個あるという例もある。この場合、３６／５１音素の音素モデルセットになったということになる。学習のできない音素は、例えば、／＊  Ｐ／（音素／Ｐ／の前の閉鎖部分）などである。
【００１６】
ここで、例えば、他者の音声データ、不特定話者の音声データその他の、当該学習中の学習用音声データ格納部２の音声データとは別の音声データを用て、学習済みのＨＭＭ音素モデルセット４（５１／５１音素のモデルセット）の内の、先に学習のできなかった１５音素の音素モデルセットを学習失敗リスト７にリストアップし、これらの１５音素のみについて他音素モデルセット管理部９を介して既学習音素モデル格納部４からは他音素モデルセットリスト７’に対して代用する音素モデルセットを選択供給し、他音素モデルセット代用制御部１１を介して音素モデルセット格納部１から供給される３６／５１音素のモデルセットに対して他音素モデルセットリスト７’から供給される代用する音素モデルセットを補完することにより、学習用音声データ格納部２の音声データを元にした５１／５１音素モデルセット１０が完成する。
【００１７】
最適な学習済みのＨＭＭによる音素モデルセット４の決定において、新規に学習中の学習音素モデルセット格納部１の音素モデルセットの元になる音声データ２と同様の属性（女性アナウンサーの発声データ）を持つ音声データを元にして学習済みの音素モデルセットを格納した既学習音素モデル格納部４を選択した。
他の選択の仕方としては、学習音素モデルセット格納部１に格納される学習のできた音素モデルセット３６種のそれぞれの音響的特徴ベクトルを複数の補完用ＨＭＭ音素モデルセットと比較し、二乗距離その他の特徴量の差が小さい音素モデルセットの既学習音素モデル格納部４を選択する。一致する／類似する属性を持つ音素モデルセットを選択するか、音響的特長ベクトルの差を用いて選択するかは、音素モデルセットとする候補の音素モデルセット数による。例えば、話者が男性か女性の音素モデルセットしかない場合は、計算して音素モデルセットを決定する必要はない。
【００１８】
表１の読み上げ文データに含まれる音素４３種中、２〜４０の音素当たりの学習データ数全てにおいて共通して５１音素モデルを作成し、その内の３６種の音素モデルを用いて自動ラベリング精度実験を行った。自動ラベリングにより得られた音素境界と手動ラベリングの音素境界との間の誤差について、誤差値の絶対値の平均と誤差値の分散を求め、自動ラベリングの精度を分析した。
表６は自動ラベリングの精度と音素当たりの学習データ数の関係を示す。表６に示される通り、音素当たりの学習データ数が増えるのに伴い自動ラベリング誤差が減少していることがわかる。音素当たりの学習データ数が１０〜１５のとき自動ラベリング誤差は収束している。
【００１９】
１０個程度の僅かな個数の音素当たりの学習データ数で音素モデルセットを作成することができたとしても、統計的に充分ではない場合は自動ラベリングにおいて音素境界の誤差が大きくなる。これは音素モデルセットが精緻ではないからである。よって、音素モデルセットを学習するに際して、音素当たりの学習データ数が少ない音素モデルセットは他の音素モデルセットで代用するというこの発明の適用が有効である。
ここで、この発明は電子計算機を主要な構成部材として構成している。また、この発明を、ＣＤその他の記憶媒体からダウンロードし或いは通信回線を介してダウンロードしたプログラムをこの電子計算機にインストールして実施することができる。
【００２０】
【発明の効果】
上述した通りであって、この発明によれば、音声データ数が充分ではなく、音素モデルセットの学習に用いるデータにおいて音素毎にサンプルが少ない場合でも、学習することができる音素モデルセットについてはその特徴を生かしつつ、学習に失敗した音素モデルセットは簡単にこれを補完して、求めるモデルセットにより近い音素モデルセットを構成することができる。
【図面の簡単な説明】
【図１】実施例を説明する図。
【符号の説明】
１  音素モデルセット格納部  ２、３、ａａ、ｘｘ  学習用音声データ格納部
４、ＡＡ、ＸＸ  既学習音素モデル格納部  ５  既学習音素モデル選択部
６  音素モデルセット学習部              ７’他音素モデルセットリスト
８  音素モデル学習失敗判定処理部        ９  他音素モデルセット管理部
１０  補完音素モデルセット格納部      １１  他音素モデルセット代用制御部
【図１】
2004252166.tif 000010