(57)【要約】【課題】音素境界時刻の推定を従来よりも精度良く行なう。【解決手段】入力された音声の各フレームの音声特徴量を抽出する。複数の音素の音声特徴量についての統計量を用いて、各フレームに最も尤もらしい音素を割り当てて、連続する２つのフレームで割り当てられた音素が異なる場合に、それらの２つのフレームに亘る時間範囲に含まれる時刻の何れかを音素境界時刻とすることにより音素境界時刻を推定する。音素境界時刻が信頼できるかどうか判定する。音素境界時刻が信頼できないと判定された音素境界を構成する各音素に、その各音素の継続長の、平均値が大きいほど長く、分散が大きいほど大きく伸縮した時間を割り当てることにより、その音素境界時刻が信頼できないと判定された音素境界の音素境界時刻を推定する。【選択図】図１
2011013594.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声の各フレームの音声特徴量を抽出する音声特徴量抽出部と、
複数の音素の音声特徴量についての統計量を記憶する音声特徴量記憶部と、
上記音声特徴量及び上記音声特徴量記憶部から読み込んだ統計量を用いて、各上記フレームに最も尤もらしい音素を割り当てて、連続する２つのフレームで割り当てられた音素が異なる場合に、それらの２つのフレームに亘る時間範囲に含まれる時刻の何れかを音素境界時刻とすることにより音素境界時刻を推定する第一音素境界時刻推定部と、
上記音素境界時刻が信頼できるかどうか判定する音素境界時刻推定結果信頼性判定部と、
複数の音素の継続長の平均値及び分散を記憶する継続長分布記憶部と、
音素境界時刻が信頼できないと判定された音素境界を構成する各音素に、その各音素の上記継続長分布記憶部から読み込んだ継続長の、平均値が大きいほど長く、分散が大きいほど大きく伸縮した時間を割り当てることにより、その音素境界時刻が信頼できないと判定された音素境界の音素境界時刻を推定する第二音素境界時刻推定部と、
を含む音素分割装置。
【請求項２】
請求項１に記載された音素分割装置において、
上記音素境界時刻推定結果信頼性判定部は、信頼することができない音素境界時刻に対応する連続する２つのフレームに割り当てられた音素についての条件を記憶する信頼性判定用条件記憶部と、上記音素境界時刻に対応する連続する２つのフレームに割り当てられた音素が上記信頼性判定用条件記憶部から読み出した条件を満たす場合には上記音素境界は信頼できないと判定する条件信頼性判定部と、を含む、
ことを特徴とする音素分割装置。
【請求項３】
請求項１に記載された音素分割装置において、
上記第一音素境界時刻推定部は、各上記フレームに各音素を割り当てたときの尤もらしさである尤度を計算して、最も尤度が高い音素を各上記フレームに割り当てる、
ことを特徴とする音素分割装置。
【請求項４】
請求項３に記載された音素分割装置において、
上記音素境界時刻推定結果信頼性判定部は、上記音素境界時刻のフレームを含む所定の数のフレームに割り当てられた音素の上記尤度の変化の大きさを示す指標である尤度変化度を求める尤度変化度計算部と、その尤度変化度が所定の閾値以下であれば、上記音素境界時刻は信頼できないと判定する尤度信頼性判定部と、を含む、
ことを特徴とする音素分割装置。
【請求項５】
音声特徴量記憶部には、複数の音素の音声特徴量についての統計量が記憶されているとし、
継続長分布記憶部には、複数の音素の継続長の平均値及び分散が記憶されているとし、
音声特徴量抽出部が、入力された音声の各フレームの音声特徴量を抽出する音声特徴量抽出ステップと、
第一音素境界時刻推定部が、上記音声特徴量及び上記音声特徴量記憶部から読み込んだ統計量を用いて、各上記フレームに最も尤もらしい音素を割り当てて、連続する２つのフレームで割り当てられた音素が異なる場合に、それらの２つのフレームに亘る時間範囲に含まれる時刻の何れかを音素境界時刻とすることにより音素境界時刻を推定する第一音素境界時刻推定ステップと、
音素境界時刻推定結果信頼性判定が、上記音素境界時刻が信頼できるかどうか判定する音素境界時刻推定結果信頼性判定ステップと、
第二音素境界時刻推定部が、音素境界時刻が信頼できないと判定された音素境界を構成する各音素に、その各音素の上記継続長分布記憶部から読み込んだ継続長の、平均値が大きいほど長く、分散が大きいほど大きく伸縮した時間を割り当てることにより、その音素境界時刻が信頼できないと判定された音素境界の音素境界時刻を推定する第二音素境界時刻推定ステップと、
を含む音素分割方法。
【請求項６】
請求項１から４の何れかに記載された音素分割装置の各部としてコンピュータを機能させるための音素分割プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声から、音素の境界時刻を自動的に決定する技術に関する。
【背景技術】
【０００２】
従来の自動音素セグメンテーション技術では、音素の統計的な平均スペクトルパターンを分布として用意し、与えられた音声のスペクトルパターンとの類似性（尤度）を計算して、各フレームに尤もらしい音素を割り当てることにより、音素境界時刻を求めていた。すなわち、前後で対応する音素が変わるフレームを音素境界時刻としていた（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】河井恒、戸田智基著、”波形接続型音声合成のための自動音素セグメンテーションの評価”、電子情報通信学会技法研究報告、SP2002-170、pp.5-10、２００３年１月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、音素の統計的な平均スペクトルパターンは平均処理の際に平滑化され、スペクトルパターンの詳細な特徴が失われることが多い。そのため、スペクトルパターンが連続的に滑らかに変化する場合では、音素境界時刻の前後でスペクトルパターンに大きな差がでないため、統計的な平均スペクトルパターンでは尤度の差が現れず、推定された音素境界時刻が正解と大きくずれるという課題があった。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、入力された音声の各フレームの音声特徴量を抽出する。複数の音素の音声特徴量についての統計量を用いて、各フレームに最も尤もらしい音素を割り当てて、連続する２つのフレームで割り当てられた音素が異なる場合に、それらの２つのフレームに亘る時間範囲に含まれる時刻の何れかを音素境界時刻とすることにより音素境界時刻を推定する。音素境界時刻が信頼できるかどうか判定する。音素境界時刻が信頼できないと判定された音素境界を構成する各音素に、その各音素の継続長の、平均値が大きいほど長く、分散が大きいほど大きく伸縮した時間を割り当てることにより、その音素境界時刻が信頼できないと判定された音素境界の音素境界時刻を推定する。
【発明の効果】
【０００６】
信頼することができない音素境界時刻を、音素の継続長の平均値及び分散を用いて再度推定することにより、音素境界時刻の推定を従来よりも精度良く行なうことができる。
【図面の簡単な説明】
【０００７】
【図１】音素分割装置の例の機能ブロック図。
【図２】音素境界時刻推定結果信頼性判定部の例１の機能ブロック図。
【図３】音素境界時刻推定結果信頼性判定部の例２の機能ブロック図。
【図４】第二音素境界時刻推定部の例の機能ブロック図。
【図５】音素分割方法の例の流れ図。
【図６】音素境界時刻推定結果信頼性判定部の処理の例２の流れ図。
【図７】第二音素境界時刻推定部の処理の例の流れ図。
【図８】音素境界時刻を説明するための図。
【図９】信頼の可否の条件を示した図。
【図１０】音素境界時刻の推定の具体例を示す図。
【発明を実施するための形態】
【０００８】
以下、この発明の実施形態を詳細に説明する。
【０００９】
図１は、この発明による音素分割装置の例の機能ブロック図である。図５は、この発明による音素分割方法の例の流れ図である。
【００１０】
音素分割装置は、音声特徴量抽出部１、第一音素境界時刻推定部２、音素境界時刻推定結果信頼性判定部３、第二音素境界時刻推定部４、音声特徴量記憶部６、継続長分布記憶部７を例えば含む。
【００１１】
＜ステップＳ１＞
入力された音声は、音声特徴量抽出部１に入力される。音声特徴量抽出部１は、入力された音声を一定時間長のフレームに分割して、各フレームごとに音声特徴量を計算する（ステップＳ１）。各フレームの音声特徴量は、第一音素境界時刻推定部２に送られる。
【００１２】
音声特徴量としては、その音声特徴量を用いてフレームに音素を割り当てることができるものであればどのような音声特徴量を用いてもよい。例えば、音声特徴量として、音声認識等でよく用いられるＭＦＣＣ、ケプストラム、メルケプストラム、フィルタバンク、メルフィルタバンク等を用いることができる。
【００１３】
＜ステップＳ２＞
音声特徴量記憶部６には、複数の音素の音声特徴量についての統計量が記憶されているとする。例えば、音素の統計的なスペクトルパターンが、音声認識等でよく用いられるＨＭＭ（隠れマルコフモデル）、ベクトル量子化、ニューラルネットワーク等の形態で記憶されているとする。
【００１４】
例えば、モノフォン、トライフォンの単位ごとに統計的な平均スペクトルが記憶されている。モノフォンは、当該音素の前後にどのような音素があるか考慮しない音素モデルである。トライフォンは、当該音素の前後にある音素を考慮する音素モデルであり、ａ−ｉ＋ｕ（前に／ａ／、後ろに／ｕ／がある／ｉ／）と、ｏ−ｉ−ｅ（前に／ｏ／、後ろに／ｅ／がある／ｉ／）とを違うものとして考える。
【００１５】
第一音素境界時刻推定部２は、音声特徴量及び音声特徴量記憶部６から読み込んだ統計量を用いて、各フレームに最も尤もらしい音素を割り当てて、連続する２つのフレームで割り当てられた音素が異なる場合に、それらの２つのフレームに亘る時間範囲に含まれる時刻の何れかを音素境界時刻とすることにより音素境界時刻を推定する（ステップＳ２）。音素境界時刻を含む音素境界時刻推定結果は、音素境界時刻推定結果信頼性判定部３に送られる。
【００１６】
第一音素境界時刻推定部２は、音声特徴量及び音声特徴量記憶部６から読み込んだ統計量を用いて、各フレームに各音素を割り当てたときの尤もらしさである尤度を計算して、最も尤度が高い音素をその各フレームに割り当てる。必要に応じて、各フレームに割り当てられた音素についての尤度が、音素境界時刻推定結果信頼性判定部３に送られる。
【００１７】
図８を用いて、２つのフレームに亘る時間範囲について説明する。フレームｋに割り当てられた音素（この例では／ａ／）と、フレームｋ＋１に割り当てられた音素（この例では／ｉ／）とが異なるとき、図８に例示するように、フレームｋの開始時刻からフレームｋ＋１の終了時刻までの時間範囲に含まれる何れかの時刻を音素境界時刻とする。例えば、フレームｋ＋１の中心時刻を音素境界時刻とする。
【００１８】
第一音素境界時刻推定部２は、非特許文献１に記載された手法により音素境界時刻を推定してもよい。
【００１９】
＜ステップＳ３＞
音素境界時刻推定結果信頼性判定部３は、第一音素境界時刻推定部２が推定した音素境界時刻が信頼できるかどうか判定する（ステップＳ３）。音素境界時刻が信頼できるかどうかの判定結果である信頼性判定結果は、第二音素境界時刻推定部４に送られる。
【００２０】
以下、音素境界時刻推定結果信頼性判定部３による判定処理の例を２つ紹介する。
【００２１】
≪例１≫
図２に、例１による音素境界時刻推定結果信頼性判定部３の機能ブロック図を示す。
【００２２】
信頼性判定用条件記憶部３２には、信頼することができない音素境界時刻に対応する連続する２つのフレームに割り当てられた音素についての条件が記憶されている。図９に、この条件の例を示す。図９の例では、（１）音素境界が有声音と無声音の間にある場合にはその音素境界の時刻を信頼する、（２）音素境界を構成する音素の何れか一方が摩擦音である場合にはその音素境界の時刻を信頼する、（３）（２）ではなくかつ音素境界が有声音の間にある場合にはその音素境界の時刻を信頼しない、という３つの条件がある。
【００２３】
条件信頼性判定部３１には、音素境界時刻に対応する連続する２つのフレームに割り当てられた音素が入力される。図８の例では、音素／ａ／と音素／ｉ／が入力される。条件信頼性判定部３１は、入力された音素が信頼性判定用条件記憶部３２に記憶された条件を満たすかどうかを判定することにより、その音素境界時刻が信頼することができるものであるか否かを判定する。
【００２４】
「現実を」という音声が入力された場合を例に挙げて、条件信頼性判定部３１の説明をする。「現実を」という音声に対して、図１０に示すように、／ｇ／、／ｅ／、／ｎ／、／ｊ／、／ｉ／、／ｔｓ／、／ｕ／、／ｏ／という音素が順に対応付けられたとする。
【００２５】
音素境界／ｉ／−／ｔｓ／、音素境界／ｔｓ／−／ｕ／は、音素／ｔｓ／が無声音であり、音素／ｉ／及び音素／ｕ／が有声音なので、条件（１）により、これらの音素境界の音素境界時刻は信頼することができると判定される。
【００２６】
音素境界／ｎ／−／ｊ／、音素境界／ｊ／−／ｉ／は、音素／ｊ／が摩擦音であり、音素／ｎ／及び音素／ｉ／が摩擦音でないので、条件（２）により、これらの音素境界の音素境界時刻は信頼することができると判定される。
【００２７】
音素境界／ｇ／−／ｅ／、音素境界／ｅ／−／ｎ／、音素境界／ｕ／−／ｏ／は、条件（２）を満たさず、かつ、音素／ｇ／、音素／ｅ／及び音素／ｎ／は有声音であるため、条件（３）により、これらの音素境界の音素境界時刻は信頼することができないと判定される。
【００２８】
≪例２≫
図３に、例２による音素境界時刻推定結果信頼性判定部３の機能ブロック図を示す。図６に、例２による処理の流れ図を示す。
【００２９】
この例では、第一音素境界時刻推定部２が計算した各フレームに割り当てられた音素についての尤度、及び、音素境界時刻推定結果が、音素境界時刻推定結果信頼性判定部３に入力される。
【００３０】
音素境界時刻推定結果信頼性判定部３の尤度変化度計算部３３は、音素境界時刻のフレームを含む所定の数のフレームに割り当てられた音素の尤度の変化の大きさを示す指標である尤度変化度を求める（ステップＳ３１）。計算された尤度変化度は、尤度信頼性判定部３４に送られる。
【００３１】
尤度変化度として、下記式により定義されるＤを用いることができる。下記式において、ｔは音素境界時刻のフレーム番号、Ｋは予め定められた正の整数、Ｌｉはフレームｉに割り当てられた音素についての尤度、ｗｋは尤度差｜Ｌｔ−Ｌｔ−ｋ｜＋｜Ｌｔ−Ｌｔ＋ｋ｜の重みであり予め定められた非負の実数でありｋの増加に従って単調減少するのが望ましい。Ｋ、ｗｋは、求める仕様や性能に応じて実験等に基づき適宜設定される。音素境界時刻のフレームとは、音素境界時刻を構成する２つのフレームの何れかのことである。図８の例では、フレームｋ又はフレームｋ＋１のことである。
【００３２】
【数１】
2011013594.tif 000003
【００３３】
尤度信頼性判定部３４は、尤度変化度と所定の閾値θとを比較して、尤度変化度が所定の閾値以下であれば、音素境界時刻は信頼できないと判定する（ステップＳ３２）。所定の閾値は、求める仕様や性能に応じて実験等に基づき適宜設定される。
【００３４】
例えば、Ｄ−θを計算して、Ｄ−θ＞０であれば音素境界時刻は信頼することができ、Ｄ−θ≦０であれば音素境界時刻は信頼することができないと判定する。もちろん、尤度変化度Ｄと所定の閾値θとを直接比較して、その大小関係に基づいて信頼の可否を決定してもよい。
【００３５】
＜ステップＳ４＞
継続長分布記憶部７には、複数の音素の継続長の平均値及び分散が記憶されている。
【００３６】
第二音素境界時刻推定部４は、音素境界時刻が信頼できないと判定された音素境界を構成する各音素に、その各音素の継続長の、平均値が大きいほど長く、分散が大きいほど大きく伸縮した時間を割り当てることにより、その音素境界時刻が信頼できないと判定された音素境界の音素境界時刻を推定する（ステップＳ４）。各音素の継続長の平均値及び分散は、継続長分布記憶部７から読み込んだ値を用いる。
【００３７】
図４に、第二音素境界時刻推定部４の例の機能ブロック図を示す。図７に、第二音素境界時刻推定部４の処理の例の流れ図を示す。
【００３８】
例えば、第二音素境界時刻推定部４の音素継続長最尤推定部４１は、下記式に基づいて、音素境界時刻が信頼できないと判定されたｉ番目の音素の音素継続長ｍｉ＊を計算する（ステップＳ４１）。Ｔは音素境界時刻が信頼できないと判定された連続するＩ（Ｉは正の整数）個の音素が構成する時間長であり、ｍｉ＊は時間長Ｔの中のｉ番目の音素の推定音素継続長であり、ｍｉは継続長分布記憶部７から読み込んだｉ番目の音素の継続長の平均値であり、σｉ２は継続長分布記憶部７から読み込んだｉ番目の音素の継続長の分散である。
【００３９】
【数２】
2011013594.tif 000004
【００４０】
図１０の例だと、音素境界／ｇ／−／ｅ／、音素境界／ｅ／−／ｎ／、音素境界／ｕ／−／ｏ／の音素境界時刻が信頼できないと判定されている。連続する３つ音素／ｇ／、／ｅ／、／ｎ／が構成する時間長Ｔの１番目の音素である音素／ｇ／の時間長は、上記式を用いて以下のように計算することができる。この例では、Ｔ＝１８０ｍｓ、音素／ｇ／の継続長の平均値ｍ１＝２０ｍｓ、音素／ｇ／の継続長の分散σ１２＝０．００３、音素／ｅ／の継続長の平均値ｍ２＝９５ｍｓ、音素／ｅ／の継続長の分散σ２２＝０．０１２、音素／ｎ／の継続長の平均値ｍ３＝４５ｍｓ、音素／ｎ／の継続長の分散σ３２＝０．００５であるとする。
【００４１】
ｍ１＊＝ｍ１＋（σ１２／Σｉ＝１Ｉσｉ２）・（Ｔ−Σｉ＝１Ｉｍｉ）
＝２０＋（０．００３／（０．００３＋０．０１２＋０．００５））・（１８０−（２０＋９５＋４５））
＝２０＋（０．００３／０．０２０）・２０
＝２３
【００４２】
第二音素境界時刻推定部４の音素境界時刻決定部４２は、音素に割り当てられた時間長と、信頼性判定結果の中の信頼することができる音素境界時刻とを用いて、最終的な音素境界時刻を決定し、その結果を出力する（ステップＳ４）。
【００４３】
このように、音素境界時刻を仮推定し、推定精度が低いと判断される音素境界時刻を音素の継続長の平均値及び分散を用いて再度推定することにより音素境界時刻の推定を従来よりも精度良く行なうことができる。
【００４４】
なお、詳細音素境界時刻推定部５が、参考文献１に記載された手法を用いて、第二音素境界時刻推定部４が決定した音素境界時刻を修正して、更に精度が高い音素境界時刻を求めてもよい。参考文献１に記載された手法では、事前に決定された音素境界時刻の前後に探索窓を設定し、音素境界時刻付近のスペクトルパターンを学習したマルコフモデルを用いて、更に精度が高い音素境界時刻を求める。参考文献１に記載された手法を用いる際に探索窓を狭くすることにより、正解と同一コンテキストが現れるのを防ぐことができる。
【００４５】
〔参考文献１〕Lijuan Wang, Yong Zhao, Min Chu, Frank K. Soong, Jian-Lai Zhou and Zhigang Cao, “Context-Dependent Boundary Model for Refining Boundaries Segmentation of TTS Units,” IEICE Transactions 89-D(3), pp.1082-1091, 2006
【００４６】
音素分割装置は、コンピュータによって実現することができる。この場合、この装置が有すべき各機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、これ装置における各処理機能が、コンピュータ上で実現される。
【００４７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００４８】
この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【符号の説明】
【００４９】
１     音声特徴量抽出部
２     第一音素境界時刻推定部
３     音素境界時刻推定結果信頼性判定部
３１   条件信頼性判定部
３２   信頼性判定用条件記憶部
３３   尤度変化度計算部
３４   尤度信頼性判定部
４     第二音素境界時刻推定部
４１   音素継続長最尤推定部
４２   音素境界時刻決定部
５     詳細音素境界時刻推定部
６     音声特徴量記憶部
７     継続長分布記憶部
【図１】
2011013594.tif 000005
【図２】
2011013594.tif 000006
【図３】
2011013594.tif 000007
【図４】
2011013594.tif 000008
【図５】
2011013594.tif 000009
【図６】
2011013594.tif 000010
【図７】
2011013594.tif 000011
【図８】
2011013594.tif 000012
【図９】
2011013594.tif 000013
【図１０】
2011013594.tif 000014