(57)【要約】【課題】無声化音素の有無を精度高く検出する。【解決手段】初期セグメンテーションされた音声信号の音素ラベル列からルールに従って無声化判定対象音素を検出し、その無声化判定対象音素を含む無声化判定範囲を決める。入力音声信号の有声性尺度を求め、無声化判定範囲の有声性尺度を閾値と比較して無声化判定対象音素が無声化されているか判定し、無声化されている場合は無声化判定対象音素を削除して、音素境界時刻を修正する。【選択図】図１
2011053427.tif 000002
【特許請求の範囲】
【請求項１】
音素ごとに初期セグメンテーションされた入力音声信号の有声音らしさを表す有声性尺度をフレーム毎に抽出する有声性尺度抽出部と、
無声化判定対象を決定する予め決めたルールを格納する無声化判定対象決定ルール記憶部と、
上記入力音声信号の初期セグメンテーションによる音素ラベル列と音素ラベルごとの境界位置を表す境界時刻が入力され、上記無声化判定対象決定ルール記憶部のルールを参照して無声化判定対象音素と無声化判定範囲を決定する無声化判定対象決定部と、
上記入力音声信号の有声性尺度を使って上記無声化判定範囲の有声性尺度を予め決めた閾値と比較し、その比較結果に基づいて上記無声化判定範囲内の上記無声化判定対象音素が無声化音素であるか否かを判定し、無声化音素と判定された場合はその音素ラベルを削除し、その削除にともなう音素ラベルの境界時刻を変更して修正された音素ラベル列と境界時刻を出力し、無声化音素でないと判定された場合は入力された音素ラベル列と境界時刻をそまま出力する無声化判定部と、
を含むことを特徴とする無声化位置検出装置。
【請求項２】
請求項１記載の無声化位置検出装置において、上記無声化判定部は、
予め音声信号中の有声音における平均有声性尺度と無声音における平均有声性尺度を使って上記閾値を決める閾値決定部と、
上記閾値を上記無声化判定範囲のフレームごとの入力音声信号の有声性尺度と比較し、上記無声化判定範囲内の上記閾値を超えないフレーム数の割合に基づいて上記無声化判定対象音素が無声化音素であるかを判定し、その音素ラベルの境界時刻を検出する無声化判定処理部と、
を含むことを特徴とする無声化位置検出装置。
【請求項３】
請求項１記載の無声化位置検出装置において、上記無声化判定部は、
予め音声信号中の、無声化となり得る母音ごとの平均有声性尺度と、無声音における平均有声性尺度とを使ってそれぞれの無声化となり得る各母音についての閾値を決める閾値決定部と、
上記無声化判定対象音素の母音の種類に対応する閾値を上記無声化判定範囲のフレームごとの入力音声信号の有声性尺度と比較し、上記無声化判定範囲内の上記閾値を超えないフレーム数の割合に基づいて上記無声化判定対象音素が無声化音素であるかを判定し、その音素ラベルの境界時刻を検出する無声化判定処理部と、
を含むことを特徴とする無声化位置検出装置。
【請求項４】
請求項２又は３記載の無声化位置検出装置において、上記閾値を決めるために使用する音声信号は上記入力音声信号であることを特徴とする無声化位置検出装置。
５．請求項２又は３記載の無声化位置検出装置において、上記閾値を決めるために使用する音声信号は予め決めた任意の音声信号であり、予めセグメンテーションによりラベリングされた上記任意の音声信号と、その任意の音声信号の有声性尺度を格納する音声データベースが設けられており、上記閾値決定部は上記音声データベースに格納されている音声信号の有声性尺度を使って上記閾値を決定するように構成されていることを特徴とする無声化位置検出装置。
【請求項５】
請求項１乃至４の何れか記載の無声化位置検出装置と、
上記入力音声信号の音声特徴量をフレーム毎に抽出する音声特徴量抽出部と、
上記音声特徴量と同じ種類の音声特徴量により予め生成した各音素又は各音素境界の特徴を表す音素モデルを格納した音素モデル記憶部と、
上記音素モデル記憶部の音素モデルを参照し、上記無声化位置検出装置により出力された音素ラベル列に従って上記音声信号のフレーム毎の上記音声特徴量の列の音素境界を推定して再セグメンテーションする音素境界推定部と、
を含むことを特徴とするセグメンテーション装置。
【請求項６】
音素ごとに初期セグメンテーションされた入力音声信号の有声音らしさを表す有声性尺度をフレーム毎に抽出する有声性尺度抽出過程と、
上記入力音声信号の初期セグメンテーションによる音素ラベル列と音素ラベルごとの境界位置を表す境界時刻が入力され、無声化判定対象を決定する予め決めたルールを参照して無声化判定対象音素と無声化判定範囲を決定する無声化判定対象決定過程と、
上記入力音声信号の有声性尺度を使って上記無声化判定範囲の有声性尺度を予め決めた閾値と比較し、その比較結果に基づいて上記無声化判定範囲内の上記無声化判定対象音素が無声化音素であるか否かを判定し、無声化音素と判定された場合はその音素ラベルを削除し、その削除にともなう音素ラベルの境界時刻を変更して修正された音素ラベル列と境界時刻を出力し、無声化音素でないと判定された場合は入力された音素ラベル列と境界時刻をそのまま出力する無声化判定過程と、
を含むことを特徴とする無声化位置検出方法。
【請求項７】
請求項６の無声化位置検出方法により音素境界時刻が修正された音素ラベル列を生成する過程と、
上記入力音声信号の音声特徴量をフレーム毎に抽出する音声特徴量抽出過程と、
上記音声特徴量と同じ種類の音声特徴量により予め生成した各音素又は各音素境界の特徴を現す音素モデルを参照し、上記修正された音素ラベル列に従って上記音声信号のフレーム毎の上記音声特徴量の列の音素境界を推定して再セグメンテーションする音素境界推定過程と、
を含むことを特徴とするセグメンテーション方法。
【請求項８】
請求項６又は７記載の方法をコンピュータで実行するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は波形接続型の音声合成技術や音声認識技術に用いられる音素セグメンテーションにおける無声化された音素の位置検出及びセグメンテーションを行う装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
発声される音声中のある音素はその前後の音素の影響、発声の個人差、訛りのような地域による発声傾向、などにより無声化される場合がある。例えば、文章「記者は」を発声し、得られた音声波形をその文章「記者は」に従って例えば音素列「KY/I/SY/y/A/W/A」にセグメンテーションしたとする。しかし実際には無声音KYとSYで挟まれた有声音Ｉは無声化してしまい（即ち音素Ｉの明確な発音がなされない）、音声波形上のセグメンテーションされた音素ラベルＩに対応する波形部分には音素Ｉの波形が存在しない場合がある。このようなセグメンテーション「KY/I/SY/y/A/W/A」をそのまま使用した場合、音声合成の品質あるいは音声認識の精度が低くなる可能性がある。従って、音声波形中の無声化音素を検出し、セグメンテーションを修正することが望まれる。
【０００３】
非特許文献１に示されている従来の無声化検出技術では、音素の統計的なスペクトルパターンを分布として用意し、与えられた音声のスペクトルパターンの尤度をＨＭＭに基づいて計算する際に、無声化している場合と、していない場合の２種類のスペクトルパターンで尤度を求め、無声化しているパターンの方が尤度の高い場合に無声化していると判定している。
【０００４】
非特許文献２には、数量化II類を用いて無声化の種々の要因の寄与を分析し、無声化の推定を行うことが示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３８４１７０５号
【特許文献２】特許第３８９２３７９号
【特許文献３】特許第４１２５３２２号
【非特許文献】
【０００６】
【非特許文献１】河井恒、戸田智基、「波形接続形音声合成のための自動音素セグメンテーションの評価」、電子情報通信学会技術研究報告、SP2002-170, pp.5-10, Jan.2003。
【非特許文献２】武田一哉、桑原尚夫、「母音無声化の要因分析と予測方法の検討」、音講論集、105-106(1987.10)。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１による従来技術では、無声化の有無で尤度に差が大きく出ない場合（例えば調音結合により無声化しやすい母音の特徴が前後の子音に類似する場合など）に無声化検出精度が劣化する可能性がある。
【０００８】
非特許文献２による方法では、先行・後続音節、アクセント核の位置、単語モーラ長などの、発声内容から無声化要因を設定しているため発声内容は同じであるが、個人差によって無声化する／しないが変動する場合の対応が難しい問題がある。
【０００９】
この発明の目的は無声化の有無の判別精度が高く、かつ個人差の影響が少ない無声化位置検出装置及び方法、それを用いたセグメンテーション装置及び方法、プログラムを提供することである。
【課題を解決するための手段】
【００１０】
この発明によれば、無声化判定対象音素をルールにより決定し、無声化判定対象音素を含む無声化判定範囲を設定する。有声性尺度を無声化検出対象音声に対し求め、有声性尺度に基づいて予め決めた閾値を無声化検出対象範囲での有声性尺度と比較して無声化判定対象音素が無声化されているか否かの判定を行う。
【発明の効果】
【００１１】
有声性尺度を用いることにより、発声内容が同一だが無声化の有無が状況により異なる場合でも精度よく無声化検出を行うことが可能となる。
また、無声化検出に用いる閾値を自動的に求めることができるので、検出対象音声の状況に柔軟に対応可能である。
さらに、無声化検出を行うことで、推定すべき音素境界がより正確になり、音素境界時刻の推定精度の向上が期待できる。
【図面の簡単な説明】
【００１２】
【図１】この発明による無声化位置検出装置及びセグメンテーション装置のブロック構成図。
【図２】この発明による装置の動作の概要を示すフロー図。
【図３】無声化判定ルールの例を示す表。
【図４】無声化判定対象決定部のブロック構成図。
【図５】無声化判定部のブロック構成図。
【図６】Ａは音声「記者は」のスペクトルパターンの例、Ｂは入力音素ラベル列の例、Ｃは有声性尺度と閾値の関係、Ｄは修正された音素ラベル列、Ｅは再セグメンテーションによる音素ラベル列を示す図。
【図７】Ａは入力音声「会議室に」のスペクトルパターン、Ｂは入力音声信号の有声性尺度、Ｃは初期音素ラベル列、Ｄは第１の閾値決定方法における音素分類、Ｅは第２の閾値決定方法における音素分類を示す図。
【図８】無声化判定対象決定部と無声化判定部による処理過程を示すフロー図。
【図９】音素境界テンプレートを用いた音素モデル表の例を示す図。
【図１０】音素境界テンプレートの作成方法を説明するための図。
【図１１】音素境界テンプレートを用いて音素境界を決める方法を説明するための図。
【図１２】音素境界テンプレートを用いた再セグメンテーションの処理手順を示すフロー図。
【図１３】音素モデル表の例を示す図。
【図１４】音素境界推定部による処理過程を示すフロー図。
【発明を実施するための形態】
【００１３】
図１の全体はセグメンテーション装置２００のブロック構成図を示しており、無声化位置検出装置１００と、音声特徴量抽出部２１と、音声特徴量蓄積部２２と、音素境界推定部２３と、音素モデル記憶部２４とから構成されている。無声化位置検出装置１００は有声性尺度抽出部１１と、有声性尺度蓄積部１２と、無声化判定対象決定部１３と、無声化判定対象決定ルール記憶部１４と、無声化判定部１５とから構成されている。
【００１４】
手動又は自動で初期セグメンテーションされた入力音声信号Ｓsは有声性尺度抽出部１１と音声特徴量抽出部２１に与えられ、初期セグメンテーションされた入力音声信号Ｓsの初期音素ラベル列Lpiはその音素ラベル境界時刻の情報と共に無声化判定対象決定部１３と無声化判定部１５に与えられる。以降の説明において、音素ラベル列は各音素ラベル境界時刻の情報も備わっているものとする。これら入力情報に基づいてこの発明による無声化位置検出装置１００とセグメンテーション装置２００の動作の概要を図２を参照して説明する。なお、時刻は音声信号の一連のフレームのそれぞれの位置を識別できる標識であればよく、例えばフレーム番号でよい。
【００１５】
有声性尺度抽出部１１は初期セグメンテーションされた入力音声信号Ｓcからフレーム毎に音声信号の有声音らしさを表す尺度である有声性尺度を抽出し、有声性尺度蓄積部１２に蓄積する（ステップＳ１１）。無声化判定対象決定部１３は初期セグメンテーションされた入力音声信号Ｓsの音素ラベル列Lpiに対し、無声化判定対象決定ルール記憶部１４に予め格納されている無声化判定対象決定ルールを参照し、音素ラベル列Lpiに存在する無声化判定対象音素Ｐxを検出し、その無声化判定対象音素Ｐxを含む無声化判定範囲Ｒuを決める（ステップＳ１２）。無声化判定部１５は決定された無声化判定範囲Ｒuにおける入力音声信号の有声性尺度Ｄと予め決めた閾値Dthを比較することにより、無声化判定対象音素Ｐxが無声化音素であるか否かを判定し、無声化音素であった場合は無声化音素ラベルを削除すると共に音素ラベルの境界時刻を修正し、修正音素ラベル列Lpcを生成する（ステップＳ１３）。修正された音素ラベル列Lpcは無声化位置検出装置１００の出力とされる。ステップＳ１１，Ｓ１２，Ｓ１３は無声化位置検出装置１００による処理ステップＳ１０を構成している。
【００１６】
更にこの発明では、音声特徴量抽出部２１により入力音声信号Ｓsからフレーム毎に音声特徴量Ｃsを抽出して音声特徴量蓄積部２２に蓄積し（ステップＳ２０）、音素境界推定部２３は無声化位置検出装置１００から出力された修正音素ラベル列Lpcに従って、音素モデル記憶部２４に予め格納されている音声特徴量を使って音素又は音素境界の特徴を表した各音素又は各音素境界の特徴を表す音素モデルＭpを参照して、フレーム毎に得られている入力音声信号Ｓsの音声特徴量Ｃsの列の音素境界を推定して再セグメンテーションし、最終的な音素ラベル列Lpfを出力する。
【００１７】
以下、各部の詳細を説明する。
有声性尺度抽出部１１は、入力音声信号をフレーム毎に分析して有声性尺度Ｄを出力する。有声性尺度としては入力音声信号の有声音らしさを表すものであればどのようなものでもよく、例えば特許文献１〜３に示されている入力音声信号のフレーム毎の調波構造の占有度が表す周期性指標を用いてもよい。
【００１８】
無声化判定対象決定部１３は入力された初期音素ラベル列Lpiから規則（ルール）に基づいて実際の入力音声信号中において無声化されている可能性のある音素を無声化判定対象音素Ｐxとして検出する。音素が無声化する条件は様々あるが、一例として音素の組み合わせが無声音／狭母音／無声音となった場合に狭母音が無声化し易い。ここではＡ，Ｂをそれぞれ無声音とし、Ｘを狭母音としてそのような音素の組み合わせをＡ／Ｘ／Ｂ（以下、ＡＸＢと簡略する）と表し、予め音素の組み合わせＡＸＢをルールとして無声化判定対象決定ルール記憶部１４に格納しておく。図３に示す表１４ＴはルールＡＸＢの例を示しており、無声化する狭母音Ｕ及びＩの例を示しているが、その他の母音も無声化する場合がある。
【００１９】
無声化判定対象決定部１３は図４に示すように、比較部１３１と範囲決定部１３２により構成されており、比較部１３１は入力音素ラベル列Lpiの着目する１つの音素Ｐjとその前後音素Pj-1, Pj+1の組(Pj-1, Pj, Pj+1)がテーブル１４Ｔに存在するかチェックし、存在する場合は、着目する音素Ｐjが無声化判定対象音素Ｐxであると決定し出力する。範囲決定部１３２は例えばその音素Ｐj（＝Ｐx ）の前の音素Pj-1の始端時刻から後の音素Pj+1の終端時刻を無声化判定範囲Ｒuと決定し出力する。無声化判定範囲Ｒuの決め方はこの例に限らず、無声化判定対象音素Ｐxを含む範囲であればどのように決めてもよい。
【００２０】
具体例として、図６の（Ａ）は入力音声が「記者は」の場合のセグメンテーションされた入力音声信号スペクトルパターンを示し、縦軸は周波数ｆであり、横軸は時間である。このパターンに沿って（Ｂ）に入力音素ラベル列Lpiを示す。この例では音素列KY/Ｉ/SYが比較部１３１においてルールＡＸＢにより検出され、音素Ｉが無声化判定対象音素Ｐxと決定される。更に、範囲決定部１３２により音素Ｉの前の音素KYの始端から後の音素SYの終端までを無声化判定範囲Ｒuと決定される。
【００２１】
無声化判定部１５は、例えば図５に示すように閾値決定部１５１と無声化判定処理部１５２とを有している。閾値決定部１５１は有声性尺度蓄積部１２から読み出した有声性尺度Ｄと入力音声ラベル列Lpiとに基づいて閾値Ｄthを決める。閾値Ｄthの具体的な決定方法の例を図７を参照して説明する。
【００２２】
［第１の閾値決定方法］
図７の（Ａ）は入力音声が「会議室に」の場合のスペクトルパターンであり、（Ｂ）は有声性尺度蓄積部１２に保存されている入力音声信号の有声性尺度Ｄを示しており、（Ｃ）は入力音声信号の初期音素ラベル列Lpiを示している。第１の閾値決定方法では、入力音声信号の全音素を（Ｄ）の音素分類に示すように無声音か有声音かのいずれかに分類し、無声音の全領域に渡る有音性尺度Ｄの平均値Ｄ1と、有声音の全領域に渡る有声性尺度Ｄの平均値Ｄ2を求め、これらにより閾値Ｄthを
Ｄth＝W1D1＋W2D2
として求める。ただし、W1, W2は任意の重み係数であり、W1+W2=1となるよう０〜１の範囲で予備実験的に決めてもよい。
【００２３】
無声化判定処理部１５２は有声性尺度Ｄと無声化判定対象決定部１３（図１）からの無声化判定対象音素Ｐxと無声化判定範囲Ｒuと閾値決定部１５１からの閾値Ｄthとが与えられ、図６（Ｃ）に示すように無声化判定範囲Ｒuにおける有声性尺度Ｄを閾値Ｄthと比較し、その比較結果に基づいて無声化判定対象Ｐxが無声化音素であるか否かを判定する。判定方法の一例として、無声化判定範囲Ｒu内の各フレームの有声性尺度Ｄと閾値Ｄthを比較し、有声性尺度Ｄが閾値Ｄthを超えないフレームの数の合計が判定範囲Ｒu内の全フレーム数の所定の割合以上であれば無声化判定対象音素Ｐxは無声化していると判定する。判定基準である所定の割合は実験的に決めるが、例えば６０〜９０％程度が妥当である。この判定方法は一例であり、他にも様々な方法が容易に考えられる。例えば無声化判定範囲Ｒu内の全フレームの有声性尺度の平均を閾値と比較してもよい。
【００２４】
無声化判定処理部１５２は無声化判定対象音素Ｐxが無声化音素であると判定した場合、その音素ラベルＬjを初期音素ラベル列Lpiから削除すると共に、無声化判定対象音素Ｐx（＝Ｐj）とその前の音素Pj-1との音素境界時刻を削除することにより図６（Ｄ）に示す修正された音素ラベル列Lpc（音素境界時刻情報も含む）を生成し、この発明の無声化位置検出装置１００の出力とする。
【００２５】
［第２の閾値決定方法］
第２の閾値決定方法は、図７（Ｅ）の音素分類に示すように入力音声信号の全音素を無声音と、各種類の母音、この例ではＡ，Ｉ，Ｕ、に分類し、無声音の全領域に渡る有声性尺度Ｄの平均値D1と、母音Ａの全領域に渡る有声性尺度の平均値D2と、母音Ｉの全領域に渡る有声性尺度の平均値D3と、母音Ｕの全領域に渡る有声性尺度の平均値D4とを求める。これらから母音Ａに対する閾値、Dth1＝W1D1+W2D2、母音Ｉに対する閾値Dth2＝W1D1+W2D3、母音Ｕに対する閾値Dth3＝W1D1+W2D4を得る。重み係数W1, W2はW1+W2＝１となるよう０〜１の範囲で予備実験的に決めてもよい。なお、全ての母音について閾値を求める必要はなく、無声化され得る母音についてのみ閾値を決めればよい。ただし、入力音声中に存在しない母音については他の予め決めた母音の閾値を利用する。
【００２６】
無声化判定処理部１５２は与えられた無声化判定対象音素Ｐxと同じ母音に対する閾値を閾値決定部１５１から選択取得し、前述と同様に無声化判定範囲Ｒu内の有声性尺度Ｄと比較し、無声化判定対象音素Ｐxが無声化されているか否かを判定する。その他の動作は前述と同様である。
【００２７】
［第３の閾値決定方法］
前記第２の閾値決定方法では入力音声信号からその中に存在する母音の種類毎に閾値を決めたが、第３の閾値決定方法では、図５に破線で示すように予め音声データベース３０に予め保持されているセグメンテーションされた任意の音声信号データから全母音の種類Ａ，Ｉ，Ｕ，Ｅ，Ｏのそれぞれについての有声性尺度平均値D2, D3, D4, D5, D6に基づいて、それぞれの母音に対する閾値をDth1=W1D1+W2D2、Dth2=W1D1+W2D3、Dth3=W1D1+W2D4、Dth4=W1D1+W2D5、Dth5=W1D1+W2D6として求める。D1は前述と同様に無声音の全領域に渡る有声性尺度Ｄの平均値である。重み係数W1, W2はW1+W2=1となる様に０〜１の範囲で予備実験的に決める。無声化判定処理部１５２は、与えられた無声化判定対象音素Ｐxと同じ種類の母音に対する閾値を用いて前述の第２の閾値決定方法と同様に無声化音素であるか否かの判定を行い、その結果に基づいて無声化と判定された音素ラベルとそのラベルと前のラベルとの音素境界時刻を削除して修正された音素ラベル列Lpcを出力する。
【００２８】
上述の無声化判定対象決定部１３と無声化判定部１５による一連の処理過程の例を、母音の種類毎の閾値を使用する場合について図８を参照に説明する。ただし、有声性尺度Ｄ及び閾値Dth1, Dth2, ... はすでに求まっているものとする。
【００２９】
［無声化判定対象決定部１３による処理］
入力音素ラベル列Lpi中の音素ラベルの番号をｊとし、ステップＳ１２１でｊ＝１に初期設定する。ステップＳ１２２で無声化判定対象決定ルール記憶部１４内のルールＡＸＢを順次読み出し、入力音声ラベル列のｊ番目の音素Ｐjとその前後の音素Pj-1, Pj+1からなる連続する３つの音素Pj-1 / Pj / Pj+1の列と一致するルールＡＸＢが存在するか検査する。一致するものがなければステップＳ１２３でｊを１歩進してステップＳ１２２に戻り、次の音素ラベルＰjを中心とする３つの音素ラベルについて同様の検査を行う。一致するルールＡＸＢが存在した場合は、ステップＳ１２４で音素Ｐjを無声化判定対象音素Ｐxと決定し、無声化判定範囲Ｒuを連続する音素Pj-1, Pj, Pj+1の列の始端から終端までとする。
【００３０】
［無声化判定部１５による処理］
ステップＳ１３１で範囲Ｒuの総フレーム数をNmaxとし、範囲Ｒu内のフレーム番号初期値をN=1、フレーム計数値ｋの初期値をｋ=0と設定する。ステップＳ１３２で無声化判定対象音素Ｐxに対応する閾値Dthxを選択する。ステップＳ１３３でＮ番目のフレームの有声性尺度DNと閾値Dthxを比較し、DNがDthxを超えていなければステップＳ１３４でｋを１歩進することによりそのフレームを計数してステップＳ１３５に移り、閾値Dthxを越えていればそのままステップＳ１３５に進む。ステップＳ１３５でフレーム番号ＮがNmaxに達したか判定し、達していなければステップＳ１３６でＮを１歩進してステップＳ１３３に戻り、次のフレームに対しステップＳ１３３，Ｓ１３４，Ｓ１３５を実行する。ステップＳ１３５でフレーム番号Ｎが最大値Nmaxに達していればステップＳ１３７でフレーム計数値ｋを最大フレーム数Nmaxで割り算し、その結果が予め決めた閾値Ｒthより大であればステップＳ１３８で無声化判定対象音素Ｐxを無声化音素と判定し、音素Ｐjのラベルを削除すると共に音素Pj-1とPjの音素境界時刻も削除し、ステップＳ１３９で入力音素ラベル列の全てのラベルについて処理が終了したか判定し、終了していなければステップＳ１２３に戻ってｊを１歩進し、再びステップＳ１２２以降を実行することをステップＳ１３９で全てのラベルについて終了するまで繰り返す。
【００３１】
上述した無声化位置検出装置１００から出力される修正音素ラベル列Lpcは無声化音素の削除と隣接音素との境界時刻の削除という単純処理であり、無声化音素ラベルの削除により、より正確な音素ラベル列が得られるが、セグメンテーションの位置は必ずしも正確になっていない。従って、図１のセグメンテーション装置２００ではこの発明の無声化位置検出装置１００により修正された音素ラベル列Lpcに対し再度セグメンテーションを行うことにより、より正確な音素境界時刻を有する最終的な音素ラベル列を生成する構成とされている。
【００３２】
セグメンテーションを行う手法は従来の自動的なセグメンテーション手法でもよいが、図１では前述のように無声化位置検出装置１００に加えて更に音声特徴量抽出部２１と、音声特徴量蓄積部２２と、音素境界推定部２３と、音素モデル記憶部２４とを設けてセグメンテーション装置２００を構成し、無声化位置検出装置１００から出力された図６（Ｄ）に示す修正音素ラベル列Lpcを用いて入力音声信号をセグメンテーションすることにより図６（Ｅ）に示す音素境界時刻の精度が高い音素ラベル列Lpfを生成する。
【００３３】
音声特徴量抽出部２１は入力音声信号Ｓsをフレーム毎に分析して予め決めた種類の音声特徴量Ｃsを抽出し、音声特徴量蓄積部２２に蓄積する。音声特徴量としてはどのようなものでもよく、例えば線形予測計数、音声認識などでよく用いられるMFCC（メル周波数ケプストラム係数）などでもよい。音素モデル記憶部２４には予め音声特徴量抽出部２１により抽出する音声特徴量と同じ種類の音声特徴量により予め作成した各音素又は各音素境界の特徴を表す音素モデルＭpを格納してある。音素境界推定部２３は修正された音素ラベル列Lpcのラベル順に対応する音素モデルＭpに従って、入力音声信号の各フレームの音声特徴量Csがどの音素に属するものであるかを判定する、もしくは各フレームの音声特徴量Ｃsの音素境界らしさを計算することにより、フレーム単位の精度で音素境界時刻を推定することができる。この処理により図６（Ｅ）にΔで示すように音素境界時刻が修正される。ここで、音素モデルＭpとしては、各音素の統計的スペクトルパターンや、音素境界付近・音素中心付近の音声データから構成される音素境界テンプレート、各音素の平均パターンを表すテンプレート，音素境界付近の統計的スペクトルパターンを現すマルコフモデル、などを用いることができる。
【００３４】
［音素境界テンプレートを用いたセグメンテーション］
以下に音素境界推定部２３において音素境界テンプレートを用いて音素境界推定を行う実施例を説明する。
ここで入力音声信号Ｓsの各フレームのｐ次の音声特徴量ベクトルをＣs=(cs1, ..., csp)と表す。音素モデルとしての音素境界テンプレートは、予め音声データベース３０（図５）中のセグメンテーションされた音声信号中に存在する連続する様々な２つの音素の組から予め作成する。例えば図９にセグメンテーションされた隣接する音素/K/A/の組とその音声信号のフレーム列に対応する音声特徴量ベクトル列Ｃmを示す。セグメンテーションによって決められている音素境界のフレームをＦBとする。音素境界フレームＦBに対し前の音素Ｋの中心フレームＦKとその前後それぞれｂ個の合計2b+1個のフレーム（ｂは０以上の予め決めた整数）と、境界フレームＦBとその前後それぞれａ個のフレームの合計2a+1個のフレーム（ａは０以上の予め決めた整数）と、後の音素Ａの中心フレームＦAとその前後それぞれｂ個のフレームの合計2b+1個のフレーム、を選択する。音素Ｋの2b+1個のフレームの音声特徴量ベクトルをそれぞれ-1Cm1, ..., -1CmK（K=2b+1とする）と表し、境界近傍の2a+1個のフレームの音声特徴量ベクトルをそれぞれ0Cm1, ..., 0CmJ（J=2a+1とする）と表し、音素Ａの2b+1個のフレームの音声特徴量ベクトルをそれぞれ1Cm1, ..., 1CmKと表すものとする。これら３つの組の音声特徴量ベクトルを連続する音素/K/A/の音素境界テンプレートＴmとして得る。図１の音素モデル記憶部２４に格納されている図１０に示す音素モデルの表２４Ｔ１に書き込む。テンプレートの３つの組の音声特徴量ベクトルをそれぞれテンプレートＴmの前部-1Tm、中央部0Tm、後部1Tmと呼ぶことにする。
【００３５】
図１の音素モデル記憶部２４にはこのようにして音声データベース３０（図５）のセグメンテーションされた音声信号中の２つの連続する様々な音素の組/Pj/Pj+1/について予め作成された音素境界テンプレートＴmが図９に示す音素モデル表２４Ｔ１として格納されている。例えば同じ音素の組/K/A/でも音素Ｋの前の音素や音素Ａの後の音素により音素境界が影響を受けるので、音声データ中の様々な/K/A/について音素境界テンプレートが作成されている。
【００３６】
例として、修正セグメンテーションされた音声信号中の音素列/K/A/を再セグメンテーションする場合を図１１を参照して説明する。図１の無声化判定部１５により生成された修正音素ラベル列Lpc中の音素列/K/A/の開始フレーム番号ＮK、音素/K/と/A/の境界フレーム番号Ｎ、音素/A/の終端フレーム番号ＮAが得られる。従って、音素Ｋの全フレーム数をｎK=N-NK、音素Ａの全フレーム数をｎA=NA-Nとすると音素境界フレームＮから音素Ｋの中心フレームまでの間のフレーム数ｇはｇ＝ｎK/2であり、音素境界フレームＮから音素Ａの中心フレームまでのフレーム数ｈはｈ＝ｎA/2である。図１０の表２４Ｔ１からＫＡの音素境界テンプレートＴmを読み出し、テンプレート前部-1Tmの中心フレームＦKから中央部0Tmの中心フレームＦBまでの距離をフレーム数ｇに設定し、テンプレート後部1Tmの中心フレームＦAから中央部0Tmの中心フレームＦBまでの距離をフレーム数ｈに設定することにより、テンプレートＴmの前部-1Tm、中央部0Tm、後部1Tmの相対位置を互いに固定する。これにより音声信号の音素列/K/A/に対しテンプレートの全長が設定されたことになる。
【００３７】
音素境界フレームＮを中心とその前後それぞれγ個の合計2γ+1フレームを探索範囲と決める。γは予め決めた１以上の整数であり、例えば全モーラの平均フレーム数の５０〜７０％程度の値とする。前述のようにして長さが固定されたテンプレートを、その中央部の中心フレームＦBの位置が探索範囲の開始フレームから終了フレームまでの各フレームに位置を合わせて順次ずらし、各位置でのテンプレートＴmと対応する音声信号フレームの音声特徴量ベクトル間距離を計算し、それらの合計を求める。具体的には、テンプレートＴmの任意のフレームＦiとそれに対応する位置の音声信号フレームとのベクトル間距離を例えば
ｄi＝((cs1 - cm1)2 + (cs2 - cm2)2 + … + (csp - cmp)2)1/2
として求める。テンプレートＴmの2b+1個のフレームから成る前部-1Tmにおけるフレームのベクトルと対応する音声信号フレームの音声特徴量ベクトルとの距離の和-1dと、テンプレートの2a+1個のフレームから成る中央部0Tmにおけるフレームのベクトルと対応する音声信号フレームの音声特徴量ベクトルとの距離の和0dと、テンプレートの2b+1個のフレームから成る後部1Tmにおけるフレームのベクトルと対応する音声信号フレームの音声特徴量ベクトルとの距離の和1dをそれぞれ次のように表す。
【００３８】
-1d＝(-1d-b + -1d-b+1 + … + -1db-1 + -1db)
0d＝(0d-a + 0d-a+1 + … + 0da-1 + 0da)
1d＝(1d-b + 1d-b+1 + … + 1db-1 + 1db)
テンプレートと音声信号間の距離の指標（以下、距離指標と呼ぶ）dsumを例えば
dsum=-1d + 0d + 1d
と決める。これにより、テンプレートＴmの中央部0Tmの中心フレームＦBを音声信号の探索範囲-γ〜+γ内の１つのフレームに合わせたときの距離指標dsumが１つ得られる。このようにして距離指標を求めることを、テンプレートＴmの中心フレームＦBを音素境界のフレームＮを中心とする探索範囲N-γからN+γ間でのそれぞれのフレームについて順次行い2γ+1個のdsumが得られる。これらの中で最も小さいdsumを与えた時のテンプレートＴmの中心フレームＦBの探索範囲におけるフレーム位置を境界候補とする。
【００３９】
同様にして同じ音素の組/K/A/で他のテンプレートを表２４Ｔ１から読み出し、境界候補を求めることを全ての音素の組/K/A/について行う。これにより、音素の組/K/A/に対する音素境界候補の探索範囲内における分布が得られる。この候補分布から最も尤度の高い音素境界を決めることができる。簡単な例として、分布のピーク位置に対応するフレームを音素境界と決めてもよい。その他、例えば音素列/K/A/の更に前後の音素との同様な音素境界候補分布を考慮して音素ＫとＡの境界を決めてもよい。
【００４０】
上述の音素境界テンプレートを用いるセグメンテーション方法に従った修正音素ラベル列Lpcに基づく音声信号の再セグメンテーションの処理過程を図１２に示す。ｊは音素ラベル列における音素ラベルの通し番号（以下、ラベル番号と呼ぶ）、従って音素の通し番号（以下、音素番号と呼ぶ）を表すものとする。図９における音素Ｋのラベル番号をｊとすると、中心フレームFKは以下の説明においてFjで表される。同様に中心フレームFAはFj+1で表される。
【００４１】
ステップＳ３０１で修正音素ラベル列Lpc中の連続する２つの音素ラベルから、入力音声信号中の対応する２つの音素Pj, Pj+1の音素境界フレームＮと、前音素Pjの開始フレームNjと後音素Pj+1の終端フレームNj+1を得て、音素境界フレームＮから前音素Pjの中心フレームまでのフレーム数ｇと、フレームＮから後音素Pj+1の中心フレームまでのフレーム数ｈを決める。また、フレームＮを中心とする探索範囲-γ〜+γのそれぞれのフレームに対応して用意したビンB-γ〜Bγを空にする。
【００４２】
ステップＳ３０２で音素モデル表２４Ｔ１から音素列/Pj/Pj+1/に対応するテンプレートＴmを読み出す。
ステップＳ３０３でテンプレートＴmの中央部0Tmの中心フレームＦBから前部-1Tmの中心フレームＦjまでの間隔をフレーム数ｇに設定し、中心フレームＦBから後部1Tmの中心フレームFj+1までの間隔をフレーム数ｈに設定する。これによりテンプレートＴmの前部-1Tm、中央部0Tm、後部1Tmの相対位置が固定される。
【００４３】
次にステップＳ３０４で整数変数ｑの値を-γに設定し、最小値変数dminを０に設定する。
ステップＳ３０５でテンプレートＴmの中心フレームＦBを音声信号のフレームN+qに合わせて先に説明したようにテンプレートＴmと音声信号との間の音声特徴量ベクトル距離指標dsum-qを計算する。
ステップＳ３０６で距離指標dsum-qが指標の最小値dminより小か判定する。
ステップＳ３０６で判定結果が否であった場合、ステップＳ３０７で距離指標dsum-qを最小値dminとし、そのフレーム番号N-qを指標最小フレームFminとし、ステップＳ３０８に移る。ステップＳ３０６で判定結果が正であった場合、そのままステップＳ３０８に移る。
【００４４】
ステップＳ３０８で変数ｑの値がγと一致したか判定する。一致していない場合は全探索範囲についての処理が終了していないので、ステップＳ３０９で変数ｑを１歩進してステップＳ３０５に戻る。一致していれば全探索範囲について終了しているので、ステップＳ３１０に移る。
ステップＳ３１０で最小の距離指標を与えたフレームFminに対応するビンBFminにマッチングスコア１を加算する。
ステップＳ３１１で音素Pj, Pj+1の全てのテンプレートＴmについて終了したか判定し、終了していなければステップＳ３０２に戻り、同じ音素の組Pj, Pj+1に対する次のテンプレートＴmについてステップＳ３０２〜Ｓ３１１により同様の処理を繰り返す。
【００４５】
ステップＳ３１１で同じ音素の組に対する全てのテンプレートについて終了していれば、ステップＳ３１２で探索範囲のビンB-γ〜Bγに計数されているマッチングスコアの分布に基づいて最も尤度の高いビンのフレームを音素境界と決定する。
ステップＳ３１３で音声信号の全ての音素境界について処理を終了したか判定し、終了していなければステップＳ３１４でラベル番号ｊを１歩進してステップＳ３０１に戻り、次の音素ラベルの組について以下同様に処理を行う。
【００４６】
［音素パターンのテンプレートを用いたセグメンテーション］
もっと簡単な例として、音素の平均的パターンを表すテンプレートを用いる場合を次に説明する。例えばｐ次の線形予測計数（ＬＰＣ）を音声特徴量として用いるものとする。音素モデル記憶部２４には例えば図１３の表２４Ｔ２に示すように各音素についてその音素を例えばフレーム毎に分析して得た平均的なＬＰＣの係数ベクトルの配列C1, C2, C3, ..., CK（各係数ベクトルＣはｐ個の係数要素c1, ..., cpを有している）が音素の平均的パターンを表す音素モデルＭp＝(C1, ..., CJ)のテンプレートとして表２４Ｔ２に保持されている。修正された音素ラベル列Lpcを基に、音素境界の再推定（再セグメンテーション）を行う。音素境界の推定を行う範囲（セグメンテーションの範囲）は無声化音素に対する修正を行った音素ラベル位置を含む前後の所望の範囲の音素ラベル列に対して行ってもよいし、修正音素ラベル列Lpcの全体に渡って行ってもよい。
【００４７】
図１４は音素境界推定部２３による処理過程の例を示す。
修正された音素ラベル列Lpc中の境界推定範囲内のｊ番目の音素ラベルＬjに対応する音素モデルＭpj=(C1, ..., CH)と次の音素ラベルLj+1に対応する音素モデルＭpj+1=(C1, ..., CK)を音素モデル記憶部２４の音素モデル表２４Ｔ２から読み出す（ステップＳ２３１）。
【００４８】
入力音声信号の境界推定範囲のＮ番目のフレームの音声特徴量CsNとモデルＭpjの各係数ベクトル(C1, ..., CH)との距離を求め、それらの内の最小距離dNjを得て、同様に音声特徴量CsNとモデルMpj+1の各係数ベクトルC1, ..., CKとの距離を求め、それらの内の最小距離dNj+1を得る（ステップＳ２３２）。
【００４９】
ステップＳ２３３でdNjがdNj+1以下であるか判定し、以下であればＮ番目のフレームは音素ラベルLjに属すると判定し、ステップＳ２３４でフレーム番号Ｎを１歩進してステップＳ２３２に戻り次のフレームについて同様の処理を行う。
ステップＳ２３３でdNjがdNj+1を超えていた場合は、フレームＮは次の音素ラベルLj+1に属すると判断し、ステップＳ２３５でフレームＮを音素ラベルLj+1の始端とする。
【００５０】
ステップＳ２３６で推定範囲内に音素ラベルLj+1が存在するか判定し、存在すればステップＳ２３７でラベル番号ｊを１歩進してステップＳ２３１に戻り、次の音素ラベルについてステップＳ２３１〜Ｓ２３６の処理を繰り返す。ステップＳ２３６で音素ラベルLj+1が存在しなければステップＳ２３８でフレームＮを音素ラベルLjの終端とし、処理を終了する。
【００５１】
上述の例では入力音声信号の音声特徴量と音素モデルの係数ベクトルとの間の距離を求めることで音素ラベルの境界を検出する場合を示したが、従来の他の様々な技術を用いることができる。例えば、非特許文献１に示されているように、音素モデルＭpとして各音素の音声特徴量に基づくＨＭＭ（隠れマルコフモデル）を予め音声信号から作成し、入力音声信号の推定範囲の一連のフレームの音声特徴量の変化を推定範囲の音素ラベル列に従ったＨＭＭにおける状態変化の全ての経路についてそれぞれ尤度を求め、最も尤度の高い経路での音素境界のフレーム番号を決める方法を用いてもよい。
【図１】
2011053427.tif 000003
【図２】
2011053427.tif 000004
【図３】
2011053427.tif 000005
【図４】
2011053427.tif 000006
【図５】
2011053427.tif 000007
【図８】
2011053427.tif 000008
【図９】
2011053427.tif 000009
【図１０】
2011053427.tif 000010
【図１１】
2011053427.tif 000011
【図１２】
2011053427.tif 000012
【図１３】
2011053427.tif 000013
【図１４】
2011053427.tif 000014
【図６】
2011053427.tif 000015
【図７】
2011053427.tif 000016
【手続補正書】
【提出日】平成21年9月11日(2009.9.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音素ごとに初期セグメンテーションされた入力音声信号の有声音らしさを表す有声性尺度をフレーム毎に抽出する有声性尺度抽出部と、
無声化判定対象を決定する予め決めたルールを格納する無声化判定対象決定ルール記憶部と、
上記入力音声信号の初期セグメンテーションによる音素ラベル列と音素ラベルごとの境界位置を表す境界時刻が入力され、上記無声化判定対象決定ルール記憶部のルールを参照して無声化判定対象音素と無声化判定範囲を決定する無声化判定対象決定部と、
上記入力音声信号の有声性尺度を使って上記無声化判定範囲の有声性尺度を予め決めた閾値と比較し、その比較結果に基づいて上記無声化判定範囲内の上記無声化判定対象音素が無声化音素であるか否かを判定し、無声化音素と判定された場合はその音素ラベルを削除し、その削除にともなう音素ラベルの境界時刻を変更して修正された音素ラベル列と境界時刻を出力し、無声化音素でないと判定された場合は入力された音素ラベル列と境界時刻をそのまま出力する無声化判定部と、
を含むことを特徴とする無声化位置検出装置。
【請求項２】
請求項１記載の無声化位置検出装置において、上記無声化判定部は、
予め音声信号中の有声音における平均有声性尺度と無声音における平均有声性尺度を使って上記閾値を決める閾値決定部と、
上記閾値を上記無声化判定範囲のフレームごとの入力音声信号の有声性尺度と比較し、上記無声化判定範囲内の上記閾値を超えないフレーム数の割合に基づいて上記無声化判定対象音素が無声化音素であるかを判定し、その音素ラベルの境界時刻を検出する無声化判定処理部と、
を含むことを特徴とする無声化位置検出装置。
【請求項３】
請求項１記載の無声化位置検出装置において、上記無声化判定部は、
予め音声信号中の、無声化となり得る母音ごとの平均有声性尺度と、無声音における平均有声性尺度とを使ってそれぞれの無声化となり得る各母音についての閾値を決める閾値決定部と、
上記無声化判定対象音素の母音の種類に対応する閾値を上記無声化判定範囲のフレームごとの入力音声信号の有声性尺度と比較し、上記無声化判定範囲内の上記閾値を超えないフレーム数の割合に基づいて上記無声化判定対象音素が無声化音素であるかを判定し、その音素ラベルの境界時刻を検出する無声化判定処理部と、
を含むことを特徴とする無声化位置検出装置。
【請求項４】
請求項２又は３記載の無声化位置検出装置において、上記閾値を決めるために使用する音声信号は上記入力音声信号であることを特徴とする無声化位置検出装置。
【請求項５】
請求項２又は３記載の無声化位置検出装置において、上記閾値を決めるために使用する音声信号は予め決めた任意の音声信号であり、予めセグメンテーションによりラベリングされた上記任意の音声信号と、その任意の音声信号の有声性尺度を格納する音声データベースが設けられており、上記閾値決定部は上記音声データベースに格納されている音声信号の有声性尺度を使って上記閾値を決定するように構成されていることを特徴とする無声化位置検出装置。
【請求項６】
請求項１乃至５の何れか記載の無声化位置検出装置と、
上記入力音声信号の音声特徴量をフレーム毎に抽出する音声特徴量抽出部と、
上記音声特徴量と同じ種類の音声特徴量により予め生成した各音素又は各音素境界の特徴を表す音素モデルを格納した音素モデル記憶部と、
上記音素モデル記憶部の音素モデルを参照し、上記無声化位置検出装置により出力され
た音素ラベル列に従って上記音声信号のフレーム毎の上記音声特徴量の列の音素境界を推定して再セグメンテーションする音素境界推定部と、
を含むことを特徴とするセグメンテーション装置。
【請求項７】
音素ごとに初期セグメンテーションされた入力音声信号の有声音らしさを表す有声性尺度をフレーム毎に抽出する有声性尺度抽出過程と、
上記入力音声信号の初期セグメンテーションによる音素ラベル列と音素ラベルごとの境界位置を表す境界時刻が入力され、無声化判定対象を決定する予め決めたルールを参照して無声化判定対象音素と無声化判定範囲を決定する無声化判定対象決定過程と、
上記入力音声信号の有声性尺度を使って上記無声化判定範囲の有声性尺度を予め決めた閾値と比較し、その比較結果に基づいて上記無声化判定範囲内の上記無声化判定対象音素が無声化音素であるか否かを判定し、無声化音素と判定された場合はその音素ラベルを削除し、その削除にともなう音素ラベルの境界時刻を変更して修正された音素ラベル列と境界時刻を出力し、無声化音素でないと判定された場合は入力された音素ラベル列と境界時刻をそのまま出力する無声化判定過程と、
を含むことを特徴とする無声化位置検出方法。
【請求項８】
請求項７の無声化位置検出方法により音素境界時刻が修正された音素ラベル列を生成する過程と、
上記入力音声信号の音声特徴量をフレーム毎に抽出する音声特徴量抽出過程と、
上記音声特徴量と同じ種類の音声特徴量により予め生成した各音素又は各音素境界の特徴を現す音素モデルを参照し、上記修正された音素ラベル列に従って上記音声信号のフレーム毎の上記音声特徴量の列の音素境界を推定して再セグメンテーションする音素境界推定過程と、
を含むことを特徴とするセグメンテーション方法。
【請求項９】
請求項７又は８記載の方法をコンピュータで実行するプログラム。