(57)【特許請求の範囲】
【請求項１】
音声認識に用いる認識単位である精細セグメントの音響モデル標準パターンの初期値を設定する方法において、該精細セグメントに関与する音素セグメントの音響モデル標準パターンの値を用いて、以下に示す（場合A）、（場合B）及び（場合C）の規則によって初期値を計算し、下記（場合B）及び下記（場合C）において、精細セグメント標準パターンの区間を時間的に分割して表わした場合には、この重み付けは、その始端側においては先行音素セグメントの標準パターン値の重みを大きくし、終端側においては後続音素セグメントの値の重みを大きくする方法。
（場合A）上記精細セグメントが自身に対応する１つの上記音素セグメントの物理的区間の中央部を表わしている場合については、該音素セグメントの中央部付近を表わす上記音響モデル標準パターンの値を上記精細セグメント標準パターンの初期値とする。
（場合B）上記精細セグメントが2つの連続する上記音素セグメントの物理的遷移区間を表わしている場合については、先行音素セグメントの区間中央部を表わす上記音響モデル標準パターンの値および後続音素セグメントの区間中央部を表わす該音響モデル標準パターンの値の２つを用いて、重み付き平均値を計算して、これを上記精細セグメント標準パターンの初期値とする。
（場合C）上記精細セグメントが３つの連続する上記音素セグメントの物理的遷移区間に関係していて、該精細セグメントの特性に対する2つ目の該音素セグメントの影響が極めて小さい場合については、１つ目の該音素セグメントの区間中央部の上記音響モデル標準パターンの値および3つ目の該音素セグメントの区間中央部の該音響モデル標準パターンの値を用いて、重み付き平均値を計算して、これを上記精細セグメント標準パターンの初期値とする。
【請求項２】
上記請求項１記載の方法を用いて、音声サンプルから音響モデル標準パターンを作成する装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本願発明は、自動音声認識装置の重要要素部分である音声セグメントの音響標準パターン作成部に関する。この標準パターンに基いて、仮説単語などに対する入力音声の尤度や類似度が計算されて音声認識が実行される。
【０００２】
【従来の技術】
自動音声認識における音声の最小認識単位は、通常、音声を記述する音素記号である。音素記号は、日本語を例にとると、ローマ字正書法のローマ字１文字に相当する単位である。たとえば「秋（あき）」という単語の音素表記は /aki/と書き、a, k, iの3文字が音素記号である。自動音声認識のためには音素記号の音響モデル標準パターン作成装置が必要であり、この標準パターンは、音声波形データセットとその個々のサンプルを音素記号で表わしたデータ（音声波形データに音素記号列を付与したもの）から、何らかの手法によって推定計算する。たとえば、「秋 aki」という音声であれば、音声波形のどの辺りがそれぞれa、k、i に相当するかを専門家が視察で教えたデータを使用するか、またはa, k, iに相当する区間を自動的に識別して、a, k, i の標準パターンを作成する。
【０００３】
現在、最も一般に使用されている音響モデル標準パターンは、隠れマルコフモデル（HMM）である（Steve Young 他著 “The HTK book”, Entropic Cambridge Research Laboratory.以下「文献１」という。）。また、音声サンプルデータとその音素記述が与えられたとき、音素のHMMを推定する手法は存在している。しかし、精度の良いHMMの推定を可能にするためには、あらかじめ専門家がラベルを付与した音声データが存在するか、適切なHMMの初期値が存在することが必要である。
【０００４】
一方、より高性能な音声認識を達成するためには、上記の音素よりも細かい音声認識単位である「精細セグメント」が使用される。その１つとして、請求者等が提唱している「サブ音声セグメント（Sub-Phonetic Segment, 以後SPSと略記）」がある（田中、児島、富山、壇辻、「言語に共通な音声符号系とその音響セグメントモデルの作成」、日本音響学会講演論文集 pp191-192 (2001-3).以下「文献2」という。）。このSPS記号系のラベル系列自体は、多言語対応の記号系であるXSAMPAと呼ばれる記号系（http://www.phon.ucl.ac.uk/home/sampa/home）から変換規則によって求められる。XSAMPA記号系は、音素とほぼ同じ詳しさのレベルの記号系であり、ヨーロッパなどで主に使用されている。たとえば、「秋」のXSAMPAによる記述は、akIであり、SPSでは #a, aa, ak, kcl, kk, kI, II, I#となる。この記号系を採用すると性能改善が達成されることは確認されている［文献2］。
【０００５】
しかし、SPSのような記号のHMMを推定するのは、音素やXSAMPAのHMMを推定する場合よりも困難である。その理由としては、記号の種類がXSAMPAでは50〜100前後であるのに対し、SPSでは1000種類以上になることから、専門家が音声波形と記号ラベルとの対応付け（ラベリング）をする負担が大きいこと、音声サンプルとその記号記述だけからの自動推定では適切にセグメンテーションができないことなどがある。
【０００６】
【発明が解決しようとする課題】
上の項で述べたように、精細セグメントの1種である「サブ音声セグメント（SPS）」の導入により音声認識性能の高度化が可能になる。しかし、音声波形にSPS記号がラベル付けされた音声データがない状態では、その音響標準パターンとしてのHMMを自動推定するのは一般に困難である。
【０００７】
【課題を解決するための手段】
そこで、比較的容易に得られるXSAMPA記号のHMMパラメータを出発点として、これを利用したSPSのHMMパラメータの自動推定手法を開発し、音声認識システムに登載する。この音響モデル標準パターン作成装置により、音声波形にSPS系列がラベル付けされたデータがなくても、SPS記号系について適切な音響標準パターンが作成可能となる。
【０００８】
高性能音声認識を可能とする「サブ音声セグメントSPS」に対するHMMの推定計算を行うためには、必要なSPS記号について、そのHMMパラメータの初期値を適切に決めてやることである。ここでは、XSAMPA記号のHMMが与えられたとき、このパラメータの値からSPSについてのHMMパラメータの初期値を設定する方法を与える。また、実際の音声データとそれらの発音を記述するXSAMPAテキストが与えられたとき、SPS‐HMMの最適推定するシステムを示す。
【０００９】
(I) XSAMPA記号のHMMが与えられたとき、このパラメータの値からサブ音声セグメントSPSついてのHMMパラメータの初期値を設定する方法。
XSAMPAの音響セグメントと「サブ音声セグメントSPS」の音響セグメントの時間軸上の相対関係は図１に示すような場合が考えられ、生成されるSPSとしてはXX, XY, XYZの3通りの型があり得る。このそれぞれの場合について、下記に示すような計算式によって、XSAMPA記号のHMMの値からSPS記号HMMの初期値を与える。
【００１０】
ただし、ここで、XSAMPA記号のHMMとSPS記号HMMは、共に図２に示すような3状態3ループで表わされるHMMで、各状態は１個のガウス型連続確率分布により観測量の出力確率が定義されているものとする。すなわち、HMMの各変数は次のように表わされる。
【００１１】
先行するXSAMPA記号（図ではX）のHMMの状態iにおける出力確率分布の平均値ベクトルと分散値行列、および遷移確率（行列）をそれぞれ、m(X)i 、v(X)i 、T(X)ii とする。同様に、後続するXSAMPA記号YのHMMの平均値ベクトル、分散値行列、および遷移確率（行列）をm(Y)i,  v(Y)i, T(Y)ii とする。
【００１２】
[場合A]
「サブ音声セグメントSPS」の定常的区間ラベルXX（図１参照）に相当するHMMの平均値ベクトル、分散値行列、および遷移確率（行列）初期値をそれぞれ m(SPS)2, v(SPS)2, and T(SPS)22 とするとき、これらの値を次のように定める。まず、状態２（中央）については、
m(SPS)2= m(X)2
v(SPS)2= v(X)2,
T(SPS)22 = T(X)22
T(SPS)23 =1- T(SPS)22
状態１については、重み係数am , av , aT を用いて
m(SPS)1 =( am m(X)1 + m(X)2) / (1+ am )
v(SPS)1 = (av v(X)1 + v(X)2) / (1+ av)
T(SPS)11 = (aT T(X)11 + T(X)22) / (1+ aT )
T(SPS)12 =1- T(SPS)11
状態３についても、同様に係数am , av , aT を用いて
m(SPS)3 =( amm(X)3 + m(X)2) / (1+ am )
v(SPS)3 = (av v(X)3 + v(X)2) / (1+ av)
T(SPS)33 = (aT T(X)33 + T(X)22) / (1+ aT )
T(SPS)34 =1- T(SPS)33
以上の式で、係数am , av , aTは、概ね0.5〜1.0の範囲の値である。なお、ラベルYYについてもXをYと置きかえることによって同様に定められる。
【００１３】
［場合B］
SPSラベルXY（図１参照）で示されている音響モデルのパラメータ初期値については以下のように定める。ただし、bm , bv , bT は重み係数で、1.0より大きく3.0以下の範囲の値である。
m(SPS)1, v(SPS)1, T(SPS)11 については、
m(SPS)1 =(bm m(X)2 + m(Y)2)/ (1+ bm )
v(SPS)1 = (bv v(X)2 + v(Y)2) / (1+ bv)
T(SPS)11 = (bT T(X)22 + T(Y)22) / (1+ bT )
m(SPS)2, v(SPS)2,  T(SPS)22 については、
m(SPS)2 =( m(X)2 + m(Y)2)/2
v(SPS)2 = ( v(X)2 + v(Y)2)/2
T(SPS)22 = (T(X)22 + T(Y)22)/2
m(SPS)3, v(SPS)3,  T(SPS)33 については、
m(SPS)3 =( m(X)2 + bm m(Y)2) / (1+ bm )
v(SPS) = (v(X)2 + bv v(Y)2) / (1+ bv)
T(SPS)33 = (T(X)22 + bT T(Y)22) / (1+ bT )
T(SPS)12 、T(SPS)23 、T(SPS)34については、それぞれT(SPS)11 、T(SPS)22 、T(SPS)33から（場合A）と同じ式によって計算される。
【００１４】
〔場合C］
SPSラベルXYZ（図１参照）で示されている音響モデルのパラメータ初期値については以下のように定める。ただし、cm , cv , cT は重み係数で、1.0より大きく3.0以下の範囲の値である。
m(SPS)1, v(SPS)1, T(SPS)11 については、
m(SPS) =(cm m(X)2 + m(Z)2)/ (1+ cm )
v(SPS)1 = (cv v(X)2 + v(Z)2) / (1+ cv)
T(SPS)11 = (cT T(X)22 + T(Z)) / (1+ cT )
m(SPS)2, v(SPS)2,  T(SPS)22 については、
m(SPS)2 =( m(X)2 + m(Z)2)/2
v(SPS)2 = ( v(X)2 + v(Z)2)/2
T(SPS)22 = (T(X)22 + T(Z)22)/2
m(SPS)3, v(SPS)3,  T(SPS)33 については、
m(SPS)3 =( m(X)2 + cm m(Z)2) / (1+ cm )
v(SPS)3 = (v(X)2 + cv v(Z)2) / (1+ cv)
T(SPS)33 = (T(X)22 + cT T(Z)22) / (1+ cT )
T(SPS)12 、T(SPS)23 、T(SPS)34については、それぞれT(SPS)11 、T(SPS)22 、T(SPS)33から（場合A）と同じ式によって計算される。
【００１５】
（II）上記によって設定された初期値を元に、学習用音声サンプルを使用して「サブ音声セグメント」のHMMのパラメータを最適推定するシステム。
下記の前提条件が満たされているものとする。
（前提）「学習用音声サンプルの発音を記述したXSAMPA記号のテキストが与えられているものとする。」
このとき、図3に示すブロック図のような手順で「サブ音声セグメントSPS」のHMMパラメータを最適推定する。
（１）学習用音声サンプル▲１▼、その発音を記述したXSAMPAテキスト▲２▼、およびXSAPMA-HMMのパラメータ値▲３▼は、あらかじめ与えられている。
（２）学習用XSAMPAテキスト▲２▼から、書換え規則［文献２］を適用して、この発声テキストについてSPSを用いた記述▲６▼を得る。
（３）このテキスト▲６▼に存在しているSPSラベルをすべて拾い出し、そのすべてのSPSラベルについて、XSAMPA‐HMM▲３▼を利用して、SPS-HMMの初期値を（I）に示した方法で設定し、初期値▲８▼を得る。このとき、分散行列の値（変数ｖで表わされているパラメータ値）については、すべて係数0.5を掛けておく。
（４）音声サンプルを用いて変数を学習する手法は、学習用音声データ▲１▼、そのSPS記述テキスト▲６▼、およびSPS-HMMの初期値▲８▼を使用して、通常のHMMパラメータ推定法を用いて、3〜5回程度の繰り返し計算を行う［文献１］。このとき、実サンプル数が少ないラベル（概ね10個未満）については、下記の式によって変数を補正する。パラメータの最終的な値を表わす変数をpp、初期値をｑ、学習サンプルセットから得られた推定値をp、実在する学習サンプルの数をiとするとき、   pp = ( 5q + ip) / (5+i)
とする。iが10以上のときは、pp=pとしても差し支えない。
以上の手順において、（３）が特許請求に係る新しい内容である。
【００１６】
【実施例】
ここでは、本願発明が効果があることを示す目的で、音声の認識単位として次の2通りの記号ラベルを用いた場合について、単語音声認識実験を行った。その認識率の比較結果を示す。
（A）通常用いられている音素ラベルと同等なXSAMPA記号の音響モデルXSAMPA‐HMMを用いた場合、
（B）上の（A）で用いたXSAMPA‐HMMを出発点データとして、同じ学習用音声データを用いて（３−４）項で述べたシステムによって「サブ音響セグメントSPS」のHMMを計算し、これを音響標準パターン（SPS‐HMM）とした場合。
【００１７】
すべての実験は、成人男性話者音声データを用い、話者独立の音声認識である。HMMは3状態、3ループのLRモデルで、各状態の分布混合数は１である。また、（３−４）項の式で用いた重み係数am , av , aTはいずれも0.5とし、bm , bv , bT , cm , cv , cTはいずれも2.0とした。学習用音声データセットは、英語母語話者５名の語彙セットBasic English Words(B.E.W)、語数850語である。テストデータは、別話者5名のB.E.W.である。その認識率を以下に示す。
・（A）の場合の認識率: 5名平均59.3% (最低55%  最高67%)
・（B）の場合の認識率: 5名平均76.2% (最低71%  最高82%)
以上のように、「精細音響セグメント」を採用する効果は、認識率で15ポイント程度の向上があり、明らかである。また、本件で述べた方法により「精細音響セグメント」のHMMを計算することが有効であることが実証されている。
【００１８】
【発明の効果】
上記の実験で明らかなように、「精細音響セグメント」を導入することは、音声認識性能を大きく向上させる。しかし、英語音声データの場合、XSAMPAラベルの種類数は65程度であるのに対し、「精細音響セグメント」では1000種類以上となり、このラベルを音声データにラベリングするのは事実上困難である。さらに多くの言語音声を扱うようになると困難さはますます増大する。したがって、本願発明のように、XSAMPAラベルのHMMから自動的にその初期値を計算する手法が効率的であり、また計算結果も有効なものとなる。
【図面の簡単な説明】
【図１】  ＸＳＡＭＰＡ記号の音響モデルＨＭＭとＳＰＳ記号の音響モデルＨＭＭの時間軸状の関係
【図２】  ＸＳＡＭＰＡセグメントおよびＳＰＳの音響標準パターンの隠れマルコフモデル（ＨＭＭ）のトポロジー（本願発明で使用しているもの）
【図３】  ＳＰＳ記号の音響標準パターンＨＭＭを最適推定するシステムのブロック図
【図１】
0003709436.tif 000002
【図２】
0003709436.tif 000003
【図３】
0003709436.tif 000004