(57)【要約】【課題】誤り数別に識別スコアと事後確率を計算する。【解決手段】この発明の誤り数別識別スコア・事後確率計算方法は、局所スコア・局所誤り計算過程と、誤り数別識別スコア計算過程と、誤り数別事後確率計算過程とを含む。誤り数別識別スコア計算過程は、上記局所スコアと、上記局所誤り数と、上記ラティスとを入力として上記ラティスの誤り数別の識別スコアと、誤り数別前向き累積スコアと、誤り数別後ろ向き累積スコアとを計算する。誤り数別事後確率計算過程は、上記ラティスの誤り数別の識別スコアと、上記誤り数別前向き累積スコアと、上記誤り数別後ろ向き累積スコアと、上記局所スコアとを入力として上記正解シンボル系列が上記ラティスに含まれる各々の有向弧を含むことの事後確率を誤り数別に計算する。【選択図】図１
2010060809.tif 000002
【特許請求の範囲】
【請求項１】
局所スコア・局所誤り計算部が、特徴量情報系列と、上記特徴量情報系列に対応した正解シンボル系列と、上記特徴量情報系列を複数の認識シンンボル系列で表現したラティスと、モデルパラメータとを入力として、上記ラティスに含まれる各々の有向弧に対する局所スコアと、有向弧に含まれる局所誤り数とを計算する局所スコア・局所誤り計算過程と、
誤り数別識別スコア計算部が、上記局所スコアと、上記局所誤り数と、上記ラティスとを入力として、上記ラティスの誤り数別の識別スコアと誤り数別前向き累積スコアと誤り数別後ろ向き累積スコアとを計算する誤り数別識別スコア計算過程と、
誤り数別事後確率計算部が、上記ラティスの誤り数別の識別スコアと、上記誤り数別前向き累積スコアと、上記誤り数別後ろ向き累積スコアと、上記局所スコアとを入力として、上記正解シンボル系列が上記ラティスに含まれる各々の有向弧を含むことの事後確率を誤り数別に計算する誤り数別事後確率計算過程と、
を含む誤り数別識別スコア・事後確率計算方法。
【請求項２】
請求項１に記載した誤り数別識別スコア・事後確率計算方法において、
上記誤り数別識別スコア計算過程は、
上記誤り数別前向き累積スコアを、上記有向弧の先行有向弧の局所スコアと上記先行有向弧までの誤り数別前向き累積スコアの誤り数の和毎に累積した前向き確率総和として求める前向き確率総和算出ステップと、
上記誤り数別後ろ向き累積スコアを、上記有向弧の後続有向弧の局所スコアと上記後続有効弧までの誤り数別後ろ向き累積スコアの誤り数の和毎に累積した後ろ向き確率総和として求める後ろ向き確率総和算出ステップと、
上記ラティスの誤り数別の識別スコアを、上記有向弧の局所スコアと上記前向き確率総和と上記後ろ向き確率総和との誤り数の和毎の事後確率として求める事後確率算出ステップと、
を含むことを特徴とする誤り数別識別スコア・事後確率計算方法。
【請求項３】
請求項１又は２に記載した誤り数別識別スコア・事後確率計算方法と、
パターン認識部が、特徴量情報系列を入力として複数のシンボル系列を表現するラティスを上記モデルパラメータ記録部から探索して出力するパターン認識過程と、
損失関数値計算部が、上記ラティスの誤り数別の識別スコアを入力として損失関数値を計算する損失関数値計算過程と、
偏微分係数値計算部が、上記ラティスの誤り数別の識別スコアと、上記損失関数値と、上記誤り数別事後確率とを入力として有向弧での偏微分係数値を計算する偏微分係数値計算過程と、
モデルパラメータ更新部が、上記偏微分係数値と、上記損失関数と、上記モデルパラメータとを入力として上記モデルパラメータを更新するモデルパラメータ更新過程と、
を含む誤り数重み付き識別学習方法。
【請求項４】
請求項３に記載した誤り数重み付き識別学習方法において、
上記損失関数値計算過程は、上記ラティスの誤り数別の識別スコアを制御係数でべき乗した値を、全ての有向弧の識別スコアを上記制御係数でべき乗した値の累積値で除し、更にその値に上記誤り数を乗算した値を上記誤り数で累積して上記損失関数とする過程であることを特徴とする誤り数重み付き識別学習方法。
【請求項５】
モデルパラメータを記録するモデルパラメータ記録部と、
特徴量情報系列を入力として複数のシンボル系列を表現するラティスを上記モデルパラメータ記録部から探索して出力するパターン認識部と、
上記特徴量情報系列と、上記特徴量情報系列に対応した正解シンボル系列と、上記特徴量情報系列を複数の認識シンンボル系列で表現したラティスと、モデルパラメータとを入力として、上記ラティスに含まれる各々の有向弧に対する局所スコアと、有向弧に含まれる局所誤り数とを計算する局所スコア・局所誤り計算部と、
上記局所スコアと、上記局所誤り数と、上記ラティスとを入力として上記ラティスの誤り数別の識別スコアと、誤り数別前向き累積スコアと、誤り数別後ろ向き累積スコアとを計算する誤り数別識別スコア計算部と、
上記ラティスの誤り数別の識別スコアと、上記誤り数別前向き累積スコアと、上記誤り数別後ろ向き累積スコアと、上記局所スコアとを入力として上記正解シンボル系列が上記ラティスに含まれる各々の有向弧を含むことの事後確率を誤り数別に計算する誤り数別事後確率計算部と、
上記ラティスの誤り数別の識別スコアを入力として損失関数値を計算する損失関数値計算部と、
上記ラティスの誤り数別の識別スコアと、上記損失関数値と、上記誤り数別事後確率とを入力として有向弧での偏微分係数値を計算する偏微分係数値計算部と、
上記偏微分係数値と、上記損失関数と、上記モデルパラメータとを入力として上記モデルパラメータを更新するモデルパラメータ更新部と、
を具備する誤り数重み付き識別学習装置。
【請求項６】
請求項５に記載した誤り数重み付き識別学習装置において、
上記損失関数値計算部は、上記ラティスの誤り数別の識別スコアを制御係数でべき乗した値を、上記ラティスの誤り数別の識別スコアの累積値を上記制御係数でべき乗した値で除し、更に上記誤り数を乗算した値を、誤り数で累積して上記損失関数とするものであることを特徴とする誤り数重み付き識別学習装置。
【請求項７】
請求項５又は６に記載した誤り数重み付き識別学習装置と、
音声情報列を入力として音声情報列の音声特徴量情報系列を算出する音声特徴量抽出部と、
上記誤り数重み付き識別学習装置で学習した音響モデルを記録する音響モデル記録部と、
上記音声特徴量情報系列に応じて、上記音響モデルパラメータ記録部内に記録された特徴量情報系列を探索して複数のシンボル系列で表現される単語ラティスを出力する単語列探索部と、
を具備する音声認識装置。
【請求項８】
請求項５又は６に記載した誤り数重み付き識別学習装置としてコンピュータを機能させるための装置プログラム。
【請求項９】
請求項７に記載した音声認識装置としてコンピュータを機能させるための装置プログラム。
【請求項１０】
請求項８又は９に記載した装置プログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声、静止画像、動画像等の時間軸上や空間軸上の概念情報を表現する信号の特徴量情報系列を用いて、予め定められた離散値で表現したシンボル系列としてパターン認識するためのモデルパラメータ学習に用いる誤り数別識別スコア・事後確率計算方法と、その方法を用いた誤り数重み付き識別学習装置とその方法と、その装置を用いた音声認識装置と、プログラムと記録媒体に関する。
【背景技術】
【０００２】
パターン認識の誤りを少なくするためには、誤り数をモデルパラメータの関数（損失関数）として推定し、この損失関数値が小さくなるようにモデルパラメータの学習を行うことが有効である。このような学習を行う代表的な従来技術として、ＭＰＥ/ＭＷＥ（Minimum Phone Error/Minimum Word Error）学習方法が知られている（非特許文献１）。この学習方法を、パターン認識の代表的な例である連続音声認識に適用した場合を例に説明する。
【０００３】
図７に音声認識装置８００の機能構成例を示す。音声認識装置８００は、ＭＰＥ/ＭＷＥ学習方法を用いた音響モデル学習装置７００と、音声特徴量抽出部８０と、単語系列探索部８１と、音響モデルパラメータ記録部８２とを備える。音響モデル学習装置７００は、局所スコア・局所誤り計算部７０、誤り数平均値計算部７１、前向き・後ろ向きスコア計算部７２、事後確率計算部７３、損失関数値計算部７４、偏微分係数値計算部７５、モデルパラメータ更新部７６を備える。
【０００４】
音声特徴量抽出部８０は、離散値で形成される音声情報列を入力として音声情報列の音声特徴量情報系列Ｘｒを算出する。音声特徴量情報系列Ｘｒは、例えばメル周波数ケプストラム係数（ＭＦＣＣ）分析によって抽出される。単語系列探索部８１は、その音声特徴量情報系列Ｘｒに応じて、音響モデルパラメータ記録部８２内に記録された特徴量情報系列を探索して複数のシンボル系列で表現される単語ラティスを出力する。図８に「今日の北海道」に対応した単語ラティスの一例を示す。単語ラティスは単語グラフとも呼ばれ、複数の節点を、単語あるいは部分単語系列に対応する有向弧ｑで結んだ構造を持っている。
【０００５】
また、有向弧ｑは、音声特徴量情報系列Ｘｒに含まれる部分特徴量系列にも対応している。ラティスに含まれる有向弧ｑの各々と単語あるいは部分単語系列との対応、及びラティスに含まれる有向弧ｑの各々と部分特徴量系列との対応は、単語列探索の結果として得られるものである。
【０００６】
局所スコア・局所誤り計算部７０は、正解系列単語列Ｓｒと、音声特徴量情報系列Ｘｒと、モデルパラメータλ（ｔ）と、単語ラティスとを入力として、有向弧ｑの局所的なスコアである局所スコアｐｑと、局所的な誤り数である局所誤り数ｅｑを計算する。局所スコアｐｑは、式（１）で計算できる。局所スコアｐｑと局所誤り数ｅｑは、ラティスに含まれる有効弧ｑの各々について計算されるので、有効弧ｑについての集合を成している。これを図７では{ｐｑ}，｛ｅｑ｝と表記している。他の信号についても同様である。
【０００７】
【数１】
2010060809.tif 000003
【０００８】
ここでＰΛＧ（ｓｑ）は、有向弧ｑに割り付けられた局所言語スコアである。ｐΛＡ（ｘｑ｜ｓｑ）は、有向弧ｑに割り付けられた局所音響スコアである。局所言語スコアと局所音響スコアの積が局所スコアとなる。ηとψは制御係数であり、ηが大きいほど局所スコアにおける局所言語スコアＰΛＧ（ｓｑ）の寄与率が大きくなる係数である。ψが局所スコアｐｑを計算する際の部分単語系列ｓｑ毎のバラツキを抑制（ψ→小）、又は強調（ψ→大）する係数である。また、局所スコア・局所誤り計算部７０は、局所誤り数ｅｑを計数する。局所誤り数ｅｑの計数例を図９に示す。図９（ａ）は単語単位の誤り数の例を示す。図９（ｂ）は音素単位の誤り数、図９(ｃ)は時間フレーム単位の誤り数の例を示す。全て、正解文を「今日の北海道の天気は晴れです」としたときのそれぞれの単位毎の誤り数の例である。例えば、単語単位では誤り数が２、音素単位では誤り数が５、フレーム単位では誤り数が３５である。この局所誤り数ｅｑは、正解単語系列Ｓｒと、音声特徴量情報系列Ｘｒと、単語ラティスＱとを対比させることで計数する。ここでＱとは、有向弧ｑの接続関係を含む集合である。
【０００９】
誤り数平均値計算部７１は、有向弧ｑを通る全ての単語系列について式（２）に示す誤り数の平均値ｃ（ｑ）を計算する。
【００１０】
【数２】
2010060809.tif 000004
ここで、Ｓは単語系列の全体を意味し、Ｅは単語系列全体の誤り数を意味する。
【００１１】
誤り数の平均値ｃ（ｑ）は、前向き・後ろ向きアルゴリズムと、平均誤り数伝播アルゴリズムとの組み合わせによって効率的に計算することができる。つまり、式（３）に示すように局所誤り数ｅｑに、前向き平均誤り数α′ｑと後ろ向き平均誤り数β′ｑとを加えた値で求めることができる。
【００１２】
【数３】
2010060809.tif 000005
【００１３】
前向き平均誤り数α′ｑの求め方の概念図を１０に示す。前向き平均誤り数α′ｑを求める前に有向弧ｑの前向き累積確率αｑを式（４）の計算により求める。有向弧ｑの前向き累積確率αｑは、有向弧ｑの始端に終端を接続している先行有向弧ｑ−（ｉ）（ｉ＝１，…，Ｎｑ）のそれぞれの前向き向き累積確率αｑ−（ｉ）に、それぞれの局所確率ｐｑ（ｉ）を乗じた値の累積である。
【００１４】
【数４】
2010060809.tif 000006
【００１５】
有向弧ｑの前向き累積確率αｑと後述する後ろ向き累積確率βｑは、前向き・後ろ向きスコア計算７２で、局所スコアｐｑを入力として計算される。前向き累積確率αｑと後述する後ろ向き累積確率βｑは、誤り数平均値計算部７１と事後確率計算部７３に出力される。
【００１６】
誤り数平均値計算部７１は、局所スコアｐｑと、局所誤り数ｅｑと、単語ラティスｑを入力として式（３）の計算によって有向弧ｑを通る全ての単語系列についての誤り数の平均値ｃ（ｑ）を計算する。式（３）の計算に当たって、必要な前向き平均誤り数α′ｑは式（５）で計算される。
【００１７】
【数５】
2010060809.tif 000007
ｅｑ−（ｉ）は先行有向弧ｑ−（ｉ）の局所誤り数である。
【００１８】
同様に後ろ向き累積確率βｑと、後ろ向き平均誤り数β′ｑは、式（６）と式（７）で計算できる。
【００１９】
【数６】
2010060809.tif 000008
【００２０】
誤り数の平均値ｃ（ｑ）の求め方の概念図を図１１に示す。有向弧ｑに割り付けられた部分単語系列ｓｑが例えば「東海道」であり、その有向弧の誤り数の平均値ｃ（ｑ）は式（３）で与えられる。
【００２１】
単語ラティスの始節点を始端とする有向弧から順に漸化的に式（４）、式（５）を適用し、さらに単語ラティスの終節点を終端とする有向弧から順に漸化的に式（６）、式（７）を適用すれば全ての有向弧ｑについて、式（３）の計算により誤り数の平均値ｃ（ｑ）を求めることができる。有向弧ｑは（（ｑ，{ｑ−（ｉ）}，{ｑ＋（ｉ）}）∈Ｑ）である。以降、簡単にｑ∈Ｑと表記する。
【００２２】
事後確率計算部７３は、前向き累積確率αｑと後ろ向き累積確率βｑとを入力として、認識候補単語系列が有向弧ｑを通ることの事後確率ＰΛ（ｑ｜Ｘｒ）を式（８）で計算する。
【００２３】
【数７】
2010060809.tif 000009
【００２４】
損失関数値計算部７４は、誤り数の平均値ｃ（ｑ）と、事後確率ＰΛ（ｑ｜Ｘｒ）とを入力として式（９）の計算を行って単語ラティスに対する損失関数ＦＭＰＥ（Ｘｒ）を求める。
【００２５】
【数８】
2010060809.tif 000010
【００２６】
損失関数ＦＭＰＥ（Ｘｒ）を、最適化手法を用いてモデルパラメータλについて最小化することにより、認識誤りを少なくする。具体的な最適化手法としては、確率的降下（PD: Probabilistic Descent）法、Quickprop法、Rprop法、拡張Baum-Welch（EBW: Extended Baum-Welch）法等を用いることができる。何れの最適化手法においてもモデルパラメータλ（∈Λ）についてのＦＭＰＥ（Ｘｒ）の偏微分係数値∂ＦＭＰＥ（Ｘｒ）/∂λの計算が必要となる。偏微分係数値∂ＦＭＰＥ（Ｘｒ）/∂λは、logｐΛ（Ｘｒ，ｑ）≒log（ＰΛG（q）ηψｐΛＡ（Ｘｒ，｜ｑ）ψ）と置いたとき、式（１０）に示すように分解できる。
【００２７】
【数９】
2010060809.tif 000011
【００２８】
式（１０）の中で特に、Ｘｒが有向弧ｑに対応する部分単語系列を含む単語列を意図して発声された音声の特徴量情報系列であることの尤もらしさを表す識別スコアlogｐΛ（Ｘｒ，ｑ）についての偏微分係数値が重要である。
【００２９】
偏微分係数値計算部７５は、誤り数の平均値ｃ（ｑ）と、事後確率ＰΛ（ｑ｜Ｘｒ）と、損失関数ＦＭＰＥ（Ｘｒ）とを入力として、有向弧ｑでの偏微分係数値を式（１１）の計算で求める。
【００３０】
【数１０】
2010060809.tif 000012
【００３１】
つまり、単語ラティスに適用されるＭＰＥ/ＭＷＥ学習法では、有向弧ｑの誤り数の平均値ｃ（ｑ）と、認識誤り数の平均値ＦＭＰＥ（Ｘｒ）との差、つまり認識誤り数の平均値ＦＭＰＥ（Ｘｒ）を基準にして学習を行う。関数ＦＭＰＥ（Ｘｒ）よりも小さな誤り数の平均値ｃ（ｑ）を持つ場合は、識別スコアlogｐΛ（Ｘｒ，ｑ）を高くするように学習を進める。逆に有向弧ｑがＦＭＰＥ（Ｘｒ）よりも大きな誤り数の平均値ｃ（ｑ）を持つ場合は、識別スコアlogｐΛ（Ｘｒ，ｑ）を低くするように学習を進める。これを繰り返すことで、損失関数ＦＭＰＥ（Ｘｒ）を最小化することができる。モデルパラメータ更新部７６は損失関数が低くなるように音響モデルパラメータ記録部８２に記録されたモデルパラメータλ（ｔ）を、モデルパラメータλ（ｔ＋１）に更新する。
【非特許文献１】D.Povey and P.Woodland, “Minimum Phone Error and I−smoothing for improved discriminative training,”in Proc.ICASSP02,pp.105-108,2002.
【発明の開示】
【発明が解決しようとする課題】
【００３２】
従来のＭＰＥ/ＭＷＥ学習法では、対象とするシンボル系列集合内での認識誤り数の平均値と、ラティス全体としての認識誤り数の平均値との差と、対象とする単語系列集合の事後確率の大きさとを基準にしてモデルパラメータの学習を行っている。そのため、次のような問題点が生じる。
【００３３】
学習データの量が十分でない場合、或いは、学習データと認識対象とする特徴量情報系列とが異なる統計的性質を有している場合には、認識対象とする特徴量情報系列の誤り数を十分削減する学習効果が得られない。特に認識対象とする特徴量情報系列を初期モデルで認識した結果と、学習データを認識した結果とで、誤り数毎のシンボル系列数の分布が大きく異なる場合には学習効果が得られない。
【００３４】
また、探索部の認識結果出力特性によるが、探索部から出力されるラティスは、同じシンボルの並びでもシンボル境界の時刻のみが異なるシンボル系列が多数含まれることがある。このような場合には、誤り数毎のシンボル系列数の分布の偏りが大きくなり学習の効果は限定的になる。
【００３５】
この発明は、このような問題点に鑑みてなされたものであり、学習データの偏りやシンボル系列の出現傾向の偏りによる悪影響が小さく、より高い認識精度が得られるパラメータの学習に用いる誤り数別識別スコア・事後確率計算方法とその方法を用いた誤り数重み付き識別学習装置とその方法と、その装置を用いた音声認識装置と、そのプログラムと記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００３６】
この発明の誤り数別識別スコア・事後確率計算方法は、局所スコア・局所誤り計算過程と、誤り数別識別スコア計算過程と、誤り数別事後確率計算過程とを含む。局所スコア・局所誤り計算過程は、特徴量情報系列と、上記特徴量情報系列に対応した正解シンボル系列と、上記特徴量情報系列を複数の認識シンンボル系列で表現したラティスと、モデルパラメータとを入力として、上記ラティスに含まれる各々の有向弧に対する局所スコアと有向弧に含まれる局所誤り数とを計算する。誤り数別識別スコア計算過程は、上記局所スコアと、上記局所誤り数と、上記ラティスとを入力として、上記ラティスの誤り数別の識別スコアと誤り数別前向き累積スコアと誤り数別後ろ向き累積スコアとを計算する。誤り数別事後確率計算過程は、上記ラティスの誤り数別の識別スコアと、上記誤り数別前向き累積スコアと、上記誤り数別後ろ向き累積スコアと、上記局所スコアとを入力として、上記正解シンボル系列が上記ラティスに含まれる各々の有向弧を含むことの事後確率を誤り数別に計算する。
【００３７】
また、この発明の誤り数重み付き識別学習方法は、この発明の誤り数別識別スコア・事後確率計算方法を用いる。また、この発明の音声認識装置は、この発明の誤り数重み付き識別学習方法を用いる。
【発明の効果】
【００３８】
この発明の誤り数別識別スコア・事後確率計算方法は、誤り数別識別スコア計算過程でラティスの誤り数別の識別スコアと、誤り数別前向き累積スコアと、誤り数別後ろ向き累積スコアとを計算し、誤り数別事後確率計算過程で正解シンボル系列がラティスに含まれる各々の有向弧を含むことの事後確率を誤り数別に計算する。つまり、誤り数別に識別スコアと事後確率を計算するので、学習データの偏りや認識シンボル系列の出現傾向の偏りの影響を受け難いモデルパラメータの学習装置に用いることができる誤り数別識別スコア・事後確率計算方法とすることができる。
【００３９】
また、この発明の誤り数別識別スコア・事後確率計算方法を用いた誤り数重み付き識別学習方法は、認識性能を向上させる学習方法とすることができる。更に、その誤り数重み付き識別学習方法を用いた音声認識装置は、認識率を向上させたものにすることができる。
【発明を実施するための最良の形態】
【００４０】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００４１】
図１にこの発明の誤り数重み付き識別学習装置１００の機能構成例を示す。その動作フローを図２に示す。誤り数重み付き識別学習装置１００は、局所スコア・局所誤り計算部１２と、誤り数別識別スコア計算部１３と、誤り数別事後確率計算部１４と、損失関数値計算部１５と、偏微分係数値計算部１６と、モデルパラメータ更新部１７とを備える。  誤り数重み付き識別学習装置１００の外部に設けられたシンボル系列探索部１０とモデルパラメータ記録部１１とは、従来技術で説明した音響モデル学習装置７００の外部に設けられた単語系列探索部８１と音響モデルパラメータ記録部８２と、基本的に同じものである。また、誤り数重み付き識別学習装置１００内部の局所スコア・局所誤り計算部１２とモデルパラメータ更新部１７とは、従来技術の音響モデル学習装置７００の局所スコア・局所誤り計算部７０とモデルパラメータ更新部７６と、基本的に同じものである。つまり、これらの部分については、モデルパラメータが音声認識用であるか否かの違いしかない。
【００４２】
以降の説明では異なる部分のみを説明する。図２のステップＳ１０とステップＳ１２までの動作は、従来の音響モデル学習装置７００と同じである。なお、誤り数重み付き識別学習装置１００、及び音響モデル学習装置７００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現される。
【００４３】
誤り数別識別スコア計算部１３は、局所スコア・局所誤り計算部１２で計算された局所スコアｐｑと、局所誤り数ｅｑと、特徴量情報系列を複数の認識シンボル系列で表現したラティスとを入力として、式（１２）に示すラティスの誤り数別の識別スコアＧｊ（Ｘｒ）（以降、識別スコアＧｊ（Ｘｒ）と略す）を求める（ステップＳ１３）。
【００４４】
【数１１】
2010060809.tif 000013
【００４５】
識別スコアＧｊ（Ｘｒ）は、誤り数別の前向き・後ろ向きアルゴリズムによって効率的に計算することができる。今、有向弧ｑでの局所的なスコアを局所スコアｐｑ、有向弧ｑでの局所的な誤り数を局所誤り数ｅｑとする。連続パターン認識の結果として有向弧ｑに割り付けられた部分特徴量情報系列をｘｑ、部分単語系列をｓｑとすると、有向弧ｑの局所スコアｐｑは従来技術と同じように式（１）で計算することができる。有向弧ｑの局所スコアと、先行有向弧の全てｑ−（ｉ）（ｉ＝１，…，Ｎｑ−）の前向き累積スコアαｑ−（ｉ）とで、前向き確率の総和αｑ，ｊを式（１３）で計算する。
【００４６】
【数１２】
2010060809.tif 000014
【００４７】
つまり、有向弧ｑ（ｉ）と先行有向弧以前の累積誤り数ｋの全ての組み合わせにおいて、先行有向弧以前の累積誤り数ｋと、先行有向弧ｑ−（ｉ）の局所誤り数ｅｑ−（ｉ）との和であるｊ毎に、前向き確率の総和を求める。
【００４８】
単語ラティスの始節点を始端とする有向弧から順に、先行有向弧を漏れなく用いて漸化的に式（１３）を適用すれば、全ての有向弧ｑ∈Ｑについて前向き累積誤り数別の前向き確率αｑ，ｊ（以降、誤り数別前向き累積スコアと称する）を求めることができる。なお、先頭の有向弧については、始節点を終端としたｐｑ−(1)＝１、αｑ−(1)，ｊ＝１（全てのｊについて）、ｅｑ−＝０の仮想の先行有向弧ｑ−（１）＝ｑstartを考える。
【００４９】
同様に、単語ラティスの終節点を終端とする有向弧から順に後続有向弧を漏れなく用いて漸化的に式（１４）を適用すれば、全ての有向弧ｑ∈Ｑについて後ろ向き累積誤り数別の後ろ向き確率の総和βｑ，ｊ（以降、誤り数別後ろ向き累積スコアと称する）を求めることができる。
【００５０】
【数１３】
2010060809.tif 000015
【００５１】
全ての有向弧ｑ∈Ｑについて、誤り数別前向き累積スコアαｑ，ｊ、又は誤り数別後ろ向き累積スコアβｑ，ｊを計算すれば、識別スコアＧｊ（Ｘｒ）は式（１５）で得られる。
【００５２】
【数１４】
2010060809.tif 000016
【００５３】
つまり識別スコアＧｊ（Ｘｒ）は、終端の有向弧の誤り数別前向き累積スコアαfinalｊ＝Ｇｊ（Ｘｒ）又は、始端の有向弧の誤り数別後ろ向き累積スコアβstartｊ＝Ｇｊ（Ｘｒ）で表すことができる。
【００５４】
誤り数別事後確率計算部１４は、識別スコアＧｊ（Ｘｒ）と、誤り数別前向き累積スコアαｑ，ｊと、誤り数別後ろ向き累積スコアβｑ，ｊと、有向弧ｑの局所スコアｐｑとを入力として、誤り数ｊの認識シンボル系列が有向弧ｑを通ることの事後確率γｑ，ｊを式（１６）で計算する（ステップＳ１４）。
【００５５】
【数１５】
2010060809.tif 000017
【００５６】
式（１３）〜式（１６）の動作の概念図を図３に示す。局所誤りｅｑ＝２の有向弧ｑの前向き/後ろ向き累積スコア統合ζｑ，ｊ（以降、は累積スコア統合ζｑ，ｊと略す）式（１７）で計算できる。つまり、式（１６）の分子である。
【００５７】
【数１６】
2010060809.tif 000018
【００５８】
累積スコア統合ζｑ，ｊは、累積誤り数別の先行有向弧以前の累積スコアαｑ，ｋと、後続有向弧までの累積スコアβｑ，uと、事後確率を求めたい有向弧ｑの局所スコアｐｑとの積の累積である。この累積スコア統合ζｑ，ｊを識別スコアＧｊ（Ｘｒ）で除した値が、誤り数ｊの認識シンボル系列が有向弧ｑを通ることの事後確率γｑ，ｊである。αｑ，ｋ、βｑ，ｊ、γｑ，ｊは、有向弧ｑと誤り数ｊ毎のそれぞれの値である。
【００５９】
損失関数値計算部１５は、誤り数別の識別スコアＧｊ（Ｘｒ）を入力として、例えば式（１８）に示す損失関数値を計算する（ステップＳ１５）。
【００６０】
【数１７】
2010060809.tif 000019
【００６１】
ここでφは、誤り数別の識別スコアＧｊ（Ｘｒ）の誤り数ｊ毎のバラツキを抑制（φ→小）、又は強調（φ→大）するための制御係数である。
【００６２】
偏微分係数値計算部１６は、モデルパラメータについての式（１８）の損失関数を最小化する偏微分係数値（式（１９））を計算する（ステップＳ１６）。
【００６３】
【数１８】
2010060809.tif 000020
【００６４】
式（１９）の右辺第一項の値が重要であって、偏微分係数値計算部１６は、その右辺第一項を、誤り数別の識別スコアＧｊ（Ｘｒ）と、損失関数値ＦＭＧＥ１（Ｘｒ）と、事後確率γｑ，ｊとを入力として式（２０）で計算する。
【００６５】
【数１９】
2010060809.tif 000021
【００６６】
式（１８）と式（１９）とを用いて最適化手法を適用することで、損失関数値を最小化
することができる。最適化の収束を判定するのに特徴量情報系列の総損失ΓＭＧＥ１（Ｚ）（式
２１）とその偏微分係数値（式（２２））を用いる。Ｚは様々な部分特徴量情報系列Ｘｒ１，
…，Ｘｒｍを含む全体の特徴量情報系列（Ｚ∈{Ｘｒ（ｍ）｜ｍ＝１，…，Ｍ}）である。Ｘｒ（ｍ）
は式中の表記が正しい。  
【００６７】
【数２０】
2010060809.tif 000022
【００６８】
モデルパラメータ更新部１７は、式（１８）の偏微分係数値と、損失関数値ＦＭＧＥ１（Ｘｒ）と、モデルパラメータ記録部１１に記録されたモデルパラメータλ（ｔ）とを入力として、最適化手法を用いて損失関数を最小化するモデルパラメータλ（ｔ+1）に更新する（ステップＳ１７）。
【００６９】
以上のように誤り数別の識別スコアを用いてモデルパラメータを更新するので学習データの偏りや認識シンボル系列の出現傾向の偏りの影響を受け難いモデルパラメータの学習装置が実現できる。学習データの偏りや認識シンボル系列の出現傾向の偏りの影響を受け難い理由を図４と図５に示す。図４と図５は、単語シンボル系列当りの誤り数と、事後確率と偏微分係数値との関係を示したものである。横軸が単語シンボル系列当りの誤り数、図４（ａ）、図４（ｃ）、図５（ａ）、図５（ｃ）の縦軸が事後確率、図４（ｂ）、図４（ｄ）、図５（ｂ）、図５（ｄ）の縦軸が偏微分係数値である。
【００７０】
部分単語系列毎のバラツキを調整するパラメータψは全て０．１に固定されている。誤り数ｊ毎のバラツキを調整するパラメータφは図４（ａ），（ｂ）と図５（ａ），（ｂ）が１.０、図４（ｃ），（ｄ）と図５（ｃ），（ｄ）がφ＝０．２５に設定されている。ここでφ＝１に設定すると、事後確率と偏微分係数値は、単語シンボル系列の平均値となる。これは式（１８）から明らかである。つまり、図４（ａ），（ｂ）と図５（ａ），（ｂ）とは、従来技術の特性を示している。したがって、図４（ｃ），（ｄ）と図５（ｃ），（ｄ）の特性が実施例１で得られる事後確率と偏微分係数値である。
【００７１】
図４（ａ）と図４（ｃ）、図４（ｂ）と図４（ｄ）とを比較すると、従来技術の特性は、単語シンボル系列当りの誤り数が３０を超えるまで変化がない。それに対して実施例１の特性には変化が見られる。図５（ａ）と図５（ｃ）、図５（ｂ）と図５（ｄ）との比較も同じである。図５（ｃ），（ｄ）の特性は、式（２２）と式（２３）に示す損失関数と偏微分係数値を用いたもので、パラメータν＝０.２５、ε＝１０としたものである。このように変化が有るということは、学習に寄与することを意味する。
【００７２】
損失関数値と偏微分係数値を求める式には、上記したもの以外の式を適用することが可能である。例えば、式（２３）と式（２４）に示すように、誤り数に閾値εを設け、閾値εを境界として損失関数値に重み付けするようにしてもよい。
【００７３】
【数２１】
2010060809.tif 000023
【００７４】
ここでνは、閾値εを境界としてバラツキを制御するパラメータである。また、式（２５）と式（２６）に示すような損失関数値と偏微分係数値を用いてもよい。
【００７５】
【数２２】
2010060809.tif 000024
【００７６】
ここで、σは誤り数が大きくなるほど指数的に識別スコアを減衰させる減衰係数である。〔応用例〕
この発明の誤り数重み付き識別学習装置１００を音声認識に応用した例を説明する。図６にこの発明の誤り数重み付き識別学習装置１００を用いて音声認識装置６００を構成した機能構成例を示す。音声認識装置６００は、従来技術で説明した音声認識装置８００の音声認識用学習装置７００をこの発明の誤り数重み付き識別学習装置１００に置き換えたものである。
【００７７】
この発明の音声認識装置６００は、音響モデルを誤り数別に学習するので、認識スコアの精度を高められる。よって、誤認識の少ない音声認識装置を実現することができる。
【００７８】
〔実験結果〕
この発明の誤り数重み付き識別学習方法の効果を確認する目的で実験を行った。この発明による学習方法、損失関数値を式（２２）、偏微分係数値を式（２３）で求め、ψ＝０.０４、φ＝０.２５、ν＝０.６５、ε＝２０の条件で、日本語の学会講演約２３０時間分の音声を学習した。その後、上記学習データとは別の約１３０分の長さの評価音声を、この発明の音声認識装置７００で音声認識した結果の単語誤り率は１８.８％であった。従来技術の音声認識装置８００で評価音声を音声認識した結果の単語誤り率は１９.３％であった。また、初期値のモデルパラメータで音声認識した結果の単語誤り率は２１.６％であった。したがって、初期の誤り率を１００とした相対誤り削減率はこの発明の方法が１３．０％、従来法の削減率が１０.６％であり、この発明の学習方法の方が優れた認識性能を示すことが確認できた。
【００７９】
なお、この発明の技術思想に基づく誤り数別識別スコア・事後確率計算方法とその方法を用いた誤り数重み付き識別学習装置とその方法は、上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。上記した装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００８０】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００８１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ-ＲＡＭ（Random Access Memory）、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ-Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてフラッシュメモリー等を用いることができる。
【００８２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８３】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図面の簡単な説明】
【００８４】
【図１】この発明の誤り数重み付き識別装置１００の機能構成例を示す図。
【図２】誤り数重み付き識別装置１００の動作フローを示す図。
【図３】誤り数別前向き累積スコア〜事後確率γｑ，ｊを求める動作を概念的に示す図。
【図４】学習データの偏りや認識シンボル系列の出現傾向の偏りの影響を受け難い理由を示す図であり、（ａ）は従来技術の誤り数別事後確率を示す図、（ｂ）は従来技術の偏微分係数値を示す図、（ｃ）は実施例１の誤り数別事後確率を示す図、（ｄ）は実施例１の誤り数別偏微分係数値を示す図である。
【図５】学習データの偏りや認識シンボル系列の出現傾向の偏りの影響を受け難い理由を示す図であり、（ａ）は従来技術の誤り数別事後確率を示す図、（ｂ）は従来技術の偏微分係数値を示す図、（ｃ）は実施例１の誤り数別事後確率を示す図、（ｄ）は実施例１の誤り数別偏微分係数値を示す図である。
【図６】この発明の音声認識装置６００の機能構成を示す図。
【図７】従来の音響モデル学習装置の機能構成例を示す図。
【図８】「今日の北海道」に対応した単語ラティスの一例を示す図。
【図９】局所誤り数ｅｑの計数例を示す図であり、（ａ）は単語単位の誤り数の例を示す図、（ｂ）は音素単位の誤り数を示す図、(ｃ)は時間フレーム単位の誤り数の例を示す図である。
【図１０】前向き平均誤り数α′ｑの求め方の概念図を示す図。
【図１１】誤り数の平均値ｃ（ｑ）の求め方の概念図を示す図。
【図１】
2010060809.tif 000025
【図２】
2010060809.tif 000026
【図３】
2010060809.tif 000027
【図４】
2010060809.tif 000028
【図５】
2010060809.tif 000029
【図６】
2010060809.tif 000030
【図７】
2010060809.tif 000031
【図８】
2010060809.tif 000032
【図９】
2010060809.tif 000033
【図１０】
2010060809.tif 000034
【図１１】
2010060809.tif 000035