(57)【要約】【課題】時間的に異なる発話の音声認識結果から引き出した発話間の関係性を利用し、コストを抑えながら誤り修正モデルを最適化する。【解決手段】音声認識部１１は、発話の音声データを音声認識した結果を、発話の順序を保持して音声言語資源格納部２１に格納する。誤り傾向学習部１３は、音声認識結果に含まれる単語と、その音声認識結果に時間的に隣接した過去の発話の音声認識結果に含まれる単語とから発話の順序に応じた言語的な特徴を取得する。誤り傾向学習部１３は、取得した言語的な特徴を過去の発話の音声認識結果の事後確率に応じて重み付けし、重み付けした言語的な特徴に基づいて単語の認識誤りの傾向を統計的に学習し、学習した認識誤りの傾向を修正するための誤り修正モデルを生成する。音声認識部１４は、音声データを音声認識し、生成された誤り修正モデルを用いて音声認識結果の選択における誤りを修正する。【選択図】図３
2014119559.tif 000002
【特許請求の範囲】
【請求項１】
発話の音声データを音声認識して得られた音声認識結果を、発話の順序を保持して格納する音声言語資源格納部と、
前記音声認識結果に含まれる単語と当該音声認識結果よりも過去の発話の前記音声認識結果に含まれる単語とから発話の順序に応じた言語的な特徴を取得し、取得した前記言語的な特徴を前記過去の発話の前記音声認識結果の事後確率に応じて重み付けし、重み付けした前記言語的な特徴に基づいて単語の認識誤りの傾向を統計的に学習し、学習した前記認識誤りの傾向を修正するための誤り修正モデルを生成する誤り傾向学習部と、
を備えることを特徴とする音声認識装置。
【請求項２】
前記誤り傾向学習部は、重み付けした前記発話の順序に応じた言語的な特徴と、前記音声認識結果から得られる同一発話内の言語的な特徴とに基づいて単語の認識誤りの傾向を統計的に学習し、学習した認識誤りの傾向を修正するための誤り修正モデルを生成する、
ことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記発話の順序に応じた言語的な特徴は、前記音声認識結果に含まれる単語と前記過去の発話の前記音声認識結果に含まれる単語との共起関係であり、
前記同一発話内の言語的な特徴は、前記音声認識結果から得られる同一発話内の連続する複数の単語の共起関係、連続しない複数の単語の共起関係、単語の構文的な情報、または単語の意味的な情報のうち１以上である、
ことを特徴とする請求項２に記載の音声認識装置。
【請求項４】
前記誤り修正モデルは、前記過去の発話の前記音声認識結果の事後確率によって重み付けされた、前記発話の順序に応じた言語的な特徴に基づく第１の素性関数と、前記同一発話内の言語的な特徴に基づく第２の素性関数と、前記第１の素性関数及び前記第２の素性関数それぞれの素性重みとを用いて音声認識のスコアを修正する算出式であり、
前記誤り傾向学習部は、前記音声認識結果及び前記過去の発話の前記音声認識結果から得られた前記第１の素性関数の値と、前記音声認識結果から得られた前記第２の素性関数の値と、同一の前記音声データから得られた複数の前記音声認識結果を比較して得られる単語誤りの数を前記音声認識結果の事後確率で重み付けした値とを用いて定められる評価関数により算出した評価値に基づいて前記素性重みを統計的に算出し、算出した前記素性重みを用いて前記誤り修正モデルを生成する、
ことを特徴とする請求項２または請求項３に記載の音声認識装置。
【請求項５】
入力された音声データを音声認識し、前記誤り傾向学習部により生成された前記誤り修正モデルを用いて、前記入力された音声データから得られた音声認識結果の選択における誤りを修正する音声認識部をさらに備える、
ことを特徴とする請求項１から請求項４のいずれか１項に記載の音声認識装置。
【請求項６】
発話の音声データを音声認識して得られた音声認識結果を、発話の順序を保持して格納する音声言語資源格納過程と、
前記音声認識結果に含まれる単語と当該音声認識結果よりも過去の発話の前記音声認識結果に含まれる単語とから発話の順序に応じた言語的な特徴を取得し、取得した前記言語的な特徴を前記過去の発話の前記音声認識結果の事後確率に応じて重み付けし、重み付けした前記言語的な特徴に基づいて単語の認識誤りの傾向を統計的に学習し、学習した前記認識誤りの傾向を修正するための誤り修正モデルを生成する誤り傾向学習過程と、
を有することを特徴とする誤り修正モデル学習方法。
【請求項７】
コンピュータを、
発話の音声データを音声認識して得られた音声認識結果を、発話の順序を保持して格納する音声言語資源格納手段と、
前記音声認識結果に含まれる単語と当該音声認識結果よりも過去の発話の前記音声認識結果に含まれる単語とから発話の順序に応じた言語的な特徴を取得し、取得した前記言語的な特徴を前記過去の発話の前記音声認識結果の事後確率に応じて重み付けし、重み付けした前記言語的な特徴に基づいて単語の認識誤りの傾向を統計的に学習し、学習した前記認識誤りの傾向を修正するための誤り修正モデルを生成する誤り傾向学習手段と、
を具備する音声認識装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置、誤り修正モデル学習方法、及びプログラムに関する。
【背景技術】
【０００２】
音声認識の誤り修正については、音声とその書き起こし（正解文）から、言語的な特徴を用いて音声認識の誤り傾向を統計的に学習し、学習の結果得られた統計的な誤り修正モデルを用いて音声認識の性能改善を図る技術がある（例えば、非特許文献１参照）。また、正解単語列のない学習データから誤り修正モデルを学習し、音声認識性能の改善を図る技術がある（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】小林ほか，「単語誤り最小化に基づく識別的スコアリングによるニュース音声認識」，電子情報通信学会誌，vol.J93-D no.5，２０１０年，ｐ．５９８−６０９
【非特許文献２】Kobayashi, A., Oku, T., Homma, S., Imai, T. and Nakagawa, S., "Lattice-based risk minimization training for unsupervised language model adaptation", Proc. Interspeech, pp.1453-1456, 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
放送番組などの音声認識では、連続した複数の発話を逐次音声認識するが、音声認識が処理している発話の内容は、すでに音声認識の終わった直前の発話内容と関連することが多い。例えば、料理番組では、食材の紹介についての発話があれば、その後は料理方法に関する発話が続くと期待される。つまり、食材に関する単語とその料理方法に関する単語は、隣接する発話において共起する可能性が高い。例えば、「豚ヒレをたたきます」という発話の後に、「次に塩こしょうします」という発話が続くのであれば、「豚ヒレ」と「塩こしょう」の間に関係があり、これらが共起しやすいということになる。
しかし、非特許文献１、２に示す従来の誤り修正モデルのモデルパラメータ学習では、発話の順序に関係した発話間の単語の共起などの情報は考慮されていないため、発話内容を正しく予測する上で最適なモデルとはなっていない。
また、非特許文献１では、従来の誤り修正モデルの学習に際して、大量の音声データとその音声データの書き起こしである正解単語列が必要となる。統計的に頑健なモデルを推定するには、大量の学習データが必要となるが、書き起こしを作成するためのコストは高くつくという欠点がある。
【０００５】
本発明は、このような事情を考慮してなされたもので、時間的に異なる発話の音声認識結果から引き出した発話間の関係性を利用し、コストを抑えながら誤り修正モデルを最適化する音声認識装置、誤り修正モデル学習方法、及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
［１］  本発明の一態様は、発話の音声データを音声認識して得られた音声認識結果を、発話の順序を保持して格納する音声言語資源格納部と、前記音声認識結果に含まれる単語と当該音声認識結果よりも過去の発話の前記音声認識結果に含まれる単語とから発話の順序に応じた言語的な特徴を取得し、取得した前記言語的な特徴を前記過去の発話の前記音声認識結果の事後確率に応じて重み付けし、重み付けした前記言語的な特徴に基づいて単語の認識誤りの傾向を統計的に学習し、学習した前記認識誤りの傾向を修正するための誤り修正モデルを生成する誤り傾向学習部と、を備えることを特徴とする音声認識装置である。
この発明によれば、音声認識装置は、発話の音声データを音声認識し、得られた音声認識結果に含まれる単語と、その音声認識結果よりも過去の発話の音声認識結果に含まれる単語とから、発話の順序に応じた言語的な特徴を抽出する。過去の発話の音声認識結果として、例えば、時間的に隣接した直近の過去の発話の音声認識結果を用いる。音声認識装置は、抽出した言語的な特徴を、その言語的な特徴が得られた過去の発話の音声認識結果の事後確率に応じて重み付けし、重み付けした言語的な特徴に基づいて単語の認識誤りの傾向を統計的に学習し、学習した認識誤りの傾向を修正するための誤り修正モデルを生成する。
これにより、時間的に異なる発話の音声認識結果から引き出した発話間の関係性を利用し、発話内容を正しく予測する上で好適な誤り修正モデルを生成することができるとともに、音声データの書き起こしにかかるコストを低減することができる。
【０００７】
［２］  本発明の一態様は、上述する音声認識装置であって、前記誤り傾向学習部は、重み付けした前記発話の順序に応じた言語的な特徴と、前記音声認識結果から得られる同一発話内の言語的な特徴とに基づいて単語の認識誤りの傾向を統計的に学習し、学習した認識誤りの傾向を修正するための誤り修正モデルを生成する、ことを特徴とする。
この発明によれば、音声認識装置は、時間的に異なる発話の音声認識結果から発話の順序に応じた言語的な特徴を抽出するとともに、各音声認識結果から同一発話内の言語的な特徴を抽出する。音声認識装置は、抽出したこれらの言語的な特徴に基づいて単語の認識誤りの傾向を統計的に学習し、学習した認識誤りの傾向を修正するための誤り修正モデルを生成する。
これにより、音声認識装置は、音声認識の対象となっている発話よりも過去の発話の内容から引き出した情報に加えて、同一の発話内の言語的特徴を利用して、認識誤りを精度よく修正する誤り修正モデルを生成することができる。
【０００８】
［３］  本発明の一態様は、上述する音声認識装置であって、前記発話の順序に応じた言語的な特徴は、前記音声認識結果に含まれる単語と前記過去の発話の前記音声認識結果に含まれる単語との共起関係であり、前記同一発話内の言語的な特徴は、前記音声認識結果から得られる同一発話内の連続する複数の単語の共起関係、連続しない複数の単語の共起関係、単語の構文的な情報、または単語の意味的な情報のうち１以上である、ことを特徴とする。
この発明によれば、音声認識装置は、時間的に異なる発話の音声認識結果から得られる単語間の共起関係と、各音声認識結果から得られる同一発話内における単語の共起関係や構文的、意味的な情報とに基づいて単語の誤り傾向を統計的に学習し、学習した認識誤りの傾向を修正するための誤り修正モデルを生成する。
これにより、音声認識装置は、認識誤りを精度良く修正する誤り修正モデルを生成することができる。
【０００９】
［４］  本発明の一態様は、上述する音声認識装置であって、前記誤り修正モデルは、前記過去の発話の前記音声認識結果の事後確率によって重み付けされた、前記発話の順序に応じた言語的な特徴に基づく第１の素性関数と、前記同一発話内の言語的な特徴に基づく第２の素性関数と、前記第１の素性関数及び前記第２の素性関数それぞれの素性重みとを用いて音声認識のスコアを修正する算出式であり、前記誤り傾向学習部は、前記音声認識結果及び前記過去の発話の前記音声認識結果から得られた前記第１の素性関数の値と、前記音声認識結果から得られた前記第２の素性関数の値と、同一の前記音声データから得られた複数の前記音声認識結果を比較して得られる単語誤りの数を前記音声認識結果の事後確率で重み付けした値とを用いて定められる評価関数により算出した評価値に基づいて前記素性重みを統計的に算出し、算出した前記素性重みを用いて前記誤り修正モデルを生成する、ことを特徴とする。
この発明によれば、誤り修正モデルは、過去の発話の音声認識結果の事後確率によって重み付けされた、発話の順序に応じた言語的な特徴を表わす素性関数と、同一発話内の言語的な特徴を表す素性関数と、それら素性関数の素性重みとにより、音声認識のスコアを修正する算出式である。音声認識装置は、時間的に異なる発話の音声認識結果や同一の発話の音声認識結果から得られた素性関数の値と、同一の発話の複数の音声認識結果を比較して得られる単語誤りの数を、その音声認識結果の事後確率で重み付けした値とを用いて定められる評価関数により算出した評価値が、最も認識誤りが少ないことを示す評価値となるように素性重みを決定し、誤り修正モデルを生成する。
これにより、音声認識装置は、認識誤り傾向を効率的に学習し、誤り修正モデルを生成することができる。
【００１０】
［５］  本発明の一態様は、上述する音声認識装置であって、入力された音声データを音声認識し、前記誤り傾向学習部により生成された前記誤り修正モデルを用いて、前記入力された音声データから得られた音声認識結果の選択における誤りを修正する音声認識部をさらに備える、ことを特徴とする。
この発明によれば、音声認識装置は、音声データを音声認識することにより得られた正解候補の中から、誤り修正モデルを用いて音声認識結果を選択する。
これにより、音声認識装置は、認識率のよい音声認識結果を得ることができる。
【００１１】
［６］  本発明の一態様は、発話の音声データを音声認識して得られた音声認識結果を、発話の順序を保持して格納する音声言語資源格納過程と、前記音声認識結果に含まれる単語と当該音声認識結果よりも過去の発話の前記音声認識結果に含まれる単語とから発話の順序に応じた言語的な特徴を取得し、取得した前記言語的な特徴を前記過去の発話の前記音声認識結果の事後確率に応じて重み付けし、重み付けした前記言語的な特徴に基づいて単語の認識誤りの傾向を統計的に学習し、学習した前記認識誤りの傾向を修正するための誤り修正モデルを生成する誤り傾向学習過程と、を有することを特徴とする誤り修正モデル学習方法である。
【００１２】
［７］  本発明の一態様は、コンピュータを、発話の音声データを音声認識して得られた音声認識結果を、発話の順序を保持して格納する音声言語資源格納手段と、前記音声認識結果に含まれる単語と当該音声認識結果よりも過去の発話の前記音声認識結果に含まれる単語とから発話の順序に応じた言語的な特徴を取得し、取得した前記言語的な特徴を前記過去の発話の前記音声認識結果の事後確率に応じて重み付けし、重み付けした前記言語的な特徴に基づいて単語の認識誤りの傾向を統計的に学習し、学習した前記認識誤りの傾向を修正するための誤り修正モデルを生成する誤り傾向学習手段と、を具備する音声認識装置として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、時間的に異なる発話の音声認識結果から引き出した発話間の関係性を利用し、音声データの書き起こしにかかるコストを低減しながら誤り修正モデルを最適化することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による音声認識装置における誤り修正モデルの学習方法を示す図である。
【図２】同実施形態による発話の順序に応じた素性関数の例を説明するための図である。
【図３】同実施形態による音声認識装置の構成を示す機能ブロック図である。
【図４】同実施形態による音声認識装置の全体処理フローを示す図である。
【図５】同実施形態による音声認識装置のモデル学習処理フローを示す図である。
【図６】従来法による誤り修正モデルの学習方法を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
【００１６】
［１．  本実施形態の概要］
音声認識の誤り傾向を反映した誤り修正モデルはすでに考案されているが、この誤り修正モデルは、連続して発声される発話に対して、時間的に隣接する発話内容との関係性に基づく情報を利用したものではない。連続した発話では、直前の発話で使われた単語と関連する単語が含まれることが多い。従って、このような近接した発話間の単語のつながりを誤り修正モデルで利用すれば、音声認識の性能改善が期待される。
【００１７】
一方、誤り修正モデルを生成する際には一般に、音声とその書き起こしテキストである正解単語列を用いて音声認識の誤り傾向を学習する。書き起こしテキストは、人手により作成されるが、統計的モデルの頑健性を得るには大量の学習データが必要となるため、書き起こしの作成コストが高くつくという欠点がある。また、音声に対応する正解単語列が得られない場合、着目している発話の直前の発話の内容に関する情報は、認識誤りを含む複数の音声認識結果から獲得しなければならない。
そこで本実施形態の音声認識装置は、直近の発話内容についての複数の音声認識結果に含まれる言語的な特徴を利用して、音声認識性能を発話内容に適合させた誤り修正モデルを正解単語列なしに学習し、音声認識へ適用する。
【００１８】
［２．  誤り修正モデルの学習アルゴリズム］
続いて、本発明の一実施形態による音声認識装置に適用される誤り修正モデルの学習アルゴリズムを説明する。
上述したように、本実施形態の音声認識装置は、従来の課題を解決するために、学習に用いる音声データに発話の順序関係を導入し、隣接する発話間の関係性を誤り修正モデルに取り入れ、正解単語列なしに誤り修正モデルを学習する。本実施形態と従来法の違いは、誤り修正モデルを学習する際のデータの扱い方である。
【００１９】
図６は、従来法による誤り修正モデルの学習方法を示す図である。同図に示すように、従来法では、複数の発話から構成される学習データは、その順序関係を保存していない。加えて、従来法では、発話の正解単語列が学習データに含まれている。このように、音声認識の誤り傾向は、正解単語列を含み、かつ、順序関係が保持されていない学習データから学習される。
【００２０】
図１は、本実施形態による誤り修正モデルの学習方法を示す図である。同図に示すように、本実施形態では、音声認識結果のみを学習データとして用い、学習データの中の各発話の順序関係を考慮して時間的に隣接する発話間の関係を言語的な特徴として抽出し、誤り修正モデルの学習に利用する。これにより、隣接する発話間の関係が反映された誤り修正モデルが得られるため、従来法よりも音声認識性能を改善することが可能となる。また、正解単語列を必要としないため、従来法よりも誤り修正モデルの学習コストを抑えることができる。
このように、本実施形態の音声認識装置は、発話内容を正しく予測するための誤り修正モデルを、正解単語列のない音声認識結果と、直前の発話の音声認識結果とを用いて学習する。
【００２１】
［２．１  従来法の誤り修正モデル］
ベイズの定理によれば、音声入力ｘが与えられたとき、この音声入力ｘに対して最も尤もらしい単語列ｗ＾（「＾」は、「ハット」を表す。）は、以下の式（１）により求めることができる。
【００２２】
【数１】
2014119559.tif 000003
【００２３】
音声入力ｘ及び単語列ｗは、例えば、発話の単位に対応し、Ｐ（ｗ｜ｘ）は、音声入力ｘが与えられたときに単語列（文仮説）ｗが得られる事後確率である。
また、Ｐ（ｘ｜ｗ）は、単語列ｗに対する音響的な尤もらしさを示す尤度であり、そのスコア（音響スコア）は隠れマルコフモデル（Hidden Markov Model、ＨＭＭ）及びガウス混合分布（Gaussian Mixture Model，ＧＭＭ）に代表される統計的音響モデル（以下、「音響モデル」と記載する。）に基づいて計算される。言い換えれば、音響特徴量が与えられたとき、複数の正解候補の単語それぞれに対する尤もらしさを表すスコアが音響スコアである。
【００２４】
一方、Ｐ（ｗ）は、単語列ｗに対する言語的な生成確率であり、そのスコア（言語スコア）は、単語ｎ−ｇｒａｍモデル等の統計的言語モデル（以下、「言語モデル」と記載する。）により計算される。言い換えれば、音声認識対象の単語の前または後の単語列、あるいは前後両方の単語列が与えられたとき、複数の正解候補の単語列それぞれに対する尤もらしさを表すスコアが言語スコアである。なお、単語ｎ−ｇｒａｍモデルは、Ｎ単語連鎖（Ｎは、例えば１、２、または３である。）の統計に基づいて、（Ｎ−１）単語の履歴から次の単語の生起確率を与えるモデルである。
【００２５】
以下の説明では、音響モデルにＨＭＭ−ＧＭＭを用い、言語モデルにｎ−ｇｒａｍを用いる。
【００２６】
式（１）のＰ（ｘ｜ｗ）Ｐ（ｗ）が最大の場合は、その対数も最大である。そこで、音声認識では、上記の式（１）のベイズの定理に基づいて、音声入力ｘが与えられたときの文仮説（正解候補）である単語列ｗの評価関数ｑ（ｗ｜ｘ）を以下の式（２）のように定める。
【００２７】
【数２】
2014119559.tif 000004
【００２８】
式（２）において、ｆａｍ（ｘ｜ｗ）は、音響モデルによる単語列ｗの対数音響スコア、ｆｌｍ（ｗ）は、言語モデルによる単語列ｗの対数言語スコア、λｌｍは、音響スコアに対する言語スコアの重みである。
【００２９】
式（２）が定められたとき、以下の式（３）に示すように、音声入力ｘに対する正解候補の単語列ｗの集合の中から、式（２）が示す評価関数ｑ（ｗ｜ｘ）の結果が最大である単語列ｗ＾が、音声入力ｘの音声認識結果として選択される。
【００３０】
【数３】
2014119559.tif 000005
【００３１】
従来法における誤り修正モデルでは、最尤仮説を以下の式（４）により求める。
【００３２】
【数４】
2014119559.tif 000006
【００３３】
式（４）におけるΣｉλｉｆｉ（ｗ）は、単語列ｗの誤り傾向を反映したスコアであり、単語列ｗに対するペナルティもしくは報償として働く。また、ｆｉ（ｗ）（ｉ＝１，...，）はｉ番目の素性関数、λｉは素性関数ｆｉ（ｗ）の重み（素性重み）である。素性関数は、与えられた単語列（ここでは、単語列ｗ）で言語的ルールが成立すればその数となり、成立しなければ０となるような関数として定められる。これらルールは、例えば、同一の発話内における連続する単語、連続しない２単語以上の単語の共起関係、単語の構文的な情報または意味的な情報、などの言語的特徴である。従来法における具体的な素性関数ｆｉのルールの例として、以下があげられる。
【００３４】
例えば、単語の共起関係に基づく素性関数として、以下の（１）、（２）がある。
【００３５】
（１）単語列ｗに連続する単語２項組（ｕ，ｖ）が含まれる場合、その数を返す関数
（２）単語列ｗに連続しない単語２項組（ｕ，ｖ）が含まれる場合、その数を返す関数
【００３６】
また、単語列ｗを構成する各単語を名詞や動詞といった品詞カテゴリ（構文情報）に置き換えた上で得られる、構文情報に基づく素性関数として、例えば以下の（３）、（４）がある。なお、ｃ（・）は、単語を品詞にマッピングする関数である。
【００３７】
（３）単語列ｗに連続する品詞２項組（ｃ（ｕ），ｃ（ｖ））が含まれる場合、その数を返す関数
（４）単語列ｗに連続しない品詞２項組（ｃ（ｕ），ｃ（ｖ））が含まれる場合、その数を返す関数
【００３８】
あるいは、単語列ｗを構成する各単語を、意味情報を表すカテゴリ（意味カテゴリ）に置き換えた上で得られる、意味的な情報に基づく素性関数として、例えば以下の（５）、（６）がある。意味カテゴリは、本実施形態の音声認識装置が外部または内部に備えるデータベースに記憶されるシソーラスなどを用いて得ることができる。なお、ｓ（・）は単語を意味カテゴリにマッピングする関数である。
【００３９】
（５）単語列ｗに連続する意味カテゴリ２項組（ｓ（ｕ），ｓ（ｖ））が含まれる場合、その数を返す関数
（６）単語列ｗに連続しない意味カテゴリ２項組（ｓ（ｕ），ｓ（ｖ））が含まれる場合、その数を返す関数
【００４０】
上記のように、音声認識の誤り傾向は、素性関数とその重みにより言語的な特徴に対するペナルティとして表現され、学習データの単語誤りを最小化する評価関数に基づいて推定される。つまり、従来の誤り傾向の学習とは、学習データを用いて式（４）の重みλｉを求めることである。
【００４１】
［２．２  本実施形態に適用される誤り修正モデルの学習アルゴリズム］
いま、着目している音声入力（発話）ｘｍの音声認識結果の１つを単語列（文仮説）ｗｍ，ｋとする。また、その音声入力ｘｍの直近の音声入力ｘｍ−１から、時間的に隣接する発話の音声認識結果として得られた単語列の集合をＧｍ−１とする。この場合、音声入力ｘｍ、単語列の集合Ｇｍ−１が与えられたときの単語列ｗｍ，ｋの条件付き確率Ｐ（ｗｍ，ｋ｜ｘｍ，Ｇｍ−１）は、以下の式（５）のようになる。
【００４２】
【数５】
2014119559.tif 000007
【００４３】
ただし、式（５）の導出では、ベイズの定理と、集合Ｇｍ−１と音声入力ｘｍが条件付き独立であることを利用している。また、式（５）において、単語列ｗｍ，ｌは、音声入力ｘｍの音声認識結果として得られた複数の単語列である。
ここで、音声入力ｘｍと、隣接する発話の音声認識結果として得られた単語列の集合Ｇｍ−１とが与えられたとき、入力に対して最も尤もらしい単語列ｗ＾は以下の式（６）となり、式（１）が変更されることに注意する。
【００４４】
【数６】
2014119559.tif 000008
【００４５】
ここで、直近の入力音声により単語列ｗが得られた下での単語列の集合Ｇｍ−１の条件付き確率Ｐ（Ｇｍ−１｜ｗ）を、式（７）のように仮定する。
【００４６】
【数７】
2014119559.tif 000009
【００４７】
この仮定から、式（６）は以下の式（８）となる。
【００４８】
【数８】
2014119559.tif 000010
【００４９】
なお、γｊ（ｗ，Ｇｍ−１）（ｊ＝１，...，）は、単語列ｗと単語列の集合Ｇｍ−１によって定められる言語的な特徴を表す素性関数であり、時間的に異なる複数の発話間の情報を用いて表現される。また、φｊは、γｊに対応した重み（素性重み）である。
【００５０】
図２は、このような時間的に異なる複数の発話間で成立する言語的な特徴の素性関数γｊの例を説明するための図である。同図においては、着目している現在の発話の音声認識結果を文仮説ｗ１、ｗ２、ｗ３の集合とし、直近の発話の音声認識結果を文仮説ｕ１、…、ｕ４の集合とている。
時間的に異なる複数の発話間で成立する言語的な特徴として、以下に示すような、直近の発話の文仮説と現在の発話の文仮説との間の単語（同図における単語ｖとｚ）の共起がある。
【００５１】
（例）先行する発話の文仮説に単語ｚが含まれおり、かつ着目している発話の文仮説に単語ｖが含まれるときの単語ｖの数
【００５２】
上記の例のような発話間の言語的な特徴を得る関数をｈｊ（・，・）と表す。例えば、着目している現在の文仮説が図２に示す文仮説ｗ１であれば、文仮説ｗ１には単語ｖが１つ含まれており、単語ｚが１つ含まれる文仮説ｕ１との間で、ｈｊ（ｗ１，ｕ１）＝１となる。一方、着目している現在の文仮説を文仮説ｗ３とすれば、文仮説ｗ３には単語ｖが２つ含まれており、単語ｚが１つ含まれる文仮説ｕ４との間で、ｈｊ（ｗ３，ｕ４）＝２となる。
【００５３】
この関数ｈｊを用いて、素性関数γｊ（・，・）を以下の式（９）のように定める。
【００５４】
【数９】
2014119559.tif 000011
【００５５】
式（９）のｐ（ｗｍ−１，ｎ）は、直前の入力音声の発話についての第ｎ番目の音声認識結果である文仮説ｗｍ−１，ｎの事後確率である。このように、本実施形態の特徴は、過去の発話の音声認識結果に対する正解単語列が与えられない場合でも、過去の発話の音声認識結果の集合に含まれる文仮説がその事後確率に応じて正解単語列に相当するとみなし、各文仮説から得られた素性関数の値を事後確率で重み付けして足し合わせる点にある。
従来の識別的言語モデルの素性関数を考慮すれば、入力音声ｘｍから得られた文仮説ｗの事後確率は、直前の入力音声ｘｍ−１に対する音声認識結果として文仮説の集合Ｇｍ−１が得られた場合、以下の式（１０）となる。
【００５６】
【数１０】
2014119559.tif 000012
【００５７】
式（１０）のモデルパラメータΛは、（λ１，λ２，…）であり、モデルパラメータΦは、（φ１，φ２，…）である。また、式（１０）における、Ｚ（Λ，Φ）は、確率の条件を満たすための正規化定数であり、以下の式（１１）とする。式（１１）における単語列ｗ’は、音声入力ｘｍから音声認識により得られた複数の音声認識結果の文仮説である。
【００５８】
【数１１】
2014119559.tif 000013
【００５９】
本実施形態の音声認識装置による誤り修正モデルの学習とは、式（１０）における右辺の指数関数ｅｘｐの指数部分として示される誤り修正モデルのモデルパラメータΛ及びΦを学習データから推定することである。このように、本実施形態の誤り修正モデルは、発話の順序に応じた言語的な特徴に基づく素性関数の値と、同一発話内の言語的な特徴に基づく素性関数の値と、これら素性関数の素性重みとを用いて、音声認識のスコアを修正する算出式である。
【００６０】
ここで、正解単語列が付与されていないＭ個の発話からなる学習データが与えられたとき、モデルパラメータ推定のための目的関数Ｌ（Λ，Φ）を以下の式（１２）とする。
【００６１】
【数１２】
2014119559.tif 000014
【００６２】
ｍは発話の順序を示し、Ｎｍは、ｍ番目の学習データである音声入力ｘｍに対して音声認識により生成された文仮説ｗｍ，１、ｗｍ，２、…の総数である。また、Χ（ｗｍ，ｎ）は、以下の式（１３）とする。
【００６３】
【数１３】
2014119559.tif 000015
【００６４】
式（１３）におけるＲ（・，・）は２つの単語列の編集距離を返す関数であり、文仮説ｗｍ，ｋは音声入力ｘｍから得られた文仮説ｍ，ｎ以外の全ての文仮説である。２つの単語列の編集距離は、動的計画法により効率的に求めることができる。編集距離は、正解単語列に対する音声認識結果の誤り単語数と等価（置換、挿入、脱落誤りの操作）であるため、式（１２）の目的関数Ｌ（Λ，Φ）は、期待される単語誤りの数を表している。この目的関数Ｌ（Λ，Φ）を最小化するようにモデルパラメータΛとモデルパラメータΦを推定すれば、期待される単語誤りの数が最小となる誤り修正モデルが得られるため、音声認識の性能の向上が期待できる。これは、目的関数Ｌ（Λ，Φ）を最小化するようにモデルパラメータΛ及びΦを推定すれば、正解候補の単語列に期待される認識誤りが最小となり、学習データとは異なる未知の入力音声に対する音声認識においても、モデルパラメータΛ及びΦによって認識誤りの最小化が同様に行われるからである。つまり、式（１２）の目的関数は、正解候補の単語列に期待される認識誤りが最小となり、モデルパラメータΛ及びΦが適切であるかの評価値を算出する評価関数として用いられる。
【００６５】
なお、式（１３）におけるＰ（ｗｍ,ｋ｜ｘｍ）は、以下の式（１４）のように算出される。
【００６６】
【数１４】
2014119559.tif 000016
【００６７】
式（１４）におけるｇ＾は、式（１０）から以下の式（１５）となる。
【００６８】
【数１５】
2014119559.tif 000017
【００６９】
モデルパラメータを推定するため、目的関数のモデルパラメータΛ、Φに関する勾配ΔΛ、ΔΦを求めると、以下の式（１６）、式（１７）のようになる。
【００７０】
【数１６】
2014119559.tif 000018
【００７１】
【数１７】
2014119559.tif 000019
【００７２】
勾配ΔΛは、（∂Ｌ（Λ，Φ）／∂λ１，∂Ｌ（Λ，Φ）／∂λ２，∂Ｌ（Λ，Φ）／∂λ３，…）であり、勾配ΔΦは、（∂Ｌ（Λ，Φ）／∂φ１，∂Ｌ（Λ，Φ）／∂φ２，∂Ｌ（Λ，Φ）／∂φ３，…）である。また、Χ（・,・）は、モデルパラメータΛ、Φに関して定数とみなした。
【００７３】
ｔ回の繰り返し更新によりモデルパラメータΛｔ、Φｔの学習を行うとすれば、ｔ−１回目の繰り返しの後にモデルパラメータΛｔ−１、Φｔ−１が得られたとすると、以下の式（１８）、式（１９）がパラメータ更新式となる。
【００７４】
【数１８】
2014119559.tif 000020
【００７５】
【数１９】
2014119559.tif 000021
【００７６】
ここで、ηΛ、ηΦはそれぞれ、式（１６）、式（１７）で得られた勾配ΔΛ、勾配ΔΦの係数である。
また、隣接する発話の音声認識結果の集合が複数（Ｇｍ−１，Ｇｍ−２，…）与えられた場合も、同様の手続きを行えば、モデルパラメータΛ、Φの学習が可能である。
【００７７】
［３．  音声認識装置の構成］
図３は、本発明の一実施形態による音声認識装置１の構成を示す機能ブロック図であり、発明と関係する機能ブロックのみ抽出して示してある。
音声認識装置１は、コンピュータ装置により実現され、同図に示すように、音声認識部１１、特徴量抽出部１２、誤り傾向学習部１３、音声認識部１４、音声言語資源格納部２１、音響モデル格納部２２、言語モデル格納部２３、及び誤り修正モデル格納部２４を備えて構成される。
【００７８】
音声言語資源格納部２１は、学習データを格納する。音響モデル格納部２２は、音響モデルを格納する。言語モデル格納部２３は、言語モデルを格納する。誤り修正モデル格納部２４は、誤り修正モデルを格納する。
【００７９】
音声認識部１１は、学習データを生成するために発話の音声データＤ１を音声認識する。音声データＤ１は、発話の音声波形を短時間スペクトル分析して得られた特徴量を示す。本実施形態では、音声データを放送信号から取得する。音声認識部１１は、音声データＤ１と、この音声データＤ１を音声認識して得られた音声認識結果データＤ２とを対応付けて学習データとして音声言語資源格納部２１に書き込む。このとき、音声認識部１１は、音声認識を行った際の発話の順番も合わせて音声言語資源格納部２１に保持しておく。
【００８０】
特徴量抽出部１２は、学習データが示す発話の順番に整列された音声認識結果データＤ２から、同一発話内における言語的な特徴と発話の順序に応じた言語的な特徴を抽出する。特徴量抽出部１２は、得られた言語的な特徴をルールとする素性関数ｆｉ，γｊを示す素性関数データＤ３を出力する。
【００８１】
誤り傾向学習部１３は、特徴量抽出部１２が出力した素性関数データＤ３と、音声言語資源格納部２１が記憶する学習データとを入力として、誤り修正モデルのモデルパラメータΛ、Φを統計的手段により学習する。誤り傾向学習部１３は、学習したこれらのモデルパラメータΛ、Φを用いた誤り修正モデルを誤り修正モデル格納部２４に書き込む。
【００８２】
音声認識部１４は、音響モデル格納部２２に記憶されている音響モデル、及び言語モデル格納部２３に記憶されている言語モデルを参照し、誤り修正モデル格納部２４に記憶されている誤り修正モデルを用いて入力音声データＤ４の音声認識を行い、その結果を示す音声認識結果データＤ５を出力する。入力音声データＤ４は、発話の音声波形を短時間スペクトル分析して得られた特徴量を示す。
【００８３】
［４．  音声認識装置の処理手順］
図４は、本実施形態による音声認識装置１の全体処理フローを示す図である。以下、同図に示す各ステップの処理について説明する。
【００８４】
［４．１  ステップＳ１］
まず、音声認識部１１は、放送信号から番組の音声データＤ１を取得し、音声認識する。音声認識部１１は、各発話の音声データＤ１と、その音声認識結果を示す音声認識結果データＤ２とを対応付けた学習データを音声言語資源格納部２１に格納する。このとき、音声認識部１１は、音声認識を行った際の発話の順序を保持して格納する。音声認識結果データＤ２が示すｍ番目（ｍ＝１，２，…）の学習データには、ｍ番目の音声データＤ１である音声入力ｘｍと、音声入力ｘｍを音声認識して得られた文仮説ｗｍ，ｎ（ｎ＝１，２，…）が含まれる。
【００８５】
［４．２  ステップＳ２］
誤り傾向学習部１３は、音声言語資源格納部２１に記憶されている学習データから、誤り傾向学習のために用いる言語的特徴に基づく素性関数を抽出する。
【００８６】
まず、誤り傾向学習部１３は、学習データに含まれる音声認識結果データＤ２から、連続する単語２項組（ｕ，ｖ）の数を返す関数や、連続しない単語２項組（ｕ，ｖ）の数を返す関数など、連続する単語、連続しない２単語以上の単語、単語の構文的な情報または意味的な情報、などの先に記載したような同一発話内の言語的特徴に基づく素性関数を全て抽出する。
さらに、誤り傾向学習部１３は、音声認識結果データＤ２が示す正解候補の文仮説ｗｍ，ｎと、先行する発話の文仮説ｗｍ−１，ｎとの全ての組み合わせを参照し、式（９）に示すような、発話の順序に応じた言語的特徴に基づく素性関数を全て抽出する。
誤り傾向学習部１３は、抽出したこれらの素性関数が出現する頻度をカウントする。誤り傾向学習部１３は、カウントした出現頻度が予め定めた閾値以上である同一発話内の言語的特徴に基づく素性関数、発話の順序に応じた言語的特徴に基づく素性関数をそれぞれ、ステップＳ３の誤り傾向学習処理においてモデルパラメータの学習に用いる素性関数ｆｉ、素性関数γｊとして決定する。誤り傾向学習部１３は、決定した素性関数ｆｉ、γｊを設定した素性関数データＤ３を誤り傾向学習部１３に出力する。
【００８７】
［４．３  ステップＳ３］
続いて誤り傾向学習部１３は、誤り修正モデルのモデルパラメータΛ、Φを学習する。
図５は、ステップＳ３において誤り傾向学習部１３が実行する誤り修正モデル更新処理の処理フローを示す図である。
【００８８】
（ステップＳ３１：モデルパラメータ初期化処理）
誤り傾向学習部１３は、モデルパラメータΛ、Φに対して適当な初期値を設定する。本実施形態では、初期値をΛ＝Φ＝０とし、すべてのパラメータをゼロとおく。
【００８９】
（ステップＳ３２：編集距離計算処理）
式（１２）の目的関数を計算するためには、同じ発話から得られた音声認識結果同士の編集距離を計算する必要がある。そこで、誤り傾向学習部１３は、音声言語資源格納部２１に記憶されている学習データを読み出し、学習データが示す音声認識結果データＤ２から、同じ入力音声ｘｍを音声認識して得られた文仮説ｗｍ，ｎと他の文仮説ｗｍ，ｋを取得して、編集距離Ｒ（ｗｍ，ｎ，ｗｍ，ｋ）を計算する。これらの編集距離は、誤り修正モデルの学習では定数扱いとなることに注意する。
【００９０】
（ステップＳ３３：素性関数更新処理）
誤り傾向学習部１３は、発話間の言語的な特徴に基づく素性関数γｊ（・，・）の値を更新する。これは、式（９）から明らかなように、素性関数γｊが、直前の発話の文仮説ｗｍ−１，ｎの事後確率ｐ（ｗｍ−１，ｎ）に依存するためである。なお、事後確率ｐ（ｗｍ−１，ｎ）は、現在のモデルパラメータΛ、Φの値により、式（１０）の式を用いて算出する。つまり、誤り傾向学習部１３は、式（１０）におけるｘｍ、ｗ、Ｇｍ−１をそれぞれ、学習データが示す直前の発話の音声入力ｘｍ−１、音声入力ｘｍ−１から得られた文仮説ｗｍ−１，ｎ、音声入力ｘｍ−２から音声認識結果として得られた単語列の集合Ｇｍ−２として算出する。このとき、誤り傾向学習部１３は、文仮説ｗｍ−１，ｎの音響モデルのスコアｆａｍ（ｘｍ−１｜ｗｍ−１，ｎ）を、音響モデル格納部２２に記憶されている音響モデルと、ｍ−１番目の学習データが示す音声データである入力音声ｘｍ−１とを用いて得る。また、誤り傾向学習部１３は、文仮説ｗｍ−１，ｎの言語モデルのスコアｆａｍ（ｗｍ−１，ｎ）を、言語モデル格納部２３に記憶されている言語モデルを用いて得る。なお、誤り傾向学習部１３は、素性関数γｊを素性関数データＤ３から得る。
【００９１】
（ステップＳ３４：目的関数計算処理）
誤り傾向学習部１３は、式（１２）に従って目的関数Ｌ（Λ，Φ）の値を計算する。誤り傾向学習部１３は、式（１２）におけるΧ（ｗｍ，ｎ）を式（１３）により算出するが、この算出には、ステップＳ３２において求めた編集距離Ｒ（ｗｍ，ｎ，ｗｍ，ｋ）と、式（１４）により算出した事後確率Ｐ（ｗｍ,ｋ｜ｘｍ）を用いる。誤り傾向学習部１３は、式（１４）の算出に用いるｇ＾（ｗｍ，ｋ｜ｘｍ）を、音響モデルのスコアｆａｍ（ｘｍ｜ｗｍ，ｋ）、言語モデルのスコアｆｌｍ（ｗｍ，ｋ）、及び現在のモデルパラメータΛ、Φから式（１５）を用いて計算する。また、誤り傾向学習部１３は、式（１２）における条件付き確率Ｐ（ｗｍ，ｎ｜ｘｍ，Ｇｍ―１）を、音響モデルのスコアｆａｍ（ｘｍ｜ｗｍ，ｎ）、言語モデルのスコアｆｌｍ（ｗｍ，ｎ）、及び現在のモデルパラメータΛ、Φから式（１０）を用いて計算する。
各文仮説ｗｍ，ｎ、ｗｍ，ｋを文仮説ｗとした場合、誤り傾向学習部１３は、音響モデルのスコアｆａｍ（ｘｍ｜ｗ）を、音響モデル格納部２２に記憶されている音響モデルと、ｍ番目の学習データが示す音声データである入力音声ｘｍとを用いて得る。また、誤り傾向学習部１３は、文仮説ｗの言語モデルのスコアｆｌｍ（ｗ）を、言語モデル格納部２３に記憶されている言語モデルを用いて得る。さらに、誤り傾向学習部１３は、素性関数ｆｉ（ｗ）の値を文仮説ｗから算出し、素性関数γｉ（ｗ，Ｇｍ−１）の値にステップＳ３３において算出した値を用いる。なお、誤り傾向学習部１３は、素性関数ｆｉを素性関数データＤ３から得る。
【００９２】
（ステップＳ３５：勾配計算処理）
誤り傾向学習部１３は、現在のモデルパラメータΛ、Φの値を用いて、式（１６）及び式（１７）により、式（１２）のモデルパラメータΛ、Φに関する勾配ΔΛ、ΔΦを求める。誤り傾向学習部１３は、式（１６）及び式（１７）におけるΧ（ｗｍ，ｎ）、及び事後確率Ｐ（ｗｍ，ｎ｜ｘｍ，Ｇｍ−１）、Ｐ（ｗｍ，ｎ’｜ｘｍ，Ｇｍ−１）に、ステップＳ３４において目的関数Ｌ（Λ，Φ）を算出したときの値を用いる。また、誤り傾向学習部１３は、式（１６）における素性関数γｊ（ｗｍ，ｎ，Ｇｍ−１）、γｊ（ｗｍ，ｎ’，Ｇｍ−１）に、ステップＳ３３において算出した値を用いる。また、誤り傾向学習部１３は、式（１７）における素性関数ｆｉ（ｗｍ，ｎ）、ｆｉ（ｗｍ，ｎ’）に、ステップＳ３４において算出した値を用いる。
【００９３】
誤り傾向学習部１３は、求めた勾配ΔΛ、ΔΦを用いて、式（１８）及び式（１９）により、モデルパラメータΛ、Φを更新する。なお、式（１８）及び式（１９）における係数ηΛ、ηΦは、予め定めた値を用いる。
【００９４】
（ステップＳ３６：終了判定処理）
誤り傾向学習部１３は、ステップＳ３５の勾配計算処理により得られた目的関数の値と、更新前の目的関数の値とを比較し、値の変化が所定以上であれば、ステップＳ３３からの処理を繰り返し、所定よりも小さければ更新が収束したとみなしてモデルパラメータΛ、Φの更新を打ち切り、ステップＳ３７の処理を実行する。
【００９５】
（ステップＳ３７：誤り修正モデル出力処理）
誤り傾向学習部１３は、更新が収束したときのモデルパラメータΛ＝（λ１，λ２，…）、及びΦ＝（φ１，φ２，…）を用いた誤り修正モデルを誤り修正モデル格納部２４に書き込む。
【００９６】
［４．４  ステップＳ４］
音声認識部１４は、音声認識対象の音声データとして入力音声データＤ４が入力されると、誤り修正モデル格納部２４に記憶されている誤り修正モデルと、音響モデル格納部２２に記憶されている音響モデル、及び、言語モデル格納部２３に記憶されている言語モデルとを用いて、入力音声データＤ４の正解候補の単語列を得、それらのスコアを算出する。音声認識部１４は、スコアが最もよい正解候補の単語列を正解単語列として設定した音声認識結果データＤ５をリアルタイムで出力する。この誤り修正モデルを用いることにより、音声認識部１４は、入力音声データＤ４から得られた音声認識結果の選択における誤りを修正する。
【００９７】
［５．  効果］
本実施形態によれば、音声認識装置１は、直前の発話内容を反映した誤り修正モデルを正解単語列なしに構成することが可能となり、従来の音声認識よりも認識誤りが削減される。
【００９８】
［６．  その他］
なお、上述の音声認識装置１は、内部にコンピュータシステムを有している。そして、音声認識装置１の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
【００９９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【０１００】
１  音声認識装置
１１  音声認識部
１２  特徴量抽出部
１３  誤り傾向学習部
１４  音声認識部
２１  音声言語資源格納部
２２  音響モデル格納部
２３  言語モデル格納部
２４  誤り修正モデル格納部
【図１】
2014119559.tif 000022
【図２】
2014119559.tif 000023
【図３】
2014119559.tif 000024
【図４】
2014119559.tif 000025
【図５】
2014119559.tif 000026
【図６】
2014119559.tif 000027