(57)【特許請求の範囲】
【請求項１】
比較される対象の音声に関するデータである音響データを格納している音響データ格納部と、
音声の入力を受け付ける音声入力部と、
前記音響データを用いて、前記音声入力部が受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する音声認識部と、
前記音声認識部が音声認識処理を行った後、前記音声入力部が受け付けた音声に対して、前記音響データを用いて、発音の良し悪しに関する評価を行う処理である発音評定処理を行い、発音評定結果を取得する発音評定部と、
前記発音評定結果が所定の閾値に対して所定の関係にあるか否かを判断する判断部と、
前記判断部が所定の関係にあると判断した場合のみ、前記音声認識部が取得した音声認識処理結果情報についての音声認識結果を出力する出力部を具備し、
前記音響データは、
状態を識別する２以上の状態識別子と状態間の遷移確率の情報を有するデータであり、
前記発音評定部は、
前記音声入力部が受け付けた音声を、フレームに区分するフレーム区分手段と、
前記区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得手段と、
前記1以上のフレーム音声データの前記遷移確率が最も高い状態である最適状態を決定する最適状態決定手段と、
前記最適状態決定手段が決定した最適状態の事後確率を示す確率値を、発音区間毎に取得する発音区間確率値取得手段と、
前記発音区間確率値取得手段が取得した１以上の発音区間毎の１以上の確率値の時間平均値を算出し、当該時間平均値を用いて音声の評定値を算出する評定値算出手段とを具備する音声認識装置。
【請求項２】
比較される対象の音声に関するデータである音響データを格納している音響データ格納部と、
音声の入力を受け付ける音声入力部と、
前記音響データを用いて、前記音声入力部が受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する音声認識部と、
前記音声認識部が音声認識処理を行った後、前記音声入力部が受け付けた音声に対して、前記音響データを用いて、発音の良し悪しに関する評価を行う処理である発音評定処理を行い、発音評定結果を取得する発音評定部と、
前記発音評定結果が所定の閾値に対して所定の関係にあるか否かを判断する判断部と、
前記判断部が所定の関係にあると判断した場合のみ、前記音声認識部が取得した音声認識処理結果情報についての音声認識結果を出力する出力部を具備し、
前記音響データは、
状態を識別する２以上の状態識別子と状態間の遷移確率の情報を有するデータであり、
前記発音評定部は、
前記音声入力部が受け付けた音声を、フレームに区分するフレーム区分手段と、
前記1以上のフレーム音声データの前記遷移確率が最も高い状態である最適状態を決定する最適状態決定手段と、
前記最適状態決定手段が決定した各フレームの最適状態を有する音韻全体の状態における１以上の事後確率を示す確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得手段と、
前記発音区間フレーム音韻確率値取得手段が取得した１以上の発音区間毎の１以上の確率値の総和に基づいて、発音区間毎の確率値の総和の時間平均値を１以上算出し、当該１以上の時間平均値を用いて音声の評定値を算出する評定値算出手段を具備する音声認識装置。
【請求項３】
前記発音評定部は、
無音を示すデータである無音データを格納している無音データ格納手段と、
前記入力音声データおよび前記無音データに基づいて、無音の区間を検出する無音区間検出手段をさらに具備し、
前記最適状態決定手段は、
前記無音の区間についてのフレーム音声データを除いた前記1以上のフレーム音声データの最適状態を決定する請求項１または請求項２記載の音声認識装置。
【請求項４】
前記発音評定部は、
前記音声入力部が受け付けた音声に対して、前記音声認識部が取得した音声認識処理結果情報と前記音響データを用いて発音評定処理を行い、発音評定結果を取得する請求項１から請求項３いずれか記載の音声認識装置。
【請求項５】
音声認識処理結果情報は、
音素トランスクリプションであり、
前記発音評定部は、
前記音声認識部が取得した音素トランスクリプションに対応する音響データを用いて発音評定処理を行い、発音評定結果を取得する請求項４記載の音声認識装置。
【請求項６】
コンピュータに、
音声の入力を受け付ける音声入力ステップと、
格納されている音響データを用いて、前記音声入力ステップで受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する音声認識ステップと、
前記音声認識処理の後、前記音声入力ステップで受け付けた音声に対して、前記音響データを用いて、発音の良し悪しに関する評価を行う処理である発音評定処理を行い、発音評定結果を取得する発音評定ステップと、
前記発音評定結果が所定の閾値に対して所定の関係にあるか否かを判断する判断ステップと、
前記判断ステップで所定の関係にあると判断した場合のみ、前記音声認識ステップで取得した音声認識処理結果情報についての音声認識結果を出力する出力ステップを実行させるためのプログラムであって、
前記音響データは、
状態を識別する２以上の状態識別子と状態間の遷移確率の情報を有するデータであり、
前記発音評定ステップは、
前記音声入力ステップで受け付けられた音声を、フレームに区分するフレーム区分ステップと、
前記区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得ステップと、
前記1以上のフレーム音声データの前記遷移確率が最も高い状態である最適状態を決定する最適状態決定ステップと、
前記最適状態決定ステップで決定された最適状態の事後確率を示す確率値を、発音区間毎に取得する発音区間確率値取得ステップと、
前記発音区間確率値取得ステップで取得された１以上の発音区間毎の１以上の確率値の時間平均値を算出し、当該時間平均値を用いて音声の評定値を算出する評定値算出ステップとを具備するプログラム。
【請求項７】
コンピュータに、
音声の入力を受け付ける音声入力ステップと、
格納されている音響データを用いて、前記音声入力ステップで受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する音声認識ステップと、
前記音声認識処理の後、前記音声入力ステップで受け付けた音声に対して、前記音響データを用いて、発音の良し悪しに関する評価を行う処理である発音評定処理を行い、発音評定結果を取得する発音評定ステップと、
前記発音評定結果が所定の閾値に対して所定の関係にあるか否かを判断する判断ステップと、
前記判断ステップで所定の関係にあると判断した場合のみ、前記音声認識ステップで取得した音声認識処理結果情報についての音声認識結果を出力する出力ステップを実行させるためのプログラムであって、
前記音響データは、
状態を識別する２以上の状態識別子と状態間の遷移確率の情報を有するデータであり、
前記発音評定ステップは、
前記音声入力ステップで受け付けられた音声を、フレームに区分するフレーム区分ステップと、
前記1以上のフレーム音声データの前記遷移確率が最も高い状態である最適状態を決定する最適状態決定ステップと、
前記最適状態決定ステップで決定された各フレームの最適状態を有する音韻全体の状態における１以上の事後確率を示す確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得ステップと、
前記発音区間フレーム音韻確率値取得ステップで取得された１以上の発音区間毎の１以上の確率値の総和に基づいて、発音区間毎の確率値の総和の時間平均値を１以上算出し、当該１以上の時間平均値を用いて音声の評定値を算出する評定値算出ステップとを具備するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識処理を行う音声認識装置等に関するものである。
【背景技術】
【０００２】
従来の音声認識装置において、認識精度を向上するための種々の音声認識アルゴリズムを用いた音声認識装置が存在する（例えば、特許文献１、特許文献２、特許文献３、特許文献４参照）。
【特許文献１】特開２００３−４４０７９号公報（第１頁、第１図等）
【特許文献２】特開２００３−２２０９１号公報（第１頁、第１図等）
【特許文献３】特開平１０−２５４３５０号公報（第１頁、第１図等）
【特許文献４】特開平７−１９９９８９号公報（第１頁、第１図等）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の音声認識装置においては、たとえ認識精度の高いアルゴリズムで音声認識処理を行っても、誤った認識結果を出力する場合もあり、かかる場合には、その音声認識装置に対するユーザの信頼を構築できない、という課題があった。
【課題を解決するための手段】
【０００４】
入力された音声の発音を評定して、発音評定結果が低い場合に、認識結果を出力しない音声認識装置により、誤った認識結果を出力する可能性を、大幅に減らすことができる。その結果、音声認識装置に対するユーザの信頼を担保できる。
【０００５】
本音声認識装置は、具体的には、以下の音声認識装置である。
【０００６】
本第一の発明の音声認識装置は、比較される対象の音声に関するデータである音響データを格納している音響データ格納部と、音声の入力を受け付ける音声入力部と、前記音響データを用いて、前記音声入力部が受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する音声認識部と、前記音声入力部が受け付けた音声に対して、前記音響データを用いて発音評定処理を行い、発音評定結果を取得する発音評定部と、前記発音評定結果が所定の閾値に対して所定の関係にあるか否かを判断する判断部と、前記判断部が所定の関係にあると判断した場合のみ、前記音声認識部が取得した音声認識処理結果情報についての音声認識結果を出力する出力部を具備する音声認識装置である。
【０００７】
かかる構成により、誤った認識結果を出力する可能性を、大幅に減らすことができる。
【０００８】
また、本第二の発明の音声認識装置は、第一の発明に対して、前記発音評定部は、前記音声入力部が受け付けた音声に対して、前記音声認識部が取得した音声認識処理結果情報と前記音響データを用いて発音評定処理を行い、発音評定結果を取得する音声認識装置である。
【０００９】
かかる構成により、誤った認識結果を出力する可能性を、大幅に減らすことができる。
【００１０】
また、本第三の発明の音声認識装置は、第一、第二いずれかの発明に対して、前記発音評定部は、前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分手段と、前記区分されたフレーム毎の音声データであるフレーム音声データを１以上得るフレーム音声データ取得手段と、前記１以上のフレーム音声データの最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した最適状態の確率値を、発音区間毎に取得する発音区間確率値取得手段と、前記発音区間確率値取得手段が取得した１以上の発音区間毎の１以上の確率値をパラメータとして、音声の評定値を算出する評定値算出手段とを具備する音声認識装置である。
【００１１】
かかる構成により、さらに精度の高い発音評定が行え、誤った認識結果を出力する可能性を、さらに大幅に減らすことができる。
【００１２】
また、本第四の発明の音声認識装置は、第一、第二いずれかの発明に対して、前記発音評定部は、前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分手段と、前記１以上のフレーム音声データの最適状態を決定する最適状態決定手段と、前記最適状態決定手段が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得手段と、前記発音区間フレーム音韻確率値取得手段が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出手段を具備する音声認識装置である。
【００１３】
かかる構成により、さらに精度の高い発音評定が行え、誤った認識結果を出力する可能性を、さらに大幅に減らすことができる。
【００１４】
また、本第五の発明の音声認識装置は、第三、第四いずれかの発明に対して、前記発音評定部は、無音を示すデータである無音データを格納している無音データ格納手段と、前記入力音声データおよび前記無音データに基づいて、無音の区間を検出する無音区間検出手段をさらに具備し、前記最適状態決定手段は、前記無音の区間についてのフレーム音声データを除いた前記１以上のフレーム音声データの最適状態を決定する音声認識装置である。
【００１５】
かかる構成により、無音データを検出することにより、さらに精度の高い発音評定が行え、その結果、誤った認識結果を出力する可能性を、さらに大幅に減らすことができる。
【発明の効果】
【００１６】
本発明による音声認識装置によれば、誤った認識結果を出力することを防止できる。
【発明を実施するための最良の形態】
【００１７】
以下、音声認識装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００１８】
（実施の形態１）
本実施の形態における音声認識装置は、受け付けた音声に対して発音の良し悪しを判断する発音評定処理を行い、発音評定処理の結果である評定値が所定の条件を満たす場合にのみ音声認識結果を出力する音声認識装置である。また、本音声認識装置が行う発音評定処理における評定値は、発音区間ごとに算出される。
【００１９】
なお、本音声認識装置が行う各フレームの発音評定処理について、入力音声のフレームに対する最適状態の事後確率を、動的計画法を用いて算出することから、当該事後確率をＤＡＰ（Ｄｙｎａｍｉｃ  Ａ  Ｐｏｓｔｅｒｉｏｒｉ  Ｐｒｏｂａｂｉｌｉｔｙ）と呼び、ＤＡＰに基づく類似度計算法および発音評定処理を行う装置をＤＡＰＳと呼ぶ。そして、本音声認識装置は、発音区間ごとに評定値を算出するので、本音声認識装置が算出する事後確率を、ＤＡＰに対してｔ−ＤＡＰと呼ぶ。
【００２０】
図１は、本実施の形態における音声認識装置のブロック図である。
【００２１】
音声認識装置は、受付部１０１、音声受付部１０２、音響データ格納部１０３、認識候補データ格納部１０４、音声認識部１０５、発音評定部１０６、判断部１０７、出力部１０８を具備する。
【００２２】
発音評定部１０６は、フレーム区分手段１０６１、フレーム音声データ取得手段１０６２、最適状態決定手段１０６３、発音区間確率値取得手段１０６４、評定値算出手段１０６５を具備する。
【００２３】
受付部１０１は、音声認識装置の処理を開始する指示である開始指示などを受け付ける。開始指示などの入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部１０１は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００２４】
音声受付部１０２は、音声の入力を受け付ける。音声は、マイク等から入力される。入力される音声は、音声認識の対象の情報である。音声受付部１０２は、マイクとドライバーソフト等で実現され得る。
【００２５】
音響データ格納部１０３は、比較される対象の音声に関するデータである音響データを格納している。音響データは、例えば、音韻毎の隠れマルコフモデルを連結したＨＭＭに基づくデータであることが好適である。また、音響データは、入力される音声を構成する音素に対応するＨＭＭを、入力順序に従って連結されているＨＭＭに基づくデータであることが好適である。ただし、音響データは、必ずしも、音韻毎のＨＭＭを連結したＨＭＭに基づくデータである必要はない。音響データは、全音素のＨＭＭの、単なる集合であっても良い。また、音響データは、必ずしもＨＭＭに基づくデータである必要はない。音響データは、単一ガウス分布モデルや、確率モデル（ＧＭＭ：ガウシャンミクスチャモデル）や、統計モデルなど、他のモデルに基づくデータでも良い。ＨＭＭに基づくデータは、例えば、フレーム毎に、状態識別子と遷移確率の情報を有する。また、ＨＭＭに基づくデータは、例えば、複数の音声認識対象言語を母国語として話す人が発声した２以上のデータから学習した（推定した）モデルでも良い。音響データ格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２６】
認識候補データ格納部１０４は、音声認識の候補を示すデータである認識候補データを1以上格納している。認識候補データは、例えば、単語の音素トランスクリプションである。なお、ここで音素トランスクリプションとは、音素を文字列に表現した情報である。音素トランスクリプションとは、例えば、「ｉｎｕ」「ｎｅｋｏ」「ｕｍｅ」「ｈｉｔｓｕｊｉ」などである。認識候補データ格納部１０４は、単語ではなく、一の音素（例えば、「ｕ」）を文字列に表現した情報を格納していても良い。また、認識候補データは、例えば、音声認識の候補を識別する識別子でも良い。認識候補データが音声認識の候補を識別する識別子である場合、音声認識の候補を示すデータ自身は、例えば、外部の装置や、本音声認識装置が有する（図示しない）。認識候補データ格納部１０４は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２７】
音声認識部１０５は、音響データ、または音響データと認識候補データを用いて、音声受付部１０２が受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する。音声認識処理結果情報は、例えば、音声認識処理結果の認識候補データ（例えば、音素トランスクリプション）や、音声認識処理結果の最適状態系列である。音声認識処理結果情報のデータ構造は問わない。音声認識部１０５は、通常、受付部１０１が開始指示を受け付けた後、音声認識処理を行う。音声認識部１０５は、音響データと認識候補データを用いて、特定の単語等を認識処理しても良いし、認識候補データを用いずに、音響データを利用して不特定の単語等を認識処理しても良い。また、音声認識処理のアルゴリズムは問わない。音声認識処理自体は種々の公知技術が存在するので、説明を省略する。音声認識部１０５は、通常、ＭＰＵやメモリ等から実現され得る。音声認識部１０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２８】
発音評定部１０６は、音声受付部１０２が受け付けた音声に対して、音響データ格納部１０３の音響データを用いて発音評定処理を行い、発音評定結果を取得する。また、通常、発音評定部１０６は、音声受付部１０２が受け付けた音声に対して、音声認識部１０５が取得した音声認識処理結果情報と音響データを用いて発音評定処理を行い、発音評定結果を取得する。つまり、通常、発音評定部１０６は、音声認識部１０５における音声認識の結果得られた音声認識処理結果情報をも用いて、発音評定処理を行う。発音評定処理の詳細については後述するが、種々の発音評定処理アルゴリズムが考えられる。発音評定部１０６は、通常、ＭＰＵやメモリ等から実現され得る。発音評定部１０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００２９】
発音評定部１０６を構成するフレーム区分手段１０６１は、音声受付部１０２が受け付けた音声をフレームに区分する。フレーム区分手段１０６１の処理は公知技術による処理である。
【００３０】
フレーム音声データ取得手段１０６２は、フレーム区分手段１０６１により区分されたフレーム毎の音声データであるフレーム音声データを1以上得る。
【００３１】
最適状態決定手段１０６３は、1以上のフレーム音声データのうちの少なくとも一のフレーム音声データに対する最適状態を決定する。最適状態決定手段１０６３は、例えば、音響データ格納部１０３中の全音韻ＨＭＭから、認識対象の単語などの音声を構成する1以上の音素に対応するＨＭＭを取得し、当該取得した1以上のＨＭＭを、音素の順序で連結したデータ（認識対象の音声に関するデータであり、音韻毎の隠れマルコフモデルを連結したＨＭＭに基づくデータ）を構成する。そして、構成した当該データ、および取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。なお、最適状態を決定するアルゴリズムは、例えば、Ｖｉｔｅｒｂｉアルゴリズムである。
【００３２】
発音区間確率値取得手段１０６４は、最適状態決定手段１０６３が決定した最適状態の確率値を、発音区間毎に取得する。ここで、発音区間とは、音韻、音節、単語など、発音の一まとまりを構成する区間である。
【００３３】
評定値算出手段１０６５は、発音区間確率値取得手段１０６４が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。評定値算出手段１０６５は、例えば、発音区間確率値取得手段１０６４が取得した各発音区間の１以上の確率値の時間平均値を、発音区間毎に算出し、１以上の時間平均値を得て、当該１以上の時間平均値をパラメータとして音声の評定値を算出する。
【００３４】
フレーム区分手段１０６１、フレーム音声データ取得手段１０６２、最適状態決定手段１０６３、発音区間確率値取得手段１０６４、および評定値算出手段１０６５は、通常、ＭＰＵやメモリ等から実現され得る。フレーム区分手段１０６１等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３５】
判断部１０７は、発音評定結果が閾値と所定の関係にあるか否かを判断する。ここで、発音評定結果とは、通常、発音評定のレベルを示す数値である。発音評定結果は、例えば、０から１までの数値であったり、１から１０の１０段階の数値である。また、閾値は、通常、予め格納されている数値である。また、所定の関係とは、例えば、発音評定結果（例えば、０から１までの数値）が閾値（例えば、０．５０）以上であることを言う。また、所定の関係とは、例えば、発音評定結果（例えば、０から１までの数値）が閾値（例えば、０．５０）より大きいことを言う。判断部１０７は、通常、ＭＰＵやメモリ等から実現され得る。判断部１０７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３６】
出力部１０８は、判断部１０７が所定の関係にあると判断した場合のみ、音声認識部１０５が取得した音声認識処理結果情報についての音声認識結果を出力する。音声認識結果は、音声認識処理結果情報と同じ情報でも良いし、音声認識処理結果情報から生成される情報等でも良い。音声認識処理結果情報が音素トランスクリプション（例えば、「ｎｅｋｏ」）の場合に、音声認識結果は、例えば、文字列（例えば、「ねこ」）である。また、出力部１０８は、判断部１０７が所定の関係にないと判断した場合、通常、音声認識できなかった旨の情報を出力する。ただし、かかる場合、何ら出力しなくても良い。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積等を含む概念である。出力部１０８は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１０８は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００３７】
次に、音声認識装置の動作について図２、図３のフローチャートを用いて説明する。
【００３８】
（ステップＳ２０１）受付部１０１は、開始指示を受け付けたか否かを判断する。開始指示を受け付ければステップＳ２０２に行き、開始指示を受け付けなければステップＳ２０１に戻る。
【００３９】
（ステップＳ２０２）音声受付部１０２は、音声を受け付けたか否かを判断する。音声を受け付ければステップＳ２０３に行き、音声を受け付けなければステップＳ２０２に戻る。本音声は、認識の対象となる音声である。
【００４０】
（ステップＳ２０３）音声認識部１０５は、ステップＳ２０２で受け付けた音声に対して音声認識処理を行う。具体的には、音声認識部１０５は、音響データと認識候補データを用いて、ステップＳ２０２で受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する。
【００４１】
（ステップＳ２０４）発音評定部１０６は、音声受付部１０２が受け付けた音声に対して、音響データ格納部１０３の音響データを用いて発音評定処理を行い、発音評定結果を取得する。発音評定部１０６は、通常、ステップＳ２０３で得た音声認識処理結果情報から、音響データを用いて発音評定処理を行い、発音評定結果を取得する。発音評定処理の詳細について、図３のフローチャートを用いて説明する。
【００４２】
（ステップＳ２０５）判断部１０７は、発音評定結果が所定の閾値に対して所定の関係（例えば、発音評定結果＞閾値）にあるか否かを判断する。所定の関係にあればステップＳ２０６に行き、所定の関係になければステップＳ２０７に行く。
【００４３】
（ステップＳ２０６）出力部１０８は、音声認識処理結果情報についての音声認識結果（例えば、音声認識結果の文字列）を出力する。そして、ステップＳ２０２に戻る。
【００４４】
（ステップＳ２０７）出力部１０８は、音声認識できなかった旨の情報を出力する。そして、ステップＳ２０２に戻る。
【００４５】
なお、図２のフローチャートにおいて、発音評定処理を最初に行って、発音評定結果が閾値と所定の関係にある場合のみ、音声認識処理を行っても良い。
【００４６】
また、図２のフローチャートにおいて、音声を受け付ける単位は、単語、文節、文、２以上の文等、問わない。また、音声認識を行う単位、発音評定を行う単位も問わない。図２のフローチャートにおいて、例えば、一単語の音声を受け付け、一単語の音声を認識し、一単語の音声の発音評定を行っている例である。音声を受け付ける単位が文である場合、例えば、ステップＳ２０３の音声認識処理、およびステップＳ２０４の発音評定処理は、発音区間の数分、繰り返し実行される。
【００４７】
さらに、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００４８】
次に、図２のステップＳ２０４の発音評定処理について図３のフローチャートを用いて説明する。
【００４９】
（ステップＳ３０１）フレーム区分手段１０６１は、音声受付部１０２が受け付けた音声をフレームに区分する。かかる段階で、区分されたフレーム毎の音声データであるフレーム音声データが構成されている。フレーム区分手段１０６１が行うフレーム分割の処理は、例えば、フレーム音声データ取得手段１０６２がフレーム音声データを取り出す際の前処理であり、入力された音声のデータを、すべてのフレームに一度に分割するとは限らない。
【００５０】
（ステップＳ３０２）フレーム音声データ取得手段１０６２は、カウンタｉに１を代入する。
【００５１】
（ステップＳ３０３）フレーム音声データ取得手段１０６２は、ステップＳ３０１で区分した音声フレーム中、ｉ番目のフレームが存在するか否かを判断する。ｉ番目のフレームが存在すればステップＳ３０４に行き、ｉ番目のフレームが存在しなければステップＳ３０６に行く。
【００５２】
（ステップＳ３０４）フレーム音声データ取得手段１０６２は、ｉ番目のフレーム音声データを取得する。フレーム音声データの取得とは、例えば、当該分割された音声データを音声分析し、特徴ベクトルデータを抽出し、メモリ上に配置することである。なお、フレーム音声データは、例えば、入力された音声データをフレーム分割されたデータである。また、フレーム音声データは、例えば、当該分割された音声データから音声分析され、抽出された特徴ベクトルデータを有する。本特徴ベクトルデータは、例えば、三角型フィルタを用いたチャネル数２４のフィルタバンク出力を離散コサイン変換したＭＦＣＣであり、その静的パラメータ、デルタパラメータおよびデルタデルタパラメータをそれぞれ１２次元、さらに正規化されたパワーとデルタパワーおよびデルタデルタパワー（３９次元）を有する。
【００５３】
（ステップＳ３０５）フレーム音声データ取得手段１０６２は、カウンタｉを１、インクリメントする。そして、ステップＳ３０３に戻る。
【００５４】
（ステップＳ３０６）発音区間確率値取得手段１０６４は、全フレームの全状態の前向き尤度と後向き尤度を算出する。そして、全フレーム、全状態の確率値を得る。具体的には、発音区間確率値取得手段１０６４は、例えば、各特徴ベクトルが対象の状態から生成された事後確率を算出する。この事後確率は、ＨＭＭの最尤推定におけるＢａｕｍ−Ｗｅｌｃｈアルゴリズムの中で現れる占有度数に対応する。Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムは、公知のアルゴリズムであるので、説明は省略する。
【００５５】
（ステップＳ３０７）発音区間確率値取得手段１０６４は、全フレームの最適状態確率値を算出する。
【００５６】
（ステップＳ３０８）発音区間確率値取得手段１０６４は、発音区間（例えば、単語の区間）に対応する１以上の最適状態の確率値をすべて読み出す。
【００５７】
（ステップＳ３０９）評定値算出手段１０６５は、ステップＳ３０８で取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。例えば、ステップＳ３０８で取得した１以上の確率値の平均値（時間平均値）を算出する。そして、上位関数にリターンする。評定値の算出処理の詳細については、後述する。
【００５８】
以下、本実施の形態における音声認識装置の具体的な動作について説明する。
【００５９】
まず、本音声認識装置において、図示しない手段により、認識対象の単語（文でも良い）の言語のネイティブ発音の音声データベースからネイティブ発音の音韻ＨＭＭを学習しておく。ここで、音韻の種類数をＬとし、ｌ番目の音韻に対するＨＭＭをλｌとする。なお、かかる学習の処理については、公知技術であるので、詳細な説明は省略する。なお、ＨＭＭの仕様について、図４に示す。なお、ＨＭＭの仕様は、他の実施の形態における具体例の説明においても同様である。ただし、ＨＭＭの仕様が、他の仕様でも良いことは言うまでもない。
【００６０】
そして、学習したＬ種類の音韻ＨＭＭから、音声認識対象の単語や文章などの音声を構成する１以上の音素に対応するＨＭＭを取得し、当該取得した１以上のＨＭＭを、音素の順序で連結した音響データを構成する。そして、当該音響データを音響データ格納部１０３に保持しておく。
【００６１】
次に、ユーザ（ここでは、例えば、アメリカ人）が、音声認識の開始指示を入力する。かかる指示は、例えば、マウスで所定のボタンを押下することによりなされる。
【００６２】
次に、ユーザは、音声「ｒｉｇｈｔ」を発音する。そして、音声受付部１０２は、ユーザが発音した音声の入力を受け付ける。
【００６３】
次に、音声認識部１０５は、音声認識処理を行い、認識結果の音素トランスクリプション「ｒｉｇｈｔ」を得る、とする。
【００６４】
次に、発音評定部１０６は、以下のように発音評定を行う。
【００６５】
つまり、フレーム区分手段１０６１は、音声受付部１０２が受け付けた音声を、短時間フレームに区分する。なお、フレームの間隔は、予め決められている、とする。
【００６６】
そして、フレーム音声データ取得手段１０６２は、フレーム区分手段１０６１が区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。なお、Ｔは、系列長である。ここで、特徴ベクトル系列は、各フレームの特徴ベクトルの集合である。また、特徴ベクトルは、例えば、三角型フィルタを用いたチャネル数２４のフィルタバンク出力を離散コサイン変換したＭＦＣＣであり、その静的パラメータ、デルタパラメータおよびデルタデルタパラメータをそれぞれ１２次元、さらに正規化されたパワーとデルタパワーおよびデルタデルタパワー（３９次元）を有する。また、スペクトル分析において、ケプストラム平均除去を施すことは好適である。なお、音声分析条件を図５の表に示す。なお、音声分析条件は、他の実施の形態における具体例の説明においても同様である。ただし、音声分析条件が、他の条件でも良いことは言うまでもない。
【００６７】
次に、最適状態決定手段１０６３は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。最適状態決定手段１０６３が最適状態を決定するアルゴリズムは、例えば、Ｖｉｔｅｒｂｉアルゴリズムによる。かかる場合、最適状態決定手段１０６３は、上記で連結したＨＭＭを用いて最適状態を決定する。最適状態決定手段１０６３は、２以上のフレームの最適状態である最適状態系列を求めることとなる。
【００６８】
次に、発音区間確率値取得手段１０６４は、まず、以下の数式１により、最適状態（ｑｔ＊）における最適状態確率値（γｔ（ｑｔ＊））を算出する。なお、γｔ（ｑｔ＊）は、状態ｊの事後確率関数γｔ（ｊ）のｊにｑｔ＊を代入した値である。そして、状態ｊの事後確率関数γｔ（ｊ）は、数式２を用いて算出される。この確率値（γｔ（ｊ））は、ｔ番目の特徴ベクトルｏｔが状態ｊから生成された事後確率であり、動的計画法を用いて算出される。なお、ｊは、状態を識別する状態識別子である。
【数１】
0004798606.tif 000002
【００６９】
数式１において、ｑｔは、ｏｔに対する状態識別子を表す。この確率値（γｔ（ｊ））は、ＨＭＭの最尤推定におけるＢａｕｍ−Ｗｅｌｃｈアルゴリズムの中で表れる占有度数に対応する。
【数２】
0004798606.tif 000003
【００７０】
数式２において、「αｔ（ｊ）」「βｔ（ｊ）」は、全部のＨＭＭを用いて、ｆｏｒｗａｒｄ−ｂａｃｋｗａｒｄアルゴリズムにより算出される。「αｔ（ｊ）」は前向き尤度、「βｔ（ｊ）」は後向き尤度である。Ｂａｕｍ−Ｗｅｌｃｈアルゴリズム、ｆｏｒｗａｒｄ−ｂａｃｋｗａｒｄアルゴリズムは、公知のアルゴリズムであるので、詳細な説明は省略する。
【００７１】
また、数式２において、Ｎは、全ＨＭＭに渡る状態の総数を示す。
【００７２】
そして、発音区間確率値取得手段１０６４は、発音区間に対応する１以上の最適状態の確率値をすべて取得する。そして、評定値算出手段１０６５は、取得した１以上の確率値の平均値（時間平均値）を算出する。具体的には、評定値算出手段１０６５は、数式３により評定値を算出する。
【数３】
0004798606.tif 000004
【００７３】
なお、発音評定部１０６は、まず最適状態を求め、次に、最適状態の確率値（なお、確率値は、０以上、１以下である。）を求めても良いし、発音評定部１０６は、まず、全状態の確率値を求め、その後、特徴ベクトル系列の各特徴ベクトルに対する最適状態を求め、当該最適状態に対応する確率値を求めても良い。
【００７４】
なお、もしユーザのｔフレーム目に対応する発声が、音響データが示す発音（例えば、正しいネイティブの発音）に近ければ、数式２の（２）式の分子の値が、他の全ての可能な音韻の全ての状態と比較して大きくなり、結果的に最適状態の確率値（評定値）が大きくなる。逆にその区間が、音響データが示す発音に近くなければ、評定値は小さくなる。なお、どのネイティブ発音にも近くないような場合は、ＤＡＰ評定値（ＤＡＰスコアとも言う）はほぼ１／Ｎに等しくなる。Ｎは全ての音韻ＨＭＭにおける全ての状態の数であるから、通常、大きな値となり、ＤＡＰスコアは十分小さくなる。また、ここでは、ＤＡＰスコアは最適状態における確率値と全ての可能な状態における確率値との比率で定義されている。したがって、話者性や収音環境の違いにより多少のスペクトルの変動があったとしても、ユーザが正しい発音をしていれば、その変動が相殺され評定値が高いスコアを維持する。
【００７５】
かかる評定値算出手段１０６５が、中間に算出するＤＡＰスコア（フレームごとのスコア）を、図６、図７に示す。図６、図７において、横軸は分析フレーム番号、縦軸はスコアを％で表わしたものである。太い破線は音素境界，細い点線は状態境界（いずれもＶｉｔｅｒｂｉアルゴリズムで求まったもの）を表わしており，図の上部に音素名を表記している。図６は、アメリカ人男性による英語「ｒｉｇｈｔ」の発音のＤＡＰスコアを示す。なお、評定値を示すグラフの横軸、縦軸は、後述するグラフにおいても同様である。
【００７６】
図７は、日本人男性による英語「ｒｉｇｈｔ」の発音のＤＡＰスコアを示す。アメリカ人の発音は、日本人の発音と比較して、基本的にスコアが高い。また、図６において、状態の境界において所々スコアが落ち込んでいることがわかる。
【００７７】
そして、評定値算出手段１０６５は、例えば、発音区間における発音評定結果（ｔ−ＤＡＰスコアとも言う）を「６８」と、算出した、とする（図８参照）。
【００７８】
そして、次に、判断部１０７は、予め格納している閾値「５０」と発音評定結果「６８」を比較し、所定の条件を満たすか否かを判断する。所定の条件は、例えば、「発音評定結果＞閾値」である。そして、「６８＞５０」であるので、判断部１０７は、所定の条件を満たす、と判断する。
【００７９】
次に、出力部１０８は、音声認識部１０５が取得した音声認識処理結果情報「ｒｉｇｈｔ」を出力する。かかる出力は、例えば、ディスプレイへの表示である。
【００８０】
さらに、次に、他のユーザ（日本人だとする）が、音声「ｒｉｇｈｔ」を発音する。そして、音声受付部１０２は、ユーザが発音した音声の入力を受け付ける。
【００８１】
次に、音声認識部１０５は、音声認識処理を行い、認識結果の音素トランスクリプション「ｌｉｇｈｔ」を得る、とする。
【００８２】
次に、発音評定部１０６は、上述のアルゴリズムで、発音評定を行う。そして、発音評定結果「２９」を得た、とする。
【００８３】
次に、判断部１０７は、予め格納している閾値「５０」と発音評定結果「２９」を比較し、所定の条件を満たすか否かを判断する。そして、「５０＞２９」であるので、判断部１０７は、所定の条件を満たさない、と判断する。
【００８４】
そして、出力部１０８は、予め格納している情報「音声認識できませんでした。」を出力する。かかる出力は、例えば、スピーカーからの音声出力と、ディスプレイへの表示である。
【００８５】
以上、本実施の形態によれば、発音評定を行って、所定の評定結果が得られた場合のみ（良好な場合のみ）、音声認識結果を出力する音声認識装置を提供できる。かかる処理により、誤った認識結果を出力する可能性を減らすことができ、信頼度の高い音声認識装置を提供できる。また、音声認識装置に対するユーザの信頼度を損なわず、ユーザは安心して装置を利用できる。
【００８６】
なお、本実施の形態によれば、音声認識処理を行った後、発音評定を行った。しかし、発音評定を行った後、評定結果が所定の条件を満たす場合のみ音声認識処理を行っても良い。かかることは、他の実施の形態においても同様である。
【００８７】
また、本実施の形態によれば、音声認識部が行う音声認識のアルゴリズムは問わない。音声認識において、認識候補データ格納部１０４における音素トランスクリプションを用いても用いなくても良い。かかることも、他の実施の形態においても同様である。
【００８８】
また、本実施の形態によれば、発音評定を行う評定値算出手段は、１以上の最適状態における最適状態確率値の時間平均値を算出した。しかし、評定値算出手段は、１以上の最適状態における最適状態確率値をパラメータとする関数であり、発音の良し悪しを示す解答が得られる関数であれば、どのような関数でスコアを算出しても良い。例えば、評定値算出手段は、１以上の最適状態における最適状態確率値のうち、中央値と中央値の前後１０の値を取得し、当該１１の値の平均値を、スコアとしても良い。
【００８９】
また、本実施の形態によれば、発音評定した結果、文の一部のスコアが閾値より低い場合、文全体の認識結果を出力しないなど、発音評定の範囲と認識結果の出力範囲が完全一致するとは限らない。
【００９０】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、音声の入力を受け付ける音声入力ステップと、格納されている音響データを用いて、前記音声入力ステップで受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する音声認識ステップと、前記音声入力ステップで受け付けた音声に対して、前記音響データを用いて発音評定処理を行い、発音評定結果を取得する発音評定ステップと、前記発音評定結果が所定の閾値と所定の関係にあるか否かを判断する判断ステップと、前記判断ステップで所定の関係にあると判断した場合のみ、前記音声認識ステップで取得した音声認識処理結果情報についての音声認識結果を出力する出力ステップを実行させるためのプログラム、である。
【００９１】
また、上記プログラムにおいて、前記発音評定ステップは、前記音声入力ステップで受け付けた音声に対して、前記音声認識ステップで取得した音声認識処理結果情報と前記音響データを用いて発音評定処理を行い、発音評定結果を取得することは好適である。
【００９２】
さらに、上記プログラムにおいて、前記発音評定ステップは、前記音声受付ステップで受け付けた音声を、フレームに区分するフレーム区分ステップと、前記区分されたフレーム毎の音声データであるフレーム音声データを1以上得るフレーム音声データ取得ステップと、前記1以上のフレーム音声データの最適状態を決定する最適状態決定ステップと、前記最適状態決定ステップで決定した最適状態の確率値を、発音区間毎に取得する発音区間確率値取得ステップと、前記発音区間確率値取得ステップで取得した１以上の発音区間毎の１以上の確率値をパラメータとして、音声の評定値を算出する評定値算出ステップとを具備することは好適である。
【００９３】
（実施の形態２）
本実施の形態における音声認識装置は、実施の形態１の音声認識装置と比較して、発音評定部における発音評定アルゴリズムが異なる。本実施の形態において、評定値は、最適状態を含む音韻の中の全状態の確率値を発音区間で評価して、算出される。本実施の形態における発音評定装置が算出する事後確率を、実施の形態１で述べたｔ−ＤＡＰに対してｔ-ｐ−ＤＡＰと呼ぶ。
【００９４】
図９は、本実施の形態における音声認識装置のブロック図である。
【００９５】
図９の音声認識装置は、図１の音声認識装置と比較して、発音評定部９０６のみが異なる。
【００９６】
発音評定部９０６は、フレーム区分手段１０６１、フレーム音声データ取得手段１０６２、最適状態決定手段１０６３、発音区間フレーム音韻確率値取得手段９０６１、評定値算出手段９０６２を具備する。
【００９７】
発音評定部９０６を構成する発音区間フレーム音韻確率値取得手段９０６１は、最適状態決定手段１０６３が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する。
【００９８】
評定値算出手段９０６２は、発音区間フレーム音韻確率値取得手段９０６１が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。評定値算出手段９０６２は、例えば、最適状態決定手段１０６３が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値の総和を、フレーム毎に得て、当該フレーム毎の確率値の総和に基づいて、発音区間毎の確率値の総和の時間平均値を１以上得て、当該１以上の時間平均値をパラメータとして音声の評定値を算出する。
【００９９】
発音区間フレーム音韻確率値取得手段９０６１、および評定値算出手段９０６２は、通常、ＭＰＵやメモリ等から実現され得る。発音区間フレーム音韻確率値取得手段９０６１等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１００】
次に、本音声認識装置の動作について説明する。本音声認識装置は、実施の形態１の音声認識装置と比較して、ステップＳ２０４の発音評定処理のみが異なる。本音声認識装置の発音評定処理について、図１０のフローチャートを用いて説明する。図１０のフローチャートにおいて、図３と異なるステップについてのみ説明する。
【０１０１】
（ステップＳ１００１）発音区間フレーム音韻確率値取得手段９０６１は、ｊに１を代入する。
【０１０２】
（ステップＳ１００２）発音区間フレーム音韻確率値取得手段９０６１は、ｊ番目のフレームが、本発音区間（例えば、単語）に存在するか否かを判断する。ｊ番目のフレームが存在すればステップＳ１００３に行き、ｊ番目のフレームが存在しなければステップＳ１００６に飛ぶ。
【０１０３】
（ステップＳ１００３）発音区間フレーム音韻確率値取得手段９０６１は、ｊ番目のフレームの最適状態を含む音韻の全ての確率値を取得する。
【０１０４】
（ステップＳ１００４）評定値算出手段９０６２は、ステップＳ１００３で取得した１以上の確率値をパラメータとして、１フレームの音声の評定値を算出し、メモリに一時格納する。
【０１０５】
（ステップＳ１００５）発音区間フレーム音韻確率値取得手段９０６１は、ｊを１、インクメントする。そして、ステップＳ１００２に戻る。
【０１０６】
（ステップＳ１００６）評定値算出手段９０６２は、本発音区間の評定値を算出する。評定値算出手段９０６２は、例えば、最適状態決定手段１０６３が決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値の総和を、フレーム毎に得て、当該フレーム毎の確率値の総和に基づいて、発音区間の確率値の総和の時間平均値を、当該発音区間の音声の評定値として算出する。そして、上位関数にリターンする。
【０１０７】
以下、本実施の形態における音声認識装置の具体的な動作について説明する。本実施の形態において、評定値の算出アルゴリズムが実施の形態１とは異なるので、その動作を中心に説明する。
【０１０８】
まず、ユーザが、開始指示を入力した後、音声認識対象の音声（ここでは、「ｒｉｇｈｔ」）を発音する。そして、音声受付部１０２は、ユーザが発音した音声の入力を受け付ける。
【０１０９】
次に、フレーム区分手段１０６１は、音声受付部１０２が受け付けた音声を、短時間フレームに区分する。
【０１１０】
そして、フレーム音声データ取得手段１０６２は、フレーム区分手段１０６１が区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。
【０１１１】
次に、発音区間フレーム音韻確率値取得手段９０６１は、各フレームの各状態の事後確率（確率値）を算出する。確率値の算出は、上述した数式１、数式２により算出できる。
【０１１２】
次に、最適状態決定手段１０６３は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、各フレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。つまり、最適状態決定手段１０６３は、最適状態系列を得る。なお、各フレームの各状態の事後確率（確率値）を算出と、最適状態の決定の順序は問わない。
【０１１３】
次に、発音区間フレーム音韻確率値取得手段９０６１は、発音区間ごとに、当該発音区間に含まれる各フレームの最適状態を含む音韻の全ての確率値を取得する。
【０１１４】
そして、評定値算出手段９０６２は、各フレームの最適状態を含む音韻の全ての確率値の総和を、フレーム毎に算出する。まず、評定値算出手段９０６２は、フレームの最適状態を含む音韻の全ての確率値の総和（これを「ｐ−ＤＡＰ」と言う。）を、以下の数式４により算出する。
【数４】
0004798606.tif 000005
【０１１５】
そして、評定値算出手段９０６２は、フレーム毎に算出された確率値の総和を、発音区間毎に時間平均し、発音区間毎の評定値を算出する。具体的には、評定値算出手段９０６２は、数式５により評定値を算出する。
【数５】
0004798606.tif 000006
【０１１６】
かかる評定値算出手段９０６２が算出した評定値（「ｔ−ｐ−ＤＡＰスコア」とも言う。）を、図１１の表に示す。図１１において、アメリカ人男性と日本人男性の評定結果を示す。ＰｈｏｎｅｍｅおよびＷｏｒｄは，ｔ−ｐ−ＤＡＰにおける時間平均の範囲を示す。ここでは、実施の形態１におけるＤＡＰの代わりに、ｐ−ＤＡＰの時間平均を採用したものである。図１１において、アメリカ人男性の発音の評定値が日本人男性の発音の評定値より高く、良好な評定結果が得られている。
【０１１７】
次に、判断部１０７は、予め格納している閾値「６０」と、アメリカ人男性の発声の場合の発音評定結果「８４」を比較し、所定の条件を満たすか否かを判断する。そして、「８４＞６０」であるので、判断部１０７は、所定の条件を満たす、と判断する。
【０１１８】
次に、出力部１０８は、音声認識部１０５が取得した音声認識処理結果情報「ｒｉｇｈｔ」を出力する。
【０１１９】
また、判断部１０７は、予め格納している閾値「６０」と、日本人男性の発声の場合の発音評定結果「３３」を比較し、所定の条件を満たさない、と判断する。
【０１２０】
そして、出力部１０８は、予め格納している情報「音声認識できませんでした。」を出力する。
【０１２１】
以上、本実施の形態によれば、発音評定を行って、所定の評定結果が得られた場合のみ（良好な場合のみ）、音声認識結果を出力する音声認識装置を提供できる。かかる処理により、誤った認識結果を出力する可能性を減らすことができ、信頼度の高い音声認識装置を提供できる。また、音声認識装置に対するユーザの信頼度を損なわず、ユーザは安心して装置を利用できる。さらに、本実施の形態によれば、精度高く発音評定ができ、その結果、精度高く、正しい認識結果を出力することができる。
【０１２２】
なお、本実施の形態によれば、発音評定を行う評定値算出手段は、各フレームの最適状態を有する音韻全体の状態における１以上の確率値の総和の時間平均値を算出した。しかし、評定値算出手段は、各フレームの最適状態を有する音韻全体の状態における１以上の確率値の総和をパラメータとする関数であり、発音の良し悪しを示す解答が得られる関数であれば、どのような関数でスコアを算出しても良い。例えば、評定値算出手段は、音韻全体の状態における１以上の確率値の総和のうち、中央値と中央値の前後３０の値を取得し、当該３１の値の平均値を、スコアとしても良い。
【０１２３】
さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、音声の入力を受け付ける音声入力ステップと、格納されている音響データを用いて、前記音声入力ステップで受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する音声認識ステップと、前記音声入力ステップで受け付けた音声に対して、前記音響データを用いて発音評定処理を行い、発音評定結果を取得する発音評定ステップと、前記発音評定結果が所定の閾値と所定の関係にあるか否かを判断する判断ステップと、前記判断ステップで所定の関係にあると判断した場合のみ、前記音声認識ステップで取得した音声認識処理結果情報についての音声認識結果を出力する出力ステップを実行させるためのプログラム、である。
【０１２４】
また、上記プログラムにおいて、前記発音評定ステップは、前記音声入力ステップで受け付けた音声に対して、前記音声認識ステップで取得した音声認識処理結果情報と前記音響データを用いて発音評定処理を行い、発音評定結果を取得することは好適である。
【０１２５】
さらに、上記プログラムにおいて、前記発音評定ステップは、前記音声受付部が受け付けた音声を、フレームに区分するフレーム区分ステップと、前記1以上のフレーム音声データの最適状態を決定する最適状態決定ステップと、前記最適状態決定ステップで決定した各フレームの最適状態を有する音韻全体の状態における１以上の確率値を、発音区間毎に取得する発音区間フレーム音韻確率値取得ステップと、前記発音区間フレーム音韻確率値取得ステップで取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する評定値算出ステップとを具備することは好適である。
【０１２６】
（実施の形態３）
本実施の形態における音声認識装置は、実施の形態１、２の音声認識装置と比較して、発音評定部における発音評定アルゴリズムが異なる。本実施の形態において、本音声認識装置は、無音区間を検知し、無音区間を考慮した発音評定が可能な装置である。さらに具体的には、通常、本音声認識装置は、無音区間のフレームは考慮せずに、発音評定を行う。
【０１２７】
図１２は、本実施の形態における音声認識装置のブロック図である。
【０１２８】
図１２の音声認識装置は、図１の音声認識装置と比較して、発音評定部１２０６のみが異なる。
【０１２９】
発音評定部１２０６は、フレーム区分手段１０６１、フレーム音声データ取得手段１０６２、最適状態決定手段１０６３、発音区間確率値取得手段１０６４、無音データ格納手段１２０６１、無音区間検出手段１２０６２、評定値算出手段１２０６３を具備する。
【０１３０】
発音評定部１２０６は、音声受付部１０２が受け付けた音声に対して、音響データ格納部１０３の音響データを用いて発音評定処理を行い、発音評定結果を取得する。また、通常、発音評定部１０６は、音声受付部１０２が受け付けた音声に対して、音声認識部１０５が取得した音声認識処理結果情報と音響データを用いて発音評定処理を行い、発音評定結果を取得する。
【０１３１】
発音評定部１２０６は、通常、ＭＰＵやメモリ等から実現され得る。発音評定部１２０６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１３２】
発音評定部１２０６を構成する無音データ格納手段１２０６１は、無音を示すである無音データを格納している。無音データは、例えば、音韻毎の隠れマルコフモデルを連結したＨＭＭに基づくデータであることが好適である。また、無音データは、必ずしもＨＭＭに基づくデータである必要はない。無音データは、単一ガウス分布モデルや、確率モデル（ＧＭＭ：ガウシャンミクスチャモデル）や、統計モデルなど、他のモデルに基づくデータでも良い。無音データ格納手段１２０６１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【０１３３】
無音区間検出手段１２０６２は、入力音声データ、および無音データ格納手段１２０６１の無音データに基づいて、無音の区間を検出する。さらに具体的には、無音区間検出手段１２０６２は、フレーム音声データ取得手段１０６２が取得したフレーム音声データ、および無音データ格納手段１２０６１の無音データに基づいて、無音の区間を検出する。無音区間検出手段１２０６２は、フレーム音声データ取得手段１０６２が取得したフレーム音声データと無音データの類似度が所定の値以上である場合に、当該フレーム音声データは無音区間のデータであると判断しても良い。また、無音区間検出手段１２０６２は、下記で述べる発音区間確率値取得手段１０６４が取得する各フレームの確率値が所定の値以下であり、かつ、フレーム音声データ取得手段１０６２が取得したフレーム音声データと無音データの類似度が所定の値以上である場合に、当該フレーム音声データは無音区間のデータであると判断しても良い。
【０１３４】
評定値算出手段１２０６３は、無音区間検出手段１２０６２が検出した無音区間を除いて、かつ発音区間確率値取得手段１０６４が取得した１以上の発音区間毎の１以上の確率値をパラメータとして音声の評定値を算出する。なお、評定値算出手段１２０６３は、上記確率値を如何に利用して、評定値を算出するかは問わない。ここでは、例えば、評定値算出手段１２０６３は、ｔ−ＤＡＰにより評定値を算出する、とする。また、評定値算出手段１２０６３は、かならずしも無音区間を除いて、評定値を算出する必要はない。評定値算出手段１２０６３は、無音区間の影響を少なくするように評定値を算出しても良い。
【０１３５】
無音区間検出手段１２０６２、および評定値算出手段１２０６３は、通常、ＭＰＵやメモリ等から実現され得る。無音区間検出手段１２０６２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１３６】
次に、本音声認識装置の動作について説明する。本音声認識装置は、実施の形態１の音声認識装置と比較して、ステップＳ２０４の発音評定処理のみが異なる。本音声認識装置の発音評定処理について、図１３のフローチャートを用いて説明する。図１３のフローチャートにおいて、図３と異なるステップについてのみ説明する。
【０１３７】
（ステップＳ１３０１）発音区間確率値取得手段１０６４は、カウンタｉに１を代入する。
【０１３８】
（ステップＳ１３０２）発音区間確率値取得手段１０６４は、ｉ番目のフレーム音声データが存在するか否かを判断する。ｉ番目のフレーム音声データが存在すればステップＳ１３０３に行き、ｉ番目のフレーム音声データが存在しなければステップＳ１３０９に行く。なお、ｉ番目のフレーム音声データは、ステップＳ３０４で取得されたフレーム音声データの中のｉ番目のデータである。
【０１３９】
（ステップＳ１３０３）無音区間検出手段１２０６２は、ｉ番目のフレーム音声データの最適状態の確率値を取得する。
【０１４０】
（ステップＳ１３０４）無音区間検出手段１２０６２は、ステップＳ１３０３で取得された確率値が、閾値より低い（または閾値以下）であるか否かを判断する。閾値より低い（または閾値以下）であればステップＳ１３０５に行き、閾値より低い（または閾値以下）でなければステップＳ１３０７に行く。
【０１４１】
（ステップＳ１３０５）無音区間検出手段１２０６２は、無音データ格納手段１２０６１の無音データ、音響データ格納部１０３の全音響データを取得する。
【０１４２】
（ステップＳ１３０６）無音区間検出手段１２０６２は、ｉ番目のフレーム音声データが無音データの確率値が最も高いか否かを判断する。無音データの確率値が最も高ければステップＳ１３０８に行き、無音データの確率値が最も高くなければステップＳ１３０７に行く。
【０１４３】
（ステップＳ１３０７）発音区間確率値取得手段１０６４は、ステップＳ１３０３で取得した確率値を一時格納する。
【０１４４】
（ステップＳ１３０８）発音区間確率値取得手段１０６４は、カウンタｉを１、インクリメントし、ステップＳ１３０２に行く。
【０１４５】
（ステップＳ１３０９）評定値算出手段１２０６３は、ステップＳ１３０７で一時格納された１以上の確率値をパラメータとして音声の評定値を算出し、上位関数にリターンする。
【０１４６】
なお、図１３のフローチャートにおいて、評定値算出手段１２０６３は、上記のように、無音区間の評定値を無視して、スコアを算出することが好適であるが、無音区間の評定値の影響を、例えば、１／１０にして、スコアを算出しても良い。
【０１４７】
以下、本実施の形態における音声認識装置の具体的な動作について説明する。本実施の形態において、無音区間を考慮して評定値を算出するので、評定値の算出アルゴリズムが実施の形態１等とは異なる。そこで、その異なる処理を中心に説明する。
【０１４８】
まず、ユーザが、開始指示を入力する。次に、ユーザは、例えば、認識対象の音声を発音する。そして、音声受付部１０２は、ユーザが発音した音声の入力を受け付ける。
【０１４９】
次に、フレーム区分手段１０６１は、音声受付部１０２が受け付けた音声を、短時間フレームに区分する。
【０１５０】
そして、フレーム音声データ取得手段１０６２は、フレーム区分手段１０６１が区分した音声データを、スペクトル分析し、特徴ベクトル系列「Ｏ＝ｏ１，ｏ２，・・・，ｏＴ」を算出する。
【０１５１】
次に、最適状態決定手段１０６３は、取得した特徴ベクトル系列を構成する各特徴ベクトルｏｔに基づいて、所定のフレームの最適状態（特徴ベクトルｏｔに対する最適状態）を決定する。
【０１５２】
次に、発音区間確率値取得手段１０６４は、全フレームの全状態の前向き尤度と後向き尤度を算出する。そして、次に、発音区間確率値取得手段１０６４は、数式１により、最適状態における最適状態確率値（γｔ（ｑｔ＊））を、全フレームについて、フレーム毎に算出する。
【０１５３】
さらに、無音区間検出手段１２０６２は、フレーム音声データごとに、最適状態の確率値を取得し、取得した確率値が所定の値より低いか否かを判断する。
【０１５４】
そして、無音区間検出手段１２０６２は、取得した確率値が所定の値より低いと判断した場合、当該フレーム音声データと無音データとの類似度を示す事後確率の値（ＤＡＰスコア）が、当該フレーム音声データと他のデータとの類似度を示す事後確率の値のいずれよりも高いか否かを判断する。そして、フレーム音声データと無音データとの類似度を示す事後確率の値が最も高い場合、当該フレームは無音区間のフレームであるとして、発音評定部１２０６は無視する。そして、評定値算出手段１２０６３は、無音データの区間を除いて、ｔ−ＤＡＰスコアを算出する。ここで、評定値算出手段１２０６３は、「７５」とｔ−ＤＡＰスコアを算出した、とする。
【０１５５】
次に、判断部１０７は、予め格納している閾値「６０」と、発音評定結果「７５」を比較し、所定の条件を満たすか否かを判断する。そして、「７５＞６０」であるので、判断部１０７は、所定の条件を満たす、と判断する。
【０１５６】
次に、出力部１０８は、音声認識部１０５が取得した音声認識処理結果情報（例えば、「ｒｉｇｈｔ」）を出力する。
【０１５７】
かかる出力処理は、実施の形態１における処理と同様である。
【０１５８】
以上、本実施の形態によれば、発音評定を行って、所定の評定結果が得られた場合のみ（良好な場合のみ）、音声認識結果を出力する音声認識装置を提供できる。かかる処理により、誤った認識結果を出力する可能性を減らすことができ、信頼度の高い音声認識装置を提供できる。また、音声認識装置に対するユーザの信頼度を損なわず、ユーザは安心して装置を利用できる。さらに、本実施の形態によれば、無音区間を除いて発音評定した結果に基づいて、音声認識結果を出力しなり、出力しなかったりするので、さらに精度高く正しい認識結果を出力することができる。
【０１５９】
なお、本実施の形態によれば、評定値算出手段における発音評定のアルゴリズムは問わない。発音評定のアルゴリズムは、ｔ−ＤＡＰ、ｔ−ｐ−ＤＡＰ、その他のアルゴリズムでも良い。
【０１６０】
さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、音声の入力を受け付ける音声入力ステップと、格納されている音響データを用いて、前記音声入力ステップで受け付けた音声に対して音声認識処理を行い、当該音声認識処理の結果である音声認識処理結果情報を取得する音声認識ステップと、前記音声入力ステップで受け付けた音声に対して、前記音響データを用いて発音評定処理を行い、発音評定結果を取得する発音評定ステップと、前記発音評定結果が所定の閾値と所定の関係にあるか否かを判断する判断ステップと、前記判断ステップで所定の関係にあると判断した場合のみ、前記音声認識ステップで取得した音声認識処理結果情報についての音声認識結果を出力する出力ステップを実行させるためのプログラム、である。
【０１６１】
また、上記プログラムの発音評定ステップにおいて、前記入力音声データおよび格納している無音データに基づいて、無音の区間を検出する無音区間検出ステップをさらに具備し、前記最適状態決定ステップは、前記無音の区間についてのフレーム音声データを除いた前記1以上のフレーム音声データの最適状態を決定することは好適である。
【０１６２】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０１６３】
また、図１４は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の音声認識装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１４は、このコンピュータシステム３４０の概観図であり、図１５は、コンピュータシステム３４０のブロック図である。
【０１６４】
図１４において、コンピュータシステム３４０は、ＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）ドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４と、マイク３４５とを含む。
【０１６５】
図１５において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３４１３と、ＣＰＵ３４１３、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）３４１５と、ＣＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１６６】
コンピュータシステム３４０に、上述した実施の形態の音声処理装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０１６７】
プログラムは、コンピュータ３４１に、上述した実施の形態の音声処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０１６８】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１６９】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０１７０】
以上のように、本発明にかかる音声認識装置は、誤った認識結果を出力することを防止できるという効果を有し、高性能な音声認識装置等として有用である。
【図面の簡単な説明】
【０１７１】
【図１】実施の形態１における音声認識装置のブロック図
【図２】同音声認識装置の動作について説明するフローチャート
【図３】同発音評定処理について説明するフローチャート
【図４】同ＨＭＭの仕様を示す図
【図５】同音声分析条件を示す図
【図６】同ＤＡＰスコアを示す図
【図７】同ＤＡＰスコアを示す図
【図８】同ｔ−ＤＡＰスコアの出力例を示す図
【図９】実施の形態２における音声認識装置のブロック図
【図１０】同発音評定処理の動作について説明するフローチャート
【図１１】同ｔ−ｐ−ＤＡＰスコアを示す図
【図１２】実施の形態３における音声認識装置のブロック図
【図１３】同発音評定処理の動作について説明するフローチャート
【図１４】同音声認識装置を実現するコンピュータの外観図
【図１５】同音声認識装置を実現するコンピュータシステムのブロック図
【符号の説明】
【０１７２】
１０１  受付部
１０２  音声受付部
１０３  音響データ格納部
１０４  認識候補データ格納部
１０５  音声認識部
１０６、９０６、１２０６  発音評定部
１０７  判断部
１０８  出力部
１０６１  フレーム区分手段
１０６２  フレーム音声データ取得手段
１０６３  最適状態決定手段
１０６４  発音区間確率値取得手段
１０６５、９０６２、１２０６３  評定値算出手段
９０６１  発音区間フレーム音韻確率値取得手段
１２０６１  無音データ格納手段
１２０６２  無音区間検出手段
【図１】
0004798606.tif 000007
【図２】
0004798606.tif 000008
【図３】
0004798606.tif 000009
【図４】
0004798606.tif 000010
【図５】
0004798606.tif 000011
【図８】
0004798606.tif 000012
【図９】
0004798606.tif 000013
【図１０】
0004798606.tif 000014
【図１１】
0004798606.tif 000015
【図１２】
0004798606.tif 000016
【図１３】
0004798606.tif 000017
【図１４】
0004798606.tif 000018
【図１５】
0004798606.tif 000019
【図６】
0004798606.tif 000020
【図７】
0004798606.tif 000021