(57)【特許請求の範囲】
【請求項１】
認識可能な複数の登録単語のモデルパラメータと、前記モデルパラメータから復元された、前記複数の登録単語それぞれのテンプレート特徴量列とを記憶する記憶手段と、
登録単語が連続的に発話されたフレーズ群の音声を入力する音声入力手段と、
前記音声入力手段に入力された音声の特徴量に基づいて、前記フレーズ群に含まれる登録単語を推定する推定手段とを備え、
前記推定手段は、
前記記憶手段に記憶された前記複数の登録単語それぞれのテンプレート特徴量列と、認識対象区間内の音声の特徴量列とを照合させることによって、登録単語候補を抽出する候補抽出手段と、
前記記憶手段に記憶された前記モデルパラメータを用いた認識処理によって、前記候補抽出手段により抽出された前記登録単語候補の音声区間内の特徴量に基づき登録単語を推定する認識処理手段とを含む、音声認識装置。
【請求項２】
前記記憶手段に記憶された前記モデルパラメータから、前記複数の登録単語それぞれの特徴パターンを算出し、登録単語ごとに前記テンプレート特徴量列を復元する復元手段をさらに備える、請求項１に記載の音声認識装置。
【請求項３】
前記復元手段は、算出した特徴パターンに対して補間処理を行うことにより、前記テンプレート特徴量列を復元する、請求項２に記載の音声認識装置。
【請求項４】
前記候補抽出手段は、前記モデルパラメータに含まれるばらつき情報に基づいて重み付けを行って、登録単語候補を抽出する、請求項１または２に記載の音声認識装置。
【請求項５】
前記推定手段により単語が推定された場合に、推定された単語を認識結果として受理するか否かの受理判定を行う受理判定手段と、
前記受理判定手段により受理された単語を出力する出力手段と、
前記受理判定手段により受理された単語の音声区間を前記認識対象区間から削除することによって、前記認識対象区間を更新する更新手段とをさらに備える、請求項１〜４のいずれかに記載の音声認識装置。
【請求項６】
登録単語が連続的に発話されたフレーズ群の音声を入力するステップと、
入力された音声の特徴量に基づいて、前記フレーズ群に含まれる登録単語を推定する推定ステップとを備え、
前記推定ステップは、
認識可能な複数の登録単語のモデルパラメータから復元された、前記複数の登録単語それぞれのテンプレート特徴量列と、認識対象区間内の音声の特徴量列とを照合させることによって、登録単語候補を抽出するステップと、
予め記憶された前記モデルパラメータを用いた認識処理によって、抽出された前記登録単語候補の音声区間内の特徴量に基づき登録単語を推定するステップとを含む、音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置および音声認識プログラムに関し、特に、孤立単語認識方式により音声認識を行う音声認識装置および音声認識プログラムに関する。
【背景技術】
【０００２】
一般的に、特定話者対応の音声認識装置では、特定話者の少ない発話音声の特徴量から得られるパターンデータが用いられる。これに対し、不特定話者対応の音声認識装置では、多数の教師音声の特徴量から生成されたモデルパラメータが用いられる。前者のパターンデータを用いた音声認識手法の代表例として、ＤＴＷ（Dynamic Time Warping）アルゴリズムが挙げられる。後者のモデルパラメータを用いた音声認識手法の代表例としては、ＨＭＭ（Hidden Markov Model）法が挙げられる。
【０００３】
モデルパラメータを用いて音声認識を行う装置において、ユーザにより連続的に発話されたフレーズ群の音声を認識可能とするために、次のような技術が提案されている。
【０００４】
たとえば特開２００８−１１６７４４号公報（特許文献１）には、連続音声認識装置の従来例として、探索処理部において、音響モデルと言語モデルを用いて、入力音声の特徴量ベクトルの時系列と文法で許容される単語列の仮説が照合されることが開示されている。具体的には、文法で規定された単語の接続関係を示す単語ネットワークで許容される仮説に対応した音響モデルと特徴量ベクトルの時系列をフレーム単位で照合し、音響的な尤もらしさを示す音響スコアを求めると同時に、その仮説に対応した言語モデルから言語スコアを求め、音響スコアと言語スコアからなる仮説のスコアを、入力音声の始端から終端まで各仮説について求め、最もスコアの大きい仮説、つまり入力音声に最も近い仮説を認識結果として出力することが開示されている。
【０００５】
また、特開２０１４−４４３６３号公報（特許文献２）には、自由な連続発話を認識対象とする音声認識装置においては、辞書・言語モデル格納部に登録されている単語のＮ連鎖確率を保持しているＮ−ｇｒａｍモデルが用いられ、これによりＮ連鎖以下の単語のつながり易さが言語尤度として計算されることが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１１６７４４号公報
【特許文献２】特開２０１４−４４３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記した従来の技術では、複数の登録単語が連続的に発話されたフレーズ群の音声を認識する場合、上記特許文献１の「文法」や特許文献２の「Ｎ−ｇｒａｍモデル」のように、発話された単語（登録単語）間の繋がりが考慮されている。したがって、連続的に発話された単語間に繋がりがない場合、発話音声を適切に認識するのは困難であった。
【０００８】
本発明は、上記のような課題を解決するためになされたものであって、その目的は、連続的に発話された単語間に繋がりのない場合であっても、発話音声を適切に認識することのできる音声認識装置および音声認識プログラムを提供することである。
【課題を解決するための手段】
【０００９】
この発明のある局面に従う音声認識装置は、記憶手段と、音声入力手段と、推定手段とを備える。記憶手段は、認識可能な複数の登録単語のモデルパラメータから復元された、複数の登録単語それぞれのテンプレート特徴量列を記憶する。音声入力手段は、登録単語が連続的に発話されたフレーズ群の音声を入力する。推定手段は、音声入力手段に入力された音声の特徴量に基づいて、フレーズ群に含まれる登録単語を推定する。推定手段は、記憶手段に記憶された複数の登録単語それぞれのテンプレート特徴量列と、認識対象区間内の音声の特徴量列とを照合させることによって、登録単語候補を抽出する候補抽出手段を含む。
【００１０】
好ましくは、記憶手段は、複数の登録単語のモデルパラメータを予め記憶している。この場合、推定手段は、モデルパラメータを用いた認識処理によって、候補抽出手段により抽出された登録単語候補の音声区間内の特徴量に基づき登録単語を推定する認識処理手段をさらに含むことが望ましい。
【００１１】
また、音声認識装置は、記憶手段に記憶されたモデルパラメータから、複数の登録単語それぞれの特徴パターンを算出し、登録単語ごとにテンプレート特徴量列を復元する復元手段をさらに備えていてもよい。
【００１２】
復元手段は、算出した特徴パターンに対して補間処理を行うことにより、テンプレート特徴量列を復元してもよい。
【００１３】
好ましくは、候補抽出手段は、モデルパラメータに含まれるばらつき情報に基づいて重み付けを行って、登録単語候補を抽出する。
【００１４】
好ましくは、音声認識装置は、推定手段により単語が推定された場合に、推定された単語を認識結果として受理するか否かの受理判定を行う受理判定手段と、受理判定手段により受理された単語を出力する出力手段と、受理判定手段により受理された単語の音声区間を認識対象区間から削除することによって、認識対象区間を更新する更新手段とをさらに備える。
【００１５】
この発明のある局面に従う音声認識プログラムは、登録単語が連続的に発話されたフレーズ群の音声を入力するステップと、入力された音声の特徴量に基づいて、フレーズ群に含まれる登録単語を推定する推定ステップとを備える。推定ステップは、認識可能な複数の登録単語のモデルパラメータから復元された、複数の登録単語それぞれのテンプレート特徴量列と、認識対象区間内の音声の特徴量列とを照合させることによって、登録単語候補を抽出するステップを含む。
【発明の効果】
【００１６】
本発明によれば、連続的に発話された単語間に繋がりのない場合であっても、発話音声を適切に認識することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る音声認識装置のハードウェア構成例を示すブロック図である。
【図２】本発明の実施の形態に係る音声認識装置の機能構成を示す機能ブロック図である。
【図３】比較例として、ＤＴＷアルゴリズムに従った音声認識処理での最小累積距離の計算例を示す図である。
【図４】本発明の実施の形態において、登録単語候補の抽出処理での最小累積距離の計算例を示す図である。
【図５】本発明の実施の形態において、ＨＭＭフレーズのモデルパラメータから復元されるテンプレート特徴量列の時間変化を示す図である。
【図６】本発明の実施の形態において、あるＨＭＭフレーズについての複数の教師音声の特徴量列と、復元された特徴量列（特徴パターン）との関係を示すグラフである。
【図７】本発明の実施の形態における音声認識処理を示すフローチャートである。
【図８】本発明の実施の形態における連続的音声認識処理を示すフローチャートである。
【図９】本発明の実施の形態において、単語候補の抽出に用いられる計算式を説明するための図である。
【図１０】実験で用いられた音声波形と認識対象区間との関係を示すグラフである。
【図１１】実験で用いられた音声波形と認識対象区間との関係を示すグラフである。
【図１２】実験で用いられた音声波形と認識対象区間との関係を示すグラフである。
【発明を実施するための形態】
【００１８】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。
【００１９】
＜概要について＞
本実施の形態に係る音声認識装置は、孤立単語認識方式を採用し、音声信号を分析することで、複数の登録単語から、音声信号が表わす単語を推定して出力する。この音声認識装置は、複数の登録単語が連続的に発話された音声（以下「連続的音声」という）の認識を可能としている。
【００２０】
本実施の形態に係る音声認識装置は、典型的には不特定話者対応の装置であり、各登録単語のモデルパラメータを用いて、発話音声を認識する。具体的には、ＨＭＭ法に基づいて登録単語の認識を行う。そのため、後の説明においては、「登録単語」を「ＨＭＭフレーズ」と記している。
【００２１】
以下に、このような音声認識装置の構成および動作について、詳細に説明する。
【００２２】
＜構成について＞
（ハードウェア構成）
本実施の形態に係る音声認識装置は、たとえばＰＣ（Personal Computer）などの汎用コンピュータによって実現可能である。
【００２３】
図１は、本発明の実施の形態に係る音声認識装置１のハードウェア構成例を示すブロック図である。図１を参照して、音声認識装置１は、各種演算処理を行うためのＣＰＵ（Central Processing Unit）１１と、各種データおよびプログラムを格納するＲＯＭ（Read Only Memory）１２と、作業データ等を記憶するＲＡＭ（Random Access Memory）１３と、不揮発性の記憶装置、たとえばハードディスク１４と、キーボードなどを含む操作部１５と、各種情報を表示するための表示部１６と、記録媒体１７ａからのデータやプログラムを読み出しおよび書き込み可能なドライブ装置１７と、ネットワーク通信するための通信Ｉ／Ｆ（インターフェイス）１８と、マイクロフォン２０から音声信号を入力するための入力部１９とを備える。記録媒体１７ａは、たとえば、ＣＤ−ＲＯＭ（Compact Disc-ROM）や、メモリカードなどであってよい。
【００２４】
（機能構成）
図２は、本発明の実施の形態に係る音声認識装置１の機能構成を示す機能ブロック図である。図２を参照して、音声認識装置１は、その主な機能構成として、音声入力部１０１と、抽出部１０２と、設定・更新部１０３と、ＨＭＭフレーズ推定部１０４と、受理判定部１０５と、結果出力部１０８とを含む。
【００２５】
音声入力部１０１は、複数のＨＭＭフレーズが連続的に発話されたフレーズ群の音声、すなわち連続的音声を入力する。抽出部１０２は、入力された音声を分析し、音声の特徴量を抽出する。具体的には、音声信号を所定の時間長のフレーム単位で切出し、フレーム単位で音声信号を分析することで特徴量を算出する。たとえば、切出された音声信号が、ＭＦＣＣ（Mel-frequency cepstral coefficient）特徴量に変換される。
【００２６】
設定・更新部１０３は、音声の検出区間のなかから、ＨＭＭフレーズ推定部１０４におけるフレーズの推定対象の区間（以下「認識対象区間」という）の設定および更新を行う。
【００２７】
ＨＭＭフレーズ推定部１０４は、ＨＭＭ記憶部２０１に記憶されたモデルパラメータと、抽出部１０２で抽出された音声の特徴量とに基づいて、フレーズ群に含まれるＨＭＭフレーズを推定する。
【００２８】
受理判定部１０５は、ＨＭＭフレーズ推定部１０４により推定されたＨＭＭフレーズを認識結果として受理するか否かの受理判定を行う。
【００２９】
結果出力部１０８は、受理判定部１０５により受理された単語を認識結果として確定し、出力する。具体的には、結果出力部１０８は、たとえば表示部１６に出力する。
【００３０】
ここで、ＨＭＭフレーズ推定部１０４は、公知のＨＭＭ法に従ってフレーズ認識を行う認識処理部２１２だけでなく、候補抽出部２１１を含んでいる。
【００３１】
ＨＭＭフレーズ推定部１０４の候補抽出部２１１は、認識対象区間から、ＨＭＭフレーズ候補を抽出し、抽出されたＨＭＭフレーズ候補の音声区間を切り出す処理を実行する。これにより、認識対象区間から、ＨＭＭフレーズが存在する可能性の高い音声区間が切り出される。ＨＭＭフレーズ候補の抽出処理は、具体的には、複数のＨＭＭフレーズそれぞれのテンプレート特徴量列と認識対象区間内の音声の特徴量列とを照合させることによって行われる。候補抽出部２１１で用いられるテンプレート特徴量列については、後述する。これにより、認識処理部２１２では、切出された音声区間内の特徴量から、ＨＭＭフレーズを推定することができる。
【００３２】
ここで、候補抽出部２１１において実行されるフレーズ（候補）抽出処理について説明する。フレーズ抽出処理では、ＨＭＭ記憶部２０１に記憶されたモデルパラメータそのものを用いずに、パターン記憶部２０２に記憶された、ＨＭＭフレーズごとのテンプレート特徴量列のパターンデータを用いて、ＨＭＭフレーズ候補を抽出する。本実施の形態では、ＤＴＷアルゴリズムに準拠したアルゴリズムによって、パターン記憶部２０２に記憶されたパターンデータを用いて、フレーズ抽出を行う。ＤＴＷアルゴリズムは、特定話者対応の登録単語（以下「ＤＴＷフレーズ」という）の認識に広く用いられている。
【００３３】
候補抽出部２１１におけるフレーズ抽出処理の理解を深めるために、まず、図３を参照しながら、ＤＴＷアルゴリズムに従ったＤＴＷフレーズ認識処理について簡単に説明する。図３では、入力フレーズの特徴量列が横軸に示され、あるＤＴＷフレーズの特徴量列が縦軸に示されている。たとえば、入力フレーズの特徴量列が３，５，６，４，２，５であり、あるＤＴＷフレーズの特徴量列が５，６，３，１，５であると仮定する。
【００３４】
ＤＴＷ認識処理では、入力フレーズの特徴量列を、ＤＴＷフレーズのテンプレート特徴量列に照合させて、両者の類似度を示す最小累積距離を算出する。ＤＴＷ認識処理において算出される最小累積距離については、以下「ＤＴＷ距離」という。この場合、両フレーズの始端と終端とを合わせ、たとえば、最大傾き「２」、最小傾き「１／２」とし、一点鎖線で示す平行四辺形内でＤＴＷ距離を計算する。この場合、ＤＴＷ距離は「５」となっている。ＤＴＷフレーズ認識においては、各登録フレーズについて上記のような計算を行い、ＤＴＷ距離が最も小さい登録フレーズが認識結果とされる。
【００３５】
これに対し、候補抽出部２１１において実行されるフレーズ抽出処理においては、ＤＴＷ認識処理とは逆に、入力フレーズの特徴量列に、登録フレーズのテンプレート特徴量列を照合させて、両者の類似度を示す最小累積距離を算出する。このように、照合先と照合元とを認識処理と逆にしているのは、連続的に発話されたフレーズ群の入力音声全体から、入力音声のどの部分に登録フレーズが存在するか分からないためである。
【００３６】
図４には、フレーズ抽出処理における最小累積距離の計算例が示されている。図４においても、図３と同様に、たとえば、入力フレーズの特徴量列が３，５，６，４，２，５であり、登録フレーズの特徴量列が５，６，３，１，５である場合の計算例が示されている。この場合、両フレーズの始端だけを合わせ、たとえば、最大傾き「２」、最小傾き「１／２」とし、一点鎖線で示すＶ字内で最小累積距離を計算する。この場合、登録フレーズの最終フレームで複数の累積距離が算出されるが、これらの累積距離（１１，７，７，４）のうちの最小の累積距離（４）が、両フレーズの特徴量列の最小累積距離となる。ただし、登録フレーズのフレーム長が異なるため、計算された最小累積距離を登録フレーズのフレーム数で割った数値を、両フレーズの類似度として求めることが望ましい。
【００３７】
なお、図３および図４の距離計算例では、理解を容易にするために、特徴量の次元を１次元とし、かつ、極めて少ないフレーム数のフレーズを例にしたが、通常の入力音声で距離計算をする場合には、登録フレーズの始端と入力音声の始端付近とを合わせればよい。
【００３８】
ところで、上述のように、ＨＭＭフレーズの認識自体には、パターンデータが用いられないため、上記のような距離計算を可能とするためには、別途テンプレート特徴量列を準備しなければならない。
【００３９】
そこで、本実施の形態では、ＨＭＭ記憶部２０１に記憶されたモデルパラメータから、各ＨＭＭフレーズのテンプレート特徴量列を復元することとしている。すなわち、音声認識装置１は、その機能として復元部１０９をさらに備えている。
【００４０】
復元部１０９は、ＨＭＭ記憶部２０１に記憶されたモデルパラメータから、複数のＨＭＭフレーズそれぞれの特徴パターンを算出し、テンプレート特徴量列を復元する。ＨＭＭ記憶部２０１には、ＨＭＭフレーズごとに、状態遷移確率、出力確率分布、初期状態確率などのパラメータが予め記憶されている。復元部１０９は、これらのパラメータを用いて、各ＨＭＭフレーズのテンプレート特徴量列を復元する。この具体的な方法について、以下に説明する。
【００４１】
状態ｋから状態ｌへの状態遷移確率が「ａｋｌ」、状態ｋの特徴量「ｙ」の出力確率分布が「ｂｋ（ｙ）」のＨＭＭフレーズから、テンプレート特徴量列を生成すると仮定する。なお、ここでは、状態数ＮのスキップなしＬＲ型ＨＭＭで、状態ｋにおける特徴量の出力確率分布が、平均ベクトル「μｋ」、共分散行列「Σｋ」の多次元正規分布である場合について述べる。
【００４２】
状態ｋから出力される特徴量の平均値は平均ベクトル「μｋ」である。そして、状態ｋから特徴量が出力される平均フレーム数は「１／（１−ａｋｋ）」であるため、状態ｋから状態（ｋ＋１）に遷移する時刻の平均値「ｔｋ」は、次の式（１）で表される。
【００４３】
【数１】
0006497651.tif 000002
【００４４】
これにより、本実施の形態では、図５で示すような変化をするテンプレート特徴量列を生成する。この場合、テンプレート特徴量列は、以下の式（２）で表される。なお、状態Ｎから最後に特徴量が出力される時刻の平均値「ｔＮ」は、ＨＭＭの教師音声の特徴量列の平均フレーム長からも求めることができる。
【００４５】
【数２】
0006497651.tif 000003
【００４６】
図６のグラフには、あるＨＭＭフレーズについての複数の教師音声の特徴量列と、復元された特徴量列（特徴パターン）との関係が示されている。
【００４７】
復元部１０９は、上記のような計算によって、ＨＭＭフレーズごとに、テンプレート特徴量列を復元する。なお、復元部１０９は、候補抽出部２１１においてＨＭＭフレーズ抽出処理が行われるたびに作動して復元処理を行ってもよいが、そうすると、認識速度が低下する。そのため、復元部１０９は、たとえば初期設定時など、ユーザからの所定の指示が入力された場合にのみ作動し、算出された特徴パターンに応じたパターンデータを、パターン記憶部２０２に記憶しておくことが望ましい。あるいは、音声認識装置１の製造または出荷時に、ＨＭＭから復元されたパターンデータを、予めパターン記憶部２０２に記憶しておいてもよい。この場合、音声認識装置１は復元部１０９を有していなくてもよい。
【００４８】
なお、図２に示した各記憶部２０１，２０２は、たとえばハードディスク１４に含まれる。音声入力部１０１は、たとえば入力部１９により実現される。それ以外の機能部は、ＣＰＵ１１が、たとえばＲＯＭ１２に格納されたソフトウェアを実行することで実現される。なお、これらの機能部のうちの少なくとも１つは、ハードウェアにより実現されてもよい。
【００４９】
＜動作について＞
図７は、本発明の実施の形態における音声認識処理を示すフローチャートである。図７のフローチャートに示す処理手順は、予めプログラムとしてＲＯＭ１２に格納されており、ＣＰＵ１１が当該プログラムを読み出して実行することにより音声認識処理の機能が実現される。
【００５０】
図７を参照して、音声入力部１０１に音声が入力されると（ステップＳ（以下「Ｓ」と略す）２）、音声信号のエネルギー等に基づき音声が検出される（Ｓ４）。検出された音声には、連続的に発話された複数のＨＭＭフレーズが含まれているものとする。
【００５１】
音声が検出されると、その区間内の音声に対し、連続的音声認識処理が実行される（Ｓ６）。なお、検出した音声区間の前後に、検出し損ねたエネルギーの小さい音声が存在する可能性を考慮し、音声区間を前後に数百ミリ秒程度ずつ拡大しておくことが望ましい。
【００５２】
図８は、本実施の形態における連続的音声認識処理を示すフローチャートである。図８を参照して、抽出部１０２は、検出音声を長さ２０ミリ秒程度のフレームに区切って分析し、ＭＦＣＣ等の特徴量を抽出する（Ｓ１２）。抽出部１０２は、フレームを１０ミリ秒程度ずつずらして分析することを繰り返す。これにより、検出音声（入力音声）の特徴量列が得られる。
【００５３】
設定・更新部１０３は、図７のＳ４で検出された音声区間全体を、認識対象区間として設定する（Ｓ１４）。
【００５４】
認識対象区間が設定されると、まず、ＨＭＭフレーズ推定部１０４の候補抽出部２１１が、ＨＭＭフレーズの抽出処理を実行する（Ｓ１６）。すなわち、パターン記憶部２０２に記憶された各ＨＭＭフレーズのテンプレート特徴量列を、検出音声の特徴量列に照合させて、ＨＭＭフレーズ候補を抽出する。ここでは、認識対象区間の始端付近にＨＭＭフレーズが存在すると仮定して、ＤＴＷアルゴリズムに準拠したフレーズ抽出処理を行う。
【００５５】
具体的には、図４に示したような計算方法によりＨＭＭフレーズごとに最小累積距離を算出し、算出された最小累積距離をそのフレーム数で除算することで、１フレーム当たりの最小累積距離を求める。１フレーム当たりの最小累積距離が最小になるＨＭＭフレーズをＨＭＭフレーズ候補とする。このような処理は、所定の計算式により行うことができる。候補抽出部２１１は、抽出されたＨＭＭフレーズ候補の音声区間を、ＨＭＭフレーズが存在する可能性が最も高い区間として切出す。
【００５６】
なお、ＨＭＭ記憶部２０１には、平均ベクトルだけではなく、平均ベクトルからのばらつきの情報、つまり、共分散行列も記憶されている。したがって、ＨＭＭフレーズ抽出においては、２つの特徴量列の照合における類似性の距離尺度として、以下の式（３）で示すマハラノビス距離を適用することができる。
【００５７】
【数３】
0006497651.tif 000004
【００５８】
マハラノビス距離は、平均ベクトルからのばらつきの程度に応じて距離の重み付けがなされる。そのため、ユークリッド距離による類似度の計算よりも、ＨＭＭフレーズ候補の抽出精度を向上させることができる。
【００５９】
次に、ＨＭＭフレーズ推定部１０４の認識処理部２１２が、ＨＭＭ記憶部２０１に記憶されたモデルパラメータを用いて、ＨＭＭフレーズの認識処理を実行する（Ｓ１８）。具体的には、認識処理部２１２は、候補抽出部２１１において切出された音声区間内の特徴量に基づいて、ＨＭＭフレーズを推定する。すなわち、ＨＭＭフレーズ抽出処理の結果である特徴量列を、ＨＭＭ法により認識する。
【００６０】
このように、Ｓ１６でのＨＭＭフレーズ抽出の結果をそのまま認識結果とせず、不特定話者の音声認識に適したＨＭＭ法により認識処理を行うことで、認識精度を高めることができる。
【００６１】
続いて、受理判定部１０５は、Ｓ１８での認識結果の受理判定を行う（Ｓ２０）。すなわち、認識処理部２１２において推定されたＨＭＭフレーズを認識結果として受理するか、棄却するかの判定を行う。簡易な棄却アルゴリズムでは、１位のＨＭＭフレーズの尤度値が或る閾値以上であり、かつ、１位と２位の尤度比が別の或る閾値以上であれば受理し、さもなければ、棄却する。これらの閾値は、登録音声から予め求められ、記憶されているものとする。
【００６２】
推定されたＨＭＭフレーズが認識結果として受理されると（Ｓ２０にて「受理」）、結果出力部１０８は、受理されたＨＭＭフレーズを認識結果として出力する（Ｓ２２）。
【００６３】
抽出されたＨＭＭフレーズ候補と受理したＨＭＭフレーズとが異なる場合には、候補抽出部２１１による音声区間の切出しと同様に、受理されたＨＭＭフレーズが存在する区間を検出しなおす（Ｓ２４）。この処理が終わると、Ｓ２６へ進む。
【００６４】
Ｓ２０において、推定されたＨＭＭフレーズが棄却された場合（Ｓ２０にて「棄却」）、認識対象区間の始端付近には、ＨＭＭフレーズは存在しないと判断し、Ｓ２８に移行する。
【００６５】
なお、ＨＭＭフレーズ抽出処理（Ｓ１６）において最も類似度が高かった１位のＨＭＭフレーズ候補の音声区間における認識結果が棄却された場合、直ちにＳ２８に移行せずに、ＨＭＭフレーズの再認識処理を行ってもよい。具体的には、ＨＭＭフレーズ抽出処理において次に類似度が高かった２位のＨＭＭフレーズ候補の音声区間について、ＨＭＭフレーズ認識処理（Ｓ１８）および受理判定（Ｓ２０）を行ってもよい。その場合、Ｓ２２において出力されるＨＭＭフレーズは、再認識処理で認識および受理されたフレーズであってもよい。これにより、入力音声の認識精度を高めることができる。このような再認識処理は、２位以降の複数（所定数）のＨＭＭフレーズ候補の音声区間について行われてもよい。
【００６６】
Ｓ２６では、設定・更新部１０３は、認識対象区間から受理フレーズ区間を削除し、認識対象区間を更新する。具体的には、認識対象区間の始端から、受理フレーズを抽出した区間の終端までの特徴量列を削除する。つまり、認識処理区間の始端が、削除した分だけ後方にずらされる。
【００６７】
Ｓ２８では、設定・更新部１０３は、認識対象区間から所定の棄却区間を削除する。具体的には、認識対象区間の始端から、１００〜２００ミリ秒程度の特徴量列を削除する。つまり、認識処理区間の始端が、後方に１００〜２００ミリ秒程度ずらされる。
【００６８】
認識対象区間が更新されると、認識対象区間長を検査する（Ｓ３０）。具体的には、認識対象区間の時間長が或る閾値以上であれば（Ｓ３０にて「しきい値以上」）、認識対象区間にフレーズが存在する可能性があると判断し、Ｓ１６に戻り、上記処理を繰り返す。さもなければ（Ｓ３０にて「しきい値未満」）、一連の処理は終了される。なお、この閾値は、ＨＭＭフレーズの時間長から求めることができる。具体的には、ＨＭＭフレーズの中で最短のフレーズの時間長のたとえば半分を、閾値として設定してもよい。
【００６９】
上述のように、本実施の形態の音声認識方法によれば、ＨＭＭフレーズのテンプレート特徴量列を用いることで、ＤＴＷアルゴリズムに準拠したフレーズ抽出を行うことができるため、単語間の繋がりを考慮することなく連続的音声を認識することができる。なお、認識精度をより向上させるためには、構文分析等を組み合わせてもよい。
【００７０】
また、ＨＭＭフレーズのテンプレート特徴量列は、ＨＭＭパラメータから復元されるため、別途、教師音声による学習を行う必要がない。そのため、簡易な手法で連続的音声を認識することができる。また、ＨＭＭパラメータが、多数の話者が発声した音声を学習して求められたパラメータであるため、ＨＭＭパラメータから復元されたテンプレート特徴量列は、不特定話者に対応可能なものとなっている。したがって、多数の話者が発声した各音声から求めたテンプレート特徴量列を使ってフレーズ抽出を行うよりも、不特定話者に対してフレーズ抽出の精度が良いと期待できる。しかも、１フレーズ当たり１個のテンプレート特徴量列を生成するだけでよいため、類似度の計算量を少なくすることもできる。
【００７１】
また、ＨＭＭパラメータからテンプレート特徴量列を復元する際に、共分散行列の時系列データも復元しておくことで、ＨＭＭフレーズ候補の抽出処理において、特徴量のばらつきに応じて距離の重み付けが可能である。したがって、候補抽出の精確性を向上させることができる。
【００７２】
また、ＨＭＭフレーズの最終的な認識処理はＨＭＭ法に基づいて行うため、認識率の低下を防ぐことができる。
【００７３】
また、ＨＭＭフレーズの抽出処理では、通常のＤＴＷアルゴリズムと異なり、テンプレート特徴量列を照合元とすることで、入力音声から、フレーズ認識に最適な範囲を探索することができる。また、通常、フレーズごとに数千回程度必要となる距離計算を、１回の距離計算で済ますこともできる。このことについては、さらに詳細に説明する。
【００７４】
一般的なＤＴＷアルゴリズムによるフレーズ抽出では、入力音声の特徴量列から部分列を取り出して照合元とし、テンプレート特徴量列に照合することによって最小累積距離が計算される。この場合、取り出す部分列ごとに、そこに存在する可能性が最も高いフレーズとその最小累積距離とが求まる。このような計算は、あらゆる部分列について行われる。そして、最小累積距離を部分列の長さであるフレーム数で割った値のうち、最小となる部分列を探す。これにより、見付かった部分列に、存在する可能性が最も高いフレーズが抽出されたことになる。このような計算は、各フレーズについて数千回程度行う必要がある。これは、部分列の入力音声からの取り出し方が数千通り程度あるためである。
【００７５】
また、一般的なＨＭＭ法によるフレーズ抽出においても、対数尤度の計算を１フレーズ当たり数千回程度計算する必要がある。詳述すると、一般的なＨＭＭ法によるフレーズ抽出では、認識対象区間（音声検出区間）から、始端および終端の位置を様々に変えて、その一部を取り出し、ビタビアルゴリズムにより、各フレーズのＨＭＭに対する対数尤度を計算する。このとき、始端の位置を２００ミリ秒程度の範囲で変え、かつ、終端の位置を始端の位置から５００〜１５００ミリ秒程度の範囲で変えることにより、部分列が取り出される。この場合、部分列の取り出し方が数千通りある。したがって、１フレーズ当たり、数千回も対数尤度を計算する必要がある。
【００７６】
なお、この場合においても、たとえば、計算された対数尤度をフレーム数で除算した値を用いるなど、多くの場合、切出した区間の長さの違いが対数尤度の値に与える影響が考慮されている。対数尤度が最大のフレーズが受理されると、そのフレーズが認識結果となる。
【００７７】
このような、一般的なＨＭＭ法によるフレーズ抽出において、リアルタイム性を要求すると高い演算処理能力を持つハードウェアが必要となり、コストがかかる。一方、コストを抑えるために演算処理能力が高くないハードウェアを使用すると、処理時間が長くなってしまう。
【００７８】
これに対し、本実施の形態では、各フレーズ（ｗ）に対して入力音声の特徴量列を照合先、テンプレート特徴量列を照合元とする最小累積距離をテンプレート特徴量列の長さで割った値を計算し、その中で最小となるフレーズＷ＊を求める。この際に、次のような式（４）を用いることで、各フレーズ（ｗ）についての距離計算を１回で済ませることができる。
【００７９】
【数４】
0006497651.tif 000005
【００８０】
式（４）中の「Ｒｗ」は、フレーズｗのテンプレート特徴量列、「Ｊｗ」はその長さを示し、「ａｍｉｎ」は始端フレーム番号「ａ」の最小値、「ｂｍａｘ」は終端フレーム番号「ｂ」の最大値を示す。また、「Ｘ（ａｍｉｎ，ｂｍａｘ）」は、入力音声の特徴量列Ｘのａｍｉｎフレームからｂｍａｘフレームまでを取り出した部分列を示す。この場合、Ｒｗを照合元、Ｘ（ａｍｉｎ，ｂｍａｘ）を照合先とする最小累積距離「Ｄ（Ｒｗ，Ｘ（ａｍｉｎ，ｂｍａｘ））」は、次の式（５）により定義できる。なお、先に示した図４には、参考として、入力フレーズおよび登録フレーズの特徴量列と、式（５）の記号との関係が図示されている。
【００８１】
【数５】
0006497651.tif 000006
【００８２】
式（５）の「ｑ１，・・・,ｑＪｗ」に関する制約条件は、次の通りである。
【００８３】
【数６】
0006497651.tif 000007
【００８４】
図９には、条件（１）〜（６）の不等式で定まる領域を囲む線が、一点鎖線で示されている。本実施の形態では、フレーズごとに、この領域内で最小累積距離を計算する。
【００８５】
候補抽出部２１１において、式（４）による計算を行うことで、フレーズ抽出処理に掛かる時間を大幅に短縮することができる。なお、理想的には、式（４）による計算が行われるが、本実施の形態におけるフレーズ抽出処理と、照合元および照合先は同じとしたまま、照合先を、入力音声の特徴量列から取り出されたあらゆる部分列としてもよい。
【００８６】
＜実験結果について＞
本実施の形態における連続的音声認識方法に従い、一例として、「デンシメール（電子メール）、メールジュシン（メール受信）」という連続的音声に対して行った実験結果について説明する。「電子メール」および「メール受信」は、いずれも事前に登録された単語（ＨＭＭフレーズ）である。
【００８７】
図１０には、入力音声波形が示されている。このような入力音声に対して、音声信号のエネルギーに基づいて音声検出を行った場合、これらのフレーズ群の音声は、図１０のグラフの０．８０秒から２．５７秒の間（△印の間）に検出された（図７のＳ４）。
【００８８】
図１０の入力音声波形を見ると、「電子メール」の音声と「メール受信」の音声との間には、０．２秒程度の非発話区間があるが、ここでは区切られず、両フレーズを含んだ区間が音声区間として検出されている。登録単語の中には、たとえば促音（「ッ」）などエネルギーが小さい音素を有するフレーズが含まれる。ここでの非発話区間の時間は、このような促音の時間と同じぐらいかそれよりも短い時間である。そのため、促音を含むフレーズが発話された場合に、この促音の箇所で区切らないように音声検出を行うためには、短い非発話区間の箇所で音声波形を区切ることができない。本実施の形態の認識方法では、このように、１フレーズずつ検出して認識するのが困難な音声を認識することを想定している。
【００８９】
図８のステップＳ１４で設定される認識対象区間の始端および終端は、図１１において□印で示されている。この段階での認識対象区間は、音声が検出された区間（図１０の△印の間）と、ほぼ等しい。
【００９０】
認識対象区間の始端付近にＨＭＭフレーズが存在する可能性を見積り、最も可能性が高い単語、および、その単語がある区間を求めたところ、「電子メール」というフレーズが単語候補として抽出された（図８のＳ１６）。このフレーズは、０．８２秒から１．５２秒（○の間）にある可能性が最も高いという結果となった。
【００９１】
次に、０．８２秒から１．５２秒の音声区間を切出し、その区間内の音声をＨＭＭ認識したところ、「電子メール」という結果となった（図８のＳ１８）。この場合、認識結果を受理判定したところ、受理された（図８のＳ２０にて「受理」）。
【００９２】
そのため、「電子メール」が１つ目の認識結果として出力された（図８のＳ２２）。単語が受理されると、図１２に示す認識対象区間（□印の間）に更新される（図８のＳ２６）。すなわち、認識対象区間は、「電子メール」の終端直後の１．５３秒から音声検出区間の終端２．５７秒の間となる。更新された認識対象区間の音声に対し２回目の推定処理が実行される（図８のＳ３０にて「しきい値以上」）。
【００９３】
認識対象区間の始端付近にＨＭＭフレーズが存在する可能性を見積り、最も可能性が高い単語、および、その単語がある区間を求めたところ、「メール受信」というフレーズが、１．７８秒から２．５５秒（○の間）にある可能性が最も高いという結果となった（図８のＳ１６）。
【００９４】
そのため、１．７８秒から２．５５秒の音声区間内の音声を認識したところ、「メール受信」という結果となった（図８のＳ１８）。この認識結果を受理判定したところ、受理されたため（図８のＳ２０にて「受理」）、「メール受信」が２つ目の認識結果として出力された（図８のＳ２２）。
【００９５】
次に、認識対象区間を更新すると、残りの区間は、「メール受信」の終端直後の２．５６秒から音声検出区間の終端２．５７秒の間となる（図８のＳ２６）。この場合、認識対象区間の長さは０．０１秒と非常に短いため、この間にフレーズは存在しないと判断し（図８のＳ３０にて「しきい値未満」）、認識処理が終了される。
【００９６】
上記の実験結果から、連続的音声を精度良く認識できていることが分かる。したがって、本実施の形態に係る音声認識装置１によれば、ユーザの満足度を向上させることができる。
【００９７】
なお、本実施の形態では、図６のグラフに示したように、ＨＭＭパラメータからテンプレート特徴量列を階段状に復元することとしたが、多項式補間やスプライン補間等の補間処理を用いて、テンプレート特徴量列を曲線状に復元してもよい。つまり、ＨＭＭパラメータから算出した特徴パターンに対して補間処理を行うことにより、テンプレート特徴量列を復元してもよい。
【００９８】
また、本実施の形態では、候補抽出部２１１により抽出された１位のフレーズ候補をそのまま認識結果とせずに、そのフレーズ候補の音声区間に対してＨＭＭ法による認識処理を行うこととした。しかしながら、候補抽出部２１１により抽出された１位のフレーズ候補を認識結果としてもよい。すなわち、１位のフレーズ候補に対して受理判定を行ってもよい。この場合、ＨＭＭフレーズ推定部１０４は、認識処理部２１２を含まなくてもよい。また、復元部１０９の機能が別装置にて実現されるような場合には、音声認識装置１に、ＨＭＭ記憶部２０１が含まれていなくてもよい。
【００９９】
また、本実施の形態では、認識対象区間の始端付近にＨＭＭフレーズが存在すると仮定して、フレーズ抽出処理を行ったが、認識対象区間の終端付近にＨＭＭフレーズが存在すると仮定して、フレーズ抽出処理を行ってもよい。この場合、認識対象区間の更新を行う際に、受理フレーズを抽出した区間の始端から、認識対象区間の終端までの特徴量列を削除すればよい。また、棄却区間の削除においては、認識処理区間の終端から、１００〜２００ミリ秒程度の特徴量列を削除すればよい。
【０１００】
なお、本実施の形態に係る音声認識装置１により実行される音声認識方法を、プログラムとして提供することもできる。このようなプログラムは、ＣＤ−ＲＯＭ（Compact  Disc-ROM）などの光学媒体や、メモリカードなどのコンピュータ読取り可能な一時的でない（non-transitory）記録媒体にて記録させて提供することができる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【０１０１】
本発明にかかるプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
【０１０２】
また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。
【０１０３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１０４】
１  音声認識装置、１１  ＣＰＵ、１２  ＲＯＭ、１３  ＲＡＭ、１４  ハードディスク、１５  操作部、１６  表示部、１７  ドライブ装置、１７ａ  記録媒体、１８  通信Ｉ／Ｆ、１９  入力部、２０  マイクロフォン、１０１  音声入力部、１０２  抽出部、１０３  設定・更新部、１０４  ＨＭＭフレーズ推定部、１０５  受理判定部、１０８  結果出力部、１０９  復元部、２０１  ＨＭＭ記憶部、２０２  パターン記憶部、２１１  候補抽出部、２１２  認識処理部。
【図１】
0006497651.tif 000008
【図２】
0006497651.tif 000009
【図３】
0006497651.tif 000010
【図４】
0006497651.tif 000011
【図５】
0006497651.tif 000012
【図６】
0006497651.tif 000013
【図７】
0006497651.tif 000014
【図８】
0006497651.tif 000015
【図９】
0006497651.tif 000016
【図１０】
0006497651.tif 000017
【図１１】
0006497651.tif 000018
【図１２】
0006497651.tif 000019