(57)【要約】      （修正有）【課題】現実の利用環境における多様な状況によらず、音声に固有の特徴を確実かつ頑健に抽出して、音声認識に利用する。【解決手段】一般的な音声認識手法として現在広く普及している隠れマルコフモデル（ＨＭＭ）に基づく手法では、入力音声を標準パターンと照合する際に、音声区間全体における全ての分析時点（フレーム）の特徴量を均一に評価するため、音声も雑音も同等にスコアに反映されるのに対して、本方法は、音声を識別するための重要な特徴が存在するフォルマントの極大及び極小部分の特徴量を集中的に利用することにより、雑音に頑健な音声認識が可能になる。【選択図】図２
2011180308.tif 000002
【特許請求の範囲】
【請求項１】
話者が発声した音声信号を周波数分析した、フォルマント周波数、フォルマントパワーレベル、基本周波数、自己相関係数、ケプストラムピーク値、スペクトル傾き、ピッチチャンネルパワー、又は周波数高域パワーのパラメータの時間軸方向の変化パターンの軌跡における極大値及び極小値並びにそれらの近傍の時間的区間を抽出する手段と、
前記区間における特徴パラメータを連結した連鎖パターンにより、前記音声信号の特徴量パターンを生成する手段と、
音声認識の対象とする語彙の各単語の文字表記から、前記各単語に対応する標準特徴量パターンを生成する手段と、
前記話者が発声した前記音声信号の前記特徴量パターンと前記標準特徴量パターンとを照合することにより音声信号に適合する単語を決定する手段とを備える音声認識装置。
【請求項２】
話者が発声した音声信号を周波数分析して得られる特徴パラメータと特徴量パターンから、前記音声信号の時間的な部分区間を音声の生成方法によって分類した、有声音区分、無声音区分、無音区分、又は有声子音区分の調音的記述区分の列を生成する手段と、
音声認識の対象とする語彙の各単語の文字表記から、前記各単語に対応する前記調音的記述区分の標準的記号列を導出する手段と、
前記話者が発声した前記音声信号に対応する前記調音的記述区分の列と、前記調音的記述区分の前記標準的記号列との対応表を生成する手段と、
前記対応表と前記特徴量パターンとを併用してパターン照合を行うことにより音声信号に適合する単語を決定する手段とを備える音声認識装置。
【請求項３】
前記調音的記述区分の前記標準的記号列は、音声の変動に関する知見を体系化した変形規則により、一つの単語に対して複数の標準記号列を生成する手段を備えることを特徴とする請求項２に記載の音声認識装置。
【請求項４】
更に話者の音声認識結果を出力する手段を備えることを特徴とする請求項２に記載の音声認識装置。
【請求項５】
音声言語体系毎に、認識対象となる全ての単語の発音内容を記号で表記した辞書と、その単語の発音変形パターンを記号により記述した辞書と、音素ごとの標準的なフォルマント特徴量の値と、前記各単語の標準的なフォルマント特徴量の時間的変化パターンとのうち、少なくとも一つを記憶している記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置、及び記録媒体に関する。
【背景技術】
【０００２】
音声認識において雑音環境における認識精度を向上させるための手法として、無音部分の雑音のスペクトル情報を算出して全体から差し引く方法（スペクトル減算法）や、長時間にわたるケプストラムの平均値を求めて特徴量を正規化する方法（ケプストラム平均正規化法）などの前処理的手法の他、想定される雑音をマルコフモデルで統計的にモデル化する方法などが知られている（例えば特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１３９０３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の音声認識手法では、入力音声を標準パターンと照合する際に、音声区間全体における全ての分析時点（フレーム）の特徴量を同一の尺度で評価するため、音声も雑音も同等にスコアに反映される。このため、たとえ小語彙の音声認識であっても、雑音の影響により認識精度が大幅に低下する問題点があった。
また、雑音の特性がある程度定常的で予測可能な環境であれば、特許文献１のようにそれを統計的にモデル化することで、従来手法でも対応可能であるが、現実の応用場面では、想定外の雑音が生じることは不可避であり、新たなアプローチが必要となる。
【０００５】
そこで、本発明は、音声を識別するための重要な特徴が存在するフォルマントの極大及び極小部分の特徴量を集中的に利用するとことにより、雑音に頑健な音声認識を可能にするとともに、音声認識用の評価パターンを構築する際に、音声学及び音響分析の知見を利用して、認識対象単語の辞書表記のテキストから、フォルマントの極大・極小の連鎖パターンを自動生成することにより、従来手法のような大量データからの統計的学習を不要とし、文字表記された任意の語彙を認識対象とすることが可能な音声認識装置及びこれらに使用する音声認識用特徴データを記憶している記憶媒体を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明に係る音声認識装置は、話者が発声した音声信号を周波数分析した、フォルマント周波数、フォルマントパワーレベル、基本周波数、自己相関係数、ケプストラムピーク値、スペクトル傾き、ピッチチャンネルパワー、又は周波数高域パワーのパラメータの時間軸方向の変化パターンの軌跡における極大値及び極小値並びにそれらの近傍の時間的区間を抽出する手段と、
区間における特徴パラメータを連結した連鎖パターンにより、音声信号の特徴量パターンを生成する手段と、
音声認識の対象とする語彙の各単語の文字表記から、各単語に対応する標準特徴量パターンを生成する手段と、
話者が発声した音声信号の特徴量パターンと標準特徴量パターンとを照合することにより音声信号に適合する単語を決定する手段とを備える。
本発明に係る音声認識装置は、話者が発声した音声信号を周波数分析して得られる特徴パラメータと特徴量パターンから、音声信号の時間的な部分区間を音声の生成方法によって分類した、有声音区分、無声音区分、無音区分、又は有声子音区分の調音的記述区分の列を生成する手段と、
音声認識の対象とする語彙の各単語の文字表記から、各単語に対応する調音的記述区分の標準的記号列を導出する手段と、
話者が発声した音声信号に対応する調音的記述区分の列と、調音的記述区分の標準的記号列との対応表を生成する手段と、
対応表と特徴量パターンとを併用してパターン照合を行うことにより音声信号に適合する単語を決定する手段とを備える。
本発明に係る音声認識装置は、調音的記述区分の標準的記号列において、音声の変動に関する知見を体系化した変形規則により、一つの単語に対して複数の標準記号列を生成する手段を備える。
上記音声認識装置は、更に話者の音声認識結果を出力する手段を備えていることが好ましい。
本発明に係る記録媒体は、音声言語体系毎に、認識対象となる全ての単語の発音内容を記号で表記した辞書と、その単語の発音変形パターンを記号により記述した辞書と、音素ごとの標準的なフォルマント特徴量の値と、各単語の標準的なフォルマント特徴量の時間的変化パターンとのうち、少なくとも一つを記憶している。
本発明によれば、音声を識別するための重要な特徴が存在するフォルマントの極大及び極小部分の特徴量を集中的に利用することが可能になり、したがって、本発明によれば、雑音に頑健な音声認識が可能である。
かかる構成によれば、音声認識用の評価パターンを構築する際に、音声学及び音響分析の知見を利用して、認識対象単語の辞書表記のテキストから、フォルマントの極大・極小の連鎖パターンを自動生成することが可能になり、大量のデータからの統計的学習を必要とせず、文字で表記された任意の単語を認識対象とすることが可能になる。
【発明の効果】
【０００７】
以上説明したように、本発明によれば、任意の単語に対して、大量のデータからの学習を必要とせず、雑音に頑健な音声認識が可能な、音声認識装置、音声認識方法、及び音声認識プログラム、更にこれらの音声認識において使用される種々の情報を記憶している記憶媒体が提供される。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る音声認識装置として動作するコンピュータの構成を示す図
【図２】音声認識システムの構成と処理の流れを示す図
【図３】音声信号からフォルマント関連の特徴量を抽出した例を示す図
【図４】フォルマント周波数の軌跡の極大・極小値とその近傍区間の抽出例を示す図
【図５】二つ母音の連鎖におけるフォルマント周波数の極大・極小の連鎖パターンを示す図
【図６】ある単語「暗証番号」の音声信号サンプルから抽出した音声調音的記述区分の列を表示した図
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図１は、本発明の実施の形態に係る音声認識装置として動作するコンピュータの構成を示す図である。
音声認識装置１０として動作するコンピュータは、図１に示すように、中央処理装置（ＣＰＵ）１２ａ、主記憶装置（メモリ）１２ｂ、補助記憶装置１２ｃ、入出力インターフェイス１２ｅ、マイク１２ｆ、及びモニタ１２ｄまたは信号出力ポート１２ｇを備えている。
ＣＰＵ１２ａ、メモリ１２ｂ、モニタ１２ｄ、及び入出力インターフェイス１２ｅは、システムバス１２ｈを介して互いに接続されており、マイク１２ｆ及び信号出力ポート１２ｇは、入出力インターフェイス１２ｅを介してシステムバス１２ｈに接続されている。
【００１０】
以下、音声認識装置１０による音声認識の流れを、図１を参照しつつ、概略的に説明する。音声認識システムでは、予め音声認識の対象となる単語の集合が確定される。ユーザはこの集合から、その要素である単語のうちの一つをマイク１２ｆに向かって発声する。このときの音声はマイク１２ｆで集音されアナログ音声信号として入出力インターフェイス１２ｅでデジタルデータに変換される。以下、このデジタルデータを「音声信号」、あるいはアナログ信号の波形をデジタルデータ化したものという意味で、「音声波形データ」という。音声認識のためのプログラムは、ＨＤＤやフラッシュメモリ等の補助記憶装置１２ｃに保存され、ＣＰＵ１２aやメモリ１２ｂにより実行される。入力した音声信号を認識した結果は、モニタ１２ｄにより画面表示されるか、または、信号出力ポート１２ｇから他の装置を制御するための信号として出力される。
【００１１】
以下、コンピュータを音声認識装置１０として動作させるための音声認識システムについて説明する。図２は、音声認識システムにおける処理の手順を示す図である。図２に示す音声認識システム２０は、音声信号分析部、調音的記述区間抽出部、調音的記述区分判定部、特徴量系列生成部、認識対象単語セット発音辞書データベース（ＤＢ）、調音的発音記述生成部、調音的発音記述辞書データベース（ＤＢ）、発音変形規則データベース（ＤＢ）、発音パターン生成部、発音パターン辞書データベース（ＤＢ）、音素標準特徴量データベース（ＤＢ）、標準特徴量系列生成部、特徴量パターン照合部を備えている。
【００１２】
音声認識処理の対象となる音声信号は、音声信号分析部に入力される。音声信号分析部では、周波数分析を中心とする信号処理手法を用いて基本的な特徴量を得る。その特徴量は、時間的な変化パターン表現できるように、一定時間（例えばｍｓ）ごとに求める。好適な特徴量の例を表１に示す。表１は、音声信号の周波数分析で得られる特徴量の例を示す表である。
【００１３】
【表１】
2011180308.tif 000003
【００１４】
ここで、ピッチは声の高さに対応する基本周波数であり、その抽出方法としては、音声波形の自己相関関数に基づいて周期性を推定する手法と、対数パワースペクトルのフーリエ変換であるケプストラムを用いて推定する手法がある。好適な実装においては、その両者を併用し、雑音の特性に応じて選択的に利用する。フォルマントとは、音声を生成する際に、口の中（声道）が音響管となる際に強く共鳴する周波数で、音声を認識するための重要な特徴量とされている。フォルマント抽出の手法としては、声道の共振特性をＡＲモデルで近似し、その極を線形予測係数（ＬＰＣ）から求める手法が一般的に知られている。フォルマント抽出の例を図３に示す。
【００１５】
次に、得られた特徴量の時系列パターンが、調音的記述区間抽出部に入力される。調音的記述区間抽出部においては、フォルマント周波数の時間変化パターンから、図３に示すように、山になる部分即ち時間変化量の極大値を取る部分と、谷になる部分即ち時間変化量の極小値を取る部分の周辺区間（｛ｐ，ｖ｝区間）を求める。周辺区間の時間幅は、特徴量の変化量の閾値を与えることにより好適に設定される。フォルマントは音声の生成上基本となる情報を含む特徴量であるため、この区間には、音声を区別するための重要な情報が集中的に含まれていると考えられる。このとき、ｐ，ｖ区間以外の区間に雑音があっても、その影響を受けないため、雑音に対する頑健性が期待できる。この区間を以下では調音的記述区間と呼ぶことにする。無声子音など子音の種類によっては、フォルマント以外の特徴量が重要であるものもあり、音素の種類に応じて適した特徴量を採用することができるが、以下では、フォルマント特徴量を例として説明する。
【００１６】
フォルマント変化パターンの代表的な例として、音声中で２個の母音が連鎖する場合のｐ−ｖパターンを図５に示す。例えば、／ｉ／から／ａ／に連鎖する場合、Ｆ１（第１フォルマント）はｖ→ｐ、Ｆ２（第２フォルマント）はｐ→ｖのパターンを取る。このようなパターンの大局的特徴をとらえることが、本手法の利点である。
【００１７】
次に、より詳細な特徴量パターンを得るため、音声を構成する音素を大分類し、それを並べた系列により音声の大局的構造を記述する。これを調音的記述区分と呼ぶことにする。例えば、好適な実装として、音声を声帯振動の有無に基づいて分類し、｛有声音，無声音，有声子音，無音｝の４通りの区分として記述する。ここで、無音には破裂音の閉鎖や促音に伴う単語中の無音区間が含まれる。
【００１８】
調音的記述区分は、図２の調音的記述区分判定部において、前段の調音的記述区間抽出部で得られたｐ−ｖパターンの値や他の特徴量を利用して判定される。その好適な例として、前項における４通りの調音的記述区分を判定するために利用するパラメータを表２に示す。
表２は、調音的記述区分を判定するために用いる特徴パラメータを示す図である。
【００１９】
【表２】
2011180308.tif 000004
【００２０】
例えば、有声子音区間（Ｖｃｏｎｓｏ）は、有声音区間の中にあって自己相関ピーク値の谷（ｖ）と全域パワーパラメータの谷（ｖ）から判定される。このようにして得られた調音的記述区分の例を図６に示す。この例は「暗証番号」と発声した音声信号を分析して調音的記述区分を判定し、濃淡で塗り分けた長方形として表示したものである
【００２１】
次に、標準パターンの生成方法について述べる。音声認識の対象とする単語の集合を決定し、それを音素を単位とする記号で記述したものを、図２における認識対象単語セット発音辞書ＤＢとして用意する。
認識対象単語セット発音辞書ＤＢは、調音的発音記述生成部において、各音素に対応した調音的記述に変換することにより、調音的発音記述辞書ＤＢが得られる。調音的記述としては、例えば前述のような声帯振動の有無による分類により、有声音を（Ｖ）、無声音を（Ｌ）、有声子音を（Ｃ）、無音を（Ｓ）で記述する場合、調音的発音記述辞書ＤＢは、｛Ｖ，Ｌ，Ｃ，Ｓ｝の４種類の記号で記述される。
【００２２】
一般に人間の音声は同じ単語に対しても音響的に多様性があるため、発音辞書としては、一通りの標準的な発音だけでなく、複数の発音のバリエーションを含むことが望ましい。そのために、発音変形パターン生成部において、多様な発音的変形パターンを含んだ発音辞書ＤＢを自動的に生成する。そのために、発音変形規則ＤＢを利用する。発音変形規則としては、いわゆる無声化や脱落といった音声学的な知見に基づく変形規則の他、多くの音声データのサンプルの音響分析結果を観察した経験的規則を含む。
前述の調音的発音記述法に基づく発音変形規則の例を表３に示す。
【００２３】
【表３】
2011180308.tif 000005
【００２４】
例えば、単語「アダプター」は，辞書から直接得られる系列ではＶＣＶＳＬＶＳＬＶのように記述されるが、書き換え規則ｘやiiを適用にすることにより，例えばＶＣＶＳＬＳＶのような系列も得られる。
このようにして得られた発音パターン辞書から、標準特徴量系列生成部において、Ｖ区間に対応する母音音素に対して、予め求めた日本語の５母音のフォルマント（Ｆ１〜Ｆ３）の平均値を対応付けることにより、フォルマント周波数を特徴量とする特徴ベクトルの系列が、標準パターンとして得られる。
【００２５】
一方、入力された音声信号に対しても、調音的記述区分判定部で得られた発音記述の系列に対して、発音変形規則を反映した発音パターン辞書ＤＢを対応付け、対応する調音的記述区間における特徴量を選択的に採用して連結した時系列を構成することにより、入力音声信号に対応した特徴量パターンが得られる。この処理を図２の特徴量系列生成部で行う。
前項で得られた特徴量パターンと、前々項で得られた標準パターンとを照合して、好適な距離尺度に基づいて適合度を算出することにより、最も適合する単語が認識結果として得られる。
【００２６】
以下では、この方法によって音声認識システムのプロトタイプを構築し、有効性を評価した結果を述べる。
雑音環境下での日本語単語の音声認識性能を評価するための共通データとして、ＣＥＮＳＲＥＣが広く利用されている。そのうち、単語音声認識に対応したＣＥＮＳＲＥＣ−３には、多様な走行環境と複数種類のマイクで自動車内で収録された音声サンプルが収められている。ＣＥＮＳＲＥＣ−３では、音声認識手法として一般的な隠れマルコフモデル（ＨＭＭ）を想定し、学習用に用意された文音声と、評価用に用意された表４のような５０単語の音声が用意されているが、本手法では、統計的学習を行わないので、文音声は使用しない。表４は、音声認識実験に用いた認識対象語彙リストを示す表である。
【００２７】
【表４】
2011180308.tif 000006
【００２８】
ＣＥＮＳＲＥＣ−３の評価用単語音声を用いて、本手法で認識した結果を表５に示す。
【００２９】
【表５】
2011180308.tif 000007
【００３０】
標準モデルの生成方法など実験条件が異なるため、直接比較することはできないが、ＣＥＮＳＲＥＣ−３のベースライン認識性能と比較して、本手法により雑音環境下において少ない次元の特徴量で高い認識精度が得られる可能性が示された。
【００３１】
以上において、図２に示した音声認識プログラム全体や、認識対象単語セット発音辞書ＤＢ調音的発音記述辞書ＤＢ、発音変形規則ＤＢ、発音パターン辞書ＤＢ、音素標準特徴量ＤＢは、ＣD−ＲＯＭなどの媒体に記録することができ、音声認識装置１０において利用できる。すなわち、一つの認識対象単語セット毎に一つのＣD−ＲＯＭに記録し、応用場面に応じた利用に供することなどが可能である。
【００３２】
以上説明した、音声認識装置１０によれば、以下の効果が奏される。即ち、音声認識装置１０を使用することによって、多様な雑音環境や多様な発音に対しても頑健に動作する音声認識を実現できるため、日常生活環境や向上などの生産現場等にも採用することができる。
また、音声認識装置１０によれば、既存の一般的な隠れマルコフモデル（ＨＭＭ）に基づく手法と比較して、大量データからの統計的学習を必要とせず、標準モデルがシンプルであるため、認識処理が軽くプログラムの実装がコンパクトになる。
また、音声認識装置１０によれば、調音の状態に対応した特徴量を採用しているため、ボイストレーニングなどへの応用にも優位性があると考えられる。
【符号の説明】
【００３３】
１０  音声認識装置
１２ａ  中央処理装置（ＣＰＵ）
１２ｂ  主記憶装置（メモリ）
１２ｃ  補助記憶装置
１２ｄ  モニタ
１２ｅ  入出力インターフェイス
１２ｆ  マイク
１２ｇ  信号出力ポート
１２ｈ  システムバス
２０  音声認識システム
【図１】
2011180308.tif 000008
【図２】
2011180308.tif 000009
【図３】
2011180308.tif 000010
【図４】
2011180308.tif 000011
【図５】
2011180308.tif 000012
【図６】
2011180308.tif 000013