(57)【要約】      （修正有）【課題】高速で音声認識を行うことができる音声認識装置を提供する。【解決手段】音声波形信号をフレーム単位で解析して音声の特徴量を表す特徴ベクトルを抽出する特徴ベクトル抽出部２３１と、特徴ベクトルを時系列的に複数フレーム分記憶する特徴ベクトル記憶部２３２と、音声認識候補となる複数の音声を記憶する認識候補音声記憶部２３３と、特徴ベクトル記憶部に記憶された複数フレーム分における特徴ベクトルに基づき音声認識候補となる各音声の尤度を算出する第１解析部２３４と、複数フレーム分における特徴ベクトルからフレーム単位あたりの平均特徴ベクトルを算出し当該平均特徴ベクトルから音声認識候補となる音声の尤度を算出する第２解析部２３５と、第１解析部において算出した音声認識候補となる各音声の尤度及び第２解析部において算出した音声認識候補となる各音声の尤度に基づき一つの音声を決定する音声決定部２３６とを備える音声認識装置。【選択図】図１
2010224020.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力する音声入力手段と、前記音声入力手段に入力された音声信号をデジタル音声波形信号に変換する変換手段と、前記変換手段で変換されたデジタル音声波形信号から、前記音声入力手段に入力された音声を解析する解析手段とを備える音声認識装置であって、
前記解析手段は、
前記デジタル音声波形信号をフレーム単位で解析して音声の特徴量を表す特徴ベクトルを抽出する特徴ベクトル抽出部と、
前記フレーム単位で抽出した前記特徴ベクトルを時系列的に複数フレーム分記憶する特徴ベクトル記憶部と、
音声認識候補となる複数の音声を記憶する認識候補音声記憶部と、
前記特徴ベクトル記憶部に記憶された複数フレーム分における前記特徴ベクトルに基づいて、音声認識候補となる各音声の尤度を算出する第１解析部と、
前記複数フレーム分における前記特徴ベクトルからフレーム単位あたりの平均特徴ベクトルを算出し、当該平均特徴ベクトルから、音声認識候補となる音声の尤度を算出する第２解析部と、
前記第１解析部において算出した音声認識候補となる各音声の尤度、及び、前記第２解析部において算出した音声認識候補となる各音声の尤度に基づいて一つの音声を決定する音声決定部と、を備える音声認識装置。
【請求項２】
前記第１解析部及び前記第２解析部の少なくともいずれか一方は、ビタビアルゴリズム（Viterbi algorithm）、あるいは、ニューラルネットワークにより、音声認識候補となる音声の尤度を算出する請求項１に記載の音声認識装置。
【請求項３】
前記音声決定部は、前記第１解析部において算出した音声認識候補となる各音声の尤度、及び、前記第２解析部において算出した音声認識候補となる各音声の尤度を音声毎に加算し、当該音声毎の加算値の最大値に対応する音声を認識結果とする請求項１又は２に記載の音声認識装置。
【請求項４】
請求項１から３のいずれかに記載の音声認識装置と、
前記音声決定部が認識結果とした音声に対応する合成音声を生成する音声生成装置とを備える音声変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置及び音声変換装置に関する。
【背景技術】
【０００２】
マイクロフォンに収音された音声信号に対し、音声認識を行う音声認識装置や、音声認識装置による認識結果に対応した音声合成信号をスピーカから放音する音声変換装置が知られている。
【０００３】
音声認識において、認識結果候補を構成する音節、単語などの単位の認識カテゴリ毎に隠れマルコフモデル（Hidden Markov Model、以下ではＨＭＭと記す）などの確率モデルを用いてモデル化する手法は、認識性能が高く、現在の音声認識技術の主流となっている。従来のＨＭＭを用いた音声認識装置について図４を参照して簡単に説明する。入力端子１０１から入力された音声信号は、Ａ／Ｄ変換部１０２においてデジタル信号に変換される。そのデジタル信号から特徴ベクトル抽出部１０３において音声特徴ベクトルを抽出する。その後、予め、認識カテゴリごとに、音声単位について作成したＨＭＭを、モデルメモリ１０４から読み出し、尤度計算部１０５において、抽出された音声特徴ベクトルに対する各モデルの照合尤度を計算する。そして、最も大きな照合尤度を示すモデルが表現する音声単位（認識カテゴリ）を認識結果とし出力部１０６より出力する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の音声認識においては、発話終了後に音声認識を行うため、発話タイミングと音声認識タイミングとの間にタイムラグが生じるという問題があった。
【０００５】
また、従来の音声認識手法により得た認識結果に対応した音声合成信号をスピーカから放音する場合、合成音声は、発話者が発話したタイミングよりもかなり遅いタイミングで放音されることになるため、発話者が、遅れて生成される合成音声の影響を受けて、うまく会話を進めることが困難になるという問題が生じる。
【０００６】
本発明は、このような問題を解決するためになされたものであって、高速で音声認識を行うことができる音声認識装置及び音声変換装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の前記目的は、音声を入力する音声入力手段と、前記音声入力手段に入力された音声信号をデジタル音声波形信号に変換する変換手段と、前記変換手段で変換されたデジタル音声波形信号から、前記音声入力手段に入力された音声を解析する解析手段とを備える音声認識装置であって、前記解析手段は、前記デジタル音声波形信号をフレーム単位で解析して音声の特徴量を表す特徴ベクトルを抽出する特徴ベクトル抽出部と、前記フレーム単位で抽出した前記特徴ベクトルを時系列的に複数フレーム分記憶する特徴ベクトル記憶部と、音声認識候補となる複数の音声を記憶する認識候補音声記憶部と、前記特徴ベクトル記憶部に記憶された複数フレーム分における前記特徴ベクトルに基づいて、音声認識候補となる各音声の尤度を算出する第１解析部と、前記複数フレーム分における前記特徴ベクトルからフレーム単位あたりの平均特徴ベクトルを算出し、当該平均特徴ベクトルから、音声認識候補となる音声の尤度を算出する第２解析部と、前記第１解析部において算出した音声認識候補となる各音声の尤度、及び、前記第２解析部において算出した音声認識候補となる各音声の尤度に基づいて一つの音声を決定する音声決定部と、を備える音声認識装置により達成される。
【０００８】
この音声認識装置において、前記第１解析部及び前記第２解析部の少なくともいずれか一方は、ビタビアルゴリズム（Viterbi algorithm）、あるいは、ニューラルネットワークにより、音声認識候補となる音声の尤度を算出することが好ましい。
【０００９】
また、前記音声決定部は、前記第１解析部において算出した音声認識候補となる各音声の尤度、及び、前記第２解析部において算出した音声認識候補となる各音声の尤度を音声毎に加算し、当該音声毎の加算値の最大値に対応する音声を認識結果とすることが好ましい。
【００１０】
また、本発明の前記目的は、上記音声認識装置と、前記音声決定部が認識結果とした音声に対応する合成音声を生成する音声生成装置とを備える音声変換装置により達成される。
【発明の効果】
【００１１】
本発明によれば、高速で音声認識を行うことができる音声認識装置及び音声変換装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る音声変換装置を示すブロック図である。
【図２】「あさひ」という音声を発した場合に取得されるデジタル音声波形信号の波形の一例を示すグラフである。
【図３】１フレーム毎の認識結果を模式的に表した図である。
【図４】従来のＨＭＭを用いた音声認識装置を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実態形態について添付図面を参照して説明する。図１は、本発明の一実施形態に係る音声変換装置１を示すブロック図である。本実施形態に係る音声変換装置１は、図１に示すように、音声認識装置２および音声生成装置３を備えている。音声生成装置３は、音声認識装置２が認識とした音声に対応する合成音声を生成する装置である。
【００１４】
音声認識装置２は、音声入力手段２１、変換手段２２及び解析手段２３を備えている。音声入力手段２１は、発話者が発声した音声を収音する入力装置であり、例えば、骨伝導音をはじめとする体内伝導音などの固体伝搬信号を抽出する加速度ピックアップやマイクロフォンなどを挙げることができる。
【００１５】
変換手段２２は、音声入力手段２１に入力された音声信号をデジタル音声波形信号に変換する装置である。具体的には、例えば、音声信号をＡＤ変換してＰＣＭ（パルス符号変調）形式の波形信号を得る装置である。
【００１６】
解析手段２３は、音声入力手段２１に入力された音声を解析するものであり、特徴ベクトル抽出部２３１と、特徴ベクトル記憶部２３２と、認識候補音声記憶部２３３と、第１解析部２３４と、第２解析部２３５と、音声決定部２３６とを備えている。
【００１７】
特徴ベクトル抽出部２３１は、デジタル音声波形信号をフレーム単位で解析して音声の特徴量を表す特徴ベクトルを抽出するものである。音声認識で用いられる特徴ベクトルとして、ケプストラム領域の特徴量（MFCC：Mel Frequency Cepstrum Coefficient）およびパワーが挙げられる。MFCCとは、フレーム毎に音声データのFFT分析で得られるパワースペクトルに対してメルスケールのフィルタバンクを施し、周波数軸変換されたパワースペクトルに対して離散コサイン変換(DCT)を実行することにより抽出される、スペクトル包絡を表すパラメータであり、その詳細は「音声認識システム」（野清宏、伊藤克亘、河原達也、武田一哉、山本幹雄 編著，オーム社出版局; ISBN4-274-13228-5）などで説明されている。
【００１８】
音声認識では、入力音声のスペクトル特徴量を離散コサイン変換し、ケプストラム領域において３つの処理（直流成分の除去，リフタリング処理およびケプストラム平均除去) を実行することで得られる１２次元のMFCC(MFCC1，MFCC2，…MFCC12)およびその１次時間微分(ΔMFCC1，ΔMFCC2，…ΔMFCC12)、ならびにパワーＰＯＷの１次時間微分(ΔＰＯＷ)およびその２次時間微分（ΔΔＰＯＷ）を併せた２６次元の特徴ベクトルが利用される。
【００１９】
特徴ベクトル記憶部２３２は、フレーム単位で抽出した特徴ベクトルを時系列的に複数フレーム分記憶するものである。本実施形態においては、３フレーム分の特徴ベクトルを時系列的に順次記憶できるように構成されている。
【００２０】
認識候補音声記憶部２３３は、音声認識候補となる複数の音声を予め記憶する記憶部であり、各音声、例えば、「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」といった音声と、それらの各音声に対応する特徴ベクトルの情報が格納されている。
【００２１】
第１解析部２３４は、特徴ベクトル記憶部２３２に記憶された複数フレーム分における特徴ベクトルに基づいて、音声認識候補となる各音声の尤度を算出する解析部である。具体的に説明すると、特徴ベクトル記憶部２３２に記憶された３フレーム分の特徴ベクトル（２６次元×３フレーム＝７８次元）と、認識候補音声記憶部２３３に記憶された各音声に対応する特徴ベクトル情報とに基づいて、入力された音声がどの音声に相当するのかを計算する尤度計算を行う。尤度計算手法としては、例えば、ビタビアルゴリズム（Viterbi algorithm）、あるいは、ニューラルネットワーク等を用いた最尤パス探索を例示することができる。
【００２２】
第２解析部２３５は、複数フレーム分における特徴ベクトルからフレーム単位あたりの平均特徴ベクトルを算出し、当該平均特徴ベクトルから、音声認識候補となる音声の尤度を算出する解析部である。平均特徴ベクトルは、以下に示す数式１〜数式４に基づいて算出される。なお、数式１は平均ケプストラムを、数式２は平均Δケプストラムを算出する式であり、数式３は平均ΔＰＯＷを、数式４は平均ΔΔＰＯＷを算出する式である。ここで、数式１〜４におけるＭは、フレーム数を表す。また、ＷMFCC（ｊ）、ＷΔMFCC（ｊ）、ＷΔPOW（ｊ）及びＷΔΔPOW（ｊ）は、フレーム毎に付される重み係数であり、例えば、０．０〜１．０までの任意の定数を設定することができる。
【００２３】
【数１】
2010224020.tif 000003
【００２４】
【数２】
2010224020.tif 000004
【００２５】
【数３】
2010224020.tif 000005
【００２６】
【数４】
2010224020.tif 000006
【００２７】
上記数式から算出された平均特徴ベクトルから、音声認識候補となる音声の尤度を算出するには、第１解析部２３４と同様に、平均特徴ベクトル（２６次元）と、認識候補音声記憶部２３３に記憶された各音声に対応する特徴ベクトル情報とに基づいて、入力された音声がどの音声に相当するのかを計算する尤度計算を行う。尤度計算手法としては、例えば、ビタビアルゴリズム（Viterbi algorithm）、あるいは、ニューラルネットワーク等を用いた最尤パス探索を例示することができる。この第２解析部２３５は、第１解析部２３４において認識した認識結果の上位Ｎ個に対して尤度計算を行うように構成することが好ましい。例えば、Ｎ個の数を「２」とし、第１解析部２３４が認識した音声の中で上位２個の音声に基づいて尤度計算を行う。
【００２８】
音声決定部２３６は、第１解析部２３４において算出した音声認識候補となる各音声の尤度、及び、第２解析部２３５において算出した音声認識候補となる各音声の尤度に基づいて一つの音声を決定する。具体的には、以下に示す数式５により音声を決定するように構成されており、第１解析部２３４において算出した音声認識候補となる各音声の尤度、及び、第２解析部２３５において算出した音声認識候補となる各音声の尤度を音声毎に加算し、当該音声毎の加算値の最大値に対応する音声を認識結果として決定する。
【００２９】
【数５】
2010224020.tif 000007
【００３０】
この数式５は、｛Ｌ１s・λ＋Ｌ２s｝で算出される値が最も大きい音声を解として算出する数式であり、Ｌ１は、第１解析部２３４で認識した認識結果を表す音声の尤度であり、Ｌ２は、第１解析部２３４で認識した音声と同一の音声に対して第２解析部２３５で得られた尤度である。また、λは、重み係数である。
【００３１】
このように構成された音声変換装置１の作動について以下に説明する。まず、発話者が発生した音声を音声入力手段２１により収音した後、変換手段２２が、収音された音声信号をＡＤ変換してＰＣＭ（パルス符号変調）形式のデジタル音声波形信号に変換する。例えば、発話者が、「あさひ」という音声を発した場合に取得されるデジタル音声波形信号の波形を図２に示す。
【００３２】
次いで、解析手段２３の特徴ベクトル抽出部２３１が、デジタル音声波形信号をフレーム単位で解析して音声の特徴量を表す合計２６次元の特徴ベクトルを抽出する。抽出された特徴ベクトルは、フレーム毎に時系列的に複数分、例えば３フレーム分の特徴ベクトルが特徴ベクトル記憶部２３２に記憶される。
【００３３】
そして、第１解析部２３４が、特徴ベクトル記憶部２３２に記憶された３フレーム分の特徴ベクトル（２６次元×３フレーム＝７８次元）と、認識候補音声記憶部２３３に記憶された各音声に対応する特徴ベクトル情報とに基づいて、入力された音声がどの音声に相当するのかを、例えばビタビアルゴリズムにより尤度計算する。尤度計算の結果、「ａ」という音声の尤度が０．８０、「ｉ」という音声の尤度が０．２０、「ｕ」という音声の尤度が０．３０、「ｅ」という音声の尤度が０．６５、「ｏ」という音声の尤度が０．４０、無音の尤度が０．１０であったとする。
【００３４】
次に、第２解析部２３５が、上記数式１〜数式４に基づいて３フレーム分における特徴ベクトルから平均特徴ベクトルを算出する。その後、平均特徴ベクトル（２６次元）と、認識候補音声記憶部２３３に記憶された各音声に対応する特徴ベクトル情報とに基づいて、入力された音声がどの音声に相当するのかを、例えばビタビアルゴリズムにより尤度計算する。尤度計算に際して、第２解析部２３５は、例えば、第１解析部２３４において認識した認識結果の上位２個に対して尤度計算を行う。第１解析部２３４において認識された結果の上位２個は、「ａ」及び「ｅ」になるので、これらについての尤度計算を行う。尤度計算の結果、「ａ」という音声の尤度が０．９０、「ｅ」という音声の尤度が０．６０であったとする。
【００３５】
その後、音声決定部２３６が、第１解析部２３４において算出した音声認識候補となる各音声の尤度、及び、第２解析部２３５において算出した音声認識候補となる各音声の尤度に基づいて、上記数式５から一つの音声を決定する。数式５における重み係数λを「１」とした場合、数式５における｛Ｌ１s・λ＋Ｌ２s｝は、「ａ」が、｛０．８０×１＋０．９０｝＝１．７０となる。一方、「ｅ」は、｛０．６５×１＋０．６｝＝１．２５となる。数式５は、１．７０と１．２５の内、数値の大きい音声を算出するので、「ａ」を最終的な認識結果であるとして算出する。
【００３６】
このような音声認識を１フレームずつシフトしながら計算を繰り返し、デジタル音声波形信号の全てのフレームについての音声認識を行う。１フレーム毎の認識結果を模式的に表した図を図３に示す。なお、図３における□は、１つのフレームを表しており、「無」という表記は無音を示している。
【００３７】
その後、音声生成装置３は、音声決定部２３６が認識結果として算出した「ａ」に相当する合成音声を生成し、スピーカから放音する。
【００３８】
本実施形態に係る音声認識装置２は、上述のようにフレーム単位で音声認識を行うことができるので、「あさひ」という言葉の「あ」という音が発せられている時間の初期の段階で、発話された音声が「あ」であると認識できるので、発話タイミングと音声認識タイミングとの間のタイムラグを短縮して高速で恩背の認識を行うことが可能になる。
【００３９】
また、本実施形態に係る音声認識装置２により得た認識結果に対応した音声合成信号をスピーカから放音する場合、発話タイミングと音声認識タイミングとの間にタイムラグを短縮できる結果、従来のように、発話者が発話したタイミングよりもかなり遅いタイミングで放音されることがなくなるため、発話者が、遅れて生成される合成音声の影響を受けて、うまく会話を進めることが困難になることを効果的に抑制することができる。
【符号の説明】
【００４０】
１  音声変換装置
２  音声認識装置
２１  音声入力手段
２２  変換手段
２３  解析手段
２３１  特徴ベクトル抽出部
２３２  特徴ベクトル記憶部
２３３  認識候補音声記憶部
２３４  第１解析部
２３５  第２解析部
２３６  音声決定部
３  音声生成装置
【図１】
2010224020.tif 000008
【図２】
2010224020.tif 000009
【図３】
2010224020.tif 000010
【図４】
2010224020.tif 000011