(57)【要約】【課題】  無発声時であっても発声動作から母音及び子音の認識が可能な音声認識装置を提供することを課題とする。【解決手段】  この音声認識装置１０は、発声動作時に発生する筋電信号を複数の部位から検出する筋電信号検出部１０１と、当該検出された筋電信号に基づいて、筋電信号特徴量を部位に対応したチャネルごとに算出する特徴量算出部１０２と、当該算出したチャネルごとの筋電信号特徴量を入力ベクトルとして、予め定められた複数のパラメータを適用する隠れマルコフモデルに基づく尤度を、複数のパラメータそれぞれに対して算出する尤度算出部１０５と、当該算出した複数のパラメータそれぞれについての尤度に基づいて発声動作に対応する音声を特定する音声認識部１０６と、を備える。【選択図】  図３
2005128242.tif 000002
【特許請求の範囲】
【請求項１】
発声動作時に発生する筋電信号を複数の部位から検出する筋電信号検出手段と、
当該検出された筋電信号に基づいて、筋電信号特徴量を前記部位に対応したチャネルごとに算出する特徴量算出手段と、
当該算出したチャネルごとの筋電信号特徴量を入力ベクトルとして、予め定められた複数のパラメータを適用する隠れマルコフモデルに基づく尤度を、前記複数のパラメータそれぞれに対して算出する尤度算出手段と、
当該算出した前記複数のパラメータそれぞれについての尤度に基づいて前記発声動作に対応する音声を特定する音声特定手段と、
を備える音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置に関するものである。
【背景技術】
【０００２】
音声は、人間にとって自然な情報交換手段であるため，理想のインターフェースであると考えられてきた。発される音声を入力とする音声認識装置では、その音声認識率は年々高くなっている。しかしながら、咽頭やポリープの切除、脳卒中の後遺症、筋萎縮症などのため発声を困難とする人に、発声に基づく従来の音声認識装置を、そのまま用いることは難しい。
【０００３】
ところで、人間が話すときには、無発声であっても口唇や舌の形状に変化が生じる。口唇や舌の形状の変化は、全て筋肉の動きによるものである。そして、筋肉の動きは電位に反映される。すなわち、口周辺の筋肉の電位を検出すれば、口唇及び舌の形状変化を知ることができ、その結果、発される音声を入力としなくとも音声の認識が可能となる。
【０００４】
このような口周辺の筋肉の電位検出による音声認識の技術としては、顔面の３つの筋肉（大頬骨筋、口輪筋、及び顎二腹筋）から検出される筋電信号を、ニューラルネットワークを用いて処理することによって、音声を認識するものが提案されている（例えば、非特許文献１参照。）。かかる技術によれば、無発声で出力された日本語５母音については、９０パーセント以上の精度で認識が可能となっている。
【非特許文献１】Ｈ．Ｍａｎａｂｅ，Ａ．Ｈｉｒａｉｗａ，Ｔ．Ｓｕｇｉｍｕｒａ，“Ｕｎｖｏｉｃｅｄ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ＥＭＧ−  Ｍｉｍｅ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ“，  ＣＨＩ２００３，ｐｐ．７９４−７９５，２００３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の非特許文献１にかかる技術によって高い精度で認識しうる音声は、日本語５母音のみである。
【０００６】
そこで本発明では、筋電信号に基づいて母音及び子音の認識が可能な音声認識装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の音声認識装置は、発声動作時に発生する筋電信号を複数の部位から検出する筋電信号検出手段と、当該検出された筋電信号に基づいて、筋電信号特徴量を部位に対応したチャネルごとに算出する特徴量算出手段と、当該算出したチャネルごとの筋電信号特徴量を入力ベクトルとして、予め定められた複数のパラメータを適用する隠れマルコフモデルに基づく尤度を、複数のパラメータそれぞれに対して算出する尤度算出手段と、当該算出した複数のパラメータそれぞれについての尤度に基づいて発声動作に対応する音声を特定する音声特定手段と、を備える。
【０００８】
本発明の音声認識装置によれば、発声動作時に複数の部位から発生する筋電信号を測定し、この測定した筋電信号から算出される筋電信号特徴量を入力ベクトルとするので、筋電信号の変化に基づいて尤度を算出できる。この尤度の算出には時系列処理に有用な隠れマルコフモデルを用いるので、母音か子音かに関わらず発声動作に対応する音声を認識することができる。
【発明の効果】
【０００９】
本発明によれば、時系列で変動する筋電信号に隠れマルコフモデルを適用することができる。したがって、筋電信号に基づいて母音及び子音の認識が可能な音声認識装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１１】
まず、本発明で適用される隠れマルコフモデル、及び筋電信号について説明する。隠れマルコフモデルは、出力シンボルによって一意に状態遷移先が決まらないという意味での非決定有限状態オートマトンとして定義される。すなわち、隠れマルコフモデルにおいては、出力シンボル系列が与えられても状態遷移系列は唯一に決まらず、観測できるのはシンボル系列だけである。隠れマルコフモデルは、非定常信号を定常信号源の連結で表す統計的信号源モデルであり、ＤＰマッチングによる方法に比べて、スペクトル時系列の統計的変動をモデルのパラメータに反映させることができる。隠れマルコフモデルには、ある状態からすべての状態に遷移できる全遷移型(Ｅｒｇｏｄｉｃ)モデルや、状態遷移が一定方向に進むｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルなどがある。通常、音声認識では、音声パターンの時間的な不可逆性の性質のために、ｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルが用いられる。
【００１２】
図1を用いてｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルの隠れマルコフモデルを説明する。図１において、ｑ１，・・・ｑ５は状態を表し、ａｉｊは状態ｑｉからｑｊへの状態遷移確率を表している。また、ｂｉ（Ｏｊ）はｉ状態でシンボルＯｊが出力される確率を表している。スペクトルの時系列をＯ=Ｏ１，Ｏ２・・・ＯＴとし、状態系列をＱ=ｑ１，ｑ２・・・ｑＴとすると、ある隠れマルコフモデルによってＯが生起する確率Ｐ（Ｏ｜Ｍ）は、次式（数１）のように表すことができる。ここで、Ｍは単語や音素を表現している隠れマルコフモデルのことである。
【００１３】
【数１】
2005128242.tif 000003
また、フレーム単位で各チャンネルの出力（尤度）に重みをつけたものを加算演算し、かかる加算演算の結果をこのフレームの尤度として出力する。したがって、図３に示すように、出力関数は複数のチャンネルの足し算となり、次式（数２）のように表すことができる。
【００１４】
【数２】
2005128242.tif 000004
図２は、隠れマルコフモデルを用いた数字認識システムの図である。図２に示すように、隠れマルコフモデルを用いた数字認識システムでは、Ｎ個の数字の隠れマルコフモデルを学習しておいて、入力の筋電信号の特徴時系列Ｏに対して上の式の値（尤度）を求め、これを最大にする隠れマルコフモデルのカテゴリを認識の結果とする。
【００１５】
なお、本発明の音声認識装置は、隠れマルコフモデルとしてｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルを用いており、隠れマルコフモデルの状態数は５、各状態のガウス分布の混合数は全て１である。また、本発明の音声認識装置は、ＥＭアルゴリズムを用いて隠れマルコフモデルのパラメータ（平均値、分散、及び遷移確率）の学習を行う。
【００１６】
筋電信号は、その他の一般の生体信号と同様、確率的な信号(或いは不規則信号)であるという特徴を持つ。筋電信号は、短い時間について見ると、一様な性質、すなわち定常な信号とみなすことができるが、全体では時間の経過に伴って、その統計的な性質は変化していく。言い換えると、筋電信号は、非定常であるが、短期間のみにおいて近似的な定常信号として扱うことができる。
【００１７】
なお、本発明の音声認識装置では、口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉から筋電信号を測定する。ここで、口輪筋は口唇を縮小、収縮、及び突出するための筋肉であり、大頬骨筋は口角を後方かつ上方にひっぱるための筋肉である。また、顎二腹筋は舌骨と舌根を持ち上げ舌骨を固定するための筋肉である。
【００１８】
続いて、本発明の実施形態である音声認識装置について説明する。図３は、音声認識装置１０の構成を示す図である。図３に示すように、音声認識装置１０は、機能的な構成要素として、筋電信号検出部１０１（筋電信号検出手段）と、特徴抽出部１０２（特徴量算出手段）と、モデル学習部１０３と、モデル記憶部１０４と、尤度算出部１０５（尤度算出手段）と、音声認識部１０６（音声特定手段）と、認識結果保存部１０７と、を含む。引き続いて各構成要素について説明する。
【００１９】
筋電信号検出部１０１は、発声動作時に発生する筋電信号を複数の部位から検出する部分である。より具体的には、筋電信号検出部１０１は、口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉に対応する部位に配置された電極と、それぞれの電極が検出する筋電信号を増幅する増幅器と、を備える。筋電信号検出部１０１は、この増幅された筋電信号を特徴抽出部１０２に出力する。
【００２０】
特徴抽出部１０２は、口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉から測定された筋電信号を分析し、特徴ベクトルに変換する部分である。より具体的には、特徴抽出部１０２は、筋電信号検出部１０１から出力される３チャネルの筋電信号を１０ｍｓ毎にそれぞれ計測し、１０ｍｓを１フレームとしたフレーム毎に３チャネルの筋電信号の平均パワーを計算する。そして、各フレームの平均パワーの最大値に基づき、正規化を行う。そして、正規化した平均パワーの最大値を筋電信号特徴量として、モデル学習部１０３及び尤度算出部１０５にそれぞれ出力する。
【００２１】
モデル学習部１０３は、尤度最大基準に基づくＥＭアルゴリズムによって、特徴抽出部１０２から出力された筋電信号特徴量から隠れマルコフモデルのパラメータの学習を行う。モデル学習部１０３は、学習したパラメータに基づく隠れマルコフモデルをモデル記憶部１０４に格納する。
【００２２】
モデル記憶部１０４は、発声する音声ごとの隠れマルコフモデルを格納する部分である。より具体的には、測定したモデルとなる音声ごとの隠れマルコフモデルのパラメータが格納されている。例えば、モデルとなる音声が「いち」「に」「さん」「し」「ご」「ろく」「しち」「はち」「く」「ぜろ」「れい」「よん」「なな」「きゅう」であれば、それぞれに対応する筋電信号特徴量から学習されるパラメータが格納されている。
【００２３】
尤度算出部１０５は、特徴抽出部１０２が算出したチャネルごとの筋電信号特徴量を入力ベクトルとして、モデル記憶部１０４に格納されているパラメータを用い、予め定められた複数のパラメータを適用する隠れマルコフモデルに基づく尤度を、複数のパラメータそれぞれに対して算出する部分である。より具体的には、尤度算出部１０５は、フレーム単位で各チャンネルの出力（尤度）に重みをつけたものを加算演算し、かかる加算演算の結果をこのフレームの尤度として出力する。例えば、モデルとなる音声が「いち」「に」「さん」「し」「ご」「ろく」「しち」「はち」「く」「ぜろ」「れい」「よん」「なな」「きゅう」であれば、それぞれに対応するパラメータで特定される隠れマルコフモデルの尤度を算出する。尤度算出部１０５は、算出したそれぞれの尤度を音声認識部１０６に出力する。
【００２４】
音声認識部１０６は、尤度算出部１０５から出力される尤度に基づいて、最適結果を探索する部分である。より具体的には、音声認識部１０６は、尤度算出部１０５から出力される尤度に基づいて、Ｖｉｔｅｒｂｉアルゴリズムを用いて尤度関数が最大となるモデル系列を求める。例えば、モデルとなる音声が「いち」「に」「さん」「し」「ご」「ろく」「しち」「はち」「く」「ぜろ」「れい」「よん」「なな」「きゅう」であれば、それぞれの尤度関数を比較して最大値となるモデル音声を発声した音声として認識する。音声認識部１０６は、探索の結果を認識結果保存部１０７に出力する。認識結果保存部１０７は、音声認識部１０６によって出力された探索の結果を保存する。
【００２５】
引き続いて、音声認識装置１０の動作を、図４に示す処理フローを参照しながら説明する。図４は、音声認識装置１０による音声認識の処理フローを示す図である。
【００２６】
筋電信号検出部１０１は、口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉による筋電信号を各チャネルごとに特徴抽出部１０２に出力する。特徴抽出部１０２はこの筋電信号を１０ｍｓ毎に計測し、計測値から１フレームとしての平均パワーを計算する（ステップＳ１）。特徴抽出部１０２は、各フレームの平均パワーの最大値をもとに正規化を行う（ステップＳ２）。
【００２７】
パラメータを学習する場合には、モデル学習部１０３は、正規化した値である筋電信号特徴量を入力として、尤度最大基準に基づくＥＭアルゴリズムによって隠れマルコフモデルのパラメータを推定し，学習する（ステップＳ３）。
【００２８】
音声を認識する場合には、尤度算出部１０５及び音声認識部１０６は、新たに取得された筋電信号特徴量を隠れマルコフモデルの入力ベクトルとし、最適結果を探索する（ステップＳ４）。
【００２９】
続いて、音声認識装置１０の音声認識の効果を確認するために行った実験について説明する。
【００３０】
まず、音声認識装置１０を用いて、１人の女性話者の、１４個の日本語数字（いち、に、さん、し、ご、ろく、しち、はち、く、ぜろ、れい、よん、なな、きゅう）の発声時に口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉から出力される筋電信号を測定した。ここで、測定時のサンプリングレートは２ＫＨｚである。１４個の日本語数字は、Ｃを子音、Ｖを母音とすると、ＣＶ、ＣＶＣＶ、ＣＶＣ、及びＶＣＶのいずれかの構造をそれぞれ有し、二音素の数字の場合は２〜３秒、四音素の場合は３〜５秒の発声データの長さとなっている。音声認識装置１０は上述した各部の動作に基づいて、測定された筋電信号に基づく隠れマルコフモデルを学習する。
【００３１】
このようにして隠れマルコフモデルを学習したのち、音声認識装置１０を用いて、再度１４個の日本語数字を発声して筋電信号を測定した。そして、音声認識装置１０の特徴抽出部１０２が、測定した筋電信号の振幅を２乗したもの（パワー）を筋電信号特徴量として算出する。
【００３２】
図５は、クローズな実験として、１０回の１４個の日本語数字の発声による筋電信号に基づいて隠れマルコフモデルを学習したのち、１０回の１４個の日本語数字の発声から筋電信号を測定した場合の、各測定回における認識率（１４個の日本語数字のうち、正しく認識されたものの数）の結果を示すグラフである。ここで、特徴の次元数は３である。図５に示すように、かかるクローズな実験では、認識率は平均６３．６パーセントとなった。
【００３３】
また、図６は、オープンな実験として、９回の１４個の日本語数字の発声による筋電信号に基づいて隠れマルコフモデルを学習したのち、１回の１４個の日本語数字の発声から筋電信号を測定した場合の、各測定回における認識率（１４個の日本語数字のうち、正しく認識されたものの数）の結果を示すグラフである。図６に示すように、かかるオープンな実験では、認識率は平均３７．１パーセントとなった。
【００３４】
このように、本実施形態においては、時系列信号である筋電信号を隠れマルコフモデルを用いて処理するので、筋電信号の入力によって、母音だけでなく子音も認識することができる。
【図面の簡単な説明】
【００３５】
【図１】隠れマルコフモデルを説明するための図である。
【図２】隠れマルコフモデルを用いた数字認識システムの図である。
【図３】音声認識装置の構成を示す図である。
【図４】音声認識装置による音声認識の処理フローを示す図である。
【図５】音声認識装置によるクローズな実験の結果を示すグラフである。
【図６】音声認識装置によるオープンな実験の結果を示すグラフである。
【符号の説明】
【００３６】
１０…音声認識装置、１０１…筋電信号検出部、１０２…特徴抽出部、１０３…モデル学習部、１０４…モデル記憶部、１０５…尤度算出部、１０６…音声認識部、１０７…認識結果保存部。
【図１】
2005128242.tif 000005
【図２】
2005128242.tif 000006
【図３】
2005128242.tif 000007
【図４】
2005128242.tif 000008
【図５】
2005128242.tif 000009
【図６】
2005128242.tif 000010