(57)【要約】【課題】  筋電信号に基づいて母音及び子音の認識が可能な音声認識装置を提供することを課題とする。【解決手段】  この音声認識装置１０は、発声動作時に発生する筋電信号を複数の部位から検出する筋電信号検出部１０１と、当該検出されたそれぞれの筋電信号を、線形予測係数分析に基づいてスペクトル包絡部分と微細変化部分とに分離認識するＬＰＣ分析部１０２と、当該分離認識したスペクトル包絡部分に基づいて線形予測係数ケプストラムを算出し、当該算出の結果に基づいて部位に対応したチャネルごとの筋電信号特徴量を算出する特徴抽出部１０３と、当該算出したチャネルごとの筋電信号特徴量を入力ベクトルとして隠れマルコフモデルに基づく尤度を算出する尤度算出部１０６と、当該算出した尤度に基づいて発声動作に対応する音声を特定する音声認識部１０７と、を備える。【選択図】  図７
2005128245.tif 000002
【特許請求の範囲】
【請求項１】
発声動作時に発生する筋電信号を複数の部位から検出する筋電信号検出手段と、
当該検出されたそれぞれの筋電信号を、線形予測係数分析に基づいてスペクトル包絡部分と微細変化部分とに分離認識する筋電信号分離手段と、
当該分離認識したスペクトル包絡部分に基づいて線形予測係数ケプストラムを算出し、当該算出の結果に基づいて前記部位に対応したチャネルごとの筋電信号特徴量を算出する特徴量算出手段と、
当該算出したチャネルごとの筋電信号特徴量を入力ベクトルとして、予め定められた複数のパラメータを適用する隠れマルコフモデルに基づく尤度を、前記複数のパラメータそれぞれに対して算出する尤度算出手段と、
当該算出した前記複数のパラメータそれぞれについての尤度に基づいて前記発声動作に対応する音声を特定する音声特定手段と、
を備える音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置に関するものである。
【背景技術】
【０００２】
音声は、人間にとって自然な情報交換手段であるため，理想のインターフェースであると考えられてきた。発される音声を入力とする音声認識装置では、その音声認識率は年々高くなっている。しかしながら、咽頭やポリープの切除、脳卒中の後遺症、筋萎縮症などのため発声を困難とする人に、発声に基づく従来の音声認識装置を、そのまま用いることは難しい。
【０００３】
ところで、人間が話すときには、無発声であっても口唇や舌の形状に変化が生じる。口唇や舌の形状の変化は、全て筋肉の動きによるものである。そして、筋肉の動きは電位に反映される。すなわち、口周辺の筋肉の電位を検出すれば、口唇及び舌の形状変化を知ることができ、その結果、発される音声を入力としなくとも音声の認識が可能となる。
【０００４】
このような口周辺の筋肉の電位検出による音声認識の技術としては、顔面の３つの筋肉（大頬骨筋、口輪筋、及び顎二腹筋）から検出される筋電信号を、ニューラルネットワークを用いて処理することによって、音声を認識するものが提案されている（例えば、非特許文献１）。かかる技術によれば、ＲＭＳ（ＲＯＯＴ  ＭＥＡＮ  ＳＱＵＡＲＥ）、つまり信号のパワーを用いて音声の認識を行っており、無発声で出力された日本語５母音については、９０パーセント以上の精度で認識が可能となっている。
【非特許文献１】Ｈ．Ｍａｎａｂｅ，Ａ．Ｈｉｒａｉｗａ，Ｔ．Ｓｕｇｉｍｕｒａ，“Ｕｎｖｏｉｃｅｄ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ＥＭＧ−  Ｍｉｍｅ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ“，  ＣＨＩ２００３，ｐｐ．７９４−７９５，２００３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の非特許文献１にかかる技術によって高い精度で認識しうる音声は、日本語５母音のみである。
【０００６】
そこで本発明では、筋電信号に基づいて母音及び子音の認識が可能な音声認識装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の音声認識装置は、発声動作時に発生する筋電信号を複数の部位から検出する筋電信号検出手段と、当該検出されたそれぞれの筋電信号を、線形予測係数分析に基づいてスペクトル包絡部分と微細変化部分とに分離認識する筋電信号分離手段と、当該分離認識したスペクトル包絡部分に基づいて線形予測係数ケプストラムを算出し、当該算出の結果に基づいて部位に対応したチャネルごとの筋電信号特徴量を算出する特徴量算出手段と、当該算出したチャネルごとの筋電信号特徴量を入力ベクトルとして、予め定められた複数のパラメータを適用する隠れマルコフモデルに基づく尤度を、複数のパラメータそれぞれに対して算出する尤度算出手段と、当該算出した複数のパラメータそれぞれについての尤度に基づいて発声動作に対応する音声を特定する音声特定手段と、を備える。
【０００８】
本発明の音声認識装置によれば、発声動作時に複数の部位から発生する筋電信号を測定し、この測定した筋電信号に線形予測係数分析を適用してスペクトル包絡部分を抽出するので、発声時の筋肉の動きでゆるやかに変化する包絡に対応する筋電信号を抽出できる。この抽出した筋電信号のスペクトル包絡部分から線形予測係数ケプストラムを算出して筋電信号特徴量とするので、筋肉の動きにより適合した筋電信号特徴量を算出できる。更に、このように算出した筋電信号特徴量を入力ベクトルとするので、筋電信号の変化に基づいて尤度を算出できる。この尤度の算出には時系列処理に有用な隠れマルコフモデルを用いるので、母音か子音かに関わらず発声動作に対応する音声を認識することができる。
【発明の効果】
【０００９】
本発明によれば、線形予測係数分析を用いて筋電信号特徴量を把握することができる。したがって、筋電信号に基づいて母音及び子音の認識が可能な音声認識装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１１】
まず、筋電信号、及び本発明で適用される線形係数予測分析（ＬＰＣ分析）について説明する。筋電信号は、その他の一般の生体信号と同様、確率的な信号(或いは不規則信号)であるという特徴を持つ。筋電信号は、短い時間について見ると、一様な性質、すなわち定常な信号とみなすことができるが、全体では時間の経過に伴って、その統計的な性質は変化していく。言い換えると、筋電信号は、非定常であるが、短期間のみにおいて近似的な定常信号として扱うことができる。
【００１２】
なお、本発明の音声認識装置では、口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉から筋電信号を測定する。ここで、口輪筋は口唇を縮小、収縮、及び突出するための筋肉であり、大頬骨筋は口角を後方かつ上方にひっぱるための筋肉である。また、顎二腹筋は舌骨と舌根とを持ち上げ舌骨を固定するための筋肉である。
図１は、発声時における筋電信号の出力を説明するための図である。図１に示すように、発声時には、脳から送られる刺激信号によって筋繊維がスパイク電位(インパルス)を発生し、それに応じて筋肉が動く。脳から送られる刺激信号をＥ（ｎ）で表し、筋肉の動きを伝達関数Ｈ（ｎ）で表すと、計測される筋電信号Ｘ（ｎ）は、脳からの刺激信号Ｅ（ｎ）に基づく筋肉の動きＨ（ｎ）の出力となる。
【００１３】
一方、音声認識においては、短時間スペクトルから重要な音韻性の識別情報を抽出する方法が重要となる。そこで、筋電信号を周波数スペクトルに関連した特長に変換する。図２〜図６は、1人の女性話者による日本語５母音の短時間スペクトルをそれぞれ示す図である。図２は日本語の「あ／ａ／」の筋電信号のスペクトラム、図３は日本語の「い／ｉ／」のスペクトラム、図４は日本語の「う／ｕ／」のスペクトラム、図５は日本語の「え／ｅ／」のスペクトラム、図６は日本語の「お／ｏ／」のスペクトラム、である。図２〜図６に示すように、スペクトルは、緩やかに変化する部分（スペクトラム包絡）と細かく変化する部分との積からなると考えることができ、スペクトルＸ（ω）は次式（１）のように表すことができる。ここで、Ｈ（ω）は筋電信号の発生インパルスの信号で細かく(ほぼ周期的に)変化する部分に対応し、Ｅ（ω）は発声時の筋肉の動きでゆるやかに変化するスペクトラム包絡に対応する。
【数１】
2005128245.tif 000003
【００１４】
ＦＦＴ処理された筋電信号スペクトラムの類似度を特徴にし、これを認識に用いることも可能であるが、筋電信号スペクトラムは微細構造の影響を受けて不安定なため、平滑化したパターンを用いるほうがよい。ここで、平滑化の手法としては、ケプストラムによる手法がある。ケプストラムは、波形の短時間振幅スペクトルの対数の逆ＦＦＴ変換として定義され、スペクトル包絡と微細構造とを近似的に分離して抽出できるという特徴をもつ式（１）に基づき対数を求めると、次式（２）のようになる。
【数２】
2005128245.tif 000004
【００１５】
次に、周波数ωを変数として式（２）を逆ＦＦＴ変換すると、次式（３）で示すケプストラムとなる。
【数３】
2005128245.tif 000005
【００１６】
式（２）の右辺第１項は、スペクトル上の微細構造を表し、式（２）の第２項はスペクトル上の包絡を表す。したがって両項を逆ＦＦＴ変換すると大きな違いが生じ、式（２）の右辺第１項は高い領域に集中し、式（２）の第２項は低い領域に集中する。したがって、低い領域の部分のみから対数スペクトル包絡が算出され、かかる対数スペクトル包絡を指数変換すればスペクトル包絡が算出される。このようにして、ＦＦＴによって筋電信号のケプストラムを算出することができる。
【００１７】
線形予測係数分析においては、時系列筋電信号に対して線形予測モデルを仮定し、かかる線形予測モデルのパラメータを時系列から推定する。そして、線形予測モデルに推定したパラメータの値を代入することによって、スペクトルあるいはケプストラム推定値を取得する。短時間においては、筋電信号の現時点の標本値ｘ（ｎ）とこれに隣接する過去のｐ個の標本値との間に、次式（４）のような線形１次結合が成り立つと仮定することができる。ここで、式（４）のｅ（ｎ）は平均値０の無相関な確率関数である。
【数４】
2005128245.tif 000006
【００１８】
式（４）によれば、筋電信号の線形予測係数ケプストラムと過去のｐ個の標本値とから、筋電信号の現時点の標本値Ｘ（ｎ）を線形予測することができる。また、式（４）は線形予測係数をａｊとする線形予測モデルであり、ｅ（ｎ）は予測残差である。式（４）はＺ変換によって以下の式（５）に変換される。
【数５】
2005128245.tif 000007
なお、Ｈ（Ｚ）は以下の式（６）で表せる。
【数６】
2005128245.tif 000008
【００１９】
ここで、式（５）及び式（６）のＨ（Ｚ）は、発声時の筋肉の動きを表す伝達関数であり、Ｅ（Ｚ）は脳からの刺激信号を表す。予測係数は、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズムによって求められる。そして、線形予測係数ケプストラムは以下の式で求められる。
【数７】
2005128245.tif 000009
【００２０】
引き続いて、本実施形態の音声認識装置について説明する。図７は、音声認識装置１０の構成を示す図である。図７に示すように、音声認識装置１０は、機能的な構成要素として、筋電信号検出部１０１（筋電信号検出手段）と、ＬＰＣ分析部１０２（筋電信号分離手段）と、特徴抽出部１０３（特徴量算出手段）と、モデル学習部１０４と、モデル記憶部１０５と、尤度算出部１０６（尤度算出手段）と、音声認識部１０７（音声特定手段）と、認識結果保存部１０８と、を含む。引き続いて各構成要素について説明する。
【００２１】
筋電信号検出部１０１は、発声動作時に発生する筋電信号を複数の部位から検出する部分である。より具体的には、筋電信号検出部１０１は、口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉に対応する部位に配置された電極と、それぞれの電極が検出する筋電信号を増幅する増幅器と、を備える。筋電信号検出部１０１は、この増幅された筋電信号をＬＰＣ分析部１０２に出力する。
【００２２】
ＬＰＣ分析部１０２は、入力された口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉の筋電信号に対してＬＰＣ分析を行う部分である。より具体的には、筋電信号検出部１０１から出力される複数の部位それぞれの筋電信号を、線形予測係数分析に基づいてスペクトル包絡部分と微細変化部分とに分離認識する部分である。すなわち、ＬＰＣ分析部１０２は、３つの筋電信号を１０ｍｓ毎にそれぞれ計測し、１０ｍｓを１フレームとして、フレーム毎に信号の相関を計算し、線形予測係数分析を行う。ＬＰＣ分析部１０２は、この線形予測係数分析の結果を特徴抽出部１０３に出力する。
【００２３】
特徴抽出部１０３は、ＬＰＣ分析部１０２が分離認識して出力したスペクトル包絡部分の筋電信号（線形予測係数分析の結果）に基づいて線形予測係数ケプストラムを算出し、この算出結果に基づいて筋電信号を計測したそれぞれの部位に対応した筋電信号特徴量を算出する部分である。すなわち、特徴抽出部１０３は、ＬＰＣ分析部１０２から出力された線形予測係数分析の結果に基づき、フレーム毎の線形予測係数ケプストラムを取得する。さらに、特徴抽出部１０３は、線形予測係数ケプストラムの微分計算を行うことにより、フレーム間のＬＰＣケプストラムの違いを求める。特徴抽出部１０３は、算出した線形予測係数ケプストラム及びその微分計算結果を筋電信号特徴量とする。特徴抽出部１０３は、モデル学習部１０４及び尤度算出部１０６に、算出した線形予測係数ケプストラム及び線形予測係数ケプストラムの微分結果を筋電信号特徴量として出力する。
【００２４】
モデル学習部１０４は、尤度最大基準に基づくＥＭアルゴリズムによって、特徴抽出部１０３から出力された筋電信号特徴量から隠れマルコフモデルのパラメータの学習を行う。モデル学習部１０４は、学習したパラメータに基づく隠れマルコフモデルをモデル記憶部１０５に格納する。
【００２５】
モデル記憶部１０５は、発声する音声ごとの隠れマルコフモデルを格納する部分である。より具体的には、測定したモデルとなる音声ごとの隠れマルコフモデルのパラメータが格納されている。例えば、モデルとなる音声が「いち」「に」「さん」「し」「ご」「ろく」「しち」「はち」「く」「ぜろ」「れい」「よん」「なな」「きゅう」であれば、それぞれに対応する筋電信号特徴量から学習されるパラメータが格納されている。
【００２６】
尤度算出部１０６は、特徴抽出部１０３が算出したチャネルごとの筋電信号特徴量を入力ベクトルとして、予め定められた複数のパラメータを適用する隠れマルコフモデルに基づく尤度を、複数のパラメータそれぞれに対して算出する部分である。より具体的には、尤度算出部１０６は、モデル記憶部１０５に格納されているパラメータを用いてそれぞれのパラメータで特定される隠れマルコフモデルの尤度を算出する。例えば、モデルとなる音声が「いち」「に」「さん」「し」「ご」「ろく」「しち」「はち」「く」「ぜろ」「れい」「よん」「なな」「きゅう」であれば、それぞれに対応するパラメータで特定される隠れマルコフモデルの尤度を算出する。尤度算出部１０６は、算出したそれぞれの尤度を音声認識部１０７に出力する。
【００２７】
音声認識部１０７は、尤度算出部１０６から出力される尤度に基づいて、最適結果を探索する部分である。より具体的には、音声認識部１０７は、尤度算出部１０６から出力される尤度に基づいて、Ｖｉｔｅｒｂｉアルゴリズムを用いて尤度関数が最大となるモデル系列を求める。例えば、モデルとなる音声が「いち」「に」「さん」「し」「ご」「ろく」「しち」「はち」「く」「ぜろ」「れい」「よん」「なな」「きゅう」であれば、それぞれの尤度関数を比較して最大値となるモデル音声を発声した音声として認識する。音声認識部１０７は、探索の結果を認識結果保存部１０８に出力する。認識結果保存部１０８は、音声認識部１０７によって出力された探索の結果を保存する。
【００２８】
引き続いて、音声認識装置１０の動作を、図８に示す処理フローを参照しながら説明する。図８は、音声認識装置１０による音声認識の処理フローを示す図である。
【００２９】
筋電信号検出部１０１は、口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉による筋電信号を各チャネルごとにＬＰＣ分析部１０２に出力する。ＬＰＣ分析部１０２はこの筋電信号を１０ｍｓ毎に抽出し、１０ｍｓを１フレームとして、フレーム毎に筋電信号の相関を計算し、線形予測係数分析を行う（Ｓ１）。ＬＰＣ分析部１０２は線形予測係数分析を行ったのち、フレーム毎に線形予測係数ケプストラムを算出する（Ｓ２）。そして、ＬＰＣ分析部１０２は線形予測係数ケプストラムを微分し、フレーム間の線形予測係数ケプストラムの違いを求める（Ｓ３）。
【００３０】
パラメータを学習する場合には、モデル学習部１０４は、線形予測係数ケプストラム及び線形予測係数ケプストラムの微分結果からなる筋電信号特徴量を入力として、尤度最大となるようにモデルのパラメータを推定し，学習する（Ｓ４）。
【００３１】
音声を認識する場合には、尤度算出部１０６及び音声認識部１０７は、新たに取得された線形予測係数ケプストラム及び線形予測係数ケプストラムの微分結果からなる筋電信号特徴量を入力とし、認識を行う（Ｓ５）。
【００３２】
続いて、音声認識装置１０の音声認識の効果を確認するために行った実験について説明する。なお、実験では、隠れマルコフモデル（ＨＭＭ）に基づく統計処理手法を用いており、隠れマルコフモデルの状態数は５である。
【００３３】
まず、音声認識装置１０を用いて、１人の女性話者の、１４個の日本語数字（いち、に、さん、し、ご、ろく、しち、はち、く、ぜろ、れい、よん、なな、きゅう）の発声時に口輪筋、大頬骨筋、及び顎二腹筋の３つの筋肉から出力される筋電信号を測定した。ここで、測定時のサンプリングレートは２ＫＨｚである。１４個の日本語数字は、Ｃを子音、Ｖを母音とすると、ＣＶ、ＣＶＣＶ、ＣＶＣ、及びＶＣＶのいずれかの構造をそれぞれ有し、二音素の数字の場合は２〜３秒、四音素の場合は３〜５秒の発声データの長さとなっている。音声認識装置１０は上述した各部の動作に基づいて、測定された筋電信号に基づく隠れマルコフモデルを学習する。
【００３４】
このようにして隠れマルコフモデルを学習したのち、音声認識装置１０を用いて、再度１４個の日本語数字を発声して筋電信号を測定した。そして、音声認識装置１０の特徴抽出部１０３が、測定した筋電信号に基づく線形予測係数ケプストラム、及び線形予測係数ケプストラムの微分結果を筋電信号特徴量として算出する。
【００３５】
図９は、クローズな実験として、１０回の１４個の日本語数字の発声による筋電信号に基づいて隠れマルコフモデルを学習したのち、１０回の１４個の日本語数字の発声から筋電信号を測定した場合の、各測定回における認識率（１４個の日本語数字のうち、正しく認識されたものの数）の結果を示すグラフである。なお、この実験では、１チャンネルあたり１３次元（１２次元のＬＰＣケプストラムとパワー）、全部で３９の特徴を用いた。図９に示すように、かかるクローズな実験において、音声を正しく認識する確率（認識率）は平均７４．３パーセントとなった。なお、測定した筋電信号の振幅を２乗したもの（パワー）のみを特徴量とした場合の認識率は、６３．６パーセントである。
【００３６】
図１０は、オープンな実験として、９回の１４個の日本語数字の発声による筋電信号に基づいて隠れマルコフモデルを学習したのち、１回の１４個の日本語数字の発声から筋電信号を測定した場合の、各測定回における認識率（１４個の日本語数字のうち、正しく認識されたものの数）の結果を示すグラフである。図１０に示すように、かかるオープンな実験において、認識率は平均４５．０パーセントとなった。
【００３７】
このように、本実施形態においては、時系列信号である筋電信号を線形予測係数分析によって処理するので、筋電信号の入力によって、母音だけでなく子音も認識することができる。
【図面の簡単な説明】
【００３８】
【図１】発声時における筋電信号の出力を説明するための図である。
【図２】日本語の「あ／ａ／」の筋電信号のスペクトラムを示す図である。
【図３】日本語の「い／ｉ／」の筋電信号のスペクトラムを示す図である。
【図４】日本語の「う／ｕ／」の筋電信号のスペクトラムを示す図である。
【図５】日本語の「え／ｅ／」の筋電信号のスペクトラムを示す図である。
【図６】日本語の「お／ｏ／」の筋電信号のスペクトラムを示す図である。
【図７】音声認識装置の構成を示す図である。
【図８】音声認識装置による音声認識の処理フローを示す図である。
【図９】音声認識装置によるクローズな実験の結果を示すグラフである。
【図１０】音声認識装置によるオープンな実験の結果を示すグラフである。
【符号の説明】
【００３９】
１０…音声認識装置、１０１…筋電信号検出部、１０２…ＬＰＣ分析部、１０３…特徴抽出部、１０４…モデル学習部、１０５…モデル記憶部、１０６…尤度算出部、１０７…音声認識部、１０８…認識結果保存部。
【図１】
2005128245.tif 000010
【図２】
2005128245.tif 000011
【図３】
2005128245.tif 000012
【図４】
2005128245.tif 000013
【図５】
2005128245.tif 000014
【図６】
2005128245.tif 000015
【図７】
2005128245.tif 000016
【図８】
2005128245.tif 000017
【図９】
2005128245.tif 000018
【図１０】
2005128245.tif 000019