(57)【要約】【課題】  この発明は、ＨＭＭ等の認識モデルを利用した認識システムにおいて、利用者の意図を反映した認識結果が得られる認識システムを提供することを目的とする。【解決手段】  所定の情報から抽出された特徴量に基づいて構築された認識モデルを利用した認識システムにおいて、上記所定の情報から抽出された特徴量と生体情報から抽出された特徴量とに基づいて認識モデルを構築するモデル構築手段、ならびにモデル構築手段によって得られた認識モデルを利用して認識を行なう認識手段を備えている。【選択図】  図７
2007101813.tif 000002
【特許請求の範囲】
【請求項１】
所定の情報から抽出された特徴量に基づいて構築された認識モデルを利用した認識システムにおいて、
上記所定の情報から抽出された特徴量と生体情報から抽出された特徴量とに基づいて認識モデルを構築するモデル構築手段、ならびに
モデル構築手段によって得られた認識モデルを利用して認識を行なう認識手段を備えていることを特徴とする認識システム。
【請求項２】
所定の情報から抽出された特徴量に基づいて構築された統計モデルを利用した認識システムにおいて、
上記所定の情報から抽出された特徴量と生体情報から抽出された特徴量とに基づいて統計モデルを構築するモデル構築手段、ならびに
モデル構築手段によって得られた統計モデルを利用して認識を行なう認識手段を備えていることを特徴とする認識システム。
【請求項３】
統計モデルを利用した認識システムにおいて、
音声情報から抽出された音響的特徴量に、生体情報から抽出された生体的特徴量を接続することにより特徴ベクトルを構成し、得られた特徴ベクトルに基づいて音響・生体情報モデルを構築するモデル構築手段、ならびに
モデル構築手段によって得られた音響・生体情報モデルを利用して、発声者の意図を反映した音声認識を行なう認識手段、
を備えていることを特徴とする認識システム。
【請求項４】
音響・生体情報モデルは、無音区間におけるモデルをも含んでいることを特徴とする請求項３に記載の認識システム。
【請求項５】
統計モデルを利用した認識システムにおいて、
音声情報から抽出された音響的特徴量から音響的特徴ベクトルを構成し、得られた音響的特徴ベクトルから音響モデルを構築するとともに、生体情報から抽出された生体的特徴量から生体的特徴ベクトルを構成し、得られた生体的特徴ベクトルから生体情報モデルを構築するモデル構築手段、ならびに
モデル構築手段によって得られた音響モデルおよび生体情報モデルを利用して、発声者の意図を反映した音声認識を行なう認識手段、
を備えていることを特徴とする認識システム。
【請求項６】
音響モデルおよび生体情報モデルは無音区間におけるモデルをも含んでいることを特徴とする請求項５に記載の認識システム。
【請求項７】
統計モデルを利用した認識システムにおいて、
画像情報から抽出された画像特徴量に、生体情報から抽出された生体的特徴量を接続することにより特徴ベクトルを構成し、得られた特徴ベクトルに基づいて画像・生体情報モデルを構築するモデル構築手段、ならびに
モデル構築手段によって得られた画像・生体情報モデルを利用して画像認識を行なう認識手段、
を備えていることを特徴とする認識システム。
【請求項８】
統計モデルを利用した認識システムにおいて、
画像情報から抽出された画像特徴量から画像特徴ベクトルを構成し、得られた画像特徴ベクトルから画像モデルを構築するとともに、生体情報から抽出された生体的特徴量から生体的特徴ベクトルを構成し、得られた生体的特徴ベクトルから生体情報モデルを構築するモデル構築手段、ならびに
モデル構築手段によって得られた画像モデルおよび生体情報モデルを利用して画像認識を行なう認識手段、
を備えていることを特徴とする認識システム。
【請求項９】
統計モデルがＨＭＭである請求項２乃至８に記載の認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識システムなどの認識システムに関する。
【背景技術】
【０００２】
図１は、従来の音声認識システムの構成を示している。
従来の音声認識システムは、マイク１０１、マイク１０１に入力された音声を認識するための音声認識部１０２、音声認識部１０２による音声認識結果を表示する表示装置１０３および音声認識部１０２による音声認識結果に基づいて制御される制御対象装置１０４を備えている。
【０００３】
音声認識部１０２は、マイク１０１に入力された音声信号をデジタルの音声データに変換するＡ／Ｄコンバータ１１１、Ａ／Ｄコンバータ１１１によって得られた音声データに対して音声認識処理を行なうＣＰＵ（またはＤＳＰ）１１２、音声認識プログラム、音響モデル、認識辞書等を記憶したＲＯＭ１１３および必要なデータを記憶するＲＡＭ１１４を備えている。
【０００４】
図２は、従来の音響モデルの構築方法を示している。
まず、実際の音声データおよび各音声データの発話内容に関する情報から構成されるモデル学習用データ１２０を用意する。音声データは、音声の特徴が多く含まれている８ｋＨｚ以下の周波数が利用できるよう、シャノンの定理より、１６ｋＨｚでサンプリングされることが多い。
【０００５】
音響分析部１２１は、モデル学習用データ１２０における音声データの音響分析を行う。音響分析方法としては様々な方法があるが、離散フーリエ変換（ＤＦＴ）を用いた周波数分析が一般的に用いられており、入力音声に対し比較的短時間の時間窓を掛け、一定周期で周波数分析を行なう。多くの音声認識システムでは、認識性能と計算機コストのバランスから、分析周期としては、８msecや１０msecが用いられ、分析窓長としては分析周期の倍に相当する１６msecや２０msecの長さが用いられる。ＤＦＴにより周波数分析した結果は、Cepstrum係数に変換される。
【０００６】
このようにして抽出した短時間スペクトルを用いて音声の特徴パラメータを構成するが、スペクトルの動きにも重要な情報が含まれていることが知られている。音声認識においては、スペクトルの動きによる動的な特徴、つまり、スペクトルの時間的な変化の情報を利用することで、認識性能が向上することが報告されており、現状の音声認識システムでは積極的に利用されている。
【０００７】
特徴量抽出部１２２は、Cepstrum係数から、スペクトルの時間的な変化に関する情報等を算出する。一般には、前後２フレーム程度のCepstrum係数より線形回帰係数を求めることで、動的な特徴であるΔCepstrum係数を求める。この際、パワー（実際には対数パワー）の変化量も特徴パラメータとして利用される場合もある。
【０００８】
特徴ベクトル構成部１２３は、このようにして得られたｎ次のCepstrum係数、ｍ次のΔCepstrum係数、Δ対数パワーを並べ、｛ｎ次のCepstrum係数＋ｍ次のΔCepstrum係数＋Δ対数パワー｝からなるｎ＋ｍ＋１の長さのベクトル（特徴ベクトルと呼ぶ）を構成する。      
【０００９】
トポロジー学習部１２４は、このようにして得られた特徴ベクトルから、実際の音響モデルの構造、つまりトポロジーを学習する。
【００１０】
隠れマルコフモデル（ＨＭＭ：Hidden Markov Model ）を用いた音声認識では、一般に、単語よりも短い単位（音節や音素）でモデルを構築する。また、より認識性能を向上させるため、該当音素の前や後に接続される音素の影響を考慮したモデルを構築することがよくある。このようなモデルを、音素環境依存の音響モデルと呼ぶ。特に、該当音素の前後の音素両方を考慮したモデルをtriphone音響モデルと呼ぶ。
【００１１】
モデル構成の単位に音素を用いた場合、音素の数がモデルの複雑さを決定する。音素数がｋ個の場合、triphone音響モデルの数は、次式（１）で表され、膨大な数のモデルを用意しなければならなくなる。
【００１２】
ｋ個（前に接続される音素の数）×ｋ個（該当音素）×ｋ個（後に接続される音素の数）＝ｋ3         …（１）
【００１３】
そこで、ＨＭＭを用いた音声認識では、音響学的特徴が類似したtriphoneをグループ化することによって、モデルの数を削減することが行なわれている。例えば、先行する音素がａでかつ後続する音素がｋの該当音素ｕと、先行する音素がｉでかつ後続する音素がｋの該当音素ｕとを比較した場合、先行する音素は異なるが後続する音素と該当画素が同じであるため、モデル後半を共有することで効率よくモデルを構築することが可能となる。このようにして、音素環境クラスタリングを行なう。
【００１４】
学習データをもとに、効率よい音素環境クラスタリングを行なうことを、トポロジー学習と呼ぶ。トポロジーの学習方法はいくつか提案されており、例えば国際電気通信基礎技術研究所で開発された最ゆう逐次状態分割法（Maximum Likelihood Successive state splitting; ML-SSS)等がある（文献〔１〕参照）。
【００１５】
文献〔１〕：M.Ostendorf and H.Singer, "HMM topology design using maximum likelihood successive state splitting ,"Computer Speech and Language, vol, pp.14-41, 1997. 
【００１６】
パラメータ学習部１２５は、このようにして決定されたモデル構造のＨＭＭに対して、モデルパラメータの学習を行なう。ＨＭＭでは、学習データの周波数的な特徴をそのままモデル化するのではなく、その統計量、つまり、各特徴量の平均値と分散値などをパラメータとして学習する。モデルパラメータの学習方法としては、最ゆう推定（maximum likelihood estimation)が広く用いられている（文献〔２〕参照）。
【００１７】
文献〔２〕：Lawrence Rabiner, Biing-Hwang Jiang 共著, 吉井貞熙  監訳，”音声認識の基礎（上）（下），”ＮＴＴアドバンステクノロジ株式会社，（1995) 
【００１８】
パラメータ学習部１２５による学習により、音響モデル１２６が得られる。図３に音響モデルの構造を示す。実際には、各状態は各特徴量ごとに確率密度関数を有しており、各状態における各特徴量がどの程度の確率を有しているかの総和（積）を各状態が出力する。
【００１９】
図４は、図１の音声認識部１０２による処理内容を示している。
【００２０】
音声入力部１３１には、マイク１０１からの入力音声がＡ／Ｄコンバータ１１１を介して入力される。マイク１０１からの入力音声は、音響モデルの学習データと同じサンプリングレートでデジタル化される。
【００２１】
デジタル化された入力音声は、音響分析部１３２、特徴量抽出部１３３、特徴ベクトル構成部１３４を経て、特徴ベクトルが構成される。音響分析部１３２、特徴量抽出部１３３、特徴ベクトル構成部１３４では、音響モデルの学習時と同じ処理が行なわれる。
【００２２】
認識辞書１３７には、認識単位が音素の場合、実際に認識したい対象となる単語がどのような音素の列で表現されているかが登録されている。
【００２３】
デコーダ部１３５は、音響モデル１２６および認識辞書１３７に基づいて、認識辞書１３７に登録されている各単語毎にその単語に対応する音素列に音素モデルを結合することにより各単語毎のモデル（単語モデル）を生成し、生成された各単語モデルと入力音声から得られた特徴ベクトルとの間の尤度（確率の一種）を算出し、尤度が最も高い単語モデルに対応する単語を認識結果として出力する。
【００２４】
例えば、「明日（あした）」という単語を認識する場合には、図５に示すように、「明日（あした）」に対応する音素列｛sil ＋a ＋sh＋i ＋t ＋a ＋sil ｝に音素モデルを結合することにより「明日」に対応する単語モデルを生成し、得られた単語モデルと入力音声から得られた特徴ベクトルとの間の尤度を算出する。
【００２５】
認識結果出力部１３６は、認識結果を表示装置１０３に表示したり、認識結果をもとに制御対象装置１０４を制御するための信号を出力したりする。
【特許文献１】特開２００４−３３８４９６号公報
【特許文献２】特開２００５−１４４０５９号公報
【特許文献３】特開２００３−５８１８４号公報
【特許文献４】特開２０００−７５８９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００２６】
音声の音響的特徴のみから抽出した特徴量を用いた音声認識では、認識結果は単語、もしくは文章として得られる。しかしながら、単語認識の場合、同音異義語の区別がつかない、同じ単語でも利用者の意図の異なる発話の区別がつかない、などの問題がある。
【００２７】
音声の特徴であるフォルマント情報に加え、ピッチの変化、つまり抑揚などを利用して感情を認識する手法も提案されているが、音声が有する情報のみから非言語情報を認識するには十分な性能が得られていない。
【００２８】
また、音声以外の情報、例えば、心拍、血圧、血流などの生体情報を利用して、利用者の心理的な状態を検出する手法も提案されている。しかしながら、これらの手法は、音声の音響的特徴から推定した認識結果と、生体情報を事後的に統合しているため、統合の際に外部から何らかの知識を入れる必要があり、また高精度なモデル化が困難であった。
【００２９】
この発明は、ＨＭＭ等の認識モデルを利用した認識システムにおいて、利用者の意図を反映した認識結果が得られる認識システムを提供することを目的とする。
【課題を解決するための手段】
【００３０】
請求項１に記載の発明は、所定の情報から抽出された特徴量に基づいて構築された認識モデルを利用した認識システムにおいて、上記所定の情報から抽出された特徴量と生体情報から抽出された特徴量とに基づいて認識モデルを構築するモデル構築手段、ならびにモデル構築手段によって得られた認識モデルを利用して認識を行なう認識手段を備えていることを特徴とする。
【００３１】
請求項２に記載の発明は、所定の情報から抽出された特徴量に基づいて構築された統計モデルを利用した認識システムにおいて、上記所定の情報から抽出された特徴量と生体情報から抽出された特徴量とに基づいて統計モデルを構築するモデル構築手段、ならびにモデル構築手段によって得られた統計モデルを利用して認識を行なう認識手段を備えていることを特徴とする。
【００３２】
請求項３に記載の発明は、統計モデルを利用した認識システムにおいて、音声情報から抽出された音響的特徴量に、生体情報から抽出された生体的特徴量を接続することにより特徴ベクトルを構成し、得られた特徴ベクトルに基づいて音響・生体情報モデルを構築するモデル構築手段、ならびにモデル構築手段によって得られた音響・生体情報モデルを利用して、発声者の意図を反映した音声認識を行なう認識手段を備えていることを特徴とする認識システム。
【００３３】
請求項４に記載の発明は、請求項３に記載の発明において、音響・生体情報モデルは、無音区間におけるモデルをも含んでいることを特徴とする。
【００３４】
請求項５に記載の発明は、統計モデルを利用した認識システムにおいて、音声情報から抽出された音響的特徴量から音響的特徴ベクトルを構成し、得られた音響的特徴ベクトルから音響モデルを構築するとともに、生体情報から抽出された生体的特徴量から生体的特徴ベクトルを構成し、得られた生体的特徴ベクトルから生体情報モデルを構築するモデル構築手段、ならびにモデル構築手段によって得られた音響モデルおよび生体情報モデルを利用して、発声者の意図を反映した音声認識を行なう認識手段を備えていることを特徴とする。
【００３５】
請求項６に記載の発明は、請求項５に記載の発明において、音響モデルおよび生体情報モデルは無音区間におけるモデルをも含んでいることを特徴とする。
【００３６】
請求項７に記載の発明は、統計モデルを利用した認識システムにおいて、画像情報から抽出された画像特徴量に、生体情報から抽出された生体的特徴量を接続することにより特徴ベクトルを構成し、得られた特徴ベクトルに基づいて画像・生体情報モデルを構築するモデル構築手段、ならびにモデル構築手段によって得られた画像・生体情報モデルを利用して画像認識を行なう認識手段を備えていることを特徴とする。
【００３７】
請求項８に記載の発明は、統計モデルを利用した認識システムにおいて、画像情報から抽出された画像特徴量から画像特徴ベクトルを構成し、得られた画像特徴ベクトルから画像モデルを構築するとともに、生体情報から抽出された生体的特徴量から生体的特徴ベクトルを構成し、得られた生体的特徴ベクトルから生体情報モデルを構築するモデル構築手段、ならびにモデル構築手段によって得られた画像モデルおよび生体情報モデルを利用して画像認識を行なう認識手段を備えていることを特徴とする。
【００３８】
請求項９に記載の発明は、請求項２乃至８に記載の発明において、統計モデルがＨＭＭであることを特徴とする。
【発明の効果】
【００３９】
この発明によれば、ＨＭＭ等の認識モデルを利用した認識システムにおいて、利用者の意図、精神状態に応じた認識結果が得られるようになる。
【発明を実施するための最良の形態】
【００４０】
以下、図面を参照して、この発明を音声認識システムに適用した場合の実施例について説明する。
【実施例１】
【００４１】
〔１〕音声認識システム
【００４２】
図６は、音声認識システムの構成を示している。
音声認識システムは、マイク１、生体情報センサ２、マイク１に入力された音声および生体情報センサ２によって検出された生体情報に基づいて発話者の意思を反映した音声認識を行なう音声認識部３、音声認識部３による音声認識結果を表示する表示装置４および音声認識部３による音声認識結果に基づいて制御される制御対象装置５を備えている。
【００４３】
音声認識部３は、マイク１に入力された音声信号をデジタルの音声データに変換するＡ／Ｄコンバータ１１、生体情報センサ２によって検出された生体情報をデジタルの生体情報に変換するＡ／Ｄコンバータ１２、Ａ／Ｄコンバータ１１によって得られた音声データおよびＡ／Ｄコンバータ１２によって得られた生体情報に基づいて、音声認識処理を行なうＣＰＵ（またはＤＳＰ）１３、音声認識プログラム、音響・生体情報モデル、認識辞書等を記憶したＲＯＭ１４および必要なデータを記憶するＲＡＭ１５を備えている。
【００４４】
〔２〕生体の特徴量
【００４５】
生体情報としては、心拍、血圧、発汗量などの情報を利用する。生体情報として、心拍を利用する場合、腕や指先などから心拍を測定する心拍センサからの出力信号を用いる。心拍と心拍との時間間隔を情報として用いる場合、時間間隔の平均（６０／平均心拍数）は、人により異なるため、時間間隔の変化量（Δ時間間隔）や時間間隔の分散を特徴量として利用する。
【００４６】
生体情報として血圧を利用する場合、血圧計などから得られる出力信号を用いる。安静時の血圧は人により異なるため、血圧の変化量（Δ血圧）や、血圧の差（最高血圧と最低血圧との差）、血圧の差の変化量（Δ血圧の差）などを特徴量として利用する。生体情報として発汗量を利用する場合、電気抵抗の変化により発汗量を測定する発汗センサからの出力信号を用いる。この他にも、血流、体温、呼吸などを生体情報として利用することができる。
【００４７】
実施例１では、音声の音響的特徴量と生体情報の特徴量とを元に特徴ベクトルを構成することで、音響的特徴のみから構成したモデルでは識別することができない情報を認識することが可能となる。例えば、言語的には同一であっても発話者の意図が異なる場合に発話者の意図を反映した認識結果を得ることが可能となる。また、同音異義語など音響的に同じものを識別することが可能となる。
【００４８】
以下においては、生体情報として心拍を利用した場合について説明する。
【００４９】
〔３〕音響・生体情報モデルの学習
【００５０】
図７は、音響・生体情報モデルの構築方法を示している。
【００５１】
〔３−１〕学習用データ
学習用データ２０には、音声データと生体情報とが、時系列が対応した状態で保持されている。例えば生体情報として心拍数を用いた場合、図８に示すように、音声波形（音声データ）と心拍の変化を示す波形（心拍データ）とが同じ時間軸で記録される。この場合、音声データ、心拍データともに、１６ｋＨｚでサンプリングされ、デジタルデータとして保存される。時間的な関係が保持されているならば、音声データ、心拍データとの間でサンプリング間隔が異なっていてもかまわない。
【００５２】
音声データ、生体情報に加え、その時の発話内容（例えば「熱い」）と、そのときの利用者の状態（「非常に熱い状態」、「少し熱い状態」など）に関する情報を付加し、学習用データ２０として用意する。
【００５３】
後述する音響分析、生体情報分析、音響的特徴量抽出、生体的特徴量抽出などは、時間的な関係を保持したまま行なわれる。
【００５４】
〔３−２〕音響分析部および生体情報分析部
音響分析部２１は、従来と同様な手法により音響分析を行なう。つまり、音声データに対してＤＦＴにより周波数分析を行ない、Cepstram係数を得る。生体情報分析部３１は、生体情報（心拍データ）を分析する。
【００５５】
〔３−３〕音響的特徴量抽出部および生体的特徴量抽出部
音響的特徴量抽出部２２は、音響分析部２１による音響分析結果から従来と同様な手法により、音響的な特徴量を抽出する。つまり、音響分析部２１によって得られたCepstram係数に基づいて、ΔCepstram係数、Δ対数パワーを求める。
【００５６】
生体的特徴量抽出部３２について説明する。生体的な特徴量は、音響的な特徴量とは大きく異なっているため、異なった抽出方法を用いる。例えば、生体情報として心拍データを利用した場合、心拍から次の心拍までの平均時間差（＝６０／平均心拍数）は人により異なるため、心拍から次の心拍までの時間差Ｐt と平均時間差Ｐave とのずれＰ’t （＝Ｐt −Ｐave ）や、心拍から心拍までの時間差の変化量ΔＰt （＝Ｐt −Ｐt-1 ）などを生体的特徴量として利用する。
【００５７】
図９に、心拍データ、心拍と心拍との時間差Ｐt ，Ｐt+1 ，Ｐt+2 、心拍と心拍との時間差と平均時間差Ｐave とのずれＰ’t-1 ，Ｐ’t ，Ｐ’t+1 ，Ｐ’t+2 、心拍と心拍との時間差の変化量ΔＰt-1 ，ΔＰt ，ΔＰt+1 ，ΔＰt+2 を示す。
【００５８】
生体的特徴量としてＰt 、ΔＰt のような特徴量を用いる場合、その特徴量が得られるタイミングは心拍が得られた時となる。このため、音声の音響分析における時間分解能（８msecまたは１０msecごと）と比較すると、時間分解能は非常に低くなる。
【００５９】
生体情報が大きく変化するような、発話者の状況の変化や環境の変化が生じた場合、生体的特徴量抽出部３２で抽出された特徴量にも変化が生じる。例えば、シャワーを浴びた際に「熱い」と発声した場合、シャワーから出たお湯が熱めのお湯であった場合と非常に熱いお湯であった場合とでは、発話者の生体情報の変化が大きく異なる。いずれの場合にも「熱い」という言葉が発声されるが、熱めのお湯であった場合には「少しぬるくしてほしい」という意図がその言葉に含まれているが、非常に熱いお湯であった場合には「すぐに止めてほしい」という意図がその言葉に含まれている。
【００６０】
シャワーから出たお湯が熱めのお湯であった場合には心拍は緩やかに変化するが、シャワーから出たお湯が非常に熱いお湯であった場合には心拍は急激に変化する。この変化を、特徴量Ｐ’t やΔＰt などでモデル化することにより、このような環境変化に伴う、発話者の意図を認識することが可能となる。図１０に、シャワーから出たお湯が熱めのお湯であった場合のΔＰt の変化と、シャワーから出たお湯が非常に熱いお湯であった場合のΔＰt の変化を示す。
【００６１】
また、音声の発話タイミングと比較し、シャワーから出たお湯が非常に熱いお湯であった場合の心拍の変化は遅れて生じる場合が多い。このような時間構造も考慮したモデルを構築することで、認識性能を向上することが可能となる。
【００６２】
また、図１１に示すように、生体的特徴量ΔＰt の変化は、発声区間内に収まるとは限らず、発話が終了した後に変化する場合もある。このため、音声区間に対する音素モデルだけでなく、無音区間に該当する無音モデルに対しても、生体情報を含んだモデル構築が有効となる。発話の前後の無音区間における生体情報を学習用データに含ませることで、このようなモデルを構築することが可能となる。
【００６３】
〔３−４〕特徴ベクトル構成部
特徴ベクトル構成部２３は、音響的特徴量抽出部２２よって得られた音響的特徴量と、生体的特徴量抽出部３２によって得られた生体的特徴量とから、特徴ベクトルを構成する。
【００６４】
音響的特徴量としては、従来と同様に、ｎ次のCepstram係数、ｍ次のΔCepstram係数、Δ対数パワーがある。生体的特徴量としては、例えば生体情報が心拍データである場合には、心拍から次の心拍までの時間差Ｐt と平均時間差Ｐave とのずれＰ’t （＝Ｐt −Ｐave ）や、心拍から心拍までの時間差の変化量ΔＰt （＝Ｐt −Ｐt-1 ）などがある。これらの情報を用いて、特徴ベクトルを例えば次式（２）のように構成する。
【００６５】
ｎ次Cepstram係数＋ｍ次ΔCepstram係数＋Δ対数パワー＋Ｐ’t ＋ΔＰt     …（２）      
【００６６】
上述したように、音響的特徴量と生体的特徴量が得られるタイミングは大きく異なる。音響的特徴量は例えば１０msecごとに得られるが、生体的特徴量は、例えば生体的特徴量が心拍に基づく特徴量である場合には、心拍の間隔ごとでしか特徴量を得ることができない。
【００６７】
実施例１では、この問題を解決するために、生体情報の分析周期を音響分析の分析周期に合わせる方法を用いる。生体情報の分析周期を音響分析の周期に合わせる場合、生体情報が得られない分析区間が存在するが、この場合は、図１２に示すように、１つ前の生体的特徴量を複製して利用する。
【００６８】
〔３−５〕トポロジー学習部およびパラメータ学習部
特徴ベクトルを構成した後の、トポロジー学習およびパラメータ学習としては、従来の学習手法をそのまま利用できる。つまり、トポロジー学習部２４およびパラメータ学習部２５は、従来の学習手法と同様な学習手法により、トポロジー学習およびパラメータ学習を行なう。これにより、音響・生体情報モデル２６が構築される。図１３に、音響・生体情報モデルの構造を示す。
【００６９】
〔４〕音声認識部
【００７０】
図１４は、図６の音声認識部３による処理内容を示している。
音声入力部４１には、マイク１からの認識対象の音声が、Ａ／Ｄコンバータ１１を介して入力される。また、生体情報入力部５１には、生体情報センサ２からの認識対象の生体情報が、Ａ／Ｄコンバータ１２を介して入力される。これらの入力信号は、時間的な関係を保持しながら処理されて、特徴ベクトルが構成される。
【００７１】
音声入力部４１に入力された音声データは、モデル学習時と同様に、音響分析部４２を介して音響的特徴量抽出部４３に送られ、音響的特徴量が抽出される。生体情報入力部５１に入力された生体情報は、モデル学習時の同様に、生体情報分析部５２を介して生体的特徴量抽出部５３に送られ、生体的特徴量が抽出される。特徴ベクトル構成部４４は、モデル学習時と同様に、音響的特徴量および生体的特徴量に基づいて特徴ベクトルを構成する。
【００７２】
認識辞書４７には、認識単位が音素の場合、実際に認識したい対象となる単語がどのようなモデル（音素に発声者の意図を加えたモデル）の列で表現されているかが登録されている。認識対象単語は、同じ単語でも発話者の意図により複数の異なる単語が登録されており、それぞれの単語に対応するモデル列は異なったものとなっている。
【００７３】
デコーダ部４５は、音響・生体情報モデル２６および認識辞書４７に基づいて、認識辞書４７に登録されている各単語毎にその単語に対応するモデル列に音響・生体情報モデルを結合することにより、各単語毎の単語モデルを生成し、生成された各単語モデルと特徴ベクトル構成部４４によって構成された特徴ベクトルとの間の尤度（確率の一種）を算出し、尤度が最も高い単語モデルに対応する単語を認識結果として出力する。
【００７４】
認識結果出力部４６は、認識結果を表示装置４に表示したり、認識結果をもとに制御対象装置５を制御するための信号を出力したりする。
【実施例２】
【００７５】
〔１〕音声認識システム
実施例２における音声認識システムの構成は、図６に示される実施例１と同じである。実施例２では、音響・生体情報モデルの構築方法と音声認識部３による処理内容が実施例１と異なっている。
【００７６】
〔２〕音響・生体情報モデルの学習
図１５は、音響・生体情報モデルの構築方法を示している。
【００７７】
実施例２では、時間的な関係を保持した状態での音声データおよび生体情報を学習用データとして用意し、用意した学習用データに基づいて音響モデルと生体情報モデルとを個別に学習する。音響モデルは、従来の音響モデル構築手法と同様な手法で構築される。
【００７８】
学習用データ６０には、音声データと生体情報とが、時系列が対応した状態で保持されている。音響分析部６１は、従来と同様な手法により音響分析を行なう。つまり、ＤＦＴにより周波数分析を行ない、Cepstram係数を得る。音響的特徴量抽出部６２は、音響分析部６１による音響分析結果から従来と同様な手法により、音響特徴量を抽出する。つまり、音響分析部６１によって得られたCepstram係数に基づいて、ΔCepstram係数、Δ対数パワーを求める。音響的特徴ベクトル構成部６３は、音響的特徴量のみに基づいて、音響的特徴ベクトルを構成する。音響的特徴ベクトルは、例えば、（ｎ次Cepstram係数＋ｍ次ΔCepstram係数＋Δ対数パワー）から構成される。
【００７９】
トポロジー学習部６４およびパラメータ学習部６５は、音響的特徴ベクトルに基づいて、従来の学習手法と同様な学習手法により、トポロジー学習およびパラメータ学習を行なう。これにより、音響モデル６６が構築される。
【００８０】
生体情報分析部７１および生体的特徴量抽出部７２は、実施例１と同様な方法で、生体情報特徴量を抽出する。例えば、生体情報として心拍データを利用した場合、心拍から次の心拍までの時間差Ｐt と平均時間差Ｐave とのずれＰ’t （＝Ｐt −Ｐave ）や、心拍から心拍までの時間差の変化量ΔＰt （＝Ｐt −Ｐt-1 ）などが生体的特徴量として抽出される。生体的特徴ベクトル構成部７３は、生体的特徴量から生体的特徴ベクトルを構成する。生体的特徴ベクトルは、例えば、（Ｐ’t ＋ΔＰt ）から構成される。
【００８１】
トポロジー学習部７４およびパラメータ学習部７５は、生体情報特徴ベクトルに基づいて、従来の学習手法と同様な学習手法により、トポロジー学習およびパラメータ学習を行なう。これにより、生体情報モデル７６が構築される。
【００８２】
音響的特徴量が得られるタイミングと生体的特徴量が得られるタイミングとは大きく異なるが、音響モデルと生体情報モデルとを個別に構築するため、それぞれのモデルの時間的関係が保持されているならば、両特徴量が得られるタイミングが異なっていても問題とならない。
【００８３】
ＨＭＭを用いた認識では、時間軸の伸縮（速く発話した場合と遅く発話した場合とで時間的な構造は変化するが、特徴が現れる順序は入れ替わらない）を吸収することができるため、図１６に示すように、音響的特徴量と生体的特徴量とが、時間軸の伸縮で吸収できる範囲内であれば、個別にモデルを構築することが可能となる。なお、図１７に示すように、実施例１と同様に、生体的特徴量を複製して利用することも可能である。
【００８４】
〔３〕音声認識部
【００８５】
図１８は、図６の音声認識部３による処理内容を示している。
音声入力部８１には、マイク１からの認識対象の音声が、Ａ／Ｄコンバータ１１を介して入力される。また、生体情報入力部９１には、生体情報センサ２からの認識対象の生体情報が、Ａ／Ｄコンバータ１２を介して入力される。これらの入力信号は、時間的な関係を保持しながら処理されて、音響的特徴ベクトルおよび生体的特徴ベクトルが構成される。
【００８６】
音声入力部８１に入力された音声データは、モデル学習時と同様に、音響分析部８２を介して音響的特徴量抽出部８３に送られ、音響的特徴量が抽出される。音響的特徴ベクトル構成部８４は、モデル学習時と同様に、音響的特徴量に基づいて音響的特徴ベクトルを構成する。
【００８７】
生体情報入力部９１に入力された生体情報は、モデル学習時と同様に、生体情報分析部９２を介して生体的特徴量抽出部９３に送られ、生体的特徴量が抽出される。生体的特徴ベクトル構成部９４は、モデル学習時と同様に、生体的特徴量に基づいて生体的特徴ベクトルを構成する。
【００８８】
認識辞書８８には、認識単位が音素の場合、実際に認識したい対象となる単語がどのような音素列で表現されているかの情報に加え、その単語発声時の発声者の意図に対応する生体情報列が登録されている。認識対象単語は、同じ単語でも発声者の意図により複数の単語が登録されており、それぞれの単語に対応する生体情報列は異なったものとなっている。
【００８９】
デコーダ部８５は、音響モデル６６および認識辞書８８に基づいて、認識辞書８８に登録されている各単語毎にその単語に対応する音素列に音響モデルを結合することにより各単語毎の単語モデルを生成し、生成された各単語モデルと音響的特徴ベクトル構成部８４によって構成された音響的特徴ベクトルとの間の尤度を算出する。
【００９０】
デコーダ部９５は、生体情報モデル７６および認識辞書８８に基づいて、認識辞書８８に登録されている各単語毎にその単語に対応する生体情報列に生体情報モデルを結合することにより各単語毎の単語モデルを生成し、生成された各単語モデルと生体的特徴ベクトル構成部９４によって構成された生体的特徴ベクトルとの間の尤度を算出する。
【００９１】
結果統合部８６は、デコーダ部８５によって算出された各登録単語に対する音響尤度と、デコーダ部９５によって算出された各登録単語に対する生体情報尤度とに基づいて、認識結果を決定する。例えば、認識辞書８８に登録されている全ての登録単語毎に、その単語に対する音響尤度と生体情報尤度との積（対数尤度の場合には和）を算出し、その算出結果が最も高くなる登録単語を認識結果とする。
【００９２】
認識結果出力部８７は、認識結果を表示装置４に表示したり、認識結果をもとに制御対象装置５を制御するための信号を出力したりする。
【００９３】
〔４〕音声認識部の変形例の説明
【００９４】
図１９は、音声認識部３の変形例を示している。図１９において、図１８と同じものには同じ符号を付してその説明を省略する。
【００９５】
デコーダ部８５Ａは、音響モデル６６および認識辞書８８に基づいて、認識辞書８８に登録されている各単語毎にその単語に対応する音素列に音響モデルを結合することにより各単語毎の単語モデルを生成し、生成された各単語モデルと音響的特徴ベクトル構成部８４によって構成された音響的特徴ベクトルとの間の尤度を算出する。そして、音響尤度が高いＮ個（Ｎ≧１）の登録単語を選択する。
【００９６】
デコーダ部９５Ａは、デコーダ部８５Ａで音響尤度が高いとして選択された登録単語に対して生体情報尤度を算出する。そして、音響尤度と生体情報尤度との積（対数尤度の場合には和）が最も高い登録単語を認識結果とする。
【００９７】
なお、この発明は、ＨＭＭを利用した画像認識システムにも適用することができる。
【図面の簡単な説明】
【００９８】
【図１】従来の音声認識システムの構成を示すブロック図である。
【図２】従来の音響モデルの構築方法を説明するためのブロック図である。
【図３】音響モデルの構造を示す模式図である。
【図４】図１の音声認識部１０２による処理内容を説明するためのブロック図である。
【図５】デコーダ部３０５の処理を説明するための模式図である。
【図６】音声認識システムの構成を示すブロック図である。
【図７】音響・生体情報モデルの構築方法を説明するためのブロック図である。
【図８】音声波形と心拍の変化を示す波形（心拍データ）とを示すタイムチャートである。
【図９】心拍データ、心拍と心拍との時間差Ｐt 、心拍と心拍との時間差と平均時間差Ｐave とのずれＰ’t 、心拍と心拍との時間差の変化量ΔＰt を示すタイムチャートである。
【図１０】熱めのお湯をかけた場合のΔＰt の変化と非常に熱いお湯をかけた場合のΔＰt の変化を示すタイムチャートである。
【図１１】生体情報の変化が、発話区間内に収まるとは限らず、発話が終了した後に変化する場合を示すタイムチャートである。
【図１２】生体情報の分析周期を音響分析の周期に合わせる場合、生体情報が得られない分析区間においては、１つ前の生体的特徴量を複製して利用することを示す模式図である。
【図１３】音響・生体情報モデルの構造を示す模式図である。
【図１４】図６の音声認識部３による処理内容を説明するためのブロック図である。
【図１５】音響・生体情報モデルの構築方法を説明するためのブロック図である。
【図１６】音響的特徴量と生体情報特徴量とから音響モデルと生体情報モデルとが個別に構築されることを示す模式図である。
【図１７】音響的特徴量と生体情報特徴量とから音響モデルと生体情報モデルとを個別に構築する場合に、生体情報の特徴量を複製して利用することを示す模式図である。
【図１８】図６の音声認識部３による処理内容を説明するためのブロック図である。
【図１９】音声認識部３の変形例を示すブロック図である。
【符号の説明】
【００９９】
１  マイク
２  生体情報センサ
３  音声認識部
４  表示装置
５  制御対象装置
１１，１２  Ａ／Ｄコンバータ
１３  ＣＰＵ
１４  ＲＯＭ
１５  ＲＡＭ
【図１】
2007101813.tif 000003
【図２】
2007101813.tif 000004
【図３】
2007101813.tif 000005
【図４】
2007101813.tif 000006
【図５】
2007101813.tif 000007
【図６】
2007101813.tif 000008
【図７】
2007101813.tif 000009
【図８】
2007101813.tif 000010
【図９】
2007101813.tif 000011
【図１０】
2007101813.tif 000012
【図１１】
2007101813.tif 000013
【図１２】
2007101813.tif 000014
【図１３】
2007101813.tif 000015
【図１４】
2007101813.tif 000016
【図１５】
2007101813.tif 000017
【図１６】
2007101813.tif 000018
【図１７】
2007101813.tif 000019
【図１８】
2007101813.tif 000020
【図１９】
2007101813.tif 000021