(57)【要約】      （修正有）【課題】モータ雑音下におけるロボット用音声認識の性能向上を図る。【解決手段】所定の動作またはジェスチャを行いつつ人の音声を認識するロボットであって、前記動作またはジェスチャを行わせる駆動ユニットと、実行されている前記動作またはジェスチャを判別する判別ユニットと、マルチコンディション学習を含む少なくとも２つの認識アルゴリズムを備えた音声認識ユニットと、判別された前記動作またはジェスチャに応じて前記認識アルゴリズムの１つを選択する切り替えユニットと、を備えたロボット。【選択図】図１
2008122927.tif 000002
【特許請求の範囲】
【請求項１】
所定の動作またはジェスチャを行いつつ人の音声を認識するロボットであって、
前記動作またはジェスチャを行わせる駆動ユニットと、
実行されている前記動作またはジェスチャを判別する判別ユニットと、
マルチコンディション学習を含む少なくとも２つの認識アルゴリズムを備えた音声認識ユニットと、
判別された前記動作またはジェスチャに応じて前記認識アルゴリズムの１つを選択する切り替えユニットと、を備えたロボット。
【請求項２】
請求項１に記載のロボットであって、
前記認識アルゴリズムは最尤線形回帰を含む。
【請求項３】
請求項１に記載のロボットであって、
前記認識アルゴリズムはミッシング・フィーチャ理論を含む。
【請求項４】
請求項１に記載のロボットであって、
前記所定の前記動作またはジェスチャを実行する際に生じる雑音を予め記憶し、雑音テンプレートを生成し、該雑音テンプレートを保持する雑音テンプレート保持ユニットをさらに備え、
前記雑音テンプレートは、選択された前記認識アルゴリズムに適用される。
【請求項５】
請求項１に記載のロボットであって、
入力信号に含まれる雑音を除去し、出力を送出する前処理ユニットと、
前処理ユニットからの出力に対して白色雑音を重畳する雑音重畳ユニットと、をさらに備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識方法に関するものであり、特に、ロボットのモータ雑音下におけるロボット用音声認識方法に関するものである。
【背景技術】
【０００２】
自動音声認識（ＡＳＲ）は、ロボットが人とコミュニケーションを図る上で必須である。人−ロボット間の自然なコミュニケーションを実現するためには、ロボットが移動中及びジェスチャの実行中であっても音声を認識できることが必要である。例えば、ロボットのジェスチャは、人−ロボット間の自然なコミュニケーションにおいて重要な役割を果たすと考えられる。また、ロボットは、身体動作によってプレゼンテーションタスクを果たすことが期待される。もし、ロボットが、身体動作またはジェスチャを伴うプレゼンテーションを実行している最中に、人の介入音声を認識できれば、ロボットはさらに有用となり得る。
【０００３】
しかしながら、動作中にはモータ雑音の発生が不可避であるため、ロボットによる自動音声認識は難しい。また、モータはロボットのマイクロフォンに近接しているため、モータ雑音のパワーは目標音声のパワーよりも大きい。モータ雑音は不規則に変化するため、従来の雑音適応手法を用いた場合、十分な自動音声認識性能を得ることができない。これまで、雑音に対して頑健な多くの手法が提案されているが、ロボット動作の雑音下における音声認識に関してはあまり研究されていない。  
【０００４】
周知の手法としてマルチコンディション学習がある。この手法では、雑音が付加された音声に対して音響モデルを学習させる。この手法によれば、入力信号が音響モデル学習に付加された雑音を含む場合、自動音声認識性能が向上する。この手法は、非定常雑音より定常雑音を扱う場合の方が容易であるという特性を有する。従って、この手法は、定常雑音を発する動作またはジェスチャ実行中の音声認識に対して効果的であることが期待される。
【０００５】
ＭＬＬＲ手法もまた、アフィン変換を伴う適応手法を用いることによって自動音声認識の頑健性を向上させる。マルチコンディション音響モデルのためのＭＬＬＲ適応は、無雑音音声に基づいて学習させた音響モデルのためのＭＬＬＲ適応よりも音声認識において有効である。なぜなら、マルチコンディション音響モデルを用いた音声認識の性能は、元来高いからである。実際、予備実験によって、このことが確認された。全ての種類のモータ雑音に対してＭＬＬＲ手法を用いずにマルチコンディション音響モデルを用意するには長時間を要する。また、過剰適合の懸念もある。
【０００６】
雑音の多い音声入力を処理するために、ミッシング・フィーチャ理論（ＭＦＴ）（非特許文献１参照）が提案されている。雑音がある場合、音声の時間周波数空間におけるある領域は、音声特徴量としての信頼性が低い。信頼性の高い領域を無視することにより、または、信頼性の高い領域を用いて信頼性の低い領域の特徴量を推定することにより、雑音に対して頑健な音声認識を実現することができる。同様のアプローチとして、マルチバンド自動音声認識手法が提案されている。この手法は、各サブバンドにＨＭＭ（Hidden Markov Model, 隠れマルコフモデル）を用い、信頼性の低いサブバンドには小さい重みを付与することにより、積算された尤度を得る。本願において、ＭＦＴという用語は、マルチバンド自動音声認識手法を含むものとする。
【０００７】
ＭＦＴに基づく手法は、音声特徴量の信頼性が正しく推定されれば、定常雑音及び非定常雑音の双方に対して高い雑音頑健性を示す。ＭＦＴに基づく手法を自動音声認識に応用する際の主要問題の一つは、入力された音声特徴量の信頼性をいかにして正しく推定するかということである。ＳＮ比（ＳＮＲ）及び入力された音声特徴量の歪量は通常未知であるから、入力された音声特徴量の信頼性は推定できない。しかしながら、事前収録された雑音を認識に利用することができるので、雑音のパワーが大きい場合であっても、入力された音声特徴量の信頼性の推定は容易になる。従って、ＭＦＴは、ロボットのモータに起因する非定常雑音を処理する際には、より適していると考えられる。
【０００８】
スペクトル減算（ＳＳ）手法は、雑音除去を行うための周知手法の一つである。ロボット自体のモータの雑音を処理する際にＳＳ手法を適用することが提案されている。このアプローチでは、ロボットの関節角度に起因するモータ雑音が神経系を用いて推定され、推定された雑音を用いてＳＳ手法が適用された。このアプローチにおける一つの問題は、雑音推定が良好でない場合、自動音声認識性能が低下することである。また、ＳＳ手法では音声特徴量を直接改変するので、雑音推定に失敗した場合、ＭＦＴ手法の場合より音声認識性能の低下が著しい。同種類の動作によって常に同じモータ雑音が発生するとは限らないので、ＳＳにより雑音を適切に処理し十分な精度でモータ雑音を推定することは難しい。従って、ＳＳに基づく手法は、ロボットには適していない。
【０００９】
複数のマイクロフォンが利用できる場合、目標音声を抽出するために、ビームフォーミング（ＢＦ）、独立成分分析(ＩＣＡ)、幾何学的音源分離（ＧＳＳ）といった雑音分離手法を用いることができる。ＢＦは、複数のマイクロフォンを用いて音源を分離する周知手法である。しかしながら、従来のＢＦの場合、雑音とチャネル間漏出とによって分離された音声に歪が生じる。これによって、自動音声認識性能が低下する。適応ビームフォーミングのように歪の少ないＢＦは膨大な計算力を必要とするため、リアルタイム音源分離は困難である。ＩＣＡは、最も好適な音源分離手法の一つである。ＩＣＡでは、音源は互いに独立であり、音源の数はマイクロフォンの数と同じであると仮定される。しかしながら、これらの仮定は、現実の世界において音源を分離する際には強過ぎる。また、ＩＣＡは、置換（permutation）問題及びスケール問題と呼ばれる解決困難な問題を有している。ＧＳＳにおいては、音源の数とマイクロフォンの数との間の関係における限定は緩和されている。ＧＳＳによれば、音源とマイクロフォンの位置に基づく「幾何学的制限」を導入することによって、マイクロフォンの数をＮとした場合にＮ−１個の音源まで分離することができる。ＧＳＳとＭＦＴに基づく音声認識とを組合せることにより音声を同時認識するロボット聴取システムが知られている。ＧＳＳの効果とともに、チャネル間漏出エネルギを用いた信頼性自動評価を有するＭＦＴ方式音声認識が示されている。しかしながら、音源とマイクロフォンの位置には一般的に測定誤差と位置決め誤差があり、ＧＳＳでは、幾何学的制限における誤差が性能に悪影響を及ぼす。  
【００１０】
音源分離が適切に機能すれば、マルチチャネルアプローチは有効である。しかしながら、いずれの手法によっても、大なり小なり分離誤差が生じる。また、システム全体のサイズが大きくなりがちである。このことは、システムにおけるパラメータ数が増加し、より高い計算能力がシステムにより要求されること意味する。ロボットにおいては利用できる空間と計算能力に限界があるため、ロボットに適用する際には、これらが重大な問題となる。従って、本願では、シングルチャネルアプローチに焦点を当てる。
【００１１】
将来、人型ロボットは、人のパートナーとなることが期待される。このパートナーシップを助長するために、人型ロボットは、それ自体のマイクロフォンを用いてユーザの音声を聞き分ける必要がある。ユーザが常にヘッドセットを装着することを想定するのは現実的ではない。このような人型ロボットを開発する際、そのアクチュエータが発する「雑音」は、大きな問題である。人型ロボットは、基本的には高い冗長系であり、多くのモータとともに、自発的に人に類似した行動を起こすために必要なロボット埋め込み型プロセッサに付随する冷却ファンを備えている。これら人に類似した行動は、人−ロボット間の豊かな相互作用を実現するために効果的である。例えば、ロボットのジェスチャは、人−ロボット間の自然なコミュニケーションにおいて重要な役割を果たすと考えられる。人型ロボットが身体動作を伴ってタスクまたはプレゼンテーションを行えば、人型ロボットと人とコミュニケーションに役立つ。しかしながら、これら動作の実現には、高いトルクと高い出力を有するモータ、及び、高性能ＣＰＵを冷却する高回転ファンが必要である。このことは、必然的に大きな雑音につながる。さらに、アクチュエータは、目標音声源より、人型ロボットに埋め込まれたマイクロフォンに近い。これら雑音が近接していることにより、マイクロフォンで捕捉される音響信号は、０ｄＢ以下という低いＳＮ比（ＳＮＲ）を有する。また、モータ雑音は一定ではないため、入力ＳＮ比は動的に変化する。これらの要因により、人型ロボットが動作中に人の音声を認識することは難しい。人−人型ロボット間のコミュニケーションを扱う多くの研究は、音声指令を入力するために、人型ロボット自体のマイクロフォンを用いる代わりにヘッドセットを装着することにより、この問題を回避する傾向にある。音声認識において人型ロボット埋め込み型マイクロフォンを用いることを試みた研究者もいる。しかしながら、このような研究者は、定常雑音を扱っている。すなわち、音声認識に関して人型ロボットは静止状態にあると仮定している。  
【００１２】
これまで、自動音声認識の先行研究においては数々の雑音への頑健性向上に対する手法が提案されている。マルチコンディション学習による音響モデルの学習は最も有効な手法の一つである。この手法は、あらかじめ雑音を含んだ音声を音響モデルの学習に用いるため、その雑音が既知である場合には強力である。しかし、雑音が大きい環境では、無音区間か発話区間かの区別すらできなくなる。また、定常的な雑音については効果的な学習が期待できるが、非定常な雑音に対しては難しい。このため、高雑音下ではこの手法には限界があると考えられる。
【００１３】
ＭＬＬＲ（最尤線形回帰）は、アフィン変換を用いて音響モデルを雑音に適応するアプローチである。これにより、音響モデルは学習時とは異なる認識環境の雑音や話者に適応される。ＭＬＬＲも有効な手法であるが、雑音が非常に大きい環境や非定常雑音においては効果が薄いと考えられる。
【００１４】
このように従来の自動音声認識では、音響モデルを雑音へ適応するための研究が多く行われてきた。これは、入力信号から雑音を取り除くというアプローチをとると、音声の歪みが大きくなり、結果的に音響モデルの雑音への適応を行った方が性能が出やすいという側面を有するからと考えられる。しかし、ロボットにおける音声認識では、従来の音声認識が想定していた雑音よりも雑音の大きな環境(ＳＮＲ（ＳＮ比）０ｄＢ以下である場合もある) での認識が必要となる。このような環境では音響モデルを雑音へ適応化しても、もはや元の信号の情報はほとんど残っておらず、音声認識を行うことは困難である。したがって、雑音を除去する仕組みが必要となる。
【００１５】
ロボットにおける自動音声認識では、その前処理に用いるため、マイクロフォンアレーを用いた音源分離が数多く行われている。ビームフォーミング（ＢＦ）、独立成分分析(ＩＣＡ) あるいは幾何学的音源分離（ＧＳＳ）による手法が提案されている。ＢＦは一般的な音源分離手法であるが、音源分離による音声信号の歪みが生じる。歪みの少ない適応ＢＦも提案されているが、計算量が膨大であるという欠点がある。ＩＣＡは音源の独立性を仮定するだけで分離を行うことができる有効な手法であるが、実環境においてはしばしばこの仮定が成立しないことがあり、各周波数での分離信号が同じ音源に対応するように分離信号を並べ変えなければならないという置換問題も生じる。ＢＦとＩＣＡの中間的な手法として、ＧＳＳが挙げられる。ＧＳＳでは音源位置とマイク位置及び音源の相関に基づいて音源分離を行うが、実環境では位置の正確な抽出が難しく、分離性能に影響を与える。
【００１６】
ロボットの自動音声認識性能に悪影響を与える雑音には、動作音の他、環境雑音などがある。環境雑音は非定常であり、音源位置や音源数の情報もないため、雑音の推定にはマイクロフォンアレーを用いた手法が必要となる。しかし、本研究で対象とする動作音はロボット自身が発するものであり、ロボットは自己の動作情報を取得可能なため、動作音の推定が可能である。よって、マイクロフォンアレーのような多くの情報を用いて雑音への頑健性を向上させなくとも、もっと少ない情報で効率的に適応ができると考えられる。
【００１７】
本研究と同様に動作音を対象とし、マイク1 本で雑音への適応を行うアプローチとして、ＳＳを用いた手法がある。従来のＳＳ手法は無音区間などを用いて定常雑音の推定を行い、スペクトル領域において推定雑音成分を減算することにより音声信号の抽出を行うものである。ＳＳ手法は、ＡＩＢＯ（登録商標）の動作音の軽減に既に用いられている。具体的には関節角度や位置を入力としたニューラルネットワークで推定雑音の学習をさせ、これを用いてＳＳ手法の減算に用いる雑音信号の推定を行い、シミュレーション上での自動認識性能を報告している。しかし、実環境でのパフォーマンスについて言及されていないため反響音のある環境や、マルチコンディション学習による音響モデルを用いた手法と比べ、有効性があるのかどうかは不明である。また、ＳＳ手法は定常雑音に対しては有効であると考えられているが、非定常雑音に対しては歪みが生じることがあるため有効な手法とは言い難い。
【００１８】
非定常雑音に対しても有効な手法として、ミッシング・フィーチャ理論（ＭＦＴ）を用いた手法がある。ＭＦＴ手法は音声信号のうち雑音や歪みのない部分の情報のみを用いて自動音声認識を行うアプローチである。信頼性の低い部分はマスクされることにより音声認識には用いられない。ＭＦＴ手法は、マスクするかしないかの二者択一とする狭義のＭＦＴ手法と、信頼性の大きさに応じてマスクを連続的な値とする広義のＭＦＴ手法とがあり、本願では広義のＭＦＴ手法の意で用いる。関連する研究として重みづけを用いたマルチバンド音声認識がある。重みづけを用いたマルチバンド音声認識では、信頼性の低い周波数帯域は重みを小さく、信頼性の高い周波数帯域は重みを大きくすることによりその重みを尤度に反映させて音声認識を行う。ＭＦＴを用いた方法では、信頼性の推定を正確に行うことができれば、認識性能は他の雑音適応手法と比較して大きく向上する。信頼性の推定を正確に行うためには雑音の推定が必要であるが、ブラインドで雑音推定を行うこと自体が音声認識と同レベルの難しさを有するという問題がある。従来の音声認識では、この信頼性推定が非常に困難であるため、ＭＦＴが有効な手法として用いられることが少なかった。しかし、本研究で対象とするロボットの動作音はその雑音推定が容易であるため、ＭＦＴが有効に利用できると考えられる。
【非特許文献１】ジェー・ベーカー（J. Barker）、エム・コーク（M. Cooke）、ピー・グリーン（P. Green）共著、「ロバストASR・ベースト・オン・クリーン・スピーチ・モデルズ：エバリュエーション・オブ・ミッシング・データ・テクニーク・フォー・コネクテド・ディジット・レコグニション・イン・ノイズ」（Robust ASR based on clean speech models：An evaluation of missing data techniques for connected digit recognition in noise）」、プロシーディングス・ユーロスピーチ2001（Proc. EUROSPEECH 2001）、２００１年、第１巻、p.213-216
【発明の開示】
【発明が解決しようとする課題】
【００１９】
環境雑音とロボットのモータ雑音との重要な相違点は、ロボットが実行している動作及びジェスチャをロボット自身が把握しているので、ロボットは、そのモータ雑音を推定できる点である。ロボットの各動作及びジェスチャは、毎回、ほぼ同じ雑音を発生させる。動作及びジェスチャに伴う雑音を事前に収録しておくことによって、動作及びジェスチャに基づき雑音プロファイルは容易に推定できる。
【００２０】
この理論を用いて、我々は、ロボットのモータ雑音下における自動音声認識に関する新手法を提案する。この方法は、３つの手法に基づいている。すなわち、マルチコンディション学習、最尤線形回帰（ＭＬＬＲ）、ミッシング・フィーチャ理論（ＭＦＴ）（非特許文献１参照）である。これらの手法は、以下に説明するように、事前収録された雑音を利用する。
【００２１】
これらの手法は、それぞれ、長所及び短所を有しているため、効果的であるかどうかは動作及びジェスチャの種類に依存する。従って、単にこれら３つの手法を組合せても、全ての種類の動作及びジェスチャ雑音下における音声認識に効果的であるとは言えない。そこで、我々は、動作及びモータ雑音の種類に応じてこれらの手法を選択的に使用することを提案する。種々の動作及びジェスチャ雑音下における孤立単語認識実験結果により、このアプローチの有効性が示された。
【００２２】
環境雑音と人型ロボットのモータ雑音との重要な相違点は、人型ロボットが実行している動作及びジェスチャを人型ロボット自身が把握しているので、人型ロボットは、そのモータ雑音を推定できる点である。各動作及びジェスチャは、毎回、類似の雑音パターンを発生させる。そこで、動作及びジェスチャに伴う雑音を事前に収録しておくことによって、動作及びジェスチャに対応する情報に基づきモータ雑音は容易に推定できる。
【００２３】
本願では、人型ロボットの動作／ジェスチャに関する情報を利用することによって人型ロボットのモータ雑音下における自動音声認識（ＡＳＲ）を向上させる新手法を提案する。この方法は、音声認識に適した雑音除去と、ミッシング・フィーチャ理論（ＭＦＴ）に基づく音声認識という二段階から構成される。ミッシング・フィーチャ理論は、入力音に含まれる信頼性の低い音声特徴量をマスクすることによって音声認識を向上させる（非特許文献１参照）。動作／ジェスチャ情報は、ＭＦＴのための音声特徴量の信頼性推定に用いられる。種々の動作及びジェスチャ雑音下における孤立単語認識実験結果により、この提案手法の有効性が証明された。
【００２４】
これまで、多くの雑音頑健性自動音声認識手法が提案されている。一般的に、それらは三つのカテゴリに分類される。すなわち、雑音頑健性音響モデル、復号器改変、及び予備処理である。ここでは、これらの手法を提言し、人型ロボットのモータ雑音下における音声認識に対していずれの手法が適当であるかを議論する。
【００２５】
Ａ．雑音頑健性音響モデル
周知の手法としてマルチコンディション学習がある。この手法では、雑音が付加された音声を用いて音響モデルを学習させる。この手法によれば、入力信号が音響モデル学習に付加された雑音を含む場合、自動音声認識性能が向上する。しかしながら、音響モデルを学習させるために、全ての種類のモータ雑音を含む音声データが必要とされる。さらに、長時間を要すること、及び過剰適合の懸念もある。
【００２６】
最尤線形回帰（ＭＬＬＲ）手法もまた、アフィン変換を伴う適応手法を用いることによって自動音声認識の頑健性を向上させる。この手法は、計算量の観点で、マルチコンディション学習ほど時間がかからない。しかしながら、データの準備コストはマルチコンディション学習と同等である。異なる種々のモータ雑音を処理するためには、モータ雑音を含む多量の音声データが必要とされる。
【００２７】
Ｂ．復号器改変
自動音声認識用復号器を改変することによって雑音頑健性を向上させる一つのアプローチとしてミッシング・フィーチャ理論（ＭＦＴ）（非特許文献１参照）がある。雑音がある場合、音声の時間周波数空間におけるある領域は、音声特徴量としての信頼性が低い。ＭＦＴでは、このような信頼性の低い音声特徴量はマスクされ、信頼性の高い領域のみが音声認識用復号器における尤度計算に用いられる。従って、この工程では、自動音声認識用復号器に改変が要求される。同様のアプローチとして、マルチバンド自動音声認識手法が提案されている。この手法は、各サブバンドにＨＭＭを用い、信頼性の低いサブバンドには小さい重みを付与することにより、積算された尤度を得る。本願において、ＭＦＴという用語は、ＭＦＴ及びマルチバンド自動音声認識手法の双方を含むものとする。
【００２８】
ＭＦＴに基づく手法は、音声特徴量の信頼性が正しく推定されれば、定常雑音及び非定常雑音の双方に対して高い雑音頑健性を示す。ＭＦＴに基づく手法を自動音声認識に応用する際の主要課題は、入力された音声特徴量の信頼性をいかにして正しく推定するかということである。ＳＮ比及び入力された音声特徴量の歪量は通常未知であるから、入力された音声特徴量の信頼性は推定できない。しかしながら、事前収録された雑音を認識に利用することができるので、雑音のパワーが大きい場合であっても、入力された音声特徴量の信頼性の推定は容易になる。従って、ＭＦＴは、ロボットのモータに起因する非定常雑音を処理する際には、より適していると考えられる。
【００２９】
Ｃ．予備処理
入力された音声信号のＳＮ比を改善するために予備処理が行われる。シングルチャネルアプローチと、マルチチャネルアプローチという２つのアプローチが周知である。  
【００３０】
スペクトル減算（ＳＳ）手法は、雑音除去を行うための周知手法の一つである。ロボット自体のモータの雑音を処理する際にＳＳ手法を適用することが提案されている。このアプローチでは、ロボットの関節角度に起因するモータ雑音が神経系を用いて推定され、推定された雑音を用いてＳＳ手法が適用された。このアプローチにおける一つの問題は、雑音推定が良好でない場合、自動音声認識性能が低下することである。また、ＳＳ手法では音声特徴量を直接改変するので、雑音推定に失敗した場合、ＭＦＴ手法の場合より音声認識性能の低下が著しい。同種類の動作によって常に同じモータ雑音が発生するとは限らないので、ＳＳにより雑音を適切に処理し十分な精度でモータ雑音を推定することは難しい。従って、ＳＳに基づく手法は、ロボットには適していない。
【００３１】
もう１つの雑音除去手法として、一種のスペクトル減算に基づく適応雑音除去手法が知られている。この手法は、モノラル入力音のスペクトルパワーに基づき音声存在確率を適応推定する。一般的に、スペクトル減算はミュージカル雑音（musical noises）及びある程度の歪を生じさせるが、この手法では時間的スペクトル的連続性を考慮に入れるので、この手法を用いた雑音除去信号のミュージカル雑音及び歪はより小さい。
【００３２】
雑音源付近に配置された内部マイクロフォンを用いた雑音相殺が知られている。しかしながら、人型ロボットは多数の自由度を有しこのアプローチには、という問題がある。
【００３３】
複数のマイクロフォンが利用できる場合、目標音声を抽出するために、ビームフォーミング（ＢＦ）、独立成分分析(ＩＣＡ)、幾何学的音源分離（ＧＳＳ）といった雑音分離手法を用いることができる。ＢＦは、複数のマイクロフォンを用いて音源を分離する周知手法である。しかしながら、従来のＢＦの場合、雑音とチャネル間漏出とによって分離された音声に歪が生じる。これによって、自動音声認識性能が低下する。適応ビームフォーミングのように歪の少ないＢＦは膨大な計算力を必要とするため、リアルタイム音源分離は困難である。ＩＣＡは、最も好適な音源分離手法の一つである。ＩＣＡでは、音源は互いに独立であり、音源の数はマイクロフォンの数と同じであると仮定される。しかしながら、これらの仮定は、現実の世界において音源を分離する際には強過ぎる。また、ＩＣＡは、置換（permutation）問題及びスケール問題と呼ばれる解決困難な問題を有している。ＧＳＳにおいては、音源の数とマイクロフォンの数との間の関係における限定は緩和されている。ＧＳＳによれば、音源とマイクロフォンの位置に基づく「幾何学的制限」を導入することによって、マイクロフォンの数をＮとした場合にＮ−１個の音源まで分離することができる。ＧＳＳとＭＦＴに基づく音声認識とを組合せることにより音声を同時認識するロボット聴取システムが知られている。ＧＳＳの効果とともに、チャネル間漏出エネルギを用いた信頼性自動評価を有するＭＦＴ方式音声認識が示されている。しかしながら、音源とマイクロフォンの位置には一般的に測定誤差と位置決め誤差があり、ＧＳＳでは、幾何学的制限における誤差が性能に悪影響を及ぼす。
【００３４】
音源分離が適切に機能すれば、マルチチャネルアプローチは有効である。しかしながら、いずれの手法によっても、大なり小なり分離誤差が生じる。また、システム全体のサイズが大きくなりがちである。このことは、システムにおけるパラメータ数が増加し、より高い計算能力がシステムにより要求されること意味する。ロボットにおいては利用できる空間と計算能力に限界があるため、ロボットに適用する際には、これらが重大な問題となる。
【００３５】
従って、本願では、シングルチャネルアプローチに焦点を当てる。次いで、予備処理のために雑音除去を、復号器改変のためにＭＦＴ（非特許文献１参照）を用いることとした。我々は、マルチコンディション学習及びＭＬＬＲのような雑音頑健性音響モデル学習法は特に用いなかった。しかし、本願で用いられた音響モデルは音声信号に白色雑音を重畳させたものであるので、我々は、白色雑音を重畳させた音声データを用いて学習を行った。この意味で、我々は、雑音頑健性音響モデルを用いた。
【００３６】
本願では、まず、入力信号に対して雑音除去処理を適用する。動作音を含む環境においてはＳＮ比が小さいため、そのような雑音除去処理は必須である。次いで、雑音除去処理により雑音を減算した後に残留する成分を平坦化するために白色雑音を重畳させる。ＳＮ比の大きい環境においては雑音除去処理による音声データの歪は小さいが、ＳＮ比の小さい環境においては雑音除去処理による音声データの歪は大きく、雑音除去処理によって自動音声認識性能が低下する可能性があると考えられる。雑音除去処理によって、モータ雑音のような定常雑音はほとんど除去可能であるが、動作による非定常雑音成分への適合は不十分であるかもしれない。この課題を解決するために、ＭＦＴを含む自動音声認識を実施する。ＭＦＴにおけるマスクを生成するために、推定された動作雑音を用い、大きな雑音を含む部分は信頼性が低いものとして扱い、その部分の自動音声認識への寄与度は小さくされる。
【課題を解決するための手段】
【００３７】
本発明は、所定の動作またはジェスチャを行いつつ人の音声を認識するロボットであって、前記動作またはジェスチャを行わせる駆動ユニットと、実行されている前記動作またはジェスチャを判別する判別ユニットと、マルチコンディション学習を含む少なくとも２つの認識アルゴリズムを備えた音声認識ユニットと、判別された前記動作またはジェスチャに応じて前記認識アルゴリズムの１つを選択する切り替えユニットと、を備えたロボットを提供する。
【００３８】
上記ロボットにおいて、前記認識アルゴリズムは最尤線形回帰を含んでいてもよい。
【００３９】
上記ロボットにおいて、前記認識アルゴリズムはミッシング・フィーチャ理論（ＭＦＴ）を含んでいてもよい
【００４０】
上記ロボットは、前記所定の前記動作またはジェスチャを実行する際に生じる雑音を予め記憶し、雑音テンプレートを生成し、該雑音テンプレートを保持する雑音テンプレート保持ユニットをさらに備え、前記雑音テンプレートは、選択された前記認識アルゴリズムに適用されてもよい。
【００４１】
上記ロボットは、入力信号に含まれる雑音を除去し、出力を送出する前処理ユニットと、前処理ユニットからの出力に対して白色雑音を重畳する雑音重畳ユニットと、をさらに備えていてもよい。
【発明を実施するための最良の形態】
【００４２】
第１実施形態
（雑音頑健性自動音声認識手法の選択的適用）
以下、マルチコンディション音響モデル学習と、ＭＬＬＲと、ロボットの動作により発生する雑音を処理するＭＦＴとを用いた音声認識手法の詳細について述べる。図１は、本発明によるロボット用音声認識手法のブロック図である。
【００４３】
音声特徴量として、メル周波数ケプストラム係数（Mel Frequency Cepstrum Coefficients，ＭＦＣＣ）ではなく、対数スペクトル特徴量を用いる。これは、以下に説明するように、ＭＦＴには対数スペクトル特徴量が適しているからである。音響モデルの学習は、全ての種類の動作及びジェスチャにおける雑音が付与された音声を用いて行われる。
【００４４】
各々の動作について、ある量の音声データを用いて、マルチコンディション音響モデルのためのＭＬＬＲ変換行列の学習を行う。モータ雑音によって乱された音声を認識する際には、動作タイプに対応したＭＬＬＲ変換行列を適用する。
【００４５】
また、動作毎に事前収録された雑音を事前収録雑音テンプレートから選択する。事前収録雑音は、音声とモータ雑音とが混合された対象音とのマッチングが行われ、ＭＦＴの重みを決定するにあたり、どの時間枠のどの周波数帯がモータ雑音による障害を受けるのかを特定する。この処理の詳細については追って述べる。
【００４６】
前述のように、３つの手法には長所と短所がある。マルチコンディション学習は全ての雑音に対して有効と思われるが、各々の雑音に対する適合は十分ではない可能性がある。ＭＬＬＲは、各々の雑音に対する適合を可能にするが、ＭＬＬＲ変換は、各々の雑音の全てのインターバルに対して不変であるので、不規則に変化する雑音に対しては機能しない可能性がある。ＭＦＴは、このような非定常雑音に対して有効に機能すると思われるが、事前収録雑音と対象音声に含まれる雑音との差異が大きい場合、ＭＦＴは有効ではない。
【００４７】
このように、これらの手法の各々は、ある種の雑音に対しては適しているが、その他の雑音に対しては適していない可能性がある。従って、我々は、雑音の種類（図２）に応じてこれらの手法を選択的に適用する。ロボットが動作またはジェスチャを実行し、その動作／ジェスチャの雑音に対して１つの手法が有効であると判断された場合、その手法を適用する。このような選択適用により、適切ではない手法を適用することによる自動音声認識性能の低下を回避することができる。
【００４８】
（モータ雑音のためのミッシング・フィーチャ理論）
ここで、事前収録雑音を用いたＭＦＴの適用方法の詳細について述べる。
【００４９】
前述のように、本願においては、音声特徴量として対数スペクトル特徴量を用いている。その理由は次のとおりである。扱われるモータ雑音は重畳雑音である。重畳雑音に対して直接ＭＦＴを用いるために対数スペクトル特徴量ベクトルを使う。ＭＦＣＣはケプストラム変域で正規化されるのに対し、対数スペクトル特徴量ベクトルは対数スペクトル変域で正規化される。対数スペクトル特徴量ベクトルを用いた場合の自動音声認識性能は、前述のＭＦＣＣを用いた場合と同等である。従って、対数スペクトル特徴量ベクトルを用いることとした。
【００５０】
ＭＦＴにおいては、音声特徴量ベクトルの信頼性の高い特徴量は大きな重み付けを有し、信頼性の低い特徴量は小さい重み付けを有する。重み付けは音響尤度に影響する。ＭＦＴを用いない場合、音素モデルｑｋ及び音声特徴量ベクトルｓｔの音響尤度は以下のように定義される。
【００５１】
【数１】
2008122927.tif 000003
【００５２】
ＭＦＴでは、重みωｉを用いて、音響尤度は以下のように定義される。  
【００５３】
【数２】
2008122927.tif 000004
【００５４】
ＭＦＴにおける重みは、雑音レベルに基づいて決定される。ここで、推定雑音の対数スペクトルは、ｎ(f,t)で定義される。ｆは対数スペクトル音声特徴量ベクトルにおける特徴量指数、ｔは時間枠である。対数スペクトルの範囲は広範であるため、対数スペクトルを０から１の範囲に限定するためにＳ字状関数（sigmoid function）を用いる。出力値がＳ字状関数から逸脱しないように、各時間枠の平均雑音パワーを音声特徴量ベクトルから減算する。
【００５５】
Ｆは、音声特徴量ベクトルの次元数である。
【００５６】
【数３】
2008122927.tif 000005
【００５７】
次いで、Ｓ字状関数にｎ’（f,t）を代入する。
【００５８】
【数４】
2008122927.tif 000006
【００５９】
ここで、αは、信頼性関数ωの尖鋭度を表すパラメータである。αが大きいと音声特徴量ベクトル間の相違が大きく、その逆も言える。１つの枠の重みの総和が次元数と等しくなるように、信頼性関数ωを正規化する。この正規化により、挿入ペナルティ（insertion penalty）のようなパラメータの最適値における変化が除去される。正規化されたωがＭＦＴに用いられる。
【００６０】
マルチコンディション音響モデルを用いる場合、定常雑音は音響モデルに組込まれる。従って、我々は、推定雑音のパワーが実験的に定義されるしきい値Ｈより大きい場合にのみＭＦＴを適用する。
【００６１】
動作のタイプが同じである場合、対応するモータ雑音は類似のスペクトルプロファイルを有する。我々は、事前に全ての動作の雑音を収録した。これらの雑音は雑音テンプレートとして用いられる。我々は、雑音テンプレートと対象雑音とをマッチングさせるために以下の方法を用いた。本願では、対象音（音声と雑音の混合）に含まれる雑音を対象雑音と称することに留意されたい。雑音テンプレートと対象雑音との相違に関するＮ個のサンプルの平均値Ｄ(s)は以下のように定義される。
【００６２】
【数５】
2008122927.tif 000007
【００６３】
ここで、Ｔ，Ｒはそれぞれ、雑音テンプレート、対象雑音である。Ｔ(s)，Ｔ(-s)は、前方あるいは後方にｓ個のサンプル分だけシフトさせた音声特徴量ベクトルを意味する。Ｒは、音声データを含まない音響信号として得られる。本願では、Ｒは手動で抽出される。 
【００６４】
マッチングされたｓｍは以下のように定義される。
【００６５】
【数６】
2008122927.tif 000008
【００６６】
Ｔ(ｓｍ)の音声特徴量は、時間シフト情報ｓｍとともにｎ（f,t）としてＭＦＴ重み付け計算に送られる。
【００６７】
（実験結果）
我々は、提案手法の有効性を検証するために実験を行った。我々は、ホンダ人型ロボットＡＳＩＭＯ（登録商標）を用いた。ＡＳＩＭＯは、その頭部に装着された２つのマイクロフォンを有する。我々は、左側マイクロフォンから収録されたデータを用いて評価を行った。
【００６８】
データは無響室で収録した。これは、室内の残響及びその他の環境雑音源の影響を避けつつ、重畳モータ雑音を処理する提案手法の効果を検証するためである。   
【００６９】
データは、音声源からマイクロフォンまでの距離を一定に保ち、ＡＳＩＭＯのモータをオフにした状態で収録した音声信号を含む。我々は、ＡＴＲ２１６音素バランス単語セットを用いて、孤立単語認識実験を行った。ＡＴＲ２１６音素バランス単語セットには２５話者のデータが含まれ、１話者のデータは２１６の日本語発話からなる。１単語発話は約１．５から２秒間である。音声データは２５話者（男性１２話者、女性１３話者）の会話を含む。音響モデルは、２２話者（男性１０話者、女性１２話者）のデータを用いて学習した。雑音に適合させるために教師なしＭＬＬＲを適用した。実験セットは３話者（男性２話者、女性１話者）の会話を含む。このセットは学習セットとは異なる。雑音データは３４種類の雑音、すなわちＡＳＩＭＯが動いていない状態のモータ雑音、ジェスチャ雑音、ＡＳＩＭＯが歩行しているときの雑音などを含む。各条件のＳＮ比と動作パターンを表２に示す。３４種類の雑音を重畳させた会話データを用いてマルチコンディション音響モデルの学習を行った。これらの動作の雑音は数回収録し、評価用雑音、マルチコンディション音響モデル学習用雑音、マッチングのためのテンプレート用雑音は、互いに排他的なものとした。
【００７０】
我々は、表１に示す６条件の下に音声認識性能を比較した。我々の予備実験でマルチコンディション学習を行った音響モデルが有効であることが検証されていたので、全ての条件についてそのような音響モデルを用いた。ＭＬＬＲ（全て）は、３４種類全ての動作の雑音に関する教師ありＭＬＬＲを、ＭＬＬＲ（各々）は、各々の動作の雑音に関する教師ありＭＬＬＲを意味する。条件Ｃの場合、ＭＦＴの重み付けは全時間にわたる平均雑音により決定した。すなわち、重み付けは全ての時間枠において同じである。一方、条件Ｆの場合、重み付けは推定雑音を用いて各々の時間枠について算出した。我々は、比較のためにＳＳの実験も行った。ＳＳにおいては、ＭＦＴの場合と同じマッチングアルゴリズムを用いて雑音推定を行った。ＭＬＬＲを用いずにＭＦＴを適用した場合、他の条件の場合より性能が劣っていたので、これらの条件による結果は示していない。
【００７１】
【表１】
2008122927.tif 000009
【００７２】
【表２】
2008122927.tif 000010
【００７３】
表２に実験結果を示す。条件Ａ，Ｄ，Ｆにおいて、より良好な性能が得られた。ある種の雑音に対しては、マルチコンディション学習に加えて、ＭＬＬＲ（各々）及びＭＦＴが有効であった。一方、ＭＬＬＲ（全て）及びＳＳは有効ではなかった。
【００７４】
実験結果に基づき、動作／ジェスチャによって条件Ａ，Ｄ，Ｆを選択することで音声認識性能を向上させることが可能であることが判った。雑音頑健性手法をこのように選択的に適用することにより、全てのタイプの雑音に対して条件Ａ，Ｄ，Ｆのいずれか一つを固定的に用いる方策より良好な結果を得ることができると考えられる。
【００７５】
各々の雑音タイプにＭＬＬＲを適用すること、及びＭＦＴを適用することは、ある種の雑音に対しては有効であるように見えるが、その改善幅は比較的小さい。これは、マルチコンディション学習に基づく音響モデルが、ほとんどのタイプの雑音に対して既に良好に適合しているためではないかと考える。マルチコンディション学習に用いられた雑音は、対象音声に重畳させた雑音と全く同じ環境で収録されたが、これらの条件は現実的ではない。現実環境におけるロボットによる音声認識の際には、残響が存在し、話者とロボットとの間の距離は変化する。環境が異なればマルチコンディション学習によって得られる音響モデルの有効性は低下し、ＭＬＬＲとＭＦＴは、自動音声認識において統計学的に顕著な改善を見せると考えられる。本願で我々は、ロボット自体のモータ雑音を処理する自動音声認識手法を提案した。ロボット自体のモータ雑音下における自動音声認識を改善するために、提案の方法は、３つの手法、すなわち、マルチコンディション学習、ＭＬＬＲ適応、ミッシング・フィーチャ理論を用いた。ミッシング・フィーチャ理論を適用する際には、信頼性の低い音声特徴量の自動推定が主要課題である。我々の方法は、ロボットの制御装置から得られる動作パターン情報と動作パターンに対応する事前収録されたモータ雑音とを利用することによって、この課題を解決した。また、本方法は、これら３つの手法を雑音タイプに応じて選択的に適用するという新たな特徴も有する。予備実験の結果は、本方法が有効であることを示唆している。
【００７６】
モータ雑音を伴うロボットのための自動音声認識のさらなる改善には、いくつかの問題を解決する必要がある。我々は、残響を伴う実環境下において、及び前述のように動的に変化する環境下において、本方法の有効性を確認すべきである。また、ＭＦＴにおける重み付けを改善するためには、雑音推定を改良する必要がある。我々は、ロボットに埋め込んだマルチチャネルマイクロフォンを用いて、本方法と音源分離手法とを組合せることを考えている。         
【００７７】
第２実施形態
図３は、提案方法のブロック図である。この方法は、３つのブロック、すなわち、予備処理を含む音声特徴量抽出、モータ雑音テンプレートを利用したミッシング・フィーチャ・マスク生成、ミッシング・フィーチャ理論に基づく自動音声認識（ＭＦＴ−ＡＳＲ）からなる。
【００７８】
Ａ．予備処理を含む音声特徴量抽出
このブロックでは、ＭＦＴ−ＡＳＲに適した雑音入力から音声特徴量を抽出する。この手法は、３つの処理、すなわち、雑音除去、白色雑音重畳、対数スペクトル特徴量抽出を含む。
【００７９】
１）雑音除去
入力音声は、０ｄＢに満たない極めて低いＳＮ比を有する。このような雑音に満ちた条件では音声特徴量を頑健性をもって抽出することは難しい。そこで、まず、自動音声認識の予備処理として、雑音除去を行う。我々が適用した雑音除去手法は、前述した公知の手法である。
【００８０】
２）白色雑音重畳
歪を生じさせることなく雑音除去を行う手法は存在しない。このような歪は、自動音声認識のための音声特徴量抽出、特に音声特徴量ベクトルの正規化処理に大きく影響する。なぜなら、歪は、時間周波数空間における対象音声を断片化し、多くの音声断片を生成するからである。
【００８１】
我々は、この問題を人間の聴覚機構に基づいて解決することができる。我々は、雑音が理解を補助するという心理学的事実を用いた。図４Ａ，４Ｂは、ゲシュタルト心理学における「知覚閉合」の一例を示している。図４Ａは、人間の知覚において、断片のみからでは統合理解が難しいことがあることを示している。図４Ｂは、遮蔽または雑音といった他の情報が断片の統合を補助する状態を示す。人間の聴覚システムでは、断片音間の途切れを埋める雑音が統合理解を補助することが知られている。これは一種の知覚閉合であり、「聴覚誘導」と呼ばれている。
【００８２】
この事実は、自動音声認識においても有益である。我々は、雑音除去した音声信号に白色雑音を重畳することを提案する。この処理は、ＳＮ比の観点で音声の質を低下させるので、自動音声認識性能を改善しないと思われるかもしれない。しかし、以下２つの理由により自動音声認識性能を改善する。
・重畳白色雑音は歪を緩和する。なぜなら、白色雑音は広帯域雑音であり、いかなる周波数帯でも有効だからである。実際、我々は、歪のパワーが無視できるよう雑音除去信号の半分の強度の白色雑音を重畳させた。従って、白色雑音を加えた歪んだ音声信号は、白色雑音を含む歪みのない音声とみなされる。
・白色雑音を重畳させた音声データを用いて学習した音響モデルは、白色雑音を重畳させた音声の自動音声認識性能を改善する。この場合、システムは、音声に含まれるただ１種類の雑音、すなわち、白色雑音を想定すればよい。自動音声認識においては、多種類の雑音を扱うより１種類の雑音を扱う方が容易であり、白色雑音は、統計学的モデルを用いる自動音声認識に適している。
【００８３】
低レベル白色雑音を重畳させることは、音声学会においては雑音頑健性自動音声認識へのアプローチとして公知である。スペクトル減算の後、歪をぼかすために低レベル白色雑音を重畳させた。その結果、雑音下の音声認識に対するこのアプローチの有用性が示された。重畳させた雑音は、オフィスのバックグラウンド雑音、すなわち、周波数領域において、いくつかの固有特性を有する広帯域雑音である。我々は、より高い頑健性を得るために、この手法を、より強調して使用した。重畳させた雑音のパワーは、音声パワーの半分近くであり、固有特性を有する雑音ではなく白色雑音を用いた。我々が知る限り、人型ロボット聴覚システムへのこの手法の適用は今回が最初である。従って、その意味で我々のアプローチはオリジナルであると考える。
【００８４】
３）対数スペクトル特徴量抽出
白色雑音を重畳させた後、音声特徴量を抽出する。我々は、音声特徴量として、ＭＦＣＣではなく対数スペクトル特徴量を用いた。これは、モータ雑音の特性によるものである。モータ雑音は、周波数領域において一様なパワーを有していない。通常、パワーは、ある周波数帯に集中している。このことは、モータ雑音の作用はサブ周波数帯に依存することを意味する。一旦ＭＦＣＣに変換されると、モータ雑音は、係数全体、すなわち、ケプストラム領域における全てのサブ周波数帯にわたり広がる。特徴量の信頼性は、サブ周波数帯ごとに推定される。従って、周波数領域における特徴量ベクトルはＭＦＴ−ＡＳＲに適している。ＭＦＣＣの場合、雑音頑健性音声特徴量を得るために、Ｃ０項正規化、リフタリング、ケプストラム平均正規化という３つの正規化処理が行われる。これらの処理は極めて有効であることが知られている。そこで、我々は、対数スペクトル特徴量に対し、ＭＦＣＣにおける３つの正規化処理に対応するスペクトル正規化処理、すなわち、平均パワー正規化、スペクトルピーク強調、スペクトル平均正規化を行った。スペクトル正規化の詳細は公知である。
【００８５】
Ｂ．モータ雑音を利用したミッシング・フィーチャ・マスク生成  
ここでは、どの時間枠のどの周波数帯がモータ雑音による障害を受けるかを表すＭＦＴ−ＡＳＲミッシング・フィーチャ・マスクを推定する。この推定は、音声及び雑音に関する事前情報を用いない場合、依然として難しい。しかしながら、本願では、システムが、動作指令を用いてモータ雑音を推定する。そこで、ここでは、モータ指令と事前収録されたモータ雑音テンプレートとを用いてミッシング・フィーチャ・マスクを推定する。本手法は、３つの処理、すなわち、事前収録されたモータ雑音テンプレートを用いた雑音テンプレート選択、雑音マッチング、連続ミッシング・フィーチャ・マスク生成を含む。
【００８６】
１）雑音テンプレート選択
この処理は、入力された動作指令に対応する事前収録雑音テンプレートを選択する。雑音テンプレートは、事前収録されたモータ雑音テンプレートデータベースから選択される。このデータベースは、全ての動作の雑音を事前に収録することにより構成される。我々のデータベースには、現在、３２種類の雑音テンプレートが収容されている。選択されたテンプレートは雑音マッチング処理に送られる。
【００８７】
２）雑音マッチング
この処理で入力されるのは、選択された雑音テンプレートと人型ロボットのマイクロフォンで捕捉された音である。動作のタイプが同じである場合、対応するモータ雑音は類似のスペクトル特性を有する。そこで、２つの入力をマッチングさせることにより、捕捉された音に含まれる対象雑音を推定することができる。本願では、対象音（音声と雑音の混合）に含まれる雑音を対象雑音と称することに留意されたい。我々は、雑音テンプレートと対象雑音とをマッチングさせるために以下の方法を用いた。雑音テンプレートと対象雑音との相違に関するＮ個のサンプルの平均値Ｄ(s)は以下のように定義される。
【００８８】
【数７】
2008122927.tif 000011
【００８９】
ここで、Ｔ，Ｒは、それぞれ、雑音テンプレート、対象雑音である。Ｔ(s)，Ｔ(-s)は、前方あるいは後方にｓ個のサンプル分だけシフトさせた音声特徴量ベクトルを意味する。Ｒは、音声データを含まない音響信号として得られる。    
【００９０】
マッチングされたｓｍは以下のように定義される。
【００９１】
【数８】
2008122927.tif 000012
【００９２】
Ｔ(ｓｍ)の音声特徴量は、時間シフト情報ｓｍとともにミッシング・フィーチャ・マスク生成処理に送られる。
【００９３】
３）連続ミッシング・フィーチャ・マスク生成
この処理では、各々の時間枠についてミッシング・フィーチャ・マスクを推定するために、対象雑音の時間シフト情報、選択された雑音テンプレート、補足された音を用いる。ミッシング・フィーチャ・マスクにおける各数値は、対応するサブ周波数帯の信頼性である。信頼性の範囲は０から１なので、連続ミッシング・フィーチャ・マスクを用いていると言える。
【００９４】
ミッシング・フィーチャ・マスクは、雑音レベルに応じて決定される。ここで、いくつかの信号を定義する。推定された雑音Ｔ(ｓｍ)の対数スペクトルをｎ(k,t）、kは対数スペクトル音声特徴量ベクトル、ｔは時間枠である。入力音声の対数スペクトル、雑音除去後に白色雑音を重畳した信号は、それぞれ、ｙ(k,t）、ｐ(k,t）である。クリーン音声の対数スペクトルは、以下のように推定される。
【００９５】
【数９】
2008122927.tif 000013
【００９６】
重み係数ｆ(k,t）は以下の式で計算される。
【００９７】
【数１０】
2008122927.tif 000014
【００９８】
ここで、ｍｅｄｉａｎｋ(a(k))は、数値a(k)のメディアン値を得る関数である。P(k, t) and C'(k, t)は、それぞれ、p(k, t) and c_(k, t)の正規化スペクトルである。
【００９９】
重み係数ｆ(k,t）の範囲は広い場合があるので、我々は、ｆ(k,t）が０からfthの値をとるように、上限しきい値fthを設定した。fthは経験的に５．０とした。次いで、ｆ(k,t）をミッシング・フィーチャ・マスクw(k, t)として正規化を行った。１つの時間枠におけるw(k, t)の総計は、音声特徴量ベクトルＫの次元数と等しくなる。この正規化により、挿入ペナルティのようなパラメータ値の最適化数値の変化が抑制される。
【０１００】
【数１１】
2008122927.tif 000015
【０１０１】
Ｃ．ミッシング・フィーチャ理論に基づく自動音声認識
ここでは、ＭＦＴに基づき復号器が入力音声を認識する。ＭＦＴは、非定常雑音に対して有効に作用すると考えられる。白色雑音以外のほとんどの歪及び雑音は、第１ブロックで除去されるが、音声特徴量は、依然、ある種の歪を含んでいる。ＭＦＴは、このような歪の処理において有効である。事前収録された雑音と対象音声に含まれる雑音との差異が大きい場合、ＭＦＴの効果は低下することに留意されたい。
【０１０２】
ＭＦＴにおいては、音声特徴量ベクトルにおける信頼性の高い特徴量は大きな重み付けを有し、信頼性の低い特徴量は小さい重み付けを有する。重み付けは音響尤度に影響する。ＭＦＴを用いない場合、音素モデルｑｋ及び音声特徴量ベクトルｓｔの音響尤度は以下のように定義される。
【０１０３】
【数１２】
2008122927.tif 000016
【０１０４】
ＭＦＴでは、重みωｉを用いて、音響尤度は以下のように定義される。
【０１０５】
【数１３】
2008122927.tif 000017
【０１０６】
我々は、提案手法の有効性を検証するために、孤立単語認識を通じてシステムを評価した。我々は、実験台としてホンダＡＳＩＭＯを用いた。ＡＳＩＭＯは、その頭部に装着された２つのマイクロフォンを有する。我々は、左側マイクロフォンから収録されたデータを用いた。
【０１０７】
我々は、学習及び実験データのために２つのタイプの音声データセットを準備した。クリーン音声データとして、我々は、ＡＴＲ２１６音素バランス単語セットを用いた。音響も出る学習には、１９話者（男性９話者、女性１０話者）を含む単語セット（以下、データセットＡ１）を用いた。さらに、孤立単語認識実験には、３話者（男性２話者、女性１話者）（以下、データセットＲ１）を用いた。ＡＳＩＭＯは、その頭部に装着された２つのマイクロフォンを有するが、我々は、データを収集するためにＡＳＩＭＯの左側マイクロフォンを選択した。
【０１０８】
学習用データセットを作成するために、我々は、まず、データセットＡ１の全ての音声データを拡声器を通じて再生し、無響室内で左側マイクロフォンを通じて録音した。ＡＳＩＭＯと音源との間の距離は１００ｃｍに固定し、音源の方向もＡＳＩＭＯの中心を向くように固定した。ＡＳＩＭＯの定常雑音もＡＳＩＭＯにより無響室内で録音した。次いで、収録した音声に雑音を加えることで学習データセットＡ２を作成した。
【０１０９】
実験データセットは、クリーン音声データと、音源からＡＳＩＭＯの左側マイクロフォンまでの伝達関数との畳み込みを行うことにより生成した。畳み込み音声データにモータ雑音を重畳させた。伝達関数は、インパルス応答の測定により取得した。インパルス応答は、７ｍ（Ｗ）×４ｍ（Ｄ）×３ｍ（Ｈ）の部屋において測定した。この部屋は、３方の壁面が吸音材で覆われ、１つの壁面がガラスで形成されている。床と天井は平坦であり残響を発生する。室内にはキッチン流し台が設置されている。我々は、低周波数の空調音を聞くことができる。従って、この部屋は、人型ロボットのモータに加えて、非対称の残響音と雑音源とを有する。ＡＳＩＭＯは、部屋の中央に置かれた。ＡＳＩＭＯと音源との間の距離は５０ｃｍ、１００ｃｍ、１５０ｃｍ、 ２００ｃｍに設定し、音源の方向は、ＡＳＩＭＯの前面に向けて固定とした。インパルス応答は、ＡＳＩＭＯをオフ状態にして各点で測定した。我々は、また、３２種類の雑音、すなわち、定常モータ雑音、ジェスチャ雑音、歩行雑音を収録した。これらの雑音データはデータセット生成だけでなく、事前収録雑音テンプレートのデータベース作成にも使用した。これらの動作の雑音は数回収録し、実験用雑音、マルチコンディション音響モデル学習用雑音、マッチングのためのテンプレート用雑音は、互いに排他的なものとした。実験データセットＲ２は、データセットＲ１と測定された伝達関数との畳み込みを行った後、捕捉したモータ雑音を重畳させることにより生成した。このようにして、２つの音声データセット、すなわち、学習用のＡ２と実験用のＲ２を準備した。
【０１１０】
次いで、以下のデータセットを用い、トライフォンに基づく４つの音響モデルＡＭ−１〜ＡＭ−４を学習した。
ＡＭ−１  データセットＡ１のみ(クリーンモデル) 、
ＡＭ−２  データセットＡ１＋Ａ２(マルチコンディション学習音響モデル) 、
ＡＭ−３  データセットＡ１＋データセットＡ２に雑音除去を施して得られたＡ３、
ＡＭ−４  データセットＡ１＋データセットＡ３に白色雑音を重畳して得られたＡ４。
【０１１１】
Ａ３及びＡ４は、依然、モータ雑音を含んでいるので、厳密に言えば、ＡＭ−３とＡＭ−４は、マルチコンディション学習モデルと称さなければならないかもしれない。しかしながら、Ａ３におけるモータ雑音は低減され、雑音レベルはＡ２より著しく小さい。Ａ４は、白色雑音のみを含む音声データ、すなわち、「単一条件」とみなされる。従って、我々は、ＡＭ−３とＡＭ−４を非マルチコンディション学習音響モデルと定義した。
【０１１２】
我々は、表３に示す６条件で音声認識性能を比較した。条件Ａは、クリーン音響モデルによる従来の音声認識に過ぎない。条件Ｂでは、公知の雑音頑健性手法であるマルチコンディション学習音響モデルをシステムに用いた。現在、ロボット及びカーナビゲーションへのほとんどの適用はこの手法である。従って、我々は、条件Ｂを基準条件とみなした。条件Ｃでは、白色雑音を重畳させることなく、従来の自動音声認識手法を用いて、雑音除去された音声信号の認識を行った。この結果は、雑音除去の基本性能を示すことになる。この場合、我々は、前述の対数スペクトル音声特徴量抽出に際して平均パワー正規化手法を用いなかった。なぜなら、この正規化は、雑音除去における歪によって、対数スペクトル音声特徴量に悪影響を及ぼすからである。実際、我々は、平均パワー正規化手法を用いない場合の対数スペクトル音声特徴量が、この正規化を用いた場合の対数スペクトル音声特徴量より優れた結果をもたらすことを確認した。条件Ｄでは、雑音除去と白色雑音重畳を行ったが、従来の自動音声認識手法を用いた。従って、この結果は、白色雑音重畳の有効性を示す。条件Ｅが提案手法である。この条件では、雑音除去、白色雑音重畳、及びＭＦＴ−ＡＳＲ（ミッシング・フィーチャ理論に基づく自動音声認識）を行った。我々は、条件Ｅにおける性能が、条件ＡからＥの中では最も優れたものになると考えた。しかしながら、ミッシング・フィーチャ・マスク生成において、我々は、修正ミッシング・フィーチャ・マスク情報をシステムに用いた。修正ミッシング・フィーチャ・マスク情報は、入力音声に含まれるモータ雑音を雑音テンプレートとしてシステムに用いることで生成した。条件Ｆは、我々のアプローチにおいて最良の性能を示すものと思われる。
【０１１３】
【表３】
2008122927.tif 000018
【０１１４】
表４は、実験結果を示す。各雑音タイプ及び各距離ごとに、大きいボールド体の文字は、条件ＡからＥのうちの最良の結果を示し、大きいイタリック体の文字は、次に良好な結果を示している。条件Ｅの欄においては、基準条件（条件Ｂ）に対する提案手法（条件Ｅ）の誤り率であるＰ値を示している。提案手法により性能が改善されたことが統計学的に言えるＰ値１０％未満の部分を、表４では強調して示した。Ｐ値が１００％を超えた部分は、「−」で示した。
【０１１５】
条件Ｆは、ミッシング・フィーチャ・マスクの推定に事前情報を用いているので、概して、最良の性能を示している。条件ＢあるいはＤは、次に良好な性能を示している。Ｐ値によれば、距離２００ｃｍで手を使うジェスチャ及び歩行動作の場合、提案手法は、自動音声認識性能において統計学的に著しい改善を見せた。我々は、他のケース、すなわち、距離５０ｃｍ、１００ｃｍ、１５０ｃｍにおける頭部のジェスチャ及び歩行動作において顕著な差異を見出すことはできなかった。
【０１１６】
【表４】
2008122927.tif 000019
【０１１７】
頭部のジェスチャに対して提案手法が良好に機能しなかった理由は、ＡＳＩＭＯにおいて頭部の動作の雑音が特に大きくはないため、すなわち、これらの雑音に対して入力音声が高いＳＮ比を有しているためと考えられる。実際、我々は、頭部の動作音を聞くことができなかった。これにより、頭部の動作に関しては、条件Ａが良好な自動音声認識性能を示すことになった。歩行動作の場合には、５０ｃｍ、１００ｃｍ、１５０ｃｍの距離において、やはり入力のＳＮ比が高いという理由で、提案手法が良好に機能しなかったと言える。これらのケースでは、マイクロフォンが頭部に装着され雑音は脚部から来るため、雑音源とマイクロフォンが、やや離れている。従って、他のジェスチャと比較して入力のＳＮ比が高くなる。しかしながら、反響の効果が強くなるため、入力のＳＮ比が高いにもかかわらず、条件Ａでは、歩行動作に関して良好な結果が得られなかった。対象音声源までの距離が２００ｃｍの場合、入力のＳＮ比が低いので、提案手法は、より有効であった。このように、マルチコンディション学習法と比較すると、提案手法は、低ＳＮ比入力の場合に、より有効であり、高ＳＮ比入力の場合には、ほぼ同等であると言える。
【０１１８】
雑音除去のみを用いた場合（条件Ｃ）、良好な性能は得られなかった。これは、我々の雑音除去手法が、自動音声認識に影響を及ぼすほどに強い歪を生じさせることを意味する。しかしながら、雑音除去と白色雑音重畳との組合せ（条件Ｄ）は、自動音声認識性能をマルチコンディション学習法（条件Ｂ）と同等にまで改善する。もし白色雑音重畳のみ適用すると、雑音レベルは対象音声信号よりずっと高くなり、システムによる音声認識は、より困難になる。従って、このような組合せ使用は、低ＳＮ比の入力を扱う際の中核技術である。
【０１１９】
ＭＦＴの使用（条件Ｅ）は、基本的には、特に低ＳＮ比の入力に対して有効である。実験結果によれば、提案手法、すなわち雑音除去、白色雑音重畳、及びＭＦＴの組合せは、マルチコンディション学習法より優れている。事前ミッシング・フィーチャ・マスクを有するＭＦＴ（条件Ｆ）と比較すると、提案手法は、わずかに劣っている。このことは、我々のミッシング・フィーチャ・マスク自動生成が、ほぼ正確なミッシング・フィーチャ・マスクを生成し、事前収録された雑音テンプレートの使用が、モータ雑音の処理に関して有効であることを意味する。
【０１２０】
本願では、人型ロボット自体のモータ雑音を処理する自動音声認識手法を提案した。人型ロボット自体のモータ雑音が存在する場合の自動音声認識を改良するために、自動音声認識に適した雑音除去と、事前収録したモータ雑音テンプレートを利用するミッシング・フィーチャ理論方式自動音声認識いう２つの手法を組合せた。通常、雑音除去は入力音声のＳＮ比を向上させる手法である。自動音声認識では、雑音除去による歪が自動音声認識性能を低下させる可能性があるので、高いＳＮ比を有する音声が必ずしも最適な入力ではない。この課題は、雑音除去後の信号に白色雑音を重畳させることで解決した。この考えは、人間の聴覚に関する心理学的事実から発想された。ミッシング・フィーチャ理論の適用においては、信頼性の低い音声特徴量の自動推定が主要課題である。本願の手法は、この課題を、人型ロボットの制御装置から得られる動作パターン情報と動作パターンに対応する事前収録モータ雑音とを利用することによって解決した。自動音声認識システムは、提案手法に基づき、ホンダＡＳＩＭＯを用いて構築した。構築されたシステムを用いて得られた実験結果は、本手法が、特にＳＮ比の低い入力に対して有効であることを証明した。
【０１２１】
第３実施形態
３．ＭＦＴを用いた動作音への雑音適応化手法
図５は、本発明の第３実施形態における雑音適応化手法のブロック図である。
【０１２２】
３．１  雑音除去処理
入力信号のＳＮ比は低い(０ｄＢ以下である場合もある) ため、このような環境で自動音声認識に有効な音声特徴量を抽出することは難しい。そこで，入力信号のＳＮ比を改善するため雑音除去処理を行う。雑音除去処理には式（１４） に示されるＳＳ法 を用いる。
【０１２３】
【数１４】
2008122927.tif 000020
【０１２４】
ここで、Ｘ（ｆ）は入力信号のスペクトルを示し、Ｎ（トップバー） は入力信号に重畳している雑音信号の平均スペクトルを示す。α，βはＳＳを行う際のパラメータであるが、本実施形態では一般的に用いられている値（α＝１，β＝０．１）を用いる。
【０１２５】
３．２  白色雑音重畳
雑音除去処理はＳＮ比を向上させるが、同時にスペクトルの歪みを生み出す。このスペクトル歪みが認識性能に悪影響を及ぼす。雑音除去手法に関わらず、背景雑音の状況によっては大きな歪みを生じることがあり、自動音声認識ではスペクトル歪みに対する処理が必要である。特に本願の対象とするロボットの動作雑音では、雑音パワーが大きく、歪みも大きいことが予測される。そこで、本実施形態ではこのスペクトル歪みを軽減するため、雑音除去処理の後に薄く白色雑音を重畳させることとした。定常雑音を加えることで、雑音の引き残し成分を平坦化し、自動音声認識性能を高めることが期待される。  
【０１２６】
白色雑音の重畳には、入力信号のある程度のレベルの白色雑音を加えることが歪みを抑制するのに役立つと考え以下のような式（１５）を用いる。  
【０１２７】
【数１５】
2008122927.tif 000021
【０１２８】
ｙ（ｔ）は雑音除去処理後の信号であり、ｒａｎｄｏｍ（１）は、−１から＋１までの任意の実数値をランダムに返す関数である。本実施形態では、ｐ＝０．１とする。すなわち、平均して入力信号の１０％程度の大きさの白色雑音が加わることとなる。
【０１２９】
３．３  音響モデルの雑音除去処理への適応
ロボットの音声認識では、学習に、定常雑音を含めた音声データを用いるマルチコンディション学習による音響モデルを用いた手法が有効である。ロボットは定常時でもモータ音やファン音を発するため、この雑音を含めて学習することでクリーン音声データのみで音響モデルを学習する場合と比べ、認識性能が向上する。定常雑音が常に発せられているロボットでは、マルチコンディション学習による音響モデルは通常の音声認識で想定されているクリーン音響モデルと等しいとも考えられる。
【０１３０】
しかし、マルチコンディション学習による音響モデルを用いると、雑音除去処理を行った際に音声認識性能が低下することがある。この原因として、雑音除去処理によりスペクトル構造が歪むことや、雑音除去処理によりロボットが定常的に発する雑音までもが取り除かれ、学習時の音声データと認識時の音声データに大きな差が生まれることなどが考えられる。
【０１３１】
本実施形態ではこの問題を解決するため、雑音除去処理により雑音が除去された音声データを用いて音響モデルを学習することとした。これにより、音響モデルが雑音除去処理後の音声データを学習し、雑音除去処理による音声認識性能の低下を防ぐことが期待できる。
【０１３２】
３．４  対数スペクトル特徴量の抽出
白色雑音を重畳した後に音声特徴量を抽出する。音声特徴量には音声認識に一般的に用いられるメル周波数ケプストラム係数（Mel Frequency Cepstrum Coefficients，ＭＦＣＣ）ではなく、対数スペクトル特徴量を用いる。動作音などの雑音は、スペクトル領域において加算される。しかし、従来用いられているＭＦＣＣはスペクトルをさらに離散サイン変換（Discrete Cosine Transform，ＤＣＴ）した領域であるため、ある周波数帯域に加算された雑音は全ての特徴量に影響を与えてしまう。ＭＦＴを用いた音声認識では、雑音に埋もれた信頼性の低い周波数帯域を抽出することが必要であるため、ケプストラム領域の音声特徴量よりもスペクトル領域の音声特徴量の方が都合がよい。ＭＦＣＣではケプストラム領域に変換された後、Ｃ０項の除去、リフタリング、ＣＭＳ(Cepstrum Mean Subtraction、ケプストラム平均減算) の３つの正規化処理が行われる。これらの正規化処理は音声認識性能を向上させる上で重要であることが知られているため、使用した対数スペクトル特徴量においても、対数スペクトル領域において同様の正規化処理を施している。
【０１３３】
３．５  ＭＦＴマスクの生成
ＭＦＴマスクはフレームごと、周波数帯域ごと(音声特徴量の次元ごと) に生成される。自動的なマスクの生成は公知である。しかし、完全に理想的なマスクを生成することは現実的には困難である．本実施形態では、ロボット自身の動作情報は動作前に取得できるため、これに基づいて動作音の推定を行う。動作音の推定については、あらかじめ収録した雑音テンプレートと現在入力されている動作音との時間的なマッチングにより行う。そして、入力された信号と推定された動作音に基づいてマスクの生成を行う。詳細については次に示す。
【０１３４】
３．６  雑音テンプレートの選択
あらかじめ収録した動作音を雑音テンプレートとしてデータベースに入力する。本実施形態では、３４種類の動作音を用意した。ロボットが動作を行う際には、データベースから動作種類に応じた雑音テンプレートを選択する。現在発せられている動作音はこの雑音テンプレートと同じであると仮定し、雑音テンプレートを用いた雑音推定を行う。  
【０１３５】
３．７  雑音マッチング
雑音テンプレートの選択が行われても、その雑音と現在発せられている雑音が時間的にはマッチしていない。そこで、時間的に雑音をマッチングさせる必要が生じる。マッチングは以下の方法により行われる。Ｔｄ（ｆ）を雑音テンプレートのスペクトル系列、Ｉｄ（ｆ）を入力信号のスペクトル系列とする。ｆはフレームとし、ｄ は周波数軸方向のスペクトルの次元とする。Ｄを１フレームの窓長(サンプル数) とすると、１≦ｄ≦Ｄである。また、雑音テンプレートにおける各次元のスペクトルの最大値をＭｄとする。
【０１３６】
ここで、入力信号Ｉｄ（ｆ） について、Ｍｄを超えるものは音声信号が重畳しており、ミスマッチの要因となると考え、そのようなスペクトル系列の値を０ とする．
【０１３７】
【数１６】
2008122927.tif 000022
【０１３８】
マッチングはＩ´ｄとＴｄの相互相関をとることにより行った。最も相関が高いフレームｓｄは式（１７）で表される。
【０１３９】
【数１７】
2008122927.tif 000023
【０１４０】
得られたｓｄの１≦ｄ≦Ｄのうち、最もｓｄの値の数が大きいものをｓmatchとしてマッチングに用いる。 
【０１４１】
マッチング後の推定雑音Ｅｄ（ｆ）は式（１８）により得られる。
【０１４２】
【数１８】
2008122927.tif 000024
【０１４３】
３．８  マスクの生成
まず、マッチングされた雑音テンプレートＴ(ｓmatch)は対数スペクトルに変換される。変換された対数スペクトルの雑音をｎ（k，f）とする。ｋは次元(周波数軸方向) を示し、ｆはフレーム(時間軸方向) を示す．同様に、入力された雑音を含む対数スペクトルをｙ（k，f）、雑音除去処理後、白色雑音を重畳した対数スペクトルをｐ（k，f）とする。推定された音声信号は以下の式（１９）で表される。
【０１４４】
【数１９】
2008122927.tif 000025
【０１４５】
マスクｍ（k，f）は以下の式（２０）で計算される。
【０１４６】
【数２０】
2008122927.tif 000026
【０１４７】
ｍｅｄｉａｎｋ（a(k)）はa(k)の中央値を得る関数である。Ｐ（k，f）およびＣ´（k，f）は対数スペクトルｐ（k，f）およびｃ´（k，f）に正規化処理を施したものである。ｍ（k，f）がとても大きな値になることを防ぐため、閾値ｔｔｈを設けた。したがって、ｍ（k，f）のとる範囲は０からｔｔｈである。ｔｔｈは実験的に５．０とした。
【０１４８】
さらに、ＭＦＴマスクの正規化を行う。この正規化は、ＭＦＴを用いた音声認識を行うことで挿入ペナルティなどの最適パラメータの変化を抑えるために行う。正規化後のＭＦＴマスクをｗ（k，f）とし、1 フレームにおけるｗ（k，f）の合計が音声特徴量の次元数ｋと同じになるように正規化を施す。
【０１４９】
【数２１】
2008122927.tif 000027
【０１５０】
３．９  ＭＦＴに基づく尤度の計算方法
ＭＦＴは非定常な雑音に対しても効果がある。雑音除去処理や白色雑音の重畳によってＳＮ比は改善されるが、ＭＦＴを用いることでさらに非定常な雑音成分に対しても効果があると期待できる。しかし、雑音テンプレートと実際に生じた雑音に大きな差がある場合には効果は薄い。
【０１５１】
ＭＦＴでは信頼性の高い特徴成分に対しては大きな重みを、信頼性の低い特徴成分に対しては小さな重みを用いて尤度の計算を行う。ＭＦＴを用いない従来の音声認識では、音素モデルｑｌ、音声特徴量ｓｆの尤度は以下の式（２２）によって与えられる。
【０１５２】
【数２２】
2008122927.tif 000028
【０１５３】
ＭＦＴを用いた場合、音響尤度は、マスクをω（i，f）として以下の式（２３）のように定義される。
【０１５４】
【数２３】
2008122927.tif 000029
【０１５５】
４．実験条件
ホンダＡＳＩＭＯ（登録商標）を用いて評価実験を行った。ＡＳＩＭＯの左側マイクロフォンを用いて音声の収録を行い、孤立単語認識による評価を行った。評価用データにはＡＴＲ音素バランス単語を用いた。音素バランス単語には男性１２ 話者、女性１３話者の合計２５話者の音声データが含まれ、1 話者あたりの発話数は２１６である。各発話は「いきおい」、「いよいよ」などの単語発声である。 
【０１５６】
音響モデルの構築には男性９話者女性１０話者の合計１９話者の音声データ(学習セットＡ１) を用いた。このデータは無響室において１００ｃｍの距離から収録を行い、音圧の変化にも柔軟に対応できるようにするため、ＳＮ比のレベルを変化させて(＋５ｄＢ，＋１０ｄＢ，＋１５ｄＢ) 学習を行った。
【０１５７】
実験用のデータは男性３話者女性３話者の合計６話者の音声データ(実験セットＲ１) を用いた。このデータは音響モデルの学習とは異なる話者から構成されている。収録は、７ｍ（Ｗ）×４ｍ（Ｄ）×３ｍ（Ｈ）の部屋において行った。実用的な環境においても性能を発揮するか検証するため、家庭のリビングを想定した大きさの部屋で、反響音のある環境で収録を行った。話者とロボットのマイクの距離は５０ｃｍ、１００ｃｍ、１５０ｃｍ、 ２００ｃｍの４距離である。ロボットの動作雑音については、３２種類の動作を用いて認識実験を行った。この動作音はＡＳＩＭＯの電源を投入し、動作を全く行っていない定常雑音１種類と「バイバイ」や「お辞儀」などの上半身の動作を主とするジェスチャ雑音２５種類および「直進」や「回転」など足を用いた動きを主とする歩行雑音８ 種類より構成される。実験セットＲ１に動作音を重畳したものを実験セットＲ２とする。
【０１５８】
提案手法と従来の有効な手法であるマルチコンディション学習による音響モデルを用いた手法の比較を行うため、マルチコンディション学習用のデータを用意した。マルチコンディション学習はＡ１のデータに加え、ＡＳＩＭＯの電源を投入したときのモータ音やファン音などの定常雑音が重畳されたデータＡ２、動作雑音（動作１≦Ｎ≦３４) が重畳されたデータＡ３（Ｎ）を用いた。認識実験では、以下の４つの音響モデルを用意した。
ＡＭ−１  学習セットＡ１を用いたモデル(クリーンモデル)、
ＡＭ−２  学習セットＡ１とＡ２を用いたモデル(マルチコンディション学習モデル１)、
ＡＭ−３  学習セットＡ１とＡ３（Ｎ）を用いたモデル（マルチコンディション学習モデル２）、
ＡＭ−４  学習セットＡ１とＡ２に雑音除去処理を施したＡ４を用いたモデル、
ＡＭ−５  学習セットＡ１とＡ４に白色雑音を重畳したＡ５（ｐ）を用いたモデル。
【０１５９】
音響モデルＡＭ−３は雑音環境ごとに作成しているため、全部で３４種類のモデルが存在する。さらに、音響モデルＡＭ−５は重畳する白色雑音の大きさを変化させているため、式（１５）に示すｐ＝{０．０５，０．１，０．２，０．４}とした４種類のモデルが存在する。 
【０１６０】
評価実験を行うにあたり、ベースラインとして３つの音響モデルを用いた自動音声認識実験を行った。この条件を表５に示す。条件Ａでは音声認識において一般的に用いられるクリーンモデルを用いた。条件Ｂおよび条件Ｃでは雑音に頑健な手法としてマルチコンディション学習モデルを用いた。条件Ｂでは定常雑音のみを用いて音響モデルを学習しているのに対し、条件Ｃではロボットの動作音、すなわち非定常雑音も用いて音響モデルの学習を行った。実験は、以下の３つより構成される。
【０１６１】
４．１  雑音除去処理の効果の検証
雑音除去処理を用いることで音声認識性能が向上することの検証を行う。表６に比較した手法を示す。条件Ｄは雑音除去処理を施し、マルチコンディション学習による音響モデル(マルチコンディション学習モデル１) を用いて音声認識を行った。条件Ｅは雑音除去処理を行った後の音声データを用いて音響モデルを学習し、自動音声認識を行った。条件Ｆから条件Ｉは雑音除去処理の後、白色雑音を重畳した音声データを用いて音響モデルの学習を行い、自動音声認識を行った。これらは式（１５）に示すｐの値を変化させている。
【０１６２】
４．２  ＭＦＴを組み合わせることによる効果の検証
次に、提案手法のＭＦＴを用いることで認識性能が向上することの検証を行った。雑音除去処理の後、白色雑音を重畳した音声データを用いて音響モデルを学習する条件Ｇと、条件ＧでＭＦＴによる自動音声認識を用いる条件Ｊから条件Ｌの手法を比較する。白色雑音の重畳はｐ＝０．１を用いた。ｐの最適値は、距離や動作によって異なるため、中間的な値としてｐ＝０．１を用いることとした。
【０１６３】
ＭＦＴを用いた自動音声認識では次の３つの条件のもとにマスクの計算を行った。条件Ｊで用いている条件は実環境を想定した条件であり、雑音マッチングの際に、雑音と音声が混入した入力信号と雑音テンプレートとのマッチングを行う。雑音テンプレートはあらかじめ収録した雑音であるため、入力信号の雑音と同じ種類の動作音であるが、同一ではない。雑音テンプレートと入力信号の雑音は、マッチングした時間より０ｍｓから２００ｍｓの間でランダムにずらして重畳させてある。条件Ｋは条件Ｊよりも理想的で雑音マッチングのしやすい条件である。この条件では雑音区間が完全に抽出できたことを想定し、雑音区間のみで雑音テンプレートと入力信号の雑音のマッチングを行う。この条件でも、入力信号の雑音と雑音テンプレートは同じ種類の動作音であるが、同一ではない。条件Ｌは最も理想的な条件であり、実環境では想定できない条件である。この条件では、雑音が完全に既知としてマスク計算を行った。雑音が完全に既知である場合に、どの程度の認識性能となるか参考のため実験を行った。したがって、条件Ｊおよび条件Ｋでは推定雑音は入力信号の雑音と同一ではないのに対し、条件Ｌでは入力信号の雑音が推定されている。
【０１６４】
４．３  ＭＬＬＲとの組合せによる効果の検証
雑音に頑健な手法として一般的に用いられているＭＬＬＲと本提案手法との組合せについて実験を行った。本願では、人・ロボットのコミュニケーションにおいて、不特定の人とのコミュニケーションを考慮に入れ、教師なしＭＬＬＲを行うこととした。具体的に、例えば、展示会場に案内ロボットがおり、人がロボットと話しをすることで、入力音声を用いてＭＬＬＲによる音響モデルの適応を行う。対話が進むことで認識性能を向上させることを想定している。
【０１６５】
表８に比較した手法を示す。条件Ｂ’, 条件Ｃ’および条件Ｊ’から条件Ｌ’は表５に示す条件Ｂ，条件Ｃおよび表７に示す条件Ｊから条件Ｌに教師なしＭＬＬＲを行ったものである。この実験により、従来から有効な手法とされているマルチコンディション学習による音響モデルを用いた手法と提案手法の、ＭＬＬＲとの組合せについての比較を行う。 
【０１６６】
【表５】
2008122927.tif 000030
【０１６７】
【表６】
2008122927.tif 000031
【０１６８】
【表７】
2008122927.tif 000032
【０１６９】
【表８】
2008122927.tif 000033
【０１７０】
５．実験結果
表９にベースラインとして求めた自動音声認識結果を示す。条件Ａから条件Ｃのうち最も性能のよいものをボールド体で示してある。条件Ｂおよび条件Ｃはマルチコンディション学習による音響モデルを用いた自動音声認識結果を示す。クリーンモデルと比べてマルチコンディション学習による音響モデルは有効性が大きいことが確認できる。条件Ｂおよび条件Ｃは環境によってどちらが有効であるか異なるが、全体的に見て性能がよい条件Ｃを従来手法として、以下の実験結果で提案手法との比較を行う。
【０１７１】
５．１  雑音除去処理の効果
表１０に実験結果を示す。最も自動音声認識性能のよかったものをボールド体で示している。
【０１７２】
条件ＤはＳＳを施し、マルチコンディション学習による音響モデルを用いて自動音声認識した結果を示す。条件Ｂと条件Ｄを比較すると、条件Ｄの方が認識性能が低い。条件Ｂと条件Ｄの違いは、条件ＢはＳＳを行わないのに対し、条件ＤはＳＳを行う。ＳＳを行うことで認識性能が低下した理由として、雑音が除去されることで認識時と学習時の音声データの差が大きくなり、認識性能低下につながったものと考えられる。
【０１７３】
条件ＥはＳＳを施した後の音声データを用いて、音響モデルの学習を行っている。条件Ｅは条件Ｄと比べて認識性能が高い。また、条件Ｂと比べても認識性能が高いものがほとんどである。雑音除去が行われた後の音声データを用いて音響モデルの学習を行うことで、雑音除去処理の効果が表れることが確認できる。条件Ｆから条件ＩはＳＳにより生じた歪みを軽減するため、白色雑音の重畳を行っている。音響モデルは、雑音除去処理後、白色雑音の重畳を行った音声データを用いて学習を行い、認識時にも同様の処理を入力信号に施す。
【０１７４】
条件Ｅと条件Ｆから条件Ｉを比較すると、条件Ｆから条件Ｉの中に最も性能のよいものの多くが入っている。これより、白色雑音を重畳することにより認識性能が向上することが確認できる。また、条件Ｆから条件Ｉの中では認識性能が最もよい条件を一意に定めることはできない。認識性能を最大とする白色雑音の重畳の大きさ(式（１５）のｐの値) は雑音環境によって異なるが、白色雑音を重畳することで認識性能を高めることができることを確認できる。
【０１７５】
５．２  ＭＦＴを組み合わせることによる効果
表１１にＭＦＴを用いた自動音声認識の実験結果を示す。最も実用的な手法はＪであり、従来手法Ｃと比べてＪの方が高い性能を示したものをボールド体で示す。また、Ｃと比べたＪの有意性の確認を行った。これには有意水準p 値を用いた。
【０１７６】
白色雑音の重畳には、ｐ＝０．１を用いた。実験結果より、どの雑音環境、距離についても提案手法の方が従来手法であるマルチコンディション学習による音響モデルを用いたものよりも高い性能を示している。これにより、提案手法の有効性が確認できる。 
【０１７７】
また、ＭＦＴを用いない条件ＧとＭＦＴを用いた音声認識を行う条件Ｊとを比較すると、条件Ｊの方が自動音声認識性能が高いものがほとんどであり、ＭＦＴを用いることでロボットの動作音への頑健性を向上させることが確認できる。
【０１７８】
５．３  教師なしＭＬＬＲを組み合わせることによる効果
表１２にマルチコンディション学習による音響モデルを用いた手法と、提案手法のそれぞれに教師なしＭＬＬＲを組み合わせた際の実験結果を示す。従来手法Ｂ’，Ｃ’と提案手法Ｊ’の中で最も自動音声認識性能が高いものをボールド体で示す。表１１と同様にＣ’に対する提案手法Ｊ’の有意性の確認を行い、p 値を求めている。一部の雑音環境においてはＣ’の方が高い性能を示しているが、大半の環境では提案手法が有効であり、特に２００ｃｍの距離において提案手法が有効であることが確認できる。実験結果より、提案手法は有効な音響モデルの適応化手法とされるＭＬＬＲとの組み合せによっても、従来手法よりも高い自動音声認識性能を達成できることが示された。
【０１７９】
【表９】
2008122927.tif 000034
【０１８０】
【表１０】
2008122927.tif 000035
【０１８１】
【表１１】
2008122927.tif 000036
【０１８２】
【表１２】
2008122927.tif 000037
【０１８３】
６．考察
６．１  雑音除去処理による効果と白色雑音の重畳
ＳＳは雑音除去を行う上で有効な処理として捉えられているが、マルチコンディション学習による音響モデルを用いた自動音声認識では、ＳＳを行うことで学習時の音声データと認識時の音声データの差を拡げ、認識性能の低下が起こることがある。本実施形態の実験では、条件Ｂと条件Ｄで同じマルチコンディション学習による音響モデルを用いた自動音声認識を行い、条件ＤにはＳＳを施した。本来有効であるはずのＳＳが、マルチコンディション学習による音響モデルとの組合せでは逆に認識性能を低下させることが実験結果より明らかとなった。
【０１８４】
本願では、マルチコンディション学習による音響モデルのような、雑音に頑健な音響モデルを用いつつＳＳを有効に活用するため、ＳＳを行った後の音声データを用いて音響モデルの学習を行った。この手法を用いた条件Ｅと従来のマルチコンディション学習による音響モデルを用いた条件Ｂとを比較すると、条件Ｅの方が自動音声認識性能が高く、雑音に頑健な音響モデルを用いつつＳＳの効果が表れることが確認できる。ＳＳの効果は特にＳＮ比の低い２００ｃｍでよく表れており、定常雑音では８％程度の認識性能の向上が確認できる。 
【０１８５】
また、本願ではＳＳ処理後に白色雑音を重畳することによりＳＳによる歪みを抑え、認識性能の向上を図った。条件Ｆから条件Ｉは白色雑音の重畳の大きさを変化させた結果を示している。白色雑音を重畳しない条件Ｅと比べると、白色雑音を重畳したものの方が高い認識性能を示しているものがほとんどであり、白色雑音の重畳はスペクトル歪みを軽減し、認識性能の向上につながることが確認できる。しかし、全ての環境で最適となる白色雑音の重畳量（式（１５）のｐの値) を一意に見出すことはできなかった。動作の種類ごとに見ると、頭の動作を含む雑音については白色雑音の重畳を大きくした方がよいことが分かる。これは、頭の動作は短い時間のものが多く、他の動作と比べるとマイクの近くで行われるため、雑音も大きい。ところが、ＳＳは平均雑音を用いて雑音除去を行うため、時間の短い雑音は平均すると小さくなる。よって、本来はＳＳに用いられる平均雑音よりも大きな雑音が重畳しているにも関わらず除去しきれない引き残し成分が大きく表れることが考えられる。頭の動作では、白色雑音の重畳を大きくすることでこの引き残し成分を平坦化し、認識性能向上につながったと考えられる。 
【０１８６】
その他の雑音では最適な白色雑音の重畳量を見出せないが、傾向として、距離が離れているものほど白色雑音の重畳を小さくした方が効果がある。一見、距離が離れているものはＳＮ比が低いため歪みが大きく発生し、白色雑音の重畳を大きくした方が効果的とも考えられる。しかし、距離が離れた環境では入力信号と比較して雑音信号が大きく、ＳＳのフロアリングがよく効く。このフロアリングにより歪みの発生が軽減され、白色雑音を大きく重畳しなくとも高い性能が達成できたと考えられる。白色雑音の重畳量を決定するに際し、スペクトルの大きさだけでなく、フロアリングや雑音の持続時間も考慮に入れることでより高い認識性能を達成できると考えられる。
【０１８７】
６．２  ＭＦＴを用いることの効果
雑音除去処理および白色雑音重畳の後、ＭＦＴを用いた自動音声認識を行う提案手法Ｊは従来手法Ｃと比べてほぼ全ての環境で高い性能を示し、有効であることがわかる。また、ＭＦＴを用いない条件Ｇと比べてＭＦＴを用いる条件Ｊはほぼ全ての環境で高い性能を示しており、ＭＦＴを用いることの効果が確認できる。
【０１８８】
条件Ｊは音声と雑音が重畳した入力信号を用いて雑音テンプレートとの雑音マッチングを行い、推定雑音を求めるが、条件Ｋは雑音信号が検出できたと仮定し、雑音信号のみを用いて雑音テンプレートとのマッチングを行う。また条件Ｌは雑音を既知とした条件である。条件Ｋおよび条件Ｌは条件Ｊと比べると理想的な環境であるため、認識性能も向上している。しかし、条件Ｊも条件Ｋおよび条件Ｌと比較して同じような性能を示しており、提案手法の雑音マッチングは音声と雑音が重畳していても効果的にできることを確認できる。５０ｃｍの環境では、条件Ｌの方が条件Ｊよりも性能が低くなっているものも見られる。条件Ｌは雑音が既知であるが、この条件でのＭＦＴマスクが正しい自動音声認識結果を得るのに必ずしも最適なマスクということはできない。なぜならば、本実施形態で用いるマスク生成手法は、自動音声認識において重要と考えられるスペクトルの山と谷の重みを大きくし、さらに、雑音の小さな箇所の重みが大きくなるようマスク生成を行う。しかし、音響モデルはクリーンな音声のみで学習されたモデルではないため、このマスク生成手法が全ての入力信号に対して最もよいマスクを生成するとは限らない。したがって、雑音が既知であっても他の条件と比較して最も高い自動音声認識性能とはならない環境が現れたと考えられる。しかし、全体的に見てＭＦＴを用いることで認識性能は向上しており、提案手法のマスク生成手法は有効な手法であると捉えることができる。
【０１８９】
提案手法では、マルチコンディション学習による音響モデルは定常的な雑音に対して効果が高いと考え、条件Ｂをベースとした音響モデルを用いている。すなわち、あらかじめロボットの発する定常雑音を収録しておき、この雑音と音声との重畳を行う。得られた雑音を含む音声にスペクトル減算（ＳＳ）を施し、白色雑音を重畳した後にその音声データを用いて音響モデルを学習する。しかし、表９の結果を見ると、条件Ｂよりも条件Ｃの方が認識性能が高い場面が多く見られる。提案手法においても条件Ｃをベースとした音響モデル、すなわち、ロボットの発する定常雑音のみならず動作音も含む音声データを用いて音響モデルの学習を行うことで、認識性能のさらなる向上が期待できると考えられる。
【０１９０】
６．３  教師なしＭＬＬＲを行った際の提案手法の有効性
教師なしＭＬＬＲと組み合わせた場合においても、従来手法Ｃ’と比べて提案手法Ｊ
’の方が高い性能を示すことが確認できる。ＭＬＬＲは有効な音響モデルの適応化手法として捉えられており、多くの環境で性能が向上する。本提案手法は、ＭＬＬＲとの組み合せが可能な雑音適応化手法である。
【０１９１】
マルチコンディション学習による音響モデルとＭＬＬＲを併用した手法は実用的にも数多く用いられている。本提案手法においても、ＭＬＬＲとの組み合わせた条件で効果があることで、従来手法と比べたメリットが一層大きくなると考えられる。 
【０１９２】
我々はこれまで、ロボットによるプレゼンテーションを行うソフトウェアを開発しており、プレゼンテーションの場面では話者からの質問が想定される。このような場合に教師なし適応と提案手法を組み合わせることで、話者との対話の蓄積の中で音響モデルがオンライン適応され、高い認識性能の達成が可能となる。また、同様の場面はプレゼンテーションのみならず、案内ロボットにも考えられ、多くの場面において本提案手法を用いることが可能であるといえる。
【図面の簡単な説明】
【０１９３】
【図１】本発明の第１実施形態におけるロボット用音声認識手法のブロック図である。
【図２】本発明の第１実施形態における雑音適応化手法のブロック図である。
【図３】本発明の第２実施形態における雑音適応化手法のブロック図である。
【図４Ａ】ゲシュタルト心理学における知覚閉合の一例を説明する概略図であり、３つの断片が統合されていない状態を示す。
【図４Ｂ】ゲシュタルト心理学における知覚閉合の一例を説明する概略図であり、遮蔽情報が統合を補助する状態を示す。
【図５】本発明の第３実施形態における雑音適応化手法のブロック図である。
【図１】
2008122927.tif 000038
【図２】
2008122927.tif 000039
【図３】
2008122927.tif 000040
【図４Ａ】
2008122927.tif 000041
【図４Ｂ】
2008122927.tif 000042
【図５】
2008122927.tif 000043
【外国語明細書】
2008122927.tif 000044
2008122927.tif 000045
2008122927.tif 000046
2008122927.tif 000047
2008122927.tif 000048
2008122927.tif 000049
2008122927.tif 000050
2008122927.tif 000051
2008122927.tif 000052
2008122927.tif 000053
2008122927.tif 000054
2008122927.tif 000055
2008122927.tif 000056
2008122927.tif 000057
2008122927.tif 000058
2008122927.tif 000059
2008122927.tif 000060
2008122927.tif 000061
2008122927.tif 000062
2008122927.tif 000063
2008122927.tif 000064
2008122927.tif 000065
2008122927.tif 000066
2008122927.tif 000067
2008122927.tif 000068
2008122927.tif 000069
2008122927.tif 000070
2008122927.tif 000071
2008122927.tif 000072
2008122927.tif 000073
2008122927.tif 000074
2008122927.tif 000075
2008122927.tif 000076
2008122927.tif 000077
2008122927.tif 000078
2008122927.tif 000079
2008122927.tif 000080
2008122927.tif 000081
2008122927.tif 000082
2008122927.tif 000083
2008122927.tif 000084
2008122927.tif 000085
2008122927.tif 000086
2008122927.tif 000087
2008122927.tif 000088
2008122927.tif 000089
2008122927.tif 000090
2008122927.tif 000091
2008122927.tif 000092
2008122927.tif 000093
2008122927.tif 000094
2008122927.tif 000095