(57)【特許請求の範囲】
【請求項１】
複数のマイクロホンで取得した音情報から音声認識する音声認識方法であって、
（ａ１）複数のマイクロホンを介して音情報を取得する処理と、
（ａ２）前記取得した音情報から音を含む音源区間を検出する処理と、
（ａ３）前記検出した音源区間のうちの音声区間に対して方向推定することで、音声の推定方向を取得する処理と、
（ａ４）前記推定方向の音声情報を抽出するためのフィルタ係数を、前記取得した音情報を用いて推定する適応処理と、
（ａ５）前記音源区間の情報と前記推定方向の情報と前記適応処理の収束状態の情報とに基づいて、バッファに保持する音情報のバッファ量を決定する処理と、
（ａ６）前記決定したバッファ量に応じて、前記取得した音情報をバッファに保持する処理と、
（ａ７）前記バッファに保持した音情報と前記適応処理で推定したフィルタ係数とを用いて、ビームフォーミング処理し音声情報を取得する処理と、
（ａ８）前記ビームフォーミング処理された音声情報に対して音声認識する処理とを含み、
前記処理（ａ５）では、前記取得した音情報の処理の開始直後は、前記適応処理の収束に十分な量のバッファ量を、前記バッファに保持するバッファ量として決定する
音声認識方法。
【請求項２】
前記処理（ａ５）において、
前記推定方向の情報が、前回に取得した前記推定方向の情報から変化した場合は、バッファ量を初期値に戻す
請求項１に記載の音声認識方法。
【請求項３】
前記処理（ａ５）において、
前記推定方向の情報が、前回に取得した前記推定方向の情報から変化しておらず、且つ前記適応処理が収束している状態で、検出される前記音源区間の情報が非音声区間の情報である場合は、バッファ量を減少する
請求項１または２に記載の音声認識方法。
【請求項４】
前記処理（ａ５）において、
前記推定方向の情報が、前回に取得した前記推定方向の情報から変化しておらず、且つ前記適応処理が収束している状態で、検出される前記音源区間の情報が非音声区間の情報であり、且つ現在のバッファ量が予め設定した下限値よりも大きい場合は、バッファ量を減少する
請求項１〜３のいずれか一項に記載の音声認識方法。
【請求項５】
前記処理（ａ５）において、
前記推定方向の情報が、前回に取得した前記推定方向の情報から変化しておらず、且つ前記適応処理が収束していない場合は、バッファ量を変更しない
請求項１〜４のいずれか一項に記載の音声認識方法。
【請求項６】
前記処理（ａ５）において、
前記推定方向の情報が、前回に取得した前記推定方向の情報から変化しておらず、且つ前記適応処理が収束しており、且つ検出される前記音源区間の情報が音声区間の情報の場合は、バッファ量を変更しない
請求項１〜５のいずれか一項に記載の音声認識方法。
【請求項７】
（ｂ１）前記適応処理により推定したフィルタ係数を保持する処理と、
（ｂ２）前記保持したフィルタ係数を用いてビームフォーミング処理し音声情報を取得する処理と、
（ｂ３）前記処理（ｂ２）で取得された音声情報に対して音声認識する処理と、
（ｂ４）前記推定方向が変化した場合、前記推定方向が変化した時以降に取得した前記音情報に対して、前記処理（ａ１）〜（ａ７）を実行することによって、ビームフォーミング処理された音声情報を取得する処理と、
（ｂ５）前記処理（ｂ２）で取得された音声情報と、前記処理（ｂ４）で取得された音声情報とを用いて、前記処理（ｂ３）による音声認識結果が信頼できるか否かを判断する処理と、
（ｂ６）前記処理（ｂ５）での判断の結果、信頼できる場合は、前記処理（ｂ３）による音声認識結果を出力し、信頼できない場合は、前記処理（ｂ４）で取得された音声情報に対して音声認識して得られる音声認識結果を出力する処理とをさらに含む
請求項１〜６のいずれか一項に記載の音声認識方法。
【請求項８】
前記バッファ量に応じて音情報を前記バッファに保持することは、前記バッファに溜められている音情報において、前記バッファ量の音情報を確保すること、及び、音情報を溜めている前記バッファにおいて、前記バッファ量の音情報に該当するメモリを解放することのうちの少なくとも一方を含む
請求項１〜７のいずれか一項に記載の音声認識方法。
【請求項９】
複数のマイクロホンで取得した音情報から音声認識する音声認識装置であって、
複数のマイクロホンからの音情報を取得する音情報取得部と、
前記音情報から音を含む音源区間を検出する音源区間検出部と、
前記音源区間のうちの音声区間の推定方向を、方向推定により取得する方向推定部と、
前記推定方向の音声を抽出するためのフィルタ係数を、前記音情報を用いて推定する適応処理をする適応処理部と、
前記適応処理の収束状態の情報を取得する適応処理収束監視部と、
決定されたバッファ量に応じて前記音情報を保持するバッファと、
前記音源区間の情報と前記推定方向の情報と前記適応処理の収束状態の情報とに基づいて、前記バッファに保持する音情報のバッファ量を決定するバッファ量決定部と、
前記バッファに保持された音情報と前記フィルタ係数とを用いて、ビームフォーミング処理して音声情報を取得するビームフォーミング処理部と、
前記ビームフォーミング処理された音声情報に対して音声認識する音声認識部とを備え、
前記バッファ量決定部は、前記音情報の処理の開始直後は前記適応処理の収束に十分な量のバッファ量を、前記バッファに保持するバッファ量として決定する
音声認識装置。
【請求項１０】
コンピュータに実行させるプログラムであって、
（ｃ１）複数のマイクロホンからの音情報を取得し、
（ｃ２）前記音情報から音を含む音源区間を検出し、
（ｃ３）前記音源区間のうちの音声区間の推定方向を、方向推定により取得し、
（ｃ４）前記推定方向の音声情報を抽出するためのフィルタ係数を、前記音情報を用いた適応処理により推定し、
（ｃ５）前記音源区間の情報と前記推定方向の情報と前記適応処理の収束状態の情報とに基づいて、バッファに保持する音情報のバッファ量を決定し、
（ｃ６）前記決定したバッファ量に応じて、前記音情報をバッファに保持し、
（ｃ７）前記バッファに保持した音情報と前記フィルタ係数とを用いて、ビームフォーミング処理して音声情報を取得し、
（ｃ８）前記ビームフォーミング処理後の音声情報に対して音声認識し、
前記音情報の処理の開始直後は、前記適応処理の収束に十分な量の前記音情報を前記バッファに保持する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声認識方法、音声認識装置及びプログラムに関する。
【背景技術】
【０００２】
マイクロホン等の収音装置を用いて特定の音声信号を認識する技術、つまり音声認識技術が提案されている。例えば、特許文献１には、複数の話者がいる音場において、複数の指向性のマイクロホンを用いて特定の音声信号をピックアップするマイクロホンシステムが開示されている。特許文献１に記載のマイクロホンシステムでは、各マイクロホンは、話者に向けて配置されている。さらに、各マイクロホンの音声信号のうち、その音声信号レベルが最も早く無音状態のノイズレベルを上回る音声信号が選択され、出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３３６７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のマイクロホンシステムは、音声信号の処理時間のために語頭が欠ける話頭切れを抑制するために、音声信号を遅延する遅延素子を備える。複数のマイクロホンの音声信号は、アンプで増幅され、遅延素子を通った後に、出力のために選択される。遅延量は、マイクロホンシステムにおける音声信号の種々の処理要素による遅延量のうちの最大の遅延量とされる。
【０００５】
そこで、本開示は、話頭切れを抑制しつつ音声認識のレスポンスを向上する音声認識方法、音声認識装置及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る音声認識方法は、複数のマイクロホンで取得した音情報から音声認識する音声認識方法であって、（ａ１）複数のマイクロホンを介して音情報を取得する処理と、（ａ２）前記取得した音情報から音を含む音源区間を検出する処理と、（ａ３）前記検出した音源区間のうちの音声区間に対して方向推定することで、音声の推定方向を取得する処理と、（ａ４）前記推定方向の音声情報を抽出するためのフィルタ係数を、前記取得した音情報を用いて推定する適応処理と、（ａ５）前記音源区間の情報と前記推定方向の情報と前記適応処理の収束状態の情報とに基づいて、バッファに保持する音情報のバッファ量を決定する処理と、（ａ６）前記決定したバッファ量に応じて、前記取得した音情報をバッファに保持する処理と、（ａ７）前記バッファに保持した音情報と前記適応処理で推定したフィルタ係数とを用いて、ビームフォーミング処理し音声情報を取得する処理と、（ａ８）前記ビームフォーミング処理された音声情報に対して音声認識する処理とを含み、前記処理（ａ５）では、前記取得した音情報の処理の開始直後は、前記適応処理の収束に十分な量のバッファ量を、前記バッファに保持するバッファ量として決定する。
【０００７】
本開示の一態様に係る音声認識装置は、複数のマイクロホンで取得した音情報から音声認識する音声認識装置であって、複数のマイクロホンからの音情報を取得する音情報取得部と、前記音情報から音を含む音源区間を検出する音源区間検出部と、前記音源区間のうちの音声区間の推定方向を、方向推定により取得する方向推定部と、前記推定方向の音声を抽出するためのフィルタ係数を、前記音情報を用いて推定する適応処理をする適応処理部と、前記適応処理の収束状態の情報を取得する適応処理収束監視部と、決定されたバッファ量に応じて前記音情報を保持するバッファと、前記音源区間の情報と前記推定方向の情報と前記適応処理の収束状態の情報とに基づいて、前記バッファに保持する音情報のバッファ量を決定するバッファ量決定部と、前記バッファに保持された音情報と前記フィルタ係数とを用いて、ビームフォーミング処理して音声情報を取得するビームフォーミング処理部と、前記ビームフォーミング処理された音声情報に対して音声認識する音声認識部とを備え、前記バッファ量決定部は、前記音情報の処理の開始直後は前記適応処理の収束に十分な量のバッファ量を、前記バッファに保持するバッファ量として決定する。
【０００８】
本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、（ｃ１）複数のマイクロホンからの音情報を取得し、（ｃ２）前記音情報から音を含む音源区間を検出し、（ｃ３）前記音源区間のうちの音声区間の推定方向を、方向推定により取得し、（ｃ４）前記推定方向の音声情報を抽出するためのフィルタ係数を、前記音情報を用いた適応処理により推定し、（ｃ５）前記音源区間の情報と前記推定方向の情報と前記適応処理の収束状態の情報とに基づいて、バッファに保持する音情報のバッファ量を決定し、（ｃ６）前記決定したバッファ量に応じて、前記音情報をバッファに保持し、（ｃ７）前記バッファに保持した音情報と前記フィルタ係数とを用いて、ビームフォーミング処理して音声情報を取得し、（ｃ８）前記ビームフォーミング処理後の音声情報に対して音声認識し、前記音情報の処理の開始直後は、前記適応処理の収束に十分な量の前記音情報を前記バッファに保持する。
【０００９】
なお、上述の構成の包括的又は具体的な態様は、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本開示に係る音声認識方法等によれば、話頭切れを抑制しつつ音声認識のレスポンスを向上することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、マイクロホンに入力された音声波形と，従来技術の音声認識方法により出力される信号の波形との遅延の関係を示す図である。
【図２】図２は、実施の形態１に係る音声認識装置の概略的な構成を示すブロック図である。
【図３】図３は、音源区間の検出の処理の流れの一例を示す図である。
【図４】図４は、音の方向推定の処理の流れの一例を示す図である。
【図５】図５は、適応処理におけるフィルタ係数の推定の処理の流れの一例を示す図である。
【図６】図６は、フィルタ係数の推定におけるフィルタ係数の更新毎の誤差の期待値の一例を示す図である。
【図７】図７は、バッファ量の決定処理の流れの一例を示す図である。
【図８】図８は、図７の処理で決定されるバッファ量の各ケースの一覧の一例を示す図である。
【図９】図９は、実施の形態１に係る音声認識装置の動作の流れの一例を示すフローチャートである。
【図１０】図１０は、バッファでの音情報の保持の例を説明する図である。
【図１１】図１１は、マイクロホンに入力された音声波形と、従来技術の音声認識方法により出力される信号の波形と、実施の形態１に係る音声認識装置により出力される信号の波形とを比較した図である。
【図１２】図１２は、実施の形態２に係る音声認識装置の概略的な構成を示すブロック図である。
【図１３】図１３は、実施の形態２に係る音声認識装置の動作の流れの一例を示すフローチャートである。
【図１４】図１４は、マイクロホンに入力された音声波形と、第一ビームフォーミング処理部により出力される第一出力信号の波形と、第二ビームフォーミング処理部により出力される第二出力信号の波形とを比較した図である。
【発明を実施するための形態】
【００１２】
［発明者による知見］
本開示に係る発明者ら、つまり本発明者らは、音声認識の技術を検討し、以下のような知見にいたった。例えば、対話型ロボットにおける音声インタフェースでの音声認識技術のように、話者が様々な方向に存在することが想定される環境に音声認識技術が適用される場合がある。このような音声認識技術において、雑音環境下でも高精度に音声を認識するには、話者が様々な方向から発話した音声を高品質に抽出することが必要となる。
【００１３】
そのための従来技術として、複数のマイクロホンを用いて音波の到来時間差を基に話者方向を推定する技術、及び、収音エリアの指向性を制御することで任意方向の音源を強調するビームフォーマ等のマイクロホンアレイ技術がある。
【００１４】
ビームフォーマには、予め決められたフィルタ係数が設定された固定フィルタを用いて所望の方向にビームを形成する方法、及び、観測信号を用いた適応処理によってフィルタ係数が逐次的に推定される適応フィルタを用いて所望の方向にビームを形成し、不要な雑音方向にビームの死角を形成する方法がある。
【００１５】
ここで、適応処理とは、観測信号をフィルタで処理した結果得られた信号が所望の信号となるように、フィルタ係数を反復的な計算によって推定する処理である。適応処理では、雑音及び所望の音源等の音源の条件が時間と共に変化する場合、フィルタ係数は、適応処理で推定される度に大きく変動し、音源の条件ごとに異なる最適値に近づく。また、雑音及び所望の音源等の音源の条件が変化しない場合、適応処理で推定される毎のフィルタ係数の変動は徐々に小さくなり、最適値に収束する。このように、フィルタ係数が、最適値に近づく又は収束することによって、適応処理が収束する。
【００１６】
適応フィルタを用いたビームフォーマによる音声強調では、話者方向が変化した直後の、発話の安定しない話頭においては、フィルタ係数が十分に収束せず、話者音声の強調に最適なフィルタ係数が推定されていないため、発話の始端を収音できない話頭切れが発生する場合がある。
【００１７】
話者及び雑音等の音源の条件は通常、時間と共に変化するため、フィルタ係数を予め求め、保持しておく方法を採用する場合、あらゆる音源方向とそれらの組み合わせとについて全て考慮する必要がある。そのため、フィルタ係数の保持に膨大な量のバッファが必要であり、現実的ではない。
【００１８】
そこで、従来技術は、マイクロホンで取得された音情報を保持しておくためのバッファを用いる。バッファの量が、ビームフォーマにおける適応処理が収束するのに十分な量であれば、適応処理の収束後に、バッファに保持した音情報に対してビームフォーマによる処理を行うことで、話頭切れのない高品質な音声を得ることができ、認識誤りの少ない音声認識を実現できる。
【００１９】
しかしながら、マイクロホンで取得された音情報をバッファに保持した後、ビームフォーマによる処理を行うため、マイクロホンで取得された音情報がビームフォーマにより処理されるまでに遅延が発生する。具体的には、この遅延は、バッファで保持されている音情報に対してビームフォーマによる処理を行う時間分の遅延である。図１を参照すると、マイクロホンの入力信号である音声波形と、従来技術によるバッファを用いた処理での出力信号の波形との遅延の関係が示されている。図１に示されるように、音声認識の結果が得られるまでに、バッファで保持する音情報に対してビームフォーマによる処理を行う時間分の遅延が常に必要となるため、音声認識のレスポンスが遅くなるという課題があった。本発明者らは、上記の従来技術の課題を解決するために、話者方向が様々に変化する場合でも、音声の認識性能が高く且つ音声認識のレスポンスの速い技術を検討した。
【００２０】
そして、本発明者らは、上記課題を解決するために、音声の方向と、適応処理の収束状態と、音源区間の情報とに基づいて、ビームフォーマによる音声強調処理に用いるバッファ量の増減を行うことを見出した。具体的には、例えば、話者方向等の音声の方向が変化した直後は、適応処理の収束状態及び音源区間の情報に関わらずバッファ量を増加させ、適応処理の収束に十分な量のバッファを用いてビームフォーマでの処理に用いるフィルタ係数が求められる。また、話者方向等の音声の方向が一定の場合は、適応処理の収束状態及び音源区間の情報に基づき、バッファ量を減少するか否かが決定される。そして、適応処理に用いるバッファ量を減らすことによって、適応処理の実時間性が改善する。例えば、適応処理が収束しており、且つ息継ぎ、言い淀み又は発話の切れ目等の無音区間が検知された場合、その検知された無音区間の音情報に対してビームフォーマによる音声強調処理が行われず、さらに、無音区間及び無音区間以降の処理で用いられるバッファ量の削減が行われる。上述のような構成によって、音声の方向と適応処理の収束状態とに応じて、ビームフォーマによる処理に用いるバッファ量の増減の実施が可能である。
【００２１】
従って、本発明者らは、音声の方向が変化した直後は、適応処理に十分な量のバッファを用いることで、話頭切れのない高品質な音声を得ることが可能であることを見出した。さらに、本発明者らは、音声の方向が一定の場合は、無音区間の音声強調処理を省略すると共に、無音区間及び無音区間以降の処理で用いるバッファ量を減らすことで、音声認識のレスポンスを速くすることが可能であることを見出した。よって、本発明者らは、音声の方向が様々に変化する場合でも、音声認識性能が高く且つレスポンスの速い音声認識が可能となることを見出した。
【００２２】
以下、上述の知見に基づき本発明者らが開示する実施の形態について、図面を参照しつつ具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、処理並びに処理の順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、第一、第二及び第三などの序数が、構成要素などに対して、表現上、適宜付け加えられてもよい。
【００２３】
また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
【００２４】
［実施の形態１］
［音声認識装置の構成］
図２を参照して、実施の形態１に係る音声認識装置１００の構成を説明する。図２は、実施の形態１に係る音声認識装置１００の概略的な構成を示すブロック図である。音声認識装置１００は、複数のマイクロホン１と接続され、複数のマイクロホン１が収音することにより生成する電気信号を受け取るように構成されている。マイクロホン１は、収音した音の音情報を電気信号として取得する。以下において、マイクロホン１が生成する電気信号を、観測信号又は音信号とも呼ぶ。複数のマイクロホン１は、配置位置及び集音方向の少なく一方を互いに異ならせて配列される。例えば、配列された複数のマイクロホン１は、マイクロホンアレイを構成してもよい。
【００２５】
音声認識装置１００は、複数のマイクロホン１を介して取得される音情報を用いて音声等の特定の音を認識する。音声認識装置１００は、複数のマイクロホン１と共に１つのシステムを構成してもよく、単独で１つの装置を構成してもよい。又は、音声認識装置１００は、コンピュータ等の情報処理装置、マイクロホン等の音声を取得する装置を搭載した装置、又はその他の種々の装置に、ハードウェアとして又はソフトウェアとして組み込まれて、当該装置の一部を構成してもよい。
【００２６】
音声認識装置１００は、音情報取得部１０、音源区間検出部１１、方向推定部１２、適応処理部１３、適応処理収束監視部１４、バッファ量決定部１５、バッファ１６、ビームフォーミング処理部１７及び音声認識部１８を含む。
【００２７】
音情報取得部１０、音源区間検出部１１、方向推定部１２、適応処理部１３、適応処理収束監視部１４、バッファ量決定部１５、ビームフォーミング処理部１７及び音声認識部１８の各構成要素は、それぞれの処理を実行する要素である。各構成要素は、個別に１つの要素を構成してよく、複数の構成要素が、１つの要素を構成してもよい。
【００２８】
各構成要素は、専用のハードウェアで構成されてもよく、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。この場合、各構成要素は、例えば、演算処理部（図示せず）と、制御プログラムを記憶する記憶部（図示せず）とを備えてもよい。演算処理部としては、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等が例示される。記憶部としては、メモリ等が例示される。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。ソフトウェアプログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
【００２９】
また、各構成要素は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）、システムＬＳＩ等の回路でもよい。複数の構成要素が、全体として１つの回路を構成してもよく、それぞれ別々の回路を構成してもよい。また、回路は、それぞれ、汎用的な回路でもよく、専用の回路でもよい。
【００３０】
システムＬＳＩは、複数の構成部を１つのチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。システムＬＳＩ及びＬＳＩは、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）であってもよく、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブルプロセッサを含んでもよい。
【００３１】
また、上記構成要素の一部又は全部は、脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
【００３２】
バッファ１６は、情報を一時的に記憶し溜める要素である。例えば、バッファ１６は、半導体メモリ等から構成されてもよく、揮発性メモリ又は不揮発性メモリ等から構成されてよい。バッファ１６は、後述するように、バッファ量決定部１５で決定したバッファ量に応じて、マイクロホン１で取得した音情報を保持する。バッファ１６がバッファ量に応じて音情報を保持するとは、バッファ１６がバッファ量の音情報を溜めることであってもよく、バッファ１６がバッファ１６に溜められている音情報の中でバッファ量の音情報を確保することであってよく、音情報を溜めているバッファ１６がバッファ量に相当するメモリを解放することであってもよい。
【００３３】
音情報取得部１０は、複数のマイクロホン１からの観測信号を音情報として取得する。音情報取得部１０は、取得した観測信号を音源区間検出部１１、バッファ１６等の音声認識装置１００の種々の構成要素に送る。音情報取得部１０は、マイクロホン１等を通信するための通信インタフェースを備えてもよい。
【００３４】
音源区間検出部１１は、マイクロホン１で取得した観測信号を用いて、音源区間を検出する。音源区間は、マイクロホン１が生成した観測信号の中で、音源からの音が含まれる区間である。例えば、音源区間は、時間区間で構成されてもよい。音源区間検出部１１は、例えば、以下に説明する方法で音源区間を検出する。図３を参照すると、音源区間の検出の処理の流れの一例が示されている。図３に示す例では、観測信号のエネルギーが観測信号の特徴量とされ、観測信号の特徴量が抽出される（ステップＳ４１）。さらに、観測信号のうちで雑音の音信号のエネルギーよりも大きいか否かが判別される（ステップＳ４２）。そして、雑音の音信号のエネルギーよりも大きいエネルギーの観測信号が検出され、検出された観測信号が形成する区間の情報が音源区間情報とされる（ステップＳ４３）。例えば、複数のマイクロホン１のうちの１つのマイクロホン１の観測信号について、観測信号の短時間エネルギーｐが下記の式１により計算される。
【００３５】
【数１】
0006374936.tif 000002
【００３６】
ここで、上記の式１において、ｔは観測信号の離散時間を示し、ｘ（ｔ）は１つのマイクロホン１で取得した観測信号の音情報を示し、Ｔは短時間エネルギーの計算に用いるサンプル数を示す。なお、ｘ（ｔ）は、観測信号の離散時間信号である。そして、短時間エネルギーｐを構成する観測信号が形成する区間は、ｐが閾値よりも大きければ、音源区間であり、ｐが閾値よりも小さければ、非音源区間である。別の閾値を設定することによって、音源区間の中で音声信号が含まれる音声区間をさらに検出することも可能である。これにより、音源区間の中で、音声区間と非音声区間とを識別することができる。音源区間検出部１１が実施する音源区間の検出方法は上記方法以外の方法でもよい。また、上述では、１つのマイクロホン１の音情報だけを用いた音源区間の検出方法を説明したが、音源区間の検出には複数のマイクロホン１で取得した音情報の全てを利用してもよい。
【００３７】
方向推定部１２は、音源区間検出部１１が検出した音源区間のうちの音声区間の信号に対して方向推定を行い、音声の推定方向を取得する。方向推定部１２は、例えば、以下に説明する方法で、音声区間の観測信号に関する推定方向を取得する。図４を参照すると、音の方向推定の処理の流れの一例が示されている。図４に示す例では、複数のマイクロホン１で取得した観測信号から、マイクロホン１同士の間の信号の到来時間差を表す相関行列が計算される（ステップＳ５１）。Ｍ個のマイクロホン１を使用した場合、Ｍ個のマイクロホン１で取得される観測信号の音情報Ｘωが、下記の式２で表わされる。
【００３８】
【数２】
0006374936.tif 000003
【００３９】
ここで、式２において、ωは観測信号の離散周波数を示し、Ｘω，ｍ（ｍ＝１，・・・・・，Ｍ）は、第ｍ番目のマイクロホン１で取得された音情報を示す。そして、相関行列Ｒωが、下記の式３で計算される。なお、ＸωＨは、Ｘωの随伴行列である。
【００４０】
【数３】
0006374936.tif 000004
【００４１】
また、音源方向を、水平方向の方位角θと鉛直方向の仰角φとの２つの変数を用いて表す場合、離散周波数ωにおけるマイクロホン１同士の間の観測信号の到来時間差を表すベクトルｄω（θ，φ）は、下記の式４により計算される（ステップＳ５２）。
【００４２】
【数４】
0006374936.tif 000005
【００４３】
ここで、式４において、ｊは複素記号を示し、τｍ（θ，φ）（ｍ＝１，・・・・・，Ｍ）は、音源方向（θ，φ）から到来した音波を第１番目のマイクロホン１を基準として第ｍ番目のマイクロホン１で受音したときの相対的な遅延時間を表す。なお、第１番目のマイクロホン１は、本実施の形態では、音源方向（θ，φ）から到来した音波を最初に受音するマイクロホンであるが、Ｍ個のマイクロホン１から任意に選定されてもよい。
次に、マイクロホン１同士の間の観測信号の到来時間差を表す相関行列Ｒωとベクトルｄω（θ，φ）との類似度Ｐω（θ，φ）が、下記の式５で計算される（ステップＳ５３）。
【００４４】
【数５】
0006374936.tif 000006
【００４５】
そして、類似度Ｐω（θ，φ）を最大にする音源方向（θ，φ）が探索され（ステップＳ５４）、当該音源方向（θ，φ）が、音源方向の推定結果、つまり音源方向情報とされる（ステップＳ５５）。方向推定部１２が使用する音の方向の推定方法は、上記で述べた以外の方法でもよい。
【００４６】
適応処理部１３は、方向推定部１２で取得した話者方向の音声を抽出するためのフィルタ係数を、マイクロホン１で取得した観測信号を用いて推定する。適応処理部１３は、例えば、以下に説明する方法で、フィルタ係数を推定する。図５を参照すると、適応処理におけるフィルタ係数の推定の処理の流れの一例が示されている。図５に示す例では、まず、方向推定部１２で取得した推定方向（θ，φ）の音源の信号を強調した信号ｄ（ｔ）が、下記の式６で計算される（ステップＳ６１）。
【００４７】
【数６】
0006374936.tif 000007
【００４８】
ここで、式６において、Ｍはマイクロホン１の数量を示し、ｔは観測信号の離散時間を示し、ｘｍ（ｔ）（ｍ＝０，１，・・・・・，Ｍ−１）はマイクロホン１からの入力信号、つまり観測信号を示し、τｍ（θ，φ）（ｍ＝０，１，・・・・・，Ｍ−１）は方向（θ，φ）に音源がある場合の遅延時間を示す。遅延時間τｍ（θ，φ）は、上述したように、音源方向（θ，φ）から到来した音波を第１番目のマイクロホン１を基準として第ｍ番目のマイクロホン１で受音したときの相対的な遅延時間を表す。例えば、ｘｍ（ｔ）は、音源区間検出部１１が検出した音声区間の信号であってもよい。
また、所望方向の信号が遮断された信号ｙｍ（ｔ）（ｍ＝０，１，・・・・・，Ｍ−２）が、以下の式７で計算される（ステップＳ６２）。なお、所望方向とは、音声の推定方向である。
【００４９】
【数７】
0006374936.tif 000008
【００５０】
次に、推定雑音信号ｎ（ｔ）が、以下の式８に示されるように、ｙｍ（ｔ）にフィルタ処理を行い加算することで計算される（ステップＳ６３）。
【００５１】
【数８】
0006374936.tif 000009
【００５２】
ここで、式８において、Ｌは適応フィルタのタップ数を示し、ｗｍ（ｋ）は適応フィルタの係数を示す。
次に、出力信号ｙ（ｔ）が、以下の式９により計算される（ステップＳ６４）。
【００５３】
【数９】
0006374936.tif 000010
【００５４】
ここで、式９において、τは、ｄ（ｔ）とｎ（ｔ）との間で位相をそろえるための遅延を示す。
適応フィルタの係数ｗｍ（ｋ）は、以下の式１０及び式１１で示される誤差ｅ（ｔ）の期待値Ｊが小さくなるように逐次的に更新される。
【００５５】
【数１０】
0006374936.tif 000011
【００５６】
ここで、式１０において、Ｅ［・］は期待値演算を示す。なお、適応処理部１３に用いる適応処理方法は、上記以外の方法でもよい。
【００５７】
適応処理収束監視部１４は、適応処理部１３におけるフィルタ係数の更新の状態から、適応処理の収束／未収束を判断する。具体的には、適応処理収束監視部１４は、適応処理部１３が計算した誤差ｅ（ｔ）の期待値Ｊが予め定めた閾値よりも小さくなった場合、適応処理が収束したと判断し、期待値Ｊが上記閾値以上の場合、適応処理が未収束であると判断する。図６を参照すると、フィルタ係数の推定におけるフィルタ係数の更新毎の誤差の期待値Ｊの一例が示されている。図６において、縦軸が期待値Ｊの大きさを示し、横軸がフィルタ係数ｗｍ（ｋ）を更新した回数を示す。図６に示されるように、フィルタ係数ｗｍ（ｋ）の更新回数の増加に伴い、期待値Ｊが徐々に小さくなっていることがわかる。そして、適応処理収束監視部１４は、期待値Ｊが閾値Ｊ１以上の場合に適応処理が未収束であると判断し、期待値Ｊが閾値Ｊ１を下回ると適応処理が収束したと判断する。なお、適応処理収束監視部１４は、フィルタ係数の更新回数が所定の回数Ｎ１に達した場合、適応処理が収束したと判断し、フィルタ係数の更新回数が所定の回数Ｎ１未満の場合、適応処理が未収束と判断してもよい。さらに、適応処理収束監視部１４は、期待値Ｊ及び更新回数の両方を用いて適応処理の収束を判断してもよい。
【００５８】
バッファ量決定部１５は、音源区間検出部１１で取得した音源区間の情報と、方向推定部１２で推定した推定方向の情報と、適応処理収束監視部１４で取得した適応処理の収束状態の情報とに基づき、ビームフォーミング処理部１７での処理に用いる音情報のバッファ量を決定する。具体的には、バッファ１６に保持される音情報のバッファ量が決定される。なお、バッファ量は、時系列に従って並ぶ音情報の量であるため、長さを用いて表現されてもよい。例えば、バッファ量が長いとは、バッファ量が大きいことを示し、バッファ量が短いとは、バッファ量が小さいことを示す。
【００５９】
バッファ量決定部１５は、例えば、以下に説明する方法で、バッファ量を決定する。図７を参照すると、バッファ量の決定処理の流れの一例が示されている。また、図８には、図７の処理で決定されるバッファ量の各ケースの一覧の一例が示されている。図７及び図８に示される例では、バッファ量決定部１５ではまず、方向推定部１２で取得した推定方向情報（θ，φ）が、前回取得した推定方向情報（θｔ−１，φｔ−１）から変化していた場合（ステップＳ８１でＹｅｓ）、バッファ１６で保持する音情報のバッファの量を増加させる（ステップＳ８５）。話者方向等の音声の推定方向が変化したか否かの判断は、例えば、以下の式１２を使用して実施できる。バッファ量決定部１５は、式１２により算出される推定方向の変化量Δが閾値よりも大きければ変化ありと判断し、閾値以下であれば変化なしと判断する。
【００６０】
【数１１】
0006374936.tif 000012
【００６１】
バッファ量決定部１５は、推定方向情報が変化した直後は、適応処理の収束状態及び音源区間の情報に関わらず、バッファ量を初期値Ｑに戻す。なお、初期値Ｑとは、適応処理部１３における適応処理が開始してから収束するまでの間において、ビームフォーミング処理部１７での処理に必要である最大の量のバッファ量である。よって、このとき、バッファ量は、最大となる。これにより、適応処理の開始から収束までに対応する十分な量のバッファを用いてビームフォーマでの処理に用いるフィルタ係数が求められるため、話頭切れのない高品質な音声が得られる。
【００６２】
次に、推定方向情報が、前回取得した推定方向情報から変化しておらず（ステップＳ８１でＮｏ）、適応処理収束監視部１４において適応処理が未収束と判断された場合（ステップＳ８２でＮｏ）、バッファ量決定部１５は、バッファ量を変化させない（ステップＳ８６）。なお、音声区間が非音声区間に変わった場合も、推定方向情報が前回取得した推定方向情報から変化していないとみなす。
【００６３】
また、推定方向情報が前回の推定方向情報から変化しておらず（ステップＳ８１でＮｏ）、適応処理収束監視部１４において適応処理が収束したと判断された場合（ステップＳ８２でＹｅｓ）でも、音源区間検出部１１で新たに取得される音源区間情報が音声区間の時（ステップＳ８３でＹｅｓ）は、バッファ量決定部１５は、バッファ量を変化させない（ステップＳ８７）。
【００６４】
次に、推定方向情報が前回の推定方向情報から変化しておらず（ステップＳ８１でＮｏ）、適応処理が収束している状態（ステップＳ８２でＹｅｓ）で、新たに検出される音源区間の情報が非音声区間であり（ステップＳ８３でＮо）、且つ現在のバッファ量が予め設定した下限値よりも小さい場合（ステップＳ８４でＮо）、バッファ量決定部１５は、バッファ量を変化させない（ステップＳ８８）。
【００６５】
最後に、推定方向情報が前回の推定方向情報から変化しておらず（ステップＳ８１でＮｏ）、適応処理が収束している状態（ステップＳ８２でＹｅｓ）で、新たに検出される音源区間の情報が非音声区間であり（ステップＳ８３でＮо）、且つ現在のバッファ量が予め設定した下限値よりも大きい場合（ステップＳ８４でＹｅｓ）は、バッファ量決定部１５は、バッファ量を減少させる（ステップＳ８９）。推定方向情報が一定で適応処理が収束している場合に、音源区間の情報として非音声区間が検出された時に、バッファ量を減らすことで、音声認識のレスポンスが速くなる。
【００６６】
ここで、バッファ量の下限値を設定しない場合において、推定方向情報が前回取得した推定方向情報から変化しておらず（ステップＳ８１でＮｏ）、適応処理が収束している状態（ステップＳ８２でＹｅｓ）で、新たに検出される音源区間の情報が非音声区間である時（ステップＳ８３でＮо）、図８に示されるように、バッファ量を減少させる構成をとってもよい。
【００６７】
ビームフォーミング処理部１７は、マイクロホン１で取得した観測信号等の音情報と、適応処理部１３で推定したフィルタ係数とを用いて、バッファ１６で保持した入力信号つまり音情報に対し、ビームフォーミング処理を行う。ビームフォーミング処理部１７は、ビームフォーミング処理を行うことによって、マイクロホン１で取得した音情報の音声情報を出力信号として出力する。ここで、ビームフォーミング処理により出力信号を得るための処理の流れは、適応処理部１３が図５に示されるステップＳ６１〜Ｓ６４の処理を実施して出力信号ｙ（ｔ）を計算する手順と同様である。つまり、ビームフォーミング処理部１７は、出力信号ｙ（ｔ）を算出する。
音声認識部１８は、ビームフォーミング処理部１７で処理された音声情報に対して音声認識を行う。例えば、音声認識部１８は、音声情報を音声信号に変換する。
【００６８】
［音声認識装置の動作］
図２及び図９を参照して、実施の形態１に係る音声認識装置１００の動作の一例を説明する。図９は、実施の形態１に係る音声認識装置１００の動作の流れの一例を示すフローチャートである。音声認識装置１００の音情報取得部１０は、複数のマイクロホン１を介して音の観測信号、つまり音情報を取得する（ステップＳ１０１）。音情報取得部１０によって取得された観測信号は、後述するように、音声認識装置１００の音源区間検出部１１、方向推定部１２及び適応処理部１３でも使用され、さらにバッファ１６に一時的に記憶される。
【００６９】
音源区間検出部１１は、複数のマイクロホン１の観測信号から音源区間及び音源区間内の音声区間を検出する（ステップＳ１０２）。つまり、音源区間における音声区間及び非音声区間が特定される。音源区間検出部１１は、音源区間及び音声区間等の情報を音情報として、方向推定部１２に送る。後述するように、音源区間及び音声区間等の情報は、適応処理部１３、バッファ量決定部１５及びビームフォーミング処理部１７でも使用される。
【００７０】
方向推定部１２は、音源区間検出部１１から受け取った情報のうちの音声区間に対して方向推定を行い、音声の推定方向を算出する（ステップＳ１０３）。方向推定部１２は、算出した推定方向と音声区間とを関連付けた情報を、音情報として適応処理部１３に送る。このような推定方向及び音声区間の情報は、バッファ量決定部１５でも使用される。
【００７１】
適応処理部１３は、方向推定部１２から受け取った推定方向の音声を抽出するためのフィルタ係数を、マイクロホン１で取得した観測信号及び音源区間検出部１１で検出された音声区間の情報を用いて推定する（ステップＳ１０４）。適応処理部１３は、フィルタ係数を逐次的に更新しつつ推定し、更新する毎にフィルタ係数を音声認識装置１００の適応処理収束監視部１４に送る。
【００７２】
適応処理収束監視部１４は、適応処理部１３から逐次的に受け取るフィルタ係数の状態から、適応処理が収束しているか未収束であるかを判断する（ステップＳ１０５）。つまり、フィルタ係数が収束しているか未収束であるかが判断される。適応処理収束監視部１４は、推定方向の観測信号を強調した信号ｄ（ｔ）と、信号ｄ（ｔ）から雑音信号ｎ（ｔ）を減算する処理をした出力信号ｙ（ｔ）との誤差ｅ（ｔ）の期待値Ｊに基づき上記判断をしてもよく、フィルタ係数の更新回数に基づき上記判断をしてもよく、期待値Ｊ及びフィルタ係数の更新回数の両方に基づき上記判断をしてもよい。適応処理収束監視部１４は、適応処理の収束及び未収束の判断結果をバッファ量決定部１５に送る。
【００７３】
バッファ量決定部１５は、適応処理収束監視部１４から受け取る適応処理の収束状態に基づき、バッファ１６に保持する観測信号等の音情報のバッファ量を決定する（ステップＳ１０６）。具体的には、バッファ量決定部１５は、音源区間検出部１１で検出された音源区間及び音声区間等の情報と、方向推定部１２で推定された推定方向と、適応処理収束監視部１４から受け取る適応処理の収束状態とに基づき、バッファ量を決定する。
【００７４】
そして、バッファ量決定部１５は、音声認識装置１００での音声認識処理の対象とする音情報つまり観測信号が、推定方向が変化した直後の信号であるか否かを判断する（ステップＳ１０７）。つまり、対象とする観測信号が、その１つ前に観測された観測信号に対して推定方向を変化させているか否かが判断される。なお、無音の状態から音源から音声が発せられた場合も、推定方向が変化することになる。このため、音声認識の処理が初めて開始された直後の観測信号も、推定方向が変化した直後の信号に含まれる。
【００７５】
観測信号が、推定方向が変化した直後の信号である場合（ステップＳ１０７でＹｅｓ）、バッファ量決定部１５は、バッファ量を初期値にする（ステップＳ１０８）。具体的には、バッファ量決定部１５は、適応処理の収束に十分な量である初期値にバッファ量を決定する。例えば、適応処理の収束に十分な量のバッファ量は、現在の処理よりも前に観測信号に対して実施したビームフォーミング処理において、適応処理の開始から収束までの間で必要となった最大量のバッファ量としてもよい。或いは、適応処理の収束に十分な量のバッファ量は、予め設定された量であってもよい。バッファ量決定部１５は、決定したバッファ量に基づき、バッファ１６が保持するバッファ量を変更する。例えば、図１０に、バッファ１６での保持の例を説明する図が示されている。方法１では、バッファ１６がバッファ１６に溜められている音情報の中で所定のバッファ量の音情報を確保することによって、音情報が保持される例が示されている。具体的には、バッファ１６において、バッファ量最大分のメモリが確保され、確保されたメモリへの参照範囲を制限することで、所定のバッファ量での音情報の保持、又はバッファ量の変更が実現される。方法２では、音情報を溜めているバッファ１６が所定のバッファ量に相当するメモリを解放することで、音情報が保持される例が示されている。具体的には、バッファ１６において、必要なバッファ量分のメモリを確保及び解放することで、所定のバッファ量での音情報の保持、又はバッファ量の変更が実現される。
【００７６】
観測信号が、推定方向が変化した直後の信号でない場合（ステップＳ１０７でＮｏ）、バッファ量決定部１５は、対象とする観測信号よりも前の観測信号の処理で採用したバッファ量から、バッファ量を変化させない又はバッファ量を減らすようにバッファ量を決定する。バッファ量決定部１５は、決定したバッファ量に基づき、バッファ１６が保持するバッファ量を調節する。
【００７７】
具体的には、バッファ量決定部１５は、適応処理が収束しており、且つ対象とする観測信号から検出される音源区間が非音声区間であるか否かを判定する（ステップＳ１０９）。適応処理が収束していない又は検出される音源区間が音声区間である場合（ステップＳ１０９でＮｏ）、バッファ量決定部１５は、バッファ量を変化させないようにバッファ量を決定する（ステップＳ１１１）。バッファ量決定部１５は、決定したバッファ量に基づき、バッファ１６が保持するバッファ量を維持する。
【００７８】
適応処理が収束しており且つ検出される音源区間が非音声区間である場合（ステップＳ１０９でＹｅｓ）、バッファ量決定部１５は、現在のバッファ量が予め設定した下限値よりも大きいか否かを判断する（ステップＳ１１０）。例えば、音声の推定方向が変化せず、検出される音源区間が非音声区間であるケースには、音声を発していた話者が、息継ぎ、言いよどみなどの原因で音声を発しないケース等が含まれる。
【００７９】
ここで、バッファ量の下限値について、説明する。例えば、適応処理によりフィルタ係数が最適値に収束した場合でも、雑音などが変化する等のマイクロホン１の周囲の音環境が変化する影響で、フィルタ係数の最適値が変化する。このため、再度の適応処理が必要となる。変化が小さい音環境では、フィルタ係数の最適値の変化も小さく、変化が大きい音環境では、フィルタ係数の最適値の変化も大きくなる。例えば、バッファ量が小さく設定されている状態で、フィルタ係数の最適値が大きく変化すると、ビームフォーミング処理における雑音抑圧性能が低下する可能性がある。バッファ量の下限値は、フィルタ係数の最適値が変動してもビームフォーミング処理能力の低下が抑えられるようなバッファ量とされる。例えば、変化が大きい音環境では、バッファ量の下限値は大きい値に設定され、変化が小さい音環境では、バッファの下限値は、小さい値、又は零に設定される。つまり、バッファ量の下限値は、マイクロホン１の周囲の音環境に応じて設定される。
【００８０】
現在のバッファ量が下限値よりも大きい場合（ステップＳ１１０でＹｅｓ）、バッファ量決定部１５は、バッファ量を減らすようにバッファ量を決定する（ステップＳ１１２）。現在のバッファ量が下限値以下の場合（ステップＳ１１０でＮо）、バッファ量決定部１５は、バッファ量を変化させないようにバッファ量を決定する（ステップＳ１１１）。
【００８１】
ビームフォーミング処理部１７は、マイクロホン１で取得した観測信号と、適応処理部１３で推定したフィルタ係数とを用いて、上述のようにバッファ１６で保持した観測信号等の音情報に対し、ビームフォーミング処理を行う（ステップＳ１１３）。この結果、ビームフォーミング処理部１７は、マイクロホン１で取得した観測信号の音声情報を出力する。
【００８２】
音声認識部１８は、ビームフォーミング処理部１７で処理された音声情報に対して音声認識を行う（ステップＳ１１４）。これにより、音声認識装置１００は、マイクロホン１で取得した観測信号から音声を認識する。
【００８３】
ステップＳ１０７及びＳ１０８の処理によって、話者の話し始め、話者の位置の変更、異なる話者への変更等の音声の方向が変化した時点の直後、音声認識装置１００は、十分なバッファ量の音情報を用いて、ビームフォーミング処理等による音声認識を実施する。よって、話頭切れのない高品質な音声認識が可能になる。
【００８４】
ステップＳ１０７、Ｓ１０９、Ｓ１１０及びＳ１１２の処理によって、話者の息継ぎ、言いよどみ等の無音区間が発生した場合、音声認識装置１００は、減少させたバッファ量の音情報を用いて、ビームフォーミング処理等による音声認識を実施する。よって、無音区間における音声認識に関する処理が迅速化される。
【００８５】
ステップＳ１０７、Ｓ１０９、Ｓ１１０及びＳ１１１の処理によって、音声認識装置１００は、バッファ量の過度な減少を抑え、それにより、ビームフォーミング処理等による音声認識精度及び速度の低下を抑える。
【００８６】
ステップＳ１０７、Ｓ１０９及びＳ１１１の処理によって、音声認識装置１００は、音声区間の処理時にバッファ量を維持し、それにより、ビームフォーミング処理等による音声認識精度及び速度の低下を抑える。又は、音声認識装置１００は、適応処理が未収束の場合にバッファ量を維持し、それにより、適応処理の収束が遅くなることを抑える。
【００８７】
なお、ステップＳ１１０の処理において、現在のバッファ量と予め設定した下限値とが比較されていたが、この処理は省かれてもよい。この場合、ステップＳ１０９でＹｅｓの場合、バッファ量決定部１５は、バッファ量を減らすようにバッファ量を決定する。
【００８８】
上述のような音声認識装置１００によって出力される信号の例が、図１１に示されている。図１１は、マイクロホン１に入力された音声波形と、従来技術の音声認識方法により出力される信号の波形と、実施の形態１に係る音声認識装置１００により出力される信号の波形とを比較した図である。図１１では、横軸が時間軸である。音声認識装置１００の出力信号では、入力信号の無音区間に対する処理速度が、従来技術の音声認識方法よりも大幅に向上している。これにより、音声認識装置１００における１つ目の入力信号の出力に対する２つ目の入力信号の出力の遅延が、従来技術の音声認識方法よりも大幅に短くなり、音声認識装置１００における２つの入力信号の音声認識の開始時点が、従来技術の音声認識方法よりも早くなる。よって、音声認識装置１００によれば、話者の発音に対してリアルタイムな音声認識が可能になる。
【００８９】
［実施の形態２］
［音声認識装置の構成］
図１２を参照して、実施の形態２に係る音声認識装置２００の構成を説明する。実施の形態２に係る音声認識装置２００は、音声の方向が変化した場合に、既に算出した既存のフィルタ係数による処理と新たに算出するフィルタ係数による処理とを比較し選択し、選択したフィルタ係数による処理を用いて、音声の方向の変化後の音声認識処理を実施するように構成される。以下、実施の形態２に係る音声認識装置２００について、実施の形態１に係る音声認識装置１００と異なる点を中心に説明し、同様の点の説明を省略する。
【００９０】
図１２に示されるように、実施の形態２に係る音声認識装置２００は、実施の形態１に係る音声認識装置１００と同様に、音情報取得部１０、音源区間検出部１１、方向推定部１２、適応処理部１３、適応処理収束監視部１４、バッファ量決定部１５及びバッファ１６を含む。そして、音声認識装置２００は、実施の形態１に係る音声認識装置１００と同様の構成のビームフォーミング処理部及び音声認識部を、第一ビームフォーミング処理部１７及び第一音声認識部１８として含む。さらに、音声認識装置２００は、第二ビームフォーミング処理部２１７、第二音声認識部２１８、係数保持部２１９及び認識結果選択部２２０を含む。第二ビームフォーミング処理部２１７及び第二音声認識部２１８はそれぞれ、第一ビームフォーミング処理部１７及び第一音声認識部１８と同様の機能を有する。
【００９１】
係数保持部２１９は、適応フィルタの既存のフィルタ係数、つまり、音声認識処理に使用中のフィルタ係数を保持する。例えば、係数保持部２１９は、バッファ１６と同様に、フィルタ係数を一時的に記憶することによって、フィルタ係数を保持する。係数保持部２１９は、話者方向の変化などにより音声の推定方向が変化した時、変化前のフィルタ係数を保持する。なお、係数保持部２１９が保持するフィルタ係数は、使用中のフィルタ係数でなくてもよく、過去に使用されたフィルタ係数でもよい。係数保持部２１９は、複数のフィルタ係数を保持してもよい。係数保持部２１９が保持するフィルタ係数は、適応処理収束後のフィルタ係数であってよい。
【００９２】
第二ビームフォーミング処理部２１７は、係数保持部２１９で保持されているフィルタ係数と、マイクロホン１で取得される観測信号とを用いて、音声情報である第二出力信号を出力する。つまり、第二ビームフォーミング処理部２１７は、バッファ１６の音情報を使用せずにビームフォーミング処理を実行する。なお、第一ビームフォーミング処理部１７によって出力される音声情報を第一出力信号と呼ぶ。
第二音声認識部２１８は、第二ビームフォーミング処理部２１７で処理された第二出力信号に対して音声認識を行う。
【００９３】
認識結果選択部２２０は、第一ビームフォーミング処理部１７による第一出力信号と、第二ビームフォーミング処理部２１７による第二出力信号とを比較する。具体的には、認識結果選択部２２０は、第一出力信号及び第二出力信号のいずれの音声認識結果が信頼できるか否かを判断する。そして、認識結果選択部２２０は、第一出力信号及び第二出力信号の音声認識結果のうちの信頼できる方の音声認識結果を出力する。
【００９４】
［音声認識装置の動作］
図１２及び図１３を参照して、実施の形態２に係る音声認識装置２００の動作の一例を説明する。図１３は、実施の形態２に係る音声認識装置２００の動作の流れの一例を示すフローチャートである。以下の説明では、音声認識装置２００が、実施の形態１に係る音声認識装置１００と同様に動作している状態で、音声の方向が変化した場合の例を説明する。音声の方向が変化する前では、音声認識装置２００は、第二ビームフォーミング処理部２１７及び第二音声認識部２１８を使用せず、第一ビームフォーミング処理部１７及び第一音声認識部１８を使用して音声認識処理を実施する。
【００９５】
音声認識装置２００による音声認識処理中、処理に使用されているフィルタ係数を係数保持部２１９が保持する（ステップＳ２０１）。また、係数保持部２１９は、方向推定部１２により検出される音声の推定方向を、適応処理部１３を介して取得する。
【００９６】
方向推定部１２による音声の推定方向が変化すると（ステップＳ２０２でＹｅｓ）、係数保持部２１９は、保持しているフィルタ係数である保持フィルタ係数を第二ビームフォーミング処理部２１７に出力する。音声の推定方向に変化がない場合（ステップＳ２０２でＮｏ）、現在実施中の処理方法での音声認識処理が継続される。
【００９７】
方向推定部１２による音声の推定方向が変化した結果、第二ビームフォーミング処理部２１７が、保持フィルタ係数を用いてビームフォーミング処理を開始し、第一ビームフォーミング処理部１７は、ビームフォーミング処理を継続する。つまり、第一ビームフォーミング処理部１７及び第二ビームフォーミング処理部２１７が同時に並行してビームフォーミング処理を実施する（ステップＳ２０３）。そして、第一ビームフォーミング処理部１７及び第二ビームフォーミング処理部２１７は、それぞれの出力信号を第一音声認識部１８、第二音声認識部２１８及び認識結果選択部２２０に出力する。
【００９８】
第一ビームフォーミング処理部１７は、新たに算出されるフィルタ係数と、初期値に戻されたバッファ量の音情報とを用いてビームフォーミング処理を実施する。このため、第一ビームフォーミング処理部１７による第一出力信号は、音声の推定方向の変化時からバッファ量に起因する遅延を伴って出力される。
【００９９】
第二ビームフォーミング処理部２１７は、保持フィルタ係数と、マイクロホン１から取得される観測信号とを用いてビームフォーミング処理を実施する。このため、第二ビームフォーミング処理部２１７での処理量は、第一ビームフォーミング処理部１７での処理量よりも大幅に小さくなる。さらに、フィルタ係数の算出が必要でない。よって、第二ビームフォーミング処理部２１７による第二出力信号は、音声の推定方向の変化時から、第一ビームフォーミング処理部１７よりも大幅に小さくなった遅延を伴って出力される。
【０１００】
例えば、第一出力信号及び第二出力信号の出力例が図１４に示されている。図１４は、マイクロホン１に入力された音声波形と、第一ビームフォーミング処理部１７により出力される第一出力信号の波形と、第二ビームフォーミング処理部２１７により出力される第二出力信号の波形とを比較した図である。図１４では、横軸が時間軸である。図１４に示されるように、第一出力信号の出力時点が、第二出力信号の出力時点よりも大幅に遅延する。
【０１０１】
第一音声認識部１８及び第二音声認識部２１８はそれぞれ、第一ビームフォーミング処理部１７及び第二ビームフォーミング処理部２１７から受け取る第一出力信号及び第二出力信号に対して、音声認識を実施する（ステップＳ２０４）。
【０１０２】
認識結果選択部２２０は、第一ビームフォーミング処理部１７及び第二ビームフォーミング処理部２１７から受け取る第一出力信号及び第二出力信号を比較し、第二出力信号が信頼できるか否かを判断する（ステップＳ２０５）。つまり、認識結果選択部２２０は、第二出力信号の信頼性を検討する。
【０１０３】
例えば、認識結果選択部２２０は、以下のような方法で２つの出力信号を比較する。具体的には、認識結果選択部２２０は、第一出力信号ｙａ（ｔ）及び第二出力信号ｙｂ（ｔ）に関して、同じ観測信号に対応する第一出力信号ｙａ（ｔ）及び第二出力信号ｙｂ（ｔ）を抜き出し、それぞれの出力信号の大きさの和を下記の式１３及び式１４のように算出する。さらに、認識結果選択部２２０は、両者の差分を下記の式１５のように算出する。例えば、同じ観測信号は、同時刻に１つのマイクロホン１によって取得された観測信号を対象としてもよく、同時刻に複数のマイクロホン１によって取得された複数の観測信号を対象としてもよい。
【０１０４】
【数１２】
0006374936.tif 000013
【０１０５】
認識結果選択部２２０は、差分が閾値よりも小さい場合、第二出力信号が信頼できると判断する。第一出力信号ｙａ（ｔ）及び第二出力信号ｙｂ（ｔ）を抜き出す対象は、図１４に示される第一出力信号及び第二出力信号の出力波形の全体であってもよく、出力波形の一部であってもよい。出力波形の一部である場合、出力波形における同一の区間が対象として選択される。
【０１０６】
第二出力信号が信頼できる場合（ステップＳ２０５でＹｅｓ）、認識結果選択部２２０は、第二出力信号に対する音声認識結果を出力する（ステップＳ２０６）。これにより、第一ビームフォーミング処理部１７及び第一音声認識部１８による音声認識処理が停止し、第二ビームフォーミング処理部２１７及び第二音声認識部２１８による音声認識処理が継続する。この処理は、次に音声の推定方向が変化するまで継続される。次の音声の推定方向の変化後、第一ビームフォーミング処理部１７及び第一音声認識部１８による音声認識処理が再開され、ステップＳ２０２〜Ｓ２０５の処理が再度実施される。
【０１０７】
第二出力信号が信頼できない場合（ステップＳ２０５でＮо）、認識結果選択部２２０は、第一出力信号に対する音声認識結果を出力する（ステップＳ２０７）。これにより、第二ビームフォーミング処理部２１７及び第二音声認識部２１８による音声認識処理が停止し、第一ビームフォーミング処理部１７及び第一音声認識部１８による音声認識処理が継続する。この処理は、次に音声の推定方向が変化するまで継続される。次の音声の推定方向の変化後、第二ビームフォーミング処理部２１７及び第二音声認識部２１８による音声認識処理が再開され、ステップＳ２０１〜Ｓ２０５の処理が再度実施される。
【０１０８】
音声認識装置２００は、音声の推定方向が変化したとき、第二出力信号に信頼性がある場合に第二出力信号を出力することによって、第一出力信号を出力する場合よりも出力の遅延時間を低減し、音声認識を早く開始できる。よって、音声認識結果が早く得られ、音声認識のレスポンスが向上する。
【０１０９】
［効果等］
上述したように、実施の形態１に係る音声認識装置１００は、複数のマイクロホン１で取得した音情報から音声認識する。音声認識装置１００は、複数のマイクロホン１からの音情報を取得する音情報取得部１０と、音情報から音を含む音源区間を検出する音源区間検出部１１と、音源区間のうちの音声区間の推定方向を、方向推定により取得する方向推定部１２と、推定方向の音声を抽出するためのフィルタ係数を、音情報を用いて推定する適応処理をする適応処理部１３と、適応処理の収束状態の情報を取得する適応処理収束監視部１４と、決定されたバッファ量に応じて音情報を保持するバッファ１６と、音源区間の情報と推定方向の情報と適応処理の収束状態の情報とに基づいて、バッファ１６に保持する音情報のバッファ量を決定するバッファ量決定部１５と、バッファ１６に保持された音情報とフィルタ係数とを用いて、ビームフォーミング処理して音声情報を取得するビームフォーミング処理部１７と、ビームフォーミング処理された音声情報に対して音声認識する音声認識部１８とを備える。バッファ量決定部１５は、音情報の処理の開始直後は適応処理の収束に十分な量のバッファ量を、バッファ１６に保持するバッファ量として決定する。
【０１１０】
上述の構成において、バッファ量決定部１５は、音情報の処理の開始直後は適応処理の収束に十分な量のバッファ量を、バッファ１６に保持するバッファ量として決定する。これにより、音情報の最初の部分は、適応処理の収束に十分なバッファ量を用いて処理されるため、音情報の最初の部分の音声認識結果における欠損の発生が抑制され、高品質な音声認識結果が得られる。つまり、音声における話頭切れが抑制される。音情報の最初の部分以外の部分では、音源区間の情報と推定方向の情報と適応処理の収束状態の情報とに基づいて、バッファ１６に保持するバッファ量が決定される。これにより、ビームフォーミング処理に使用するバッファ量の低減が可能になる。よって、音声認識のレスポンスを速くすることが可能になる。従って、話頭切れを抑制しつつ音声認識のレスポンスを向上することが可能になる。なお、音情報の最初の部分は、例えば、話者の話始めの音情報であってもよく、話者が変わる又は移動する等により話者の音声方向が変化した直後の音情報であってもよい。
【０１１１】
実施の形態１に係る音声認識方法は、（ａ１）複数のマイクロホン１を介して音情報を取得する処理と、（ａ２）取得した音情報から音を含む音源区間を検出する処理と、（ａ３）検出した音源区間のうちの音声区間に対して方向推定することで、音声の推定方向を取得する処理と、（ａ４）推定方向の音声情報を抽出するためのフィルタ係数を、取得した音情報を用いて推定する適応処理と、（ａ５）音源区間の情報と推定方向の情報と適応処理の収束状態の情報とに基づいて、バッファ１６に保持する音情報のバッファ量を決定する処理と、（ａ６）決定したバッファ量に応じて、取得した音情報をバッファ１６に保持する処理と、（ａ７）バッファ１６に保持した音情報と適応処理で推定したフィルタ係数とを用いて、ビームフォーミング処理し音声情報を取得する処理と、（ａ８）ビームフォーミング処理された音声情報に対して音声認識する処理とを含む。音声認識方法は、処理（ａ５）では、取得した音情報の処理の開始直後は、適応処理の収束に十分な量のバッファ量を、バッファに保持するバッファ量として決定する。例えば、バッファ量に応じて音情報をバッファに保持することは、バッファに溜められている音情報において、バッファ量の音情報を確保すること、及び、音情報を溜めているバッファにおいて、バッファ量の音情報に該当するメモリを解放することのうちの少なくとも一方を含んでよい。上述の方法によれば、実施の形態１に係る音声認識装置１００と同様の効果が得られる。
【０１１２】
実施の形態１に係る音声認識方法では、処理（ａ５）において、音声の推定方向の情報が、前回に取得した音声の推定方向の情報から変化した場合は、バッファ量を初期値に戻す。上述の方法によれば、音声の推定方向が変化した場合に、バッファ量は、初期値に戻される。例えば、初期値を、音情報の処理の開始直後のバッファ量としてもよい。これにより、音声の推定方向が変化した場合にも、話頭切れが抑制された高品質な音声認識結果が得られる。音声認識装置１００のバッファ量決定部１５も、上記処理を実施してもよい。
【０１１３】
実施の形態１に係る音声認識方法では、処理（ａ５）において、音声の推定方向の情報が、前回に取得した音声の推定方向の情報から変化しておらず、且つ適応処理が収束している状態で、検出される音源区間の情報が非音声区間の情報である場合は、バッファ量を減少する。上述の方法によれば、非音声区間の音情報に対する処理量の低減が可能である。さらに、推定方向が一定であり、且つ適応処理が収束しているため、バッファ量の減少が各処理の速度を遅くするような影響を小さくすることができる。よって、音声認識処理速度の向上が可能になる。音声認識装置１００のバッファ量決定部１５も、上記処理を実施してもよい。
【０１１４】
実施の形態１に係る音声認識方法では、処理（ａ５）において、音声の推定方向の情報が、前回に取得した音声の推定方向の情報から変化しておらず、且つ適応処理が収束している状態で、検出される音源区間の情報が非音声区間の情報であり、且つ現在のバッファ量が予め設定した下限値よりも大きい場合は、バッファ量を減少する。上述の方法によれば、バッファ量が下限値以下の小さい量になることが抑えられる。バッファ量が小さ過ぎると、音声認識処理の精度が低下する。また、バッファ量が小さ過ぎると、検出される音源区間の情報が音声区間の情報に変化したとき、バッファ量を増加させた後に音声認識処理することが必要になる。よって、処理のレスポンスが低下する。バッファ量を下限値超に維持することによって、音声認識処理の精度及びレスポンスの低下が抑えられる。音声認識装置１００のバッファ量決定部１５も、上記処理を実施してもよい。
【０１１５】
実施の形態１に係る音声認識方法では、処理（ａ５）において、音声の推定方向の情報が、前回に取得した音声の推定方向の情報から変化しておらず、且つ適応処理が収束していない場合は、バッファ量を変更しない。上述の方法によれば、適応処理の処理速度が低下し、適応処理の収束に要する時間が増加することが抑えられる。音声認識装置１００のバッファ量決定部１５も、上記処理を実施してもよい。
【０１１６】
実施の形態１に係る音声認識方法では、処理（ａ５）において、音声の推定方向の情報が、前回に取得した音声の推定方向の情報から変化しておらず、且つ適応処理が収束しており、且つ検出される音源区間の情報が音声区間の情報の場合は、バッファ量を変更しない。上述の方法において、音声区間の情報に対しては、明瞭で高品質な音声認識結果を得るために、ある程度のバッファ量が必要となる。バッファ量を変更しないことによって、それまでに実施されてきた音声認識処理の精度が維持される。音声認識装置１００のバッファ量決定部１５も、上記処理を実施してもよい。
【０１１７】
実施の形態２に係る音声認識方法は、実施の形態１に係る方法に加えて、（ｂ１）適応処理により推定したフィルタ係数を保持する処理と、（ｂ２）保持したフィルタ係数を用いてビームフォーミング処理し音声情報を取得する処理と、（ｂ３）処理（ｂ２）で取得された音声情報に対して音声認識する処理と、（ｂ４）推定方向が変化した場合、推定方向が変化した時以降に取得した音情報に対して、処理（ａ１）〜（ａ７）を実行することによって、ビームフォーミング処理された音声情報を取得する処理と、（ｂ５）処理（ｂ２）で取得された音声情報と、処理（ｂ４）で取得された音声情報とを用いて、処理（ｂ３）による音声認識結果が信頼できるか否かを判断する処理と、（ｂ６）処理（ｂ５）での判断の結果、信頼できる場合は、処理（ｂ３）による音声認識結果を出力し、信頼できない場合は、処理（ｂ４）で取得された音声情報に対して音声認識して得られる音声認識結果を出力する処理とをさらに含む。
【０１１８】
上述の方法において、処理（ｂ２）と処理（ｂ４）とを比較した場合、処理（ｂ２）を用いた音声認識処理の方が、処理（ｂ４）を用いた音声認識処理よりも速いレスポンスを実現する。信頼性がある場合の処理（ｂ２）を用いて音声認識処理することによって、音声認識の処理精度を低下させずに、音声認識処理のレスポンスを速くすることが可能になる。音声認識装置２００の認識結果選択部２２０等も、上記処理を実施してもよい。
【０１１９】
なお、上記方法は、ＭＰＵ、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【０１２０】
また、実施の形態での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。例えば、実施の形態での処理は、次のようなプログラムによって、実現される。
【０１２１】
すなわち、このプログラムは、コンピュータに実行させるプログラムであって、（ｃ１）複数のマイクロホン１からの音情報を取得し、（ｃ２）音情報から音を含む音源区間を検出し、（ｃ３）音源区間のうちの音声区間の推定方向を、方向推定により取得し、（ｃ４）推定方向の音声情報を抽出するためのフィルタ係数を、音情報を用いた適応処理により推定し、（ｃ５）音源区間の情報と推定方向の情報と適応処理の収束状態の情報とに基づいて、バッファ１６に保持する音情報のバッファ量を決定し、（ｃ６）決定したバッファ量に応じて、音情報をバッファ１６に保持し、（ｃ７）バッファ１６に保持した音情報とフィルタ係数とを用いて、ビームフォーミング処理して音声情報を取得し、（ｃ８）ビームフォーミング処理後の音声情報に対して音声認識する。さらに、このプログラムは、音情報の処理の開始直後は、適応処理の収束に十分な量の音情報をバッファ１６に保持する。上述のプログラムによれば、実施の形態１に係る音声認識装置１００及び音声認識方法と同様の効果が得られる。
【０１２２】
なお、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。
【０１２３】
また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。
【０１２４】
また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
【０１２５】
上述したように、本開示の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【０１２６】
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態の変形例又は他の実施の形態にも適用可能である。また、実施の形態及び変形例で説明する各構成要素を組み合わせて、新たな実施の形態又は変形例とすることも可能である。
【０１２７】
実施の形態に係る音声認識装置１００及び２００は、マイクロホン１を備えていなかったが、マイクロホン１を備えるように構成されてもよい。さらに、カメラ等の画像撮影手段とその撮影画像を処理する処理部とを備えてもよい。例えば、音声認識装置は、話者の音声認識結果と、カメラで得られた撮影画像とを組み合わせて出力するように構成されてもよい。さらに、音声認識装置又は音声認識装置を備えるロボット等の装置が、話者の音声認識結果と、撮影画像による話者の画像認識結果とを照合して、人物を認識するように構成されてもよい。
【産業上の利用可能性】
【０１２８】
本開示の技術は、使用者がマイクロホンの位置を意識しなくてもよいハンズフリーでの音声操作機能を有するテレビ、対話型ロボット、携帯端末、ウェアラブル端末などのマイクロホンを使用して音声認識を実施する種々の機器における音声認識装置等として利用可能である。
【符号の説明】
【０１２９】
１  マイクロホン
１０  音情報取得部
１１  音源区間検出部
１２  適応処理部
１２  方向推定部
１３  適応処理部
１４  適応処理収束監視部
１５  バッファ量決定部
１６  バッファ
１７  ビームフォーミング処理部，第一ビームフォーミング処理部
１８  音声認識部，第一音声認識部
１００，２００  音声認識装置
２１７  第二ビームフォーミング処理部
２１８  第二音声認識部
２１９  係数保持部
２２０  認識結果選択部
【図１】
0006374936.tif 000014
【図２】
0006374936.tif 000015
【図３】
0006374936.tif 000016
【図４】
0006374936.tif 000017
【図５】
0006374936.tif 000018
【図６】
0006374936.tif 000019
【図７】
0006374936.tif 000020
【図８】
0006374936.tif 000021
【図９】
0006374936.tif 000022
【図１０】
0006374936.tif 000023
【図１１】
0006374936.tif 000024
【図１２】
0006374936.tif 000025
【図１３】
0006374936.tif 000026
【図１４】
0006374936.tif 000027