(57)【要約】  本技術は、直接音の方向の判別精度を向上させることができるようにする信号処理装置および方法、並びにプログラムに関する。信号処理装置は、音声信号から音声区間を検出し、音声区間に含まれる音声の到来方向を推定する方向推定部と、音声区間に対して複数の到来方向が推定により得られた場合、複数の到来方向の音声のうちの何れの音声が先行して到達したかを判別する判別部とを備える。本技術は信号処理装置に適用することができる。
2019202966.tif 000002
【特許請求の範囲】
【請求項１】
音声信号から音声区間を検出し、前記音声区間に含まれる音声の到来方向を推定する方向推定部と、
前記音声区間に対して複数の前記到来方向が前記推定により得られた場合、前記複数の前記到来方向の音声のうちの何れの音声が先行して到達したかを判別する判別部と
を備える信号処理装置。
【請求項２】
前記判別部は、所定の前記到来方向の音声成分が強調された前記音声信号と、他の前記到来方向の音声成分が強調された前記音声信号との相互相関に基づいて前記判別を行う
請求項１に記載の信号処理装置。
【請求項３】
前記判別部は、前記相互相関に対して定常雑音成分を抑圧する処理を行い、前記処理が行われた前記相互相関に基づいて前記判別を行う
請求項２に記載の信号処理装置。
【請求項４】
前記判別部は、前記到来方向の音声の点音源らしさに基づいて前記判別を行う
請求項１に記載の信号処理装置。
【請求項５】
前記点音源らしさは、前記音声信号の空間スペクトルの大きさまたは尖度である
請求項４に記載の信号処理装置。
【請求項６】
前記判別の結果に基づく提示を行う提示部をさらに備える
請求項１に記載の信号処理装置。
【請求項７】
前記信号処理装置の周囲を撮像して得られた画像からの人の検出結果と、前記判別部による前記判別の結果とに基づいて発話者の方向を決定する決定部をさらに備える
請求項１に記載の信号処理装置。
【請求項８】
信号処理装置が、
音声信号から音声区間を検出し、
前記音声区間に含まれる音声の到来方向を推定し、
前記音声区間に対して複数の前記到来方向が前記推定により得られた場合、前記複数の前記到来方向の音声のうちの何れの音声が先行して到達したかを判別する
信号処理方法。
【請求項９】
音声信号から音声区間を検出し、
前記音声区間に含まれる音声の到来方向を推定し、
前記音声区間に対して複数の前記到来方向が前記推定により得られた場合、前記複数の前記到来方向の音声のうちの何れの音声が先行して到達したかを判別する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置および方法、並びにプログラムに関し、特に、直接音の方向の判別精度を向上させることができるようにした信号処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、主に室内で利用される音声対話エージェントにおいて機器を使用しているユーザの方向を判別する場合に、音声の到来方向の推定結果を利用することができる。【０００３】
しかし、室内の環境によってはユーザ方向からの直接音以外に、壁やテレビ（TV）などによる反射音が同時に機器に到達するケースがある。【０００４】
そのような場合には、機器に到達した音のうちの何れのものがユーザ方向からの直接音であるかを判別する必要がある。【０００５】
例えば直接音の判別方法として、機器に到達した音についてMUSIC（Multiple Signal Clasiffication）スペクトルを算出し、その強度が大きい方を直接音とみなす方法を利用することができる。【０００６】
また、音源位置を推定する技術として、反射により振動が伝わる環境や振動発生源以外から振動が発生する環境であっても、目的の振動発生源の位置を推定する技術が提案されている（例えば、特許文献１参照）。この技術では、収音された音のうち、SN比（Signal to Noise Ratio）が大きいものを直接音とみなす手法となっている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−１１４５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した技術では、直接音の方向を精度よく判別することは困難であった。【０００９】
例えばMUSICスペクトルを利用する方法では、MUSICスペクトルの強度が大きいものが直接音とされるため、例えば発話者と雑音の音源が同じ方向にある場合には、反射音の方向が発話者の方向、つまり直接音の方向であると誤認識されることがある。【００１０】
また、例えば特許文献１に記載の技術では、SN比が大きいものを直接音とみなしているため、実際の直接音が必ずしも直接音であると判別されるとは限らず、十分高い精度で直接音の方向を判別することができなかった。【００１１】
本技術は、このような状況に鑑みてなされたものであり、直接音の方向の判別精度を向上させることができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の信号処理装置は、音声信号から音声区間を検出し、前記音声区間に含まれる音声の到来方向を推定する方向推定部と、前記音声区間に対して複数の前記到来方向が前記推定により得られた場合、前記複数の前記到来方向の音声のうちの何れの音声が先行して到達したかを判別する判別部とを備える。【００１３】
本技術の一側面の信号処理方法またはプログラムは、音声信号から音声区間を検出し、前記音声区間に含まれる音声の到来方向を推定し、前記音声区間に対して複数の前記到来方向が前記推定により得られた場合、前記複数の前記到来方向の音声のうちの何れの音声が先行して到達したかを判別するステップを含む。【００１４】
本技術の一側面においては、音声信号から音声区間が検出され、前記音声区間に含まれる音声の到来方向が推定され、前記音声区間に対して複数の前記到来方向が前記推定により得られた場合、前記複数の前記到来方向の音声のうちの何れの音声が先行して到達したかが判別される。
【発明の効果】
【００１５】
本技術の一側面によれば、直接音の方向の判別精度を向上させることができる。【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】直接音と反射音について説明する図である。
【図２】直接音と反射音について説明する図である。
【図３】信号処理装置の構成例を示す図である。
【図４】空間スペクトルの例を示す図である。
【図５】空間スペクトルのピークと音声の到来方向について説明する図である。
【図６】同時発生区間の検出について説明する図である。
【図７】直接音／反射音判別部の構成例を示す図である。
【図８】時間差算出部の構成例を示す図である。
【図９】白色化相互相関の例を示す図である。
【図１０】白色化相互相関に対する定常雑音の抑圧について説明する図である。
【図１１】点音源らしさ算出部の構成例を示す図である。
【図１２】直接音方向判別処理を説明するフローチャートである。
【図１３】信号処理装置の構成例を示す図である。
【図１４】信号処理装置の構成例を示す図である。
【図１５】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００１９】
〈第１の実施の形態〉
〈本技術について〉
本技術は、直接音の方向を判別する際に、直接音と反射音を含む複数の音のうち、時間的に先行してマイクロホンに到達した音を直接音とみなすことで、直接音の方向の判別精度を向上させることができるようにしたものである。
【００２０】
例えば本技術では前段に音声区間検出ブロックが設けられ、時間的に先行する音の判別のために、略同時に検出された２つの音声区間の音の各方向の成分が強調され、強調された音声区間の相互相関が計算されて相互相関のピーク位置が検出される。そして、それらのピーク位置に基づいて、どちらの音が時間的に先行しているかが判別される。
【００２１】
また、直接音の方向の判別時には、機器ノイズなどの定常雑音に対してロバスト（頑健）にするために相互相関の計算結果に基づいて雑音推定および雑音抑圧が行われる。
【００２２】
さらに、例えば相互相関のピークの大きさ（最大値）を用いて信頼度を算出し、その信頼度が低い場合にはMUSICスペクトル（空間スペクトル）の強度が強い方を直接音と判別することで、さらに判別精度を向上させることができる。
【００２３】
このような本技術は、複数のマイクロホンを有する対話型エージェントなどに適用することができる。
【００２４】
例えば本技術を適用した対話型エージェントでは、話者方向を精度よく検出することができる。すなわち、同時に複数方向から検出された音声のうち、どちらが直接音でどちらが反射音であるかの判別を高精度に行うことができる。
【００２５】
なお、以下においてはマイクロホンに到達する音のうち、複数回の反射によりマイクロホン到達時には方向性を失ったものは残響と定義し、反射（反射音）とは区別されている。
【００２６】
例えば対話型エージェントシステムにおいて、ユーザの呼びかけに応じて、話者であるユーザの方向を向くインタラクションを実現するためには、ユーザの方向を高い精度で推定することが必要である。
【００２７】
しかし、例えば図１に示すように、実リビング環境においてはユーザU11の発話による直接音だけでなく、壁やテレビOB11などによって反射した音声もマイクロホンMK11に到達する。
【００２８】
この例では、対話型エージェントシステムがマイクロホンMK11によりユーザU11の発話音声を収音し、収音により得られた信号からユーザU11の方向、つまりユーザU11の発話の直接音の方向を判別し、その判別結果に基づいてユーザU11の方向を向く。
【００２９】
ところが、空間内にはテレビOB11が配置されており、マイクロホンMK11により収音して得られた信号からは、矢印A11に示す直接音だけでなく、直接音の方向とは別の方向から到来する反射音も検出されることがある。この例では、矢印A12がテレビOB11で反射された反射音を表している。
【００３０】
対話型エージェント等では、このような直接音と反射音の方向を精度よく判別する技術が必要となる。
【００３１】
そこで、本技術では、直接音と反射音が有する物理的な特性に着目し、直接音と反射音の方向を高精度に判別することができるようにした。
【００３２】
すなわち、直接音と反射音のマイクロホンに到達するタイミングについて、直接音は反射音よりも先にマイクロホンに到達するという特性がある。
【００３３】
また、直接音と反射音の点音源らしさについて、直接音は反射せずにマイクロホンに到達するので点音源性が強く、反射音は壁面での反射時に拡散が発生することから点音源性が弱くなるという特性がある。
【００３４】
本技術では、これらのマイクロホンに到達するタイミングおよび点音源らしさに関する特性が利用されて直接音の方向が判別される。
【００３５】
このような手法を用いることにより、例えば空調やテレビなど、リビングで発生する雑音や、機器自身のファン音、サーボ音などの雑音がある状態においても、直接音と反射音の方向を高精度に判別することができるようになる。
【００３６】
特に、例えば図２に示すように、マイクロホンMK11から見て、話者であるユーザU11と、比較的大きな雑音の音源AS11とが同じ方向にある場合においても、ユーザU11の方向が直接音の方向であると正しく判別することが可能である。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【００３７】
〈信号処理装置の構成例〉
それでは以下、音がマイクロホンに到達するタイミングおよび点音源らしさに着目した直接音と反射音の方向の判別手法について、より具体的に説明を行う。
【００３８】
図３は、本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。
【００３９】
図３に示す信号処理装置１１は、例えば対話型エージェント等を実現する機器に設けられ、複数マイクロホンによって取得された音声信号を入力として、複数方向から同時に到来した音声を検出し、そのなかの話者の方向に対応する直接音の方向を出力する。
【００４０】
信号処理装置１１は、マイク入力部２１、時間周波数変換部２２、空間スペクトル算出部２３、音声区間検出部２４、同時発生区間検出部２５、および直接音／反射音判別部２６を有している。
【００４１】
マイク入力部２１は、例えば複数のマイクロホンからなるマイクアレイにより構成され、周囲の音を収音し、その結果得られたPCM（Pulse Code Modulation）信号である音声信号を時間周波数変換部２２に供給する。すなわち、マイク入力部２１は、周囲の音の音声信号を取得する。
【００４２】
例えばマイク入力部２１を構成するマイクアレイは、環状マイクアレイや球状マイクアレイ、直線マイクアレイなど、どのようなものであってもよい。
【００４３】
時間周波数変換部２２は、マイク入力部２１から供給された音声信号に対して、音声信号の時間フレームごとに時間周波数変換を行うことで、時間信号である音声信号を周波数信号である入力信号ｘｋに変換する。
【００４４】
なお、入力信号ｘｋにおけるｋは周波数を示すインデックスであり、入力信号ｘｋは、マイク入力部２１を構成するマイクアレイのマイクロホン数分の次元の成分を有する複素数ベクトルとなる。
【００４５】
時間周波数変換部２２は、時間周波数変換により得られた入力信号ｘｋを空間スペクトル算出部２３および直接音／反射音判別部２６に供給する。
【００４６】
空間スペクトル算出部２３は、時間周波数変換部２２から供給された入力信号ｘｋに基づいて、入力信号ｘｋの各方向の強度を表す空間スペクトルを算出し、音声区間検出部２４に供給する。
【００４７】
例えば空間スペクトル算出部２３は、次式（１）を計算することで、一般化固有値分解を用いたMUSIC法により、マイク入力部２１から見た各方向θにおける空間スペクトルP(θ)を算出する。この空間スペクトルP(θ)はMUSICスペクトルとも呼ばれている。
【００４８】
【数１】
2019202966.tif 000003
【００４９】
なお、式（１）においてa(θ)は方向θからのアレイマニフォールドベクトルであり、方向θに配置した、つまりθの方向に配置した音源からマイクロホンまでの伝達特性を表している。
【００５０】
また、式（１）においてMはマイク入力部２１を構成するマイクアレイのマイクロホン数を示しており、Nは音源数を示している。例えば音源数Nは「２」など、予め定められた値とされる。
【００５１】
さらに式（１）において、eiは部分空間の固有ベクトルであり、次式（２）を満たすものとされる。
【００５２】
【数２】
2019202966.tif 000004
【００５３】
式（２）においてRは信号区間の空間相関行列を示しており、Kは雑音区間の空間相関行列を示している。またλiは所定の係数を示している。
【００５４】
ここで、入力信号ｘｋにおけるユーザの発話の区間である信号区間の信号を観測信号ｘとし、入力信号ｘｋにおけるユーザの発話以外の区間である雑音区間の信号を観測信号ｙとする。
【００５５】
この場合、空間相関行列Rは以下の式（３）により得ることができ、また空間相関行列Kは以下の式（４）により得ることができる。なお、式（３）および式（４）において、E[]は期待値を示している。
【００５６】
【数３】
2019202966.tif 000005
【００５７】
【数４】
2019202966.tif 000006
【００５８】
以上の式（１）を計算することで、例えば図４に示す空間スペクトルP(θ)が得られる。なお、図４において横軸は方向θを示しており、縦軸は空間スペクトルP(θ)を示している。ここでは、θは所定の方向を基準とした各方向を示す角度となっている。
【００５９】
図４に示す例では、θ＝０度の方向において空間スペクトルP(θ)の値が強いピークとなっており、このことから０度の方向に音源が存在していると推定することができる。
【００６０】
図３の説明に戻り、音声区間検出部２４は、空間スペクトル算出部２３から供給された空間スペクトルP(θ)に基づいて、入力信号ｘｋ、すなわち音声信号におけるユーザの発話音声の区間である音声区間の開始時刻と終了時刻、および発話音声の到来方向を検出する。
【００６１】
例えば図５の矢印Q11に示すように発話音声がないタイミング、つまりユーザが発話していないタイミングでは、空間スペクトルP(θ)に明瞭なピークは存在しない。なお、図５において横軸は方向θを示しており、縦軸は空間スペクトルP(θ)を示している。
【００６２】
これに対して、発話音声があるタイミング、つまりユーザが発話したタイミングにおいては、矢印Q12に示すように空間スペクトルP(θ)に明瞭なピークが出現する。この例では、θ＝０度の方向において空間スペクトルP(θ)のピークが出現している。
【００６３】
音声区間検出部２４では、このようなピークの変化点を捉えることで、音声区間の開始時刻と終了時刻を検出するとともに、発話音声の到来方向も検出することができる。
【００６４】
例えば音声区間検出部２４は、逐次供給される各時刻（時間フレーム）の空間スペクトルP(θ)に対して、各方向θの空間スペクトルP(θ)と、予め定められた開始検出用閾値thsとを比較する。
【００６５】
そして、音声区間検出部２４は、空間スペクトルP(θ)の値が初めて開始検出用閾値ths以上となった時刻（時間フレーム）を音声区間の開始時刻とする。
【００６６】
また、音声区間検出部２４は、音声区間の開始時刻以降の各時刻について、空間スペクトルP(θ)と予め定められた終了検出用閾値thdとを比較し、空間スペクトルP(θ)が初めて終了検出用閾値thd以下となった時刻（時間フレーム）を音声区間の終了時刻とする。
【００６７】
このとき、音声区間内の各時刻における空間スペクトルP(θ)がピークとなる方向θの平均値が発話音声の到来方向を示す方向θ１とされる。換言すれば音声区間検出部２４は、方向θの平均値を求めることで発話音声の到来方向である方向θ１を推定（検出）する。
【００６８】
このような方向θ１は入力信号ｘｋ、すなわち音声信号から時間的に最初に検出された発話音声であろう音の到来方向を示しており、その方向θ１についての音声区間は、方向θ１から到来した発話音声が継続して検出された区間を示している。
【００６９】
通常、ユーザが発話を行うと、その発話音声の直接音は反射音よりも時間的に先行してマイク入力部２１に到達するはずである。そのため、音声区間検出部２４で検出される音声区間は、ユーザの発話音声の直接音の区間である可能性が高い。すなわち、方向θ１が発話を行ったユーザの方向である可能性が高い。
【００７０】
しかし、マイク入力部２１の周囲で雑音がある場合などにおいては、実際の発話音声の直接音の空間スペクトルP(θ)のピーク部分が欠けてしまうことがあり、そのようなときには発話音声の反射音の区間が音声区間として検出されてしまうこともある。そのため、方向θ１を検出するだけでは、高精度にユーザの方向を判別することはできない。
【００７１】
図３の説明に戻り、音声区間検出部２４は、以上のようにして検出された音声区間の開始時刻と終了時刻、方向θ１、および空間スペクトルP(θ)を同時発生区間検出部２５に供給する。
【００７２】
同時発生区間検出部２５は、音声区間検出部２４から供給された音声区間の開始時刻と終了時刻、方向θ１、および空間スペクトルP(θ)に基づいて、方向θ１からの発話音声と略同時に方向θ１とは異なる別方向から到来した発話音声の区間を同時発生区間として検出する。
【００７３】
例えば図６に示すように、時間方向の所定の区間T11が方向θ１の音声区間として検出されたとする。なお、図６において縦軸は方向θを示しており、横軸は時間を示している。
【００７４】
この場合、同時発生区間検出部２５は、音声区間である区間T11の開始時刻を基準として、その開始時刻よりも前の一定時間の区間T12をpre区間とする。
【００７５】
そして同時発生区間検出部２５は、各方向θについて、そのpre区間における空間スペクトルP(θ)の時間方向の平均値Apre(θ)を算出する。このpre区間は、ユーザが発話を開始する前の区間であり、信号処理装置１１やその周囲で発生する定常雑音等の雑音成分のみが含まれる区間である。ここでいう定常雑音（ノイズ）成分とは、例えば信号処理装置１１に設けられたファンの音やサーボ音など、定常的な雑音である。
【００７６】
また、同時発生区間検出部２５は、音声区間である区間T11の開始時刻を区間先頭とする一定時間の区間T13をpost区間とする。ここではpost区間の終了時刻は、音声区間である区間T11の終了時刻よりも前の時刻とされている。なお、post区間の開始時刻は区間T11の開始時刻よりも後の時刻であればよい。
【００７７】
同時発生区間検出部２５はpre区間における場合と同様に、各方向θについて、post区間における空間スペクトルP(θ)の時間方向の平均値Apost(θ)を算出し、さらに各方向θについて平均値Apost(θ)と平均値Apre(θ)の差分dif(θ)を求める。
【００７８】
続いて同時発生区間検出部２５は、互いに隣接する各方向θの差分dif(θ)を比較することで角度方向（θの方向）における差分dif(θ)のピークを検出する。そして、同時発生区間検出部２５は、ピークが検出された方向θ、つまり差分dif(θ)がピークとなる方向θを、方向θ１からの発話音声と略同時に発生した同時発生音の到来方向を示す方向θ２の候補とする。
【００７９】
同時発生区間検出部２５は、方向θ２の候補とされた１または複数の方向θの差分dif(θ)と所定の閾値thaとを比較し、方向θ２の候補とされた方向θのうち、差分dif(θ)が閾値tha以上であり、かつ最も差分dif(θ)が大きいものを方向θ２とする。
【００８０】
これにより、同時発生区間検出部２５によって同時発生音の到来方向である方向θ２が推定（検出）されたことになる。
【００８１】
例えば閾値thaは、方向θ１について得られた差分dif(θ１)に一定の係数を乗算して得られる値などとすればよい。
【００８２】
なお、ここでは方向θ２として検出される方向が１つである場合について説明するが、方向θ２の候補とされた方向θのうち、差分dif(θ)が閾値tha以上となる方向θが全て方向θ２とされるなど、２以上の方向θ２が検出され得るようにしてもよい。
【００８３】
方向θ２からの同時発生音は音声区間内で検出された音声であって、方向θ１からの発話音声と略同時に発生し、その発話音声とは異なる方向からマイク入力部２１に到来（到達）した音声である。したがって、同時発生音は、ユーザの発話音声の直接音または反射音であるはずである。
【００８４】
このようにして方向θ２を検出することは、方向θ１からの発話音声と略同時に発生した同時発生音の区間である同時発生区間を検出することであるともいうことができる。なお、方向θ２についての各時刻の差分dif(θ２)に対する閾値処理を行うことで、より詳細な同時発生区間を検出することが可能である。
【００８５】
図３の説明に戻り、同時発生区間検出部２５は、同時発生音の方向θ２を検出すると、方向θ１および方向θ２、より詳細には方向θ１および方向θ２を示す情報を直接音／反射音判別部２６に供給する。
【００８６】
音声区間検出部２４と同時発生区間検出部２５からなるブロックは、入力信号ｘｋから音声区間を検出するとともに、その音声区間内で検出された２つの音声のマイク入力部２１への到来方向を推定（検出）する方向推定を行う方向推定部として機能するといえる。
【００８７】
直接音／反射音判別部２６は、時間周波数変換部２２から供給された入力信号ｘｋに基づいて、同時発生区間検出部２５から供給された方向θ１と方向θ２のうち、何れの方向がユーザの発話音声の直接音の方向であるか、すなわちユーザ（音源）のいる方向であるかを判別し、その判別結果を出力する。換言すれば、直接音／反射音判別部２６は、方向θ１から到来した音声と、方向θ２から到来した音声のうち、何れの音声が時間的に先行して、つまりより早いタイミングでマイク入力部２１に到達したかを判別する。
【００８８】
なお、より詳細には直接音／反射音判別部２６は、同時発生区間検出部２５において方向θ２が検出されなかった場合、つまり閾値tha以上となる差分dif(θ)が検出されなかった場合には、方向θ１が直接音の方向である旨の判別結果を出力する。
【００８９】
これに対して直接音／反射音判別部２６は、方向θ１および方向θ２という複数の方向が方向推定の結果として供給された場合、すなわち音声区間で互いに到来方向が異なる複数の音声が検出された場合、方向θ１と方向θ２のうちの何れの方向が直接音の方向であるかを判別し、その判別結果を出力する。
【００９０】
以下では、説明を簡単にするため、同時発生区間検出部２５において必ず１つの方向θ２が検出されるものとして説明を続ける。
【００９１】
〈直接音／反射音判別部の構成例〉
次に、直接音／反射音判別部２６のより詳細な構成例について説明する。
【００９２】
例えば直接音／反射音判別部２６は、図７に示すように構成される。
【００９３】
図７に示す直接音／反射音判別部２６は、時間差算出部５１、点音源らしさ算出部５２、および統合部５３を有している。
【００９４】
時間差算出部５１は、時間周波数変換部２２から供給された入力信号ｘｋと、同時発生区間検出部２５から供給された方向θ１および方向θ２とに基づいて、何れの方向が直接音の方向であるかの判別を行い、その判別結果を統合部５３に供給する。
【００９５】
時間差算出部５１では、方向θ１からの音声と、方向θ２からの音声とのマイク入力部２１への到達の時間差に関する情報に基づいて、直接音の方向の判別が行われる。
【００９６】
点音源らしさ算出部５２は、時間周波数変換部２２から供給された入力信号ｘｋと、同時発生区間検出部２５から供給された方向θ１および方向θ２とに基づいて、何れの方向が直接音の方向であるかの判別を行い、その判別結果を統合部５３に供給する。
【００９７】
点音源らしさ算出部５２では、方向θ１からの音声と方向θ２からの音声のそれぞれの点音源らしさに基づいて直接音の方向の判別が行われる。
【００９８】
統合部５３は、時間差算出部５１から供給された判別結果と、点音源らしさ算出部５２から供給された判別結果とに基づいて直接音の方向の最終的な判別を行い、その判別結果を出力する。すなわち、統合部５３では時間差算出部５１で得られた判別結果と、点音源らしさ算出部５２で得られた判別結果とが統合されて、最終的な判別結果が出力される。
【００９９】
〈時間差算出部の構成例〉
ここで、直接音／反射音判別部２６を構成する各部についてさらに詳細に説明する。
【０１００】
例えば時間差算出部５１は、より詳細には図８に示すように構成される。
【０１０１】
図８に示す時間差算出部５１は、方向強調部８１−１、方向強調部８１−２、相関計算部８２、相関結果バッファ８３、定常雑音推定部８４、定常雑音抑圧部８５、および判別部８６を有している。
【０１０２】
時間差算出部５１では、方向θ１からの音声と方向θ２からの音声のうち、どちらの音が先行してマイク入力部２１に到達したかを特定するために、方向θ１からの音声の区間である音声区間と、方向θ２からの音声の区間である同時発生区間の時間差を示す情報が求められる。
【０１０３】
方向強調部８１−１は、時間周波数変換部２２から供給された各時間フレームの入力信号ｘｋに対して、同時発生区間検出部２５から供給された方向θ１の成分を強調する方向強調処理を行い、その結果得られた信号を相関計算部８２に供給する。換言すれば方向強調部８１−１における方向強調処理では、方向θ１から到来した音声の成分が強調される。
【０１０４】
また、方向強調部８１−２は、時間周波数変換部２２から供給された各時間フレームの入力信号ｘｋに対して、同時発生区間検出部２５から供給された方向θ２の成分を強調する方向強調処理を行い、その結果得られた信号を相関計算部８２に供給する。
【０１０５】
なお、以下、方向強調部８１−１および方向強調部８１−２を特に区別する必要のない場合、単に方向強調部８１とも称することとする。
【０１０６】
例えば方向強調部８１では、ある方向θ、すなわち方向θ１または方向θ２の成分を強調する方向強調処理としてDS（Delay and Sum）ビームフォーマが行われ、入力信号ｘｋにおける方向θの成分が強調された信号ｙｋが生成される。すなわち、入力信号ｘｋに対してDSビームフォーマを適用することで信号ｙｋが得られる。
【０１０７】
具体的には、強調方向である方向θと入力信号ｘｋとに基づいて次式（５）を計算することで信号ｙｋを得ることができる。
【０１０８】
【数５】
2019202966.tif 000007
【０１０９】
なお、式（５）においてｗｋは、特定の方向θを強調するためのフィルタ係数を表しており、フィルタ係数ｗｋは、マイク入力部２１を構成するマイクアレイのマイクロホン数の次元の成分を有する複素数ベクトルとなる。また、信号ｙｋおよびフィルタ係数ｗｋにおけるｋは周波数を示すインデックスである。
【０１１０】
このような特定の方向θを強調するDSビームフォーマのフィルタ係数ｗｋは、次式（６）により得ることができる。
【０１１１】
【数６】
2019202966.tif 000008
【０１１２】
なお、式（６）においてak,θは方向θからのアレイマニフォールドベクトルであり、方向θに配置した、つまりθの方向に配置した音源からマイク入力部２１を構成するマイクアレイのマイクロホンまでの伝達特性を表している。
【０１１３】
方向強調部８１−１から相関計算部８２には、方向θ１の成分が強調された信号ｙｋが供給され、方向強調部８１−２から相関計算部８２には、方向θ２の成分が強調された信号ｙｋが供給されることになる。
【０１１４】
なお、以下では、方向θ１の成分を強調して得られた信号ｙｋを信号yθ1,kとも記し、方向θ２の成分を強調して得られた信号ｙｋを信号yθ2,kとも称することとする。
【０１１５】
さらに時間フレームを識別するインデックスをｎとし、時間フレームｎにおける信号yθ1,kおよび信号yθ2,kを、それぞれ信号yθ1,k,nおよび信号yθ2,k,nとも記すこととする。
【０１１６】
相関計算部８２は、方向強調部８１−１から供給された信号yθ1,k,nと、方向強調部８１−２から供給された信号yθ2,k,nとの間の相互相関を計算し、その計算結果を相関結果バッファ８３へと供給して保持させる。
【０１１７】
具体的には、例えば相関計算部８２は次式（７）を計算することで、所定の雑音区間と発話区間の各時間フレームｎを対象として、信号yθ1,k,nと信号yθ2,k,nの白色化相互相関rn(τ)を、それらの２つの信号間の相互相関として算出する。
【０１１８】
【数７】
2019202966.tif 000009
【０１１９】
なお、式（７）においてNはフレームサイズを示しており、jは虚数を示している。また、τは時間ずれを表すインデックス、つまり時間のずれ量を示している。さらに式（７）において、yθ2,k,n*は信号yθ2,k,nの複素共役である。
【０１２０】
ここで雑音区間とは、時間フレームｎ＝T0を開始フレームとし、時間フレームｎ＝T1を終了フレームとする定常雑音の区間であり、雑音区間は入力信号ｘｋの音声区間よりも前の区間とされる。
【０１２１】
例えば開始フレームT0は、図６に示したpre区間の開始時刻よりも時間的に後であり、かつ音声区間である区間T11の開始時刻よりも時間的に前の時間フレームｎとされる。
【０１２２】
また、終了フレームT1は、開始フレームT0よりも時間的に後であり、かつ音声区間である区間T11の開始時刻よりも時間的に前の時刻、または区間T11の開始時刻と同じ時刻の時間フレームｎとされる。
【０１２３】
これに対して発話区間とは、時間フレームｎ＝T2を開始フレームとし、時間フレームｎ＝T3を終了フレームとする、ユーザの発話の直接音や反射音の成分が含まれる区間である。すなわち、発話区間は音声区間内の区間とされる。
【０１２４】
例えば開始フレームT2は、図６に示した音声区間である区間T11の開始時刻の時間フレームｎとされる。また、終了フレームT3は、開始フレームT2よりも時間的に後であり、かつ音声区間である区間T11の終了時刻よりも時間的に前か、または区間T11の終了時刻と同じ時刻の時間フレームｎとされる。
【０１２５】
相関計算部８２では、検出された発話音声ごとに雑音区間内の各時間フレームｎと発話区間内の各時間フレームｎについて、各インデックスτの白色化相互相関rn(τ)が求められ、相関結果バッファ８３へと供給される。
【０１２６】
これにより、例えば図９に示す白色化相互相関rn(τ)が得られる。なお、図９において縦軸は白色化相互相関rn(τ)を示しており、横軸は時間方向のずれ量であるインデックスτを示している。
【０１２７】
このような白色化相互相関rn(τ)は、方向θ１の成分が強調された信号yθ1,k,nが、方向θ２の成分が強調された信号yθ2,k,nに対して、時間的にどの程度ずれているか、すなわちどの程度進んでいるか、または遅れているかを示す時間差情報となっている。
【０１２８】
図８の説明に戻り、相関結果バッファ８３は、相関計算部８２から供給された各時間フレームｎの白色化相互相関rn(τ)を保持（格納）するとともに、保持している白色化相互相関rn(τ)を定常雑音推定部８４および定常雑音抑圧部８５に供給する。
【０１２９】
定常雑音推定部８４は、相関結果バッファ８３に格納された白色化相互相関rn(τ)に基づいて、検出された発話音声ごとに定常雑音の推定を行う。
【０１３０】
例えば信号処理装置１１が設けられた実際の機器においては、ファンの音やサーボ音など、機器自身が音源となる雑音が常時発生している。
【０１３１】
定常雑音抑圧部８５では、これらの雑音に対してロバストに動作させるための雑音抑圧が行われる。そこで、定常雑音推定部８４では、発話前の区間、すなわち雑音区間における白色化相互相関rn(τ)を時間方向に平均することで、定常雑音成分を推定する。
【０１３２】
具体的には、例えば定常雑音推定部８４は、雑音区間における白色化相互相関rn(τ)に基づいて次式（８）を計算することで、発話区間の白色化相互相関rn(τ)に含まれているであろう定常雑音成分σ(τ)を算出する。
【０１３３】
【数８】
2019202966.tif 000010
【０１３４】
なお、式（８）において、T0およびT1は、それぞれ雑音区間の開始フレームT0および終了フレームT1を示している。したがって定常雑音成分σ(τ)は、雑音区間の各時間フレームｎの白色化相互相関rn(τ)の平均値となる。定常雑音推定部８４は、このようにして得られた定常雑音成分σ(τ)を定常雑音抑圧部８５に供給する。
【０１３５】
雑音区間は音声区間よりも前の区間であり、ユーザの発話音声の成分は含まれていない定常雑音成分のみが含まれる区間である。これに対して、発話区間にはユーザの発話音声だけでなく定常雑音も含まれている。
【０１３６】
また、信号処理装置１１自身やその周囲の雑音源からの定常雑音は、雑音区間にも発話区間にも同程度含まれているはずである。したがって、定常雑音成分σ(τ)を発話区間の白色化相互相関rn(τ)に含まれている定常雑音成分とみなして、発話区間の白色化相互相関rn(τ)に対する雑音抑圧を行えば、発話音声成分のみの白色化相互相関を得ることができるはずである。
【０１３７】
定常雑音抑圧部８５は、定常雑音推定部８４から供給された定常雑音成分σ(τ)に基づいて、相関結果バッファ８３から供給された発話区間の白色化相互相関rn(τ)に含まれている定常雑音成分を抑圧する処理を行い、白色化相互相関c(τ)を得る。
【０１３８】
すなわち、定常雑音抑圧部８５は次式（９）を計算することで、定常雑音成分が抑圧された白色化相互相関c(τ)を算出する。
【０１３９】
【数９】
2019202966.tif 000011
【０１４０】
なお、式（９）においてT2およびT3は、それぞれ発話区間の開始フレームT2および終了フレームT3を示している。
【０１４１】
式（９）では、発話区間における白色化相互相関rn(τ)の平均値から、定常雑音推定部８４で得られた定常雑音成分σ(τ)が差し引かれて白色化相互相関c(τ)とされている。
【０１４２】
このような式（９）計算により、例えば図１０に示す白色化相互相関c(τ)が得られる。なお、図１０において縦軸は白色化相互相関を示しており、横軸は時間方向のずれ量であるインデックスτを示している。
【０１４３】
図１０において、矢印Q31に示す部分には発話区間における各時間フレームｎの白色化相互相関rn(τ)の平均値が示されており、矢印Q32に示す部分には定常雑音成分σ(τ)が示されている。また、矢印Q33に示す部分には白色化相互相関c(τ)が示されている。
【０１４４】
矢印Q31に示す部分から分かるように白色化相互相関rn(τ)の平均値には、定常雑音成分σ(τ)と同様の定常雑音成分が含まれているが、定常雑音の抑圧を行うことで、矢印Q33に示すように定常雑音が除去された白色化相互相関c(τ)を得ることができる。
【０１４５】
このように白色化相互相関rn(τ)から定常雑音成分を除去することで、後段の判別部８６において、より高精度に直接音の方向を判別することができるようになる。
【０１４６】
図８の説明に戻り、定常雑音抑圧部８５は、定常雑音の抑圧により得られた白色化相互相関c(τ)を判別部８６に供給する。
【０１４７】
判別部８６は、同時発生区間検出部２５から供給された方向θ１と方向θ２について、定常雑音抑圧部８５から供給された白色化相互相関c(τ)に基づいて、方向θ１と方向θ２の何れの方向が直接音の方向、つまりユーザの方向であるかを判別（判定）する。すなわち、判別部８６では、音声のマイク入力部２１への到達タイミングの時間差に基づく判別処理が行われる。
【０１４８】
具体的には、判別部８６では、白色化相互相関c(τ)に基づいて、方向θ１と方向θ２のどちらが時間的に先行しているかを判定することにより、直接音の方向が判別される。
【０１４９】
例えば判別部８６は、次式（１０）を計算することにより最大値γτ＜０と最大値γτ≧０を算出する。
【０１５０】
【数１０】
2019202966.tif 000012
【０１５１】
ここで、最大値γτ＜０はインデックスτが０未満である領域、つまりτ＜０である領域における白色化相互相関c(τ)の最大値、すなわちピーク値である。これに対して、最大値γτ≧０はインデックスτが０以上である領域、つまりτ≧０である領域における白色化相互相関c(τ)の最大値である。
【０１５２】
さらに判別部８６は、次式（１１）に示すように最大値γτ＜０と最大値γτ≧０の大小関係を特定することで、方向θ１からの音声と方向θ２からの音声のうちの何れの音声が時間的に先行しているかを判別する。これにより、直接音の方向が判別されたことになる。
【０１５３】
【数１１】
2019202966.tif 000013
【０１５４】
なお、式（１１）においてθｄは、判別部８６により判別された直接音の方向を示している。すなわち、ここでは最大値γτ＜０が最大値γτ≧０以上である場合、方向θ１が直接音の方向θｄであるとされ、逆に最大値γτ＜０が最大値γτ≧０未満である場合、方向θ２が直接音の方向θｄであるとされる。
【０１５５】
また、判別部８６は、最大値γτ＜０と最大値γτ≧０に基づいて次式（１２）を計算することにより、判別により得られた方向θｄの確からしさを示す信頼度αｄも算出する。
【０１５６】
【数１２】
2019202966.tif 000014
【０１５７】
式（１２）では、最大値γτ＜０と最大値γτ≧０の大小関係に応じて、それらの最大値γτ＜０と最大値γτ≧０の比を求めることで信頼度αｄが算出されている。
【０１５８】
判別部８６は、以上の処理により得られた方向θｄと信頼度αｄを、直接音の方向の判別結果として統合部５３に供給する。
【０１５９】
〈点音源らしさ算出部の構成例〉
次に、点音源らしさ算出部５２の構成例について説明する。
【０１６０】
例えば点音源らしさ算出部５２は、図１１に示すように構成される。
【０１６１】
図１１に示す点音源らしさ算出部５２は、空間スペクトル算出部１１１−１、空間スペクトル算出部１１１−２、および空間スペクトル判別モジュール１１２を有している。
【０１６２】
空間スペクトル算出部１１１−１は、時間周波数変換部２２から供給された入力信号ｘｋ、および同時発生区間検出部２５から供給された方向θ１に基づいて、入力信号ｘｋの音声区間の開始時刻以降の時刻における方向θ１の空間スペクトルμ１を算出する。
【０１６３】
ここでは、例えば音声区間の開始時刻以降の所定の時刻における方向θ１の空間スペクトルが空間スペクトルμ１として算出されてもよいし、音声区間や発話区間の各時刻における方向θ１の空間スペクトルの平均値が空間スペクトルμ１として算出されてもよい。
【０１６４】
空間スペクトル算出部１１１−１は、得られた空間スペクトルμ１と方向θ１を空間スペクトル判別モジュール１１２に供給する。
【０１６５】
空間スペクトル算出部１１１−２は、時間周波数変換部２２から供給された入力信号ｘｋ、および同時発生区間検出部２５から供給された方向θ２に基づいて、入力信号ｘｋの音声区間の開始時刻以降の時刻における方向θ２の空間スペクトルμ２を算出する。
【０１６６】
例えば音声区間の開始時刻以降の所定の時刻における方向θ２の空間スペクトルが空間スペクトルμ２として算出されてもよいし、音声区間や同時発生区間の各時刻における方向θ２の空間スペクトルの平均値が空間スペクトルμ２として算出されてもよい。
【０１６７】
空間スペクトル算出部１１１−２は、得られた空間スペクトルμ２と方向θ２を空間スペクトル判別モジュール１１２に供給する。
【０１６８】
なお、以下、空間スペクトル算出部１１１−１および空間スペクトル算出部１１１−２を特に区別する必要のない場合、単に空間スペクトル算出部１１１とも称する。
【０１６９】
空間スペクトル算出部１１１における空間スペクトルの算出方法は、例えばMUSIC法など、どのような方法とされてもよいが、空間スペクトル算出部２３における場合と同様の方法で算出されたものを用いるのであれば、空間スペクトル算出部１１１を設ける必要はない。この場合、空間スペクトル算出部２３から空間スペクトル判別モジュール１１２へと空間スペクトルP(θ)が供給されるようにすればよい。
【０１７０】
空間スペクトル判別モジュール１１２は、空間スペクトル算出部１１１−１から供給された空間スペクトルμ１と方向θ１、および空間スペクトル算出部１１１−２から供給された空間スペクトルμ２と方向θ２に基づいて直接音の方向の判別を行う。すなわち、空間スペクトル判別モジュール１１２では、点音源らしさに基づく判別処理が行われる。
【０１７１】
具体的には、例えば空間スペクトル判別モジュール１１２は、次式（１３）に示すように空間スペクトルμ１と空間スペクトルμ２の大小関係を特定することで、方向θ１と方向θ２のうちの何れの方向が直接音の方向であるかを判別する。
【０１７２】
【数１３】
2019202966.tif 000015
【０１７３】
空間スペクトル算出部１１１で得られる空間スペクトルμ１や空間スペクトルμ２は、方向θ１や方向θ２から到来する音声の点音源らしさを示しており、その空間スペクトルの値が大きいほど点音源らしさの度合いは高くなる。したがって式（１３）では、より空間スペクトルが大きい方向が直接音の方向θｄであると判別される。
【０１７４】
空間スペクトル判別モジュール１１２は、このようにして得られた直接音の方向θｄを、直接音の方向の判別結果として統合部５３に供給する。
【０１７５】
なお、ここでは方向θ１や方向θ２から到来する音声の点音源らしさの指標として空間スペクトルの値そのもの、つまり空間スペクトルの大きさが用いられる場合を例として説明したが、点音源らしさを示すものであれば、他のどのようなものが用いられてもよい。
【０１７６】
例えば各方向θの空間スペクトルP(θ)を求め、その空間スペクトルP(θ)の方向θ１や方向θ２における尖度を、それらの方向θ１や方向θ２から到来する音声の点音源らしさを示す情報として用いてもよい。この場合、方向θ１と方向θ２のうちの尖度が大きい方の方向が直接音の方向θｄであると判別される。
【０１７７】
また、空間スペクトル判別モジュール１１２では、直接音の方向θｄが判別結果として出力される例について説明するが、時間差算出部５１における場合と同様に直接音の方向θｄの信頼度も算出するようにしてもよい。
【０１７８】
そのような場合、空間スペクトル判別モジュール１１２は、例えば空間スペクトルμ１や空間スペクトルμ２に基づいて信頼度βｄを算出し、方向θｄと信頼度βｄを直接音の方向の判別結果として統合部５３に供給する。
【０１７９】
また、統合部５３は、時間差算出部５１の判別部８６から供給された判別結果としての方向θｄおよび信頼度αｄと、点音源らしさ算出部５２の空間スペクトル判別モジュール１１２から供給された判別結果としての方向θｄとに基づいて最終的な判別を行う。
【０１８０】
例えば統合部５３は、信頼度αｄが予め定められた所定の閾値以上である場合には、判別部８６から供給された方向θｄを最終的な直接音の方向の判別結果として出力する。
【０１８１】
これに対して、統合部５３は、信頼度αｄが予め定められた所定の閾値未満である場合には、空間スペクトル判別モジュール１１２から供給された方向θｄを最終的な直接音の方向の判別結果として出力する。
【０１８２】
なお、最終的な判別に信頼度βｄも用いられる場合には、統合部５３は信頼度αｄと信頼度βｄに基づいて最終的な直接音の方向θｄを判別する。
【０１８３】
さらに、以上においては同時発生区間検出部２５において方向θ２が１つだけ検出される場合について説明した。しかし、方向θ２が複数検出される場合には、方向θ１と複数の方向θ２のうちの２つの方向の組み合わせを順番に選択して直接音／反射音判別部２６における処理を繰り返し実行すればよい。この場合、例えば方向θ１と複数の方向θ２のうちの最も時間的に先行している音声の方向、つまり最も早くマイク入力部２１に到達した音声の方向が直接音の方向として判別されることになる。
【０１８４】
〈直接音方向判別処理の説明〉
次に、以上において説明した信号処理装置１１の動作について説明する。すなわち、以下、図１２のフローチャートを参照して、信号処理装置１１による直接音方向判別処理について説明する。
【０１８５】
ステップＳ１１において、マイク入力部２１は周囲の音を収音し、その結果得られた音声信号を時間周波数変換部２２に供給する。
【０１８６】
ステップＳ１２において、時間周波数変換部２２はマイク入力部２１から供給された音声信号に対して時間周波数変換を行い、その結果得られた入力信号ｘｋを空間スペクトル算出部２３、方向強調部８１、および空間スペクトル算出部１１１に供給する。
【０１８７】
ステップＳ１３において、空間スペクトル算出部２３は、時間周波数変換部２２から供給された入力信号ｘｋに基づいて空間スペクトルP(θ)を算出し、音声区間検出部２４に供給する。例えばステップＳ１３では、上述した式（１）を計算することにより空間スペクトルP(θ)が算出される。
【０１８８】
ステップＳ１４において、音声区間検出部２４は、空間スペクトル算出部２３から供給された空間スペクトルP(θ)に基づいて音声区間と発話音声の方向θ１を検出し、その検出結果と空間スペクトルP(θ)を同時発生区間検出部２５に供給する。
【０１８９】
例えば音声区間検出部２４は、空間スペクトルP(θ)と、開始検出用閾値thsや終了検出用閾値thdとを比較することで音声区間を検出するとともに、空間スペクトルP(θ)のピークの平均を求めることで発話音声の方向θ１を検出する。
【０１９０】
ステップＳ１５において、同時発生区間検出部２５は音声区間検出部２４から供給された検出結果および空間スペクトルP(θ)に基づいて同時発生音の方向θ２を検出し、方向θ１と方向θ２を方向強調部８１、判別部８６、および空間スペクトル算出部１１１に供給する。
【０１９１】
すなわち、同時発生区間検出部２５は、音声区間の検出結果と空間スペクトルP(θ)に基づいて、各方向θについて差分dif(θ)を求め、その差分dif(θ)のピークと閾値thaとを比較することで同時発生音の方向θ２を検出する。また、同時発生区間検出部２５は、必要に応じて同時発生音の同時発生区間の検出も行う。
【０１９２】
ステップＳ１６において方向強調部８１は、時間周波数変換部２２から供給された入力信号ｘｋに対して、同時発生区間検出部２５から供給された方向の成分を強調する方向強調処理を行い、その結果得られた信号を相関計算部８２に供給する。
【０１９３】
例えばステップＳ１６では、上述した式（５）の計算が行われ、その結果得られた、方向θ１の成分が強調された信号yθ1,k,nと、方向θ２の成分が強調された信号yθ2,k,nとが相関計算部８２に供給される。
【０１９４】
ステップＳ１７において相関計算部８２は、方向強調部８１から供給された信号yθ1,k,nおよび信号yθ2,k,nの白色化相互相関rn(τ)を算出し、相関結果バッファ８３へと供給して保持させる。例えばステップＳ１７では、上述した式（７）の計算が行われて白色化相互相関rn(τ)が算出される。
【０１９５】
ステップＳ１８において定常雑音推定部８４は、相関結果バッファ８３に格納された白色化相互相関rn(τ)に基づいて定常雑音成分σ(τ)を推定し、定常雑音抑圧部８５に供給する。例えばステップＳ１８では、上述した式（８）の計算が行われ、定常雑音成分σ(τ)が算出される。
【０１９６】
ステップＳ１９において定常雑音抑圧部８５は、定常雑音推定部８４から供給された定常雑音成分σ(τ)に基づいて、相関結果バッファ８３から供給された発話区間の白色化相互相関rn(τ)の定常雑音成分を抑圧することで、白色化相互相関c(τ)を算出する。
【０１９７】
例えば定常雑音抑圧部８５は、上述した式（９）を計算することで白色化相互相関c(τ)を算出し、判別部８６に供給する。
【０１９８】
ステップＳ２０において判別部８６は、定常雑音抑圧部８５から供給された白色化相互相関c(τ)に基づいて、同時発生区間検出部２５から供給された方向θ１と方向θ２について時間差に基づく直接音の方向θｄの判別を行い、その判別結果を統合部５３に供給する。
【０１９９】
例えば判別部８６は、上述した式（１０）および式（１１）を計算することで直接音の方向θｄを判別するとともに、式（１２）を計算して信頼度αｄを算出し、直接音の方向θｄと信頼度αｄを統合部５３に供給する。
【０２００】
ステップＳ２１において空間スペクトル算出部１１１は、時間周波数変換部２２から供給された入力信号ｘｋ、および同時発生区間検出部２５から供給された方向に基づいて、その方向の空間スペクトルを算出する。
【０２０１】
例えばステップＳ２１では、MUSIC法などにより方向θ１の空間スペクトルμ１と方向θ２の空間スペクトルμ２が算出され、それらの空間スペクトルと、方向θ１および方向θ２とが空間スペクトル判別モジュール１１２に供給される。
【０２０２】
ステップＳ２２において空間スペクトル判別モジュール１１２は、空間スペクトル算出部１１１から供給された空間スペクトルおよび方向に基づいて、点音源らしさに基づく直接音の方向の判別を行い、その判別結果を統合部５３に供給する。
【０２０３】
例えばステップＳ２２では、上述した式（１３）の計算が行われ、その結果得られた直接音の方向θｄが統合部５３に供給される。なお、このとき信頼度βｄが算出されるようにしてもよい。
【０２０４】
ステップＳ２３において統合部５３は、判別部８６から供給された判別結果と、空間スペクトル判別モジュール１１２から供給された判別結果とに基づいて、直接音の方向の最終的な判別を行い、その判別結果を後段に出力する。
【０２０５】
例えば統合部５３は、信頼度αｄが所定の閾値以上である場合、判別部８６から供給された方向θｄを最終的な直接音の方向の判別結果として出力し、信頼度αｄが所定の閾値未満である場合、空間スペクトル判別モジュール１１２から供給された方向θｄを最終的な直接音の方向の判別結果として出力する。
【０２０６】
このようにして直接音の方向θｄの判別結果が出力されると、直接音方向判別処理は終了する。
【０２０７】
以上のようにして信号処理装置１１は、収音により得られた音声信号について、時間差に基づく判別と点音源らしさに基づく判別を行い、それらの判別結果に基づいて直接音の方向の最終的な判別を行う。
【０２０８】
このように到達タイミングと点音源性という直接音と反射音の特性を利用して直接音の方向を判別することで、直接音の方向の判別精度を向上させることができる。
【０２０９】
〈第２の実施の形態〉
〈信号処理装置の構成例〉
以上において説明した直接音の方向の判別結果は、例えば発話を行ったユーザに対するフィードバックなどに利用することが可能である。
【０２１０】
このように直接音の方向の判別結果（推定結果）について、ユーザに対して何らかのフィードバックを行う場合、信号処理装置は図１３に示す構成とすることができる。なお、図１３において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２１１】
図１３に示す信号処理装置１５１は、マイク入力部２１、時間周波数変換部２２、エコーキャンセラ１６１、空間スペクトル算出部２３、音声区間検出部２４、同時発生区間検出部２５、直接音／反射音判別部２６、雑音抑圧部１６２、音声／非音声判別部１６３、スイッチ１６４、音声認識部１６５、および方向推定結果提示部１６６を有している。
【０２１２】
信号処理装置１５１の構成は、図３の信号処理装置１１の時間周波数変換部２２と空間スペクトル算出部２３の間にエコーキャンセラ１６１を設け、さらにエコーキャンセラ１６１に雑音抑圧部１６２乃至方向推定結果提示部１６６を接続した構成となっている。
【０２１３】
例えば信号処理装置１５１はスピーカやマイクロホンを有し、複数のマイクロホンによって取得された音声信号から、直接音に相当する音声に対して音声認識を行い、話者方向の音を認識していることのフィードバックを行う機器やシステムなどとすることができる。
【０２１４】
信号処理装置１５１では、時間周波数変換部２２で得られた入力信号はエコーキャンセラ１６１へと供給される。
【０２１５】
エコーキャンセラ１６１は、時間周波数変換部２２から供給された入力信号に対して、信号処理装置１５１自身に設けられたスピーカにより再生された音の抑圧を行う。
【０２１６】
例えば信号処理装置１５１自身に設けられたスピーカにより再生されたシステム発話や音楽はマイク入力部２１へと回り込んで収音され、雑音となってしまう。
【０２１７】
そこでエコーキャンセラ１６１では、スピーカにより再生される音を参照信号として利用することで回り込み雑音の抑圧が行われる。
【０２１８】
例えばエコーキャンセラ１６１は、スピーカとマイク入力部２１の間の伝達特性を逐次的に推定し、マイク入力部２１に回り込むスピーカの再生音を予測して、実際のマイク入力信号である入力信号から差し引くことでスピーカの再生音を抑圧する。
【０２１９】
すなわち、例えばエコーキャンセラ１６１は、次式（１４）を計算することで、スピーカの再生音が抑圧された信号e(n)を算出する。
【０２２０】
【数１４】
2019202966.tif 000016
【０２２１】
なお、式（１４）において、d(n)は時間周波数変換部２２から供給された入力信号を示しており、x(n)はスピーカの再生音の信号、すなわち参照信号を示している。また、式（１４）において、w(n)はスピーカとマイク入力部２１の間の推定伝達特性を示している。
【０２２２】
例えば所定の時間フレーム(n+1)における推定伝達特性w(n+1)は、その直前の時間フレームｎにおける推定伝達特性w(n)、信号e(n)、および参照信号x(n)に基づいて、次式（１５）を計算することで得ることができる。なお、式（１５）においてμは収束速度調整変数である。
【０２２３】
【数１５】
2019202966.tif 000017
【０２２４】
エコーキャンセラ１６１は、式（１４）を計算して得られた信号e(n)を、空間スペクトル算出部２３、雑音抑圧部１６２、および直接音／反射音判別部２６に供給する。
【０２２５】
なお、以下では、エコーキャンセラ１６１から出力される信号e(n)を入力信号ｘｋと記すこととする。エコーキャンセラ１６１から出力される信号e(n)は、第１の実施の形態で説明した時間周波数変換部２２の出力である入力信号ｘｋに対してスピーカの再生音の抑圧を行ったものであるから、この信号e(n)は時間周波数変換部２２から出力される入力信号ｘｋと略同等であるということができる。
【０２２６】
空間スペクトル算出部２３は、エコーキャンセラ１６１から供給された入力信号ｘｋから空間スペクトルP(θ)を算出し、音声区間検出部２４に供給する。
【０２２７】
音声区間検出部２４は、空間スペクトル算出部２３から供給された空間スペクトルP(θ)に基づいて、音声認識部１６５における音声認識対象の発話の候補となる音声の音声区間を検出し、音声区間の検出結果と方向θ１と空間スペクトルP(θ)とを同時発生区間検出部２５に供給する。
【０２２８】
同時発生区間検出部２５は、音声区間検出部２４から供給された音声区間の検出結果、方向θ１、および空間スペクトルP(θ)に基づいて同時発生区間と方向θ２を検出し、音声区間の検出結果と方向θ１、および同時発生区間の検出結果と方向θ２を直接音／反射音判別部２６に供給する。
【０２２９】
直接音／反射音判別部２６は、同時発生区間検出部２５から供給された方向θ１および方向θ２と、エコーキャンセラ１６１から供給された入力信号ｘｋとに基づいて直接音の方向θｄを判別する。
【０２３０】
直接音／反射音判別部２６は、判別結果としての方向θｄと、その方向θｄからの直接音成分が含まれる直接音区間を示す直接音区間情報とを雑音抑圧部１６２、および方向推定結果提示部１６６に供給する。
【０２３１】
例えば、方向θｄ＝θ１であると判別された場合、音声区間検出部２４で検出された音声区間が直接音区間であるとされ、その音声区間の開始時刻と終了時刻が直接音区間情報とされる。これに対して方向θｄ＝θ２であると判別された場合、同時発生区間検出部２５で検出された同時発生区間が直接音区間であるとされ、その同時発生区間の開始時刻と終了時刻が直接音区間情報とされる。
【０２３２】
雑音抑圧部１６２は、直接音／反射音判別部２６から供給された方向θｄおよび直接音区間情報に基づいて、エコーキャンセラ１６１から供給された入力信号ｘｋに対して、方向θｄからの音声成分を強調する処理を行う。
【０２３３】
例えば雑音抑圧部１６２では、方向θｄからの音声成分を強調する処理として、複数のマイクロホンにより得られた信号を用いた雑音抑圧手法である最尤ビームフォーマ（MLBF（Maximum Likelihood Beamforming））などが行われる。
【０２３４】
なお、方向θｄからの音声成分を強調する処理は、最尤ビームフォーマに限らず、任意の雑音抑圧手法とすることが可能である。
【０２３５】
例えば最尤ビームフォーマが行われる場合、雑音抑圧部１６２は、ビームフォーマ係数ｗｋに基づいて次式（１６）を計算することで入力信号ｘｋに対して最尤ビームフォーマを行う。
【０２３６】
【数１６】
2019202966.tif 000018
【０２３７】
なお、式（１６）においてｙｋは、入力信号ｘｋに対して最尤ビームフォーマを行うことで得られる信号である。最尤ビームフォーマでは、複数チャンネルの入力信号ｘｋに対して、１チャンネルの信号ｙｋが出力として得られる。
【０２３８】
また、入力信号ｘｋおよびビームフォーマ係数ｗｋにおけるｋは周波数のインデックスであり、入力信号ｘｋおよびビームフォーマ係数ｗｋは、マイク入力部２１を構成するマイクアレイのマイクロホン数の次元の成分を有する複素数ベクトルとなる。
【０２３９】
さらに、最尤ビームフォーマのビームフォーマ係数ｗｋは、次式（１７）により得ることができる。
【０２４０】
【数１７】
2019202966.tif 000019
【０２４１】
なお、式（１７）においてak,θは方向θからのアレイマニフォールドベクトルであり、方向θに配置した、つまりθの方向に配置した音源からマイク入力部２１を構成するマイクアレイのマイクロホンまでの伝達特性を表している。特にここでは、方向θは、直接音の方向θｄとされる。
【０２４２】
また、式（１７）におけるＲｋは雑音相関行列であり、入力信号ｘｋに基づいて以下の式（１８）の計算により得ることができる。なお、式（１８）においてE[]は期待値を示している。
【０２４３】
【数１８】
2019202966.tif 000020
【０２４４】
最尤ビームフォーマは、発話者であるユーザの方向θｄからの音声を変化させないように拘束した条件で、出力エネルギを最小化することにより、発話者の方向θｄ以外の方向からの雑音を抑圧する手法となっている。これにより、雑音が抑圧されるとともに相対的に方向θｄからの音声成分が強調される。
【０２４５】
例えば誤って入力信号ｘｋにおける反射音の方向の成分が強調された場合、反射の経路によっては、特定周波数が強調されたり減衰によって周波数特性が乱れたりして、後段の音声認識部１６５における音声認識率が低下してしまうことがある。
【０２４６】
しかし、信号処理装置１５１では、直接音の方向θｄの判別を行うことで直接音の方向θｄの成分を強調し、音声認識率の低下を抑制することが可能となる。
【０２４７】
さらに、雑音抑圧部１６２において最尤ビームフォーマにより得られた１チャンネルの音声信号、つまり式（１６）で得られる信号ｙｋに対するポストフィルタの処理として、ウィーナーフィルタを用いた雑音抑圧を行うようにしてもよい。
【０２４８】
そのような場合、例えばウィーナーフィルタのゲインＷｋは、次式（１９）により得ることができる。
【０２４９】
【数１９】
2019202966.tif 000021
【０２５０】
なお、式（１９）においてＳｋは目的信号のパワースペクトルを示しており、ここでは直接音／反射音判別部２６から供給された直接音区間情報により示される直接音区間の信号である。これに対して、Ｎｋは雑音信号のパワースペクトルを示しており、ここでは直接音区間ではない区間の信号である。これらのパワースペクトルＳｋおよびパワースペクトルＮｋは、直接音区間情報と信号ｙｋから得ることができる。
【０２５１】
また、雑音抑圧部１６２は、最尤ビームフォーマにより得られた信号ｙｋとゲインＷｋに基づいて、次式（２０）を計算することで雑音が抑圧された信号ｚｋを算出する。
【０２５２】
【数２０】
2019202966.tif 000022
【０２５３】
雑音抑圧部１６２は、このようにして得られた信号ｚｋを音声／非音声判別部１６３およびスイッチ１６４に供給する。
【０２５４】
なお、雑音抑圧部１６２では、直接音区間のみが対象とされて最尤ビームフォーマ、およびウィーナーフィルタによる雑音抑圧が行われる。したがって、雑音抑圧部１６２からは直接音区間の信号ｚｋだけが出力される。
【０２５５】
音声／非音声判別部１６３は、雑音抑圧部１６２から供給された信号ｚｋに対して、直接音区間ごとに、それらの直接音区間が音声の区間であるか雑音（非音声）の区間であるかの判別を行う。
【０２５６】
音声区間検出部２４では、空間情報を活用した音声区間検出を行っているので、実際には音声だけでなく雑音も発話音声として検出されることがある。
【０２５７】
そこで、音声／非音声判別部１６３は、例えば事前に構築された判別器を利用して信号ｚｋが音声の区間の信号であるか、または雑音の区間の信号であるかを判別する。すなわち、音声／非音声判別部１６３は、直接音区間の信号ｚｋを判別器に代入して演算を行うことで、その直接音区間が音声の区間であるか、または雑音の区間であるかを判別し、その判別結果に応じてスイッチ１６４の開閉を制御する。
【０２５８】
具体的には、音声／非音声判別部１６３は、直接音区間が音声の区間であるとの判別結果が得られた場合、スイッチ１６４をオンさせ、直接音区間が雑音の区間であるとの判別結果が得られた場合、スイッチ１６４をオフさせる。
【０２５９】
これにより、雑音抑圧部１６２から出力された各直接音区間の信号ｚｋのうち、音声の区間の信号であるとされたもののみがスイッチ１６４を介して音声認識部１６５へと供給されることになる。
【０２６０】
音声認識部１６５は、スイッチ１６４を介して雑音抑圧部１６２から供給された信号ｚｋに対して音声認識を行い、その認識結果を方向推定結果提示部１６６に供給する。音声認識部１６５では、信号ｚｋの区間においてユーザがどのような内容の発話を行ったかが認識される。
【０２６１】
方向推定結果提示部１６６は、例えばディスプレイやスピーカ、回転駆動部、LED（Light Emitting Diode）などからなり、方向θｄや音声認識結果に応じた各種の提示をフィードバックとして行う。
【０２６２】
すなわち、方向推定結果提示部１６６は、直接音／反射音判別部２６から供給された方向θｄおよび直接音区間情報と、音声認識部１６５から供給された音声認識結果とに基づいて、発話者であるユーザの方向の音を認識していることの提示を行う。
【０２６３】
例えば方向推定結果提示部１６６が回転駆動部を有する場合、方向推定結果提示部１６６は、信号処理装置１５１の筐体の一部または全部が、発話者であるユーザがいる方向θｄを向くように、その筐体の一部または全部を回転させるというフィードバックを行う。この場合、筐体の回転動作によって、ユーザがいる方向θｄの提示が行われることになる。
【０２６４】
このとき、例えば方向推定結果提示部１６６は、音声認識部１６５から供給された音声認識結果に応じた音声等を、ユーザの発話に対する応答としてスピーカから出力するようにしてもよい。
【０２６５】
また、例えば方向推定結果提示部１６６が、信号処理装置１５１の外周を囲むように設けられた複数のLEDを有するとする。この場合、方向推定結果提示部１６６が、それらの複数のLEDのうち、発話者であるユーザがいる方向θｄにあるLEDのみを点灯させ、ユーザを認識していることを伝えるというフィードバックを行ってもよい。換言すれば、方向推定結果提示部１６６がLEDの点灯による方向θｄの提示を行うようにしてもよい。
【０２６６】
さらに、例えば方向推定結果提示部１６６がディスプレイを有している場合、方向推定結果提示部１６６がディスプレイを制御し、発話者であるユーザがいる方向θｄに対応する提示をさせるというフィードバックを行うようにしてもよい。
【０２６７】
ここで、方向θｄに対応する提示として、例えば方向θｄに向けられた矢印等をUI（User Interface）などの画像上に表示させたり、方向θｄに向けて音声認識部１６５での音声認識結果に対する応答メッセージ等をUIなどの画像上に表示させたりすることなどが考えられる。
【０２６８】
〈第３の実施の形態〉
〈信号処理装置の構成例〉
また、画像から人を検出し、その検出結果も用いてユーザの方向を判別するようにしてもよい。
【０２６９】
そのような場合、信号処理装置は、例えば図１４に示すように構成される。なお、図１４において図１３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２７０】
図１４に示す信号処理装置１９１は、マイク入力部２１、時間周波数変換部２２、エコーキャンセラ１６１、空間スペクトル算出部２３、音声区間検出部２４、同時発生区間検出部２５、直接音／反射音判別部２６、雑音抑圧部１６２、音声／非音声判別部１６３、スイッチ１６４、音声認識部１６５、方向推定結果提示部１６６、カメラ入力部２０１、人検出部２０２、および話者方向決定部２０３を有している。
【０２７１】
信号処理装置１９１の構成は、図１３に示した信号処理装置１５１にさらにカメラ入力部２０１乃至話者方向決定部２０３を設けた構成となっている。
【０２７２】
信号処理装置１９１では、直接音／反射音判別部２６から雑音抑圧部１６２には、判別結果としての方向θｄと直接音区間情報とが供給される。
【０２７３】
また、直接音／反射音判別部２６から人検出部２０２には、判別結果としての方向θｄと、方向θ１および音声区間の検出結果と、方向θ２および同時発生区間の検出結果とが供給される。
【０２７４】
カメラ入力部２０１は、例えばカメラなどからなり、信号処理装置１９１の周囲を撮像し、その結果得られた画像を人検出部２０２に供給する。以下、カメラ入力部２０１で得られた画像を検出用画像とも称することとする。
【０２７５】
人検出部２０２は、カメラ入力部２０１から供給された検出用画像と、直接音／反射音判別部２６から供給された方向θｄ、方向θ１、音声区間の検出結果、方向θ２、および同時発生区間の検出結果とに基づいて検出用画像から人を検出する。
【０２７６】
例えば、一例として直接音の方向θｄが方向θ１である場合について説明する。
【０２７７】
この場合、人検出部２０２は、まず直接音の方向θｄ＝θ１からの音声が検出された音声区間に対応する期間において、検出用画像の方向θｄ＝θ１に対応する領域を対象として顔認識や人物認識を行うことで、その対象となる領域から人を検出する。これにより、直接音の方向θｄに人がいるか否かが検出されることになる。
【０２７８】
同様に、人検出部２０２は、反射音の方向θ２からの音声が検出された同時発生区間に対応する期間において、検出用画像の方向θ２に対応する領域を対象として顔認識や人物認識を行うことで、その対象となる領域から人を検出する。これにより、反射音の方向θ２に人がいるか否かが検出されることになる。
【０２７９】
このように人検出部２０２では、直接音の方向、および反射音の方向にそれぞれ人が存在するか否かが検出されることになる。
【０２８０】
人検出部２０２は、直接音の方向に対する人の検出結果、反射音の方向に対する人の検出結果、方向θｄ、方向θ１、および方向θ２を話者方向決定部２０３に供給する。
【０２８１】
話者方向決定部２０３は、人検出部２０２から供給された直接音の方向に対する人の検出結果、反射音の方向に対する人の検出結果、方向θｄ、方向θ１、および方向θ２に基づいて、最終的に出力する、発話者であるユーザの方向を決定（判別）する。
【０２８２】
具体的には、例えば話者方向決定部２０３は、検出用画像に対する人検出により、直接音の方向θｄで人が検出され、反射音の方向では人が検出されなかった場合、ユーザ（発話者）の方向を示す話者方向検出結果として、直接音の方向θｄを示す情報を方向推定結果提示部１６６に供給する。
【０２８３】
また、例えば話者方向決定部２０３は、検出用画像に対する人検出により、直接音の方向θｄで人が検出されず、反射音の方向で人が検出された場合、反射音の方向を示す話者方向検出結果を方向推定結果提示部１６６に供給する。この場合、直接音／反射音判別部２６では反射音の方向であるとされた方向が、話者方向決定部２０３においてはユーザ（発話者）の方向であるとされることになる。
【０２８４】
さらに、例えば話者方向決定部２０３は、検出用画像に対する人検出により、直接音の方向θｄでも反射音の方向でも人が検出されなかった場合、直接音の方向θｄを示す話者方向検出結果を方向推定結果提示部１６６に供給する。
【０２８５】
同様に、例えば話者方向決定部２０３は、検出用画像に対する人検出により、直接音の方向θｄでも反射音の方向でも人が検出された場合、直接音の方向θｄを示す話者方向検出結果を方向推定結果提示部１６６に供給する。
【０２８６】
方向推定結果提示部１６６は、話者方向決定部２０３から供給された話者方向検出結果と、音声認識部１６５から供給された音声認識結果とに基づいて、発話者であるユーザの方向の音を認識していることのフィードバック（提示）を行う。
【０２８７】
この場合、方向推定結果提示部１６６では、話者方向検出結果が直接音の方向θｄと同様に扱われて、第２の実施の形態における場合と同様のフィードバックが行われる。
【０２８８】
以上のように、第１の実施の形態乃至第３の実施の形態で説明した本技術によれば、直接音の方向、すなわちユーザの方向の判別精度を向上させることができる。
【０２８９】
例えば本技術は、ユーザにより起動ワードが発せられると起動し、その起動ワードに応じて自身の向きをユーザ方向に向けるインタラクション（フィードバック）等を行う機器などに適用することができる。この場合、本技術では、機器周辺の雑音条件によらず、壁やテレビなどの構造物による反射音の方向ではなく、正しくユーザの方向を向く頻度を高めることができる。
【０２９０】
さらに、例えば第２の実施の形態や第３の実施の形態では、雑音抑圧部１６２において、特定方向、すなわち直接音の方向を強調する処理が行われる。このとき、本来は直接音の方向を強調すべきところを誤って反射音の方向が強調されてしまうと、反射の経路によっては特定周波数が強調されたり、減衰によって周波数特性が乱れたりして、後段における音声認識率が低下してしまうことがある。
【０２９１】
しかし、本技術では、到達タイミングと点音源性という直接音と反射音の特性を利用することで、直接音の方向を高精度に判別することができるので、そのような音声認識率の低下を抑制することができる。
【０２９２】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２９３】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２９４】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２９５】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２９６】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０２９７】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２９８】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２９９】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０３００】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３０１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３０２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３０３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３０５】
さらに、本技術は、以下の構成とすることも可能である。
【０３０６】
（１）
音声信号から音声区間を検出し、前記音声区間に含まれる音声の到来方向を推定する方向推定部と、
前記音声区間に対して複数の前記到来方向が前記推定により得られた場合、前記複数の前記到来方向の音声のうちの何れの音声が先行して到達したかを判別する判別部と
を備える信号処理装置。
（２）
前記判別部は、所定の前記到来方向の音声成分が強調された前記音声信号と、他の前記到来方向の音声成分が強調された前記音声信号との相互相関に基づいて前記判別を行う
（１）に記載の信号処理装置。
（３）
前記判別部は、前記相互相関に対して定常雑音成分を抑圧する処理を行い、前記処理が行われた前記相互相関に基づいて前記判別を行う
（２）に記載の信号処理装置。
（４）
前記判別部は、前記到来方向の音声の点音源らしさに基づいて前記判別を行う
（１）乃至（３）の何れか一項に記載の信号処理装置。
（５）
前記点音源らしさは、前記音声信号の空間スペクトルの大きさまたは尖度である
（４）に記載の信号処理装置。
（６）
前記判別の結果に基づく提示を行う提示部をさらに備える
（１）乃至（５）の何れか一項に記載の信号処理装置。
（７）
前記信号処理装置の周囲を撮像して得られた画像からの人の検出結果と、前記判別部による前記判別の結果とに基づいて発話者の方向を決定する決定部をさらに備える
（１）乃至（６）の何れか一項に記載の信号処理装置。
（８）
信号処理装置が、
音声信号から音声区間を検出し、
前記音声区間に含まれる音声の到来方向を推定し、
前記音声区間に対して複数の前記到来方向が前記推定により得られた場合、前記複数の前記到来方向の音声のうちの何れの音声が先行して到達したかを判別する
信号処理方法。
（９）
音声信号から音声区間を検出し、
前記音声区間に含まれる音声の到来方向を推定し、
前記音声区間に対して複数の前記到来方向が前記推定により得られた場合、前記複数の前記到来方向の音声のうちの何れの音声が先行して到達したかを判別する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０３０７】
１１  信号処理装置，  ２１  マイク入力部，  ２４  音声区間検出部，  ２５  同時発生区間検出部，  ２６  直接音／反射音判別部，  ５１  時間差算出部，  ５２  点音源らしさ算出部，  ５３  統合部，  １６５  音声認識部，  １６６  方向推定結果提示部，  ２０１  カメラ入力部，  ２０２  人検出部，  ２０３  話者方向決定部
【図１】
2019202966.tif 000023
【図２】
2019202966.tif 000024
【図３】
2019202966.tif 000025
【図４】
2019202966.tif 000026
【図５】
2019202966.tif 000027
【図６】
2019202966.tif 000028
【図７】
2019202966.tif 000029
【図８】
2019202966.tif 000030
【図９】
2019202966.tif 000031
【図１０】
2019202966.tif 000032
【図１１】
2019202966.tif 000033
【図１２】
2019202966.tif 000034
【図１３】
2019202966.tif 000035
【図１４】
2019202966.tif 000036
【図１５】
2019202966.tif 000037
【国際調査報告】
2019202966.tif 000038
2019202966.tif 000039
2019202966.tif 000040
2019202966.tif 000041