(57)【要約】【課題】正確かつ簡単にダブルトーク状態を判定できるようにする。【解決手段】本発明は、受信した近端受話音声信号をエコー経路に出力する受話音声信号受信部と、複数のマイクのそれぞれから入力した各入力信号を、時間領域から周波数領域に変換して得た、複数の周波数領域入力信号の差に基づいて、正面抑圧信号を生成する正面抑圧信号生成部と、複数の入力信号から得た信号を用いてコヒーレンスを算出するコヒーレンス算出部と、正面抑圧信号とコヒーレンスとの関係性を示す特徴量を算出する特徴量算出部と、特徴量に基づいてトーク状態を判定するトーク状態判定部と、疑似エコー信号を入力信号から減算して得た処理後信号を出力するものであって、トーク状態判定部による判定結果を用いて内部フィルター係数の更新制御を行なう適応フィルター処理部とを備える。【選択図】      図１
2019035915.tif 000002
【特許請求の範囲】
【請求項１】
受信した近端受話音声信号をエコー経路に出力する受話音声信号受信部と、
複数のマイクのそれぞれから入力した各入力信号を、時間領域から周波数領域に変換して得た、複数の周波数領域入力信号の差に基づいて、正面に死角を有する正面抑圧信号を生成する正面抑圧信号生成部と、
前記複数の入力信号から得た信号に基づいてコヒーレンスを算出するコヒーレンス算出部と、
前記正面抑圧信号と前記コヒーレンスとの関係性を示す特徴量を算出する特徴量算出部と、
前記特徴量に基づいてトーク状態を判定するトーク状態判定部と、
前記受話音声信号受信部からの前記近端受話音声信号と内部フィルター係数とに基づいて生成した疑似エコー信号を前記入力信号から減算して得た処理後信号を出力するものであって、前記トーク状態判定部による判定結果に基づいて、前記内部フィルター係数の更新制御を行なう適応フィルター処理部と
を備えることを特徴とするトーク状態判定装置。
【請求項２】
前記特徴量算出部が、前記正面抑圧信号と前記コヒーレンスとの相関係数を前記特徴量として算出するものであり、
前記トーク状態判定部が、前記相関係数の値が正の場合にダブルトーク状態と判定し、前記相関係数の値が負の場合に非ダブルトーク状態と判定する
ことを特徴とする請求項１に記載のトーク状態判定装置。
【請求項３】
受話音声信号受信部が、受信した近端受話音声信号をエコー経路に出力し、
正面抑圧信号生成部が、複数のマイクのそれぞれから入力した各入力信号を、時間領域から周波数領域に変換して得た、複数の周波数領域入力信号の差に基づいて、正面に死角を有する正面抑圧信号を生成し、
コヒーレンス算出部が、前記複数の入力信号から得た信号に基づいてコヒーレンスを算出し、
特徴量算出部が、前記正面抑圧信号と前記コヒーレンスとの関係性を示す特徴量を算出し、
トーク状態判定部が、前記特徴量に基づいてトーク状態を判定し、
適応フィルター処理部が、前記受話音声信号受信部からの前記近端受話音声信号と内部フィルター係数とに基づいて生成した疑似エコー信号を前記入力信号から減算して得た処理後信号を出力するものであって、前記トーク状態判定部による判定結果に基づいて、前記内部フィルター係数の更新制御を行なう
ことを特徴とするトーク状態判定方法。
【請求項４】
コンピュータを、
受信した近端受話音声信号をエコー経路に出力する受話音声信号受信部と、
複数のマイクのそれぞれから入力した各入力信号を、時間領域から周波数領域に変換して得た、複数の周波数領域入力信号の差に基づいて、正面に死角を有する正面抑圧信号を生成する正面抑圧信号生成部と、
前記複数の入力信号から得た信号に基づいてコヒーレンスを算出するコヒーレンス算出部と、
前記正面抑圧信号と前記コヒーレンスとの関係性を示す特徴量を算出する特徴量算出部と、
前記特徴量に基づいてトーク状態を判定するトーク状態判定部と、
前記受話音声信号受信部からの前記近端受話音声信号と内部フィルター係数とに基づいて生成した疑似エコー信号を前記入力信号から減算して得た処理後信号を出力するものであって、前記トーク状態判定部による判定結果に基づいて、前記内部フィルター係数の更新制御を行なう適応フィルター処理部と
して機能させることを特徴とするトーク状態判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、トーク状態判定装置、方法及びプログラムに関し、例えば、電話やテレビ会議システムなどの音声信号（この明細書では、音声信号と音響信号の双方を含めて「音声信号」と呼んでいる。）を用いる通信装置または通信ソフトウェア、あるいは音声認識処理の前処理で用いる音響信号処理に適用し得るものである。
【背景技術】
【０００２】
近年、スマートフォンやカーナビゲーションなど、音声通話機能や音声認識機能などの様々な音声処理機能を搭載した機器が普及している。しかし、これらの機器が普及したことで、混雑した街中や走行中の車内など、以前よりも過酷な雑音環境下で音声処理機能が用いられるようになってきている。そのため、雑音環境下でも通話音質や音声認識性能を維持するため、信号処理技術が提案されている（特許文献１、２参照）。
【０００３】
ところで、拡散通話系では、近端のスピーカーから放音された遠端（通話相手）の音声信号がマイクに回り込むと（帰還すると）、いわゆるハウリングと呼ばれる発振状態が起こり得る。ハウリングが起こると、連続的に過大な入出力が生じるため、音声品質が低下したり、機器が破損してしまうこともある。
【０００４】
ハウリングを防ぐ対策技術として、エコーキャンセラーが良く用いられている。エコーキャンセラーは、適応フィルターを用いてスピーカーとマイクとの間の音響伝達特性を推測し、この音響伝達特性を用いてスピーカーからマイクに回り込んだ信号を近似し（疑似エコー信号）、疑似エコー信号を送話音声信号から減算する技術である。
【０００５】
エコーキャンセラーにおける適応フィルターは、近端受話音声信号と近端送話音声信号との二乗誤差を最小化するように適応フィルター係数を逐次更新していく技術である。この手法は、例えば非特許文献２に記載されているような、学習同定法などが良く用いられるが、ハウリングを防ぐためには適応フィルター係数を正確に算出することが求められる。
【０００６】
ここで、適応フィルターは近端話者が発話していないことを前提としており、近端話者も発話している、いわゆるダブルトーク状態が検出されたときには、適応フィルターの更新処理を停止するなどして、適応フィルター係数の誤差拡大を防ぐことが必要となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−１６４１９１号公報
【特許文献２】特開２０１７−４０７５２号公報
【非特許文献】
【０００８】
【非特許文献１】平岡和幸、堀玄著,“プログラミングのための確率統計”,オーム社、平成２１年１０月２３日発行
【非特許文献２】浅野太著，日本音響学会編,“音響テクノロジーシリーズ１６  音のアレイ信号処理  音源の定位・追跡と分離  ”,コロナ社，２０１１年２月２５日発行，Ｐ．５８
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、先述したように、近年は様々な過酷な音響環境下で、信号処理機能が使用されているため、以前よりもハウリングの発生確率は高まっている。従来のダブルトーク状態の判定手法は、近端送話音声信号と近端受話音声信号との相互相関値が所定の閾値を上回ったか否かにより判定しているが、通話環境の多様化に伴い、通話環境に応じて適切に閾値を変化させるなどの閾値設定が困難であり、ダブルトーク状態の判定処理は複雑化している。
【００１０】
そのため、従来よりも正確かつ簡単にダブルトーク状態又は非ダブルトーク状態を判定することができるトーク状態判定装置、方法及びプログラムが求められている。
【課題を解決するための手段】
【００１１】
かかる課題を解決するために、第１の本発明に係るトーク状態判定装置は、（１）受信した近端受話音声信号をエコー経路に出力する受話音声信号受信部と、（２）複数のマイクのそれぞれから入力した各入力信号を、時間領域から周波数領域に変換して得た、複数の周波数領域入力信号の差に基づいて、正面に死角を有する正面抑圧信号を生成する正面抑圧信号生成部と、（３）複数の入力信号から得た信号に基づいてコヒーレンスを算出するコヒーレンス算出部と、（４）正面抑圧信号とコヒーレンスとの関係性を示す特徴量を算出する特徴量算出部と、（５）特徴量に基づいてトーク状態を判定するトーク状態判定部と、（６）受話音声信号受信部からの近端受話音声信号と内部フィルター係数とに基づいて生成した疑似エコー信号を入力信号から減算して得た処理後信号を出力するものであって、トーク状態判定部による判定結果に基づいて、内部フィルター係数の更新制御を行なう適応フィルター処理部とを備えることを特徴とする。
【００１２】
第２の本発明に係るトーク状態判定方法は、（１）受話音声信号受信部が、受信した近端受話音声信号をエコー経路に出力し、（２）正面抑圧信号生成部が、複数のマイクのそれぞれから入力した各入力信号を、時間領域から周波数領域に変換して得た、複数の周波数領域入力信号の差に基づいて、正面に死角を有する正面抑圧信号を生成し、（３）コヒーレンス算出部が、複数の入力信号から得た信号に基づいてコヒーレンスを算出し、（４）特徴量算出部が、正面抑圧信号とコヒーレンスとの関係性を示す特徴量を算出し、（５）トーク状態判定部が、特徴量に基づいてトーク状態を判定し、（６）適応フィルター処理部が、受話音声信号受信部からの近端受話音声信号と内部フィルター係数とに基づいて生成した疑似エコー信号を入力信号から減算して得た処理後信号を出力するものであって、トーク状態判定部による判定結果に基づいて、内部フィルター係数の更新制御を行なうことを特徴とする。
【００１３】
第３の本発明に係るトーク状態判定プログラムは、コンピュータを、（１）受信した近端受話音声信号をエコー経路に出力する受話音声信号受信部と、（２）複数のマイクのそれぞれから入力した各入力信号を、時間領域から周波数領域に変換して得た、複数の周波数領域入力信号の差に基づいて、正面に死角を有する正面抑圧信号を生成する正面抑圧信号生成部と、（３）複数の入力信号から得た信号に基づいてコヒーレンスを算出するコヒーレンス算出部と、（４）正面抑圧信号と前記コヒーレンスとの関係性を示す特徴量を算出する特徴量算出部と、（５）特徴量に基づいてトーク状態を判定するトーク状態判定部と、（６）受話音声信号受信部からの近端受話音声信号と内部フィルター係数とに基づいて生成した疑似エコー信号を入力信号から減算して得た処理後信号を出力するものであって、トーク状態判定部による判定結果に基づいて、フィルター係数の更新制御を行なう適応フィルター処理部として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、従来よりも正確かつ簡単にダブルトーク状態又は非ダブルトーク状態を判定することができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態に係るトーク状態判定装置の全体構成を示すブロック図である。
【図２】実施形態に係るマイク及びスピーカーの配置例を説明する説明図である。
【図３】実施形態に係るトーク状態判定装置で適用される指向性信号の特性を示す図である。
【図４】実施形態に係るダブルトーク状態判定部の構成を示すブロック図である。
【図５】実施形態に係るダブルトーク状態判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
（Ａ）本発明の基本的概念の説明
本発明の実施形態を説明する前に、本発明の基本的概念を説明する。
【００１７】
本発明は、ハンズフリー端末等の拡声通信機のスピーカーから発した音声信号（近端受話音声信号）を妨害音とみなし、特許文献２に記載される音響信号処理方法で、入力信号における妨害音の寄与度を推定し、その結果に応じてダブルトーク状態であるか否かを判定する。
【００１８】
ここで、妨害音の寄与度の推定手法の原理を以下に述べる。まず、目的音はマイクの正面方向から到来するものとし、妨害音はそれ以外（例えば、マイクの正面方向に対して左右方向、後ろ方向）の方位から到来するものとする。
【００１９】
図２は、マイクｍ＿１及びｍ＿２の配置例を説明する説明図である。図２に示すように、マイクｍ＿１、ｍ＿２は、２つのマイクｍ＿１、ｍ＿２を含む面が目的音の到来する方向（目的音の音源の方向）に対して垂直となるように配置されているものとする。
【００２０】
以下では、図２に示すように、２つのマイクｍ＿１、ｍ＿２の間の位置から見て、目的音の到来方向を前方向又は正面方向と呼ぶものとする。また、図２に示すように、右方向、左方向、後ろ方向と呼ぶ場合は、２つのマイクｍ＿１、ｍ＿２の間の位置から目的音の到来方向を見た場合の各方向を示すものとして説明する。なお、この実施形態では、説明を単純化するために、目的音がマイクｍ＿１、ｍ＿２の正面方向から到来し、妨害音を含む非目的音が左右方向（横方向）から到来するものとして説明する。勿論、マイクへの妨害音の到来方向はこれに限定するものではない。
【００２１】
特許文献２に記載の妨害音の寄与度の推定手法は、正面抑圧信号とコヒーレンスＣＯＨという２つの特徴量を用いている。
【００２２】
正面抑圧信号は、特許文献２及び後述する実施形態で説明するように、正面方向の信号成分を抑圧した信号である。「妨害音が存在せず」かつ「目的音が存在する」場合でも、正面方向から到来する信号成分を含んだ信号成分を捕捉するため、正面抑圧信号は、目的音成分の大きさに比例した信号値をもつ。ただし、正面方向の集音レベル（例えばゲイン）は、横方向に比べて小さいため、「妨害音が存在せず」かつ「目的音が存在する」場合の正面抑圧信号のゲインは、妨害音が存在する場合よりも小さい。
【００２３】
コヒーレンスＣＯＨは、特許文献１及び後述する実施形態で説明するように、入力信号の到来方位と深い関係を持つ特徴量である。よって、コヒーレンスＣＯＨは「妨害音が存在せず」かつ「目的音のみが存在する」場合には大きな値をとり、「妨害音が存在する」場合には小さい値をとる。
【００２４】
以上の挙動を妨害音の有無に着目して整理すると、以下のようになる。
【００２５】
・「妨害音が存在せず」かつ「目的音のみが存在する」場合には、コヒーレンスＣＯＨは大きな値となり、正面抑圧信号は目的音の信号成分の大きさに比例した値となる。
【００２６】
・「妨害音が存在する」場合にはコヒーレンスＣＯＨは小さい値となり、正面抑圧信号は大きな値となる。
【００２７】
上記挙動より、特許文献２に記載の妨害音の寄与度を推定する手法は、正面抑圧信号とコヒーレンスＣＯＨとの相関係数の値に着目して、妨害音の有無を、以下のように判定する。
【００２８】
・「妨害音が存在しない」場合には、相関係数は正の値となる。
【００２９】
・「妨害音が存在する」場合には、相関係数は負の値となる。
【００３０】
ところで、今回のように、スピーカーから放音される近端受話音声信号がマイクに回り込むような拡声通信系に適用することを考える場合、スピーカーから放音される近端受話音声信号を妨害音とみなすことができる。
【００３１】
そうすると、複数のマイクｍ＿１、ｍ＿２に入力した入力信号に基づいて得た正面抑圧信号とコヒーレンスＣＯＨとの相関をとり、その相関係数が正の値の場合には、近端受話音声信号が存在しない場合に相当し、相関係数が負の値の場合には、近端受話音声信号が存在する場合に相当すると判断できる。換言すると、相関係数の値に基づいて近端受話音声信号の有無を判定できるので、相関係数の値に着目することで、ダブルトーク状態を判定することができる。
【００３２】
以上のように、本発明では、正面抑圧信号とコヒーレンスＣＯＨとの相関係数の特有の挙動に基づいて、ダブルトーク状態又は非ダブルトーク状態を判定する方法を提案する。
【００３３】
（Ｂ）実施形態
以下では、本発明に係るトーク状態判定装置、方法及びプログラムの主たる実施形態を、図面を参照しながら詳細に説明する。
【００３４】
この実施形態では、複数のマイク及びスピーカーを備える拡声通信機に搭載される音声信号処理装置に本発明を適用する場合を例示する。拡声通信機は、例えば電話機、会議端末、いわゆる音声アシスタント端末などのように、マイクとスピーカーを一体的に搭載した通信機に適用できる。
【００３５】
（Ｂ−１）実施形態の構成
図１は、実施形態に係るトーク状態判定装置１の全体構成を示すブロック図である。
【００３６】
図１に示すように、トーク状態判定装置１は、マイクｍ＿１、マイクｍ＿２、ＦＦＴ部１１、正面抑圧信号生成部１２、コヒーレンス計算部１３、相関計算部１４、ダブルトーク状態判定部１５、適応フィルター処理部１６、近端受話音声受信部１７、スピーカーＳＰを有する。
【００３７】
なお、以下では、「近端送話音声信号」は、マイクｍ＿１及びｍ＿２により捕捉されて、トーク状態判定装置１に入力される近端入力信号をいう。また、「近端受話音声信号」は、遠端側からトーク状態判定装置１に入力された遠端入力信号をいう。
【００３８】
また、「ダブルトーク状態」は、遠端話者と近端話者の両者が音声を発している状態をいう。つまり、近端話者の音声信号と、遠端話者の音声信号とが同時期にトーク状態判定装置１に入力されている状態をいう。
【００３９】
トーク状態判定装置１は、プロセッサやメモリ等を有するコンピュータに処理プログラムをインストールして、コンピュータが処理プログラムを実行することでトーク状態判定装置１の各機能が実現するようにしてもよい。なお、トーク状態判定装置１を構成要素のうち一部又は全部をハードウェアで実現するようにしてもよい。
【００４０】
トーク状態判定装置１は、スピーカーＳＰから放音された近端受話音声信号がマイクｍ＿１及びｍ＿２に回り込むことで生じ得るハウリングを防止するため、エコーキャンセル機能を有している。そのため、後述する適応フィルター処理部１６がスピーカーＳＰとマイクｍ＿１及びｍ＿２との間の音響伝達特性を推定して、近端受話音声信号に相当する疑似エコー信号を形成し、マイクｍ＿１及びｍ＿２から入力された各入力信号ｓ１（ｎ）及びｓ２（ｎ）から、前記疑似エコー信号を減算する。そして、トーク状態判定装置１は、入力信号ｓ１（ｎ）及びｓ２（ｎ）から疑似エコー信号を減算した信号を、後段の音声処理装置２に出力する。
【００４１】
音声処理装置２は、トーク状態判定装置１の後段にある処理部であり、トーク状態判定装置１から出力された信号を利用して所定の音声処理を行なう。音声処理装置２における処理内容は特に限定されるものではなく、様々な処理を行なうものを適用でき、例えば、電話端末やテレビ会議システム等の音声通信処理や音声認識処理等を行なうようにしてもよい。なお、トーク状態判定装置１と音声処理装置２とは、信号の授受が可能であればよく、回路の配線接続されているようにしてもよいし、又例えば有線回線、無線回線を介したネットワーク通信により信号の授受ができるものであってもよい。
【００４２】
図１において、近端受話音声受信部１７は、遠端側から入力された近端話者音声信号を取得し、その近端話者信号を、適応フィルター処理部１６及びスピーカーＳＰに与える出力する。
【００４３】
スピーカーＳＰは、近端受話音声受信部１７からの近端話者音声信号を出力するものである。
【００４４】
図１に示すように、トーク状態判定装置１は、複数（図１では２個の場合を示している。）のマイクｍ＿１及びｍ＿２から、近端送話音声信号としての入力信号ｓ１（ｎ）及びｓ２（ｎ）を取得する。なお、ｎはサンプルの入力順を示すインデックスであり、正の整数で表現される。以下では、ｎが小さいほど古い入力サンプルであり、大きいほど新しい入力サンプルであるとする。
【００４５】
ＦＦＴ部１１は、マイクｍ＿１及びｍ＿２のそれぞれから図示しないＡＤ変換器を介して、入力信号ｓ１及びｓ２を受け取り、その入力信号ｓ１及びｓ２に高速フーリエ変換（あるいは離散フーリエ変換）を行うものである。これにより、入力信号ｓ１及びｓ２が周波数領域で表現されることになる。
【００４６】
なお、ＦＦＴ部１１は、高速フーリエ変換を実施するにあたり、入力信号ｓ１（ｎ）及びｓ２（ｎ）から所定のＮ個（Ｎは任意の整数）のサンプルから成る、分析フレームＦＲＡＭＥ１（Ｋ）及びＦＲＡＭＥ２（Ｋ）を構成するものとする。入力信号ｓ１からＦＲＡＭＥ１を構成する例を以下の（１）式に示す。
【００４７】
（１）式において、Ｋはフレームの順番を表すインデックスであり、正の整数で表現される。以下では、Ｋの値が小さいほど古い分析フレームであり、Ｋの値が大きいほど新しい分析フレームであるものとする。また、以降の説明において、特に但し書きが無い限り、分析対象となる最新の分析フレームを表すインデックスはＫであるとする。
【数１】
2019035915.tif 000003
【００４８】
ＦＦＴ部１１は、分析フレームごとに、高速フーリエ変換処理を施すことで、入力信号ｓ１から構成した分析フレームＦＲＡＭＥ１（Ｋ）にフーリエ変換して得た周波数領域信号Ｘ１（ｆ，Ｋ）と、入力信号ｓ２から構成した分析フレームＦＲＡＭＥ２（Ｋ）にフーリエ変換して得た周波数領域信号Ｘ２（ｆ，Ｘ）とを、正面抑圧信号生成部１２及びコヒーレンス計算部１３に与える。
【００４９】
ここで、ｆは周波数を表すインデックスである。また、周波数領域信号Ｘ１（ｆ，Ｋ）は、単一の値ではなく、(２)式のように複数の周波数ｆ１〜ｆｍのｍ個（ｍは任意の整数）のスペクトル成分から構成されるものであるとする。
【数２】
2019035915.tif 000004
【００５０】
上記（２）式において、Ｘ１（ｆ，Ｋ）は複素数であり、実部と虚部からなる。これは、Ｘ２（ｆ，Ｋ）、及び後述する正面抑圧信号生成部１２で説明する正面抑圧信号Ｎ（ｆ，Ｋ）についても同様である。
【００５１】
正面抑圧信号生成部１２は、ＦＦＴ部１１から供給された信号について、周波数毎に正面方向の信号成分を抑圧する処理を行う。換言すると、正面抑圧信号生成部１２は、正面方向の成分を抑圧する指向性フィルターとして機能する。
【００５２】
例えば、正面抑圧信号生成部１２は、図３に示すように、正面方向に死角を有する８の字型の双指向性のフィルターを用いて、ＦＦＴ部１１から供給された信号から正面方向の成分を抑圧する指向性フィルターを形成する。
【００５３】
具体的には、正面抑圧信号生成部１２は、ＦＦＴ部１１から供給された信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）に基づいて、以下の（３）式のような計算を行って、周波数毎の正面抑圧信号Ｎ（ｆ，Ｋ）を生成する。以下の（３）式の計算は、図３のような正面方向に死角を有する８の字型の双指向性のフィルターを形成する処理に相当する。
Ｎ（ｆ，Ｋ）＝Ｘ１（ｆ，Ｋ）−Ｘ２（ｆ，Ｋ）    …（３）
【００５４】
以上のように、正面抑圧信号生成部１２は、周波数ｆ１〜ｆｍの各周波数成分（各周波数帯の１フレーム分のパワー）を取得する。
【００５５】
また、正面抑圧信号生成部１２は、（４）式に従って、周波数ｆ１〜ｆｍの全周波数に亘って、正面抑圧信号Ｎ（ｆ，Ｋ）を平均した、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）を算出する。
【数３】
2019035915.tif 000005
【００５６】
コヒーレンス計算部１３は、ＦＦＴ部１１からの周波数領域信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）に含まれる特定方向に指向性の強い信号を形成してコヒーレンスＣＯＨ（Ｋ）を算出する。
【００５７】
ここで、コヒーレンス計算部１３におけるコヒーレンスＣＯＨ（Ｋ）の算出処理を説明する。
【００５８】
コヒーレンス計算部１３は、周波数領域信号Ｘ１（ｆ，Ｋ）及びＸ２（ｆ，Ｋ）から第１の方向（例えば、左方向）に指向性が強いフィルターで処理した信号Ｂ１（ｆ，Ｋ）を形成し、またコヒーレンス計算部１３は、周波数領域信号Ｘ１（ｆ，Ｋ）及びＸ２（ｆ，Ｋ）から第２の方向（例えば、右方向）に指向性が強いフィルターで処理した信号Ｂ２（ｆ，Ｋ）を形成する。特定方向に指向性の強い信号Ｂ１（ｆ）、Ｂ２（ｆ）の形成方法は、既存の方法を適用することができ、ここでは、以下の（５）式を適用して第１の方向に指向性が強い信号Ｂ１を形成し、以下の（６）式を適用して第２の方向に指向性が強い信号Ｂ２を形成する場合を例示する。
【数４】
2019035915.tif 000006
【００５９】
上記の（５）式、（６）式において、Ｓはサンプリング周波数、ＮはＦＦＴ分析フレーム長、τはマイクｍ＿１とマイクｍ＿２との間の音波到達時間差、ｉは虚数単位、ｆは周波数を示す。
【００６０】
次に、コヒーレンス計算部１３は、上記のようにして得られた信号Ｂ１（ｆ）、Ｂ２（ｆ）に対し、以下のような（７）式、（８）式に示す演算を施すことでコヒーレンスＣＯＨ（Ｋ）を得る。ここで、（７）式におけるＢ２（ｆ、Ｋ）＊はＢ２（ｆ、Ｋ）の共役複素数である。
【数５】
2019035915.tif 000007
【００６１】
ｃｏｅｆ（ｆ、Ｋ）は、インデックスが任意のインデックスＫのフレーム（分析フレームＦＲＡＭＥ１（Ｋ）及びＦＲＡＭＥ２（Ｋ）を構成する任意の周波数ｆ（周波数ｆ１〜ｆｍのいずれかの周波数）の成分におけるコヒーレンスを表しているものとする。
【００６２】
なお、ｃｏｅｆ（ｆ，Ｋ）を求める際に、信号Ｂ１（ｆ）の指向性の方向と信号Ｂ（ｆ）の指向性の方向が異なるものであれば、信号Ｂ１（ｆ）及び信号Ｂ２（ｆ）に係る指向性方向はそれぞれ、正面方向以外の任意の方向とするようにしてもよい。また、ｃｏｅｆ（ｆ，Ｋ）を算出する方法は、上記の算出方法に限定されるものではない。
【００６３】
相関計算部１４は、正面以外に指向性を有する正面抑圧信号Ｎ（ｆ,Ｎ）（平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ））と、コヒーレンスＣＯＨ（Ｋ）との関係性を示す特徴量である相関係数ｃｏｒ（Ｋ）を算出する。
【００６４】
ここでは、図２に例示するように、マイクｍ＿１及びｍ＿２の正面方向に、目的音を発する音源（すなわち近端話者）が存在しているとする。そのため、近端話者が発した音声（目的音）は、マイクｍ＿１及びｍ＿２の正面方向から到来する。
【００６５】
一方、スピーカーＳＰは、マイクｍ＿１及びｍ＿２の位置の近傍に存在しているものとする。ここでは、説明を単純化するために、マイクｍ＿１及びｍ＿２の位置に対してスピーカーＳＰが横（図２では左側）に位置しており、スピーカーＳＰから放音される近端受話音声信号が、マイクｍ＿１及びｍ＿２の横方向（左方向）から到来することになる。なお、スピーカーＳＰの位置は、特に限定されるものではなく、マイクｍ＿１及びｍ＿２の位置に対してスピーカーＳＰが上側、下側に存在しており、近端受話音声信号が、マイクｍ＿１及びｍ＿２の上方向、下方向から到来するなどとしてもよい。
【００６６】
例えば、「妨害音（近端受話音声信号）が存在せず」、かつ、「目的音（近端話者の音声）が存在する」場合、正面抑圧信号Ｎ（ｆ，Ｋ）は、目的音成分の大きさに比例した信号値となる。ただし、図２のように、正面方向のゲインは、横方向のゲインと比較して小さいため、妨害音が存在する場合よりも小さい値となる。
【００６７】
また、コヒーレンスＣＯＨ（Ｋ）は、第１の方向（例えば右方向）から到来する信号と第２の方向（例えば左方向）から到来する信号の相関（特徴量）と言える。従って、コヒーレンスＣＯＨ（Ｋ）が小さい場合は、２つの信号成分Ｂ１（ｆ）、Ｂ２（ｆ）の相関が小さい場合であるといえ、反対にコヒーレンスＣＯＨ（Ｋ）が大きい場合とは相関が大きい場合とあるといえる。コヒーレンスＣＯＨ（Ｋ）が小さい場合、入力信号の到来方向が右方向又は左方向のいずれかに大きく偏っており、正面方向以外の方向から到来している信号といえる。一方、コヒーレンスＣＯＨ（Ｋ）が大きい場合、入力信号の到来方向の偏りが少なく、正面方向から到来している信号であるといえる。
【００６８】
そうすると、「妨害音（近端受話音声信号）が存在せず」かつ「目的音（近端話者が発した音声）が存在する」場合、コヒーレンスＣＯＨ（Ｋ）は大きい値となり、「妨害音（近端受話音声信号）が存在し」かつ「目的音（近端話者が発した音声）が存在する」場合、コヒーレンスＣＯＨ（Ｋ）は小さい値となる。
【００６９】
以上の挙動を妨害音の有無に着目して整理すると、以下のような関係となる。
・「妨害音が存在せず」、かつ、「目的音が存在する」場合、コヒーレンスＣＯＨ（Ｋ）は大きな値となり、正面抑圧信号Ｎ（ｆ，Ｋ）（平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ））は目的音成分の大きさに比例した値となる。
・「妨害音が存在する」場合、コヒーレンスＣＯＨ（Ｋ）が小さい値となり、正面抑圧信号Ｎ（ｆ，Ｋ）（平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ））は大きい値となる。
【００７０】
ところで、上記のような挙動の場合、正面抑圧信号Ｎ（ｆ，Ｋ）（平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ））とコヒーレンスＣＯＨ（Ｋ）との相関係数ｃｏｒ（Ｋ）を導入すると、以下のようなことがいえる。
・「妨害音が存在しない」場合、相関係数ｃｏｒ（Ｋ）は正の値（ｃｏｒ（Ｋ）＞０）となる。
・「妨害音が存在する」場合、相関係数ｃｏｒ（Ｋ）は負の値（ｃｏｒ（Ｋ）≦０）となる。
【００７１】
ここで、相関係数ｃｏｒ（Ｋ）の計算方法は限定されるものではないが、例えば、以下の式（９）を用いて、フレームごとに相関係数ｃｏｒ（Ｋ）を算出することができる。
【００７２】
なお、以下の式（９）において、ｃｏｖ［ＡＶＥ＿Ｎ（Ｋ），ＣＯＨ（Ｋ）］は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）の共分散を示している。また、以下の式（９）において、σＡＶＥ＿Ｎ（Ｋ）は、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）の標準偏差を示し、σＣＯＨ（Ｋ）は、コヒーレンスＣＯＨ（Ｋ）の標準偏差を示している。さらに、以下の（９）式にて、相関係数ｃｏｒ（Ｋ）を求める場合に、ＡＶＥ＿Ｎ（Ｋ）及びＣＯＨ（Ｋ）についてそれぞれ直近に処理した所定数ｉ個のフレームの結果を用いて、標準偏差や共分散を求めるようにしてもよい。具体的には、以下の（９）にて、相関係数ｃｏｒ（Ｋ）を求める過程において、例えば、直近に処理したｉ個のフレーム（Ｋ−ｉ番目のフレーム、Ｋ−（ｉ−１）番目のフレーム、…、Ｋ−１番目のフレーム、Ｋ番目のフレーム）のそれぞれに係るＣＯＨ（Ｋ）及びＡＶＥ＿Ｎを用いて、標準偏差（σＮ（ｆ，Ｋ）、及び、σＣＯＨ（Ｋ））や共分散（ｃｏｖ［ＡＶＥ＿Ｎ（Ｋ），ＣＯＨ（Ｋ）］）を求めるようにしてもよい。言い換えると、相関係数ｃｏｒ（Ｋ）を求める過程において、直近に求めたｉ個のＡＶＥ＿Ｎ及びＣＯＨをサンプルとして用いて、以下の（９）式における標準偏差や共分散を求めるようにしてもよい。このようにして得られる相関係数ｃｏｒ（Ｋ）は、−１．０〜１．０の値をとる。
【数６】
2019035915.tif 000008
【００７３】
ダブルトーク状態判定部１５は、相関計算部１４から相関係数ｃｏｒ（Ｋ）を取得し、相関係数ｃｏｒ（Ｋ）の値と閾値Ｔｈ（この実施形態では、例えば閾値Ｔｈ＝０とする。）との比較結果に基づいて、ダブルトーク状態か否かを判定する。
【００７４】
上述したように、正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）との相関係数ｃｏｒ（Ｋ）の値が正の場合に「妨害音は存在しない」と判定でき、相関係数ｃｏｒ（Ｋ）が負の場合に「妨害音が存在する」と判定することができる。換言すると、相関係数ｃｏｒ（Ｋ）の値が正の場合に、入力信号に近端受話音声信号の信号成分が含まれておらず、非ダブルトーク状態と判定することができる。相関係数ｃｏｒ（Ｋ）の値が負の場合に、入力信号に近端受話音声信号の信号成分が含まれており、ダブルトーク状態と判定することができる。
【００７５】
図４は、実施形態に係るダブルトーク状態判定部１５の構成を示すブロック図である。図４に示すように、実施形態に係るダブルトーク状態判定部１５は、相関係数取得部２１、判定部２２、判定結果出力部２３を有する。
【００７６】
相関係数取得部２１は、相関計算部１４から相関係数ｃｏｒ（Ｋ）を取得するものである。
【００７７】
判定部２２は、相関係数取得部２１からの相関係数ｃｏｒ（Ｋ）の値に基づいて、ダブルトーク状態であるか否かを判定する。判定部２２の判定手法は、上述したように、相関係数ｃｏｒ（Ｋ）と閾値Ｔｈ（例えば、閾値Ｔｈ＝０を設定）とを比較により、相関係数ｃｏｒ（Ｋ）の値が正であるか（ｃｏｒ（Ｋ）≧０）又は相関係数（Ｋ）の値が負であるか（ｃｏｒ（Ｋ）＜０）を判定する。
【００７８】
判定結果出力部２３は、判定部２２による判定の結果に基づいて、判定結果ｒ（Ｋ）を適応フィルター処理部１６に出力する。
【００７９】
判定結果出力部２３は、相関係数ｃｏｒ（Ｋ）の値が正（すなわち、相関係数ｃｏｒ（Ｋ）≧０の場合）、非ダブルトーク状態を示す判定結果ｒ（Ｋ）＝０を適応フィルター処理部１６に出力し、相関係数ｃｏｒ（Ｋ）の値が負（すなわち、相関係数ｃｏｒ（Ｋ）＜０の場合）、ダブルトーク状態を示す判定結果ｒ（ｋ）＝１を適応フィルター処理部１６に出力する。なお、判定結果ｒ（Ｋ）の形式は限定されるものではなく、例えば、ダブルトーク状態の場合に判定結果ｒ（Ｋ）＝０とし、非ダブルトーク状態の場合に判定結果ｒ（Ｋ）＝１としてもよい。
【００８０】
従来のダブルトーク状態の判定手法は、近端送話音声信号と近端受話音声信号との両方を観測して、近端送話音声信号と近端受話音声信号との相互相関値と閾値との比較結果に基づいて判定している。その際、閾値設定は通話環境に応じて適切に行うことが求められるため、ダブルトーク状態の判定が複雑であるが、この実施形態によれば、近端送話音声信号と近端受話音声信号との両方を観測する必要がなく、更に正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）との相関係数ｃｏｒ（Ｋ）の値の正負に基づいて判定することができる。つまり、ダブルトーク状態を判定するための閾値の設定を従来よりも簡単にすることができ、その結果、ダブルトーク判定の処理を容易にすることができる。
【００８１】
適応フィルター処理部１６は、近端受話音声受信部１７から近端受話音声信号ｓｉｇ＿Ｒｏｕｔと内部のフィルター係数とに基づいて疑似エコー信号を生成し、近端送話信号としての入力信号ｓ１（ｎ）から疑似エコー信号を減算するものである。また、適応フィルター処理部１６は、疑似エコー信号の減算により得られた信号を処理後信号ｙ（ｋ）として、後段の音声処理装置２に出力する。
【００８２】
適応フィルター処理部１６は、エコーキャンセラーとしての既存技術を適用することができ、図１には図示しないが、例えば、フィルター係数の更新やクリア等を行う係数制御部、近端送話音声信号から疑似エコー信号を減算する減算部などを有している。
【００８３】
適応フィルター処理部１６は、ダブルトーク状態判定部１５からの判定結果ｒ（Ｋ）を取得し、ダブルトーク状態を示す判定結果ｒ（ｋ）（例えば、判定結果ｒ（Ｋ）＝１）の場合にフィルター係数の更新を停止し、非ダブルトーク状態を示す判定結果ｒ（ｋ）（例えば、判定結果ｒ（Ｋ）＝０）の場合にフィルター係数の更新を行なう。
【００８４】
（Ｂ−２）実施形態の動作
次に、実施形態に係るトーク状態判定装置１における音声信号処理の動作を、図面を参照して詳細に説明する。
【００８５】
まず、マイクｍ＿１、ｍ＿２のそれぞれから図示しないＡＤ変換器を介して、１フレーム分（１つの処理単位分）の入力信号ｓ１（ｎ）、ｓ２（ｎ）がＦＦＴ部１１に供給される。ＦＦＴ部１１は、１フレーム分の入力信号ｓ１（ｎ）及びｓ２（ｎ）に基づく分析フレームＦＲＡＭＥ１（Ｋ）、ＦＲＡＭＥ２（Ｋ）についてフーリエ変換し、周波数領域で示される信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）を取得する。ＦＦＴ部１１で生成された信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）が、正面抑圧信号生成部１２及びコヒーレンス計算部１３に与えられる。
【００８６】
正面抑圧信号生成部１２は、ＦＦＴ部１１からの信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）に基づいて、正面抑圧信号Ｎ（ｆ，Ｋ）を算出する。そして、正面抑圧信号生成部１２は、正面抑圧信号Ｎ（ｆ，Ｋ）に基づいて平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）を算出して、相関計算部１４に与える。
【００８７】
コヒーレンス計算部１３は、ＦＦＴ部１１からの信号Ｘ１（ｆ，Ｋ）、Ｘ２（ｆ，Ｋ）に基づいて、コヒーレンスＣＯＨ（Ｋ）を生成し、相関計算部１４に与える。
【００８８】
相関計算部１４は、例えば（９）式を用いて、平均正面抑圧信号ＡＶＥ＿Ｎ（Ｋ）とコヒーレンスＣＯＨ（Ｋ）との関係性を示す特徴量である相関係数ｃｏｒ（Ｋ）を算出し、その相関係数ｃｏｒ（Ｋ）をダブルトーク状態判定部１５に与える。
【００８９】
ダブルトーク状態判定部１５では、相関計算部１４からの相関係数ｃｏｒ（Ｋ）の値に基づいて、ダブルトーク状態を判定する。
【００９０】
図５は、実施形態に係るダブルトーク状態判定処理を示すフローチャートである。
【００９１】
まず、ダブルトーク状態判定部１５において、相関係数ｃｏｒ（Ｋ）が相関係数取得部２１に与えられ、判定部２２は、相関係数ｃｏｒ（Ｋ）の値と閾値Ｔｈ（Ｔｈ＝０）とを比較する（Ｓ１０１）。ｃｏｒ（Ｋ）の値が閾値Ｔｈ（Ｔｈ＝０）未満の場合（ｃｏｒ（Ｋ）＜０）、ダブルトーク状態と判定する（Ｓ１０２）、ｃｏｒ（Ｋ）の値が閾値Ｔｈ（Ｔｈ＝０）以上の場合（ｃｏｒ（Ｋ）≧０）、非ダブルトーク状態と判定する（Ｓ１０３）。
【００９２】
そして、判定結果出力部２３は、相関係数ｃｏｒ（Ｋ）の値が正（すなわち、相関係数ｃｏｒ（Ｋ）≧０の場合）、非ダブルトーク状態を示す判定結果ｒ（Ｋ）＝０を適応フィルター処理部１６に出力し、相関係数ｃｏｒ（Ｋ）の値が負（すなわち、相関係数ｃｏｒ（Ｋ）＜０の場合）、ダブルトーク状態を示す判定結果ｒ（ｋ）＝１を適応フィルター処理部１６に出力する。
【００９３】
適応フィルター処理部１６は、判定結果ｒ（Ｋ）を取得し、ダブルトーク状態を示す判定結果ｒ（ｋ）（例えば、判定結果ｒ（Ｋ）＝１）の場合にフィルター係数の更新を停止し、非ダブルトーク状態を示す判定結果ｒ（ｋ）（例えば、判定結果ｒ（Ｋ）＝０）の場合にフィルター係数の更新を行なう。
【００９４】
（Ｂ−３）実施形態の効果
以上のように、この実施形態によれば、マイクアレイから得られる正面抑圧信号とコヒーレンスとの相関を用いて、近端話者が発話している場合には相関係数の値が正になり、近端話者が発話しておらず、遠端話者の音声がスピーカーから放音されてマイクに回り込んでいる状態では、相関係数の値が負になるという特徴的な挙動に基づいて、ダブルトーク状態か否かを正確かつ簡単に実現できる。
【００９５】
これにより、本発明を適応フィルターの更新の制御に適用することで、通話音質の向上が期待できる。
【００９６】
（Ｃ）他の実施形態
上述した実施形態においても本発明の種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
【００９７】
（Ｃ−１）上述した実施形態では、ハウリング防止の観点から、拡声通信機にエコーキャンセラーとしてのトーク状態判定装置１を設ける場合を例示した。しかし、本発明は、ハウリング防止のためだけに限定されるものではない。
【００９８】
（Ｃ−２）上述した実施形態では、トーク状態判定装置１、音声処理装置２を別個の構成要素として説明したが、１つの音声処理装置として構築されるものであってもよい。
【００９９】
（Ｃ−３）上述した実施形態では、２つのマイク（マイクアレイ）により捕捉された入力信号に基づいて信号処理を行う場合を例示したが、マイク数は、３つ以上であってもよい。さらに、近端側のスピーカーＳＰの数も限定されるものではなく、２つ以上であってもよく、２つ以上のスピーカーのそれぞれから放音された近端受話音声信号が各マイクに回り込む場合にも、上述した実施形態と同様の信号処理によりダブルトーク状態を判定することができる。
【０１００】
（Ｃ−４）上述した実施形態では、相関計算部１４が、正面抑圧信号とコヒーレンスとを観測して、フレーム毎に相関係数ｃｏｒ（Ｋ）を算出する場合を例示したが、所定時間毎に相関係数を平滑化して平滑化相関係数を算出するようにしてもよい。これにより、瞬時入力の影響を抑え、所定時間の平均的な特性を反映させてダブルトーク状態を判定することができる。
【符号の説明】
【０１０１】
１…トーク状態判定装置、ｍ＿１及びｍ＿２…マイク、１１…ＦＦＴ部、１２…正面抑圧信号生成部、１３…コヒーレンス計算部、１４…相関計算部、１５…ダブルトーク状態判定部、１６…適応フィルター処理部、１７…近端受話音声受信部、ＳＰ…スピーカー、２１…相関係数取得部、２２…判定部、２３…判定結果出力部。
【図１】
2019035915.tif 000009
【図２】
2019035915.tif 000010
【図３】
2019035915.tif 000011
【図４】
2019035915.tif 000012
【図５】
2019035915.tif 000013