(57)【要約】  双方向会話補助装置は、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカと、第１エコー・クロストークキャンセラと、を備える。第１エコー・クロストークキャンセラは、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの出力信号から除去する。
2017064839.tif 000002
【特許請求の範囲】
【請求項１】
第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置であって、
前記第１話者の第１音声を入力するための第１マイクと、
前記第１音声を出力するための第１スピーカと、
前記第２話者の第２音声を入力するための第２マイクと、
前記第２音声を出力するための第２スピーカと、
前記第２スピーカへの入力信号を用いて、前記第２スピーカから出力された前記第２音声が前記第１マイクに入力される第１エコー、及び、前記第２音声が前記第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの出力信号から除去する第１エコー・クロストークキャンセラと、を備える、
双方向会話補助装置。
【請求項２】
さらに、前記第２スピーカから出力された前記第２音声が前記第２マイクに入力される第１ハウリングの程度を示す第１ハウリング信号を推定して算出し、算出した前記第１ハウリング信号を、前記第２マイクの出力信号から除去する第１ハウリングキャンセラを備える、
請求項１記載の双方向会話補助装置。
【請求項３】
さらに、
前記第１スピーカから出力された前記第１音声が前記第１マイクに入力される第２ハウリングの程度を示す第２ハウリング信号を推定して算出し、算出した前記第２ハウリング信号を、前記第１マイクの前記出力信号から除去する第２ハウリングキャンセラと、
前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの前記出力信号から除去する第２エコー・クロストークキャンセラと、を備える、
請求項２記載の双方向会話補助装置。
【請求項４】
前記第１話者の同一時刻における前記第１音声について、前記第１マイクの前記出力信号が前記第２エコー・クロストークキャンセラに入力される時刻は、前記第１音声が前記第２マイクに入力される時刻と同一、又は、より早く、
前記第２話者の同一時刻における前記第２音声について、前記第２マイクの前記出力信号が前記第１エコー・クロストークキャンセラに入力される時刻は、前記第２音声が前記第１マイクに入力される時刻と同一、又は、より早い、
請求項３記載の双方向会話補助装置。
【請求項５】
前記第１ハウリングキャンセラは、
前記第１ハウリングの伝達関数として推定された伝達関数を記憶する第１伝達関数記憶回路と、
当該第１ハウリングキャンセラの出力信号を遅延させる第１遅延器と、
前記第１遅延器から出力された信号を記憶する第１記憶回路と、
前記第１記憶回路に記憶された前記信号と前記第１伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１ハウリング信号を生成する第１畳み込み演算器と、
前記第２マイクの前記出力信号から、前記第１畳み込み演算器から出力された前記第１ハウリング信号を除去し、当該第１ハウリングキャンセラの前記出力信号を出力する第１減算器と、
前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記信号とに基づいて前記第１伝達関数記憶回路に記憶された前記伝達関数を更新する第１伝達関数更新回路と、を有する、
請求項３記載の双方向会話補助装置。
【請求項６】
前記第１エコー・クロストークキャンセラは、
前記第１エコーと前記第１クロストークとを合わせた伝達関数として推定された伝達関数を記憶する第２伝達関数記憶回路と、
前記第２マイクの前記出力信号を記憶する第２記憶回路と、
前記第２記憶回路に記憶された前記出力信号と前記第２伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１妨害信号を生成する第２畳み込み演算器と、
前記第１マイクの出力信号から、前記第２畳み込み演算器から出力された前記第１妨害信号を除去し、当該第１エコー・クロストークキャンセラの出力信号を出力する第２減算器と、
前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とに基づいて前記第２伝達関数記憶回路に記憶された前記伝達関数を更新する第２伝達関数更新回路と、を有する、
請求項５記載の双方向会話補助装置。
【請求項７】
前記第２ハウリングキャンセラは、
前記第２ハウリングの伝達関数として推定された伝達関数を記憶する第３伝達関数記憶回路と、
当該第２ハウリングキャンセラの出力信号を遅延させる第２遅延器と、
前記第２遅延器から出力された信号を記憶する第３記憶回路と、
前記第３記憶回路に記憶された前記信号と前記第３伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２ハウリング信号を生成する第３畳み込み演算器と、
前記第１マイクの前記出力信号から、前記第３畳み込み演算器から出力された前記第２ハウリング信号を除去し、当該第２ハウリングキャンセラの前記出力信号を出力する第３減算器と、
前記第３減算器の前記出力信号と前記第３記憶回路に記憶された前記信号とに基づいて前記第３伝達関数記憶回路に記憶された前記伝達関数を更新する第３伝達関数更新回路と、を有する、
請求項６記載の双方向会話補助装置。
【請求項８】
前記第２エコー・クロストークキャンセラは、
前記第２エコーと前記第２クロストークとを合わせた伝達関数として推定された伝達関数を記憶する第４伝達関数記憶回路と、
前記第１マイクの前記出力信号を記憶する第４記憶回路と、
前記第４記憶回路に記憶された前記出力信号と前記第４伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２妨害信号を生成する第４畳み込み演算器と、
前記第２マイクの出力信号から、前記第４畳み込み演算器から出力された前記第２妨害信号を除去し、当該第２エコー・クロストークキャンセラの出力信号を出力する第４減算器と、
前記第４減算器の前記出力信号と前記第４記憶回路に記憶された前記出力信号とに基づいて前記第４伝達関数記憶回路に記憶された前記伝達関数を更新する第４伝達関数更新回路と、を有する、
請求項７記載の双方向会話補助装置。
【請求項９】
前記第１伝達関数更新回路は、独立成分分析を用いて、前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記信号とに基づいて、前記第１減算器の前記出力信号と前記第１記憶回路に記憶された前記信号とが相互に独立となるように、前記第１伝達関数記憶回路に記憶された前記伝達関数を更新し、
前記第２伝達関数更新回路は、独立成分分析を用いて、前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とに基づいて、前記第２減算器の前記出力信号と前記第２記憶回路に記憶された前記出力信号とが相互に独立となるように、前記第２伝達関数記憶回路に記憶された前記伝達関数を更新し、
前記第３伝達関数更新回路は、独立成分分析を用いて、前記第３減算器の前記出力信号と前記第３記憶回路に記憶された前記信号とに基づいて、前記第３減算器の前記出力信号と前記第３記憶回路に記憶された前記信号とが相互に独立となるように、前記第３伝達関数記憶回路に記憶された前記伝達関数を更新し、
前記第４伝達関数更新回路は、独立成分分析を用いて、前記第４減算器の前記出力信号と前記第４記憶回路に記憶された前記出力信号とに基づいて、前記第４減算器の前記出力信号と前記第４記憶回路に記憶された前記出力信号とが相互に独立となるように、前記第４伝達関数記憶回路に記憶された前記伝達関数を更新する、
請求項８記載の双方向会話補助装置。
【請求項１０】
前記第１伝達関数更新回路は、前記第１減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第１記憶回路に記憶された前記信号と、前記第１ハウリングの前記伝達関数の推定における学習速度を制御するための第１ステップサイズパラメータとを乗じることで第１更新係数を算出し、算出した前記第１更新係数を前記第１伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
前記第２伝達関数更新回路は、前記第２減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第２記憶回路に記憶された前記出力信号と、前記第１エコーと前記第１クロストークとを合わせた前記伝達関数の推定における学習速度を制御するための第２ステップサイズパラメータとを乗じることで第２更新係数を算出し、算出した前記第２更新係数を前記第２伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
前記第３伝達関数更新回路は、前記第３減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第３記憶回路に記憶された前記信号と、前記第２ハウリングの前記伝達関数の推定における学習速度を制御するための第３ステップサイズパラメータとを乗じることで第３更新係数を算出し、算出した前記第３更新係数を前記第３伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行い、
前記第４伝達関数更新回路は、前記第４減算器の前記出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して前記第４記憶回路に記憶された前記出力信号と、前記第２エコーと前記第２クロストークとを合わせた前記伝達関数の推定における学習速度を制御するための第４ステップサイズパラメータとを乗じることで第４更新係数を算出し、算出した前記第４更新係数を前記第４伝達関数記憶回路に記憶された前記伝達関数に加算することで更新を行う、
請求項９記載の双方向会話補助装置。
【請求項１１】
前記第１伝達関数更新回路、前記第２伝達関数更新回路、前記第３伝達関数更新回路及び前記第４伝達関数更新回路が用いる前記非線形関数は、シグモイド関数、双曲線正接関数、正規化線形関数又は符号関数である、
請求項１０記載の双方向会話補助装置。
【請求項１２】
さらに、前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの出力信号から除去する第２エコー・クロストークキャンセラを備える、
請求項１記載の双方向会話補助装置。
【請求項１３】
さらに、
音響信号を用いて、前記第２スピーカから出力された音響が前記第１マイクに入力される第１音響エコーの程度を示す第１音響エコー信号を推定して算出し、算出した前記第１音響エコー信号を、前記第１マイクの前記出力信号から除去する第１音響キャンセラと、
前記音響信号を用いて、前記第１スピーカから出力された前記音響が前記第２マイクに入力される第２音響エコーの程度を示す第２音響エコー信号を推定して算出し、算出した前記第２音響エコー信号を、前記第２マイクの前記出力信号から除去する第２音響キャンセラと、を備える、
請求項３記載の双方向会話補助装置。
【請求項１４】
前記第１音響キャンセラは、
前記第１音響エコーの伝達関数として推定された伝達関数を記憶する第５伝達関数記憶回路と、
前記音響信号を記憶する第５記憶回路と、
前記第５記憶回路に記憶された前記音響信号と前記第５伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第１音響エコー信号を生成する第５畳み込み演算器と、
前記第１マイクの前記出力信号から、前記第５畳み込み演算器から出力された前記第１音響エコー信号を除去し、前記第１音響キャンセラの出力信号を出力する第５減算器と、
前記第５減算器の前記出力信号と前記第５記憶回路に記憶された前記音響信号とに基づいて前記第５伝達関数記憶回路に記憶された前記伝達関数を更新する第５伝達関数更新回路と、を有し、
前記第２音響キャンセラは、
前記第２音響エコーの伝達関数として推定された伝達関数を記憶する第６伝達関数記憶回路と、
前記音響信号を記憶する第６記憶回路と、
前記第６記憶回路に記憶された前記音響信号と前記第６伝達関数記憶回路に記憶された前記伝達関数とを畳み込むことで前記第２音響エコー信号を生成する第６畳み込み演算器と、
前記第２マイクの前記出力信号から、前記第６畳み込み演算器から出力された前記第２音響エコー信号を除去し、前記第２音響キャンセラの出力信号を出力する第６減算器と、
前記第６減算器の前記出力信号と前記第６記憶回路に記憶された前記音響信号とに基づいて前記第６伝達関数記憶回路に記憶された前記伝達関数を更新する第６伝達関数更新回路と、を有する、
請求項１３記載の双方向会話補助装置。
【請求項１５】
前記第１音響キャンセラは、
さらに、前記第２スピーカへの前記入力信号に前記音響信号を加算する第１加算器を有し、
前記第２音響キャンセラは、
さらに、前記第１スピーカへの前記入力信号に前記音響信号を加算する第２加算器を有する、
請求項１４記載の双方向会話補助装置。
【請求項１６】
会話システムにおいて第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助方法であって、
前記会話システムは、
前記第１話者の第１音声を入力するための第１マイクと、
前記第１音声を出力するための第１スピーカと、
前記第２話者の第２音声を入力するための第２マイクと、
前記第２音声を出力するための第２スピーカと、を備え、
前記双方向会話補助方法は、
前記第２スピーカへの入力信号を用いて、前記第２スピーカから出力された前記第２音声が前記第１マイクに入力される第１エコー、及び、前記第２音声が前記第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの出力信号から除去する第１エコー・クロストークキャンセルステップを含む、
双方向会話補助方法。
【請求項１７】
さらに、前記第２スピーカから出力された前記第２音声が前記第２マイクに入力される第１ハウリングの程度を示す第１ハウリング信号を推定して算出し、算出した前記第１ハウリング信号を、前記第２マイクの出力信号から除去する第１ハウリングキャンセルステップを含む、
請求項１６記載の双方向会話補助方法。
【請求項１８】
さらに、
前記第１スピーカから出力された前記第１音声が前記第１マイクに入力される第２ハウリングの程度を示す第２ハウリング信号を推定して算出し、算出した前記第２ハウリング信号を、前記第１マイクの前記出力信号から除去する第２ハウリングキャンセルステップと、
前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの前記出力信号から除去する第２エコー・クロストークキャンルステップと、を含む、
請求項１７記載の双方向会話補助方法。
【請求項１９】
さらに、前記第１スピーカへの入力信号を用いて、前記第１スピーカから出力された前記第１音声が前記第２マイクに入力される第２エコー、及び、前記第１音声が前記第２マイクに入力される第２クロストークの程度を示す第２妨害信号を推定して算出し、算出した前記第２妨害信号を、前記第２マイクの出力信号から除去する第２エコー・クロストークキャンセルステップを含む、
請求項１６記載の双方向会話補助方法。
【請求項２０】
さらに、
音響信号を用いて、前記第２スピーカから出力された音響が前記第１マイクに入力される第１音響エコーの程度を示す第１音響エコー信号を推定して算出し、算出した前記第１音響エコー信号を、前記第１マイクの前記出力信号から除去する第１音響キャンセルステップと、
前記音響信号を用いて、前記第１スピーカから出力された音響が前記第２マイクに入力される第２音響エコーの程度を示す第２音響エコー信号を推定して算出し、算出した前記第２音響エコー信号を、前記第２マイクの前記出力信号から除去する第２音響キャンセルステップと、を備える、
請求項１８記載の双方向会話補助方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置及び双方向会話補助方法に関する。
【背景技術】
【０００２】
特許文献１は、２線伝送路を介してハンズフリー通話が可能な拡声電話回路を開示する。この拡声電話回路は、２線４線変換回路における回線反響信号を消去する第１のエコーキャンセラと、スピーカからマイクへの空間伝播による室内反響信号を消去する第２のエコーキャンセラと、第１のエコーキャンセラの送信出力側と第２のエコーキャンセラの受信入力側の間に可変利得増幅回路とを備える。これにより、安定してスピーカからの受話音量の調整がなされたハンズフリー通話品質を得ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６１−１９４９５８号公報
【発明の概要】
【０００４】
本開示は、エコー（反響）だけでなくクロストーク（漏話）を含む音響的雑音を除去したうえで双方向の会話を拡声して補助する双方向会話補助装置及び双方向会話補助方法を提供する。
【０００５】
本開示における双方向会話補助装置は、第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助装置であって、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカと、第１エコー・クロストークキャンセラと、を備える。第１エコー・クロストークキャンセラは、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの出力信号から除去する。
【０００６】
本開示における双方向会話補助方法は、会話システムにおいて第１話者と第２話者による双方向の会話を拡声して補助する双方向会話補助方法であって、会話システムは、第１話者の第１音声を入力するための第１マイクと、第１音声を出力するための第１スピーカと、第２話者の第２音声を入力するための第２マイクと、第２音声を出力するための第２スピーカとを備える。双方向会話補助方法は、第２スピーカへの入力信号を用いて、第２スピーカから出力された第２音声が第１マイクに入力される第１エコー、及び、第２音声が第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイクの出力信号から除去する第１エコー・クロストークキャンセルステップを含む。
【０００７】
本開示における双方向会話補助装置及び双方向会話補助方法は、エコー（反響）だけでなくクロストーク（漏話）を含む音響的雑音を除去したうえで双方向の会話を拡声して補助するのに有効である。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１における双方向会話補助装置の適用例を示す図
【図２】図１に示された双方向会話補助装置の構成を示すブロック図
【図３】実施の形態２における双方向会話補助装置の構成を示すブロック図
【図４】実施の形態３における双方向会話補助装置の構成を示すブロック図
【図５】実施の形態４における双方向会話補助装置の構成を示すブロック図
【図６】実施の形態５における双方向会話補助装置の構成を示すブロック図
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
（実施の形態１）
以下、図１及び図２を用いて、実施の形態１を説明する。
【００１２】
［１−１．適用例］
図１は、実施の形態１における双方向会話補助装置２０の適用例を示す図である。ここでは、双方向会話補助装置２０を車１０における双方向の会話を拡声して補助する装置（車室内会話補助装置）として適用した例が示されている。
【００１３】
双方向会話補助装置２０は、第１話者１１（ここでは、運転者）と第２話者１２（ここでは、後部乗員）による双方向の会話を拡声して補助する装置である。運転席の天井には、第１話者１１の音声（第１音声）を入力するための第１マイク２１が設けられ、後部座席横の両側の内側面には、その音声を出力するための第１スピーカ２２が設けられている。また、後部座席の天井には、第２話者１２の音声（第２音声）を入力するための第２マイク２３が設けられ、２つの前扉の内側面には、その音声を出力するための第２スピーカ２４が設けられている。
【００１４】
第１話者１１と第２話者１２とは、この双方向会話補助装置２０を用いることで、車における一つの狭い空間であっても、ハウリング（鳴音）、エコー（反響）及びクロストーク（漏話）を含む音響的雑音が除去された双方向会話を楽しむことができる。
【００１５】
なお、ハウリングとは、ある話者の音声を出力するスピーカから出力された音声がその話者の音声が入力されるマイクに帰還して入力される現象をいい、ここでは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される現象、及び、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される現象である。
【００１６】
また、エコーとは、ある話者に向けて出力された音声がその話者の音声を入力するためのマイクに回り込んで入力される現象をいい、ここでは、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される現象、及び、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される現象である。
【００１７】
また、クロストークとは、ある話者の音声が他人の音声を入力するためのマイクに入力される現象をいい、ここでは、第２話者１２の音声が第１マイク２１に入力される現象、及び、第１話者１１の音声が第２マイク２３に入力される現象である。
【００１８】
［１−２．構成］
図２は、図１に示された双方向会話補助装置２０の構成を示すブロック図である。この双方向会話補助装置２０は、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０を備える。なお、双方向会話補助装置２０の各構成要素は、有線又は無線で接続されている。また、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０は、例えば、車１０のヘッドユニットの一部として実装される。
【００１９】
第１マイク２１は、第１話者１１の音声を入力するためのマイクであり、例えば、図１に示されるように、車１０の運転席の天井に設けられる。なお、第１マイク２１から出力される音声信号は、例えば、第１マイク２１に内蔵又は直後に設けられたＡ／Ｄ変換器で生成されるデジタル音声データである。
【００２０】
第１スピーカ２２は、第１話者１１の音声を出力するためのスピーカであり、例えば、図１に示されるように、車１０の後部座席横の内側面に設けられる。なお、第１スピーカ２２は、例えば、入力されたデジタル音声データを第１スピーカ２２に内蔵又は直前に設けられたＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
【００２１】
第２マイク２３は、第２話者１２の音声を入力するためのマイクであり、例えば、図１に示されるように、後部座席の天井に設けられる。なお、第２マイク２３から出力される音声信号は、例えば、第２マイク２３に内蔵又は直後に設けられたＡ／Ｄ変換器で生成されるデジタル音声データである。
【００２２】
第２スピーカ２４は、第２話者１２の音声を出力するためのスピーカであり、例えば、図１に示されるように、車１０の２つの前扉の内側面に設けられる。なお、第２スピーカ２４は、例えば、入力されたデジタル音声データを第２スピーカ２４に内蔵又は直前に設けられたＤ／Ａ変換器でアナログ信号に変換した後に音声として出力する。
【００２３】
［１−２−１．第１ハウリングキャンセラ４０］
第１ハウリングキャンセラ４０は、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０の程度を示す第１ハウリング信号を推定して算出し、算出した第１ハウリング信号を、第２マイク２３の出力信号から除去する回路である。本実施の形態では、第１ハウリングキャンセラ４０は、第２マイク２３の出力信号から後述する第２妨害信号が除去された第２エコー・クロストークキャンセラ７０の出力信号から、さらに第１ハウリング信号を除去し、除去後の信号を第２スピーカ２４に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
【００２４】
より詳しくは、第１ハウリングキャンセラ４０は、第１伝達関数記憶回路４４、第１遅延器４６、第１記憶回路４２、第１畳み込み演算器４３、第１減算器４１、及び、第１伝達関数更新回路４５を有する。
【００２５】
第１伝達関数記憶回路４４は、第１ハウリング３０の伝達関数として推定された伝達関数を記憶する。
【００２６】
第１遅延器４６は、第１ハウリングキャンセラ４０の出力信号を遅延させる。
【００２７】
第１記憶回路４２は、第１遅延器４６から出力された信号を記憶する。
【００２８】
第１畳み込み演算器４３は、第１記憶回路４２に記憶された信号と第１伝達関数記憶回路４４に記憶された伝達関数とを畳み込むことで第１ハウリング信号を生成する。例えば、第１畳み込み演算器４３は、以下の式１に示される畳み込み演算を行うＮタップのＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタである。
【００２９】
【数１】
2017064839.tif 000003
【００３０】
ここで、ｙ１’ｔは、時刻ｔにおける第１ハウリング信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ１（ｉ）ｔは、時刻ｔにおいて第１伝達関数記憶回路４４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ１（ｔ−ｉ−τ１）は、第１記憶回路４２に記憶された信号のうち、（ｔ−ｉ−τ１）番目の信号である。τ１は、第１遅延器４６による遅延時間である。
【００３１】
第１減算器４１は、第２エコー・クロストークキャンセラ７０の出力信号から、第１畳み込み演算器４３から出力された第１ハウリング信号を除去し、第１ハウリングキャンセラ４０の出力信号として出力する。例えば、第１減算器４１は、以下の式２に示される減算を行う。
【００３２】
【数２】
2017064839.tif 000004
【００３３】
ここで、ｅ１ｔは、時刻ｔにおける第１減算器４１の出力信号である。ｙ１ｔは、時刻ｔにおける第２エコー・クロストークキャンセラ７０の出力信号である。
【００３４】
第１伝達関数更新回路４５は、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とに基づいて第１伝達関数記憶回路４４に記憶された伝達関数を更新する。例えば、第１伝達関数更新回路４５は、以下の式３に示されるように、独立成分分析を用いて、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とに基づいて、第１減算器４１の出力信号と第１記憶回路４２に記憶された信号とが相互に独立となるように、第１伝達関数記憶回路４４に記憶された伝達関数を更新する。
【００３５】
【数３】
2017064839.tif 000005
【００３６】
ここで、Ｈ１（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第１伝達関数記憶回路４４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ１（ｊ）ｔは、時刻ｔ（つまり、更新前の）第１伝達関数記憶回路４４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α１は、第１ハウリング３０の伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ１は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
【００３７】
このように、第１伝達関数更新回路４５は、第１減算器４１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第１記憶回路４２に記憶された信号と、第１ハウリング３０の伝達関数の推定における学習速度を制御するための第１ステップサイズパラメータとを乗じることで第１更新係数を算出する。そして、算出した第１更新係数を第１伝達関数記憶回路４４に記憶された伝達関数に加算することで更新を行う。
【００３８】
［１−２−２．第１エコー・クロストークキャンセラ５０］
第１エコー・クロストークキャンセラ５０は、第１ハウリングキャンセラ４０の出力信号を用いて、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第１エコー３１、及び、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２の程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去する回路である。本実施の形態では、第１エコー・クロストークキャンセラ５０は、第１妨害信号が除去された信号を第２ハウリングキャンセラ６０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。ここで、第１ハウリングキャンセラ４０の出力信号は、図２示すように、第２スピーカ２４への入力信号である。
【００３９】
より詳しくは、第１エコー・クロストークキャンセラ５０は、第２伝達関数記憶回路５４、第２記憶回路５２、第２畳み込み演算器５３、第２減算器５１、及び、第２伝達関数更新回路５５を有する。
【００４０】
第２伝達関数記憶回路５４は、第１エコー３１と第１クロストーク３２とを合わせた伝達関数として推定された伝達関数を記憶する。
【００４１】
第２記憶回路５２は、第１ハウリングキャンセラ４０の出力信号を記憶する。
【００４２】
第２畳み込み演算器５３は、第２記憶回路５２に記憶された信号と第２伝達関数記憶回路５４に記憶された伝達関数とを畳み込むことで第１妨害信号を生成する。例えば、第２畳み込み演算器５３は、以下の式４に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
【００４３】
【数４】
2017064839.tif 000006
【００４４】
ここで、ｙ２’ｔは、時刻ｔにおける第１妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ２（ｉ）ｔは、時刻ｔにおいて第２伝達関数記憶回路５４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ２（ｔ−ｉ）は、第２記憶回路５２に記憶された信号のうち、（ｔ−ｉ）番目の信号である。
【００４５】
第２減算器５１は、第１マイク２１の出力信号から、第２畳み込み演算器５３から出力された第１妨害信号を除去し、第１エコー・クロストークキャンセラ５０の出力信号として出力する。例えば、第２減算器５１は、以下の式５に示される減算を行う。
【００４６】
【数５】
2017064839.tif 000007
【００４７】
ここで、ｅ２ｔは、時刻ｔにおける第２減算器５１の出力信号である。ｙ２ｔは、時刻ｔにおける第１マイク２１の出力信号である。
【００４８】
第２伝達関数更新回路５５は、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とに基づいて第２伝達関数記憶回路５４に記憶された伝達関数を更新する。例えば、第２伝達関数更新回路５５は、以下の式６に示されるように、独立成分分析を用いて、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とに基づいて、第２減算器５１の出力信号と第２記憶回路５２に記憶された信号とが相互に独立となるように、第２伝達関数記憶回路５４に記憶された伝達関数を更新する。
【００４９】
【数６】
2017064839.tif 000008
【００５０】
ここで、Ｈ２（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第２伝達関数記憶回路５４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ２（ｊ）ｔは、時刻ｔ（つまり、更新前の）第２伝達関数記憶回路５４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α２は、第１エコー３１と第１クロストーク３２とを合わせた伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ２は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
【００５１】
このように、第２伝達関数更新回路５５は、第２減算器５１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第２記憶回路５２に記憶された信号と、第１エコー３１と第１クロストーク３２とを合わせた伝達関数の推定における学習速度を制御するための第２ステップサイズパラメータとを乗じることで第２更新係数を算出する。そして、算出した第２更新係数を第２伝達関数記憶回路５４に記憶された伝達関数に加算することで更新を行う。
【００５２】
なお、本実施の形態における双方向会話補助装置２０では、第２話者１２の同一時刻における音声について、第１ハウリングキャンセラ４０の出力信号が第１エコー・クロストークキャンセラ５０に入力される時刻は、第２話者１２の音声が第１マイク２１に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第１エコー・クロストークキャンセラ５０が第１クロストーク３２をキャンセルできるように、因果律が保持されている。これは、第１ハウリングキャンセラ４０の出力信号が第１エコー・クロストークキャンセラ５０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第２エコー・クロストークキャンセラ７０での処理速度、第１ハウリングキャンセラ４０での処理速度等）と、第２話者１２の音声が第１マイク２１に入力される時刻を決定づける要因（第２話者１２と第１マイク２１との位置関係等）とを考慮することで適宜、実現し得る。
【００５３】
［１−２−３．第２ハウリングキャンセラ６０］
第２ハウリングキャンセラ６０は、第１エコー・クロストークキャンセラ５０と第１スピーカ２２との間に設けられ、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３の程度を示す第２ハウリング信号を推定して算出し、算出した第２ハウリング信号を、第１マイク２１の出力信号から除去する回路である。本実施の形態では、第２ハウリングキャンセラ６０は、第１マイク２１の出力信号から第１妨害信号が除去された第１エコー・クロストークキャンセラ５０の出力信号から、さらに第２ハウリング信号を除去し、除去後の信号を第１スピーカ２２に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。
【００５４】
より詳しくは、第２ハウリングキャンセラ６０は、第３伝達関数記憶回路６４、第２遅延器６６、第３記憶回路６２、第３畳み込み演算器６３、第３減算器６１、及び、第３伝達関数更新回路６５を有する。
【００５５】
第３伝達関数記憶回路６４は、第２ハウリング３３の伝達関数として推定された伝達関数を記憶する。
【００５６】
第２遅延器６６は、第２ハウリングキャンセラ６０の出力信号を遅延させる。
【００５７】
第３記憶回路６２は、第２遅延器６６から出力された信号を記憶する。
【００５８】
第３畳み込み演算器６３は、第３記憶回路６２に記憶された信号と第３伝達関数記憶回路６４に記憶された伝達関数とを畳み込むことで第２ハウリング信号を生成する。例えば、第３畳み込み演算器６３は、以下の式７に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
【００５９】
【数７】
2017064839.tif 000009
【００６０】
ここで、ｙ３’ｔは、時刻ｔにおける第２ハウリング信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ３（ｉ）ｔは、時刻ｔにおいて第３伝達関数記憶回路６４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ３（ｔ−ｉ−τ２）は、第３記憶回路６２に記憶された信号のうち、（ｔ−ｉ−τ２）番目の信号である。τ２は、第２遅延器６６による遅延時間である。
【００６１】
第３減算器６１は、第１エコー・クロストークキャンセラ５０の出力信号から、第３畳み込み演算器６３から出力された第２ハウリング信号を除去し、第２ハウリングキャンセラ６０の出力信号として出力する。例えば、第３減算器６１は、以下の式８に示される減算を行う。
【００６２】
【数８】
2017064839.tif 000010
【００６３】
ここで、ｅ３ｔは、時刻ｔにおける第３減算器６１の出力信号である。ｙ３ｔは、時刻ｔにおける第１エコー・クロストークキャンセラ５０の出力信号である。
【００６４】
第３伝達関数更新回路６５は、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて第３伝達関数記憶回路６４に記憶された伝達関数を更新する。例えば、第３伝達関数更新回路６５は、以下の式９に示されるように、独立成分分析を用いて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とに基づいて、第３減算器６１の出力信号と第３記憶回路６２に記憶された信号とが相互に独立となるように、第３伝達関数記憶回路６４に記憶された伝達関数を更新する。
【００６５】
【数９】
2017064839.tif 000011
【００６６】
ここで、Ｈ３（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第３伝達関数記憶回路６４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ３（ｊ）ｔは、時刻ｔ（つまり、更新前の）第３伝達関数記憶回路６４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α３は、第２ハウリング３３の伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ３は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
【００６７】
このように、第３伝達関数更新回路６５は、第３減算器６１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第３記憶回路６２に記憶された信号と、第２ハウリング３３の伝達関数の推定における学習速度を制御するための第３ステップサイズパラメータとを乗じることで第３更新係数を算出する。そして、算出した第３更新係数を第３伝達関数記憶回路６４に記憶された伝達関数に加算することで更新を行う。
【００６８】
［１−２−４．第２エコー・クロストークキャンセラ７０］
第２エコー・クロストークキャンセラ７０は、第２ハウリングキャンセラ６０の出力信号を用いて、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第２エコー３４、及び、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去する回路である。本実施の形態では、第２エコー・クロストークキャンセラ７０は、第２妨害信号が除去された信号を第１ハウリングキャンセラ４０に出力する回路であり、デジタル音声データを時間軸領域で処理するデジタル信号処理回路である。ここで、第２ハウリングキャンセラ６０の出力信号は、図２示すように、第１スピーカ２２への入力信号である。
【００６９】
より詳しくは、第２エコー・クロストークキャンセラ７０は、第４伝達関数記憶回路７４、第４記憶回路７２、第４畳み込み演算器７３、第４減算器７１、及び、第４伝達関数更新回路７５を有する。
【００７０】
第４伝達関数記憶回路７４は、第２エコー３４と第２クロストーク３５とを合わせた伝達関数として推定された伝達関数を記憶する。
【００７１】
第４記憶回路７２は、第２ハウリングキャンセラ６０の出力信号を記憶する。
【００７２】
第４畳み込み演算器７３は、第４記憶回路７２に記憶された信号と第４伝達関数記憶回路７４に記憶された伝達関数とを畳み込むことで第２妨害信号を生成する。例えば、第４畳み込み演算器７３は、以下の式１０に示される畳み込み演算を行うＮタップのＦＩＲフィルタである。
【００７３】
【数１０】
2017064839.tif 000012
【００７４】
ここで、ｙ４’ｔは、時刻ｔにおける第２妨害信号である。Ｎは、ＦＩＲフィルタのタップ数である。Ｈ４（ｉ）ｔは、時刻ｔにおいて第４伝達関数記憶回路７４に記憶されたＮ個の伝達関数のうちのｉ番目の伝達関数である。ｘ４（ｔ−ｉ）は、第４記憶回路７２に記憶された信号のうち、（ｔ−ｉ）番目の信号である。
【００７５】
第４減算器７１は、第２マイク２３の出力信号から、第４畳み込み演算器７３から出力された第２妨害信号を除去し、第２エコー・クロストークキャンセラ７０の出力信号として出力する。例えば、第４減算器７１は、以下の式１１に示される減算を行う。
【００７６】
【数１１】
2017064839.tif 000013
【００７７】
ここで、ｅ４ｔは、時刻ｔにおける第４減算器７１の出力信号である。ｙ４ｔは、時刻ｔにおける第２マイク２３の出力信号である。
【００７８】
第４伝達関数更新回路７５は、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて第４伝達関数記憶回路７４に記憶された伝達関数を更新する。例えば、第４伝達関数更新回路７５は、以下の式１２に示されるように、独立成分分析を用いて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とに基づいて、第４減算器７１の出力信号と第４記憶回路７２に記憶された信号とが相互に独立となるように、第４伝達関数記憶回路７４に記憶された伝達関数を更新する。
【００７９】
【数１２】
2017064839.tif 000014
【００８０】
ここで、Ｈ４（ｊ）ｔ＋１は、時刻ｔ＋１における（つまり、更新後の）第４伝達関数記憶回路７４に記憶されるＮ個の伝達関数のうちのｊ番目の伝達関数である。Ｈ４（ｊ）ｔは、時刻ｔ（つまり、更新前の）第４伝達関数記憶回路７４に記憶されたＮ個の伝達関数のうちのｊ番目の伝達関数である。α４は、第２エコー３４と第２クロストーク３５とを合わせた伝達関数の推定における学習速度を制御するためのステップサイズパラメータである。φ４は、非線形関数（例えば、シグモイド関数（ｓｉｇｍｏｉｄ関数）、双曲線正接関数（ｔａｎｈ関数）、正規化線形関数又は符号関数（ｓｉｇｎ関数））である。
【００８１】
このように、第４伝達関数更新回路７５は、第４減算器７１の出力信号に対して非線形関数を用いた非線形処理を施し、得られた結果に対して第４記憶回路７２に記憶された信号と、第２エコー３４と第２クロストーク３５とを合わせた伝達関数の推定における学習速度を制御するための第４ステップサイズパラメータとを乗じることで第４更新係数を算出する。そして、算出した第４更新係数を第４伝達関数記憶回路７４に記憶された伝達関数に加算することで更新を行う。
【００８２】
なお、本実施の形態における双方向会話補助装置２０では、第１話者１１の同一時刻における音声について、第２ハウリングキャンセラ６０の出力信号が第２エコー・クロストークキャンセラ７０に入力される時刻は、第１話者１１の音声が第２マイク２３に入力される時刻と同一、又は、より早くなるように、設計されている。つまり、第２エコー・クロストークキャンセラ７０が第２クロストーク３５をキャンセルできるように、因果律が保持されている。これは、第２ハウリングキャンセラ６０の出力信号が第２エコー・クロストークキャンセラ７０に入力される時刻を決定づける要因（Ａ／Ｄ変換の速度、第１エコー・クロストークキャンセラ５０での処理速度、第２ハウリングキャンセラ６０での処理速度等）と、第１話者１１の音声が第２マイク２３に入力される時刻を決定づける要因（第１話者１１と第２マイク２３との位置関係等）とを考慮することで適宜、実現し得る。
【００８３】
［１−３．動作］
以上のように構成された本実施の形態における双方向会話補助装置２０では、第１話者１１の音声及び第２話者１２の音声は次のように、処理される。
【００８４】
第１話者１１の音声は、第１マイク２１に入力される。第１マイク２１の出力信号は、第１エコー・クロストークキャンセラ５０において、第１妨害信号が除去される。第１妨害信号は、第１エコー３１及び第１クロストーク３２の程度を示す（推定された）信号である。よって、第１エコー・クロストークキャンセラ５０の出力信号は、第１マイク２１に入力された音声から、第１エコー３１及び第１クロストーク３２の影響が除去された音声を示す信号となる。
【００８５】
続いて、第１エコー・クロストークキャンセラ５０の出力信号は、第２ハウリングキャンセラ６０において、第２ハウリング信号が除去される。第２ハウリング信号は、第２ハウリング３３の程度を示す（推定された）信号である。よって、第２ハウリングキャンセラ６０の出力信号は、第１エコー・クロストークキャンセラ５０の出力信号から、第２ハウリング３３の影響が除去された信号となる。この信号が第１スピーカ２２に入力され音声となって出力される。
【００８６】
よって、第１スピーカ２２から出力される音声は、第１マイク２１に入力された音声のうち、第１エコー３１、第１クロストーク３２及び第２ハウリング３３の影響が除去された音声、つまり、音響的雑音が除去された第１話者１１の音声だけとなる。
【００８７】
同様に、第２話者１２の音声は、第２マイク２３に入力される。第２マイク２３の出力信号は、第２エコー・クロストークキャンセラ７０において、第２妨害信号が除去される。第２妨害信号は、第２エコー３４及び第２クロストーク３５の程度を示す（推定された）信号である。よって、第２エコー・クロストークキャンセラ７０の出力信号は、第２マイク２３に入力された音声から、第２エコー３４及び第２クロストーク３５の影響が除去された音声を示す信号となる。
【００８８】
続いて、第２エコー・クロストークキャンセラ７０の出力信号は、第１ハウリングキャンセラ４０において、第１ハウリング信号が除去される。第１ハウリング信号は、第１ハウリング３０の程度を示す（推定された）信号である。よって、第１ハウリングキャンセラ４０の出力信号は、第２エコー・クロストークキャンセラ７０の出力信号から、第１ハウリング３０の影響が除去された信号となる。この信号が第２スピーカ２４に入力され音声となって出力される。
【００８９】
よって、第２スピーカ２４から出力される音声は、第２マイク２３に入力された音声のうち、第２エコー３４、第２クロストーク３５及び第１ハウリング３０の影響が除去された音声、つまり、音響的雑音が除去された第２話者１２の音声だけとなる。
【００９０】
なお、音響的雑音が除去される程度は、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０に保持された伝達関数の精度、上記式３、式６、式９及び式１２に示される伝達関数の更新式におけるパラメータ等に依存するのは言うまでもない。
【００９１】
［１−４．効果等］
以上のように、本実施の形態における双方向会話補助装置２０は、第１マイク２１及び第１エコー・クロストークキャンセラ５０を備える。そして、双方向会話補助装置２０では、第２話者１２の同一時刻における音声について、信号が第１エコー・クロストークキャンセラ５０に入力される時刻は、第２話者１２の音声が第１マイク２１に入力される時刻と同一、又は、より早くなるように、設計されている。よって、第１エコー・クロストークキャンセラ５０は、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第１エコー３１だけでなく、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２をも推定して、第１マイク２１の出力信号から除去する。
【００９２】
これにより、例えば音源分離技術を使って、第１マイク２１に入力される第１話者１１の音声と第２話者１２の音声（第１クロストーク３２）とを分離して第１話者１１の音声だけを抽出することなく、第１マイク２１の出力信号から第１エコー３１及び第１クロストーク３２による音響的雑音が除去される。そのため、ハードウェアを増加することなく、第１クロストーク３２による音声が第２話者１２側の第１スピーカ２２から拡声されてしまうことが抑制される。
【００９３】
同様に、本実施の形態における双方向会話補助装置２０は、第２マイク２３及び第２エコー・クロストークキャンセラ７０を備える。そして、双方向会話補助装置２０では、第１話者１１の同一時刻における音声について、信号が第２エコー・クロストークキャンセラ７０に入力される時刻は、第１話者１１の音声が第２マイク２３に入力される時刻と同一、又は、より早くなるように、設計されている。よって、第２エコー・クロストークキャンセラ７０は、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第２エコー３４だけでなく、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５をも推定して、第２マイク２３の出力信号から除去する。
【００９４】
これにより、例えば音源分離技術を使って、第２マイク２３に入力される第２話者１２の音声と第１話者１１の音声（第２クロストーク３５）とを分離して第２話者１２の音声だけを抽出することなく、第２マイク２３の出力信号から第２エコー３４及び第２クロストーク３５による音響的雑音が除去される。そのため、ハードウェアを増加することなく、第２クロストーク３５による音声が第１話者１１側の第２スピーカ２４から拡声されてしまうことが抑制される。
【００９５】
また、本実施の形態における双方向会話補助装置２０は、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０を備える。
【００９６】
一般に、第１話者１１側に設置される第１マイク２１と第２スピーカ２４との距離は、第１話者１１の音声を処理する第１マイク２１と第１スピーカ２２との距離よりも小さく、同様に、第２話者１２側に設置される第２マイク２３と第１スピーカ２２との距離は、第２話者１２の音声を処理する第２マイク２３と第２スピーカ２４との距離よりも小さい。
【００９７】
よって、本実施の形態における双方向会話補助装置２０では、第１マイク２１に入力された音声に対して、まず、第１エコー・クロストークキャンセラ５０で第１エコー３１と第１クロストーク３２とが除去され、次に、第２ハウリングキャンセラ６０で第２ハウリング３３が除去される。同様に、第２マイク２３に入力された音声に対して、まず、第２エコー・クロストークキャンセラ７０で第２エコー３４と第２クロストーク３５とが除去され、次に、第１ハウリングキャンセラ４０で第１ハウリング３０が除去される。
【００９８】
このように、距離が近くて音響結合の強い第２スピーカ２４から第１マイク２１への第１エコー３１と、第１スピーカ２２から第２マイク２３への第２エコー３４がそれぞれ第１エコー・クロストークキャンセラ５０と第２エコー・クロストークキャンセラ７０とによって最初に除去される。これにより、第１マイク２１及び第２マイク２３に入力される最も強い第１エコー３１と第２エコー３４とが最初に除去されるために、第１エコー・クロストークキャンセラ５０の後段に位置する第２ハウリングキャンセラ６０による第２ハウリング３３の除去と、第２エコー・クロストークキャンセラ７０の後段に位置する第１ハウリングキャンセラ４０による第１ハウリング３０の除去が容易になる。そのため、音響的雑音の効率的な除去が可能になる。
【００９９】
さらに、このようなエコーの除去に加えて、第１マイク２１に入力された音声に対して、第１エコー・クロストークキャンセラ５０によって第１クロストーク３２が除去され、第２ハウリングキャンセラ６０よって第２ハウリング３３が除去される。同様に、第２マイク２３に入力された音声に対して、第２エコー・クロストークキャンセラ７０によって第２クロストーク３５が除去され、第１ハウリングキャンセラ４０によって第１ハウリング３０が除去され、第１マイク２１及び第２マイク２３に入力される不要な信号が全て除去される。そのため、ハウリング、エコー及びクロストークを起こすことなく、車内のような同一空間において、音響的雑音を除去した状態で、双方向に音声を拡声することが可能になる。
【０１００】
また、本実施の形態における双方向会話補助装置２０では、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０に畳み込み演算器が設けられているので、周波数領域ではなく、時間軸領域で音響的雑音を除去する信号処理が行われ、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）等の処理が不要となり、その結果、高速な信号処理によって確実に音響的雑音が除去される。
【０１０１】
［１−５．変形例］
上記実施の形態では、第１伝達関数更新回路４５は、上記式３に従って伝達関数を更新したが、以下の式１３又は式１４に示されるように、正規化された式に従って伝達関数を更新してもよい。
【０１０２】
【数１３】
2017064839.tif 000015
【０１０３】
ここで、Ｎは、第１伝達関数記憶回路４４に記憶される伝達関数の個数である。｜ｘ１（ｔ−ｉ−τ１）｜は、ｘ１（ｔ−ｉ−τ１）の絶対値である。
【０１０４】
【数１４】
2017064839.tif 000016
【０１０５】
これにより、第１伝達関数更新回路４５による推定伝達関数の更新が、入力信号ｘ１（ｔ−ｊ）の振幅に依存せず、安定して実施される。
【０１０６】
同様に、第２伝達関数更新回路５５は、上記式６に従って伝達関数を更新したが、以下の式１５又は式１６に示されるように、正規化された式に従って伝達関数を更新してもよい。
【０１０７】
【数１５】
2017064839.tif 000017
【０１０８】
ここで、Ｎは、第２伝達関数記憶回路５４に記憶される伝達関数の個数である。｜ｘ２（ｔ−ｉ）｜は、ｘ２（ｔ−ｉ）の絶対値である。
【０１０９】
【数１６】
2017064839.tif 000018
【０１１０】
これにより、第２伝達関数更新回路５５による推定伝達関数の更新が、入力信号ｘ２（ｔ−ｊ）の振幅に依存せず、安定して実施される。
【０１１１】
同様に、第３伝達関数更新回路６５は、上記式９に従って伝達関数を更新したが、以下の式１７又は式１８に示されるように、正規化された式に従って伝達関数を更新してもよい。
【０１１２】
【数１７】
2017064839.tif 000019
【０１１３】
ここで、Ｎは、第３伝達関数記憶回路６４に記憶される伝達関数の個数である。｜ｘ３（ｔ−ｉ−τ３）｜は、ｘ３（ｔ−ｉ−τ３）の絶対値である。
【０１１４】
【数１８】
2017064839.tif 000020
【０１１５】
これにより、第３伝達関数更新回路６５による推定伝達関数の更新が、入力信号ｘ３（ｔ−ｊ）の振幅に依存せず、安定して実施される。
【０１１６】
同様に、第４伝達関数更新回路７５は、上記式１２に従って伝達関数を更新したが、以下の式１９又は式２０に示されるように、正規化された式に従って伝達関数を更新してもよい。
【０１１７】
【数１９】
2017064839.tif 000021
【０１１８】
ここで、Ｎは、第４伝達関数記憶回路７４に記憶される伝達関数の個数である。｜ｘ４（ｔ−ｉ−τ）｜は、ｘ４（ｔ−ｉ−τ）の絶対値である。
【０１１９】
【数２０】
2017064839.tif 000022
【０１２０】
これにより、第４伝達関数更新回路７５による推定伝達関数の更新が、入力信号ｘ４（ｔ−ｊ）の振幅に依存せず、安定して実施される。
【０１２１】
また、上記実施の形態は、双方向会話補助装置であったが、以下のような双方向会話補助方法であってもよい。
【０１２２】
つまり、会話システムにおいて第１話者１１と第２話者１２による双方向の会話を拡声して補助する双方向会話補助方法であって、会話システムは、第１話者１１の音声を入力するための第１マイク２１と、第１話者１１の音声を出力するための第１スピーカ２２と、第２話者１２の音声を入力するための第２マイク２３と、第２話者１２の音声を出力するための第２スピーカ２４とを備える。双方向会話補助方法は、第１ハウリングキャンセルステップと、第１エコー・クロストークキャンセルステップと、第２ハウリングキャンセルステップと、第２エコー・クロストークキャンセルステップと、を含む。
【０１２３】
第１ハウリングキャンセルステップでは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０の程度を示す第１ハウリング信号を推定して算出し、算出した第１ハウリング信号を、第２マイク２３からの信号から除去し、除去後の信号を第２スピーカ２４に出力する。ここで、第２マイク２３からの信号は第２エコー・クロストークキャンセルステップで得られた信号である。
【０１２４】
第１エコー・クロストークキャンセルステップでは、第２スピーカ２４に入力される信号を用いて、第２スピーカ２４から出力された音声が第１マイク２１に回り込んで入力される第１エコー３１、及び、第２話者１２の音声が第１マイク２１に入力される第１クロストーク３２の程度を示す第１妨害信号を推定して算出し、算出した第１妨害信号を、第１マイク２１の出力信号から除去する。ここで、第２スピーカ２４に入力される信号は、第１ハウリングキャンセルステップで得られた信号である。
【０１２５】
第２ハウリングキャンセルステップでは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３の程度を示す第２ハウリング信号を推定して算出し、算出した第２ハウリング信号を、第１マイク２１からの信号から除去し、除去後の信号を第１スピーカ２２に出力する。ここで、第１マイク２１からの信号は第１エコー・クロストークキャンセルステップで得られた信号である。
【０１２６】
第２エコー・クロストークキャンセルステップでは、第１スピーカ２２に入力される信号を用いて、第１スピーカ２２から出力された音声が第２マイク２３に回り込んで入力される第２エコー３４、及び、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の程度を示す第２妨害信号を推定して算出し、算出した第２妨害信号を、第２マイク２３の出力信号から除去する。ここで、第１スピーカ２２に入力される信号は、第２ハウリングキャンセルステップで得られた信号である。
【０１２７】
このような双方向会話補助方法は、例えば、プログラムを実行するプロセッサによって行われる。つまり、上記実施の形態における第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０は、プログラムを実行するプロセッサによって実現されてもよい。そのプロセッサには、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ−Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、及び、マイクロプロセッサが含まれる。
【０１２８】
また、このような双方向会話補助方法は、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録されるプログラム、及び、そのプログラムが記録された記録媒体で実現されてもよい。
【０１２９】
（実施の形態２）
次に、実施の形態２における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、実施の形態１における第２ハウリング３３、第２エコー３４及び第２クロストーク３５が無視できる程度に小さい場合に、好適な装置である。
【０１３０】
［２−１．構成］
図３は、実施の形態２における双方向会話補助装置２０ａの構成を示すブロック図である。この双方向会話補助装置２０ａは、実施の形態１における双方向会話補助装置２０の構成から、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を除外した構成に相当する。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
【０１３１】
この双方向会話補助装置２０ａは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１ハウリングキャンセラ４０、及び、第１エコー・クロストークキャンセラ５０を備える。いずれの構成要素も、実施の形態１における対応する構成要素と同一である。
【０１３２】
ただし、この双方向会話補助装置２０ａでは、実施の形態１における第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０が備えられていないので、第１エコー・クロストークキャンセラ５０の出力信号は第１スピーカ２２に入力され、第２マイク２３の出力信号は第１ハウリングキャンセラ４０に入力される。
【０１３３】
また、第２話者１２が使用する第１スピーカ２２及び第２マイク２３は、典型的には、第２話者１２の頭部に装着されるヘッドセットである。
【０１３４】
［２−２．動作］
このような構成を備える本実施の形態における双方向会話補助装置２０ａは、実施の形態１における双方向会話補助装置２０と比較して、第１ハウリングキャンセラ４０及び第１エコー・クロストークキャンセラ５０を備えるが、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を備えない。よって、この双方向会話補助装置２０ａは、実施の形態１における双方向会話補助装置２０が有する音響的雑音の除去機能のうち、第１ハウリング３０、第１エコー３１及び第１クロストーク３２の除去機能を有し、第２ハウリング３３、第２エコー３４及び第２クロストーク３５の除去機能を有しない。
【０１３５】
本実施の形態では、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットであるので、第１スピーカ２２が第２話者１２の耳に密着して装着され、その結果、第１スピーカ２２からの音漏れが少ない。よって、実施の形態１における第２ハウリング３３及び第２エコー３４を無視し得る。また、第２マイク２３が第２話者１２の口元に保持されることから、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の影響も無視し得る。
【０１３６】
［２−３．効果等］
本実施の形態における双方向会話補助装置２０ａは、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットである場合に必要となる最低限の音響的雑音（第１ハウリング３０、第１エコー３１及び第１クロストーク３２）の除去機能だけを有するので、実施の形態１と比べて、少ない構成要素で、つまり、安価で、かつ、コンパクトな構成で、必要最低限の音響的雑音を除去することができる。
【０１３７】
なお、本実施の形態も、実施の形態１と同様に、双方向会話補助方法及びプログラムとして実現されてもよい。そのような双方向会話補助方法は、上述した第１ハウリングキャンセルステップと、第１エコー・クロストークキャンセルステップとを含む。
【０１３８】
（実施の形態３）
次に、実施の形態３における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、実施の形態１における第１ハウリング３０、第２ハウリング３３、第２エコー３４及び第２クロストーク３５が無視できる程度に小さい場合に、好適な装置である。
【０１３９】
［３−１．構成］
図４は、実施の形態３における双方向会話補助装置２０ｂの構成を示すブロック図である。この双方向会話補助装置２０ｂは、実施の形態１における双方向会話補助装置２０の構成から、第１ハウリングキャンセラ４０、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を除外した構成、言い換えると、実施の形態２における双方向会話補助装置２０ａの構成から、第１ハウリングキャンセラ４０を除外した構成に相当する。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
【０１４０】
この双方向会話補助装置２０ｂは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、及び、第１エコー・クロストークキャンセラ５０を備える。いずれの構成要素も、実施の形態１における対応する構成要素と同一である。
【０１４１】
ただし、この双方向会話補助装置２０ｂでは、実施の形態１における第１ハウリングキャンセラ４０、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０が備えられていないので、第１エコー・クロストークキャンセラ５０の出力信号は第１スピーカ２２に入力され、第２マイク２３の出力信号は第２スピーカ２４及び第１エコー・クロストークキャンセラ５０に入力される。
【０１４２】
また、第２話者１２が使用する第１スピーカ２２及び第２マイク２３は、典型的には、第２話者１２の頭部に装着されるヘッドセットである。さらに、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。例えば、第２スピーカ２４は、第２マイク２３が存在する方向とは反対の方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
【０１４３】
［３−２．動作］
このような構成を備える本実施の形態における双方向会話補助装置２０ｂは、実施の形態１における双方向会話補助装置２０と比較して、第１エコー・クロストークキャンセラ５０を備えるが、第１ハウリングキャンセラ４０、第２ハウリングキャンセラ６０及び第２エコー・クロストークキャンセラ７０を備えない。よって、この双方向会話補助装置２０ｂは、実施の形態１における双方向会話補助装置２０が有する音響的雑音の除去機能のうち、第１エコー３１及び第１クロストーク３２の除去機能を有し、第１ハウリング３０、第２ハウリング３３、第２エコー３４及び第２クロストーク３５の除去機能を有しない。
【０１４４】
本実施の形態では、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットであるので、第１スピーカ２２が第２話者１２の耳に密着して装着され、その結果、第１スピーカ２２からの音漏れが少ない。よって、実施の形態１における第２ハウリング３３及び第２エコー３４を無視し得る。また、第２マイク２３が第２話者１２の口元に保持されることから、第１話者１１の音声が第２マイク２３に入力される第２クロストーク３５の影響も無視し得る。さらに、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。
【０１４５】
［３−３．効果等］
本実施の形態における双方向会話補助装置２０ｂは、第２話者１２が使用する第１スピーカ２２及び第２マイク２３がヘッドセットであり、かつ、第２マイク２３と第２スピーカ２４とが第１ハウリング３０が無視できる程度に音響結合が小さい環境に設置されている場合に必要となる最低限の音響的雑音（第１エコー３１及び第１クロストーク３２）の除去機能だけを有する。そのため、実施の形態１及び２と比べて、少ない構成要素で、つまり、安価で、かつ、コンパクトな構成で、必要最低限の音響的雑音を除去することができる。
【０１４６】
なお、本実施の形態も、実施の形態１と同様に、双方向会話補助方法及びプログラムとして実現されてもよい。そのような双方向会話補助方法は、上述した第１エコー・クロストークキャンセルステップを含む。
【０１４７】
（実施の形態４）
次に、実施の形態４における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、実施の形態１における第１ハウリング３０及び第２ハウリング３３が無視できる程度に小さい場合に、好適な装置である。
【０１４８】
［４−１．構成］
図５は、実施の形態４における双方向会話補助装置２０ｃの構成を示すブロック図である。この双方向会話補助装置２０ｃは、実施の形態１における双方向会話補助装置２０の構成から、第１ハウリングキャンセラ４０及び第２ハウリングキャンセラ６０を除外した構成に相当する。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
【０１４９】
この双方向会話補助装置２０ｃは、第１マイク２１、第１スピーカ２２、第２マイク２３、第２スピーカ２４、第１エコー・クロストークキャンセラ５０及び第２エコー・クロストークキャンセラ７０を備える。いずれの構成要素も、実施の形態１における対応する構成要素と同一である。
【０１５０】
ただし、この双方向会話補助装置２０ｃでは、実施の形態１における第１ハウリングキャンセラ４０及び第２ハウリングキャンセラ６０が備えられていないので、第１エコー・クロストークキャンセラ５０の出力信号は第１スピーカ２２及び第２エコー・クロストークキャンセラ７０に入力され、第２エコー・クロストークキャンセラ７０の出力信号は第２スピーカ２４及び第１エコー・クロストークキャンセラ５０に入力される。
【０１５１】
また、第１マイク２１と第１スピーカ２２とは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３が無視できる程度に小さい環境に設置されている。例えば、第１スピーカ２２は、第１マイク２１が存在する方向とは反対の方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
【０１５２】
同様に、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。例えば、第２スピーカ２４は、第２マイク２３が存在する方向とは反対の方向に向けて音声を出力する位置に設けられている（あるいは、そのような音声出力の指向特性を有する）。
【０１５３】
［４−２．動作］
このような構成を備える本実施の形態における双方向会話補助装置２０ｃは、実施の形態１における双方向会話補助装置２０と比較して、第１エコー・クロストークキャンセラ５０及び第２エコー・クロストークキャンセラ７０を備えるが、第１ハウリングキャンセラ４０及び第２ハウリングキャンセラ６０を備えない。よって、この双方向会話補助装置２０ｃは、実施の形態１における双方向会話補助装置２０が有する音響的雑音の除去機能のうち、第１エコー３１、第１クロストーク３２、第２エコー３４及び第２クロストーク３５の除去機能を有し、第１ハウリング３０及び第２ハウリング３３の除去機能を有しない。
【０１５４】
本実施の形態では、第１マイク２１と第１スピーカ２２とは、第１スピーカ２２から出力された音声が第１マイク２１に帰還して入力される第２ハウリング３３が無視できる程度に小さい環境に設置されている。さらに、第２マイク２３と第２スピーカ２４とは、第２スピーカ２４から出力された音声が第２マイク２３に帰還して入力される第１ハウリング３０が無視できる程度に小さい環境に設置されている。
【０１５５】
［４−３．効果等］
本実施の形態における双方向会話補助装置２０ｃは、第１マイク２１と第１スピーカ２２とが第２ハウリング３３が無視できる程度に音響結合が小さい環境に設置され、かつ、第２マイク２３と第２スピーカ２４とが第１ハウリング３０が無視できる程度に音響結合が小さい環境に設置されている場合に必要となる最低限の音響的雑音（第１エコー３１、第１クロストーク３２、第２エコー３４及び第２クロストーク３５）の除去機能だけを有する。そのため、実施の形態１と比べて、少ない構成要素で、つまり、安価で、かつ、コンパクトな構成で、必要最低限の音響的雑音を除去することができる。
【０１５６】
なお、本実施の形態も、実施の形態１と同様に、双方向会話補助方法及びプログラムとして実現されてもよい。そのような双方向会話補助方法は、上述した第１エコー・クロストークキャンセルステップと、第２エコー・クロストークキャンセルステップとを含む。
【０１５７】
（実施の形態５）
次に、実施の形態５における双方向会話補助装置について説明する。本実施の形態における双方向会話補助装置は、実施の形態１における双方向会話補助装置と同様に、第１話者と第２話者による双方向の会話を拡声して補助する装置であるが、その拡声機能に加えて、ラジオ、ＴＶ及びミュージックプレーヤ等の音響再生器からの音響を第１話者及び第２話者に出力する機能も有する。
【０１５８】
［５−１．構成］
図６は、実施の形態５における双方向会話補助装置２０ｄの構成を示すブロック図である。この双方向会話補助装置２０ｄは、実施の形態１における双方向会話補助装置２０の構成に加えて、音響再生器１００、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４、第２ノイズ抑圧器１０８、第１音響キャンセラ１５０及び第２音響キャンセラ１７０を備える。以下、実施の形態１と同じ構成要素については、実施の形態１と同じ符号を付し、その説明を省略する。
【０１５９】
第１ビームフォーマ１０２は、複数のマイクで構成される第１マイク２１から入力される音声の指向特性を目的とする方向（第１話者１１の口元）に定める音響ビームフォーミングを行う回路である。
【０１６０】
第２ビームフォーマ１０６は、複数のマイクで構成される第２マイク２３から入力される音声の指向特性を目的とする方向（第２話者１２の口元）に定める音響ビームフォーミングを行う回路である。
【０１６１】
第１ノイズ抑圧器１０４は、第１マイク２１に飛び込んだ外来ノイズを除去する回路であり、第２ハウリングキャンセラ６０の出力信号から音声以外の信号成分を除去する。
【０１６２】
第２ノイズ抑圧器１０８は、第２マイク２３に飛び込んだ外来ノイズを除去する回路であり、第１ハウリングキャンセラ４０の出力信号から音声以外の信号成分を除去する。
【０１６３】
音響再生器１００は、第１話者１１及び第２話者１２に提供する音響の音源であり、例えば、ラジオ、ＴＶ及びミュージックプレーヤ等である。
【０１６４】
第１音響キャンセラ１５０は、第２ノイズ抑圧器１０８の出力信号に音響再生器１００の出力信号（音響信号）を加算して第２スピーカ２４に出力するとともに、第１ビームフォーマ１０２の出力信号から、第２スピーカ２４から出力された音響が第１マイク２１に回り込んで入力される第１音響エコーの程度を示す第１音響エコー信号を推定して算出する。そして、算出した第１音響エコー信号を、第１ビームフォーマ１０２の出力信号から除去し、除去後の信号を第１エコー・クロストークキャンセラ５０に出力する回路である。
【０１６５】
この第１音響キャンセラ１５０は、第５伝達関数記憶回路１５４、第５記憶回路１５２、第５畳み込み演算器１５３、第５減算器１５１、第５伝達関数更新回路１５５、及び、第１加算器１５６を有する。この構成は、実施の形態１で説明した第１エコー・クロストークキャンセラ５０の構成に、第１加算器１５６を加えたものに相当する。
【０１６６】
第１音響キャンセラ１５０の各構成要素（第５伝達関数記憶回路１５４、第５記憶回路１５２、第５畳み込み演算器１５３、第５減算器１５１、第５伝達関数更新回路１５５）は、第１エコー・クロストークキャンセラ５０の対応する構成要素と同様の機能を有する。
【０１６７】
ただし、第５記憶回路１５２は、音響再生器１００の出力信号（音響信号）を記憶する。また、第５畳み込み演算器１５３は、上述した第１音響エコー信号を生成する。
【０１６８】
さらに、第１加算器１５６は、第２ノイズ抑圧器１０８の出力信号に音響再生器１００の出力信号（音響信号）を加算して第２スピーカ２４に出力する。
【０１６９】
第２音響キャンセラ１７０は、第１ノイズ抑圧器１０４の出力信号に音響再生器１００の出力信号（音響信号）を加算して第１スピーカ２２に出力するとともに、第２ビームフォーマ１０６の出力信号から、第１スピーカ２２から出力された音響が第２マイク２３に回り込んで入力される第２音響エコーの程度を示す第２音響エコー信号を推定して算出する。そして、算出した第２音響エコー信号を、第２ビームフォーマ１０６の出力信号から除去し、除去後の信号を第２エコー・クロストークキャンセラ７０に出力する回路である。
【０１７０】
この第２音響キャンセラ１７０は、第６伝達関数記憶回路１７４、第６記憶回路１７２、第６畳み込み演算器１７３、第６減算器１７１、第６伝達関数更新回路１７５、及び、第２加算器１７６を有する。この構成は、実施の形態１で説明した第２エコー・クロストークキャンセラ７０の構成に、第２加算器１７６を加えたものに相当する。
【０１７１】
第２音響キャンセラ１７０の各構成要素（第６伝達関数記憶回路１７４、第６記憶回路１７２、第６畳み込み演算器１７３、第６減算器１７１、第６伝達関数更新回路１７５）は、第２エコー・クロストークキャンセラ７０の対応する構成要素と同様の機能を有する。
【０１７２】
ただし、第６記憶回路１７２は、音響再生器１００の出力信号（音響信号）を記憶する。また、第６畳み込み演算器１７３は、上述した第２音響エコー信号を生成する。
【０１７３】
さらに、第２加算器１７６は、第１ノイズ抑圧器１０４の出力信号に音響再生器１００の出力信号（音響信号）を加算して第１スピーカ２２に出力する。
【０１７４】
［５−２．動作及び効果等］
このような構成を備える本実施の形態における双方向会話補助装置２０ｄは、実施の形態１における双方向会話補助装置２０の構成に加えて、第１音響キャンセラ１５０及び第２音響キャンセラ１７０を備えるので、実施の形態１における双方向会話補助装置２０の機能に加えて、音響再生器１００からの音響が、音響エコー信号が除去された状態で、第１話者１１及び第２話者１２に提供される。
【０１７５】
さらに、本実施の形態における双方向会話補助装置２０ｄは、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４及び第２ノイズ抑圧器１０８を備えるので、第１話者１１及び第２話者１２以外の外来ノイズが抑圧されたクリアな会話が拡声される。
【０１７６】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜５及び変形例を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜５及び変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【０１７７】
例えば、実施の形態５における双方向会話補助装置２０ｄは、実施の形態１における双方向会話補助装置２０に、付加的な構成（音響再生器１００、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４、第２ノイズ抑圧器１０８、第１音響キャンセラ１５０及び第２音響キャンセラ１７０）が追加されたが、これらの付加的な構成は、実施の形態２〜４のいずれかにおける双方向会話補助装置に対して追加されてもよい。
【０１７８】
また、これらの付加的な構成（音響再生器１００、第１ビームフォーマ１０２、第２ビームフォーマ１０６、第１ノイズ抑圧器１０４、第２ノイズ抑圧器１０８、第１音響キャンセラ１５０及び第２音響キャンセラ１７０）は、一部の構成だけ（例えば、第１ビームフォーマ１０２及び第２ビームフォーマ１０６だけ）が実施の形態１〜４のいずれかに追加されてもよい。例えば、実施の形態１における双方向会話補助装置２０に、第１音響キャンセラ１５０及び第２音響キャンセラ１７０だけが追加される場合、第１音響キャンセラ１５０の第５減算器１５１には第１マイク２１の出力信号が入力され、第２音響キャンセラ１７０の第６減算器１７１には第２マイク２３の出力信号が直接入力される。また、第１音響キャンセラ１５０の第１加算器１５６には第２マイク２３からの信号として第１ハウリングキャンセラ４０の出力信号が入力され、第２音響キャンセラ１７０の第２加算器１７６には第１マイク２１からの信号として第２ハウリングキャンセラ６０の出力信号が入力される。
【０１７９】
また、実施の形態１〜５では、双方向会話補助装置は、車室内会話補助装置として適用された例が示されたが、このような適用例に限られず、会議室等における部屋内会話補助装置として適用したり、運転者とドライブスルーの店員との会話を補助する装置として適用したりしてもよい。本開示における双方向会話補助装置によれば、双方向会話におけるクロストークが除去されるので、クロストークが発生し易い環境での会話（例えば、同一空間での会話）を補助する装置として、本開示における双方向会話補助装置は好適である。
【０１８０】
また、実施の形態１〜５では、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０が有する畳み込み演算器は、いずれも、ＮタップのＦＩＲフィルタを例として、畳み込み演算を行ったが、それぞれが異なるタップ数の異なるタイプのデジタルフィルタであってもよい。つまり、いかなる種類のデジタルフィルタにするかは、キャンセルする音響的雑音の伝達関数等に依存して適宜、独立して設計してもよい。
【０１８１】
また、実施の形態１〜５では、第１ハウリングキャンセラ４０、第１エコー・クロストークキャンセラ５０、第２ハウリングキャンセラ６０、及び、第２エコー・クロストークキャンセラ７０が有する伝達関数更新回路による伝達関数の更新アルゴリズムは、上記式３、式６、式９、式１２に示されるように、同一のアルゴリズムであってもよいし、同一のアルゴリズムであるがステップサイズパラメータが異なってもよいし、異なるアルゴリズムであってもよい。つまり、伝達関数の更新アルゴリズムは、キャンセルする音響的雑音の大きさ等に依存して適宜、独立して設計してもよい。
【０１８２】
また、実施の形態１、５の双方向会話補助装置では、マイクから入力された音声信号に対し、エコーとクロストークの除去を行った後、ハウリングを除去するような構成としていたが、ハウリングを除去した後、エコーとクロストークの除去を行うような構成にしてもよい。即ち、第１エコー・クロストークキャンセラ５０と第２ハウリングキャンセラ６０との順序、及び、第２エコー・クロストークキャンセラ７０と第１ハウリングキャンセラ４０との順序は、それぞれ入れ替えることができる。この場合も、実施の形態１、５の双方向会話補助装置と同等の効果が得られる。
【０１８３】
また、実施の形態５では、第１音響エコー信号を、第１ビームフォーマ１０２の出力信号から除去する例を示したが、第１エコー・クロストークキャンセラ５０または第２ハウリングキャンセラ６０の出力信号から除去してもよい。同様に、第２音響エコー信号についても、第２エコー・クロストークキャンセラ７０または第１ハウリングキャンセラ４０の出力信号から除去してもよい。
【０１８４】
また、上記実施の形態では、双方向会話補助装置が備えるマイク及びスピーカの例として、車に組み込まれたタイプ、車に取り付けられたタイプ、ヘッドセット等が挙げられたが、これらに限られず、スマートフォン等の携帯型情報端末が有するマイク及び／又はスピーカであってもよい。例えば、車における後部乗員の音声を第２マイク２３としてのスマートフォンで収音し、無線でヘッドユニット（双方向会話補助装置）に送信し、第２スピーカ２４としての前部スピーカから、ハウリング、エコー及びクロストークを抑制した状態で拡声する。また、第１マイク２１としての前部マイクで収音した運転者の音声を無線で後部乗員のスマートフォンに送信し、第１スピーカ２２としてのスマートフォンのスピーカから、ハウリング、エコー及びクロストークを抑制した状態で拡声する。これにより、後部乗員がスマートフォンを用いて運転者と円滑に会話できるとともに、車における後部マイクが不要となる。
【０１８５】
また、このようなスマートフォン等の携帯型情報端末が有するマイク及び／又はスピーカを用いた双方向会話補助装置は、講演会等で用いられるＰＡ（Ｐｕｂｌｉｃ  Ａｄｄｒｅｓｓ）システムとしても有用である。講演会における質問者の声を自身のスマートフォンで収音して無線でＰＡシステムに転送し、ハウリングやエコーを抑制した状態で拡声することができる。これにより、講演会において、質問者にマイクを手渡すのに要する時間が短縮され、質疑応答がスムーズに実施されて手際良い講演会の進行が可能になる。
【０１８６】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１８７】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１８８】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１８９】
本開示は、エコーだけでなくクロストークを含む音響的雑音を除去したうえで双方向の会話を拡声して補助する双方向会話補助装置に適用可能である。具体的には、車室内会話補助装置、ＰＡシステム等に、本開示は適用可能である。
【符号の説明】
【０１９０】
１０  車
１１  第１話者
１２  第２話者
２０，２０ａ，２０ｂ，２０ｃ，２０ｄ  双方向会話補助装置
２１  第１マイク
２２  第１スピーカ
２３  第２マイク
２４  第２スピーカ
３０  第１ハウリング
３１  第１エコー
３２  第１クロストーク
３３  第２ハウリング
３４  第２エコー
３５  第２クロストーク
４０  第１ハウリングキャンセラ
４１  第１減算器
４２  第１記憶回路
４３  第１畳み込み演算器
４４  第１伝達関数記憶回路
４５  第１伝達関数更新回路
４６  第１遅延器
５０  第１エコー・クロストークキャンセラ
５１  第２減算器
５２  第２記憶回路
５３  第２畳み込み演算器
５４  第２伝達関数記憶回路
５５  第２伝達関数更新回路
６０  第２ハウリングキャンセラ
６１  第３減算器
６２  第３記憶回路
６３  第３畳み込み演算器
６４  第３伝達関数記憶回路
６５  第３伝達関数更新回路
６６  第２遅延器
７０  第２エコー・クロストークキャンセラ
７１  第４減算器
７２  第４記憶回路
７３  第４畳み込み演算器
７４  第４伝達関数記憶回路
７５  第４伝達関数更新回路
１００  音響再生器
１０２  第１ビームフォーマ
１０４  第１ノイズ抑圧器
１０６  第２ビームフォーマ
１０８  第２ノイズ抑圧器
１５０  第１音響キャンセラ
１５１  第５減算器
１５２  第５記憶回路
１５３  第５畳み込み演算器
１５４  第５伝達関数記憶回路
１５５  第５伝達関数更新回路
１５６  第１加算器
１７０  第２音響キャンセラ
１７１  第６減算器
１７２  第６記憶回路
１７３  第６畳み込み演算器
１７４  第６伝達関数記憶回路
１７５  第６伝達関数更新回路
１７６  第２加算器
【図１】
2017064839.tif 000023
【図２】
2017064839.tif 000024
【図３】
2017064839.tif 000025
【図４】
2017064839.tif 000026
【図５】
2017064839.tif 000027
【図６】
2017064839.tif 000028
【手続補正書】
【提出日】平成29年12月11日(2017.12.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
双方向の会話を拡声して補助する双方向会話補助装置であって、
第１音声を入力するための第１マイクと、
前記第１音声を出力するための第１スピーカと、
第２音声を入力するための第２マイクと、
前記第２音声を出力するための第２スピーカと、
前記第２スピーカへの入力信号を用いて、前記第２スピーカから出力された前記第２音声が前記第１マイクに入力される第１エコー、及び、前記第２音声が前記第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの出力信号から除去する第１エコー・クロストークキャンセラと、を備える、
双方向会話補助装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
同一時刻における前記第１音声について、前記第１マイクの前記出力信号が前記第２エコー・クロストークキャンセラに入力される時刻は、前記第１音声が前記第２マイクに入力される時刻と同一、又は、より早く、
同一時刻における前記第２音声について、前記第２マイクの前記出力信号が前記第１エコー・クロストークキャンセラに入力される時刻は、前記第２音声が前記第１マイクに入力される時刻と同一、又は、より早い、
請求項３記載の双方向会話補助装置。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１６
【補正方法】変更
【補正の内容】
【請求項１６】
会話システムにおいて双方向の会話を拡声して補助する双方向会話補助方法であって、
前記会話システムは、
第１音声を入力するための第１マイクと、
前記第１音声を出力するための第１スピーカと、
第２音声を入力するための第２マイクと、
前記第２音声を出力するための第２スピーカと、を備え、
前記双方向会話補助方法は、
前記第２スピーカへの入力信号を用いて、前記第２スピーカから出力された前記第２音声が前記第１マイクに入力される第１エコー、及び、前記第２音声が前記第１マイクに入力される第１クロストークの程度を示す第１妨害信号を推定して算出し、算出した前記第１妨害信号を、前記第１マイクの出力信号から除去する第１エコー・クロストークキャンセルステップを含む、
双方向会話補助方法。
【国際調査報告】
2017064839.tif 000029
2017064839.tif 000030