(57)【要約】【課題】近端側の話者が遠端側において遠端側の話者と会話している感覚を、近端側において簡素な構成で実現する。【解決手段】近端側会話装置１０は、近端側のマイクロホン１１、受信部１３、近端側フィルタ１４、および、近端側のスピーカ１５を備える。近端側のマイクロホン１１は、近端側の音声を取得し、収音信号を生成する。受信部１３は、遠端側の音声信号を受信するとともに、遠端側の伝達特性を取得する。近端側フィルタ１４は、伝達特性を用いて収音信号を調整する。近端側のスピーカ１５は、遠端側の音声信号と調整後の収音信号とを放音する。
2019008733.tif 000002
【特許請求の範囲】
【請求項１】
近端側の音声を取得し、収音信号を生成する近端側のマイクロホンと、
遠端側の伝達特性を取得する伝達特性取得部と、
前記伝達特性を用いて前記収音信号を調整する近端側フィルタと、
前記遠端側の音声信号と調整後の前記収音信号とを放音する近端側のスピーカと、
を備える、
遠隔会話装置。
【請求項２】
前記伝達特性取得部は、逐次的に前記伝達特性を取得し、
前記近端側フィルタは、前記逐次的に取得した前記伝達特性を用いて、前記収音信号を調整する、
請求項１に記載の遠隔会話装置。
【請求項３】
前記近端側のフィルタは、
前記近端側のスピーカから前記近端側のマイクロホンに回り込む前記遠端側の前記収音信号を前記近端側の音声信号から抑圧して、抑圧後の近端側の音声信号とフィルタ係数とを出力する、
請求項１または請求項２に記載の遠隔会話装置。
【請求項４】
近端側の収音信号を放音する遠端側のスピーカと、
前記遠端側で収音し、前記遠端側の音声信号を生成する遠端側のマイクロホンと、
前記遠端側のスピーカから前記遠端側のマイクロホンに回り込む前記近端側の前記収音信号を前記遠端側の音声信号から抑圧して、抑圧後の遠端側の音声信号とフィルタ係数とを出力する遠端側フィルタと、
を備える、
遠隔会話装置。
【請求項５】
請求項１乃至請求項３のいずれかに記載の遠隔会話装置の構成を備え、
前記近端側のスピーカは、
右用スピーカと左用スピーカとを備えるステレオスピーカであり、
前記近端側のスピーカと前記近端側のマイクロホンとが所定の位置関係で固定されている、
ヘッドセット。
【請求項６】
請求項１乃至請求項３のいずれかに記載の遠隔会話装置と、前記遠端側に配置され、前記遠隔会話装置と通信する遠端側会話装置と、を備え、
前記遠端側会話装置は、
前記近端側の前記収音信号を放音する遠端側のスピーカと、
前記遠端側で収音し、前記遠端側の音声信号を生成する遠端側のマイクロホンと、
前記遠端側のスピーカから前記遠端側のマイクロホンに回り込む前記近端側の前記収音信号を前記遠端側の音声信号から抑圧する遠端側フィルタと、
を備え、
前記伝達特性は、前記遠端側フィルタのフィルタ係数である、
遠隔会話システム。
【請求項７】
前記近端側フィルタは、
前記近端側の前記収音信号に対して前記フィルタ係数を用いた畳み込み演算を行うことで、前記近端側の前記収音信号を調整する、
請求項６に記載の遠隔会話システム。
【請求項８】
前記遠端側会話装置は、
前記遠端側の音声信号と前記フィルタ係数とを組にして前記遠隔会話装置に送信する、
請求項６または請求項７に記載の遠隔会話システム。
【請求項９】
前記近端側のスピーカは、第１のスピーカと第２のスピーカを有し、
前記第１のスピーカと前記第２のスピーカとの組は、ステレオスピーカを構成しており、
前記遠端側のマイクロホンは、第１のマイクロホンと第２のマイクロホンとを有し、
前記第１のマイクロホンと前記第２のマイクロホンとの組は、ステレオマイクを構成しており、
前記第１のマイクロホンに対応する前記伝達特性は、前記第１のスピーカで放音される前記収音信号に用いられ、
前記第２のマイクロホンに対応する前記伝達特性は、前記第２のスピーカで放音される前記収音信号に用いられている、
請求項６乃至請求項８のいずれかに記載の遠隔会話システム。
【請求項１０】
前記第１のスピーカと前記第２のスピーカとは、前記近端側のマイクロホンの位置を通り上下方向に延びる直線を挟んで、当該直線における互いに異なる側に配置されており、
前記第１のマイクロホンと前記第２のマイクロホンとは、前記遠端側のスピーカの位置を通り上下方向に延びる直線を挟んで、当該直線における互いに異なる側に配置されている、
請求項９に記載の遠隔会話システム。
【請求項１１】
近端側の音声を収音して、収音信号を生成する近端側収音処理と、
遠端側の伝達特性を取得する伝達特性取得処理と、
前記伝達特性を用いて前記収音信号を調整する近端側フィルタ処理と、
前記遠端側の音声信号と調整後の前記収音信号とを近端側のスピーカから放音する近端側放音処理と、
を行う、遠隔会話方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、近端側と遠端側との間で通信を介した会話を行う遠隔会話装置、ヘッドセット、遠隔会話システム、および、遠隔会話方法に関する。
【背景技術】
【０００２】
特許文献１、２には、遠端側（再現環境）の音場を近端側で再現する装置および方法が記載されている。特許文献１、２では、遠端側において、複数のスピーカと複数のマイクとを配置する。遠端側において、複数のスピーカで放音し、この音を複数のマイクで収音することで、遠端側の伝達特性を取得する。【０００３】
特許文献１の装置および方法は、遠端側で得た収音信号を伝達係数によって調整し、ユーザを取り囲むように配置した複数のスピーカから放音する。【０００４】
特許文献２の装置および方法は、ユーザを取り囲むように複数のマイクと複数のスピーカとを設置している。特許文献２の装置および方法は、ユーザを取り囲むように配置した複数のマイクでユーザの音声を収音する。特許文献２の装置および方法は、収音したユーザの音声を伝達係数を用いて調整し、ユーザを取り囲むように配置した複数のスピーカから放音する。【０００５】
このように、特許文献１、２では、音場を再現できる程度の多くの数のマイクとスピーカとを予め設置し、伝達特性を取得している。また、特許文献１、２では、音場の再現時には、伝達特性の取得時と同じ数のスピーカを、伝達特性の取得時と同じ位置に配置している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１４／０６９１１１号明細書
【特許文献２】国際公開第２０１４／０６９１１２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１、２に記載の装置および方法では、近端側と遠端側とで会話を行う場合に、近端側の話者が遠端側の話者と遠端側において会話している感覚を、容易な構成で実現できない。【０００８】
したがって、本発明の目的は、近端側の話者が遠端側において遠端側の話者と会話している感覚を、近端側において簡素な構成で実現する遠隔会話装置、遠隔会話システム、および、遠隔会話方法を提供することにある。
【課題を解決するための手段】
【０００９】
この発明の遠隔会話装置は、近端側マイクロホン、伝達特性取得部、近端側フィルタ、および、近端側スピーカを備える。近端側マイクロホンは、近端側の音声を取得し、収音信号を生成する。伝達特性取得部は、遠端側の伝達特性を取得する。近端側フィルタは、伝達特性を用いて収音信号を調整する。近端側スピーカは、遠端側の音声信号と調整後の収音信号とを放音する。【００１０】
この構成の遠隔会話装置、近端側と遠端側との会話を実現しながら、遠端側の伝達特性を用いて、近端側の収音信号を調整する。これにより、近端側の話者は、遠端側の話者の声とともに、遠端側の音響に応じた自分の声を聞ける。
【発明の効果】
【００１１】
この発明の遠隔会話装置は、近端側の話者が遠端側において遠端側の話者と会話している感覚を、近端側において簡素な構成で実現できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る遠隔会話装置および遠隔会話システムの構成を示すブロック図である。
【図２】近端側のマイクロホンとスピーカとの配置を示す図である。
【図３】遠端側のマイクロホンとスピーカとの配置を示す図である。
【図４】本発明の第１の実施形態に係る遠隔会話方法を示すフローチャートである。
【図５】伝達特性の取得方法を示すフローチャートである。
【図６】本発明の第２の実施形態に係る遠隔会話装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
本発明の第１の実施形態に係る遠隔会話装置、遠隔会話方法、および、遠隔会話システムについて、図を参照して説明する。図１は、本発明の第１の実施形態に係る遠隔会話装置および遠隔会話システムの構成を示すブロック図である。図２は、近端側のマイクロホンとスピーカとの配置を示す図である。図３は、遠端側のマイクロホンとスピーカとの配置を示す図である。
【００１４】
図１に示すように、遠隔会話システム１は、近端側会話装置１０と遠端側会話装置２０とを備える。近端側会話装置１０が本発明の「遠隔会話装置」に対応する。近端側会話装置１０と遠端側会話装置２０とは、無線または有線で通信を行う。なお、本発明で言う、遠隔会話とは、通常の会話に限るものではなく、遠隔地間の会議等、遠隔地間で音声のやり取りを行うものを含む。
【００１５】
近端側会話装置１０は、マイクロホン１１、送信部１２、受信部１３、近端側フィルタ１４、および、スピーカ１５を備える。近端側フィルタ１４は、フィルタ１４１とフィルタ１４２とを備える。スピーカ１５は、スピーカ１５１とスピーカ１５２とを有し、ステレオスピーカを構成している。送信部１２、受信部１３、および、近端側フィルタ１４は、信号処理部Ｂ１０を構成している。信号処理部Ｂ１０は、送信部１２、受信部１３、および、近端側フィルタ１４のそれぞれの機能を実行するＩＣ等のハードウエアによって実現されている。
【００１６】
図２に示すように、マイクロホン１１、スピーカ１５１、および、スピーカ１５２は、ヘッドセットを構成している。信号処理部Ｂ１０は、ヘッドセットに装着されており、マイクロホン１１、スピーカ１５１、および、スピーカ１５２に接続している。
【００１７】
マイクロホン１１は、ヘッドセットの横方向の略中央位置で、且つ、上下方向の下側の位置に配置されている。マイクロホン１１は、ヘッドセットの中央側に収音指向性の中心を向けて配置されている。
【００１８】
スピーカ１５１は、ヘッドセットの横方向の第１端に配置されており、スピーカ１５２は、ヘッドセットの横方向の第２端に配置されている。言い換えれば、スピーカ１５１とスピーカ１５２とは、マイクロホン１１を通り上下方向に延びる直線を基準にして線対称の位置に配置されている。スピーカ１５１とスピーカ１５２は、ヘッドセットの中央側に放音指向性の中心を向けて配置されている。
【００１９】
近端側のユーザ９１がヘッドセットを装着すると、マイクロホン１１はユーザ９１の口９１１の近くに配置される。これにより、ユーザ９１が発声すると、マイクロホン１１は、この音声を収音する。
【００２０】
スピーカ１５１は、ユーザ９１に左耳９１５Ｌに装着され、スピーカ１５２は、ユーザ９１の右耳９１５Ｒに装着される。これにより、ユーザ９１は、スピーカ１５１から放音された音声を左耳９１５Ｌで聞き、スピーカ１５２から放音された音声を右耳９１５Ｒで聞くことができる。
【００２１】
信号処理部Ｂ１０は、ヘッドセットに装着されており、マイクロホン１１、スピーカ１５１、および、スピーカ１５２に接続している。
【００２２】
マイクロホン１１は、ユーザ９１の音声を収音して、収音信号Ｓ１１を生成する。マイクロホン１１は、収音信号Ｓ１１を、近端側フィルタ１４のフィルタ１４１、１４２と送信部１２とに出力する。
【００２３】
送信部１２は、収音信号Ｓ１１を、通信信号Ｓ１２に変換して、遠端側会話装置２０の受信部２１に送信する。
【００２４】
受信部１３は、後述の遠端側会話装置２０からの通信信号Ｓ２５を受信する。受信部１３は、通信信号Ｓ２５から、放音信号Ｓ１３１、Ｓ１３２、フィルタ係数Ｃｏ１３１、Ｃｏ１３２を復調する。したがって、受信部１３は、本発明の「伝達特性取得部」の機能を有する。受信部１３は、放音信号Ｓ１３１をスピーカ１５１に出力し、放音信号Ｓ１３２をスピーカ１５２に出力する。受信部１３は、フィルタ係数Ｃｏ１３１をフィルタ１４１に出力し、フィルタ係数Ｃｏ１３２をフィルタ１４２に出力する。
【００２５】
なお、詳細は後述するが、放音信号Ｓ１３１は、遠端側会話装置２０のマイクロホン２３１で収音され、エコーキャンセラ２４１でエコーキャンセル処理された音声信号である。放音信号Ｓ１３２は、遠端側会話装置２０のマイクロホン２３２で収音され、エコーキャンセラ２４２でエコーキャンセル処理された音声信号である。フィルタ係数Ｃｏ１３１は、エコーキャンセラ２４１のフィルタ係数Ｃｏ２４１と同じであり、フィルタ係数Ｃｏ１３２は、エコーキャンセラ２４１のフィルタ係数Ｃｏ２４２と同じである。これら、フィルタ係数Ｃｏ１３１、Ｃｏ１３２、Ｃｏ２４１、Ｃｏ２４２が、本発明の「伝達特性」に対応する。
【００２６】
フィルタ１４１は、フィルタ係数Ｃｏ１３１を用いて、収音信号Ｓ１１をフィルタ処理する。フィルタ１４１は、例えば、ＩＩＲフィルタによって構成されており、収音信号Ｓ１１に対して、フィルタ係数Ｃｏ１３１を用いた畳み込み演算を行うことによって、フィルタ処理を実行する。フィルタ１４１は、このフィルタ処理後の収音信号（調整後の収音信号）Ｓ１４１を、スピーカ１５１に出力する。
【００２７】
フィルタ１４２は、フィルタ係数Ｃｏ１３２を用いて、収音信号Ｓ１１をフィルタ処理する。フィルタ１４２は、例えば、ＩＩＲフィルタによって構成されており、収音信号Ｓ１１に対して、フィルタ係数Ｃｏ１３２を用いた畳み込み演算を行うことによって、フィルタ処理を実行する。フィルタ１４２は、このフィルタ処理後の収音信号（調整後の収音信号）Ｓ１４２を、スピーカ１５２に出力する。
【００２８】
このような処理を行うことによって、フィルタ処理後の収音信号Ｓ１４１、Ｓ１４２は、遠端側の音場の伝達特性に応じた音声信号となる。
【００２９】
スピーカ１５１は、放音信号Ｓ１３１とフィルタ処理後の収音信号Ｓ１４１とを放音する。スピーカ１５２は、放音信号Ｓ１３２とフィルタ処理後の収音信号Ｓ１４２とを放音する。
【００３０】
このように、近端側会話装置１０を用いることによって、近端側のユーザ９１は、遠端側の音場の伝達特性で自分の声を聞きながら、遠端側のユーザ９２の音声を聞くことができる。したがって、近端側のユーザ９１は、あたかも遠端側に居て、遠端側のユーザ９２と会話しているような感覚、すなわち会話の臨場感を得ることができる。
【００３１】
そして、この構成を用いれば、近端側に１個のマイクロホンと２個のスピーカを備えればよく、遠端側の音場の伝達特性を実現するための大掛かりな構成を近端側に必要としない。したがって、簡素な構成で、離れた場所間での臨場感の有る会話を実現できる。
【００３２】
この際、遠端側会話装置２０は、例えば、具体的に次の構成および処理を実現すればよい。
【００３３】
遠端側会話装置２０は、受信部２１、スピーカ２２、マイクロホン２３１、マイクロホン２３２、遠端側フィルタ２４、および、送信部２５を備える。遠端側フィルタ２４は、エコーキャンセラ２４１とエコーキャンセラ２４２とを備える。マイクロホン２３１とマイクロホン２３２とは、ステレオマイクを構成している。受信部２１、遠端側フィルタ２４、および、送信部２５は、信号処理部Ｂ２０を構成している。信号処理部Ｂ２０は、受信部２１、遠端側フィルタ２４、および、送信部２５のそれぞれの機能を実行するＩＣ等のハードウエアによって実現されている。
【００３４】
図３に示すように、スピーカ２２、マイクロホン２３１、マイクロホン２３２、および、信号処理部Ｂ２０は、顔型のロボット２００に実装されている。なお、必ずしも、顔型のロボット２００である必要はなく、少なくとも、スピーカ２２、マイクロホン２３１、および、マイクロホン２３２を所定の位置関係に保持できればよい。信号処理部Ｂ２０は、スピーカ２２、マイクロホン２３１、および、マイクロホン２３２に接続している。
【００３５】
スピーカ２２は、ロボット２００の横方向の略中央位置で、且つ、上下方向の下側の位置に配置されている。スピーカ２２は、ロボット２００の正面側に放音指向性の中心を向けて配置されている。
【００３６】
マイクロホン２３１は、ロボット２００の横方向の第１端に配置されており、マイクロホン２３２は、ロボット２００の横方向の第２端に配置されている。言い換えれば、マイクロホン２３１とマイクロホン２３２とは、スピーカ２２を通り上下方向に延びる直線を基準にして線対称の位置に配置されている。マイクロホン２３１とマイクロホン２３２とは、ロボット２００の正面側に収音指向性の中心を向けて配置されている。
【００３７】
すなわち、スピーカ２２とマイクロホン２３１との位置関係は、近端側のマイクロホン１１とスピーカ１５１との位置関係に対応している。さらに、スピーカ２２とマイクロホン２３２との位置関係は、近端側のマイクロホン１１とスピーカ１５２との位置関係に対応している。
【００３８】
受信部２１は、近端側会話装置１０の送信部１２からの通信信号Ｓ１２を受信し、遠端側放音信号Ｓ２１を復調する。遠端側放音信号Ｓ２１は、近端側の収音信号Ｓ１１と同じ音声信号である。受信部２１は、遠端側放音信号Ｓ２１を、スピーカ２２とエコーキャンセラ２４１、２４２とに出力する。スピーカ２２は、遠端側放音信号Ｓ２１を放音する。
【００３９】
マイクロホン２３１およびマイクロホン２３２は、遠端側のユーザ９２の音声を収音する。この際、マイクロホン２３１は、音声エコーＳＥ２２Ｒを収音し、マイクロホン２３２は、音声エコーＳＥ２２Ｌを収音してしまう。
【００４０】
音声エコーＳＥ２２Ｒは、スピーカ２２とマイクロホン２３１との位置関係、スピーカ２２の放音指向性、マイクロホン２３１の収音指向性、および、遠端側の音響特性によって、特性が決まるエコーである。音声エコーＳＥ２２Ｌは、スピーカ２２とマイクロホン２３２との位置関係、スピーカ２２の放音指向性、マイクロホン２３２の収音指向性、および、遠端側の音響特性によって、特性が決まるエコーである。すなわち、音声エコーＳＥ２２Ｒ、音声エコーＳＥ２２Ｌは、遠端側の音場の伝達特性によって、特性が決定される。
【００４１】
マイクロホン２３１は、収音した音声およびエコーを含む収音信号Ｓ２３１を生成して、エコーキャンセラ２４１に出力する。マイクロホン２３２は、収音した音声およびエコーを含む収音信号Ｓ２３２を生成して、エコーキャンセラ２４２に出力する。
【００４２】
エコーキャンセラ２４１は、既知のエコーキャンセル技術を用いて、収音信号Ｓ２３１に対してエコーキャンセル処理を実行する。この処理によって、エコーキャンセラ２４１は、収音信号Ｓ２３１に含まれる音声エコーＳＥ２２Ｒを抑圧する。エコーキャンセラ２４１は、このエコーキャンセル後の収音信号Ｓ２４１を、送信部２５に出力する。また、エコーキャンセラ２４１は、エコーキャンセル処理に利用したフィルタ係数Ｃｏ２４１を送信部２５に出力する。
【００４３】
エコーキャンセラ２４２は、既知のエコーキャンセル技術を用いて、収音信号Ｓ２３２に対してエコーキャンセル処理を実行する。この処理によって、エコーキャンセラ２４２は、収音信号Ｓ２３２に含まれる音声エコーＳＥ２２Ｌを抑圧する。エコーキャンセラ２４１は、このエコーキャンセル後の収音信号Ｓ２４２を、送信部２５に出力する。
【００４４】
また、エコーキャンセラ２４２は、エコーキャンセル処理に利用したフィルタ係数Ｃｏ２４２を送信部２５に出力する。
【００４５】
送信部２５は、収音信号Ｓ２４１、Ｓ２４２と、フィルタ係数Ｃｏ２４１、Ｃｏ２４１とを組にして、これらを通信信号Ｓ２５に変換して、近端側会話装置１０の受信部１３に送信する。
【００４６】
この収音信号Ｓ２４１は、上述の近端側会話装置１０の放音信号Ｓ１３１として復調され、収音信号Ｓ２４２は、上述の近端側会話装置１０の放音信号Ｓ１３２として復調される。また、フィルタ係数Ｃｏ２４１は、上述の近端側会話装置１０のフィルタ係数Ｃｏ１３１として復調され、フィルタ係数Ｃｏ２４２は、上述の近端側会話装置１０のフィルタ係数Ｃｏ１３２として復調される。そして、上述した近端側会話装置１０の処理が実行される。
【００４７】
このような構成の遠隔会話システム１を用いることによって、遠端側のユーザ９２の音声は、エコーキャンセルされた鮮明な音声として、近端側のユーザ９１に放音される。したがって、近端側のユーザ９１は、あたかも遠端側に居て、遠端側のユーザ９２と会話しているような会話の臨場感を得ながら、遠端側のユーザ９２の音声を鮮明に聞き取ることができる。
【００４８】
そして、この構成を用いれば、遠端側に１個のスピーカと２個のマイクロホンを備えればよく、遠端側の音場の伝達特性を実現するための大掛かりな構成を遠端側にも必要としない。したがって、遠隔会話システム１としても、簡素な構成で、離れた場所間での臨場感の有る会話を実現できる。
【００４９】
また、この構成では、遠端側のエコーキャンセラ２４１のフィルタ係数Ｃｏ２４１を、近端側のフィルタ１４１のフィルタ係数Ｃｏ１３１として利用でき、遠端側のエコーキャンセラ２４２のフィルタ係数Ｃｏ２４２を、近端側のフィルタ１４２のフィルタ係数Ｃｏ１３２として利用できる。したがって、複雑な処理を行うことなく、離れた場所間での臨場感の有る会話を実現できる。
【００５０】
なお、フィルタ係数Ｃｏ１３１は、フィルタ係数Ｃｏ２４１と同じでなくてもよく、フィルタ係数Ｃｏ２４１を基に設定されたものであってもよい。フィルタ係数Ｃｏ１３２は、フィルタ係数Ｃｏ２４２と同じでなくてもよく、フィルタ係数Ｃｏ２４１を基に設定されたものであってもよい。
【００５１】
また、本実施形態では、フィルタ係数を用いて、近端側の収音信号Ｓ１１を調整する態様を示したが、遠端の音場の伝達特性を表す数値であれば、フィルタ係数に代えて用いることができる。具体的には、インパルス応答そのものまたはインパルス応答に代用できるものであればよい。インパルス応答の場合、遠端側において、スピーカとマイクロホンを用いて、インパルス応答を測定し、当該インパルス応答を用いて、近端側で収音信号に対して畳み込み処理を行えばよい。
【００５２】
また、上述の説明では、１回の音声の送受信の場合を示した。しかしながら、会話を継続する際には、複数回の音声の送受信を行う。このように複数回の音声の送受信を行う場合には、送受信毎に遠端側会話装置２０からフィルタ係数Ｃｏ２４１、Ｃｏ２４２を取得し、近端側会話装置１０のフィルタ係数Ｃｏ１３１、Ｃｏ１３２を、この送受信に合わせて逐次的に更新すればよい。これにより、会話を行っている時間における遠端側の音場の伝達特性を、近端側において、さらに忠実に再現できる。したがって、近端側のユーザ９１は、さらに臨場感の有る会話を実現できる。
【００５３】
この際、遠端側の音場の伝達特性として遠端側のフィルタ係数Ｃｏ２４１、Ｃｏ２４２を用いることによって、通信されるデータ量を小さくできる。これにより、近端側のフィルタ１４１、１４２におけるフィルタ処理の時間遅れを抑制できる。したがって、時間遅れを殆ど発生することなく、遠端側の音場の伝達特性を、近端側において再現でき、さらに臨場感の有る会話を実現できる。
【００５４】
上述の説明では、近端側会話装置１０および遠隔会話システム１の処理のそれぞれを機能ブロック毎に実行する態様を示した。しかしながら、次のフローチャートに示す方法をプログラム化しておき、当該プログラムを、情報処理装置（例えばＣＰＵ）等の適切なハードウエアで実行することでも、上述の会話を実現できる。
【００５５】
図４は、本発明の第１の実施形態に係る近端側会話装置で実行する遠隔会話方法を示すフローチャートである。
【００５６】
近端側会話装置は、近端側のユーザの音声を収音し、収音信号を生成する（Ｓ１０１）。この処理は「近端側収音処理」に対応する。
【００５７】
近端側会話装置は、遠端側の伝達特性を取得する（Ｓ１０２）。この処理は「伝達特性取得処理」に対応する。遠端側の伝達特性の取得方法としては、例えば、図５に示す方法を用いればよい。図５は、伝達特性の取得方法を示すフローチャートである。
【００５８】
近端側会話装置は、近端側の収音信号を、遠端側会話装置に送信する（Ｓ２０１）。遠端側会話装置は、近端側の収音信号を放音する（Ｓ２０２）。この処理は「遠端側放音処理」に対応する。遠端側会話装置は、遠端側で収音して遠端側の収音信号を生成する。この処理は「遠端側収音処理」に対応する。遠端側会話装置は、近端側の収音信号に起因するエコーを抑圧するエコーキャンセル処理を実行する（Ｓ２０３）。この処理は「遠端側フィルタ処理」に対応する。遠端側会話装置は、エコーキャンセルのフィルタ係数を、近端側会話装置に送信する（Ｓ２０４）。近端側会話装置は、遠端側のフィルタ係数を受信し、遠端側の伝達特性とする（Ｓ２０５）。これらの処理により、近端側会話装置は、遠端側の伝達特性を取得できる。
【００５９】
近端側会話装置は、遠端側の伝達特性を用いて、ステップＳ１０１で取得した収音信号を調整する（Ｓ１０３）。この処理は「近端側フィルタ処理」に対応する。近端側会話装置は、調整後の収音信号を近端側で放音する（Ｓ１０４）。この処理は「近端側放音処理」に対応する。
【００６０】
このような遠隔会話方法を用いることによって、近端側のユーザは、遠端側の音場の伝達特性で自分の声を聞きながら、遠端側のユーザと臨場感のある会話を実現できる。
【００６１】
なお、上述の説明では、近端側において、１個のマイクロホンと２個のスピーカとが配置され、遠端側において、１個のスピーカと２個のマイクロホンとが配置される態様を示した。しかしながら、マイクロホンの個数とスピーカの個数とは、これに限るものではない。この際、マイクロホンの個数とスピーカの個数は、多すぎない方が好ましい。ただし、上述の説明のように、近端側において、スピーカを２個としてステレオスピーカを構成し、遠端側において、マイクロホンを２個としてステレオマイクロホンを構成することによって、マイクロホンの個数とスピーカの個数とを少なく抑えながら、臨場感を得ることができ、有効である。この場合、通信されるフィルタ係数が少なく、遠端側のフィルタ係数を近端側に高速に送信できる。したがって、近端側でのフィルタ係数を殆ど遅延させることなく設定でき、リアルタイム性が重要な遠隔会話システムにとっては、より有効である。
【００６２】
また、近端側のマイクロホンの個数と遠端側のスピーカの個数は同じであり、近端側のスピーカの個数と遠端側のマイクロホンの個数は同じであることが好ましい。さらに、近端側におけるマイクロホンに対するスピーカの配置と、遠端側におけるスピーカに対するマイクロホンの配置とは、同じであることが好ましい。これにより、遠端側のフィルタ係数は、近端側のフィルタ係数として容易に利用可能になる。したがって、近端側でのフィルタ係数の決定を速くでき、リアルタイム性が重要な遠隔会話システムにとっては、より有効である。
【００６３】
なお、近端側におけるマイクロホンに対するスピーカの配置と、遠端側におけるスピーカに対するマイクロホンの配置とが異なる場合には、次に示す第２の実施形態に係る構成を用いるとよい。
【００６４】
図６は、本発明の第２の実施形態に係る遠隔会話装置の構成を示すブロック図である。図６に示すように、第２の実施形態に係る近端側会話装置１０Ａは、第１の実施形態に係る近端側会話装置１０に対して、近端側フィルタ１４Ａの構成において異なる。近端側会話装置１０Ａの他の構成は、近端側会話装置１０と同様であり、同様の箇所の説明は省略する。
【００６５】
近端側フィルタ１４Ａは、フィルタ１４１、フィルタ１４２、伝達差調整フィルタ１４３、および、伝達差調整フィルタ１４４を備える。フィルタ１４１、フィルタ１４２は、第１の実施形態に係る近端側フィルタ１４を構成するフィルタと同じである。
【００６６】
伝達差調整フィルタ１４３のフィルタ係数は、近端側のマイクロホン１１とスピーカ１５１との伝達特性と、遠端側のスピーカ２２とマイクロホン２３１との伝達特性との差を相殺する値に設定されている。
【００６７】
伝達差調整フィルタ１４４のフィルタ係数は、近端側のマイクロホン１１とスピーカ１５２との間の伝達特性と、遠端側のスピーカ２２とマイクロホン２３２との間の伝達特性との差を相殺する値に設定されている。
【００６８】
伝達差調整フィルタ１４３、１４４のフィルタ係数は、ヘッドセットにおけるマイクロホン１１とスピーカ１５１、１５２との位置関係、収音指向性、および、放音指向性と、ロボット２００におけるスピーカ２２とマイクロホン２３１、２３２との位置関係、放音指向性、および、収音指向性との差から、予め推定算出できる。
【００６９】
伝達差調整フィルタ１４３は、収音信号Ｓ１１をフィルタ処理し、フィルタ１４１に出力する。フィルタ１４１は、伝達差調整フィルタ１４３でフィルタ処理された収音信号Ｓ１１をフィルタ処理し、スピーカ１５１に出力する。
【００７０】
伝達差調整フィルタ１４４は、収音信号Ｓ１１をフィルタ処理し、フィルタ１４２に出力する。フィルタ１４２は、伝達差調整フィルタ１４４でフィルタ処理された収音信号Ｓ１１をフィルタ処理し、スピーカ１５２に出力する。
【００７１】
このような構成および処理を行うことによって、近端側会話装置１０Ａは、遠端側の音場の伝達特性を更に忠実に再現できる。したがって、近端側のユーザは、遠端側のユーザとさらに臨場感のある会話を実現できる。
【００７２】
なお、上述の実施形態では遠端側のフィルタ係数と遠端側の収音信号とを組にして通信する態様を示したが、遠端側のフィルタ係数と遠端側の収音信号とを別の経路で通信してもよい。この場合、遠端側のフィルタ係数が、遠端側の収音信号よりも速く、近端側会話装置に受信されるようにすればよい。
【００７３】
また、上述の各実施形態では、音声のみを用いた遠隔会話装置、および、遠隔会話システムを示したが、遠端側に映像を撮影する機能を備え、近端側に当該映像を再生する機能を備えることによって、より臨場感のある会話を実現できる。
【００７４】
また、上述の各実施形態では、遠端側会話装置２０が静止している態様を示したが、遠端側会話装置２０は移動可能であってもよい。この場合、移動した位置に応じたフィルタ処理が実行され、それぞれの位置に応じて、臨場感のある会話を実現できる。
【００７５】
また、上述の各実施形態では、近端側会話装置と遠端側会話装置とで個別の機能を有する態様を示した。しかしながら、上述の近端側会話装置の機能と遠端側会話装置の機能とは、１個の会話装置に備えさせることも可能である。これにより、近端側と遠端側とで同様の処理および作用効果を実現できる。
【００７６】
また、上述の説明では、遠端側の遠隔会話装置としてロボット等を用いる態様を示した。しかしながら、ロボットに限らず、据え置き型の遠隔会話装置であってもよく、携帯通信端末等のポータブル型の遠隔会話装置であってもよい。また、例えば、所定の筐体に備え付けられたマイクロホンとスピーカを含む態様であってもよく、例えば、自動車に備え付けられたマイクロホンとスピーカを含む態様であってもよい。
【００７７】
また、これらの携帯通信端末等のポータブル型の遠隔会話装置、自動車に備え付けられた遠隔会話装置の構成は、遠端側の遠隔会話装置に限るものではなく、近端側の遠隔会話装置に適用することも可能である。
【符号の説明】
【００７８】
１：遠隔会話システム
１０、１０Ａ：近端側会話装置
１１：マイクロホン
１２：送信部
１３：受信部
１４、１４Ａ：近端側フィルタ
１５：スピーカ
２０：遠端側会話装置
２１：受信部
２２：スピーカ
２４：遠端側フィルタ
２５：送信部
９１、９２：ユーザ
１４１、１４２：フィルタ
１４３、１４４：伝達差調整フィルタ
１５１、１５２：スピーカ
２００：ロボット
２３１、２３２：マイクロホン
２４１：Ｃｏ
２４１：エコーキャンセラ
２４２：Ｃｏ
２４２：エコーキャンセラ
９１１：口
９１５Ｌ：左耳
９１５Ｒ：右耳
Ｂ１０、Ｂ２０：信号処理部
Ｃｏ１３１、Ｃｏ１３２：フィルタ係数
Ｃｏ２４１、Ｃｏ２４２：フィルタ係数
Ｓ１１：収音信号
Ｓ１２：通信信号
Ｓ１３１：放音信号
Ｓ１３２：放音信号
Ｓ１４１：収音信号
Ｓ１４２：収音信号
Ｓ２１：遠端側放音信号
Ｓ２３１：収音信号
Ｓ２３２：収音信号
Ｓ２４１：収音信号
Ｓ２４２：収音信号
Ｓ２５：通信信号
ＳＥ２２Ｌ：音声エコー
ＳＥ２２Ｒ：音声エコー
【図１】
2019008733.tif 000003
【図２】
2019008733.tif 000004
【図３】
2019008733.tif 000005
【図４】
2019008733.tif 000006
【図５】
2019008733.tif 000007
【図６】
2019008733.tif 000008
【手続補正書】
【提出日】令和1年12月25日(2019.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
近端側の音声を収音して、収音信号を生成する近端側収音処理と、
遠端側の伝達特性を用いて前記収音信号を調整する近端側フィルタ処理と、
調整後の前記収音信号を近端側のスピーカから放音する近端側放音処理と、
を行う、音声処理方法。
【請求項２】
前記遠端側の伝達特性を取得する伝達特性取得処理を、
行う、請求項１に記載の音声処理方法。
【請求項３】
前記伝達特性取得処理は、逐次的に前記伝達特性を取得し、
前記近端側フィルタ処理は、前記逐次的に取得した前記伝達特性を用いて、前記収音信号を調整する、
請求項２に記載の音声処理方法。
【請求項４】
請求項１乃至請求項３のいずれかに記載の音声処理方法を含み、
前記近端側放音処理は、遠端側の音声信号と前記調整後の前記収音信号とを近端側スピーカから放音する、
遠隔会話方法。
【請求項５】
前記近端側フィルタ処理は、
前記近端側スピーカから近端側マイクロホンに回り込む前記遠端側の音声信号を前記収音信号から抑圧して、抑圧後の収音信号とフィルタ係数とを出力する、
請求項４に記載の遠隔会話方法。
【請求項６】
遠端側マイクロホンで近端側の収音信号を放音する遠端側放音処理と、
遠端側で収音し、前記遠端側の音声信号を生成する遠端側音声信号生成処理と、
前記遠端側マイクロホンに回り込む前記近端側の収音信号を前記遠端側の音声信号から抑圧して、抑圧後の遠端側の音声信号とフィルタ係数とを出力する遠端側フィルタ処理と、
を行う、
音声処理方法。
【請求項７】
近端側の音声を収音して、収音信号を生成する近端側マイクロホンと、
遠端側の伝達特性を用いて前記収音信号を調整する近端側フィルタと、
調整後の前記収音信号を放音する近端側スピーカと、
を備える、音声処理装置。
【請求項８】
前記遠端側の伝達特性を取得する伝達特性取得部を、
備える、請求項７に記載の音声処理装置。
【請求項９】
前記伝達特性取得部は、逐次的に前記伝達特性を取得し、
前記近端側フィルタは、前記逐次的に取得した前記伝達特性を用いて、前記収音信号を調整する、
請求項８に記載の音声処理装置。
【請求項１０】
請求項８または請求項９に記載の音声処理装置を備え、
前記近端側スピーカは、前記遠端側の音声信号と前記調整後の前記収音信号とを放音する、
遠隔会話装置。
【請求項１１】
前記近端側フィルタは、
前記近端側スピーカから前記近端側のマイクロホンに回り込む前記遠端側の音声信号を前記収音信号から抑圧して、抑圧後の収音信号とフィルタ係数とを出力する、
請求項１０に記載の遠隔会話装置。
【請求項１２】
近端側の収音信号を放音する遠端側スピーカと、
遠端側で収音し、前記遠端側の音声信号を生成する遠端側マイクロホンと、
前記遠端側マイクロホンに回り込む前記近端側の収音信号を前記遠端側の音声信号から抑圧して、抑圧後の遠端側の音声信号とフィルタ係数とを出力する遠端側フィルタと、
を備える、
音声処理装置。
【請求項１３】
請求項７、請求項８、請求項９、または、請求項１２に記載の音声処理装置を備え、
前記近端側スピーカは、
右用スピーカと左用スピーカとを備えるステレオスピーカであり、
前記近端側スピーカと前記近端側マイクロホンとが所定の位置関係で固定されている、
ヘッドセット。
【請求項１４】
請求項１０または請求項１１に記載の遠隔会話装置と、前記遠端側に配置され、前記遠隔会話装置と通信する遠端側会話装置と、を備え、
前記遠端側会話装置は、
前記近端側の前記収音信号を放音する遠端側スピーカと、
前記遠端側で収音し、前記遠端側の音声信号を生成する遠端側マイクロホンと、
前記遠端側スピーカから前記遠端側マイクロホンに回り込む前記近端側の前記収音信号を前記遠端側の音声信号から抑圧する遠端側フィルタと、
を備え、
前記伝達特性は、前記遠端側フィルタのフィルタ係数である、
遠隔会話システム。
【請求項１５】
前記近端側フィルタは、
前記近端側の前記収音信号に対して前記フィルタ係数を用いた畳み込み演算を行うことで、前記近端側の前記収音信号を調整する、
請求項１４に記載の遠隔会話システム。
【請求項１６】
前記遠端側会話装置は、
前記遠端側の音声信号と前記フィルタ係数とを組にして前記遠隔会話装置に送信する、
請求項１４または請求項１５に記載の遠隔会話システム。
【請求項１７】
前記近端側スピーカは、第１のスピーカと第２のスピーカを有し、
前記第１のスピーカと前記第２のスピーカとの組は、ステレオスピーカを構成しており、
前記遠端側マイクロホンは、第１のマイクロホンと第２のマイクロホンとを有し、
前記第１のマイクロホンと前記第２のマイクロホンとの組は、ステレオマイクを構成しており、
前記第１のマイクロホンに対応する前記伝達特性は、前記第１のスピーカで放音される前記収音信号に用いられ、
前記第２のマイクロホンに対応する前記伝達特性は、前記第２のスピーカで放音される前記収音信号に用いられている、
請求項１４乃至請求項１６のいずれかに記載の遠隔会話システム。
【請求項１８】
前記第１のスピーカと前記第２のスピーカとは、前記近端側マイクロホンの位置を通り上下方向に延びる直線を挟んで、当該直線における互いに異なる側に配置されており、
前記第１のマイクロホンと前記第２のマイクロホンとは、前記遠端側スピーカの位置を通り上下方向に延びる直線を挟んで、当該直線における互いに異なる側に配置されている、
請求項１７に記載の遠隔会話システム。
【国際調査報告】
2019008733.tif 000009
2019008733.tif 000010
2019008733.tif 000011
2019008733.tif 000012