(57)【要約】【課題】音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑える集音拡声装置を提供する。【解決手段】集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力し、第二拡声装置に対する第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、目的音を遅延させ、遅延させた目的音に第二ゲインを乗じ、第二拡声装置に出力し、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。【選択図】図４
2020022114.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される集音拡声装置であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延部と、
遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
集音拡声装置。
【請求項２】
車両に搭載される集音拡声装置であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整部と、
1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調部と、
強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整部とを含み、
強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
前記第一ゲイン調整部は前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整部は前記第二ゲインを大きい値に調整する、
集音拡声装置。
【請求項３】
請求項１または請求項２の集音拡声装置であって、
前記車両内の第一座席から発せられる調整用目的音を集音し、
前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第一ゲインとし、
前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインと、ハウリングしない範囲の最大のゲインとの何れか小さい値を前記第二ゲインとする、
集音拡声装置。
【請求項４】
請求項３の集音拡声装置であって、
前記第一ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ1Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ1Hとの積との何れか小さい値を前記第一ゲインとし、
β2L>β1Lとし、前記第二ゲイン調整部は、前記聴取者が再生された前記調整用目的音を聴きとれる最小のゲインとノイズが発生した際にも前記調整用目的音が聴きとれるように調整するためのマージンβ2Lとの積と、ハウリングしない範囲の最大のゲインとノイズが発生した際にもハウリングが発生しないように調整するためのマージンβ2Hとの積との何れか小さい値を前記第二ゲインとし、
前記第一ゲイン調整部で調整した前記第一ゲインと前記第二ゲイン調整部で調整した前記第二ゲインとを用いて前記第一拡声装置と前記第二拡声装置から前記調整用目的音を再生し、ハウリングが発生する場合には、前記マージンβ1H,β2Hそれぞれに0より大きく1より小さい所定の値γを乗じた値を新たなマージンβ1H,β2Hとして、前記第一ゲイン調整部と前記第二ゲイン調整部においてそれぞれ前記第一ゲインと前記第二ゲインとを調整し、ハウリングが発生しなくなるまで調整を繰り返す、
集音拡声装置。
【請求項５】
車両に搭載される集音拡声装置を用いた集音拡声方法であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
前記集音拡声装置が、前記第一拡声装置と、前記第二拡声装置と、前記聴取者との位置関係から得られる、前記第二拡声装置に対する前記第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、前記目的音を遅延させる遅延ステップと、
前記集音拡声装置が、遅延させた前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
集音拡声方法。
【請求項６】
車両に搭載される集音拡声装置を用いた集音拡声方法であって、
前記車両内の第一座席から発せられる目的音を集音し、前記車両内の第二座席に座る聴取者からみて前記第一座席とは異なる方向に配置された第二拡声装置から前記聴取者に対して集音した前記目的音を再生し、さらに、前記聴取者からみて前記第一座席と同じ方向に配置された第一拡声装置から前記聴取者に対して集音した前記目的音を再生するものとし、
前記集音拡声装置が、前記目的音に第一ゲインを乗じ、前記第一拡声装置に出力する第一ゲイン調整ステップと、
前記集音拡声装置が、1以上のマイクロホンで集音された信号から前記目的音を強調する目的音強調ステップと、
前記集音拡声装置が、強調した前記目的音に第二ゲインを乗じ、前記第二拡声装置に出力する第二ゲイン調整ステップとを含み、
強調した前記目的音は、強調していない前記目的音に対して遅延を伴い、
前記第一ゲイン調整ステップは前記第一ゲインを小さいに値に調整し、前記第二ゲイン調整ステップは前記第二ゲインを大きい値に調整する、
集音拡声方法。
【請求項７】
請求項１から請求項４の何れかの集音拡声装置としてコンピュータを機能させるためのプログラム。
【請求項８】
車両に搭載される集音拡声装置であって、
車両内には2つ以上の集音拡声位置が想定されるものとし、
前記第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、
前記第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、前記第二対象者を基準として前記第一対象者とは異なる方向である位置に設置された第二スピーカと、
前記第二対象者を基準として前記第一対象者の方向に設置された第一スピーカと、を含み、
前記第一スピーカと前記第二スピーカは、前記第一マイクロホンにより集音された前記第一対象者から発せられた音を、前記第二スピーカから放音された音よりも前記第一スピーカから放音された音が先に前記第二対象者の耳に到達するよう放音する、
集音拡声装置。
【請求項９】
車両に搭載される集音拡声装置であって、
前記車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、
前記車両内の第二の座席を基準として前記第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ前記第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、 
前記第二の座席を基準として前記第一の座席の方向とは異なる方向かつ前記第一スピーカよりも前記第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ前記第二のユーザが聞き取りやすい強さで、かつ、前記第一スピーカの放音開始よりも後の時間に前記音響信号の放音を開始するよう制御する、
集音拡声装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンとスピーカを用いて車両内の会話を円滑に行う集音拡声技術に関する。
【背景技術】
【０００２】
インカーコミュニケーションや会話アシストと呼ばれる機能が自動車に搭載されつつある(非特許文献１参照)。これは前席に乗車している人の声を集音して後席で再生することで会話を行いやすくするものである。さらに後席の音声を集音して前席で再生するものもある。インカーコミュニケーションにおいては、図１のように話者音声の拡声用のスピーカ９２Ｆ，９２Ｒを座席に座る聴取者の耳元に設置するのが、少ない音量で音声を提示できるため効果的である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】"「インテリジェントマイク for car」の技術について"、［online］、2018年、日本電信電話株式会社、[平成30年5月24日]、インターネット<URL:http://www.ntt.co.jp/news2018/1802/pdf/180219c.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、図１の場合、後席の人にとっては、前席の声が自分の頭の後ろから聞こえることになり、位置関係に違和感が生じる。この違和感を解消するためには音像を後席の人よりも前に出す必要があり、そのためには、スピーカ９２Ｒを後席の人よりも前に設置する方法が考えられる（図２参照）。しかしながら、後席の人の耳からスピーカ９２Ｒが遠くなるのでその分スピーカ９２Ｒから大きな音を出さなくてはならず、後席近くのマイク９１Ｒに音が入ってハウリングの原因となってしまう。
【０００５】
本発明は、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑える集音拡声装置、その方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、第一拡声装置と、第二拡声装置と、聴取者との位置関係から得られる、第二拡声装置に対する第一拡声装置の遅延時間に先行音効果を得るための時間を加えた時間分、目的音を遅延させる遅延部と、遅延させた目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。
【０００７】
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一座席から発せられる目的音を集音し、車両内の第二座席に座る聴取者からみて第一座席とは異なる方向に配置された第二拡声装置から聴取者に対して集音した目的音を再生し、さらに、聴取者からみて第一座席と同じ方向に配置された第一拡声装置から聴取者に対して集音した目的音を再生するものとし、目的音に第一ゲインを乗じ、第一拡声装置に出力する第一ゲイン調整部と、1以上のマイクロホンで集音された信号から目的音を強調する目的音強調部と、強調した目的音に第二ゲインを乗じ、第二拡声装置に出力する第二ゲイン調整部とを含み、強調した目的音は、強調していない目的音に対して遅延を伴い、第一ゲイン調整部は第一ゲインを小さいに値に調整し、第二ゲイン調整部は第二ゲインを大きい値に調整する。
【０００８】
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内には2つ以上の集音拡声位置が想定されるものとし、第一の集音拡声位置に位置する第一対象者から発せられた音を他の集音拡声位置に位置する対象者から発せられた音よりも集音しやすい位置に設置された第一マイクロホンと、第二の集音拡声位置に位置する第二対象者に他の集音拡声位置に位置する対象者よりも届きやすい、かつ、第二対象者を基準として第一対象者とは異なる方向である位置に設置された第二スピーカと、第二対象者を基準として第一対象者の方向に設置された第一スピーカと、を含み、第一スピーカと第二スピーカは、第一マイクロホンにより集音された第一対象者から発せられた音を、第二スピーカから放音された音よりも第一スピーカから放音された音が先に第二対象者の耳に到達するよう放音する。
【０００９】
上記の課題を解決するために、本発明の他の態様によれば、集音拡声装置は、車両に搭載される。集音拡声装置は、車両内の第一の座席に着席した第一のユーザにより発せられた音を主として集音するマイクロホンを用いて収音された音響信号を、車両内の第二の座席を基準として第一の座席の方向に設置された第一スピーカからハウリングを起こさないかつ第二の座席に着席した第二のユーザが聞きとることができる強さで放音するよう制御し、第二の座席を基準として第一の座席の方向とは異なる方向かつ第一スピーカよりも第二の座席に近い位置に設置された第二スピーカからハウリングを起こさないかつ第二のユーザが聞き取りやすい強さでかつ第一スピーカの放音開始よりも後の時間に音響信号の放音を開始するよう制御する。
【発明の効果】
【００１０】
本発明によれば、音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】インカーコミュニケーションにおけるマイクとスピーカの配置例を示す図。
【図２】インカーコミュニケーションにおけるマイクとスピーカの配置例を示す図。
【図３】第一実施形態におけるマイクとスピーカの配置例を示す図。
【図４】第一実施形態に係る集音拡声装置の機能ブロック図。
【図５】第一実施形態に係る集音拡声装置の処理フローの例を示す図。
【図６】第一実施形態に係る目的音強調部の機能ブロック図。
【図７】第一実施形態に係るエコーキャンセラ部の機能ブロック図。
【図８】第一実施形態に係る目的音強調部の機能ブロック図。
【図９】第一実施形態に係るエコーキャンセラ部の機能ブロック図。
【図１０】スピーカと、後部座席に座る聴取者の位置関係を示す図。
【図１１】第一実施形態の変形例１のスピーカと、後部座席に座る聴取者の位置関係を示す図。
【図１２】第一実施形態の変形例２のスピーカと、後部座席に座る聴取者の位置関係を示す図。
【図１３】第一実施形態の変形例３に係る集音拡声装置の機能ブロック図。
【図１４】第二実施形態に係る集音拡声装置の機能ブロック図。
【図１５】第二実施形態に係る集音拡声装置の処理フローの例を示す図。
【図１６】第二実施形態に係る目的音強調部の機能ブロック図。
【図１７】第二実施形態に係るエコーキャンセラ部の機能ブロック図。
【図１８】第二実施形態と第一実施形態の変形例３とを組合せた場合の機能ブロック図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１３】
＜第一実施形態のポイント＞
本実施形態では、音像を前方に出すために先行音効果を利用する（参考文献１参照）。
（参考文献１）日本音響学会編、「空間音響学」、コロナ社、2010、p.26-29
【００１４】
先行音効果とは、同じ性質の音をほぼ同時に聞いた場合に、先に聞こえた音の方向のみに音像を知覚するという現象である。この効果を利用するための構成は図３のようになる。ただし、単純に先行音効果を狙ったスピーカ９２Ｒ−１を配置するだけでは、ハウリングが起きやすい状況に変わりはない。そのため、ハウリングが起きないようなゲイン調整の手段も提案する。
【００１５】
＜第一実施形態＞
図４は第一実施形態に係る集音拡声装置の機能ブロック図を、図５はその処理フローを示す。
【００１６】
集音拡声装置は、目的音強調部１１０−１，１１０−２と、遅延部１３０と、ゲイン調整部１２０，１４０とを含む。
【００１７】
本実施形態では、集音拡声装置が搭載される車両は、図３のような構造とし、３列シートを備える。さらに、本実施形態の車両は、主に１列目の話者の音声を集音するマイク９１Ｆと、主に３列目の話者の音声を集音するマイク９１Ｒとを備える。マイク９１Ｆ、９１Ｒは、それぞれM個のマイクロホンで構成される。なお、Ｆ，Ｒはそれぞれ車両の進行方向に対して前方、後方を示すインデックスである。さらに、本実施形態の車両は、１列目の座席の聴取者に対して音を再生するスピーカ９２Ｆと、３列目の座席の聴取者に対して音を再生するスピーカ９２Ｒ−１，９２Ｒ−２とを備える。スピーカ９２Ｒ−１は３列目の座席に座る聴取者からみて１列目の座席と同じ方向（前方）に配置されており、スピーカ９２Ｒ−２は３列目の座席に座る聴取者からみて１列目の座席とは異なる方向（後方）に配置されている。なお、同じ方向とは、厳密に同じ方向を意味するのではなく、音像の違和感を感じずらい方向を意味する。同様に、異なる方向とは、音像の違和感を生じやすい方向を意味する。各スピーカ９２Ｆ，９２Ｒ−１，９２Ｒ−２はそれぞれN個のスピーカで構成される。ただし、Nは1以上の整数の何れかであり、再生信号のチャネル数を表す。
【００１８】
集音拡声装置は、車両内に設置された2つのマイク９１Ｆ，９１Ｒで集音して得られる集音信号XF=[XF,1,…,XF,M],XR=[XR,1,…,XR,M]と、車載用音響装置（例えば、カーオーディオ等）のスピーカ９３で再生される再生信号(例えば、オーディオ信号)XC=[XC,1,…,XC,S]とを入力とし、車両内に設置された3つのスピーカ９２Ｆ，９２Ｒ−１，９２Ｒ−２で再生される再生信号YF=[YF,1,…,YF,N],YR1=[YR1,1,…,YR1,N],YR2=[YR2,1,…,YR2,N]を生成し、出力する。なお、Sは、車載用音響装置のスピーカ９３で再生される再生信号のチャネル数を表す。
【００１９】
集音拡声装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。集音拡声装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。集音拡声装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。集音拡声装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。集音拡声装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも集音拡声装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、集音拡声装置の外部に備える構成としてもよい。
【００２０】
以下、各部について説明する。
【００２１】
＜目的音強調部１１０−１＞
目的音強調部１１０−１は、マイク９１Ｆで主に１列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、目的音強調部１１０−２で生成された1列目の座席のスピーカ９２Ｆで再生される再生信号YF=[YF,1,…,YF,N]と、車載用音響装置のスピーカ９３で再生される再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XFから目的音（前方の座席から発せられる音）を強調した再生信号YR=[YR,1,…,YR,N]を求め、出力する。
【００２２】
図６は目的音強調部１１０−１の機能ブロック図を示す。
【００２３】
目的音強調部１１０−１は、指向性集音部１１０−１−１と、エコーキャンセラ部１１０−１−２と、ハウリング抑圧部１１０−１−３とを含む。以下、各部について説明する。
【００２４】
(指向性集音部１１０−１−１)
指向性集音部１１０−１−１は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から目的音（前方の座席から発せられる音）を強調した強調信号X'Fを求め（Ｓ１１０−１−１）、出力する。
【００２５】
なお、どのような方法により強調信号を求めてもよい。例えば、特開2004-078021号公報の強調技術を用いることができる。
【００２６】
(エコーキャンセラ部１１０−１−２)
エコーキャンセラ部１１０−１−２は、強調信号X'Fと、再生信号YFと、再生信号XCとを入力とし、強調信号X'Fに含まれるスピーカ９３で再生される音成分やスピーカ９２Ｆで再生される音成分を消去し、エコー成分を消去した強調信号X"Fを求め（Ｓ１１０−１−２）、出力する。
【００２７】
図７は、エコーキャンセラ部１１０−１−２の機能ブロック図を示す。
【００２８】
エコーキャンセラ部１１０−１−２は、第一適応フィルタ部１１０−１−２−１と、第一減算部１１０−１−２−２と、第二適応フィルタ部１１０−１−２−３と、第二減算部１１０−１−２−４とを含む。
【００２９】
第一適応フィルタ部１１０−１−２−１は、再生信号XCを入力とし、第一適応フィルタを用いて再生信号XCをフィルタリングし、第一擬似エコーY1を生成し、出力する。
【００３０】
第一減算部１１０−１−２−２は、強調信号X'Fと第一擬似エコーY1とを入力とし、強調信号X'Fから第一擬似エコーY1を減算し、強調信号X'F,1を得、出力する。なお、全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。例えば、Nチャネルの再生信号XC,n(n=1,2,…,N)をそれぞれフィルタリングしたNチャネルの第一擬似エコーY1,n(ただしY1=[Y1,1,…,Y1,N])をそれぞれ強調信号X'Fから減算してもよいし、Nチャネルの第一擬似エコーY1,nの総和を強調信号X'Fから減算してもよい。
【００３１】
第二適応フィルタ部１１０−１−２−３は、再生信号YFを入力とし、第二適応フィルタを用いて再生信号YFをフィルタリングし、第二擬似エコーY2を生成し、出力する。
【００３２】
第二減算部１１０−１−２−４は、強調信号X'F,1と第二擬似エコーY2とを入力とし、強調信号X'F,1から第二擬似エコーY2を減算し、強調信号X"Fを得、出力する。第一減算部１１０−１−２−２と同様に全てのチャネルをそれぞれ減算してもよいし、全てのチャネルの総和を減算してもよい。
【００３３】
さらに、第一適応フィルタ部１１０−１−２−１は、エコー成分を消去した強調信号X"F(誤差信号に相当)を入力とし、再生信号XCと強調信号X"Fを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部１１０−１−２−３は、強調信号X"Fを入力とし、再生信号YFと強調信号X"Fを用いて第二適応フィルタを更新する。
【００３４】
適応フィルタの更新方法としては様々な方法がある。例えば、参考文献２記載のNLMSアルゴリズム等を用いてフィルタ更新を行うことができる。
（参考文献２）大賀寿郎、山崎芳男、金田豊、「音響システムとディジタル処理」、電子情報通信学会編、コロナ社、1995年、p140,141
【００３５】
なお、上述のエコー消去方法に限らず、どのような方法によりエコー成分を消去してもよい。例えば、特開2010-187086号公報のエコー消去技術を用いることができる。
【００３６】
(ハウリング抑圧部１１０−１−３)
ハウリング抑圧部１１０−１−３は、強調信号X"Fを入力とし、ハウリング成分を抑圧し（Ｓ１１０−１−３）、ハウリング成分抑圧後の信号を再生信号YRとして出力する。
【００３７】
なお、どのような方法によりハウリング成分を抑圧してもよい。例えば、特開2007-221219号公報のハウリング抑圧技術を用いることができる。
【００３８】
＜目的音強調部１１０−２＞
目的音強調部１１０−２は、マイク９１Ｒで主に３列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音（後方の座席から発せられる音）を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
【００３９】
図８は目的音強調部１１０−２の機能ブロック図を示す。
【００４０】
目的音強調部１１０−２は、指向性集音部１１０−２−１と、エコーキャンセラ部１１０−２−２と、ハウリング抑圧部１１０−２−３とを含む。以下、各部について説明する。
【００４１】
(指向性集音部１１０−２−１)
指向性集音部１１０−２−１は、集音信号XR=[XR,1,…,XR,M]を入力とし、集音信号XR=[XR,1,…,XR,M]から目的音（後方の座席から発せられる音）を強調した強調信号X'Rを求め（Ｓ１１０−２−１）、出力する。指向性集音部１１０−１−１と同様の方法により強調信号を求めればよい。
【００４２】
(エコーキャンセラ部１１０−２−２)
エコーキャンセラ部１１０−２−２は、強調信号X'Rと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ９３で再生される音成分やスピーカ９２Ｒ−１，９２Ｒ−２で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め（Ｓ１１０−２−２）、出力する。
【００４３】
図９は、エコーキャンセラ部１１０−２−２の機能ブロック図を示す。
【００４４】
エコーキャンセラ部１１０−２−２は、第一適応フィルタ部１１０−２−２−１と、第一減算部１１０−２−２−２と、第二適応フィルタ部１１０−２−２−３と、第二減算部１１０−２−２−４とを含む。
【００４５】
第一適応フィルタ部１１０−２−２−１は、再生信号XCを入力とし、第一適応フィルタを用いて再生信号XCをフィルタリングし、第一擬似エコーY'1を生成し、出力する。
【００４６】
第一減算部１１０−２−２−２は、強調信号X'Rと第一擬似エコーY'1とを入力とし、強調信号X'Rから第一擬似エコーY'1を減算し、強調信号X'R,1を得、出力する。
【００４７】
第二適応フィルタ部１１０−２−２−３は、再生信号YRを入力とし、第二適応フィルタを用いて再生信号YRをフィルタリングし、第二擬似エコーY'2を生成し、出力する。
【００４８】
第二減算部１１０−２−２−４は、強調信号X'R,1と第二擬似エコーY'2とを入力とし、強調信号X'R,1から第二擬似エコーY'2を減算し、強調信号X"Rを得、出力する。
【００４９】
さらに、第一適応フィルタ部１１０−２−２−１は、エコー成分を消去した強調信号X"R(誤差信号に相当)を入力とし、再生信号XCと強調信号X"Rを用いて第一適応フィルタを更新する。同様に、第二適応フィルタ部１１０−２−２−３は強調信号X"Rを入力とし、再生信号YRと強調信号X"Rを用いて第二適応フィルタを更新する。第一適応フィルタ部１１０−１−２−１等と同様の方法により適応フィルタの更新すればよい。
【００５０】
(ハウリング抑圧部１１０−２−３)
ハウリング抑圧部１１０−２−３は、強調信号X"Rを入力とし、ハウリング成分を抑圧し（Ｓ１１０−２−３）、ハウリング成分抑圧後の信号を再生信号YFとして出力する。ハウリング抑圧部１１０−１−３と同様の方法によりハウリング成分を抑圧すればよい。
【００５１】
＜遅延部１３０＞
遅延部１３０は、再生信号YR=[YR,1,…,YR,N]を入力とし、スピーカ９２Ｒ−１とスピーカ９２Ｒ−２と、後部座席に座る聴取者との位置関係から得られる、スピーカ９２Ｒ−２に対するスピーカ９２Ｒ−１の遅延時間に先行音効果を得るための時間を加えた時間分、再生信号YR=[YR,1,…,YR,N]を遅延させ（Ｓ１３０）、遅延させた再生信号Y'Rを出力する。ある時刻tに入力された再生信号をYR(t)とすると、次式により遅延させた再生信号Y'R(t)を求める。
Y'R(t)=YR(t-δ)
遅延の値δはスピーカ９２Ｒ−１とスピーカ９２Ｒ−２と、後部座席に座る聴取者の位置関係から計算される。仮に図１０のような位置関係の場合、
δ=(d1-d2)/v+δ0
のように決定する。vは音速である。第一項は空気伝搬にかかる遅延を補償するためで、第二項は先行音効果のための遅延である。先行音効果においてはおおむね1ms後続音が遅れると先行音の方向に音像が感じられることが知られているため、δ0は1ms〜2ms程度の値とする。
【００５２】
＜ゲイン調整部１２０，１４０＞
ゲイン調整部１２０は、再生信号YR=[YR,1,…,YR,N]を入力とし、ゲインα1を乗じ（Ｓ１２０）、出力する。スピーカ９２Ｒ−１は、ゲインα1を乗じた再生信号YR1(=α1YR)を再生する。
【００５３】
ゲイン調整部１４０は、遅延させた再生信号Y'R=[Y'R,1,…,Y'R,N]を入力とし、ゲインα2を乗じ（Ｓ１４０）、出力する。スピーカ９２Ｒ−２は、ゲインα2を乗じた再生信号YR2(=α2Y'R)を再生する。
【００５４】
なお、ゲイン調整部１２０はゲインα1を小さな値に調整し、ゲイン調整部１４０はゲインα2を大きな値に調整する。先行音効果を狙うスピーカ９２Ｒ−１の音量は、音の定位さえ引っ張れればよいので 音の中身がわかるほど大音量である必要はなく、受聴位置に近いスピーカ９２Ｒ−２で「聞き取りやすい」音量を実現する。もちろん先行音も大きいほうが聞き取りやすいが、スピーカ９２Ｒ−１は受聴位置から遠い（＝相対的には受聴位置寄りのスピーカ９２Ｒ−２よりマイク９１Ｒに近いことに相当）ので、その音量を抑えた方がハウリングを抑圧する効果が高い。以下、調整方法を説明する。
【００５５】
(1)まず、ゲイン調整部１４０は、ミュート(ゲインα2=0）とし、ゲイン調整部１２０は、ゲインα1を変化させ、調整用目的音にゲインα1を乗じてスピーカ９２Ｒ−１で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα1L、ハウリングしない範囲の最大のゲインをα1Hとしたときに
α1=min(α1L・β1L,α1H・β1H)
のように定める。min()は最小値を返す関数であり、β1L,β1Hはそれぞれマージンの値であり、β1Lはノイズが発生した際にも（走行音などが加わっても）聞き取れるように音量の余裕を見る量で、たとえば+6dB（β1L=2.0）などであり、β1Hはノイズが発生した際にも（環境変化などによる）ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β1H=0.5)などである。このような構成により(i)聞こえる最低限の音量で音を出す（先行音の効果のみを狙う）とともに、(ii)ハウリングを防ぐために所定の上限を超えたらそれ以上音量を上げないように設定する。
【００５６】
(2)次に、ゲイン調整部１２０は、ミュート(ゲインα1=0）とし、ゲイン調整部１４０は、ゲインα2を変化させ、調整用目的音にゲインα2を乗じてスピーカ９２Ｒ−２で再生し、後席の人が拡声音声を聞き取れる最小のゲインをα2L、ハウリングしない範囲の最大のゲインをα2Hとしたときに
α2=min(α2L・β2L,α2H・β2H)
のように定める。β2L,β2Hはそれぞれマージンの値であり、β2Lはノイズが発生した際にも（走行音などが加わっても）聞き取れるように音量の余裕を見る量で、たとえば+6dB（β2L=2.0）などであり、β2Hはノイズが発生した際にも（環境変化などによる）ハウリングが発生しないように調整するためのハウリングマージンの余裕であり、たとえば-6dB(β2H=0.5)などである。なお、β2Lは上述の(1)のβ1Lよりも(ハウリングしない程度に)大きい値とする。(1)と異なるのは、α1はなるべくゲインを小さく、α2はできるだけゲインが大きくするという点である。このような構成により、ハウリングしない範囲で音量を上げる。
【００５７】
(3)上述の(1)(2)で求めたα1,α2を両方ONにした系でハウリングしないかを確認する。言い換えると、α1,α2を用いてスピーカ９２Ｒ−１，９２Ｒ−２から調整用目的音を再生し、ハウリングしないかを確認する。ハウリングが発生する場合には、β1H,β2Hに0より大きく1より小さい所定の値γ（たとえば-3dB、γ=0.70）を乗じて、新たなマージンβ1H←γβ1H,β2H←γβ2Hを用いて、α1,α2を調整し、ハウリングが発生しなくなるまで調整を繰り返す。上述の(1)と(2)の両方を満たすようにα1,α2を定めた場合であって、足し算すると(二つの再生信号を同時に再生すると)ハウリングすることがある。(3)の構成により、二つの再生信号を同時に再生したときに生じるハウリングも防ぐことができる。
【００５８】
なお、ゲインα1,α2の調整は、集音拡声処理に先立ち予め行う。
【００５９】
＜効果＞
以上の構成により、先行音効果を利用して音像の違和感を低減しつつ、スピーカの追加によるハウリングへの影響を抑えることができる。
【００６０】
先行音効果は、後に聞こえた方の音が10dBほど大きくても生じる。そこで、まず、後席に対して前方に設置されたスピーカ９２Ｒ−１で小さな音(後席の人が拡声音声を聞き取れる音量)で目的音を再生し、先行音効果を生じうる遅延を付与して、後席に対して後方に設置されたスピーカ９２Ｒ−２で大きな音(ただしハウリングを生じない音量)で目的音を再生する。マイク９１Ｒに近いスピーカ９２Ｒ−１で小さな音で再生するため、ハウリングを発生を抑制しやすい。一方で、マイク９１Ｒから遠いスピーカ９２Ｒ−２で大きな音（聞き取りやすい音量）で目的音を再生するため、後席に座る聴取者は目的音を聞き取りやすく、かつ、先行音効果により前席に座る発話者と同じ方向に設置されたスピーカ９２Ｒ−１の方向から音を知覚するため、音像の違和感を低減することができる。
【００６１】
＜変形例１＞
本実施形態では、ヘッドレストの位置にスピーカがある例を示したが、図１１のように車の天井などにスピーカを設置してもよい。
【００６２】
＜変形例２＞
本実施形態では、１列目の右側座席（運転席）と左側座席（助手席）とを区別せずに前席としたが、区別してもよい。例えば、図１２に示すように、３列目の左側座席に座る聴取者から見て１列目の右側座席と同じ方向にスピーカ９２Ｒ１−Ｒを、１列目の左側座席と同じ方向にスピーカ９２Ｒ１−Ｌを配置する。
【００６３】
この場合、指向性集音部１１０−１−１は、集音信号XF=[XF,1,…,XF,M]を入力とし、集音信号XF=[XF,1,…,XF,M]から１列目の右側座席から発せられる目的音を強調した強調信号X'FRと、１列目の左側座席から発せられる目的音を強調した強調信号X'FLと求め（例えば、特開2013-179388号公報の技術を用いる）、出力する。スピーカ９２Ｒ１−Ｒはゲインα１を乗じた、強調信号X'FRに対応する再生信号YRR=[YRR,1,…,YRR,N]を再生し、スピーカ９２Ｒ１−Ｌはゲインα１を乗じた、強調信号X'FLに対応する再生信号YRL=[YRL,1,…,YRL,N]を再生する。さらに、スピーカ９２Ｒ−２は、遅延させた再生信号Y'RR，Y'RLにゲインα2を乗じた信号を再生する。
【００６４】
このような構成とすることで、より一層音像の違和感を低減することができる。
【００６５】
＜変形例３＞
また、本実施形態の図３では、３列シート車を記載したが、２列シート車などでマイクを２か所に設置するスペースがない場合、マイクを１か所に設置しすべての座席の集音を行うことも考えられる。この場合、図１３のようにマイク９１Ｃという１か所のマイクロホンアレイを用いて同様に処理を行う。
【００６６】
＜その他の変形例＞
本実施形態では、目的音強調部１１０−１、１１０−２を備えるが、例えば、集音対象の座席に対して指向性を有する指向性マイクを用いて、座席から発せられる目的音を強調した強調信号を得られるのであれば、目的音強調部１１０−１、１１０−２を用いずに指向性マイクの出力値を遅延部１３０、ゲイン調整部１２０、スピーカ９２Ｆに出力してもよい。また、指向性集音部１１０−１−１，１１０−２−１を用いずに指向性マイクの出力値をエコーキャンセラ部１１０−１−２，１１０−２−２に出力してもよい。
【００６７】
本実施形態では、3列シートで、1列目と3列目にマイクロホンとスピーカを備えた構成としている。これは、1列目と2列目の座席、3列目と2列目の座席の場合、声が届きやすいため、多くの場合、車両内通話を必要としないためである。しかしながら、2列目にマイクロホンとスピーカを備える構成を排除するものではなく、必要に応じて備えてもよい。また、3列シートに限らず、2列シート、4列シート以上を備える車両において本実施形態を適用してもよい。要は、車両内の共通の音場の中で、走行音やカーオーディオの再生音、その他の車外の騒音等で一般的に会話する際の音量では、互いの声が聞こえずらい位置関係にある場合に適用すればよい。
【００６８】
本実施形態では、集音拡声装置は、スピーカとマイクロホンを含まない構成としているが、以下では、スピーカとマイクとを含む集音放音装置として本発明を説明する。集音放音装置は、車両に搭載される。車両内には、2つ以上の集音拡声位置(例えば、前席,後席)が想定される。マイク９１Ｆは、前席に対応し、前席に座る搭乗者から発せられた音を他の座席に座る搭乗者から発せられた音よりも集音しやすい位置に設置される。スピーカ９２Ｒ−２は、後席に対応し、後席に座る搭乗者に他の座席に座る搭乗者よりも届きやすい、かつ、後席に座る搭乗者を基準として前席に座る搭乗者とは異なる方向である位置に設置される。スピーカ９２Ｒ−１は、後席に座る搭乗者を基準として前席に座る搭乗者の方向に設置される。スピーカ９２Ｒ−１，９２Ｒ−２は、マイク９１Ｆにより集音された前席に座る搭乗者から発せられた音を、スピーカ９２Ｒ−２から放音された音よりもスピーカ９２Ｒ−１から放音された音が先に後席に座る搭乗者の耳に到達するよう放音する。
【００６９】
また、集音拡声装置は、以下のように、スピーカ９２Ｒ−１，９２Ｒ−２で再生される音を制御しているとも言える。集音拡声装置は、マイク９１Ｆを用いて収音された音響信号を、車両内の後席を基準として前席の方向に設置されたスピーカ９２Ｒ−１からハウリングを起こさないかつ後席に着席したユーザが聞きとることができる強さで放音するよう制御する。また、集音拡声装置は、後席を基準として前席の方向とは異なる方向かつスピーカ９２Ｒ−１よりも後席に近い位置に設置されたスピーカ９２Ｒ−２からハウリングを起こさないかつ後席に座るユーザが聞き取りやすい強さで、かつ、スピーカ９２Ｒ−１の放音開始よりも後の時間にマイク９１Ｆを用いて収音された音響信号の放音を開始するよう制御する。なお、「集音」とは「音を集めること」を意味し、「収音」とは「音をマイクで受けて電気信号として収めること」を意味する。
【００７０】
＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。
【００７１】
図１４は第一実施形態に係る集音拡声装置の機能ブロック図を、図１５はその処理フローを示す。
【００７２】
集音拡声装置は、目的音強調部１１０−１，１１０−２と、ゲイン調整部１２０，１４０とを含む。本実施形態の集音拡声装置は、遅延部１３０を含まなくともよい。
【００７３】
＜ゲイン調整部１２０＞
ゲイン調整部１２０は、再生信号YR=[YR,1,…,YR,N]ではなく集音信号XF=[XF,1,…,XF,M]を入力とし、ゲインα1を乗じ（Ｓ１２０）、出力する。スピーカ９２Ｒ−１は、ゲインα1を乗じた集音信号XF(=再生信号YR)を再生する。
【００７４】
目的音強調部１１０−１は信号処理により数msの遅延を必要とするため、この部分を通る信号と通らない信号でも遅延差をつけることができる。また第一実施形態のように追加の遅延を入れていないため、信号を集音してからスピーカ９２Ｒ−２から放射するまでの時間は第一実施形態よりも短くて済む。ただし、目的音強調をしていない分ハウリングしやすくなる。
【００７５】
＜目的音強調部１１０−２＞
目的音強調部１１０−２は、マイク９１Ｒで主に３列目の発話者の音声を集音した集音信号XR=[XR,1,…,XR,M]と、マイク９１Ｒで主に１列目の発話者の音声を集音した集音信号XF=[XF,1,…,XF,M]と、再生信号YR=[YR,1,…,YR,N]と、再生信号XC=[XC,1,…,XC,S]とを入力とし、集音信号XR=[XF,1,…,XF,M]から目的音（後方の座席から発せられる音）を強調した再生信号YF=[YF,1,…,YF,N]を求め、出力する。
【００７６】
図１６は目的音強調部１１０−２の機能ブロック図を示す。
【００７７】
目的音強調部１１０−２は、指向性集音部１１０−２−１と、エコーキャンセラ部１１０−２−２と、ハウリング抑圧部１１０−２−３とを含む。指向性集音部１１０−２−１と、ハウリング抑圧部１１０−２−３の処理は第一実施形態で説明した通りなので省略する。
【００７８】
(エコーキャンセラ部１１０−２−２)
エコーキャンセラ部１１０−２−２は、強調信号X'Rと、集音信号XFと、再生信号YR=[YR,1,…,YR,N]と、再生信号XCとを入力とし、強調信号X'Rに含まれるスピーカ９３で再生される音成分やスピーカ９２Ｒ−１，９２Ｒ−２で再生される音成分を消去し、エコー成分を消去した強調信号X"Rを求め（Ｓ１１０−２−２）、出力する。
【００７９】
図１７は、エコーキャンセラ部１１０−２−２の機能ブロック図を示す。
【００８０】
エコーキャンセラ部１１０−２−２は、第一適応フィルタ部１１０−２−２−１と、第一減算部１１０−２−２−２と、第二適応フィルタ部１１０−２−２−３と、第二減算部１１０−２−２−４と、第三適応フィルタ部１１０−２−２−５と、第三減算部１１０−２−２−６とを含む。
【００８１】
第一適応フィルタ部１１０−２−２−１、第一減算部１１０−２−２−２、第二適応フィルタ部１１０−２−２−３、第二減算部１１０−２−２−４の処理内容は、第一実施形態と同様である。
【００８２】
第三適応フィルタ部１１０−２−２−５は、集音信号XFを入力とし、第三適応フィルタを用いて再生信号YR2をフィルタリングし、第三擬似エコーY'3を生成し、出力する。
【００８３】
第三減算部１１０−２−２−６は、強調信号X'R,2(第二減算部１１０−２−２−４の出力値)と第三擬似エコーY'3とを入力とし、強調信号X'R,2から第三擬似エコーY'3を減算し、強調信号X"Rを得、出力する。
【００８４】
さらに、第三適応フィルタ部１１０−２−２−５は強調信号X"Rを入力とし、集音信号XFと強調信号X"Rを用いて第三適応フィルタを更新する。なお、第一適応フィルタ部１１０−１−２−１等と同様の方法により適応フィルタの更新すればよい。
【００８５】
なお、本実施形態と第一実施形態の変形例とを組み合わせてもよい。例えば、図１８は本実施形態と第一実施形態の変形例３を組合せた場合の機能ブロック図を示す。
【００８６】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００８７】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００８８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００９０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００９１】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2020022114.tif 000003
【図２】
2020022114.tif 000004
【図３】
2020022114.tif 000005
【図４】
2020022114.tif 000006
【図５】
2020022114.tif 000007
【図６】
2020022114.tif 000008
【図７】
2020022114.tif 000009
【図８】
2020022114.tif 000010
【図９】
2020022114.tif 000011
【図１０】
2020022114.tif 000012
【図１１】
2020022114.tif 000013
【図１２】
2020022114.tif 000014
【図１３】
2020022114.tif 000015
【図１４】
2020022114.tif 000016
【図１５】
2020022114.tif 000017
【図１６】
2020022114.tif 000018
【図１７】
2020022114.tif 000019
【図１８】
2020022114.tif 000020