(57)【要約】  会話サポートシステムは、自動車における搭乗者の会話をサポートする。自動車は少なくとも2以上の列に座席が配置されており、会話サポートシステムは、第一の座席に着席した第一の搭乗者の指定に基づき、所望の集音拡声エリアを指定する音声振分制御部と、指定された集音拡声エリアから発せられる音声を強調した信号を第一の座席に対応するスピーカに出力する第一目的音強調部と、第一の座席に対応するマイクロホンにより集音された、第一の座席から発せられる音声を強調した信号を集音拡声エリアに対応するスピーカに出力する第二目的音強調部と、を有する。
2020027061.tif 000002
【特許請求の範囲】
【請求項１】
自動車における搭乗者の会話をサポートする会話サポートシステムであって、
前記自動車は少なくとも2以上の列に座席が配置されており、
第一の座席に着席した第一の搭乗者の指定に基づき、所望の集音拡声対象または集音拡声エリアを指定する音声振分制御部と、
指定された前記集音拡声対象または前記集音拡声エリアから発せられる音声を強調した信号を前記第一の座席に対応するスピーカに出力する第一目的音強調部と、
前記第一の座席に対応するマイクロホンにより集音された、前記第一の座席から発せられる音声を強調した信号を前記集音拡声対象または前記集音拡声エリアに対応するスピーカに出力する第二目的音強調部と、
を有する会話サポートシステム。
【請求項２】
請求項１の会話サポートシステムであって、
前記音声振分制御部において、前記集音拡声対象または前記集音拡声エリアは、
前記第一の搭乗者が発した音声を認識した結果を用いて、前記自動車に設置されたスイッチにより指定される、若しくは
複数の集音拡声対象または集音拡声エリアを表示しうる表示部を見た前記第一の搭乗者により指定される、
会話サポートシステム。
【請求項３】
請求項１の会話サポートシステムであって、
前記音声振分制御部において、
前記集音拡声対象または前記集音拡声エリアは、複数の集音拡声対象または集音拡声エリアを表示しうる表示部を見た前記第一の搭乗者により指定され、
所望の集音拡声対象または集音拡声エリアとして指定されている集音拡声対象または集音拡声エリアは、前記表示部を見た前記第一の搭乗者により指定を外され、
集音拡声対象または集音拡声エリアは、前記自動車の座席または列毎に設定される、
会話サポートシステム。
【請求項４】
請求項１から請求項３の何れかの会話サポートシステムであって、
前記第二目的音強調部は、
前記第一の座席以外に対応するマイクロホンにより集音された音を前記所望の集音拡声対象または集音拡声エリアに対応するスピーカに出力しない、
会話サポートシステム。
【請求項５】
請求項１から請求項４の何れかの会話サポートシステムであって、
さらにエコーキャンセル部を有し、
第二の搭乗者が前記第一の搭乗者のみと会話する場合と、
前記第二の搭乗者が前記第一の搭乗者以外の第三の搭乗者のみと会話する場合と、
前記第二の搭乗者が前記第一の搭乗者と前記第三の搭乗者の両方と会話をする場合と、
でエコーをキャンセルするために用いるフィルタを異ならせ、
前記フィルタは、前記第一の搭乗者に対応するスピーカと前記第一の搭乗者の音声を集音するマイクロホンとの間の伝達関数と、前記第三の搭乗者に対応するスピーカと前記マイクロホンとの間の伝達関数と、その両方が加算された伝達関数と、に基づき更新される、
会話サポートシステム。
【請求項６】
自動車における搭乗者の会話をサポートする会話サポートシステムを用いる会話サポート方法であって、
前記自動車は少なくとも2以上の列に座席が配置されており、
前記会話サポートシステムが、第一の座席に着席した第一の搭乗者の指定に基づき、所望の集音拡声エリアを指定する音声振分制御ステップと、
前記会話サポートシステムが、指定された前記集音拡声エリアから発せられる音声を強調した信号を前記第一の座席に対応するスピーカに出力する第一目的音強調ステップと、
前記会話サポートシステムが、前記第一の座席に対応するマイクロホンにより集音された、前記第一の座席から発せられる音声を強調した信号を前記集音拡声エリアに対応するスピーカに出力する第二目的音強調ステップと、
を有する会話サポート方法。
【請求項７】
請求項６の会話サポート方法であって、
前記音声振分制御ステップにおいて、前記集音拡声エリアは、
前記第一の搭乗者が発した音声を認識した結果を用いて、前記自動車に設置されたスイッチにより指定される、若しくは
複数の集音拡声エリアを表示しうる表示部を見た前記第一の搭乗者により指定される、
会話サポート方法。
【請求項８】
請求項１から請求項５の何れかの会話サポートシステムとしてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンとスピーカを用いて自動車内の会話を円滑に行う集音拡声技術に関する。
【背景技術】
【０００２】
インカーコミュニケーションや会話アシストと呼ばれる機能が自動車に搭載されつつある(非特許文献１参照)。これは前席に乗車している人の声を集音して後席で再生することで会話を行いやすくするものである。さらに後席の音声を集音して前席で再生するものもある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】"「インテリジェントマイク for car」の技術について"、［online］、2018年、日本電信電話株式会社、[平成30年5月24日]、インターネット<URL:http://www.ntt.co.jp/news2018/1802/pdf/180219c.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
インカーコミュニケーションにおいては、前列と後列の会話をアシストするシステムが主流であり、３列シート車において２列目の搭乗者の会話には効果を与えることができない（図１参照）。しかしながら、１列目と２列目であっても会話が聞き取りにくい状況は容易に発生し得る。例えば、特にカーオーディオなどが鳴っている場合が考えられる。そのため、座席の位置に限定されず、任意の座席で拡声機能を利用できるようにすることが課題である。【０００５】
また、インカーコミュニケーション機能は、常時動作させておく必要はなく、会話をしたいときだけしたい会話相手とできれば十分である、という性質のものである。そのため、任意の座席の搭乗者が会話をしたい、もしくはやめたいと思った時に動作を変更できるべきである。【０００６】
本発明は、座席や列の位置に限定されず、任意の座席の搭乗者が会話をしたい、もしくはやめたいと思ったときに動作を変更できる会話サポートシステム、その方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様によれば、会話サポートシステムは、自動車における搭乗者の会話をサポートする。自動車は少なくとも2以上の列に座席が配置されており、会話サポートシステムは、第一の座席に着席した第一の搭乗者の指定に基づき、所望の集音拡声エリアを指定する音声振分制御部と、指定された集音拡声エリアから発せられる音声を強調した信号を第一の座席に対応するスピーカに出力する第一目的音強調部と、第一の座席に対応するマイクロホンにより集音された、第一の座席から発せられる音声を強調した信号を集音拡声エリアに対応するスピーカに出力する第二目的音強調部と、を有する。
【発明の効果】
【０００８】
本発明によれば、座席や列の位置に限定されず、任意の座席の搭乗者が会話をしたい、もしくはやめたいと思ったときに動作を変更できるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】インカーコミュニケーションを説明するための図。
【図２】第一実施形態に係る会話サポートシステムの機能ブロック図。
【図３】第一実施形態に係る会話サポートシステムの処理フローの例を示す図。
【図４】第一実施形態に係る会話サポートシステムが搭載される車両の構造を説明するための図。
【図５】第一実施形態に係る会話サポートシステムが搭載される車両の構造を説明するための図。
【図６】第一実施形態に係る目的音強調部の機能ブロック図。
【図７】第一実施形態に係る音声振分部の機能ブロック図。
【図８】第一実施形態に係る音声振分制御部の機能ブロック図。
【図９】第一実施形態に係る表示部の表示例を示す図。
【図１０】第一実施形態に係る表示部の表示例を示す図。
【図１１】第一実施形態に係るエコーキャンセラの機能ブロック図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１１】
＜第一実施形態のポイント＞
３列シートの拡声スピーカの音響パスに応じて、各拡声スピーカに対応するフィルタ係数を用意し、インカーコミュニケーションの動作と連動させて動作させることにより、安定的な拡声会話を実現する。なお、ここでいう音響パスとは、インカ―コミュニケーションのアシストを行いたい２つの列（例えば前列と後列）それぞれに対応するマイクロホンと拡声スピーカの収音と放音の関係から定まる音の経路のことである。
【００１２】
＜第一実施形態＞
図２は第一実施形態に係る会話サポートシステムの機能ブロック図を、図３はその処理フローを示す。
【００１３】
会話サポートシステムは、６つの目的音強調部１１０−Ｘと、音声振分部１２０と、音声振分制御部１３０と、３つの加算部１４０−ｐとを含む。ただし、X=A,B,C,D,E,F、p=1,2,3とする。なお、A,B,C,D,E,Fはそれぞれ各座席を示すインデックスであり、それぞれ自動車の進行方向に足して1列目右側、1列目左側、2列目右側、2列目左側、3列目右側、3列目左側の座席のインデックスである。pは座席の列を示すインデックスである。
【００１４】
本実施形態では、会話サポートシステムが搭載される車両は、図４、図５のような構造とし、３列シートを備える。さらに、本実施形態の車両は、各列の左右にそれぞれ１つの座席を持ち、主に１列目の話者の音声を集音するマイク９１Ｆと、主に２列目の話者の音声を集音するマイク９１Ｓと、主に３列目の話者の音声を集音するマイク９１Ｒとを備える。マイク９１Ｆ、９１Ｓ、９１Ｒは、それぞれM個のマイクロホンで構成される。なお、Ｆ，Ｓ，Ｒはそれぞれ車両の1列目、2列目、3列目を示すインデックスである。さらに、本実施形態の車両は、各座席の左右に１つずつスピーカを備える。１列目の話者を対象として放音するスピーカを９２Ｆとし、２列目の話者を対象として放音するスピーカを９２Ｓとし、３列目の話者を対象として放音するスピーカを９２Ｒとする。
【００１５】
会話サポートシステムは、３つのマイク９１Ｆ，９１Ｓ，マイク９１Ｒの集音信号y1=[y1,1,y1,2,…,y1,M],y2=[y2,1,y2,2,…,y2,M],y3=[y3,1,y3,2,…,y3,M]と、車載用音響装置（例えば、カーオーディオ等）のスピーカ９２Ｍ１，９２Ｍ２で再生される再生信号(例えば、オーディオ信号)ml,mrとを入力とし、指定されたエリア(以下、集音拡声エリアともいう)から発せられる音声を強調し、ある座席に対応するスピーカに出力し、かつ、その座席に対応するマイクロホンにより集音された音からその座席から発せられる音声を強調し、集音拡声エリアに対応するスピーカに出力し、自動車における搭乗者の会話をサポートする。なお、マイク９１Ｆ、９１Ｓ、９１Ｒを構成するマイクロホンは、集音拡声エリア毎に少なくとも１個あればよい。
【００１６】
会話サポートシステムは、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。会話サポートシステムは、例えば、中央演算処理装置の制御のもとで各処理を実行する。会話サポートシステムに入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。会話サポートシステムの各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。会話サポートシステムが備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも会話サポートシステムがその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、会話サポートシステムの外部に備える構成としてもよい。
【００１７】
以下、各部について説明する。
【００１８】
＜目的音強調部１１０−Ｘ＞
p列目の目的音強調部１１０−Ｘは、M個の集音信号ypm（p列目のm番目のマイクから得られる信号）と、参照信号sq,srと、車載用音響装置のスピーカ９２Ｍ１，９２Ｍ２で再生される再生信号ml,mrと、音声振分制御値cとを入力とし、M個の集音信号ypmから目的音(座席Xから発せられる音)を強調した強調信号zXを求め、出力する。ただし、前述の通りX=A,B,C,D,E,Fであり、A,Bは1列目であり、C,Dは2列目であり、E,Fは3列目である。p=1,2,3、q=1,2,3、r=1,2,3であり、q≠p、r≠p、q≠rである。参照信号s1,s2,s3は、それぞれ１，２，３列目の話者の音声を強調した信号（各列の話者の強調信号の和）である。
【００１９】
図６は目的音強調部１１０−Ｘの機能ブロック図を示す。
【００２０】
目的音強調部１１０−Ｘは、指向性集音部１１０−Ｘ−１と、エコーキャンセラ部１１０−Ｘ−２と、ハウリング抑圧部１１０−Ｘ−３とを含む。以下、各部について説明する。
【００２１】
(指向性集音部１１０−Ｘ−１)
指向性集音部１１０−Ｘ−１は、M個の集音信号ypmを入力とし、M個の集音信号ypmから目的音（座席Xから発せられる音）を強調した強調信号y'xを求め（Ｓ１１０−Ｘ−１）、出力する。
【００２２】
なお、どのような方法により強調信号を求めてもよい。例えば、特開2004-078021号公報の強調技術を用いることができる。
【００２３】
(エコーキャンセラ部１１０−Ｘ−２)
エコーキャンセラ部１１０−Ｘ−２は、強調信号y'xと、参照信号sq,srと、車載用音響装置のスピーカ９２Ｍ１，９２Ｍ２で再生される再生信号ml,mrと、音声振分制御値cとを入力とし、強調信号y'xに含まれるq,r列目のスピーカ（９２Ｆ，９２Ｓ，９２Ｒの何れか）でそれぞれ再生される音成分やスピーカ９２Ｍ１，９２Ｍ２で再生される音成分を消去し、エコー成分を消去した強調信号y"xを求め（Ｓ１１０−Ｘ−２）、出力する。エコーキャンセラ部１１０−Ｘ−２の処理内容については、参照信号s1,s2,s3をどのように取得するのかを説明した後に詳細に説明する。
【００２４】
(ハウリング抑圧部１１０−Ｘ−３)
ハウリング抑圧部１１０−Ｘ−３は、強調信号y"xを入力とし、ハウリング成分を抑圧し（Ｓ１１０−Ｘ−３）、ハウリング成分抑圧後の信号を強調信号zxとして出力する。
【００２５】
なお、どのような方法によりハウリング成分を抑圧してもよい。例えば、特開2007-221219号公報のハウリング抑圧技術を用いることができる。
【００２６】
＜音声振分部１２０＞
音声振分部１２０は、6つの強調信号zxと、音声振分制御値c=(c12,c23,c31)を入力とする。c12,c23,c31はそれぞれ0か1をとり、例えば、c12=1であれば１列目と２列目が通話中であることを、c12=0であれば１列目と２列目が通話中ではないことを意味する。
【００２７】
音声振分部１２０は、音声振分制御値cに基づき、強調信号zxを合成して(Ｓ１２０)、再生信号z12,z13,z21,z23,z31,z32を求め、再生信号zpq,zprを加算部１４０−ｐに出力する。再生信号zpq,zprはそれぞれq,r列目の搭乗者からp列目の搭乗者への発話に対応する信号である。
【００２８】
また、音声振分部１２０は、p列目の話者の音声を強調した強調信号zxを合成して、参照信号spを求め、p列目の座席に対応する目的音強調部１１０−Ｘ以外の目的音強調部に参照信号spを出力する。例えば、1列目に対応する目的音強調部には参照信号s2と参照信号s3が入力される。
【００２９】
図７は、音声振分部１２０の機能ブロック図を示す。
【００３０】
音声振分部１２０は、３つの加算部１２１−ｐと３つの音声切替部１２２−ｐとを含む。
【００３１】
音声切替部１２２−ｐは、cqrの値が1であれば双方向から来る信号zqr,zrqを通過させ、0であれば通過させない。
【００３２】
加算部１２１−ｐは、p列目の座席に対応する強調信号zxを加算し、再生信号zqp,zrpを求め、出力する。
【００３３】
よって、再生信号は、
【００３４】
【数１】
2020027061.tif 000003
【００３５】
と書ける。また、音声振分部１２０は、音声振分制御部１３０へ強調信号zxを出力する。
【００３６】
さらに、加算部１２１−ｐは、p列目の座席に対応する強調信号zxを加算し、参照信号spを求め、p列目の座席に対応する目的音強調部１１０−Ｘ以外の目的音強調部に参照信号spを出力する。よって、参照信号は、
【００３７】
【数２】
2020027061.tif 000004
【００３８】
と書ける。なお、cpqの値が1であれば参照信号spと再生信号zqpとが一致する。つまり、再生信号はp列目の座席が通話中の場合のみp列目の座席に対応する強調信号zxを加算した信号となるが、参照信号は通話中か否かに関わらずp列目の座席に対応する強調信号zxを加算した信号となる。これは、出力対象ではない列の目的音強調部についても他の列のスピーカから出力された音について適切な処理を行うため、参照信号を入力する必要があるためである。例えば、2列目と3列目でパスを設定している場合（通話中の場合）でも、1列目(出力対象ではない列)のマイクロホンで集音された音には2列目のスピーカから放音された3列目の音や3列目のスピーカから放音された2列目の音が含まれるため、1列目に対応する目的音強調部１１０−Ａ，１１０−Ｂのエコーキャンセラ部１１０−Ａ−２，１１０−Ｂ−２では、これらの音を参照信号（入力）とし、1列目のマイクロホンで集音された音から消去する必要がある。
【００３９】
＜音声振分制御部１３０＞
音声振分制御部１３０は、ある座席に着席した搭乗者の指定に基づき、所望の集音拡声エリアを指定し（Ｓ１３０）、所望の集音拡声エリアとある座席に着席した搭乗者とが通話中か否かを示す音声振分制御値cを求め、出力する。通話中であれば所望の集音拡声エリアとある座席に着席した搭乗者との間でパスを繋ぎ、通話中でなければパスを繋がないようにするため、音声振分制御値cは、音声の振分を制御しているとも言える。
【００４０】
この例では、ある座席に着席した搭乗者が発した音声を認識した結果を用いて、自動車に設置されたスイッチにより所望の集音拡声エリアを指定する。この場合、音声振分制御部１３０は、6つの強調音声zxを入力とし、6つの強調音声zxを用いて搭乗者の指定内容を取得し、所望の集音拡声エリアを指定し、音声振分制御値cを求める。
【００４１】
図８は、音声振分制御部１３０の機能ブロック図である。
【００４２】
音声振分制御部１３０は、6つの音声認識部１３１−Ｘと通話判定部１３２とを含む。
【００４３】
音声認識部１３１−Ｘは、強調音声zxを入力とし、強調音声zxを音声認識し、特定の音声が話されたと認識した場合に対応する判定値fxを出力する。例えば、判定値fxは、0,1,2,3のいずれかの値をとる。判定値fxのxが発話者(搭乗者)を示し、判定値fx自体が通話先を示す。例えば、集音拡声エリアに相当する通話先の列と、会話を始めることを示す単語が１発話に対応する音声認識結果に含まれる場合、発話者が通話先の列との会話を始めることを示す判定値fxを設定する。例えば、音声振分制御部１３０は、強調音声zxの音声認識の結果が「１列目と会話」の場合はfx=1、「２列目と会話」の場合はfx=2、「３列目と会話」の場合はfx=3、それ以外の認識結果や無音時はfx=0とし、出力する。
【００４４】
通話判定部１３２は、6つの判定値fxを入力とし、6個の判定値fxを元に、
【００４５】
【数３】
2020027061.tif 000005
【００４６】
として音声振分制御値c=(c12,c23,c31)を求め、出力する。
【００４７】
例えば、全てのfxについて初期値を0としておき、一度、0以外の値となった後は、会話が終わるまで、集音拡声処理を行ってもよい。例えば、会話を終えることを示す単語が１発話に対応する音声認識結果に含まれる場合、発話者が通話先の列との会話を終えることを示す判定値fxを設定する。例えば、強調音声zxの音声認識の結果が「会話終了」の場合、fx=0とし、出力する。
【００４８】
なお、より簡単な方法として、音声認識を使用せず、各座席の物理的なスイッチなどで音声振分制御値cを決定する方法もとりうる。この例では、複数の集音拡声エリアを表示しうる表示部を見た搭乗者により指定される集音拡声エリアを所望の集音拡声エリアとして指定する（通話の開始）。また、集音拡声エリアとして指定されている集音拡声エリアは、表示部を見た搭乗者により指定を外される（通話の終了）。この場合、音声振分制御部１３０は、スイッチなどで入力された値を元に音声振分制御値cを求め、出力する。例えば、図９のようなスイッチ（上述の表示部に相当）や図１０のような図を表示するタッチパネル（上述の表示部に相当）を各座席に設ける。なお、図１０は、列毎に通話の開始・終了を制御するように記載されているものの、席毎に制御してもよい。図８中、破線で示す入力部１３３は、スイッチやタッチパネルに対応する。
【００４９】
ある座席の搭乗者が他の座席を示す部分を（スイッチの場合）押下、または、（タッチパネルの場合）タッチすると、通話判定部１３２は、搭乗者の座席と、押下等された座席とを示す信号を入力として得る。この入力された信号を、その搭乗者が会話先の列との会話を始めることを示す判定値fxとして用いる。例えば、1列目の座席A,Bを示す部分を押下等した場合はfx=1、2列目の座席C,Dを示す部分を押下等した場合はfx=2、3列目の座席E,Fを示す部分を押下等した場合はfx=3、何れの座席を示す部分も押下等されていない場合や集音拡声処理中に集音拡声処理対象の座席を示す部分を再度押下等した場合はfx=0を入力として得る。なお、fxのxが押下等されたスイッチ等が設けられた座席を示す。6つの判定値fxから音声振分制御値c=(c12,c23,c31)を求める方法は音声認識を利用した場合と同様である。
【００５０】
＜加算部１４０−ｐ＞
加算部１４０−ｐは、再生信号zpq,zprを入力とし、二つの再生信号を加算して（Ｓ１４０）、和を再生信号kpとして出力する。再生信号k1,k2,k3をそれぞれスピーカ９２Ｆ，９２Ｓ，９２Ｒに出力する。
【００５１】
このような構成により、加算部１４０−ｐは、指定された集音拡声エリアから発せられる音声を強調した信号を指定した搭乗者の座席に対応するスピーカに出力し、加算部１４０−ｐ’は、指定した搭乗者の座席に対応するマイクロホンにより集音された、指定した搭乗者の座席から発せられる音声を強調した信号を集音拡声エリアに対応するスピーカに出力する。なお、p'は、指定された集音拡声エリアを示すインデックスであり、p≠p'である。
【００５２】
また、音声振分制御値cによる制御により、指定した搭乗者の座席以外に対応するマイクロホンにより集音された音を所望の集音拡声エリアに対応するスピーカに出力しないように制御することができる。
【００５３】
(エコーキャンセラ部１１０−Ｘ−２の詳細)
p列目のエコーキャンセラ部１１０−Ｘ−２の詳細について説明する。
【００５４】
図１１はエコーキャンセラ部１１０−Ｘ−２の機能ブロック図である。エコーキャンセラ部１１０−Ｘ−２は、適応フィルタ部１１０−Ｘ−２−１、１１０−Ｘ−２−２、１１０−Ｘ−２−３、１１０−Ｘ−２−４、加算部１１０−Ｘ−２−５、１１０−Ｘ−２−６、減算部１１０−Ｘ−２−７、１１０−Ｘ−２−８、フィルタ保持部１１０−Ｘ−２−９を含む。
【００５５】
まず、エコーキャンセラ部１１０−Ｘ−２の入力信号である強調信号y'xについて説明する。受信した音声振分制御値cを用いて、p列目のエコーキャンセラ部１１０−Ｘ−２に入力される強調信号y'xを表すと、以下のようにあらわされる。ただし、各信号は、それぞれの信号のある周波数成分の複素数表示とする。
【００５６】
【数４】
2020027061.tif 000006
【００５７】
ここで、wxmはx番目の座席の音声を強調するために、集音信号ypmに乗算するためのフィルタ係数である。フィルタ係数の決定方法としては、例えば遅延和ビームフォーマなどの決定方法がある。また、hppm,hqpm,hrpmは、それぞれp列目、q列目、r列目のスピーカから、p列目のm番目のマイクまでの空間伝達特性を表す。h'qp,h'rp,h'ppはそれぞれ前式のフィルタ係数と空間伝達特性の積和
【００５８】
【数５】
2020027061.tif 000007
【００５９】
を別の文字として置き換えたものである。
【００６０】
なお、spに係わる項に関しては集音すべき音声であり、エコーキャンセラを動作させることで集音したい音声まで消去してしまうことを避ける目的でエコーキャンセラ部１１０−Ｘ−２での消去対象から外れ、sq,srに係わる項を消去することを考える。これらの信号の伝達関数にあたる項は、音声振分制御値cの値に応じて伝達関数が（0の場合は除外して）３通りに変化しうることが式から読み取れる。そこでフィルタ保持部１１０−Ｘ−２−９では、たとえばq列目に対応する適応フィルタ部１１０−Ｘ−２−１のフィルタ係数に関し、参照信号sqを用いて更新するフィルタを
【００６１】
【数６】
2020027061.tif 000008
【００６２】
のように3通りのバッファを用意し、音声振分制御値cの値に応じてフィルタをロード・ストアを実施する。例えばcpq=1,cqr=0からcpq=1,cqr=1に変わった時、元時刻のフィルタ係数h^qをh^q,2としてフィルタ保持部１１０−Ｘ−９に保存し、代わりにフィルタ係数に用いる値h^qをフィルタ保持部１１０−Ｘ−９にあるh^q,3に置き換えて擬似エコー信号生成、更新を再開する。このとき、q列目の適応フィルタは、p列目の座席の搭乗者に対応するスピーカとp列目の座席の搭乗者の音声を集音するM個のマイクロホンとの間の伝達関数(h'ppに対応する伝達特性)と、r列目の座席の搭乗者に対応するスピーカとM個のマイクロホンとの間の伝達関数(h'rpに対応する伝達特性)と、その両方が加算された伝達関数(h'pp+h'rpに対応する伝達特性)と、に基づき更新される。以下、各部の処理を説明する。
【００６３】
p列目のフィルタ保持部１１０−Ｘ−９は、適応フィルタ部１１０−Ｘ−２−１用のフィルタh^q,1,h^q,2,h^q,3と、適応フィルタ部１１０−Ｘ−２−２用のフィルタh^r,1,h^r,2,h^r,3とを保持する。p列目のフィルタ保持部１１０−Ｘ−９は、音声振分制御値c=(cpq,cqr,crp)を受け取ると、保持している音声振分制御値cに対応するフィルタh^q,h^rを出力し、その時点まで使われていたフィルタh^q,h^rを受け取り保持する。対応関係は以下の通りである。
【００６４】
【数７】
2020027061.tif 000009
【００６５】
なお、音声振分制御値cを受け取るタイミングは、適宜設定してよい。例えば、音声振分制御値cが変更される度に受け取ってもよい。
【００６６】
要するに、p列目のフィルタ保持部１１０−Ｘ−９は、q列目の座席に座る搭乗者がp列の座席に座る搭乗者のみと会話する場合と、q列目の座席に座る搭乗者がr列の座席に座る搭乗者のみと会話する場合と、q列目の座席に座る搭乗者がp列の座席に座る搭乗者とr列の座席に座る搭乗者の両方と会話する場合とでエコーをキャンセルするために用いる適応フィルタを異ならせる。その意図としては、例えば車内は同一の音場であるとも考えられるが、実際には座席や列に応じて集音される音は異なる。例えば１列目の搭乗者の音を集音しやすいように設置したマイクロホンであっても、音が放音されるスピーカの位置（つまり音響パス）の違いにより集音される音の特性は異なる。そのため、同一の信号であっても「どのスピーカから再生されたか」により、同一のエコーキャンセラではエコーが残留する場合があるため、音響パスに応じたフィルタの切り替えが必要となる。
【００６７】
適応フィルタ部１１０−Ｘ−２−１、１１０−Ｘ−２−２は、それぞれフィルタh^q,h^rを受け取り、フィルタリングに用いるものとして設定しておく。
【００６８】
適応フィルタ部１１０−Ｘ−２−１、１１０−Ｘ−２−２は、それぞれ参照信号sq,srを入力とし、それぞれ適応フィルタh^q,h^rを用いて参照信号sq,srをフィルタリングし、擬似エコーYq,1,Yr,1を生成し、出力する。
【００６９】
加算部１１０−Ｘ−２−５は、擬似エコーYq,1,Yr,1を入力とし、これらの値の和を擬似エコーY1とし、出力する。
【００７０】
減算部１１０−Ｘ−２−７は、強調信号y'xと擬似エコーY1とを入力とし、強調信号y'xから擬似エコーY1を減算し、強調信号y'x,1を得、出力する。
【００７１】
適応フィルタ部１１０−Ｘ−２−３、１１０−Ｘ−２−４は、それぞれ再生信号ml,mrを入力とし、それぞれ適応フィルタを用いて再生信号ml,mrをフィルタリングし、擬似エコーYl,2,Yr,2を生成し、出力する。
【００７２】
加算部１１０−Ｘ−２−５は、擬似エコーYl,2,Yr,2を入力とし、これらの値の和を擬似エコーY2とし、出力する。
【００７３】
減算部１１０−Ｘ−２−７は、強調信号y'x,1と擬似エコーY2とを入力とし、強調信号y'x,1から擬似エコーY2を減算し、強調信号y"xを得、出力する。
【００７４】
さらに、適応フィルタ部１１０−Ｘ−２−１、１１０−Ｘ−２−２、１１０−Ｘ−２−３、１１０−Ｘ−２−４は、エコー成分を消去した強調信号y"x(誤差信号に相当)を入力とし、それぞれ参照信号sq,sr、再生信号ml,mrと強調信号y"xとを用いて適応フィルタを更新する。なお、適応フィルタ部１１０−Ｘ−２−１、１１０−Ｘ−２−２において更新する適応フィルタはフィルタ保持部１１０−Ｘ−２−９に保持されているものではなく、強調信号y"xを得る際に利用した適応フィルタである。
【００７５】
適応フィルタの更新方法としては様々な方法がある。例えば、参考文献１記載のNLMSアルゴリズム等を用いてフィルタ更新を行うことができる。
（参考文献１）大賀寿郎、山崎芳男、金田豊、「音響システムとディジタル処理」、電子情報通信学会編、コロナ社、1995年、p140,141
【００７６】
＜効果＞
以上の構成により、座席や列の位置に限定されず、任意の座席の搭乗者が会話をしたい、もしくはやめたいと思ったときに動作を変更でき、適切にエコー消去等の処理を実行することができる。
【００７７】
＜変形例＞
本実施形態では、車載用音響装置のスピーカで再生される再生信号を2チャネルの信号としたが、車載用音響装置のスピーカに合わせて1チャネルまたは３チャネル以上の信号としてもよい。
【００７８】
本実施形態では、指向性集音部１１０−Ｘ−１を備えるが、例えば、集音対象の座席に対して指向性を有する指向性マイクを用いて、座席から発せられる目的音を強調した強調信号を得られるのであれば、指向性集音部１１０−Ｘ−１を用いずに指向性マイクの出力値をエコーキャンセラ部１１０−Ｘ−２に出力してもよい。
【００７９】
本実施形態では、3列シートの自動車を対象としたが、3列シートに限らず、2列シート、4列シート以上を備える車両において本実施形態を適用してもよい。要は、車両内の共通の音場の中で、走行音やカーオーディオの再生音、その他の車外の騒音等で一般的に会話する際の音量では、互いの声が聞こえづらい位置関係にある場合に適用すればよい。
【００８０】
また、本実施形態では自動車内の座席の列間の制御について説明したが、自動車内の座席間において同様の制御を行ってもよい。この場合、所望の集音拡声エリアは、所望の列ではなく、所望の座席を意味する。
【００８１】
また、本実施形態では、所望の集音拡声エリアを車内のある列の座席としたが、車外のエリアであってもよい。例えば、車外の電話とハンズフリー通話する場合には、通話先のスピーカとマイクロホンによって規定されるエリアを所望の集音拡声エリアとしてもよい。また、通話相手が受話機に耳を当てて通話する場合には、その通話相手を集音拡声対象ともいう。
【００８２】
本実施形態では、音声振分制御部１３０内の6つの音声認識部１３１−Ｘで音声認識処理を行っているが、会話サポートシステムの外部に設けた音声認識部に強調音声zxを送信し、外部の音声認識部で音声認識処理を行い、会話サポートシステムが認識結果を受け取る構成としてもよい。この場合、6つの音声認識部１３１−Ｘでは、音声認識結果を用いて、判定値fxを求め、出力する。
【００８３】
本実施形態では、音声振分部１２０内の音声切替部１２２−ｐにおいて、cqrの値が1であれば双方向から来る信号zqr,zrqを通過させ、0であれば通過させないという制御を行っているが、音声切替部１２２−ｐを設けずに常に信号zqr,zrqを通過させ、目的音強調部１１０−Ｘにおいて参照信号として用い、加算部１４０−ｐの直前で音声振分制御値cに基づき、加算部１４０−ｐでの加算対象とするか否かを制御してもよい。
【００８４】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００８５】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００８６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００８８】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８９】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2020027061.tif 000010
【図２】
2020027061.tif 000011
【図３】
2020027061.tif 000012
【図４】
2020027061.tif 000013
【図５】
2020027061.tif 000014
【図６】
2020027061.tif 000015
【図７】
2020027061.tif 000016
【図８】
2020027061.tif 000017
【図９】
2020027061.tif 000018
【図１０】
2020027061.tif 000019
【図１１】
2020027061.tif 000020
【国際調査報告】
2020027061.tif 000021
2020027061.tif 000022
2020027061.tif 000023
2020027061.tif 000024