(57)【要約】【課題】  車両の搭乗者が発話中であるか否かを判定する際の判定精度を向上させる。【解決手段】  車両に搭載される信号処理システムであって、前記車両の振動を検出する振動検出部と、前記車両の搭乗者の音声を検出する音声検出部と、前記振動検出部が前記振動を検出することで出力した振動信号から、該振動を前記音声検出部が騒音として検出した場合に出力する信号を推定し、推定信号として出力する推定部と、前記音声検出部が前記音声を検出することで出力する音声信号と、前記推定部が出力する推定信号との相関値を算出することで、前記搭乗者が発話中であるか否かを判定する判定部とを有する。【選択図】図５
2020046490.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される信号処理システムであって、
前記車両の振動を検出する振動検出部と、
前記車両の搭乗者の音声を検出する音声検出部と、
前記振動検出部が前記振動を検出することで出力する振動信号から、該振動を前記音声検出部が騒音として検出した場合に出力する信号を推定し、推定信号として出力する推定部と、
前記音声検出部が前記音声を検出することで出力する音声信号と、前記推定部が出力する推定信号との相関値を算出することで、前記搭乗者が発話中であるか否かを判定する判定部と
を有することを特徴とする信号処理システム。
【請求項２】
前記判定部は、算出した相関値が所定の閾値以上である場合、前記搭乗者が発話中でないと判定し、算出した相関値が所定の閾値未満である場合、前記搭乗者が発話中であると判定することを特徴とする請求項１に記載の信号処理システム。
【請求項３】
前記車両の搭乗者が発話していないタイミングで、前記振動検出部が、前記車両の走行中の振動を検出することで出力した振動信号と、前記音声検出部が、前記車両の走行中の振動を、騒音として検出することで出力した音声信号とに基づいて、該振動信号と該音声信号との関係を示す伝達関数を算出する算出部を更に有することを特徴とする請求項１または２に記載の信号処理システム。
【請求項４】
前記推定部は、前記伝達関数を用いて、前記振動信号から前記推定信号を生成して出力することを特徴とする請求項３に記載の信号処理システム。
【請求項５】
車両の振動を検出することで出力される振動信号を取得する工程と、
前記車両の搭乗者の音声を検出することで出力される音声信号を取得する工程と、
前記取得された振動信号から、前記振動を騒音として検出した場合に出力する信号を推定し、推定信号として出力する工程と
前記取得される音声信号と、前記出力される推定信号との相関値を算出することで、前記搭乗者が発話中であるか否かを判定する工程と
を有することを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理システム及び信号処理方法に関する。
【背景技術】
【０００２】
従来より、車両に搭載されるハンズフリー通話システム等では、検出した音声信号から、走行中の騒音に起因する騒音成分を低減させ、搭乗者が発話した音声を通話相手が聞き取りやすくする信号処理（いわゆるノイズリダクション処理）が行われている。
【０００３】
例えば、下記特許文献１には、騒音を検出する参照マイクロフォンの信号と、搭乗者が発話した音声を検出するマイクロフォンの信号との相関から、搭乗者が発話中であるか否かを判定する構成が開示されている。また、同文献には、発話中であると判定した場合に、所定の処理内容により騒音成分を低減させる構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記構成の場合、騒音の検出に参照マイクロフォンが用いられるため、検出された信号に、搭乗者が発話した音声を示す音声成分が含まれる可能性がある。このため、搭乗者が発話中であるか否かの判定において、誤判定が生じる可能性がある。
【０００６】
本発明は上記課題に鑑みてなされたものであり、車両の搭乗者が発話中であるか否かを判定する際の判定精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
一態様によれば、信号処理システムは以下のような構成を備える。即ち、
車両に搭載される信号処理システムであって、
前記車両の振動を検出する振動検出部と、
前記車両の搭乗者の音声を検出する音声検出部と、
前記振動検出部が前記振動を検出することで出力した振動信号から、該振動を前記音声検出部が騒音として検出した場合に出力する信号を推定し、推定信号として出力する推定部と、
前記音声検出部が前記音声を検出することで出力する音声信号と、前記推定部が出力する推定信号との相関値を算出することで、前記搭乗者が発話中であるか否かを判定する判定部とを有する。
【発明の効果】
【０００８】
車両の搭乗者が発話中であるか否かを判定する際の判定精度を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】信号処理システムの各装置の配置例を示す図である。
【図２】信号処理システムの検出装置の外観構成の一例を示す図である。
【図３】信号処理システムの信号処理装置のハードウェア構成の一例を示す図である。
【図４】信号処理システムの各装置の詳細構成の一例を示す図である。
【図５】信号処理装置における信号処理の具体例を示す図である。
【図６】発話判定部における発話判定処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１１】
［第１の実施形態］
＜信号処理システムの配置例＞
はじめに、第１の実施形態に係る信号処理システムを車両に搭載した場合の、各装置の配置例について説明する。図１は、信号処理システムの各装置の配置例を示す図である。図１に示すように、信号処理システム１００は、検出装置１１０と信号処理装置１２０とを有する。
【００１２】
検出装置１１０は、車両の搭乗者（例えば、運転者）が発話した音声を検出するマイクロフォン（音声検出部）と、車両の振動を検出する振動センサ（振動検出部）とを有する。検出装置１１０は、マイクロフォンで検出された音声信号と、振動センサで検出された振動信号とを、信号処理装置１２０に送信する。
【００１３】
信号処理装置１２０は、検出装置１１０より送信された音声信号と振動信号とに基づいて、車両の搭乗者が発話中であるか否かを判定し、判定結果を音声信号とともに出力する。
【００１４】
なお、信号処理システム１００は、例えば、不図示のハンズフリー通話システムの一部として適用される。ハンズフリー通話システムでは、例えば、音声信号に対して騒音成分を低減させる信号処理（ノイズリダクション処理）を行う際の処理内容を、信号処理装置１２０が出力した判定結果に基づいて切り替える。
【００１５】
また、ハンズフリー通話システムでは、音声信号に対して騒音成分を低減させる信号処理を行った後の処理後音声信号を、通話相手の端末に送信するとともに、通話相手の端末から受信した受信信号を、不図示のスピーカを介して、車両の搭乗者に音声出力する。
【００１６】
＜信号処理システムの検出装置の外観構成＞
次に、信号処理システム１００の検出装置１１０の外観構成について説明する。図２は、信号処理システムの検出装置の外観構成の一例を示す図であり、上段は正面図を、下段は側面図を表している。図２に示すように、検出装置１１０は、取り付け部材２０１と、基台２０２とを有し、基台２０２には、マイクロフォン２１０と振動センサ２２０とが配されている。
【００１７】
取り付け部材２０１は、検出装置１１０を車両に取り付けるための部材である。基台２０２は、マイクロフォン２１０と振動センサ２２０とを取り付け部材２０１に固定するための部材である。
【００１８】
マイクロフォン２１０は、空気を介して伝搬された（点線矢印２３１参照）、車両の搭乗者が発話した音声及び車両の走行中の振動に起因する騒音を検出し、音声信号を出力する。振動センサ２２０は、車両の走行中の振動を、取り付け部材２０１、基台２０２を介して検出し（点線矢印２３２参照）、振動信号を出力する。
【００１９】
＜信号処理システムの信号処理装置のハードウェア構成＞
次に、信号処理システム１００の信号処理装置１２０のハードウェア構成について説明する。図３は、信号処理装置のハードウェア構成の一例を示す図である。図３に示すように、信号処理装置１２０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。また、信号処理装置１２０は、Ａ／Ｄ変換装置３０４、３０５、Ｉ／Ｆ（Interface）装置３０６を有する。なお、信号処理装置１２０の各部は、バス３０７を介して相互に接続されている。
【００２０】
ＣＰＵ３０１は、ＲＯＭ３０２にインストールされている各種プログラム（例えば、後述する発話判定プログラム等）を実行するデバイスである。ＲＯＭ３０２は、不揮発性メモリであり、ＣＰＵ３０１によって実行される各種プログラムを格納する、主記憶デバイスとして機能する。ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、ＲＯＭ３０２にインストールされている各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００２１】
Ａ／Ｄ変換装置３０４は、マイクロフォン２１０より出力された音声信号を、Ａ／Ｄ変換することでディジタル化する。Ａ／Ｄ変換装置３０５は、振動センサ２２０より出力された振動信号を、Ａ／Ｄ変換することでディジタル化する。Ｉ／Ｆ装置３０６は、信号処理装置１２０と、不図示のハンズフリー通話システムとを接続するための接続デバイスである。
【００２２】
＜信号処理システムの各装置の詳細構成＞
次に、信号処理システム１００の各装置の詳細構成について説明する。図４は、信号処理システムの各装置の詳細構成の一例を示す図である。図４に示すように、信号処理システム１００の信号処理装置１２０は、発話判定プログラムが実行されることで、発話判定部４００として機能する。また、発話判定部４００は、伝達関数算出部４０１と、信号変換部４０２と、相関値算出部４０３とを有する。
【００２３】
伝達関数算出部４０１は算出部の一例であり、走行中の車両の搭乗者が発話していないタイミングで、マイクロフォン２１０により検出された音声信号であって、Ａ／Ｄ変換装置３０４によりディジタル化された音声信号を取得する。また、伝達関数算出部４０１は、走行中の車両の搭乗者が発話していないタイミングで、振動センサ２２０により検出された振動信号であって、Ａ／Ｄ変換装置３０５によりディジタル化された振動信号を取得する。また、伝達関数算出部４０１は、取得した振動信号を、取得した音声信号に変換するための伝達関数（取得した振動信号と、取得した音声信号との関係を示す伝達関数）を算出する。更に、伝達関数算出部４０１は、算出した伝達関数を、信号変換部４０２に通知する。
【００２４】
信号変換部４０２は推定部の一例である。信号変換部４０２は、振動センサ２２０により検出された振動信号であって、Ａ／Ｄ変換装置３０５によりディジタル化された振動信号を取得する。また、信号変換部４０２は、伝達関数算出部４０１より通知された伝達関数を用いて、取得した振動信号から推定信号を生成し、出力する。
【００２５】
推定信号とは、振動センサ２２０が検出した振動を、マイクロフォン２１０が騒音として検出した場合に出力するであろう信号を推定することで得られる信号である。具体的には、推定信号は、振動センサ２２０が振動を検出することで出力した振動信号と、上記伝達関数とに基づいて生成される。
【００２６】
振動センサ２２０が振動を検出することで出力する振動信号の音圧変動や周波数成分は、該振動に起因する騒音をマイクロフォン２１０が検出することで出力する騒音信号の音圧変動や周波数成分と酷似するが、波形が一致するほどの同一性はない。このため、信号変換部４０２では、上記伝達関数を用いることで、振動センサ２２０が検出した振動信号から推定信号を生成し、相関値算出部４０３に出力する。
【００２７】
相関値算出部４０３は判定部の一例である。相関値算出部４０３は、Ａ／Ｄ変換装置３０４により入力された音声信号と、信号変換部４０２より出力された推定信号との相関値を算出する。算出した相関値が所定の閾値より高い場合、相関値算出部４０３は、車両の搭乗者が発話していないと判定し、判定結果を出力する。音声成分が含まれない振動信号に基づいて生成された推定信号との相関値が閾値以上ということは、Ａ／Ｄ変換装置３０４により入力された音声信号に、音声成分が含まれていない蓋然性が高いからである。
【００２８】
一方、算出した相関値が所定の閾値未満の場合、相関値算出部４０３は、車両の搭乗者が発話していると判定し、判定結果を出力する。音声成分が含まれない振動信号に基づいて生成された推定信号との相関値が閾値未満ということは、Ａ／Ｄ変換装置３０４により入力された音声信号に、音声成分が含まれている蓋然性が高いからである。
【００２９】
＜信号処理装置における信号処理の具体例＞
図５は、信号処理装置における信号処理の具体例を示す図である。音声信号５１０は、マイクロフォン２１０により検出され、Ａ／Ｄ変換装置３０４によりディジタル化された音声信号の一例である。
【００３０】
また、振動信号５２０は、振動センサ２２０により検出され、Ａ／Ｄ変換装置３０５によりディジタル化された振動信号の一例である。更に、推定信号５２１は、伝達関数５０１を用いて、振動信号５２０から生成された推定信号の一例である。
【００３１】
上述したとおり、相関値算出部４０３では、音声信号５１０と推定信号５２１との相関値を算出する。図５において、相関値５３１は、音声信号５１０と推定信号５２１との相関値を算出した算出結果であって、相関が高い場合の算出結果の一例である。算出結果として相関値５３１を算出した場合、相関値算出部４０３では、車両の搭乗者が発話中でないと判定する。
【００３２】
また、図５において、相関値５３２は、音声信号５１０と推定信号５２１との相関値を算出した算出結果であって、相関が低い場合の算出結果の一例である。算出結果として相関値５３２を算出した場合、相関値算出部４０３では、車両の搭乗者が発話中であると判定する。
【００３３】
＜発話判定部における発話判定処理の流れ＞
次に、発話判定部４００における発話判定処理の流れについて説明する。なお、図６に示す発話判定処理が開始されるにあたり、予め、伝達関数算出部４０１は、伝達関数を算出し、信号変換部４０２に通知済みであるとする。
【００３４】
ステップＳ６０１において、信号変換部４０２は、振動信号を取得する。ステップＳ６０２において、信号変換部４０２は、予め通知された伝達関数を用いて、振動信号から推定信号を生成し、相関値算出部４０３に出力する。これにより、相関値算出部４０３では、推定信号を取得する。
【００３５】
ステップＳ６０３において、相関値算出部４０３は、音声信号を取得する。ステップＳ６０４において、相関値算出部４０３は、取得した推定信号と、取得した音声信号との相関値を算出する。ステップＳ６０５において、相関値算出部４０３は、算出した相関値が閾値Ｔｈ以上であるか否かを判定する。
【００３６】
ステップＳ６０５において、算出した相関値が閾値Ｔｈ未満であると判定した場合には（ステップＳ６０５においてＮｏの場合には）、ステップＳ６０６に進む。ステップＳ６０６において、相関値算出部４０３は、車両の搭乗者が発話中であると判定し、判定結果を出力する。
【００３７】
一方、ステップＳ６０５において、算出した相関値が閾値Ｔｈ以上であると判定した場合には（ステップＳ６０５においてＹｅｓの場合には）、ステップＳ６０７に進む。ステップＳ６０７において、相関値算出部４０３は、車両の搭乗者が発話中であると判定し、判定結果を出力する。
【００３８】
ステップＳ６０８において、相関値算出部４０３は、発話判定処理を終了するか否かを判定する。ステップＳ６０８において、発話判定処理を終了しないと判定した場合には（ステップＳ６０８においてＮｏの場合には）、ステップＳ６０１に戻る。一方、ステップＳ６０８において、発話判定処理を終了すると判定した場合には（ステップＳ６０８においてＹｅｓの場合には）、発話判定処理を終了する。
【００３９】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る信号処理システム１００は、
・車両の振動を検出する振動センサ２２０と、車両の搭乗者が発話した音声を検出するマイクロフォン２１０とを有する。
・振動センサ２２０が振動を検出することで出力する振動信号から、該振動をマイクロフォン２１０が騒音として検出した場合に出力するであろう信号を推定し、推定信号として出力する。
・推定信号と音声信号との相関値を算出することで、車両の搭乗者が発話中であるか否かを判定し、判定結果を出力する。
【００４０】
これにより、搭乗者の音声を示す音声成分が含まれない振動信号に基づいて生成された推定信号との相関から、搭乗者が発話中であるか否かを判定することが可能になる。この結果、従来のように、搭乗者の音声を示す音声成分が含まれる可能性のある参照マイクロフォンの信号との相関から、搭乗者が発話中であるか否かを判定する場合と比較して、搭乗者が発話中であるか否かの誤判定を低減させることができる。
【００４１】
つまり、本実施形態に係る信号処理システム１００によれば、車両の搭乗者が発話中であるか否かを判定する際の判定精度を向上させることができる。
【００４２】
［その他の実施形態］
上記第１の実施形態では、伝達関数算出部４０１が伝達関数を算出するタイミングについて特に言及しなかったが、伝達関数の算出タイミングは任意である。例えば、信号処理システム１００が車両に搭載される前に、予め伝達関数を算出しておき、信号変換部４０２に通知しておいてもよい。
【００４３】
あるいは、信号処理システム１００が車両に搭載された後であって、走行中の車両の搭乗者が発話していない任意のタイミングで、振動信号と音声信号とを取得し、取得した振動信号と音声信号とに基づいて伝達関数を算出するようにしてもよい。
【００４４】
あるいは、信号処理システム１００が起動するごとに、走行中の車両の搭乗者が発話していない所定のタイミングで、振動信号と音声信号とを取得し、取得した振動信号と音声信号とに基づいて伝達関数を算出するようにしてもよい。
【００４５】
また、上記第１の実施形態では、発話判定プログラムを実行することで、信号処理装置１２０を発話判定部４００として機能させるものとして説明した。しかしながら、発話判定部４００は、例えば、専用のハードウェアにより実現してもよい。
【００４６】
また、上記第１の実施形態において、検出装置１１０と信号処理装置１２０とは、別体として構成したが、検出装置１１０と信号処理装置１２０とは、一体として構成してもよい。また、上記第１の実施形態において、信号処理装置１２０は、１台の装置として示したが、信号処理装置１２０は、複数台の装置により構成されてもよい。
【００４７】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００４８】
１００                  ：信号処理システム
１１０                  ：検出装置
１２０                  ：信号処理装置
２１０                  ：マイクロフォン
２２０                  ：振動センサ
３０４、３０５          ：Ａ／Ｄ変換装置
４０１                  ：伝達関数算出部
４０２                  ：信号変換部
４０３                  ：相関値算出部
５１０                  ：音声信号
５２０                  ：振動信号
５２１                  ：推定信号
５３１、５３２          ：相関値
【図１】
2020046490.tif 000003
【図２】
2020046490.tif 000004
【図３】
2020046490.tif 000005
【図４】
2020046490.tif 000006
【図５】
2020046490.tif 000007
【図６】
2020046490.tif 000008