(57)【要約】【課題】周波数毎に無音声の有無が判断でき正確な無音声区間の検知ができるようにしてシステムの簡素化を実現する。【解決手段】複数系統のデジタル信号を周波数ビンで特定されるスペクトルが複数含まれるフレームで構成された周波数領域の信号に変換し、得られた複数系統の周波数領域の信号に基づいて音声が存在しない無音声区間を検知し、検知信号に基づき雑音を推定し、推定信号に基づいて複数系統の周波数領域の信号の内の１つの系統の周波数領域の信号に対して周波数ビンのスペクトル毎に雑音を抑圧し、雑音が抑圧された前記１つの系統の周波数領域の信号を時間領域の信号に変換する。無音声区間の検知を、複数系統の周波数領域の信号の同一番号のフレームの同一番号の周波数ビンのスペクトルの位相差に基づいて行う。【選択図】図２
2017054015.tif 000002
【特許請求の範囲】
【請求項１】
車内に取り付けられた複数のマイクと、該複数のマイクの出力信号を複数系統のデジタル信号に変換するＡＤ変換器と、該ＡＤ変換器で得られた複数系統のデジタル信号を取り込んで信号処理しその内の１つの系統のデジタル信号に対して雑音抑圧を処理する信号処理部とを備える目的音抽出装置であって、
前記信号処理部は、前記複数系統のデジタル信号を周波数ビンで特定されるスペクトルが複数含まれるフレームで構成された複数系統の周波数領域の信号に変換する周波数領域変換部と、該周波数領域変換部で得られた複数系統の周波数領域の信号に基づいて音声が存在しない無音声区間を検知する無音声区間検知部と、該無音声区間検知部で得られた検知信号に基づき雑音を推定する雑音推定部と、該雑音推定部で得られた推定信号に基づいて前記複数系統の周波数領域の信号の内の１つの系統の周波数領域の信号に対して周波数ビンのスペクトル毎に雑音を抑圧する雑音抑圧部と、該雑音抑圧部で雑音が抑圧された前記１つの系統の周波数領域の信号を時間領域の信号に変換する時間領域変換部とを備え、
前記無音声区間検知部は、前記複数系統の周波数領域の信号の同一番号のフレームの同一番号の周波数ビンのスペクトルの位相差に基づいて無音声区間を検知することを特徴とする目的音抽出装置。
【請求項２】
請求項１に記載の目的音抽出装置において、
前記無音声区間検知部は、前記位相差を前記複数系統の周波数領域の信号の連続する複数の同じ番号のフレームの同じ番号の周波数ビンのスペクトルについて求めて、前記位相差のデータ列を作成し、該データ列の位相差の確率密度の分散値に基づいて、前記周波数ビンのスペクトルの無音声区間を検知することを特徴とする目的音抽出装置。
【請求項３】
請求項２に記載の目的音抽出装置において、
前記無音声区間検知部は、前記分散値が所定値より大きい場合に前記データ列の各フレームの前記周波数ビンのスペクトルが無音声であると検知することを特徴とする目的音抽出装置。
【請求項４】
車内に取り付けられた複数のマイクの出力信号を複数系統のデジタル信号に変換し、得られた複数系統のデジタル信号を取り込んで信号処理し、その内の１つの系統のデジタル信号に対して雑音抑圧を処理する目的音抽出方法であって、
前記複数系統のデジタル信号を周波数ビンで特定されるスペクトルが複数含まれるフレームで構成された複数系統の周波数領域の信号に変換し、得られた複数系統の周波数領域の信号に基づいて音声が存在しない無音声区間を検知し、得られた検知信号に基づき雑音を推定し、得られた推定信号に基づいて前記複数系統の周波数領域の信号の内の１つの系統の周波数領域の信号に対して周波数ビンのスペクトル毎に雑音を抑圧し、雑音が抑圧された前記１つの系統の周波数領域の信号を時間領域の信号に変換し、
前記無音声区間の検知は、前記複数系統の周波数領域の信号の同一番号のフレームの同一番号の周波数ビンのスペクトルの位相差に基づいて行うことを特徴とする目的音抽出方法。
【請求項５】
請求項４に記載の目的音抽出方法において、
前記無音声区間の検知は、前記位相差を前記複数系統の周波数領域の信号の連続する複数の同じ番号のフレームの同じ番号の周波数ビンのスペクトルについて求めて位相差のデータ列を作成し、該データ列の位相差の確率密度の分散値に基づいて行うことを特徴とする目的音抽出方法。
【請求項６】
請求項５に記載の目的音抽出方法において、
前記分散値が所定値より大きい場合に前記データ列の各フレームの前記周波数ビンのスペクトルが無音声であると検知することを特徴とする目的音抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車内における音声認識システムにかかり、特に雑音の多い自動車内における特定の話者の音声を抽出して、音声認識率を向上させるマルチマイクによる車載向けの目的音抽出装置及び目的音抽出方法に関する。
【背景技術】
【０００２】
無音声区間で雑音の推定が必要な雑音抑圧方法において、無音声区間の検知には、信号の白色性を特徴量とするスペクトルエントロピーを利用する手段がある。雑音の振幅特性が白色雑音の振幅特性に似た特性である場合は有効であるが、似ていなければ検知できない。また周疲数毎に音声の有無を検知できないため、推定雑音の推定効率が悪く、雑音の特性が変化した場合の雑音推定の追従性が悪い。
【先行技術文献】
【特許文献】
【０００３】
【非特許文献１】“Robust Entropy-based Endpoint Detection for Speech Recognition in Noisy Environments.” J.Shen, J.Hung and L.Lee, ICSLP-98, 1998
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車載環境で存在する雑音（走行雑音、空調機雑音）は、それぞれ雑音の周波数特性（振幅特性、位相特性）が大きく異なるため、上記のような方法で音声の有無を検知する場合は、それぞれ異なる閾値が必要になり、雑音の種類を判別する手段が別途必要になる。そのためシステムが複雑化する問題があった。また、周波数毎に無音声の有無が判断できないため、周波数毎に雑音の推定ができず推定効率が悪い。
【０００５】
本発明の目的は、上記の問題を解消し、周波数毎に無音声の有無が判断でき正確な無音声区間の検知ができるようにしてシステムの簡素化を実現することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１にかかる発明は、車内に取り付けられた複数のマイクと、該複数のマイクの出力信号を複数系統のデジタル信号に変換するＡＤ変換器と、該ＡＤ変換器で得られた複数系統のデジタル信号を取り込んで信号処理しその内の１つの系統のデジタル信号に対して雑音抑圧を処理する信号処理部とを備える目的音抽出装置であって、前記信号処理部は、前記複数系統のデジタル信号を周波数ビンで特定されるスペクトルが複数含まれるフレームで構成された複数系統の周波数領域の信号に変換する周波数領域変換部と、該周波数領域変換部で得られた複数系統の周波数領域の信号に基づいて音声が存在しない無音声区間を検知する無音声区間検知部と、該無音声区間検知部で得られた検知信号に基づき雑音を推定する雑音推定部と、該雑音推定部で得られた推定信号に基づいて前記複数系統の周波数領域の信号の内の１つの系統の周波数領域の信号に対して周波数ビンのスペクトル毎に雑音を抑圧する雑音抑圧部と、該雑音抑圧部で雑音が抑圧された前記１つの系統の周波数領域の信号を時間領域の信号に変換する時間領域変換部とを備え、前記無音声区間検知部は、前記複数系統の周波数領域の信号の同一番号のフレームの同一番号の周波数ビンのスペクトルの位相差に基づいて無音声区間を検知することを特徴とする。
【０００７】
請求項２にかかる発明は、請求項１に記載の目的音抽出装置において、前記無音声区間検知部は、前記位相差を前記複数系統の周波数領域の信号の連続する複数の同じ番号のフレームの同じ番号の周波数ビンのスペクトルについて求めて、前記位相差のデータ列を作成し、該データ列の位相差の確率密度の分散値に基づいて、前記周波数ビンのスペクトルの無音声区間を検知することを特徴とする。
【０００８】
請求項３にかかる発明は、請求項２に記載の目的音抽出装置において、前記無音声区間検知部は、前記分散値が所定値より大きい場合に前記データ列の各フレームの前記周波数ビンのスペクトルが無音声であると検知することを特徴とする。
【０００９】
請求項４にかかる発明は、車内に取り付けられた複数のマイクの出力信号を複数系統のデジタル信号に変換し、得られた複数系統のデジタル信号を取り込んで信号処理し、その内の１つの系統のデジタル信号に対して雑音抑圧を処理する目的音抽出方法であって、前記複数系統のデジタル信号を周波数ビンで特定されるスペクトルが複数含まれるフレームで構成された複数系統の周波数領域の信号に変換し、得られた複数系統の周波数領域の信号に基づいて音声が存在しない無音声区間を検知し、得られた検知信号に基づき雑音を推定し、得られた推定信号に基づいて前記複数系統の周波数領域の信号の内の１つの系統の周波数領域の信号に対して周波数ビンのスペクトル毎に雑音を抑圧し、雑音が抑圧された前記１つの系統の周波数領域の信号を時間領域の信号に変換し、前記無音声区間の検知は、前記複数系統の周波数領域の信号の同一番号のフレームの同一番号の周波数ビンのスペクトルの位相差に基づいて行うことを特徴とする。
【００１０】
請求項５にかかる発明は、請求項４に記載の目的音抽出方法において、前記無音声区間の検知は、前記位相差を前記複数系統の周波数領域の信号の連続する複数の同じ番号のフレームの同じ番号の周波数ビンのスペクトルについて求めて位相差のデータ列を作成し、該データ列の位相差の確率密度の分散値に基づいて行うことを特徴とする。
【００１１】
請求項６にかかる発明は、請求項５に記載の目的音抽出方法において、前記分散値が所定値より大きい場合に前記データ列の各フレームの前記周波数ビンのスペクトルが無音声であると検知することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、周波数毎に無音声区間を検知するため、雑音の周波数特性（振幅特性、位相特性）が異なる場合においても、検知のための閾値を変更する必要性がない。雑音の種類を判別する手段が必要ないため、従来技術に比べて簡素なシステムで無音声区間を検知できる利点がある。また、無音声と判断された周波数は常に雑音の推定がなされ、雑音推定のリアルタイム性が良くなる。
【図面の簡単な説明】
【００１３】
【図１】本発明の１つの実施例の目的音抽出装置の構成を示すブロック図である。
【図２】図１の無音声区間検知部の内部構成を示すブロック図である。
【図３】音声区間での位相差の確率密度の特性図である。
【図４】無音声区間（ノイズ区間）での位相差の確率密度の特性図である。
【発明を実施するための形態】
【００１４】
図１に、本発明の１つの実施例のマルチマイクによる車載向け目的音抽出装置を示す。図１において、１０は自動車内に所定距離だけ離して設置された２本のマイク１１，１２を備えたマイク部、２０はマイク１１，１２の出力信号を増幅する増幅器２１，２２を備えた増幅部、３０は増幅器２１，２２の出力信号を２系統のアナログ信号から２系統のデジタル信号にそれぞれ変換するＡＤ変換器、４０は２系統のデジタル信号を取り込んでそのうちの１系統のデジタル信号に対して雑音抑圧の処理を行うＤＳＰで構成される信号処理部、５０はＳｉｒｉ等からなる音声認識エンジンである。
【００１５】
信号処理部４０は、ＡＤ変換器３０から入力する２系統のデジタルの時間領域の信号を２系統の周波数領域の信号に変換する周波数領域変換部４１、無音声区間検出部４２、雑音推定部４３、雑音抑圧部４４、周波数領域の信号を時間領域の信号に変換する時間領域変換部４５を機能的に備える。
【００１６】
図２に無音声区間検出部４２の処理部を示す。図２において、４２１はマイク１１、１２で検出した音声信号を２系統の周波数領域に変換した信号の周波数毎の位相差を検出する位相差検出部、４２２は位相差検出部４２１で得られた位相差のデータ列を作成する位相差データ列作成部、４２３は位相差データ列の位相差の分散値を計算する分散値計算部、４２４は得られた分散値を閾値と比較する比較部である。
【００１７】
さて、マイク１１，１２に入力された２系統の信号は、増幅器２１，２２において適切な音量に制御される。音量が制御された信号は、ＡＤ変換器３０において２系統のデジタル信号に変換される。デジタル信号に変換された２系統の信号は、信号処理部４０の入力において雑音抑圧処理が施される。雑音抑圧処理は、Wiener Filter法、Spectral Subtraction法を用いて実施できる。
【００１８】
信号処理部４０に入力された２系統のデジタル信号は、周波数領域変換部４１により時間領域の信号から周波数領域の信号に変換される。この周波数変換は、時間領域の信号列を窓関数によりフレーム毎に区切り、フレーム毎に例えば２５６点の高速フーリエ変換（ＦＦＴ）アルゴリズムを施すことにより実現する。式（１）に周波数変換された信号を示す。
【００１９】
2017054015.tif 000003
ここで、Ｘｍはｍ番目（本実施例ではｍ＝１，２）のマイク信号ｘｍが周波数領域に変換されたスペクトル信号、ｌはフレーム番号、ｋは周波数ビン番号（例えば、０≦ｋ＜２５６）、ｎは標本点、ｗは窓関数、Shiftは窓関数のシフト量、Ｎは窓関数の長さをそれぞれ示す。
【００２０】
周波数領域に変換されたスペクトル信号Ｘｍ(l,k)は、無音声期間検知部４２、雑音推定部４３、雑音抑圧部４４の入力信号になる。無音声区間検知部４２では、図２に示す構成で処理される。ここでは、周波数領域変換部４１で周波数領域に変換された２系統の信号から、同一タイミングで区切られた同一フレーム番号ｌの同一周波数ビン番号ｋのスペクトル信号毎に、全スペクトル信号に亘ってそれぞれ位相差を計算する。位相差は式（２）で計算される。
【００２１】
2017054015.tif 000004
ここで、pha_d（l,k)はｌ番目のフレームのｋ番目の周波数ビンの２系統のスペクトル信号の位相差、Real［ ］は実数部を取り出す演算子、Imag［ ]は虚数部を取り出す演算子をそれぞれ示す。Ｘｕ（l,k)はマイク１１の音声信号のｌ番目のフレームのｋ番目の周波数ビンのスペクトル信号、Ｘｖ（l,k)はマイク１２の音声信号のｌ番目のフレームのｋ番目の周波数ビンスペクトル信号である。
【００２２】
また、時速５０ｋｍで走行している状態の車載環境において、マイク１１，１２に入力された信号の音声区間と無音声区間（雑音区間）での、上記した位相差の確率密度関数の一例を図３、図４に示す。図３に示す音声区間の位相差の確率密度関数には偏りがあるが、図４に示す無音声区間（雑音区間）の位相差の確率密度関数には偏りがほぼ無いことが確認できる。
【００２３】
車載環境において、一般的に乗車者は座席に座っていることから、音声の位置情報は比較的安定している、しかし、雑音（走行ノイズ、空調機雑音）は拡散性ノイズとしてマイク１１，１２に入力されるため、位置情報は音声に比べて不安定となる。音声信号の位置情報は、マイク１１，１２に入力された音声信号の位相差に表れる。このため、音声の有無により図３、図４の様な特性差が発生している。
【００２４】
このことから、入力する音声信号の位相差の確率密度のばらつき度合いにより無音声区間を検知することができる。また、音声の到来方向により無音声区間を検知するため、雑音の周波数特性（振幅特性、位相特性）が雑音によって異なる場合でも、比較的安定して無音声区間を検知することができる。
【００２５】
本実施例では、位相差検出部４２１で計算した位相差をデータ列作成部４２２において過去の位相差データと組み合わせ、連続する任意の個数のフレームの特定の周波数ビンのスペクトルの位相差についてデータ列を作成する。データ列作成部４２２で得られる位相差のデータ列は式（３）となる。
【００２６】
2017054015.tif 000005
ここで、Phase_Data（ｋ）はｋ番目の周波数ビンのスペクトルの位相差のデータ列、PD_Nはデータ列の長さをそれぞれ示す。
【００２７】
作成されたデータ列は、図３、図４で説明した位相差の確率密度を示すものであり、分散値計算部４２３に入力して、そこで位相差のばらつき度合いを示す分散値の計算が行われ、比較部４２４で予め設定している閾値と比較され、これにより連続する複数フレームについてｋ番目の周波数ビンのスペクトルの無音声区間が検知される。
【００２８】
すなわち、分散値が閾値以下の場合は、位相差の分散値が小さく位相差が安定していることから、音声が存在している音声区間であることを意味する。また、分散値が閾値より大きい場合は、位相差の分散が大きく位相差が不安定であることから、無音声区間（雑音区間）であることを意味する。分散値計算部４２３と比較部４２４で処理して得られる音声区間の判別式は式（４）、無音声区間の判別式は式（５）となる。
【００２９】
2017054015.tif 000006
【００３０】
無音声区間検知部４２での周波数毎の無音声区間の検知結果は、雑音推定部４３の入力となり、Wiener Filter法や、Spectral Subtraction法に従って、雑音の推定が周波数毎に行われる。雑音推定部４３で得られた雑音の推定結果は、周波数毎に雑音抑圧部４４に反映され、Wiener Filter法や、Spectral Subtraction法に従って雑音が抑圧される。
【００３１】
ここで、一般的に音声認識エンジン５０に必要な信号は１系統でよいことから、１系統のみの周波数領域の信号について、雑音抑圧部４４で処理を施して出力する。雑音抑圧部４４で雑音抑圧された周波数領域の信号は、時間領域変換部４５により逆フーリエ変換（ＩＦＦＴ）で時間領域の信号に変換され、音声認識エンジン５０に送信される。以上により、雑音が抑制された音声信号について音声認識処理を行うことが可能となる。
【００３２】
なお、以上説明した実施例では、２個のマイク１１，１２を使用したが、３個以上のマイクを使用することもできる。この場合は、２個ずつで組を作り、各組について上記実施例と同様に処理してそれぞれ周波数毎に雑音を推定する。本実施例では、特定の周波数についての推定結果は比較部４２４で得られる１個の２値信号で示されるが、３個以上のマイクを使用するときは特定の周波数について推定結果が２個以上得られるので、例えばその推定結果の多数決により、あるいは各推定結果にウエイトをつけて、当該の周波数に対して雑音抑圧を行えばよい。
【符号の説明】
【００３３】
１０：スピーカ部、１１，１２：スピーカ
２０：増幅部、２１，２２：増幅器
３０：ＡＤ変換器
４０：信号処理部、４１：周波数領域変換部、４２：無音声区間検知部、４３：雑音推定部、４４：雑音抑圧部、４５：時間領域変換部
５０：音声認識エンジン
４２１：位相差検出部、４２２：データ列作成部、４２３：分散値計算部、４２４：比較部
【図１】
2017054015.tif 000007
【図２】
2017054015.tif 000008
【図３】
2017054015.tif 000009
【図４】
2017054015.tif 000010