(57)【要約】      （修正有）【課題】音声データＲＧが発生してからマイクにより音声が検出されるまでに遅延があっても騒音パワーを正確に測定でき音声明瞭度改善処理による効果を改善することができる「音声明瞭度改善方法および音声明瞭度改善システム」を提供する。【解決手段】音声データ発生部が出力する音声データ列に所定のゲインを乗算してスピーカに入力すると共に、マイクにより検出された音声信号を所定長単位で取り込み、音声データ列の出力開始時刻と出力終了時刻を監視し、かつ、マイクより取り込んだ所定長の音声データ列の取り込み開始時刻と終了時刻を監視し、各時刻を用いてマイクより取り込んだ所定長の音声データ列が騒音区間の音声データ列であるか否か判定し、騒音区間の音声データ列を用いて騒音パワーを検出し、騒音区間でないときに、音声データ列に基づいて音声パワーを検出し、騒音パワーと音声パワーを用いて音声データ列に乗算するゲインを決定する。【選択図】図１
2010102223.tif 000002
【特許請求の範囲】
【請求項１】
音声信号が出力されていない区間を騒音区間とし、該騒音区間における騒音パワーと非騒音区間における音声パワーを用いて音声信号のゲインを制御する音声明瞭度改善方法において、
マルチプロセスの１つのプロセスとして音声データ発生部が出力する音声データ列に前記ゲインを乗算してスピーカ側に出力すると共に、マイクにより検出された音声信号をディジタルデータに変換して所定長単位で取り込む第１ステップ、
前記音声データ列のスピーカ側への入力開始時刻と入力終了時刻を監視し、かつ、前記マイクより取り込んだ所定長の音声データ列の取り込み開始時刻と取り込み終了時刻を監視する第２ステップ、
前記各時刻を用いて前記マイクより取り込んだ所定長の音声データ列が騒音区間の音声データ列であるか否か判定する第３ステップ、
前記騒音区間の音声データ列を用いて騒音パワーを検出する第４ステップ、
を備えたことを特徴とする音声明瞭度改善方法。
【請求項２】
前記騒音区間でないときに、前記音声データ発生部が出力する音声データ列に基づいて音声パワーを検出する第５ステップ、
前記騒音パワーと前記音声パワーを用いて前記音声データ列に乗算するゲインを決定する第６ステップ、
を備えたことを特徴とする請求項１記載の音声明瞭度改善方法。
【請求項３】
前記音声データ発生部が出力する音声データ列を、サウンドドライバを介して前記スピーカに入力する場合、前記第２ステップは、
該音声データ列の前記サウンドドライバへの入力を開始した時刻を前記入力開始時刻として保存するステップ、
前記サウンドドライバによる前記スピーカへの最後の音声データ列の入力を終了した時刻を前記入力終了時刻として保存するステップ、
を備えたことを特徴とする請求項１または２記載の音声明瞭度改善方法。
【請求項４】
前記第２ステップは、
前記マイクより取り込んだ音声データ列を所定容量のバッファに保存すると共に取り込み開始時刻を保存するステップ、
該バッファが満杯になったとき保存した全音声データ列と前記取り込み開始時刻を出力するステップ、
を備えたことを特徴とする請求項１または２記載の音声明瞭度改善方法。
【請求項５】
前記第３ステップは、前記出力された取り込み開始時刻に前記バッファの容量に応じた一定時間を加算して前記取り込み終了時刻を求めるステップ、
を備えたことを特徴とする請求項４記載の音声明瞭度改善方法。
【請求項６】
前記第２ステップは、
前記マイクより取り込んだ音声データ列を所定容量のバッファに保存すると共に該バッファが満杯になったとき、該時刻を取り込み終了時刻として保存するステップ、
保存した全音声データと前記取り込み終了時刻を出力するステップ、
を備えたことを特徴とする請求項１または２記載の音声明瞭度改善方法。
【請求項７】
前記第３ステップは、前記出力された取り込み終了時刻から前記バッファの容量に応じた一定時間を差し引いて前記取り込み開始時刻を求めるステップ、
を備えたことを特徴とする請求項６記載の音声明瞭度改善方法。
【請求項８】
最新の前記入力開始時刻をRGtime-S、最新の前記入力終了時刻をRGtime-E、最新の前記取り込み開始時刻をMICtime-S、最新の前記取り込み終了時刻をMICtime-Eとするとき、
前記入力開始時刻RGtime-Sと前記取り込み終了時刻MICtime-Eを比較するステップ、
前記入力終了時刻RGtime-Eと前記取り込み開始時刻MICtime-Sを比較するステップ、
前記取り込み終了時刻MICtime-Eが前記最新の入力開始時刻RGtime-Sより古い時刻であるか、または前記最新の入力終了時刻RGtime-Eが前記最新の取り込み開始時刻MICtime-Sより古い時刻であれば前記所定長の音声データ列は前記騒音区間の音声データ列であると判定するステップ、
を有することを特徴とする請求項１または２記載の音声明瞭度改善方法。
【請求項９】
音声信号が出力されていない区間を騒音区間とし、該騒音区間における騒音パワーと非騒音区間における音声パワーを用いて音声信号のゲインを制御する音声明瞭度改善システムにおいて、
音声データ列を発生する音声データ発生部と、
入力された音声データをアナログデータに変換してスピーカへ出力する音声信号出力部と、
マイクにより検出された音声信号をディジタルデータに変換して所定長単位で取り込む音声データ取り込み部と、
前記音声データ列の前記音声信号出力部への入力開始時刻と入力終了時刻と、前記音声データ取り込み部における所定長の音声データ列の取り込み開始時刻と所定長の音声データ列の取り込み終了時刻を監視する時刻監視部と、
前記各時刻を用いて前記音声データ取り込み部により取り込んだ所定長の音声データ列が騒音区間の音声データ列であるか判定する騒音区間判定部と、
前記音声データ取り込み部により取り込まれた前記騒音区間の音声データ列を用いて騒音パワーを検出する騒音パワー検出部と、
前記騒音パワーを用いて、前記出力する音声データ列に乗算するゲインを算出する補正値算出部と、
前記算出したゲインを前記音声データ発生部が発生する音声データ列に乗算して前記音声信号出力部に入力する補正部と、
を備えたことを特徴とする音声明瞭度改善システム。
【請求項１０】
前記騒音区間でないときに、前記音声データ発生部が出力する音声データ列に基づいて音声パワーを検出する音声パワー検出部、を更に備え、
前記補正値算出部は前記騒音パワーと前記音声パワーを用いて前記音声データ列に乗算するゲインを決定すること、
を特徴とする請求項９記載の音声明瞭度改善システム。
【請求項１１】
前記時刻監視部は、前記補正部から出力された前記音声データ列を前記音声信号出力部へ入力開始した時刻を前記入力開始時刻として、最後の音声データ列を前記音声信号出力部へ入力終了した時刻を前記入力終了時刻として、保存すること、
を特徴とする請求項９または１０記載の音声明瞭度改善システム。
【請求項１２】
更に、前記音声データ取り込み部が取り込んだ音声データ列を保存する前記所定長の音声データ保存部、を備え、
前記時刻監視部は、前記音声データ保存部が満杯になったときに保存した全音声データ列と、前記所定長の音声データ列の取り込み開始時刻と、を前記騒音区間判定部へ出力する、
ことを特徴とする請求項９または１０記載の音声明瞭度改善システム。
【請求項１３】
前記騒音区間判定部は、前記取り込み開始時刻に前記音声データ保存部の容量に応じた一定時間を加算して前記取り込み終了時刻を求める、
ことを特徴とする請求項１２記載の音声明瞭度改善システム。
【請求項１４】
更に、前記音声データ取り込み部が取り込んだ音声データ列を保存する前記所定長の音声データ保存部、を備え、
前記時刻監視部は、前記音声データ保存部が満杯になったときに保存した全音声データ列と、前記取り込み終了時刻と、を前記騒音区間判定部へ出力する、
ことを特徴とする請求項９または１０記載の音声明瞭度改善システム。
【請求項１５】
前記騒音区間判定部は、前記取り込み終了時刻から前記音声データ保存部の容量に応じた一定時間を差し引いて前記取り込み開始時刻を求める、
ことを特徴とする請求項１４記載の音声明瞭度改善システム。
【請求項１６】
最新の前記入力開始時刻をRGtime-S、最新の前記入力終了時刻をRGtime-E、最新の前記取り込み開始時刻をMICtime-S、最新の前記取り込み終了時刻をMICtime-Sとするとき、
前記騒音区間判定部は、前記入力開始時刻RGtime-Sと前記取り込み終了時刻MICtime-Eを比較し、前記最新の入力終了時刻RGtime-Eと前記最新の取り込み開始時刻MICtime-Sを比較し、前記取り込み終了時刻MICtime-Eが前記最新の入力開始時刻RGtime-Sより古い時刻でああるか、または前記最新の入力終了時刻RGtime-Eが前記最新の取り込み開始時刻MICtime-Sより古い時刻であれば、前記所定長の音声データ列が前記騒音区間の音声データ列であると判定する、
ことを特徴とする請求項９または１０記載の音声明瞭度改善システム。
【請求項１７】
前記音声データ発生部と、時刻監視部と、騒音区間判定部と、騒音パワー検出部と、補正値算出部と補正部の各処理をマルチプロセスの１つのプロセスとしてＣＰＵにより実現する、ことを特徴とする請求項９記載の音声明瞭度改善システム。
【請求項１８】
前記音声データ発生部と、入力された音声データ列を別のＣＰＵに出力する音声データ出力部の各処理をマルチプロセスの１つのプロセスとして、ＣＰＵにより実現し、時刻監視部と、騒音区間判定部と、騒音パワー検出部と、音声信号出力部の各処理をマルチプロセスの１つのプロセスとして別のＣＰＵにより実現する、ことを特徴とする請求項９記載の音声明瞭度改善システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声明瞭度改善方法および音声明瞭度改善システムに係り、特に、案内音声信号が出力されていない区間を騒音区間とし、該騒音区間における騒音パワーと非騒音区間における音声パワーを用いて案内音声信号のゲインを制御する音声明瞭度改善方法および音声明瞭度改善システムに関する。
【背景技術】
【０００２】
スピーカから出力された音声（ナビゲーションガイド音声や，ニュースやメールの読上げ音声等）を騒音下でも明瞭に聞こえるようにする車載の音声明瞭度改善システムがある。例えば、車載用ナビゲーション装置では進路案内等の音声がスピーカから車室内に出力されるが、走行中などでエンジン音、ロードノイズ等の騒音が大きいときはマスキング効果でスピーカ出力音声が聞きづらくなる。そこで、出力する音声データのパワーと騒音のパワーに応じて音声データにラウドネス補償を施して音声帯域全体のゲインを上げるなどして騒音下でもスピーカ出力音声が明瞭に聞こえるようにしている。
【０００３】
図７は従来の音声明瞭度改善システム（特許文献１）の構成図である。図７の音声明瞭度改善システムによれば（詳細な動作は特許文献１参照）、同定フィルタ７１によりマイク７２の設置位置における案内音声信号SGを模擬し、減算器７３により、マイク７２の出力から前記信号を引くことによって騒音信号SNを抽出している。ラウドネス補償ゲイン算出部７４では、案内音声信号および騒音信号のそれぞれの信号をもとにゲインGoptを算出してRG補正部（RouteGuidance音声補正部）７５に入力している。この際、同定用フィルタ７６における同定処理は、適応フィルタ７７を用いて行われ、この中の適応アルゴリズム部７８は、種々の適応アルゴリズムを用いて実現することができ、その代表的なものの一つがLMSアルゴリズムであるが、Fast-LMSアルゴリズム（周波数領域におけるLMSアルゴリズム）等を使用してフィルタ係数の更新を行うようにしてもよい。
【０００４】
しかし、音声信号のパワーに推定誤差が生じると、減算器７３による減算によって算出される騒音推定パワーの誤差が、音声信号の推定パワーの誤差の符号と逆符号となり、差幅が大きくなってゲインを正しく決定できなくなる。また、従来の音声明瞭度改善システムでは演算量が多すぎて高価なＤＳＰが必要とされる問題がある。
【０００５】
そこで、音声信号の音声パワーと騒音パワーとに基づき音声信号のゲインを制御するシステムにおいて音声パワーが設定レベル以上であるか否かを検出し、すなわち案内音声が出力されているか否かを検出し、音声パワーが設定レベルより小さいとき（案内音声が出力されていないとき）の騒音パワーを測定して保存し、音声パワーが設定レベルより大きいとき（案内音声が出力されているとき）の騒音パワーを前記保存してあるパワーであると推定し、音声パワーと推定した騒音パワーとに基づいて音声信号のゲインを制御する技術が提案されている。
【０００６】
図８は上記提案されている音声明瞭度改善システムの構成図である。
ナビゲーション装置の案内音声発生部８１は、例えば交差点に接近したとき案内音声信号を発生する。サウンドドライバ８２はこの案内音声信号に音質制御等を施し、増幅して出力する。ＲＧ補正部８３は後述する補正値算出部８４で決定したゲインｇをサウンドドライバ８２より出力される音声信号に乗算し、音量補正してＤＡＣ８５に入力し、ＤＡＣ８５は入力された音声信号をアナログ変換してスピーカ８６に入力する。スピーカ８６は入力音声信号を出力する。マイク８７は案内音声ａと周辺の騒音ｎ（エンジン音、ロードノイズ等）の合成音を検出してＡＤＣ８８でディジタルデータに変換し聴感補正フィルタ８９ａを介してパワー計算部８９ｂに入力する。パワー計算部８９ｂは入力されたマイク検出信号の振幅の二乗演算を行なってパワーを計算し、切替部８９ｃに入力する。
【０００７】
切替部８９ｃは、ガイド音声が出力されていない区間において、すなわち、音声信号のパワー（音声パワー）が設定値より小さいとき、パワー計算部８９ｂで計算されたパワーを、固定接点Ａを介して騒音パワー平均化部８４ｂに入力し、ガイド音声が出力されている区間において、すなわち、音声パワーが設定値より大きいとき、パワー計算部８９ｂで計算されたパワーをＢ接点側に出力していずれのユニットにも入力しない。騒音パワー平均化部８４ｂは、ガイド音声が出力されていない区間において、パワー計算部８９ｂから出力するパワーを騒音パワーと見なし、パワー計算部８９ｂから出力する最新のＮ個（Ｎ：定数）のパワーの移動平均値を求め、該移動平均値を騒音パワーとしてパワー保存部８４ｃに保存する。この結果、ガイド音声が出力されたとき、直前のガイド音声が出力されていない区間における最新の騒音パワーがパワー保存部８４ｃに保存されていることになる。ガイド音声出力中の騒音パワーは、パワー保存部８４ｃに保存されている騒音パワーであると見なし、パワー保存部８４ｃに保存されている騒音パワーをラウドネス補償ゲイン算出部８４ａに入力する。
【０００８】
以上と並行して、案内音声発生部８１から出力される音声信号は、聴感補正フィルタ８９ｅを介して音声パワー計算部８９ｆに入力する。音声パワー計算部８９ｆは入力された音声信号の振幅の二乗演算を行なって音声パワーを計算し、該音声パワーを判定部８９ｇと音声パワー平均化部８９ｈに入力する。判定部８９ｇは、入力された音声パワーと設定レベルとを比較し、音声パワーが設定レベルより小さいときはガイド音声が出力されていない区間であると判定し、音声パワーが設定レベルより大きいときはガイド音声が出力されている区間であると判定する。そして、判定部８９ｇは、ガイド音声が出力されていない区間では切替器８９ｃを制御してパワー計算部８９ｂが計算したパワーを騒音パワー平均化部８４ｂに入力し、ガイド音声が出力されている区間では、何れのユニットにも入力しない。音声パワー平均化部８９ｈは音声パワー計算部８９ｆから出力するＭ個（Ｍ：定数）の音声パワーの平均値を演算し可変ゲイン部８４ｄに入力し、可変ゲイン部８４ｄは設定されているゲインＧを平均音声パワーに乗算してラウドネス補償ゲイン算出部８４ａに入力する。なお、可変ゲイン部８４ｄにより設定されるゲインＧは、スピーカ８６の入力端子からマイク出力端子までの伝播特性をゲインのみで近似できると見なして、特性同定部８９ｉが該ゲインＧを別途求めて設定するものである。ラウドネス補償制御部８９ａは、ガイド音声が出力されている区間において、可変ゲイン部８４ｄから入力する音声パワーとパワー保存部８４ｃから入力する騒音パワーに基づき、騒音のレベルによらず案内音声が明瞭に聞こえるゲインｇを人のラウドネス特性により決定して補正部８３に入力し、ＲＧ補正部８３は該ゲインｇを入力され、案内音声信号にゲインｇを乗算して出力する。なお、ラウドネス補償制御部８４ａは、ガイド音声が出力されていない区間では、ゲインｇの決定制御を行なわない。
【０００９】
図９は図８の音声明瞭度改善システムをマルチプロセスの汎用ＣＰＵ９１とＤＳＰ（Digital Signal Processor）８０とで実現する例であり、図８と同一部分には同一符号を付している。ＤＳＰ８０は、図８におけるＲＧ補正部８３、補正値算出部８４、騒音分離部８９の機能を実行し、マルチプロセスの汎用ＣＰＵ９１は図８の案内音声発生部８１の案内音声データ作成処理、該案内音声データのサウンドドライバ８２への受け渡し処理等の音声再生処理（ＶＯＩＣＥアプリ）９１ｄを行う。汎用ＣＰＵ９１はかかる音声再生処理に加えて、ナビゲーション処理９１ａ、車載オーディオ処理９１ｂ、自動車電話処理９１ｃ等の複数のアプリケーションを実行するようになっており、優先順位の高い処理を優先的に実行するようになっている。
【００１０】
音声再生処理において、ＲＧ生成部８１ｂは案内音声データ保存部８１ａから符号化された案内音声データを読み出して復号してＲＧ再生部８１ｃに入力すると共に、ＲＧ再生部８１ｃは該入力された音声データを一時的に保存し、適宜、該音声データＲＧをサウンドドライバ８２に入力する。サウンドドライバ８２は音声データに所定の処理を施して、サウンドドライバ８２を介してＲＧ補正部８３に入力し、ＲＧ補正部８３は入力された音声データＲＧに補正値算出部８４が算出した補正値（ゲイン）を乗算し音量補正を行い、補正された音声信号ＲＧ’をアナログ信号に変換してスピーカ８６に入力する。スピーカ８６は入力された音声信号ＲＧ’を出力し、マイク８７は該音声信号と周囲の雑音を検出し、検出データ（ＭＩＣデータ）をＡＤＣ８８を介して騒音分離部８９に入力する。騒音分離部８９はＭＩＣデータと案内音声データＲＧとを用いて案内音声パワーのレベルと騒音パワーのレベルを算出し、補正値算出部８４に入力する。補正値算出部８４は入力された案内音声パワーのレベルと騒音パワーのレベルに基づいてゲインを算出し、ゲインをＲＧ補正部８３に入力し、ＲＧ補正部８３は入力された補正値を音声データに乗算して出力する。これにより音声信号のゲインが大幅に誤差を持たないようになり、かつ演算量を大幅に削減することができる。
なお、DSPを用いず、マルチプロセスの汎用CPU９１のみを用いて、汎用CPU上で音声明瞭度改善処理を行うことも提案されている。
【特許文献１】特開平１１−１６６８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、上記提案されている技術において、汎用のＣＰＵで複数のアプリケーションの処理を行うマルチプロセスではそれぞれのアプリケーションに優先順位が設けられており、常に音声明瞭度改善システムの処理が行われるわけではなく音声データがＲＧ生成部で生成されてスピーカ出力されたＲＧ音声がマイクにより検出されて騒音分離部に入力するまでに時間的遅延が生じる。具体的に図１０を用いて説明する。尚、図１０では、図９のDSP８０の処理を汎用CPU９１に実行させる場合を示しており、GAE部（補正部８３，補正値算出部８４，騒音分離部８９）、サウンドドライバ８２、RG再生部８１ｃ等の配置を変更している。汎用CPU９１上のＲＧ再生部８１ｃの処理は優先順位が低く、ＲＧ補正部８３から入力した音声データをサウンドドライバ８２に直ちに出力できるとは限らず、内蔵のバッファに滞留して遅延が生じ、しかも、他の部分でも遅延が生じる。この結果、ＲＧ生成部８１ｂが音声データＲＧを騒音分離部８９に入力してから相当の時間が経過してからサウンドドライバ８２がマイク検出音声データを騒音分離部８９に入力される。かかる遅延が発生すると正確な騒音パワーの測定ができず、音声明瞭度改善処理による効果が低下する。図１１は騒音パワーが正確に測定できないことを説明するタイムチャートであり、音声データＲＧの出力開始時刻RGtime-S、音声データＲＧの出力終了時刻をRGtime-E、マイクによる音声信号の取り込み開始時刻をMICtime-S、マイクによる音声信号の取り込み終了時刻をMICtime-Eとしている。時刻RGtime-S以前と時刻RGtime-E以降が騒音区間であり、時刻RGtime-S〜RGtime-Eが非騒音区間である。最初の騒音区間では期間Aで音声が出力されていないため騒音パワーの測定誤差はないが、あとの騒音区間では期間Bで音声が出力されているため、該音声も騒音として検出し、正確な騒音パワーを測定できない。
【００１２】
以上より、本発明の目的は音声データＲＧが発生してからマイクにより音声が検出されるまでに遅延があっても騒音パワーを正確に測定できるようにすることである。
本発明の別の目的は、音声明瞭度改善処理による効果を改善することである。
【課題を解決するための手段】
【００１３】
本発明は、音声明瞭度改善方法および音声明瞭度改善システムである。
・  音声明瞭度改善方法
本発明の音声明瞭度改善方法は、マルチプロセスの１つのプロセスとして音声データ発生部が出力する音声データ列に所定のゲインを乗算してスピーカ側に出力すると共に、マイクにより検出された音声信号をディジタルデータに変換して所定長単位で取り込む第１ステップ、前記音声データ列のスピーカ側への出力開始時刻と出力終了時刻を監視し、かつ、前記マイクより取り込んだ所定長の音声データ列の取り込み開始時刻と取り込み終了時刻を監視する第２ステップ、前記各時刻を用いて前記マイクより取り込んだ所定長の音声データ列が騒音区間の音声データ列であるか否か判定する第３ステップ、前記騒音区間の音声データ列を用いて騒音パワーを検出する第４ステップ、を備えており、前記騒音区間でないときに、前記音声データ発生部が出力する音声データ列に基づいて音声パワーを検出する第５ステップ、前記騒音パワーと前記音声パワーを用いて前記音声データ列に乗算するゲインを決定する第６ステップ、を備えている。
【００１４】
・  音声明瞭度改善システム
本発明の音声明瞭度改善システムは、音声データ列を発生する音声データ発生部と、前記音声データ列を入力され、音声データをアナログデータに変換してスピーカへ出力する音声信号出力部と、マイクにより検出された音声信号をディジタルデータに変換して所定長単位で取り込む音声データ取り込み部と、前記音声データ列の前記音声信号出力部への入力開始時刻と入力終了時刻と、前記音声データ取り込み部における所定長の音声データ列の取り込み開始時刻と所定長の音声データ列の取り込み終了時刻を監視する時刻監視部と、前記各時刻を用いて前記音声データ取り込み部より取り込んだ所定長の音声データ列が騒音区間の音声データ列であるか判定する騒音区間判定部と、前記音声データ取り込み部に取り込まれた前記騒音区間の音声データ列を用いて騒音パワーを検出する騒音パワー検出部と、前記騒音パワーを用いて、前記出力する音声データ列に乗算するゲインを算出する補正値算出部と、前記算出したゲインを前記音声データ発生部が発生する音声データ列に乗算して前記音声信号出力部に入力する補正部と、を備えており、前記騒音区間でないときに、前記音声データ発生部が出力する音声データ列に基づいて音声パワーを検出する音声パワー検出部、を更に備え、前記補正値算出部は前記騒音パワーと前記音声パワーを比較して前記音声データ列に乗算するゲインを決定する。
【００１５】
本発明の別の音声明瞭度改善システムは、前記音声データ発生部と、時刻監視部と、騒音区間判定部と、騒音パワー検出部と、補正値算出部と補正部の各処理をマルチプロセスの１つのプロセスとしてＣＰＵにより実現する。
【００１６】
本発明の別の音声明瞭度改善システムは、前記音声データ発生部と、入力された音声データ列を別のＣＰＵに出力する音声データ出力部の各処理をマルチプロセスの１つのプロセスとして、ＣＰＵにより実現し、時刻監視部と、騒音区間判定部と、騒音パワー検出部と、音声信号出力部の各処理をマルチプロセスの１つのプロセスとして別のＣＰＵにより実現する。
【発明の効果】
【００１７】
本発明によれば、音声データ列のスピーカ側への入力開始時刻と入力終了時刻と、マイクより取り込んだ所定長の音声データ列の取り込み開始時刻と取り込み終了時刻とを監視し、それぞれの時刻を用いて、マイクより取り込んだ所定長の音声データ列が騒音区間の音声データ列であるか判断するようにしたので、音声を騒音として検出することがなくなり、正確な騒音パワーを測定することができる。
【００１８】
また本発明によれば、正しく騒音区間の騒音パワーを用いてスピーカに入力する音声データ列に乗算するゲインを決定するようにしたので、正確に音声明瞭度改善処理を行うことができ、騒音下でもスピーカ出力音声が明瞭に聞こえるようにすることができる。
【発明を実施するための最良の形態】
【００１９】
・  本発明の概略
図１は本発明の概略説明図、図２はマイク検出データが騒音区間の音声データであるかを示す説明図である。図１において、１０は汎用ＣＰＵ、１１はＲＧデータ保存部、１２はＲＧ生成部、１３はＧＡＥ（音声明瞭度改善；Guidance Articulation Enhancement）部、１４はＲＧ再生部、１５はサウンドドライバ、１６はＤ／Ａ変換器、１７はスピーカ、１８はマイク、１９はＡ／Ｄ変換器であり、ＲＧはＲＧデータ保存部が保存している音声データ列、ＲＧ’はＧＡＥ部１３が求めた補正値を乗算した音声データ列、ＭＩＣはマイク１８が取り込んだ音声および周囲の雑音を含む信号である。
【００２０】
ＲＧ生成部１２はＲＧデータ保存部１１より音声データ列ＲＧを読み出し生成し、騒音分離部１３ｂとＲＧ補正部１３ｄに入力する。ＲＧ補正部１３ｄは補正値算出部１３ｃが算出した補正値を音声データ列ＲＧに乗算して、音量補正した音声データ列ＲＧ’をＲＧ再生部１４に入力する。ＲＧ再生部１４は音声データ列ＲＧ’を一時的に保持すると共にデータ受け渡しのための処理が割り当てられると音声データ列ＲＧ’をサウンドドライバ１５に入力し該入力時刻を入力開始時刻RGtime-S（図２参照）として騒音区間判定部１３ａに入力する。サウンドドライバ１５は音声データ列ＲＧ’をＤ／Ａ変換器１６に入力し、音声データ列がなくなって、その入力を終了した入力終了時刻RGtime-E（図２参照）をＲＧ再生部１４を介して、騒音区間判定部１３ａに入力する。Ｄ／Ａ変換器１６はアナログ変換した音声データ列ＲＧ’をスピーカ１７に入力し、スピーカ１７は入力された音声データ列ＲＧ’に応じた音声を出力する。マイク１８はＭＩＣデータ（出力された音声データ列ＲＧ’の音声と周囲の雑音）を取り込み、Ａ／Ｄ変換器１９によりディジタル変換してサウンドドライバ１５に入力する。サウンドドライバ１５は入力されたＭＩＣデータを図示しない所定容量のバッファ（保存部）に保存し、該バッファが満杯になった時刻を取り込み終了時刻MICtime-E（図２参照）とし、騒音区間判定部１３ａに取り込み終了時刻MICtime-Eを入力する。また、サウンドドライバ１５は所定容量のＭＩＣデータを騒音区間判定部１３ａと騒音分離部１３ｂに入力する。騒音区間判定部１３ａは該取り込み終了時刻よりバッファの容量に応じた時間MICbuftimeを差し引いてＭＩＣデータの取り込み開始時刻MICtime-S（図２参照）を求める。騒音区間判定部１３ａは、取り込んだ所定サイズのＭＩＣデータ（例えば図２のＳ３）が騒音区間のデータ（騒音）であるか判定するために、前記取り込み終了時刻MICtime-Eが前記入力開始時刻RGtime-Sより古いか、または前記入力終了時刻RGtime-Eが前記取り込み開始時刻MICtime-Sより古いか判断する。「ＹＥＳ」と判断した場合前記ＭＩＣデータは騒音区間のデータであると判断し、騒音分離部１３ｂは該音声データ列ＭＩＣを用いて騒音パワーを算出する。ついで、補正値算出部１３ｃは該騒音パワーと音声データ列のパワーを用いて音声データ列ＲＧに乗算する補正値を算出し、ＲＧ補正部１３ｄは音声データ列ＲＧに補正値を乗算し、音量補正した音声データ列ＲＧ’をＲＧ再生部１４、サウンドドライバ１５、Ｄ/Ａ変換器１６を介してスピーカ１７に入力する。また、騒音区間判定部１３ａは上記判断により「ＮＯ」であれば、前記ＭＩＣデータは騒音区間のデータではないと判定し、前記ＭＩＣデータを用いて騒音パワーを算出しない。
【００２１】
以上より、音声データ列が発生してからマイクにより音声が検出されるまでに遅延があっても、騒音パワーを正確に測定できるようになるので、音声明瞭度改善処理による効果を改善することができる。
【００２２】
・  実施例
図３は本発明の第１実施例の音声明瞭度改善システムの構成図である。
通常時、ナビゲーション装置のＲＧ生成部１２は、例えば交差点に接近したときＲＧデータ保存部（図示せず）より音声データ列を読み出し、案内音声の音声データ列ＲＧを生成する。ＲＧ補正部１３ｄは、後述するラウドネス補償ゲイン算出部２１で算出した補正値ｇを入力された音声データ列ＲＧに乗算して音量補正した音声データ列ＲＧ’をＲＧ再生部１４に入力する。ＲＧ再生部１４は入力された音声データ列を内蔵のバッファに保存し  CPUよりサウンドドライバへの受け渡しが許可されたときFIFO（ファーストインファーストアウト）により該バッファから音声データ列ＲＧ’を読み出してサウンドドライバ１５ａへ入力する。またRG再生部１４は、サウンドドライバ１５ａへの入力を開始した時刻（入力開始時刻RGtime-S）を測定し、騒音区間判定部１３ａに通知する。
【００２３】
サウンドドライバ１５ａはＲＧ再生部１４から入力された音声データ列ＲＧ’を、Ｄ／Ａ変換器１６に入力し、全音声データ列のＤ／Ａ変換器１６への入力が終了すれば該終了した時刻（入力終了時刻RGtime-E）を測定し、ＲＧ再生部１４を介して騒音区間判定部１３ａに通知する。Ｄ／Ａ変換器１６は入力された音声データ列ＲＧ’をアナログデータに変換して、スピーカ１７に入力する。マイク１８はスピーカから出力された音声信号と周囲の雑音を集音し、Ａ／Ｄ変換器１９に入力する。Ａ／Ｄ変換器１９は、入力された音声信号をディジタルデータに変換して、ＭＩＣデータとしてサウンドドライバ１５ｂに入力する。サウンドドライバ１５ｂは入力されたＭＩＣデータを内蔵の所定容量のバッファ１５ｃに保存すると共に、該バッファ１５ｃが満杯になれば、保存されている所定サイズのデータをＧＡＥ部１３に入力し、かつ該入力した時刻（取り込み終了時刻MICtime-E）を測定し、騒音区間判定部１３ａに入力する。以後、サウンドドライバ１５ｂは次のＭＩＣデータのバッファ１５ｃへの保存を開始し、満杯になるごとに保存データをＧＡＥ部１３に入力すると共に、取り込み終了時刻MICtime-Eを騒音区間判定部１３ａに入力する。
【００２４】
騒音区間判定部１３ａは、取り込み終了時刻MICtime-Eとバッファ１５ｃの容量に応じた時間（MICbuftime）を用いて、ＭＩＣデータの取り込みを開始した時刻（取り込み開始時刻MICtime-S）を算出し（MICtime-S＝MICtime-E−MICbuftime）、各時刻RGtime-S、RGtime-E、MICtime-S、MICtime-Eを用いてバッファから取り込んだ音声データが騒音区間のデータであるか判断する（図２参照）。すなわち、騒音区間判定部１３ａはRGtime-ＥからRGtime-Sまでの期間を騒音区間、RGtime-SからRGtime-Ｅまでの期間を非騒音区間とみなし、ＭＩＣデータの取り込み終了時刻MICtime-Eが入力開始時刻RGtime-Sより古いか、または入力終了時刻RGtime-EがＭＩＣデータの取り込み開始時刻MICtime-Sより古いかを判断し、「YES」の場合にはＭＩＣデータは騒音区間のデータであると判定し、「NO」の場合には非騒音区間のデータであると判定し、騒音区間もしくは非騒音区間の切り替え信号を切り替え部２２に入力する。尚、図２のＭＩＣデータＳ０〜Ｓ８のうちＳ２〜Ｓ４が騒音区間のデータとなる。切り替え部２２は接点Aに固定しておき、騒音区間判定部１３ａが入力する非騒音区間の信号により接点Ｂに切り替える。サウンドドライバ１５ｂは固定接点Ａと聴感補正フィルタ２３を介してＭＩＣデータ（騒音信号）をパワー計算部２４に入力し、パワー計算部２４は入力されたＭＩＣデータの振幅の二乗演算を行って騒音パワーを計算する。
【００２５】
騒音パワー平均化部２５は、騒音区間において、パワー計算部２４から出力する最新のＮ個（Ｎ：定数）のパワーの移動平均値を求め、該移動平均値を騒音パワーとしてパワー保存部２６に保存する。この結果、音声信号が出力されたときに、直前の騒音区間における最新の騒音パワーがパワー保存部２６に保存されていることになる。本発明では非騒音区間における騒音パワーは、パワー保存部２６に保存されている騒音パワーであると見なし、パワー保存部２６に保存されている騒音パワーをラウドネス補償ゲイン算出部２１に入力する。
【００２６】
以上と並行して、ＲＧ生成部１２から出力される音声データ列ＲＧは、聴感補正フィルタ２７を介して音声パワー計算部２８に入力する。音声パワー計算部２８は入力された音声データ列ＲＧの振幅の二乗演算を行って音声パワーを計算し、該音声パワーを音声パワー平均化部２９に入力し、音声パワー平均化部２９は音声パワー計算部２８より入力されたＭ個（Ｍ：定数）の音声パワーの平均値を演算し、可変ゲイン部３１に入力する。可変ゲイン部３１は平均音声パワーにゲインＧを乗算して出力する。なお、可変ゲイン部３１に設定されるゲインＧはスピーカ１７の入力端子からマイク出力端子までの伝播特性をゲインのみで近似できるとみなして、特性同定部３０が該ゲインＧを予め同定して設定するものである。
【００２７】
ラウドネス補償ゲイン算出部２１は、非騒音区間において、可変ゲイン部３１から入力する音声パワーとパワー保存部２６から入力する騒音パワーに基づき、騒音のレベルによらず音声信号が明瞭に聞こえるゲインｇを人のラウドネス特性により決定してＲＧ補正部１３ｄに入力し、ＲＧ補正部１３ｄは該ゲインｇを入力され、音声データ列ＲＧにゲインｇを乗算して出力する。なお、ラウドネス補償ゲイン算出部２１は非騒音区間ではゲインｇの決定制御を行わない。
【００２８】
以上、本発明によれば、図２に示す案内音声を含むＭＩＣデータＳ１、Ｓ５を騒音区間のデータとしないから騒音区間の騒音パワーを正確に測定して保存することができる。
【００２９】
図４はＲＧ再生部１４およびサウンドドライバ１５ａの処理フロー、図５は騒音区間判定部１３ａ、補正値算出部１３ｃおよびサウンドドライバ１５ｂの処理フローである。以下、これらの処理フローに沿って音声明瞭度改善システムの騒音区間判定処理について説明を行う。ただし、ＲＧ生成部１２がＲＧデータ保存部１１から音声データ列ＲＧを読み出し、ＲＧ補正部１３ｄに入力し、ＲＧ補正部１３ｄは補正値算出部１３ｃが算出したゲインｇを乗算し、音声信号である音声データ列ＲＧ’をＲＧ再生部１４に入力してあるものとする。
【００３０】
ＲＧ再生部１４は、ＣＰＵより許可されて音声データ列ＲＧ’をサウンドドライバ１５ａに入力開始した入力開始時刻RGtime-Sを測定し（ステップＳ４０１）、騒音区間判定部１３ａに入力開始時刻RGtime-Sを入力する（ステップＳ４０２）。
【００３１】
ついで、ＲＧ再生部１４はサウンドドライバ１５ａに音声データ列ＲＧを渡し（ステップＳ４０３）、サウンドドライバ１５ａは受け取った音声データ列ＲＧ’に所定の処理を施して、Ｄ／Ａ変換器１６に入力し、Ｄ／Ａ変換器１６はディジタルの音声データ列ＲＧ’をアナログ信号に変換し、スピーカ１７に入力し、スピーカ１７は音声信号を出力する（ステップＳ４０４）。
【００３２】
サウンドドライバ１５ａは入力された全音声データ列の出力が終了すれば、該時刻を入力終了時刻RGtime-Eとして測定し（ステップS４０５）、該入力再生時刻RGtime-EをＲＧ再生部１４に入力し（ステップＳ４０６）、ＲＧ再生部１４は騒音区間判定部１３ａに通知する（ステップＳ４０７）。以上により、騒音区間判定部１３ａはRGtime-ＥからRGtime-Sまでの期間を騒音区間、RGtime-SからRGtime-Ｅまでの期間を非騒音区間とみなし、次の図５の処理フローにしたがってＭＩＣデータが騒音区間のデータであるか否かを判定する。すなわち、ＭＩＣデータの取り込み終了時刻MICtime-Eが入力開始時刻RGtime-Sより古い、または入力終了時刻RGtime-EがＭＩＣデータの取り込み開始時刻MICtime-Sより古いかを判断し、「YES」の場合にはMICデータは騒音区間のデータであると判定し、「NO」の場合には非騒音区間であると判定する。
【００３３】
以下、図５にしたがって、マイク１８より取り込んだＭＩＣデータが騒音区間のデータであるか否かの処理を説明する。
【００３４】
サウンドドライバ１５ｂはマイク１８により検出されたＭＩＣデータを順にバッファ１５ｃに保存し（ステップＳ５０１）、該バッファ１５ｃが満杯になったかの判断を行い（ステップＳ５０２）、満杯になった場合はステップＳ５０３に進み、満杯になっていない場合はＳ５０１〜Ｓ５０２の処理を繰り返す。
【００３５】
ステップＳ５０２において、バッファ１５ｃが満杯になったと判断した場合、サウンドドライバ１５ｂは該満杯になった時刻（取り込み終了時刻）MICtime-Eを測定し（ステップＳ５０３）、取り込み終了時刻MICtime-Eを騒音区間判定部１３ａに入力すると共に、バッファ１５ｃに保存されているＭＩＣデータをＧＡＥ部１３に入力する（ステップＳ５０４）。
【００３６】
ついで、騒音区間判定部１３ａは、バッファ１５ｃの容量に応じた時間MICbuftimeをMICtime-Eより差し引いて取り込み開始した取り込み開始時刻MICtime-Sを算出し（ステップＳ５０５）、各時刻RGtime-S、RGtime-E、MICtime-S、MICtime-Eを用いてバッファ１５ｃから取り込んだ音声データが騒音区間のデータであるか判断する（ステップＳ５０６）。すなわち、ステップＳ５０６では、騒音区間判定部１３ａは取り込み終了時刻MICtime-Eが入力開始時刻RGtime-Sより古いか、または入力終了時刻RGtime-Eが取り込み開始時刻MICtime-Sより古いか判断し、「ＹＥＳ」と判断した場合はステップＳ５０７に進み、「ＮＯ」と判断した場合にはステップＳ５１０に進む。
【００３７】
ステップＳ５０６において、「ＹＥＳ」と判断した場合には、バッファ１５ｃから取り込んだＭＩＣデータは騒音区間におけるデータであるとみなし、騒音分離部１３ｂはＭＩＣデータを用いて騒音パワーを算出し、騒音パワーを補正値算出部１３ｃに入力する（ステップＳ５０７）。
【００３８】
しかる後、補正値算出部１３ｃは入力された騒音パワーを用いて、音声データ列ＲＧに乗算する補正値ｇを算出し、算出した補正値ｇをＲＧ補正部１３ｄに入力し（ステップＳ５０８）、ＲＧ補正部１３ｄは入力された補正値ｇを音声データ列ＲＧに乗算し音量補正する（ステップＳ５０９）。その後、上記の処理を繰り返し行い、補正値の更新および騒音区間の判定を行う。
【００３９】
ステップＳ５０６において、「ＮＯ」と判断した場合には、バッファから取り込んだ音声データは騒音区間のデータでないと判断し、騒音パワーを算出しない（ステップＳ５１０）。その後、上記の処理を繰り返し行い、補正値の更新および騒音区間の判定を行う。本実施例では、取り込み終了時刻MICtime-Eよりバッファの容量に応じた時間（MICbuftime）を差し引いて、ＭＩＣデータの取り込み開始時刻MICtime-Sを算出したが、それに限定されるものではなく、例えば、取り込み開始時刻MICtime-Sにバッファの容量に応じた時間（MICbuftime）を加算して、ＭＩＣデータの取り込みを終了した時刻（取り込み終了時刻MICtime-E）を算出する（MICtime-E＝MICtime-S＋MICbuftime）ようにしてもよい。
【００４０】
以上、本実施例によれば、音声データ列の入力開始時刻と入力終了時刻と、マイクより取り込んだ所定長の音声データ列の取り込み開始時刻と取り込み終了時刻とを監視し、それぞれの時刻を用いて、マイクより取り込んだ所定長の音声データ列が騒音区間の音声データ列であるか判断するようにしたので、音声を騒音として検出することがなくなり（例えば図２のＭＩＣデータＳ１、Ｓ５を騒音として検出しないため）、正確な騒音パワーを測定することができる。
【００４１】
また、本実施例によれば、正しく騒音区間の騒音パワーを用いてスピーカに入力する音声データ列に乗算するゲインを決定するようにしたので、正確に音声明瞭度改善処理を行うことができ、騒音下でもスピーカ出力音声が明瞭に聞こえるようにすることができる。
【００４２】
・  変形例
図６は本発明の変形例の構成図であり、図１と同一部分には同一符号を付している。異なる点は１つの汎用ＣＰＵによる音声明瞭度改善処理を、もう１つの別の汎用ＣＰＵによる音声明瞭度改善処理に変更した点である。
【００４３】
もう１つの別の汎用ＣＰＵ４０は、騒音区間判定部１３ａ、騒音分離部１３ｂ、補正値算出部１３ｃ、ＲＧ補正部１３ｄから構成されており、１３ａ〜１３ｄは上記実施例のＧＡＥ部１３と同様の処理を行い、音声明瞭度改善処理を行う。
【００４４】
以上、本変形例によれば、上記実施例と同様の効果を得ることができ、音声と騒音を検出することがなくなり、正確な騒音パワーを測定でき、かつ、正確に音声明瞭度改善処理を行うことができ、騒音下でもスピーカ出力音声が明瞭に聞こえるようにすることができる。
また、本変形例によれば、アプリの処理を行う第一の汎用ＣＰＵとＧＡＥの処理を行う第二の汎用ＣＰＵを用いるようにしたので、第一の汎用ＣＰＵと第二の汎用ＣＰＵが分離可能となり、アプリとＧＡＥが脱着可能となる。
【図面の簡単な説明】
【００４５】
【図１】本発明の概略説明図である。
【図２】マイク検出データが騒音区間の音声データであるか示す説明図である。
【図３】本発明の第１実施例の音声明瞭度改善システムの構成図である。
【図４】ＲＧ再生部１２およびサウンドドライバ１５ａの処理フローである。
【図５】騒音区間判定部１３ａ、補正値算出部１３ｃおよびサウンドドライバ１５ｂの処理フローである。
【図６】本発明の変形例の構成図である。
【図７】従来の音声明瞭度改善システムである。
【図８】提案されている音声明瞭度改善システムの構成図である。
【図９】図８の音声明瞭度改善システムをマルチプロセスの汎用ＣＰＵとＤＳＰ（Digital Signal Processor）とで実現する例である。
【図１０】汎用ＣＰＵ上で遅延が生じる原因を説明する図である。
【図１１】騒音パワーが正確に測定できないことを説明するタイムチャートである。
【符号の説明】
【００４６】
１０    汎用ＣＰＵ
１０ａ      〜１０ｄ    汎用ＣＰＵ上が処理するアプリ
１１    ＲＧデータ保存部
１２    ＲＧ生成部
１３    音声明瞭度改善システム
１３ａ    騒音区間判定部
１３ｂ    騒音分離部
１３ｃ    補正値算出部
１３ｄ    ＲＧ補正部
１４    ＲＧ再生部
１５    サウンドドライバ
１５ｃ    バッファ
２３    聴感補正フィルタ
２４    パワー計算部
２５    騒音パワー平均化部
２６    パワー保存部
２７    聴感補正フィルタ
２８    音声パワー計算部
２９    音声パワー平均化部
３０    特性同定部
３１    可変ゲイン部
４０    別の汎用ＣＰＵ
【図１】
2010102223.tif 000003
【図２】
2010102223.tif 000004
【図３】
2010102223.tif 000005
【図４】
2010102223.tif 000006
【図５】
2010102223.tif 000007
【図６】
2010102223.tif 000008
【図７】
2010102223.tif 000009
【図８】
2010102223.tif 000010
【図９】
2010102223.tif 000011
【図１０】
2010102223.tif 000012
【図１１】
2010102223.tif 000013