(57)【要約】【課題】この発明は、処理量の低減化およびメモリ容量の節減化が図れる低周波帯域音声の復元装置を提供することを目的とする。【解決手段】低周波帯域の信号が除去された音声信号が入力され、この入力音声信号に基づいて低周波帯域の信号を復元する低周波帯域音声復元装置において、音声のピッチ信号の高調波成分の一部を入力音声信号から抽出するための第１手段、第１手段によって抽出された信号を２乗する第２手段、第２手段によって得られた信号から、ピッチ周波数の信号と入力音声信号の下限周波数以下の高調波信号とを抽出する第３手段、および第３手段によって抽出された信号の振幅レベルを補正する第４手段を備えている。【選択図】図１
2008076988.tif 000002
【特許請求の範囲】
【請求項１】
低周波帯域の信号が除去された音声信号が入力され、この入力音声信号に基づいて低周波帯域の信号を復元する低周波帯域音声復元装置において、
音声のピッチ信号の高調波成分の一部を入力音声信号から抽出するための第１手段、
第１手段によって抽出された信号を２乗する第２手段、
第２手段によって得られた信号から、ピッチ周波数の信号と入力音声信号の下限周波数以下の高調波信号とを抽出する第３手段、および
第３手段によって抽出された信号の振幅レベルを補正する第４手段、
を備えていることを特徴とする低周波帯域音声復元装置。
【請求項２】
第４手段は、第１手段によって抽出された信号のレベルに基づいて補正値を算出する手段および算出した補正値に基づいて第３手段によって抽出された信号の振幅レベルを補正する手段を備えていることを特徴とする請求項１に記載の低周波帯域音声復元装置。
【請求項３】
低周波帯域の信号が除去された音声信号が入力され、この入力音声信号に基づいて低周波帯域の信号を復元する低周波帯域音声復元装置において、
音声のピッチ信号の高調波成分の一部を入力音声信号から抽出するための第１手段、
第１手段によって抽出された信号を２乗する第２手段、
第２手段によって得られた信号の振幅レベルを補正する第３手段、および
第３手段によって得られた信号から、ピッチ周波数の信号と入力音声信号の下限周波数以下の高調波信号とを抽出する第４手段を備えていることを特徴とする低周波帯域音声復元装置。
【請求項４】
第３手段は、第１手段によって抽出された信号のレベルに基づいて補正値を算出する手段および算出した補正値に基づいて第２手段によって抽出された信号の振幅レベルを補正する手段を備えていることを特徴とする請求項３に記載の低周波帯域音声復元装置。
【請求項５】
入力音声信号に基づいて入力音声信号に含まれている風音のレベルを判定する風音判定手段、
入力音声信号から所定の周波数以下の低周波数帯域信号を抽出する低周波数帯域信号抽出手段、
入力音声信号から上記所定の周波数以上の高周波数帯域信号を抽出する高周波数帯域信号抽出手段、
高周波数帯域信号抽出手段によって抽出された高周波数帯域信号に基づいて、入力音声信号に含まれている上記所定の周波数以下の低周波数帯域信号を復元する低周波数帯域音声復元手段、
低周波数帯域信号抽出手段によって抽出された低周波数帯域信号と低周波数帯域音声復元手段によって生成された低周波数帯域信号との、上記高周波数帯域信号への加算割合を、風音判定手段によって判定された風音レベルに応じて調整する調整手段、ならびに
調整手段によって調整された後の両低周波数帯域信号を上記高周波数帯域信号に加算する加算手段、
を備えていることを特徴とする音声信号処理装置。
【請求項６】
調整手段は、風音判定手段によって判定された風音レベルが大きい場合には、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号に比べて、低周波数帯域音声復元手段によって生成された低周波数帯域信号の上記高周波数帯域信号への加算割合が高くなるように、両低周波数帯域信号の上記高周波数帯域信号への加算割合を調整し、風音判定手段によって判定された風音レベルが小さい場合には、低周波数帯域音声復元手段によって生成された低周波数帯域信号に比べて、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号の上記高周波数帯域信号への加算割合が高くなるように、両低周波数帯域信号の上記高周波数帯域信号への加算割合を調整するものであることを特徴とする請求項５に記載の音声信号処理装置。
【請求項７】
請求項１、請求項２、請求項３および請求項４に記載の低周波帯域音声復元装置のうちのいずれか１つの低周波帯域音声復元装置を備えていることを特徴とする録音機器。
【請求項８】
請求項５および請求項６に記載の音声信号処理装置のうちのいずれか１つの音声信号処理装置を備えていることを特徴とする録音機器。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、低周波帯域音声復元装置、音声信号処理装置および録音機器に関する。
【背景技術】
【０００２】
音声の基本周波数（ピッチ周波数）は、男性で９０〜１６０Ｈｚ、女性で２３０〜３７０Ｈｚ程度あり、音質を決定する上で非常に重要な要因である。しかしながら、電話の音声帯域は通常３００Ｈｚ以下はカットされる。また、ビデオカメラやＩＣレコーダでは風音の影響を抑えるため３００Ｈｚ前後にカットオフ周波数を有するハイパスフィルタを用いて、音声信号ごと低周波数成分がカットされる。ピッチ情報の欠落は音質の変化につながるため、自然な音声が再現されなくなる。
【０００３】
欠落した低周波帯域のピッチ情報を復元する方法として、特表２００４−５１７３６８号公報に記載された「音声の帯域拡張方法」がある。この従来方法では、複雑な周波数分析が必要であり、多くの処理が必要であるばかりでなく、大きな容量のメモリが必要となるため、コストが高くなるという問題がある。
【特許文献１】特表２００４−５１７３６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は、処理量の低減化およびメモリ容量の節減化が図れる低周波帯域音声の復元装置および録音機器を提供することを目的とする。
【０００５】
また、この発明は、低周波の原音と低周波の復元音を、原音から低周波成分が除去された信号にミキシングする際のミキシング割合を、風音レベルに応じて適応的に制御でき、好適な低音品質を得ることができる音声信号処理装置および録音機器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、低周波帯域の信号が除去された音声信号が入力され、この入力音声信号に基づいて低周波帯域の信号を復元する低周波帯域音声復元装置において、音声のピッチ信号の高調波成分の一部を入力音声信号から抽出するための第１手段、第１手段によって抽出された信号を２乗する第２手段、第２手段によって得られた信号から、ピッチ周波数の信号と入力音声信号の下限周波数以下の高調波信号とを抽出する第３手段、および第３手段によって抽出された信号の振幅レベルを補正する第４手段を備えていることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、第４手段は、第１手段によって抽出された信号のレベルに基づいて補正値を算出する手段および算出した補正値に基づいて第３手段によって抽出された信号の振幅レベルを補正する手段を備えていることを特徴とする。
【０００８】
請求項３に記載の発明は、低周波帯域の信号が除去された音声信号が入力され、この入力音声信号に基づいて低周波帯域の信号を復元する低周波帯域音声復元装置において、音声のピッチ信号の高調波成分の一部を入力音声信号から抽出するための第１手段、第１手段によって抽出された信号を２乗する第２手段、第２手段によって得られた信号の振幅レベルを補正する第３手段、および第３手段によって得られた信号から、ピッチ周波数の信号と入力音声信号の下限周波数以下の高調波信号とを抽出する第４手段を備えていることを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の発明において、第３手段は、第１手段によって抽出された信号のレベルに基づいて補正値を算出する手段および算出した補正値に基づいて第２手段によって抽出された信号の振幅レベルを補正する手段を備えていることを特徴とする。
【００１０】
請求項５に記載の発明は、入力音声信号に基づいて入力音声信号に含まれている風音のレベルを判定する風音判定手段、入力音声信号から所定の周波数以下の低周波数帯域信号を抽出する低周波数帯域信号抽出手段、入力音声信号から上記所定の周波数以上の高周波数帯域信号を抽出する高周波数帯域信号抽出手段、高周波数帯域信号抽出手段によって抽出された高周波数帯域信号に基づいて、入力音声信号に含まれている上記所定の周波数以下の低周波数帯域信号を復元する低周波数帯域音声復元手段、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号と低周波数帯域音声復元手段によって生成された低周波数帯域信号との、上記高周波数帯域信号への加算割合を、風音判定手段によって判定された風音レベルに応じて調整する調整手段、ならびに調整手段によって調整された後の両低周波数帯域信号を上記高周波数帯域信号に加算する加算手段を備えていることを特徴とする。
【００１１】
請求項６に記載の発明は、請求項５に記載の発明において、調整手段は、風音判定手段によって判定された風音レベルが大きい場合には、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号に比べて、低周波数帯域音声復元手段によって生成された低周波数帯域信号の上記高周波数帯域信号への加算割合が高くなるように、両低周波数帯域信号の上記高周波数帯域信号への加算割合を調整し、風音判定手段によって判定された風音レベルが小さい場合には、低周波数帯域音声復元手段によって生成された低周波数帯域信号に比べて、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号の上記高周波数帯域信号への加算割合が高くなるように、両低周波数帯域信号の上記高周波数帯域信号への加算割合を調整するものであることを特徴とする。
【００１２】
請求項７に記載の発明は、録音機器において、請求項１、請求項２、請求項３および請求項４に記載の低周波帯域音声復元装置のうちのいずれか１つの低周波帯域音声復元装置を備えていることを特徴とする。
【００１３】
請求項８に記載の発明は、録音機器において、請求項５および請求項６に記載の音声信号処理装置のうちのいずれか１つの音声信号処理装置を備えていることを特徴とする。
【発明の効果】
【００１４】
この発明によれば、処理量の低減化およびメモリ容量の節減化が図れるようになる。
【００１５】
また、この発明によれば、低周波の原音と低周波の復元音とを、原音から低周波成分が除去された信号にミキシングする際のミキシング割合を、風音レベルに応じて適応的に制御でき、好適な低音品質を得ることができるようになる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、この発明の実施例について説明する。
【実施例１】
【００１７】
図１は、低周波帯域音声の復元装置を備えた音声信号処理装置の構成を示している。
【００１８】
入力信号は、風音の影響を抑えるためＨＰＦ１に送られる。ＨＰＦ１としては、カットオフ周波数３００Ｈｚのハイパスフィルタが用いられている。ＨＰＦ１を通過した音声信号は、低周波帯域音声復元装置１０に送られるとともに加算器２に送られる。低周波帯域音声復元装置１０によって復元された音声信号は加算器２に送られ、ＨＰＦ１を通過した音声信号に加算される。
【００１９】
低周波帯域音声復元装置１０は、ＬＰＦ１１、２乗処理部１２、ＢＰＦ１３、ゲイン補正部１４およびＥＲＭＳパワー平均算出部１５を備えている。ＬＰＦ１１としては、カットオフ周波数６００Ｈｚのローパスフィルタが用いられている。
【００２０】
ＨＰＦ１を通過した音声信号は、低周波帯域音声復元装置１０内のＬＰＦ１１を介して２乗処理部１２に送られる。ＨＰＦ１のカットオフ周波数は３００Ｈｚであり、ＬＰＦ１１のカットオフ周波数は６００Ｈｚであるので、２乗処理部１２への入力信号は、３００Ｈｚ〜６００Ｈｚの周波数帯域の信号となる。
【００２１】
したがって、例えば、図２に示す調波構造を持つ入力音声信号に対しては、２次、３次および４次の高調波成分ｈ2 、ｈ3 、ｈ4 を含む信号が２乗処理部１２に入力される。２乗処理部１２では、この入力信号を２乗することにより、各高調波成分の周波数の差および和に相当する周波数の信号が生成される。
【００２２】
つまり、２次、３次および４次の高調波成分を含む高調波信号ＩＮt を２乗することによって得られる信号ＩＮt 2 は、次式（１）で表すことができる。ただし、ω0 はピッチ周波数を表し、Ｇn はｎ次高調波成分の振幅レベルを表し、ｔは時間を表している。
【００２３】
【数１】
2008076988.tif 000003
【００２４】
２乗処理部１２によって得られた信号は、ＢＰＦ１３に送られる。ＢＰＦ１３としては、通過帯域が５０〜３００Ｈｚのバンドバスフィルタが用いられている。この例では、ピッチ周波数ω0 は約１１０Ｈｚであるので、ＢＰＦ１３によって、上記式（１）で表される信号ＩＮt 2 のうち、バイアス成分および高周波成分が除去され、次式（２）で表される信号ＳＬ’t がＢＰＦ１３から出力される。
【００２５】
【数２】
2008076988.tif 000004
【００２６】
ＥＲＭＳパワー平均算出部１５は、ＬＰＦ１１を通過した信号ＩＮt に基づいて、Ｇ2 、Ｇ3 、Ｇ4 の平均値を反映した補正値ＧＨt を算出する。補正値ＧＨt は、次式（３）に基づいて算出される。ただし、Ｋは定数であり、この例では０．９である。
【００２７】
【数３】
2008076988.tif 000005
【００２８】
ＢＰＦ１３の出力信号ＳＬ’t はゲイン補正部１４に送られる。ゲイン補正部１４には、ＥＲＭＳパワー平均算出部１５によって算出された補正値ＧＨt が与えられる。ゲイン補正部１４は、ＢＰＦ１３の出力信号ＳＬ’t を補正値ＧＨt で除算することにより、ＢＰＦ１３の出力信号ＳＬ’t に対してゲイン補正を行なう。これにより、ＨＰＦ１によって除去された３００Ｈｚ以下の周波数ω0 および２・ω0 の信号が復元される。
【００２９】
ゲイン補正部１４によって得られた信号ＳＬt （＝ＳＬ’t ／ＧＨt ）は加算器２に送られ、ＨＰＦ１を通過した信号（入力信号から３００Ｈｚ以下の信号が除去された信号）に加算される。
【００３０】
上記実施例では、ＢＰＦ１３を通過した信号に対してゲイン補正部１４によるゲイン補正が行なわれているが、２乗処理部１２の出力信号に対してゲイン補正部１４によるゲイン補正を先に行ない、ゲイン補正部１４によって得られた信号をＢＰＦ１３に送るようにしてもよい。
【００３１】
上記実施例によれば、風音対策等の必要性から入力音声信号に含まれている低周波成分をハイパスフィルタによって除去した場合でも、除去した信号に含まれている音声のピッチ情報とその倍音信号を復元することが可能である。風音は調波構造を有していないため、ピッチ情報と同様に復元されることはない。
【００３２】
電話などの最初から低周波信号が除去されている信号に対しては、ハイパスフィルタ（ＨＰＦ１）は不要となる。この場合にも、最初から除去されている信号に含まれている音声のピッチ情報とその倍音信号を復元することが可能である。
【００３３】
また、２乗処理部１２への入力信号の平均レベルに応じたゲイン補正を行なっているので、自然な音質が得られる。また、２乗処理部１２への入力信号をローパスフィルタ（ＬＰＦ１１）を用いて、主に音声が含まれる帯域に限定しているので、音声のピッチ情報を確実に復元することが可能となる。
【００３４】
なお、図１の各部は、ハードウエアで実現してもよいし、ソフトウエアで実現してもよい。
【実施例２】
【００３５】
図３は、低周波帯域音声の復元装置を備えた音声信号処理回路の構成を示している。
【００３６】
この音声信号回路では、低周波帯域音声復元装置によって得られた３００Ｈｚ以下の信号を３００Ｈｚ以上の原音にミキシングするだけではなく、３００Ｈｚ以下の原音も３００Ｈｚ以上の原音にミキシングできるようにしている。ただし、風音レベルを判定し、３００Ｈｚ以下の原音と低周波帯域音声復元装置によって得られた３００Ｈｚ以下の信号とを、３００Ｈｚ以上の原音にミキシングする際のミキシング割合を、風音レベルに応じて適応的に制御するようにしている。
【００３７】
図３に示す音声処理回路は、ステレオ入力信号のうち、左チャンネルの入力信号に対する音声処理回路を示している。図示しないが、右チャンネルの入力信号に対する音声処理回路も同様である。図３において図１と同じものには、同じ符号を付してその説明を省略する。
【００３８】
図３においては、加算器２とゲイン補正部１４との間にミキシング量を補正するための第１乗算器２１が設けられている。つまり、ゲイン補正部１４によって得られた復元信号は、第１乗算器２１を介して加算器２に送られる。
【００３９】
また、左チャンネルの入力信号から３００Ｈｚ以下の信号を抽出するためのＬＰＦ３１が設けられている。つまり、このＬＰＦ３１としては、カットオフ周波数が３００Ｈｚのローパスフィルタが用いられている。ＬＰＦ３１を通過した信号は、ミキシング量を補正するための第２乗算器３２を介して加算器２に送られる。
【００４０】
また、左チャンネルの入力信号および右チャンネルの入力信号に基づいて風音レベルを判定し、第１乗算器２１および第２乗算器３２に乗算係数Ｋ１、Ｋ２を設定する風音レベル判定部４０が設けられている。
【００４１】
左チャンネルの入力信号は、風音の影響を抑えるためＨＰＦ１に送られるとともにＬＰＦ３１に送られる。ＨＰＦ１を通過した音声信号は、低周波帯域音声復元装置１０に送られるとともに加算器２に送られる。低周波帯域音声復元装置１０によって復元された音声信号は、第１乗算器２１に送られ、乗算係数Ｋ１が乗算される。第１乗算器２１の出力信号は、加算器２に送られる。ＬＰＦ３１を通過した信号（３００Ｈｚ以下の原音信号）は、第２乗算器３２に送られ、乗算係数Ｋ２が乗算される。第２乗算器３２の出力信号は、加算器２に送られる。加算器２１では、ＨＰＦ１を通過した音声信号に、第１乗算器２１の出力信号および第２乗算器３２の出力信号がミキシングされる。
【００４２】
風音レベル判定部４０によって行なわれる風音レベル判定処理と乗算係数設定処理とについて説明する。
【００４３】
まず、風音レベル判定処理について説明する。この例では、左チャンネルと右チャンネルの低周波信号間の相互相関の強さを算出し、相関が低い場合には風音と判別し、相関が強い場合には通常の音（目的音）と判別する。
【００４４】
左右のマイクの間隔が狭く対象とする周波数帯域が低いことから、左チャンネルと右チャンネルの低周波信号間の相互相関の強さＨｓは、次式（４）で示す評価式に基づいて簡易的に算出する。
【００４５】
【数４】
2008076988.tif 000006
【００４６】
上記式（４）において、ＩＮ＿Ｌｃｈt は、時刻ｔにおける１００Ｈｚ以下の左チャンネル入力信号を表し、ＩＮ＿Ｒｃｈt は、時刻ｔにおける１００Ｈｚ以下の右チャンネル入力信号を表している。
【００４７】
次に、乗算係数設定処理について説明する。相互相関の強さＨｓに応じて、第１乗算器２１に与える乗算係数Ｋ１と、第２乗算器３２に与える乗算係数Ｋ２とを決定する。相互相関の強さＨｓは、１．０が最大値となる。相互相関の強さＨｓが大きいほど、通常の音（目的音）である可能性が高いので、Ｋ２を大きし、Ｋ１を小さくする。ここでは、Ｋ１として（１−Ｈｓ）を設定し、Ｋ２としてＨｓを設定する。
【００４８】
したがって、Ｈｓが大きく、風音が小さい場合には、低周波帯域音声復元装置１０によって復元された音声信号に比べて、ＬＰＦ３１を通過した信号（３００Ｈｚ以下の原音信号）をミキシングする割合が多くなる。逆に、Ｈｓが小さく、風音が大きい場合には、ＬＰＦ３１を通過した信号（３００Ｈｚ以下の原音信号）に比べて、低周波帯域音声復元装置１０によって復元された音声信号をミキシングする割合が多くなる。
【００４９】
上記実施例２によれば、低周波の原音と低周波の復元音を、原音から低周波成分が除去された信号にミキシングする際のミキシング割合を、風音レベルに応じて適応的に制御しているので、好適な低音品質を得ることができる。
【００５０】
図３の低周波帯域音声復元装置としては、実施例１の低周波帯域音声復元装置以外のものを用いることができる。
【００５１】
なお、図１の各部は、ハードウエアで実現してもよいし、ソフトウエアで実現してもよい。
【図面の簡単な説明】
【００５２】
【図１】低周波帯域音声の復元装置を備えた音声信号処理回路の構成を示すブロック図である。
【図２】入力音声信号のスペクトル特性の一例を示すグラフである。
【図３】低周波帯域音声の復元装置を備えた音声信号処理回路の構成を示すブロック図である。
【符号の説明】
【００５３】
１  ＨＰＦ
２  加算器
１０  低周波帯域音声復元装置
１１  ＬＰＦ
１２  ２乗処理部
１３  ＢＰＦ
１４  ゲイン補正部
１５  ＥＲＭＳパワー平均算出部
２１  第１乗算器
３１  ＬＰＦ
３２  第２乗算器
４０  風音レベル判定部
【図１】
2008076988.tif 000007
【図２】
2008076988.tif 000008
【図３】
2008076988.tif 000009
【手続補正書】
【提出日】平成19年7月17日(2007.7.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
【数４】
2008076988.tif 000010