(57)【特許請求の範囲】
【請求項１】
音声信号のサンプリング周波数をアップサンプリングしてアップサンプリング音声信号を生成するように構成されたアップサンプリング部と、
前記アップサンプリング音声信号から奇数次高調波を生成するように構成された奇数次高調波生成部と、
前記アップサンプリング音声信号から偶数次高調波を生成するように構成された偶数次高調波生成部と、前記音声信号が母音か否かを識別し、前記識別の結果に基づき第１利得値および第２利得値を生成するように構成された母音検出部と、
前記第１利得値に基づき前記奇数次高調波を増幅または減衰して利得調整し、利得調整後の奇数次高調波を出力するように構成された第１利得制御部と、
前記第２利得値に基づき前記偶数次高調波を増幅または減衰して利得調整し、利得調整後の偶数次高調波を出力するように構成された第２利得制御部と、を備え、
前記利得調整後の奇数次高調波と前記利得調整後の偶数次高調波とを前記アップサンプリング音声信号に加算して出力する、ように構成された、
音声信号処理装置。
【請求項２】
前記アップサンプリング音声信号を高域通過フィルタに通して生成される高域音声信号が、前記奇数次高調波生成部および前記偶数次高調波生成部に入力される、ように構成された、
請求項１に記載の音声信号処理装置。
【請求項３】
前記利得調整後の奇数次高調波および前記利得調整後の偶数次高調波を帯域通過フィルタに通して帯域通過音声信号を生成し、前記帯域通過音声信号を前記アップサンプリング音声信号に加算して出力する、ように構成された、
請求項１に記載の音声信号処理装置。
【請求項４】
前記母音検出部は、
前記音声信号は母音以外の音と判断したときには、前記音声信号は母音と判断したときよりも、前記第１利得値および前記第２利得値の値を小さくする、ように構成された、
請求項１に記載の音声信号処理装置。
【請求項５】
前記母音検出部は、
前記アップサンプリング音声信号を平滑化して生成される全域信号と、前記アップサンプリング音声信号を高域通過フィルタに通して生成される高域音声信号を平滑化して生成される高域信号と、前記全域信号から前記高域信号を減算して生成される低域信号と、にもとづき前記音声信号が母音か否かを識別するように構成された判定部を有する、
請求項１に記載の音声信号処理装置。
【請求項６】
前記判定部は、
前記低域信号を前記高域信号で除算し、前記除算の結果または前記除算の結果を対数演算した結果に前記全域信号を乗算し、前記乗算の結果と第１閾値とを比較して前記音声信号が母音か否かを識別する、ように構成された、
請求項５に記載の音声信号処理装置。
【請求項７】
前記母音検出部は、所定の定数を前記高域信号で除算し、前記除算の結果を前記第１利得値に乗算して第１利得値を補正する、ように構成された、
請求項５に記載の音声信号処理装置。
【請求項８】
前記母音検出部は、
前記高域音声信号または前記アップサンプリング音声信号の自己相関演算を行い、前記自己相関演算の結果と第２閾値とを比較して前記音声信号が母音か否かを識別する、ように構成された、
請求項２に記載の音声信号処理装置。
【請求項９】
前記母音検出部は、
前記音声信号が無音または実質的に無音と見なせる微弱音のときには、前記第１利得値および前記第２利得値を０とする、ように構成された
請求項１に記載の音声信号処理装置。
【請求項１０】
音声信号のサンプリング周波数をアップサンプリングしてアップサンプリング音声信号を生成するステップと、
前記アップサンプリング音声信号から奇数次高調波と偶数次高調波を生成するステップと、
前記音声信号が母音か否かを識別し、前記識別の結果に基づき第１利得値および第２利得値を生成するステップと、
前記第１利得値に基づき前記奇数次高調波を増幅または減衰して利得調整するステップと、
前記第２利得値に基づき前記偶数次高調波を増幅または減衰して利得調整するステップと、
前記利得調整後の奇数次高調波と前記利得調整後の偶数次高調波とを前記アップサンプリング音声信号に加算して出力するステップと、を備えた、
音声信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声信号処理装置および音声信号処理方法に関する。
【背景技術】
【０００２】
特許文献１は、音声信号を処理する方法を開示する。この方法では、原信号の少なくとも一部に基づいて高調波信号を発生する。そして、その高調波信号の少なくとも一部を原信号と結合する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００５−５０１２７８号公報
【発明の概要】
【０００４】
本開示は、音声信号の再生音声の音質を改善してより自然な音声にし、ユーザに聞き取りやすくするための音声信号処理装置および音声信号処理方法を提供する。
【０００５】
本開示における音声信号処理装置は、アップサンプリング部と、奇数次高調波生成部と、偶数次高調波生成部と、母音検出部と、第１利得制御部と、第２利得制御部と、を備えている。この音声信号処理装置において、アップサンプリング部は、音声信号のサンプリング周波数をアップサンプリングしてアップサンプリング音声信号を生成するように構成されている。奇数次高調波生成部は、アップサンプリング音声信号から奇数次高調波を生成するように構成されている。偶数次高調波生成部は、アップサンプリング音声信号から偶数次高調波を生成するように構成されている。母音検出部は、音声信号が母音か否かを識別し、その識別の結果に基づき第１利得値および第２利得値を生成するように構成されている。第１利得制御部は、第１利得値に基づき奇数次高調波を増幅または減衰して利得調整し、利得調整後の奇数次高調波を出力するように構成されている。第２利得制御部は、第２利得値に基づき偶数次高調波を増幅または減衰して利得調整し、利得調整後の偶数次高調波を出力するように構成されている。そして、音声信号処理装置は、利得調整後の奇数次高調波と利得調整後の偶数次高調波とをアップサンプリング音声信号に加算して出力するように構成されている。
【０００６】
本開示における音声信号処理方法は、音声信号のサンプリング周波数をアップサンプリングしてアップサンプリング音声信号を生成するステップと、アップサンプリング音声信号から奇数次高調波と偶数次高調波を生成するステップと、音声信号が母音か否かを識別し、その識別の結果に基づき第１利得値および第２利得値を生成するステップと、第１利得値に基づき奇数次高調波を増幅または減衰して利得調整するステップと、第２利得値に基づき偶数次高調波を増幅または減衰して利得調整するステップと、利得調整後の奇数次高調波と利得調整後の偶数次高調波とをアップサンプリング音声信号に加算して出力するステップと、を備えている。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施の形態１における音声信号処理装置の一構成例を概略的に示すブロック図である。
【図２】図２は、実施の形態１における奇数次高調波生成部の一構成例を概略的に示すブロック図である。
【図３Ａ】図３Ａは、実施の形態１における奇数次高調波生成部の入力信号波形の一例を概略的に示す図である。
【図３Ｂ】図３Ｂは、実施の形態１における奇数次高調波生成部の信号波形の一例を概略的に示す図である。
【図３Ｃ】図３Ｃは、実施の形態１における奇数次高調波生成部の出力信号波形の一例を概略的に示す図である。
【図４】図４は、実施の形態１における偶数次高調波生成部の一構成例を概略的に示すブロック図である。
【図５Ａ】図５Ａは、実施の形態１における偶数次高調波生成部の入力信号波形の一例を概略的に示す図である。
【図５Ｂ】図５Ｂは、実施の形態１における偶数次高調波生成部の出力信号波形の一例を概略的に示す図である。
【図６】図６は、実施の形態１における母音検出部の一構成例を概略的に示すブロック図である。
【図７】図７は、実施の形態１における判定部の一構成例を概略的に示すブロック図である。
【図８】図８は、他の実施の形態における母音検出部の一構成例を概略的に示すブロック図である。
【図９】図９は、他の実施の形態における母音検出部の一構成例を概略的に示すブロック図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１０】
（実施の形態１）
以下、図１〜図７を用いて、実施の形態１について説明する。
【００１１】
［１−１．音声信号処理装置の構成］
図１は、実施の形態１における音声信号処理装置１００の一構成例を概略的に示すブロック図である。
【００１２】
音声信号処理装置１００は、入力端子１０１、アップサンプリング部１０２、高域通過フィルタであるＨＰＦ（Ｈｉｇｈ−Ｐａｓｓ  Ｆｉｌｔｅｒ）１０３、奇数次高調波生成部１０４、偶数次高調波生成部１０５、第１利得制御部１０６、第２利得制御部１０７、母音検出部１０８、第１加算部１０９、帯域通過フィルタであるＢＰＦ（Ｂａｎｄ−Ｐａｓｓ  Ｆｉｌｔｅｒ）１１０、遅延部１１１、第２加算部１１２、および出力端子１１３、を備える。
【００１３】
入力端子１０１には、音声信号が入力される。入力端子１０１に入力された音声信号は、アップサンプリング部１０２に入力される。この入力音声信号は、アナログの音声信号を所定のサンプリング周波数でサンプリングすることによって生成されたデジタルの音声信号である。このサンプリング周波数は、例えば、電話回線であれば８ｋＨｚであり、音楽ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）であれば４４．１ｋＨｚである。本実施の形態では、電話回線による音声信号を音声信号処理装置１００で信号処理し、周波数帯域を拡張する例を説明する。この音声信号の帯域は、例えば、３００〜３４００Ｈｚである。しかし、音声信号処理装置１００で信号処理する音声信号は、何ら電話回線の音声信号に限定されない。
【００１４】
アップサンプリング部１０２は、入力端子１０１から入力された音声信号のサンプリング周波数を上げてアップサンプリング音声信号を生成し、ＨＰＦ１０３と遅延部１１１のそれぞれに出力するように構成されている。アップサンプリング部１０２は、例えば電話回線であれば、８ｋＨｚでサンプリングされた音声信号を２倍の１６ｋＨｚでサンプリングされた音声信号に変換して、ＨＰＦ１０３と遅延部１１１のそれぞれに出力する。これにより、音声信号処理装置１００では、音声信号の周波数帯域を、入力音声信号の約２倍（例えば、３００〜６８００Ｈｚ）に上げることが可能となる。なお、アップサンプリング部１０２で音声信号のサンプリング周波数を上げる手法（アップサンプリング）は一般に知られた手法であるので、説明を省略する。また、本実施の形態では、アップサンプリング部１０２でサンプリング周波数を２倍に上げる例を示すが、アップサンプリングは何ら２倍の周波数に限定されるものではない。
【００１５】
ＨＰＦ１０３は、奇数次高調波生成部１０４と偶数次高調波生成部１０５にとって不要な低域成分をアップサンプリング音声信号から減衰させて高域音声信号を生成するように構成されている。ＨＰＦ１０３は、例えば、１７００Ｈｚ以上の音声信号が通過するように設定されている。そして、生成した高域音声信号を奇数次高調波生成部１０４と偶数次高調波生成部１０５と母音検出部１０８とのそれぞれに出力する。言い換えると、ＨＰＦ１０３は、アップサンプリング音声信号から所定の周波数（例えば、１７００Ｈｚ）以上の信号を抽出して高域音声信号を生成し、奇数次高調波生成部１０４と偶数次高調波生成部１０５と母音検出部１０８とのそれぞれに出力する。なお、所定の周波数は何ら１７００Ｈｚに限定されるものではない。
【００１６】
奇数次高調波生成部１０４は、ＨＰＦ１０３から出力される高域音声信号から奇数次（３倍、５倍、７倍、・・・）の高調波を生成し、第１利得制御部１０６に出力するように構成されている。奇数次高調波生成部１０４の詳細は後述する。
【００１７】
偶数次高調波生成部１０５は、ＨＰＦ１０３から出力される高域音声信号から偶数次（２倍、４倍、６倍、・・・）の高調波を生成し、第２利得制御部１０７に出力するように構成されている。偶数次高調波生成部１０５の詳細は後述する。
【００１８】
第１利得制御部１０６は、奇数次高調波生成部１０４から出力される奇数次高調波を、母音検出部１０８から出力される利得値（第１利得値）にもとづき増幅または減衰して出力するように構成されている。以下、この出力信号を、「利得調整後の奇数次高調波」とも記す。
【００１９】
第２利得制御部１０７は、偶数次高調波生成部１０５から出力される偶数次高調波を、母音検出部１０８から出力される利得値（第２利得値）にもとづき増幅または減衰して出力するように構成されている。以下、この出力信号を、「利得調整後の偶数次高調波」とも記す。
【００２０】
母音検出部１０８は、ＨＰＦ１０３から出力される高域音声信号と、遅延部１１１から出力される第１遅延音声信号とにもとづき、音声信号が母音か母音以外の音かを判定し、その判定結果にもとづく利得値（第１利得値、第２利得値）を生成するように構成されている。母音検出部１０８は、判定結果が母音以外の音であれば、判定結果が母音のときに比べて、小さい利得値（例えば、半分程度）を生成する。これは、母音よりも子音の方が、相対的に振幅が大きい高調波が発生しやすいためである。母音検出部１０８は、生成した第１利得値を第１利得制御部１０６に出力し、生成した第２利得値を第２利得制御部１０７に出力する。第１利得値と第２利得値とは、互いに同じ数値であってもよく、互いに異なる数値であってもよい。母音検出部１０８の詳細は後述する。
【００２１】
第１加算部１０９は、第１利得制御部１０６から出力される利得調整後の奇数次高調波と、第２利得制御部１０７から出力される利得調整後の偶数次高調波とを加算して第１加算信号を生成し、ＢＰＦ１１０に出力するように構成されている。
【００２２】
ＢＰＦ１１０は、第１加算部１０９から出力される第１加算信号から、所定の周波数帯域を抽出して帯域通過音声信号を生成し、第２加算部１１２に出力するように構成されている。ＢＰＦ１１０は、例えば、第１加算信号から、入力端子１０１に入力された音声信号と重複する周波数帯域を減衰させて、帯域通過音声信号を生成する。入力音声信号の周波数帯域が、例えば３４００Ｈｚまでであれば、ＢＰＦ１１０は、３４００〜６８００Ｈｚの帯域通過音声信号を生成する。
【００２３】
遅延部１１１は、高域音声信号と第１遅延音声信号とのタイミングが母音検出部１０８で揃うように、ＨＰＦ１０３での時間遅延と同じ時間だけアップサンプリング音声信号を遅延させて、第１遅延音声信号を生成するように構成されている。また、遅延部１１１は、帯域通過音声信号と第２遅延音声信号とのタイミングが第２加算部１１２で揃うように、ＨＰＦ１０３やＢＰＦ１１０等で生じる時間遅延と同じ時間だけアップサンプリング音声信号を遅延させて、第２遅延音声信号を生成するように構成されている。第１遅延音声信号は母音検出部１０８に出力され、第２遅延音声信号は第２加算部１１２に出力される。
【００２４】
第２加算部１１２は、ＢＰＦ１１０から出力される帯域通過音声信号を、遅延部１１１から出力される第２遅延音声信号に加算して、第２加算信号を生成するように構成されている。これにより、入力端子１０１に入力された音声信号と比較して周波数帯域が拡張された音声信号（第２加算信号）が生成される。生成された第２加算信号は、出力端子１１３から出力される。
【００２５】
［１−２．奇数次高調波生成部の構成］
次に、奇数次高調波生成部１０４について説明する。
【００２６】
図２は、実施の形態１における奇数次高調波生成部１０４の一構成例を概略的に示すブロック図である。
【００２７】
図３Ａは、実施の形態１における奇数次高調波生成部１０４の入力信号波形の一例を概略的に示す図である。図３Ｂは、実施の形態１における奇数次高調波生成部１０４の信号波形の一例を概略的に示す図である。図３Ｃは、実施の形態１における奇数次高調波生成部１０４の出力信号波形の一例を概略的に示す図である。図３Ａ〜３Ｃに示す各波形は、図２のＡ〜Ｃの各点における信号波形である。
【００２８】
奇数次高調波生成部１０４は、入力端子２０１、二乗演算部２０２、符号付与部２０３、および出力端子２０４、を備える。
【００２９】
入力端子２０１には、ＨＰＦ１０３から出力される高域音声信号が入力される。ここでは、一例として、図３Ａに示すように、入力端子２０１に高域音声信号として正弦波３０１が入力される例を示す。
【００３０】
二乗演算部２０２は、入力端子２０１に入力される高域音声信号を二乗して出力するように構成されている。これにより、負極性の信号は正極性の信号となる。例えば、図３Ａに示した正弦波３０１が、二乗演算部２０２で二乗されると、図３Ｂに示す正弦波３０２となって、二乗演算部２０２から出力される。
【００３１】
符号付与部２０３は、二乗演算部２０２で二乗された高域音声信号に対して、入力端子２０１に入力された高域音声信号の符号を付与し、符号が付与された信号を、出力端子２０４から、奇数次高調波として出力するように構成されている。これにより、二乗演算部２０２で負極性から正極性になった信号は、元の負極性の信号に戻る。例えば、図３Ｂに示した正弦波３０２に、入力端子２０１に入力された正弦波３０１の符号が付与されると、図３Ｃに示す正弦波３０３となる。
【００３２】
図３Ａと図３Ｃとの比較からわかるように、奇数次高調波生成部１０４に入力される正弦波３０１に比べて、奇数次高調波生成部１０４から出力される正弦波３０３は、波形が歪んでいる。この正弦波３０３の歪は、奇数次（１次、３次、５次・・・）の高調波によるものである。
【００３３】
［１−３．偶数次高調波生成部の構成］
次に、偶数次高調波生成部１０５について説明する。
【００３４】
図４は、実施の形態１における偶数次高調波生成部１０５の一構成例を概略的に示すブロック図である。
【００３５】
図５Ａは、実施の形態１における偶数次高調波生成部１０５の入力信号波形の一例を概略的に示す図である。図５Ｂは、実施の形態１における偶数次高調波生成部１０５の出力信号波形の一例を概略的に示す図である。図５Ａ、Ｂに示す各波形は、図４のＡ、Ｂ各点における信号波形である。
【００３６】
偶数次高調波生成部１０５は、入力端子４０１、絶対値演算部４０２、および出力端子４０３、を備える。
【００３７】
入力端子４０１には、ＨＰＦ１０３から出力される高域音声信号が入力される。ここでは、一例として、図５Ａに示すように、入力端子４０１に高域音声信号として正弦波５０１が入力される例を示す。
【００３８】
絶対値演算部４０２は、入力端子４０１に入力される高域音声信号の絶対値を算出し、絶対値化された信号を、出力端子４０３から、偶数次高調波として出力するように構成されている。これにより、負極性の信号は正極性の信号となる。例えば、図５Ａに示した正弦波５０１が絶対値化されると、図５Ｂに示す正弦波５０２となる。
【００３９】
図５Ａと図５Ｂとの比較からわかるように、偶数次高調波生成部１０５に入力される正弦波５０１に比べて、偶数次高調波生成部１０５から出力される正弦波５０２は、波形が大きく歪んでいる。この正弦波５０２の歪は、偶数次（０次、２次、４次・・・）の高調波によるものである。
【００４０】
［１−４．母音検出部の構成］
次に、母音検出部１０８について説明する。
【００４１】
図６は、実施の形態１における母音検出部１０８の一構成例を概略的に示すブロック図である。
【００４２】
母音検出部１０８は、入力端子６０１、入力端子６０２、第１平滑化部６０３、第２平滑化部６０４、減算部６０５、判定部６０６、出力端子６０７、および出力端子６０８、を備える。
【００４３】
入力端子６０１には、ＨＰＦ１０３から出力される高域音声信号が入力される。
【００４４】
入力端子６０２には、遅延部１１１から出力される第１遅延音声信号が入力される。
【００４５】
第１平滑化部６０３は、第１入力端子６０１から入力される高域音声信号に積分平滑処理を施して、減算部６０５と判定部６０６に出力するように構成されている。
【００４６】
第２平滑化部６０４は、第２入力端子６０２から入力される第１遅延音声信号に積分平滑処理を施して、減算部６０５と判定部６０６に出力するように構成されている。
【００４７】
減算部６０５は、第２平滑化部６０４から出力される信号（以下、「全域信号」とも記す）から、第１平滑化部６０３から出力される信号（以下、「高域信号」とも記す）を差し引いた信号（以下、「低域信号」とも記す）を生成し、その低域信号を判定部６０６に出力するように構成されている。
【００４８】
判定部６０６は、第１平滑化部６０３から入力される高域信号と、第２平滑化部６０４から入力される全域信号と、減算部６０５から入力される低域信号とにもとづき、音声信号が母音か母音以外の音かを判定し、その判定結果にもとづき利得値（第１利得値、第２利得値）を生成するように構成されている。判定部６０６は、音声信号を母音以外の音と判定したときには、音声信号を母音と判定したときと比較して小さい（例えば、半分程度の）利得値を生成する。すなわち、第１利得値、第２利得値ともに、音声信号は母音以外の音と判定されたときには、音声信号は母音と判定されたときよりも、小さい数値となる。これは、上述したように、母音よりも子音の方が、相対的に振幅が大きい高調波が発生しやすいためである。そして、判定部６０６は、第１利得値を第１利得制御部１０６に出力し、第２利得値を第２利得制御部１０７に出力する。
【００４９】
第１出力端子６０７は、第１利得制御部１０６に、奇数次高調波の利得値（第１利得値）を出力するための端子である。
【００５０】
第２出力端子６０８は、第２利得制御部１０７に、偶数次高調波の利得値（第２利得値）を出力するための端子である。
【００５１】
［１−５．判定部の構成］
次に、判定部６０６について説明する。
【００５２】
図７は、実施の形態１における判定部６０６の一構成例を概略的に示すブロック図である。
【００５３】
判定部６０６は、入力端子７０１、入力端子７０２、入力端子７０３、第１除算部７０４、対数演算部７０５、第１乗算部７０６、第１比較部７０７、および利得係数生成部７０８、を備える。
【００５４】
入力端子７０１には、第２平滑化部６０４から出力される全域信号が入力される。
【００５５】
入力端子７０２には、減算部６０５から出力される低域信号が入力される。
【００５６】
入力端子７０３には、第１平滑化部６０３から出力される高域信号が入力される。
【００５７】
第１除算部７０４は、入力端子７０２から入力される低域信号を、入力端子７０３から入力される高域信号で除算し、その演算結果（低域信号の振幅／高域信号の振幅）を対数演算部７０５に出力するように構成されている。音声信号が母音であれば、この演算結果は、音声信号が母音以外の音のときと比較して、大きい値となる。
【００５８】
対数演算部７０５は、第１除算部７０４の出力に対数演算を施して第１乗算部７０６に出力するように構成されている。この対数演算により、第１除算部７０４の出力の変化の幅が抑えられる。
【００５９】
第１乗算部７０６は、対数演算部７０５の出力に、入力端子７０１から入力される全域信号を乗算して第１比較部７０７に出力するように構成されている。この乗算により、母音のときには相対的に大きい値が第１乗算部７０６から出力され、母音以外の音（例えば、子音、無音、無音に近い微弱な音、等）のときには相対的に小さい値が第１乗算部７０６から出力される。
【００６０】
第１比較部７０７は、第１乗算部７０６の出力値と第１閾値との比較を行い、第１乗算部７０６の出力値が第１閾値よりも大きいときには、高域音声信号を母音とみなして“１”を出力し、第１乗算部７０６の出力値が第１閾値以下のときには、高域音声信号を母音以外の音とみなして“０”を出力するように構成されている。なお、第１比較部７０７は、１と０を逆にして出力するように構成されていてもよい。また、第１閾値は、母音と母音以外の音とを識別できるように適切な値に設定されているものとする。
【００６１】
利得係数生成部７０８は、第１比較部７０７から出力される判定結果にもとづき、第１利得値と第２利得値を生成して出力するように構成されている。第１比較部７０７における判定結果が母音のとき、利得係数生成部７０８は、第１利得値と第２利得値を、それぞれ母音用の利得値とする。第１比較部７０７における判定結果が母音以外の音のとき、利得係数生成部７０８は、第１利得値と第２利得値を、それぞれ母音用の利得値よりも小さい利得値（子音用の利得値）とする。この子音用の利得値は、例えば、母音用の利得値の約半分に設定されているが、本開示は何らこの設定に限定されない。第１利得値、第２利得値のそれぞれに適用する利得値は、音質が良好になるようにあらかじめ調整された利得値が利得係数生成部７０８にあらかじめ記憶されたものであってもよい。また、第１利得値と第２利得値とは、互いに同じ値であってもよく、互いに異なる値であってもよい。
【００６２】
なお、音声信号処理装置１００が行う、入力音声信号をアップサンプリングしてから第２加算信号を出力するまでの一連の処理は、単位時間（例えば、サンプリング周期）毎に実行されてもよい。
【００６３】
［１−５．効果等］
実施の形態１における音声信号処理装置１００は、アップサンプリング部１０２と、奇数次高調波生成部１０４と、偶数次高調波生成部１０５と、母音検出部１０８と、第１利得制御部１０６と、第２利得制御部１０７と、を備えている。この音声信号処理装置１００において、アップサンプリング部１０２は、音声信号のサンプリング周波数をアップサンプリングしてアップサンプリング音声信号を生成するように構成されている。奇数次高調波生成部１０４は、アップサンプリング音声信号から奇数次高調波を生成するように構成されている。偶数次高調波生成部１０５は、アップサンプリング音声信号から偶数次高調波を生成するように構成されている。母音検出部１０８は、音声信号が母音か否かを識別し、その識別の結果に基づき第１利得値および第２利得値を生成するように構成されている。第１利得制御部１０６は、第１利得値に基づき奇数次高調波を増幅または減衰して利得調整し、利得調整後の奇数次高調波を出力するように構成されている。第２利得制御部１０７は、第２利得値に基づき偶数次高調波を増幅または減衰して利得調整し、利得調整後の偶数次高調波を出力するように構成されている。そして、音声信号処理装置１００は、利得調整後の奇数次高調波と利得調整後の偶数次高調波とをアップサンプリング音声信号に加算して出力するように構成されている。
【００６４】
音声信号処理装置１００は、アップサンプリング音声信号を高域通過フィルタ（ＨＰＦ１０３）に通して生成される高域音声信号が、奇数次高調波生成部１０４および偶数次高調波生成部１０５に入力される、ように構成されている。
【００６５】
音声信号処理装置１００は、利得調整後の奇数次高調波および利得調整後の偶数次高調波を帯域通過フィルタ（ＢＰＦ１１０）に通して帯域通過音声信号を生成し、帯域通過音声信号をアップサンプリング音声信号に加算して出力する、ように構成されている。
【００６６】
母音検出部１０８は、音声信号は母音以外の音と判断したときには、音声信号は母音と判断したときよりも、第１利得値および第２利得値の値を小さくする、ように構成されている。
【００６７】
また、母音検出部１０８は、アップサンプリング音声信号を平滑化して生成される全域信号と、高域音声信号を平滑化して生成される高域信号と、全域信号から高域信号を減算して生成される低域信号と、にもとづき音声信号が母音か否かを識別するように構成された判定部６０６を有する。
【００６８】
判定部６０６は、低域信号を高域信号で除算し、その除算の結果を対数演算し、その対数演算の結果に全域信号を乗算し、その乗算の結果と第１閾値とを比較して音声信号が母音か否かを識別する、ように構成されている。
【００６９】
また、母音検出部１０８は、音声信号が無音または実質的に無音と見なせる微弱音のときには、第１利得値および第２利得値を０とする、ように構成されている。
【００７０】
デジタル音声信号は、サンプリング周波数にもとづく周波数帯域に制限される。したがって、サンプリング周波数が比較的低い電話回線等では、高域の周波数帯域が失われ、その再生音声は不自然な音声としてユーザに認識されることがある。この高域の音声信号には低域の音声信号の高調波が含まれていることが確認されている。そして、高域が失われた原信号から高調波を生成し、原信号にその高調波を足し合わせることで、ユーザは、その再生音声をより自然な音声と認識する傾向にあることが確認されている。
【００７１】
本実施の形態における音声信号処理装置１００は、入力音声信号をアップサンプリングするとともに入力音声信号から高調波を生成し、その高調波をアップサンプリングした音声信号に足し合わせて音声信号の周波数帯域を拡大することができる。したがって、電話回線の音声信号等、高域が失われた音声信号を、周波数帯域を拡大し、より自然な音声として再生することができる。
【００７２】
しかし、音声の母音と子音とでは周波数が互いに異なるため、生成される高調波に差が生じることがある。具体的には、子音の方が母音よりも強い高調波が生成されやすい。そのため、単に高調波を生成して原信号に足すだけでは、再生音声の母音と子音とはアンバランスになる可能性が高い。
【００７３】
本実施の形態における音声信号処理装置１００は、母音と、子音等の母音以外の音とを識別し、その識別結果にもとづき互いに異なる利得値を生成し、その利得値にもとづき高調波を増幅または減衰して利得調整し、利得調整後の高調波をアップサンプリングした音声信号に足し合わせることができる。すなわち、母音と母音以外の音とで利得値を変えて高調波を生成することができる。これにより、再生音声の周波数帯域を、母音、子音ともにバランスよく拡大することができるので、より聞き取りやすい自然な再生音声を実現することが可能となる。さらに、音声信号処理装置１００は、奇数次高調波と偶数次高調波とを、互いに異なる利得値で増幅または減衰することができるので、より聞き取りやすい自然な再生音声を実現することができる。
【００７４】
すなわち、本実施の形態における音声信号処理装置１００は、音声信号の再生音声の音質を改善してより自然な音声にし、ユーザに聞き取りやすくすることが可能である。
【００７５】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００７６】
そこで、以下、他の実施の形態を例示する。
【００７７】
実施の形態１で説明した母音検出部１０８は、以下のように構成することも可能である。
【００７８】
図８は、他の実施の形態における母音検出部１０８１の一構成例を概略的に示すブロック図である。
【００７９】
図８に示す母音検出部１０８１は、実施の形態１に示した母音検出部１０８と、以下の相違点がある。母音検出部１０８１は、相関演算部８０１、第２比較部８０２、および利得係数生成部７０８、を有する。
【００８０】
相関演算部８０１は、入力端子６０１から入力される高域音声信号の自己相関演算を行い、その演算の結果（自己相関演算結果）を第２比較部８０２に出力するように構成されている。なお、相関演算部８０１での自己相関演算は、様々なシフト時間を設定して行う必要はない。例えば、０．２ｍｓｅｃ程度のシフト時間で、１ｍｓｅｃ程度の時間長の自己相関演算を行うことで、母音とそれ以外との識別が可能である。
【００８１】
第２比較部８０２は、相関演算部８０１から出力される自己相関演算結果と第２閾値との比較を行い、自己相関演算結果が第２閾値よりも大きいときには、音声信号を母音とみなして“１”を出力し、自己相関演算結果が第２閾値以下のときは、音声信号を母音以外の音とみなして“０”を出力するように構成されている。なお、第２比較部８０２は、１と０を逆にして出力するように構成されていてもよい。また、第２閾値は、母音と母音以外の音とを識別できるように適切な値に設定されているものとする。
【００８２】
これにより、母音検出部１０８１は、実施の形態１に示した母音検出部１０８と比較して、簡単な構成で母音検出が行えるため、母音検出のための演算量を削減（回路で構成する場合は、素子数を削減）することができる。
【００８３】
実施の形態１に示した母音検出部１０８は、以下のように構成することも可能である。
【００８４】
図９は、他の実施の形態における母音検出部１０８２の一構成例を概略的に示すブロック図である。
【００８５】
図９に示す母音検出部１０８２は、実施の形態１に示した母音検出部１０８と、以下の相違点がある。母音検出部１０８２は、実施の形態１に示した母音検出部１０８に、さらに、第２除算部９０１、および第２乗算部９０２、を追加した構成である。以下、この相違点について説明する。
【００８６】
第２除算部９０１は、第１平滑化部６０３が出力する高域信号を除数とし、所定の定数を被除数として、除算を行うように構成されている。この所定の定数は、最大振幅の高域音声信号が入力されたときに第１平滑化部６０３が出力する高域信号の振幅に相当する値（すなわち、高域信号の最大値）である。これにより、第２除算部９０１は、高域音声信号の振幅に反比例した値を出力する。
【００８７】
第２乗算部９０２は、第２除算部９０１の出力を第１利得値に乗算し、その乗算結果を補正後第１利得値として出力するように構成されている。
【００８８】
二乗演算部２０２では高域音声信号を二乗しているので、奇数次高調波の振幅は高域音声信号の振幅の二乗に比例した数値となる。しかし、第２乗算部９０２により、第１利得値を高域音声信号の振幅に反比例した数値に補正することができる。これにより、利得調整後の奇数次高調波の振幅は、高域音声信号の振幅に比例するようになる。したがって、利得調整後の偶数次高調波と比較して、利得調整後の奇数次高調波の振幅が大きくなる、といったことが抑制される。すなわち、母音検出部１０８２を用いた音声信号処理装置では、利得調整後の奇数次高調波と利得調整後の偶数次高調波とで振幅のバランスをとることが可能になるので、再生音声の品質をより向上することができる。
【００８９】
実施の形態１では、母音検出部１０８から出力される第１利得値と第２利得値の比率について特に言及しなかったが、母音のときの第１利得値と第２利得値の比率と、母音以外の音のときの第１利得値と第２利得値の比率とが互いに異なる比率になるように、各利得値が設定されていてもよい。この構成では、母音のときと母音以外の音のときとで、高調波の音質を変えることもできる。これにより、再生音声の音質を、ユーザが好む音質に調整することも可能となる。
【００９０】
例えば、真空管素子を用いたアンプを使用した再生音声は、２次高調波の振幅は相対的に大きいが、３次以上の高調波の振幅は急激に小さくなるという歪特性があり、その再生音声は主観的に柔らかい音と評価される傾向にある。また、トランジスタ素子を用いたアンプを使用した再生音声は、偶数次の高調波に比べて奇数次の高調波の方が振幅が大きいという歪特性があり、その再生音声は主観的に鋭い音と評価される傾向にある。これらのことから、柔らかい音が好みのユーザに対しては、第２利得値を相対的に大きくし、鋭い音が好みのユーザに対しては、第１利得値を相対的に大きくする、といったユーザの好みに応じた音質制御が、上述の構成では可能になる。さらに、母音と判定された音声信号に対しては第２利得値を相対的に大きくし、子音等の母音以外の音と判定された音声に対しては第１利得値を相対的に大きくすることで、母音は柔らかい音質にし子音は鋭い音質にして自然さと明瞭さを両立させる、といった音質制御も、上述の構成では可能になる。
【００９１】
実施の形態１では、母音検出部１０８で母音と母音以外の音とを識別する構成例を説明したが、本開示は何らこの構成に限定されない。
【００９２】
母音検出部は、音声信号を母音以外の音と判断したとき、その音声信号は無音または実質的に無音と見なせる微弱音かどうかをさらに識別し、無音または微弱音と判断したときには、第１利得値と第２利得値を“０”とするように構成されてもよい。この構成では、無音または実質的に無音と見なせる微弱音の音声信号に高調波が付加されることを防止し、ＳＮ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ、信号対ノイズ）比の悪化を防ぐことができる。また、声帯振動を伴わない無声子音と声帯振動を伴う有声子音とを識別し、それぞれに最適な第１利得値、第２利得値を設定するように母音検出部を構成することで、周波数帯域拡張後の子音の音質をより良くすることができる。さらに、子音をより細かく識別し、それぞれに最適な第１利得値、第２利得値を設定するように母音検出部を構成することで、周波数帯域拡張後の子音の音質をさらに良くすることができる。
【００９３】
実施の形態１では、判定部６０６において、第１除算部７０４の演算結果に対数演算部７０５で対数演算を施す例を説明したが、本開示は何らこの構成に限定されない。
【００９４】
判定部は対数演算部７０５を省略して構成されてもよい。この構成では、第１閾値の値を適切に変更することで、第１比較部７０７は、対数演算部７０５を有する構成と実質的に同様の結果を出力することができる。これにより、判定部における演算量を削減（回路で構成する場合は、素子数を削減）することが可能となる。
【００９５】
上述の図８に示す例では、母音検出部１０８１の相関演算部８０１は、ＨＰＦ１０３から出力される高域音声信号に基づいて自己相関演算を行ったが、本開示は何らこの構成に限定されない。
【００９６】
相関演算部８０１に、ＨＰＦ１０３を通さない音声信号、すなわちアップサンプリング部１０２から出力されるアップサンプリング音声信号、を入力し、このアップサンプリング音声信号に基づいて自己相関演算を行うように相関演算部８０１を構成してもよい。これにより、相関演算部８０１は、低域成分の多い母音をより正確に検出することができる。
【００９７】
実施の形態１では、入力音声信号がアップサンプリング部１０２で２倍のサンプリング周波数にアップサンプリングされる例を説明したが、本開示は何らこの構成に限定されない。
【００９８】
アップサンプリング部１０２は、入力音声信号を２倍以上のサンプリング周波数（例えば、４倍のサンプリング周波数）にアップサンプリングするように構成されてもよい。これにより、より高い周波数の高調波を原信号に加算することができるようになり、より自然な音声信号を生成することができる。
【００９９】
実施の形態１では、単位時間をサンプリング周期とし、母音検出部１０８は、この単位時間（サンプリング周期）毎に、音声信号が母音か母音以外の音かを識別する構成例を説明した。しかし、本開示は何らこの構成に限定されない。
【０１００】
単位時間はサンプリング周期よりも長い時間に設定されてもよい。例えばサンプリング周期の複数倍の周期毎に、音声信号が母音か母音以外の音かを識別するように、母音検出部を構成してもよい。単位時間を適切に設定することで、音声信号処理装置での音声信号の周波数帯域拡大を適切に行いながら、母音検出部における演算量を削減（回路で構成する場合は、素子数を削減）することができる。
【０１０１】
実施の形態１では、奇数次高調波および偶数次高調波を音声信号に加算する例を示したが、本開示は何らこの構成に限定されない。
【０１０２】
例えば、ホワイトノイズ発生器を音声信号処理装置に設け、高調波だけでなく、ホワイトノイズ発生器が発生する雑音（ホワイトノイズ）も原信号に加算するように音声信号処理装置を構成してもよい。この構成では、周波数帯域拡張による再生音声の音質改善効果をさらに向上することができる。特に、母音検出部１０８で音声信号は母音以外の音であると判定されたときに、音声信号の振幅に応じた雑音を音声信号に付加することで、周波数帯域拡張の効果をより高めることができる。
【０１０３】
実施の形態１では、奇数次高調波生成部１０４から出力される奇数次高調波が第１利得制御部１０６に直接入力される構成を説明したが、本開示は何らこの構成に限定されない。
【０１０４】
図２を用いて説明した方法で奇数次高調波を発生させ、図４を用いて説明した方法で偶数次高調波を発生させると、偶数次高調波と比較して、奇数次高調波の振幅は、次数が高くなるにつれて減衰が大きくなりやすいことが確認されている。例えば、偶数次高調波の１つである２次高調波と奇数次高調波の１つである３次高調波が互いにほぼ同じ振幅になるように第１利得値、第２利得値を調整しても、６次高調波の振幅よりも７次高調波の振幅の方が小さくなることがある。そこで、奇数次高調波生成部１０４と第１利得制御部１０６の間に、減衰特性が偶数次高調波と実質的に同じになるように奇数次高調波の高域を強調するように設定された高域強調部を追加してもよい。この構成では、奇数次高調波の振幅と偶数次高調波の振幅を高次までそろえることが可能となるので、周波数帯域拡張の効果をより高めることができる。
【０１０５】
実施の形態に示した音声信号処理装置を構成する各構成要素（奇数次高調波生成部、偶数次高調波生成部、母音検出部、等）は、それぞれを独立した専用の回路で構成してもよく、あるいは、各構成要素における動作を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。また、このときのプログラムは、サーバ等からのダウンロードにより取得されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）を介して取得されてもよい。
【０１０６】
なお、実施の形態に示した具体的な数値は、単に一例を示したものに過ぎず、本開示は何らこれらの数値に限定されるものではない。各数値は、装置やシステムの仕様等にあわせて最適な値に設定することが望ましい。
【産業上の利用可能性】
【０１０７】
本開示は、音質改善を目的とした音声信号処理装置に適用可能である。具体的には、ハンズフリーの通話装置、携帯電話、スマートフォン、デジタル音声通信装置、デジタル音声信号再生装置、等に本開示は適用可能である。
【符号の説明】
【０１０８】
１００    音声信号処理装置
１０１，２０１，４０１，６０１，６０２，７０１，７０２，７０３    入力端子
１０２    アップサンプリング部
１０３    ＨＰＦ
１０４    奇数次高調波生成部
１０５    偶数次高調波生成部
１０６    第１利得制御部
１０７    第２利得制御部
１０８，１０８１，１０８２    母音検出部
１０９    第１加算部
１１０    ＢＰＦ
１１１    遅延部
１１２    第２加算部
１１３，２０４，４０３，６０７，６０８    出力端子
２０２    二乗演算部
２０３    符号付与部
３０１，３０２，３０３，５０１，５０２    正弦波
４０２    絶対値演算部
６０３    第１平滑化部
６０４    第２平滑化部
６０５    減算部
６０６    判定部
７０４    第１除算部
７０５    対数演算部
７０６    第１乗算部
７０７    第１比較部
７０８    利得係数生成部
８０１    相関演算部
８０２    第２比較部
９０１    第２除算部
９０２    第２乗算部
【図１】
0006533959.tif 000002
【図２】
0006533959.tif 000003
【図３Ａ】
0006533959.tif 000004
【図３Ｂ】
0006533959.tif 000005
【図３Ｃ】
0006533959.tif 000006
【図４】
0006533959.tif 000007
【図５Ａ】
0006533959.tif 000008
【図５Ｂ】
0006533959.tif 000009
【図６】
0006533959.tif 000010
【図７】
0006533959.tif 000011
【図８】
0006533959.tif 000012
【図９】
0006533959.tif 000013