(57)【特許請求の範囲】
【請求項１】
離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換部と、
上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成部と、
上記低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の信号の累積パワーと低域側から３番目の帯域の信号の累積パワーとの比、または上記低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の振幅の絶対値和と低域側から３番目の帯域の信号の振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定部と、
上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算部と、
上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合部と、
上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換部と、を具備する音声楽音擬似広帯域化装置。
【請求項２】
離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換部と、
上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成部と、
上記低域領域内の周波数帯域を２等分した低域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の累積信号パワーを求め、上記各周波数毎の累積信号パワーのうち最大となる累積信号パワーを得た第１の周波数を求め、上記低域領域内の周波数帯域を２等分した高域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の累積信号パワーを求め、上記各周波数毎の累積信号パワーのうち最大となる累積信号パワーを得た第２の周波数を求める累積パワー移動計算部と、
上記第１の周波数で得られた累積信号パワーと上記第２の周波数で得られた累積信号パワーとの比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定部と、
上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算部と、
上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合部と、
上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換部と、を具備する音声楽音擬似広帯域化装置。
【請求項３】
離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換部と、
上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成部と、
上記低域領域内の周波数帯域を２等分した低域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の振幅の絶対値和を求め、上記各周波数毎の振幅の絶対値和のうち最大となる振幅の絶対値和を得た第１の周波数を求め、上記低域領域内の周波数帯域を２等分した高域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の振幅の絶対値和を求め、上記各周波数毎の振幅の絶対値和のうち最大となる振幅の絶対値和を得た第２の周波数を求める累積パワー移動計算部と、
上記第１の周波数で得られた振幅の絶対値和と上記第２の周波数で得られた振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定部と、
上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算部と、
上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合部と、
上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換部と、を具備する音声楽音擬似広帯域化装置。
【請求項４】
周波数変換部が、離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換過程と、
高域信号生成部が、上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成過程と、
ゲイン乗算部が、上記低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の信号の累積パワーと低域側から３番目の帯域の信号の累積パワーとの比、または上記低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の振幅の絶対値和と低域側から３番目の帯域の信号の振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定過程と、
ゲイン乗算部が、上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算過程と、
結合部が、上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合過程と、
周波数逆変換部が、上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換過程と、
を含む音声楽音擬似広帯域化方法。
【請求項５】
周波数変換部が、離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換過程と、
高域信号生成部が、上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成過程と、
累積パワー移動計算部が、上記低域領域内の周波数帯域を２等分した低域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の累積信号パワーを求め、上記各周波数毎の累積信号パワーのうち最大となる累積信号パワーを得た第１の周波数を求め、上記低域領域内の周波数帯域を２等分した高域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の累積信号パワーを求め、上記各周波数毎の累積信号パワーのうち最大となる累積信号パワーを得た第２の周波数を求める累積パワー移動計算過程と、
ゲイン決定部が、上記第１の周波数で得られた累積信号パワーと上記第２の周波数で得られた累積信号パワーとの比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定過程と、
ゲイン乗算部が、上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算過程と、
結合部が、上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合過程と、
周波数逆変換部が、上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換過程と、
を含む音声楽音擬似広帯域化方法。
【請求項６】
周波数変換部が、離散値化された狭帯域音声楽音信号を周波数領域の信号に変換し、低域領域の信号を生成する周波数変換過程と、
高域信号生成部が、上記低域領域の信号の一部または全部を複写して高域領域の信号を生成する高域信号生成過程と、
累積パワー移動計算部が、上記低域領域内の周波数帯域を２等分した低域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の振幅の絶対値和を求め、上記各周波数毎の振幅の絶対値和のうち最大となる振幅の絶対値和を得た第１の周波数を求め、上記低域領域内の周波数帯域を２等分した高域側で、最も低い周波数から、最も高い周波数の値よりも予め定めた値だけ小さな周波数までの各周波数毎に、該周波数から上記予め定めた値の範囲内の信号の振幅の絶対値和を求め、上記各周波数毎の振幅の絶対値和のうち最大となる振幅の絶対値和を得た第２の周波数を求める累積パワー移動計算過程と、
ゲイン決定部が、上記第１の周波数で得られた振幅の絶対値和と上記第２の周波数で得られた振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つのゲイン係数を決定するゲイン決定過程と、
ゲイン乗算部が、上記高域領域の信号に上記ゲイン係数を乗じて強調高域信号を生成するゲイン乗算過程と、
結合部が、上記低域領域の信号と上記強調高域信号を合わせて擬似広帯域周波数信号を生成する結合過程と、
周波数逆変換部が、上記擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する周波数逆変換過程と、
を含む音声楽音擬似広帯域化方法。
【請求項７】
請求項１乃至３の何れかに記載された音声楽音擬似広帯域化装置としてコンピュータを機能させるためのプログラム。
【請求項８】
請求項７に記載した何れかのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、狭帯域音声楽音信号を広帯域音声信号に広帯域化する音声楽音擬似広帯域化方法と、その装置と、そのプログラムと記録媒体に関する。
【背景技術】
【０００２】
従来からの電話システムで伝送できる音声信号の周波数帯域は、約３００Ｈｚから３．４ｋＨｚである。従来の電話システムの音声符号化技術の目的は、伝送パラメータ量を最小化することにあり、符号化した音声信号の周波数帯域を超える音声を得ることは不可能である。ところで、最近の音響技術の発展及びディジタル信号処理技術の開発により、日常生活で使われる機器の音声の品質が向上して来ている。このような状況において、例えば電話の音質にも高音質を求める声がある。かかる要求に応える目的で音声擬似広帯域化装置や、その方法が用いられる。
【０００３】
従来の音声擬似広帯域化方法の手順を、図１３に示してその方法を簡単に説明する。従来の音声擬似広帯域化方法は、アップサンプリング処理１０１、全波整流処理１０２、ＳＴＦＴ分析（短時間フーリエ）処理１０３,１０５、バンドパスフィルタリング処理１０４、低域の周波数帯域の周波数スペクトルを高域に複写するコピー処理１０６、乗算処理１０７,１０８、ＳＴＦＴ合成処理１０９、加算処理１１０、から成る。アップサンプリング処理１０１は、例えば８ｋＨｚでサンプリングされた狭帯域音声信号を、１６ｋＨｚサンプリングの音声信号にアップサンプリングする。ＳＴＦＴ分析処理１０５は、一定時間（フレーム）毎にアップサンプリングされた音声信号を周波数分析し、周波数スペクトルを生成する。コピー処理１０６は、低域の周波数スペクトルを高域の周波数帯域の周波数スペクトルとしてコピーする。乗算処理１０８は、高域の周波数スペクトルに一定の倍率を乗じてゲイン調整を行う。全波整流処理１０２から乗算処理１０７の過程は、狭帯域音声信号に含まれない低域の周波数スペクトルを生成するものである。全波整流処理１０２で生成された低域の周波数スペクトルは、高域の周波数スペクトルと同じように乗算部１０７において、一定倍率が乗算されてゲイン調整される。ゲイン調整された高域の周波数スペクトルと低域の周波数スペクトルは、ＳＴＦＴ合成処理１０９で合成される。加算処理１１０は、狭帯域音声信号を周波数分析した周波数スペクトルに、ゲイン調整された低域と高域の周波数スペクトルを加算して擬似広帯域音声信号を生成する。
【特許文献１】特開平９−９０９９２号公報、図１
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の音声擬似広帯域化方法は、狭帯域音声信号の周波数スペクトルに広帯域化した周波数範囲のスペクトルを加える際に、加算する周波数スペクトルに一定の倍率を乗じてゲインを調整する方法である。この方法では、雑音を発生させ、または音声を不明瞭にしてしまう課題があった。図１４と図１５に音声信号の周波数スペクトルの例を示す。横軸は周波数、縦軸は振幅である。図１４（ａ）に、周波数の増加に伴って信号の振幅が減衰する例えば音声の有声部のような場合の周波数スペクトルを示す。コピー処理１０６が、この図１４（ａ）の信号に一定倍率を乗じて高域の周波数スペクトルを生成すると、図１４（ｂ）に示すように４ｋＨｚ付近で非常に小さくなる振幅が、４ｋＨｚ以上で再び急激に立ち上がるスペクトル構造になる。このように低域信号と高域信号の境界で信号が極端に不連続になると雑音の原因になる。また、図１５（ａ）に示す低域から高域に向かって振幅が増加する例えば音声の無声部のような周波数スペクトルの場合は、ある一定倍率を乗じて高域の信号を生成すると、図１５（ｂ）に示すように高域の振幅が小さくなることがある。この場合は、擬似広帯域音声の無声部が不明瞭となり音声が聞き取り難くなる。
【０００５】
この発明は、このような点に鑑みてなされたものであり、雑音の原因を発生させず、また音声を不明瞭にしない音声楽音擬似広帯域化装置と、その方法と、プログラムと記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明による音声楽音擬似広帯域化装置は、周波数変換部と、高域信号生成部と、ゲイン決定部と、ゲイン乗算部と、結合部と、周波数逆変換部とを具備する。周波数変換部は、離散値化された狭帯域音声楽音信号を周波数領域の信号に変換して低域領域の信号を生成する。高域信号生成部は、低域領域の信号の一部または全部を複写して高域領域の信号を生成する。ゲイン決定部は、低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の信号の累積パワーと低域側から３番目の帯域の信号の累積パワーとの比、または低域領域の周波数帯域を４等分した帯域のうち、低域側から２番目の帯域の振幅の絶対値和と低域側から３番目の帯域の信号の振幅の絶対値和との比と、予め定めた閾値との大小関係に基づいて、予め定めた複数のゲイン係数の中から１つの異ゲイン係数を決定する。ゲイン乗算部は、高域領域の信号にゲイン係数を乗じて強調高域信号を生成する。結合部は、低域領域の信号と強調高域信号を合わせて擬似広帯域周波数信号を生成する。周波数逆変換部は、擬似広帯域周波数信号を時間領域の擬似広帯域音声信号に変換して出力する。
【発明の効果】
【０００７】
この発明の音声楽音擬似広帯域化装置は、ゲイン決定部が低域領域内の異なる範囲の信号のパワー比または振幅の絶対値和の比に基づいてゲイン係数を決定する。図１４（ａ）に示したような低域から高域に向かって信号の振幅が減衰する特性を示す音声信号の場合は、ゲイン係数を小さくする。このようにすると、擬似広帯域周波数信号のスペクトル構造を、高域になるほど振幅が低下する構造にすることができ、不連続点が強調され難くなる。この結果、雑音の発生を抑えることができる。また、図１５（ａ）に示したような低域から高域に向かって振幅が増加する特性を示す音声信号の場合は、ゲイン係数を大きくする。すると、擬似広帯域周波数信号のスペクトル構造全体として、高域になるほど振幅が増加する連続性のある構造とすることができ、例えば無声音の明瞭度を向上させることができる。つまり、低域領域内の信号の特徴に応じてゲイン係数を可変することで、雑音の発生を防止すると共に無声部を聞き取り易くできるので、擬似広帯域音声の明瞭度を向上させることができる。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【０００９】
図１にこの発明の音声楽音擬似広帯域化装置の実施例１の機能構成例を、図２に動作フローを示す。音声楽音擬似広帯域化装置は、周波数変換部１１と、周波数拡張部１２と、高域信号生成部１３と、ゲイン決定部１４と、ゲイン乗算部１５と、結合部１６と、周波数逆変換部１７とで構成される。周波数変換部１１に入力される狭帯域音声楽音信号Ｉｎ（ｔ）は、時間領域の信号であり、所定のサンプリング周波数で離散値化されサンプル数（Ｄ個）毎に入力端子１０に入力される。ここでサンプル数Ｄは、予め決まっている値でも良いし、フレーム毎に可変な値でも良い。入力の狭帯域音声楽音信号を、Ｉｎ（ｔ）（ｔ＝０,１,…,Ｄ−１）と表わす。例えば、フレーム長は２０ｍｓ、サンプリング周波数は８ｋＨｚといった値である。
【００１０】
周波数変換部１１は、時間領域の狭帯域音声楽音信号Ｉｎ（ｔ）を周波数領域の信号である低域領域の信号に変換する（ステップＳ１１）。周波数変換部１１は、ＭＤＣＴの場合、バッファ等に蓄積された直前のフレームのＩｎ（ｔ−ｄ）と、入力Ｉｎ（ｔ）（ｔ＝０,１,…,Ｄ−１）とを用いて、周波数領域の信号ＩｎＦｒｅｑ（ｋ）（ｋ＝０,１,…,Ｄ−１）を生成する。この例では、周波数変換方法としてＭＤＣＴ（Modified Discrete Cosine Transform：修正離散コサイン変換）を用いる例を示すが、ＤＣＴやＦＦＴなど他の周波数変換方法を用いても良い。以下の説明では、周波数領域の信号を周波数インデックスｋを用いて表記する。ｋの値が小さいほど低い周波数の信号を表わしている。
【００１１】
周波数拡張部１２は、低域領域の信号を２以上の整数であるＮの倍数に拡張した拡張信号ＩｎＦｒｅｑＥｘｐ（ｋ）を生成する。低域領域の信号ＩｎＦｒｅｑ（ｋ）（ｋ＝０,１,…,Ｄ−１）に対して、例えばＤ個の信号を追加し、ＩｎＦｒｅｑＥｘｐ（ｋ）（ｋ＝０,１,…,２Ｄ−１）のＮ＝２倍の周波数インデックスの範囲に周波数範囲を拡張する（ステップＳ１２）。上記したフレーム長＝２０ｍｓで、サンプリング周波数が８ｋＨｚの場合、Ｄ＝１６０である。拡張信号ＩｎＦｒｅｑＥｘｐ（ｋ）（ｋ＝０,１,…,２Ｄ−１）は、例えば式（１）に示すような信号である。
InFreqExp(k)＝InFreq(k)          （０≦ｋ≦Ｄ−１）  （１）
InFreqExp(k)＝MIN                （Ｄ≦ｋ≦２Ｄ−１）      
ここでＭＩＮの値は０でも良いし、非常に小さな値でも良い。つまり拡張信号は、低域領域の信号はそのままで、周波数インデックスの範囲が例えば２倍に拡張された信号である。
【００１２】
高域信号生成部１３は高域領域の信号を、拡張した高域領域の周波数範囲に低域領域の信号を複写して生成する（ステップＳ１３）。ステップＳ１３の高域信号生成処理の具体的な動作フローを図３に示してその動作を説明する。図３は複写するコピー元の低域領域の周波数範囲が固定の場合である。低域領域のコピーを開始する先頭の周波数インデックスをＤＬ、コピーする範囲をＤＷ、コピー先の高域領域の信号の先頭の周波数インデックスをＤＨとして説明する。まず始めにＤＬ、ＤＷ、ＤＨの値を設定する（ステップＳ１３１）。周波数インデックスｋを、高域領域の信号の最下限であるｋ＝０に設定する（ステップＳ１３２）。周波数インデックスｋ＝Ｄからｋ＝ＤＨ−１までの高域信号ＦｒｅｑＨｉｇｈ（ｋ）には、ＭＩＮが書き込まれる（ステップＳ１３３〜Ｓ１３５）。周波数インデックスｋが、ｋ＝ＤＨになると高域信号ＦｒｅｑＨｉｇｈ（ｋ）には、低域領域のコピー元の先頭の周波数インデックスｋ＝ＤＬの信号の振幅がコピーされる（ステップＳ１３６）。つまり、（ｋ−ＤＨ−ＤＬ＝ＤＨ−ＤＨ＋ＤＬ＝ＤＬ）である。したがって、コピー元のｋ＝ＤＬ〜（ＤＬ＋ＤＷ）の範囲の信号の振幅が、高域領域のｋ＝ＤＨ〜（ＤＨ＋ＤＷ）の範囲にコピーされる（ステップＳ１３８のＮｏのループ）。周波数インデックスｋ＝（ＤＨ＋ＤＷ）〜（２Ｄ−１）までの範囲の高域信号ＦｒｅｑＨｉｇｈ（ｋ）には、ＭＩＮが書き込まれる（ステップＳ１３９〜Ｓ１４１）。この結果、高域信号ＦｒｅｑＨｉｇｈ（ｋ）は、式（２）に示すようになる。
FreqHigh(k)＝MIN                    （０≦ｋ≦ＤＨ−１）
FreqHigh(k)＝InFreqExp(k−DＨ+DＬ)  （ＤＨ≦ｋ≦ＤＨ＋ＤＷ−１）  （２）
FreqHigh(k)＝MIN                    （ＤＨ＋ＤＷ≦ｋ≦２Ｄ−１）
【００１３】
この低域領域の信号を、拡張した周波数範囲に複写して高域領域の信号を生成する様子を模式的に図４に示す。横軸は周波数インデックス、縦軸は振幅である。周波数インデックスが０〜Ｄ−１の範囲の低域領域のＤＬ〜（ＤＬ＋ＤＷ−１）の範囲の振幅が、高域領域のＤＨ〜（ＤＨ＋ＤＷ−１）の範囲にコピーされている様子が分かる。
【００１４】
なお、この例では、連続する低域領域の拡張信号の一部を高域信号にコピーする場合について説明したが、拡張信号の全部を高域信号にコピーしても良いし、複数部分を分割してコピーしても良い。
【００１５】
また、上記した例では、周波数拡張部１２で周波数インデックスの範囲を例えば２倍に拡張した後に、高域信号生成部１３が低域領域の信号の一部または全部を拡張した高域領域にコピーしたが、この発明はこの例に限定されない。高域信号生成部１３は、低域周波数領域信号ＩｎＦｒｅｑ（ｋ）の一部または全部の信号を高域領域の信号としてコピーするだけとしても良い。つまり、式（３）に示すように、単純に低域周波数領域信号ＩｎＦｒｅｑ（ｋ）の一部または全部の信号を切り出すだけの処理を行う。
FreqHigh(k)＝MIN                    （０≦ｋ≦ＤＨ−１）
FreqHigh(k)＝InFreqExp(k−DＨ+DＬ)  （ＤＨ≦ｋ≦ＤＨ＋ＤＷ−１）  （３）
FreqHigh(k)＝MIN                    （ＤＨ＋ＤＷ≦ｋ≦Ｄ−１）
そして、結合部１６は、高域領域の信号が後述するゲイン乗算部１５でゲイン調整された強調高域信号を高域側に配置し、低域周波数領域信号ＩｎＦｒｅｑ（ｋ）を低域側に配置することにより合成する。このように、結合部１６において、周波数範囲を拡張するようにしても良い。
【００１６】
以上の動作を模式的に図５に示す。横軸は周波数インデックス、縦軸は振幅である。図５（ａ）は低域周波数領域信号ＩｎＦｒｅｑ（ｋ）である。図５（ｂ）が高域信号生成部１３でコピーした高域領域の信号である。図５（ｂ）の周波数インデックスの上限がＤ−１である点に注意、単純に図５（ａ）の一部を切り出した信号である。図５（ｃ）が結合部１６で合成された擬似広帯域周波数信号である。以上のように動作する場合は、周波数拡張部１２が無くて良い。
【００１７】
ゲイン決定部１４は、低域領域内の異なる範囲の信号のパワー比に基づいて高域領域の信号に乗ずるゲイン係数を決定する（ステップＳ１４）。ステップＳ１４のゲイン決定処理の具体的な動作フローを図６に示してその動作を説明する。図６はパワー比を求める周波数範囲が固定の場合である。低域領域の異なる範囲の、一方のパワーの計算を開始する先頭の周波数インデックスをｋ０、その範囲をｄ０、その異なる範囲の他方のパワーを計算する先頭の周波数インデックスと範囲をｋ１，ｄ１として説明する。まず始めにｋ０、ｄ０、ｋ１、ｄ１の値を設定する（ステップＳ１４２）。上記したＤ＝１６０の場合、例えばｋ０＝４０、ｄ０＝４０、ｋ１＝８０、ｄ１＝４０といった値に設定される。そして各変数を初期化する（ステップＳ１４３）。一方の範囲である周波数インデックスがｋ０〜（ｋ０＋ｄ０−１）の範囲の累積パワーｐ０を計算する（ステップＳ１４４〜Ｓ１４６）。次に、他方の範囲であるｋ１〜（ｋ１＋ｄ０−１）の範囲の累積パワーｐ１を計算する（ステップＳ１４７〜Ｓ１５０）。ｐ０とｐ１が求まった後に、ステップＳ１５１でパワー比ｒ＝ｐ１/ｐ０を計算する。つまり信号パワー比ｒは、式（４）で表わせる。
【数１】
0004733727.tif 000002
【００１８】
ゲイン決定部１４は、信号パワー比ｒの値を例えば複数の閾値で評価して、ゲイン係数ｋＨＧを決定する。例えば閾値を表１のように設定し、ｒ以上となる閾値の数によって表２に示す様にゲイン係数ｋＨＧを決定する（ステップＳ１５２）。
【表１】
0004733727.tif 000003
例えばパワー比ｒ＝１．０の場合は、ゲイン係数ｋＨＧ＝０.６となる。
【００１９】
また、ゲイン決定部１４は、低域領域内の異なる範囲の信号の信号振幅の絶対値和の比に基づいて高域領域の信号に乗ずるゲイン係数を決定しても良い（図７、ステップＳ１４２′）。この場合のゲイン決定処理の動作フローを図７に示す。図７は、図６のステップＳ１４２がステップＳ１４２′に、ステップＳ１４４がステップＳ１４４′に、ステップＳ１４８がステップＳ１４８′に変わる点のみが異なる。ステップＳ１４４′は、一方の範囲である周波数インデックスがｋ０〜（ｋ０＋ｄ０−１）の範囲の信号振幅の絶対値の和をｐ０として計算する。ステップＳ１４８′は、他方の範囲であるｋ１〜（ｋ１＋ｄ０−１）の範囲の信号振幅の絶対値の和をｐ１として計算する。
【００２０】
ゲイン決定部１４は、それぞれの範囲の信号振幅の絶対値和ｐ０とｐ１が求まった後に、ステップＳ１５１において式（５）に示す信号振幅の絶対値和の比ｒ′を計算する。
【数２】
0004733727.tif 000004
ゲイン決定部１４が、信号振幅の絶対値和の比ｒ′を複数の閾値で評価してゲイン係数を決定するのは、上記した信号パワー比ｒを評価する方法と同じである。
【００２１】
ゲイン乗算部１５は、入力された高域信号ＦｒｅｑＨｉｇｈ（ｋ）（ｋ＝０,１,…,２Ｄ−１）とゲイン係数ｋＨＧから、式（６）の強調高域信号ＦｒｅｑＨｉｇｈＧａｉｎ（ｋ）を計算して出力する（図２、ステップＳ１５）。
FreqHighGain(k)＝FreqHigh(k)・ｋＨＧ            （６）
【００２２】
結合部１６は、周波数拡張部１２が出力する拡張信号と、ゲイン乗算部１５が出力する強調高域信号とを加算し、式（７）に示す擬似広帯域周波数信号ＰｓＦｒｅｑ（ｋ）を生成する（ステップＳ１６）。
PsFreq(k)＝InFreqExp(k)＋FreqHighGain(k)      （７）
【００２３】
周波数逆変換部１７は、擬似広帯域周波数信号ＰｓＦｒｅｑ（ｋ）を時間領域の擬似広帯域音声信号ｏｕｔ（ｋ）（ｋ＝０,１,…,２Ｄ−１）に変換して出力する（ステップＳ１７）。
【００２４】
以上説明した音声楽音擬似広帯域化装置によれば、低域領域内の異なる範囲の信号のパワー比ｒまたは振幅の絶対値和の比ｒ′が、１以下になる図８（ａ）に示すような音声信号の場合は、ゲイン係数ｋＨＧ  が１以下になり高域領域にコピーされる強調高域信号の振幅が減衰する。この結果、擬似広帯域周波数信号のスペクトル構造全体として、高域になるほど振幅が低下する構造にすることができ、不連続点が強調され難くなる。また、パワー比ｒまたは振幅の絶対値和の比ｒ′が１以上になる図９（ａ）に示す音声信号の場合は、ゲイン係数ｋＨＧの値が１以上になるので強調高域信号の振幅が増加する。したがって、擬似広帯域周波数信号のスペクトル構造を、高域になるほど振幅が増加する連続性のある構造とすることができる。この結果、擬似広帯域音声の無声部が聞き取り易くなり、音声の明瞭度を向上させることができる。
【００２５】
なお、実施例１では、低域領域の信号をＮ倍に拡張した拡張信号を生成する周波数拡張部のＮが２の場合で説明を行ったが、Ｎ＝３でもＮ＝４でも構わない。また、低域領域内の異なる範囲の信号のパワー比を求める周波数インデックスの範囲を固定にした例で説明を行ったが、その範囲を可変にしても良い。次にパワー比を求める周波数インデックスの範囲を可変にした実施例２を説明する。以降ではパワー比を求める例のみを示して実施例を説明する。しかし、以下の実施例は、上記したように信号振幅の絶対値和の比を求める場合にも適用が可能である。
【実施例２】
【００２６】
実施例２の音声楽音擬似広帯域化装置は、ゲイン決定部１４内に累積パワー移動計算部１４ａも備えた点が、実施例１と異なる。図１にその構成を破線で示す。他の構成は実施例１と同じである。累積パワー移動計算部１４ａの一部の動作フローを図１０に示して動作を説明する。
【００２７】
累積パワー移動計算部１４ａは、低域領域の低周波数側であるｋ＝０〜（Ｄ/２−ｄ０−１）の範囲と、高周波数側のｋ＝Ｄ/２〜（Ｄ−ｄ０−１）の範囲内のそれぞれの最大累積パワーが得られる周波数インデックスの範囲を動的に求めるものである。まず始めに累積パワーｐ０を初期化すると共に、累積パワーを求める途中のある範囲ｄ０の累積パワーを格納する変数ｐtempを初期化する（ステップＳ８０）。範囲ｄ０毎に求める累積パワーｐ０を初期化する（ステップＳ８１）。そして最初にｋ＝０からｋ＝（ｄ０−１）の範囲の累積パワーｐ０を計算する（ステップＳ８２〜Ｓ８４）。次に変数ｐtempと今回求めた累積パワーｐ０を比較する（ステップＳ８５）。最初は変数ｐtempが０のために、必ずｐtemp＜ｐ０となるので、途中の最大パワーとして求めたｐ０を変数ｐtempに代入するｐtemp＝ｐ０（ステップＳ８６）。そして低域領域の異なる範囲の一方のパワーの計算を開始する先頭の周波数インデックスｋ０を、ｋ０＝ｉとする。したがって、最初はｋ０＝０である。この動作をステップＳ８９でｉを１ずつ加算しながらｉ＝（Ｄ/２−ｄ０−１）になるまで、繰り返す（ステップＳ８８）。つまり、累積パワーｐ０を求める累積範囲ｄ０の先頭の周波数インデックスｋ０を求める。例えば２回目の累積パワーｐ０が１回目の変数ｐtempより大きければ、ステップＳ８７でｋ０＝１となる。このように、最大の累積パワーｐ０になる先頭の周波数インデックスｋ０を求めることができる。
【００２８】
同様に高周波数側のｋ＝Ｄ/２〜（Ｄ−ｄ０−１）の範囲内のパワーを計算する先頭の周波数インデックスｋ１も求めることができる（ステップＳ９１〜）。動作フローは、上記した動作と同じなので省略する。このようにしてｋ０とｋ１を求めた後は、図６で説明済みのステップＳ１４３以降の処理を行なって、累積パワーｐ０とｐ１とを求める。このようにすれば、低域領域の低周波数側と高周波数側のそれぞれの範囲の最大パワー同士から求めたパワー比ｒを得ることができる。この方法は比較的に演算量を必要とする。より少ない演算量でパワー比を求める周波数インデックスの範囲を可変にした実施例３を次に説明する。
【実施例３】
【００２９】
実施例３の音声楽音擬似広帯域化装置は、実施例２の累積パワー移動計算部１４ａに代えてピーク検出部１４ｂを備える。図１にそのピーク検出部１４ｂを破線で示す。他の構成は実施例１又は２と同じである。ピーク検出部１４ｂの動作フローを図１１に示して動作を説明する。
【００３０】
ピーク検出部１４ｂは、低域領域の低周波数側であるｋ＝０〜（Ｄ/２−ｄ０−１）の範囲と、高周波数側のｋ＝Ｄ/２〜（Ｄ−ｄ０−１）の範囲内のそれぞれの最大パワーを示す周波数インデックスｋ０Ｐとｋ１Ｐを動的に求めるものである。まず始めにステップＳ９３で変数を初期化する。ｐpeakは、範囲ｄ０内の最大パワーの値を格納する変数である。周波数インデックスｋを増やしながらパワーを計算（ステップＳ９４）して、変数ｐpeakと比較する（ステップＳ９５）。計算したｐｋの方が変数ｐpeakよりも大きい場合、ステップＳ９６で変数ｐpeakにｐｋを代入してパワーの大きい方の周波数インデックスｋをｋ０Ｐとして記録する（ステップＳ９７）。この処理をｋを１ずつ加算（ステップＳ９８）しながらｋ＝（Ｄ/２−ｄ０−１）になるまで繰り返す（ステップＳ９９）。そのように動作すると、ｋ０Ｐにはｋ＝０〜（Ｄ/２−ｄ０−１）の範囲で最大パワーを示す周波数インデックスが記録される。
【００３１】
同様に高周波数側のｋ＝Ｄ/２〜（Ｄ−ｄ０−１）の範囲内の最大パワーを示す周波数インデックスｋ１Ｐも求めることができる。動作フローは、上記した動作と同じなので省略する。このようにｋ０Ｐとｋ１Ｐを求めた後は、ｋ０Ｐとｋ１Ｐをそれぞれ中心として例えばｄ０の範囲の累積パワーｐ０とｐ１を計算してパワー比ｒを求める。または、ｋ０Ｐ, ｋ１Ｐを先頭の周波数インデックスｋ０,ｋ１として実施例２と同じように累積パワーを求めても良い。実施例３は、実施例２に対して演算量を１/ｄ０に削減することができる。
【００３２】
また、最大パワーの代わりに信号振幅の最大値から周波数インデックスｋ０Ｐとｋ１Ｐを動的に求め、それぞれを中心とした信号振幅の絶対値和の比ｒ′を計算するようにしても良い。
【実施例４】
【００３３】
実施例１ではゲイン係数ｋＨＧを、複数の閾値とパワー比ｒとを比較して表２に示したテーブルを用いて決定する例を示した。他の方法として、式（８）に示すように累積パワー比ｒに正の実数αを乗じた値を、ゲイン係数ｋＨＧとするようにしても良い。正の実数αを図１のゲイン決定部１４内に破線で示す。
ｋＨＧ＝α・ｒ              （８）
【００３４】
例えば、α＝０．５のように１以下の値にすれば、ゲイン係数ｋＨＧを細かく設定することができる。また、正の実数αをパラメータとすることで、ゲイン係数ｋＨＧを容易に変更することが可能になるのでゲイン係数ｋＨＧの設定と調整を容易にする効果を奏する。なお、正の実数αを乗じた値をゲイン係数とするのは、信号振幅の絶対値和の比ｒ′の場合にも適用が可能である。
【００３５】
〔シミュレーション結果〕
この発明で提案した音声楽音擬似広帯域化装置で擬似広帯域化処理を施した場合と、その処理を行なわない場合の音声の音質を、５段階ＭＯＳ主観評価で評価した結果を図１２に示す。横軸は処理の有無を示し、縦軸はＭＯＳ主観評価値である。数値が大きいほど良い評価結果を示す。
【００３６】
シミュレーション条件：男性音源４名分、女性音源４名分について、この発明の擬似広帯域化処理を行なった場合と行わない場合とについて、一般人２４名に評価してもらった。擬似広帯域化処理を行なわない場合のＭＯＳ値＝３.１９に対して、この発明の擬似広帯域化処理を行なった場合、０．３６ポイント向上したＭＯＳ値＝３．５５の結果を得ることができた。このようにこの発明による音声楽音擬似広帯域化装置及び方法によれば、擬似広帯域音声の音声品質を向上させることができる。
【００３７】
なお、上記した実施例の説明では、例えばサンプリング周波数８ｋＨｚ、フレーム時間長を２０ｍｓといった電話システムを前提にしたような例を示したが、この発明はこの例に限定されるものではない。この発明は、音声楽音信号を広帯域化する技術として広く利用することが可能である。
【００３８】
また、この発明である装置及び方法は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００３９】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００４０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００４１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４２】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図面の簡単な説明】
【００４３】
【図１】この発明の音声楽音擬似広帯域化装置の実施例１乃至４の機能構成例を示す図。
【図２】実施例１の動作フローを示す図。
【図３】高域信号生成処理（ステップＳ１３）の具体的な動作フローを示す図。
【図４】高域信号生成処理の処理結果を模式的に示す図。
【図５】高域信号生成処理の他の処理方法を模式的に示す図であり、（ａ）は低域周波数領域信号ＩｎＦｒｅｑ（ｋ）を示す図、（ｂ）は高域信号生成部１３でコピーした高域領域の信号を示す図、（ｃ）は結合部１６で合成された擬似広帯域周波数信号を示す図である。
【図６】ゲイン決定処理（ステップＳ１４）の具体的な動作フローを示す図。
【図７】ゲイン決定処理の具体的な他の動作フローを示す図。
【図８】音声信号のスペクトル構造の例を示す図であり、（ａ）は、高域になるほど振幅が低下する構造を示す図、（ｂ）は（ａ）を擬似広帯域処理したスペクトルを示す図である。
【図９】音声信号のスペクトル構造の例を示す図であり、（ａ）は、高域になるほど振幅が増加する構造を示す図、（ｂ）は（ａ）を擬似広帯域処理したスペクトルを示す図である。
【図１０】累積パワー移動計算部１４ａの一部の動作フローを示す図。
【図１１】ピーク検出部１４ｂの動作フローを示す図。
【図１２】５段階ＭＯＳ主観評価の評価結果を示す図。
【図１３】従来の音声擬似広帯域化方法の手順を示す図。
【図１４】音声信号の周波数スペクトルの例を示す図であり、（ａ）は低域から高域に向かって信号の振幅が減衰する有声部の周波数スペクトルを示す図、（ｂ）は（ａ）の信号を従来の音声楽音擬似広帯域化方法で擬似広帯域処理した周波数スペクトルを示す図である。
【図１５】音声信号の周波数スペクトルの例を示す図であり、（ａ）は低域から高域に向かって信号の振幅が増加する無声部の周波数スペクトルを示す図、（ｂ）は（ａ）の信号を従来の音声楽音擬似広帯域化方法で擬似広帯域処理した周波数スペクトルを示す図である。
【図１】
0004733727.tif 000005
【図２】
0004733727.tif 000006
【図３】
0004733727.tif 000007
【図４】
0004733727.tif 000008
【図５】
0004733727.tif 000009
【図６】
0004733727.tif 000010
【図７】
0004733727.tif 000011
【図８】
0004733727.tif 000012
【図９】
0004733727.tif 000013
【図１０】
0004733727.tif 000014
【図１１】
0004733727.tif 000015
【図１２】
0004733727.tif 000016
【図１３】
0004733727.tif 000017
【図１４】
0004733727.tif 000018
【図１５】
0004733727.tif 000019