(57)【要約】【課題】音声信号の帯域を拡張する音声帯域拡張装置を提供する。【解決手段】音声帯域拡張装置１は、広帯域音声信号を標本化周波数変換し、狭帯域音声信号を生成する標本化周波数変換手段１１と、狭帯域音声信号から狭帯域音響特徴量を抽出する狭帯域音響特徴量抽出手段１３と、広帯域音声信号から広帯域音響特徴量を抽出する広帯域音響特徴量抽出手段１２と、狭帯域音響特徴量を入力し広帯域音響特徴量を出力する統計モデルを学習する統計モデル学習手段１４と、拡張対象音声信号から狭帯域音響特徴量を抽出する狭帯域音響特徴量抽出手段１６と、抽出した狭帯域音響特徴量から、統計モデルを用いて広帯域音響特徴量を生成する広帯域音響特徴量生成手段１７と、生成した広帯域音響特徴量を用いて、帯域拡張した音声信号を生成する音声合成手段１８と、を備える。【選択図】図１
2019008206.tif 000002
【特許請求の範囲】
【請求項１】
音声信号の帯域を拡張する音声帯域拡張装置であって、
目標とする拡張後の帯域を有する広帯域音声信号を標本化周波数変換し、拡張前の帯域を有する狭帯域音声信号を生成する標本化周波数変換手段と、
前記狭帯域音声信号からフレーム単位で第１の音響特徴量を抽出する狭帯域音響特徴量抽出手段と、
前記広帯域音声信号からフレーム単位で第２の音響特徴量を抽出する広帯域音響特徴量抽出手段と、
前記第１の音響特徴量を入力し、前記第２の音響特徴量を出力する統計モデルを学習する統計モデル学習手段と、
前記狭帯域音声信号と同じ帯域を有する拡張対象音声信号からフレーム単位で第３の音響特徴量を抽出する第２狭帯域音響特徴量抽出手段と、
前記統計モデルを用いて、前記第３の音響特徴量から、広帯域の音響特徴量である第４の音響特徴量をフレーム単位で生成する広帯域音響特徴量生成手段と、
前記第４の音響特徴量を用いて音声合成を行うことにより、帯域拡張した音声信号を生成する音声合成手段と、
を備えることを特徴とする音声帯域拡張装置。
【請求項２】
前記統計モデル学習手段は、前記統計モデルとして、ディープニューラルネットワークを学習することを特徴とする請求項１に記載の音声帯域拡張装置。
【請求項３】
前記音響特徴量は、フレームごとのスペクトルパラメータおよび音源パラメータの静特性であることを特徴とする請求項１または請求項２に記載の音声帯域拡張装置。
【請求項４】
前記狭帯域音響特徴量抽出手段および前記第２狭帯域音響特徴量抽出手段は、前記静特性に加え、前記静特性のフレーム間の差分を動特性として抽出することを特徴とする請求項３に記載の音声帯域拡張装置。
【請求項５】
音声信号の帯域を拡張するために用いる統計モデルを学習する音声帯域拡張統計モデル学習装置であって、
目標とする拡張後の帯域を有する広帯域音声信号を標本化周波数変換し、拡張前の帯域を有する狭帯域音声信号を生成する標本化周波数変換手段と、
前記狭帯域音声信号からフレーム単位で第１の音響特徴量を抽出する狭帯域音響特徴量抽出手段と、
前記広帯域音声信号からフレーム単位で第２の音響特徴量を抽出する広帯域音響特徴量抽出手段と、
前記第１の音響特徴量を入力し、前記第２の音響特徴量を出力する統計モデルを学習する統計モデル学習手段と、
を備えることを特徴とする音声帯域拡張統計モデル学習装置。
【請求項６】
請求項５に記載の音声帯域拡張統計モデル学習装置で学習した統計モデルを用いて、音声信号の帯域を拡張する音声帯域拡張装置であって、
前記統計モデルの入力側の音響特徴量を抽出した狭帯域音声信号と同じ帯域を有する拡張対象音声信号からフレーム単位で第３の音響特徴量を抽出する狭帯域音響特徴量抽出手段と、
前記統計モデルを用いて、前記第３の音響特徴量から、広帯域の音響特徴量である第４の音響特徴量をフレーム単位で生成する広帯域音響特徴量生成手段と、
前記第４の音響特徴量を用いて音声合成を行うことにより、帯域拡張した音声信号を生成する音声合成手段と、
を備えることを特徴とする音声帯域拡張装置。
【請求項７】
コンピュータを、請求項１，２，３，４，６のいずれか一項に記載の音声帯域拡張装置として機能させるための音声帯域拡張プログラム。
【請求項８】
コンピュータを、請求項５に記載の音声帯域拡張統計モデル学習装置として機能させるための音声帯域拡張統計モデル学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号の帯域を拡張する音声帯域拡張装置、音声帯域拡張統計モデル学習装置およびそれらのプログラムに関する。
【背景技術】
【０００２】
従来、電話の音声信号である狭帯域音声信号を広帯域音声信号に帯域拡張する方法が開発されてきた。この帯域拡張の方法は、一般的に二つの手法に大別される。
一つの手法は、狭帯域音声信号（〜４ｋＨｚ）をアップサンプリングして高域（４ｋＨｚ〜８ｋＨｚ）に移動させた信号を加工、整形し、狭帯域音声信号に加算合成することで広帯域音声信号を生成する加工整形型の方法である。
もう一つの手法は、狭帯域音声信号を分析して、声道情報と音源信号とに分け、それぞれを高域に拡張して再合成する分析合成型の方法である。
【０００３】
加工整形型の方法としては、例えば、特許文献１に記載の方法が挙げられる。
この特許文献１の方法は、狭帯域音声信号をフレーム単位に分割し、時間周波数変換を行うことで周波数領域のスペクトルを算出し、スペクトルの低域成分から高域成分を生成するための写像関数を求める。そして、特許文献１の方法は、写像関数により、スペクトルの低域成分から高域成分を生成し、低域成分と統合することで広帯域のスペクトルを生成する。そして、特許文献１の方法は、広帯域のスペクトルに周波数時間変換を行うことで得られる時間信号を接続して広帯域音声信号を生成する。
【０００４】
分析合成型の方法としては、例えば、特許文献２に記載の方法が挙げられる。
この特許文献２の方法は、学習用の広帯域音声信号と当該広帯域音声信号の帯域を制限した狭帯域音声信号とをフレーム単位に分割し、それぞれの音声信号を線形予測符号化に基づく音響分析により声道特性と音源信号（声帯波形）とに分離する。そして、特許文献２の方法は、声道特性および音源信号をベクトル量子化して、声道特性および音源信号を表現するコードブックを生成し、狭帯域音声信号から生成したコードブックと広帯域音声信号から生成したコードブックとを予め対応付けておく。
【０００５】
そして、特許文献２の方法は、帯域を拡張させたい狭帯域音声信号をフレーム単位に分割し、音響分析により声道特性および音源信号を求める。その後、特許文献２の方法は、狭帯域音声信号から求めた声道特性および音源信号を表現するコードブックに対応した、広帯域音声信号のコードブックによる声道特性と音源信号とから得られる合成音声の時間信号を接続して広帯域音声信号を生成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５４２３６８４号公報
【特許文献２】特許第４１３２１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記した特許文献１に記載の方法は、狭帯域音声信号を時間周波数変換して高域成分を生成したのち、周波数時間変換して広帯域音声の時間信号を求めている。すなわち、この方法は、音声信号の周波数領域、すなわち振幅のみを利用しており位相を考慮していない。そのため、この手法は、位相を高域成分に拡張することができず、生成した広帯域音声信号の音質に劣化が生じるという問題がある。
【０００８】
また、前記した特許文献２に記載の方法は、音声信号を声道特性と音源信号とに分離したのち、離散的な値をとるコードブックにより狭帯域音声信号と広帯域音声信号とを対応付けている。そのため、この手法は、離散的なコードブックを用いることに起因して、生成した広帯域音声信号の音質に劣化が生じるという問題がある。
【０００９】
また、前記した二つの手法は、いずれも電話音声レベルの狭帯域音声信号に対する帯域拡張を想定したもので、電話における音声の聞きやすさを目的としたものである。すなわち、従来の手法によって、例えば、音声合成を目的とした統計モデルを学習するための音声信号や、音声合成に利用する音声データベースの音声信号のような電話音声以外の一般的な音声信号を帯域拡張しても、前記した問題により、高品質な音声信号を生成することができない。
【００１０】
本発明は、このような問題に鑑みてなされたものであり、音声信号を高品質に帯域拡張することが可能な音声帯域拡張装置、音声帯域拡張統計モデル学習装置およびそれらのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するため、本発明に係る音声帯域拡張装置は、音声信号の帯域を拡張する音声帯域拡張装置であって、標本化周波数変換手段と、狭帯域音響特徴量抽出手段と、広帯域音響特徴量抽出手段と、統計モデル学習手段と、第２狭帯域音響特徴量抽出手段と、広帯域音響特徴量生成手段と、音声合成手段と、を備える。
【００１２】
かかる構成において、音声帯域拡張装置は、標本化周波数変換手段によって、目標とする拡張後の帯域を有する広帯域音声信号をダウンサンプリングにより標本化周波数変換し、拡張前の帯域を有する狭帯域音声信号を生成する。この広帯域音声信号は、事前学習時に入力する学習データとなる信号である。これによって、標本化周波数変換手段は、学習データである広帯域音声信号に対応した狭帯域音声信号を生成する。
そして、音声帯域拡張装置は、狭帯域音響特徴量抽出手段によって、狭帯域音声信号からフレーム単位で第１の音響特徴量を抽出する。また、音声帯域拡張装置は、広帯域音響特徴量抽出手段によって、広帯域音声信号からフレーム単位で第２の音響特徴量を抽出する。この音響特徴量は、例えば、フレームごとのスペクトルパラメータおよび音源パラメータである。
そして、音声帯域拡張装置は、統計モデル学習手段によって、第１の音響特徴量を入力し、第２の音響特徴量を出力する統計モデルを学習する。この統計モデルには、ディープニューラルネットワークを用いることができる。
以上の構成によって、音声帯域拡張装置は、事前学習として、統計モデルを学習する。
【００１３】
そして、音声帯域拡張装置は、第２狭帯域音響特徴量抽出手段によって、狭帯域音声信号と同じ帯域を有する拡張対象音声信号からフレーム単位で第３の音響特徴量を抽出する。
そして、音声帯域拡張装置は、広帯域音響特徴量生成手段によって、事前学習で学習した統計モデルを用いて、第３の音響特徴量から、広帯域の音響特徴量である第４の音響特徴量をフレーム単位で生成する。
そして、音声帯域拡張装置は、音声合成手段によって、第４の音響特徴量を用いて音声合成を行うことにより、帯域拡張した音声信号を生成する。
これによって、音声帯域拡張装置は、拡張対象となる狭帯域の音声信号から、帯域を広帯域に拡張した音声信号を生成することができる。
【００１４】
また、前記課題を解決するため、本発明に係る音声帯域拡張統計モデル学習装置は、音声信号の帯域を拡張するために用いる統計モデルを学習する音声帯域拡張統計モデル学習装置であって、標本化周波数変換手段と、狭帯域音響特徴量抽出手段と、広帯域音響特徴量抽出手段と、統計モデル学習手段と、を備える。
【００１５】
かかる構成において、音声帯域拡張統計モデル学習装置は、標本化周波数変換手段によって、目標とする拡張後の帯域を有する広帯域音声信号をダウンサンプリングにより標本化周波数変換し、拡張前の帯域を有する狭帯域音声信号を生成する。
そして、音声帯域拡張統計モデル学習装置は、狭帯域音響特徴量抽出手段によって、狭帯域音声信号からフレーム単位で第１の音響特徴量を抽出する。また、音声帯域拡張統計モデル学習装置は、広帯域音響特徴量抽出手段によって、広帯域音声信号からフレーム単位で第２の音響特徴量を抽出する。
そして、音声帯域拡張統計モデル学習装置は、統計モデル学習手段によって、第１の音響特徴量を入力し、第２の音響特徴量を出力する統計モデルを学習する。
【００１６】
また、前記課題を解決するため、本発明に係る音声帯域拡張装置は、音声帯域拡張統計モデル学習装置で学習した統計モデルを用いて、音声信号の帯域を拡張する音声帯域拡張装置であって、狭帯域音響特徴量抽出手段と、広帯域音響特徴量生成手段と、音声合成手段と、を備える。
【００１７】
かかる構成において、音声帯域拡張装置は、狭帯域音響特徴量抽出手段によって、統計モデルの入力側の音響特徴量を抽出した狭帯域音声信号と同じ帯域を有する拡張対象音声信号からフレーム単位で第３の音響特徴量を抽出する。
そして、音声帯域拡張装置は、広帯域音響特徴量生成手段によって、統計モデルを用いて、第３の音響特徴量から、広帯域の音響特徴量である第４の音響特徴量をフレーム単位で生成する。
そして、音声帯域拡張装置は、音声合成手段によって、第４の音響特徴量を用いて音声合成を行うことにより、帯域拡張した音声信号を生成する。
【００１８】
なお、音声帯域拡張装置は、コンピュータを、音声帯域拡張装置の各手段として機能させるための音声帯域拡張プログラムで動作させることができる。
また、音声帯域拡張統計モデル学習装置は、コンピュータを、音声帯域拡張統計モデル学習装置の各手段として機能させるための音声帯域拡張統計モデル学習プログラムで動作させることができる。
【発明の効果】
【００１９】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、目標とする拡張後の帯域を有する音声信号と、その音声信号から生成した拡張前の帯域を有する音声信号とから、帯域拡張前後のフレームごとの音響特徴量を統計モデルとして学習することができる。
そのため、本発明は、帯域拡張後の音声信号に、拡張前の音声信号の時系列の音響特徴量を反映させることができ、高品質な音声信号を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る音声帯域拡張装置の構成を示すブロック構成図である。
【図２】本発明の実施形態に係る音声帯域拡張装置が事前学習する統計モデルの構成例を示すニューラルネットワークの構成図である。
【図３】本発明の実施形態に係る音声帯域拡張装置における統計モデルの事前学習の動作を示すフローチャートである。
【図４】本発明の実施形態に係る音声帯域拡張装置における統計モデルを用いた帯域拡張の動作を示すフローチャートである。
【図５】音声信号のスペクトログラムを表す図であって、（ａ）は広帯域音声信号、（ｂ）は（ａ）の広帯域音声信号から変換した狭帯域音声信号、（ｃ）は（ｂ）の狭帯域音声信号を音声帯域拡張装置により帯域拡張した帯域拡張音声信号のスペクトログラムを示す。
【図６】本発明の変形例に係る音声帯域拡張統計モデル学習装置の構成を示すブロック構成図である。
【図７】本発明の変形例に係る音声帯域拡張装置の構成を示すブロック構成図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について図面を参照して説明する。
〔音声帯域拡張装置の構成〕
まず、図１を参照して、本発明の実施形態に係る音声帯域拡張装置１の構成について説明する。
【００２２】
音声帯域拡張装置１は、音声信号の帯域を拡張するための統計モデルを学習し、学習した統計モデルを用いて、音声信号の帯域を拡張するものである。以下、帯域を拡張する対象となる拡張前の帯域を狭帯域、目標とする拡張後の帯域を広帯域と呼び、狭帯域の音声信号を狭帯域音声信号、広帯域の音声信号を広帯域音声信号と呼ぶ。
【００２３】
この音声帯域拡張装置１は、統計モデルを学習する事前学習時には、学習データとして広帯域音声信号を入力する。学習データは、複数の文章を発話した広帯域音声信号であって、例えば、数千文章（数時間長）程度の音声である。
また、音声帯域拡張装置１は、音声信号の帯域を拡張させる帯域拡張時には、帯域拡張対象となる狭帯域音声信号を入力する。
ここでは、一例として、広帯域音声信号は標本化周波数（サンプリング周波数）４８ｋＨｚ、狭帯域音声信号は標本化周波数１６ｋＨｚ、変換ビット数（量子化ビット数）はいずれも１６ｂｉｔで標本化されているものとする。
【００２４】
図１に示すように、音声帯域拡張装置１は、切替手段１０と、標本化周波数変換手段１１と、広帯域音響特徴量抽出手段１２と、狭帯域音響特徴量抽出手段１３と、統計モデル学習手段１４と、統計モデル記憶手段１５と、狭帯域音響特徴量抽出手段（第２狭帯域音響特徴量抽出手段）１６と、広帯域音響特徴量生成手段１７と、音声合成手段１８と、を備える。
【００２５】
切替手段１０は、統計モデルの事前学習を行うモードと音声信号の帯域拡張を行うモードとで、外部から入力される音声信号の出力経路を切り替えるものである。切替手段１０は、外部の図示を省略した入力装置（スイッチ等）を介した指示により切り替えを行う。
切替手段１０は、モードして「事前学習」を指示された場合、入力した音声信号である広帯域音声信号を、標本化周波数変換手段１１と広帯域音響特徴量抽出手段１２とに出力する。
また、切替手段１０は、モードとして「帯域拡張」を指示された場合、入力した音声信号である狭帯域音声信号を、狭帯域音響特徴量抽出手段１６に出力する。
【００２６】
標本化周波数変換手段１１は、広帯域音声信号の標本化周波数を、ダウンサンプリングして、狭帯域音声信号の標本化周波数に変換するものである。
ここでは、標本化周波数変換手段１１は、標本化周波数４８ｋＨｚの広帯域音声信号を、ダウンサンプリングして、標本化周波数１６ｋＨｚの狭帯域音声信号に変換する。
標本化周波数変換手段１１は、標本化周波数変換後の狭帯域音声信号を、狭帯域音響特徴量抽出手段１３に出力する。
【００２７】
広帯域音響特徴量抽出手段１２は、事前学習時に入力される広帯域音声信号から音響特徴量（広帯域音響特徴量）を抽出するものである。この広帯域音響特徴量抽出手段１２は、音声信号（広帯域音声信号）を、所定のフレーム長（例えば、２５ｍｓ）、所定のフレーム周期（例えば、５ｍｓ）ごとに切り出し、音響分析を行うことで、音響特徴量として、スペクトルパラメータ、音源パラメータを抽出する。
【００２８】
スペクトルパラメータは、音声のスペクトル包絡を表すパラメータで、例えば、メルケプストラム係数、線スペクトル対（ＬＳＰ；line spectral pairs）等である。
音源パラメータは、音声の強度、ピッチ周期等を表すパラメータで、例えば、対数ピッチ周波数、帯域非周期成分等である。
【００２９】
なお、音声信号から音響特徴量を抽出する手法は、一般的な手法を用いればよいため、
ここでは説明を省略するが、例えば、以下の参考文献１で開示されている手法（ＷＯＲＬＤ）を用いることができる。
（参考文献１）森勢将雅，西浦敬信，河原英紀，“高品質音声分析変換合成システムＷＯＲＬＤの提案と基礎的評価〜基本周波数・スペクトル包絡制御が品質の知覚に与える影響〜,”日本音響学会聴覚研究会、Vol. 41, No. 7, pp. 555-560, Toyama, Oct. 2011.
【００３０】
広帯域音響特徴量抽出手段１２は、予め定めた次元数のパラメータを抽出する。例えば、広帯域音響特徴量抽出手段１２は、フレームごとに、６０次元のメルケプストラム係数、１次元の対数ピッチ周波数および５次元の帯域非周期成分の計６６次元の静特定（静的特徴量）を広帯域音響特徴量として抽出する。
この広帯域音響特徴量抽出手段１２が抽出する広帯域音響特徴量は、統計モデル学習手段１４において統計モデルを学習する際の教師データ（正解データ）となる。
広帯域音響特徴量抽出手段１２は、抽出した６６次元の広帯域音響特徴量を統計モデル学習手段１４に出力する。
【００３１】
狭帯域音響特徴量抽出手段１３は、標本化周波数変換手段１１で変換された狭帯域音声信号から音響特徴量（狭帯域音響特徴量）を抽出するものである。
この狭帯域音響特徴量抽出手段１３は、広帯域音響特徴量抽出手段１２と同様に、音響特徴量として、音声信号から予め定めた次元数のパラメータを抽出する。ただし、狭帯域音響特徴量抽出手段１３は、音響特徴量として、静特定（静的特徴量）のパラメータに加え、動特性（動的特徴量）を抽出することとする。
【００３２】
例えば、狭帯域音響特徴量抽出手段１３は、フレームごとに、６０次元のメルケプストラム係数、１次元の対数ピッチ周波数および１次元の帯域非周期成分の計６２次元の静特定（静的特徴量）を抽出する。
さらに、狭帯域音響特徴量抽出手段１３は、フレームごとに求める静特性から、時間方向で変化する動特性を生成しておく。ここでは、狭帯域音響特徴量抽出手段１３は、動特性として、静特性の時間方向の１次差分（１フレーム後の静特性との差）および２次差分（２フレーム後の静特性との差）の１２４次元の動特性を求める。
【００３３】
狭帯域音響特徴量抽出手段１３は、抽出した狭帯域音響特徴量を統計モデル学習手段１４に出力する。ここでは、狭帯域音響特徴量抽出手段１３は、６２次元の静特定と１２４次元の動特性とを合わせた１８６次元の狭帯域音響特徴量を統計モデル学習手段１４に出力する。
【００３４】
なお、狭帯域音響特徴量抽出手段１３は、広帯域音響特徴量抽出手段１２と同様に静特性のみを狭帯域音響特徴量としてもよい。しかし、狭帯域音響特徴量抽出手段１３は、動特性を抽出することで、時間方向の変化を音響特徴量として抽出することができ、音響特徴をより精度よく抽出することができる。
【００３５】
統計モデル学習手段１４は、狭帯域音響特徴量を入力し、広帯域音響特徴量を出力する統計モデルを学習するものである。この統計モデル学習手段１４は、広帯域音響特徴量抽出手段１２で抽出された広帯域音響特徴量を教師データとして、狭帯域音響特徴量抽出手段１３で抽出された狭帯域音響特徴量が教師データに近似するように、統計モデルを学習する。
【００３６】
この統計モデル学習手段１４は、統計モデルとして、ディープニューラルネットワーク（Deep Neural Network：ＤＮＮ）を学習する。
図２にＤＮＮで構成した統計モデルの例を示す。具体的には、統計モデル学習手段１４は、図２に示す入力層Ｌ１、隠れ層Ｌ２、出力層Ｌ３で構成される順伝播ニューラルネットワーク（Feed Forward Neural Network：ＦＦＮＮ）により、統計モデルＭを学習する。
なお、統計モデルＭの構造は、特に規定するものではないが、ここでは、入力層Ｌ１を狭帯域音響特徴量と同じ１８６次元、隠れ層Ｌ２を２５６次元×３層、出力層Ｌ３を広帯域音響特徴量と同じ６６次元とする。
【００３７】
統計モデル学習手段１４は、図２の入力層Ｌ１に、狭帯域音響特徴量抽出手段１３で抽出された狭帯域音響特徴量（ここでは、１８６次元）を入力する。そして、統計モデル学習手段１４は、隠れ層Ｌ２において、入力層Ｌ１に入力された狭帯域音響特徴量の各要素の値に重みを付加して伝搬させ、出力層Ｌ３において、広帯域音響特徴量（ここでは、６６次元）を推定する統計モデルＭを学習する。なお、隠れ層Ｌ２における活性化関数には、例えば、正規化線形関数を用いる。
【００３８】
ここで、統計モデル学習手段１４は、広帯域音響特徴量抽出手段１２で抽出された教師データである広帯域音響特徴量と、出力層Ｌ３から出力される推定した広帯域音響特徴量との誤差が“０”に近づく方向に、各層の重みを統計モデルＭのモデルパラメータとして学習する。なお、誤差を演算する損失誤差関数には、例えば、平均二乗誤差関数を用いる。また、統計モデルＭの学習には、例えば、誤差逆伝播法（back propagation）を用いる。
【００３９】
この統計モデル学習手段１４は、事前学習において、広帯域音響特徴量および狭帯域音響特徴量が入力される間、繰り返し学習を行うが、学習を所定回数行うか、パラメータ誤差が予め定めた誤差内に収束した段階で学習を終了することとしてもよい。
統計モデル学習手段１４は、学習した統計モデルＭ（モデルパラメータ）を、統計モデル記憶手段１５に書き込み記憶する。
【００４０】
統計モデル記憶手段１５は、統計モデル学習手段１４で学習した統計モデルを記憶するものである。この統計モデル記憶手段１５は、ハードディスク、半導体メモリ等の一般的な記憶装置で構成することができる。
この統計モデル記憶手段１５に記憶される統計モデル（モデルパラメータ）は、広帯域音響特徴量生成手段１７が参照する。
【００４１】
狭帯域音響特徴量抽出手段（第２狭帯域音響特徴量抽出手段）１６は、帯域拡張時に入力される拡張対象音声信号（狭帯域音声信号）から音響特徴量（狭帯域音響特徴量）を抽出するものである。この狭帯域音響特徴量抽出手段１６は、狭帯域音響特徴量抽出手段１３と同じ機能を有し、狭帯域音声信号から狭帯域音響特徴量抽出手段１３と同じ種類の狭帯域音響特徴量を抽出する。
【００４２】
ここでは、狭帯域音響特徴量抽出手段１６は、狭帯域音響特徴量抽出手段１３と同じ６２次元の静特定と１２４次元の動特性とを合わせた１８６次元の狭帯域音響特徴量を抽出し、広帯域音響特徴量生成手段１７に出力する。
なお、狭帯域音響特徴量抽出手段１６と、狭帯域音響特徴量抽出手段１３とは、同じ機能を有するため、１つの手段で構成し、入出力のみを切り替える構成としてもよい。
【００４３】
広帯域音響特徴量生成手段１７は、統計モデルを用いて、狭帯域音響特徴量から広帯域音響特徴量を生成するものである。
この広帯域音響特徴量生成手段１７は、統計モデル記憶手段１５に記憶されている統計モデル、具体的には、そのモデルパラメータを参照して、狭帯域音響特徴量抽出手段１６で抽出された狭帯域音響特徴量から広帯域音響特徴量を生成する。例えば、図２に示した統計モデルＭの場合、広帯域音響特徴量生成手段１７は、狭帯域音響特徴量を入力層Ｌ１への入力とし、出力層Ｌ３の出力として広帯域音響特徴量を算出する。
これによって、広帯域音響特徴量生成手段１７は、狭帯域音響特徴量に対応する広帯域音響特徴量をフレームごとに生成する。
この広帯域音響特徴量生成手段１７は、生成した広帯域音響特徴量を音声合成手段１８に出力する。
【００４４】
音声合成手段１８は、広帯域音響特徴量生成手段１７で生成された広帯域音響特徴量を用いて音声合成を行い、音声信号（帯域拡張音声信号）を生成するものである。
この音声合成手段１８は、音源パラメータ（ここでは、対数ピッチ周波数、帯域非周期成分）で近似した音源波形を、スペクトルパラメータ（ここでは、メルケプストラム係数）を用いて声道における共振特性を表現した声道フィルタへの入力とし、フレームごとの音声波形を合成することで音声合成を行う。
この音響特徴量を用いて音声合成を行う手法は、ボコーダ方式の一般的な手法を用いればよく、例えば、前記した参考文献１で開示されている手法（ＷＯＲＬＤ）を用いることができる。
【００４５】
以上、本発明の実施形態に係る音声帯域拡張装置１の構成について説明したが、音声帯域拡張装置１は、コンピュータを前記した各手段として機能させるためのプログラム（音声帯域拡張プログラム）で動作させることができる。
【００４６】
以上説明したように音声帯域拡張装置１を構成することで、音声帯域拡張装置１は、事前学習時において、広帯域音声信号から、狭帯域音響特徴量を広帯域音響特徴量に変換する統計モデルを学習することができる。
そして、音声帯域拡張装置１は、帯域拡張時において、統計モデルを用いて、狭帯域音声信号から帯域を拡張した帯域拡張音声信号（広帯域音声信号）を生成することができる。
このように、音声帯域拡張装置１は、音響特徴量を用いることで、フレームごとの連続した特徴を加味することができ、従来手法に比べて高品質な音声信号を生成することができる。
【００４７】
〔音声帯域拡張装置の動作〕
次に、図３，図４を参照して、本発明の実施形態に係る音声帯域拡張装置１の動作について説明する。ここでは、音声帯域拡張装置１の動作を、統計モデルの事前学習を行う事前学習時と、音声信号の帯域拡張を行う帯域拡張時とに分けて説明する。
【００４８】
（事前学習）
まず、図３を参照（適宜図１参照）して、音声帯域拡張装置１における事前学習の動作について説明する。なお、切替手段１０は、事前学習を行うモードとして、入力した広帯域音声信号を、標本化周波数変換手段１１および広帯域音響特徴量抽出手段１２に出力するように出力経路が切り替えられているものとする。
【００４９】
ステップＳ１において、標本化周波数変換手段１１は、学習データとして入力される広帯域音声信号に対して、広帯域（例えば、４８ｋＨｚ）から狭帯域（例えば、１６ｋＨｚ）への標本化周波数変換を行うことで、狭帯域音声信号を生成する。
【００５０】
ステップＳ２において、狭帯域音響特徴量抽出手段１３は、ステップＳ１で生成した狭帯域音声信号から、予め定めた次元数のパラメータ、例えば、フレームごとに、６０次元のメルケプストラム係数、１次元の対数ピッチ周波数および１次元の帯域非周期成分の計６２次元の静特定と、静特性の時間方向の１次差分および２次差分の１２４次元の動特性とからなる１８６次元の狭帯域音響特徴量を抽出する。
【００５１】
ステップＳ３において、広帯域音響特徴量抽出手段１２は、学習データとして入力される広帯域音声信号から、予め定めた次元数のパラメータ、例えば、フレームごとに、６０次元のメルケプストラム係数、１次元の対数ピッチ周波数および５次元の帯域非周期成分の計６６次元の静特定を広帯域音響特徴量として抽出する。
なお、このステップＳ３は、ステップＳ１，Ｓ２の前、あるいは、ステップＳ１，Ｓ２と並行して動作させることとしてもよい。
これによって、同じ広帯域音声信号から生成された狭帯域音響特徴量と広帯域音響特徴量とが、フレームに対応して生成されることになる。
【００５２】
そして、ステップＳ４において、統計モデル学習手段１４は、ステップＳ３で抽出された広帯域音響特徴量を教師データとして、狭帯域音響特徴量を広帯域音響特徴量に変換する統計モデルを学習する。ここでは、統計モデル学習手段１４は、図２の順伝播ニューラルネットワークにおける入力層Ｌ１に、ステップＳ２で抽出された狭帯域音響特徴量を入力する。そして、統計モデル学習手段１４は、隠れ層Ｌ２において、入力層Ｌ１に入力された狭帯域音響特徴量の各要素の値に重みを付加して伝搬させるとともに、出力層Ｌ３において、ステップＳ３で抽出された広帯域音響特徴量との誤差が“０”に近似するように統計モデルＭを学習する。
以上の動作によって、音声帯域拡張装置１は、狭帯域音声信号の音響特徴量から、当該狭帯域音声信号に対応する広帯域音声信号の音響特徴量を推定する統計モデルを生成することができる。
【００５３】
（帯域拡張）
次に、図４を参照（適宜図１参照）して、音声帯域拡張装置１における帯域拡張の動作について説明する。なお、切替手段１０は、帯域拡張を行うモードとして、入力した狭帯域音声信号を、狭帯域音響特徴量抽出手段１６に出力するように出力経路が切り替えられているものとする。
【００５４】
ステップＳ１０において、狭帯域音響特徴量抽出手段１６は、帯域拡張対象となる狭帯域音声信号から、予め定めた次元数のパラメータ、例えば、フレームごとに、６０次元のメルケプストラム係数、１次元の対数ピッチ周波数および１次元の帯域非周期成分の計６２次元の静特定と、静特性の時間方向の１次差分および２次差分の１２４次元の動特性とからなる１８６次元の狭帯域音響特徴量を抽出する。なお、このステップＳ１０で抽出する狭帯域音響特徴量は、図３のステップＳ２で抽出する狭帯域音響特徴量と同じ種類で、同じ次元数とする。
【００５５】
ステップＳ１１において、広帯域音響特徴量生成手段１７は、事前学習（図３参照）で学習した統計モデルを用いて、ステップＳ１０で抽出された狭帯域音響特徴量から広帯域音響特徴量を生成する。
【００５６】
そして、ステップＳ１２において、音声合成手段１８は、ステップＳ１１で生成された広帯域音響特徴量を用いて、フレームごとの音声波形を合成することで音声合成を行い、広帯域（帯域拡張）音声信号を生成する。
以上の動作によって、音声帯域拡張装置１は、統計モデルを用いて、狭帯域音声信号から、帯域を拡張した広帯域音声信号を生成することができる。
【００５７】
〔音声帯域拡張装置の性能評価〕
次に、図５を参照して、音声帯域拡張装置１の性能評価について説明する。図５は、音声信号のスペクトログラムを示し、横軸が時間［秒］、縦軸が周波数［Ｈｚ］である。
図５（ａ）は、標本化周波数４８ｋＨｚの広帯域音声信号のスペクトログラム（サンプリング定理により観測可能な最大周波数は２４ｋＨｚ）である。この広帯域音声信号は、事前学習に用いた音声信号ではない。
【００５８】
図５（ｂ）は、図５（ａ）の広帯域音声信号を、標本化周波数１６ｋＨｚにダウンサンプリングした狭帯域音声信号のスペクトログラムである。
図５（ｃ）は、図５（ｂ）の狭帯域音声信号を、予め事前学習を完了した音声帯域拡張装置１の入力とし、標本化周波数４８ｋＨｚに帯域拡張を行った結果の帯域拡張音声信号のスペクトログラムである。
【００５９】
図５（ｂ）に示すように、この狭帯域音声信号は、ダウンサンプリングに伴い８ｋＨｚまでの成分しか存在しない。
しかし、図５（ｃ）に示すように、音声帯域拡張装置１で帯域拡張した帯域拡張音声信号は、８ｋＨｚ以上の成分が復元され、図５（ａ）に示した元の広帯域音声信号が精度よく復元されていることが分かる。
以上説明したように、音声帯域拡張装置１は、容易かつ高品質に音声信号の帯域を拡張することができる。
【００６０】
次に、表１を参照して、音声帯域拡張装置１の他の性能評価について説明する。表１は、帯域拡張を行う手法の違いによる性能を比較した表である。
【００６１】
【表１】
2019008206.tif 000003
【００６２】
この表１は、広帯域音声信号をダウンサンプリングすることで生成した狭帯域音声信号を、元の広帯域音声信号と同じ標本化周波数にアップサンプリングした帯域拡張音声信号と、本発明に係る音声帯域拡張装置１で拡張した帯域拡張音声信号とについて、それぞれ元の広帯域音声信号との平均二乗誤差を示す。
具体的には、それぞれの音声信号のスペクトルパラメータを算出し、広帯域音声信号と帯域拡張音声信号（アップサンプリング）、広帯域音声信号と帯域拡張音声信号（本発明）のそれぞれについて、対応するスペクトルパラメータの平均二乗誤差を算出したものである。また、ここでは、音声帯域拡張装置１における帯域拡張に際し、狭帯域音響特徴量として、静特性と動特性とを用いている。また、いずれも事前学習に未使用の評価用データ３５０文の音声信号を用いて計測した。
表１に示すように、アップサンプリングした帯域拡張音声信号よりも、音声帯域拡張装置１（本発明）で拡張した帯域拡張音声信号の方が平均二乗誤差の値が小さくなっており、音声帯域拡張装置１が、精度よく広帯域音声信号を推定できることが分かる。
【００６３】
さらに、表２を参照して、音声帯域拡張装置１の他の性能評価について説明する。表２は、狭帯域音響特徴量抽出手段１３，１６が抽出する狭帯域音響特徴量の違いによる性能を比較した表である。
【００６４】
【表２】
2019008206.tif 000004
【００６５】
この表２は、狭帯域音響特徴量抽出手段１３，１６において、静特性のみを用いた場合と、静特性と動特性とを用いた場合とで、正解の広帯域音声信号と、音声帯域拡張装置１が生成した帯域拡張音声信号との平均二乗誤差の最小値を示す。ここでは、表１の性能評価と同様に、事前学習に未使用の評価用データ３５０文の音声信号を用いて計測した。
表２に示すように、静特性のみに比べ、静特性と動特性とを合わせた狭帯域音響特徴量を用いた方が、精度よく広帯域音声信号を推定できることが分かる。
【００６６】
〔変形例〕
以上、本発明の実施形態に係る音声帯域拡張装置１の構成、動作および評価について説明したが、本発明は、この実施形態に限定されるものではない。
音声帯域拡張装置１は、統計モデルを学習する事前学習と、統計モデルを用いて、音声信号の帯域を拡張する帯域拡張との２つの動作を１つの装置で行うものである。しかし、これらの動作は、別々の装置で行うようにしても構わない。
具体的には、統計モデルを学習する事前学習を実現する装置は、図６に示す音声帯域拡張統計モデル学習装置２として構成することができる。
【００６７】
音声帯域拡張統計モデル学習装置２は、図６に示すように、標本化周波数変換手段１１と、広帯域音響特徴量抽出手段１２と、狭帯域音響特徴量抽出手段１３と、統計モデル学習手段１４と、統計モデル記憶手段１５と、を備える。この構成は、図１で説明した音声帯域拡張装置１の構成から、切替手段１０と、狭帯域音響特徴量抽出手段１６と、広帯域音響特徴量生成手段１７と、音声合成手段１８とを削除したものである。
この音声帯域拡張統計モデル学習装置２は、統計モデルを学習する事前学習動作のみを行う。
音声帯域拡張統計モデル学習装置２の動作は、図３で説明した動作と同じである。
なお、音声帯域拡張統計モデル学習装置２は、コンピュータを前記した各手段として機能させるためのプログラム（音声帯域拡張統計モデル学習プログラム）で動作させることができる。
【００６８】
また、統計モデルを用いて、音声信号の帯域を拡張する帯域拡張動作を実現する装置は、図７に示す音声帯域拡張装置１Ｂとして構成することができる。
音声帯域拡張装置１Ｂは、統計モデル記憶手段１５と、狭帯域音響特徴量抽出手段１６と、広帯域音響特徴量生成手段１７と、音声合成手段１８と、を備える。この構成は、図１で説明した音声帯域拡張装置１の構成から、切替手段１０と、標本化周波数変換手段１１と、広帯域音響特徴量抽出手段１２と、狭帯域音響特徴量抽出手段１３と、統計モデル学習手段１４とを削除したものである。また、統計モデル記憶手段１５に記憶する統計モデルは、図６の音声帯域拡張統計モデル学習装置２で学習されたものである。
この音声帯域拡張装置１Ｂは、音声信号の帯域を拡張する帯域拡張動作のみを行う。
音声帯域拡張装置１Ｂの動作は、図４で説明した動作と同じである。
なお、音声帯域拡張装置１Ｂは、コンピュータを前記した各手段として機能させるためのプログラム（音声帯域拡張プログラム）で動作させることができる。
【００６９】
このように、統計モデルを学習する学習動作と、統計モデルを用いて音声信号の帯域を拡張する帯域拡張動作とを、異なる装置（音声帯域拡張統計モデル学習装置２，音声帯域拡張装置１Ｂ）で動作させることで、１つの音声帯域拡張統計モデル学習装置２で学習した統計モデルを、複数の音声帯域拡張装置１Ｂで利用することが可能になる。
【符号の説明】
【００７０】
１，１Ｂ  音声帯域拡張装置
２      音声帯域拡張統計モデル学習装置
１０    切替手段
１１    標本化周波数変換手段
１２    広帯域音響特徴量抽出手段
１３    狭帯域音響特徴量抽出手段
１４    統計モデル学習手段
１５    統計モデル記憶手段
１６    狭帯域音響特徴量抽出手段（第２狭帯域音響特徴量抽出手段）
１７    広帯域音響特徴量生成手段
１８    音声合成手段
【図１】
2019008206.tif 000005
【図２】
2019008206.tif 000006
【図３】
2019008206.tif 000007
【図４】
2019008206.tif 000008
【図５】
2019008206.tif 000009
【図６】
2019008206.tif 000010
【図７】
2019008206.tif 000011