(57)【要約】      （修正有）【課題】低リソースな環境においても高音質な音声を得る符号化装置および方法、復号装置および方法、並びにプログラムを提供する。【解決手段】分解部９１は、供給された符号列を分解し、量子化低域スペクトル、スペクトル特性符号、および量子化拡張係数を得る。このとき、符号列にはスペクトル特性符号に応じて単一の量子化拡張係数または高域の帯域ごとの量子化拡張係数が含まれている。スペクトル逆量子化部９２は、量子化低域スペクトルを逆量子化して低域スペクトルを得る。拡張係数逆量子化部９３は量子化拡張係数を逆量子化して拡張係数を得る。拡張スペクトル生成部９４は、低域スペクトルと、スペクトル特性符号に応じた拡張係数とに基づいて拡張スペクトルを生成する。IMDCT部９５は、低域スペクトルと拡張スペクトルから帯域拡張された時系列信号を生成する。【選択図】図６
2016038435.tif 000002
【特許請求の範囲】
【請求項１】
低域スペクトルと、低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数とを取得する取得部と、
前記単一の前記拡張係数、または前記複数の帯域ごとの前記拡張係数に基づいて、前記拡張スペクトルを生成する生成部と、
前記低域スペクトルと前記拡張スペクトルを合成する合成部と
を備える復号装置。
【請求項２】
前記生成部は、前記低域スペクトルおよび前記拡張係数に基づいて前記拡張スペクトルを生成する
請求項１に記載の復号装置。
【請求項３】
前記生成部は、前記拡張係数に基づいて、前記低域スペクトルから得られたスペクトルのレベルを調整することで前記拡張スペクトルを生成する
請求項２に記載の復号装置。
【請求項４】
前記生成部は、前記単一の前記拡張係数に基づいて前記拡張スペクトルを生成する場合、前記拡張係数に基づいて前記スペクトルの前記拡張帯域全体のレベルを調整し、前記複数の帯域ごとの前記拡張係数に基づいて前記拡張スペクトルを生成する場合、前記帯域の前記拡張係数に基づいて、前記スペクトルの前記帯域のレベルを調整する
請求項３に記載の復号装置。
【請求項５】
前記生成部は、前記拡張係数に基づいて、所定のノイズのレベルを調整することで前記拡張スペクトルを生成する
請求項１に記載の復号装置。
【請求項６】
前記低域スペクトルの値は、元の時系列信号の振幅成分および位相成分により定まる
請求項１に記載の復号装置。
【請求項７】
前記低域スペクトルは、MDCTスペクトルである
請求項６に記載の復号装置。
【請求項８】
低域スペクトルと、低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数とを取得し、
前記単一の前記拡張係数、または前記複数の帯域ごとの前記拡張係数に基づいて、前記拡張スペクトルを生成し、
前記低域スペクトルと前記拡張スペクトルを合成する
ステップを含む復号方法。
【請求項９】
低域スペクトルと、低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数とを取得し、
前記単一の前記拡張係数、または前記複数の帯域ごとの前記拡張係数に基づいて、前記拡張スペクトルを生成し、
前記低域スペクトルと前記拡張スペクトルを合成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
時系列信号を直交変換して得られたスペクトルから特徴量を抽出する特徴量抽出部と、
前記特徴量に応じて、前記スペクトルの低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数を前記スペクトルに基づいて算出する算出部と、
前記スペクトルの低域成分である低域スペクトルと、前記拡張係数とを多重化して符号列を生成する多重化部と
を備える符号化装置。
【請求項１１】
前記特徴量は前記スペクトルのトーナリティを示す情報である
請求項１０に記載の符号化装置。
【請求項１２】
前記算出部は、前記スペクトルのトーナリティが高い場合、前記単一の前記拡張係数を算出し、前記スペクトルのトーナリティが低い場合、前記複数の帯域ごとの前記拡張係数を算出する
請求項１１に記載の符号化装置。
【請求項１３】
前記算出部は、前記スペクトルの前記拡張帯域の平均振幅と、前記低域スペクトルの平均振幅との比を前記拡張係数として算出する
請求項１０に記載の符号化装置。
【請求項１４】
前記算出手段は、前記スペクトルの低域のトーナリティが高く、前記スペクトルの前記拡張帯域のトーナリティが低い場合、前記スペクトルの前記拡張帯域の包絡情報を前記拡張係数として算出する
請求項１１に記載の符号化装置。
【請求項１５】
前記スペクトルの値は、前記時系列信号の振幅成分および位相成分により定まる
請求項１０に記載の符号化装置。
【請求項１６】
前記直交変換はMDCTである
請求項１５に記載の符号化装置。
【請求項１７】
時系列信号を直交変換して得られたスペクトルから特徴量を抽出し、
前記特徴量に応じて、前記スペクトルの低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数を前記スペクトルに基づいて算出し、
前記スペクトルの低域成分である低域スペクトルと、前記拡張係数とを多重化して符号列を生成する
ステップを含む符号化方法。
【請求項１８】
時系列信号を直交変換して得られたスペクトルから特徴量を抽出し、
前記特徴量に応じて、前記スペクトルの低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数を前記スペクトルに基づいて算出し、
前記スペクトルの低域成分である低域スペクトルと、前記拡張係数とを多重化して符号列を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、低リソースな環境においても高音質な音声を得ることができるようにした符号化装置および方法、復号装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、音声信号に対する帯域拡張の概念を取り入れた符号化技術が知られている（例えば、特許文献１および特許文献２参照）。
【０００３】
そのような符号化技術では、音声信号として入力された時系列信号が低域成分と高域成分とに帯域分割され、低域の信号については通常の符号化が行われ、低域の信号と高域の信号の関係性や、高域の信号の特徴等が付加情報として伝送される。
【０００４】
また、復号時には、低域の信号が復元された後に、その低域の信号、および付加情報が用いられて拡張帯域の信号が生成され、低域の信号と拡張帯域の信号が合成されて、帯域拡張が実現される。
【０００５】
より具体的には、低域の信号が復元された後に、その低域の信号が帯域分割フィルタにより複数の各帯域に分割され、それらの分割された低域の信号と付加情報とが用いられて拡張帯域の信号が生成される。そして、低域の信号と拡張帯域の信号とが帯域合成フィルタにより合成されて、帯域拡張された時系列信号が得られる。
【０００６】
ところが、このように帯域分割フィルタや帯域合成フィルタを用いると、これらの帯域分割や帯域合成のフィルタ処理によって、信号の符号化から復号までの原理遅延を増加させてしまうことになる。そうすると、音声信号の入力から出力までの応答速度が低下してしまう。
【０００７】
また、通常の復号処理に加えて、フィルタバンクなどによる帯域分割や帯域合成といったフィルタ処理が必要になるため、処理量やメモリ使用量が大幅に増加し、組み込み機器などの低リソースな環境では復号装置の搭載が困難であった。
【０００８】
そこで、このような符号化技術を改善するものとして、周波数領域で帯域拡張を行うことができるようにする技術が提案されている（例えば、特許文献３参照）。
【０００９】
この技術では、符号化時にMDCT（Modified Discrete Cosine Transform）によって得られたスペクトルが低域側（ベースバンド）と高域側（拡張帯域）に分割され、ベースバンドの信号については通常の符号化が行われ、ベースバンドと拡張帯域のスペクトルの関係性や、拡張帯域のスペクトルの特徴等が付加情報として伝送される。
【００１０】
また、復号時にはベースバンドのスペクトルと付加情報とが用いられて拡張帯域のスペクトルが生成され、ベースバンドのスペクトルと拡張帯域のスペクトルが合成されて全帯域のスペクトルが生成される。さらに、得られた全帯域のスペクトルに対してIMDCT（Inverse Modified Discrete Cosine Transform）が行われ、これにより全帯域のスペクトルが時系列信号（時間信号）に変換される。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特許第５３２９７１４号公報
【特許文献２】特許第５３２５２９３号公報
【特許文献３】特開２０１１−２１５１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、MDCTで得られたスペクトル（以下、MDCTスペクトルとも称する）の各周波数ビンの値は、振幅成分と位相成分の両方の成分が織り込まれた値となっている。そのため、周波数領域で帯域拡張を行う技術では、復号時にMDCTスペクトルを用いて拡張帯域のスペクトルの振幅を細かく調整すると、各スペクトルの位相成分、および各スペクトル間の相互の位相関係が大きく崩れてしまう。
【００１３】
このような場合、例えば符号化および復号の対象となる音声信号が、ノイズ性の高い楽音や人の声などの信号であるときには、音声信号に聴感上の大きな音質劣化は生じない。
【００１４】
ところが、音声信号が単一楽器や効果音等の特定周波数にエネルギが集中している音声信号、すなわちトーナリティが高い信号である場合には、本来特定周波数に集中しているはずのエネルギが、復号により周囲の周波数のスペクトルに拡散してしまう。そうすると、復号により最終的に得られた音声信号はノイズ性を有することになり、聴感上の音質が劣化してしまう。
【００１５】
以上のように周波数領域で帯域拡張を行う技術では、時系列信号に対する帯域分割や帯域合成が不要であるため、遅延を生じさせることなく、低リソースな環境でも音声の符号化および復号を行うことができるが、高音質な音声を得ることができない場合があった。
【００１６】
本技術は、このような状況に鑑みてなされたものであり、低リソースな環境においても高音質な音声を得ることができるようにするものである。
【課題を解決するための手段】
【００１７】
本技術の第１の側面の復号装置は、低域スペクトルと、低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数とを取得する取得部と、前記単一の前記拡張係数、または前記複数の帯域ごとの前記拡張係数に基づいて、前記拡張スペクトルを生成する生成部と、前記低域スペクトルと前記拡張スペクトルを合成する合成部とを備える。
【００１８】
前記生成部には、前記低域スペクトルおよび前記拡張係数に基づいて前記拡張スペクトルを生成させることができる。
【００１９】
前記生成部には、前記拡張係数に基づいて、前記低域スペクトルから得られたスペクトルのレベルを調整することで前記拡張スペクトルを生成させることができる。
【００２０】
前記生成部には、前記単一の前記拡張係数に基づいて前記拡張スペクトルを生成する場合、前記拡張係数に基づいて前記スペクトルの前記拡張帯域全体のレベルを調整させ、前記複数の帯域ごとの前記拡張係数に基づいて前記拡張スペクトルを生成する場合、前記帯域の前記拡張係数に基づいて、前記スペクトルの前記帯域のレベルを調整させることができる。
【００２１】
前記生成部には、前記拡張係数に基づいて、所定のノイズのレベルを調整することで前記拡張スペクトルを生成させることができる。
【００２２】
前記低域スペクトルの値が、元の時系列信号の振幅成分および位相成分により定まるようにすることができる。
【００２３】
前記低域スペクトルを、MDCTスペクトルとすることができる。
【００２４】
本技術の第１の側面の復号方法またはプログラムは、低域スペクトルと、低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数とを取得し、前記単一の前記拡張係数、または前記複数の帯域ごとの前記拡張係数に基づいて、前記拡張スペクトルを生成し、前記低域スペクトルと前記拡張スペクトルを合成するステップを含む。
【００２５】
本技術の第１の側面においては、低域スペクトルと、低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数とが取得され、前記単一の前記拡張係数、または前記複数の帯域ごとの前記拡張係数に基づいて、前記拡張スペクトルが生成され、前記低域スペクトルと前記拡張スペクトルが合成される。
【００２６】
本技術の第２の側面の符号化装置は、時系列信号を直交変換して得られたスペクトルから特徴量を抽出する特徴量抽出部と、前記特徴量に応じて、前記スペクトルの低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数を前記スペクトルに基づいて算出する算出部と、前記スペクトルの低域成分である低域スペクトルと、前記拡張係数とを多重化して符号列を生成する多重化部とを備える。
【００２７】
前記特徴量を前記スペクトルのトーナリティを示す情報とすることができる。
【００２８】
前記算出部には、前記スペクトルのトーナリティが高い場合、前記単一の前記拡張係数を算出させ、前記スペクトルのトーナリティが低い場合、前記複数の帯域ごとの前記拡張係数を算出させることができる。
【００２９】
前記算出部には、前記スペクトルの前記拡張帯域の平均振幅と、前記低域スペクトルの平均振幅との比を前記拡張係数として算出させることができる。
【００３０】
前記算出手段には、前記スペクトルの低域のトーナリティが高く、前記スペクトルの前記拡張帯域のトーナリティが低い場合、前記スペクトルの前記拡張帯域の包絡情報を前記拡張係数として算出させることができる。
【００３１】
前記スペクトルの値が、前記時系列信号の振幅成分および位相成分により定まるようにすることができる。
【００３２】
前記直交変換をMDCTとすることができる。
【００３３】
本技術の第２の側面の符号化方法またはプログラムは、時系列信号を直交変換して得られたスペクトルから特徴量を抽出し、前記特徴量に応じて、前記スペクトルの低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数を前記スペクトルに基づいて算出し、前記スペクトルの低域成分である低域スペクトルと、前記拡張係数とを多重化して符号列を生成するステップを含む。
【００３４】
本技術の第２の側面においては、時系列信号を直交変換して得られたスペクトルから特徴量が抽出され、前記特徴量に応じて、前記スペクトルの低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数が前記スペクトルに基づいて算出され、前記スペクトルの低域成分である低域スペクトルと、前記拡張係数とが多重化されて符号列が生成される。
【発明の効果】
【００３５】
本技術の第１の側面および第２の側面によれば、低リソースな環境においても高音質な音声を得ることができる。
【００３６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００３７】
【図１】符号化装置の構成例を示す図である。
【図２】スペクトルの領域と境界について説明する図である。
【図３】低域折り返し疑似振幅スペクトルについて説明する図である。
【図４】高域スペクトルの分割について説明する図である。
【図５】符号化処理を説明するフローチャートである。
【図６】復号装置の構成例を示す図である。
【図７】復号処理を説明するフローチャートである。
【図８】トーナリティの高い信号について説明する図である。
【図９】高域疑似振幅スペクトルの平均値について説明する図である。
【図１０】拡張スペクトルのレベル調整について説明する図である。
【図１１】レベル調整によるトーナリティの崩れについて説明する図である。
【図１２】拡張スペクトルのレベル調整について説明する図である。
【図１３】低域のトーナリティが高く、高域のトーナリティが低い信号の例を示す図である。
【図１４】拡張スペクトルの生成と音質劣化について説明する図である。
【図１５】包絡係数と拡張スペクトルの生成について説明する図である。
【図１６】符号化処理を説明するフローチャートである。
【図１７】復号処理を説明するフローチャートである。
【図１８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００３８】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００３９】
〈第１の実施の形態〉
〈符号化装置の構成例〉
図１は、本技術を適用した符号化装置の一実施の形態の構成例を示す図である。
【００４０】
図１に示す符号化装置１１はMDCT部２１、スペクトル量子化部２２、低域特徴量抽出部２３、高域特徴量抽出部２４、スペクトル特性決定部２５、拡張係数算出部２６、拡張係数量子化部２７、および多重化部２８を有している。
【００４１】
MDCT部２１には、符号化対象の音声信号として、例えばサンプリング周波数Fs[kHz]の時系列信号である入力信号が供給される。
【００４２】
MDCT部２１は、供給された入力信号に対して、直交変換として例えばMDCTを行い、直流成分である周波数Dc[kHz]から、サンプリング周波数Fsの半分の周波数Fs/2までのスペクトルを得る。
【００４３】
なお、以下では直交変換としてMDCTが行われる場合を例として説明を続けるが、直交変換により得られたスペクトルの値が、振幅成分と位相成分の両方の成分が織り込まれた値となるものであれば、MDCTに限らずどのような変換が行われてもよい。
【００４４】
また、ここでは符号化効率を向上させるため、実際に符号化されるのは、直交変換で得られたスペクトルのうちの周波数Dcから、聴感上敏感な周波数Fc[kHz]までの成分とされ、残りのスペクトルは棄損されるものとする。つまり、スペクトルのうちの周波数Fcから周波数Fs/2までの部分は棄損されるものとする。
【００４５】
さらに符号化効率を向上させるために、復号側において帯域拡張が行われるとする。
【００４６】
例えば図２に示すように、MDCT部２１での直交変換で得られたスペクトルが低域スペクトル、高域スペクトル、および棄損スペクトルに分割されるものとする。なお、図２において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【００４７】
この例ではスペクトル全体における、直流成分である周波数Dcから上限周波数Fb[kHz]までの成分が低域スペクトルとされており、入力信号の符号化時には、低域スペクトルに対して通常の符号化が行われる。
【００４８】
また、スペクトル全体における、上限周波数Fbから周波数Fcまでの成分が高域スペクトルとされている。入力信号の符号化時には、この高域スペクトルの符号化は行われないが、復号時には低域スペクトルと、後述する付加情報である拡張係数とが用いられて疑似的な高域スペクトル（以下、拡張スペクトルとも称する）が生成されて、帯域拡張が実現される。すなわち、復号時には、上限周波数Fbから周波数Fcまでの周波数帯域が、帯域拡張の対象である拡張帯域とされる。
【００４９】
さらに、スペクトル全体における周波数Fcから周波数Fs/2までの部分は棄損スペクトルとされて、棄損される。
【００５０】
なお、以下では、周波数Dcから上限周波数Fbまで帯域を低域と称し、上限周波数Fbから周波数Fcまでの帯域を高域と称することとする。また、以下では周波数Fcから周波数Fs/2までの帯域を棄損帯域と称することとする。
【００５１】
したがって、この例では、低域成分のみ入力信号の符号化が行われ、高域成分は復号時に帯域拡張により生成されることになる。
【００５２】
図１の説明に戻り、MDCT部２１は、入力信号に対してMDCTを行い、その結果得られた全帯域のスペクトルのうちの低域スペクトルをスペクトル量子化部２２および低域特徴量抽出部２３に供給するとともに、高域スペクトルを高域特徴量抽出部２４に供給する。
【００５３】
スペクトル量子化部２２は、MDCT部２１から供給された低域スペクトルを量子化し、その結果得られた量子化低域スペクトルを多重化部２８に供給する。
【００５４】
低域特徴量抽出部２３は、MDCT部２１から供給された低域スペクトルから特徴量（以下、低域スペクトル特徴量とも称する）を抽出し、スペクトル特性決定部２５に供給するとともに、低域スペクトルの振幅情報を拡張係数算出部２６に供給する。
【００５５】
高域特徴量抽出部２４は、MDCT部２１から供給された高域スペクトルから特徴量（以下、高域スペクトル特徴量とも称する）を抽出し、スペクトル特性決定部２５に供給するとともに、高域スペクトルの振幅情報を拡張係数算出部２６に供給する。
【００５６】
ここで、低域スペクトル特徴量および高域スペクトル特徴量について説明する。
【００５７】
MDCT部２１で得られたスペクトルから、低域スペクトル特徴量や高域スペクトル特徴量といった特徴量を抽出するためには、スペクトルの振幅の特性を観察することが必要となる。しかし、MDCT部２１で得られるスペクトルは、例えばMDCTにより得られるMDCTスペクトルであり、MDCTスペクトルは、DFT（Discrete Fourier Transform）により得られるDFTスペクトルとは異なる性質を有している。なお、MDCTスペクトルはMDCT係数とも呼ばれている。
【００５８】
具体的には、DFTスペクトルには、振幅成分と位相成分とがそれぞれ独立に含まれている。これに対してMDCTスペクトルの値、つまりMDCTスペクトルの各周波数ビンにおける値は、振幅成分と位相成分の両成分が織り込まれた値となっている。すなわち、MDCTスペクトルの値は、入力信号の振幅成分と位相成分によって定まり、MDCTスペクトルの値からは、振幅成分と位相成分の何れか一方のみの値を知ることはできない。
【００５９】
そのため、DFTスペクトルを使用する場合には、振幅スペクトルまたはパワースペクトルを使用して信号の振幅を観察することが可能であるが、MDCTスペクトルの場合には、そのままの形ではMDCTスペクトルから信号の振幅を観察することは困難である。
【００６０】
したがって、MDCTスペクトルに対してMDCTの逆変換であるIMDCTを行い、入力信号を一度、時系列信号に戻してから、その時系列信号に対して特徴量抽出のためにDFTを行うことが考えられる。
【００６１】
しかし、そのような場合には符号化装置１１にIMDCTやDFTの処理ブロックをさらに追加する必要があり、計算量と、ROM（Read Only Memory）やRAM（Random Access Memory）などのメモリ使用量との大幅な増加が見込まれることになる。そうすると、ポータブル機器などの演算リソースが限られた低リソース環境で、入力信号の符号化を行うことが困難となる。
【００６２】
そこで、本技術を適用した符号化装置１１は、MDCTスペクトルに基づいて次式（１）により疑似振幅スペクトルSkを算出し、特徴量抽出に使用する。
【００６３】
【数１】
2016038435.tif 000003
【００６４】
なお、式（１）において、疑似振幅スペクトルSkは、MDCTスペクトルのｋ番目の周波数ビンに対応する疑似振幅スペクトルを示しており、ykはｋ番目の周波数ビンに対応するMDCTスペクトルの値を示している。したがって、式（１）では、連続する３つの周波数ビンに対応するMDCTスペクトルの値に基づいて、１つの周波数ビンについて疑似振幅スペクトルSkが算出される。
【００６５】
このようにして得られた疑似振幅スペクトルSkの値は、振幅スペクトルに類似した値となる。つまり、疑似振幅スペクトルSkの値はDFTスペクトルの振幅スペクトルと強い相関を有する値となるため、疑似振幅スペクトルSkの値は、MDCTスペクトルの各周波数における疑似的な振幅値を示しているということができる。
【００６６】
なお、以下では、低域スペクトルについて求めた疑似振幅スペクトルを、特に低域疑似振幅スペクトルとも称し、高域スペクトルについて求めた疑似振幅スペクトルを、特に高域疑似振幅スペクトルとも称することとする。
【００６７】
低域特徴量抽出部２３および高域特徴量抽出部２４は、低域スペクトルおよび高域スペクトルの各周波数（周波数ビン）について、式（１）により疑似振幅スペクトルSkを算出し、得られた各周波数ビンの疑似振幅スペクトルSkから特徴量を算出する。
【００６８】
例えば、低域特徴量抽出部２３および高域特徴量抽出部２４は、低域スペクトル特徴量および高域スペクトル特徴量として、次式（２）の計算により、スペクトルのノイズ性の高さを示す指標となるSpectral Flatness（以下、SFとも称する）を算出する。
【００６９】
【数２】
2016038435.tif 000004
【００７０】
なお、式（２）においてNは対象となるスペクトルの本数、つまり周波数ビンの数を示している。また、Siはi番目の周波数ビンの疑似振幅スペクトルの値を示している。
【００７１】
したがって、例えば高域スペクトルについてSFを求める場合、高域スペクトルの全周波数ビンについて求めた疑似振幅スペクトルSkの幾何平均に対する、高域スペクトルの全周波数ビンについて求めた疑似振幅スペクトルSkの算術平均の比がSFとなる。
【００７２】
このようにして算出されるSFは、スペクトルの平坦さの度合いを示しており、0.0乃至1.0の範囲の値をとる。
【００７３】
例えばSFの値が大きいほど、つまりSFの値が1.0に近いほどスペクトルの起伏が小さく平坦であり、スペクトルのノイズ性が高いことを示している。逆にSFの値が小さいほど、つまりSFの値が0.0に近いほどスペクトルのトーナリティが高い（ノイズ性が低い）ことを示している。
【００７４】
なお、特徴量としてSFが算出される例について説明したが、特徴量としてどのようなものが算出されるようにしてもよい。
【００７５】
例えばSF以外にもスペクトルのノイズ性の高さを示す指標、換言すればトーナリティの高さを示す指標はあるので、符号化装置１１で要求される特徴量の精度や許容される計算量に応じて、ノイズ性の高さを示す他の指標を特徴量として算出してもよい。
【００７６】
SFとは異なる特徴量の例として、例えば次式（３）に示すスペクトル集中度Dを低域スペクトル特徴量や高域スペクトル特徴量として算出するようにしてもよい。
【００７７】
【数３】
2016038435.tif 000005
【００７８】
なお、式（３）において、Nは対象となるスペクトルの本数、つまり周波数ビンの数を示している。また、Siはi番目の周波数ビンに対応する疑似振幅スペクトルの値を示しており、Max(Si)は各周波数ビンに対応する疑似振幅スペクトルSiのなかの最大値を示している。
【００７９】
したがって、式（３）の例では、疑似振幅スペクトルSkの最大値に対する、疑似振幅スペクトルSkの算術平均の比がスペクトル集中度Dとなる。
【００８０】
MDCTスペクトルでは、スペクトル集中度Dの値が大きいほどスペクトルの分布に偏りがあってトーナリティが高く、逆にスペクトル集中度Dの値が小さいほどスペクトルの分布が平坦でノイズ性が高い傾向が現れる。
【００８１】
このように、特徴量としてどのようなものが算出されてもよいが、以下では特徴量としてSFが算出されるものとして説明を続ける。
【００８２】
具体的には、低域特徴量抽出部２３が低域スペクトル特徴量を算出する場合、図３に示すように、低域スペクトルについて算出した低域疑似振幅スペクトルを、上限周波数Fbを境界として高域側に折り返して得られる低域折り返し疑似振幅スペクトルについて、上述したSFを算出する。
【００８３】
なお、図３において、縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【００８４】
この例では、曲線C11により表される低域疑似振幅スペクトルが上限周波数Fbの位置で高域側に折り返されて、曲線C12により表される低域折り返し疑似振幅スペクトルとされている。したがって、低域疑似振幅スペクトルと低域折り返し疑似振幅スペクトルとは左右対称な波形となっている。
【００８５】
図１の説明に戻り、低域特徴量抽出部２３は、折り返しにより得られた低域折り返し疑似振幅スペクトルのうちの上限周波数Fbから周波数Fcまでの帯域の各周波数ビンについて、式（２）の計算により低域スペクトル特徴量としてSFを算出する。なお、以下では、低域スペクトル特徴量として算出されたSFを特にSFLとも称することとする。
【００８６】
低域特徴量抽出部２３は、このようにして得られた低域スペクトル特徴量としてのSFLをスペクトル特性決定部２５に供給するとともに、低域折り返し疑似振幅スペクトルを振幅情報として拡張係数算出部２６に供給する。このとき、例えば低域折り返し疑似振幅スペクトルにおける上限周波数Fbから周波数Fcまでの部分が拡張係数算出部２６に供給される。
【００８７】
また、高域特徴量抽出部２４は、高域スペクトルから得られた高域疑似振幅スペクトルの各周波数ビンについて、式（２）の計算により高域スペクトル特徴量としてSFを算出する。なお、以下では、高域スペクトル特徴量として算出されたSFを特にSFHとも称することとする。
【００８８】
高域特徴量抽出部２４は、このようにして得られた高域スペクトル特徴量としてのSFHをスペクトル特性決定部２５に供給するとともに、高域疑似振幅スペクトルを振幅情報として拡張係数算出部２６に供給する。
【００８９】
スペクトル特性決定部２５は、低域特徴量抽出部２３から供給された低域スペクトル特徴量と、高域特徴量抽出部２４から供給された高域スペクトル特徴量とに基づいて、符号化対象の入力信号のスペクトル特性を示すスペクトル特性符号を生成する。
【００９０】
例えば、低域スペクトル特徴量であるSFL、および高域スペクトル特徴量であるSFHが、ともに所定の閾値未満である場合、スペクトル特性符号は高いトーナリティを示す符号とされる。つまり、入力信号（MDCTスペクトル）はトーナリティが高いというスペクトル特性を有しているとされる。ここでは、高いトーナリティを示すスペクトル特性符号の値は「１」とされるものとする。
【００９１】
また、低域スペクトル特徴量であるSFL、および高域スペクトル特徴量であるSFHのうちの少なくとも何れか一方が閾値以上である場合、スペクトル特性符号は高いトーナリティではないことを示す符号とされる。つまり、入力信号は、トーナリティが高くない、換言すればノイズ性が高いというスペクトル特性を有しているとされる。ここでは、高いトーナリティではないことを示すスペクトル特性符号の値は「０」とされるものとする。
【００９２】
このように、MDCTスペクトルの低域成分および高域成分の両方においてトーナリティが高い場合には、スペクトル特性符号は「１」とされ、MDCTスペクトルの低域成分および高域成分の少なくとも一方のノイズ性が高い場合には、スペクトル特性符号は「０」とされる。
【００９３】
スペクトル特性決定部２５は、このようにして得られたスペクトル特性符号を、拡張係数算出部２６、拡張係数量子化部２７、および多重化部２８に供給する。
【００９４】
拡張係数算出部２６は低域特徴量抽出部２３からの低域折り返し疑似振幅スペクトル、高域特徴量抽出部２４からの高域疑似振幅スペクトル、およびスペクトル特性決定部２５からのスペクトル特性符号に基づいて拡張係数を算出し、拡張係数量子化部２７に供給する。
【００９５】
ここで拡張係数は、復号時に周波数領域で高域のレベル調整を行うための情報であり、高域疑似振幅スペクトルと低域折り返し疑似振幅スペクトルのレベルの比を示している。換言すれば、拡張係数は高域スペクトルの平均振幅と低域スペクトルの平均振幅との比を示している。
【００９６】
具体的には、拡張係数算出部２６は、スペクトル特性符号が「１」である場合、高域の範囲、つまり上限周波数Fbから周波数Fcまでの帯域の各周波数ビンの高域疑似振幅スペクトルの値の平均値を算出する。また、拡張係数算出部２６は、上限周波数Fbから周波数Fcまでの帯域の各周波数ビンの低域折り返し疑似振幅スペクトルの値の平均値を算出し、高域疑似振幅スペクトルの平均値を、低域折り返し疑似振幅スペクトルの平均値で除算して得られる値を拡張係数とする。この場合、高域全体、つまり拡張帯域全体に対して１つの拡張係数が得られることになる。
【００９７】
これに対して、拡張係数算出部２６はスペクトル特性符号が「０」である場合、例えば図４に示すように、人間の聴覚特性を考慮して、低域側から高域側にいくに従って分割された帯域幅が広くなるように高域を複数帯域に分割し、帯域ごとに拡張係数を算出する。
【００９８】
なお、図４において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【００９９】
この例では、高域スペクトルの周波数帯域、つまり高域である上限周波数Fbから周波数Fcまでの周波数帯域が帯域B1乃至帯域B5の５つの帯域に分割されている。そして、分割により得られた各帯域の幅は、周波数Fc側にある帯域ほど広くなっている。
【０１００】
拡張係数算出部２６は、高域を構成するこれらの帯域B1乃至帯域B5ごとに、高域疑似振幅スペクトルの値の平均値を、低域折り返し疑似振幅スペクトルの値の平均値で除算して得られる値を算出し、得られた値を各帯域の拡張係数とする。
【０１０１】
例えば帯域B1内の各周波数ビンにおける高域疑似振幅スペクトルの値の平均値を、帯域B1内の各周波数ビンにおける低域折り返し疑似振幅スペクトルの値の平均値で除算して得られる値が帯域B1の拡張係数とされる。
【０１０２】
したがって、高域を分割して得られたi番目の帯域（領域）の拡張係数Ciは、次式（４）により算出されることになる。
【０１０３】
【数４】
2016038435.tif 000006
【０１０４】
なお、式（４）において、Skはi番目の帯域内のk番目の周波数ビンの高域疑似振幅スペクトルの値を示しており、Lkはi番目の帯域内のk番目の周波数ビンの低域折り返し疑似振幅スペクトルの値を示している。また、Mはi番目の帯域内のスペクトル数、つまり周波数ビンの数を示している。
【０１０５】
拡張係数量子化部２７は、スペクトル特性決定部２５から供給されたスペクトル特性符号に基づいて、拡張係数算出部２６から供給された拡張係数を量子化し、その結果得られた量子化拡張係数を多重化部２８に供給する。
【０１０６】
例えば、スペクトル特性符号が「１」である場合、高域全体に対して算出された単一の拡張係数に対してスカラ量子化が行われる。これに対して、スペクトル特性符号が「０」である場合、高域内の分割された帯域（領域）ごとに算出された複数の拡張係数に対してスカラ量子化またはベクトル量子化が行われる。
【０１０７】
多重化部２８は、スペクトル量子化部２２からの量子化低域スペクトル、スペクトル特性決定部２５からのスペクトル特性符号、および拡張係数量子化部２７からの量子化拡張係数を多重化し、その結果得られた符号列を出力する。このとき、多重化部２８は、量子化低域スペクトルをエントロピ符号化するとともに、量子化拡張係数の符号化も行う。
【０１０８】
〈符号化処理の説明〉
続いて、符号化装置１１の動作について説明する。
【０１０９】
符号化装置１１は、例えば外部から符号化対象となる入力信号が供給されると、符号化処理を開始し、入力信号の符号化を行う。以下、図５のフローチャートを参照して、符号化装置１１による符号化処理について説明する。
【０１１０】
ステップＳ１１において、MDCT部２１は供給された入力信号に対してMDCTを行う。そして、MDCT部２１はMDCTにより得られたMDCTスペクトルのうちの低域部分を低域スペクトルとしてスペクトル量子化部２２および低域特徴量抽出部２３に供給するとともに、MDCTスペクトルのうちの高域部分を高域スペクトルとして高域特徴量抽出部２４に供給する。
【０１１１】
ステップＳ１２において、スペクトル量子化部２２は、MDCT部２１から供給された低域スペクトルを量子化し、その結果得られた量子化低域スペクトルを多重化部２８に供給する。
【０１１２】
ステップＳ１３において、低域特徴量抽出部２３は、MDCT部２１から供給された低域スペクトルから低域スペクトル特徴量を抽出する。
【０１１３】
例えば低域特徴量抽出部２３は、低域スペクトルの各周波数ビンについて上述した式（１）の計算を行い、低域疑似振幅スペクトルを算出する。
【０１１４】
また、低域特徴量抽出部２３は、得られた低域疑似振幅スペクトルを、上限周波数Fbで高域側に折り返し、低域折り返し疑似振幅スペクトルとする。このとき、例えば低域特徴量抽出部２３は、折り返された低域疑似振幅スペクトルの周波数Fcより高い周波数の部分を棄損して低域折り返し疑似振幅スペクトルを生成する。
【０１１５】
そして、低域特徴量抽出部２３は、低域折り返し疑似振幅スペクトルの各周波数ビンについて上述した式（２）の計算を行い、低域スペクトル特徴量としてSFLを算出する。
【０１１６】
低域特徴量抽出部２３は、算出された低域スペクトル特徴量としてのSFLをスペクトル特性決定部２５に供給するとともに、低域折り返し疑似振幅スペクトルを拡張係数算出部２６に供給する。
【０１１７】
ステップＳ１４において、高域特徴量抽出部２４は、MDCT部２１から供給された高域スペクトルから高域スペクトル特徴量を抽出する。
【０１１８】
例えば高域特徴量抽出部２４は、高域スペクトルの各周波数ビンについて上述した式（１）を計算して高域疑似振幅スペクトルを算出するとともに、高域疑似振幅スペクトルの各周波数ビンについて式（２）の計算を行い、高域スペクトル特徴量としてSFHを算出する。
【０１１９】
高域特徴量抽出部２４は、算出された高域スペクトル特徴量としてのSFHをスペクトル特性決定部２５に供給するとともに、高域疑似振幅スペクトルを拡張係数算出部２６に供給する。
【０１２０】
ステップＳ１５において、スペクトル特性決定部２５は、低域特徴量抽出部２３から供給された低域スペクトル特徴量と、高域特徴量抽出部２４から供給された高域スペクトル特徴量とに基づいて、スペクトル特性を示すスペクトル特性符号を生成する。
【０１２１】
具体的には、スペクトル特性決定部２５は、低域スペクトル特徴量であるSFL、および高域スペクトル特徴量であるSFHが、ともに閾値未満である場合、値が「１」であるスペクトル特性符号を生成する。
【０１２２】
これに対して、スペクトル特性決定部２５は、低域スペクトル特徴量であるSFL、および高域スペクトル特徴量であるSFHのうちの少なくとも何れか一方が閾値以上である場合、値が「０」であるスペクトル特性符号を生成する。
【０１２３】
スペクトル特性決定部２５は、生成されたスペクトル特性符号を拡張係数算出部２６、拡張係数量子化部２７、および多重化部２８に供給する。
【０１２４】
ステップＳ１６において、拡張係数算出部２６および拡張係数量子化部２７は、スペクトル特性決定部２５から供給されたスペクトル特性符号に基づいて、スペクトル特性が高いトーナリティを示すものであるか否かを判定する。
【０１２５】
例えばスペクトル特性符号の値が「１」である場合、スペクトル特性が高いトーナリティを示すものであると判定される。
【０１２６】
ステップＳ１６において高いトーナリティを示すものであると判定された場合、処理はステップＳ１７に進む。
【０１２７】
ステップＳ１７において、拡張係数算出部２６は、低域特徴量抽出部２３からの低域折り返し疑似振幅スペクトル、および高域特徴量抽出部２４からの高域疑似振幅スペクトルに基づいて高域全体に対して単一（１つ）の拡張係数を算出し、拡張係数量子化部２７に供給する。
【０１２８】
すなわち、拡張係数算出部２６は、上限周波数Fbから周波数Fcまでの帯域について、各周波数ビンにおける高域疑似振幅スペクトルの値の平均値を、各周波数ビンにおける低域折り返し疑似振幅スペクトルの値の平均値で除算し、拡張係数を算出する。
【０１２９】
拡張係数が算出されると、その後、処理はステップＳ１９へと進む。
【０１３０】
一方、ステップＳ１６において高いトーナリティを示すものでないと判定された場合、処理はステップＳ１８に進む。
【０１３１】
ステップＳ１８において、拡張係数算出部２６は、低域特徴量抽出部２３からの低域折り返し疑似振幅スペクトル、および高域特徴量抽出部２４からの高域疑似振幅スペクトルに基づいて、高域の分割された帯域ごとに拡張係数を算出し、拡張係数量子化部２７に供給する。
【０１３２】
すなわち、例えば拡張係数算出部２６は、図４に示したように高域全体を帯域B1乃至帯域B5の５つの帯域に分割し、各帯域について上述した式（４）の計算を行って、帯域ごとに拡張係数を算出する。この場合、帯域B1乃至帯域B5の帯域ごとに１つの拡張係数が算出される。
【０１３３】
拡張係数が算出されると、その後、処理はステップＳ１９へと進む。
【０１３４】
ステップＳ１７またはステップＳ１８において拡張係数が算出されると、ステップＳ１９において、拡張係数量子化部２７は、拡張係数算出部２６から供給された拡張係数を量子化し、その結果得られた量子化拡張係数を多重化部２８に供給する。
【０１３５】
ステップＳ２０において、多重化部２８は、スペクトル量子化部２２からの量子化低域スペクトル、スペクトル特性決定部２５からのスペクトル特性符号、および拡張係数量子化部２７からの量子化拡張係数を多重化し、符号列を生成する。このとき、多重化部２８は、量子化低域スペクトルや量子化拡張係数を符号化した後、符号化された量子化低域スペクトルおよび量子化拡張係数と、スペクトル特性符号とを多重化する。
【０１３６】
多重化部２８は、多重化により得られた符号列を出力し、符号化処理は終了する。
【０１３７】
以上のようにして符号化装置１１は、低域スペクトル特徴量および高域スペクトル特徴量に基づいて入力信号のスペクトル特性を決定する。そして、符号化装置１１は、復号時に周波数領域で高域のレベルを調整するための拡張係数として、スペクトル特性に応じて異なる拡張係数を算出する。
【０１３８】
これにより、復号時に拡張係数を用いて周波数領域で高域のレベルを調整することができるとともに、スペクトル特性に応じた高域のレベル調整を実現することができる。したがって、原理遅延を増加させることなく、低リソースな環境においても高音質な音声を得ることができるようになる。
【０１３９】
すなわち、周波数領域で高域のレベル調整を行うことができるので、復号時の帯域拡張による時間遅延が削減され、復号側のリソースの増加も抑制される。また、スペクトル特性に応じて高域のレベル調整を行うことができるので、トーナリティの高い信号でもトーナリティの低い信号でも聴感上の音質の劣化を抑制することができ、より高音質な音声を得ることができるようになる。
【０１４０】
〈復号装置の構成例〉
続いて、符号化装置１１から出力された符号列を復号する復号装置について説明する。
【０１４１】
図６は、本技術を適用した復号装置の一実施の形態の構成例を示す図である。
【０１４２】
図６の復号装置８１は分解部９１、スペクトル逆量子化部９２、拡張係数逆量子化部９３、拡張スペクトル生成部９４、およびIMDCT部９５を有している。
【０１４３】
分解部９１には、符号化装置１１の多重化部２８から出力された符号列が供給される。分解部９１は、供給された符号列を分解して、符号列から量子化低域スペクトル、スペクトル特性符号、および量子化拡張係数を取得する。また、分解部９１は、量子化低域スペクトルおよび量子化拡張係数の復号も行う。
【０１４４】
分解部９１は、符号列から得られた量子化低域スペクトルをスペクトル逆量子化部９２に供給し、符号列から得られたスペクトル特性符号を拡張係数逆量子化部９３、および拡張スペクトル生成部９４に供給する。また、分解部９１は、符号列から得られた量子化拡張係数を拡張係数逆量子化部９３に供給する。
【０１４５】
スペクトル逆量子化部９２は、分解部９１から供給された量子化低域スペクトルを逆量子化し、得られた低域スペクトルを拡張スペクトル生成部９４およびIMDCT部９５に供給する。拡張係数逆量子化部９３は、分解部９１から供給されたスペクトル特性符号に基づいて、分解部９１から供給された量子化拡張係数を逆量子化し、得られた拡張係数を拡張スペクトル生成部９４に供給する。
【０１４６】
拡張スペクトル生成部９４は、分解部９１から供給されたスペクトル特性符号に基づいて、拡張係数逆量子化部９３から供給された拡張係数、およびスペクトル逆量子化部９２から供給された低域スペクトルから拡張スペクトルを生成し、IMDCT部９５に供給する。
【０１４７】
IMDCT部９５は、スペクトル逆量子化部９２から供給された低域スペクトルを低域のスペクトルとし、拡張スペクトル生成部９４から供給された拡張スペクトルを高域（拡張帯域）のスペクトルとして、それらの低域スペクトルと拡張スペクトルを結合（合成）する。また、IMDCT部９５は、低域スペクトルと拡張スペクトルを結合して得られたスペクトルに対してIMDCTによる直交変換を行い、その結果得られた時系列信号を、復号により得られた音声信号として出力する。
【０１４８】
〈復号処理の説明〉
次に、復号装置８１の動作について説明する。
【０１４９】
復号装置８１は、符号列が供給されると復号処理を開始して符号列を復号し、音声信号を出力する。以下、図７のフローチャートを参照して、復号装置８１による復号処理について説明する。
【０１５０】
ステップＳ５１において、分解部９１は供給された符号列を分解して、符号列から量子化低域スペクトル、スペクトル特性符号、および量子化拡張係数を取得する。
【０１５１】
分解部９１は、得られた量子化低域スペクトルをスペクトル逆量子化部９２に供給し、スペクトル特性符号を拡張係数逆量子化部９３、および拡張スペクトル生成部９４に供給するとともに、量子化拡張係数を拡張係数逆量子化部９３に供給する。なお、より詳細には、分解部９１は量子化低域スペクトルおよび量子化拡張係数の復号を行って、復号された量子化低域スペクトルおよび量子化拡張係数を、スペクトル逆量子化部９２および拡張係数逆量子化部９３に供給する。
【０１５２】
ステップＳ５２において、スペクトル逆量子化部９２は、分解部９１から供給された量子化低域スペクトルを逆量子化し、得られた低域スペクトルを拡張スペクトル生成部９４およびIMDCT部９５に供給する。
【０１５３】
ステップＳ５３において、拡張係数逆量子化部９３および拡張スペクトル生成部９４は、分解部９１から供給されたスペクトル特性符号に基づいて、スペクトル特性が高いトーナリティを示すものであるか否かを判定する。
【０１５４】
例えばスペクトル特性符号の値が「１」である場合、スペクトル特性が高いトーナリティを示すものであると判定される。この場合、符号列には、高域全体に対して算出された１つ（単一）の拡張係数を得るための量子化拡張係数が含まれているので、分解部９１から拡張係数逆量子化部９３には、１つの量子化拡張係数が供給される。
【０１５５】
逆にスペクトル特性符号の値が「０」である場合、スペクトル特性が高いトーナリティを示すものでない、つまり高いノイズ性を示すものであると判定される。この場合、符号列には、高域を構成する複数の帯域ごとに算出された各拡張係数を得るための量子化拡張係数が含まれているので、分解部９１から拡張係数逆量子化部９３には、高域の分割された帯域の数だけ量子化拡張係数が供給される。
【０１５６】
ステップＳ５３において高いトーナリティを示すものであると判定された場合、ステップＳ５４において、拡張係数逆量子化部９３は、分解部９１から供給された単一の量子化拡張係数を逆量子化し、得られた拡張係数を拡張スペクトル生成部９４に供給する。
【０１５７】
ステップＳ５５において、拡張スペクトル生成部９４は、拡張係数逆量子化部９３から供給された単一の拡張係数、およびスペクトル逆量子化部９２から供給された低域スペクトルに基づいて拡張スペクトルを生成し、IMDCT部９５に供給する。
【０１５８】
具体的には、拡張スペクトル生成部９４は、図３を参照して説明した例と同様にして、低域スペクトルを上限周波数Fbを境界として高域側に折り返し、その結果得られた折り返しスペクトルを、拡張スペクトルを得るための種スペクトルとする。
【０１５９】
拡張スペクトル生成部９４は、得られた種スペクトル全体、つまり各周波数ビンにおける種スペクトルの値に単一の拡張係数を乗算し、拡張スペクトルとする。すなわち、種スペクトルのレベルが、拡張係数によって符号化前の元の高域スペクトルのレベルに調整され、拡張スペクトルとされる。
【０１６０】
このようにして得られた拡張スペクトルは、復号により得られた低域スペクトルと拡張係数とから推定された、元の入力信号の高域スペクトルである。
【０１６１】
拡張スペクトルが得られると、その後、処理はステップＳ５８へと進む。
【０１６２】
一方、ステップＳ５３において、スペクトル特性が高いトーナリティを示すものでない、つまり高いノイズ性を示すものであると判定された場合、処理はステップＳ５６へと進む。
【０１６３】
ステップＳ５６において、拡張係数逆量子化部９３は、分解部９１から供給された高域を構成する複数の帯域ごとの量子化拡張係数を逆量子化し、得られた拡張係数を拡張スペクトル生成部９４に供給する。これにより、例えば図４に示した帯域B1乃至帯域B5の各帯域（領域）の拡張係数が得られる。
【０１６４】
ステップＳ５７において、拡張スペクトル生成部９４は、拡張係数逆量子化部９３から供給された各帯域の拡張係数、およびスペクトル逆量子化部９２から供給された低域スペクトルに基づいて拡張スペクトルを生成し、IMDCT部９５に供給する。
【０１６５】
具体的には、拡張スペクトル生成部９４は、ステップＳ５５における場合と同様の処理を行って種スペクトルを生成し、得られた種スペクトルの各帯域（領域）に対して、それらの帯域の拡張係数を乗算し、拡張スペクトルとする。
【０１６６】
例えば図４に示したように高域が帯域B1乃至帯域B5の５つの帯域に分割される場合、種スペクトルの帯域B1の部分、より詳細には帯域B1内の各周波数ビンにおける種スペクトルの値に帯域B1の拡張係数が乗算され、拡張スペクトルの帯域B1の部分が生成される。同様にして他の帯域B2乃至帯域B5についても、種スペクトルのそれらの帯域に各帯域の拡張係数が乗算され、拡張スペクトルの各帯域部分が生成される。
【０１６７】
拡張スペクトルが得られると、その後、処理はステップＳ５８へと進む。
【０１６８】
なお、ステップＳ５５およびステップＳ５７では、低域スペクトルを高域側に折り返して種スペクトルとする例について説明したが、これに限らず種スペクトルはどのようにして生成されてもよい。例えば低域スペクトルの一部の周波数帯域の部分を複製（コピー）して高域に貼り付けることで得られたスペクトルを種スペクトルとしてもよい。
【０１６９】
ステップＳ５５またはステップＳ５７において拡張スペクトルが生成されると、ステップＳ５８において、IMDCT部９５はスペクトル逆量子化部９２から供給された低域スペクトル、および拡張スペクトル生成部９４から供給された拡張スペクトルに基づいて時系列信号を生成する。
【０１７０】
すなわち、IMDCT部９５は低域スペクトルと拡張スペクトルを結合（合成）して、低域と高域（拡張帯域）の全帯域成分を有するスペクトルを生成し、さらに結合により得られたスペクトルに対してIMDCTを行って時系列信号を得る。これにより、帯域拡張により高域成分が付加された時系列信号が得られる。
【０１７１】
IMDCT部９５は、このようにして得られた時系列信号を、復号により得られた音声信号として出力し、復号処理は終了する。
【０１７２】
以上のようにして復号装置８１は、スペクトル特性に応じた拡張係数を復号および逆量子化により得て、得られた拡張係数と、低域スペクトルを高域側に折り返して得られた種スペクトルとから拡張スペクトルを生成する。
【０１７３】
このように、スペクトル特性に応じた拡張係数を用いて、高域成分である種スペクトルのレベルを調整し、拡張スペクトルとすることで、周波数領域で高域のレベルを調整することができるとともに、スペクトル特性に応じた高域のレベル調整を実現することができる。
【０１７４】
これにより、原理遅延を増加させることなく、低リソースな環境でも高音質な音声を得ることができる。すなわち、周波数領域でレベル調整を行うことで、復号時の帯域拡張による遅延時間を削減し、リソースの増加も抑制することができる。また、トーナリティの高い信号でもトーナリティの低い信号でも帯域拡張による聴感上の音質の劣化を抑制し、より高音質な音声を得ることができる。
【０１７５】
〈拡張スペクトルの生成について〉
ここで、復号装置８１の拡張スペクトル生成部９４による拡張スペクトルの生成について、より詳細に説明する。
【０１７６】
上述したように拡張スペクトル生成部９４は、スペクトル特性符号に基づいて、符号化前の元の信号がトーナリティの高い信号であるか、またはノイズ性の高い通常の信号であるかを区別して拡張スペクトルを生成している。
【０１７７】
例えば図８に示すように、トーナリティの高い信号とノイズ性の高い通常の信号とは、それらの信号のスペクトル概形が異なる。なお、図８において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【０１７８】
図８では、曲線C21はノイズ性の高い信号、つまり通常の信号のスペクトルを表しており、曲線C22はトーナリティの高い信号のスペクトルを表している。
【０１７９】
曲線C21で表されるノイズ性の高い信号は、全周波数帯域においてレベルが突出した部分がなく、スペクトルの波形はなだらかな山のような形状となっている。つまり、ノイズ性の高い信号には、エネルギが集中している部分がない。
【０１８０】
これに対して、曲線C22で表されるトーナリティの高い信号は、特定の周波数にエネルギが集中し、その部分の波形が鋭く尖った山のようになっている。つまり、トーナリティの高い信号のスペクトルの波形は、エネルギが集中している周波数の部分が突出しており、なだらかな波形とはなっていない。
【０１８１】
また、拡張スペクトルを生成する際には、低域スペクトルが上限周波数Fbで折り返されたものや、低域スペクトルを部分的に複製して高域に貼り付けたものなど、低域スペクトルから得られたスペクトルが種スペクトルとして用いられる。そして、この種スペクトルが拡張係数によりレベル調整、つまり振幅調整されて拡張スペクトルとされる。
【０１８２】
ここで、ノイズ性の高い通常の信号では、各スペクトルで近接するもの同士の位相関係は聴感上においてそれほど重要ではなく、振幅レベルが重要である。そのため、種スペクトルのレベル調整にあたっては、種スペクトルのレベル（振幅）をなるべく符号化前の元の信号の高域スペクトルのレベルに近づけるために、細かな単位でレベル調整を行うことが望ましい。
【０１８３】
すなわち、例えば図９に示すように符号化時に高域を４つの帯域に分割し、帯域ごとに拡張係数を算出したとする。なお、図９において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【０１８４】
この例では、高域スペクトルの周波数帯域、つまり高域である上限周波数Fbから周波数Fcまでの周波数帯域が帯域B11乃至帯域B14の４つの帯域（領域）に分割されている。そして、分割により得られた各帯域の幅は、周波数Fc側にある帯域ほど広くなっている。
【０１８５】
このような場合、入力信号の符号化では、帯域B11乃至帯域B14の各帯域について、それらの帯域における高域疑似振幅スペクトルの平均値が算出される。この例では、直線L11乃至直線L14のそれぞれが、帯域B11乃至帯域B14のそれぞれにおける高域疑似振幅スペクトルの平均値、つまり高域スペクトルの平均振幅を表している。
【０１８６】
また、帯域ごとに求められた高域疑似振幅スペクトルの平均値が、同じ帯域の低域折り返し疑似振幅スペクトルの平均値で除算されて得られた値が拡張係数として符号列に格納され、復号装置８１へと伝送される。
【０１８７】
すると、復号装置８１では図１０に示すように低域スペクトルから得られた種スペクトルが拡張係数によりレベル調整される。なお、図１０において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。また、図１０において、図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８８】
図１０では、曲線C31は符号列の復号により得られた低域スペクトルを表しており、曲線C32は低域スペクトルから得られた種スペクトルを表している。
【０１８９】
この例では、曲線C31で表される低域スペクトルが上限周波数Fbで高域側に折り返されて、曲線C32で表される種スペクトルとされている。
【０１９０】
このような種スペクトルの各帯域B11乃至帯域B14のそれぞれに対して、それらの帯域ごとに算出された拡張係数のそれぞれが乗算される。これにより、種スペクトルの各帯域のレベル、より詳細には各帯域の平均振幅が図中、矢印に示されるように元の信号の高域スペクトルの平均振幅に近づくように、種スペクトルのレベルが帯域B11乃至帯域B14の各帯域で調整される。
【０１９１】
ところが、低域スペクトルがトーナリティの高い信号である場合、種スペクトルに対して帯域ごとに異なる拡張係数を乗算すると、拡張スペクトルの各帯域のレベル、つまり平均振幅は符号化前の元の高域スペクトルの平均振幅に近づくが、スペクトルの位相関係が各帯域で大幅に崩れてしまう。
【０１９２】
そうすると、例えば図１１に示すように拡張スペクトルのトーナリティが損なわれてしまう。なお、図１１において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【０１９３】
この例では、曲線C41は符号化対象となった入力信号のMDCTスペクトルを表しており、曲線C42は、符号化対象となった入力信号の復号時に生成された低域スペクトルと拡張スペクトルを結合して得られたスペクトルを表している。したがって、この例では曲線C42で表されるスペクトルのうち、周波数Dcから上限周波数Fbまでの部分が低域スペクトルであり、上限周波数Fbから周波数Fcまでの部分が拡張スペクトルである。
【０１９４】
この例では、元の入力信号は低域も高域もトーナリティの高い信号となっている。このような入力信号の復号時に、高域の帯域ごとに異なる拡張係数により種スペクトルのレベル調整を行うと、曲線C42に示されるようにスペクトルの位相関係が大幅に崩れ、拡張帯域のトーナリティが損なわれてしまう。
【０１９５】
曲線C42で表されるスペクトルでは高域部分、つまり拡張スペクトルの波形が崩れてしまっており、元のMDCTスペクトルが有していたトーナリティが損なわれてしまっている。特に高域の分割された帯域同士の境界部分において波形が崩れやすく、トーナリティが損なわれやすい。
【０１９６】
低域スペクトルを折り返して得られる種スペクトルは、そのままの状態、つまり拡張係数によるレベル調整を行う前の状態ではスペクトルの位相関係は保たれているため、トーナリティも保たれている。
【０１９７】
しかし、種スペクトルのレベル（振幅）を調整しないと、拡張スペクトルに元の入力信号の高域スペクトルの振幅レベルを反映させることができない。そうすると高域、つまり拡張帯域の部分の音量が元の高域の音量とは異なるものとなってしまうため、適切な帯域拡張を実現できなくなってしまう。換言すれば、より高音質な音声を得ることができなくなってしまう。
【０１９８】
そこで、本技術ではトーナリティの高い信号に対しては、種スペクトルのレベル調整を最小限の単位で行うことで、拡張スペクトルにおけるトーナリティの保持と振幅レベルの反映の両方を実現している。
【０１９９】
具体的には、符号化時に拡張係数算出部２６は、高域（拡張帯域）全体における高域疑似振幅スペクトルの平均値を、高域全体における低域折り返し疑似振幅スペクトルの平均値で除算して、拡張帯域に対して単一の拡張係数を算出する。
【０２００】
また、復号時には、拡張スペクトル生成部９４は、種スペクトル全体に対して単一の拡張係数を乗算して拡張スペクトルとする。つまり、拡張帯域（高域）全体を単位として、種スペクトルのレベル調整が行われ、拡張スペクトルとされる。
【０２０１】
このように拡張帯域を単位としてレベル調整を行うことで、例えば図１２に示すように入力信号のトーナリティを保ちつつ、拡張スペクトルの高域の全体的な振幅レベルも元の入力信号の高域の振幅レベルと近いものとすることができる。なお、図１２において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【０２０２】
図１２では、曲線C51乃至曲線C53は、それぞれ元の入力信号のMDCTスペクトル、復号時の逆量子化により得られた低域スペクトル、および種スペクトルを表している。
【０２０３】
この例では、曲線C51で表されるMDCTスペクトルは、低域部分および高域部分、すなわち低域スペクトルおよび高域スペクトルには、それぞれ特定の周波数にエネルギが集中している部分があり、トーナリティの高い信号となっている。また、曲線C51で表されるMDCTスペクトルでは、低域スペクトルの平均振幅が高域スペクトルの平均振幅よりも大きくなっている。
【０２０４】
このようなMDCTスペクトルの高域スペクトルに対して、符号化時には、その高域スペクトルの帯域全体について、高域疑似振幅スペクトルの平均値が求められて単一の拡張係数が算出される。図１２では、直線L21は高域（拡張帯域）における高域疑似振幅スペクトルの平均値、つまり高域スペクトルの平均振幅を表している。
【０２０５】
また、復号時には曲線C52で表される低域スペクトルが折り返されて、曲線C53で表される種スペクトルとされ、この種スペクトルが拡張係数によって、図中の矢印により表されるようにレベル調整されて、拡張スペクトルとされる。
【０２０６】
その際、単一の拡張係数によって拡張スペクトルの高域全体の平均振幅が直線L21で表される高域疑似振幅スペクトルの平均値に近づくようにされる。これにより、種スペクトルの各周波数のレベルが同じだけ調整されるので位相関係を崩すことなく、つまりトーナリティを保ちつつ、適切に振幅レベルも調整することができる。その結果、より高音質な音声を得ることができる。
【０２０７】
また、拡張係数が単一であれば、符号化装置１１から出力される符号列に格納される、帯域拡張に必要な付加情報の情報量も削減することができるので、その分だけ低域スペクトルの量子化に情報量を割り当てることが可能となり、全体的な音質の向上を見込むことができる。
【０２０８】
〈第２の実施の形態〉
〈ランダムノイズによる拡張スペクトルの生成について〉
ところで、入力信号の低域のトーナリティが高い場合には、通常、その高域のトーナリティも高いことが多い。そのため、以上において説明した符号化処理では、低域スペクトル特徴量と高域スペクトル特徴量の両方が閾値未満である場合に、符号化対象の入力信号はトーナリティが高いというスペクトル特性を有しているとされていた。
【０２０９】
しかし、頻度は多くないが、例えば図１３に示すように低域スペクトルのトーナリティが高く、高域スペクトルのトーナリティが低いというスペクトル特性を有する入力信号もある。なお、図１３において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【０２１０】
図１３では、曲線C61は、符号化対象とされる入力信号のMDCTスペクトルを表している。特に、このMDCTスペクトルにおいて、周波数Dcから上限周波数Fbまでの部分が低域スペクトルであり、上限周波数Fbから周波数Fcまでの部分が高域スペクトルである。
【０２１１】
例えば低域スペクトルには、特定の周波数にエネルギが集中している部分があり、トーナリティの高い信号となっている。これに対して、高域スペクトルには、特定の周波数にエネルギが集中している部分がなくトーナリティの低い信号、つまりノイズ性の高い信号となっている。
【０２１２】
このように低域のトーナリティは高いが、高域のトーナリティは低い入力信号を符号化し、復号時に帯域拡張を行うとする。そのような場合、低域スペクトルの折り返しや部分的な複製により種スペクトルを生成し、その種スペクトルから拡張スペクトルを生成すると、例えば図１４に示すように、拡張スペクトルに本来のノイズ性ではなくトーナリティが強く現れてしまうことがある。なお、図１４において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【０２１３】
この例では、曲線C71は量子化低域スペクトルを逆量子化して得られた低域スペクトルを表しており、曲線C72は拡張スペクトルを表している。
【０２１４】
この例では、元の時系列信号の高域スペクトルはトーナリティが低いものであったが、低域スペクトルのトーナリティが高いため、低域スペクトルの折り返しと、拡張係数によるレベル調整により得られた拡張スペクトルはトーナリティが高いものとなっている。すなわち、帯域拡張によって高域に本来の信号が有する特性と異なる特性が現れている。
【０２１５】
このように高域に本来有していなかった高いトーナリティが現れると、復号処理により得られる時系列信号（音声信号）に聴感上、金属的な音が混じってしまうなど、違和感を生じさせる原因となってしまう。
【０２１６】
そこで、低域スペクトルのトーナリティが高く、高域スペクトルのトーナリティが低い場合には、低域スペクトルの折り返しを種スペクトルとして使用せずに、例えば図１５に示すようにランダムノイズを用いて拡張スペクトルを生成するようにしてもよい。なお、図１５において縦軸はスペクトルの値、つまりレベルを示しており、横軸は周波数を示している。
【０２１７】
図１５では、曲線C81乃至曲線C83は、それぞれMDCTスペクトル、量子化低域スペクトルを逆量子化して得られた低域スペクトル、および拡張スペクトルを表している。
【０２１８】
この例ではMDCTスペクトルの高域が帯域B31乃至帯域B33の３つの帯域に分割されており、周波数の高い帯域ほど帯域幅が広くなっている。高域が帯域B31乃至帯域B33の各帯域に分割されると、符号化時には、それらの帯域ごとに、帯域の包絡を示す包絡情報として包絡係数が算出される。例えば包絡係数は、算出対象の帯域における各周波数ビンの高域疑似振幅スペクトルの平均値とされる。
【０２１９】
図１５では、直線L31乃至直線L33のそれぞれが、帯域B31乃至帯域B33のそれぞれについて算出された包絡係数を示している。
【０２２０】
包絡係数は、拡張スペクトル生成時にノイズ信号としてのランダムノイズのレベル調整を行うための拡張係数情報であるが、ここでは低域折り返し疑似振幅スペクトルおよび高域疑似振幅スペクトルから算出される拡張係数と区別するため、包絡係数と称することとする。なお、包絡係数の算出時における高域の分割数は、拡張係数算出時の高域の分割数と同じであってもよいし異なる数であってもよい。
【０２２１】
包絡係数が算出されると、その包絡係数が量子化および符号化されて、量子化低域スペクトルやスペクトル特性符号と多重化され、符号列が生成される。
【０２２２】
また、符号列の供給を受けた復号側では、符号列から取得された包絡係数と、ランダムノイズとが用いられて拡張スペクトルが生成される。
【０２２３】
すなわち、復号時には拡張帯域である帯域B31乃至帯域B33の各周波数ビンごとに-1.0乃至1.0の範囲の値に正規化された乱数が生成され、それらの各周波数ビンごとの乱数からなるノイズ信号がランダムノイズとされる。そして、ランダムノイズに包絡係数が乗算されて拡張スペクトルとされる。
【０２２４】
このようにして得られる拡張スペクトルは、乱数を正規化して得られたランダムノイズから生成されているため、曲線C83に示すように特定の周波数にエネルギが集中しておらずノイズ性の高いスペクトルとなっている。また、拡張スペクトルは、ランダムノイズを包絡係数によりレベル調整して得られたものであるので、その包絡は元のMDCTスペクトルの高域の包絡に近いものとなる。
【０２２５】
したがって、復号により得られる時系列信号は、符号化された元の入力信号と同様に、低域スペクトルのトーナリティが高く、高域スペクトルのトーナリティが低いものとなる。
【０２２６】
〈符号化処理の説明〉
次に、以上において説明した包絡係数が生成される場合に、符号化装置１１により行われる符号化処理について説明する。
【０２２７】
以下、図１６のフローチャートを参照して、符号化装置１１による符号化処理について説明する。なお、ステップＳ９１乃至ステップＳ９４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。
【０２２８】
ステップＳ９５において、スペクトル特性決定部２５は、低域特徴量抽出部２３から供給された低域スペクトル特徴量と、高域特徴量抽出部２４から供給された高域スペクトル特徴量とに基づいて、スペクトル特性を示すスペクトル特性符号を生成する。
【０２２９】
具体的には、スペクトル特性決定部２５は、低域スペクトル特徴量であるSFL、および高域スペクトル特徴量であるSFHが、ともに閾値未満である場合、値が「１」であるスペクトル特性符号を生成する。スペクトル特性符号「１」は、入力信号（MDCTスペクトル）の低域および高域が、ともにスペクトル特性として高いトーナリティを有していることを示している。
【０２３０】
また、スペクトル特性決定部２５は、低域スペクトル特徴量であるSFLが閾値未満であり、高域スペクトル特徴量であるSFHが閾値以上である場合、値が「２」であるスペクトル特性符号を生成する。スペクトル特性符号「２」は、入力信号の低域（低域スペクトル）は高いトーナリティを有しており、入力信号の高域（高域スペクトル）は低いトーナリティ、つまり高いノイズ性を有していることを示している。
【０２３１】
さらに、スペクトル特性決定部２５は、低域スペクトル特徴量であるSFLが閾値以上である場合には、値が「０」であるスペクトル特性符号を生成する。スペクトル特性符号「０」は、入力信号がスペクトル特性として低いトーナリティを有していることを示している。
【０２３２】
スペクトル特性決定部２５は、生成されたスペクトル特性符号を拡張係数算出部２６、拡張係数量子化部２７、および多重化部２８に供給する。
【０２３３】
ステップＳ９６において、拡張係数算出部２６および拡張係数量子化部２７は、スペクトル特性決定部２５から供給されたスペクトル特性符号に基づいて、低域および高域のスペクトル特性がともに高いトーナリティを示すものであるか否かを判定する。
【０２３４】
例えばスペクトル特性符号の値が「１」である場合、低域および高域のスペクトル特性が高いトーナリティを示すものであると判定される。
【０２３５】
ステップＳ９６において低域および高域のスペクトル特性が高いトーナリティを示すものであると判定された場合、処理はステップＳ９７に進む。
【０２３６】
ステップＳ９７において、拡張係数算出部２６は、低域特徴量抽出部２３からの低域折り返し疑似振幅スペクトル、および高域特徴量抽出部２４からの高域疑似振幅スペクトルに基づいて高域全体に対して単一の拡張係数を算出し、拡張係数量子化部２７に供給する。
【０２３７】
なお、ステップＳ９７では、図５のステップＳ１７と同様の処理が行われる。ステップＳ９７において拡張係数が算出されると、その後、処理はステップＳ１０１へと進む。
【０２３８】
また、ステップＳ９６において低域および高域のスペクトル特性が高いトーナリティを示すものではないと判定された場合、処理はステップＳ９８に進む。
【０２３９】
ステップＳ９８において、拡張係数算出部２６および拡張係数量子化部２７は、スペクトル特性符号に基づいて、低域のスペクトル特性が高いトーナリティを示し、高域のスペクトル特性が低いトーナリティを示すものであるか否かを判定する。
【０２４０】
例えば、スペクトル特性符号の値が「２」である場合、低域のスペクトル特性が高いトーナリティを示し、高域のスペクトル特性が低いトーナリティを示すものであると判定される。
【０２４１】
ステップＳ９８において、低域のスペクトル特性が高いトーナリティを示し、高域のスペクトル特性が低いトーナリティを示すものであると判定された場合、処理はステップＳ９９へと進む。
【０２４２】
ステップＳ９９において、拡張係数算出部２６は、高域特徴量抽出部２４からの高域疑似振幅スペクトルに基づいて、高域の分割された帯域ごとに包絡係数を算出し、拡張係数量子化部２７に供給する。
【０２４３】
すなわち、例えば拡張係数算出部２６は、図１５に示したように高域全体を帯域B31乃至帯域B33の３つの帯域に分割し、各帯域内の周波数ビンの高域疑似振幅スペクトルの平均値をそれらの帯域の包絡係数として算出する。
【０２４４】
包絡係数が算出されると、その後、処理はステップＳ１０１へと進む。
【０２４５】
一方、ステップＳ９８において、低域のスペクトル特性が高いトーナリティを示し、高域のスペクトル特性が低いトーナリティを示すものであると判定されなかった場合、処理はステップＳ１００へと進む。
【０２４６】
ステップＳ１００において、拡張係数算出部２６は、低域特徴量抽出部２３からの低域折り返し疑似振幅スペクトル、および高域特徴量抽出部２４からの高域疑似振幅スペクトルに基づいて、高域の分割された帯域ごとに拡張係数を算出し、拡張係数量子化部２７に供給する。なお、ステップＳ１００では、図５のステップＳ１８と同様の処理が行われる。ステップＳ１００において拡張係数が算出されると、その後、処理はステップＳ１０１へと進む。
【０２４７】
ステップＳ９７またはステップＳ１００において拡張係数が算出されたか、またはステップＳ９９において包絡係数が算出されると、ステップＳ１０１において、拡張係数量子化部２７は、拡張係数算出部２６から供給された拡張係数または包絡係数を量子化する。
【０２４８】
すなわち、拡張係数量子化部２７は、ステップＳ９７またはステップＳ１００の処理が行われ、拡張係数が供給された場合、拡張係数を量子化し、その結果得られた量子化拡張係数を多重化部２８に供給する。また、拡張係数量子化部２７は、ステップＳ９９の処理が行われ、包絡係数が供給された場合、包絡係数を量子化し、その結果得られた量子化包絡係数を多重化部２８に供給する。このとき、例えば拡張係数または包絡係数に対して、スカラ量子化またはベクトル量子化が行われる。
【０２４９】
ステップＳ１０２において、多重化部２８は、スペクトル量子化部２２からの量子化低域スペクトル、スペクトル特性決定部２５からのスペクトル特性符号、および拡張係数量子化部２７からの量子化拡張係数または量子化包絡係数を多重化し、符号列を生成する。このとき、多重化部２８は、量子化低域スペクトルと、量子化拡張係数または量子化包絡係数とを符号化してから多重化を行う。
【０２５０】
多重化部２８は、多重化により得られた符号列を出力し、符号化処理は終了する。
【０２５１】
以上のようにして符号化装置１１は、低域スペクトル特徴量および高域スペクトル特徴量に基づいて入力信号のスペクトル特性を決定する。そして、符号化装置１１は、スペクトル特性に応じて、復号時に拡張スペクトルを得るための情報として拡張係数または包絡係数を算出する。
【０２５２】
これにより、復号時に拡張係数や包絡係数を用いて適切な拡張スペクトルを得ることができ、原理遅延を増加させることなく、低リソースな環境においても高音質な音声を得ることができるようになる。特に、包絡係数を用いて拡張スペクトルを生成する場合には、低域スペクトルのトーナリティが高いときでも、トーナリティの低い拡張スペクトルを得ることができる。
【０２５３】
〈復号処理の説明〉
次に、符号化装置１１により図１６を参照して説明した符号化処理が行われた場合に、復号装置８１により行われる復号処理を図１７のフローチャートを参照して説明する。
【０２５４】
なお、ステップＳ１４１およびステップＳ１４２の処理は、図７のステップＳ５１およびステップＳ５２の処理と同様であるので、その説明は省略する。但し、ステップＳ１４１では、符号列を分解して得られた量子化拡張係数または量子化包絡係数の何れかが、分解部９１から拡張係数逆量子化部９３に供給されることになる。
【０２５５】
ステップＳ１４３において、拡張係数逆量子化部９３および拡張スペクトル生成部９４は、分解部９１から供給されたスペクトル特性符号に基づいて、低域および高域のスペクトル特性が高いトーナリティを示すものであるか否かを判定する。
【０２５６】
例えばスペクトル特性符号の値が「１」である場合、低域および高域のスペクトル特性が高いトーナリティを示すものであると判定される。この場合、符号列には単一の量子化拡張係数が含まれているので、その量子化拡張係数が分解部９１から拡張係数逆量子化部９３へと供給される。
【０２５７】
ステップＳ１４３において低域および高域のスペクトル特性が高いトーナリティを示すものであると判定された場合、ステップＳ１４４およびステップＳ１４５の処理が行われて拡張スペクトルが生成され、IMDCT部９５に供給される。
【０２５８】
なお、これらのステップＳ１４４およびステップＳ１４５の処理は、図７のステップＳ５４およびステップＳ５５の処理と同様であるので、その説明は省略する。ステップＳ１４５の処理が行われると、その後、処理はステップＳ１５１へと進む。
【０２５９】
また、ステップＳ１４３において低域および高域のスペクトル特性が高いトーナリティを示すものであると判定されなかった場合、処理はステップＳ１４６へと進む。
【０２６０】
ステップＳ１４６において、拡張係数逆量子化部９３および拡張スペクトル生成部９４はスペクトル特性符号に基づいて、低域のスペクトル特性が高いトーナリティを示し、高域のスペクトル特性が低いトーナリティを示すものであるか否かを判定する。例えば、スペクトル特性符号の値が「２」である場合、低域のスペクトル特性が高いトーナリティを示し、高域のスペクトル特性が低いトーナリティを示すものであると判定される。
【０２６１】
ステップＳ１４６において低域のスペクトル特性が高いトーナリティを示し、高域のスペクトル特性が低いトーナリティを示すものであると判定された場合、処理はステップＳ１４７へと進む。この場合、分解部９１から拡張係数逆量子化部９３には、高域の帯域ごとの量子化包絡係数が供給される。
【０２６２】
ステップＳ１４７において、拡張係数逆量子化部９３は、分解部９１から供給された、高域を構成する複数の帯域ごとの量子化包絡係数を逆量子化し、得られた包絡係数を拡張スペクトル生成部９４に供給する。これにより、例えば図１５に示した帯域B31乃至帯域B33の包絡係数L31乃至包絡係数L33が得られる。
【０２６３】
ステップＳ１４８において、拡張スペクトル生成部９４は、拡張係数逆量子化部９３から供給された各帯域の包絡係数に基づいて拡張スペクトルを生成し、IMDCT部９５に供給する。
【０２６４】
具体的には、拡張スペクトル生成部９４は、拡張帯域の各周波数ビンに-1.0乃至1.0の範囲の値に正規化された乱数を割り当ててランダムノイズを生成し、そのランダムノイズの各帯域の周波数ビンにおける値に、各帯域の包絡係数を乗算し、拡張スペクトルとする。
【０２６５】
拡張スペクトルが生成されると、その後、処理はステップＳ１５１へと進む。
【０２６６】
さらに、ステップＳ１４６において低域のスペクトル特性が高いトーナリティを示し、高域のスペクトル特性が低いトーナリティを示すものであると判定されなかった場合、ステップＳ１４９およびステップＳ１５０の処理が行われる。
【０２６７】
この場合、分解部９１から拡張係数逆量子化部９３に高域の帯域ごとの量子化拡張係数が供給されて逆量子化され、その結果得られた拡張係数と、低域スペクトルとから拡張スペクトルが生成される。なお、これらのステップＳ１４９およびステップＳ１５０の処理は、図７のステップＳ５６およびステップＳ５７の処理と同様であるので、その説明は省略する。
【０２６８】
このようにして拡張スペクトルが生成されると、その後、処理はステップＳ１５１へと進む。
【０２６９】
ステップＳ１４５、ステップＳ１４８、またはステップＳ１５０の処理が行われて拡張スペクトルが生成されると、ステップＳ１５１の処理が行われて時系列信号が生成されるが、ステップＳ１５１の処理は図７のステップＳ５８の処理と同様であるので、その説明は省略する。
【０２７０】
ステップＳ１５１において得られた時系列信号が、復号により得られた音声信号として出力されると、復号処理は終了する。
【０２７１】
以上のようにして復号装置８１は、スペクトル特性に応じた拡張係数または包絡係数を復号および逆量子化により得て、得られた拡張係数または包絡係数を用いて拡張スペクトルを生成する。
【０２７２】
このように、スペクトル特性に応じた拡張係数または包絡係数を用いて、種スペクトルまたはラインダムノイズのレベルを調整し、拡張スペクトルとすることで、周波数領域で高域のレベルを調整することができるとともに、スペクトル特性に応じた高域のレベル調整を実現することができる。これにより、復号時の帯域拡張による遅延時間を削減し、低リソースな環境でも高音質な音声を得ることができる。
【０２７３】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２７４】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２７５】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM５０２，RAM５０３は、バス５０４により相互に接続されている。
【０２７６】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２７７】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０２７８】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２７９】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２８０】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２８１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２８２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２８３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２８４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２８５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２８６】
さらに、本技術は、以下の構成とすることも可能である。
【０２８７】
［１］
低域スペクトルと、低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数とを取得する取得部と、
前記単一の前記拡張係数、または前記複数の帯域ごとの前記拡張係数に基づいて、前記拡張スペクトルを生成する生成部と、
前記低域スペクトルと前記拡張スペクトルを合成する合成部と
を備える復号装置。
［２］
前記生成部は、前記低域スペクトルおよび前記拡張係数に基づいて前記拡張スペクトルを生成する
［１］に記載の復号装置。
［３］
前記生成部は、前記拡張係数に基づいて、前記低域スペクトルから得られたスペクトルのレベルを調整することで前記拡張スペクトルを生成する
［２］に記載の復号装置。
［４］
前記生成部は、前記単一の前記拡張係数に基づいて前記拡張スペクトルを生成する場合、前記拡張係数に基づいて前記スペクトルの前記拡張帯域全体のレベルを調整し、前記複数の帯域ごとの前記拡張係数に基づいて前記拡張スペクトルを生成する場合、前記帯域の前記拡張係数に基づいて、前記スペクトルの前記帯域のレベルを調整する
［３］に記載の復号装置。
［５］
前記生成部は、前記拡張係数に基づいて、所定のノイズのレベルを調整することで前記拡張スペクトルを生成する
［１］に記載の復号装置。
［６］
前記低域スペクトルの値は、元の時系列信号の振幅成分および位相成分により定まる
［１］乃至［５］の何れか一項に記載の復号装置。
［７］
前記低域スペクトルは、MDCTスペクトルである
［６］に記載の復号装置。
［８］
低域スペクトルと、低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数とを取得し、
前記単一の前記拡張係数、または前記複数の帯域ごとの前記拡張係数に基づいて、前記拡張スペクトルを生成し、
前記低域スペクトルと前記拡張スペクトルを合成する
ステップを含む復号方法。
［９］
低域スペクトルと、低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数とを取得し、
前記単一の前記拡張係数、または前記複数の帯域ごとの前記拡張係数に基づいて、前記拡張スペクトルを生成し、
前記低域スペクトルと前記拡張スペクトルを合成する
ステップを含む処理をコンピュータに実行させるプログラム。
［１０］
時系列信号を直交変換して得られたスペクトルから特徴量を抽出する特徴量抽出部と、
前記特徴量に応じて、前記スペクトルの低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数を前記スペクトルに基づいて算出する算出部と、
前記スペクトルの低域成分である低域スペクトルと、前記拡張係数とを多重化して符号列を生成する多重化部と
を備える符号化装置。
［１１］
前記特徴量は前記スペクトルのトーナリティを示す情報である
［１０］に記載の符号化装置。
［１２］
前記算出部は、前記スペクトルのトーナリティが高い場合、前記単一の前記拡張係数を算出し、前記スペクトルのトーナリティが低い場合、前記複数の帯域ごとの前記拡張係数を算出する
［１１］に記載の符号化装置。
［１３］
前記算出部は、前記スペクトルの前記拡張帯域の平均振幅と、前記低域スペクトルの平均振幅との比を前記拡張係数として算出する
［１０］乃至［１２］の何れか一項に記載の符号化装置。
［１４］
前記算出手段は、前記スペクトルの低域のトーナリティが高く、前記スペクトルの前記拡張帯域のトーナリティが低い場合、前記スペクトルの前記拡張帯域の包絡情報を前記拡張係数として算出する
［１１］に記載の符号化装置。
［１５］
前記スペクトルの値は、前記時系列信号の振幅成分および位相成分により定まる
［１０］乃至［１４］の何れか一項に記載の符号化装置。
［１６］
前記直交変換はMDCTである
［１５］に記載の符号化装置。
［１７］
時系列信号を直交変換して得られたスペクトルから特徴量を抽出し、
前記特徴量に応じて、前記スペクトルの低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数を前記スペクトルに基づいて算出し、
前記スペクトルの低域成分である低域スペクトルと、前記拡張係数とを多重化して符号列を生成する
ステップを含む符号化方法。
［１８］
時系列信号を直交変換して得られたスペクトルから特徴量を抽出し、
前記特徴量に応じて、前記スペクトルの低域とは異なる拡張帯域の拡張スペクトルを得るための前記拡張帯域に対する単一の拡張係数、または前記拡張帯域を構成する複数の帯域ごとの拡張係数を前記スペクトルに基づいて算出し、
前記スペクトルの低域成分である低域スペクトルと、前記拡張係数とを多重化して符号列を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２８８】
１１  符号化装置，  ２１  MDCT部，  ２２  スペクトル量子化部，  ２３  低域特徴量抽出部，  ２４  高域特徴量抽出部，  ２５  スペクトル特性決定部，  ２６  拡張係数算出部，  ２７  拡張係数量子化部，  ２８  多重化部，  ８１  復号装置，  ９１  分解部，  ９２  スペクトル逆量子化部，  ９３  拡張係数逆量子化部，  ９４  拡張スペクトル生成部，  ９５  IMDCT部
【図１】
2016038435.tif 000007
【図２】
2016038435.tif 000008
【図３】
2016038435.tif 000009
【図４】
2016038435.tif 000010
【図５】
2016038435.tif 000011
【図６】
2016038435.tif 000012
【図７】
2016038435.tif 000013
【図８】
2016038435.tif 000014
【図９】
2016038435.tif 000015
【図１０】
2016038435.tif 000016
【図１１】
2016038435.tif 000017
【図１２】
2016038435.tif 000018
【図１３】
2016038435.tif 000019
【図１４】
2016038435.tif 000020
【図１５】
2016038435.tif 000021
【図１６】
2016038435.tif 000022
【図１７】
2016038435.tif 000023
【図１８】
2016038435.tif 000024