(57)【要約】【課題】復号信号の主観的品質を向上させる。【解決手段】音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、低域スペクトルと高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置は、ビットストリームを、音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とに分離する手段と、音声信号の低域スペクトルを符号化した情報から低域スペクトルを復号する手段と、復号により得られた低域スペクトルの一部または全体を高域に複写することにより第１の高域スペクトルを得る手段と、補助情報を利用して第１の高域スペクトルの形状を調整することにより第２の高域スペクトルを得るスペクトル形状調整手段と、低域スペクトルと第２の高域スペクトルとを利用して音声信号を復号する手段とを備えた。【選択図】図１５
2010020251.tif 000002
【特許請求の範囲】
【請求項１】
音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、前記低域スペクトルと前記高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置であって、
前記ビットストリームを、音声信号の低域スペクトルを符号化した情報と、高域スペクトルの性質に関する補助情報とに分離する手段と、
前記音声信号の低域スペクトルを符号化した情報から、低域スペクトルを復号する手段と、
復号によって得られた低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得る手段と、
前記高域スペクトルの性質に関する補助情報を利用して前記第１の高域スペクトルの形状を調整することによって第２の高域スペクトルを得るスペクトル形状調整手段と、
前記低域スペクトルと前記第２の高域スペクトルとを利用して音声信号を復号する手段と、
を備えた音声復号化装置。
【請求項２】
前記スペクトル形状調整手段は、前記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって前記第２の高域スペクトルを得る、
ことを特徴とする請求項１記載の音声復号化装置。
【請求項３】
前記スペクトル形状調整手段は、前記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整を行うことを特徴とする請求項１または２に記載の音声復号化装置。
【請求項４】
前記高域スペクトルの性質に関する補助情報と前記第１の高域スペクトルとに基づいて、前記スペクトル形状調整手段により用いられる前記形状の調整の仕方または重畳する雑音の量を決定するスペクトル形状調整方法決定手段、をさらに備えた請求項１〜３の何れか一項に記載の音声復号化装置。
【請求項５】
前記スペクトル形状調整方法決定手段は、前記スペクトルの形状の調整に起因して出力信号に生じる歪みと形状調整後の高域スペクトルによるマスキング量とを利用して、前記形状の調整の仕方または重畳する雑音の量を決定することを特徴とする請求項４に記載の音声復号化装置。
【請求項６】
前記高域スペクトルの性質に関する補助情報は、音声の高域周波数成分の時間領域での包絡に関する情報を含み、
前記スペクトル形状調整手段は、重畳する雑音の時間領域での包絡を調整することを特徴とする請求項２または４に記載の音声復号化装置。
【請求項７】
低域スペクトルの復号結果の高域への複写に基づいて高域スペクトルの復号を行う音声復号化装置、に適合するビットストリームを生成する音声符号化装置であって、
音声信号を周波数領域に変換し、低域スペクトルを分離した後、残存する高域スペクトルの一部または全体を第１の高域スペクトルとして分離する手段と、
前記低域スペクトルを符号化する手段と、
前記低域スペクトルの一部または全体を高域に複写することによって第２の高域スペクトルを得る手段と、
前記第１の高域スペクトルと前記第２の高域スペクトルの性質に基づいて、前記音声復号化装置における高域スペクトルの形状の調整の仕方を決定するスペクトル形状調整方法決定手段と、
符号化された前記低域スペクトルと、前記決定された高域スペクトルの形状の調整の仕方の情報とを多重化したビットストリームを生成する手段と
を備えた音声符号化装置。
【請求項８】
前記スペクトル形状調整方法決定手段は、前記第１の高域スペクトルと前記第２の高域スペクトルの性質に基づいて、前記高域スペクトルの形状の調整の仕方に加え、前記音声復号化装置における高域スペクトルの形状の調整のために高域スペクトルに重畳する雑音の量を決定することを特徴とする請求項７に記載の音声符号化装置。
【請求項９】
前記スペクトル形状調整方法決定手段は、前記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整の仕方を決定することを特徴とする請求項７または８に記載の音声符号化装置。
【請求項１０】
前記スペクトル形状調整方法決定手段は、前記スペクトルの形状の調整に起因して出力信号に生じる歪みと、スペクトル形状の調整後の高域スペクトルによるマスキング量とを利用して、前記高域スペクトルの形状の調整の仕方または前記重畳する雑音の量を決定することを特徴とする請求項７〜９の何れか一項に記載の音声符号化装置。
【請求項１１】
音声の低域周波数成分のみを含む低域スペクトルから、前記低域スペクトルに含まれない高域周波数成分を含む音声信号を復元する音声帯域拡張装置であって、
前記低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得る手段と、
前記第１の高域スペクトルの形状を調整することで、第２の高域スペクトルを得るスペクトル形状調整手段と、
前記低域スペクトルと前記第２の高域スペクトルとを利用して、高域周波数成分を含む音声信号を復元する手段と、
を備えた音声帯域拡張装置。
【請求項１２】
前記スペクトル形状調整手段は、前記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって前記第２の高域スペクトルを得る、
ことを特徴とする請求項１１記載の音声帯域拡張装置。
【請求項１３】
前記スペクトル形状調整手段は、前記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整を行うことを特徴とする請求項１１または１２に記載の音声帯域拡張装置。
【請求項１４】
前記スペクトル形状調整方法決定手段は、前記スペクトルの形状の調整に起因して出力信号に生じる歪みと、スペクトル形状の調整後の高域スペクトルによるマスキング量とを利用して、前記高域スペクトルの形状の調整の仕方または前記重畳する雑音の量を決定することを特徴とする請求項１１〜１３の何れか一項に記載の音声帯域拡張装置。
【請求項１５】
音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、前記低域スペクトルと前記高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置、により実行される音声復号化方法であって、
前記ビットストリームを、音声信号の低域スペクトルを符号化した情報と、高域スペクトルの性質に関する補助情報とに分離するステップと、
前記音声信号の低域スペクトルを符号化した情報から、低域スペクトルを復号するステップと、
復号によって得られた低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得るステップと、
前記高域スペクトルの性質に関する補助情報を利用して前記第１の高域スペクトルの形状を調整することによって第２の高域スペクトルを得るスペクトル形状調整ステップと、
前記低域スペクトルと前記第２の高域スペクトルとを利用して音声信号を復号するステップと、
を備えた音声復号化方法。
【請求項１６】
前記スペクトル形状調整ステップでは、前記音声復号化装置は、前記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって前記第２の高域スペクトルを得る、
ことを特徴とする請求項１５記載の音声復号化方法。
【請求項１７】
低域スペクトルの復号結果の高域への複写に基づいて高域スペクトルの復号を行う音声復号化装置、に適合するビットストリームを生成する音声符号化装置により実行される音声符号化方法であって、
音声信号を周波数領域に変換し、低域スペクトルを分離した後、残存する高域スペクトルの一部または全体を第１の高域スペクトルとして分離するステップと、
前記低域スペクトルを符号化するステップと、
前記低域スペクトルの一部または全体を高域に複写することによって第２の高域スペクトルを得るステップと、
前記第１の高域スペクトルと前記第２の高域スペクトルの性質に基づいて、前記音声復号化装置における高域スペクトルの形状の調整の仕方を決定するスペクトル形状調整方法決定ステップと、
符号化された前記低域スペクトルと、前記決定された高域スペクトルの形状の調整の仕方の情報とを多重化したビットストリームを生成するステップと
を備えた音声符号化方法。
【請求項１８】
前記スペクトル形状調整方法決定ステップでは、前記音声符号化装置は、前記第１の高域スペクトルと前記第２の高域スペクトルの性質に基づいて、前記高域スペクトルの形状の調整の仕方に加え、前記音声復号化装置における高域スペクトルの形状の調整のために高域スペクトルに重畳する雑音の量を決定することを特徴とする請求項１７に記載の音声符号化方法。
【請求項１９】
音声の低域周波数成分のみを含む低域スペクトルから、前記低域スペクトルに含まれない高域周波数成分を含む音声信号を復元する音声帯域拡張装置、により実行される音声帯域拡張方法であって、
前記低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得るステップと、
前記第１の高域スペクトルの形状を調整することで、第２の高域スペクトルを得るスペクトル形状調整ステップと、
前記低域スペクトルと前記第２の高域スペクトルとを利用して、高域周波数成分を含む音声信号を復元するステップと、
を備えた音声帯域拡張方法。
【請求項２０】
前記スペクトル形状調整ステップでは、前記音声復号化装置は、前記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって前記第２の高域スペクトルを得る、
ことを特徴とする請求項１９記載の音声帯域拡張方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号を符号化する音声符号化装置及び方法、符号化された信号を復号化する音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法に関する。
【背景技術】
【０００２】
音声を低ビットレートに圧縮する音声符号化技術は、音声通信において、通信路の限られた伝送容量を有効に活用するために重要である。また、近年においては、音声通信の高品質化への要望が高まっており、それに対して、音声を高品質で伝送可能であるとともに人間の声以外の様々な周囲音、音楽をも伝送可能な音声符号化方式の研究開発が行われている。
【０００３】
従来、携帯電話やVoIP（Voice  over  Internet  Protocol）向けには、300Hz〜3.4kHzの狭帯域信号を4.75kbit/s〜64kbit/s程度の情報量で伝送可能な音声符号化方式であるAdaptive Multi Rate (AMR)、G.711、G.729等が用いられてきた。これに対し、7KHzまでの広帯域信号を、6.6kbit/s〜32kbit/s程度のビットレートで伝送可能なAMR-WB、G.722.1等の音声符号化方式が3GPP、ITU-Tで標準化されている。さらに、15kHz程度までの超広帯域信号を24kbps〜128kbps程度のビットレートで伝送可能な音声・音響符号化方式として、G.722.1C、AAC-LD等の方式がITU-T、MPEGで標準化されている。これらの超広帯域の符号化方式を用いることで、可聴周波数帯域に含まれるほぼ全ての周波数成分が伝送可能であるとともに、人間の声以外の様々な周囲音、音楽をも原音に近い品質で伝送可能であり、高品質の音声通信が可能となる。その反面、これらの方式では伝送に必要なビットレートが比較的高くなるという問題点がある。
【０００４】
これに対し、周波数帯域の広い信号を低いビットレートで符号化する方法として、帯域拡張に基づく音声符号化方法が存在する。帯域拡張に基づく音声符号化方法の例は、特許文献１に記載されている。帯域拡張に基づく音声符号化方法では、QMF（Quadrature  Mirror  Filters）、FFT（Fast  Fourier  Transform）、MDCT（Modified  Discrete  Cosine  Transform）などの変換領域で低域から高域へのスペクトル係数の複写を行った後、複写された係数のスペクトル包絡を調整することによって高品質の復号音声を得ることができる。この方法を利用した音声符号化方式においては、信号の高域スペクトルの微細構造に関する情報を伝送する必要がなく、スペクトルの概形のみを少ないビットレートで伝送すればよいため、符号化されたビットストリームの情報量を大幅に削減することができる。
【０００５】
このように、帯域拡張技術は音声・音響符号化のビットレート削減のための有効な手段であるが、スペクトルを低域から高域へ複写することによって高域成分を生成すると、生成された高域成分と原音声の高域成分の間でのスペクトルの微細構造の不一致が復号音声の音質劣化につながる場合がある。複写されたスペクトルに対しては、通常、符号器から与えられる補助情報を用いてスペクトル包絡の調整が行われるが、包絡調整後も、スペクトルの微細構造の影響は依然として残る。スペクトルの微細構造の影響について、以下に例示する。
【０００６】
図１に、STFT（Short-time  Fourier  Transform）を用いて求めた音声信号のスペクトルの例を示す。およそ4kHzまでの低域においては、基本周波数の整数倍の位置に急峻なスペクトルのピークが現れることから、基本周波数の倍音系列からなるトーン性の成分が信号において支配的であることがわかる。それに対し、4kHz以上の高域においては周波数の増大に伴って次第にピークが弱くなり、トーン性を持たない雑音成分が支配的となってくることが観察できる。このように、音声では、高域ほど雑音成分が支配的になる傾向がある。
【０００７】
図１に示す信号に対し、低域から高域へスペクトルの複写を行った後、スペクトル包絡の調整を行った結果の例を図２に示す。図２のスペクトルは大域的な包絡は図１に近いものの、高域スペクトルのピーク・ディップの形状が図１と大きく異なり、スペクトルの微細構造が原信号と大きく異なることがわかる。
【０００８】
以上の例に示した微細構造の差は、主観的な音声品質に悪影響を及ぼす。すなわち、スペクトル包絡の調整のみを行った帯域拡張音声を聴取した際には、高域スペクトルの微細構造の差により、原音声と異なる不自然な音色が知覚される。例えば音声では、前述の通り高域ほど雑音成分が支配的になるため、帯域拡張技術によって生成された高域成分と原信号の間の微細構造の不一致による不快な金属的音色がしばしば復号音声に現れる。
【０００９】
そこで、一部の帯域拡張技術では、複写によって生成された高域スペクトルに対して微細構造の調整を行う。スペクトル微細構造の調整方法として、低域スペクトルの振幅を一様に制限した後に高域へ複写する方法が特許文献２で開示されている。
【特許文献１】特表２００１−５２１６４８号公報
【特許文献２】再公表２００５−１１１５６８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献２で開示された方法によれば、低域スペクトルの複写によって生成される高域スペクトル全体の微細構造を一様に調整するため、原信号のスペクトルの微細構造が周波数に依存して様々に変化する場合であっても、生成される高域スペクトルの微細構造は均一なものとなってしまう。そこで、本発明が解決しようとする課題の１点目は、帯域拡張技術に基づく音声符号化および音声復号化において、周波数に依存する高域スペクトルの微細構造の調整を精度よく行い、復号信号の主観的品質を向上させることにある。
【００１１】
また、演算量の低減やコーデックの構成上の理由から、周波数領域への変換に実数値のフィルタバンクを用いているときには、スペクトルの形状を変形した場合、復号信号に有害なエイリアシング歪みが生じ、復号信号の主観品質に悪影響を与える場合がある。この歪みは、図４のように、振幅を伸縮したスペクトル係数の近隣の周波数に広がって現れる。歪みのパワースペクトル密度が大きく雑音成分のパワースペクトル密度が小さい場合には、歪みが主観的な音質の顕著な劣化につながる場合がある。そこで、本発明が解決しようとする課題の２点目は、帯域拡張技術に基づく音声符号化および音声復号化において、スペクトルの変形に伴う歪みによる音質の劣化を抑えつつスペクトル微細構造の調整を行い、復号信号の主観的品質を向上させることにある。
【課題を解決するための手段】
【００１２】
本発明に係る音声復号化装置は、音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、前記低域スペクトルと前記高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置であって、前記ビットストリームを、音声信号の低域スペクトルを符号化した情報と、高域スペクトルの性質に関する補助情報とに分離する手段と、前記音声信号の低域スペクトルを符号化した情報から、低域スペクトルを復号する手段と、復号によって得られた低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得る手段と、上記高域スペクトルの性質に関する補助情報を利用して上記第１の高域スペクトルの形状を調整することによって第２の高域スペクトルを得るスペクトル形状調整手段と、上記低域スペクトルと上記第２の高域スペクトルとを利用して音声信号を復号する手段と、を備えたことを特徴とする。
【００１３】
ここで、スペクトル形状調整手段は、上記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって上記第２の高域スペクトルを得る構成とすることが望ましい。
【００１４】
また、スペクトル形状調整手段は、上記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整を行う構成とすることが望ましい。
【００１５】
また、本発明に係る音声復号化装置は、高域スペクトルの性質に関する補助情報と上記第１の高域スペクトルとに基づいて、上記スペクトル形状調整手段により用いられる上記形状の調整の仕方または重畳する雑音の量を決定するスペクトル形状調整方法決定手段、をさらに備えた構成とすることが望ましい。
【００１６】
また、スペクトル形状調整方法決定手段は、上記スペクトルの形状の調整に起因して出力信号に生じる歪みと形状調整後の高域スペクトルによるマスキング量とを利用して、上記形状の調整の仕方または重畳する雑音の量を決定する構成とすることが望ましい。
【００１７】
このとき、高域スペクトルの性質に関する補助情報は、音声の高域周波数成分の時間領域での包絡に関する情報を含み、スペクトル形状調整手段は、重畳する雑音の時間領域での包絡を調整する構成とすることが望ましい。
【００１８】
本発明に係る音声符号化装置は、低域スペクトルの復号結果の高域への複写に基づいて高域スペクトルの復号を行う音声復号化装置、に適合するビットストリームを生成する音声符号化装置であって、音声信号を周波数領域に変換し、低域スペクトルを分離した後、残存する高域スペクトルの一部または全体を第１の高域スペクトルとして分離する手段と、上記低域スペクトルを符号化する手段と、上記低域スペクトルの一部または全体を高域に複写することによって第２の高域スペクトルを得る手段と、上記第１の高域スペクトルと上記第２の高域スペクトルの性質に基づいて、上記音声復号化装置における高域スペクトルの形状の調整の仕方を決定するスペクトル形状調整方法決定手段と、符号化された上記低域スペクトルと、上記決定された高域スペクトルの形状の調整の仕方の情報とを多重化したビットストリームを生成する手段とを備えたことを特徴とする。
【００１９】
ここで、スペクトル形状調整方法決定手段は、上記第１の高域スペクトルと上記第２の高域スペクトルの性質に基づいて、上記高域スペクトルの形状の調整の仕方に加え、上記音声復号化装置における高域スペクトルの形状の調整のために高域スペクトルに重畳する雑音の量を決定する構成とすることが望ましい。
【００２０】
また、スペクトル形状調整方法決定手段は、上記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整の仕方を決定する構成とすることが望ましい。
【００２１】
また、スペクトル形状調整方法決定手段は、上記スペクトルの形状の調整に起因して出力信号に生じる歪みと、スペクトル形状の調整後の高域スペクトルによるマスキング量とを利用して、上記高域スペクトルの形状の調整の仕方または上記重畳する雑音の量を決定する構成とすることが望ましい。
【００２２】
本発明に係る音声帯域拡張装置は、音声の低域周波数成分のみを含む低域スペクトルから、上記低域スペクトルに含まれない高域周波数成分を含む音声信号を復元する音声帯域拡張装置であって、上記低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得る手段と、上記第１の高域スペクトルの形状を調整することで、第２の高域スペクトルを得るスペクトル形状調整手段と、上記低域スペクトルと上記第２の高域スペクトルとを利用して、高域周波数成分を含む音声信号を復元する手段と、を備えたことを特徴とする。なお、上記スペクトル形状調整手段は、第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって第２の高域スペクトルを得る構成とすることが望ましい。
【００２３】
ここで、スペクトル形状調整手段は、上記第１の高域スペクトルを複数のサブバンドに分割し、分割後のサブバンドの各々に属する部分スペクトルについて、該部分スペクトルの形状の調整を行う構成とすることが望ましい。
【００２４】
また、スペクトル形状調整方法決定手段は、上記スペクトルの形状の調整に起因して出力信号に生じる歪みと、スペクトル形状の調整後の高域スペクトルによるマスキング量とを利用して、上記高域スペクトルの形状の調整の仕方または上記重畳する雑音の量を決定する構成とすることが望ましい。
【００２５】
以上のような本発明によれば、帯域拡張技術に基づく音声符号化および音声復号化において、復号信号の主観的品質を向上させることができる。
【００２６】
ところで、音声復号化装置に関する本発明は、音声復号化方法の発明として捉えることもでき、以下のように記述することができる。本発明に係る音声復号化方法は、音声信号の低域スペクトルを符号化した情報と高域スペクトルの性質に関する補助情報とを含むビットストリームから、前記低域スペクトルと前記高域スペクトルの両方に相当する周波数成分を含む音声信号を復号する音声復号化装置、により実行される音声復号化方法であって、前記ビットストリームを、音声信号の低域スペクトルを符号化した情報と、高域スペクトルの性質に関する補助情報とに分離するステップと、前記音声信号の低域スペクトルを符号化した情報から、低域スペクトルを復号するステップと、復号によって得られた低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得るステップと、上記高域スペクトルの性質に関する補助情報を利用して上記第１の高域スペクトルの形状を調整することによって第２の高域スペクトルを得るスペクトル形状調整ステップと、上記低域スペクトルと上記第２の高域スペクトルとを利用して音声信号を復号するステップと、を備えたことを特徴とする。このとき、上記スペクトル形状調整ステップでは、音声復号化装置は、上記第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって上記第２の高域スペクトルを得ることが望ましい。
【００２７】
また、音声符号化装置に関する本発明は、音声符号化方法の発明として捉えることもでき、以下のように記述することができる。本発明に係る音声符号化方法は、低域スペクトルの復号結果の高域への複写に基づいて高域スペクトルの復号を行う音声復号化装置、に適合するビットストリームを生成する音声符号化装置により実行される音声符号化方法であって、音声信号を周波数領域に変換し、低域スペクトルを分離した後、残存する高域スペクトルの一部または全体を第１の高域スペクトルとして分離するステップと、上記低域スペクトルを符号化するステップと、上記低域スペクトルの一部または全体を高域に複写することによって第２の高域スペクトルを得るステップと、上記第１の高域スペクトルと上記第２の高域スペクトルの性質に基づいて、上記音声復号化装置における高域スペクトルの形状の調整の仕方を決定するスペクトル形状調整方法決定ステップと、符号化された上記低域スペクトルと、上記決定された高域スペクトルの形状の調整の仕方の情報とを多重化したビットストリームを生成するステップとを備えたことを特徴とする。このとき、上記スペクトル形状調整方法決定ステップでは、音声符号化装置は、上記第１の高域スペクトルと上記第２の高域スペクトルの性質に基づいて、上記高域スペクトルの形状の調整の仕方に加え、上記音声復号化装置における高域スペクトルの形状の調整のために高域スペクトルに重畳する雑音の量を決定することが望ましい。
【００２８】
また、音声帯域拡張装置に関する本発明は、音声帯域拡張方法の発明として捉えることもでき、以下のように記述することができる。本発明に係る音声帯域拡張方法は、音声の低域周波数成分のみを含む低域スペクトルから、上記低域スペクトルに含まれない高域周波数成分を含む音声信号を復元する音声帯域拡張装置、により実行される音声帯域拡張方法であって、上記低域スペクトルの一部または全体を高域に複写することによって第１の高域スペクトルを得るステップと、上記第１の高域スペクトルの形状を調整することで、第２の高域スペクトルを得るスペクトル形状調整ステップと、上記低域スペクトルと上記第２の高域スペクトルとを利用して、高域周波数成分を含む音声信号を復元するステップと、を備えたことを特徴とする。なお、上記スペクトル形状調整ステップでは、音声復号化装置は、第１の高域スペクトルの形状の調整に加え、雑音を重畳することによって第２の高域スペクトルを得ることが望ましい。
【発明の効果】
【００２９】
本発明によれば、帯域拡張技術に基づく音声符号化および音声復号化において、原信号における高域スペクトルの微細構造がサブバンド間で異なる場合にも、図３に示すように、複写された高域スペクトルの微細構造を精度よく調整することができる。また、調整に伴う歪みの知覚的影響を最小限にしつつスペクトル微細構造の調整を行うことができる。以上により、帯域拡張技術に基づく音声符号化および音声復号化において、復号信号の主観的品質を向上させることができる。
【発明を実施するための最良の形態】
【００３０】
以下では、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００３１】
（実施形態１）
図５は、本発明の実施形態１における音声符号化装置５０１の主要な構成を示すブロック図である。図５に示すように、音声符号化装置５０１は、入力信号に対して周波数領域への変換を行う周波数領域変換部５０３と、低域スペクトルを符号化する低域符号化部５０９と、低域符号化部５０９から与えられた符号を復号する低域復号化部５１５と、入力された低域スペクトルの一部または全体を複写することで、所定の境界周波数以上の成分を持つ高域スペクトルを作成するスペクトル複写部５１７と、所定の分割規則に基づいて高域スペクトルを複数のサブバンドに分割するサブバンド分割部５１１、５２１と、サブバンドに分解された高域スペクトルのスペクトル包絡を計算するスペクトル包絡計算部５２７と、サブバンド分割された高域スペクトルを利用して高域スペクトルの形状調整方法をサブバンドごとに決定するスペクトル形状調整方法決定部５２５と、低域符号化部５０９から与えられる符号とスペクトル形状調整方法決定部５２５から与えられるスペクトル形状調整情報とスペクトル包絡計算部５２７から与えられるスペクトル包絡情報とを多重化しビットストリームを生成するビットストリーム多重化部５２９と、を備えている。
【００３２】
この音声符号化装置５０１は、ハードウェア構成としては、例えば、図２２に示すように、オペレーティングシステムやアプリケーションプログラムなどを実行するＣＰＵ２２０１、ＲＯＭ及びＲＡＭで構成される主記憶部２２０２、ハードディスクなどで構成される補助記憶部２２０３、外部とデータ通信を行う通信制御部２２０４、液晶モニタなどで構成される表示部２２０５、並びに文字・数字入力及び実行指示等を行うための操作部２２０６を含んで構成される。前述した図５の各ブロックの機能は、図２２に示すＣＰＵ２２０１の制御の下で主記憶部２２０２に所定のソフトウェアを読み込ませ実行することにより、実現される。
【００３３】
音声符号化装置５０１は、入力信号に対して、図６のフローチャートに示す一連の処理を行って、符号化されたビットストリームを外部へ出力する。以下、図６の一連の処理を説明する。
【００３４】
図６のステップ６０１では、周波数領域変換部５０３が入力信号に対して周波数領域への変換を行う。ここで、変換の方法としては離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、修正離散コサイン変換（ＭＤＣＴ）、コサイン変調フィルタバンクなどを用いる。周波数領域に変換されたスペクトルは、所定の境界周波数Ｆｃを用いて、低域スペクトル５０５と高域スペクトル５０７に分離される。また、高域スペクトル５０７は境界周波数Ｆｃ以上の周波数帯域の全体でなく、一部のみを含むものであってもよい。周波数領域変換部５０３または周波数領域変換ステップ６０１は、まず帯域通過フィルタやフィルタバンクを用いて入力信号を低域信号と高域信号に分離し、その後各々の信号に対して周波数領域への変換を行うことによっても実現できる。
【００３５】
次のステップ６０３では、低域符号化部５０９が低域スペクトル５０５を符号化し、得られた符号を低域復号化部５１５に与える。そして、次のステップ６０５では、低域復号化部５１５が、低域符号化部５０９から与えられた符号を復号し、復号により得られた低域スペクトルをスペクトル複写部５１７に与える。なお、代替的な実現手段として、図５の低域復号化部５１５および図６のステップ６０５を省略し、低域スペクトル５０５をスペクトル複写部５１７に直接与えることもできる。
【００３６】
次のステップ６０７では、スペクトル複写部５１７が、入力された低域スペクトルの一部または全体を複写することで、境界周波数Ｆｃ以上の成分を持つ高域スペクトル５１９を作成し、サブバンド分割部５２１に与える。高域スペクトル５１９は境界周波数Ｆｃ以上の周波数帯域の全体でなく、一部のみを含むものであってもよい。上記の複写の方法としては、図７（ａ）のように高域スペクトルを高域にシフトさせて複写を行う方法や、図７（ｂ）のように境界周波数Ｆｃに関して線対称になるようにスペクトルを反転させて複写を行う方法を採用することができる。複写によって生成する高域スペクトルの帯域幅が複写に利用する低域スペクトルより広い場合には、図７（ｃ）のように繰り返し複写を行うこともできる。
【００３７】
次のステップ６０９では、サブバンド分割部５１１、５２１が、同一の分割規則に基づいて、高域スペクトル５０７、５１９をそれぞれ複数のサブバンドに分割し、スペクトル形状調整方法決定部５２５に与える。なお、図５のサブバンド分割部５１１、５２１および図６のステップ６０９は必須ではなく、分割されていない高域スペクトル５０７、５１９全体を、スペクトル形状調整方法決定部５２５に与えてもよい。
【００３８】
次のステップ６１１では、スペクトル形状調整方法決定部５２５が、サブバンド分割された高域スペクトル５１３、５２３を利用して、音声復号化装置側における高域スペクトルの形状調整方法をサブバンドごとに決定し、決定された方法を示す情報をビットストリーム多重化部５２９に与える。なお、図５のサブバンド分割部５１１、５２１および図６のステップ６０９が省略されている場合は、スペクトル形状調整方法決定部５２５は高域スペクトル全体を１つのサブバンドとして取り扱う。このステップ６１１の処理については、図８〜図１１を用いて、後に詳述する。
【００３９】
次のステップ６１３では、スペクトル包絡計算部５２７が、サブバンド分割部５１１によりサブバンドに分解された高域スペクトルのスペクトル包絡を計算し、ビットストリーム多重化部５２９に与える。スペクトル包絡は、各々のサブバンド内のスペクトルの平均電力の形で表現することができる。また、代替的な構成として、スペクトル包絡計算部５２７が入力信号を直接受け取ってＬＰＣ分析を行い、得られたＬＰＣパラメータをビットストリーム多重化部５２９に与えることもできる。図５のスペクトル包絡計算部５２７および図６のステップ６１３は、本発明の効果を得るために必須ではなく、省略することもできる。
【００４０】
次のステップ６１５では、ビットストリーム多重化部５２９が、低域符号化部５０９から与えられた符号と、スペクトル形状調整方法決定部５２５から与えられたスペクトル形状調整情報と、スペクトル包絡計算部５２７から与えられたスペクトル包絡情報とを多重化し、ビットストリームを生成する。
【００４１】
以上のようにして、音声符号化装置５０１において、ビットストリームが生成され外部へ出力される。
【００４２】
以下では、図８のスペクトル形状調整方法決定部５２５の構成、および図６のステップ６１１の処理について詳述する。
【００４３】
前述したように、図６のステップ６１１では、スペクトル形状調整方法決定部５２５は、サブバンド分割された高域スペクトル５１３、５２３を利用して、復号器における高域スペクトルの形状調整方法をサブバンドごとに決定し、決定された方法を示す情報をビットストリーム多重化部５２９に与える。
【００４４】
上記処理を行うスペクトル形状調整方法決定部５２５は、図８の構成を備えている。図８に示すスペクトル正規化部８０１、８０３は、サブバンド分割された高域スペクトル５１３、５２３の振幅をサブバンドごとに正規化する。正規化の方法は式１に従う。ただし、正規化前のスペクトル係数をＳ’（ｋ）、正規化後のスペクトル係数をＳ（ｋ）で表す。インデックスｋは周波数を示し、ｉ番目のサブバンドはＦｉ≦ｋ＜Fｉ＋１の周波数を含むものとする。ただし、Ｆｉはｉ番目のサブバンドに含まれる周波数の下限である。また、ｍａｘ（  ）は最大値を、｜  ｜は絶対値をそれぞれ表す。
【数１】
2010020251.tif 000003
スペクトル正規化部８０１、８０３は省略することもできる。
【００４５】
なお、図８のスペクトル形状調整方法決定部５２５には、入力信号の高域スペクトルをＬＰＣ分析するＬＰＣ分析部８０５を設けてもよい。例えば、音声復号化装置でＬＰＣフィルタによる雑音波形の時間包絡調整を行う場合には、ＬＰＣ分析部８０５によって入力信号の高域スペクトルをＬＰＣ分析し、分析によって得られたパラメータをスペクトル形状調整情報に含めることができる。
【００４６】
トーン対雑音比算出部８０７、８０９は、スペクトル正規化部８０１、８０３から与えられた正規化スペクトルを用いて各サブバンドのトーン対雑音比を示す指標Ｔｉを算出し、パラメータ決定部８１１に与える。Ｔｉは複数の方法で定義することができるが、例えば式２、式３、式４に示すような定義を用いることができる。ただし、ｍｅａｎ（  ）は算術平均を、ｇｍｅａｎ（  ）は幾何平均を、ｍｉｎ（  ）は最小値をそれぞれ表す。
【数２】
2010020251.tif 000004
式２、式３、式４のいずれの定義に従っても、Ｔｉはトーン成分の雑音成分に対する比率が高いほど大きな値をとる。
【００４７】
パラメータ決定部８１１は、複写された高域スペクトル５２３と入力信号の高域スペクトル５２３のトーン対雑音比を比較し、復号器における高域スペクトルのスペクトル形状調整方法を決定する。
【００４８】
スペクトル形状の調整は、複写された高域スペクトル１１０をＳｃ（ｋ）、スペクトル形状調整後の高域スペクトルをＳｔ（ｋ）として、式５に従う。すなわち、スペクトル形状調整方法の決定は、式５の表記において、パラメータαｉ、βｉを決定することと等価である。ただし、ｆ（ｘ，αｉ）はxを入力とする非線形関数であり、αｉは関数の形状を制御するパラメータである。また、ｒｖは所定の電力を持つ雑音であり、βｉはスペクトルに重畳する雑音の大きさを示すパラメータである。ｓｉｇｎ（  ）は正負の符号を示す。
Ｓｔ（ｋ）＝ｓｉｇｎ（Ｓｃ（ｋ））・ｆ（｜Ｓｃ（ｋ）｜，αｉ）＋βｉ・ｒｖ
where Ｆｉ≦ｋ＜Fｉ＋１  …（式５）
ｆ（ｘ，αｉ）の具体的な形状は、例えば式６、式７、式８のように定めることができる。ただし、ｍａｘ（ａ，ｂ）はａとｂの最大値を、ｍｉｎ（ａ，ｂ）はａとｂの最小値を表す。
ｆ（x，αｉ）＝ｘαｉ  …（式６）
ｆ（x，αｉ）＝ｍｉｎ（ｘ，αｉ）  …（式７）
ｆ（x，αｉ）＝ｍａｘ（０，ｘ＋αｉ）  …（式８）
パラメータ決定部８１１は、式５に従う調整によって得られるＳｔ（ｋ）の各サブバンドにおけるトーン対雑音比が入力信号の高域スペクトル１１１の各サブバンドにおけるトーン対雑音比と一致するようパラメータαｉ、βｉを決定する。パラメータ決定部８１１により実行されるパラメータの決定処理は、以下で述べる図９のフローチャートに従う。
【００４９】
図９のステップ９０１では、パラメータ決定部８１１は、未処理のサブバンドから１つを選択し、ステップ９０３にて、高域スペクトル５１３、５２３のトーン対雑音比を取得する。次のステップ９０５ではβｉを０に設定し、ステップ９０７では、高域スペクトル５１３、５２３のトーン対雑音比を比較する。ここで、入力信号の高域スペクトル５１３のトーン対雑音比が複写された高域スペクトル５２３のトーン対雑音比よりも高い場合には、後述するステップ９０９が実行され、高域スペクトル５１３のトーン対雑音比が高域スペクトル５２３のトーン対雑音比以下の場合には、後述するステップ９１１が実行される。
【００５０】
ステップ９０９では、高域スペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するαｉを「αｉ＞１」の条件下で探索する。ここでの探索は、一定のステップ幅を用いてαｉを増加させながらＳｔ（ｋ）のトーン対雑音比を計算することで行うことができる。
【００５１】
一方、ステップ９１１では、同様に高域スペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するαｉを「αｉ＜１」の条件下で探索する。次のステップ９１３は、マスキング判定部８１３により実行される。このステップ９１３の処理は図１０を用いて後述するが、このステップ９１３では、マスキング判定部８１３が、ステップ９１１で求められたαｉを用いた場合に歪みがマスキングされるか否かを判断する。ステップ９１３で、歪みがマスキングされないと判定された場合にはステップ９１５にてαｉに一定値が加算され、ステップ９１１の処理が再度実行される。一方、ステップ９１３で、歪みがマスキングされないと判定された場合およびステップ９０９が実行された後には、ステップ９１７にて、決定されたαｉ、βｉが出力される。そして、ステップ９１９で未処理のサブバンドが探索され、全てのサブバンドについて処理が終了していない場合には、未処理のサブバンドについてステップ９０１以降の処理が再度実行される。以上のような図９の処理により、パラメータαｉ、βｉが決定される。
【００５２】
ここで、図９のステップ９１３においてマスキング判定部８１３によって実行される歪みのマスキング判定処理について概説する。この歪みのマスキング判定処理は、図１０に示すフローチャートに従う。
【００５３】
図１０のステップ１００１では、マスキング判定部８１３は、スペクトル振幅の変形に伴うスペクトル振幅の変化量ｄ（ｋ）を式９に従って求める。
ｄ（ｋ）＝ｆ（Ｓｃ（ｋ），αｉ）−Ｓｃ（ｋ）  …(式９)
次のステップ１００３では、エイリアシング歪みの上界Dｓｕｐ（ｋ）を式１０に従って求める。ただし、ｓｐｒ（ｋ）は、周波数領域への変換の種類と窓関数の形状によって定まる拡散関数であり、＊は畳み込み演算を表す。
Ｄｓｕｐ（ｋ）＝ｓｐｒ（ｋ）＊｜ｄ（ｋ）｜  …（式１０）
次のステップ１００５では、マスキング量Ｔｍａｓｋ（ｋ）を式１１に従って求める。ただし、同時マスキング量を示すマスキングパターンをＦｃｂ(ｋ)とする。
Ｔｍａｓｋ（ｋ）＝｜Ｓｔ（ｋ）｜＊Ｆｃｂ（ｋ）  …（式１１）
Ｔｍａｓｋ（ｋ）とDｓｕｐ（ｋ）の関係の例を図１１に示す。
【００５４】
次のステップ１００７では、Ｔｍａｓｋ（ｋ）とDｓｕｐ（ｋ）を比較し、全てのｋについてＴｍａｓｋ（ｋ）≧Dｓｕｐ（ｋ）の場合には歪みがマスキングされると判断し、一方、いずれかのｋについてＴｍａｓｋ（ｋ）＜Dｓｕｐ（ｋ）の場合には歪みがマスキングされないと判断する。
【００５５】
以上のようにして歪みのマスキング判定処理が行われる。なお、マスキングの判断において、マスキング量を超える一定量の歪みＫを許容し、Ｔｍａｓｋ（ｋ）＋Ｋ≧Dｓｕｐ（ｋ）の場合には歪みがマスキングされたと判断する方法をとることもできる。
【００５６】
（実施形態１の変形例１）
ところで、パラメータ決定部８１１によるパラメータ決定処理について、演算量を低減した変形例１を以下に示す。同変形例１は、図１２のフローチャートに沿って実行される。図１２のフローチャートでは、図９のフローチャートと同じ処理には同じ番号を付しており、図１２のステップ１２１３、１２１５、１２１７が図９のフローチャートと異なる。以下では、異なる点について説明する。
【００５７】
図９のフローチャートではステップ９１３においてマスキングの判断を行うのに対し、図１２のフローチャートではステップ１２１３においてαｉを所与の最大値Ａと比較する。ここで、αｉが最大値Ａを超える場合には、ステップ１２１５においてαｉ＝Ａとした後、ステップ１２１７でスペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するβｉを探索する。
【００５８】
一方、ステップ１２１３にてαｉが最大値Ａを超えない場合およびステップ１２１７の実行後には、ステップ９１７へ進み、決定されたαｉ、βｉを出力する。なお、αｉの最大値Ａは、固定値としてもよいし、スペクトル５２３のトーン対雑音比に応じて決定してもよい。
【００５９】
（実施形態１の変形例２）
式５においてβｉを０に固定することにより、雑音の重畳を伴わず、スペクトルの振幅の変形のみによるスペクトル形状調整方法を取ることができる。この場合には、図１３に示すフローチャートに従ってαｉを求めることができる。
【００６０】
図１３のフローチャートでは、図９のフローチャートと同じ処理には同じ番号を付しており、図１３のステップ１３０７、１３０９、１３１１が図９のフローチャートと異なる。すなわち、ステップ１３０７においてスペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するαｉを求め、次のステップ１３０９でαｉとＡを比較する。ここで、αｉがＡを超える場合にはステップ１３１１でαｉ＝Ａとすればよい。なお、ステップ１３０９の処理は、図１０のフローチャートに従うマスキング判定によって実行してもよい。
【００６１】
（実施形態１の変形例３）
式５においてαｉを適切な値Ｚに固定することにより、スペクトルの振幅の変形を伴わず、雑音の重畳のみによるスペクトル形状調整方法を取ることができる。この場合には、図１４に示すフローチャートに従ってβｉを求めることができる。
【００６２】
図１４のフローチャートでは、図９のフローチャートと同じ処理には同じ番号を付しており、図１４のステップ１４０５、１４０９、１４１１が図９のフローチャートと異なる。すなわち、ステップ１４０５においてαｉ＝Ｚとし、次のステップ９０７において高域スペクトル５１３、５２３のトーン対雑音比を比較する。ここで、高域スペクトル５２３のトーン対雑音比が高域スペクトル５１３のトーン対雑音比よりも高いときのみ、ステップ１４１１にてスペクトル５１３とＳｔ（ｋ）のトーン対雑音比が一致するβｉを探索することができる。一方、高域スペクトル５２３のトーン対雑音比が高域スペクトル５１３のトーン対雑音比以下の場合にはステップ１４０９で常にβｉ＝０とする。
【００６３】
（実施形態１の変形例４）
ところで、式５における雑音ｒｖは均一な分布またはガウス性の分布を持つ乱数とすることができる。ｒｖを乱数とした場合には、重畳された雑音は時間領域において平坦な包絡を持つ。また、別の方法として、上記乱数に周波数軸に沿ってＬＰＣフィルタリングを施したものをｒｖとして用いることもできる。周波数領域でＬＰＣフィルタリングを行うことにより、時間領域への逆変換を行った際の雑音波形の時間領域での包絡を調整することができる。周波数領域でのＬＰＣフィルタリングによって時間領域での波形の包絡が調整できることは、例えば文献「J.Herre et al., “Enhancing the Performance of Perceptual Audio Coders by UsingTemporal Noise Shaping (TNS)”, AES convention 101, paper number 4384, 1996」において説明されている。
【００６４】
音声復号化装置においてＬＰＣフィルタによる雑音波形の時間包絡調整を行う場合には、図８のＬＰＣ分析部８０５において入力信号の高域スペクトルをＬＰＣ分析し、分析によって得られたパラメータをスペクトル形状調整情報に含めることができる。なお、ＬＰＣ分析部８０５は本発明の効果を得るための必須の構成ではなく、省略することもできる。
【００６５】
なお、式５においては、スペクトル振幅の変形をスカラー関数で実現し、あるスペクトル係数に対する変形は周囲のスペクトル係数の値に影響されないものとしているが、変形結果が周囲のスペクトル係数に依存する処理方法を取ってもよい。例えば、非線形スカラー関数ｆ（ｘ，αｉ）によってスペクトル振幅｜Ｓｃ（ｋ）｜を変形する代わりに、ｆ（Ｓｃ（ｋ），αｉ）／｜Ｓｃ（ｋ）｜を各スペクトル係数に重畳されるゲインとみなし、このゲインを周波数軸に沿って平滑化した後で｜Ｓｃ（ｋ）｜に乗算することができる。
【００６６】
（実施形態１における音声復号化装置の構成および動作）
図１５は、本発明の実施形態１における音声復号化装置１５０１の主要な構成を示すブロック図である。図１５に示すように、音声復号化装置１５０１は、多重化されたビットストリームを、(1)音声信号の低域スペクトルを符号化した情報１５０５と(2)高域スペクトルのスペクトル形状調整方法を指示する補助情報１５０７と(3)スペクトル包絡情報１５０９とに分離するビットストリーム分離部１５０３と、音声信号の低域スペクトルを符号化した情報１５０５から低域スペクトルを復号化する低域復号化部１５１１と、図５のスペクトル複写部５１７と同一の方法でスペクトルの高域への複写を行うスペクトル複写部１５１３と、図５のサブバンド分割部５２１と同一の分割法により、複写されたスペクトルをサブバンドに分割するサブバンド分割部１５１５と、補助情報１５０７に基づいて高域スペクトルのスペクトル形状をサブバンドごとに調整するスペクトル形状調整部１５１７と、スペクトル包絡情報１５０９に基づいて、高域スペクトルの包絡を調整するスペクトル包絡調整部１５１９と、低域スペクトルと高域スペクトルとを結合し全周波数帯域にわたるスペクトルを得るスペクトル結合部１５２１と、スペクトルを時間信号に変換し、変換後の信号を復号信号として外部へ出力する周波数領域逆変換部１５２３とを備えている。
【００６７】
この音声復号化装置１５０１は、ハードウェア構成としては、前述した音声符号化装置５０１と同様に、例えば図２２に示す構成を備える。即ち、音声復号化装置１５０１は、図２２に示すように、オペレーティングシステムやアプリケーションプログラムなどを実行するＣＰＵ２２０１、ＲＯＭ及びＲＡＭで構成される主記憶部２２０２、ハードディスクなどで構成される補助記憶部２２０３、外部とデータ通信を行う通信制御部２２０４、液晶モニタなどで構成される表示部２２０５、並びに文字・数字入力及び実行指示等を行うための操作部２２０６を含んで構成される。前述した図１５の各ブロックの機能は、図２２に示すＣＰＵ２２０１の制御の下で主記憶部２２０２に所定のソフトウェアを読み込ませ実行することにより、実現される。
【００６８】
音声復号化装置１５０１は、入力ビットストリームに対して図１６のフローチャートに示す一連の処理を行って、復号化された信号を外部へ出力する。以下、図１６の一連の処理を説明する。
【００６９】
図１６のステップ１６０１では、ビットストリーム分離部１５０３が、多重化されたビットストリームを、(1)音声信号の低域スペクトルを符号化した情報１５０５と、(2)高域スペクトルのスペクトル形状調整方法を指示する補助情報１５０７と、(3)スペクトル包絡情報１５０９とに分離する。なお、本発明に係る「高域スペクトルの性質に関する補助情報」は、上記の補助情報１５０７およびスペクトル包絡情報１５０９に相当する。
【００７０】
次のステップ１６０３では、低域復号化部１５１１が、音声信号の低域スペクトルを符号化した情報１５０５から低域スペクトルを復号化し、スペクトル複写部１５１３およびスペクトル結合部１５２１に与える。
【００７１】
次のステップ１６０５では、スペクトル複写部１５１３が、前述した図５のスペクトル複写部５１７と同一の方法でスペクトルの高域への複写を行い、サブバンド分割部１５１５に与える。ここで、低域スペクトルの一部を高域へ複写する場合には、予め定められた複写範囲に従って、スペクトル複写部５１７と同一の部分スペクトルを複写することができる。また、入力信号に応じてスペクトル複写の方法を変える場合には、音声符号化装置５０１のスペクトル複写部５１７により図６のステップ６０７で複写の方法を決定し、決定された複写の方法を示す補助情報をビットストリームに重畳して伝送し、伝送された補助情報に従って音声復号化装置１５０１のスペクトル複写部１５１３がスペクトルの高域への複写を行うこともできる。
【００７２】
次のステップ１６０７では、サブバンド分割部１５１５が、前述した図５のサブバンド分割部５２１と同一の分割法により、複写されたスペクトルをサブバンドに分割してスペクトル形状調整部１５１７に与える。
【００７３】
次のステップ１６０９では、スペクトル形状調整部１５１７が、補助情報１５０７に基づいて、高域スペクトルのスペクトル形状を式５に従ってサブバンドごとに調整し、調整後の高域スペクトルのスペクトル形状をスペクトル包絡調整部１５１９に与える。
【００７４】
なお、式５における雑音ｒｖに対しては、前述の通りＬＰＣフィルタリングによって時間領域での包絡の調整を行うことができる。フィルタリングに用いるＬＰＣパラメータとしては、補助情報１５０７に含まれるＬＰＣパラメータ（即ち、符号化前の原信号の高域成分に対する分析から得られたＬＰＣパラメータ）を用いることができる。また、復号された低域スペクトルをＬＰＣ分析して得られるＬＰＣパラメータを用いることで、雑音波形の時間領域での包絡を復号信号の低域成分に近づけることもできる。
【００７５】
次のステップ１６１１では、スペクトル包絡調整部１５１９が、スペクトル包絡情報１５０９に基づいて、スペクトル形状調整部１５１７から与えられた高域スペクトルの包絡を調整し、スペクトル結合部１５２１に与える。
【００７６】
次のステップ１６１３では、スペクトル結合部１５２１が、低域復号化部１５１１から与えられた低域スペクトルと、スペクトル包絡調整部１５１９から与えられた高域スペクトルとを結合し、全周波数帯域にわたるスペクトルを得て、得られた全周波数帯域にわたるスペクトルを周波数領域逆変換部１５２３に与える。
【００７７】
次のステップ１６１５では、周波数領域逆変換部１５２３が、スペクトルを時間信号に変換し、変換後の信号を復号信号として外部へ出力する。
【００７８】
上述した実施形態１における音声符号化装置５０１と音声復号化装置１５０１とを用いることで、帯域拡張に伴うスペクトル微細構造の調整を高い品質で行うことができ、復号音声の主観的品質を向上させることができる。
【００７９】
（実施形態２）
以下の実施形態２では、実施形態１で述べた音声復号化装置１５０１とは異なる構成の音声復号化装置を説明する。実施形態２の音声復号化装置は、音声信号の低域スペクトルを符号化した情報と高域スペクトルのトーン対雑音比情報と高域スペクトルの包絡情報を含むビットストリームに対し、図１８のフローチャートに示す一連の処理を行って、復号された音声信号を外部へ出力する。
【００８０】
実施形態２の音声復号化装置は、実施形態１の音声復号化装置と類似の構成を持つが、実施形態１では、伝送されるビットストリームに、スペクトル形状の調整方法を指示する補助情報が含まれるのに対し、実施形態２では、伝送されるビットストリームに、高域スペクトルのトーン対雑音比を記述する補助情報が含まれる点で両者は異なる。
【００８１】
図１７は、本発明の実施形態２における音声復号化装置１７０１の主要な構成を示すブロック図である。図１７に示すように、音声復号化装置１７０１は、多重化されたビットストリームを、音声信号の低域スペクトルを符号化した情報１７０５と高域スペクトルのトーン対雑音比情報１７０７と高域スペクトルの包絡情報１７０９とに分離するビットストリーム分離部１７０３と、音声信号の低域スペクトルを符号化した情報１７０５に基づいて低域スペクトルを復号化する低域復号化部１７１３と、実施形態１における図５のスペクトル複写部５１７と同様の方法でスペクトルの高域への複写を行うスペクトル複写部１７１５と、複写された高域スペクトルをサブバンドに分割するサブバンド分割部１７１７と、後述する図１９のブロック図に従ってスペクトル形状調整方法を決定するスペクトル形状調整方法決定部１７１１と、サブバンド分割された高域スペクトルの形状を式５に従って調整するスペクトル形状調整部１７１９と、高域スペクトルの包絡情報１７０９に基づいて高域スペクトルの包絡を調整するスペクトル包絡調整部１７２１と、低域スペクトルと高域スペクトルとを結合し全周波数帯域にわたるスペクトルを得るスペクトル結合部１７２３と、スペクトルを時間信号に変換し変換後の信号を復号信号として外部に出力する周波数領域逆変換部１７２５とを備えている。
【００８２】
また、音声復号化装置１７０１は、ハードウェア構成としては、前述した音声復号化装置１５０１と同様に、図２２に示す構成を備える。前述した図１７の各ブロックの機能は、例えば図２２に示すＣＰＵ２２０１の制御の下で主記憶部２２０２に所定のソフトウェアを読み込ませ実行することにより、実現される。
【００８３】
音声復号化装置１７０１は、音声信号の低域スペクトルを符号化した情報と高域スペクトルのトーン対雑音比情報と高域スペクトルの包絡情報を含むビットストリームに対し、図１８のフローチャートに示す一連の処理を行って、復号された音声信号を外部へ出力する。以下、図１８の一連の処理を説明する。
【００８４】
図１８のステップ１８０１では、ビットストリーム分離部１７０３が、多重化されたビットストリームを、音声信号の低域スペクトルを符号化した情報１７０５と高域スペクトルのトーン対雑音比情報１７０７と高域スペクトルの包絡情報１７０９とに分離する。
【００８５】
次のステップ１８０３では、低域復号化部１７１３が、音声信号の低域スペクトルを符号化した情報１７０５に基づいて低域スペクトルを復号化し、スペクトル複写部１７１５およびスペクトル結合部１７２３に与える。
【００８６】
次のステップ１８０５では、スペクトル複写部１７１５が、実施形態１における図５のスペクトル複写部５１７と同様の方法（図６のステップ６０７と同様の方法）でスペクトルの高域への複写を行い、スペクトル形状調整方法決定部１７１１およびサブバンド分割部１７１７に与える。
【００８７】
次のステップ１８０７では、サブバンド分割部１７１７が、複写された高域スペクトルをサブバンドに分割し、スペクトル形状調整部１７１９に与える。
【００８８】
次のステップ１８０９では、スペクトル形状調整方法決定部１７１１が、図１９に示すブロック図に従って、スペクトル形状調整方法を決定する。図１９の処理内容は、実施形態１における図５のスペクトル形状調整方法決定部５２５による図６のステップ６１１の処理内容とほぼ同様であるが、図６のステップ６１１とは異なり、入力信号のトーン対雑音比情報１７０７がスペクトル形状調整方法決定部１７１１に対し与えられる。そのため、図１９の処理では、スペクトル正規化とトーン対雑音比算出は、複写後の高域スペクトルに対してのみ行われる。スペクトル形状調整方法決定部１７１１には、実施形態１の変形例１から変形例４と同様の変形を加えることができる。変形例２と同様の変形を加えることより、雑音の重畳を伴わず、スペクトルの振幅の変形のみによるスペクトル形状調整方法をとることができる。また、変形例３と同様の変形を加えることにより、スペクトルの振幅の変形を伴わず、雑音の重畳のみによるスペクトル形状調整方法を取ることができる。
【００８９】
次のステップ１８１１では、スペクトル形状調整部１７１９が、サブバンド分割された高域スペクトルの形状を式５に従って調整し、その調整結果をスペクトル包絡調整部１７２１に与える。
【００９０】
次のステップ１８１３では、スペクトル包絡調整部１７２１が、高域スペクトルの包絡情報１７０９に基づいて高域スペクトルの包絡を調整し、その調整結果をスペクトル結合部１７２３に与える。
【００９１】
次のステップ１８１５では、スペクトル結合部１７２３が、低域復号化部１７１３から与えられた低域スペクトルと、スペクトル包絡調整部１７２１から与えられた高域スペクトルとを結合し、全周波数帯域にわたるスペクトルを得て、得られた全周波数帯域にわたるスペクトルを周波数領域逆変換部１７２５に与える。
【００９２】
次のステップ１８１７では、周波数領域逆変換部１７２５が、スペクトルを時間信号に変換し、変換後の信号を復号信号として外部へ出力する。
【００９３】
以上に示した実施形態２においても、実施形態１と同様に、帯域拡張に伴うスペクトル微細構造の調整を高い品質で行うことができ、復号音声の主観的品質を向上させることができる。
【００９４】
（実施形態３）
図２０は、本発明の実施形態３における音声帯域拡張装置２００１の主要な構成を示すブロック図である。音声帯域拡張装置２００１は、入力信号に対し周波数領域への変換処理を行い低域スペクトルを得る周波数領域変換部２００３と、前述した図５のスペクトル複写部５１７と同様の方法で、周波数領域変換部２００３から与えられた低域スペクトルの高域への複写を行うスペクトル複写部２００５と、スペクトル複写部２００５から与えられた高域スペクトルを複数のサブバンドに分割するサブバンド分割部２０１１と、高域スペクトルの各サブバンドにおけるトーン対雑音比を低域スペクトルから推定するトーン対雑音比推定部２００７と、高域スペクトルのスペクトル包絡を低域スペクトルから推定するスペクトル包絡推定部２００９と、サブバンド分割部２０１１から与えられるサブバンド分割された高域スペクトルと、トーン対雑音比推定部２００７から与えられるトーン対雑音比とから、前述した図５のスペクトル形状調整方法決定部５２５と同様の方法で、スペクトル形状調整方法を決定するスペクトル形状調整方法決定部２０１５と、スペクトル形状調整方法決定部２０１５から与えられるスペクトル形状調整方法を用いて、前述した図１５のスペクトル形状調整部１５１７と同様の方法で高域スペクトルの形状調整を行うスペクトル形状調整部２０１３と、スペクトル包絡推定部２００９から与えられたスペクトル包絡情報を用いて高域スペクトルの包絡を調整するスペクトル包絡調整部２０１７と、スペクトル包絡調整部２０１７から与えられた高域スペクトルと周波数領域変換部２００３から与えられた低域スペクトルとを結合するスペクトル結合部２０１９と、結合後のスペクトルを時間信号に変換し、高域が復元された広帯域音声信号として変換後の信号を外部へ出力する周波数領域逆変換部２０２１とを備えている。
【００９５】
この音声帯域拡張装置２００１は、ハードウェア構成としては、前述した音声符号化装置５０１および音声復号化装置１５０１と同様に、例えば図２２に示す構成を備える。前述した図２０の各ブロックの機能は、図２２に示すＣＰＵ２２０１の制御の下で主記憶部２２０２に所定のソフトウェアを読み込ませ実行することにより、実現される。
【００９６】
音声帯域拡張装置２００１は、音声の低域成分のみを含む帯域制限された入力信号に対し図２１のフローチャートに示す一連の処理を行って高域成分が復元された広帯域音声信号を外部へ出力する。以下、図２１の一連の処理を説明する。
【００９７】
図２１のステップ２１０１では、周波数領域変換部２００３が、入力信号に対して周波数領域への変換を行い、低域スペクトルを得る。ここでの変換の方法としては、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、修正離散コサイン変換（ＭＤＣＴ）、コサイン変調フィルタバンクなどを用いることができる。入力音声が時間領域でなく周波数領域の信号として与えられる場合にはステップ２１０１および周波数領域変換部２００３は省略することができる。
【００９８】
次のステップ２１０３では、スペクトル複写部２００５が、前述した図５のスペクトル複写部５１７による図６のステップ６０７と同様の方法で、周波数領域変換部２００３から与えられた低域スペクトルの高域への複写を行い、サブバンド分割部２０１１に与える。
【００９９】
次のステップ２１０５では、サブバンド分割部２０１１が、スペクトル複写部２００５から与えられた高域スペクトルを複数のサブバンドに分割し、スペクトル形状調整方法決定部２０１５およびスペクトル形状調整部２０１３に与える。なお、図２０のサブバンド分割部２０１１または図２１のステップ２１０５は、必須ではなく、分割されていない高域スペクトル全体をスペクトル形状調整部２０１３に与えてもよい。
【０１００】
次のステップ２１０７では、トーン対雑音比推定部２００７が、高域スペクトルの各サブバンドにおけるトーン対雑音比を低域スペクトルから推定し、スペクトル形状調整方法決定部２０１５に与える。ここでの推定には、広帯域音声のスペクトルを用いて予め学習したベクトル量子化器、混合ガウスモデル（ＧＭＭ）、隠れマルコフモデル（ＨＭＭ）などを用いることができる。
【０１０１】
次のステップ２１０９では、スペクトル包絡推定部２００９が、高域スペクトルのスペクトル包絡を低域スペクトルから推定し、スペクトル包絡調整部２０１７に与える。ここでの推定には、トーン対雑音比の推定と同様、広帯域音声のスペクトルを用いて予め学習したベクトル量子化器、混合ガウスモデル（ＧＭＭ）、隠れマルコフモデル（ＨＭＭ）などを用いることができる。
【０１０２】
次のステップ２１１１では、スペクトル形状調整方法決定部２０１５が、サブバンド分割部２０１１から与えられるサブバンド分割された高域スペクトルと、トーン対雑音比推定部２００７から与えられるトーン対雑音比とから、前述した図５のスペクトル形状調整方法決定部５２５と同様の方法で、スペクトル形状調整方法を決定し、スペクトル形状調整部２０１３に与える。スペクトル形状調整方法決定部２０１５には、実施形態１の変形例１から変形例４と同様の変形を加えることができる。変形例２と同様の変形を加えることより、雑音の重畳を伴わず、スペクトルの振幅の変形のみによるスペクトル形状調整方法をとることができる。また、変形例３と同様の変形を加えることにより、スペクトルの振幅の変形を伴わず、雑音の重畳のみによるスペクトル形状調整方法を取ることができる。
【０１０３】
次のステップ２１１３では、スペクトル形状調整部２０１３が、スペクトル形状調整方法決定部２０１５から与えられるスペクトル形状調整方法を用いて、前述した図１５のスペクトル形状調整部１５１７と同様の方法で、高域スペクトルの形状調整を行う。
【０１０４】
次のステップ２１１５では、スペクトル包絡調整部２０１７が、スペクトル包絡推定部２００９から与えられたスペクトル包絡情報を用いて高域スペクトルの包絡を調整し、スペクトル結合部２０１９に与える。
【０１０５】
次のステップ２１１７では、スペクトル結合部２０１９が、スペクトル包絡調整部２０１７から与えられた高域スペクトルと、周波数領域変換部２００３から与えられた低域スペクトルとを結合し、結合後のスペクトルを周波数領域逆変換部２０２１に与える。
【０１０６】
次のステップ２１１９では、周波数領域逆変換部２０２１が、結合後のスペクトルを時間信号に変換し、高域が復元された広帯域音声信号として、変換後の信号を外部へ出力する。
【０１０７】
（実施形態３の変形例）
以上に示した音声帯域拡張装置２００１においては、入力音声が時間領域の信号として与えられる場合を例示したが、前述の通り入力信号は周波数領域の信号であってもよい。さらに、この周波数領域の信号は、変換符号化に基づく音声符号化方法によって符号化された音声の復号処理の中途段階において得られた信号であってもよい。変換符号化に基づく音声符号化方法によって符号化された音声の復号処理を行う音声復号化装置では、復号処理の最後の段階において周波数領域から時間領域への信号の逆変換を行うが、逆変換前の周波数領域の信号を音声帯域拡張装置２００１に与えることにより、高域が復元された広帯域の復号音声を音声帯域拡張装置２００１の出力として得ることができる。
【０１０８】
以上に示した実施形態３においても、実施形態１と同様に、帯域拡張に伴うスペクトル微細構造の調整を高い品質で行うことができ、復元音声の主観的品質を向上させることができる。
【図面の簡単な説明】
【０１０９】
【図１】音声信号のスペクトルの例を示す図である。
【図２】低域から高域へスペクトルを複写しスペクトル包絡の調整を行った結果の例を示す図である。
【図３】サブバンドに分割して微細構造の調整を行ったスペクトルの例を示す図である。
【図４】スペクトル振幅の圧縮に伴う歪み発生を示す模式図である。
【図５】実施形態１における音声符号化装置の主要な構成を示すブロック図である。
【図６】実施形態１における音声符号化方法の主要なステップを示すフローチャートである。
【図７】スペクトルの低域から高域への複写方法のさまざまな例を示す模式図である。
【図８】スペクトル形状調整方法決定部５２５の主要な構成を示すブロック図である。
【図９】パラメータ決定部８１１による処理の主要なステップを示すフローチャートである。
【図１０】図９のステップ９１３の判断処理の詳細を示すフローチャートである。
【図１１】スペクトル振幅の変形に伴う歪みのマスキングを示す模式図である。
【図１２】パラメータ決定部８１１による処理の別の態様を示すフローチャートである。
【図１３】αｉを固定とした場合のパラメータ決定部８１１による処理の別の態様を示すフローチャートである。
【図１４】βｉを固定とした場合のパラメータ決定部８１１による処理の別の態様を示すフローチャートである。
【図１５】実施形態１における音声復号化装置の主要な構成を示すブロック図である。
【図１６】実施形態１における音声復号化方法の主要なステップを示すフローチャートである。
【図１７】実施形態２における音声復号化装置の主要な構成を示すブロック図である。
【図１８】実施形態２における音声復号化方法の主要なステップを示すフローチャートである。
【図１９】スペクトル形状調整方法決定部１７１１の主要な構成を示すブロック図である。
【図２０】実施形態３における音声帯域拡張装置の主要な構成を示すブロック図である。
【図２１】実施形態３における音声帯域拡張方法の主要なステップを示すブロック図である。
【図２２】音声符号化装置、音声復号化装置、音声帯域拡張装置のハードウェア構成例を示す図である。
【符号の説明】
【０１１０】
５０１…音声符号化装置、５０３…周波数領域変換部、５０５…低域スペクトル、５０７…高域スペクトル、５０９…低域符号化部、５１１…サブバンド分割部、５１３…高域スペクトル、５１５…低域復号化部、５１７…スペクトル複写部、５１９…高域スペクトル、５２１…サブバンド分割部、５２３…高域スペクトル、５２５…スペクトル形状調整方法決定部、５２７…スペクトル包絡計算部、５２９…ビットストリーム多重化部、８０１、８０３…スペクトル正規化部、８０５…ＬＰＣ分析部、８０７、８０９…トーン対雑音比算出部、８１１…パラメータ決定部、８１３…マスキング判定部、１５０１…音声復号化装置、１５０３…ビットストリーム分離部、１５０５…符号化した情報、１５０７…補助情報、１５０９…スペクトル包絡情報、１５１１…低域復号化部、１５１３…スペクトル複写部、１５１５…サブバンド分割部、１５１７…スペクトル形状調整部、１５１９…スペクトル包絡調整部、１５２１…スペクトル結合部、１５２３…周波数領域逆変換部、１７０１…音声復号化装置、１７０３…ビットストリーム分離部、１７０５…符号化した情報、１７０７…トーン対雑音比情報、１７０９…包絡情報、１７１１…スペクトル形状調整方法決定部、１７１３…低域復号化部、１７１５…スペクトル複写部、１７１７…サブバンド分割部、１７１９…スペクトル形状調整部、１７２１…スペクトル包絡調整部、１７２３…スペクトル結合部、１７２５…周波数領域逆変換部、２００１…音声帯域拡張装置、２００３…周波数領域変換部、２００５…スペクトル複写部、２００７…トーン対雑音比推定部、２００９…スペクトル包絡推定部、２０１１…サブバンド分割部、２０１３…スペクトル形状調整部、２０１５…スペクトル形状調整方法決定部、２０１７…スペクトル包絡調整部、２０１９…スペクトル結合部、２０２１…周波数領域逆変換部、２２０１…ＣＰＵ、２２０２…主記憶部、２２０３…補助記憶部、２２０４…通信制御部、２２０５…表示部、２２０６…操作部。
【図１】
2010020251.tif 000005
【図２】
2010020251.tif 000006
【図３】
2010020251.tif 000007
【図４】
2010020251.tif 000008
【図５】
2010020251.tif 000009
【図６】
2010020251.tif 000010
【図７】
2010020251.tif 000011
【図８】
2010020251.tif 000012
【図９】
2010020251.tif 000013
【図１０】
2010020251.tif 000014
【図１１】
2010020251.tif 000015
【図１２】
2010020251.tif 000016
【図１３】
2010020251.tif 000017
【図１４】
2010020251.tif 000018
【図１５】
2010020251.tif 000019
【図１６】
2010020251.tif 000020
【図１７】
2010020251.tif 000021
【図１８】
2010020251.tif 000022
【図１９】
2010020251.tif 000023
【図２０】
2010020251.tif 000024
【図２１】
2010020251.tif 000025
【図２２】
2010020251.tif 000026