(57)【要約】【課題】周波数帯域の拡大により、音楽信号をより高音質に再生させる。【解決手段】帯域通過フィルタ１３は、入力信号から複数のサブバンド信号を得る。周波数包絡抽出回路１４は、複数の帯域通過フィルタで得られた複数のサブバンド信号から周波数包絡を抽出する。高域信号生成回路１５は、周波数包絡抽出回路１４によって得られた周波数包絡と、帯域通過フィルタ１３で得られた複数のサブバンド信号とに基づいて、高域信号成分を生成する。周波数帯域拡大装置１０は、高域信号生成回路１５により生成された高域信号成分を用いて、入力信号の周波数帯域を拡大する。本発明は、例えば、周波数帯域拡大装置、符号化装置、および復号化装置等に適用できる。【選択図】図３
2010079275.tif 000002
【特許請求の範囲】
【請求項１】
入力信号から複数のサブバンド信号を得る複数の帯域通過フィルタと、
前記複数の帯域通過フィルタで得られた複数のサブバンド信号から周波数包絡を抽出する周波数包絡抽出回路と、
前記周波数包絡抽出回路によって得られた周波数包絡と、前記帯域通過フィルタで得られた複数のサブバンド信号とに基づいて、高域信号成分を生成する高域信号生成回路と
を備え、
前記高域信号生成回路により生成された前記高域信号成分を用いて、前記入力信号の周波数帯域を拡大する
周波数帯域拡大装置。
【請求項２】
前記周波数包絡抽出回路は、前記複数の帯域通過フィルタで得られる複数のサブバンド信号から周波数包絡の一次傾斜を得る
請求項１に記載の周波数帯域拡大装置。
【請求項３】
前記周波数包絡抽出回路において、前記複数の帯域通過フィルタで得られる複数のサブバンド信号から周波数包絡を抽出する際に、複数のサブバンド信号のパワーを用いる
請求項１または請求項２に記載の周波数帯域拡大装置。
【請求項４】
前記周波数包絡抽出回路において、前記複数の帯域通過フィルタで得られる複数のサブバンド信号から周波数包絡を抽出する際に、複数のサブバンド信号の振幅を用いる
請求項１または請求項２に記載の周波数帯域拡大装置。
【請求項５】
前記周波数包絡は、前記入力信号の定常性に応じて周波数包絡の計算区間がかわる
請求項２に記載の周波数帯域拡大装置。
【請求項６】
前記周波数包絡抽出回路は、前記複数の帯域通過フィルタで得られる複数のサブバンド信号から周波数包絡の複数の一次傾斜を得る
請求項１に記載の周波数帯域拡大装置。
【請求項７】
前記高域信号生成回路は、前記周波数包絡抽出回路で得られた周波数包絡から各サブバンド毎に利得量を求める利得量計算回路を備え、前記利得量を前記複数の帯域通過フィルタで得られた複数のサブバンド信号に適用する
請求項１に記載の周波数帯域拡大装置。
【請求項８】
前記利得量計算回路は、時間軸上の複数のブロックで計算された周波数包絡から各サブバンド毎に利得量を求める
請求項７に記載の周波数帯域拡大装置。
【請求項９】
前記周波数包絡の一次傾斜は、前記複数の帯域通過フィルタで得られた複数のサブバンド信号から重み付けされて算出される
請求項２に記載の周波数帯域拡大装置。
【請求項１０】
前記利得量計算回路は、予め広帯域な信号を教師データとして学習を行うことで得られた写像関数によって利得量が算出される
請求項７に記載の周波数帯域拡大装置。
【請求項１１】
前記写像関数は、一次傾斜を入力として利得量を出力とする
請求項１０に記載の周波数帯域拡大装置。
【請求項１２】
前記写像関数は、複数の一次傾斜を入力として利得量を出力とする
請求項１０に記載の周波数帯域拡大装置。
【請求項１３】
前記写像関数は、対数上の一次傾斜を入力として対数上の利得量を出力とする
請求項１０に記載の周波数帯域拡大装置。
【請求項１４】
前記複数の帯域通過フィルタで得られた複数のサブバンド信号から周波数拡大帯域の各高域サブバンド強度を生成する高域サブバンド強度生成回路
をさらに備える請求項２に記載の周波数帯域拡大装置。
【請求項１５】
前記高域サブバンド強度生成回路は、前記複数の帯域通過フィルタで得られた複数のサブバンド信号強度の線形結合から周波数拡大帯域の各高域サブバンドの強度を算出する
請求項１４に記載の周波数帯域拡大装置。
【請求項１６】
前記高域サブバンド強度生成回路は、時間軸上の複数のブロックで計算された、複数のサブバンド信号強度の線形結合から周波数拡大帯域の各高域サブバンドの強度を算出する
請求項１４に記載の周波数帯域拡大装置。
【請求項１７】
前記高域サブバンド強度生成回路は、時間軸上の複数のブロックで計算された、複数のサブバンド信号強度を、サブバンド毎に一つの変数に置換したものを用いて周波数拡大帯域の各高域サブバンドの強度を算出する
請求項１６に記載の周波数帯域拡大装置。
【請求項１８】
前記高域サブバンド強度生成回路は、前記複数の帯域通過フィルタで得られた複数のサブバンド信号強度から非線形関数を用いることで周波数拡大帯域の各高域サブバンドの強度を算出する
請求項１４に記載の周波数帯域拡大装置。
【請求項１９】
前記高域サブバンド強度生成回路は、時間軸上の複数のブロックで計算された、複数のサブバンド信号強度から非線形関数を用いることで周波数拡大帯域の各高域サブバンドの強度を算出する
請求項１４に記載の周波数帯域拡大装置。
【請求項２０】
前記非線形関数は、任意の次数の関数である
請求項１８または請求項１９に記載の周波数帯域拡大装置。
【請求項２１】
前記高域サブバンド強度生成回路の入力及び出力はそれぞれ、
前記複数の帯域通過フィルタで得られた複数のサブバンド信号のパワー、ならびに、高域サブバンドのパワーである
請求項１４乃至１６のうちの何れかに記載の周波数帯域拡大装置。
【請求項２２】
前記高域サブバンド強度生成回路の入力及び出力はそれぞれ、
前記複数の帯域通過フィルタで得られた複数のサブバンド信号の振幅、ならびに、高域サブバンドの振幅である
請求項１４乃至１６のうちの何れかに記載の周波数帯域拡大装置。
【請求項２３】
前記利得量計算回路は、予め広帯域な信号を教師データとして学習を行うことで得られた係数を持つ写像関数によって利得量が算出される
請求項１５に記載の周波数帯域拡大装置。
【請求項２４】
周波数帯域拡大装置が
入力信号から複数のサブバンド信号を得て、
得られた複数のサブバンド信号から周波数包絡を抽出し、
抽出された前記周波数包絡と、得られた前記複数のサブバンド信号とに基づいて、高域信号成分を生成し、
生成された前記高域信号成分を用いて、前記入力信号の周波数帯域を拡大する
周波数帯域拡大方法。
【請求項２５】
周波数帯域拡大装置を制御するコンピュータが
入力信号から複数のサブバンド信号を得て、
得られた複数のサブバンド信号から周波数包絡を抽出し、
抽出された前記周波数包絡と、得られた前記複数のサブバンド信号とに基づいて、高域信号成分を生成し、
生成された前記高域信号成分を用いて、前記入力信号の周波数帯域を拡大する
ステップを含む制御処理を実行するプログラム。
【請求項２６】
入力信号を複数のサブバンドに分割し、低域側の複数のサブバンドで構成される低域サブバンド信号と、高域側の複数のサブバンドで構成される高域サブバンド信号とを生成するサブバンド分割回路と、
前記低域サブバンド信号を符号化し、低域符号化データを生成する低域符号化回路と、
前記低域サブバンド信号から周波数包絡を抽出する周波数包絡抽出回路と、
前記周波数包絡抽出回路で得られた周波数包絡と前記低域サブバンド信号から擬似高域信号を生成する擬似高域信号生成回路と、
前記サブバンド分割回路で得られた高域サブバンド信号と前記擬似高域信号生成回路で生成された擬似高域信号とを比較し、擬似高域信号修正情報を得る擬似高域信号修正情報計算回路と、
前記擬似高域信号修正情報を符号化し、高域符号化データを生成する高域符号化回路と、
前記低域符号化回路で生成された低域符号化データと前記高域符号化回路で生成された高域符号化データとを多重化し出力符号列を得る多重化回路と
を備える符号化装置。
【請求項２７】
符号化装置が、
入力信号を複数のサブバンドに分割し、低域側の複数のサブバンドで構成される低域サブバンド信号と、高域側の複数のサブバンドで構成される高域サブバンド信号とを生成し、
前記低域サブバンド信号を符号化し、低域符号化データを生成し、
前記低域サブバンド信号から周波数包絡を抽出し、
抽出された前記周波数包絡と前記低域サブバンド信号から擬似高域信号を生成し、
前記高域サブバンド信号と生成された前記擬似高域信号とを比較し、擬似高域信号修正情報を得て、
前記擬似高域信号修正情報を符号化し、高域符号化データを生成し、
生成された低域符号化データと生成された前記高域符号化データとを多重化し出力符号列を得る
ステップを含む符号化方法。
【請求項２８】
符号化装置を制御するコンピュータが、
入力信号を複数のサブバンドに分割し、低域側の複数のサブバンドで構成される低域サブバンド信号と、高域側の複数のサブバンドで構成される高域サブバンド信号とを生成し、
前記低域サブバンド信号を符号化し、低域符号化データを生成し、
前記低域サブバンド信号から周波数包絡を抽出し、
抽出された前記周波数包絡と前記低域サブバンド信号から擬似高域信号を生成し、
前記高域サブバンド信号と生成された前記擬似高域信号とを比較し、擬似高域信号修正情報を得て、
前記擬似高域信号修正情報を符号化し、高域符号化データを生成し、
生成された低域符号化データと生成された前記高域符号化データとを多重化し出力符号列を得る
ステップを含む制御処理を実行するプログラム。
【請求項２９】
入力された符号化データを非多重化し、低域符号化データ及び高符号化データを生成する非多重化回路と、
前記低域符号化データを復号化し、低域サブバンド信号を生成する低域復号化回路と、
前記低域サブバンド信号の複数のサブバンド信号から周波数包絡を抽出する周波数包絡抽出回路と、
前記周波数包絡抽出回路で得られた周波数包絡と前記低域サブバンド信号から擬似高域信号を生成する擬似高域信号生成回路と、
前記高域符号化データを復号化し、擬似高域信号修正情報を生成する高域復号化回路と、
前記擬似高域信号修正情報を用いて前記擬似高域信号を修正し修正擬似高域信号を生成する擬似高域信号修正回路と
を備える復号化装置。
【請求項３０】
復号化装置が、
入力された符号化データを非多重化し、低域符号化データ及び高符号化データを生成し、
前記低域符号化データを復号化し、低域サブバンド信号を生成し、
前記低域サブバンド信号の複数のサブバンド信号から周波数包絡を抽出し、
抽出された周波数包絡と前記低域サブバンド信号から擬似高域信号を生成し、
前記高域符号化データを復号化し、擬似高域信号修正情報を生成し、
前記擬似高域信号修正情報を用いて前記擬似高域信号を修正し修正擬似高域信号を生成する
ステップを含む復号化方法。
【請求項３１】
復号化装置を制御するコンピュータが、
入力された符号化データを非多重化し、低域符号化データ及び高符号化データを生成し、
前記低域符号化データを復号化し、低域サブバンド信号を生成し、
前記低域サブバンド信号の複数のサブバンド信号から周波数包絡を抽出し、
抽出された周波数包絡と前記低域サブバンド信号から擬似高域信号を生成し、
前記高域符号化データを復号化し、擬似高域信号修正情報を生成し、
前記擬似高域信号修正情報を用いて前記擬似高域信号を修正し修正擬似高域信号を生成する
ステップを含む制御処理を実行するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラムに関し、特に、周波数帯域の拡大により、音楽信号をより高音質に再生することができるようになった周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、インターネット等を介して音楽データを配信する音楽配信サービスが広まりつつある。この音楽配信サービスでは、音楽信号を符号化することで得られる符号化データを音楽データとして配信する。音楽信号の符号化手法としては、ダウンロードの際に時間がかからないように、符号化データのファイル容量を抑えてビットレートを低くする符号化手法が主流となっている。
【０００３】
このような音楽信号の符号化手法としては、大別して、MP3(MPEG(Moving Picture Experts Group) Audio Layer3)（国際標準規格ISO/IEC 11172-3）等の符号化手法やHE-AAC(High Efficiency MPEG4 AAC)（国際標準規格ISO/IEC 14496-3）等の符号化手法が存在する。
【０００４】
MP3に代表される符号化手法では、音楽信号のうちの人間の耳には知覚され難い約１５ｋＨｚ以上の高周波数帯域（以下、高域と称する）の信号成分を削除し、残った低周波数帯域（以下、低域と称する）の信号成分を符号化する。このような符号化手法を、以下、高域削除符号化手法と称する。この高域削除符号化手法では、符号化データのファイル容量を抑えることができる。しかしながら、高域の音は、僅かながら人間に知覚可能なので、符号化データを復号化することで得られる復号化後の音楽信号から、音を生成して出力すると、原音がもつ臨場感が失われていたり、音がこもったりするといった音質の劣化が生じていることがあった。
【０００５】
これに対して、HE-AACに代表される符号化手法では、高域の信号成分から特徴的な情報を抽出し、低域の信号成分と合わせて符号化する。このような符号化手法を、以下、高域特徴符号化手法と称する。この高域特徴符号化手法では、高域の信号成分の特徴的な情報だけを高域の信号成分に関する情報として符号化するので、音質の劣化を抑えつつ、符号化効率を向上させることができる。
【０００６】
この高域特徴符号化手法で符号化された符号化データの復号化においては、低域の信号成分と特徴的な情報を復号化し、復号化後の低域の信号成分と特徴的な情報から、高域の信号成分を生成する。このように、高域の信号成分を、低域の信号成分から生成することにより、低域の信号成分の周波数帯域を拡大する技術を、以下、帯域拡大技術と称する。
【０００７】
この帯域拡大技術の応用例のひとつとして、上述した高域削除符号化手法による符号化データの復号化後の後処理がある。この後処理においては、符号化で失われた高域の信号成分を、復号化後の低域の信号成分から生成することで、低域の信号成分の周波数帯域を拡大する（例えば、特許文献１参照）。なお、特許文献１の周波数帯域拡大の手法を、以下、特許文献１の帯域拡大手法と称する。
【０００８】
特許文献１の帯域拡大手法では、装置は、復号化後の低域の信号成分を入力信号として、入力信号のパワースペクトルから、高域のパワースペクトル（以下、高域の周波数包絡と称する）を推定し、その高域の周波数包絡を有する高域の信号成分を低域の信号成分から生成する。
【０００９】
図１は、入力信号としての復号化後の低域のパワースペクトルと、推定した高域の周波数包絡の一例を示している。
【００１０】
図１において、縦軸は、パワーを対数で示し、横軸は、周波数を示している。
【００１１】
装置は、入力信号に関する符号化方式の種類や、サンプリングレート、ビットレート等の情報（以下、サイド情報と称する）から、高域の信号成分の低域端の帯域（以下、拡大開始帯域と称する）を決定する。次に、装置は、低域の信号成分としての入力信号を複数のサブバンド信号に分割する。装置は、分割後の複数のサブバンド信号、即ち、拡大開始帯域より低域側（以下、単に、低域側と称する）の複数のサブバンド信号のそれぞれのパワーの、時間方向についてのグループ毎の平均（以下、グループパワーと称する）を求める。図１に示されるように、装置は、低域側の複数のサブバンドの信号のそれぞれのグループパワーの平均をパワーとし、かつ、拡大開始帯域の下端の周波数を周波数とする点を起点とする。装置は、その起点を通る所定の傾きの一次直線を、拡大開始帯域より高域側（以下、単に、高域側と称する）の周波数包絡として推定する。なお、起点のパワー方向についての位置は、ユーザにより調整可能とされる。装置は、高域側の複数のサブバンドの信号のそれぞれを、推定した高域側の周波数包絡となるように、低域側の複数のサブバンドの信号から生成する。装置は、生成した高域側の複数のサブバンドの信号を加算して高域の信号成分とし、さらに、低域の信号成分を加算して出力する。これにより、周波数帯域の拡大後の音楽信号は、本来の音楽信号により近いものとなる。従って、より高音質の音楽信号を再生することが可能となる。
【００１２】
上述した特許文献１の帯域拡大手法は、様々な高域削除符号化手法や様々なビットレートの符号化データについて、その符号化データの復号化後の音楽信号についての周波数帯域を拡大することができるという特長を有している。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００８−１３９８４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献１の帯域拡大手法は、推定した高域側の周波数包絡が所定の傾きの一次直線となっている点で、即ち、周波数包絡の形状が固定となっている点で改善の余地がある。
【００１５】
即ち、音楽信号のパワースペクトルは様々な形状を持っており、音楽信号の種類によっては、特許文献１の帯域拡大手法により推定される高域側の周波数包絡から大きく外れる場合も少なくない。
【００１６】
図２は、時間的に急激な変化を伴うアタック性の音楽信号の本来のパワースペクトルの一例を示している。
【００１７】
なお、図２には、特許文献１の帯域拡大手法により、アタック性の音楽信号のうちの低域側の信号成分を入力信号として、その入力信号から推定した高域側の周波数包絡についてもあわせて示されている。
【００１８】
図２に示されるように、アタック性の音楽信号の本来の高域側のパワースペクトルは、ほぼ平坦となっている。
【００１９】
これに対して、推定した高域側の周波数包絡は、所定の負の傾きを有しており、起点で、本来のパワースペクトルに近いパワーに調節したとしても、周波数が高くなるにつれて本来のパワースペクトルとの差が大きくなる。
【００２０】
このように、特許文献１の帯域拡大手法では、推定した高域側の周波数包絡は、本来の高域側の周波数包絡を高精度に再現することができない。その結果、周波数帯域の拡大後の音楽信号から音を生成して出力すると、聴感上、原音よりも音の明瞭性が失われていることがあった。
【００２１】
また、前述のHE-AAC等の符号化手法では、符号化される高域の信号成分の特徴的な情報として、高域側の周波数包絡が用いられる。しかしながら、復号化側で本来の高域側の周波数包絡を高精度に再現できれば、高域の信号成分の特徴的な情報の符号化自体が不要となる。これにより、より一層の符号化効率の向上に繋がることになる。
【００２２】
本発明は、このような状況に鑑みてなされたものであり、周波数帯域の拡大により、音楽信号をより高音質に再生することができるようにするものである。
【課題を解決するための手段】
【００２３】
本発明の一側面の周波数帯域拡大装置は、入力信号から複数のサブバンド信号を得る複数の帯域通過フィルタと、前記複数の帯域通過フィルタで得られた複数のサブバンド信号から周波数包絡を抽出する周波数包絡抽出回路と、前記周波数包絡抽出回路によって得られた周波数包絡と、前記帯域通過フィルタで得られた複数のサブバンド信号とに基づいて、高域信号成分を生成する高域信号生成回路とを備え、前記高域信号生成回路により生成された前記高域信号成分を用いて、前記入力信号の周波数帯域を拡大する。
【００２４】
前記周波数包絡抽出回路は、前記複数の帯域通過フィルタで得られる複数のサブバンド信号から周波数包絡の一次傾斜を得る。
【００２５】
前記周波数包絡抽出回路において、前記複数の帯域通過フィルタで得られる複数のサブバンド信号から周波数包絡を抽出する際に、複数のサブバンド信号のパワーを用いる。
【００２６】
前記周波数包絡抽出回路において、前記複数の帯域通過フィルタで得られる複数のサブバンド信号から周波数包絡を抽出する際に、複数のサブバンド信号の振幅を用いる。
【００２７】
前記周波数包絡は、前記入力信号の定常性に応じて周波数包絡の計算区間がかわる。
【００２８】
前記周波数包絡抽出回路は、前記複数の帯域通過フィルタで得られる複数のサブバンド信号から周波数包絡の複数の一次傾斜を得る。
【００２９】
前記高域信号生成回路は、前記周波数包絡抽出回路で得られた周波数包絡から各サブバンド毎に利得量を求める利得量計算回路を備え、前記利得量を前記複数の帯域通過フィルタで得られた複数のサブバンド信号に適用する。
【００３０】
前記利得量計算回路は、時間軸上の複数のブロックで計算された周波数包絡から各サブバンド毎に利得量を求める。
【００３１】
前記周波数包絡の一次傾斜は、前記複数の帯域通過フィルタで得られた複数のサブバンド信号から重み付けされて算出される。
【００３２】
前記利得量計算回路は、予め広帯域な信号を教師データとして学習を行うことで得られた写像関数によって利得量が算出される。
【００３３】
前記写像関数は、一次傾斜を入力として利得量を出力とする。
【００３４】
前記写像関数は、複数の一次傾斜を入力として利得量を出力とする。
【００３５】
前記写像関数は、対数上の一次傾斜を入力として対数上の利得量を出力とする。
【００３６】
前記複数の帯域通過フィルタで得られた複数のサブバンド信号から周波数拡大帯域の各高域サブバンド強度を生成する高域サブバンド強度生成回路をさらに備える。
【００３７】
前記高域サブバンド強度生成回路は、前記複数の帯域通過フィルタで得られた複数のサブバンド信号強度の線形結合から周波数拡大帯域の各高域サブバンドの強度を算出する。
【００３８】
前記高域サブバンド強度生成回路は、時間軸上の複数のブロックで計算された、複数のサブバンド信号強度の線形結合から周波数拡大帯域の各高域サブバンドの強度を算出する。
【００３９】
前記高域サブバンド強度生成回路は、時間軸上の複数のブロックで計算された、複数のサブバンド信号強度を、サブバンド毎に一つの変数に置換したものを用いて周波数拡大帯域の各高域サブバンドの強度を算出する。
【００４０】
前記高域サブバンド強度生成回路は、前記複数の帯域通過フィルタで得られた複数のサブバンド信号強度から非線形関数を用いることで周波数拡大帯域の各高域サブバンドの強度を算出する。
【００４１】
前記高域サブバンド強度生成回路は、時間軸上の複数のブロックで計算された、複数のサブバンド信号強度から非線形関数を用いることで周波数拡大帯域の各高域サブバンドの強度を算出する。
【００４２】
前記非線形関数は、任意の次数の関数である。
【００４３】
前記高域サブバンド強度生成回路の入力及び出力はそれぞれ、前記複数の帯域通過フィルタで得られた複数のサブバンド信号のパワー、ならびに、高域サブバンドのパワーである。
【００４４】
前記高域サブバンド強度生成回路の入力及び出力はそれぞれ、前記複数の帯域通過フィルタで得られた複数のサブバンド信号の振幅、ならびに、高域サブバンドの振幅である。
【００４５】
前記利得量計算回路は、予め広帯域な信号を教師データとして学習を行うことで得られた係数を持つ写像関数によって利得量が算出される。
【００４６】
本発明の一側面の周波数帯域拡大方法は、周波数帯域拡大装置が、入力信号から複数のサブバンド信号を得て、得られた複数のサブバンド信号から周波数包絡を抽出し、抽出された前記周波数包絡と、得られた前記複数のサブバンド信号とに基づいて、高域信号成分を生成し、生成された前記高域信号成分を用いて、前記入力信号の周波数帯域を拡大する。
【００４７】
本発明の一側面のプログラムは、周波数帯域拡大装置を制御するコンピュータが、入力信号から複数のサブバンド信号を得て、得られた複数のサブバンド信号から周波数包絡を抽出し、抽出された前記周波数包絡と、得られた前記複数のサブバンド信号とに基づいて、高域信号成分を生成し、生成された前記高域信号成分を用いて、前記入力信号の周波数帯域を拡大するステップを含む制御処理を実行する。
【００４８】
本発明の一側面の周波数帯域拡大装置および方法並びにプログラムにおいては、入力信号から複数のサブバンド信号が得られ、得られた複数のサブバンド信号から周波数包絡が抽出され、抽出された前記周波数包絡と、得られた前記複数のサブバンド信号とに基づいて、高域信号成分が生成され、生成された前記高域信号成分を用いて、前記入力信号の周波数帯域が拡大される。
【００４９】
本発明の一側面の符号化装置は、入力信号を複数のサブバンドに分割し、低域側の複数のサブバンドで構成される低域サブバンド信号と、高域側の複数のサブバンドで構成される高域サブバンド信号とを生成するサブバンド分割回路と、前記低域サブバンド信号を符号化し、低域符号化データを生成する低域符号化回路と、前記低域サブバンド信号から周波数包絡を抽出する周波数包絡抽出回路と、前記周波数包絡抽出回路で得られた周波数包絡と前記低域サブバンド信号から擬似高域信号を生成する擬似高域信号生成回路と、前記サブバンド分割回路で得られた高域サブバンド信号と前記擬似高域信号生成回路で生成された擬似高域信号とを比較し、擬似高域信号修正情報を得る擬似高域信号修正情報計算回路と、前記擬似高域信号修正情報を符号化し、高域符号化データを生成する高域符号化回路と、前記低域符号化回路で生成された低域符号化データと前記高域符号化回路で生成された高域符号化データとを多重化し出力符号列を得る多重化回路とを備える。
【００５０】
本発明の一側面の符号化方法は、信号符号化装置が、入力信号を複数のサブバンドに分割し、低域側の複数のサブバンドで構成される低域サブバンド信号と、高域側の複数のサブバンドで構成される高域サブバンド信号とを生成し、前記低域サブバンド信号を符号化し、低域符号化データを生成し、前記低域サブバンド信号から周波数包絡を抽出し、抽出された前記周波数包絡と前記低域サブバンド信号から擬似高域信号を生成し、前記高域サブバンド信号と生成された前記擬似高域信号とを比較し、擬似高域信号修正情報を得て、前記擬似高域信号修正情報を符号化し、高域符号化データを生成し、生成された低域符号化データと生成された前記高域符号化データとを多重化し出力符号列を得るステップを含む。
【００５１】
本発明の一側面のプログラムは、信号符号化装置を制御するコンピュータが、入力信号を複数のサブバンドに分割し、低域側の複数のサブバンドで構成される低域サブバンド信号と、高域側の複数のサブバンドで構成される高域サブバンド信号とを生成し、前記低域サブバンド信号を符号化し、低域符号化データを生成し、前記低域サブバンド信号から周波数包絡を抽出し、抽出された前記周波数包絡と前記低域サブバンド信号から擬似高域信号を生成し、前記高域サブバンド信号と生成された前記擬似高域信号とを比較し、擬似高域信号修正情報を得て、前記擬似高域信号修正情報を符号化し、高域符号化データを生成し、生成された低域符号化データと生成された前記高域符号化データとを多重化し出力符号列を得るステップを含む。
【００５２】
本発明の一側面の符号化装置および方法並びにプログラムにおいては、入力信号が複数のサブバンドに分割され、低域側の複数のサブバンドで構成される低域サブバンド信号と、高域側の複数のサブバンドで構成される高域サブバンド信号とが生成され、前記低域サブバンド信号が符号化され、低域符号化データが生成され、前記低域サブバンド信号から周波数包絡が抽出され、抽出された前記周波数包絡と前記低域サブバンド信号から擬似高域信号が生成され、前記高域サブバンド信号と生成された前記擬似高域信号とが比較され、擬似高域信号修正情報が得られて、前記擬似高域信号修正情報が符号化され、高域符号化データが生成され、生成された低域符号化データと生成された高域符号化データとが多重化されて出力符号列が得られる。
【００５３】
本発明の一側面の復号化装置は、入力された符号化データを非多重化し、低域符号化データ及び高符号化データを生成する非多重化回路と、前記低域符号化データを復号化し、低域サブバンド信号を生成する低域復号化回路と、前記低域サブバンド信号の複数のサブバンド信号から周波数包絡を抽出する周波数包絡抽出回路と、前記周波数包絡抽出回路で得られた周波数包絡と前記低域サブバンド信号から擬似高域信号を生成する擬似高域信号生成回路と、前記高域符号化データを復号化し、擬似高域信号修正情報を生成する高域復号化回路と、前記擬似高域信号修正情報を用いて前記擬似高域信号を修正し修正擬似高域信号を生成する擬似高域信号修正回路とを備える。
【００５４】
本発明の一側面の復号化方法は、復号化装置が、入力された符号化データを非多重化し、低域符号化データ及び高符号化データを生成し、前記低域符号化データを復号化し、低域サブバンド信号を生成し、前記低域サブバンド信号の複数のサブバンド信号から周波数包絡を抽出し、抽出された周波数包絡と前記低域サブバンド信号から擬似高域信号を生成し、前記高域符号化データを復号化し、擬似高域信号修正情報を生成し、前記擬似高域信号修正情報を用いて前記擬似高域信号を修正し修正擬似高域信号を生成するステップを含む。
【００５５】
本発明の一側面のコンピュータは、復号化装置を制御するコンピュータが、入力された符号化データを非多重化し、低域符号化データ及び高符号化データを生成し、前記低域符号化データを復号化し、低域サブバンド信号を生成し、前記低域サブバンド信号の複数のサブバンド信号から周波数包絡を抽出し、抽出された周波数包絡と前記低域サブバンド信号から擬似高域信号を生成し、前記高域符号化データを復号化し、擬似高域信号修正情報を生成し、前記擬似高域信号修正情報を用いて前記擬似高域信号を修正し修正擬似高域信号を生成するステップを含む。
【００５６】
本発明の一側面の復号化装置および方法並びにプログラムにおいては、入力された符号化データが非多重化され、低域符号化データ及び高符号化データが生成され、前記低域符号化データが復号化され、低域サブバンド信号が生成され、前記低域サブバンド信号の複数のサブバンド信号から周波数包絡が抽出され、抽出された周波数包絡と前記低域サブバンド信号から擬似高域信号が生成され、前記高域符号化データが復号化され、擬似高域信号修正情報が生成され、前記擬似高域信号修正情報を用いて前記擬似高域信号が修正されて修正擬似高域信号が生成される。
【発明の効果】
【００５７】
本発明の一側面によれば、周波数帯域の拡大により、音楽信号をより高音質に再生することができる。
【図面の簡単な説明】
【００５８】
【図１】入力信号としての復号化後の低域のパワースペクトルと、推定した高域の周波数包絡の一例を示す図である。
【図２】時間的に急激な変化を伴うアタック性の音楽信号の本来のパワースペクトルの一例を示す図である。
【図３】本発明に基づく第１の実施形態における周波数帯域拡大装置の機能的構成例を示す機能ブロック図である。
【図４】図３の周波数帯域拡大装置による周波数帯域拡大処理の一例を説明するフローチャートである。
【図５】図３の周波数帯域拡大装置に入力される信号のスペクトルと帯域通過フィルタの周波数軸上の配置を示したものである。
【図６】図３の周波数帯域拡大装置の高域信号生成回路で用いられる係数の学習を行うための係数学習装置の機能的構成例を示す機能ブロック図である。
【図７】図６の係数学習装置に入力される広帯域な教師信号のスペクトルと帯域通過フィルタの周波数軸上の配置を示した図である。
【図８】ある時系列信号の波形を示した図である。
【図９】短い時間フレームを非定常なフレームに適用した例を示す図である。
【図１０】本発明に基づく第２の実施形態における周波数帯域拡大装置の機能的構成例を示す機能ブロック図である。
【図１１】本発明に基づく第３の実施形態における符号化装置の機能的構成例を示す機能ブロック図である。
【図１２】図１１の符号化装置による符号化処理の一例を説明するフローチャートである。
【図１３】図１１の符号化装置が出力する符号列の一例を示す図である。
【図１４】本発明に基づく第３の実施形態における復号化装置の機能的構成例を示すブロック図である。
【図１５】図１４の復号化装置による復号化処理の一例を説明するフローチャートである。
【図１６】図１１の符号化装置が出力する符号列の別の例を示す図である。
【図１７】本発明が適用される処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００５９】
以下、図面を参照して本発明を適用した実施の形態について説明する。
１．第１の実施形態（周波数帯域拡大装置に本発明を適用した場合）
２．第２の実施形態（周波数帯域拡大装置に本発明を適用した場合）
３．第３の実施形態（符号化装置および復号化装置に本発明を適用した場合）
【００６０】
＜第１の実施形態＞
【００６１】
先ず、第１の実施形態について説明する。
【００６２】
第１の実施形態では、上述した高域削除符号化手法での符号化データを復号化することで得られる復号化後の低域の信号成分に対して、周波数帯域を拡大させる処理（以下、周波数帯域拡大処理と称する）が施される。
【００６３】
［第１の実施形態の周波数帯域拡大装置の機能的構成例］
【００６４】
図３は、本発明を適用した周波数帯域拡大装置の機能的構成例を示している。
【００６５】
周波数帯域拡大装置１０は、復号化後の低域の信号成分を入力信号として、その入力信号に対して、周波数帯域拡大処理を施し、その結果得られる周波数帯域拡大処理後の音楽信号を出力信号として出力する。
【００６６】
周波数帯域拡大装置１０は、低域通過フィルタ１１、遅延回路１２、帯域通過フィルタ１３、周波数包絡抽出回路１４、高域信号生成回路１５、高域通過フィルタ１６、および信号加算器１７から構成されている。
【００６７】
［第１の実施形態の周波数帯域拡大装置の処理例］
【００６８】
図４は、図３の周波数帯域拡大装置の処理（以下、周波数帯域拡大処理と称する）の一例を説明するフローチャートである。
【００６９】
ステップＳ１において、低域通過フィルタ１１は、入力信号を所定の遮断周波数を持つ低域通過フィルタによってフィルタリングし、フィルタリング後の信号を遅延回路１２に供給する。
【００７０】
低域通過フィルタ１１は、遮断周波数として任意の周波数を設定することが可能である。ただし、本実施の形態では、後述する所定の帯域を拡大開始帯域として、その拡大開始帯域の下端の周波数に対応して遮断周波数を設定している。従って、低域通過フィルタ１１は、フィルタリング後の信号として、拡大開始帯域より低域の信号成分（以下、低域信号成分と称する）を、遅延回路１２に供給する。
【００７１】
また、低域通過フィルタ１１は、入力信号の高域削除符号化手法やビットレート等の符号化パラメータに応じて、最適な周波数を遮断周波数として設定することもできる。この符号化パラメータとしては、例えば、特許文献１の帯域拡大手法で採用されているサイド情報を利用することができる。
【００７２】
ステップＳ２において、遅延回路１２は、低域信号成分と後述する高域信号成分を加算する際の同期をとるために、低域信号成分を一定の遅延時間だけ遅延して信号加算器１７に供給する。
【００７３】
ステップＳ３において、帯域通過フィルタ１３は、入力信号を複数のサブバンド信号に分割し、分割後の複数のサブバンド信号のそれぞれを周波数包絡抽出回路１４及び高域信号生成回路１５に供給する。
【００７４】
即ち、帯域通過フィルタ１３は、それぞれ異なる通過帯域を持つ帯域通過フィルタ１３−１乃至１３−Ｎから構成される。通過帯域フィルタ１３−ｉ（１≦ｉ≦Ｎ）は、入力信号のうちの通過帯域の信号を通過させ、通過後の信号を複数のサブバンド信号のうちの所定の１つとして出力する。
【００７５】
ステップＳ４において、周波数包絡抽出回路１４は、帯域通過フィルタ１３からの複数のサブバンド信号から周波数包絡を抽出し、高域信号生成回路１５に供給する。
【００７６】
ステップＳ５において、高域信号生成回路１５は、帯域通過フィルタ１３からの複数のサブバンド信号と、周波数包絡抽出回路１４からの周波数包絡とに基づいて、高域信号成分を生成する。高域信号成分とは、拡大開始帯域より高域の信号成分をいう。
【００７７】
高域通過フィルタ１６は、低域通過フィルタ１１における遮断周波数に対応する遮断周波数を持つ高域通過フィルタとして構成される。そこで、ステップＳ６において、高域通過フィルタ１６は、高域信号生成回路１５からの高域信号成分を高域通過フィルタによってフィルタリングすることにより、その高域信号成分に含まれる低域への折り返し成分等のノイズを除去し、信号加算器１７に供給する。
【００７８】
ステップＳ７において、信号加算器１７は、遅延回路１２からの低域信号成分と、高域通過フィルタ１６からの高域信号成分とを加算し、加算後の信号を出力信号として後段に出力する。
【００７９】
本実施の形態では、サブバンド信号を取得するために帯域通過フィルタ１３が採用されている。しかしながら、サブバンド信号を取得するためのフィルタの構成は、図３の例に特に限定されない。例えば、他の実施の形態として、特許文献１に記載されているような帯域分割フィルタを採用してもよい。
【００８０】
また、本実施の形態では、サブバンド信号を合成するために信号加算器１７が採用されている。しかしながら、サブバンド信号を合成するための構成は、図３の例に特に限定されない。例えば、他の実施の形態として、特許文献１に記載されているような帯域合成フィルタを採用してもよい。
【００８１】
次に、帯域通過フィルタ１３乃至高域信号生成回路１５のそれぞれの詳細な処理例について説明する。
【００８２】
［帯域通過フィルタ１３の詳細な処理例］
【００８３】
先ず、帯域通過フィルタ１３の処理例について説明する。
【００８４】
なお、説明の便宜上、以降の説明においては、帯域通過フィルタ１３の個数Ｎ＝８とする。
【００８５】
例えば、入力信号のナイキスト周波数を３２等分に分割することで得られる３２個のサブバンドのうちの１つを拡大開始帯域とし、それらの３２個のサブバンドのうちの拡大開始帯域より低域の所定の８つのサブバンドのそれぞれを、８個の帯域通過フィルタ１３−１乃至１３−８の通過帯域のそれぞれとして採用する。
【００８６】
図５は、８個の帯域通過フィルタ１３−１乃至１３−８の各通過帯域のそれぞれの周波数軸上における配置を示している。
【００８７】
図５に示されるように、８個の帯域通過フィルタのそれぞれの通過帯域として、拡大開始帯域より低域の周波数帯域（サブバンド）のうちの高域から１番目のサブバンドsb-1乃至８番目のサブバンドsb-8のそれぞれが割り当てられている。なお、周波数sbとは、拡大開始帯域の下端のサブバンドである。よって、以下、これらの８個のサブバンドを、他と区別すべく、sbを用いて表現する。
【００８８】
なお、本実施の形態では、８個の帯域通過フィルタ１３−１乃至１３−８の通過帯域のそれぞれは、入力信号のナイキスト周波数を３２等分することで得られる３２個のサブバンドのうちの所定の８個のそれぞれであるとした。しかしながら、帯域通過フィルタ１３は、本例に限定されるものではない。例えば、８個の帯域通過フィルタ１３−１乃至１３−８の通過帯域のそれぞれは、入力信号のナイキスト周波数を２５６等分することで得られる２５６個のサブバンドのうちの所定の８個のそれぞれであってもよい。また、８個の帯域通過フィルタ１３−１乃至１３−８のそれぞれの帯域幅が、それぞれ異なっていてもよい。
【００８９】
［周波数包絡抽出回路１４の処理例］
【００９０】
次に、周波数包絡抽出回路１４の処理例について説明する。
【００９１】
周波数包絡抽出回路１４は、帯域通過フィルタ１３で出力された複数のサブバンド信号から周波数包絡を抽出する。そこで、以下、周波数包絡抽出回路１４の処理の一実施例として、周波数包絡の一次傾斜を周波数包絡として利用する例について説明する。
【００９２】
先ず、周波数包絡抽出回路１４は、帯域通過フィルタ１３で出力されたsb-8乃至sb-1までの８個のサブバンド信号ｘ（ｉｂ，ｎ）から、ある一定の時間フレームのパワーを求める。ここで、ｉｂは、サブバンドのインデックスであり、ｎは離散時間のインデックスを表している。
【００９３】
ある時間フレーム番号Ｊにおけるサブバンドｉｂについてのサブバンド信号のパワーを、ｐｏｗｅｒ(ｉｂ，Ｊ)と記述すると、ｐｏｗｅｒ(ｉｂ，Ｊ)は次の式（１）で示される。
【００９４】
【数１】
2010079275.tif 000003
・・・（１）
【００９５】
ある時間フレーム番号Ｊにおける周波数包絡の一次傾斜ｓｌｏｐe(Ｊ)は、このｐｏｗｅｒ(ｉｂ，Ｊ)を用いて次の式（２）で示される。
【００９６】
【数２】
2010079275.tif 000004
・・・（２）
【００９７】
式（２）において、Ｗ(ｉｂ)はサブバンドｉｂに関する重み係数を示している。この重み係数Ｗ(ｉｂ)を用いてｓｌｏｐe(Ｊ)を求めることで、符号化により特定のサブバンドの信号成分が欠落してしまった場合の影響を軽減することができる。なお、この符号化により特定のサブバンドの信号成分が欠落してしまった場合の影響については、上述の特許文献１に詳しく記述されている。
【００９８】
以上の如く、周波数包絡の一次傾斜ｓｌｏｐe(Ｊ)は、本例では、各サブバンド信号のパワーを用いて求められる。しかしながら、周波数包絡エンベロープの一次傾斜ｓｌｏｐe(Ｊ)の求め方は、パワーを使う求め方に限定されるものではない。その他例えば、各サブバンド信号の振幅を用いて周波数包絡の一次傾斜ｓｌｏｐe(Ｊ)を求めることもできる。
【００９９】
また、周波数包絡抽出回路１４は、帯域通過フィルタ１３で出力された複数のサブバンド信号から周波数包絡の複数の一次傾斜を得るようにしてもよい。
【０１００】
［高域信号生成回路１５の処理例］
【０１０１】
次に、高域信号生成回路１５の処理例について説明する。
【０１０２】
高域信号生成回路１５は、帯域通過フィルタ１３から出力された複数のサブバンド信号と、周波数包絡抽出回路１４から出力された周波数包絡とに基づいて、高域信号成分を生成する。そこで、以下、高域信号生成回路１５の一実施例として、上述した周波数包絡の一次傾斜を周波数包絡として高域信号成分を生成する例について説明する。
【０１０３】
先ず、高域信号生成回路１５は、拡大開始周波数帯域ｓｂ以降の拡大しようとする帯域（以下、周波数拡大帯域と称する）のサブバンド信号のそれぞれを写像先のサブバンド信号とする。また、高域信号生成回路１５は、その写像先のサブバンド信号に対応する、帯域通過フィルタ１３から出力された複数のサブバンド信号のうちの所定の１のサブバンド信号を写像元とする。高域信号生成回路１５は、写像元のサブバンド信号に対する写像先のサブバンド信号の利得量Ｇ(ｉｂ，Ｊ)を、周波数包絡の一次傾斜ｓｌｏｐe(Ｊ)を用いて演算（推定）する。この利得量Ｇ(ｉｂ，Ｊ)は、周波数包絡の一次傾斜ｓｌｏｐe(Ｊ)に対する対数上の一次式をリニアに変換した形として、次の式（３）により示される。
【０１０４】
【数３】
2010079275.tif 000005
・・・（３）
【０１０５】
式（３）において、αib、βibは、ｉｂ毎に異なる値を持つ係数である。各係数αib、βibは、様々な入力信号に対して好適なＧ(ｉｂ，Ｊ)が得られるように適切に設定されていると好適である。また、ｓｂの変更によって、各係数αib、βibも最適な値に変更すると好適である。なお、各係数αib、βibの演算手法の具体例については後述する。
【０１０６】
以上の如く、利得量Ｇ(ｉｂ，Ｊ)は、本例では、ｓｌｏｐe(Ｊ)に対する対数上の一次式を用いて演算される。しかしながら、利得量Ｇ(ｉｂ，Ｊ)の求め方は、一次式を使う求め方に限定されるものではない。その他例えば、使用可能な計算資源に余裕があれば、ｓｌｏｐe(Ｊ)に対する対数上のｎ次式を用いて、利得量Ｇ(ｉｂ，Ｊ)を算出することができる。さらにまた、連続あるいは曲線の関数近似だけではなく、コードブックを用いて周波数包絡から、利得量Ｇ(ｉｂ，Ｊ)を算出することもできる。
【０１０７】
また、利得量Ｇ(ｉｂ，Ｊ)は、周波数包絡の複数の一次傾斜を入力として利得量を出力とする関数であってもよい。
【０１０８】
次に、高域信号生成回路１５は、次の式（４）を用いて、式（３）で得られた利得量Ｇ(ｉｂ，Ｊ)を帯域通過フィルタ１３の出力に乗じることで、利得調整後のサブバンド信号ｘ２（ｉｂ，ｎ）を算出する。
【０１０９】
【数４】
2010079275.tif 000006
・・・（４）
【０１１０】
式（４）において、ｅｂは、周波数拡大帯域の最高域のサブバンドを示す。また、サブバンドｉｂを写像元のサブバンドとした場合の写像先のサブバンドｓｂmap（ｉｂ）は、次の式（５）により示される。
【０１１１】
【数５】
2010079275.tif 000007
・・・（５）
【０１１２】
ここで、高域信号生成回路１５は、ｓｂからｅｂまでの周波数拡大帯域のうちの８サブバンド毎の帯域内のサブバンド信号のそれぞれを加算する。
【０１１３】
この８サブバンド毎の帯域をｊｂとして以下に示す。
【０１１４】
ｊｂ＝０  （ｓｂ＜＝ｉｂ＜＝ｓｂ＋７）
ｊｂ＝１  （ｓｂ＋８＜＝ｉｂ＜＝ｓｂ＋１５）
ｊｂ＝２  （ｓｂ＋１６＜＝ｉｂ＜＝ｅｂ）
【０１１５】
なお、８サブバンド毎の帯域の個数は、上述の例では３個とされている。ただし、８サブバンド毎の帯域の個数は、３個に限定されないことはいうまでもない。
【０１１６】
高域信号生成回路１５は、次の式（６）に従って、利得調整後のサブバンド信号ｘ２（ｉｂ，ｎ）からサブバンド信号ｘ３（ｊｂ，ｎ）を算出する。
【０１１７】
【数６】
2010079275.tif 000008
・・・（６）
【０１１８】
次に、高域信号生成回路１５は、次の式（７）に従って、sb-8に対応する周波数からｓｂに対応する周波数へコサイン変調を行うことで、ｘ３（ｊｂ，ｎ）からｘ４（ｊｂ，ｎ）を算出する。
【０１１９】
【数７】
2010079275.tif 000009
・・・（７）
【０１２０】
式（７）において、piは円周率を表す。この式（７）は、利得調整後のサブバンド信号ｘ２（ｉｂ，ｎ）が、それぞれ、８バンド分高域に周波数シフトされることを意味している。
【０１２１】
次に、高域信号生成回路１５は、次の式（８）に従って、ｘ４（ｊｂ，ｎ）から高域信号成分ｘhigh（ｎ）を算出する。
【０１２２】
【数８】
2010079275.tif 000010
・・・（８）
【０１２３】
このようにして、複数のサブバンド信号から得られた周波数包絡に基づいて、高域信号成分を適応的に生成することができるようになる。また、入力信号の性質に応じて周波数拡大帯域の周波数包絡の強度及び形状を変化させることができるようになる。その結果、高音質な信号の生成が可能となる。
【０１２４】
［式（３）における係数αib、βibの求め方］
【０１２５】
次に、上述した式（３）における係数αib、βibの求め方について説明を行う。
【０１２６】
これらの係数αib、βibの求め方の手法としては、様々な入力信号に対して好適な利得量Ｇ(ｉｂ，Ｊ)が得られるようにするために、予め広帯域な教師信号（以下、広帯域教師信号と称する）で学習を行い、その学習結果に基づき決定する手法を採用すると好適である。
【０１２７】
係数αib、βibの学習を行う際には、拡大開始周波数帯域ｓｂよりも高域に、図５における帯域通過フィルタ１３−１乃至１３−８と同じ通過帯域幅を持つ帯域通過フィルタを配置した係数学習装置を採用する。そして、係数学習装置が、広帯域教師信号を入力した上で学習を行う。
【０１２８】
［係数学習装置の機能的構成例］
【０１２９】
図６は、係数αib、βibの学習を行うための係数学習装置２０の機能的構成例を示している。
【０１３０】
係数学習装置２０は、帯域通過フィルタ２１、利得計算回路２２、周波数包絡抽出回路２３、および係数推定回路２４から構成されている。
【０１３１】
帯域通過フィルタ２１は、それぞれ異なる通過帯域を持つ複数の帯域通過フィルタ２１−１乃至２１−（Ｋ＋Ｎ）で構成されている。帯域通過フィルタ２１は、入力信号（広帯域教師信号）を（Ｋ＋Ｎ）個のサブバンド信号に分割する。帯域フィルタ２１−（Ｋ＋１）乃至２１−（Ｋ＋Ｎ）の出力信号、即ち、拡大開始周波数帯域ｓｂよりも低域の複数のサブバンド信号は、周波数包絡抽出回路２３に供給される。また、帯域フィルタ２１−１乃至２１−（Ｋ＋Ｎ）の全出力信号、即ち、全てのサブバンド信号は、利得計算回路２２に供給される。
【０１３２】
利得計算回路２２は、拡大開始周波数帯域ｓｂよりも低域のサブバンド信号と、帯域拡大装置１０においてそのサブバンド信号の周波数シフト先に相当する帯域のサブバンド信号との利得量を一定の時間フレーム毎に計算し、係数推定回路２４に供給する。
【０１３３】
利得計算回路２２よる利得量の計算手法について、図７を用いてさらに説明を行う。
【０１３４】
図７は、図５で示した入力信号に対応した時間フレームにおける広帯域な信号のパワースペクトルを表している。
【０１３５】
例えば、図７の例では、sb-8のサブバンド信号と、周波数帯域拡大装置１０においてそのサブバンド信号の周波数シフト先に相当するsbのサブバンド信号との利得量が計算される。このことは、周波数帯域拡大装置１０において、sb-8のサブバンド信号が利得調整後にsbのサブバンドに写像されることに相当する。同様に、sb-7のサブバンド信号と、周波数帯域拡大装置１０においてそのサブバンド信号の周波数シフト先に相当するsb+1のサブバンド信号との利得量が計算される。このことは、sb-7のサブバンド信号が利得調整後にsb+1のサブバンドに写像されることに相当する。
【０１３６】
係数学習装置２０では、上述の如く、拡大開始周波数帯域ｓｂよりも高域に、図５における帯域通過フィルタ１３−１乃至１３−８と同じ帯域幅を持つ帯域通過フィルタ２１−１乃至２１−Ｋ（Ｋ＝８）が配置されている。そして、係数学習装置２０では、入力信号として、広帯域教師信号が入力される。よって、この写像元と写像先のサブバンド信号から利得量Ｇdb(ｉｂ，Ｊ)を計算することが可能である。具体的には例えば、利得量Ｇdb(ｉｂ，Ｊ)は、次の式（９）に従って計算される。
【０１３７】
【数９】
2010079275.tif 000011
・・・（９）
【０１３８】
図６に戻り、周波数包絡抽出回路２３は、利得計算回路２２において利得量を算出している一定の時間フレームと同じ時間フレーム毎、図３の周波数包絡抽出回路１４と同様に複数のサブバンド信号から周波数包絡を抽出し、係数推定回路２４に供給する。
【０１３９】
係数推定回路２４は、利得計算回路２２と周波数包絡抽出回路２３とから同一時刻に出力された周波数包絡と利得量の多数の組み合わせに基づいて、係数αib、βibの推定を行う。具体的には例えば、あるサブバンドについて、周波数包絡をｘ軸とし、利得量をｙ軸とするｄＢ上の二次元平面上の分布から、最小二乗法を用いて式（３）における係数αib、βibが決定される。なお、当然の如く、係数αib、βibの決定手法については、最小二乗法を用いる手法に限定されるものではなく、一般的な各種パラメータ同定法を採用してもよい。
【０１４０】
このようにして、あらかじめ広帯域教師信号を用いて学習を行うことで、周波数帯域拡大装置１０において様々な信号に好適な出力結果を得ることが可能となる。
【０１４１】
なお、時間フレームＪにおける利得量としては、上述の例では、同一時間フレームにおける周波数包絡を用いた利得量が採用されている。しかしながら、時間フレームＪにおける利得量は、上述の例に限定されず、その他例えば、時間フレームＪの前後数フレームにける周波数包絡を用いた利得量を採用してもよい。
【０１４２】
ここで例えば、それぞれ前後１フレームの周波数包絡を用いる場合には、式（３）におけるＧ(ｉｂ，Ｊ)は、以下の式（１０）のように求めることができる。
【０１４３】
【数１０】
2010079275.tif 000012
・・・（１０）
【０１４４】
このような形で利得量Ｇ(ｉｂ，Ｊ)を求めることで、時間軸上の周波数包絡の変化を考慮し、より高精度な推定を行うことができる。この実施例では、前後１フレームの周波数包絡を利用する形態であるが、このフレーム数は計算量を鑑みながら設定可能であり、本発明は前後のフレーム数に限定されるものではない。
【０１４５】
また、時間フレームＪの前後のフレームのパワーなどを考慮して、定常／非定常の場合に分けて異なる写像関数を用いて演算された各利得量採用してもよい。また、定常・非定常を考慮して、パワー及び周波数包絡を計算する時間間隔ＦＳＩＺＥを適応的に変更することで、最適な利得量を算出することも可能である。
【０１４６】
ここで、定常／非定常について、図８と図９の具体例を用いて説明する。
【０１４７】
図８は、ある時系列信号の波形を示した図である。
【０１４８】
時間フレームＪ乃至時間フレームＪ＋３までの４つの時間フレームのうち、時間フレームＪ、時間フレームＪ＋２、及び時間フレームＪ＋３は定常な時間フレームとされている。これに対して、時間フレームＪ＋１は非定常な時間フレームとされている。
【０１４９】
一般的に、打楽器のアタック部や、音声の子音部は非定常的な信号波形であるといわれている。前述したMP3やAACなどの一般的なオーディオ符号化方式では、こういった定常／非定常の信号波形に対応するため、非定常な時間フレームでは短い時間フレームを用いるなどの対策がとられている。
【０１５０】
図９は、このように短い時間フレームを非定常なフレームに適用した例を示している。
【０１５１】
本発明では、このような定常／非定常の技術を用いることで、時間間隔ＦＳＩＺＥを適応的に変更することができる。また、本発明では、定常／非定常の場合に分けて異なる写像関数を用いて利得量Ｇdb(ｉｂ，Ｊ)を求めることができる。即ち、最適な利得量を算出することが可能である。
【０１５２】
＜第２の実施形態＞
【０１５３】
次に、第２の実施形態について説明する。
【０１５４】
第２の実施形態でも、第１の実施形態と同様に、入力信号がより一段と高音質になって再生される。
【０１５５】
［第２の実施形態の周波数帯域拡大装置の機能的構成例］
【０１５６】
図１０は、本発明を適用した周波数帯域拡大装置の機能的構成例を示している。
【０１５７】
周波数帯域拡大装置３０は、復号化後の低域の信号成分を入力信号として、その入力信号に対して、周波数帯域拡大処理を施し、その結果得られる周波数帯域拡大処理後の音楽信号を出力信号として出力する。
【０１５８】
周波数帯域拡大装置３０は、低域通過フィルタ３１、遅延回路３２、帯域通過フィルタ３３、高域信号生成回路３４、高域通過フィルタ３５、および信号加算器３６から構成されている。
【０１５９】
ここで、第２の実施形態の周波数帯域拡大装置３０のうち、低域通過フィルタ３１、遅延回路３２、帯域通過フィルタ３３、高域通過フィルタ３５、および、信号加算器３６は、それぞれ、第１の実施形態の低域通過フィルタ１１、遅延回路１２、帯域通過フィルタ１３、高域通過フィルタ１６、および信号加算器１７と同一の構成と機能を有している。よって、ここでは、これらの処理の説明は省略し、以下、高域信号生成回路３４の処理のみの説明をする。
【０１６０】
［高域信号生成回路３４の処理例］
【０１６１】
先ず、高域信号生成回路３４は、帯域通過フィルタ３３から出力されたsb-8乃至sb-1の８個のサブバンド信号ｘ（ｉｂ，ｎ）について、ある一定の時間フレームＪにおけるパワーｐｏｗｅｒ(ｉｂ，Ｊ)を、式（１）に従って求める。
【０１６２】
次に、高域信号生成回路３４は、サブバンド信号のパワーｐｏｗｅｒ(ｉｂ，Ｊ)を用いて線形結合を行い、周波数拡大帯域におけるサブバンド信号の推定したパワーｐｏｗｅｒ(ｉｂ，Ｊ)を次の式（１１）によって推定する。
【０１６３】
【数１１】
2010079275.tif 000013
・・・（１１）
【０１６４】
式（１１）において、Ａib,0,1(ｋｂ)およびＢibは、サブバンドｉｂ毎に異なる値を持つ係数である。係数Ａib,0,1(ｋｂ)および係数Ｂibは、様々な入力信号に対して好適な値が得られるように適切に設定されていると好適である。また、ｓｂの変更によって、係数Ａib,0,1(ｋｂ)およびＢibも最適な値に変更すると好適である。
【０１６５】
係数Ａib,0,1(ｋｂ)および係数Ｂibの演算手法は、第１の実施形態と同様、広帯域教師信号を用いて学習を行うことで決定することができる。
【０１６６】
なお、周波数拡大帯域におけるサブバンド信号の推定したパワーは、本例では、帯域通過フィルタ３３から出力される複数のサブバンド信号のそれぞれのパワーを用いた一次の線形結合式により算出されている。しかしながら、周波数拡大帯域におけるサブバンド信号の推定したパワーの算出手法は、本例に限定されず、例えば、第一の実施例と同様に、時間フレームJの前後複数個のフレームの線形結合を用いる手法を採用してもよいし、非線形な関数を用いる手法を採用してもよい。
【０１６７】
式（１２）は、時間フレームJの前後１フレームのサブバンド信号のパワーの線形結合を用いて、周波数拡大帯域におけるサブバンド信号パワーを算出する式である。
【０１６８】
【数１２】
2010079275.tif 000014
・・・（１２）
【０１６９】
このような形でパワーｐｏｗｅｒ(ｉｂ，Ｊ)を求めることで、時間軸上のサブバンド信号のパワー変化を考慮し、より高精度な推定を行うことができる。この実施例では、前後１フレームのサブバンド信号パワーを利用する形態であるが、このフレーム数は計算量を鑑みながら設定可能であり、本発明は前後のフレーム数に限定されるものではない。
【０１７０】
式（１３）は、非線形な関数の実施例として３次関数を用いて、周波数拡大帯域におけるサブバンド信号パワーを算出する式である。
【０１７１】
【数１３】
2010079275.tif 000015
・・・（１３）
【０１７２】
このような形でパワーｐｏｗｅｒ(ｉｂ，Ｊ)を求めることで、周波数拡大帯域におけるサブバンド信号パワーを、より高精度に推定することができる。この実施例では、３次式を用いた非線形な関数であるが、この次数は計算量を鑑みながら設定可能であり、計算資源が豊富な機器では次数を多くとるのが望ましい。また本発明は、式（１２）と式（１３）を組み合わせた形態にも適用可能であり、その前後フレーム数や非線形関数の次数は、機器の計算資源に応じて最適に設定することができる。また、本発明では、この非線形な関数の次数や種類に限定されず、様々な非線形関数を適用することができる。
【０１７３】
次に、高域信号生成回路３４は、次の式（１４）に従って、帯域通過フィルタ３３から出力されたサブバンド信号のパワーｐｏｗｅｒ(ｓｂmap（ｉｂ），Ｊ)と、式（１１）（または、式（１２）若しくは式（１３））によって求められた周波数拡大帯域におけるサブバンド信号の推定したパワーｐｏｗｅｒ(ｉｂ，Ｊ)とを用いて、利得量Ｇ(ｉｂ，Ｊ)を求める。
【０１７４】
【数１４】
2010079275.tif 000016
・・・（１４）
【０１７５】
高域信号生成回路３４は、求めた利得量Ｇ(ｉｂ，Ｊ)を用いて高域信号成分を生成する。なお、利得量Ｇ(ｉｂ，Ｊ)を用いて高域信号成分を生成する手法としては、第１の実施形態と同様の手法、即ち、式（４）乃至式（８）を用いて説明した手法と同様の手法を採用することができる。
【０１７６】
なお、第２の実施形態でも、第１の実施形態と同様に、連続あるいは曲線の関数近似だけではなく、帯域通過フィルタ３３の出力から得られる複数のサブバンド信号のパワーを入力とし、利得量Ｇ(ｉｂ，Ｊ)を出力とするようなコードブックを用いることも可能である。
【０１７７】
このようにして、帯域通過フィルタ３３から出力された複数のサブバンド信号のパワーから、直接、周波数拡大帯域の複数のサブバンド信号のそれぞれのパワーを求めることができる。そして、入力信号の性質に応じて周波数拡大帯域のパワースペクトルの強度及び形状を変化させることができる。その結果、高音質な信号の生成が可能となる。
【０１７８】
［周波数拡大帯域におけるサブバンド信号のパワーの推定の他の例］
【０１７９】
以上においては、時間フレームJの前後複数個のフレームを用いる例を説明したが、この場合、例えば、式（１２）では、周波数拡大帯域におけるサブバンド数と、周波数拡大帯域におけるサブバンド信号のパワーの推定に用いられるサブバンド数、及び前後フレーム数をすべて乗算した数に等しい要素数を持つ係数Ａを用意しなければならない。係数Ａの要素数の増大は、演算に必要なメモリ量の増大に繋がる。
【０１８０】
ところで式（１２）において、周波数拡大帯域におけるサブバンド信号のパワーは、各フレームの各サブバンド信号のパワーに係数Ａの各要素を乗じ、これらを足し合わせることにより推定される。
【０１８１】
つまり、係数Ａの各要素の値の大きさは、各フレームの各サブバンド信号のパワーの、周波数拡大帯域におけるサブバンド信号のパワーの推定に対する寄与度を示しており、またこの寄与度は、時間方向（フレーム方向）の寄与度を示す成分とサブバンド方向の寄与度を示す成分の両方を含んでいると考えることができる。
【０１８２】
係数Ａは時間方向の寄与度を示す係数Ｓと、サブバンド方向の寄与度を示す係数Ｒに分割可能であり、また、時間方向の寄与度は全サブバンドで共通であると仮定すると、係数Ｓの要素数を低減させることができ、その結果、推定に用いる係数の全要素数を低減させることが可能となる。
【０１８３】
例えば、高域信号生成回路３４は、式（１２）を、以下の式（１５）のように、時間方向の寄与度を示す係数Ｓを全サブバンドで共通化し、演算することができる。式（１５）は、時間フレームJの前後１フレームのサブバンド信号のパワーの線形結合を用いて、周波数拡大帯域におけるサブバンド信号パワーを算出する式である。
【０１８４】
【数１５】
2010079275.tif 000017
・・・（１５）
【０１８５】
式（１５）において、係数Ｒib(ｋｂ)は、線形結合するサブバンド信号のパワーの、サブバンド方向の寄与度を示す係数である。係数Ｓ-1、係数Ｓ0、および係数Ｓ+1は、線形結合するサブバンド信号のパワーの、時間方向の寄与度を示す係数である。
【０１８６】
式（１５）に示されるように、時間方向の寄与度を示す係数Ｓ-1、係数Ｓ0、および係数Ｓ+1は、全てのサブバンドで共通に使用される。
【０１８７】
式（１５）において、係数Ｒib(ｋｂ)および係数Ｃibは、ｉｂにより指定されるサブバンド毎に異なる値を持つ係数である。係数Ｒib(ｋｂ)、係数Ｓ-1、係数Ｓ0、係数Ｓ+1、および係数Ｃibは、様々な入力信号に対して好適な値が得られるように適切に設定されていると好適である。また、ｓｂの変更によって、係数Ｒib(ｋｂ)、係数Ｓ-1、係数Ｓ0、係数Ｓ+1、および係数Ｃibも最適な値に変更すると好適である。
【０１８８】
これらの係数Ｒib(ｋｂ)、係数Ｓ-1、係数Ｓ0、係数Ｓ+1、および係数Ｃibは、第１の実施形態と同様、広帯域教師信号を用いて学習を行うことで決定することができる。
【０１８９】
例えば、フレームＪのあるサブバンドの前後１フレームのパワーＰJ-1、ＰJ、およびＰJ+1を説明変数とし、フレームＪのあるサブバンドのパワーＰ'Jを被説明変数として最小二乗法等の回帰分析を行い、係数Ｓ-1、係数Ｓ0、および係数Ｓ+1をそれぞれ算出する。このとき、どのサブバンドを用いてこれらの係数Ｓを算出するようにしてもよい（どのサブバンドにおいて係数Ｓを算出しても略同じ値が得られる）。
【０１９０】
次に、各サブバンドについて、この係数Ｓ-1、係数Ｓ0、および係数Ｓ+1を適用したパワー｛Ｓ-1＊ＰJ-1＋Ｓ0＊ＰJ＋Ｓ+1＊ＰJ+1｝を説明変数とし、推定帯域の各サブバンドのパワーを被説明変数として最小二乗法等の回帰分析を行い、係数Ｒib(ｋｂ)および係数Ｃibを算出する。
【０１９１】
このように、時間方向の寄与度が全サブバンドで共通であると仮定し、この時間方向の寄与度を示す係数を全サブバンドで共通して用いることにより、係数の全要素数を低減させることができる。例えば、式（１２）は３フレームの３つのサブバンドを用いて、周波数拡大帯域におけるサブバンド信号のパワーを推定する式であるが、この場合、推定に用いる係数の全要素数は、（ｅｂ−ｓｂ＋１）＊１０個となる。これに対して、式（１５）の方法では、推定に用いる係数の全要素数は、（ｅｂ−ｓｂ＋１）＊２＋３個となる。
【０１９２】
このように、推定に必要な係数の全要素数を低減させることにより、高域パワーの推定の演算に必要なメモリ量を低減させることができる。
【０１９３】
また、周波数帯域拡大装置３０により推定される高域パワーは、その時間変動が大きくなる傾向がある。この高域成分の時間変動により、ユーザに「ジリジリ」といった聴感を与えてしまう場合がある。
【０１９４】
式（１５）に示されるように、複数の時間フレームのパワーを、サブバンド毎に一つの変数に置換することは、サブバンド毎にパワーの時間方向のスムージングを行うことと等価である。したがって、このような演算を行うことにより、推定に用いられる変数であるパワーの時間変動が抑制され、それにより推定される値の時間変動が抑制される。これにより、ユーザに与える「ジリジリ感」を緩和させることができる。
【０１９５】
なお、推定されるパワーの残差２乗平均値の差は、式（１５）を用いて推定する場合と、式（１２）を用いて推定する場合とで、略変化しない。つまり、式（１５）のように、各サブバンドの時間方向の寄与度を示す係数を共通化しても、略同等の推定精度が得られる（推定精度は略変化しない）。
【０１９６】
＜第３の実施形態＞
【０１９７】
次に、第３の実施形態について説明する。
【０１９８】
第３の実施形態では、信号の符号化及び復号化に対して本発明を適用して高能率な符号化を行う実施の形態である。
【０１９９】
［第３の実施形態の符号化装置の機能的構成例］
【０２００】
図１１は、本発明を適用した符号化装置の機能的構成例を示している。
【０２０１】
符号化装置４０は、サブバンド分割回路４１、低域符号化回路４２、周波数包絡抽出回路４３、擬似高域信号生成回路４４、擬似高域信号修正情報計算回路４５、高域符号化回路４６、および、多重化回路４７から構成されている。
【０２０２】
［第３実施形態の符号化装置の処理例］
【０２０３】
図１２は、図１１の符号化装置の処理（以下、符号化処理と称する）の一例を説明するフローチャートである。
【０２０４】
ステップＳ１２１において、サブバンド分割回路４１は、入力信号をある決められた帯域幅を持つ複数のサブバンド信号に等分割する。これらの複数のサブバンド信号のうちのある周波数よりも低い帯域のサブバンド信号（以下、低域サブバンド信号と称する）は、低域符号化回路４２、周波数包絡抽出回路４３、および擬似高域信号生成回路４４に供給される。これに対して、ある周波数よりも高い帯域のサブバンド信号（以下、高域サブバンド信号と称する）は、擬似高域信号修正情報計算回路４５に供給される。
【０２０５】
ステップＳ１２２において、低域符号化回路４２は、サブバンド分割回路４１から出力された低域サブバンド信号を符号化し、その結果得られる低域符号化データを多重化回路４７に供給する。
【０２０６】
この低域サブバンド信号の符号化に関しては、符号化効率や求められる回路規模に応じて適切な符号化方式を選択すればよく、本発明はこの符号化方式に依存するものではない。
【０２０７】
ステップＳ１２３において、周波数包絡抽出回路４３は、サブバンド分割回路４１から出力された低域サブバンド信号のうちの複数のサブバンド信号から周波数包絡を抽出し、擬似高域信号生成回路４４に供給する。なお、周波数包絡抽出回路４３は、第１の実施の形態の周波数包絡抽出回路１４と基本的に同様の構成と機能を有している。よって、ここではその処理等の説明を省略する。
【０２０８】
ステップＳ１２４において、擬似高域信号生成回路４４は、サブバンド分割回路４１から出力された低域サブバンド信号のうちの複数のサブバンド信号と、周波数包絡抽出回路４３から出力された周波数包絡とに基づいて、擬似高域信号を生成し、擬似高域信号修正情報計算回路４５に供給する。擬似高域信号生成回路４４は、第１の実施の形態の高域信号生成回路１５と基本的に同様の動作を行なえばよい。異なるのは、サブバンド信号の周波数を変更するためのコサイン変調処理が必要ないという点のみである。よって、ここではその処理等の説明を省略する。
【０２０９】
ステップＳ１２５において、擬似高域信号修正情報計算回路４５は、サブバンド分割回路４１から出力された高域サブバンド信号と、擬似高域信号生成回路４４から出力された擬似高域信号とに基づいて、擬似高域信号修正情報を計算し、高域符号化回路４６に供給する。
【０２１０】
ここで、擬似高域信号修正情報計算回路４５の処理例について説明する。
【０２１１】
先ず、擬似高域信号修正情報計算回路４５は、サブバンド分割回路４１から出力された高域サブバンド信号について、ある一定の時間フレームＪにおけるパワーｐｏｗｅｒ(ｉｂ，Ｊ)を計算する。なお、この実施の形態では、低域サブバンド信号のサブバンドと高域サブバンド信号のサブバンドの全てを、ｉｂを用いて識別するとする。パワーの計算手法は、第１の実施形態の計算手法と同様の手法、即ち、式（１）を用いた手法を採用することが出来る。
【０２１２】
次に、擬似高域信号修正情報計算回路４５は、高域サブバンド信号のパワーｐｏｗｅｒ(ｉｂ，Ｊ)と、擬似高域信号生成回路４４から出力された擬似高域信号のある一定の時間フレームにおけるパワーとの差分ｐｏｗｅｒdiff(ｉｂ，Ｊ)を求める。差分ｐｏｗｅｒdiff(ｉｂ，Ｊ)は、次の式（１６）によって求めることができる。
【０２１３】
【数１６】
2010079275.tif 000018
・・・（１６）
【０２１４】
式（１６）において、ｐｏｗｅｒlh(ｉｂ，Ｊ)は、擬似高域信号生成回路４４から出力された擬似高域信号を構成するサブバンド信号（以下、擬似高域サブバンド信号と称する）のうちのサブバンドｉｂについての擬似高域サブバンド信号についての時間フレームＪにおけるパワーを示している。この本実施の形態では、ｓｂは、高域サブバンド信号における最も低いサブバンドを表している。ｅｂは、高域サブバンド信号で符号化を行う最も高いサブバンドを表している。
【０２１５】
次に、擬似高域信号修正情報計算回路４５は、各サブバンドｉｂにおける差分ｐｏｗｅｒdiff(ｉｂ，Ｊ)の絶対値が、ある閾値Ａ以下であるか否かの判定を行う。
【０２１６】
擬似高域信号修正情報計算回路４５は、全てのサブバンドで、ｐｏｗｅｒdiff(ｉｂ，Ｊ)の絶対値が閾値Ａ以下であると判定した場合、擬似高域信号修正フラグを００にする。そして、擬似高域信号修正情報計算回路４５は、この擬似高域信号修正フラグのみを擬似高域信号修正情報として高域符号化回路４６に供給する。
【０２１７】
これに対して、擬似高域信号修正情報計算回路４５は、あるサブバンドｉｂにおけるｐｏｗｅｒdiff(ｉｂ，Ｊ)の絶対値が閾値Ａを越えていると判定した場合、擬似高域信号修正フラグを０１にする。擬似高域信号修正情報計算回路４５は、そのサブバンドｉｂにおけるｐｏｗｅｒdiff(ｉｂ，Ｊ)そのものを擬似高域信号修正データとして、擬似高域信号修正フラグとともに高域符号化回路４６に供給する。
【０２１８】
また、擬似高域信号修正情報計算回路４５は、あるサブバンドｉｂにおけるｐｏｗｅｒdiff(ｉｂ，Ｊ)の絶対値が、閾値Ａよりもさらに大きなある閾値Ｂ以上であると判定した場合、擬似高域信号修正フラグを１０にする。擬似高域信号修正情報計算回路４５は、そのサブバンドｉｂにおけるｐｏｗｅｒ(ｉｂ，Ｊ)そのものを高域信号データとして、擬似高域信号修正フラグとともに高域符号化回路４６に供給する。
【０２１９】
ステップＳ１２６において、高域符号化回路４６は、擬似高域信号修正情報を符号化する。これにより、高域サブバンド信号が、データ量の少ない擬似高域信号修正フラグ、擬似高域信号修正データ、または高域信号データに符号化されるので、効率良く符号化されることになる。高域符号化回路４６は、符号化により得られる高域符号化データを多重化回路４７に供給する。
【０２２０】
なお、高域符号化回路４６の符号化方式としては、低域サブバンド信号の符号化方式と同様、よく知られた一般的な符号化方式を、符号化効率や回路規模に応じて採用することができる。
【０２２１】
ステップＳ１２７において、多重化回路４７は、低域符号化回路４２から出力された低域符号化データと、高域符号化回路４６から出力された高域符号化データとを多重化し、出力符号列を出力する。
【０２２２】
図１３は、出力符号列の一例を示している。
【０２２３】
時間フレームＪでは、擬似高域信号修正フラグ００のみが符号化され、擬似高域信号修正データが符号化されていないので、より多くのビットを低域サブバンド信号の符号化にまわすことができる。
【０２２４】
また、高域信号と擬似高域信号が大きく異なるような時間フレームＪ＋２の例では、高域信号データとしてｐｏｗｅｒ(ｉｂ，Ｊ)そのものを記録することで音質の劣化を防ぐことが可能になる。
【０２２５】
［第３の実施形態の復号装置の機能的構成例］
【０２２６】
図１４は、図１１の第３の実施形態の符号化装置に対応する復号化装置の機能的構成例を示している。即ち、図１４には、本発明を適用した復号化装置５０の構成例が示されている。
【０２２７】
復号化装置５０は、非多重化回路５１、低域復号化回路５２、周波数包絡抽出回路５３、擬似高域信号生成回路５４、高域復号化回路５５、擬似高域信号修正回路５６、およびサブバンド合成回路５７から構成されている。
【０２２８】
［第３実施形態の復号化装置の処理例］
【０２２９】
図１５は、図１４の復号化装置の処理（以下、復号化処理と称する）の一例を説明するフローチャートである。
【０２３０】
ステップＳ１４１において、非多重化回路５１は、入力符号列を高域符号化データと低域符号化データに非多重化する。低域符号化データは低域復号化回路５２に供給され、高域符号化データは高域復号化回路５５に供給される。
【０２３１】
ステップＳ１４２において、低域復号化回路５２は、非多重化回路５１から出力された低域符号化データの復号化を行う。その結果得られる低域サブバンド信号は、周波数包絡抽出回路５３、擬似高域信号生成回路５４、およびサブバンド合成回路５７に供給される。
【０２３２】
ステップＳ１４３において、周波数包絡抽出回路５３は、低域復号化回路５２から出力された低域サブバンド信号のうちの複数のサブバンド信号から周波数包絡を抽出し、擬似高域信号生成回路５４に供給する。周波数包絡抽出回路５３は、符号化装置４０の周波数包絡抽出回路４３と基本的に同様の構成と機能を有している。よって、ここではその処理等の説明は省略する。
【０２３３】
ステップＳ１４４において、擬似高域信号生成回路５４は、低域復号化回路５２から出力された低域サブバンド信号のうちの複数のサブバンド信号と、周波数包絡抽出回路５３から出力された周波数包絡とに基づいて、擬似高域信号を生成する。擬似高域信号は、擬似高域信号修正回路５６に供給される。擬似高域信号生成回路５４は、符号化装置４０の擬似高域信号生成回路４４と基本的に同様の構成と機能を有している。よって、ここではその処理等の説明は省略する。
【０２３４】
ステップＳ１４５において、高域復号化回路５５は、非多重化回路５１から出力された高域符号化データの復号化を行い、その結果得られる擬似高域信号修正情報を擬似高域信号修正回路５６に供給する。
【０２３５】
ステップＳ１４６において、擬似高域信号修正回路５６は、高域復号化回路５５から出力された擬似高域信号修正情報を用いて、擬似高域信号生成回路５４から出力された擬似高域信号を修正する。その結果、高域サブバンド信号が得られ、サブバンド合成回路５７へ供給される。
【０２３６】
ここで、擬似高域信号修正情報における擬似高域信号修正フラグが００であれば、擬似高域信号が高域サブバンド信号として出力される。擬似高域信号修正フラグが０１であれば、擬似高域信号修正データを用いて擬似高域信号の修正が行われ、擬似高域信号修正フラグが１０であれば、高域信号データを用いて擬似高域信号の修正が行われ、その結果得られる高域サブバンド信号が出力される。
【０２３７】
ステップＳ１４７において、サブバンド合成回路５７は、低域復号化回路５２で出力された低域サブバンド信号と、擬似高域信号修正回路５６で出力された高域サブバンド信号とから、サブバンド合成を行う。その結果得られる信号が出力信号として出力される。
【０２３８】
このようにして、高域の信号成分については通常、低域からの擬似高域信号を用いて、必要な場合のみ少ないビット量で、その修正を行うように符号化を行うことができる。その結果、低ビットレートにおいても、様々な音源において高能率な符号化を行うことが可能となる。
【０２３９】
さらに信号の符号化及び復号化について、符号化装置４０や復号化装置５０の擬似高域信号生成回路４４，５４において行われる式（３）や式（１１）のような関数の係数データは、次のように取り扱うことも可能である。即ち、入力信号の種類において異なる係数データを用いることとして、その係数を符号列の先頭に記録しておくことも可能である。
【０２４０】
例えば、スピーチやジャズなどの信号によって係数データを変更することで、符号化効率の向上を図ることができる。
【０２４１】
図１６は、このようにして得られた符号列を示した図である。
【０２４２】
図１６のＡの符号列は、スピーチを符号化したものであり、スピーチに最適な係数データαがヘッダに記録されている。
【０２４３】
これに対して、図１６のＢの符号列は、ジャズを符号化したものであり、ジャズに最適な係数データβがヘッダに記録されている。
【０２４４】
このような複数の係数データを予め同種の音楽信号で学習することで用意し、符号化装置４０では入力信号のヘッダに記録されているようなジャンル情報でその係数データを選択してもよい。あるいは、信号の波形解析を行うことでジャンルを判定し、係数データを選択してもよい。即ち、このような、信号のジャンル解析手法は特に限定されない。
【０２４５】
また、計算時間が許せば、符号化装置４０に上述した学習装置を内蔵させ、その信号専用の係数を用いて処理を行い、最後にその係数をヘッダに記録することも可能である。
【０２４６】
また、このような係数データを数フレームに１回挿入するような形態をとることも可能である。
【０２４７】
これまで述べた第３の実施形態における擬似高域信号生成回路４４及び擬似高域信号生成回路５４は、第１の実施の形態の高域信号生成回路１５と基本的に同様の動作を行えばよいが、本発明はこの擬似高域信号生成回路の動作を、第２の実施の形態の高域信号生成回路３４を用いて行うことも可能である。また、擬似高域信号修正情報に擬似高域信号生成方法の選択フラグを設け、フラグの値によって擬似高域信号生成の方法を、第一の実施形態に応じた方法で行うか、第二の実施形態に応じた方法で行うかを選択する方法も可能である。
【０２４８】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２４９】
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２５０】
コンピュータにおいて、CPU１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０２５１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホン等よりなる入力部１０６、ディスプレイ、スピーカ等よりなる出力部１０７、ハードディスクや不揮発性のメモリ等よりなる記憶部１０８、ネットワークインタフェース等よりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０２５２】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０２５３】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２５４】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０２５５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２５６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５７】
１０  周波数帯域拡大装置，  １１  低域通過フィルタ，  １２  遅延回路，  １３  帯域通過フィルタ，  １４  周波数包絡抽出回路，  １５  高域信号生成回路，  １６  高域通過フィルタ，  １７  信号加算器，  ２０  周波数帯域拡大装置，  ２１  帯域通過フィルタ，  ２２  利得量計算回路，  ２３  周波数包絡抽出回路，  ２４  係数推定回路，  ３０  周波数帯域拡大装置，  ３１  低域通過フィルタ，  ３２  遅延回路，  ３３  帯域通過フィルタ，  ３４  高域信号生成回路，  ３５  高域通過フィルタ，  ３６  信号加算器，  ４０  符号化装置，  ４１  サブバンド分割回路，  ４２  低域符号化回路，  ４３  周波数包絡抽出回路，  ４４  擬似高域信号生成回路，  ４５  擬似高域信号修正情報計算回路，  ４６  高域符号化回路，  ４７  多重化回路，  ５０  復号化装置，  ５１  非多重化回路，  ５２  低域復号化回路，  ５３  周波数包絡抽出回路，  ５４  擬似高域信号生成回路，  ５５  高域復号化回路，  ５６  擬似高域信号修正回路，  ５７  サブバンド合成回路，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０４  バス，  １０５  入出力インタフェース，  １０６  入力部，  １０７  出力部，  １０８  記憶部，  １０９  通信部，  １１０  ドライブ，  １１１  リムーバブルメディア
【図１】
2010079275.tif 000019
【図２】
2010079275.tif 000020
【図３】
2010079275.tif 000021
【図４】
2010079275.tif 000022
【図５】
2010079275.tif 000023
【図６】
2010079275.tif 000024
【図７】
2010079275.tif 000025
【図８】
2010079275.tif 000026
【図９】
2010079275.tif 000027
【図１０】
2010079275.tif 000028
【図１１】
2010079275.tif 000029
【図１２】
2010079275.tif 000030
【図１３】
2010079275.tif 000031
【図１４】
2010079275.tif 000032
【図１５】
2010079275.tif 000033
【図１６】
2010079275.tif 000034
【図１７】
2010079275.tif 000035