(57)【要約】  オーディオ信号符号化方法は、フレーム単位で、周波数解像度を補償させるために、変形された時間領域の信号を生成する段階と、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、変形された時間領域の信号に対して、分析ウィンドウイングを行う段階と、分析ウィンドウイングが行われた時間領域の信号を、周波数領域の信号に変換する段階と、を含み、オーディオ信号復号化方法は、ビットストリームから復号化された周波数領域の信号に対して、サブバンド単位で、周波数ビンを逆マージングさせて周波数解像度を復元する段階と、解像度が復元された周波数領域の信号を時間領域の信号に逆変換する段階と、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、時間領域の信号に対して、合成ウィンドウイングを行う段階と、を含む。
2015525374.tif 000002
【特許請求の範囲】
【請求項１】
フレーム単位で、周波数解像度を補償させるために、変形された時間領域の信号を生成する段階と、
５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記変形された時間領域の信号に対して、分析ウィンドウイングを行う段階と、
前記分析ウィンドウイングが行われた時間領域の信号を変換し、周波数領域の変換係数を生成する段階と、を含むオーディオ信号符号化方法。
【請求項２】
前記方法は、前記周波数解像度を向上させるために、前記周波数領域の変換係数に対して、サブバンド単位で、低周波数帯域に周波数ビンをマージングさせる段階をさらに含むことを特徴とする請求項１に記載のオーディオ信号符号化方法。
【請求項３】
前記方法は、時間・周波数解像度を向上させるために、前記周波数領域の変換係数の特性に対応し、サブバンド単位で、互いに異なるブロックサイズを適用する段階をさらに含むことを特徴とする請求項１または２に記載のオーディオ信号符号化方法。
【請求項４】
前記変形された時間領域の信号を生成する段階は、フレーム単位で、周期的な成分を除去することを特徴とする請求項１に記載のオーディオ信号符号化方法。
【請求項５】
前記分析ウィンドウイングを行う段階は、互いに異なる長さを有しながら、オーバーラップ区間において、完全復元が可能になるように、ウィンドウ係数が０である区間を除き、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを適用することを特徴とする請求項１に記載のオーディオ信号符号化方法。
【請求項６】
互いに異なる長さを有しながら、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを利用して、時間領域の信号に対して、フレーム単位で分析ウィンドウイングを行う段階と、
前記分析ウィンドウイングが行われた時間領域の信号を、周波数領域の信号に変換する段階と、
周波数解像度を向上させるために、前記周波数領域の信号に対して、サブバンド単位で、低周波数帯域に周波数ビンをマージングさせる段階と、を含むオーディオ信号符号化方法。
【請求項７】
前記方法は、時間・周波数解像度を向上させるために、前記周波数領域の信号の特性に対応し、サブバンド単位で、互いに異なるブロックサイズを適用する段階をさらに含むことを特徴とする請求項６に記載のオーディオ信号符号化方法。
【請求項８】
前記フレーム単位で、周期的な成分を強調するために、前記周期的な成分を除去させて変形された時間領域の信号を生成し、前記変形された時間領域の信号を、前記時間領域の信号の代わりに、前記分析ウィンドウイングのために提供する段階をさらに含むことを特徴とする請求項７に記載のオーディオ信号符号化方法。
【請求項９】
ビットストリームから復号化された周波数領域の信号に対して、サブバンド単位で、周波数ビンを逆マージングさせて周波数解像度を復元する段階と、
前記解像度が復元された周波数領域の信号を、時間領域の信号に逆変換する段階と、
５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記時間領域の信号に対して、合成ウィンドウイングを行う段階と、を含むオーディオ信号復号化方法。
【請求項１０】
前記方法は、前記合成ウィンドウイングが行われた時間領域の信号に対して、符号化過程で行われたプレフィルタリングに対応するポストフィルタリングを行い、解像度補償以前のオーディオ信号を復元する段階をさらに含むことを特徴とする請求項９に記載のオーディオ信号復号化方法。
【請求項１１】
前記合成ウィンドウイングを行う段階は、互いに異なる長さを有しながら、オーバーラップ区間において、完全復元が可能になるように、ウィンドウ係数が０である区間を除き、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを適用することを特徴とする請求項９に記載のオーディオ信号復号化方法。
【請求項１２】
フレーム単位で、周波数解像度を補償させるために、変形された時間領域の信号を生成するプレフィルタリング部と、
５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記変形された時間領域の信号に対して、分析ウィンドウイングを行う分析ウィンドウイング部と、
前記分析ウィンドウイングが行われた時間領域の信号を、周波数領域の信号に変換する変換部と、
前記周波数解像度を向上させるために、前記周波数領域の信号に対して、サブバンド単位で、低周波数帯域に周波数ビンをマージングさせる解像度向上部と、を含むオーディオ信号符号化装置。
【請求項１３】
前記解像度向上部は、時間・周波数解像度を向上させるために、前記周波数領域の信号の特性に対応し、サブバンド単位で、互いに異なるブロックサイズを適用することを特徴とする請求項１２に記載のオーディオ信号符号化装置。
【請求項１４】
前記分析ウィンドウイング部は、互いに異なる長さを有しながら、オーバーラップ区間において、完全復元が可能になるように、ウィンドウ係数が０である区間を除き、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを適用することを特徴とする請求項１２に記載のオーディオ信号符号化装置。
【請求項１５】
ビットストリームから復号化された周波数領域の信号に対して、サブバンド単位で、周波数ビンを逆マージングさせて周波数解像度を復元する解像度復元部と、
前記解像度が復元された周波数領域の信号を、時間領域の信号に逆変換する逆変換部と、
５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記時間領域の信号に対して、合成ウィンドウイングを行う合成ウィンドウイング部と、
前記合成ウィンドウイングが行われた時間領域の信号に対して、符号化過程で行われたプレフィルタリングに対応するポストフィルタリングを行い、解像度補償以前のオーディオ信号を復元するポストフィルタリング部と、を含むオーディオ信号復号化装置。
【請求項１６】
前記合成ウィンドウイング部は、互いに異なる長さを有しながら、オーバーラップ区間において、完全復元が可能になるように、ウィンドウ係数が０である区間を除き、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを適用することを特徴とする請求項１５に記載のオーディオ信号復号化装置。
【請求項１７】
オーディオ信号と、符号化されたビットストリームとのうち少なくとも一つを受信するか、あるいは符号化されたオーディオ信号と、復元されたオーディオとのうち少なくとも一つを送信する通信部と、
ビットストリームから復号化された周波数領域の信号に対して、サブバンド単位で、周波数ビンを逆マージングさせて周波数解像度を復元し、前記解像度が復元された周波数領域の信号を時間領域の信号に逆変換し、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記時間領域の信号に対して、合成ウィンドウイングを行う復号化モジュールと、を含むマルチメディア機器。
【請求項１８】
前記マルチメディア機器は、フレーム単位で、周波数解像度を補償させるために、変形された時間領域の信号を生成し、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記変形された時間領域の信号に対して、分析ウィンドウイングを行い、前記分析ウィンドウイングが行われた時間領域の信号を、周波数領域の信号に変換する符号化モジュールをさらに含むことを特徴とする請求項１７に記載のマルチメディア機器。
【請求項１９】
前記分析ウィンドウイング及び合成ウィンドウイングは、互いに異なる長さを有しながら、オーバーラップ区間において、完全復元が可能になるように、ウィンドウ係数が０である区間を除き、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを適用して行われることを特徴とする請求項１８に記載のマルチメディア機器。
【請求項２０】
請求項１ないし１１のうちいずれか一項に記載の方法を実行させることができるコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の符号化及び復号化に係り、さらに具体的には、時間領域のオーディオ信号を変換して符号化し、周波数領域の変換係数を生成し、周波数領域の変換係数を復号化して逆変換し、時間領域のオーディオ信号に復元する方法及びその装置、並びにそれを採用するマルチメディア機器に関する。
【背景技術】
【０００２】
最近になって、ＶＯＩＰ（voice  over  internet  protocol）あるいはテレカンファランシングのようなインターネット基盤音声通信サービスだけではなく、クラウドコンピューティングのような新しいＡ／Ｖサービスに対する需要が急増している。このように、メディアとユーザとの間、例えば、サーバ・クライアント環境でのインタラクティビティを提供する新たなＡ／Ｖサービスは、ユーザの入り込みのために時間遅延を小さくする必要がある。
【０００３】
ところで、低遅延と高音質は、事実上トレードオフ関係にある。従って、新たなＡ／Ｖサービスを適切に支援するためには、ユーザが処している環境に対応し、復元音質の劣化を最小化させながら、低遅延を達成するか、一定復元音質を維持しながら、低遅延を達成するか、あるいは復元音質を改善させると同時に、低遅延を達成する必要性が高まっている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の技術的課題は、オーディオ信号の符号化及び復号化の過程において、時間・周波数変換処理／逆変換処理を効果的に適用する方法及びその装置、並びにそれを採用するマルチメディア機器を提供するところにある。
【０００５】
本発明の技術的課題はまた、時間・周波数変換処理／逆変換処理の遂行にあたり、不要な遅延を発生させない方法及びその装置、並びにそれを採用するマルチメディア機器を提供するところにある。
【０００６】
本発明の技術的課題はまた、時間・周波数変換処理／逆変換処理の遂行にあたり、減少されたオーバーラップ区間を使用して、処理遅延を減らしながら復元音質を向上させることができる方法及びその装置、並びにそれを採用するマルチメディア機器を提供するところにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態は、オーディオ信号符号化方法であって、フレーム単位で、周波数解像度を補償させるために、変形された時間領域の信号を生成する段階と、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記変形された時間領域の信号に対して分析ウィンドウイングを行う段階と、前記分析ウィンドウイングが行われた時間領域の信号を、周波数領域の信号に変換する段階と、を含んでもよい。
【０００８】
前記オーディオ信号符号化方法は、前記周波数解像度を向上させるために、前記周波数領域の信号に対して、サブバンド単位で、低周波数帯域に周波数ビンをマージングさせる段階をさらに含んでもよい。
【０００９】
前記オーディオ信号符号化方法は、時間・周波数解像度を向上させるために、前記周波数領域の信号の特性に対応し、サブバンド単位で、互いに異なるブロックサイズを適用する段階をさらに含んでもよい。
【００１０】
前記変形された時間領域の信号を生成する段階は、フレーム単位で、周期的な成分を強調しながら、前記周期的な成分間の成分を減衰させることができる。
【００１１】
前記分析ウィンドウイングを行う段階は、互いに異なる長さを有しながら、オーバーラップ区間において、完全復元が可能になるように、ウィンドウ係数が０である区間を除き、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを適用することができる。
【００１２】
本発明の他の実施形態は、オーディオ信号復号化方法であって、ビットストリームから復号化された周波数領域の信号に対して、サブバンド単位で、周波数ビンを逆マージングさせて周波数解像度を復元する段階と、前記解像度が復元された周波数領域の信号を時間領域の信号に逆変換する段階と、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記時間領域の信号に対して合成ウィンドウイングを行う段階と、を含んでもよい。
【００１３】
前記オーディオ信号復号化方法は、前記合成ウィンドウイングが行われた時間領域の信号に対して、符号化過程で行われたプレフィルタリングに対応するポストフィルタリングを行い、解像度補償以前のオーディオ信号を復元する段階をさらに含んでもよい。
【００１４】
前記合成ウィンドウイングを行う段階は、互いに異なる長さを有しながら、オーバーラップ区間において、完全復元が可能になるように、ウィンドウ係数が０である区間を除き、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを適用することができる。
【００１５】
本発明の他の実施形態は、オーディオ信号符号化装置であって、フレーム単位で、周波数解像度を補償させるために、変形された時間領域の信号を生成するプレフィルタリング部；５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記変形された時間領域の信号に対して、分析ウィンドウイングを行う分析ウィンドウイング部；前記分析ウィンドウイングが行われた時間領域の信号を、周波数領域の信号に変換する変換部；及び前記周波数解像度を向上させるために、前記周波数領域の信号に対して、サブバンド単位で、低周波数帯域に周波数ビンをマージングさせる解像度向上部；を含んでもよい。
【００１６】
本発明の他の実施形態は、オーディオ信号復号化装置であって、ビットストリームから復号化された周波数領域の信号に対して、サブバンド単位で、周波数ビンを逆マージングさせて周波数解像度を復元する解像度復元部；前記解像度が復元された周波数領域の信号を時間領域の信号に逆変換する逆変換部；５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記時間領域の信号に対して、合成ウィンドウイングを行う合成ウィンドウイング部；及び前記合成ウィンドウイングが行われた時間領域の信号に対して、符号化過程で行われたプレフィルタリングに対応するポストフィルタリングを行い、解像度補償以前のオーディオ信号を復元するポストフィルタリング部；を含んでもよい。
【００１７】
本発明の他の実施形態は、マルチメディア機器であって、オーディオ信号と符号化されたビットストリームとのうちで少なくとも一つを受信するか、あるいは符号化されたオーディオ信号と復元されたオーディオとのうち少なくとも一つを送信する通信部；及びビットストリームから復号化された周波数領域の信号に対して、サブバンド単位で、周波数ビンを逆マージングさせて周波数解像度を復元し、前記解像度が復元された周波数領域の信号を時間領域の信号に逆変換し、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記時間領域の信号に対して、合成ウィンドウイングを行う復号化モジュール；を含んでもよい。
【００１８】
前記マルチメディア機器は、フレーム単位で、周波数解像度を補償させるために、変形された時間領域の信号を生成し、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、前記変形された時間領域の信号に対して、分析ウィンドウイングを行い、前記分析ウィンドウイングが行われた時間領域の信号を、周波数領域の信号に変換する符号化モジュールをさらに含んでもよい。
【発明の効果】
【００１９】
本発明によれば、オーディオ信号の符号化及び復号化の過程で、時間・周波数変換処理／逆変換処理を効果的に適用することができる。
【００２０】
本発明によれば、時間・周波数変換処理／逆変換処理の遂行にあたり、不要な遅延を発生させない。
【００２１】
本発明によれば、時間・周波数変換処理／逆変換処理の遂行にあたり、減少されたオーバーラップ区間を使用して、処理遅延を減らしながら、復元音質を向上させることができる。
【００２２】
本発明によれば、高性能のオーディオコーデックの時間遅延を減らすことができるために、双方向通信において、時間・周波数変換処理／逆変換処理を使用することができる。
【００２３】
本発明によれば、高音質のオーディオコーデックにおいて、さらなる時間遅延なしに、時間・周波数変換処理／逆変換処理を使用することができる。
【００２４】
本発明によれば、既存のオーディオコーデックにおいて、他の構成要素の修正あるいは変形なしに、時間・周波数変換処理／逆変換処理と係わる時間遅延を低減させることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態によるオーディオ符号化装置の構成を示したブロック図である。
【図２】本発明の一実施形態によるオーディオ復号化装置の構成を示したブロック図である。
【図３Ａ】本発明で適用されたプレフィルタのフィルタ応答例について説明する図面である。
【図３Ｂ】本発明で適用されたポストフィルタのフィルタ応答例について説明する図面である。
【図４】本発明で適用されるウィンドウの例について説明する図面である。
【図５Ａ】図４に図示されたウィンドウを使用する場合、符号化及び復号化によって発生する時間遅延について説明する図面である。
【図５Ｂ】図４に図示されたウィンドウを使用する場合、符号化によって発生する時間遅延について説明する図面である。
【図５Ｃ】図４に図示されたウィンドウを使用する場合、復号化によって発生する時間遅延について説明する図面である。
【図６Ａ】本発明で適用される多様なウィンドウの例について説明するための図面である。
【図６Ｂ】本発明で適用される多様なウィンドウの例について説明するための図面である。
【図６Ｃ】本発明で適用される多様なウィンドウの例について説明するための図面である。
【図７】図６Ａないし図６Ｃに図示されたウィンドウが各フレームに適用された例について説明する図面である。
【図８Ａ】本発明で適用された解像度向上の概念について説明する図面である。
【図８Ｂ】本発明で適用された解像度向上の概念について説明する図面である。
【図９】本発明の一実施形態によるオーディオ符号化方法の動作を示したフローチャートである。
【図１０】本発明の一実施形態によるオーディオ復号化装置の動作を示したフローチャートである。
【図１１】本発明の一実施形態によるマルチメディア機器の構成を示したブロック図である。
【図１２】本発明の他の実施形態によるマルチメディア機器の構成を示したブロック図である。
【図１３】本発明の他の実施形態によるマルチメディア機器の構成を示したブロック図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照し、本発明の実施形態について具体的に説明する。実施形態についての説明にあたり、関連公知構成または機能についての具体的な説明が要旨を不明確にするであろうと判断される場合には、その詳細な説明は省略する。
【００２７】
ある構成要素が他の構成要素に連結されていたり、あるいは接続されていたりすると言及されたときには、その他の構成要素に直接に連結されていたり、あるいは接続されていたりもするが、中間に他の構成要素が存在することもあると理解されなければならないのである。
【００２８】
第１、第２のような用語は、多様な構成要素についての説明に使用されるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
【００２９】
実施形態に示される構成部は、互いに異なる特徴的な機能を示すために、独立して図示されるものであり、各構成部が分離されたハードウェアや１ソフトウェアの構成単位からなるということを意味しない。各構成部は、説明の便宜上、それぞれの構成部に並べたものであり、各構成部のうち少なくとも２つの構成部が合わさって１つの構成部からなったり、あるいは、１つの構成部が、複数個の構成部に分けられて機能を遂行したりすることができる。
【００３０】
現在、多数のコーデック技術が、オーディオ信号の符号化／復号化に利用されている。各コーデック技術は、所定のオーディオ信号に適する特性を有し、当該オーディオ信号に最適化されている。そのうちでも、ＭＤＣＴ（modified  discrete  cosine  transform）が使用されるコーデックでは、ＭＰＥＧのＡＡＣ（advanced  audio  coding）シリーズ、Ｇ．７２２．１,Ｇ．９２９．１，Ｇ．７１８，Ｇ．７１１．１，Ｇ．７２２  ＳＷＢ（super  wide  band）、Ｇ．７２９．１／Ｇ７１８  ＳＷＢ、Ｇ．７２２  ＳＷＢなどがあり、それらコーデックは、ＭＤＣＴが適用されるフィルタバンクと心理音響モデルとを結合して符号化する知覚的コーディング（perceptual  coding）方式に基づいている。ＭＤＣＴは、オーバーラップ・アンド・アド（overlap-and-add）方式を利用して、時間領域の信号を効果的に復元することができるという長所のため、オーディオコーデックにおいて、広く使用されている。
【００３１】
このように、ＭＤＣＴを利用した多様なコーデックが使用されているが、各コーデックは、具現しようとする効果を得るため、互いに異なる構造を有する。例えば、ＭＰＥＧのＡＣＣシリーズは、ＭＤＣＴ（フィルタバンク）と心理音響モデルとを結合して符号化を行い、そのうちＡＣＣ−ＥＬＤ（ＡＡＣ−enhanced  low  delay）は、低遅延を有するＭＤＣＴ（フィルタバンク）を利用して符号化を行う。また、Ｇ．７２２．１は、全体帯域にＭＤＣＴを適用してその係数を量子化し、Ｇ．７１８ＷＢ（wide  band）は、階層形広帯域（ＷＢ）コーデック及び超広帯域（ＳＷＢ）コーデックにおいて、基本コアの量子化誤差を入力に、ＭＤＣＴ基盤の向上階層（enhanced  layer）に符号化する。それ以外に、ＥＶＲＣ（enhanced  variable  rate  codec）−ＷＢ、Ｇ．７２９．１，Ｇ．７１８，Ｇ．７１１．１，Ｇ．７１８／Ｇ．７２９．１  ＳＷＢなどは、階層形広帯域コーデック及び超広帯域コーデックにおいて、帯域分割された信号を入力に、ＭＤＣＴ基盤の向上階層に符号化する。
【００３２】
図１は、本発明の一実施形態によるオーディオ符号化装置１００の構成を示したブロック図である。図１に図示されたオーディオ符号化装置１００は、プレフィルタリング部１１０、分析ウィンドウイング部１２０、変換部１３０、解像度向上部１４０及び符号化部１５０を含んでもよい。付加経路１６０は、信号の長さ、ウィンドウの種類、ビット割り当てなど、符号化のために必要となる多様なパラメータが、符号化装置１００の各構成部１１０〜１５０に伝達されるものである。一実施形態では、付加経路１６０が存在し、各構成部１１０〜１５０の動作に必要な付加情報が伝達されるように図示されているが、それは、説明の便宜のためのものであり、別途の付加経路１６０なしに、図示された各構成部の動作順序によって、信号と共に、付加情報が各構成部、すなわち、プレフィルタリング部１１０、分析ウィンドウイング部１２０、変換部１３０、解像度向上部１４０及び符号化部１５０に順次に伝達されてもよい。一方、各構成要素は、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）で具現される。ここで、オーディオは、音楽または音声、あるいは音楽と音声との混合信号を意味する。
【００３３】
図１を参照すれば、プレフィルタリング部１１０は、フレーム単位で入力されたオーディオ信号に対して周期的な成分を検出し、別途のパラメータ形態で表現し、周期的な成分が除去された変形されたオーディオ信号を生成することができる。ここで、フレームは、一般的なフレーム、フレームの下位フレームであるサブフレーム、あるいはサブフレームの下位フレームを指す。一実施形態によれば、周期的な成分は、ピッチのようなハーモニック成分を含んでもよい。周期的な成分としてピッチを例として挙げる場合、プレフィルタリング部１１０は、公知の多様なピッチ検出アルゴリズムを利用してピッチを検出し、検出されたピッチの位置及び振幅を考慮してフィルタ係数を設計し、入力されたオーディオ信号に適用することができる。プレフィルタリング処理は、全てのフレームに対して適用するか、あるいは一次的に周期的な成分が検出されたフレームに対して適用することができる。検出されたピッチの位置及び振幅と係わるフィルタ係数及びパラメータは、ビットストリームに含まれて伝送される。
【００３４】
分析ウィンドウイング部１２０は、プレフィルタリング部１１０から提供される変形されたオーディオ信号に対して、分析ウィンドウイングを行うことができる。実施形態によれば、適用されるウィンドウは、５０％未満のオーバーラップ区間を有することができる。また、同一の長さを有する２つのウィンドウがオーバーラップされるか、あるいは互いに異なる長さを有する２つのウィンドウがオーバーラップされる場合、完全復元（perfect  reconstruction）条件を満足させるために、ウィンドウ係数が０である区間を除き、オーバーラップ区間の長さが同一になるように設定することができる。それについては、図４ないし図７を参照して説明する。
【００３５】
変換部１３０は、分析ウィンドウイング部１２０でウィンドウイング処理が行われた時間領域のオーディオ信号を変換し、周波数領域の変換係数を生成することができる。変換処理には、ＤＣＴ（discrete  cosine  transformation）、ＭＤＣＴ（modified  discrete  cosine  transform）あるいはＦＦＴ（fast  Fourier  transform）を使用することができるが、それらに限定されるものではない。
【００３６】
解像度向上部１４０は、変換部１３０で生成される周波数領域の変換係数に対して、サブバンド単位で、時間・周波数解像度を調整することができる。例えば、トーン（tone）成分あるいはステーショナリ成分と、トランジェント成分とが共存するフレームに対して、トーン成分あるいはステーショナリ成分は、相対的に長いブロックサイズが適用され、トランジェント成分は、相対的に短いブロックサイズが適用されるように設定することができる。その結果、トーン成分あるいはステーショナリ成分については、周波数解像度が上昇する一方、時間解像度は低下し、トランジェント成分については、周波数解像度は低下する一方、時間解像度は上昇するので、信号特性に適応的な解像度が得られるのである。適用されたブロックサイズに係わる情報は、ビットストリームに含まれる。また、解像度向上部１４０は、サブバンド単位で、低周波数帯域あるいは高周波数帯域に周波数ビンをマージングさせる。各サブバンドに存在する周波数ビンをマージングさせるために、ランク２ｎであるウォルシュ行列（Walsh  matrix）を使用することができる。ウォルシュ行列は、ランク２ｎであるアダマール行列（Hadamard  matrix）から導き出される。一実施形態によれば、解像度向上部１４０は、各サブバンド単位で、低周波数帯域に周波数ビンをマージングさせることにより、フレーム全体的に低周波数帯域の周波数解像度を向上させることができる。各サブバンドに存在する周波数ビンをマージングさせるために、公知の他のマトリックスを使用することもできる。周波数ビンのマージングに使用されたマトリックスに係わる情報は、ビットストリームに含まれる。
【００３７】
符号化部１５０は、解像度向上部１４０で解像度が調整された変換係数に対して、量子化を含む符号化処理を行うことができる。符号化部１５０で符号化された結果と、復号化のために必要となる符号化パラメータは、ビットストリームを形成し、該ビットストリームは、所定の記録媒体に保存されたり、あるいはチャネルを介して伝送される。
【００３８】
一実施形態によれば、プレフィルタリング部１１０と解像度向上部１４０とがいずれも使用され、符号化装置あるいは復号化装置が搭載される機器の用途に対応し、少なくとも一つが使用され、そのために、ユーザの選択を必要とする場合、別途の切換部が提供されもする。選択的に使用された場合には、復号化装置において、対応する処理が行われるように、ビットストリームのヘッダにプレフィルタリング処理いかん、あるいは解像度向上処理いかんと係わるフラグを付加することができる。
【００３９】
一方、他の実施形態によれば、分析ウィンドウイング部１２０において、既存のＡＡＣコーデックと同一のウィンドウを適用する一方、プレフィルタリング部１１０と解像度向上部１４０とを追加して含め、いずれもあるいは選択的に動作させ、復元音質の向上を図ることができる。
【００４０】
一方、他の実施形態によれば、分析ウィンドウイング部１２０において、単一種のウィンドウ、例えば、後述するショートウィンドウあるいはロングウィンドウを適用する一方、プレフィルタリング部１１０と解像度向上部１４０とを追加して含め、いずれもあるいは選択的に動作させ、復元音質の向上を図ることができる。
【００４１】
図２は、本発明の一実施形態によるオーディオ復号化装置の構成を示したブロック図である。図２に図示されたオーディオ復号化装置２００は、復号化部２１０、解像度復元部２２０、逆変換部２３０、合成ウィンドウイング部２４０及びポストフィルタリング部２５０を含んでもよい。付加経路２６０は、信号の長さ、ウィンドウの種類、ビット割り当てなど、復号化のために必要となる多様なパラメータが、復号化装置２００の各構成部２１０〜２５０に伝達されるものである。一実施形態では、付加経路２６０が存在し、各構成部２１０〜２５０の動作に必要な付加情報が伝達されるように図示されているが、それは、説明の便宜のためのものであり、別途の付加経路２６０なしに、図示された各構成部の動作順序によって、信号と共に、付加情報が各構成部、すなわち、復号化部２１０、解像度復元部２２０、逆変換部２３０、合成ウィンドウイング部２４０及びポストフィルタリング部２５０に順次に伝達されもする。各構成要素は、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）で具現される。ここで、オーディオは、音楽または音声、あるいは音楽と音声との混合信号を意味する。
【００４２】
図２を参照すれば、復号化部２１０は、ビットストリームを受信して逆量子化を行い、周波数領域の変換係数を得ることができる。
【００４３】
解像度復元部２２０は、復号化部２１０から提供される周波数領域の変換係数に対して、サブバンド単位で、周波数ビンを逆マージングさせて解像度を復元させることができる。そのために、符号化装置１００の解像度向上部１４０で、周波数ビンのマージングに使用されたマトリックスの逆マトリックスを使用することができる。
【００４４】
逆変換部２３０は、解像度復元部２２０によって解像度が復元された周波数領域の変換係数を逆変換し、時間領域の信号を生成することができる。そのために、符号化装置１００の変換部１３０で使用された変換処理に対応する逆変換処理が行われる。例えば、符号化装置１００の変換部１３０で、ＭＤＣＴが適用された場合、逆変換部２３０は、周波数領域の変換係数にＩＭＤＣＴを適用し、時間領域の信号に変化させることができる
合成ウィンドウイング部２４０は、逆変換部２３０から提供される時間領域の信号に対して、合成ウィンドウイングを行うことができる。そのために、符号化装置１００の分析ウィンドウイング部１２０で適用されたウィンドウと同一のウィンドウを適用することができる。合成ウィンドウイング部２４０は、合成ウィンドウが適用された時間領域の信号に対して、オーバーラップ・アンド・アド処理を行い、時間領域の信号を復元することができる。
【００４５】
ポストフィルタリング部２５０は、合成ウィンドウイング部２４０から提供される時間領域の信号に対して、ポストフィルタリングを行い、符号化装置１００でのプレフィルタリング以前の信号に復元することができる。そのために、符号化装置１００でのプレフィルタリング部１１０で使用されたプレフィルタに対応するポストフィルタを使用することができる。すなわち、それによれば、符号化装置１００で除去された周期的な成分が伝送されたパラメータによって復元される。
【００４６】
一実施形態によれば、解像度復元部２２０とポストフィルタリング部２５０は、いずれも使用され、あるいは選択的に使用されてもよい。例えば、ビットストリームのヘッダに含まれたプレフィルタリング処理いかん、あるいは解像度向上処理いかんと係わるフラグを参照し、選択的に使用することができる。
【００４７】
一方、他の実施形態によれば、合成ウィンドウイング部２４０において、符号化装置１００に対応するように、既存のＡＡＣコーデックと同一のウィンドウを適用する一方、解像度復元部２２０とポストフィルタリング部２５０とを追加して含め、いずれもあるいは選択的に動作させ、復元音質の向上を図ることができる。
【００４８】
一方、他の実施形態によれば、合成ウィンドウイング部２４０から、符号化装置１００に対応するように、単一種のウィンドウ、例えば、後述するショートウィンドウあるいはロングウィンドウを適用する一方、解像度復元部２２０とポストフィルタリング部２５０とを追加して含め、いずれもあるいは選択的に動作させ、復元音質の向上を図ることができる。
【００４９】
図３Ａ及び図３Ｂは、本発明で適用されたプレフィルタあるいはポストフィルタのフィルタ応答例について説明する図面であり、図３Ａは、pole−zeroコームフィルタで具現されたプレフィルタのフィルタ応答であり、図３Ｂは、図３Ａのプレフィルタに対応するポストフィルタのフィルタ応答をそれぞれ示している。図３Ａは、符号化装置で使用され、図３Ｂは、復号化装置で使用される。
【００５０】
図３Ａに図示されているようなプレフィルタの伝達関数（Ｈｐｒｅ（ｚ））と、図３Ｂに図示されているようなポストフィルタの伝達関数（Ｈｐｏｓｔ（ｚ））は、下記数式（１）のように示すことができる。
【００５１】
【数１】
2015525374.tif 000003
ここで、ａ、ｂは、それぞれコームフィルタを具現するときに使用された乗算器の乗数を示す。
【００５２】
一実施形態では、プレフィルタ及びポストフィルタを、pole−zeroコームフィルタで具現したが、それに限定されるものではない。
【００５３】
このように、符号化装置では、プレフィルタを使用して、オーディオ信号に含まれている周期的な成分、例えば、ピッチのようなハーモニック成分を強調するために、周期的な成分間のノイズ成分を減衰させることにより、変形されたオーディオ信号を生成することができる。符号化装置では、変形されたオーディオ信号に対して、全般的な符号化処理が行われる。一方、復号化装置では、ビットストリームに対する全般的な復号化処理を行った後、プレフィルタに対応するポストフィルタを使用して、プレフィルタリング以前のオーディオ信号に復元させることができる。その結果、短いオーバーラップ区間のウィンドウを使用しても、周波数解像度を向上させることができるようになり、復元されたオーディオ信号の知覚的品質の劣化を防止することができる。
【００５４】
図４は、本発明で適用される５０％未満のオーバーラップ区間を有するウィンドウの例について説明する図面である。図４を参照すれば、ウィンドウは、０のウィンドウ係数を有する第１ゼロ区間ａ１及び第２ゼロ区間ａ２、第１エッジ区間Ｗ１及び第２エッジ区間Ｗ２、１のウィンドウ係数を有する第１ユニット区間ｂ１及び第２ユニット区間ｂ２から構成される。同一の２つのウィンドウを適用する場合、ウィンドウ４１０の第２エッジ区間Ｗ２と、ウィンドウ４３０の第１エッジ区間Ｗ１とがオーバーラップされる。このとき、第１エッジ区間Ｗ１及び第２エッジ区間Ｗ２は、下記数式（２）に記載されたウィンドウ関数Ｗ（ｎ）から、下記数式（３）のように示すことができる。
【００５５】
【数２】
2015525374.tif 000004
ここで、ｎは、サンプル数であり、０、…、２Ｌ−１の値を有し、Ｌは、オーバーラップ区間の長さであり、例えば、１２８サンプルを示す。
【００５６】
ウィンドウ関数Ｗ（ｎ）が正弦波状であるために、第１エッジ区間Ｗ１及び第２エッジ区間Ｗ２は、下記数式（４）の条件を満足する場合、オーバーラップ区間において、完全復元（perfect  reconstruction）を保証する。
【００５７】
【数３】
2015525374.tif 000005
一方、前記数式（４）の条件を満足するためには、ウィンドウの第１ゼロ区間ａ１及び第２ゼロ区間ａ２と、第１ユニット区間ｂ１及び第２ユニット区間ｂ２は、下記数式（５）で示すことができる。
【００５８】
【数４】
2015525374.tif 000006
ここで、Ｆは、ウィンドウのフレームサイズを示し、Ｌは、オーバーラップ区間の長さを示す。
【００５９】
それによれば、ウィンドウのフレームサイズが１０２４サンプルである場合、オーバーラップ区間の長さが１２８サンプルであるので、第１ゼロ区間ａ１及び第２ゼロ区間ａ２と、第１ユニット区間ｂ１及び第２ユニット区間ｂ２は、４４８サンプルになる。
【００６０】
図５Ａないし図５Ｃは、図４に図示されたウィンドウを使用する場合、符号化及び復号化によって発生する時間遅延について説明する図面である。
【００６１】
図５Ａは、符号化装置に入力されるオーディオ信号を示し、図５Ｂは、符号化装置によって行われる時間・周波数変換を示し、図５Ｃは、復号化装置によって行われる時間・周波数逆変換を示す。
【００６２】
一般的なＡＡＣコーデックでは，符号化装置が，現在フレーム５１０に適用するウィンドウ５３０を決定するために、ルックアヘッド（look-ahead）サンプルを必要としたが、実施形態によれば、互いに異なるウィンドウ間のオーバーラップ区間の長さをいずれも同一に設定することにより、現在フレーム５１０に適用するウィンドウ５３０を決定するためのルックアヘッドサンプルを必要としない。その結果、図５Ａに図示された符号化装置では、時間・周波数変換時、ルックアヘッドサンプルによる時間遅延が発生しない。
【００６３】
一方、復号化装置について述べれば、現在フレーム５１０を時間・周波数逆変換するために、現在フレーム５１０とオーバーラップされる次のフレームを待たなければならない。一般的なＡＡＣコーデックでは、オーバーラップ区間の長さが１０２４サンプルであるので、１０２４サンプルほどの時間遅延が発生する。実施形態によれば、互いに異なるウィンドウ間のオーバーラップ区間の長さを１２８サンプルとする場合１２８サンプルほどの時間遅延が発生する。
【００６４】
また、現在フレーム５１０が、オーディオ信号の最初フレームである場合、復号化装置は、既存ＡＡＣコーデックと同様に、現在フレーム５１０を処理するための１０２４サンプルの時間遅延を必要とする。
【００６５】
結論として、実施形態によれば、符号化及び復号化による時間遅延Ｄは、オーバーラップ区間による遅延、及び現在フレーム５１０による遅延を含み、サンプリングレートを４８ｋＨｚとするとき、全時間遅延は、２４ｍｓが発生する。一方、既存のＡＡＣコーデックの符号化及び復号化による時間遅延は、ルックアヘッド・サンプルによる遅延、オーバーラップ区間による遅延、及び現在フレーム５１０による遅延を含み、サンプリングレートを４８ｋＨｚとするとき、全時間遅延は、５４．７ｍｓが発生する。
【００６６】
図６Ａないし図６Ｃは、本発明で適用される多様なウィンドウの例について説明するための図面であり、図６Ａは、ショートウィンドウ（short  window）（以下、第１ウィンドウとする）を示し、図６Ｂは、ロングウィンドウ（long  window）（以下、第２ウィンドウとする）を示し、図６Ｃは、ミディアムウィンドウ（medium  window）（以下、第３ウィンドウとする）を示す。ここで、第２ウィンドウは、図４に図示されたウィンドウに対応する。一実施形態によれば、第１ウィンドウと第２ウィンドウとの長さは、ＡＡＣコーデックで使用されるショートウィンドウとロングウィンドウとの距離と同一に設定することができる。具体的には、ＡＡＣコーデックを例として挙げれば、１フレームの長さが１０２４サンプルである場合、ショートウィンドウの長さは、２５６サンプルであり、ロングウィンドウの長さは、２０４８サンプルであるが、当業者に自明な範囲内で多様に変更される。また、第３ウィンドウは、第１ウィンドウよりは長く、第２ウィンドウよりは短い範囲内で、オーディオ信号の特性によって、多様な長さを有するように設計される。
【００６７】
図６Ａを参照すれば、第１ウィンドウは、０のウィンドウ係数を有するゼロ区間、及び１のウィンドウ係数を有するユニット区間なしに形成される。一方、図６Ｂを参照すれば、第２ウィンドウは、５０％未満のオーバーラップ区間を有することができる。具体的には、第２ウィンドウは、図４でのように、０のウィンドウ係数を有する第１ゼロ区間ａ１及び第２ゼロ区間ａ２、並びに１のウィンドウ係数を有する第１ユニット区間ｂ１及び第２ユニット区間ｂ２を含んでもよい。一方、図６Ｃを参照すれば、第３ウィンドウは、第２ウィンドウと同様に、５０％未満のオーバーラップ区間を有することができる。具体的には、第３ウィンドウは、第１ゼロ区間ｃ１及び第２ゼロ区間ｃ２、並びに第１ユニット区間ｃ１及び第２ユニット区間ｄ２を含んでもよい。
【００６８】
一実施形態によれば、第３ウィンドウは、第１ウィンドウよりは長く、第２ウィンドウよりは短い範囲内で、前記数式（５）を満足するように設計される。
【００６９】
下記表１は、第１ウィンドウのフレームサイズが１２８サンプルであり、第２ウィンドウのフレームサイズが１０２４サンプルである場合、互いに異なる６種の第３ウィンドウのフレームサイズによる第１ゼロ区間及び第２ゼロ区間、並びに第１ユニット区間及び第２ユニット区間の長さを示したものである。
【００７０】
【表１】
2015525374.tif 000007
一実施形態によれば、フレームの長さ、第１ウィンドウの長さ、第２ウィンドウの長さ、及び第３ウィンドウの長さは、いずれも２のｋ乗に設定される。その結果、符号化及び復号化に必要となる計算量を減少させることができる。
【００７１】
図７は、図６Ａないし図６Ｃに図示された各ウィンドウ７１０，７２０，７３０，７４０，７５０がフレームに適用された例について説明する図面である。フレーム（Ｎ−１）は、第２ウィンドウ７２０が、フレームＮは、第１ウィンドウ７１０と第３ウィンドウ７３０とが、フレーム（Ｎ＋１）は、２つの第３ウィンドウ７４０，７５０が、フレーム（Ｎ＋２）は、８個の第１ウィンドウ７１０が適用された例を示している。
【００７２】
一実施形態によればウィンドウ係数が０である区間を除き、ウィンドウ間のオーバーラップ区間の長さがいずれも同一になるように設定することにより、第１ウィンドウ７１０と第２ウィンドウ７２０とを連結するロングスタートウィンドウ（long  start  window）及びロングストップウィンドウ（long  stop  window）のようなトランジションウィンドウを必要としなくなる。その結果、ウィンドウスイッチングによる時間遅延を減らすことができる。具体的には、第１ウィンドウ７１０、第２ウィンドウ７２０、第３ウィンドウ７３０，７４０，７５０間のオーバーラップ区間の長さは、第１ウィンドウ７１０の長さの１／２に設定される。ＡＡＣコーデックのように、第１ウィンドウ７１０の長さが２５６サンプルである場合、第１ウィンドウ７１０、第２ウィンドウ７２０、第３ウィンドウ７３０，７４０，７５０間のオーバーラップ区間の長さは、１２８サンプルになる。このように、ウィンドウ間のオーバーラップ区間の長さが、ＡＡＣコーデックに比べて非常に短くなるので、オーバーラップ処理による時間遅延が低減される。
【００７３】
一方、一実施形態によれば、トランジェントが存在するフレームの場合、フレーム（Ｎ＋２）のように、フレーム全体に対して８個の第１ウィンドウを適用することができる。他の実施形態によれば、フレームＮのように、トランジェント区間ｔ１に対して、第１ウィンドウ７１０を適用し、残りの区間は、長さが調整された第３ウィンドウ７３０が、第１ウィンドウ７１０とオーバーラップされるように適用することができる。
【００７４】
一方、一実施形態によれば、信号の特性が変化する区間ｔ２が存在するフレームの場合、トランジェント区間ｔ１が存在するフレームのように、第１ウィンドウと第３ウィンドウとを適用するか、あるいは２個の第３ウィンドウ７４０，７５０を適用することができる。ここで、信号の特性は、オーディオ信号の周波数、トーン、強度などを含んでもよい。信号の特性が変化する区間ｔ２の長さが非常に短ければ、２つの第３ウィンドウをオーバーラップさせ、符号化効率を向上させることができる。このとき、１つの第３ウィンドウの長さが決定されれば、残り１つの第３ウィンドウの長さは、２個の第３ウィンドウ７４０，７５０のフレームサイズの和が、第２ウィンドウ７２０のフレームサイズと同一になるように決定される。ここで、第３ウィンドウの形態も、第２ウィンドウと同様に、時間・周波数変換の完全復元条件を満足するように決定される。
【００７５】
図８Ａ及び図８Ｂは、本発明に適用された解像度向上の概念について説明する図面であり、図８Ａは、既存の全体バンドに対してブロックサイズが適用された例、図８Ｂは、一実施形態によって、サブバンド単位でブロックサイズが適用された例を示している。
【００７６】
図９は、本発明の一実施形態によるオーディオ符号化方法の動作を示したフローチャートである。図９を参照すれば、９１０段階では、フレーム単位で、時間領域の信号を受信することができる。
【００７７】
９２０段階では、受信された時間領域の信号に対して、プレフィルタリングを行うことができる。そのために、オーディオ信号に対して重要であったり、あるいは知覚的な情報をロードしているハーモニック成分のような周期的な成分を抽出し、抽出された周期的な成分を強調する一方、周期的な成分間のノイズ成分を減衰させることができるプレフィルタを使用することができる。プレフィルタのフィルタ係数は、抽出された周期的な成分の位置及び振幅によって決定される。プレフィルタのフィルタ係数は、あらかじめ実験あるいはシミュレーションを介して既定であり、フレームごとに適用される。
【００７８】
９３０段階では、プレフィルタリング処理が行われ、変形された時間領域の信号に対して、分析ウィンドウイングを行うことができる。分析ウィンドウイングのために、図６Ａないし図６Ｃに図示された１つのウィンドウあるいは２つのウィンドウが各フレームに適用される。
【００７９】
９４０段階では、分析ウィンドウイング処理が行われた時間領域の信号を変換し、周波数領域の変換係数を生成することができる。
【００８０】
９５０段階では、周波数領域の変換係数に対して、時間・周波数解像度向上処理を行うことができる。このとき、信号の特性に適応的なブロックサイズを適用し、信号の特性によって時間解像度あるいは周波数解像度を向上させたり、あるいはサブバンド単位で低周波数帯域に周波数ビンをマージングさせ、周波数解像度を向上させたりすることができる。
【００８１】
９６０段階では、解像度向上処理が行われた周波数領域の変換係数を、量子化及びエントロピー符号化し、復号化に必要なパラメータと共に多重化し、ビットストリームを生成することができる。
【００８２】
ここで、９２０段階と９５０段階は、いずれも行われるか、あるいは選択的に行われる。
【００８３】
図１０は、本発明の一実施形態によるオーディオ復号化装置の動作を示したフローチャートである。図１０を参照すれば、１０１０段階では、ビットストリームを受信して逆多重化し、符号化された周波数領域の変換係数と、復号化に必要なパラメータとを抽出することができる。
【００８４】
１０２０段階では、１０１０段階で提供される周波数領域の変換係数に対して、エントロピー復号化及び逆量子化を行うことができる。このとき、サブバンド単位で、互いに異なるブロックサイズが割り当てられた場合、ブロックサイズに対応して、エントロピー復号化及び逆量子化を行うことができる。
【００８５】
１０３０段階では、逆量子化された周波数領域の変換係数に対して、符号化装置での解像度向上処理時に使用されたマトリックスの逆マトリックスを使用して、解像度向上処理以前の状態に解像度を復元することができる。
【００８６】
１０４０段階では、解像度が復元された周波数領域の変換係数を逆変換し、時間領域の信号を生成することができる。
【００８７】
１０５０段階では、時間領域の信号に対して、合成ウィンドウイングを行うことができる。このとき、各フレームに対して、符号化装置での分析ウィンドウイングに使用されたウィンドウと同一のウィンドウを適用することができる。合成ウィンドウイング処理は、オーバーラップ・アンド・アド処理を含んでもよい。
【００８８】
１０６０段階では、符号化装置でのプレフィルタリング以前の状態に復元させるために、合成ウィンドウイングが行われた時間領域の信号に対して、ポストフィルタリングを行うことができる。
【００８９】
ここで、１０３０段階と１０６０段階は、符号化装置での処理いかんに対応して、選択的にあるいはいずれも行われる。
【００９０】
前記実施形態は、望ましくは、ＭＰＥＧ（Moving  Picture  Experts  Group）  ＡＡＣ（advanced  audio  coding）、ＭＰＥＧ  ＡＡＣ−ＬＤ（low  delay）あるいはＭＰＥＧ  ＡＡＣ−ＥＬＤ（enhanced  low  delay）を採用するコアコーダに適用されるが、変換符号化を採用する全てのコーデックに適用される。
【００９１】
図１１は、本発明の一実施形態による符号化モジュールを含むマルチメディア機器の構成を示したブロック図である。図１１に図示されたマルチメディア機器１１００は、通信部１１１０と符号化モジュール１１３０とを含む。また、符号化の結果として得られるオーディオビットストリームの用途によって、オーディオビットストリームを保存する保存部１１５０をさらに含んでもよい。また、マルチメディア機器１１００は、マイクロホン１１７０をさらに含んでもよい。すなわち、保存部１１５０とマイクロホン１１７０は、オプションとして具備される。一方、図１１に図示されたマルチメディア機器１１００は、任意の復号化モジュール（図示せず）、例えば、一般的な復号化機能を遂行する復号化モジュール、あるいは本発明の一実施形態による復号化モジュールをさらに含んでもよい。ここで、符号化モジュール１１３０は、マルチメディア機器１１００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも一つ以上のプロセッサ（図示せず）として具現されもする。
【００９２】
図１１を参照すれば、通信部１１１０は、外部から提供されるオーディオと、符号化されたビットストリームとのうち少なくとも一つを受信するか、あるいは復元されたオーディオと、符号化モジュール１１３０の符号化結果として得られるオーディオビットストリームとのうち少なくとも一つを送信することができる。
【００９３】
通信部１１１０は、無線インターネット、無線イントラネット、無線電話網、無線ＬＡＮ（local  area  network）、Ｗｉ−Ｆｉ（wireless  fidelity）、ＷＦＤ（Ｗｉ−Ｆｉ  direct）、３Ｇ（generation）、４Ｇ（generation）、ブルートゥース（登録商標：Bluetooth）、赤外線通信（ＩｒＤＡ：infrared  data  association）、ＲＦＩＤ（radio  frequency  identification）、ＵＷＢ（ultra  wideband）、ジグビー（登録商標：ZigBee）、ＮＦＣ（near  field  communication）のような無線ネットワーク，または有線電話網、有線インターネットのような有線ネットワークを介して外，部のマルチメディア機器あるいはサーバと，データを送受信することができるように構成される。
【００９４】
符号化モジュール１１３０は、一実施形態によれば、通信部１１１０あるいはマイクロホン１１７０を介して提供される時間領域の信号を，フレーム単位で，周波数解像度を補償させるために、変形された時間領域の信号を生成し、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して変形された時間領域の信号に対して、分析ウィンドウイングを行い、分析ウィンドウイングが行われた時間領域の信号を、周波数領域の信号に変換することができる。また、周波数解像度を向上させるために、周波数領域の信号に対して、サブバンド単位で、低周波数帯域に周波数ビンをマージングさせる。また、時間・周波数解像度を向上させるために、周波数領域の信号の特性に対応し、サブバンド単位で、互いに異なるブロックサイズを適用することができる。変形された時間領域の信号は、フレーム単位で、周期的な成分を強調しながら、前記周期的な成分間の成分を減衰させて生成することができる。また、分析ウィンドウイングを行うにおいて、互いに異なる長さを有しながら、オーバーラップ区間において、完全復元が可能になるように、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを適用することができる。
【００９５】
保存部１１５０は、マルチメディア機器１１００の運用に必要な多様なプログラムを保存することができる。
【００９６】
マイクロホン１１７０は、ユーザあるいは外部のオーディオ信号を，符号化モジュール１１３０に提供することができる。
【００９７】
図１２は、本発明の一実施形態による復号化モジュールを含むマルチメディア機器の構成を示したブロック図である。図１２に図示されたマルチメディア機器１２００は、通信部１２１０と復号化モジュール１２３０とを含んでもよい。また、復号化の結果として得られる復元されたオーディオ信号の用途によって、復元されたオーディオ信号を保存する保存部１２５０をさらに含んでもよい。また、マルチメディア機器１２００は、スピーカ１２７０をさらに含んでもよい。すなわち、保存部１２５０とスピーカ１２７０は、オプションとして具備される。一方、図１２に図示されたマルチメディア機器１２００は、任意の符号化モジュール（図示せず）、例えば、一般的な符号化機能を遂行する符号化モジュール、あるいは本発明の一実施形態による符号化モジュールをさらに含んでもよい。ここで、復号化モジュール１２３０は、マルチメディア機器１２００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１つの以上のプロセッサ（図示せず）として具現されもする。
【００９８】
図１２を参照すれば、通信部１２１０は、外部から提供される符号化されたビットストリームとオーディオ信号とのうち少なくとも一つを受信するか、あるいは復号化モジュール１２３０の復号化の結果として得られる復元されたオーディオ信号と、符号化の結果として得られるオーディオビットストリームとのうち少なくとも一つを送信することができる。一方、通信部１２１０は、図１１の通信部１１１０と実質的に類似して具現されてもよい。
【００９９】
復号化モジュール１２３０は、一実施形態によれば、通信部１２１０を介して提供されるビットストリームを受信し、ビットストリームから復号化された周波数領域の信号に対して、サブバンド単位で、周波数ビンを逆マージングさせて周波数解像度を復元し、解像度が復元された周波数領域の信号を、時間領域の信号に逆変換し、５０％未満のオーバーラップ区間を有するように設計されるウィンドウを利用して、時間領域の信号に対して、合成ウィンドウイングを行うことができる。また、合成ウィンドウイングが行われた時間領域の信号に対して、符号化過程で行われたプレフィルタリングに対応するポストフィルタリングを行い、解像度補償以前のオーディオ信号を復元することができる。また、合成ウィンドウイングを行うにおいて、互いに異なる長さを有しながら、オーバーラップ区間において、完全復元が可能になるように、同一のオーバーラップ区間を有するように設計される少なくとも２つのウィンドウを適用することができる。
【０１００】
保存部１２５０は、復号化モジュール１２３０で生成される復元されたオーディオ信号を保存することができる。一方、保存部１２５０は、マルチメディア機器１２００の運用に必要な多様なプログラムを保存することができる。
【０１０１】
スピーカ１２７０は、復号化モジュール１２３０で生成される復元されたオーディオ信号を外部に出力することができる。
【０１０２】
図１３は、本発明の一実施形態による、符号化モジュールと復号化モジュールとを含むマルチメディア機器の構成を示したブロック図である。図１３に図示されたマルチメディア機器１３００は、通信部１３１０、符号化モジュール１３２０及び復号化モジュール１３３０を含んでもよい。また、符号化の結果として得られるオーディオビットストリーム、あるいは復号化の結果として得られる復元されたオーディオ信号の用途によって、オーディオビットストリームあるいは復元されたオーディオ信号を保存する保存部１３４０をさらに含んでもよい。また、マルチメディア機器１３００は、マイクロホン１３５０あるいはスピーカ１３６０をさらに含んでもよい。ここで、符号化モジュール１３２０と復号化モジュール１３３０は、マルチメディア機器１３００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも一つ以上のプロセッサ（図示せず）として具現されもする。
【０１０３】
図１３に図示された各構成要素は、図１１に図示されたマルチメディア機器１１００の構成要素、あるいは図１２に図示されたマルチメディア機器１２００の構成要素と重複するので、その詳細な説明は省略する。
【０１０４】
図１１ないし図１３に図示されたマルチメディア機器１１００，１２００，１３００には、電話、モバイルフォンなどを含む音声通信専用端末；ＴＶ（television）、ＭＰ３プレーヤなどを含む放送専用装置あるいは音楽専用装置；音声通信専用端末と放送専用装置あるいは音楽専用装置との融合端末装置；あるいはテレカンファランシングシステムまたはインタラクションシステムのユーザ端末が含まれるが、それらに限定されるものではない。また、マルチメディア機器１１００，１２００，１３００は、クライアント、サーバ、あるいはクライアントとサーバとの間に配置される変換器としても使用される。
【０１０５】
一方、マルチメディア機器１１００，１２００，１３００が、例えば、モバイルフォンである場合、図示されていないが、キーパッドのようなユーザ入力部、ユーザ・インターフェースあるいはモバイルフォンで処理される情報をディスプレイするディスプレイ部、モバイルフォンの全般的な機能を制御するプロセッサをさらに含んでもよい。また、モバイルフォンは、撮像機能を有するカメラ部と、モバイルフォンで必要となる機能を遂行する少なくとも一つ以上の構成要素とをさらに含んでもよい。
【０１０６】
一方、マルチメディア機器１１００，１２００，１３００が、例えば、ＴＶである場合、図示されていないが、キーパッドのようなユーザ入力部、受信された放送情報をディスプレーするディスプレイ部、ＴＶの全般的な機能を制御するプロセッサをさらに含んでもよい。また、ＴＶは、ＴＶで必要となる機能を遂行する少なくとも一つ以上の構成要素をさらに含んでもよい。
【０１０７】
前記実施形態による方法は、コンピュータで実行されるプログラムでもって作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータでも具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令、あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic  media）；ＣＤ（compact  disc）−ＲＯＭ（read  only  memory）、ＤＶＤ（digital  versatile  disc）のような光記録媒体（optical  media）；フロプティカルディスク（floptical  disk）のような磁気・光媒体（magneto-optical  media）；及びＲＯＭ（read  only  memory）、ＲＡＭ（random  access  memory）、フラッシュメモリのような、プログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体はプ、ログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような機械語コードだけではなく、インタ＝プリタなどを使用して、コンピュータによって実行される高級言語コードを含んでもよい。
【０１０８】
以上のように、本発明の一実施形態は、たとえ限定された実施形態及び図面によって説明したにしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、それは、本発明が属する分野で当業者であるならば、そのような記載から、多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲に示されており、それと均等または等価的変形は、いずれも本発明技術的思想の範疇に属するものである。
【図１】
2015525374.tif 000008
【図２】
2015525374.tif 000009
【図３Ａ】
2015525374.tif 000010
【図３Ｂ】
2015525374.tif 000011
【図４】
2015525374.tif 000012
【図５ａ】
2015525374.tif 000013
【図５ｂ】
2015525374.tif 000014
【図５ｃ】
2015525374.tif 000015
【図６ａ】
2015525374.tif 000016
【図６ｂ】
2015525374.tif 000017
【図６ｃ】
2015525374.tif 000018
【図７】
2015525374.tif 000019
【図８Ａ】
2015525374.tif 000020
【図８Ｂ】
2015525374.tif 000021
【図９】
2015525374.tif 000022
【図１０】
2015525374.tif 000023
【図１１】
2015525374.tif 000024
【図１２】
2015525374.tif 000025
【図１３】
2015525374.tif 000026
【国際調査報告】
2015525374.tif 000027
2015525374.tif 000028
2015525374.tif 000029
2015525374.tif 000030
2015525374.tif 000031
2015525374.tif 000032