(57)【特許請求の範囲】
【請求項１】
オーディオまたはスピーチ信号の符号化されたドメインが周波数ドメインであるか時間ドメインであるかを判断する段階と、
判断の結果に応じて、符号化されたオーディオまたはスピーチ信号を前記周波数ドメインまたは時間ドメインで復号化する段階と、
前記周波数ドメインで復号化されたオーディオまたはスピーチ信号を前記時間ドメインに変換する段階と、
ビットストリームに含まれている帯域幅の拡張に関連する情報に基づいて、低周波帯域の信号を用いて高周波帯域の信号を生成する段階と、
前記時間ドメインに変換されたオーディオまたはスピーチ信号と前記時間ドメインで復号化されたオーディオまたはスピーチ信号のいずれかと、前記生成された高周波帯域の信号を合成して、帯域幅が拡張されたモノラル信号を生成する段階と、
モノラル信号をステレオ信号にアップミキシングするためのパラメータに基づいて、前記帯域幅が拡張されたモノラル信号をアップミキシングしてステレオ信号を生成する段階とを含み、
前記符号化されたオーディオまたはスピーチ信号は低周波帯域の信号であることを特徴とする信号復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
実施例は、コーデックに係り、より詳細には、スピーチ信号及び／またはオーディオ信号を符号化する方法及び装置に関する。  
【背景技術】
【０００２】
従来のコーデックは、スピーチコーデックとオーディオコーデックに分類される。スピーチコーデックは、音声発声モデルを利用して、主に５０Ｈｚから７ｋＨｚに至る周波数帯域に該当する信号を符号化または復号化する。このようなスピーチコーデックは、一般的に声帯と声道とをモデリングすることで、音声信号を代表するパラメータを抽出して符号化及び復号化を行う。オーディオコーデックは、ＨＥ−ＡＡＣのように心理音響モデルを適用し、主に０Ｈｚから２４Ｈｚに至る周波数帯域に該当する信号を符号化または復号化する。このようなオーディオコーデックは、人間の聴覚特性を利用して感度の低い信号を省略することによって符号化及び復号化を行う。
【０００３】
しかし、このようなスピーチコーデックとオーディオコーデックは、スピーチ信号とオーディオ信号とをいずれも効率的に行い難い問題点を有する。スピーチコーデックは、スピーチ信号の符号化／復号化に適しているが、オーディオ信号を符号化または復号化するに当たって音質が低下する。オーディオコーデックは、オーディオ信号を符号化するか、復号化する場合、圧縮効果に優れるが、音声信号を符号化／復号化するに当たって信号を圧縮する効率が落ちる。したがって、スピーチ信号、オーディオ信号、スピーチとオーディオとが混合された信号を各々符号化／復号化するに当たって、少ないビットを利用するにもかかわらず、音質を向上させうる方法及び装置が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実施例は、スピーチ信号及び／またはオーディオ信号をいずれも効率的に符号化／復号化する方法及び装置を提供する。
【課題を解決するための手段】
【０００５】
実施例による側面及びユーティリティは、入力信号を少なくとも１つ以上のドメインに変換する段階と、前記入力信号または前記変換された信号を利用して既定の単位別に符号化するドメインを決定する段階と、前記決定されたドメインで各単位に設けられた信号を符号化する段階と、を含む信号符号化方法を提供することによって達成されうる。
【０００６】
実施例による側面及びユーティリティは、入力信号を利用して既定の単位別に符号化する少なくとも１つ以上のドメインを決定する段階と、各単位に設けられた信号を前記決定されたドメインに変換して符号化する段階と、を含む信号符号化方法を提供することによって達成されうる。
【０００７】
実施例による側面及びユーティリティは、既定の単位に設けられた各信号が符号化されたドメインを判断する段階と、各単位に設けられた信号を前記判断されたドメインで復号化する段階と、前記復号化された各単位に設けられた信号を合成して、信号を復元する段階と、を含む信号復号化方法を提供することによって達成されうる。
【０００８】
実施例による側面及びユーティリティは、入力信号を少なくとも１つ以上のドメインに変換し、前記入力信号または前記変換された信号を利用して既定の単位別に符号化するドメインを決定する変換部と、前記決定されたドメインで各単位に設けられた信号を符号化する符号化部と、を備える信号符号化装置を提供することによって達成されうる。
【０００９】
実施例による側面及びユーティリティは、既定の単位に設けられた各信号が符号化されたドメインを判断する逆多重化部と、各単位に設けられた信号を前記判断されたドメインで復号化する復号化部と、前記復号化された各単位に設けられた信号を合成して信号を復元する変換部と、を備える信号復号化装置を提供することによって達成されうる。
【００１０】
実施例による側面及びユーティリティは、入力信号を少なくとも１つ以上のドメインに変換し、前記入力信号または前記変換された信号を利用して既定の単位別に符号化するドメインを決定し、前記決定されたドメインで各単位に設けられた信号を符号化する符号化部と、既定の単位に設けられた各信号が符号化されたドメインを判断し、各単位に設けられた信号を前記判断されたドメインで復号化し、前記復号化された各単位に設けられた信号を合成して信号を復元する復号化部と、を備える信号符号化及び／または復号化装置を提供することによって達成されうる。
【００１１】
実施例による側面及びユーティリティは、入力信号を少なくとも１つ以上のドメインに変換し、前記入力信号または前記変換された信号を利用して既定の単位別に符号化するドメインを決定し、前記決定されたドメインで各単位に設けられた信号を符号化する方法と、既定の単位に設けられた各信号が符号化されたドメインを判断し、各単位に設けられた信号を前記判断されたドメインで復号化し、前記復号化された各単位に設けられた信号を合成して信号を復元する方法を実行させるプログラムとしてコンピュータで読取り可能なコードを含むコンピュータで読取り可能な媒体を提供することによって達成されうる。
【図面の簡単な説明】
【００１２】
【図１】オーディオ及び／またはスピーチ信号符号化装置の一実施例を示すブロック図である。
【図２】図１に示されたオーディオ及び／またはスピーチ信号符号化装置で周波数ドメイン符号化部の一実施例を示すブロック図である。
【図３】図１に示されたオーディオ及び／またはスピーチ信号符号化装置で周波数ドメイン符号化部の他の実施例を示すブロック図である。
【図４】オーディオ及び／またはスピーチ信号符号化装置の他の実施例を示すブロック図である。
【図５】オーディオ及び／またはスピーチ信号符号化装置の他の実施例を示すブロック図である。
【図６】オーディオ及び／またはスピーチ信号符号化装置の他の実施例を示すブロック図である。
【図７】オーディオ及び／またはスピーチ信号符号化装置の他の実施例を示すブロック図である。
【図８】オーディオ及び／またはスピーチ信号符号化装置の他の実施例を示すブロック図である。
【図９】オーディオ及び／またはスピーチ信号符号化装置の他の実施例を示すブロック図である。
【図１０】オーディオ及び／またはスピーチ信号符号化装置の他の実施例を示すブロック図である。
【図１１】オーディオ及び／またはスピーチ信号復号化装置の一実施例を示すブロック図である。
【図１２】図１１に示されたオーディオ及び／またはスピーチ信号復号化装置で周波数ドメイン復号化部の一実施例を示すブロック図である。
【図１３】図１１に示されたオーディオ及び／またはスピーチ信号復号化装置で周波数ドメイン復号化部の他の一実施例を示すブロック図である。
【図１４】オーディオ及び／またはスピーチ信号復号化装置の他の実施例を示すブロック図である。
【図１５】オーディオ及び／またはスピーチ信号復号化装置の他の実施例を示すブロック図である。
【図１６】オーディオ及び／またはスピーチ信号復号化装置の他の実施例を示すブロック図である。
【図１７】オーディオ及び／またはスピーチ信号復号化装置の他の実施例を示すブロック図である。
【図１８】オーディオ及び／またはスピーチ信号復号化装置の他の実施例を示すブロック図である。
【図１９】オーディオ及び／またはスピーチ信号復号化装置の他の実施例を示すブロック図である。
【図２０】オーディオ及び／またはスピーチ信号復号化装置の他の実施例を示すブロック図である。
【図２１】オーディオ及び／またはスピーチ信号符号化方法についての一実施例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付した図面を参照して実施例によるオーディオ及び／またはスピーチ信号符号化及び復号化方法及び装置について詳細に説明する。
【００１４】
図１は、オーディオ及び／またはスピーチ信号符号化装置の第１実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号符号化装置は、第１ドメイン変換部１００、周波数ドメイン符号化部１１０及び多重化部１２０を含んでなる。
【００１５】
第１ドメイン変換部１００は、入力端子ＩＮを通じて入力された入力信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する。ここで、第１ドメイン変換部１００は、入力信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも入力信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、入力信号の符号化に利用され、第２変換方式により変換された信号は、入力信号に対して心理音響モデルを適用するのに利用される。
【００１６】
例えば、第１ドメイン変換部１００は、入力信号を第１変換方式に該当するＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）により周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）により周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、入力信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は実数部と共に入力信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチ（ｍｉｓｓ  ｍａｔｃｈ）を解決しうる。
【００１７】
周波数ドメイン符号化部１１０は、第１ドメイン変換部１００で第１変換方式により変換された信号の各サブバンドから重要スペクトル成分（Ｉｍｐｏｒｔａｎｔ  Ｓｐｅｃｔｒａｌ  Ｃｏｍｐｏｎｅｎｔ）を選択して量子化し、重要スペクトル成分を除いた残余スペクトル成分を抽出することによって残余スペクトル成分のノイズレベルを計算して量子化する。このような周波数ドメイン符号化部１１０は、図２及び図３に示された例と同様に実施しうる。
【００１８】
第１に、図２は、周波数ドメイン符号化部１１０の一実施例を示すブロック図であって、図１及び図２を参照すれば、周波数ドメイン符号化部１１０は、心理音響モデル適用部２００、重要周波数成分（important  spectral  component）選択部２１０、量子化部２２０、ノイズ処理部２３０を備えてなる。
【００１９】
心理音響モデル適用部２００は、人間の聴覚特性による知覚的な重複性を除去するために、入力信号に対して心理音響モデルを適用する。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【００２０】
心理音響モデル適用部２００は、人間の聴覚特性を利用した心理音響モデルを適用して、入力信号から感度の低い細部情報を省略あるいは排除し、周波数別に感度の程度を意味するＳＭＲ値を割当てる。心理音響モデル適用部２００は、第２変換方式に変換された信号を利用して心理音響モデルを適用し、第２変換方式の例としてＭＤＳＴがある。
【００２１】
重要周波数成分選択部２１０は、入力端子ＩＮ１を通じて入力される周波数ドメインで表現された信号の各サブバンドから重要スペクトル成分を選択する。重要周波数成分選択部２１０で重要スペクトル成分を選択する方法として次のような方法がある。第１に、ＳＭＲ値を計算してマスキング閾値より大きい信号を重要スペクトル成分として選択する。第２に、所定の加重値を考慮してスペクトルピークを抽出して重要スペクトル成分を選択する。第３に、各サブバンド別にＳＮＲ値を計算してＳＮＲ値の低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を重要スペクトル成分として選択する。前記３つの方法は別途に実施してもよく、少なくとも１つ以上の方法を組合わせて実施しても良い。
【００２２】
量子化部２２０は、心理音響モデル適用部２００で割当てられたＳＭＲ値で重要周波数成分選択部２１０から選択された重要スペクトル成分を量子化して出力端子ＯＵＴ１を通じて出力する。
【００２３】
ノイズ処理部２３０は、入力端子ＩＮ１を通じて入力される周波数ドメインで表現された信号から、重要周波数成分選択部２１０で選択された重要スペクトル成分を除いた残余スペクトル成分を抽出し、残余スペクトル成分のノイズレベルを計算して量子化する。ここで、ノイズ処理部２３０は、量子化された結果を出力端子ＯＵＴ２を通じて出力する。
【００２４】
第２に、図３は、周波数ドメイン符号化部１１０の他の一実施例を示すブロック図であって、図１及び図３を参照すれば、周波数ドメイン符号化部１１０は、音声ツール符号化部３００、心理音響モデル適用部３１０、重要周波数成分選択部３２０、量子化部３３０及びノイズ処理部３４０を含んでなる。
【００２５】
音声ツール符号化部３００は、臨界値を有するアタックが強い信号と判別される信号に対して短いトランスフォームの長さでさらに細密に符号化し、その結果を出力端子ＯＵＴ３に出力する。ここで、信号は、第１変換方法により変換される信号でありうる。
【００２６】
心理音響モデル適用部３１０は、人間の聴覚特性による知覚的な重複性を除去あるいは排除するために、入力信号に対して心理音響モデルを適用する。また、心理音響モデル適用部３１０は、入力端子ＩＮ２を通じて入力される周波数ドメインで表現された信号の各サブバンドに対して割当てられるビットを計算する。
【００２７】
心理音響モデル適用部３１０は、人間の聴覚特性を利用した心理音響モデルを適用して感度の低い細部情報を省略し、周波数別に感度の程度を意味するＳＭＲ値を異ならせて割当てる。心理音響モデル適用部２００は、第２変換方式に変換された信号を利用して心理音響モデルを適用し、第２変換方式の例としてＭＤＳＴがある。
【００２８】
重要周波数成分選択部３２０は、入力端子ＩＮ２を通じて入力される周波数ドメインで表現された信号の各サブバンドから重要スペクトル成分を選択する。重要周波数成分選択部３２０で重要スペクトル成分を選択する方法として次のような方法がある。第１に、ＳＭＲ値を計算してマスキング閾値より大きい信号を重要スペクトル成分として選択する。第２に、所定の加重値を考慮してスペクトルピークを抽出して重要スペクトル成分を選択する。第３に、各サブバンド別にＳＮＲ値を計算してＳＮＲ値の低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を重要スペクトル成分として選択する。前記３つの方法は別途に実施してもよく、少なくとも１つ以上の方法を組合わせて実施しても良い。
【００２９】
量子化部３３０は、心理音響モデル適用部３１０で割当てられたＳＭＲ値で重要周波数成分選択部３２０から選択された重要スペクトル成分を量子化して出力端子ＯＵＴ４を通じて出力する。
【００３０】
ノイズ処理部３４０は、入力端子ＩＮ２を通じて入力される周波数ドメインで表現された信号から、重要周波数成分選択部３２０で選択された重要スペクトル成分を除いた残余スペクトル成分を抽出し、残余スペクトル成分のノイズレベルをサブバンド別に計算して量子化する。ここで、ノイズ処理部３４０は、量子化された結果を出力端子ＯＵＴ５を通じて出力する。
【００３１】
ここで、ノイズレベルは線形予測（ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｏｎ）分析を行って計算しうる。このような線形予測分析は、自己相関法（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｍｅｔｈｏｄ）を利用して行い、共分散法（ｃｏｖａｒｉａｎｃｅ  ｍｅｔｈｏｄ）、ダービンの方法（Ｄｕｒｂｉｎ’ｓ  ｍｅｔｈｏｄ）を利用しうる。線形予測を通じて符号化器で、現在フレームにノイズ成分がどの位あるかを予測する。もし、ノイズ成分が強い場合、ノイズレベルをそのまま伝送し、ノイズ成分が少なく、トーン成分が強い場合には、相対的にノイズレベルを減らして伝送する。また、小さなウィンドウである場合には、ノイズが急変する場合であるために、追加的にノイズレベルを減らして伝送する。
【００３２】
多重化部１２０は、周波数ドメイン符号化部１１０で符号化した結果を多重化してビットストリームを生成し、出力端子ＯＵＴを通じて出力する。ここで、周波数ドメイン符号化部１１０で符号化した結果は、図２の実施例に記述された出力端子ＯＵ１の量子化部２２０で重要スペクトル成分を量子化した結果及び出力端子ＯＵＴ２のノイズ処理部２３０で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された出力端子ＯＵＴ３の音声ツール符号化部３００で符号化された結果、出力端子ＯＵＴ４の量子化部３３０で重要スペクトル成分を量子化した結果及び出力端子ＯＵＴ５のノイズ処理部３４０で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【００３３】
図４は、オーディオ及び／またはスピーチ信号符号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号符号化装置は、ドメイン変換部４００、モード決定部４１０、時間ドメイン符号化部４２０、周波数ドメイン符号化部４３０及び多重化部４４０を含んでなる。
【００３４】
ドメイン変換部４００は、入力端子ＩＮ４を通じて入力された入力信号を時間ドメインから周波数ドメインに変換してサブバンド別に分割し、所定のサブバンドに対して時間ドメインに逆変換する。
【００３５】
ここで、ドメイン変換部４００は、時間ドメインで表現された信号を入力されて時間ドメイン及び周波数ドメインで同時に表現できるあらゆる変換方式で具現しうる。さらに詳細には、時間ドメインで表現された信号を周波数ドメインに変換した後、バンド別に適切に時間解像度（ｔｅｍｐｏｒａｌ  ｒｅｓｏｌｕｔｉｏｎ）を調節し、所定のサブバンドに対して周波数ドメインで表現できる適応性（ｆｌｅｘｉｂｌｅ）変換方式である。さらに、虚数表現を通じて心理音響モジュールを適用するための信号も生成する。このような変換方式の一例としてＦＶ−ＭＬＴ（Ｆｒｅｑｕｅｎｃｙ  Ｖａｒｙｉｎｇ  Ｍｏｄｕｌａｔｅｄ  Ｌａｐｐｅｄ  Ｔｒａｎｓｆｏｒｍ）がある。
【００３６】
このようなドメイン変換部４００は、第１ドメイン変換部４０３及び第２ドメイン変換部４０６を含んでなる。
【００３７】
第１ドメイン変換部４０３は、入力端子ＩＮ４を通じて入力された入力信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する。ここで、第１ドメイン変換部４０３は、入力信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも入力信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、入力信号の符号化に利用され、第２変換方式により変換された信号は、入力信号に対して心理音響モデルを適用するのに利用される。
【００３８】
例えば、第１ドメイン変換部４０３は、入力信号を第１変換方式に該当するＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）により周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）により周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、入力信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、入力信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチ（ｍｉｓｓｍａｔｃｈ）を解決しうる。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【００３９】
第２ドメイン逆変換部４０６は、第１ドメイン変換部４０３で周波数ドメインに変換された所定のサブバンドを、第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する。例えば、第２ドメイン逆変換部４０６は、第１変換方式に対する逆変換方式に該当するＩＭＤＣＴ（Ｉｎｖｅｒｓｅ  Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）により逆変換する。
【００４０】
モード決定部４１０は、第１ドメイン変換部４０３で周波数ドメインに変換された信号の各サブバンドに対して、周波数ドメインでの符号化の適否を判断する。言い換えれば、モード決定部４１０は、既定の基準によって各サブバンドに対して、周波数ドメインで符号化するか、時間ドメインで符号化するかを決定する。また、モード決定部４１０は、各サブバンドに対してモード決定部４１０で決定されたドメインを示す識別子を量子化して多重化部４４０に出力する。
【００４１】
ここで、モード決定部４１０が所定のサブバンドに対して周波数ドメインでの符号化の適否を判断するに当たって、第１ドメイン変換部４０３から入力される周波数ドメインに該当する信号のみ利用する方法、入力端子ＩＮ４を通じて入力される時間ドメインに該当する信号のみ利用する方法、第１ドメイン変換部４０３から入力される周波数ドメインに該当する信号と入力端子ＩＮ４を通じて入力される時間ドメインに該当する信号とをいずれも利用する方法がある。
【００４２】
モード決定部４１０で、周波数ドメインでの符号化が適しないと判断されたサブバンドを、第２ドメイン逆変換部４０６は、第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する。
【００４３】
時間ドメイン符号化部４２０は、第２ドメイン逆変換部４０６で時間ドメインに逆変換されたサブバンドの信号を時間ドメインで符号化する。
【００４４】
所定の場合、モード決定部４１０で、周波数ドメインでの符号化が適しないと判断されたサブバンドも、時間ドメイン符号化部４２０で該当するサブバンドの信号を時間ドメインで符号化すると同時に、周波数ドメイン符号化部４３０でも同じサブバンドの信号を周波数ドメインで符号化することもできる。これにより、所定の１つ以上のサブバンドは、時間ドメインのみならず、周波数ドメインでも符号化される。この場合、所定サブバンドの信号が時間ドメイン及び周波数ドメインの両方で符号化されたという識別子を量子化して多重化部４４０に出力する。
【００４５】
周波数ドメイン符号化部４３０は、モード決定部４１０で、周波数ドメインでの符号化が適すると判断されたサブバンドを、周波数ドメインで符号化する。ここで、周波数ドメイン符号化部４３０は、前述した図２及び図３に図示された例によって実施できる。
【００４６】
多重化部４４０は、各サブバンドが符号化されたドメインを示す識別子を量子化した結果、時間ドメイン符号化部４２０で符号化した結果及び周波数ドメイン符号化部４３０で符号化した結果を含んで多重化することによって、ビットストリームを生成して出力端子ＯＵＴを通じて出力する。ここで、周波数ドメイン符号化部４３０で符号化した結果は、図２の実施例に記述された量子化部２２０で重要スペクトル成分を量子化した結果、及びノイズ処理部２３０で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された音声ツール符号化部３００で符号化された結果、量子化部３３０で重要スペクトル成分を量子化した結果及びノイズ処理部３４０で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【００４７】
図５は、オーディオ及び／またはスピーチ信号符号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号符号化装置は、ステレオ符号化部５００、第１ドメイン変換部５１０、周波数ドメイン符号化部５２０及び多重化部５３０を含んでなる。
【００４８】
ステレオ符号化部５００は、入力端子ＩＮを通じて入力された入力信号がステレオ信号に該当する場合、入力信号を分析してパラメータを抽出し、ダウンミキシング（ｄｏｗｎｍｉｘｉｎｇ）する。ステレオ符号化部５００で抽出するパラメータは、符号化端で伝送したモノ信号を復号化端でステレオ信号にアップミキシング（ｕｐｍｉｘｉｎｇ）するのに必要な情報を意味する。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度（ｃｏｒｒｅｌａｔｉｏｎ）または干渉度（ｃｏｈｅｒｅｎｃｅ）などがある。ここで、ステレオ符号化部５００は、抽出したパラメータを量子化して多重化部５３０に出力する。
【００４９】
第１ドメイン変換部５１０は、ステレオ符号化部５００でダウンミキシングされた信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する。ここで、第１ドメイン変換部５１０は、ステレオ符号化部５００でダウンミキシングされた信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも入力信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、入力信号の符号化に利用され、第２変換方式により変換された信号は、入力信号に対して心理音響モデルを適用するのに利用される。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【００５０】
例えば、第１ドメイン変換部５１０は、入力信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、入力信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、入力信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【００５１】
周波数ドメイン符号化部５２０は、第１ドメイン変換部５１０から入力される周波数ドメインで表現された信号の各サブバンドから重要スペクトル成分を選択して量子化し、重要スペクトル成分を除いた残余スペクトル成分を抽出することによって、残余スペクトル成分のノイズレベルを計算して量子化する。このような周波数ドメイン符号化部５２０は、前述した図２及び図３に例示された通りに実施しうる。
【００５２】
多重化部５３０は、ステレオ符号化部５００で量子化されたパラメータ及び周波数ドメイン符号化部５２０で符号化した結果を多重化してビットストリームを生成し、出力端子ＯＵＴを通じて出力する。ここで、周波数ドメイン符号化部５２０で符号化した結果は、図２の実施例に記述された量子化部２２０で重要スペクトル成分を量子化した結果及びノイズ処理部２３０で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された音声ツール符号化部３００で符号化された結果、量子化部３３０で重要スペクトル成分を量子化した結果及びノイズ処理部３４０で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【００５３】
図６は、オーディオ及び／またはスピーチ信号符号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号符号化装置は、ステレオ符号化部６００、ドメイン変換部６１０、モード決定部６２０、時間ドメイン符号化部６３０、周波数ドメイン符号化部６４０及び多重化部６５０を含んでなる。
【００５４】
ステレオ符号化部６００は、入力端子ＩＮを通じて入力された入力信号がステレオ信号に該当する場合、入力信号を分析してパラメータを抽出し、ダウンミキシングする。ステレオ符号化部６００で抽出するパラメータは、符号化端で伝送したモノ信号を復号化端でステレオ信号にアップミキシングするのに必要な情報を意味する。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。ここで、ステレオ符号化部６００は、抽出したパラメータを量子化して多重化部５３０に出力する。
【００５５】
ドメイン変換部６１０は、ステレオ符号化部６００でダウンミキシングされた信号を時間ドメインから周波数ドメインに変換してサブバンド別に分割し、所定のサブバンドに対して時間ドメインに逆変換する。
【００５６】
ここで、ドメイン変換部６１０は、時間ドメインで表現された信号を入力されて時間ドメイン及び周波数ドメインで同時に表現できるあらゆる変換方式で具現しうる。さらに詳細には、時間ドメインで表現された信号を周波数ドメインに変換した後、バンド別に適切に時間解像度を調節し、所定のサブバンドに対して周波数ドメインで表現できる適応性変換方式である。さらに、虚数表現を通じて心理音響モジュールを適用するための信号も生成する。このような変換方式の一例として、ＦＶ−ＭＬＴ（Ｆｒｅｑｕｅｎｃｙ  Ｖａｒｙｉｎｇ  Ｍｏｄｕｌａｔｅｄ  Ｌａｐｐｅｄ  Ｔｒａｎｓｆｏｒｍ）がある。
【００５７】
このようなドメイン変換部６１０は、第１ドメイン変換部６１３及び第２ドメイン逆変換部６１６を含んでなる。
【００５８】
第１ドメイン変換部６１３は、ステレオ符号化部６００でダウンミキシングされた信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する。ここで、第１ドメイン変換部６１３は、ステレオ符号化部６００でダウンミキシングされた信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために第１変換方式以外の第２変換方式でも入力信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、ダウンミキシングされた信号の符号化に利用され、第２変換方式により変換された信号は、ダウンミキシングされた信号に対して心理音響モデルを適用するのに利用される。
【００５９】
例えば、第１ドメイン変換部６１３は、ダウンミキシングされた信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、ダウンミキシングされた信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、ダウンミキシングされた信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【００６０】
第２ドメイン逆変換部６１６は、第１ドメイン変換部６１３で周波数ドメインに変換された所定のサブバンドを、第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する。例えば、第２ドメイン逆変換部６１６は、第１変換方式に対する逆変換方式に該当するＩＭＤＣＴ（Ｉｎｖｅｒｓｅ  Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）により逆変換する。
【００６１】
モード決定部６２０は、第１ドメイン変換部６１３で周波数ドメインに変換された信号の各サブバンドに対して、周波数ドメインでの符号化の適否を判断する。言い換えれば、モード決定部６２０は、各サブバンドに対して、周波数ドメインで符号化するか、時間ドメインで符号化するかを決定する。また、モード決定部６２０は、各サブバンドに対してモード決定部６２０で決定されたドメインを示す識別子を量子化して多重化部６５０に出力する。
【００６２】
ここで、モード決定部６２０が所定のサブバンドに対して、周波数ドメインでの符号化の適否を判断するに当たって、第１ドメイン変換部６１３から入力される周波数ドメインに該当する信号のみ利用する方法、ステレオ符号化部６００から入力される時間ドメインに該当する信号のみ利用する方法、第１ドメイン変換部６１３から入力される周波数ドメインに該当する信号及びステレオ符号化部６００から入力される時間ドメインに該当する信号とをいずれも利用する方法がある。
【００６３】
第２ドメイン逆変換部６１６は、モード決定部６２０で、周波数ドメインでの符号化が適しないと判断されたサブバンドを第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する。例えば、第２ドメイン逆変換部６１６は、ＩＭＤＣＴを適用して所定のサブバンドを時間ドメインに逆変換する。
【００６４】
時間ドメイン符号化部６３０は、第２ドメイン逆変換部６１６で時間ドメインに逆変換されたサブバンドの信号を時間ドメインで符号化する。
【００６５】
所定の場合モード決定部６２０で、周波数ドメインでの符号化が適しないと判断されたサブバンドも、時間ドメイン符号化部６３０で該当するサブバンドの信号を時間ドメインで符号化すると同時に、周波数ドメイン符号化部６４０でも、同じサブバンドの信号を周波数ドメインで符号化することもできる。これにより、所定の１つ以上のサブバンドは、時間ドメインのみならず、周波数ドメインでも符号化される。この場合、所定サブバンドの信号が時間ドメイン及び周波数ドメインの両方で符号化されたという識別子を量子化して多重化部６５０に出力する。
【００６６】
周波数ドメイン符号化部６４０は、モード決定部６２０で、周波数ドメインでの符号化が適すると判断されたサブバンドを、周波数ドメインで符号化する。ここで、周波数ドメイン符号化部６４０は、前述した図２及び図３に図示された例によって実施できる。
【００６７】
多重化部６５０は、ステレオ符号化部６００で量子化されたパラメータ各サブバンドが符号化されたドメインを示す識別子を量子化した結果、時間ドメイン符号化部６３０で符号化した結果及び周波数ドメイン符号化部６４０で符号化した結果を含んで多重化することによって、ビットストリームを生成して出力端子ＯＵＴを通じて出力する。ここで、周波数ドメイン符号化部６３０で符号化した結果は、図２の実施例に記述された量子化部２２０で重要スペクトル成分を量子化した結果及びノイズ処理部２３０で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された音声ツール符号化部３００で符号化された結果、量子化部３３０で重要スペクトル成分を量子化した結果及びノイズ処理部３４０で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【００６８】
図７は、オーディオ及び／またはスピーチ信号符号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号符号化装置は、バンド分割部７００、第１ドメイン変換部７１０、周波数ドメイン符号化部７２０、高周波数バンド符号化部７３０及び多重化部７４０を含んでなる。
【００６９】
バンド分割部７００は、入力端子ＩＮを通じて入力された入力信号を所定の周波数を基準に低周波数バンド信号と高周波数バンド信号とに分割する。
【００７０】
第１ドメイン変換部７１０は、バンド分割部７００で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する。ここで、第１ドメイン変換部７１０は、低周波数バンド信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも低周波数バンド信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、低周波数バンド信号の符号化に利用され、第２変換方式により変換された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【００７１】
例えば、第１ドメイン変換部７１０は、低周波数バンド信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、低周波数バンド信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【００７２】
周波数ドメイン符号化部７２０は、第１ドメイン変換部７１０から入力される周波数ドメインで表現された信号の各サブバンドから重要スペクトル成分を選択して量子化し、重要スペクトル成分を除いた残余スペクトル成分を抽出することによって、残余スペクトル成分のノイズレベルを計算して量子化する。このような周波数ドメイン符号化部７２０は、前述した図２及び図３に例示された通りに実施しうる。
【００７３】
高周波数バンド符号化部７３０は、低周波数バンド信号を利用してバンド分割部７００で分割された高周波数バンド信号を符号化する。
【００７４】
多重化部７４０は、周波数ドメイン符号化部７２０で符号化した結果及び高周波数バンド符号化部７３０で符号化した結果を多重化してビットストリームを生成し、出力端子ＯＵＴを通じて出力する。ここで、周波数ドメイン符号化部７２０で符号化した結果は、図２の実施例に記述された量子化部２２０で重要スペクトル成分を量子化した結果及びノイズ処理部２３０で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された音声ツール符号化部３００で符号化された結果、量子化部３３０で重要スペクトル成分を量子化した結果及びノイズ処理部３４０で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【００７５】
図８は、オーディオ及び／またはスピーチ信号符号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号符号化装置は、バンド分割部８００、ドメイン変換部８１０、モード決定部８２０、時間ドメイン符号化部８３０、周波数ドメイン符号化部８４０、高周波数バンド符号化部８５０及び多重化部８６０を含んでなる。
【００７６】
バンド分割部８００は、入力端子ＩＮを通じて入力された入力信号を所定の周波数を基準に低周波数バンド信号と高周波数バンド信号とに分割する。
【００７７】
ドメイン変換部８１０は、バンド分割部８００で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換してサブバンド別に分割し、所定のサブバンドに対して時間ドメインに逆変換する。
【００７８】
ここで、ドメイン変換部８１０は、時間ドメインで表現された信号を入力されて時間ドメイン及び周波数ドメインで同時に表現できるあらゆる変換方式で具現しうる。さらに詳細には、時間ドメインで表現された信号を周波数ドメインに変換した後、バンド別に適切に時間解像度を調節し、所定のサブバンドに対して周波数ドメインで表現できる適応性変換方式である。さらに、虚数表現を通じて心理音響モジュールを適用するための信号も生成する。このような変換方式の一例として、ＦＶ−ＭＬＴがある。
【００７９】
このようなドメイン変換部８１０は、第１ドメイン変換部８１３及び第２ドメイン逆変換部８１６を含んでなる。
【００８０】
第１ドメイン変換部８１３は、バンド分割部８００で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する。ここで、第１ドメイン変換部８１３は、低周波数バンド信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために第１変換方式以外の第２変換方式でも、低周波数バンド信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、低周波数バンド信号の符号化に利用され、第２変換方式により変換された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。
【００８１】
例えば、第１ドメイン変換部８１３は、低周波数バンド信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、低周波数バンド信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【００８２】
第２ドメイン逆変換部８１６は、第１ドメイン変換部８１３で周波数ドメインに変換された所定のサブバンドを、第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する。例えば、第２ドメイン逆変換部８１６は、第１変換方式に対する逆変換方式に該当するＩＭＤＣＴにより周波数ドメインから時間ドメインに逆変換する。
【００８３】
モード決定部８２０は、第１ドメイン変換部８１３で周波数ドメインに変換された低周波数バンド信号の各サブバンドに対して周波数ドメインでの符号化の適否を判断する。言い換えれば、モード決定部８２０は、各サブバンドに対して、周波数ドメインで符号化するか、時間ドメインで符号化するかを決定する。また、モード決定部８２０は、各サブバンドに対してモード決定部８２０で決定されたドメインを示す識別子を量子化して多重化部８６０に出力する。
【００８４】
ここで、モード決定部８２０が所定のサブバンドに対して周波数ドメインでの符号化の適否を判断するに当たって、第１ドメイン変換部８１３から入力される周波数ドメインに該当する信号のみ利用する方法、バンド分割部８００から入力される時間ドメインに該当する信号のみ利用する方法、第１ドメイン変換部８１３から入力される周波数ドメインに該当する信号及びバンド分割部８００から入力される時間ドメインに該当する信号とをいずれも利用する方法がある。
【００８５】
第２ドメイン逆変換部８１６は、モード決定部８２０で、周波数ドメインでの符号化が適しないと判断されたサブバンドを第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する。例えば、第２ドメイン逆変換部８１６は、ＩＭＤＣＴを適用して所定のサブバンドを周波数ドメインから時間ドメインに逆変換する。
【００８６】
時間ドメイン符号化部８３０は、第２ドメイン逆変換部８１６で時間ドメインに逆変換されたサブバンドの信号を時間ドメインで符号化する。
【００８７】
所定の場合モード決定部８２０で、周波数ドメインでの符号化が適しないと判断されたサブバンドも時間ドメイン符号化部８３０で該当するサブバンドの信号を時間ドメインで符号化すると同時に、周波数ドメイン符号化部８４０でも同じサブバンドの信号を周波数ドメインで符号化することもできる。これにより、所定の１つ以上のサブバンドは、時間ドメインのみならず、周波数ドメインでも符号化される。この場合、所定サブバンドの信号が時間ドメイン及び周波数ドメインの両方で符号化されたという識別子を量子化して多重化部８６０に出力する。
【００８８】
周波数ドメイン符号化部８４０は、モード決定部８２０で、周波数ドメインでの符号化が適すると判断されたサブバンドを、周波数ドメインで符号化する。ここで、周波数ドメイン符号化部８４０は、前述した図２及び図３に示された例によって実施できる。
【００８９】
高周波数バンド符号化部８５０は、低周波数バンド信号を利用してバンド分割部８００で分割された高周波数バンド信号を符号化する。
【００９０】
多重化部８６０は、各サブバンドが符号化されたドメインを示す識別子を量子化した結果、時間ドメイン符号化部８３０で符号化した結果、周波数ドメイン符号化部８４０で符号化した結果及び高周波数バンド符号化部８５０で符号化された結果を含んで多重化することによって、ビットストリームを生成して出力端子ＯＵＴを通じて出力する。ここで、周波数ドメイン符号化部８４０で符号化した結果は、図２の実施例に記述された量子化部２２０で重要スペクトル成分を量子化した結果及びノイズ処理部２３０で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された音声ツール符号化部３００で符号化された結果、量子化部３３０で重要スペクトル成分を量子化した結果及びノイズ処理部３４０で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【００９１】
図９は、オーディオ及び／またはスピーチ信号符号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号符号化装置は、ステレオ符号化部９００、バンド分割部９１０、第１ドメイン変換部９２０、周波数ドメイン符号化部９３０、高周波数バンド符号化部９４０及び多重化部９５０を含んでなる。
【００９２】
ステレオ符号化部９００は、入力端子ＩＮを通じて入力された入力信号がステレオ信号に該当する場合、入力信号を分析してパラメータを抽出し、ダウンミキシングする。ステレオ符号化部９００で抽出するパラメータは、符号化端で伝送したモノ信号を復号化端でステレオ信号にアップミキシングするのに必要な情報を意味する。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。ステレオ符号化部９００は、抽出したパラメータを量子化して多重化部９５０に出力する。
【００９３】
バンド分割部９１０は、ステレオ符号化部９００でダウンミキシングされた信号を所定の周波数を基準に低周波数バンド信号と高周波数バンド信号とに分割する。
【００９４】
第１ドメイン変換部９２０は、バンド分割部９１０で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する。ここで、第１ドメイン変換部９２０は、低周波数バンド信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために第１変換方式以外の第２変換方式でも低周波数バンド信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、低周波数バンド信号の符号化に利用され、第２変換方式により変換された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【００９５】
例えば、第１ドメイン変換部９２０は、低周波数バンド信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、低周波数バンド信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【００９６】
周波数ドメイン符号化部９３０は、第１ドメイン変換部９２０から入力される周波数ドメインで表現された信号の各サブバンドから重要スペクトル成分を選択して量子化し、重要スペクトル成分を除いた残余スペクトル成分を抽出することによって、残余スペクトル成分のノイズレベルを計算して量子化する。このような周波数ドメイン符号化部９３０は、前述した図２及び図３に例示された通りに実施しうる。
【００９７】
高周波数バンド符号化部９４０は、低周波数バンド信号を利用してバンド分割部９１０で分割された高周波数バンド信号を符号化する。
【００９８】
多重化部９５０は、ステレオ符号化部９００で量子化されたパラメータ、周波数ドメイン符号化部９３０で符号化した結果及び高周波数バンド符号化部９４０で符号化した結果を多重化してビットストリームを生成し、出力端子ＯＵＴを通じて出力する。ここで、周波数ドメイン符号化部９９０で符号化した結果は、図２の実施例に記述された量子化部２２０で重要スペクトル成分を量子化した結果及びノイズ処理部２３０で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された音声ツール符号化部３００で符号化された結果、量子化部３３０で重要スペクトル成分を量子化した結果及びノイズ処理部３４０で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【００９９】
図１０は、オーディオ及び／またはスピーチ信号符号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号符号化装置は、ステレオ符号化部１０００、バンド分割部１０１０、ドメイン変換部１０２０、モード決定部１０３０、時間ドメイン符号化部１０４０、周波数ドメイン符号化部１０５０、高周波数バンド符号化部１０６０及び多重化部１０７０を含んでなる。
【０１００】
ステレオ符号化部１０００は、入力端子ＩＮを通じて入力された入力信号がステレオ信号に該当する場合、入力信号を分析してパラメータを抽出し、ダウンミキシングする。ステレオ符号化部１０００で抽出するパラメータは、符号化端で伝送したモノ信号を復号化端でステレオ信号にアップミキシングするのに必要な情報を意味する。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。ステレオ符号化部１０００は、抽出したパラメータを量子化して多重化部１０７０に出力する。
【０１０１】
バンド分割部１０１０は、ステレオ符号化部１０００でダウンミキシングされた信号を所定の周波数を基準に低周波数バンド信号と高周波数バンド信号とに分割する。
【０１０２】
ドメイン変換部１０２０は、バンド分割部１０１０で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換してサブバンド別に分割し、所定のサブバンドに対して時間ドメインに逆変換する。
【０１０３】
ここで、ドメイン変換部１０２０は、時間ドメインで表現された信号を入力されて時間ドメイン及び周波数ドメインで同時に表現できるあらゆる変換方式で具現しうる。さらに詳細には、時間ドメインで表現された信号を周波数ドメインに変換した後、バンド別に適切に時間解像度を調節し、所定のサブバンドに対して周波数ドメインで表現できる適応性  変換方式である。さらに、虚数表現を通じて心理音響モジュールを適用するための信号も生成する。このような変換方式の一例として、ＦＶ−ＭＬＴがある。
【０１０４】
このようなドメイン変換部１０２０は、第１ドメイン変換部１０２３及び第２ドメイン逆変換部１０２６を含んでなる。
【０１０５】
第１ドメイン変換部１０２３は、バンド分割部１０１０で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する。ここで、第１ドメイン変換部１０２３は、低周波数バンド信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために第１変換方式以外の第２変換方式でも低周波数バンド信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、低周波数バンド信号の符号化に利用され、第２変換方式により変換された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０１０６】
例えば、第１ドメイン変換部１０２３は、低周波数バンド信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、低周波数バンド信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【０１０７】
第２ドメイン逆変換部１０２６は、第１ドメイン変換部１０２３で周波数ドメインに変換された所定のサブバンドを、第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する。例えば、第２ドメイン逆変換部１０２６は、第１変換方式に対する逆変換方式に該当するＩＭＤＣＴにより逆変換する。
【０１０８】
モード決定部１０３０は、第１ドメイン変換部１０２３で周波数ドメインに変換された低周波数バンド信号の各サブバンドに対して周波数ドメインでの符号化の適否を判断する。言い換えれば、モード決定部１０３０は、既定の基準によって各サブバンドに対して、周波数ドメインで符号化するか、時間ドメインで符号化するかを決定する。また、モード決定部１０３０は、各サブバンドに対してモード決定部１０３０で決定されたドメインを示す識別子を量子化して多重化部１０７０に出力する。
【０１０９】
ここで、モード決定部１０３０が所定のサブバンドに対して周波数ドメインでの符号化の適否を判断するに当たって、第１ドメイン変換部１０２３から入力される周波数ドメインに該当する信号のみ利用する方法、バンド分割部１０１０から入力される時間ドメインに該当する信号のみ利用する方法、第１ドメイン変換部１０２３から入力される周波数ドメインに該当する信号とバンド分割部１０１０から入力される時間ドメインに該当する信号とをいずれも利用する方法がある。
【０１１０】
第２ドメイン逆変換部１０２６は、モード決定部１０３０で、周波数ドメインでの符号化が適しないと判断されたサブバンドを第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する。例えば、第２ドメイン逆変換部１０２６は、ＩＭＤＣＴを適用して所定のサブバンドを逆変換する。
【０１１１】
時間ドメイン符号化部１０４０は、第２ドメイン逆変換部１０２６で時間ドメインに逆変換されたサブバンドの信号を時間ドメインで符号化する。
【０１１２】
所定の場合モード決定部１０３０で、周波数ドメインでの符号化が適しないと判断されたサブバンドも時間ドメイン符号化部１０４０で該当するサブバンドの信号を時間ドメインで符号化すると同時に、周波数ドメイン符号化部１０５０でも同じサブバンドの信号を周波数ドメインで符号化することもできる。これにより、所定の１つ以上のサブバンドは、時間ドメインのみならず、周波数ドメインでも符号化される。この場合、所定サブバンドの信号が時間ドメイン及び周波数ドメインの両方で符号化されたという識別子を量子化して多重化部１０７０に出力する。
【０１１３】
周波数ドメイン符号化部１０５０は、モード決定部１０３０で、周波数ドメインでの符号化が適すると判断されたサブバンドを、周波数ドメインで符号化する。ここで、周波数ドメイン符号化部１０５０は、前述した図２及び図３に図示された例によって実施できる。
【０１１４】
高周波数バンド符号化部１０６０は、低周波数バンド信号を利用してバンド分割部１０１０で分割された高周波数バンド信号を符号化する。
【０１１５】
多重化部１０７０は、ステレオ符号化部１０００で量子化されたパラメータ、各サブバンドが符号化されたドメインを示す識別子を量子化した結果、時間ドメイン符号化部１０４０で符号化した結果、周波数ドメイン符号化部１０５０で符号化した結果及び高周波数バンド符号化部１０６０で符号化された結果を含んで多重化することによって、ビットストリームを生成して出力端子ＯＵＴを通じて出力する。ここで、周波数ドメイン符号化部１０５０で符号化した結果は、図２の実施例に記述された量子化部２２０で重要スペクトル成分を量子化した結果及びノイズ処理部２３０で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された音声ツール符号化部３００で符号化された結果、量子化部３３０で重要スペクトル成分を量子化した結果及びノイズ処理部３４０で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【０１１６】
図１１は、オーディオ及び／またはスピーチ信号復号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号復号化装置は逆多重化部１１００、周波数ドメイン復号化部１１１０及び第２ドメイン逆変換部１１２０を含んでなる。
【０１１７】
逆多重化部１１００は、入力端子ＩＮを通じて符号化端から伝送されたビットストリームを入力されて逆多重化する。ここで、逆多重化部１１００が出力するデータには、符号化端によって周波数ドメインで符号化された結果として重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果が含まれるもある。
【０１１８】
周波数ドメイン復号化部１１１０は逆多重化部１１００から出力される符号化端によって周波数ドメインで符号化された結果を復号化する。さらに詳細には、周波数ドメイン復号化部１１１０は各サブバンドから選択された重要スペクトル成分を復号化して、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような周波数ドメイン復号化部１１１０は、図１２及び図１３に例示された通りに実施しうる。
【０１１９】
第１に、図１２は、図１１に示されたオーディオ及び／またはスピーチ信号復号化装置の周波数ドメイン復号化部１１１０の一実施例を示すブロック図であって、周波数ドメイン復号化部１１１０は、逆量子化部１２００及びノイズ復号化部１２１０を含んでなる。
【０１２０】
逆量子化部１２００は、人間の聴覚特性による知覚的な重複性を除去する心理音響モデルを適用してそれぞれ異なって割当てられたビットで符号化された重要スペクトル成分を入力端子ＩＮ１を通じて逆多重化された結果を入力されて逆量子化する。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０１２１】
ノイズ復号化部１２１０は、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを入力端子ＩＮ２を通じて逆多重化された結果を入力されて復号化する。また、ノイズ復号化部１２１０は、復号化されたノイズレベルを逆量子化部１２００で逆量子化された重要スペクトル成分に合成する。ここで、ノイズ復号化部１２１０は、合成された結果を出力端子ＯＵＴ１を通じて出力する。
【０１２２】
第２に、図１３は、図１１に示されたオーディオ及び／またはスピーチ信号復号化装置の周波数ドメイン復号化部１１１０の他の実施例を示すブロック図であって、周波数ドメイン復号化部１１１０は、逆量子化部１３００、ノイズ復号化部１３１０及び音声ツール復号化部１３２０を含んでなる。
【０１２３】
逆量子化部１３００は、人間の聴覚特性による知覚的な重複性を除去する心理音響モデルを適用してそれぞれ異なって割当てられたビットで符号化された重要スペクトル成分を入力端子ＩＮ３を通じて逆多重化された結果を入力されて逆量子化する。
【０１２４】
ノイズ復号化部１３１０は、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを入力端子ＩＮ４を通じて逆多重化された結果を入力されて復号化する。また、ノイズ復号化部１３１０は、復号化されたノイズレベルを逆量子化部１２００で逆量子化された重要スペクトル成分に合成する。
【０１２５】
音声ツール復号化部１３２０は、符号化端で音声ツールにより符号化された結果を入力端子ＩＮ５を通じて逆多重化された結果を入力されて復号化する。また、音声ツール復号化部１３２０は、音声ツール復号化部１３２０で復号化された結果をノイズ復号化部１３１０で合成された結果に合成する。ここで、音声ツール復号化部１３２０は、合成された結果を出力端子ＯＵＴ２を通じて出力する。
【０１２６】
図１１を参照すれば、第２ドメイン逆変換部１１２０は、周波数ドメイン復号化部１１１０で復号化された結果を周波数ドメインから時間ドメインに第２逆変換方式により逆変換する。ここで、第２逆変換方式は、前述した第２変換方式に対する逆変換過程を適用したものであって、例えば、ＩＭＤＣＴ（Ｉｎｖｅｒｓｅ  Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）がある。また、第２ドメイン逆変換部１１２０は、逆変換された結果を出力端子ＯＵＴを通じて出力する。例えば、第２ドメイン逆変換部１１２０は、図１２の出力端子ＯＵＴ１で、ノイズ復号化部１２１０で合成された信号をＩＭＤＣＴにより周波数ドメインから時間ドメインに逆変換し、図１３の出力端子ＯＵＴ２で、音声ツール復号化部１３２０で合成された信号をＩＭＤＣＴにより周波数ドメインから時間ドメインに逆変換する。
【０１２７】
図１４は、オーディオ及び／またはスピーチ信号復号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号復号化装置は、逆多重化部１４００、モード判断部１４１０、周波数ドメイン復号化部１４２０、時間ドメイン復号化部１４３０及びドメイン変換部１４４０を含んでなる。
【０１２８】
逆多重化部１４００は、入力端子ＩＮを通じて符号化端から伝送されたビットストリームを入力されて逆多重化する。ここで、逆多重化部１４００が逆多重化して出力するデータには、各サブバンドが符号化されたドメインの情報、所定のサブバンドに対して符号化端によって周波数ドメインで符号化された結果及び所定のサブバンドに対して符号化端によって時間ドメインで符号化された結果などがある。
【０１２９】
ここで、符号化端によって周波数ドメインで符号化された結果は、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０１３０】
モード判断部１４１０は、逆多重化部１４００から出力された各サブバンドが符号化されたドメインの情報を読出して各サブバンドに対して周波数ドメインで符号化されたか、時間ドメインで符号化されたかを判断する。
【０１３１】
周波数ドメイン復号化部１４２０は、モード判断部１４１０で周波数ドメインで符号化されたと判断された１つ以上のサブバンドを周波数ドメインで復号化する。さらに詳細には、周波数ドメイン復号化部１４２０は、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような周波数ドメイン復号化部１４２０は、図１２及び図１３に例示された通りに実施しうる。
【０１３２】
時間ドメイン復号化部１４３０は、モード判断部１４１０によって時間ドメインで符号化されたと判断された１つ以上のサブバンドを周波数ドメインで復号化する。
【０１３３】
所定の場合、符号化端で特定のサブバンドに対して時間ドメインで符号化すると決定された場合にも、周波数ドメインと時間ドメインとの両方で該当するサブバンドを符号化する場合がある。周波数ドメイン復号化部１４２０は、周波数ドメインで該当サブバンドの符号化結果を復号化し、時間ドメイン復号化部１４３０では、時間ドメインで符号化された結果を復号化する。
【０１３４】
ドメイン変換部１４４０は、時間ドメイン復号化部１４３０で復号化された信号を時間ドメインから周波数ドメインに変換し、周波数ドメイン復号化部１４２０で復号化された信号及び時間ドメイン復号化部１４３０から出力された信号を周波数ドメインに変換された信号を合成して周波数ドメインから時間ドメインに変換する。
【０１３５】
ここで、ドメイン変換部１４４０は、所定のバンド単位で分割されて時間ドメインまたは周波数ドメインで表現された信号を入力されて時間ドメインに変換できるあらゆる変換方式で具現しうる。このような変換方式の一例としてＦＶ−ＭＬＴ（Ｆｒｅｑｕｅｎｃｙ  Ｖａｒｙｉｎｇ  Ｍｏｄｕｌａｔｅｄ  Ｌａｐｐｅｄ  Ｔｒａｎｓｆｏｒｍ）がある。
【０１３６】
ドメイン変換部１４４０は、第２ドメイン変換部１４４３及び第２ドメイン逆変換部１４４６を含んでなる。
【０１３７】
第２ドメイン変換部１４４３は、時間ドメイン復号化部１４３０で復号化された信号を第２変換方式により時間ドメインから周波数ドメインに変換する。例えば、第２変換方式にはＭＤＣＴがある。
【０１３８】
第２ドメイン逆変換部１４４６は、周波数ドメイン復号化部１４２０で復号化されたサブバンドの信号と第２ドメイン変換部１４４３で変換されたサブバンドの信号とを合成して、第２逆変換方式により周波数ドメインから時間ドメインに逆変換する。このような第２逆変換方式は、前述した第２変換方式を逆変換する過程を行うものであって、例えば、ＩＭＤＣＴ（Ｉｎｖｅｒｓｅ  Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）がある。ここで、第２ドメイン逆変換部１４４６は、逆変換された結果を出力端子ＯＵＴを通じて出力する。
【０１３９】
図１５は、オーディオ及び／またはスピーチ信号復号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号復号化装置は、逆多重化部１５００、周波数ドメイン復号化部１５１０、第２ドメイン逆変換部１５２０及びステレオ復号化部１５３０を含んでなる。
【０１４０】
逆多重化部１５００は、入力端子ＩＮを通じて符号化端から伝送されたビットストリームを入力されて逆多重化する。ここで、逆多重化部１５００が逆多重化して出力するデータには符号化端によって周波数ドメインで符号化された結果及びステレオ信号にアップミキシングするためのパラメータを含む。ここで、符号化端によって周波数ドメインで符号化された結果には、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果が含まれるもある。
【０１４１】
周波数ドメイン復号化部１５１０は、逆多重化部１１００から出力される符号化端によって周波数ドメインで符号化された結果を復号化する。さらに詳細には、周波数ドメイン復号化部１５１０は、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような周波数ドメイン復号化部１５１０は、図１２及び図１３に例示された通りに実施しうる。
【０１４２】
第２ドメイン逆変換部１５２０は、周波数ドメイン復号化部１５１０で復号化された結果を周波数ドメインから時間ドメインに第２逆変換方式により逆変換する。ここで、第２逆変換方式は、前述した第２変換方式に対する逆変換過程を適用したものであって、例えば、ＩＭＤＣＴがある。
【０１４３】
ステレオ復号化部１５３０は、第２ドメイン逆変換部１５２０で逆変換されたモノ信号をステレオ信号にアップミックスするためのパラメータを利用してステレオ信号にアップミキシングする。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。ここで、ステレオ復号化部１５３０は、アップミキシングされたステレオ信号を出力端子ＯＵＴを通じて出力する。
【０１４４】
図１６は、オーディオ及び／またはスピーチ信号復号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号復号化装置は、逆多重化部１６００、モード判断部１６１０、周波数ドメイン復号化部１６２０、時間ドメイン復号化部１６３０、ドメイン変換部１６４０及びステレオ復号化部１６５０を含んでなる。
【０１４５】
逆多重化部１６００は、入力端子ＩＮを通じて符号化端から伝送されたビットストリームを入力されて逆多重化する。ここで、逆多重化部１６００が逆多重化して出力するデータには、各サブバンドが符号化されたドメインの情報、所定のサブバンドに対して符号化端によって周波数ドメインで符号化された結果、所定のサブバンドに対して符号化端によって時間ドメインで符号化された結果及びモノ信号をステレオ信号にアップミキシングするためのパラメータなどがある。
【０１４６】
ここで、符号化端によって周波数ドメインで符号化された結果は、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果が含まれることもある。
【０１４７】
モード判断部１６１０は、逆多重化部１６００から出力された各サブバンドが符号化されたドメインの情報を読出して各サブバンドに対して周波数ドメインで符号化されたか、時間ドメインで符号化されたかを判断する。
【０１４８】
周波数ドメイン復号化部１６２０は、モード判断部１６１０で周波数ドメインで符号化されたと判断された１つ以上のサブバンドを周波数ドメインで復号化する。さらに詳細には、周波数ドメイン復号化部１６２０は、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような周波数ドメイン復号化部１６２０は、図１２及び図１３に例示された通りに実施しうる。
【０１４９】
時間ドメイン復号化部１６３０は、モード判断部１６１０によって時間ドメインで符号化されたと判断された１つ以上のサブバンドを時間ドメインで復号化する。
【０１５０】
所定の場合、符号化端で特定のサブバンドに対して時間ドメインで符号化すると決定された場合にも、周波数ドメインと時間ドメインとの両方で該当するサブバンドを符号化する場合がある。該当するサブバンドを周波数ドメイン復号化部１６２０では、周波数ドメインで符号化された結果を復号化し、時間ドメイン復号化部１６３０では、時間ドメインで符号化された結果を復号化する。
【０１５１】
ドメイン変換部１６４０は、時間ドメイン復号化部１６３０で復号化された信号を時間ドメインから周波数ドメインに変換し、周波数ドメイン復号化部１４２０で復号化された信号及び時間ドメイン復号化部１４３０から出力された信号を周波数ドメインに変換された信号を合成して周波数ドメインから時間ドメインに変換する。
【０１５２】
ここで、ドメイン変換部１６４０は、所定のバンド単位で分割されて時間ドメインまたは周波数ドメインで表現された信号を入力されて時間ドメインに変換できるあらゆる変換方式で具現しうる。このような変換方式の一例としてＦＶ−ＭＬＴがある。
【０１５３】
ドメイン変換部１６４０は、第２ドメイン変換部１６４３及び第２ドメイン逆変換部１６４６を含んでなる。
【０１５４】
第２ドメイン変換部１６４３は、時間ドメイン復号化部１６３０で復号化された信号を第２変換方式により時間ドメインから周波数ドメインに変換する。例えば、第２変換方式には、ＭＤＣＴがある。
【０１５５】
第２ドメイン逆変換部１６４６は、周波数ドメイン復号化部１６２０で復号化されたサブバンドの信号と第２ドメイン変換部１６４３で変換されたサブバンドの信号とを合成して、第２逆変換方式により周波数ドメインから時間ドメインに逆変換する。ここで、第２逆変換方式は、前述した第２変換方式を逆変換する過程を行うものであって、例えば、ＩＭＤＣＴがある。
【０１５６】
ステレオ復号化部１６５０は、第２ドメイン逆変換部１６４６で逆変換されたモノ信号をステレオ信号にアップミキシングするためのパラメータを利用してステレオ信号にアップミキシングする。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。また、ステレオ復号化部１６５０は、アップミキシングされたステレオ信号を出力端子ＯＵＴを通じて出力する。
【０１５７】
図１７は、オーディオ及び／またはスピーチ信号復号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号復号化装置は逆多重化部１７００、周波数ドメイン復号化部１７１０、高周波数バンド復号化部１７２０、第２ドメイン逆変換部１７３０及びバンド合成部１７４０を含んでなる。
【０１５８】
逆多重化部１７００は、入力端子ＩＮを通じて符号化端から伝送されたビットストリームを入力されて逆多重化する。ここで、逆多重化部１７００が逆多重化して出力するデータには、符号化端によって周波数ドメインで符号化された結果及び低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報を含む。ここで、符号化端によって周波数ドメインで符号化された結果には、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０１５９】
周波数ドメイン復号化部１７１０は、逆多重化部１７００から出力される符号化端によって周波数ドメインで符号化された結果を復号化する。さらに詳細には、周波数ドメイン復号化部１７１０は、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような周波数ドメイン復号化部１７１０は、図１２及び図１３に例示された通りに実施しうる。
【０１６０】
第２ドメイン逆変換部１７３０は、周波数ドメイン復号化部１７１０で復号化された結果を周波数ドメインから時間ドメインに第２逆変換方式により逆変換する。ここで、第２逆変換方式は、前述した第２変換方式に対する逆変換過程を適用したものであって、例えば、ＩＭＤＣＴがある。
【０１６１】
高周波数バンド復号化部１７２０は、低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報を逆多重化部１７００から入力され、低周波数バンド信号を利用して高周波数バンド信号を生成する。
【０１６２】
バンド合成部１７４０は、第２ドメイン逆変換部１７３０で逆変換された低周波数バンド信号と高周波数バンド復号化部１７２０で生成された高周波数バンド信号とを合成する。ここで、バンド合成部１７４０は、合成された信号を出力端子ＯＵＴを通じて出力する。
【０１６３】
図１８は、オーディオ及び／またはスピーチ信号復号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号復号化装置は逆多重化部１８００、モード判断部１８１０、周波数ドメイン復号化部１８２０、時間ドメイン復号化部１８３０、ドメイン変換部１８４０、高周波数バンド復号化部１８５０及びバンド合成部１８６０を含んでなる。
【０１６４】
逆多重化部１８００は、入力端子ＩＮを通じて符号化端から伝送されたビットストリームを入力されて逆多重化する。ここで、逆多重化部１８００が逆多重化して出力するデータには、各サブバンドが符号化されたドメインの情報、所定のサブバンドに対して符号化端によって周波数ドメインで符号化された結果、所定のサブバンドに対して符号化端によって時間ドメインで符号化された結果及び低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報などがある。
【０１６５】
ここで、符号化端によって周波数ドメインで符号化された結果には、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０１６６】
モード判断部１８１０は、逆多重化部１８００から出力された各サブバンドが符号化されたドメインの情報を読出して各サブバンドに対して周波数ドメインで符号化されたか、時間ドメインで符号化されたかを判断する。
【０１６７】
周波数ドメイン復号化部１８２０は、モード判断部１８１０で周波数ドメインで符号化されたと判断された１つ以上のサブバンドを周波数ドメインで復号化する。さらに詳細には、周波数ドメイン復号化部１８２０は、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような周波数ドメイン復号化部１８２０は、図１２及び図１３に例示された通りに実施しうる。
【０１６８】
時間ドメイン復号化部１８３０は、モード判断部１８１０によって時間ドメインで符号化されたと判断された１つ以上のサブバンドを時間ドメインで復号化する。
【０１６９】
所定の場合、符号化端で特定のサブバンドに対して時間ドメインで符号化すると決定された場合にも周波数ドメインと時間ドメインとの両方で該当するサブバンドを符号化する場合がある。該当するサブバンドを周波数ドメイン復号化部１８２０では周波数ドメインで符号化された結果を復号化し、時間ドメイン復号化部１８３０では時間ドメインで符号化された結果を復号化する。
【０１７０】
ドメイン逆変換部１８４０は、時間ドメイン復号化部１８３０で復号化された信号を時間ドメインから周波数ドメインに変換し、周波数ドメイン復号化部１８２０で復号化された信号及び時間ドメイン復号化部１８３０から出力された信号を周波数ドメインに変換された信号を合成して周波数ドメインから時間ドメインに変換する。
【０１７１】
ここで、ドメイン変換部１８４０は、所定のバンド単位で分割されて時間ドメインまたは周波数ドメインで表現された信号を入力されて時間ドメインに変換できるあらゆる変換方式で具現しうる。このような変換方式の一例としてＦＶ−ＭＬＴ（Ｆｒｅｑｕｅｎｃｙ  Ｖａｒｙｉｎｇ  Ｍｏｄｕｌａｔｅｄ  ＬａｐｐｅｄＴｒａｎｓｆｏｒｍ）がある。
【０１７２】
ドメイン変換部１８４０は、第２ドメイン変換部１８４３及び第２ドメイン逆変換部１８４６を含んでなる。
【０１７３】
第２ドメイン変換部１８４３は、時間ドメイン復号化部１８３０で復号化された信号を第２変換方式により時間ドメインから周波数ドメインに変換する。第２変換方式にはＭＤＣＴがある。
【０１７４】
第２ドメイン逆変換部１８４６は、周波数ドメイン復号化部１６２０で復号化されたサブバンドの信号と第２ドメイン変換部１８４３で変換されたサブバンドの信号とを合成して第２逆変換方式により周波数ドメインから時間ドメインに逆変換する。ここで、第２逆変換方式は、前述した第２変換方式を逆変換する過程を行うものであって、例えば、ＩＭＤＣＴがある。
【０１７５】
高周波数バンド復号化部１８５０は、低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報を逆多重化部１８００から入力され、低周波数バンド信号を利用して高周波数バンド信号を生成する。
【０１７６】
バンド合成部１８６０は、第２ドメイン逆変換部１８４６で逆変換された低周波数バンド信号と高周波数バンド復号化部１８５０で生成された高周波数バンド信号とを合成する。ここで、バンド合成部１８６０は、合成された信号を出力端子ＯＵＴを通じて出力する。
【０１７７】
図１９は、オーディオ及び／またはスピーチ信号復号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号復号化装置は、逆多重化部１９００、周波数ドメイン復号化部１９１０、第２ドメイン逆変換部１９２０、高周波数バンド復号化部１９３０、バンド合成部１９４０及びステレオ復号化部１９５０を含んでなる。
【０１７８】
逆多重化部１９００は、入力端子ＩＮを通じて符号化端から伝送されたビットストリームを入力されて逆多重化する。ここで、逆多重化部１９００が逆多重化して出力するデータには符号化端によって周波数ドメインで符号化された結果、低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報、ステレオでアップミキシングできるパラメータなどがある。ここで、符号化端によって周波数ドメインで符号化された結果には、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０１７９】
周波数ドメイン復号化部１９１０は、逆多重化部１９００から出力される符号化端によって周波数ドメインで符号化された結果を復号化する。さらに詳細には、周波数ドメイン復号化部１９１０は、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような周波数ドメイン復号化部１９１０は、図１２及び図１３に例示された通りに実施しうる。
【０１８０】
第２ドメイン逆変換部１９２０は、周波数ドメイン復号化部１９１０で復号化された結果を周波数ドメインから時間ドメインに第２逆変換方式により逆変換する。ここで、第２逆変換方式は、前述した第２変換方式に対する逆変換過程を適用したものであって、例えば、ＩＭＤＣＴがある。
【０１８１】
高周波数バンド復号化部１９３０は、低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報を逆多重化部１９００から入力され、低周波数バンド信号を利用して高周波数バンド信号を生成する。
【０１８２】
バンド合成部１９４０は、第２ドメイン逆変換部１９２０で逆変換された低周波数バンド信号と高周波数バンド復号化部１９３０で生成された高周波数バンド信号とを合成する。
【０１８３】
ステレオ復号化部１９５０は、バンド合成部１９４０で提供されるモノ信号を、逆多重化部１９００から出力されたモノ信号をステレオ信号にアップミキシングするためのパラメータを利用して、ステレオ信号にアップミキシングする。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。ここで、ステレオ復号化部１９５０は、アップミキシングされたステレオ信号を出力端子ＯＵＴを通じて出力する。
【０１８４】
図２０は、オーディオ及び／またはスピーチ信号復号化装置の一実施例を示すブロック図であって、前記オーディオ及び／またはスピーチ信号復号化装置は、逆多重化部２０００、モード判断部２０１０、周波数ドメイン復号化部２０２０、時間ドメイン復号化部２０３０、ドメイン逆変換部２０４０、高周波数バンド復号化部２０５０、バンド合成部２０６０及びステレオ復号化部２０７０を含んでなる。
【０１８５】
逆多重化部２０００は、入力端子ＩＮを通じて符号化端から伝送されたビットストリームを入力されて逆多重化する。ここで、逆多重化部２０００が逆多重化して出力するデータには、各サブバンドが符号化されたドメインの情報、所定のサブバンドに対して符号化端によって周波数ドメインで符号化された結果、所定のサブバンドに対して符号化端によって時間ドメインで符号化された結果及び低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報などがある。
【０１８６】
ここで、符号化端によって周波数ドメインで符号化された結果は、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０１８７】
モード判断部２０１０は、逆多重化部２０００から出力された各サブバンドが符号化されたドメインの情報を読出して各サブバンドに対して周波数ドメインで符号化されたか、時間ドメインで符号化されたかを判断する。
【０１８８】
周波数ドメイン復号化部２０２０は、モード判断部２０１０で周波数ドメインで符号化されたと判断された１つ以上のサブバンドを周波数ドメインで復号化する。さらに詳細には、周波数ドメイン復号化部２０２０は、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような周波数ドメイン復号化部１８２０は、図１２及び図１３に例示された通りに実施しうる。
【０１８９】
時間ドメイン復号化部２０３０は、モード判断部２０１０によって時間ドメインで符号化されたと判断された１つ以上のサブバンドを時間ドメインで復号化する。
【０１９０】
所定の場合、符号化端で特定のサブバンドに対して時間ドメインで符号化すると決定された場合にも、周波数ドメインと時間ドメインとの両方で該当するサブバンドを符号化する場合がある。周波数ドメイン復号化部２０２０では、周波数ドメインで該当サブバンドの符号化結果を復号化し、時間ドメイン復号化部２０３０では、時間ドメインで該当サブバンドの符号化結果を復号化する。
【０１９１】
ドメイン逆変換部２０４０は、時間ドメイン復号化部２０３０で復号化された信号を時間ドメインから周波数ドメインに変換し、周波数ドメイン復号化部２０２０で復号化された信号及び時間ドメイン復号化部２０３０から出力された信号を周波数ドメインに変換された信号を合成して周波数ドメインから時間ドメインに変換する。
【０１９２】
ここで、ドメイン変換部２０４０は、所定のバンド単位で分割されて時間ドメインまたは周波数ドメインで表現された信号を入力されて時間ドメインに変換できるあらゆる変換方式で具現しうる。このような変換方式の一例としてＦＶ−ＭＬＴがある。
【０１９３】
このようなドメイン変換部２０４０は、第２ドメイン変換部２０４３及び第２ドメイン逆変換部２０４６を含んでなる。
【０１９４】
第２ドメイン変換部２０４３は、時間ドメイン復号化部２０３０で復号化された信号を第２変換方式により時間ドメインから周波数ドメインに変換する。例えば、第２変換方式にはＭＤＣＴがある。
【０１９５】
第２ドメイン逆変換部２０４６は、周波数ドメイン復号化部２０２０で復号化されたサブバンドの信号と第２ドメイン変換部２０４３で変換されたサブバンドの信号とを合成して、第２逆変換方式により周波数ドメインから時間ドメインに逆変換する。ここで、第２逆変換方式は、前述した第２変換方式を逆変換する過程を行うものであって、例えば、ＩＭＤＣＴがある。
【０１９６】
高周波数バンド復号化部２０５０は、低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報を逆多重化部２０００から入力され、低周波数バンド信号を利用して高周波数バンド信号を生成する。
【０１９７】
バンド合成部２０６０は、第２ドメイン逆変換部２０４６で逆変換された低周波数バンド信号と高周波数バンド復号化部２０５０で生成された高周波数バンド信号とを合成する。
【０１９８】
ステレオ復号化部２０７０は、バンド合成部２０６０で提供されるモノ信号を逆多重化部２０００から出力されたモノ信号をステレオ信号でアップミックスするためのパラメータを利用してステレオ信号にアップミキシングする。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。ここで、ステレオ復号化部２０７０は、アップミキシングされたステレオ信号を出力端子ＯＵＴを通じて出力する。
【０１９９】
図２１は、オーディオ及び／またはスピーチ信号符号化方法についての第１実施例を示すフローチャートである。
【０２００】
まず、入力信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する（第２１００段階）。第２１００段階では、入力信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも入力信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、入力信号の符号化に利用され、第２変換方式により変換された信号は、入力信号に対して心理音響モデルを適用するのに利用される。
【０２０１】
例えば、第２１００段階は、入力信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、入力信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、入力信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【０２０２】
第２１００段階で、第１変換方式により変換された信号の各サブバンドから重要スペクトル成分を選択して量子化し、重要スペクトル成分を除いた残余スペクトル成分を抽出することによって、残余スペクトル成分のノイズレベルを計算して量子化する（第２１１０段階）。このような第２１１０段階は、図２２及び２３に例示された通りに実施しうる。
【０２０３】
第１に、図２２は、図２１に示されたオーディオ及び／またはスピーチ信号符号化方法の第２１１０段階の一実施例を示すフローチャートである。
【０２０４】
まず、人間の聴覚特性による知覚的な重複性を除去するために、心理音響モデルを適用する（第２２００段階）。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０２０５】
第２２００段階では、人間の聴覚特性を利用した心理音響モデルを適用して感度の低い細部情報を省略し、周波数別に感度の程度を意味するＳＭＲ値を割当てる。第２２００段階では、第２変換方式に変換された信号を利用して心理音響モデルを適用し、第２変換方式の例としてＭＤＳＴがある。
【０２０６】
第２２００段階後に、入力される周波数ドメインで表現された信号の各サブバンドから重要スペクトル成分を選択する（第２２０５段階）。第２２０５段階で、重要スペクトル成分を選択する方法として次のような方法がある。第１に、ＳＭＲ値を計算してマスキング閾値より大きい信号を重要スペクトル成分として選択する。第２に、所定の加重値を考慮してスペクトルピークを抽出して重要スペクトル成分を選択する。第３に、各サブバンド別にＳＮＲ値を計算してＳＮＲ値の低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を重要スペクトル成分として選択する。前記３つの方法は、別途に実施してもよく、少なくとも１つ以上の方法を組合わせて実施しても良い。
【０２０７】
第２２００段階で割当てられたＳＭＲ値で第２２０５段階から選択された重要スペクトル成分を量子化する（第２２１０段階）。
【０２０８】
第２２１０段階後に、周波数ドメインで表現された信号から、第２２０５段階から選択された重要スペクトル成分を除いた残余スペクトル成分を抽出し、残余スペクトル成分のノイズレベルを計算して量子化する（第２２２０段階）。
【０２０９】
図２３は、図２１に示されたオーディオ及び／またはスピーチ信号符号化方法の第２１１０段階の他の実施例を示すフローチャートである。
【０２１０】
まず、アタックが強い信号と判別される信号に対して短いトランスフォームの長さでさらに細密に符号化する（第２３００段階）。
【０２１１】
第２３００段階後に、人間の聴覚特性による知覚的な重複性を除去するために、心理音響モデルを適用する（第２３０５段階）。
【０２１２】
第２３０５段階では、人間の聴覚特性を利用した心理音響モデルを適用して感度の低い細部情報を省略し、周波数別に感度の程度を意味するＳＭＲ値を異ならせて割当てる。第２３０５段階では、第２変換方式に変換された信号を利用して心理音響モデルを適用し、第２変換方式の例としてＭＤＳＴがある。
【０２１３】
第２３０５段階後に、入力される周波数ドメインで表現された信号の各サブバンドから重要スペクトル成分を選択する（第２３１０段階）。第２３１０段階で重要スペクトル成分を選択する方法として次のような方法がある。第１に、ＳＭＲ値を計算してマスキング閾値より大きい信号を重要スペクトル成分として選択する。第２に、所定の加重値を考慮してスペクトルピークを抽出して重要スペクトル成分を選択する。第３に、各サブバンド別にＳＮＲ値を計算してＳＮＲ値の低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を重要スペクトル成分として選択する。前記３つの方法は、別途に実施してもよく、少なくとも１つ以上の方法を組合わせて実施しても良い。
【０２１４】
第２３０５段階で割当てられたＳＭＲ値で第２３１０段階から選択された重要スペクトル成分を量子化する（第２３２０段階）。
【０２１５】
第２３２０段階後に、入力される周波数ドメインで表現された信号から、第２３１０段階から選択された重要スペクトル成分を除いた残余スペクトル成分を抽出し、残余スペクトル成分のノイズレベルをサブバンド別に計算して量子化する（第２３３０段階）。
【０２１６】
ここで、ノイズレベルは線形予測分析を行って計算できる。このような線形予測分析は、自己相関法（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ  ｍｅｔｈｏｄ）を利用して行い、共分散法（ｃｏｖａｒｉａｎｃｅ  ｍｅｔｈｏｄ）、ダービンの方法（Ｄｕｒｂｉｎ’ｓ  ｍｅｔｈｏｄ）などを利用しうる。線形予測を通じて符号化器で現在フレームにノイズ成分がどの位あるかを予測する。もし、ノイズ成分が強い場合、ノイズレベルをそのまま伝送し、もし、ノイズ成分は少なく、トーン成分が強い場合には、相対的にノイズレベルを減らして伝送する。また、小さなウィンドウである場合には、ノイズが急変する場合であるために、追加的にノイズレベルを減らして伝送する。
【０２１７】
次いで、図２１を参照すれば、第２１１０段階で符号化した結果を多重化してビットストリームを生成する（第２１２０段階）。第２１１０段階で符号化した結果は、図２２の実施例に記述された第２２１０段階で重要スペクトル成分を量子化した結果及び第２２２０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された第２３００段階で符号化された結果、第２３２０段階で重要スペクトル成分を量子化した結果及び第２３３０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【０２１８】
図２４は、オーディオ及び／またはスピーチ信号符号化方法についての第２実施例を示すフローチャートである。
【０２１９】
まず、入力信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する（第２４００段階）。第２４００段階では、入力信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも入力信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、入力信号の符号化に利用され、第２変換方式により変換された信号は、入力信号に対して心理音響モデルを適用するのに利用される。
【０２２０】
例えば、第２４００段階では、入力信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、入力信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、入力信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０２２１】
第２４００段階で、周波数ドメインに変換された信号の各サブバンドに対して、周波数ドメインでの符号化の適否を判断する（第２４１０段階）。言い換えれば、第２４１０段階では、既定の基準によって各サブバンドに対して、周波数ドメインで符号化するか、時間ドメインで符号化するかを決定する。また、第２４１０段階では、各サブバンドに対して第２４１０段階で決定されたドメインを示す識別子を量子化する。
【０２２２】
第２４１０段階で、所定のサブバンドに対して周波数ドメインでの符号化の適否を判断するに当たって、第２４００段階で変換された周波数ドメインに該当する信号のみ利用する方法、時間ドメインに該当する入力信号のみ利用する方法、第２４００段階で変換された周波数ドメインに該当する信号と時間ドメインに該当する入力信号とをいずれも利用する方法がある。
【０２２３】
もし、第２４１０段階で、周波数ドメインでの符号化が適したサブバンドであると判断されれば、該当するサブバンドを周波数ドメインで符号化する（第２４２０段階）。ここで、第２４２０段階では、前述した図２２及び２３に示された例によって実施できる。
【０２２４】
もし、第２４１０段階で、周波数ドメインでの符号化が適したサブバンドではないと判断されれば、該当するサブバンドに対して第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する（第２４３０段階）。例えば、第２４３０段階は、第１変換方式に対する逆変換方式に該当するＩＭＤＣＴにより逆変換する。
【０２２５】
第２４００段階及び第２４３０段階は、時間ドメインで表現された信号を入力されて時間ドメイン及び周波数ドメインで同時に表現できるあらゆる変換方式で具現しうる。さらに詳細には、時間ドメインで表現された信号を周波数ドメインに変換した後、バンド別に適切に時間解像度を調節し、所定のサブバンドに対して周波数ドメインで表現できる適応性ある変換方式である。さらに、虚数表現を通じて心理音響モジュールを適用するための信号も生成する。このような変換方式の一例として、ＦＶ−ＭＬＴがある。
【０２２６】
第２４３０段階で、時間ドメインに逆変換されたサブバンドの信号を時間ドメインで符号化する（第２４４０段階）。
【０２２７】
所定の場合、第２４１０段階で、周波数ドメインでの符号化が適したサブバンドではないと判断されても、該当するサブバンドの信号を時間ドメインで符号化すると同時に、同じサブバンドの信号を周波数ドメインで符号化することもできる。これにより、所定の１つ以上のサブバンドは、時間ドメインのみならず、周波数ドメインでも符号化される。この場合、所定サブバンドの信号が時間ドメイン及び周波数ドメインの両方で符号化されたという識別子を量子化する。
【０２２８】
第２４２０段階または第２４４０段階後に、各サブバンドが符号化されたドメインを示す識別子を量子化した結果、第２４４０段階で符号化した結果及び第２４２０段階で符号化した結果を含んで多重化することによって、ビットストリームを生成する。第２４２０段階で、符号化した結果は、図２２の実施例に記述された第２２１０段階で重要スペクトル成分を量子化した結果及び第２２２０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された第２３００段階で符号化された結果、第２３２０段階で重要スペクトル成分を量子化した結果及び第２３３０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【０２２９】
図２５は、オーディオ及び／またはスピーチ信号符号化方法についての第３実施例を示すフローチャートである。
【０２３０】
まず、入力信号がステレオ信号に該当する場合、入力信号を分析してパラメータを抽出し、ダウンミキシングする（第２５００段階）。第２５００段階で抽出するパラメータは、符号化端で伝送したモノ信号を復号化端でステレオ信号にアップミキシングするのに必要な情報を意味する。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。第２５００段階では、抽出したパラメータを量子化する。
【０２３１】
第２５００段階でダウンミキシングされた信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する（第２５１０段階）。第２５１０段階では、第２５００段階でダウンミキシングされた信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも入力信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、入力信号の符号化に利用され、第２変換方式により変換された信号は、入力信号に対して心理音響モデルを適用するのに利用される。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０２３２】
例えば、第２５１０段階では、入力信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、入力信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、入力信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【０２３３】
第２５１０段階で周波数ドメインに変換された信号の各サブバンドから重要スペクトル成分を選択して量子化し、重要スペクトル成分を除いた残余スペクトル成分を抽出することによって、残余スペクトル成分のノイズレベルを計算して量子化する（第２５２０段階）。このような第２５２０段階では、前述した図２２及び２３に例示された通りに実施しうる。
【０２３４】
第２５００段階で量子化されたパラメータ及び第２５２０段階で符号化した結果を多重化してビットストリームを生成する（第２５３０段階）。第２５２０段階で符号化した結果は、図２２の実施例に記述された第２２１０段階で重要スペクトル成分を量子化した結果及び第２２２０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された第２３００段階で符号化された結果、第２３２０段階で重要スペクトル成分を量子化した結果及び第２３３０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【０２３５】
図２６は、オーディオ及び／またはスピーチ信号符号化方法についての第４実施例を示すフローチャートである。
【０２３６】
まず、入力信号がステレオ信号に該当する場合、入力信号を分析してパラメータを抽出し、ダウンミキシングする（第２６００段階）。第２６００段階で抽出するパラメータは符号化端で伝送したモノ信号を復号化端でステレオ信号にアップミキシングするのに必要な情報を意味する。このようなパラメータの例として二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。ここで、第２６００段階では抽出したパラメータを量子化する。
【０２３７】
第２６００段階でダウンミキシングされた信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する（第２６１０段階）。第２６１０段階では、入力信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも入力信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、入力信号の符号化に利用され、第２変換方式により変換された信号は、入力信号に対して心理音響モデルを適用するのに利用される。
【０２３８】
例えば、第２６１０段階では、入力信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、入力信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、入力信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０２３９】
第２６１０段階で周波数ドメインに変換された信号の各サブバンドに対して、周波数ドメインでの符号化の適否を判断する（第２６２０段階）。言い換えれば、第２６２０段階では、既定の基準によって各サブバンドに対して、周波数ドメインで符号化するか、時間ドメインで符号化するかを決定する。また、第２６２０段階では、各サブバンドに対して第２６２０段階で決定されたドメインを示す識別子を量子化する。
【０２４０】
第２６２０段階で、所定のサブバンドに対して周波数ドメインでの符号化の適否を判断するに当たって、第２６１０段階で変換された周波数ドメインに該当する信号のみ利用する方法、時間ドメインに該当する第２６００段階でダウンミキシングされた信号のみ利用する方法、第２６１０段階で変換された周波数ドメインに該当する信号と時間ドメインに該当する第２６００段階でダウンミキシングされた信号とをいずれも利用する方法がある。
【０２４１】
もし、第２６２０段階で周波数ドメインでの符号化が適したサブバンドであると判断されれば、該当するサブバンドを周波数ドメインで符号化する（第２６３０段階）。ここで、第２６３０段階では、前述した図２２及び２３に示された例によって実施できる。
【０２４２】
もし、第２６２０段階で周波数ドメインでの符号化が適したサブバンドではないと判断されれば、該当するサブバンドに対して第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する（第２６４０段階）。例えば、第２６４０段階は、第１変換方式に対する逆変換方式に該当するＩＭＤＣＴにより逆変換する。
【０２４３】
第２６１０段階及び第２６４０段階は、時間ドメインで表現された信号を入力されて時間ドメイン及び周波数ドメインで同時に表現できるあらゆる変換方式で具現しうる。さらに詳細には、時間ドメインで表現された信号を周波数ドメインに変換した後、バンド別に適切に時間解像度を調節し、所定のサブバンドに対して周波数ドメインで表現できる適応性ある変換方式である。さらに、虚数表現を通じて心理音響モジュールを適用するための信号も生成する。このような変換方式の一例としてＦＶ−ＭＬＴがある。
【０２４４】
第２６４０段階で時間ドメインに逆変換されたサブバンドの信号を時間ドメインで符号化する（第２６５０段階）。
【０２４５】
所定の場合、第２６２０段階で周波数ドメインでの符号化が適したサブバンドではないと判断されても該当するサブバンドの信号を時間ドメインで符号化すると同時に、同じサブバンドの信号を周波数ドメインで符号化することもできる。これにより、所定の１つ以上のサブバンドは、時間ドメインのみならず、周波数ドメインでも符号化される。この場合、所定サブバンドの信号が時間ドメイン及び周波数ドメインの両方で符号化されたという識別子を量子化する。
【０２４６】
第２６３０段階または第２６５０段階後に、各サブバンドが符号化されたドメインを示す識別子を量子化した結果、第２６００段階で量子化一パラメータ、第２６３０段階で符号化した結果及び第２６５０段階で符号化した結果を含んで多重化することによって、ビットストリームを生成する。第２６３０段階で符号化した結果は、図２２の実施例に記述された第２２１０段階で重要スペクトル成分を量子化した結果及び第２２２０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された第２３００段階で符号化された結果、第２３２０段階で重要スペクトル成分を量子化した結果及び第２３３０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【０２４７】
図２７は、オーディオ及び／またはスピーチ信号符号化方法についての第５実施例を示すフローチャートである。
【０２４８】
まず、入力信号を所定の周波数を基準に低周波数バンド信号と高周波数バンド信号とに分割する（第２７００段階）。
【０２４９】
第２７００段階で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する（第２７１０段階）。第２７１０段階では低周波数バンド信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも低周波数バンド信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、低周波数バンド信号の符号化に利用され、第２変換方式により変換された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０２５０】
例えば、第２７１０段階では、低周波数バンド信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、低周波数バンド信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【０２５１】
第２７１０段階で周波数ドメインに変換された信号の各サブバンドから重要スペクトル成分を選択して量子化し、重要スペクトル成分を除いた残余スペクトル成分を抽出することによって、残余スペクトル成分のノイズレベルを計算して量子化する（第２７２０段階）。このような第２７２０段階は、前述した図２及び図３に例示された通りに実施しうる。
【０２５２】
第２７００段階で分割された高周波数バンド信号を低周波数バンド信号を利用して符号化する（第２７３０段階）。
【０２５３】
第２７２０段階で符号化した結果、第２７３０段階で符号化した結果及び低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報を多重化してビットストリームを生成する（第２７４０段階）。ここで、第２７２０段階で符号化した結果は、図２２の実施例に記述された第２２１０段階で重要スペクトル成分を量子化した結果及び第２２２０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された第２３００段階で符号化された結果、第２３２０段階で重要スペクトル成分を量子化した結果及び第２３３０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【０２５４】
図２８は、オーディオ及び／またはスピーチ信号符号化方法についての第６実施例を示すフローチャートである。
【０２５５】
まず、入力信号を所定の周波数を基準に低周波数バンド信号と高周波数バンド信号とに分割する（第２８００段階）。
【０２５６】
第２８００段階で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する（第２８１０段階）。第２８１０段階では、低周波数バンド信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも低周波数バンド信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、低周波数バンド信号の符号化に利用され、第２変換方式により変換された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。
【０２５７】
例えば、第２８１０段階では、低周波数バンド信号を、第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、低周波数バンド信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０２５８】
第２８１０段階で周波数ドメインに変換された信号の各サブバンドに対して、周波数ドメインでの符号化の適否を判断する（第２８２０段階）。言い換えれば、第２８２０段階では既定の基準によって各サブバンドに対して、周波数ドメインで符号化するか、時間ドメインで符号化するかを決定する。また、第２８２０段階では、各サブバンドに対して第２８２０段階で決定されたドメインを示す識別子を量子化する。
【０２５９】
第２８２０段階で、所定のサブバンドに対して周波数ドメインでの符号化の適否を判断するに当たって、第２８１０段階で変換された周波数ドメインに該当する信号のみ利用する方法、時間ドメインに該当する低周波数バンド信号のみ利用する方法、第２８１０段階で変換された周波数ドメインに該当する信号と時間ドメインに該当する低周波数バンド信号とをいずれも利用する方法がある。
【０２６０】
もし、第２８２０段階で周波数ドメインでの符号化が適したサブバンドであると判断されれば、該当するサブバンドを周波数ドメインで符号化する（第２８３０段階）。ここで、第２８３０段階は、前述した図２２及び２３に図示された例によって実施できる。
【０２６１】
もし、第２８２０段階で周波数ドメインでの符号化が適したサブバンドではないと判断されれば、該当するサブバンドに対して第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する（第２８４０段階）。例えば、第２８４０段階は、第１変換方式に対する逆変換方式に該当するＩＭＤＣＴにより逆変換する。
【０２６２】
第２８１０段階及び第２８４０段階は、時間ドメインで表現された信号を入力されて時間ドメイン及び周波数ドメインで同時に表現できるあらゆる変換方式で具現しうる。さらに詳細には、時間ドメインで表現された信号を周波数ドメインに変換した後、バンド別に適切に時間解像度を調節し、所定のサブバンドに対して周波数ドメインで表現できる適応性変換方式である。さらに、虚数表現を通じて心理音響モジュールを適用するための信号も生成する。このような変換方式の一例としてＦＶ−ＭＬＴがある。
【０２６３】
第２８４０段階で時間ドメインに逆変換されたサブバンドの信号を時間ドメインで符号化する（第２８５０段階）。
【０２６４】
所定の場合、第２８２０段階で周波数ドメインでの符号化が適したサブバンドではないと判断されても、該当するサブバンドの信号を時間ドメインで符号化すると同時に、同じサブバンドの信号を周波数ドメインで符号化することもできる。これにより、所定の１つ以上のサブバンドは、時間ドメインのみならず、周波数ドメインでも符号化される。この場合、所定サブバンドの信号が時間ドメイン及び周波数ドメインの両方で符号化されたという識別子を量子化する。
【０２６５】
第２８００段階で分割された高周波数バンド信号を低周波数バンド信号を利用して符号化する（第２８６０段階）。
【０２６６】
第２８３０段階または第２８５０段階後に、各サブバンドが符号化されたドメインを示す識別子を量子化した結果、第２８３０段階で符号化した結果、第２８５０段階で符号化した結果、低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報を含んで多重化することによって、ビットストリームを生成する（第２８７０段階）。第２８３０段階で符号化した結果は、図２２の実施例に記述された第２２１０段階で重要スペクトル成分を量子化した結果及び第２２２０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された第２３００段階で符号化された結果、第２３２０段階で重要スペクトル成分を量子化した結果及び第２３３０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【０２６７】
図２９は、オーディオ及び／またはスピーチ信号符号化方法についての第７実施例を示すフローチャートである。
【０２６８】
まず、入力信号がステレオ信号に該当する場合、入力信号を分析してパラメータを抽出し、ダウンミキシングする（第２９００段階）。第２９００段階で抽出するパラメータは、符号化端で伝送したモノ信号を復号化端でステレオ信号にアップミキシングするのに必要な情報を意味する。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。また、第２９００段階では抽出したパラメータを量子化する。
【０２６９】
第２９００段階でダウンミキシングされた信号を所定の周波数を基準に低周波数バンド信号と高周波数バンド信号とに分割する（第２９１０段階）。
【０２７０】
第２９１０段階で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する（第２９２０段階）。第２９２０段階では、低周波数バンド信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために、第１変換方式以外の第２変換方式でも低周波数バンド信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、低周波数バンド信号の符号化に利用され、第２変換方式により変換された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０２７１】
例えば、第２９２０段階では、低周波数バンド信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、低周波数バンド信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。
【０２７２】
第２９２０段階で周波数ドメインに変換された信号の各サブバンドから重要スペクトル成分を選択して量子化し、重要スペクトル成分を除いた残余スペクトル成分を抽出することによって、残余スペクトル成分のノイズレベルを計算して量子化する（第２９３０段階）。このような第２９３０段階は、前述した図２２及び２３に例示された通りに実施しうる。
【０２７３】
第２９１０段階で分割された高周波数バンド信号を低周波数バンド信号を利用して符号化する（第２９４０段階）。
【０２７４】
第２９００段階で量子化されたパラメータ、第２９３０段階で符号化した結果及び第２９４０段階で符号化した結果を多重化することによって、ビットストリームを生成する。ここで、第２９３０段階で符号化した結果は、図２２の実施例に記述された第２２１０段階で重要スペクトル成分を量子化した結果及び第２２２０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された第２３００段階で符号化された結果、第２３２０段階で重要スペクトル成分を量子化した結果及び第２３３０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【０２７５】
図３０は、オーディオ及び／またはスピーチ信号符号化方法についての第８実施例を示すフローチャートである。
【０２７６】
まず、入力信号がステレオ信号に該当する場合、入力信号を分析してパラメータを抽出し、ダウンミキシングする（第３０００段階）。第３０００段階で抽出するパラメータは符号化端で伝送したモノ信号を復号化端でステレオ信号にアップミキシングするのに必要な情報を意味する。このようなパラメータの例として二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。また、第３０００段階では、抽出したパラメータを量子化する。
【０２７７】
第３０００段階でダウンミキシングされた信号を所定の周波数を基準に低周波数バンド信号と高周波数バンド信号とに分割する（第３０１０段階）。
【０２７８】
第３０１０段階で分割された低周波数バンド信号を時間ドメインから周波数ドメインに変換し、サブバンド別に分割する（第３０２０段階）。第３０２０段階では、低周波数バンド信号を第１変換方式で時間ドメインから周波数ドメインに変換し、心理音響モデルを適用するために第１変換方式以外の第２変換方式でも低周波数バンド信号を時間ドメインから周波数ドメインに変換する。第１変換方式により変換された信号は、低周波数バンド信号の符号化に利用され、第２変換方式により変換された信号は、低周波数バンド信号に対して心理音響モデルを適用するのに利用される。
【０２７９】
例えば、第３０２０段階では、低周波数バンド信号を第１変換方式に該当するＭＤＣＴにより周波数ドメインに変換して実数部として表現し、第２変換方式に該当するＭＤＳＴにより周波数ドメインに変換して虚数部として表現しうる。ここで、ＭＤＣＴにより変換されて実数部として表現された信号は、低周波数バンド信号の符号化に用いられ、ＭＤＳＴにより変換されて虚数部として表現された信号は低周波数バンド信号に対して心理音響モデルを適用するのに利用される。これにより、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを行った後、ＭＤＣＴの係数を量子化することで発生するミスマッチを解決しうる。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０２８０】
第３０２０段階で周波数ドメインに変換された信号の各サブバンドに対して、周波数ドメインでの符号化の適否を判断する（第３０３０段階）。言い換えれば、第３０３０段階では、既定の基準によって各サブバンドに対して、周波数ドメインで符号化するか、時間ドメインで符号化するかを決定する。また、第３０３０段階では、各サブバンドに対して第３０３０段階で決定されたドメインを示す識別子を量子化する。
【０２８１】
第３０３０段階で、所定のサブバンドに対して周波数ドメインでの符号化の適否を判断するに当たって、第３０２０段階で変換された周波数ドメインに該当する信号のみ利用する方法、時間ドメインに該当する低周波数バンド信号のみ利用する方法、第３０２０段階で変換された周波数ドメインに該当する信号と時間ドメインに該当する低周波数バンド信号とをいずれも利用する方法がある。
【０２８２】
もし、第３０３０段階で周波数ドメインでの符号化が適したサブバンドであると判断されれば、該当するサブバンドを周波数ドメインで符号化する（第３０４０段階）。ここで、第３０４０段階は、前述した図２２及び２３に図示された例によって実施できる。
【０２８３】
もし、第３０３０段階で周波数ドメインでの符号化が適したサブバンドではないと判断されれば、該当するサブバンドに対して第１変換方式に対する逆変換方式により周波数ドメインから時間ドメインに逆変換する（第３０５０段階）。例えば、第３０５０段階は第１変換方式に対する逆変換方式に該当するＩＭＤＣＴにより逆変換する。
【０２８４】
第３０２０段階及び第３０５０段階は、時間ドメインで表現された信号を入力されて時間ドメイン及び周波数ドメインで同時に表現できるあらゆる変換方式で具現しうる。さらに詳細には、時間ドメインで表現された信号を周波数ドメインに変換した後、バンド別に適切に時間解像度を調節し、所定のサブバンドに対して周波数ドメインで表現できる適応性変換方式である。さらに、虚数表現を通じて心理音響モジュールを適用するための信号も生成する。このような変換方式の一例としてＦＶ−ＭＬＴがある。  
第３０５０段階で時間ドメインに逆変換されたサブバンドの信号を時間ドメインで符号化する（第３０６０段階）。
【０２８５】
所定の場合、第３０３０段階で周波数ドメインでの符号化が適したサブバンドではないと判断されても、該当するサブバンドの信号を時間ドメインで符号化すると同時に、同じサブバンドの信号を周波数ドメインで符号化することもできる。これにより、所定の１つ以上のサブバンドは、時間ドメインのみならず、周波数ドメインでも符号化される。この場合、所定サブバンドの信号が時間ドメイン及び周波数ドメインの両方で符号化されたという識別子を量子化する。
【０２８６】
第３０１０段階で分割された高周波数バンド信号を低周波数バンド信号を利用して符号化する（第３０７０段階）。
【０２８７】
第３０００段階で量子化されたパラメータ、各サブバンドが符号化されたドメインを示す識別子を量子化した結果、第３０４０段階で符号化した結果、第３０６０段階で符号化した結果、低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報を含んで多重化することによってビットストリームを生成する（第３０８０段階）。第３０８０段階で符号化した結果は、図２２の実施例に記述された第２２１０段階で重要スペクトル成分を量子化した結果及び第２２２０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味し、図３の実施例に記述された第２３００段階で符号化された結果、第２３２０段階で重要スペクトル成分を量子化した結果及び第２３３０段階で残余スペクトル成分のノイズレベルを量子化した結果を意味する。
【０２８８】
図３１は、オーディオ及び／またはスピーチ信号復号化方法についての第１実施例を示すフローチャートである。
【０２８９】
まず、符号化端から伝送されたビットストリームを入力されて逆多重化する（第３１００段階）。第３１００段階で逆多重化した結果には、符号化端によって周波数ドメインで符号化された結果として重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果が含まれるもある。
【０２９０】
第３１００段階で逆多重化された符号化端によって周波数ドメインで符号化された結果を復号化する（第３１１０段階）。さらに詳細には、第３１１０段階では、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような第３１１０段階は、図３２及び図３３に例示された通りに実施しうる。
【０２９１】
第１に、図３２は、図３１に示されたオーディオ及び／またはスピーチ信号復号化方法の第３１１０段階の一実施例を示すフローチャートである。
【０２９２】
まず、人間の聴覚特性による知覚的な重複性を除去する心理音響モデルを適用してそれぞれ異なって割当てられたビットで符号化された重要スペクトル成分が逆多重化された結果を逆量子化する（第３２００段階）。ここで、心理音響モデルは、人間聴覚システムの遮蔽作用に対する数学的モデルをいう。
【０２９３】
第３２００段階で逆量子化した重要スペクトル成分を除いた残余スペクトル成分のノイズレベルが逆多重化された結果を復号化する（第３２１０段階）。また、第３２１０段階では、復号化されたノイズレベルを第３２００段階で復号化された重要スペクトル成分に合成する。
【０２９４】
第２に、図３３は、図３１に示されたオーディオ及び／またはスピーチ信号復号化方法の第３１１０段階の他の一実施例を示すフローチャートである。
【０２９５】
まず、人間の聴覚特性による知覚的な重複性を除去する心理音響モデルを適用してそれぞれ異なって割当てられたビットで符号化された重要スペクトル成分が逆多重化された結果を逆量子化する（第３３００段階）。
【０２９６】
第３３００段階で逆量子化された重要スペクトル成分を除いた残余スペクトル成分のノイズレベルが逆多重化された結果を復号化する（第３３１０段階）。また、第３３１０段階では、復号化されたノイズレベルを第３３００段階で復号化された重要スペクトル成分に合成する。
【０２９７】
第３３１０段階後に、符号化端で音声ツールにより符号化された結果が逆多重化された結果を復号化する（第３３２０段階）。また、第３３２０段階では、第３３２０段階で復号化された結果を第３３１０段階で合成された結果に合成する。
【０２９８】
第３１１０段階で復号化された結果を周波数ドメインから時間ドメインに第２逆変換方式により逆変換する（第３１２０段階）。ここで、第２逆変換方式は、前述した第２変換方式に対する逆変換過程を適用したものであって、例えば、ＩＭＤＣＴがある。例えば、第３１２０段階では、図３２で第３２００段階で合成された信号をＩＭＤＣＴにより周波数ドメインから時間ドメインに逆変換し、図３３で第３３２０段階で合成された信号をＩＭＤＣＴにより周波数ドメインから時間ドメインに逆変換する。
【０２９９】
図３４は、オーディオ及び／またはスピーチ信号復号化方法についての第２実施例を示すフローチャートである。
【０３００】
まず、符号化端から伝送されたビットストリームを入力されて逆多重化する（第３４００段階）。第３４００段階逆多重化した結果には、各サブバンドが符号化されたドメインの情報、所定のサブバンドに対して符号化端によって周波数ドメインで符号化された結果及び所定のサブバンドに対して符号化端によって時間ドメインで符号化された結果などがある。
【０３０１】
ここで、符号化端によって周波数ドメインで符号化された結果は、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０３０２】
第３４００段階で逆多重化された各サブバンドが符号化されたドメインの情報を読出して各サブバンドに対して周波数ドメインで符号化されたか、時間ドメインで符号化されたかを判断する（第３４１０段階）。
【０３０３】
もし、第３４１０段階で周波数ドメインで符号化されたサブバンドであると判断されれば、該当する１つ以上のサブバンドを周波数ドメインで復号化する（第３４２０段階）。さらに詳細には、第３４２０段階では、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような第３４２０段階は、図３２及び図３３に例示された通りに実施しうる。
【０３０４】
もし、第３４１０段階によって時間ドメインで符号化されたサブバンドであると判断されれば、該当する１つ以上のサブバンドを時間ドメインで復号化する（第３４３０段階）。
【０３０５】
所定の場合、符号化端で特定のサブバンドに対して時間ドメインで符号化すると決定された場合にも、周波数ドメインと時間ドメインとの両方で該当するサブバンドを符号化する場合がある。かかる場合該当するサブバンドに対して時間ドメインで符号化された結果を復号化し、周波数ドメインでも符号化された結果を復号化する。
【０３０６】
第３４３０段階で復号化された信号を第２変換方式により時間ドメインから周波数ドメインに変換する（第３４４０段階）。例えば、第２変換方式にはＭＤＣＴがある。
【０３０７】
第３４２０段階で復号化されたサブバンドの信号と第３４４０段階で変換されたサブバンドの信号とを合成して、第２逆変換方式により周波数ドメインから時間ドメインに逆変換する（第３４５０段階）。このような第２逆変換方式は、前述した第２変換方式を逆変換する過程を行うものであって、例えば、ＩＭＤＣＴがある。
【０３０８】
第３４４０段階及び第３４５０段階は、所定のバンド単位で分割されて時間ドメインまたは周波数ドメインで表現された信号を入力されて時間ドメインに変換できるあらゆる変換方式で具現しうる。このような変換方式の一例としてＦＶ−ＭＬＴがある。
【０３０９】
図３５は、オーディオ及び／またはスピーチ信号復号化方法についての第３実施例を示すフローチャートである。
【０３１０】
まず、符号化端から伝送されたビットストリームを入力されて逆多重化する（第３５００段階）。第３５００段階で逆多重化された結果には、符号化端によって周波数ドメインで符号化された結果及びモノ信号をステレオ信号にアップミキシングするためのパラメータを含む。ここで、符号化端によって周波数ドメインで符号化された結果には、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果が含まれるもある。
【０３１１】
第３５００段階で逆多重化された符号化端によって周波数ドメインで符号化された結果を周波数ドメインで復号化する（第３５１０段階）。さらに詳細には、第３５１０段階では、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような第３５１０段階は図３２及び図３３に例示された通りに実施しうる。
【０３１２】
第３５１０段階で復号化された結果を周波数ドメインから時間ドメインに第２逆変換方式により逆変換する（第３５２０段階）。ここで、第２逆変換方式は、前述した第２変換方式に対する逆変換過程を適用したものであって、例えば、ＩＭＤＣＴがある。
【０３１３】
第３５２０段階で逆変換されたモノ信号をステレオ信号でアップミックスするためのパラメータを利用してステレオ信号にアップミキシングする（第３５３０段階）。このようなパラメータの例として二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。
【０３１４】
図３６は、オーディオ及び／またはスピーチ信号復号化方法についての第４実施例を示すフローチャートである。
【０３１５】
まず、符号化端から伝送されたビットストリームを入力されて逆多重化する（第３６００段階）。第３６００段階逆多重化された結果には、各サブバンドが符号化されたドメインの情報、所定のサブバンドに対して符号化端によって周波数ドメインで符号化された結果及び所定のサブバンドに対して符号化端によって時間ドメインで符号化された結果などがある。
【０３１６】
ここで、符号化端によって周波数ドメインで符号化された結果は、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０３１７】
第３６００段階で逆多重化された各サブバンドが符号化されたドメインの情報を読出して各サブバンドに対して周波数ドメインで符号化されたか、時間ドメインで符号化されたかを判断する（第３６１０段階）。
【０３１８】
もし、第３６１０段階で周波数ドメインで符号化されたサブバンドであると判断されれば、該当する１つ以上のサブバンドを周波数ドメインで復号化する（第３６２０段階）。さらに詳細には、第３６２０段階では各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような第３４２０段階は、図３２及び図３３に例示された通りに実施しうる。
【０３１９】
もし、第３６１０段階によって時間ドメインで符号化されたサブバンドであると判断されれば、該当する１つ以上のサブバンドを時間ドメインで復号化する（第３６３０段階）。
【０３２０】
所定の場合、符号化端で特定のサブバンドに対して時間ドメインで符号化すると決定された場合にも、周波数ドメインと時間ドメインとの両方で該当するサブバンドを符号化する場合がある。かかる場合該当するサブバンドに対して時間ドメインで符号化された結果を復号化し、周波数ドメインでも符号化された結果を復号化する。
【０３２１】
第３６３０段階で復号化された信号を第２変換方式により時間ドメインから周波数ドメインに変換する（第３６４０段階）。例えば、第２変換方式にはＭＤＣＴがある。
【０３２２】
第３６２０段階で復号化されたサブバンドの信号と第３６４０段階で変換されたサブバンドの信号とを合成して、第２逆変換方式により周波数ドメインから時間ドメインに逆変換する（第３６５０段階）。このような第２逆変換方式は、前述した第２変換方式を逆変換する過程を行うものであって、例えば、ＩＭＤＣＴがある。
【０３２３】
第３６４０段階及び第３６５０段階は、所定のバンド単位で分割されて時間ドメインまたは周波数ドメインで表現された信号を入力されて時間ドメインに変換できるあらゆる変換方式で具現しうる。このような変換方式の一例としてＦＶ−ＭＬＴがある。
【０３２４】
第３６５０段階で逆変換されたモノ信号をステレオ信号にアップミキシングするためのパラメータを利用してステレオ信号にアップミキシングする（第３６６０段階）。このようなパラメータの例として二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。
【０３２５】
図３７は、オーディオ及び／またはスピーチ信号復号化方法についての第５実施例を示すフローチャートである。
【０３２６】
まず、符号化端から伝送されたビットストリームを入力されて逆多重化する（第３７００段階）。第３７００段階で逆多重化されたデータには、符号化端によって周波数ドメインで符号化された結果及び低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報を含む。ここで、符号化端によって周波数ドメインで符号化された結果には、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０３２７】
第３７００段階で逆多重化された符号化端によって周波数ドメインで符号化された結果を周波数ドメインで復号化する（第３７１０段階）。さらに詳細には、第３７１０段階では、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような第３７１０段階は、図３２及び図３３に例示された通りに実施しうる。
【０３２８】
第３７１０段階で復号化された結果を周波数ドメインから時間ドメインに第２逆変換方式により逆変換する（第３７２０段階）。ここで、第２逆変換方式は、前述した第２変換方式に対する逆変換過程を適用したものであって、例えば、ＩＭＤＣＴがある。
【０３２９】
第３７２０段階で逆変換された低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報によって低周波数バンド信号を利用して高周波数バンド信号を復号化する（第３７３０段階）。
【０３３０】
第３７２０段階で逆変換された低周波数バンド信号と第３７３０段階で生成された高周波数バンド信号とを合成する（第３７４０段階）。
【０３３１】
図３８は、オーディオ及び／またはスピーチ信号復号化方法についての第６実施例を示すフローチャートである。
【０３３２】
まず、符号化端から伝送されたビットストリームを入力されて逆多重化する（第３８００段階）。第３８００段階で逆多重化された結果には、各サブバンドが符号化されたドメインの情報、所定のサブバンドに対して符号化端によって周波数ドメインで符号化された結果及び所定のサブバンドに対して符号化端によって時間ドメインで符号化された結果などがある。
【０３３３】
ここで、符号化端によって周波数ドメインで符号化された結果は、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０３３４】
第３８００段階で逆多重化された各サブバンドが符号化されたドメインの情報を読出して各サブバンドに対して周波数ドメインで符号化されたか、時間ドメインで符号化されたかを判断する（第３８１０段階）。
【０３３５】
もし、第３８１０段階で周波数ドメインで符号化されたサブバンドであると判断されれば、該当する１つ以上のサブバンドを周波数ドメインで復号化する（第３８２０段階）。さらに詳細には、第３８２０段階では、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような第３８２０段階は図３２及び図３３に例示された通りに実施しうる。
【０３３６】
もし、第３８１０段階によって時間ドメインで符号化されたサブバンドであると判断されれば、該当する１つ以上のサブバンドを時間ドメインで復号化する（第３８３０段階）。
【０３３７】
所定の場合、符号化端で特定のサブバンドに対して時間ドメインで符号化すると決定された場合にも、周波数ドメインと時間ドメインとの両方で該当するサブバンドを符号化する場合がある。かかる場合該当するサブバンドを時間ドメインで符号化された結果を復号化し、周波数ドメインでも符号化された結果を復号化する。
【０３３８】
第３８３０段階で復号化された信号を第２変換方式により時間ドメインから周波数ドメインに変換する（第３８４０段階）。例えば、第２変換方式にはＭＤＣＴがある。
【０３３９】
第３８２０段階で復号化されたサブバンドの信号と第３８４０段階で変換されたサブバンドの信号とを合成して、第２逆変換方式により周波数ドメインから時間ドメインに逆変換する（第３８５０段階）。このような第２逆変換方式は、前述した第２変換方式を逆変換する過程を行うものであって、例えば、ＩＭＤＣＴがある。
【０３４０】
第３８４０段階及び第３８５０段階は、所定のバンド単位で分割されて時間ドメインまたは周波数ドメインで表現された信号を入力されて時間ドメインに変換できるあらゆる変換方式で具現しうる。このような変換方式の一例としてＦＶ−ＭＬＴがある。
【０３４１】
第３８００段階で逆多重化された低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報によって低周波数バンド信号を利用して高周波数バンド信号を復号化する（第３８６０段階）。
【０３４２】
第３８５０段階で逆変換された低周波数バンド信号と第３８６０段階で復号化された高周波数バンド信号とを合成する（第３８７０段階）。
【０３４３】
図３９は、オーディオ及び／またはスピーチ信号復号化方法についての第７実施例を示すフローチャートである。
【０３４４】
まず、符号化端から伝送されたビットストリームを入力されて逆多重化する（第３９００段階）。第３９００段階で逆多重化された結果には、符号化端によって周波数ドメインで符号化された結果、低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報、ステレオでアップミキシングできるパラメータなどがある。ここで、符号化端によって周波数ドメインで符号化された結果には、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０３４５】
第３９００段階で逆多重化された結果を周波数ドメインで復号化する（第３９１０段階）。さらに詳細には、第３９１０段階では、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような第３９１０段階は、図３２及び図３３に例示された通りに実施しうる。
【０３４６】
第３９１０段階で復号化された結果を周波数ドメインから時間ドメインに第２逆変換方式により逆変換する（第３９２０段階）。ここで、第２逆変換方式は、前述した第２変換方式に対する逆変換過程を適用したものであって、例えば、ＩＭＤＣＴがある。
【０３４７】
第３９００段階で逆多重化された高周波数バンド信号を復号化できる情報によって低周波数バンド信号を利用して高周波数バンド信号を復号化する（第３９３０段階）。
【０３４８】
第３９２０段階で逆変換された低周波数バンド信号と第３９３０段階で生成された高周波数バンド信号とを合成する（第３９４０段階）。
【０３４９】
第３９４０段階で合成されたモノ信号をステレオ信号にアップミキシングするためのパラメータを利用してステレオ信号にアップミキシングする（第３９５０段階）。このようなパラメータの例として二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。
【０３５０】
図４０は、オーディオ及び／またはスピーチ信号復号化方法についての第８実施例を示すフローチャートである。
【０３５１】
まず、符号化端から伝送されたビットストリームを入力されて逆多重化する（第４０００段階）。第４０００段階で逆多重化された結果には、各サブバンドが符号化されたドメインの情報、所定のサブバンドに対して符号化端によって周波数ドメインで符号化された結果及び所定のサブバンドに対して符号化端によって時間ドメインで符号化された結果などがある。
【０３５２】
ここで、符号化端によって周波数ドメインで符号化された結果は、重要スペクトル成分を量子化した結果及び残余スペクトル成分のノイズレベルを量子化した結果などがある。さらに、音声ツールによって符号化された結果を含むこともできる。
【０３５３】
第４０００段階で逆多重化された各サブバンドが符号化されたドメインの情報を読出して各サブバンドに対して周波数ドメインで符号化されたか、時間ドメインで符号化されたかを判断する（第４０１０段階）。
【０３５４】
もし、第４０１０段階で周波数ドメインで符号化されたサブバンドであると判断されれば、該当する１つ以上のサブバンドを周波数ドメインで復号化する（第４０２０段階）。さらに詳細には、第４０２０段階では、各サブバンドから選択された重要スペクトル成分を復号化し、重要スペクトル成分を除いた残余スペクトル成分のノイズレベルを復号化する。このような第４０２０段階は、図３２及び図３３に例示された通りに実施しうる。  
もし、第４０１０段階によって時間ドメインで符号化されたサブバンドであると判断されれば、該当する１つ以上のサブバンドを時間ドメインで復号化する（第４０３０段階）。
【０３５５】
所定の場合、符号化端で特定のサブバンドに対して時間ドメインで符号化すると決定された場合にも周波数ドメインと時間ドメインとの両方で該当するサブバンドを符号化する場合がある。かかる場合、該当するサブバンドを時間ドメインで符号化された結果を復号化し、周波数ドメインでも符号化された結果を復号化する。
【０３５６】
第４０３０段階で復号化された信号を第２変換方式により時間ドメインから周波数ドメインに変換する（第４０４０段階）。例えば、第２変換方式にはＭＤＣＴがある。
【０３５７】
第４０２０段階で復号化されたサブバンドの信号と第４０４０段階で変換されたサブバンドの信号とを合成して第２逆変換方式により周波数ドメインから時間ドメインに逆変換する（第４０５０段階）。このような第２逆変換方式は、前述した第２変換方式を逆変換する過程を行うものであって、例えば、ＩＭＤＣＴがある。
【０３５８】
第４０４０段階及び第４０５０段階は、所定のバンド単位で分割されて時間ドメインまたは周波数ドメインで表現された信号を入力されて時間ドメインに変換できるあらゆる変換方式で具現しうる。このような変換方式の一例としてＦＶ−ＭＬＴがある。
【０３５９】
第４０００段階で逆多重化された低周波数バンド信号を利用して高周波数バンド信号を復号化できる情報によって低周波数バンド信号を利用して高周波数バンド信号を復号化する（第４０６０段階）。
【０３６０】
第４０５０段階で逆変換された低周波数バンド信号と第４０６０段階で生成された高周波数バンド信号とを合成する（第４０７０段階）。
【０３６１】
第４０７０段階で逆変換されたモノ信号をステレオ信号にアップミキシングするためのパラメータを利用してステレオ信号にアップミキシングする（第４０８０段階）。このようなパラメータの例として、二チャンネル間エネルギーの差、二チャンネルの相関度または干渉度などがある。
【０３６２】
実施例は、コンピュータで読取り可能な記録媒体にコンピュータ（情報処理機能を有する装置とをいずれも含む）で読取り可能なコードとして具現することができる。コンピュータで読取り可能な記録媒体はコンピュ−タシステムで読取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読取り可能な記録装置の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。
【０３６３】
オーディオ及び／またはスピーチ信号符号化及び復号化方法及び装置の実施例によれば、スピーチ信号、オーディオ信号及びスピーチ信号とオーディオ信号が混合された信号をいずれも効率的に符号化／復号化しうる。また、符号化及び復号化を行うに当たって、少ないビットを使用しても、音質をさらに向上させうる効果を奏しうる。
【０３６４】
理解を助けるために図示された実施例を参考にして説明したが、これは例示的なものに過ぎず、当業者ならば、これより多様な変形及び均等な他実施例が可能であるという点を理解できるである。したがって、実施例の真の技術的保護範囲は、特許請求の範囲により決まるべきである。
【０３６５】
以上の実施例に関し、更に、以下の項目を開示する。
【０３６６】
（１）入力信号を少なくとも１つ以上のドメインに変換する段階と、
前記入力信号または前記変換された信号を利用して既定の単位別に符号化するドメインを決定する段階と、
前記決定されたドメインで各単位に設けられた信号を符号化する段階と、を含むことを特徴とする信号符号化方法。
【０３６７】
（２）前記変換段階は、
時間ドメインと周波数ドメインとをいずれも表現するように前記入力信号のドメインを変換することを特徴とする（１）に記載の信号符号化方法。
【０３６８】
（３）前記変換段階は、
前記入力信号を２以上の周波数ドメインに変換することを特徴とする（１）に記載の信号符号化方法。
【０３６９】
（４）前記変換段階または前記符号化段階は、
ＦＶ−ＭＬＴを利用することを特徴とする（１）に記載の信号符号化方法。
【０３７０】
（５）前記変換段階は、
前記入力信号を既定の単位別に示すドメインに変換することを特徴とする（１）に記載の信号符号化方法。
【０３７１】
（６）前記入力信号は、低周波数信号であり、
前記入力信号を利用して高周波数信号を符号化する段階をさらに含むことを特徴とする（１）に記載の信号符号化方法。
【０３７２】
（７）前記入力信号は、モノ信号であり、
ステレオ信号を分析して、パラメータを抽出し、前記モノ信号にダウンミキシングする段階をさらに含むことを特徴とする（１）に記載の信号符号化方法。
【０３７３】
（８）前記入力信号または前記変換された信号を利用して既定の単位別に符号化するドメインを決定する段階は、
時間ドメインで符号化すると決定された１つ以上の単位に設けられた信号を、所定の場合に、周波数ドメインでも符号化することと決定することを特徴とする（１）に記載の信号符号化方法。
【０３７４】
（９）前記決定されたドメインで各単位に設けられた信号を符号化する段階は、
周波数ドメインで符号化すると決定された１つ以上の単位に設けられた信号で既定の基準に１つ以上の周波数成分を選択して符号化する段階と、
周波数ドメインで符号化すると決定された１つ以上の単位に設けられた信号のうち、前記選択された周波数成分を除いた残りの周波数成分を符号化する段階と、を含むことを特徴とする（１）に記載の信号符号化方法。
【０３７５】
（１０）入力信号を利用して既定の単位別に符号化する少なくとも１つ以上のドメインを決定する段階と、
各単位に設けられた信号を前記決定されたドメインに変換して符号化する段階と、を含むことを特徴とする信号符号化方法。
【０３７６】
（１１）前記ドメインは、
信号を時間ドメインと周波数ドメインとでいずれも表現できることを特徴とする（１０）に記載の信号符号化方法。
【０３７７】
（１２）前記ドメインは、
２以上の周波数ドメインであることを特徴とする（１０）に記載の信号符号化方法。
【０３７８】
（１３）前記ドメインは、
信号を既定の単位別に示すことを特徴とする（１０）に記載の信号符号化方法。
【０３７９】
（１４）前記入力信号は、低周波数信号であり、
前記入力信号を利用して高周波数信号を符号化する段階をさらに含むことを特徴とする（１０）に記載の信号符号化方法。
【０３８０】
（１５）前記入力信号は、モノ信号であり、
ステレオ信号を分析してパラメータを抽出し、前記モノ信号にダウンミキシングする段階をさらに含むことを特徴とする（１０）に記載の信号符号化方法。
【０３８１】
（１６）前記入力信号を利用して既定の単位別に符号化する少なくとも１つ以上のドメインを決定する段階は、
時間ドメインで符号化すると決定された１つ以上の単位に設けられた信号を、所定の場合に、周波数ドメインでも符号化することと決定することを特徴とする（１０）に記載の信号符号化方法。
【０３８２】
（１７）前記各単位に設けられた信号を前記決定されたドメインに変換して符号化する段階は、
周波数ドメインで符号化すると決定された１つ以上の単位に設けられた信号で既定の基準に１つ以上の周波数成分を選択して符号化する段階と、
周波数ドメインで符号化すると決定された１つ以上の単位に設けられた信号のうち、前記選択された周波数成分を除いた残りの周波数成分を符号化する段階と、を含むことを特徴とする（１０）に記載の信号符号化方法。
【０３８３】
（１８）既定の単位に設けられた各信号が符号化されたドメインを判断する段階と、
各単位に設けられた信号を前記判断されたドメインで復号化する段階と、
前記復号化された各単位に設けられた信号を合成して信号を復元する段階と、を含むことを特徴とする信号復号化方法。
【０３８４】
（１９）前記ドメインは、
信号を時間ドメインと周波数ドメインとでいずれも表現できることを特徴とする（１８）に記載の信号復号化方法。
【０３８５】
（２０）前記ドメインは、
信号を既定の単位別に示すことを特徴とする（１８）に記載の信号復号化方法。
【０３８６】
（２１）前記復号化段階は、
ＦＶ−ＭＬＴを利用することを特徴とする（１８）に記載の信号復号化方法。
【０３８７】
（２２）前記復元された信号を利用して高周波数信号を復号化する段階をさらに含むことを特徴とする（１８）に記載の信号復号化方法。
【０３８８】
（２３）ステレオ信号にアップミキシングするパラメータを復号化する段階と、
前記復号化されたパラメータを利用して前記復元された信号をステレオ信号にアップミキシングする段階をさらに含むことを特徴とする（１８）に記載の信号復号化方法。
【０３８９】
（２４）前記既定の単位に設けられた各信号が符号化されたドメインを判断する段階は、
時間ドメインで符号化されたと判断された１つ以上の単位に設けられた信号のうち、所定の場合、周波数ドメインでも符号化されたと判断することを特徴とする（１８）に記載の信号復号化方法。
【０３９０】
（２５）前記各単位に設けられた信号を前記判断されたドメインで復号化する段階は、
周波数ドメインで符号化されたと判断された１つ以上の単位に設けられた１つ以上の周波数成分を復号化する段階と、
前記周波数成分を除いた残余スペクトル成分を復号化する段階と、を含むことを特徴とする（１８）に記載の信号復号化方法。
【０３９１】
（２６）入力信号を少なくとも１つ以上のドメインに変換し、前記入力信号または前記変換された信号を利用して既定の単位別に符号化するドメインを決定する変換部と、
前記決定されたドメインで各単位に設けられた信号を符号化する符号化部と、を備えることを特徴とする信号符号化装置。
【０３９２】
（２７）既定の単位に設けられた各信号が符号化されたドメインを判断する逆多重化部と、
各単位に設けられた信号を前記判断されたドメインで復号化する復号化部と、
前記復号化された各単位に設けられた信号を合成して、信号を復元する変換部と、を備えることを特徴とする信号復号化装置。
【０３９３】
（２８）入力信号を少なくとも１つ以上のドメインに変換し、前記入力信号または前記変換された信号を利用して既定の単位別に符号化するドメインを決定し、前記決定されたドメインで各単位に設けられた信号を符号化する符号化部と、
既定の単位に設けられた各信号が符号化されたドメインを判断し、各単位に設けられた信号を前記判断されたドメインで復号化し、前記復号化された各単位に設けられた信号を合成して信号を復元する復号化部と、を備えることを特徴とする信号符号化及び／または復号化装置。
【図１】
0006050199.tif 000002
【図２】
0006050199.tif 000003
【図３】
0006050199.tif 000004
【図４】
0006050199.tif 000005
【図５】
0006050199.tif 000006
【図６】
0006050199.tif 000007
【図７】
0006050199.tif 000008
【図８】
0006050199.tif 000009
【図９】
0006050199.tif 000010
【図１０】
0006050199.tif 000011
【図１１】
0006050199.tif 000012
【図１２】
0006050199.tif 000013
【図１３】
0006050199.tif 000014
【図１４】
0006050199.tif 000015
【図１５】
0006050199.tif 000016
【図１６】
0006050199.tif 000017
【図１７】
0006050199.tif 000018
【図１８】
0006050199.tif 000019
【図１９】
0006050199.tif 000020
【図２０】
0006050199.tif 000021
【図２１】
0006050199.tif 000022