(57)【要約】【課題】効率的なオーディオ信号の処理のためのオーディオ信号のデコーディング方法及び装置を提供する。【解決手段】受信したオーディオ信号からダウンミックス信号と空間情報を抽出する段階と、空間情報を用いて、ダウンミックス信号から仮想サラウンド信号を生成する段階とを含むオーディオ信号のデコーディング方法を提供する。  また、受信したオーディオ信号からダウンミックス信号と空間情報を抽出する逆多重化部と、空間情報を用いて、ダウンミックス信号から仮想サラウンド信号を生成する仮想サラウンドデコーディング部とを備えるオーディオ信号のデコーディング装置を提供する。【選択図】図１
2008542815.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）フィルタ情報を受信する段階と、
（ｂ）前記フィルタ情報に空間情報を適用してサラウンド変換情報を生成する段階と、
（ｃ）前記サラウンド変換情報を出力する段階と、
を含むことを特徴とする、オーディオ信号のデコーディング方法。
【請求項２】
前記サラウンド変換情報を用いて前記空間情報に対応するダウンミックス信号を仮想サラウンド信号に変換する段階をさらに含むことを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項３】
前記フィルタ情報は、変形されたフィルタ情報を含むことを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項４】
前記（ａ）段階は、
前記フィルタ情報に対するドメイン変換を行う段階と、
前記ドメイン変換されたフィルタ情報に対応する前記変形されたフィルタ情報を算出する段階と、
を含むことを特徴とする、請求項３に記載のオーディオ信号のデコーディング方法。
【請求項５】
前記（ｂ）段階は、
前記空間情報をチャネル別にマッピングしたチャネルマッピング情報を生成する段階と、
前記チャネルマッピング情報及び前記フィルタ情報を用いてチャネル係数情報を生成する段階と、
前記チャネル係数情報を用いて前記サラウンド変換情報を生成する段階と、
を含むことを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項６】
前記サラウンド変換情報は、チャネル係数情報を合成した合成係数情報及び前記合成係数情報に追加処理を行った後処理係数情報のうちの少なくとも一つであり、
前記合成係数情報は、出力チャネル大きさ情報、出力チャネルエネルギー情報及び出力チャネル相関情報のうちの少なくとも一つであることを特徴とする、請求項５に記載のオーディオ信号のデコーディング方法。
【請求項７】
フィルタ情報が入力されるフィルタ情報入力部と、
前記フィルタ情報に空間情報を適用してサラウンド変換情報を生成する情報変換部と、
前記サラウンド変換情報を出力するサラウンド変換情報出力部と、
を備えることを特徴とする、オーディオ信号のデコーディング装置。
【請求項８】
前記オーディオ信号のデコーディング装置は、
前記サラウンド変換情報を用いて前記空間情報に対応するダウンミックス信号を仮想サラウンド信号に変換する仮想サラウンド生成部を備えることを特徴とする、請求項７に記載のオーディオ信号のデコーディング装置。
【請求項９】
前記フィルタ情報は、変形されたフィルタ情報を含むことを特徴とする、請求項７に記載のオーディオ信号のデコーディング装置。
【請求項１０】
前記情報変換部は、前記フィルタ情報に対するドメイン変換を行い、ドメイン変換されたフィルタ情報に対応する変形されたフィルタ情報を算出することを特徴とする、請求項９に記載のオーディオ信号のデコーディング装置。
【請求項１１】
前記情報変換部は、
前記空間情報をチャネル別にマッピングしたチャネルマッピング情報を生成するチャネルマッピング部と、
前記チャネルマッピング情報及び前記フィルタ情報を用いてチャネル別係数情報を生成する係数生成部と、
前記チャネル別係数情報を用いて前記サラウンド変換情報を生成する合成部と、
を備えることを特徴とする、請求項７に記載のオーディオ信号のデコーディング装置。
【請求項１２】
前記サラウンド変換情報は、チャネル別係数情報を合成した合成係数情報及び前記合成係数情報に追加処理を行った後処理係数情報のうちの少なくとも一つであり、
前記合成係数情報は、出力チャネル大きさ情報、出力チャネルエネルギー情報及び出力チャネル相関情報のうちの少なくとも一つであることを特徴とする、請求項１１に記載のオーディオ信号のデコーディング装置。
【請求項１３】
フィルタ情報と空間情報とを含んでなり、
前記空間情報が適用されて前記フィルタ情報がサラウンド変換情報に変換されることを特徴とする、オーディオ信号のデータ構造。
【請求項１４】
前記サラウンド変換情報が適用され、前記空間情報に対応するダウンミックス信号が仮想サラウンド信号に変換されることを特徴とする、請求項１３に記載のオーディオ信号のデータ構造。
【請求項１５】
前記フィルタ情報は、変形されたフィルタ情報を含むことを特徴とする、請求項１３に記載のオーディオ信号のデータ構造。
【請求項１６】
前記フィルタ情報は、変形されたフィルタ情報でドメイン変換されることを特徴とする、請求項1３に記載のオーディオ信号のデータ構造 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理に係り、より詳細には、仮想サラウンド信号（Ｐｓｅｕｄｏ  ｓｕｒｒｏｕｎｄ  ｓｉｇｎａｌ）を生成するオーディオ信号処理方法及び装置に関する。
【背景技術】
【０００２】
近年、デジタルオーディオ信号に対する様々なコーディング技術（ｃｏｄｉｎｇ  ｔｅｃｈｎｏｌｏｇｙ）及び方法が開発されており、これと関連した製品が生産されてきている。また、心理音響モデル（ｐｓｙｃｈｏａｃｏｕｓｔｉｃ  ｍｏｄｅｌ）を用いてマルチチャネルオーディオ信号のコーディング方法が開発されており、これに対する標準化作業が進行されている。
【０００３】
心理音響モデルによれば、人間が声を認識する方式、例えば、大きい声に続く小さい声は聞こえないし、２０Ｈｚ乃至２００００Ｈｚの周波数に該当する声のみが聞けるという事実に着目し、コーディング過程で不要な部分に対する信号を除去することによって必要なデータの量を效果的に縮減することが可能になる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、空間情報を含むオーディオビットストリームから仮想サラウンド信号を生成するためのオーディオ信号に対する処理方法が具体的に提示されておらず、オーディオ信号を效率的に処理するのに多くの難題があった。
【０００５】
本発明は、上記の問題点を解決するためのもので、その目的は、オーディオ・システムで仮想の立体音響効果（Ｐｓｅｕｄｏ  ｓｕｒｒｏｕｎｄ  ｅｆｆｅｃｔ）を提供するオーディオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によれば、フィルタ情報を受信する段階と、前記フィルタ情報に空間情報を適用してサラウンド変換情報を生成する段階と、前記サラウンド変換情報を出力する段階と、を含むことを特徴とするオーディオ信号のデコーディング方法が提供される。
【０００７】
本発明の他の実施形態によれば、フィルタ情報が入力されるフィルタ情報入力部と、前記フィルタ情報に空間情報を適用してサラウンド変換情報を生成する情報変換部と、前記サラウンド変換情報を出力するサラウンド変換情報出力部と、を備えることを特徴とするオーディオ信号のデコーディング装置が提供される。
【０００８】
本発明のさらに他の実施形態によれば、フィルタ情報と空間情報とを含んでなり、前記空間情報が適用されて前記フィルタ情報がサラウンド変換情報に変換されることを特徴とするオーディオ信号のデータ構造を提供する。
【産業上の利用可能性】
【０００９】
本発明に係るオーディオ信号のデコーディング方法及び装置によれば、マルチチャネルをダウンミックスしてダウンミックスチャネルを生成し、該マルチチャネルの空間情報を抽出して生成されたオーディオビットストリーム（ａｕｄｉｏ  ｂｉｔｓｔｒｅａｍ）を受信したデコーディング装置が、マルチチャネルを生成できる環境でない場合にも仮想サラウンド効果（Ｐｓｅｕｄｏ  ｓｕｒｒｏｕｎｄ  ｅｆｆｅｃｔ）を持つようにデコーディングすることが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、上記の目的を具体的に実現できる本発明の好適な実施例を、添付の図面を参照しつつ説明する。
【００１１】
なお、本発明で使われる用語は、可能なかぎり現在広く使われている一般的な用語としたが、特定の場合は、出願人が任意に選定した用語もあり、この場合は、該当する発明の説明部分で詳細にその意味を記載しておいたので、単純な用語の名称ではなく用語が持つ意味をもって本発明を把握しなければならない。
【００１２】
本発明で“空間情報（ｓｐａｔｉａｌ  ｉｎｆｏｒｍａｔｉｏｎ）”とは、ダウンミックス（ｄｏｗｎ−ｍｉｘ）された信号に対して、アップミックス（ｕｐ−ｍｉｘ）を行ってマルチチャネルを生成するための情報のことを意味する。ここでは、該空間情報を空間パラメータとして説明するが、本発明がこれに限定されることはない。この空間パラメータには、２チャネル間のエネルギー差を意味するＣＬＤ（ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ）、２チャネル間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を意味するＩＣＣ（ｉｎｔｅｒ  ｃｈａｎｎｅｌ  ｃｏｈｅｒｅｎｃｅｓ）及び２チャネルから３チャネルを生成する時に用いられる予測係数であるＣＰＣ（ｃｈａｎｎｅｌ  ｐｒｅｄｉｃｔｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ）などがある。
【００１３】
本発明で“コアコーデック（ｃｏｒｅ  ｃｏｄｅｃ）”とは、空間情報でないオーディオ信号をコーディングするコーデックのことをいう。本発明では、空間情報でないオーディオ信号をダウンミックスオーディオ信号として説明する。また、該コアコーデックには、ＭＰＥＧ  Ｌａｙｅｒ−II、ＭＰ３、ＯｇｇＶｏｒｂｉｓ、ＡＣ−３、ＤＴＳ、ＷＭＡ、ＡＡＣまたはＨＥ−ＡＡＣが含まれることができる。一方、コアコーデックの代わりに圧縮していないＰＣＭ信号が用いられることもできる。オーディオ信号に対してコーデック機能を行うとしたら、既存に開発されたコーデックだけでなく、今後開発されるコーデックをも含むことができる。
【００１４】
本発明で“チャネル分割部（ｃｈａｎｎｅｌ  ｓｐｌｉｔｔｉｎｇ  ｐａｒｔ）”は、特定本数の入力チャネルを入力チャネル数と異なる特定出力チャネル数に分割する分割部を意味する。該チャネル分割部は、入力チャネル（ｉｎｐｕｔ  ｃｈａｎｎｅｌ）が２つある場合、出力チャネル（ｏｕｔｐｕｔ  ｃｈａｎｎｅｌ）を３つに変換するＴＴＴ（ｔｗｏ  ｔｏ  ｔｈｒｅｅ：以下、‘ＴＴＴ'という。）ボックス、または、入力チャネルが１つである場合、出力チャネルを２つに変換するＯＴＴ（ｏｎｅ  ｔｏ  ｔｗｏ：以下、‘ＯＴＴ’という。）ボックスを含む。ただし、本発明のチャネル分割部は、ＴＴＴボックスとＯＴＴボックスに限定されず、入力チャネルと出力チャネルが任意の個数を持つ場合のいずれにも適用可能であることは自明である。
【００１５】
図１は、本発明の一実施例による信号処理システムを示す図である。図１を参照すると、該信号処理システムは、エンコーディング装置１００及びデコーディング装置１５０を備える。ただし、ここではオーディオ信号について説明するが、本発明はオーディオ信号の他、如何なる信号の処理にも適用可能であることは明らかである。
【００１６】
エンコーディング装置１００は、ダウンミックス部（ｄｏｗｎｍｉｘｉｎｇ  ｐａｒｔ）１１０、コアエンコーディング部（ｃｏｒｅ  ｅｎｃｏｄｉｎｇ  ｐａｒｔ）１２０及び多重化部（ｍｕｌｔｉｐｌｅｘｉｎｇ  ｐａｒｔ）１３０を備える。該ダウンミキシング部１１０は、チャネルダウンミックス部（ｃｈａｎｎｅｌ  ｄｏｗｎｍｉｘｉｎｇ  ｐａｒｔ）１１１及び空間情報抽出部（ｓｐａｔｉａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｅｓｔｉｍａｔｉｎｇ  ｐａｒｔ）１１２を備える。
【００１７】
オーディオ信号がＮ個のマルチチャネルＸ１，Ｘ２，…，Ｘ３に入力されると、ダウンミキシング部１１０は、あらかじめ定められたダウンミックス方法または任意に設定したダウンミックス方法（ａｒｔｉｓｔｉｃ  ｄｏｗｎｍｉｘ  ｍｅｔｈｏｄ）によって、入力チャネルの数よりも小さいチャネルのオーディオ信号を出力し、該出力された信号は、コアエンコーディング部１２０に入力される。一方、空間情報抽出部１１２は、マルチチャネルから空間情報を抽出し、該抽出された空間情報を多重化部１３０に送信する。ここで、ダウンミックスチャネルは、一つのチャネルまたは二つのチャネルを持つ、または、ダウンミックス命令によって特定数のチャネルを持つことができる。この場合、ダウンミックスチャネルの数は設定可能である。また、選択的にダウンミックスオーディオ信号はアーティスティックダウンミックス信号を利用できることは明らかである。
【００１８】
コアエンコーディング部１２０は、ダウンミックスチャネルを通して転送されたダウンミックスオーディオ信号に対するエンコーディングを行う。該エンコーディングされたダウンミックスオーディオ信号は、多重化部１３０に入力される。
【００１９】
多重化部１３０は、当該ダウンミックスオーディオ信号と空間情報を多重化してビットストリームを生成し、生成したビットストリームをデコーディング装置１５０に送信する。この時、ビットストリームは、コアコーデックビットストリームと空間情報ビットストリームを含むことができる。
【００２０】
デコーディング装置１５０は、逆多重化部（ｄｅｍｕｌｔｉｐｌｅｘｉｎｇ  ｐａｒｔ）１６０、コアデコーディング部（ｃｏｒｅ  ｄｅｃｏｄｉｎｇ  ｐａｒｔ）１７０及び仮想サラウンドデコーディング部（Ｐｓｅｕｄｏ  ｓｕｒｒｏｕｎｄ  ｄｅｃｏｄｉｎｇ  ｐａｒｔ）１８０を備える。仮想サラウンドデコーディング部１８０は、仮想サラウンド生成部（Ｐｓｅｕｄｏ  ｓｕｒｒｏｕｎｄ  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ）２００及び情報変換部３００を備えることができる。なお、デコーディング装置１５０は、空間情報デコーディング部（ｓｐａｔｉａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｄｅｃｏｄｉｎｇ  ｐａｒｔ）１９０をさらに備えることができる。逆多重化部１６０は、ビットストリームを受信し、受信したビットストリームをコアコーデックビットストリームと空間情報ビットストリームとに逆多重化する。また、逆多重化部１６０は、受信したビットストリームからダウンミックス信号と空間情報を抽出できる。
【００２１】
コアデコーディング部１７０は、逆多重化部１６０からコアコーデックビットストリームを受信し、デコーディングされたダウンミックス信号を出力する。例えば、エンコーディング装置でマルチチャネルをダウンミックスする時、モノチャネルまたはステレオチャネルにダウンミックスした場合には、該デコーディングされたダウンミックス信号はモノチャネルまたはステレオチャネル信号になりうる。ただし、本発明の実施例は、ダウンミックスチャネルとして用いられるモノチャネルまたはステレオチャネルに基づいて説明されるが、ダウンミックスチャネルの数に限定されることはない。
【００２２】
空間情報デコーディング部１９０は、逆多重化部１６０から空間情報ビットストリームを受信し、該空間情報ビットストリームをデコーディングして空間情報を生成できる。
【００２３】
仮想サラウンドデコーディング部１８０は、空間情報を用いてダウンミックス信号から仮想サラウンド信号を生成する。以下、該仮想サラウンドデコーディング部１８０に備えられる情報変換部３００と仮想サラウンド生成部２００について説明する。
【００２４】
情報変換部（ｉｎｆｏｒｍａｔｉｏｎ  ｃｏｎｖｅｒｔｉｎｇ  ｐａｒｔ）３００は、空間情報を受信し、フィルタ情報を受信する。また、該フィルタ情報及び空間情報を用いて仮想サラウンド信号の生成に適用させうるような形態のサラウンド変換情報を生成する。該サラウンド変換情報は、仮想サラウンド生成部２００が特定フィルタである場合にフィルタ係数を意味する。したがって、本発明は、サラウンド変換情報としてフィルタ係数を挙げて説明するが、該フィルタ係数に限定されることはない。ここでは、フィルタ情報の一例としてＨＲＴＦ（ｈｅａｄ−ｒｅｌａｔｅｄ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎｓ）が挙げられるが、本発明がこれに限定されることはない。
【００２５】
また、本発明でフィルタ係数（ｆｉｌｔｅｒ  ｃｏｅｆｆｉｃｉｅｎｔ）は、特定フィルタが持つ係数を意味する。例えば、該フィルタ係数を次のように命名できる。原形ＨＲＴＦフィルタ係数（ｐｒｏｔｏ−ｔｙｐｅ  ＨＲＴＦ  ｆｉｌｔｅｒ  ｃｏｅｆｆｉｃｉｅｎｔ）は、特定ＨＲＴＦフィルタが持つ元来のフィルタ係数を意味し、ＧＬ＿Ｌなどで表現可能である。変形されたＨＲＴＦフィルタ係数（ｃｏｎｖｅｒｔｅｄ  ＨＲＴＦ  ｆｉｌｔｅｒ  ｃｏｅｆｆｉｃｉｅｎｔ）は、原形ＨＲＴＦフィルタ係数が変形された後のフィルタ係数を意味し、ＧＬ＿Ｌ’などで表現可能である。空間化したＨＲＴＦフィルタ係数（ｓｐａｔｉａｌｉｚｅｄ  ＨＲＴＦ  ｆｉｌｔｅｒ  ｃｏｅｆｆｉｃｉｅｎｔ）は、原形ＨＲＴＦフィルタ係数を仮想サラウンド信号生成のために空間化したフィルタ係数を意味し、ＦＬ＿Ｌ１等で表現可能である。マスターレンダリング係数は、レンダリングを行うために必要なフィルタ係数を意味し、ＨＬ＿Ｌなどで表現可能である。インタポレーティング（ｉｎｔｅｒｐｏｌａｔｉｎｇ）されたマスターレンダリング係数は、該マスターレンダリング係数をインタポレーティング及び／またはブラリング（ｂｌｕｒｒｉｎｇ）したフィルタ係数を意味し、ＨＬ＿Ｌ’などで表現可能である。ただし、本発明が上記のフィルタ係数の名称に限定されないことは明らかである。
【００２６】
仮想サラウンド生成部２００は、コアデコーディング部１７０からデコーディングされたダウンミックス信号を受信し、情報変換部３００からサラウンド変換情報を受信し、該デコーディングされたダウンミックス信号と該サラウンド変換情報を用いて仮想サラウンド信号を生成する。例えば、仮想サラウンド信号は、ステレオ装置のみを持つオーディオ・システムで仮想の立体音響効果を提供する信号である。このとき、本発明は、出力される信号がステレオである装置のみを持つオーディオ・システムに限定されず、他の装置にも適用可能であることは明らかである。そして、仮想サラウンド生成部２００で行うレンダリング（ｒｅｎｄｅｒｉｎｇ）は、設定されたモード（ｍｏｄｅ）によって様々に行われることができる。
【００２７】
このように、本発明は、エンコーディング装置１００がマルチチャネルオーディオ信号をそのまま転送するのではなく、ステレオまたはモノオーディオ信号にダウンミックスして転送し、かつ、該マルチチャネルオーディオ信号の空間情報を共に転送する場合、デコーディング装置１５０が本発明に係る仮想サラウンドデコーディング部１８０を備えているため、出力チャネルがマルチチャネルではなくステレオチャネルである場合にも使用者は仮想のマルチチャネル効果を経験できる、という非常に優れた方式である。
【００２８】
また、本発明によるオーディオ信号構造１４０の一例について説明すると、該オーディオ信号は、一つのペイロードを基盤に転送される場合、それぞれのチャネルを通して受信されても良く、一つのチャネルを通して受信されても良い。オーディオペイロード（ａｕｄｉｏ  ｐａｙｌｏａｄ）１フレーム（ｆｒａｍｅ）には、コーディングされたオーディオデータを含むフィールドと、付加データフィールド（ａｎｃｉｌｌａｒｙ  ｄａｔａ  ｆｉｅｌｄ）を含む。ここで、付加データフィールドに、コーディングされた空間情報を含むことができる。例えば、オーディオペイロードが４８〜１２８ｋｂｐｓである時、空間情報は５〜３２ｋｂｐｓ程度の範囲を持つことができるが、これに制限されることはない。
【００２９】
図２は、本発明の一実施例による仮想サラウンド生成部２００を略ブロック図である。
【００３０】
本発明でドメインは、ダウンミックス信号のデコーディングがなされるダウンミックスドメイン、サラウンド変換情報を生成するために空間情報の処理がなされる空間情報ドメイン、空間情報を用いてダウンミックス信号に対するレンダリングがなされるレンダリングドメイン、及び、時間領域の仮想サラウンド信号を出力する出力ドメインを含む。ここで、出力ドメインは人間に聞こえる状態のオーディオ信号のドメインで、時間ドメインを意味する。仮想サラウンド生成部２００は、レンダリング部２２０と出力ドメイン変換部（ｏｕｔｐｕｔ  ｄｏｍａｉｎ  ｃｏｎｖｅｒｔｉｎｇ  ｐａｒｔ）２３０を備える。また、ダウンミックスドメインとレンダリングドメインが相互に異なる場合、ダウンミックスドメインをレンダリングドメインと一致させるようにドメイン変換するレンダリングドメイン変換部２１０をさらに備えることができる。
【００３１】
例えば、レンダリングドメイン変換部２１０では、レンダリングドメインとダウンミックスドメインを一致させるためにドメイン変換を行う。このレンダリングドメイン変換部２１０で行うドメイン方法を説明すると、次の第１、第２、第３の方法が可能である。ここで、レンダリングドメインは、サブバンドドメインに設定された場合としたが、本発明はこれに限定されない。第１の方法は、ダウンミックスドメインが時間ドメインである場合、該時間ドメインをレンダリングドメインに変換することである。第２の方法は、ダウンミックスドメインが離散周波数ドメインである場合、該離散周波数ドメインをレンダリングドメインに変換することである。第３の方法は、ダウンミックスドメインが離散周波数ドメインである場合、該離散周波数ドメインを時間ドメインに変更した後、レンダリングドメインに変更することである。
【００３２】
レンダリング部２２０は、サラウンド変換情報を用いてダウンミックス信号の仮想サラウンドレンダリングを行って仮想サラウンド信号を生成する。この時、出力部がステレオチャネルである場合、該仮想サラウンド信号は、仮想の立体的音響を持つ仮想サラウンドステレオ出力（ｐｓｅｕｄｏ−ｓｕｒｒｏｕｎｄ  ｓｔｅｒｅｏ  ｏｕｔｐｕｔ）となる。また、レンダリング部２２０から出力する仮想サラウンド信号は、レンダリングドメイン上の信号であるので、該レンダリングドメインがタイムドメインでない場合、ドメイン変換が必要である。ここでは、仮想サラウンドデコーディング部１８０の出力部（ｏｕｔｐｕｔ  ｐａｒｔ）がステレオチャネルである場合としたが、本発明において出力部はチャネル数に関らずに適用可能である。
【００３３】
例えば、仮想サラウンドレンダリング方法には、ＨＲＴＦ（ｈｅａｄ−ｒｅｌａｔｅｄ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎｓ：以下、‘ＨＲＴＦ'という。）フィルタが行うＨＲＴＦフィルタリングがある。この場合、空間情報は、ＭＰＥＧサラウンドで定義されたハイブリッドフィルタバンクドメイン（ｈｙｂｒｉｄ  ｆｉｌｔｅｒｂａｎｋ  ｄｏｍａｉｎ）で適用されうる値が可能である。なお、該仮想サラウンドレンダリングする方法は、ドメインによって次のような実施例が可能であるが、このため、レンダリングドメインにダウンミックスドメインと空間情報ドメインを一致させることが必要である。
【００３４】
第一の実施例は、ダウンミックス信号に対してサブバンドドメイン（ＱＭＦ）で仮想サラウンドレンダリングを行う方法である。該サブバンドドメインは、シンプルサブバンドドメインとハイブリッドドメインを含む。例えば、ダウンミックス信号がＰＣＭ信号で、且つ、ダウンミックスドメインがサブバンドドメインでない場合、レンダリングドメイン変換部２１０からサブバンドドメインにドメイン変換を行い、ダウンミックス信号がサブバンドドメインである場合には、ドメイン変換を行う必要がない。必要によって、ダウンミックス信号と空間情報間の適用フレームを合わせるためにいずれか一方に時間遅れをおくことが必要である。この時、空間情報ドメインがサブバンドドメインである場合、空間情報ドメインに対する変換は必要でない。また、タイムドメイン上の仮想サラウンド信号を生成するためには、出力ドメイン変換部２３０でレンダリングドメインをタイムドメインに変換する必要がある。
【００３５】
第二の実施例は、ダウンミックス信号に対して離散周波数ドメインで仮想サラウンドレンダリングを行う方法である。ここで、離散周波数ドメインは、サブバンドドメイン以外の周波数ドメインを意味する。例えば、ダウンミックスドメインが離散周波数ドメインでない場合、レンダリングドメイン変換部２１０で離散周波数ドメインにドメイン変換を行う。この時、空間情報ドメインがサブバンドドメインである場合、空間情報ドメインも離散周波数ドメインに変換する。この方法は、時間領域におけるフィルタリングを離散周波数ドメインでの演算で置換するもので、高速演算が可能である。また、タイムドメイン上の仮想サラウンド信号を生成するためには、出力ドメイン変換部２３０でレンダリングドメインをタイムドメインに変換する必要がある。
【００３６】
第三の実施例は、ダウンミックス信号に対してタイムドメインで仮想サラウンドレンダリングを行う方法である。例えば、ダウンミックスドメインがタイムドメインでない場合、レンダリングドメイン変換部２１０でタイムドメインにドメイン変換を行う。この時、空間情報ドメインがサブバンドドメインである場合、空間情報ドメインもタイムドメインに変換する。また、この場合は、タイムドメイン上の仮想サラウンド信号を生成するために出力ドメイン変換部２３０でドメイン変換を行う必要がない。
【００３７】
図３は、本発明の一実施例による情報変換部３００を示す図である。図３を参照すると、情報変換部（ｉｎｆｏｒｍａｔｉｏｎ  ｃｏｎｖｅｒｔｉｎｇ  ｐａｒｔ）３００は、チャネルマッピング部（ｃｈａｎｎｅｌ  ｍａｐｐｉｎｇ  ｐａｒｔ）３１０、係数生成部（ｃｏｅｆｆｉｃｉｅｎｔ  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ）３２０、合成部（ｉｎｔｅｇｒａｔｉｎｇ  ｐａｒｔ）３３０を備える。そして、情報変換部３００は、フィルタ係数に対する追加プロセシングを行う追加処理部及び／またはレンダリングドメイン変換部（ｒｅｎｄｅｒｉｎｇ  ｄｏｍａｉｎ  ｃｏｎｖｅｒｔｉｎｇ  ｐａｒｔ）３４０をさらに備えることができる。
【００３８】
情報変換部３００は、フィルタ情報と空間情報を受信し、該フィルタ情報に空間情報を適用してサラウンド変換情報を生成し、該サラウンド変換情報を出力する。この場合、フィルタ情報に空間情報を適用するためには、フィルタ情報ドメインと空間情報ドメインが一致しなければならない。受信したフィルタ情報のドメインが空間情報ドメインと同一でない場合、これら両ドメインを一致させるためにフィルタ情報ドメインの変換を行う場合が生じうる。以下では空間情報ドメインがサブバンドドメインである場合に基づいて説明するが、本発明はこれに限定されることはない。
【００３９】
例えば、フィルタ情報ドメインと空間情報ドメインが一致せず、入力されたフィルタ情報に対してドメイン変換を行うと、該フィルタ情報は、各サブバンド別フィルタ情報で表現される。このとき、各サブバンド別に割り当てられたフィルタ情報をそのまま利用すると、相当多い演算量を招く。したがって、割り当てられたフィルタ情報の縮約過程が必要とされる。このような縮約の形態としてはパラメータ化が挙げられる。以下、説明の便宜上、パラメータ化以前のフィルタ情報をサブバンド別原形フィルタ情報、パラメータ化以降のフィルタ情報をパラメータフィルタ情報と称する。また、ドメイン変換後にパラメータ化された最終パラメータフィルタ情報は、変形されたフィルタ情報と称し、パラメータフィルタ情報を含むことができる。
【００４０】
チャネルマッピング部３１０は、入力された空間情報をマルチチャネル信号の少なくとも一つの信号にマッピングされるようにチャネルマッピングを行い、チャネルマッピング出力値を生成する。係数生成部３２０は、チャネルに対応する係数情報を生成し、この係数情報は、チャネル別係数情報またはチャネル間係数情報を含むことができる。ここで、チャネル別係数情報は、大きさ情報、エネルギー情報などを表し、チャネル間係数情報は、フィルタ係数とチャネルマッピング出力値を用いて算出したチャネル間の相関情報を表す。係数生成部３２０は、複数のチャネル別係数生成部を備えることができ、フィルタ情報及びチャネルマッピング出力値を用いて係数情報を生成する。ここで、チャネルは、マルチチャネル、ダウンミックスチャネル、出力チャネルのうちの少なくとも一つを含む。以下ではチャネルをマルチチャネルとし、チャネル別係数情報は大きさ情報として説明するが、これに限定されることはない。そして、係数生成部３２０は、チャネル数に対応させる、または、他の特性によってその数を設定すれば良い。
【００４１】
チャネル別係数を受信した合成部３３０は、該チャネル別係数を統合または合算して合成係数を生成し、該合成係数を用いてフィルタ係数を生成する機能を果たす。合成係数を生成する過程でチャネル別係数以外の追加情報をさらに合成して合成係数を生成しても良い。合成部３３０は、係数情報の特性によって少なくとも一つのチャネル別に合成（ｉｎｔｅｇｒａｔｉｏｎ）をし、特性によってダウンミックスチャネル別、出力チャネル別、出力チャネルを結合した一つのチャネル、これらを組み合わせたチャネル別に行うことができる。そして、合成部３３０は、合成係数に追加処理を行い、フィルタ係数を生成しても良い。例えば、合成係数に対して別個の関数を適用したり、複数の合成係数を結合するなど、合成係数に対して追加処理を行ってフィルタ係数を生成しても良い。
【００４２】
レンダリングドメイン変換部３４０は、空間情報ドメインがレンダリングドメインと異なる場合、空間情報ドメインをレンダリングドメインに一致させる役割を担う。これは、仮想サラウンドレンダリングのためのレンダリングドメインに変換させ、仮想サラウンドレンダリングのためのフィルタ係数（ｆｉｌｔｅｒ  ｃｏｅｆｆｉｃｉｅｎｔｓ）を出力する。
【００４３】
ここで、合成部３３０は、仮想サラウンドレンダリングする演算量を低減させる機能を担うもので、省略可能である。また、ダウンミックス信号がステレオである場合は、各チャネル別係数生成過程で左側（ｌｅｆｔ）及び右側（ｒｉｇｈｔ）ダウンミックス信号に適用される係数セット（ｃｏｅｆｆｉｃｉｅｎｔ  ｓｅｔ）を生成する。ここで、フィルタ係数セットは、それぞれのチャネルから自分のチャネルに伝達される係数と相手側のチャネルに伝達される係数を含むことができる。
【００４４】
図４は、本発明の一実施例による仮想サラウンドレンダリング過程と空間情報の変換過程を説明するための図である。特に、仮想サラウンド生成部４１０に入力されるダウンミックス信号がステレオである場合を示している。
【００４５】
情報変換部４００は、空間情報を用いて仮想サラウンド生成部４１０の自分のチャネルに伝達される係数と相手側のチャネルに伝達される係数を生成できる。該情報変換部４００は、第１のレンダリング部（ｆｉｒｓｔ  ｒｅｎｄｅｒｉｎｇ  ｐａｒｔ）４１３に入力され、自分のチャネル出力である左側出力（ｌｅｆｔ  ｏｕｔ）に伝達する係数ＨＬ＿Ｌと、相手側のチャネルである右側出力（ｒｉｇｈｔ  ｏｕｔ）に伝達する係数ＨＬ＿Ｒを生成する。また、情報変換部４００は、第２のレンダリング部（ｓｅｃｏｎｄ  ｒｅｎｄｅｒｉｎｇ  ｐａｒｔ）４１４に入力され、自分のチャネル出力である右側出力に伝達する係数ＨＲ＿Ｒと、相手側のチャネルである左側出力に伝達する係数ＨＲ＿Ｌを生成する。
【００４６】
仮想サラウンド生成部４１０は、第１のレンダリング部４１３、第２のレンダリング部４１４及び加算器（Ａｄｄｅｒ）４１５，４１６を備える。そして、例えば、ダウンミックスドメインがサブバンドドメインでなく、レンダリングドメインがサブバンドドメインである場合、ドメイン一致のためにドメイン変換のためのドメイン変換部（ｄｏｍａｉｎ  ｃｏｎｖｅｒｔｉｎｇ  ｐａｒｔ）４１１，４１２をさらに備えることができる。ここで、サブバンドドメインをタイムドメインに変換するための逆ドメイン変換部（Ｉｎｖｅｒｓｅ  ｄｏｍａｉｎ  ｃｏｎｖｅｒｔｉｎｇ  ｐａｒｔ）４１７，４１８をさらに備えることができる。この場合、使用者はステレオチャネルを持つイヤホンなどでマルチチャネル効果を持つ音響を聞くことが可能になる。
【００４７】
第１のレンダリング部４１３、第２のレンダリング部４１４は、ステレオチャネルでダウンミックス信号を受信し、合成部４０３から出力した左側、右側ダウンミックス信号に適用されるフィルタ係数セットを受信する。
【００４８】
例えば、第１のレンダリング部４１３、第２のレンダリング部４１４は、四つのフィルタ係数セット（例えば、ＨＬ＿Ｌ、ＨＬ＿Ｒ、ＨＲ＿Ｌ、ＨＲ＿Ｒ）を用いてダウンミックス信号から仮想サラウンド信号を生成するためのレンダリングを行うことができる。
【００４９】
より詳細には、第１のレンダリング部４１３は、フィルタ係数セットである左側セット（ｌｅｆｔ  ｓｅｔ）から自分のチャネルに伝達されるフィルタ係数セットＨＬ＿Ｌと、相手側のチャネルに伝達されるフィルタ係数セットＨＬ＿Ｒを用いてレンダリングを行うことができる。第１のレンダリング部４１３は、第１−１のレンダリング部と第１−２のレンダリング部を備えることができる。第１−１のレンダリング部は、自分のチャネル出力である左側出力に伝達するフィルタ係数セットＨＬ＿Ｌを用いてレンダリングを行い、第１−２のレンダリング部は、相手側のチャネルである右側出力に伝達するフィルタ係数セットＨＬ＿Ｒを用いてレンダリングを行うことができる。また、第２のレンダリング部４１４は、フィルタ係数セットである右側セットから自分のチャネルに伝達されるフィルタ係数セットＨＲ＿Ｒと相手側のチャネルに伝達されるフィルタ係数セットＨＲ＿Ｌを用いてレンダリングを行うことができる。第２のレンダリング部４１４は、第２−１のレンダリング部と第２−２のレンダリング部を備えることができる。第２−１のレンダリング部は、自分のチャネル出力である右側出力に伝達するフィルタ係数セットＨＲ＿Ｒを用いてレンダリングを行い、第２−２のレンダリング部は、相手側のチャネルである左側出力に伝達するフィルタ係数セットＨＲ＿Ｌを用いてレンダリングを行う。ここで、ＨＬ＿Ｒ、ＨＲ＿Ｌは、加算器４１５，４１６で相手側のチャネルに加えられる。この時、場合によってはＨＬ＿Ｒ、ＨＲ＿Ｌが０となることができるが、これは、クロスターム（ｃｒｏｓｓ  ｔｅｒｍ）の係数は０値になりうるということを意味する。ここで、ＨＬ＿Ｒ，ＨＲ＿Ｌが０になると、両パスが互いに何ら影響も与えないことを意味する。
【００５０】
一方、ダウンミックス信号がモノである場合にも、図４と類似の構造によるレンダリングを行うことができる。このため、元来のモノ入力を第１のチャネル信号とし、第１のチャネル信号に無相関（ｄｅｃｏｒｒｅｌａｔｉｏｎ）が行なわれた信号を第１のチャネル信号とすれば、第１のチャネル信号と第２のチャネル信号のそれぞれを第１のレンダリング部４１３、第２のレンダリング部４１４の入力としてレンダリングを行うことができる。
【００５１】
以下、図４のように入力信号がステレオダウンミックス信号（ｓｔｅｒｅｏ  ｄｏｗｎｍｉｘ  ｓｉｇｎａｌ）である場合にダウンミックス信号をｘ、空間情報をチャネルマッピングした係数（ｃｈａｎｎｅｌ  ｍａｐｐｉｎｇ  ｃｏｅｆｆｉｃｉｅｎｔｓ）をＤ、外部入力である原形ＨＲＴＦフィルタ係数をＧ、臨時マルチチャネル信号（ｔｅｍｐｏｒａｒｙ  ｍｕｌｔｉ−ｃｈａｎｎｅｌ  ｓｉｇｎａｌ）をｐ、レンダリングされた出力信号をｙと定義し、これらを行列式（ｍａｔｒｉｘ）で表すと、下記の式１のようになる。下記の式１では原形ＨＲＴＦフィルタ係数を基準にしているが、変形されたＨＲＴＦフィルタ係数が用いられる場合に、下記の式においてＧがＧ’に取り替えられることは明らかである。
【００５２】
【数１】
2008542815.tif 000003
【００５３】
ここで、各係数が周波数領域の値であれば、次のような形態に展開可能である。まず、臨時マルチチャネル信号は空間情報をチャネルマッピングした係数（Ｃｈａｎｎｅｌ  ｍａｐｐｉｎｇ  ｃｏｅｆｆｉｃｉｅｎｔ）とダウンミックス信号との積で表すことができ、これは下記の式２で表される。
【００５４】
【数２】
2008542815.tif 000004
【００５５】
なお、臨時マルチチャネルｐは、原形ＨＲＴＦフィルタ係数Ｇを用いてレンダリングすると、下記の式３のようになる。
【００５６】
[数３]
ｙ＝Ｇ・ｐ
【００５７】
ここで、上記ｐ＝Ｄ・ｘを代入してｙを求めることができる。
【００５８】
[数４]
ｙ＝ＧＤｘ
【００５９】
ここで、ＨをＨ＝ＧＤと定義すれば、レンダリングされた出力信号ｙとダウンミックス信号ｘとは、下記の式５の関係を持つ。
【００６０】
【数５】
2008542815.tif 000005
【００６１】
したがって、フィルタ係数間の積をまず処理してＨを生成した後、これをダウンミックス信号ｘに乗じてｙを求めることができる
【００６２】
したがって、以下に説明されるＦ係数は、Ｈ＝ＧＤの下記式６の関係によって得ることができる。
【００６３】
【数６】
2008542815.tif 000006
【００６４】
図５は、本発明の他の実施例による仮想サラウンドレンダリング過程と空間情報の変換過程を説明するための図である。特に、仮想サラウンド生成部５１０に入力されるデコーディングされたダウンミックス信号がモノ（ｍｏｎｏ）である場合を例示している。
【００６５】
図５を参照すると、情報変換部５００は、チャネルマッピング部５０１、係数生成部５０２及び合成部５０３を備える。情報変換部５００の構成要素は、図４に示す情報変換部４００の構成要素と同じ機能を行うので、その詳細説明は省略する。ただし、情報変換部５００は、仮想サラウンドレンダリングを行うレンダリングドメインと同じドメインを持つ最終的なフィルタ係数を生成できる。該フィルタ係数は、デコーディングされたダウンミックス信号がモノである場合、モノ信号をレンダリングして左側チャネルに出力するのに用いられるフィルタ係数セットＨＭ＿Ｌと、モノ信号をレンダリングして右側チャネルに出力するのに用いられるフィルタ係数セットＨＭ＿Ｒを含むことができる。
【００６６】
仮想サラウンド生成部５１０は、第３のレンダリング部（ｔｈｉｒｄ  ｒｅｎｄｅｒｉｎｇ  ｐａｒｔ）５１２を備える。また、ドメイン変換部５１１と逆ドメイン変換部５１３，５１４をさらに備えることができる。仮想サラウンド生成部５１０の構成要素と図４に示す仮想サラウンド生成部４１０の相違点は、デコーディングされたダウンミックス信号がモノであるから、仮想サラウンドレンダリングを行う第３のレンダリング部５１２が一つであり、ドメイン変換部５１１を一つ含むことができるという点である。第３のレンダリング部５１２は、合成部５０３からフィルタ係数を受信し、該受信したフィルタ係数を用いて仮想サラウンド信号を生成するための仮想サラウンドレンダリングを行うことができる。この時、フィルタ係数は、モノ信号をレンダリングして左側チャネルに出力するのに用いられるフィルタ係数セットＨＭ＿Ｌと、モノ信号をレンダリングして右側チャネルに出力するのに用いられるフィルタ係数セットＨＭ＿Ｒを含む。
【００６７】
一方、モノであるダウンミックス信号の入力に対して、仮想サラウンドレンダリング後の出力がダウンミックスステレオのような形態の出力を得ようとする場合には、次のような２種の方法が可能である。
【００６８】
第一に、第３のレンダリング部５１２（例えば、ＨＲＴＦフィルタ）を、仮想サラウンド効果のためのフィルタ係数を使用せず、ステレオダウンミックス（ｓｔｅｒｅｏ  ｄｏｗｎｍｉｘ）時に使用する値を利用する。この場合、ステレオダウンミックス時に使用する値は左側出力のための係数ｌｅｆｔ  ｆｒｏｎｔ＝１，ｒｉｇｈｔ  ｆｒｏｎｔ＝０，…などが可能である。
【００６９】
第二に、ダウンミックスチャネルから空間情報を用いてマルチチャネルを生成するデコーディング過程において最後のマルチチャネルを生成せず、所望のチャネル数を得るために該当の段階（ｓｔｅｐ）までのみデコーディングを進行することができる。
【００７０】
以下、図５のように入力信号がモノダウンミックス信号である場合にダウンミックス信号をｘ、空間情報をチャネルマッピングした係数をＤ、外部入力の原形ＨＲＴＦフィルタ係数をＧ、臨時マルチチャネル信号をｐ、レンダリングされた出力信号をｙと定義し、これらを行列式で表すと、下記の式７のようになる。
【００７１】
【数７】
2008542815.tif 000007
【００７２】
ここで、該行列式の関係は図４で説明したので、ここでは省略する。ただし、図４は入力ダウンミックス信号がステレオである場合を例にしており、図５は入力ダウンミックス信号がモノである場合を例にしている。
【００７３】
図６及び図７は、本発明によるチャネルマッピング過程を示す図である。
【００７４】
チャネルマッピング過程は、受信した空間情報を仮想サラウンド生成部に合うようにマルチチャネル上のチャネル別にマッピングされる値を生成する過程を意味する。該チャネルマッピング過程は、チャネルマッピング部４０１，５０１で行なわれる。この時、各チャネルにマッピングされる情報、例えば、エネルギーをマッピングする過程で各チャネルを全て考慮して複数のチャネルのうちの少なくとも２つのチャネルをマッピングできる。この場合、Ｌｆｅチャネルをセンター（Ｃ）チャネルと共に考慮することができ、これによれば、チャネル分割数を使用しなくて済み、計算を単純化できる。
【００７５】
例えば、ダウンミックス信号がモノ（ｍｏｎｏ）である場合には、ＣＬＤ１〜ＣＬＤ５、ＩＣＣ１〜ＩＣＣ５などの係数を用いて、チャネルマッピング出力値を生成する。該チャネルマッピング出力値は、ＤＬ，ＤＲ，ＤＣ，ＤＬＦＥ，ＤＬｓ，ＤＲｓなどが可能であり、空間情報を用いて求めるので、様々な公式によって種々のものを求めうることは明らかである。ここで、該チャネルマッピング出力値を生成する過程は、デコーディング装置に受信された空間情報に対応するツリーコンフィギュレーション（ｔｒｅｅ  ｃｏｎｆｉｇｕｒａｔｉｏｎ）とデコーディング装置で使用する空間情報の範囲などによって可変する。
【００７６】
図６及び図７は、本発明によるチャネルマッピング過程を説明するための略ブロック図である。ここで、チャネル構成をなすチャネル変換部はＯＴＴボックスであり、該チャネル構成は５１５１の構造を有する。
【００７７】
図６を参照すると、ＯＴＴボックス６０１，６０２，６０３，６０４，６０５と空間情報（例えば、ＣＬＤ０，ＣＬＤ１，ＣＬＤ２，ＣＬＤ３，ＣＬＤ４，ＩＣＣ０，ＩＣＣ１，ＩＣＣ２，ＩＣＣ３等）を用いて、ダウンミックスチャネルｍからマルチチャネルＬ，Ｒ，Ｃ，ＬＦＥ，Ｌｓ，Ｒｓを生成することが可能である。例えば、ツリー構造（ｔｒｅｅ  ｓｔｒｕｃｔｕｒｅ）が５１５１である場合、ＣＬＤのみを用いてチャネルマッピング出力値を得る方法は、次の式８のようである。
【００７８】
【数８】
2008542815.tif 000008
【００７９】
図７を参照すると、ＯＴＴボックス７０１，７０２，７０３，７０４，７０５と空間情報（例えば、ＣＬＤ０，ＣＬＤ１，ＣＬＤ２，ＣＬＤ３，ＣＬＤ４，ＩＣＣ０，ＩＣＣ１，ＩＣＣ３，ＩＣＣ４等）を用いて、ダウンミックスチャネルｍからマルチチャネルＬ，Ｌｓ，Ｒ，Ｒｓ，Ｃ，ＬＦＥを生成することが可能である。
【００８０】
例えば、ツリー構造が５１５２である場合、ＣＬＤのみを用いてチャネルマッピング出力値を得る方法は、下記の式９のようである。
【００８１】
【数９】
2008542815.tif 000009
【００８２】
そして、チャネルマッピング出力値は、周波数バンド別、パラメータバンド別及び／または転送されたタイムスロット（ｔｉｍｅ  ｓｌｏｔ）別に異なる値を持つ。ここで、隣接するバンド間、境界となるタイムスロット間で値ずれが大きいと、仮想サラウンドレンダリング時に歪みが生じうる。該発生した歪みを防ぐためには、周波数及び時間領域でブラリング（ｂｌｕｒｒｉｎｇ）をする過程が必要となる。該歪みを防止するために行う方法は、次の通りである。まず、上記した周波数ブラリング（ｆｒｅｑｕｅｎｃｙ  ｂｌｕｒｒｉｎｇ）と時間領域ブラリング（ｔｉｍｅ  ｂｌｕｒｒｉｎｇ）を利用でき、仮想サラウンドレンダリングに適合する他の方法を使用することができる。また、チャネルマッピング出力値のそれぞれに特定ゲイン（ｇａｉｎ）を乗じて用いることができる。
【００８３】
図８は、本発明によるチャネル別フィルタ係数を例示する図である。例えば、該フィルタ係数はＨＲＴＦ係数とすれば良い。
【００８４】
仮想サラウンドレンダリングのためには、左側チャネルソース（ｌｅｆｔ  ｃｈａｎｎｅｌ  ｓｏｕｒｃｅ）に対してＧＬ＿Ｌフィルタを通過した信号を左側出力として送り、ＧＬ＿Ｒフィルタを通過した信号を右側出力として送る。以降、各チャネルから受信した全ての信号を総合して左側最終出力（例えば、Ｌｏ）と右側最終出力（例えば、Ｒｏ）を生成する過程を行う。
【００８５】
したがって、仮想サラウンドレンダリングが行われた左右チャネル出力は、下記の式１０のようになる。
【００８６】
[数１０]
Lo=L*GL_L+C*GC_L+R*GR_L+Ls*GLs_L+Rs*GRs_L
Ro=L*GL_R+C*GC_R+R*GR_R+Ls*GLs_R+Rs*GRs_R
【００８７】
本発明の一実施例によれば、Ｌ（８１０），Ｃ（８００），Ｒ（８２０），Ｌｓ（８３０），Ｒｓ（８４０）を求める方法は次の通りである。第一、ダウンミックスチャネル及び空間情報を用いてマルチチャネルを生成する復号化方法を用いて、Ｌ（８１０），Ｃ（８００），Ｒ（８２０），Ｌｓ（８３０），Ｒｓ（８４０）を求めることができる。例えば、このマルチチャネルを生成する方法には、ＭＰＥＧサラウンド復号化方法がある。第二、空間情報同士のみの関係式でＬ（８１０），Ｃ（８００），Ｒ（８２０），Ｌｓ（８３０），Ｒｓ（８４０）を表現できる。
【００８８】
図９乃至図１１は、本発明による仮想サラウンド情報を生成する過程を説明するための略ブロック図である。
【００８９】
図９は、本発明による仮想サラウンド情報を生成する過程の第１の実施例を示す図である。図９を参照すると、チャネルマッピング部を除外した情報変換部は、少なくとも一つの係数生成部（ｃｏｅｆ_１  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ：９００＿１、ｃｏｅｆ＿２  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ：９００＿２、…、ｃｏｅｆ＿Ｎ  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ：９００＿Ｎ）を含む係数生成部（ｃｏｅｆｆｉｃｉｅｎｔ  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ）９００と、合成部（ｉｎｔｅｇｒａｔｉｎｇ  ｐａｒｔ）９１０とを備える。また、フィルタ係数の追加プロセシングのためのインタポレーティング部（ｉｎｔｅｒｐｏｌａｔｉｎｇ  ｐａｒｔ）９２０とドメイン変換部（ｄｏｍａｉｎ  ｃｏｎｖｅｒｔｉｎｇ  ｐａｒｔ）９３０とをさらに備えることができる。
【００９０】
係数生成部９００で行う係数生成過程は、空間情報にフィルタ情報を用いて係数を生成する過程を意味する。この場合、特定係数生成部（例えば、第１の係数生成部をｃｏｅｆ＿１  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ：９００＿１とする。）における係数生成過程は、下記の式で表現可能である。
【００９１】
例えば、ダウンミックスチャネルがモノである場合、第１の係数生成部９００＿１は、空間情報から生成された係数Ｄ＿Ｌを用いて、マルチチャネルの左側チャネルのための係数ＦＬ＿Ｌ及びＦＬ＿Ｒを生成する。該生成された係数ＦＬ＿Ｌ及びＦＬ＿Ｒは、下記の式１１で表現できる。
【００９２】
[数１１]
FL_L=D_L*GL_L（モノ入力から左側出力を生成するのに用いられた係数）
FL_R=D_L*GL_R（モノ入力から右側出力を生成するのに用いられた係数）
【００９３】
ここで、Ｄ＿Ｌは、空間情報のチャネルマッピング過程で空間情報から生成した値である。ただし、該Ｄ＿Ｌを求める過程は、エンコーディング装置から送信し、デコーディング装置で受信したチャネルツリーコンフィギュレーション（ｔｒｅｅ  ｃｏｎｆｉｇｕｒａｔｉｏｎ）によって異なってくる。なお、第２の係数生成部（ｃｏｅｆ＿２  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ）９００＿２、第３の係数生成部（ｃｏｅｆ＿３ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ）９００＿３では、当該係数生成方法と同じ方法で第２の係数生成部９００＿２はＦＲ＿Ｌ，ＦＲ＿Ｒを生成し、第３の係数生成部９００＿３はＦＣ＿Ｌ，ＦＣ＿Ｒなどを生成できる。
【００９４】
例えば、ダウンミックスチャネルがステレオである場合、第１の係数生成部９００＿１は、空間情報から生成された係数Ｄ＿Ｌ１，Ｄ＿Ｌ２を用いて、マルチチャネルの左側チャネルのための係数ＦＬ＿Ｌ１，ＦＬ＿Ｌ２、ＦＬ＿Ｒ１、ＦＬ＿Ｒ２を生成でき、これらは、下記の式１２で表現される。
【００９５】
[数１２]
FL_L1=D_L1*GL_L（左側入力から左側出力を生成するのに用いられた係数）
FL_L2=D_L2*GL_L（右側入力から左側出力を生成するのに用いられた係数）
FL_R1=D_L1*GL_R（左側入力から右側出力を生成するのに用いられた係数）
FL_R2=D_L2*GL_R（右側入力から右側出力を生成するのに用いられた係数）
【００９６】
ここで、ダウンミックスチャネルがステレオである場合は、ダウンミックスチャネルがモノである場合と同じ方法で、少なくとも一つの係数生成器で複数の係数を生成できる。
【００９７】
合成部９１０は、チャネル別に生成されたチャネル別係数を合成してフィルタ係数を生成する。合成部９１０における合成過程を、モノ入力の場合とステレオ入力の場合とに分けて説明すると、下記の式１３のようになる。
【００９８】
[数１３]
＜モノ入力の例＞
HM_L=FL_L+FR_L+FC_L+FLS_L+FRS_L+FLFE_L
HM_R=FL_R+FR_R+FC_R+FLS_R+FRS_R+FLFE_R
＜ステレオ入力の例＞
HL_L=FL_L1+FR_L1+FC_L1+FLS_L1+FRS_L1+FLFE_L1
HR_L=FL_L2+FR_L2+FC_L2+FLS_L2+FRS_L2+FLFE_L2
HL_R=FL_R1+FR_R1+FC_R1+FLS_R1+FRS_R1+FLFE_R1
HR_R=FL_R2+FR_R2+FC_R2+FLS_R2+FRS_R2+FLFE_R2
【００９９】
ここで、ＨＭ＿Ｌ、ＨＭ＿Ｒはモノ入力である場合に仮想サラウンドレンダリング用フィルタ係数として合成された係数を表し、ＨＬ＿Ｌ、ＨＲ＿Ｌ、ＨＬ＿Ｒ、ＨＲ＿Ｒは、ステレオ入力である場合に仮想サラウンドレンダリング用フィルタ係数として合成された係数を表す。
【０１００】
インタポレーティング部９２０は、フィルタ係数に対してインタポレーションを行うことができる。また、フィルタ係数の後処理として時間領域ブラリングを行うことができる。該時間領域ブラリングをタイムブラリング部（ｔｉｍｅ  ｂｌｕｒｉｎｇ  ｐａｒｔ）で行う。インタポレーティング部９１０におけるインタポレーションは、転送及び生成された空間情報が時間軸で間隔が広い場合、該転送及び生成された空間情報間に存在しない空間情報を得るために行われる。例えば、ｎ番目のｐａｒａｍＳｌｏｔとｎ＋ｋ番目のｐａｒａｍＳｌｏｔで空間情報が存在する場合（ｋ＞１）、生成された係数（例えば、ＨＬ＿Ｌ、ＨＲ＿Ｌ、ＨＬ＿Ｒ、ＨＲ＿Ｒ）を用いて、転送されなかったｐａｒａｍＳｌｏｔ上での線形インタポレーションを行うと、下記の式１４のように表される。下記の式１４は一つの実施例に過ぎず、様々なインタポレーティング方法が適用可能である。
【０１０１】
[数１４]
＜モノ入力の例＞
HM_L(n+j)=HM_L(n)*a+HM_L(n+k)*(1-a)
HM_R(n+j)=HM_R(n)*a+HM_R(n+k)*(1-a)
＜ステレオ入力の例＞
HL_L(n+j)=HL_L(n)*a+HL_L(n+k)*(1-a)
HR_L(n+j)=HR_L(n)*a+HR_L(n+k)*(1-a)
HL_R(n+j)=HL_R(n)*a+HL_R(n+k)*(1-a)
HR_R(n+j)=HR_R(n)*a+HR_R(n+k)*(1-a)
【０１０２】
ここで、ＨＭ＿Ｌ（ｎ＋ｊ）、ＨＭ＿Ｒ（ｎ＋ｊ）は、モノ入力である場合に入力された仮想サラウンドレンダリング用フィルタ係数として合成された係数をインタポレーションした係数を表す。ＨＬ＿Ｌ（ｎ＋ｊ）、ＨＲ＿Ｌ（ｎ＋ｊ）、ＨＬ＿Ｒ（ｎ＋ｊ）、ＨＲ＿Ｒ（ｎ＋ｊ）は、ステレオ入力である場合に入力された仮想サラウンドレンダリング用フィルタ係数として合成された係数をインタポレーションした係数を表す。ここで、ｊ及びｋはそれぞれ整数で、０＜ｊ＜ｋであり、ａは０＜ａ＜１の実数で、下記の式１５で表される。
【０１０３】
[数１５]
ａ＝ｊ／ｋ
【０１０４】
したがって、当該転送されなかったｐａｒａｍＳｌｏｔ上での線形インタポレーションを行う場合に対する数式は、ｎ番目のパラメータスロット（ｐａｒａｍｅｔｅｒ  ｓｌｏｔ）の値とｎ＋ｋ番目のパラメータスロットの値を用いて、その間に存在するパラメータスロットの値を探す方法である。上記の式１５によって２スロットにおける値を直線で連結した線上で該当位置に対応する値が得られる。
【０１０５】
タイムブラリング部（ｔｉｍｅ  ｂｌｕｒｉｎｇ  ｐａｒｔ）における時間領域ブラリング（ｔｉｍｅ  ｂｌｕｒｒｉｎｇ）は、時間領域において隣接するブロック間に係数値が急に変化すると、不連続点（ｄｉｓｃｏｎｔｉｎｕｏｕｓ  ｐｏｉｎｔ）が発生し、歪み（ｄｉｓｔｏｒｔｉｏｎ）につながる問題を防止するために行うことができる。該時間領域ブラリングは、インタポレーションと並行でき、または、その位置によって適用される方法が異なることができる。ダウンミックスチャネルがモノである場合に、フィルタ係数の時間領域ブラリングは、下記の式１６で表されることができる。
【０１０６】
[数１６]
HM_L(n)'=HM_L(n)*b+HM_L(n-1)'*(1-b)
HM_R(n)'=HM_R(n)*b+HM_R(n-1)'*(1-b)
【０１０７】
すなわち、以前ブロック（ｎ−１）でのフィルタ係数（ＨＭ＿Ｌ（ｎ−1）'またはＨＭ＿Ｒ（ｎ−１）'）に（1−ｂ）を乗じ、現在ブロックｎで生成されたフィルタ係数（ＨＭ＿Ｌ（ｎ）またはＨＭ＿Ｒ（ｎ））にｂを乗じて足す１−ｐｏｌｅ  ＩＩＲフィルタ形態のブラリングを行うことができる。ここで、ｂは、０＜ｂ＜１の定数値であり、該ｂ値が小さいほどブラリング効果が大きく、ｂ値が大きいほどブラリング効果は小さくなる。また、他のフィルタも同じ方法が適用可能である。
【０１０８】
該時間領域ブラリングのための上記の式１６を用いてインタポレーションとブラリングを一つの数式で表現すると、下記の式１７のようになる。
【０１０９】
[数１７]
HM_L(n+j)'=(HM_L(n)*a+HM_L(n+k)*(1-a))*b+HM_L(n+j-1)'*(1-b)
HM_R(n+j)'=(HM_R(n)*a+HM_R(n+k)*(1-a))*b+HM_R(n+j-1)'*(1-b)
【０１１０】
一方、インタポレーティング部９１０及び／またはタイムブラリング部でインタポレーションと時間領域ブラリング過程を行うと、元来のフィルタ係数が持つエネルギーと異なるエネルギー値を持つフィルタ係数が得られるが、この種の問題を防止するためにエネルギー正規化作業が加えられることができる。
【０１１１】
ドメイン変換部９３０は、レンダリングドメインと空間情報ドメインが同一でない場合、該空間情報ドメインをレンダリングドメインと一致させるためにドメイン変換を行う。ただし、空間情報ドメインとレンダリングドメインが同じ場合には、ドメイン変換が必要でない。このとき、空間情報ドメインがサブバンドドメインで、レンダリングドメインが周波数ドメインである場合、ドメイン変換は、各サブバンドの周波数及び時間範囲に合うように係数を拡張、伸縮する過程になりうる。
【０１１２】
図１０は、本発明による仮想サラウンド情報を生成する過程の第２の実施例を示す図である。図１０を参照すると、チャネルマッピング部を除外した情報変換部は、少なくとも一つの係数生成部（ｃｏｅｆ_１  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ：１０００＿１、ｃｏｅｆ_２  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ：１０００＿２，…，ｃｏｅｆ＿Ｎ  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ：１０００＿Ｎ）を含む係数生成部（ｃｏｅｆｆｉｃｉｅｎｔ  ｇｅｎｅｒａｔｉｎｇ  ｐａｒｔ）１０００と合成部（ｉｎｔｅｇｒａｔｉｎｇ  ｐａｒｔ）１０２０とを備える。また、追加プロセシングのために少なくとも一つのインタポレーティング部１０１０＿１，１０１０＿２，…，１０１０＿Ｎを含むインタポレーティング部（ｉｎｔｅｒｐｏｌａｔｉｎｇ  ｐａｒｔ）１０１０と、ドメイン変換部（ｄｏｍａｉｎ  ｃｏｎｖｅｒｔｉｎｇ  ｐａｒｔ）１０３０とをさらに備えることができる。図１０に示す第２の実施例は、図９に示す第１の実施例と違い、係数生成部１０００で各チャネル別に生成された係数（例えば、モノである場合はＦＬ＿Ｌ、ＦＬ＿Ｒ、ステレオである場合はＦＬ＿Ｌ１、ＦＬ＿Ｌ２、ＦＬ＿Ｒ１、ＦＬ＿Ｒ２）に対して全てインタポレーションを行う。
【０１１３】
図１１は、本発明による仮想サラウンド情報を生成する過程の第３の実施例を示す図である。図１１の実施例は、上記の図９、図１０の第１、第２の実施例と違い、チャネルマッピングされた空間情報に対してそれぞれインタポレーティング部１１００でインタポレーションを行った後、該インタポレーションされた値を用いてチャネル別係数を生成する。
【０１１４】
図９乃至図１１で説明した各実施例の方法において、空間情報をチャネルマッピングした出力値は周波数領域の値（例えば、パラメータバンド（ｐａｒａｍｅｔｅｒ  ｂａｎｄ）単位は一つの値を持つ値）であるから、フィルタ係数の生成過程などは全て周波数領域で進行される場合と仮定して説明したものである。また、仮想サラウンドレンダリングもまた、サブバンド領域で行われる場合にはドメイン変換部は何らの役割を行わず、サブバンド領域でのフィルタ係数をそのまま出力する、または、周波数解像度（ｆｒｅｑｕｅｎｃｙ  ｒｅｓｏｌｕｔｉｏｎ）を合わせる変換過程のみを行って出力することができる。
【０１１５】
また、本発明は、ダウンミックス信号を仮想サラウンド信号に変換できるサラウンド変換情報の生成方法及び装置と、データ構造及び媒体を提供することができる。そして、本発明は、サラウンド変換情報を生成するためにフィルタ情報に空間情報を適用する適用する方法、フィルタ情報を前処理する方法などを提供できる。
【０１１６】
本発明は、上記の実施例に限定されず、添付の特許請求の範囲内において様々な変形が可能であるということは、当該技術分野における通常の知識を持つ者にとっては自明であり、これらの変形はいずれも本発明の範囲に含まれる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の一実施例による信号処理システムを示す図である。
【図２】本発明の一実施例による仮想サラウンド生成部を示す略ブロック図である。
【図３】本発明の一実施例による情報変換部を示す略ブロック図である。
【図４】本発明の一実施例による仮想サラウンドレンダリング過程と空間情報の変換過程を説明するための略ブロック図である。
【図５】本発明の他の実施例による仮想サラウンドレンダリング過程と空間情報の変換過程を説明するための略ブロック図である。
【図６】本発明の一実施例によるチャネルマッピング過程を説明するための略ブロック図である。
【図７】本発明の他の実施例によるチャネルマッピング過程を説明するための略ブロック図である。
【図８】本発明の一実施例によるチャネル別フィルタ係数を説明するための概略図である。
【図９】本発明によるサラウンド変換情報を生成する過程を説明するための略ブロック図である。
【図１０】本発明によるサラウンド変換情報を生成する過程を説明するための略ブロック図である。
【図１１】本発明によるサラウンド変換情報を生成する過程を説明するための略ブロック図である。
【図１】
2008542815.tif 000010
【図２】
2008542815.tif 000011
【図３】
2008542815.tif 000012
【図４】
2008542815.tif 000013
【図５】
2008542815.tif 000014
【図６】
2008542815.tif 000015
【図７】
2008542815.tif 000016
【図８】
2008542815.tif 000017
【図９】
2008542815.tif 000018
【図１０】
2008542815.tif 000019
【図１１】
2008542815.tif 000020
【国際調査報告】
2008542815.tif 000021
2008542815.tif 000022
2008542815.tif 000023