(57)【要約】【課題】オーディオ信号をデコーディングするオーディオ信号のデコーディング方法及び装置を提供する。【解決手段】オーディオ信号及び空間情報を受信する段階と、変形空間情報のタイプを識別する段階と、空間情報を用いて変形空間情報を生成する段階と、変形空間情報を用いてオーディオ信号をデコーディングする段階と、を含み、変形空間情報のタイプは、部分空間情報、組合せ空間情報、及び拡大空間情報のうち一つ以上を含む構成とした。本発明によれば、エンコーディング装置で決定された構造以外の構造にオーディオ信号をデコーディングでき、ダウンミックスされる前のマルチチャンネルの本数よりスピーカー数が少ないまたは多い場合であっても、ダウンミックスオーディオ信号からスピーカー数と同じ本数の出力チャンネルを生成することができる。【選択図】図１
2009508433.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号を受信する段階と、
ツリー構造情報及び空間パラメータを含む空間情報を受信する段階と、
前記空間情報に拡張空間情報を追加して変形空間情報を生成する段階と、
前記変形空間情報を用いてオーディオ信号をアップミキシングする段階と、
を含み、
前記アップミキシングする段階は、
前記空間情報に基づいて前記オーディオ信号を１次アップミキシング信号に変換する段階と、
前記拡張空間情報に基づいて、前記１次アップミキシングオーディオ信号を２次アップミキシングオーディオ信号に変換する段階と、
を含むことを特徴とする、オーディオ信号のデコーディング方法。
【請求項２】
前記オーディオ信号は、マルチチャンネルオーディオ信号がダウンミックスされたダウンミックスオーディオ信号であり、
前記空間情報は、前記マルチチャンネルオーディオ信号が定められたツリー構造によってダウンミックスされることによって決定されることを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項３】
前記変形空間情報は、前記空間情報及び前記拡張空間情報に基づいて算出されるマトリックスであり、
前記マトリックスを構成する因子は、前記空間パラメータ、及び前記拡張空間情報の拡張空間パラメータによって定義されることを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項４】
前記拡張空間情報は、拡張チャンネル構成情報及び拡張空間パラメータを含み、前記拡張チャンネル構成情報は、分割識別子及び未分割識別子のうち一つ以上を含むことを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項５】
前記拡張空間パラメータは、チャンネル間レベル差を含むことを特徴とする、請求項４に記載のオーディオ信号のデコーディング方法。
【請求項６】
前記拡張空間情報は受信したものであり、
前記拡張空間パラメータは、前記分割識別子の総個数だけ抽出されたことを特徴とする、請求項４に記載のオーディオ信号のデコーディング方法。
【請求項７】
前記アップミキシングする段階は、
前記分割識別子とマッチングされる拡張空間パラメータを用いて、前記分割識別子とマッチングされるチャンネルを２つ以上のチャンネルに分割する段階をさらに含み、
前記分割する段階は、前記分割識別子の総個数だけ繰り返されることを特徴とする、請求項４に記載のオーディオ信号のデコーディング方法。
【請求項８】
前記アップミキシングする段階は、
前記未分割識別子とマッチングされるチャンネルを出力チャンネルとして選択する段階をさらに含み、
前記選択する段階は、前記未分割識別子の総個数だけ繰り返されることを特徴とする、請求項４に記載のオーディオ信号のデコーディング方法。
【請求項９】
前記拡張空間パラメータは、前記空間パラメータを用いて計算したものであることを特徴とする、請求項４に記載のオーディオ信号のデコーディング方法。
【請求項１０】
前記拡張空間情報は、拡張チャンネルマッピング情報を含み、
前記アップミキシング段階の後、前記拡張チャンネルマッピング情報を用いて出力チャンネルオーディオ信号をリマッピングする段階をさらに含むことを特徴とする、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１１】
空間情報に拡張空間情報を追加して変形空間情報を生成する変形空間情報生成部と、
前記変形空間情報を用いてオーディオ信号をアップミキシングする出力チャンネル生成部と、
を含み、
前記空間情報はツリー構造情報及び空間パラメータを含み、前記空間情報及び前記オーディオ信号は受信したものであることを特徴とする、オーディオ信号のデコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理に係り、より詳細には、オーディオ信号をデコーディングするオーディオ信号のデコーディング方法及び装置に関する。
【背景技術】
【０００２】
一般的に、エンコーディング装置がオーディオ信号をエンコーディングする場合において、エンコーディングするオーディオ信号がマルチチャンネルオーディオ信号である場合、マルチチャンネルオーディオ信号を２チャンネルや１チャンネルにダウンミックスしてダウンミックスオーディオ信号を生成し、マルチチャンネルオーディオ信号から空間情報を抽出する。この空間情報は、ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号にアップミキシングするのに使用できる情報である。一方、エンコーディング装置は、定められたツリー構造によってマルチチャンネルオーディオ信号をダウンミックスする。ここで、定められたツリー構造は、オーディオ信号のデコーディング装置とオーディオ信号のエンコーディング装置間で取り決められた構造になりうる。すなわち、定められたツリー構造のうち、どのタイプに該当するかを表す識別情報が存在すると、デコーディング装置は、アップミキシングされた後のオーディオ信号の構造、例えば、チャンネルの本数、各チャンネルの位置がわかる。
【０００３】
このように、エンコーディング装置が、定められたツリー構造によってマルチチャンネルオーディオ信号をダウンミックスすると、この過程で抽出された空間情報もその構造に従属する。したがって、デコーディング装置が、構造に従属した空間情報を用いてダウンミックスオーディオ信号をアップミックスする場合には、その構造によるマルチチャンネルオーディオ信号が生成される。
【０００４】
すなわち、デコーディング装置がエンコーディング装置により生成された空間情報をそのまま用いる場合、エンコーディング装置とデコーディング装置により取り決められた構造にのみアップミックスされるから、取り決められた構造以外の出力チャンネルオーディオ信号が生成されないという問題点があった。例えば、取り決められた構造によって決定されるチャンネルの本数と異なる（少ないまたは多い）チャンネル数のオーディオ信号にはアップミックスすることはできない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は上記の問題点を解決するためのもので、その目的は、エンコーディング装置で決定された構造以外の構造にオーディオ信号をデコーディングできるようにするオーディオ信号のデコーディング方法及び装置を提供することにある。
【０００６】
本発明の他の目的は、エンコーディングで生成された空間情報を変形した後、変形された空間情報を用いてオーディオ信号をデコーディングできるようにするオーディオ信号のデコーディング方法及び装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本発明の一側面によれば、オーディオ信号及び空間情報を受信する段階と、変形空間情報のタイプを識別する段階と、前記空間情報を用いて前記変形空間情報を生成する段階と、を含み、前記変形空間情報を用いて前記オーディオ信号をデコーディングする段階と、を含み、前記変形空間情報のタイプは、部分空間情報、組合せ空間情報、及び拡大空間情報のうち一つ以上を含むことを特徴とするオーディオ信号のデコーディング方法が提供される。
【０００８】
本発明の他の側面によれば、空間情報を受信する段階と、前記空間情報を用いて組合せ空間情報を生成する段階と、前記組合せ空間情報を用いてオーディオ信号をデコーディングする段階と、を含み、前記組合せ空間情報は、前記空間情報に含まれる空間パラメータを組み合わせて生成されたことを特徴とするオーディオ信号のデコーディング方法が提供される。
【０００９】
本発明のさらに他の側面によれば、一つ以上の空間パラメータを含む空間情報、及び一つ以上のフィルタパラメータを含む空間フィルタ情報を受信する段階と、前記空間パラメータ及び前記フィルタパラメータを組み合わせてサラウンド効果を持つ組合せ空間情報を生成する段階と、前記組合せ空間情報を用いてオーディオ信号を仮想サラウンド信号に変換する段階と、を含む、オーディオ信号のデコーディング方法が提供される。
【００１０】
本発明のさらに他の側面によれば、オーディオ信号を受信する段階と、ツリー構造情報及び空間パラメータを含む空間情報を受信する段階と、前記空間情報に拡張空間情報を追加して変形空間情報を生成する段階と、前記変形空間情報を用いてオーディオ信号をアップミキシングする段階と、を含み、前記アップミキシングする段階は、前記空間情報に基づいて前記オーディオ信号を１次アップミキシング信号に変換する段階と、前記拡張空間情報に基づいて、前記１次アップミキシングオーディオ信号を２次アップミキシングオーディオ信号に変換する段階と、を含むことを特徴とするオーディオ信号のデコーディング方法が提供される。
【発明を実施するための最良の形態】
【００１１】
以下、添付の図面を参照しつつ、本発明の好適な実施例を詳細に説明する。ただし、本明細書及び請求の範囲に使われた用語や単語は、通常のまたは辞典に記載の意味に限定して解釈されてはならず、発明者は自分の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立ち、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示す構成は、本発明の最も好ましい一実施例に過ぎず、本発明の技術的思想を限定するものではないので、本出願時点においてこれらに取って代わる様々な均等物と変形例が可能であるということは明らかである。
【００１２】
なお、本発明で使われる用語は、可能なかぎり現在広く使われている一般的な用語を選定したが、特定の場合は、出願人が任意に選定した用語もあり、その場合には、該当する発明の説明部分で詳細にその意味を記載しておくので、単純な用語の名称ではなく用語が持つ意味で本発明を把握しなければならない。
【００１３】
本発明は、空間情報を用いて変形空間情報を生成した後、生成された変形空間情報を用いてオーディオ信号をデコーディングする。空間情報は、定められたツリー構造によってダウンミックスされる過程で抽出された空間情報で、変形空間情報は、空間情報を用いて新しく生成された空間情報である。
【００１４】
以下、図１を参照しながら、本発明について具体的に説明する。図１は、本発明の実施例によるオーディオ信号のエンコーディング装置及びデコーディング装置の構成を示す図である。図１を参照すると、オーディオ信号のエンコーディング装置（以下、エンコーディング装置という。）１００は、ダウンミックス部１１０及び空間情報抽出部１２０を含み、オーディオ信号のデコーディング装置(以下、デコーディング装置という。）２００は、出力チャンネル生成部２１０及び変形空間情報生成部２２０を含む。
【００１５】
エンコーディング装置１００のダウンミックス部１１０は、マルチチャンネルオーディオ信号ＩＮ＿Ｍをダウンミックスしてダウンミックスオーディオ信号ｄを生成する。ダウンミックスオーディオ信号ｄは、マルチチャンネルオーディオ信号ＩＮ＿Ｍがダウンミックス部１１０によりダウンミックスされたものであっても良いが、マルチチャンネルオーディオ信号ＩＮ＿Ｍが使用者により任意的にダウンミックスされた任意的ダウンミックスオーディオ信号であっても良い。
【００１６】
エンコーディング装置１００の空間情報抽出部１２０は、マルチチャンネルオーディオ信号ＩＮ＿Ｍから空間情報ｓを抽出する。ここで、空間情報は、ダウンミックスオーディオ信号ｄをマルチチャンネルオーディオ信号ＩＮ＿Ｍにアップミックスするのに必要な情報である。一方、空間情報は、マルチチャンネルオーディオ信号ＩＮ＿Ｍが定められたツリー構造によってダウンミックスされる過程で抽出された情報となりうる。ここで、定められたツリー構造とは、オーディオ信号のデコーディング装置とオーディオ信号のエンコーディング装置間で取り決められたツリー構造であるが、本発明はこれに限定されることはない。一方、空間情報（ｓｐａｔｉａｌ  ｉｎｆｏｒｍａｔｉｏｎ）は、ツリー構造情報、指示子、空間パラメータなどを含むことができる。ここで、ツリー構造情報とは、ツリー構造の類型に関する情報のことをいい、このツリー構造の類型によってマルチチャンネルの本数、チャンネル別ダウンミックス順序などが変わる。指示子は、拡張空間情報が存在するか否かなどを表す情報である。空間パラメータとしては、２本以上のチャンネルが２本以下のチャンネルにダウンミックスされる過程でのチャンネル間レベル差（ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ：以下、‘ＣＬＤ’という。)、チャンネル間相関関係（ｉｎｔｅｒ  ｃｈａｎｎｅｌ  ｃｏｈｅｒｅｎｃｅｓ：以下、‘ＩＣＣ’という。）、チャンネル予測係数（ｃｈａｎｎｅｌ  ｐｒｅｄｉｃｔｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔｓ：以下、‘ＣＰＣ’という。）などが挙げられる。一方、空間情報抽出部１２０は、空間情報の他に、拡張空間情報をさらに抽出できる。ここで、拡張空間情報とは、ダウンミックスオーディオ信号ｄが空間パラメータによりアップミックスされた後に、追加的に拡張される場合に必要な情報のことで、拡張チャンネル構成情報及び拡張空間パラメータを含むことができる。後ほど説明される拡張空間情報は、空間情報抽出部１２０により抽出されたものに限定されない。
【００１７】
一方、エンコーディング装置１００は、ダウンミックスオーディオ信号ｄをデコーディングしてダウンミックスオーディオビットストリームを生成するコアコーデックエンコーディング部（図示せず）、空間情報ｓをエンコーディングして空間情報ビットストリームを生成する空間情報エンコーディング部（図示せず）、及びダウンミックスオーディオビットストリーム及び空間情報ビットストリームを多重化し、オーディオ信号に関するビットストリームを生成する多重化部（図示せず）をさらに備えることができるが、本発明がこれに限定されることはない。
【００１８】
デコーディング装置２００は、オーディオ信号に関するビットストリームを、ダウンミックスオーディオビットストリームと空間情報ビットストリームとに分離する逆多重化部（図示せず）、ダウンミックスオーディオビットストリームをデコーディングするコアコーデックデコーディング部（図示せず）、空間情報ビットストリームをデコーディングする空間情報デコーディング部（図示せず）をさらに含むことができるが、本発明はこれに限定されない。
【００１９】
デコーディング装置２００の変形空間情報生成部２２０は、空間情報を用いて変形空間情報のタイプを識別し、空間情報に基づいて識別されたタイプの変形空間情報 （ｍｏｄｉｆｉｅｄ  ｓｐａｔｉａｌ  ｉｎｆｏｒｍａｔｉｏｎ）ｓ’を生成する。ここで、空間情報は、エンコーディング装置１００から伝達された空間情報ｓとなりうる。変形空間情報（ｍｏｄｉｆｉｅｄ  ｓｐａｔｉａｌ  ｉｎｆｏｒｍａｔｉｏｎ）とは、空間情報を用いて新しく生成された空間情報のことをいう。一方、変形空間情報のタイプ（ｔｙｐｅ）は様々なものがあり、変形空間情報のタイプは、ａ）部分空間情報、ｂ）組合せ空間情報、ｃ）拡大空間情報のうち一つ以上を含むことができるが、本発明はこれに限定されない。部分空間情報は、空間パラメータの一部を含むもので、組合せ空間情報は空間パラメータを組み合わせて生成したもので、拡大空間情報は空間情報及び拡張空間情報を用いて生成したものである。変形空間情報生成部２２０が変形空間情報を生成する方法は、上のような変形空間情報のタイプによって変わる。各変形空間情報のタイプ別に変形空間情報を生成する方法についての説明は、後ほど具体的に説明する。
【００２０】
一方、変形空間情報の類型を決定する基準は、空間情報のうちのツリー構造情報、空間情報のうちの指示子、出力チャンネル情報などになりうる。ツリー構造情報及び指示子は、エンコーディング装置からの空間情報ｓに含めることができる。出力チャンネル情報は、デコーディング装置２００と連携されているスピーカーに関する情報で、出力チャンネルの数、出力チャンネルのそれぞれの位置情報などを含むことができる。出力チャンネル情報は、製作者により既に入力されているものであっても良く、使用者により入力されるものであっても良い。このような情報を用いて変形空間情報の類型を決定する方法については、後ほどより具体的に説明する。
【００２１】
デコーディング装置２００の出力チャンネル生成部２１０は、変形空間情報ｓ’を用いてダウンミックスオーディオ信号ｄから出力チャンネルオーディオ信号ＯＵＴ＿Ｎを生成する。
【００２２】
デコーディング装置２００の空間フィルタ情報２３０は、音響経路に関する情報で、変形空間情報生成部２２０に提供される。変形空間情報生成部２２０がサラウンド効果を持つ組合せ空間情報を生成する場合、この空間フィルタ情報を用いることができる。
【００２３】
以下、変形空間情報の類型別に変形空間情報を生成し、オーディオ信号をデコーディングする方法について、（１）部分空間情報、（２）組合せ空間情報、（３）拡大空間情報順に説明する。
【００２４】
(１)部分空間情報
空間パラメータは、マルチチャンネルオーディオ信号が定められたツリー構造にしたがってダウンミックスされる過程で計算されたものであるから、空間パラメータをそのまま用いてダウンミックスオーディオ信号をデコーディングすると、ダウンミックスされる前である元来のマルチチャンネルオーディオ信号に復元される。もし、マルチチャンネルオーディオ信号のチャンネル数（Ｍ）よりも出力チャンネルオーディオ信号のチャンネル数（Ｎ）を少なくしたい場合、空間パラメータの一部のみを適用してダウンミックスオーディオ信号をデコーディングすることができる。
【００２５】
このような方法は、エンコーディング装置でマルチチャンネルオーディオ信号がダウンミックスされる順序と方法、すなわち、ツリー構造の類型によって変えることができ、当該ツリー構造の類型は空間情報のツリー構造情報を用いて照会することができる。また、このような方法は、出力チャンネルの本数がいくつかによって変えることができ、この出力チャンネルの本数などは、出力チャンネル情報を用いて照会すれば良い。
【００２６】
以下、マルチチャンネルオーディオ信号のチャンネル数よりも出力チャンネルオーディオ信号のチャンネル数が小さい場合、空間パラメータのうち一部を含む部分空間情報を適用してオーディオ信号をデコーディングする方法について、様々なツリー構造を取り上げて説明する。
【００２７】
(１)−１．ツリー構造の第１例（５−２−５ツリー構造）
図２は、部分空間情報を適用する一例を概略的に示す図である。図２の左側を参照すると、チャンネル数が６本であるマルチチャンネルオーディオ信号（左側前方チャンネル（Ｌｅｆｔ  Ｆｒｏｎｔ）Ｌ、左側サラウンドチャンネル（Ｌｅｆｔ  Ｓｕｒｒｏｕｎｄ）ＬS、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネル（Ｒｉｇｈｔ  Ｆｒｏｎｔ）Ｒ、右側サラウンドチャンネル（Ｒｉｇｈｔ  Ｓｕｒｒｏｕｎｄ）ＲS）が、ステレオダウンミックスチャンネルＬo、Ｒoにダウンミックスされる順序及び空間パラメータとの関係が示されている。
【００２８】
まず、左側チャンネルＬと左側サラウンドチャンネルＬS間のダウンミックスと、センターチャンネルＣ及び低周波チャンネルＬＦＥ間のダウンミックス、右側チャンネルＲ及び右側サラウンドチャンネルＲS間のダウンミックスが行われる。このような第１次ダウンミックス過程で、左側トータルチャンネルＬt、センタートータルチャンネルＣt、右側トータルチャンネルＲtが生成され、この第１次ダウンミックス過程で算出される空間パラメータはＣＬＤ2（ＩＣＣ2含む）、ＣＬＤ1（ＩＣＣ1含む）、ＣＬＤ0（ＩＣＣ0含む）等である。１次ダウンミックス過程以降の２次ダウンミックス過程では、左側トータルチャンネルＬt、センタートータルチャンネルＣt、右側トータルチャンネルＲtがダウンミックスされて左側チャンネルＬo及び右側チャンネルＲoが生成され、２次ダウンミックス過程で算出される空間パラメータはＣＬＤTTT、ＣＰＣTTT、ＩＣＣTTTなどが含まれうる。言い換えると、合計６チャンネルのマルチチャンネルオーディオ信号が、上のような順序にしたがってダウンミックスされてステレオダウンミックスオーディオ信号Ｌo，Ｒoを生成する。もし、このような順序にしたがって算出された空間パラメータ（ＣＬＤ2，ＣＬＤ1，ＣＬＤ0，ＣＬＤTTT等）をそのまま用いる場合、ダウンミックスされた順序の逆順でアップミックスされ、チャンネル数６のマルチチャンネルオーディオ信号（左側前方チャンネルＬ、左側サラウンドチャンネルＬS、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネルＲ、右側サラウンドチャンネルＲS）が生成される。
【００２９】
図２の右側に示すように、部分空間情報が空間パラメータ（ＣＬＤ2、ＣＬＤ1、ＣＬＤ0、ＣＬＤTTT等）のうちＣＬＤTTTである場合、左側トータルチャンネルＬt、センタートータルチャンネルＣt、及び右側トータルチャンネルＲtにアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬt、右側トータルチャンネルＲtのみを選択すれば、２チャンネルの出力チャンネルオーディオ信号Ｌt，Ｒtを生成でき、出力チャンネルオーディオ信号として左側トータルチャンネルＬt、センタートータルチャンネルＣt、及び右側トータルチャンネルＲtを選択すると、３チャンネルの出力チャンネルオーディオ信号Ｌt，Ｃt，Ｒtを生成できる。また、追加的にＣＬＤ1を使用してアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬt、右側トータルチャンネルＲt、センターチャンネルＣ及び低周波チャンネルＬＦＥを選択すると、４チャンネルの出力チャンネルオーディオ信号Ｌt，Ｒt，Ｃ，ＬＦＥを生成できる。
【００３０】
(１)−２．ツリー構造の第２例（５−１−５ツリー構造）
図３は、部分空間情報を適用する他の例を概略的に示す図である。図３の左側を参照すると、チャンネル数が６のマルチチャンネルオーディオ信号（左側前方チャンネルＬ、左側サラウンドチャンネルＬS、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネルＲ、右側サラウンドチャンネルＲS）が、モノダウンミックスオーディオ信号Ｍにダウンミックスされる順序及び空間パラメータとの関係が示されている。
【００３１】
ツリー構造の第１例と同様に、左側チャンネルＬと左側サラウンドチャンネルＬS間のダウンミックスと、センターチャンネルＣ及び低周波チャンネルＬＦＥ間のダウンミックス、右側チャンネルＲ及び右側サラウンドチャンネルＲS間のダウンミックスが行われる。このような第１次ダウンミックス過程で、左側トータルチャンネルＬt、センタートータルチャンネルＣt、右側トータルチャンネルＲtが生成され、第１次ダウンミックス過程で算出される空間パラメータはＣＬＤ3（ＩＣＣ3含む）、ＣＬＤ4（ＩＣＣ4含む）、ＣＬＤ5（ＩＣＣ5含む）（ここでのＣＬＤx、ＩＣＣxは、ツリー構造の第１例におけるＣＬＤxとは区別される）等である。１次ダウンミックス過程以降の２次ダウンミックス過程では、左側トータルチャンネルＬtとセンタートータルチャンネルＣtとがダウンミックスされて左側センターチャンネルＬＣが生成され、センタートータルチャンネルＣtと右側トータルチャンネルＲtとがダウンミックスされて右側センターチャンネルＲＣが生成され、第２次ダウンミックス過程で算出される空間パラメータはＣＬＤ2（ＩＣＣ2含む）、ＣＬＤ1（ＩＣＣ1含む）等である。その後、第３次ダウンミックス過程で左側センターチャンネルＬＣと右側センターチャンネルＲＣとがダウンミックスされてモノダウンミックスチャンネルＭが生成され、第２次ダウンミックス過程で算出される空間パラメータはＣＬＤ0（ＩＣＣ0含む）等である。
【００３２】
図３の右側に示すように、部分空間情報が空間パラメータ（ＣＬＤ3，ＣＬＤ4，ＣＬＤ5，ＣＬＤ1、ＣＬＤ2，ＣＬＤ0等）のうちＣＬＤ0である場合、左側センターチャンネルＬＣ及び右側センターチャンネルＲＣを生成した後、出力チャンネルオーディオ信号として左側センターチャンネルＬＣ及び右側センターチャンネルＲＣを選択すると、２チャンネルの出力チャンネルオーディオ信号ＬＣ，ＲＣを生成できる。一方、部分空間情報が空間パラメータ（ＣＬＤ3，ＣＬＤ4，ＣＬＤ5，ＣＬＤ1，ＣＬＤ2，ＣＬＤ0等）のうちＣＬＤ0，ＣＬＤ1，ＣＬＤ2である場合、左側トータルチャンネルＬt、センタートータルチャンネルＣt、右側トータルチャンネルＲtを生成した後、出力チャンネルオーディオ信号として左側トータルチャンネルＬt及び右側トータルチャンネルＲtを選択すると、２チャンネルの出力チャンネルオーディオ信号Ｌt，Ｒtを生成でき、出力チャンネルオーディオ信号として左側トータルチャンネルＬt、センタートータルチャンネルＣt及び右側トータルチャンネルＲtを選択すると、３チャンネルの出力チャンネルオーディオ信号Ｌt，Ｃt，Ｒtを生成できる。また、部分空間情報が追加的にＣＬＤ4を含む場合、センターチャンネルＣ及び低周波チャンネルＬＦＥまでアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬt、右側トータルチャンネルＲt、センターチャンネルＣ及び低周波チャンネルＬＦＥを選択すると、４チャンネルの出力チャンネルオーディオ信号Ｌt，Ｒt、Ｃ、ＬＦＥを生成できる。
【００３３】
(１)−３．ツリー構造の第３例（５−１−５ツリー構造）
図４は、部分空間情報を適用するさらに他の例を概略的に示す図である。図４の左側を参照すると、チャンネル数６のマルチチャンネルオーディオ信号（左側前方チャンネルＬ、左側サラウンドチャンネルＬS、センターチャンネルＣ、低周波チャンネルＬＦＥ、右側前方チャンネルＲ、右側サラウンドチャンネルＲS）がモノダウンミックスオーディオ信号Ｍにダウンミックスされる順序及び空間パラメータとの関係が示されている。
【００３４】
ツリー構造の第１例及び第２例と同様に、左側チャンネルＬと左側サラウンドチャンネルＬS間のダウンミックスと、センターチャンネルＣ及び低周波チャンネルＬＦＥ間のダウンミックス、右側チャンネルＲ及び右側サラウンドチャンネルＲS間のダウンミックスが行われる。このような第１次ダウンミックス過程で、左側トータルチャンネルＬt、センタートータルチャンネルＣt、右側トータルチャンネルＲtが生成され、空間パラメータはＣＬＤ1（ＩＣＣ1含む）、ＣＬＤ2（ＩＣＣ2含む）、ＣＬＤ3（ＩＣＣ3含む）等（ここでのＣＬＤx，ＩＣＣxは、ツリー構造の第１例及び第２例におけるＣＬＤx，ＩＣＣxとは区別される）が算出される。１次ダウンミックス過程以降の２次ダウンミックス過程では、左側トータルチャンネルＬt、センタートータルチャンネルＣt及び右側トータルチャンネルＲtがダウンミックスされて左側センターチャンネルＬＣ及び右側チャンネルＲが生成され、空間パラメータはＣＬＤTTT（ＩＣＣTTT含む）が算出される。その後、第３次ダウンミックス過程で左側センターチャンネルＬＣと右側チャンネルＲがダウンミックスされてモノダウンミックスチャンネルＭが生成され、空間パラメータはＣＬＤ0（ＩＣＣ0含む）が算出される。
【００３５】
図４の右側に示すように、部分空間情報が空間パラメータ（ＣＬＤ1、ＣＬＤ2、ＣＬＤ3、ＣＬＤTTT、ＣＬＤ0等）のうちＣＬＤ0及びＣＬＤTTTである場合、左側トータルチャンネルＬt、センタートータルチャンネルＣt、右側トータルチャンネルＲtを生成した後、出力チャンネルオーディオ信号として左側トータルチャンネルＬt及び右側トータルチャンネルＲtを選択すると、２チャンネルの出力チャンネルオーディオ信号Ｌt，Ｒtを生成でき、出力チャンネルオーディオ信号として左側トータルチャンネルＬt、センタートータルチャンネルＣt及び右側トータルチャンネルＲtを選択すると、３チャンネルの出力チャンネルオーディオ信号Ｌt，Ｃt，Ｒtを生成できる。また、部分空間情報が追加的にＣＬＤ2を含む場合、センターチャンネルＣ及び低周波チャンネルＬＦＥまでアップミックスした後、出力チャンネルオーディオ信号として左側トータルチャンネルＬt、右側トータルチャンネルＲt、センターチャンネルＣ及び低周波チャンネルＬＦＥを選択すると、４チャンネルの出力チャンネルオーディオ信号Ｌt，Ｒt，Ｃ、ＬＦＥを生成できる。
【００３６】
以上、３種類のツリー構造を取り上げて空間パラメータの一部のみを適用して出力チャンネルオーディオ信号を生成する過程について説明したが、上記のように部分空間情報を適用するに留まらず、これ以降さらに、組合せ空間情報を適用したり拡大空間情報を適用したりしても良い。このようにオーディオ信号に変形空間情報を適用する過程は、階層的に行われても良いが、一括的で且つ統合的に処理されても良い。
【００３７】
（２）組合せ空間情報
空間情報は、マルチチャンネルオーディオ信号が定められたツリー構造にしたがってダウンミックスされる過程で計算されたものであるから、ダウンミックスオーディオ信号を、空間情報の空間パラメータをそのまま用いてデコーディングすると、ダウンミックスされる前の元来のマルチチャンネルオーディオ信号に復元される。もし、マルチチャンネルオーディオ信号のチャンネル数Ｍが出力チャンネルオーディオ信号のチャンネル数Ｎと異なる場合、空間情報を組み合わせて新しい組合せ空間情報を生成した後、これを用いてダウンミックスオーディオ信号をアップミックスできる。具体的に、空間パラメータを変換公式に代入し、組合せ空間パラメータを生成できる。
【００３８】
このような方法は、エンコーディング装置でマルチチャンネルオーディオ信号がダウンミックスされる順序と方法によって変えることができるが、このダウンミックスされる順序と方法は、空間情報のツリー構造情報を用いて照会すれば良い。また、このような方法は、出力チャンネルの本数がいくつかによって変えることができるが、出力チャンネルの本数などは、出力チャンネル情報を用いて照会すれば良い。
【００３９】
以下では、空間情報を変形する方法の具体的な実施例について説明し、続いて、仮想３Ｄ効果を与えるための実施例についても説明する。
【００４０】
(２)−１．一般的な組合せ空間情報
空間情報の空間パラメータを組み合わせて組合空間パラメータを生成する方法は、ダウンミックス過程におけるツリー構造とは異なるツリー構造によってアップミックスするためのものであるから、ツリー構造情報によるツリー構造が何であろうとも、全てのダウンミックスオーディオ信号に適用可能である。
【００４１】
マルチチャンネルオーディオ信号が５．１チャンネルで、ダウンミックスオーディオ信号が１チャンネル（モノチャンネル）の場合、２チャンネルの出力チャンネルオーディオ信号を生成する過程について、下記の２つの例に挙げて説明する。
【００４２】
(２)−１−１．ツリー構造の第４例（５−１−５1ツリー構造）
図５は、組合せ空間情報を適用する一例を概略的に示す図である。図５の左側に示すように、５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされる過程で算出できる空間パラメータはそれぞれ、ＣＬＤ0乃至ＣＬＤ4、及びＩＣＣ0乃至ＩＣＣ4（図示せず）といえる。例えば、空間パラメータのうち、左側チャンネル信号Ｌと右側チャンネル信号Ｒのチャンネル間レベル差はＣＬＤ3で、チャンネル間相関関係はＩＣＣ3であり、左側サラウンドチャンネルＬＳ及び右側サラウンドチャンネルＲSのチャンネル間レベル差はＣＬＤ2で、チャンネル間相関関係はＩＣＣ2である。
【００４３】
これに対し、図５の右側を参照すると、モノダウンミックスオーディオ信号ｍに組合せ空間パラメータＣＬＤα，ＩＣＣαを適用して左側チャンネル信号Ｌt及び右側チャンネル信号Ｒtを生成すると、モノチャンネルオーディオ信号ｍから直接ステレオ出力チャンネルオーディオ信号Ｌt，Ｒtを生成することができる。ここでの組合せ空間パラメータＣＬＤα，ＩＣＣαは、空間パラメータＣＬＤ0乃至ＣＬＤ4、及びＩＣＣ0乃至ＩＣＣ4を組み合わせて計算することができる。まず、空間パラメータのうち、ＣＬＤ0乃至ＣＬＤ4を組み合わせて組合せ空間パラメータの中ＣＬＤαを計算する過程について説明した後、空間パラメータのうち、ＣＬＤ0乃至ＣＬＤ4及びＩＣＣ0乃至ＩＣＣ4を組み合わせて組合せ空間パラメータの中ＩＣＣαを計算する過程について説明する。
【００４４】
(２)−１−１−ａ．ＣＬＤαの誘導
まず、ＣＬＤαは、左側出力信号Ｌt及び右側出力信号Ｒt間のレベル差であるから、ＣＬＤの定義式に左側出力信号Ｌt及び右側出力信号Ｒtを代入すると、次の通りになる。
【００４５】
［式１］
CLDα=10*log10(PLt/PRt)
ＰLtはＬtのパワー（ｐｏｗｅｒ）、ＰRtはＲtのパワーを表す。
【００４６】
［式２］
CLDα=10*log10(PLt+a/PRt+a)
ＰLtはＬtのパワー、ＰRtはＲtのパワー、ａは非常に小さい定数を表す。
【００４７】
ＣＬＤαは、上記式１または式２のように定義される。
【００４８】
一方、ＰLt及びＰRtを空間パラメータＣＬＤ0乃至ＣＬＤ4を用いて表現するためには、出力チャンネルオーディオ信号の左側出力信号Ｌt、右側出力信号Ｒt及びマルチチャンネル信号Ｌ，Ｌs，Ｒ，Ｒs，Ｃ，ＬＦＥとの関係式が必要であり、その関係式は次のように定義できる。
【００４９】
［式３］
Lt=L+Ls+C/√2+LFE/√2
Rt=R+Rs+C/√2+LFE/√2
【００５０】
式３のような関係式は、出力チャンネルオーディオ信号をどのように定義するかによって変わることができるので、式３とは異なる式でも定義できることは当然である。例えば、式３で、C/√2またはLFE/√2での1/√2因子が、‘０’にも‘１’にもなりうる。
【００５１】
式３から下記の式４のような関係式が誘導できる。
【００５２】
［式４］
PLt=PL+PLs+PC/2+PLFE/2
PRt=PR+PRs+PC/2+PLFE/2
【００５３】
ＣＬＤαが式１（または、式２）によってＰLt及びＰRtを用いて表現することができ、このようなＰLt及びＰRtは式４によってＰL，ＰLs，ＰC，ＰLFE，ＰR，ＰRsを用いて表現することができるので、ＰL，ＰLs，ＰC，ＰLFE，ＰR，ＰRsを空間パラメータＣＬＤ0乃至ＣＬＤ4を用いて表現できる関係式を求める必要がある。
【００５４】
一方、図５のようなツリー構造の場合、マルチチャンネルオーディオ信号Ｌ、Ｒ、Ｃ、ＬＦＥ、Ｌs、Ｒs及びモノダウンミックスチャンネル信号ｍの関係は、次の通りになる。
【００５５】
【数１】
2009508433.tif 000003
【００５６】
式５から、次の式６の関係式が誘導することができる。
【００５７】
【数２】
2009508433.tif 000004
【００５８】
すなわち、式６を式４に代入し、式４を式１（または、式２）に代入することで、組合せ空間パラメータであるＣＬＤαは、空間パラメータであるＣＬＤ0乃至ＣＬＤ4を組み合わせて表現することができる。
【００５９】
一方、式４におけるＰC／２＋ＰLFE／２に式６を代入した展開式は、次の通りである。
【００６０】
［式７］
PC/2+PLFE/2=[(c1,OTT4)2+(c2,OTT4)2]*(c2,OTT1*c1,OTT0)2*m2/2
ここで、ｃ1及びｃ2の定義によれば（式５参照）、(ｃ1,x)2＋(ｃ2,x)2＝１なので、(ｃ1,OTT4)2＋(ｃ2,OTT4)2＝１である。
【００６１】
したがって、式７は、次のように簡単にすることができる。
【００６２】
［式８］
PC/2+PLFE/2=(c2,OTT1*c1,OTT0)2*m2/2
【００６３】
要するに、式８及び式６を式４に代入し、式４を式１に代入することによって、組合せ空間パラメータであるＣＬＤαは、空間パラメータであるＣＬＤ0乃至ＣＬＤ4を組み合わせる方式で表現されることができる。
【００６４】
(２)−１−１−ｂ．ＩＣＣαの誘導
まず、ＩＣＣαは、左側出力信号Ｌt及び右側出力信号Ｒt間の相関関係であるから、その定義式に左側出力信号Ｌt及び右側出力信号Ｒtを代入すると、次の通りになる。
【００６５】
【数３】
2009508433.tif 000005
【００６６】
式９で、ＰLt、ＰRtは、式４、式６、及び式８によってＣＬＤ0乃至ＣＬＤ4を用いて表現することができ、ＰLtＰRtは、次の式１０のように展開することができる。
【００６７】
［式１０］
PLtRt=PLR+PLsRs+PC/2+PLFE/2
【００６８】
式１０で、ＰC／２＋ＰLFE／２は、式６によってＣＬＤ0乃至ＣＬＤ4で表現されることができ、ＰLRとＰLsRsは、ＩＣＣ定義によって次のように展開することができる。
【００６９】
［式１１］
ICC3=PLR/√(PLPR)
ICC2=PLsRs/√(PLsPRs)
【００７０】
式１１で、√(PLPR)（または、√(PLsPRs)）を移項すると、次の式１２となる。
【００７１】
［式１２］
PLR=ICC3*√(PLPR)
PLsRs=ICC2*√(PLsPRs)
【００７２】
式１２で、ＰL，ＰR，ＰLs，ＰRsはそれぞれ、式６によってＣＬＤ0乃至ＣＬＤ4で表現することができる。式６を式１２に代入すると、次の式１３のようになる。
【００７３】
［式１３］
PLR=ICC3 *c1,OTT3*c2,OTT3*(c1,OTT1*c1,OTT0)2*m2
PLsRs=ICC2*c1,OTT2*c2,OTT2*(c2,OTT0)2*m2
【００７４】
要するに、式６及び式１３を式１０に代入し、式１０及び式４を式９に代入することで、組合せ空間パラメータであるＩＣＣαは、空間パラメータであるＣＬＤ0乃至ＣＬＤ3及びＩＣＣ2、ＩＣＣ3で表現することができる。
【００７５】
(２)−１−２．ツリー構造の第５例（５−１−５2ツリー構造）
図６は、組合せ空間情報を適用する他の例を概略的に示す図である。図６の左側に示すように、５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされる過程で算出できる空間パラメータはそれぞれ、ＣＬＤ0乃至ＣＬＤ4、及びＩＣＣ0乃至ＩＣＣ4（図示せず）といえる。空間パラメータのうち、左側チャンネル信号Ｌと左側サラウンドチャンネル信号Ｌsのチャンネル間レベル差はＣＬＤ3で、チャンネル間相関関係はＩＣＣ3であり、右側チャンネルＲ及び右側サラウンドチャンネルＲSのチャンネル間レベル差はＣＬＤ4で、チャンネル間相関関係はＩＣＣ4である。
【００７６】
これに対し、図６の右側を参照すると、モノダウンミックスオーディオ信号ｍに組合せ空間パラメータＣＬＤβ，ＩＣＣβを適用して左側チャンネル信号Ｌt及び右側チャンネル信号Ｒtを生成すると、モノチャンネルオーディオ信号ｍから直接ステレオ出力チャンネルオーディオ信号Ｌt，Ｒtを生成することができる。ここでの組合せ空間パラメータＣＬＤβ，ＩＣＣβは、空間パラメータＣＬＤ0乃至ＣＬＤ4、及びＩＣＣ0乃至ＩＣＣ4を用いて計算できる。まず、空間パラメータのうちＣＬＤ0乃至ＣＬＤ4を用いて、組合せ空間パラメータのうちＣＬＤβを計算する過程について説明し、続いて、空間パラメータのうちＣＬＤ0乃至ＣＬＤ4及びＩＣＣ0乃至ＩＣＣ4を用いて、組合せ空間パラメータのうちＩＣＣβを計算する過程について説明する。
【００７７】
(２)−１−２−ａ．ＣＬＤβの誘導
まず、ＣＬＤβは、左側出力信号Ｌt及び右側出力信号Ｒt間のレベル差であるから、その定義式に左側出力信号Ｌt及び右側出力信号Ｒtを代入すると、次の通りになる。
【００７８】
［式１４］
CLDβ=10*log10(PLt/PRt)
ＰLtはＬtのパワーで、ＰRtはＲtのパワーである。
【００７９】
［式１５］
CLDβ=10*log10(PLt+a/PRt+a)
ＰLtはＬtのパワー、ＰRtはＲtのパワー、ａは非常に小さい数である。
ＣＬＤβは、上記の式１４または式１５のように定義される。
【００８０】
一方、ＰLt及びＰRtを空間パラメータＣＬＤ0乃至ＣＬＤ4を用いて表現するためには、出力チャンネルオーディオ信号の左側出力信号Ｌt、右側出力信号Ｒt及びマルチチャンネル信号Ｌ、Ｌs、Ｒ、Ｒs、Ｃ、ＬＦＥとの関係式が必要であり、その関係式は、式３と同様に次のように定義されることができる。
【００８１】
［式１６］
Lt=L+Ls +C/√2+LFE/√2
Rt=R+Rs+C/√2+LFE/√2
【００８２】
式１６のような関係式は出力チャンネルオーディオ信号をどのように定義するかによって変えることができるもので、よって、他の式でも定義できることは当然である。例えば、C/√2またはLFE/√2因子における1/√2が０にも１にもなりうる。
【００８３】
式１６から次の式１７のような関係式が誘導することができる。
【００８４】
［式１７］
PLt=PL+PLs+PC/2+PLFE/2
PRt=PR+PRs+PC/2+PLFE/2
【００８５】
式１４（または、式１５）で、ＣＬＤβがＰLt及びＰRtを用いて表現可能であり、ＰLt及びＰRtは、式１５でＰL、ＰLs、ＰC、ＰLFE、ＰR、ＰRsを用いて表現可能なので、ＰL、ＰLs、ＰC、ＰLFE、ＰR、ＰRsを、空間パラメータＣＬＤ0乃至ＣＬＤ4を用いて表現できる関係式を求める必要がある。
【００８６】
一方、図６のようなツリー構造の場合、マルチチャンネルオーディオ信号Ｌ，Ｒ，Ｃ，ＬＦＥ，Ｌs，Ｒs及びモノダウンミックスチャンネル信号ｍの関係は、次の通りである。
【００８７】
【数４】
2009508433.tif 000006
【００８８】
式１８から、次の式１９のような関係式を誘導することができる。
【００８９】
【数５】
2009508433.tif 000007
【００９０】
すなわち、式１９を式１７に代入し、式１７を式１４（または、式１５）に代入することで、組合せ空間パラメータであるＣＬＤβは、空間パラメータであるＣＬＤ0乃至ＣＬＤ4を組み合わせる方式で表現することができる。
【００９１】
一方、式１９を式１７におけるＰL＋ＰLsに代入した展開式は、次の通りである。
【００９２】
［式２０］
PL+PLs=[(c1,OTT3)2+(c2,OTT3)2](c1,OTT1*c1,OTT0)2*m2
【００９３】
ここで、ｃ1及びｃ2の定義によれば（式５参照）、(c1,x)2＋(ｃ2,x)2＝１なので、(ｃ1,OTT3)2+(ｃ2,OTT3)2＝１である。
【００９４】
したがって、式２０は、次のように簡単にすることができる。
【００９５】
［式２１］
PL_=PL+PLs=(c1,OTT1*c1,OTT0)2*m2
【００９６】
一方、式１９を式１７におけるＰR＋ＰRsに代入した展開式は、次の通りである。
【００９７】
［式２２］
PR+PRs=[(c1,OTT4)2+(c2,OTT4)2](c2,OTT1*c1,OTT0)2*m2
【００９８】
ここで、ｃ1及びｃ2の定義によれば（式５参照）、(ｃ1,x)2+(ｃ2,x)2＝１なので、(ｃ1,OTT4)2＋(ｃ2,OTT4)2＝１である。
【００９９】
したがって、式２２は、次のように簡単にすることができる。
【０１００】
［式２３］
PR_=PR+PRs=(c2,OTT1*c1,OTT0)2*m2
【０１０１】
一方、式１９を式１７におけるＰC／２＋ＰLFE／２に代入した展開式は、次の通りである。
【０１０２】
［式２４］
PC/2+PLFE/2=[(c1,OTT2)2+(c2,OTT2)2](c2,OTT0)2*m2/2
ここで、ｃ1及びｃ2の定義によれば（式５参照）、(ｃ1,x)2+(ｃ2,x)2＝１なので、(ｃ1,OTT2)2＋(ｃ2,OTT2)2＝１である。
【０１０３】
したがって、式２４は、次のように簡単にすることができる。
［式２５］
PC/2+PLFE/2=(c2,OTT0)2*m2/2
【０１０４】
要するに、式２１、式２３及び式２５を式１７に代入し、式１７を式１４（または、式１５）に代入することで、組合せ空間パラメータであるＣＬＤβは、空間パラメータであるＣＬＤ0乃至ＣＬＤ4を組み合わせる方式で表現することができる。
【０１０５】
(２)−１−２−ｂ．ＩＣＣβの誘導
まず、ＩＣＣβは、左側出力信号Ｌt及び右側出力信号Ｒt間の相関関係であるから、その定義式に左側出力信号Ｌt及び右側出力信号Ｒtを代入すると、次の通りになる。
【０１０６】
【数６】
2009508433.tif 000008
【０１０７】
式２６で、ＰLt、ＰRtは、式１９によってＣＬＤ0乃至ＣＬＤ4を用いて表現することができ、ＰLtＰRtは、次の式２７のように展開することができる。
【０１０８】
［式２７］
PLtRt=PL_R_+PC/2+PLFE/2
【０１０９】
式２７で、ＰC／２＋ＰLFE／２は、式１９によってＣＬＤ0乃至ＣＬＤ4で表現することができ、ＰL_R_は、ＩＣＣ定義によって次のように展開することができる。
【０１１０】
［式２８］
ICC1=PL_R_/√(PL_PR_)
【０１１１】
√(PL_PR_)を移項すると、次の式２９のようになる。
【０１１２】
［式２９］
PL_R_=ICC1*√(PL_PR_)
【０１１３】
式２９で、ＰL_、ＰR_はそれぞれ、式２１及び式２３によってＣＬＤ0乃至ＣＬＤ4で表現することができる。式２１及び式２３を式２９に代入すると、次の式３０となる。
【０１１４】
［式３０］
PL_R_=ICC1*c1,OTT1*c1,OTT0*c2,OTT1*c1,OTT0*m2
【０１１５】
要するに、式３０を式２７に代入し、式２７及び式１７を式２６に代入することで、組合空間パラメータであるＩＣＣβは、空間パラメータであるＣＬＤ0乃至ＣＬＤ4及びＩＣＣ1を組み合わせる方式で表現することができる。
【０１１６】
上記の空間パラメータを変形する方法は一実施例で、上記の式は、ＰxまたはPxyを求める場合において、信号エネルギーの他、各チャンネル間の相関関係（例：ＩＣＣ0等）をさらに考慮することによって様々な形態に変えることができる。
【０１１７】
(２)−２．サラウンド効果を持つ組合せ空間情報
空間情報を組み合わせて組合せ空間情報を生成するに当たり、音響経路を考慮すると、仮想サラウンド効果を出すことができる。仮想サラウンド効果または仮想３Ｄ効果とは、実際にはサラウンドチャンネルのスピーカーがないにもかかわらず、サラウンドチャンネルのスピーカーがあるかのような効果を出すことで、例えば、２個のステレオスピーカーを介して５．１チャンネルオーディオ信号を出力することである。
【０１１８】
音響経路は空間フィルタ情報とすることができ、空間フィルタ情報は、ＨＲＴＦ（Ｈｅａｄ−Ｒｅｌａｔｅｄ  Ｔｒａｎｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼ばれる関数を用いれば良いが、本発明がこれに限定されることはない。空間フィルタ情報は、フィルタパラメータを含むことができ、このフィルタパラメータ及び空間パラメータを変換公式に代入して組合せ空間パラメータを生成することができる。一方、生成された組合せ空間パラメータは、フィルタ係数（ｆｉｌｔｅｒ  ｃｏｅｆｆｉｃｉｅｎｔｓ）を含むことができる。
【０１１９】
以下では、マルチチャンネルオーディオ信号が５チャンネルで、３チャンネルの出力チャンネルオーディオ信号を生成する場合を取り上げ、サラウンド効果を持つ組合せ空間情報を生成するために音響経路を考慮する方法について説明する。
【０１２０】
図７は、３チャンネルのスピーカーの位置、及び、スピーカーと聴き手までの音響経路を示す図である。図７を参照すると、３個のスピーカーＳＰＫ１，ＳＰＫ２，ＳＰＫ３の位置がそれぞれ、左側前Ｌ、センターＣ、右側Ｒであり、仮想サラウンドチャンネルの位置が左側サラウンドＬｓ及び右側サラウンドＲｓであることがわかる。３個のスピーカーの位置Ｌ，Ｃ，Ｒ、及び、仮想サラウンドチャンネルの位置Ｌｓ，Ｒｓから聴き手の左耳の位置ｌ、聴き手の右耳の位置ｒに至るまでの音響経路が表示されている。Ｇx_yは、ｘ位置からｙ位置に至る音響経路を表示する。例えば、ＧL_rは、左側前方の位置Ｌから聴き手の右耳の位置ｒに至る音響経路を表す。
【０１２１】
もし、５つの位置にスピーカーが存在（すなわち、左側サラウンド（Ｌｓ）及び右側サラウンド（Ｒｓ）にもスピーカーが存在）し、聴き手が図７に示す位置に存在すると、聴き手の左耳に流入する信号Ｌ0及び聴き手の右耳に流入する信号Ｒ0は、次の通りである。
【０１２２】
［式３１］
LO=L*GL_l+C*GC_l+R*GR_l+Ls*GLs_l+Rs*GRs_l
RO=L*GL_r+C*GC_r+R*GR_r+Ls*GLs_r+Rs*GRs_r
【０１２３】
ここで、Ｌ，Ｃ，Ｒ，Ｌｓ，Ｒｓは、各位置のチャンネルを表し、Ｇx_yは、ｘ位置からｙ位置に至る音響経路を表し、＊はコンボリューションを表す。
【０１２４】
しかし、上に言及したように、３つの位置Ｌ，Ｃ，Ｒにのみスピーカーが存在する場合、聴き手の左耳に流入する信号Ｌ0_real及び聴き手の右耳に流入する信号Ｒ0_realは、次の通りになる。
【０１２５】
［式３２］
LO_real=L*GL_l+C*GC_l+R*GR_l
RO_real=L*GL_r+C*GC_r+R*GR_r
【０１２６】
式３２に表示された信号は、サラウンドチャンネル信号Ｌｓ，Ｒｓが考慮されないので、仮想サラウンド効果を出すことができない。仮想サラウンド効果を出すためには、左側サラウンドチャンネル信号Ｌｓが元の位置Ｌｓから出力されて聴き手の位置ｌ，ｒに到達する時の信号と、元の位置Ｌｓ，Ｒｓでない３つの位置Ｌ，Ｃ，Ｒのスピーカーを介して出力し、聴き手の位置ｌ，ｒに到達する信号と同じにすれば良い。右側サラウンドチャンネル信号Ｒｓの場合も同様である。
【０１２７】
まず、左側サラウンドチャンネル信号Ｌｓについて説明すると、左側サラウンドチャンネル信号Ｌｓが元の位置である左側サラウンド位置Ｌｓのスピーカーから出力される場合、聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号はそれぞれ次の通りである。
【０１２８】
［式３３］
‘Ls*GLs_l’、‘Ls*GLs_r’
【０１２９】
また、右側サラウンドチャンネル信号Ｒｓが元の位置である右側サラウンド位置Ｒｓのスピーカーから出力される場合、聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号はそれぞれ、次の通りである。
【０１３０】
［式３４］
‘Rs*GRs_l’、‘Rs*GRs_r’
【０１３１】
聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号が式３３及び式３４の成分と同じなら、どんな位置のスピーカーから出力されるとしても（例えば、左側前方位置のスピーカーＳＰＫ１等から出力されるとしても）、聴き手は、左側サラウンドの位置Ｌｓ及び右側サラウンドの位置Ｒｓにスピーカーが存在するかのように感じることができる。
【０１３２】
一方、式３３に表示された成分は、左側サラウンド位置Ｌｓのスピーカーから出力される場合、それぞれ聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号であるので、式３３に表示された成分そのままに左側前方位置のスピーカーＳＰＫ１から出力すると、それぞれ聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号は、次の通りになる。
【０１３３】
［式３５］
‘Ls*GLs_l*GL_l’、‘Ls*GLs_r*GL_r’
【０１３４】
式３５では、左側前方位置Ｌから聴き手の左耳ｌ（または、右耳ｒ）までの音響経路に該当する成分である‘ＧL_l’（または、‘ＧL_r’）が追加される。しかし、聴き手の左耳ｌ及び聴き手の右耳ｒに到達する信号は、式３５に表示された成分ではなく式３３に表示された成分でなければならない。このため、左側前位置Ｌのスピーカーから出力して聴き手に到達する場合、‘ＧL_l’（または、‘ＧL_r’）成分が追加されるため、式３３に表された成分を左側前方位置ＬのスピーカーＳＰＫ１から出力する場合には、音響経路に‘ＧL_l’（または、‘ＧL_r’）の逆関数‘ＧL_l-1’（または、‘ＧL_r-1’）を考慮しなければならない。言い換えると、式３３に該当する成分を左側前方位置ＬのスピーカーＳＰＫ１から出力する場合、次の式のように変形しなければならない。
【０１３５】
［式３６］
‘Ls*GLs_l*GL_l-1’、‘Ls*GLs_r*GL_r-1’
【０１３６】
そして、式３４に該当する成分を左側前方位置ＬのスピーカーＳＰＫ１から出力する場合、次の式のように変形しなければならない。
【０１３７】
［式３７］
‘Rs*GRs_l*GL_l-1’、‘Rs*GRs_r*GL_l-1’
【０１３８】
したがって、左側前方位置ＬのスピーカーＳＰＫ１から出力される信号Ｌ’は、次のようにまとめることができる。
【０１３９】
［式３８］
L’=L+Ls*GLs_l*GL_l-1+Rs*GRs_l*GL_l-1
(Ls*GLs_r*GL_r-1及びRs*GRs_r*GL_l-1成分は省略される。）
【０１４０】
式３８に表示された信号が、左側前方位置のスピーカーＳＰＫ１から出力されて聴き手の左耳ｌ位置に到達すると、音響経路‘ＧL_l’ファクターが追加されるので、式３８における‘ＧL_l-1’項が相殺され、結果として式３３及び式３４に表示されたファクターが残る。
【０１４１】
図８は、仮想サラウンド効果のために各位置から出力される信号を示す図である。
【０１４２】
図８を参照すると、サラウンドの位置Ｌｓ，Ｒｓから出力される信号Ｌｓ，Ｒｓを、音響経路を考慮し、各スピーカー位置ＳＰＫ１から出力される信号Ｌ’に含めると、式３８のようになることがわかる。
【０１４３】
式３８で、ＧLs_l＊ＧL_l-1をＨＬs_Lで簡略に表示すると、次の通りになる。
【０１４４】
［式３９］
L’=L+Ls*HLs_L+Rs*HRs_L
【０１４５】
一方、センター位置ＣのスピーカーＳＰＫ２から出力される信号Ｃ’を、次のようにまとめることができる。
【０１４６】
［式４０］
C’=C+Ls*HLs_C+Rs*HRs_C
【０１４７】
一方、右側前方位置ＲのスピーカーＳＰＫ３から出力される信号Ｒ’は、次のようにまとめることができる。
【０１４８】
［式４１］
R’=R+Ls*HLs_R+Rs*HRs_R
【０１４９】
図９は、式３８、式３９、及び式４０のように５チャンネル信号を用いて３チャンネル信号を生成する方法を概念的に示す図である。５チャンネル信号を用いて２チャンネル信号Ｒ’，Ｌ’を生成したり、サラウンドチャンネル信号Ｌｓ，Ｒｓをセンターチャンネル信号Ｃ’に含めない場合、ＨLs_C及びＨRs_Cは０となる。
【０１５０】
実施の便宜上Ｈx_yの代わりにＧx_yを使用しても良く、クロストーク（ｃｒｏｓｓ−ｔａｌｋ）を考慮してＨx_yを用いても良い等、Ｈx_yは様々な変形形態になりうる。
【０１５１】
上記の説明は、サラウンド効果を持つ組合空間情報の一例で、空間フィルタ情報の適用方法によって様々な形態に変形できることは自明である。上述の過程を通じてスピーカーから出力される信号（上の例では、左側前方チャンネルＬ’、右側前方チャンネルＲ’、センターチャンネルＣ’）は、前述したように、組合せ空間情報の中でも特に組合せ空間パラメータを用いてダウンミックスオーディオ信号から生成可能である。
【０１５２】
（３）拡大空間情報
空間情報に拡張空間情報を追加して拡大空間情報を生成することができる。そして、この拡大空間情報を用いてオーディオ信号をアップミキシングでき、このアップミキシングする段階は、空間情報に基づいてオーディオ信号を１次アップミキシングオーディオ信号に変換し、拡張空間情報に基づいて１次アップミキシングオーディオ信号を２次アップミキシングオーディオ信号に変換する。
【０１５３】
ここで、拡張空間情報は、拡張チャンネル構成情報、拡張チャンネルマッピング情報及び拡張空間パラメータを含むことができる。拡張チャンネル構成情報とは、空間情報のツリー構造情報によって構成できるチャンネル以外に、構成できるチャンネルに関する情報のことで、分割識別子及び未分割識別子のうち一つ以上を含むことができる。これについての具体的な説明は後述する。拡張チャンネルマッピング情報は、拡張チャンネルを構成する各チャンネルの位置情報である。拡張空間パラメータは、１チャンネルが２以上のチャンネルにアップミックスされるのに必要な情報で、チャンネル間レベル差を含むことができる。
【０１５４】
このような拡張空間情報は、ｉ）エンコーディング装置により生成されたのち、空間情報に含まれたものであっても良く、ii）デコーディング装置自身により生成されたものであっても良い。拡張空間情報がエンコーディング装置により生成されたものである場合、拡張空間情報の存在の有無は、空間情報の指示子を基に判断することができる。拡張空間情報がデコーディング装置自身により生成されたものである場合、拡張空間情報の拡張空間パラメータは、空間情報の空間パラメータを用いて計算したものであっても良い。
【０１５５】
一方、空間情報及び拡張空間情報に基づいて生成された拡大空間情報を用いてオーディオ信号をアップミックスする過程は、順次的で階層的に行われても良いが、一括的で統合的に処理されても良い。もし、拡大空間情報が、空間情報及び拡張空間情報に基づいて一つのマトリックスとして算出可能であると、前記マトリックスを用いることによって、一括的で直接的にダウンミックスオーディオ信号をマルチチャンネルオーディオ信号にアップミックスできるわけである。この時、マトリックスを構成する因子は、空間パラメータ、及び拡張空間パラメータによって定義されたものであれば良い。
【０１５６】
まず、エンコーディング装置により生成された拡張空間情報を用いる場合について説明し、続いて、デコーディング装置で拡張空間情報を自体的に生成する場合について説明する。
【０１５７】
(３)−１：エンコーディング装置により生成された拡張空間情報を用いる場合：任意ツリー構造（arbitrary tree configuration）
まず、拡大空間情報は、空間情報に拡張空間情報を追加して生成されるにおいてエンコーディング装置により生成されたものであり、デコーディング装置が拡張空間情報を受信した場合について説明する。一方、ここでの拡張空間情報は、エンコーディング装置がマルチチャンネルオーディオ信号をダウンミックスする過程で抽出したものであれば良い。
【０１５８】
まず、上述したように、拡張空間情報は、拡張チャンネル構成情報、拡張チャンネルマッピング情報、拡張空間パラメータを含み、ここで、拡張チャンネル構成情報は、分割識別子及び未分割識別子を一つ以上含む。以下、分割識別子及び未分割識別子の配列を基に拡張チャンネルを構成する過程について具体的に説明する。
【０１５９】
図１０は、拡張チャンネル構成情報に基づいて拡張チャンネルが構成される一例を示す図である。図１０の下段を参照すると、０と１が順番で繰り返し配列されているが、ここで、０は未分割識別子、１は分割識別子を表す。まず、１番目（１）に未分割識別子０が存在し、この１番目の未分割識別子０とマッチングされるチャンネルは、最上端に存在する左側チャンネルＬである。したがって、未分割識別子０とマッチングされる左側チャンネルＬを分割せず出力チャンネルとして選択する。そして、２番目（２）には、分割識別子１が存在し、この２番目の分割識別子０とマッチングされるチャンネルは、左側チャンネルＬの次の左側サラウンドチャンネルＬｓである。したがって、分割識別子１とマッチングされる左側サラウンドチャンネルＬｓを２チャンネルに分割する。３番目（３）及び４番目（４）に未分割識別子（０）が存在するので、左側サラウンドチャンネルＬｓから分割された２チャンネルはそれぞれ分割せず、そのまま出力チャンネルとして選択する。このような過程を最後の順番（１０）まで繰り返すことで、全体拡張チャンネルが構成される。
【０１６０】
チャンネル分割過程は分割識別子１の個数だけ繰り返され、チャンネルを出力チャンネルとして選択する過程は、未分割識別子０の個数だけ繰り返される。したがって、チャンネル分割部ＡＴ0，ＡＴ1の個数は分割識別子１の個数（２個）と同一であり、拡張チャンネルの本数Ｌ，Ｌｆｓ，Ｌｓ，Ｒ，Ｒｆｓ，Ｒｓ，Ｃ，ＬＦＥは、未分割識別子０の個数（８個）と同一になる。
【０１６１】
一方、拡張チャンネルを構成した後、拡張チャンネルマッピング情報を用いて各出力チャンネル別にその位置を再びマッピングさせることができる。図１０の場合、左側フロントチャンネルＬ、左側フロントサイドチャンネルＬｆｓ、左側サラウンドチャンネルＬｓ、右側フロントチャンネルＲ、右側フロントサイドチャンネルＲｆｓ、右側サラウンドチャンネルＲｓ、センターチャンネルＣ、低周波チャンネルＬＦＥの順にマッピングされる。
【０１６２】
以上説明した如く、拡張チャンネル構成情報に基づいて拡張チャンネルが構成することができ、１チャンネルを２以上のチャンネルに分割するためのチャンネル分割部が必要である。このチャンネル分割部が、１チャンネルを２以上のチャンネルに分割する際に、拡張空間パラメータを用いることができる。この拡張空間パラメータは、チャンネル分割部の個数と同一なので、分割識別子の個数とも同一である。したがって、拡張空間パラメータは分割識別子の個数だけ抽出することができる。図１１は、図１０に示す拡張チャンネルの構成、及び拡張空間パラメータとの関係を示す図である。図１１を参照すると、チャンネル分割部ＡＴ0，ＡＴ1が２個存在し、ここにそれぞれ適用される拡張空間パラメータＡＴＤ0，ＡＴＤ1が表示されている。拡張空間パラメータがチャンネル間レベル差である場合、チャンネル分割部はこのような拡張空間パラメータを用いて２つに分割されるチャンネルのそれぞれのレベルを決定することができる。上記のように拡張空間情報を追加してアップミキシングする過程において、拡張空間パラメータを全部でなく一部のみを適用しても良い。
【０１６３】
(３)−２拡張空間情報を生成する場合：内挿／外挿（interpolation/extrapolation）
拡大空間情報は、空間情報に拡張空間情報を追加して生成することができ、拡張空間情報が空間情報を用いて生成された場合について説明する。空間情報のうち空間パラメータを用いて拡張空間情報を生成でき、この場合、内挿または外挿などの方法が用いることができる。
【０１６４】
(３)−２−１．６．１チャンネルへの拡張
マルチチャンネルオーディオ信号が５．１チャンネルであるとき、６．１チャンネルの出力チャンネルオーディオ信号を生成したい場合に挙げて説明する。
【０１６５】
図１２は、５．１チャンネルのマルチチャンネルオーディオ信号の位置と６．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。図１２の（ａ）を参照すると、５．１チャンネルのマルチチャンネルオーディオ信号のチャンネル位置がそれぞれ、左側前方チャンネルＬ、右側前方チャンネルＲ、センターチャンネルＣ、低周波チャンネルＬＦＥ（図示せず）、左側サラウンドチャンネルＬｓ、右側サラウンドチャンネルＲｓであることがわかる。もし、このような５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされたオーディオ信号である場合、このダウンミックスオーディオ信号に空間パラメータのみを適用すると、再び５．１チャンネルのマルチチャンネルオーディオ信号にアップミックスされる。しかし、図１２の（ｂ）のように、６．１チャンネルのマルチチャンネルオーディオ信号にアップミックスするためには、後方センター（ｒｅａｒ  ｃｅｎｔｅｒ）ＲＣのチャンネル信号をさらに生成しなければならない。
【０１６６】
この後方センターＲＣのチャンネル信号は、後方の２チャンネル（左側サラウンドチャンネルＬｓ及び右側サラウンドチャンネルＲｓ）と関連した空間パラメータを用いて生成できる。具体的に、空間パラメータのうち、チャンネル間レベル差（ＣＬＤ）は２チャンネル間のレベル差を表すが、２チャンネル間のレベル差を調整することによって、２チャンネル間に存在する仮想音源の位置を変化させることができる。
【０１６７】
以下では、２チャンネル間のレベル差によって仮想音源の位置が変化する原理について説明する。
【０１６８】
図１３は、２チャンネル間のレベル差と仮想音源の位置との関係を示す図である。図１３で、左側サラウンドチャンネルＬｓのレベルがａで、右側サラウンドチャンネルＲｓのレベルがｂである。図１３の（ａ）を参照すると、左側サラウンドチャンネルＬｓのレベルａが右側サラウンドチャンネルＲｓのレベルｂよりも大きい場合、仮想音源の位置ＶＳは、右側サラウンドチャンネルＲｓの位置よりも左側サラウンドチャンネルＬｓの位置に近いことがわかる。２チャンネルからオーディオ信号が出力される場合、聴き手は２チャンネル間に仮想音源が存在するかのように感じることになるが、この時、仮想音源の位置は、２チャンネルのうちレベルが相対的に高いチャンネルの位置に近い。図１３の（ｂ）の場合は、左側サラウンドチャンネルＬｓのレベルａが右側サラウンドチャンネルＲｓのレベルｂと略同一なので、仮想音源の位置が左側サラウンドチャンネルＬｓ及び右側サラウンドチャンネルＲｓの中間に存在するかのように聴き手は感じることになる。
【０１６９】
このような原理を用いて後方センターＲＣのレベルの決定することができる。図１４は、２つの後方チャンネルのレベル、及び後方センターチャンネルのレベルを示す図である。図１４に示すように、後方センターチャンネルＲＣのレベルｃは、左側サラウンドチャンネルＬｓのレベルａ及び右側サラウンドチャンネルＲｓのレベルｂ間の差を内挿する方式で算出することができる。内挿方式としては、線形（ｌｉｎｅａｒ）内挿だけでなく、非線形（ｎｏｎ−ｌｉｎｅａｒ）内挿方式も適用されることができる。線形内挿方式によって、２チャンネル（例：Ｌｓ，Ｒｓ）間に存在する新しいチャンネル（例：後方センターチャンネルＲＣ）のレベルｃを算出する式は、次の通りである。
【０１７０】
［式４０］
c=a*k+b*(1-k)
【０１７１】
ここで、ａ、ｂは、２チャンネルのそれぞれのレベルを表す。
【０１７２】
ｋは、ａレベルのチャンネル及びｂレベルのチャンネルとｃレベルのチャンネル間の相対的位置を表す。
【０１７３】
もし、ｃレベルのチャンネル（例：後方センターチャンネルＲＣ）がａレベルのチャンネル（例：Ｌｓ）及びｂレベルのチャンネルＲｓの真中央に位置する場合、ｋは０．５である。ｋが０．５の場合、式４０は、次の式のようになる。
【０１７４】
［式４１］
c=(a+b)/2
【０１７５】
式４１によれば、ｃレベルのチャンネル（例：後方センターチャンネルＲＣ）がａレベルのチャンネル（例：Ｌｓ）及びｂレベルのチャンネルＲｓの真中央に位置する場合、新しいチャンネルのレベルｃは、既存のチャンネルのレベルａ，ｂの平均値となる。上の式４０及び式４１は一例に過ぎず、ｃレベルの決定だけでなく、ａレベルとｂレベルの値も再調整することが可能である。
【０１７６】
(３)−２−２．７．１チャンネルへの拡張
マルチチャンネルオーディオ信号が５．１チャンネルである時、７．１チャンネルの出力チャンネルオーディオ信号を生成したい場合を例に挙げて説明する。
【０１７７】
図１５は、５．１チャンネルのマルチチャンネルオーディオ信号の位置と７．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。図１５の（ａ）を参照すると、図１２の（ａ）と同様に、５．１チャンネルのマルチチャンネルオーディオ信号のチャンネル位置がそれぞれ左側前方チャンネルＬ、右側前方チャンネルＲ、センターチャンネルＣ、低周波チャンネルＬＦＥ（図示せず）、左側サラウンドチャンネルＬｓ、右側サラウンドチャンネルＲｓであることがわかる。もし、このような５．１チャンネルのマルチチャンネルオーディオ信号がダウンミックスされたオーディオ信号である場合、このダウンミックスオーディオ信号に空間パラメータのみを適用すると、同様に５．１チャンネルのマルチチャンネルオーディオ信号にアップミックスされる。しかし、図１５の（ｂ）のように７．１チャンネルのマルチチャンネルオーディオ信号にアップミックスするには、左側フロントサイドチャンネルＬｆｓ及び右側フロントサイドチャンネルＲｆｓをさらに生成しなければならない。
【０１７８】
左側フロントサイドチャンネルＬｆｓは、左側前方チャンネルＬ及び左側サラウンドチャンネルＬｓ間に位置するので、左側前方チャンネルＬのレベル及び左側サラウンドチャンネルＬｓのレベルを用いて、内挿方式で左側フロントサイドチャンネルＬｆｓのレベルを決定することができる。図１６は、２つの左側チャンネルのレベル、及び左側フロントサイドチャンネルＬｆｓのレベルを示す図である。図１６を参照すると、左側フロントサイドチャンネルＬｆｓのレベルｃは、左側前方チャンネルＬのレベルａ及び左側サラウンドチャンネルＬｓのレベルｂに基づいて線形的に内挿された値であることがわかる。
【０１７９】
一方、左側フロントサイドチャンネルＬｆｓは、左側前方チャンネルＬ及び左側サラウンドチャンネルＬｓ間に位置してはいるが、左側前方チャンネルＬ、センターチャンネルＣ、及び右側前方チャンネルＲの外側に位置してもいる。このため、左側前方チャンネルＬのレベル、センターチャンネルＣのレベル、及び右側前方チャンネルＲのレベルを用いて、外挿方式で左側フロントサイドチャンネルＬｆｓのレベルを決定しても良い。図１７は、３つの前方チャンネルのレベル、及び左側フロントサイドチャンネルのレベルを示す図である。図１７を参照すると、左側フロントサイドチャンネルＬｆｓのレベルｄは、左側前方チャンネルＬのレベルａ、センターチャンネルＣのレベルｃ、及び右側前方チャンネルＲのレベルｂに基づいて線形的に外挿された値であることがわかる。
【０１８０】
以上２つの場合を取り上げて、空間情報に拡張空間情報を追加して出力チャンネルオーディオ信号を生成する過程について説明した。上述の如く、拡張空間情報を追加してアップミキシングする過程において、拡張空間パラメータの全部ではなく一部のみを適用しても良い。このようにオーディオ信号に空間パラメータを適用する過程は、順次的・階層的に行われても良いが、一括的・統合的に処理されても良い。
【産業上の利用可能性】
【０１８１】
本発明の一側面によれば、定められたツリー構造と異なる構造のオーディオ信号を生成できるため、多様な構造のオーディオ信号を生成することが可能になる。
【０１８２】
本発明の他の側面によれば、定められたツリー構造と異なる構造のオーディオ信号を生成できるため、ダウンミックスされる前のマルチチャンネルの本数がスピーカーの個数より多いまたは少ない場合であっても、ダウンミックスオーディオ信号からスピーカーの個数と同じ本数の出力チャンネルを生成することが可能になる。
【０１８３】
本発明のさらに他の側面によれば、マルチチャンネル数より少ない本数の出力チャンネルを生成する場合、ダウンミックスオーディオ信号からマルチチャンネルオーディオ信号にアップミックスした後、このマルチチャンネルオーディオ信号から出力チャンネルオーディオ信号をダウンミックスするのではなく、ダウンミックスオーディオ信号から直接マルチチャンネルオーディオ信号を生成するので、オーディオ信号のデコーディングにかかる演算量を顕著に減少させることが可能になる。
【０１８４】
本発明のさらに他の側面によれば、組合せ空間情報の生成において音響経路を考慮できるため、サラウンドチャンネルを出力できない状況においても仮想（ｐｓｅｕｄｏ）でサラウンド効果を出すことが可能になる。
【図面の簡単な説明】
【０１８５】
【図１】本発明によるオーディオ信号のエンコーディング装置及びデコーディング装置の構成図である。
【図２】部分空間情報を適用する一例を概略的に示す図である。
【図３】部分空間情報を適用する他の例を概略的に示す図である。
【図４】部分空間情報を適用するさらに他の例を概略的に示す図である。
【図５】組合せ空間情報を適用する一例を概略的に示す図である。
【図６】組合せ空間情報を適用する他の例を概略的に示す図である。
【図７】３チャンネルスピーカーの位置、及び、スピーカーから聴き手までの音響経路を示す図である。
【図８】サラウンド効果のためにスピーカーの各位置から出力される信号を示す図である。
【図９】５チャンネル信号を用いて３チャンネル信号を生成する方法を概念的に示す図である。
【図１０】拡張チャンネル構成情報に基づいて拡張チャンネルが構成される一例を示す図である。
【図１１】図１０に示す拡張チャンネルの構成、及び、拡張空間パラメータとの関係を示す図である。
【図１２】５．１チャンネルのマルチチャンネルオーディオ信号の位置と６．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。
【図１３】２つのチャンネル間のレベル差及び仮想音源の位置との関係を示す図である。
【図１４】２つの後方チャンネルのレベル、及び、後方センターチャンネルのレベルを示す図である。
【図１５】５．１チャンネルのマルチチャンネルオーディオ信号の位置と７．１チャンネルの出力チャンネルオーディオ信号の位置を示す図である。
【図１６】２つの左側チャンネルのレベル、及び、左側フロントサイドチャンネル（Ｌｆｓ）のレベルを示す図である。
【図１７】３つの前方チャンネルのレベル、及び、左側フロントサイドチャンネル（Ｌｆｓ）のレベルを示す図である。
【図１】
2009508433.tif 000009
【図２】
2009508433.tif 000010
【図３】
2009508433.tif 000011
【図４】
2009508433.tif 000012
【図５】
2009508433.tif 000013
【図６】
2009508433.tif 000014
【図７】
2009508433.tif 000015
【図８】
2009508433.tif 000016
【図９】
2009508433.tif 000017
【図１０】
2009508433.tif 000018
【図１１】
2009508433.tif 000019
【図１２】
2009508433.tif 000020
【図１３】
2009508433.tif 000021
【図１４】
2009508433.tif 000022
【図１５】
2009508433.tif 000023
【図１６】
2009508433.tif 000024
【図１７】
2009508433.tif 000025
【国際調査報告】
2009508433.tif 000026
2009508433.tif 000027