(57)【要約】  空間成分信号及びソース成分信号を含む複数のチャネル信号を有するオーディオ信号を受信するオーディオ信号受信部と、前記チャネル信号間の相関度に基づいて前記各チャネルの前記空間成分信号を抽出する空間成分信号抽出部と、サラウンド効果情報を用いて前記空間成分信号を修正する空間成分信号修正部と、前記チャネル信号間の相関度に基づいて前記各チャネルの前記ソース成分信号を抽出するソース成分信号抽出部と、前記修正された空間成分信号を出力する第１信号出力部と、前記受信したオーディオ信号または前記ソース成分信号を出力する第２信号出力部と、を含むオーディオ信号のデコーディング装置が開示される。  本発明のオーディオ信号のデコーディング装置及び方法によれば、相関度に基づいて空間成分信号を抽出して修正し、修正された空間成分信号及びソース成分信号をそれぞれ異なる信号出力部を用いて出力することによって、オーディオ信号の立体感を増大させることができ、空間成分信号を出力する信号出力部を、ソース成分信号を出力する信号出力部と異なる出力方向に配置することによって、聴取者に空間音の向上したオーディオ信号を提供することができる。【選択図】図１６
2010538572.tif 000002
【特許請求の範囲】
【請求項１】
空間成分信号及びソース成分信号を含む複数のチャネル信号を有するオーディオ信号を受信するオーディオ信号受信部と、
前記チャネル信号間の相関度に基づいて前記各チャネルの前記空間成分信号を抽出する空間成分信号抽出部と、
サラウンド効果情報を用いて前記空間成分信号を修正する空間成分信号修正部と、
前記チャネル信号間の相関度に基づいて前記各チャネルの前記ソース成分信号を抽出するソース成分信号抽出部と、
前記修正された空間成分信号と前記ソース成分信号を出力する第１信号出力部と、
前記オーディオ信号または前記ソース成分信号を出力する第２信号出力部と、
を含むオーディオ信号のデコーディング装置。
【請求項２】
前記サラウンド効果情報は、レベル情報、ゲイン値、時間遅延、フィルタ、位相情報のうち少なくともいずれか一つを含む、請求項１に記載のオーディオ信号のデコーディング装置。
【請求項３】
前記第１信号出力部は、前記第２信号出力部の出力方向と平行でない出力方向を有する、請求項１に記載のオーディオ信号のデコーディング装置。
【請求項４】
前記第１信号出力部は、前記第２信号出力部の出力方向と同一の平面上に位置する出力方向を有する、請求項３に記載のオーディオ信号のデコーディング装置。
【請求項５】
前記第１信号出力部及び前記第２信号出力部は、それぞれ異なる周波数バンドの信号を出力する複数のユニットを含む、請求項３に記載のオーディオ信号のデコーディング装置。
【請求項６】
前記第１信号出力部は、前記第２信号出力部の出力方向を含む平面と直角をなす出力方向を有する、請求項３に記載のオーディオ信号のデコーディング装置。
【請求項７】
前記第１信号出力部は、特性情報によって出力方向を変更させる、請求項１に記載のオーディオ信号のデコーディング装置。
【請求項８】
環境情報を生成する環境情報生成部をさらに含み、
前記空間成分信号修正部は、前記サラウンド効果情報及び前記環境情報を用いてステレオ効果を有するように修正する、請求項１に記載のオーディオ信号のデコーディング装置。
【請求項９】
前記環境情報生成部は、前記第１信号出力部及び前記第２信号出力部と聴取位置との空間特性に基づいて前記環境情報を生成する、請求項８に記載のオーディオ信号のデコーディング装置。
【請求項１０】
前記環境情報生成部は、既に保存されている環境情報から前記環境情報を選択する、請求項８に記載のオーディオ信号のデコーディング装置。
【請求項１１】
前記第１信号出力部は、前記空間成分信号の出力時間を遅延させる出力遅延部をさらに含む、請求項１に記載のオーディオ信号のデコーディング装置。
【請求項１２】
前記第２信号出力部は、前記ソース成分信号の出力に拡張効果を適用する拡張効果適用部をさらに含む、請求項１に記載のオーディオ信号のデコーディング装置。
【請求項１３】
前記オーディオ信号は、デジタル媒体を通じて受信する、請求項１に記載のオーディオ信号のデコーディング方法。
【請求項１４】
空間成分信号及びソース成分信号を含む複数のチャネル信号を有するオーディオ信号を受信する段階と、
前記チャネル信号間の相関度に基づいて前記各チャネルの前記空間成分信号及び前記ソース成分信号を抽出する段階と、
サラウンド効果情報を用いて前記空間成分信号を修正する段階と、
前記修正された空間成分信号と前記ソース成分信号をそれぞれ異なる出力部を通じて出力する段階と、
を含むオーディオ信号のデコーディング方法。
【請求項１５】
請求項１４に記載の段階を実行するために記録されたプログラムを含む、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号をデコーディングする方法及び装置に係り、より詳細には、オーディオ信号をエンコーディング／デコーディングするための装置及びその方法に関する。本発明は、広範囲の応用に適しているが、特に、マルチチャネルオーディオ信号が音場効果を有するようにすることに適している。
【背景技術】
【０００２】
最近、オーディオ技術はマルチチャネルを活用する規格が確定された。しかし、２チャネルからなる膨大な量の過去のコンテンツ、新規にマルチチャネルコンテンツを製作する費用、実際の消費者の使用パターンなどの様々な理由から、２チャネルを用いるステレオシステムが未だ広く活用されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、このようにステレオシステムを使用する場合、ユーザの前面のみでオーディオが再生される。したがって、ユーザが充分に現場感を感じることができない。また、マルチチャネルを支援するマルチメディアシステムでそれを活用できず、断面的なオーディオしか再生されないため、ユーザにとって立体感を感じることができないという問題点があった。
【課題を解決するための手段】
【０００４】
本発明は上記問題点を解決するためのもので、その目的は、入力信号から空間成分信号を抽出してそれを修正することによって現場感を与えるオーディオ信号デコーディング方法及び装置を提供することにある。
【０００５】
本発明の他の目的は、上記修正された空間成分信号と入力信号から空間成分信号を除去したソース成分信号をそれぞれ異なる出力部を通じて出力することによって立体感を強化させるオーディオ信号デコーディング方法及び装置を提供することある。
【０００６】
上記の目的を達成するために、本発明に係るオーディオ信号デコーディング方法は、空間成分信号及びソース成分信号を含む複数のチャネル信号を有するオーディオ信号を受信する段階と、前記チャネル信号間の相関度に基づいて前記各チャネルの前記空間成分信号及び前記ソース成分信号を抽出する段階と、サラウンド効果情報を用いて前記空間成分信号を修正する段階と、前記修正された空間成分信号と前記ソース成分信号を用いて複数のチャネルを含むオーディオ信号を生成する段階と、を含むことができる。
【０００７】
本発明によれば、前記相関度は、一定時間ごとにまたは一定周波数バンドごとに推定されることができる。
【０００８】
本発明によれば、前記空間成分信号は、前記チャネルのそれぞれに互いに対応するように含まれた成分信号間の相関度が低い信号でありうる。
【０００９】
本発明によれば、前記サラウンド効果情報は、前記空間成分信号に適用されるレベル情報でありうる。
【００１０】
本発明によれば、前記サラウンド効果情報は、前記空間成分信号に適用される時間遅延、フィルタまたは位相情報でありうる。
【００１１】
本発明によれば、拡張効果情報を用いて前記ソース成分信号を修正する段階をさらに含むことができる。
【００１２】
本発明によれば、前記ソース成分信号は、前記受信されたオーディオ信号から前記抽出された空間成分信号を除去して獲得することができる。
【００１３】
また、上記の目的を達成するために、本発明に係るオーディオ信号デコーディング装置は、空間成分信号及びソース成分信号を含む複数のチャネル信号を受信するオーディオ信号受信部と、前記チャネル信号間の相関度に基づいて前記各チャネルの前記空間成分信号を抽出する空間成分信号抽出部と、サラウンド効果情報を用いて前記空間成分信号を修正する空間成分信号修正部と、前記チャネル信号間の相関度に基づいて前記各チャネルの前記ソース成分信号を抽出するソース成分信号抽出部と、前記ソース成分信号及び前記空間成分信号を出力する信号出力部と、を含むことができる。
【００１４】
また、上記の目的を達成するために、本発明に係るオーディオ信号デコーディング装置は、空間成分信号及びソース成分信号を含む複数のチャネル信号を有するオーディオ信号を受信するオーディオ信号受信部と、前記チャネル信号間の相関度に基づいて前記各チャネルの前記空間成分信号を抽出する空間成分信号抽出部と、サラウンド効果情報を用いて前記空間成分信号を修正する空間成分信号修正部と、前記チャネル信号間の相関度に基づいて前記各チャネルの前記ソース成分信号を抽出するソース成分信号抽出部と、前記修正された空間成分信号を出力する第１信号出力部と、前記受信されたオーディオ信号または前記ソース成分信号を出力する第２信号出力部と、を含むことができる。
【００１５】
本発明によれば、前記第１信号出力部は、前記第２信号出力部の出力方向と平行でない出力方向を有することができる。
【００１６】
本発明によれば、前記第１信号出力部は、前記第２信号出力部の出力方向と同一の平面上に位置する出力方向を有することができる。
【００１７】
本発明によれば、前記第１信号出力部及び前記第２信号出力部は一つの出力装置を構成することができる。
【００１８】
本発明によれば、前記第１信号出力部及び前記第２信号出力部は、それぞれ異なる周波数バンドの信号を出力する複数個のユニットを含むことができる。
【００１９】
本発明によれば、前記第１信号出力部は、前記第２信号出力部の出力方向を含む平面と直角をなす出力方向を有することができる。
【００２０】
本発明によれば、前記第１信号出力部は、特性情報によって出力方向を移動させることができる。
【００２１】
本発明によれば、上記デコーディング装置は、環境情報を生成する環境情報生成部をさらに含み、前記空間成分信号修正部は、前記サラウンド効果情報及び前記環境情報を用いて所定の空間効果を有するように空間成分信号を修正することができる。
【００２２】
本発明によれば、前記環境情報生成部は、前記第１信号出力部及び前記第２信号出力部と聴取位置との空間特性に基づいて前記環境情報を生成することができる。
【００２３】
本発明によれば、前記環境情報生成部は、感知センサーを用いて推定された前記第１信号出力部及び前記第２信号出力部の出力信号の反射位置、反射量を用いて前記環境情報を生成することができる。
【００２４】
本発明によれば、前記環境情報生成部は、既に保存されている環境情報のうち一つを採択することができる。
【００２５】
本発明によれば、前記第１信号出力部は、前記空間成分信号の出力時間を遅延させる出力遅延部をさらに含むことができる。
【００２６】
本発明によれば、前記第２信号出力部は、前記ソース成分信号の出力に拡張効果を適用する拡張効果適用部をさらに含むことができる。
【００２７】
上記目的を達成するために、本発明は、空間成分信号及びソース成分信号を含む複数のチャネル信号を有するオーディオ信号を受信する段階と、前記チャネル信号間の相関度に基づいて前記各チャネルの前記空間成分信号及び前記ソース成分信号を抽出する段階と、サラウンド効果情報を用いて前記空間成分信号を修正する段階と、前記修正された空間成分信号と前記ソース成分信号をそれぞれ異なる出力装置を通じて出力する段階と、を含む方法を行うためのプログラムが記録された、コンピュータ読み取り可能記録媒体が提供される。
【発明の効果】
【００２８】
したがって、本発明は、下記のような効果及び利点を提供する。
【００２９】
第一に、本発明によるオーディオ信号のデコーディング装置及びその方法は、入力されたオーディオ信号から相関度に基づいて空間成分信号を抽出し、そしてサラウンド効果情報を用いて修正する。そのため、本発明は、オーディオ信号のステレオ効果を向上させる効果を奏する。
【００３０】
第二に、本発明によるオーディオ信号のデコーディング装置において、修正された空間成分信号及びソース成分信号をそれぞれ異なる信号出力部を用いて出力する。そのため、オーディオ信号のステレオ効果を増大させることができる。
【００３１】
第三に、本発明によるオーディオ信号のデコーディング装置において、空間成分信号を出力する信号出力部を、ソース成分信号を出力する他の信号出力部の出力方向と異なる出力方向を持つように配置する。そのため、本発明は、聴取者に空間音の強調されたオーディオ信号を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】一般的なステレオ録音環境を示す概略図である。
【図２】一般的なステレオ録音環境を示す概略図である。
【図３】図１及び図２に示す方法で録音されたステレオ信号を出力する一般的な出力装置の配置を示す概略図である。
【図４】本発明の一実施例によるオーディオ信号の出力方法を示す概略図である。
【図５】本発明の一実施例によるステレオ出力信号を分析する時間−周波数ドメインを示すグラフである。
【図６】本発明の一実施例によるゲインファクタＡ、ソース成分信号Ｓ、及びゲインファクタとソース成分信号との積であるＡＳの正規化パワーを示すグラフである。
【図７−９】
【数１】
2010538572.tif 000003
【図１０】本発明の一実施例による中央（center）で聴取されるオーディオ信号に対する空間分解を示すグラフである。
【図１１】本発明の一実施例によるオーディオ信号デコーディング装置を示す概略ブロック図である。
【図１２】一般的な５．１チャネル構成とこの場合に聴取者に流入する信号の経路を示す図である。
【図１３】本発明の一実施例による修正された空間成分信号を含むステレオ信号の出力を示す図である。
【図１４】本発明の一実施例によるソース成分信号修正部を含むオーディオ信号デコーディング装置の概略的なブロック図である。
【図１５】本発明の一実施例によるソース成分信号拡張部を含むオーディオ信号デコーディング装置の一部を示す概略ブロック図である。
【図１６】本発明の一実施例によるオーディオ信号デコーディング装置を示す概略的なブロック図である。
【図１７】本発明の一実施例によるオーディオ信号デコーディング装置に含まれる第１信号出力部と第２信号出力部の配置を示すグラフである。
【図１８】本発明の一実施例によるオーディオ信号デコーディング装置からの出力信号の伝達経路を示す図である。
【図１９】本発明の一実施例によるオーディオ信号デコーディング装置からの出力信号の伝達経路を示す図である。
【図２０】本発明の一実施例によるオーディオ信号デコーディング装置を示す概略図である。
【図２１】本発明の一実施例による出力装置を示す図である。
【図２２】本発明の一実施例によるオーディオ信号デコーディング装置を示す概略図である。
【図２３】本発明の一実施例によるオーディオ信号デコーディング装置を示す概略ブロック図である。
【図２４】本発明の一実施例によるオーディオ信号デコーディング装置を示す概略ブロック図である。
【図２５】本発明の一実施例によるオーディオ信号デコーディング装置を示す概略ブロック図である。
【発明を実施するための形態】
【００３３】
以下、添付の図面を参照しつつ、本発明の好適な実施例を詳細に説明する。下記の説明において、本明細書及び請求の範囲に使われた用語や単語は、通常的または辞書的な意味に限定して解釈してはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立って本発明の技術的思想に符合する意味と概念として解釈しなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の好適な一実施例に過ぎないもので、本発明を実施できる唯一の例ではないので、本出願時点においてそれらに取って代わる様々な均等物と変形例が存在しうることを理解されたい。
【００３４】
特に、本発明でいうコーディングは、エンコーディング及びデコーディングの両方を含む概念として理解すべきである。
【００３５】
また、本明細書でいう情報（information）は、値（values）、パラメータ（parameter）、係数（coefficients）、成分（elements）などを総称する用語で、場合によって意味が別に解釈されることもあるので、本発明はこれに限定されない。そして、本明細書ではオーディオ信号の一例としてステレオ信号を説明するが、これに限定されず、３つ以上のチャネルを有するオーディオ信号としても良い。
【００３６】
一般に、ステレオ信号に対してステレオチャネルを有する出力装置を用いる場合、聴取者は、左側及び右側チャネルからオーディオ信号を受信する。このオーディオ信号は、大きく、左側チャネル信号及び右側チャネル信号に分けることができ、それぞれのチャネル信号は、方向性を有するソース成分信号と、方向性を持たずにステレオ効果を与える空間成分信号とを含むことができる。
【００３７】
ソース成分信号は、例えば、舞台上の歌手、楽器などの音であり、映画などの場合では聴取者の目の前で行われている会話、各種の効果音などであり、これによって聴取者は音の方向を感じることができる。一方、空間成分信号は、聴取者の位置している物理的環境によって発生する残響音、客席の拍手音、雑音などを含み、聴取者が自身の位置している空間に対する感じや立体感などを感じるようにする役割を果たす。すなわち、ソース成分信号は特定の方向から聞こえる信号で、一般的に聴取者の前面から発生し、空間成分信号は、方向性なく四方から聞こえる信号である。
【００３８】
本明細書でいう前面は、前方、前側を指すもので、例えば、装置の前面は、装置の画面部が眺める前方を意味する。また、出力装置が側後面に配置されるということは、出力装置が、オーディオ信号デコーディング装置の画面部が存在する面を基準に４５゜〜１３５゜の出力方向を有するように配置されるということを意味し、側前面に配置されるということは、出力装置が、オーディオ信号デコーディング装置の画面部が存在する面を基準に０゜〜４５゜または１３５゜〜１８０゜の出力方向を有するように配置されるということを意味する。
【００３９】
図１及び図２は、一般的なステレオ録音環境を示す概略図である。図１に示すように、聴取者が位置できる環境及び位置を設定してステレオチャネルの信号を録音でき、図２に示すように、ソース成分信号を発生する個体から複数のマイクを用いて信号を取得した後、ミキサーを用いてこれを適切に組み合わせてステレオ信号として生成することができる。
【００４０】
図３は、図１及び図２に示す方法で録音されたステレオ信号を出力する一般的な出力装置の配置を示す概略図である。図３に示すように、ステレオ信号を再生する場合、通常、ステレオ信号の出力装置が聴取者の前面に位置するので、聴取者は全ての音が前面から聞こえるように認知する。この場合、前面に位置するソース成分信号は聴取者に歪みなく伝達されるが、録音環境で聴取者の側面、後面から聞こえる空間成分信号は伝達されない。もちろん、出力装置から出力されたステレオ信号が、聴取者の位置している環境によって反射または吸収されて残響として聞こえる場合もあるが、これは録音環境における空間成分信号とは異なるもので、聴取者は録音時における空間成分信号は聴取できない。
【００４１】
本発明によるオーディオ信号デコーディング方法及び装置は、ステレオ信号に含まれた空間成分信号を抽出して用いることによって、ステレオ効果の向上したオーディオ信号が得られるようにする。
【００４２】
図４は、本発明の一実施例によるオーディオ信号の出力方法を示す概略図である。上述したように、空間成分信号は方向性を有しないが、ソース成分信号は方向性を有するという特性がある。聴取者が方向性を認知するということは、同一信号がレベル差（Level Difference）または時間遅延（Time Difference）のいずれかをもって聴取者の両耳に伝達される、または、レベル差及び時間遅延の両方をもって聴取者の両耳に伝達される場合を意味する。したがって、方向性を有するソース成分信号は、該ソース成分信号を含む２チャネル間に高い相関度を有させるのに対して、空間成分信号は、２チャネルが低い相関度も有するように寄与する。したがって、本発明の一実施例によるオーディオ信号デコーディング方法は、空間成分信号を抽出するために、ステレオチャネルに含まれた成分信号からチャネル間の相関度の低い成分信号を抽出する。
【００４３】
図４において、ソース成分信号ｓは、ゲインファクタａによって決定された方向に位置する直接音を示す信号であり、空間成分信号ｎ１，ｎ２は、録音環境における空間音を表し、ｘ１、ｘ２は、ステレオチャネルのうち、左側及び右側チャネルの出力信号をそれぞれ表す。また、ステレオ信号は、特定の方向情報をもってステレオチャネルに出力されることができ、この方向情報は、レベル差情報、時間差情報などでありうる。一方、空間成分信号は、再生環境または聴覚的に感じられる幅などによって決定されることができる。このような図４のステレオ出力信号は、ソース成分信号ｓ、空間成分信号ｎ１，ｎ２及びソース成分信号の方向を決定するゲインファクタａを用いて下記数学式１で表現することができる。
【００４４】
【数２】
2010538572.tif 000004
【００４５】
同時に活性化された複数個のオブジェクト信号を含む非線形的なステレオ信号を效果的に分析するためには、上記数学式１を、複数個に分割された周波数バンド及び時間領域を用いて独立的に分析しなければならないが、その場合、ｘ１（ｎ）及びｘ２（ｎ）は、下記のように表すことができる。
【００４６】
【数３】
2010538572.tif 000005
【００４７】
ここで、ｉは周波数バンドインデックスを表し、ｋは時間バンドインデックスを表す。
【００４８】
図５は、ステレオ出力信号を分析する時間−周波数ドメインを示すグラフである。それぞれの時間−周波数領域は、インデックスｉ及びｋを含み、ソース成分信号Ｓ、空間成分信号Ｎ１及びＮ２、ゲインファクタＡＡは独立的に推定することができる。下記では、周波数バンドインデックスｉと時間バンドインデックスｋを省略する。
【００４９】
また、下記数学式３のような信号モデルを用いることができる。
【００５０】
【数４】
2010538572.tif 000006
【００５１】
【数５】
2010538572.tif 000007
【００５２】
また、その他の様々な信号モデルを通じてソース成分信号と空間成分信号を数学的にモデリング（modeling）することができる。しかし、本発明のオーディオ信号デコーディング装置及び方法では、上記数学式１及び２で表した信号モデルを用いて、ソース成分信号及び空間成分信号を推定、修正する方法を記述するが、これに本発明が限定されるわけではない。
【００５３】
ステレオ信号の分析のための周波数バンドの帯域幅は、特定バンドのそれと同一になるように選択することができ、ステレオ信号の特性によって決定することができる。それぞれの周波数バンドで、Ｓ、Ｎ１、Ｎ２、Ａはｔミリ秒ごとに推定することができ、Ｘ１及びＸ２がステレオ信号として与えられる場合、図５の時間−周波数ドメイン別分析によって、Ｓ、Ｎ１、Ｎ２、Ａの推定値を決定することができる。Ｘ１のパワー（power）は、下記数学式４で推定することができる。
【００５４】
【数６】
2010538572.tif 000008
【００５５】
ここで、Ｅ｛.｝は平均を表す。
【００５６】
Ｎ１及びＮ２のパワーは同一であるとし、外部から影響を及ぼす従属的な信号も、ステレオチャネルの左側及び右側チャネルで同じパワーを有するとする（ＰＮ＝ＰＮ１＝ＰＮ２）。
【００５７】
ＰＮ＝ＰＮ１＝ＰＮ２の他に、例えば、Ａ２ＰＮ１＝ＰＮ２などと仮定することもできる。
【００５８】
また、ステレオ信号が時間−周波数ドメインとして表現される場合、ゲイン情報（Ａ）、ソース成分信号のパワー（ＰＳ）、空間成分信号のパワー（ＰＮ）、及び正規化された交差相関関係（normalized cross-correlation、φ）を推定することが可能になる。ステレオチャネル間の正規化された交差相関関係は、下記数学式５で表すことができる。
【００５９】
【数７】
2010538572.tif 000009
【００６０】
Ａ、ＰＳ、ＰＮは、推定されたＰＸ１、ＰＸ２、φを用いて決定することができる。このＰＸ１、ＰＸ２、φに関する関係式は、下記の数学式６で示される。
【００６１】
【数８】
2010538572.tif 000010
【００６２】
上記数学式６をＡ、ＰＳ、ＰＮに対して整理すると、下記数学式７で示される。
【００６３】
【数９】
2010538572.tif 000011
【００６４】
そして、Ｂ，Ｃの値は、下記数学式８で示される。
【００６５】
【数１０】
2010538572.tif 000012
【００６６】
ソース成分信号Ｓ、Ｎ１そしてＮ２の最小２乗推定値は、Ａ、ＰＳそしてＰＮの関数として計算される。それぞれのｉそしてｋに対して、ソース成分信号Ｓは下記のように推定される。
【００６７】
【数１１】
2010538572.tif 000013
【００６８】
ここで、ω１、ω２は実数重み値である。この時、推定エラー（estimation error）は、下記数学式１０で示される。
【００６９】
【数１２】
2010538572.tif 000014
【００７０】
これら重み値ω１とω２は、前記推定エラーＥがＸ１、Ｘ２に対して直交する時に最小平均２乗（least mean square）で最適となる。すなわち、
【００７１】
【数１３】
2010538572.tif 000015
【００７２】
の時に、上記数学式１０及び数学式１１から下記数学式１２の２つの方程式を得ることができる。
【００７３】
【数１４】
2010538572.tif 000016
【００７４】
上記数学式１２から重み値ω１、ω２は、下記の数学式１３のように計算される。
【００７５】
【数１５】
2010538572.tif 000017
【００７６】
同様に、Ｎ１、Ｎ２も推定される。Ｎ１の推定値は、下記数学式１４の通りである。
【００７７】
【数１６】
2010538572.tif 000018
【００７８】
また、推定エラー（estimation error）は、下記のように計算できる。
【００７９】
【数１７】
2010538572.tif 000019
【００８０】
これらの重み値ω３とω４は、推定エラーＥがＸ１、Ｘ２に対して直交するように、下記の数学式１６のように計算される。
【００８１】
【数１８】
2010538572.tif 000020
【００８２】
また、Ｎ２の推定値もＮ１と同様に計算され、Ｎ２は、下記数学式１７で表現され、Ｎ２の重み値は、下記数学式１８のように計算される。
【００８３】
【数１９】
2010538572.tif 000021
【００８４】
【数２０】
2010538572.tif 000022
【００８５】
【数２１】
2010538572.tif 000023
【００８６】
【数２２】
2010538572.tif 000024
【００８７】
【数２３】
2010538572.tif 000025
【００８８】
【数２４】
2010538572.tif 000026
【００８９】
【数２５】
2010538572.tif 000027
【００９０】
【数２６】
2010538572.tif 000028
【００９１】
【数２７】
2010538572.tif 000029
【００９２】
【数２８】
2010538572.tif 000030
【００９３】
【数２９】
2010538572.tif 000031
【００９４】
【数３０】
2010538572.tif 000032
【００９５】
【数３１】
2010538572.tif 000033
【００９６】
図１０は、ステレオ信号が出力装置を通じて出力される場合、中央（center）で聴取される音声（例えば、ボーカル、音声）を含むステレオ信号（例えば、歌謡）に対する空間分解を示すグラフであり、推定されたｓ、Ａ、ｎ１及びｎ２を示す。このステレオ音楽信号に含まれたソース成分信号ｓ（例えば、ボーカル）及び空間成分信号ｎ１，ｎ２（例えば、ＢＧＭ）は時間領域上に示し、ゲインファクタＡは全ての時間−周波数タイルに対して示した。
【００９７】
図１０に示すように、空間成分信号ｎ１，ｎ２に比べて、推定されたソース成分信号ｓが相対的に強いものと示された。これは、録音時に中央（center）でソース成分信号が優勢だった事実と一致する。このように、本発明のオーディオ信号デコーディング方法によってステレオ信号の録音時に含まれたソース成分信号及び空間成分信号を推定することは、本発明の当業者には自明である。
【００９８】
本発明のオーディオ信号デコーディング装置は、上記のように空間成分信号及びソース成分信号を推定し、推定された信号を用いて空間成分信号を抽出してこれを修正することによって、立体的なステレオ効果がより向上したオーディオ信号を得ることができる。
【００９９】
図１１は、本発明のオーディオ信号デコーディング装置１１００の一実施例を示す概略図である。まず、オーディオ信号受信部１１１０は、オーディオ信号デコーディング装置の外部から入力されたオーディオ信号を受信する。入力されるオーディオ信号は複数のチャネルを含み、このチャネルはステレオチャネルであっても良く、３個以上のマルチチャネルであっても良い。また、このオーディオ信号は、空間成分信号及びソース成分信号を含むことができ、これらはチャネルのそれぞれに互いに対応するように含まれることができる。例えば、２個のソース成分信号（例えば、vocal1、vocal2）を含む場合、これらソース成分信号は時間遅延（Time difference）及び／またはレベル差（Level difference）をもってそれぞれのチャネルに含まれる。
【０１００】
空間成分信号抽出部１１２０は、当該オーディオ信号を受信して、互いに対応して含まれた信号間の相関度に基づいて各チャネルの空間成分信号を抽出する。この時、空間成分信号抽出部１１２０は、上記数学式１〜２２を用いて空間成分信号を推定することができるが、これに限定されることはない。空間成分信号を抽出するのに用いられる相関度は、一定時間ごとに推定することもでき、一定周波数バンドごとに推定することもできる。一般的に、空間成分信号は、各チャネルに含まれた成分信号間の相関度（correlation）が低い反面、ソース成分信号は相関度が高く現れる。
【０１０１】
空間成分信号修正部１１３０は、抽出された空間成分信号を受信して、サラウンド効果情報を用いて空間成分信号が所定の空間効果を有するように修正することができる。サラウンド効果情報は、オーディオ信号受信部１１１０に入力されたオーディオ信号を表すビットストリームに含まれても良く、本発明によるオーディオ信号デコーディング装置のうち、空間成分信号修正部１１３０内に保存されていても良い。また、聴取者から聴取者入力装置（図示せず）を通じて入力されても良い。
【０１０２】
サラウンド効果情報は、空間成分信号に適用されるレベル情報であるか、ディレイ効果、フィルタ、及びゲイン値のうちいずれか一つ以上を含むことができ、この空間成分信号を調節することによって、図３に示すように、ステレオ信号が前面からのみ再生されることから生じるステレオ効果の低下を改善することができる。レベル情報は、抽出された空間成分信号のレベル大きさを適用してレベルが小さくまたは大きく修正された空間成分信号を生成できるようにする。また、サラウンド効果情報は、空間成分信号に適用される位相情報であり、この位相情報は、空間成分信号の位相を調節することによって空間成分信号のステレオ効果を向上させることができる。特に、サラウンド効果情報の一例であるディレイ効果を空間成分信号に適用してこの空間成分信号の出力を遅延させることによって、反響（reverb）を増加させ、オーディオ信号のステレオ効果を改善することができる。これと関連した空間成分信号修正部１１３０の具体的な機能及び役割は、図１２及び図１３を参照して以下に説明する。
【０１０３】
ソース成分信号抽出部１１４０は、オーディオ信号受信部１１１０に入力されたオーディオ信号、及び空間成分信号抽出部１１２０から抽出された空間成分信号を受信し、オーディオ信号から空間成分信号を除去することによってソース成分信号を抽出する。また、オーディオ信号受信部１１１０に入力されたオーディオ信号に対して上記数学式１〜２２の過程を通じて推定されたソース成分信号（Ｓ）を、ソース成分信号抽出部１１４０で抽出されたソース成分信号として用いることができる。
【０１０４】
信号出力部１１５０は、ソース成分信号抽出部１１４０で抽出されたソース成分信号と空間成分信号修正部１１３０で修正された空間成分信号を受信し、これらを結合して本発明のオーディオ信号デコーディング装置の外部にステレオ信号として出力する。信号出力部１１５０は、ソース成分信号抽出部１１４０で抽出されたソース成分信号の代わりに、オーディオ信号受信部１１１０に受信されたオーディオ信号、すなわち、チャネル信号を出力することができ、ソース成分信号及び受信されたオーディオ信号を空間成分信号と一緒に出力することができる。また、オーディオ信号受信部１１１０に受信されるオーディオ信号は、信号出力部１１５０でソース成分信号及びオーディオ信号のうちいずれか一つ以上を出力するか否かを表すフラグ情報を含むことができる。信号出力部１１５０は、一つの出力装置にしても良く、２以上の出力装置にしても良い。また、信号出力部１１５０が２以上の出力装置からなる場合、各出力装置の機能及び構成が同一でなくても良く、様々な形態で配置することも可能である。信号出力部１１５０についての具体的な内容は、図１６〜図２５を参照して説明する。
【０１０５】
本発明のオーディオ信号デコーディング装置の他の実施例によれば、空間情報信号修正部１１３０は、空間情報信号にサラウンド効果情報の一例としてフィルタを適用することによって、信号出力部１１５０から出力されるステレオ信号を、聴取者が聞く一般的な５．１チャネルの出力信号（Ｌ０、Ｒ０）と類似するように修正することができる。
【０１０６】
図１２は、一般的な５．１チャネル構成とこの時に聴取者に流入する信号の経路を示す図である。図１２に示すように、ＧＸ＿Ｙは、ＸスピーカーからＹ耳に信号が伝達される伝達関数を表す。例えば、ＧＬ＿Ｒは、Ｌチャネルの音が聴取者の右側耳に入るまでの伝達関数を表し、ＧＣ＿Ｒは、Ｃチャネルの音が聴取者の右側耳に入るまでの伝達関数を表す。ＧＸ＿Ｙを、頭部伝達関数（Head-related Transfer Function：以下、‘ＨＲＴＦ’という。）という。
【０１０７】
図１２を参照して、聴取者の耳に入る信号（Ｌ０、Ｒ０）を下記数学式２３のように表すことができる。
【０１０８】
【数３２】
2010538572.tif 000034
【０１０９】
これを参考にして、本発明のオーディオ信号デコーディング装置から出力されるステレオ信号（Ｌ',Ｒ'）を、下記数学式２４のように表すことができる。
【０１１０】
【数３３】
2010538572.tif 000035
【０１１１】
前記Ｌ',Ｒ'は、各チャネルの出力信号を表し、Ｄ（Ｌ）、Ｄ（Ｒ）は、Ｌチャネル及びＲチャネル入力信号のソース成分信号を表し、Ａ（Ｌ）、Ａ（Ｒ）は空間成分信号を表す。Ｇ＿Ｌ，Ｇ＿Ｒは、各チャネルの空間音成分に適用されるフィルタを表す。
【０１１２】
このように、空間成分信号修正部１１３０は、空間成分信号に適用されるフィルタを用いて空間成分信号が所定の空間効果を有するように修正することができる。このフィルタは、オーディオ信号受信部１１１０に入力されたオーディオ信号を表すビットストリームに含まれても良く、本発明によるオーディオ信号デコーディング装置における空間成分信号修正部１１３０内に保存されても良く、聴取者から聴取者入力装置（図示せず）を通じて入力されても良い。Ｇ＿Ｘは、固定された値であっても良く、聴取者の要求に応じて変化する可変的な値であっても良い。Ｇ＿Ｘは、空間成分信号が既存の出力装置の位置ではなく任意の仮想の位置で再生されたような効果を獲得可能にする。したがって、Ｇ＿Ｘは、ＨＲＴＦとして良く、または、ＨＲＴＦに漏話（cross-talk）を考慮した形態にしても良いが、これに限定されることはない。
【０１１３】
図１３は、上記数学式２４のフィルタを用いて修正された空間成分信号を含むステレオ信号の出力を示す図である。図１３に示すように、本発明の一実施例によってデコーディングされたオーディオ信号が、２つから構成された出力部１３１０，１３２０によって出力される場合、聴取者は自身の前面に配置された出力部１３１０，１３２０からソース成分信号を聞くことができる。反面、フィルタの適用された空間成分信号は、仮想出力部１３３０，１３４０の置かれている位置から出力されたかのように感じることができる。したがって、ステレオ効果の改善のために空間成分信号のための側／後面出力装置をさらに用いたのと同じ効果を得ることができ、よって、ステレオ信号及び装置を用いて效果的に立体音響を楽しむことができる。
【０１１４】
本発明の他の実施例によるオーディオ信号デコーディング装置は、抽出されたソース成分を修正することによって、オーディオ信号に立体感を付与でき、これと関連したオーディオ信号デコーディング装置を、図１４及び図１５を参照して以下に説明する。
【０１１５】
図１４は、本発明の他の実施例によるソース成分信号修正部を含むオーディオ信号デコーディング装置１４００を示す概略図である。オーディオ信号デコーディング装置１４００は、大きく、オーディオ信号受信部１４１０、空間成分信号抽出部１４２０、空間成分信号修正部１４３０、ソース成分信号抽出部１４４０、ソース成分信号修正部１４５０、信号出力部１４６０を含む。オーディオ信号受信部１４１０、空間成分信号抽出部１４２０、空間成分信号修正部１４３０、ソース成分信号抽出部１４４０、及び信号出力部１４６０は、図１１のオーディオ信号デコーディング装置１１００における同一名称の構成要素と同一の機能及び役割を果たすので、その詳細説明は省略する。
【０１１６】
ソース信号成分修正部１４５０は、ソース成分信号抽出部１４４０で抽出されたソース成分信号を受信し、ステレオ効果を増大させるためにソース成分信号を修正することができる。ソース信号成分修正部１４５０は、ソース成分信号にサラウンド効果または拡張効果を付与できるフィルタを用いることができるが、本発明はこれに限定されない。
【０１１７】
図１５は、拡張効果を与えるフィルタを用いてソース信号を修正するオーディオ信号デコーディング装置の一部を示す概略図である。本発明でいう拡張効果とは、空間上でチャネル信号に含まれたソース成分信号間の距離をより増大させる効果を指し、拡張効果の適用されたソース成分信号を含む出力信号は、例えば、講堂、スタジアム（stadium）などのように広い空間で聴取するようなステレオ効果を有するようになる。図１１のソース成分信号抽出部１１４０と同じ機能及び役割を果たすソース成分信号抽出部１５４０は、入力されたオーディオ信号からソース成分信号を抽出する。一方、ソース成分信号拡張部１５５０は、ソース成分信号を受信し、拡張効果を与えるフィルタを適用することによって、ソース成分間の距離が拡張されたソース成分信号を生成する。
【０１１８】
このように、本発明のオーディオ信号デコーディング装置によれば、オーディオ信号から空間成分信号及び／またはソース成分信号を抽出して修正し、修正された空間成分信号及び／またはソース成分信号をミキシングして出力することによって、録音環境で空間または環境的な影響によって生成されるステレオ効果を増大させることができる。また、ステレオ信号及び装置のみを用いて、マルチチャネルを用いるようにステレオ効果の向上したオーディオ信号を得ることができる。
【０１１９】
本発明の他の実施例では、ステレオ信号のステレオ効果をより増加させるために、修正された空間成分信号とソース成分信号とをミキシングして一つの出力装置を通じて出力する実施例とは違い、空間成分信号を、ソース成分信号及び／またはチャネル信号を含むオーディオ信号と別途に出力する出力装置を有するオーディオ信号デコーディング装置を提案する。
【０１２０】
図１６は、本発明の他の実施例によるオーディオ信号デコーディング装置１６００を示す概略図である。オーディオ信号デコーディング装置１６００は、図１１のデコーディング装置１１００と一部の構成要素の機能及び役割が同一である。したがって、オーディオ信号受信部１６１０、空間成分信号抽出部１６２０、空間成分信号修正部１６３０、ソース成分信号抽出部１６４０についての詳細な説明は省略する。また、図１６には示さなかったが、ソース成分信号抽出部１６４０からソース成分信号を受信し、拡張効果またはサラウンド効果を与えるフィルタを適用してソース成分信号のステレオ効果を増大させるソース成分信号修正部（図示せず）をさらに含むことができる。
【０１２１】
空間成分信号修正部１６３０で修正された空間成分信号は、第１信号出力部１６５０を通じて出力され、ソース成分信号抽出部１６４０で抽出されたソース成分信号またはオーディオ信号受信部１６１０に受信されたオーディオ信号は、第２信号出力部１６６０を通じてそれぞれ出力され、ソース成分信号及びオーディオ信号の両方が第２信号出力部１６６０を通じて出力されることができる。また、オーディオ信号受信部１６１０に受信されるオーディオ信号は、信号出力部１６５０からソース成分信号及びオーディオ信号のうちいずれか一つ以上を出力するか否かを表すフラグ情報を含むことができる。以下、第２信号出力部１６６０がソース成分信号を出力することに限定されず、ソース成分信号及びオーディオ信号を、またはオーディオ信号を出力することと理解すべきである。また、本発明でいうオーディオ信号は、ソース成分信号及び空間成分信号を含む複数のチャネル信号を含むものを指す。第１信号出力部１６５０及び第２信号出力部１６６０はそれぞれ一つの単位で構成されることもでき、それぞれ２以上の単位で構成されることもできる。例えば、オーディオ信号の出力システムがステレオシステムである場合、第１信号出力部１６５０は、左、右チャネルに該当する第１信号出力部２つで構成することができ、第２信号出力部１６６０も同様、左、右チャネルに該当する第２信号出力部２つで構成することができる。本発明では、オーディオ信号の出力システムがステレオシステムである場合について説明するが、第１信号出力部１６５０及び第２信号出力部１６６０がそれぞれ３つ以上の単位で構成されたマルチチャネルシステムであっても良い。本発明の一実施例によれば、オーディオ信号デコーディング装置が、オーディオ信号またはソース成分信号を出力する第２信号出力部の他に、修正された空間成分信号のみを出力する第１信号出力部をさらに含むことで、オーディオ信号のステレオ効果を増大させることができる。また、第１信号出力部の出力方向が第２信号出力部の出力方向と異なるように第１信号出力部及び第２信号出力部を配置し、聴取者がステレオ効果の改善されたオーディオ信号を聴取できるようにする。上記のようにステレオ効果の改善されたオーディオ信号を提供する第１信号出力部及び第２信号出力部について図１７〜図２２を参照して以下に説明する。
【０１２２】
ＴＶ、オーディオシステムなどを含むオーディオ信号デコーディング装置において、信号出力部は、当該デコーディング装置と分離した別個の出力装置を利用しない限り、限定された空間内に配置されなければならない。一般的に、オーディオ信号またはソース成分信号を出力する第２信号出力部は、聴取者に向かう（以下‘前面’という。）出力方向を有する。また、空間成分信号を出力する第１信号出力部は、聴取者の側面や後面に配置する方が、ステレオ効果伝達の面で効果的であるが、上記したように、限定された空間内に配置すべきという限界から、第２信号出力部の周辺に配置することとなる。
【０１２３】
図１７は、第１信号出力部と第２信号出力部の配置を示すグラフであり、第２信号出力部１７１０は、ｘ軸方向への出力方向を有し、第１信号出力部１７２０ａ，１７２０ｂは、第２信号出力部１７１０の出力方向と異なる出力方向を有する場合を示す。図１７に示すように、空間成分信号を出力する第１信号出力部１７２０ａは、オーディオ信号またはソース成分信号を出力する第２信号出力部１７１０の出力方向と平行でない出力方向を有するように位置でき、第２信号出力部１７１０の位置している平面上に存在しなくて良い。また、図１７を参照すると、第１信号出力部１７２０ｂは、第２信号出力部１７１０の位置している平面と同じ平面上に位置し、第２信号出力部１７１０の出力方向と平行でない出力方向を有することができる。
【０１２４】
第２信号出力部１７１０は、オーディオ信号またはソース成分信号の再生を担当し、第２信号出力部１７１０と平行でない出力方向を有する第１信号出力部１７２０ａまたは１７２０ｂは、空間成分信号の再生を担当する。したがって、第２信号出力部１７１０のみを用いてステレオ信号を再生する場合に比べて、聴取者にステレオ効果の改善されたオーディオ信号を提供することができる。
【０１２５】
図１８及び図１９は、空間成分信号を出力する第１信号出力部を、オーディオ信号またはソース成分信号を出力する第２信号出力部の出力方向と異なる出力方向を有するように配置したオーディオ信号デコーディング装置、及びこれを用いてオーディオ信号を再生する方法を示す概略図である。図１８及び図１９でチャネル信号は、本発明のオーディオ信号受信部に入力されるオーディオ信号の一例であり、空間成分信号とソース成分信号を含み、各チャネルで出力される信号を表す。
【０１２６】
図１８を参照すると、第１信号出力部１８５０ａ，１８５０ｂは、第２信号出力部１８６０ａ，１８６０ｂの出力方向を基準に側後面への出力方向を有し、第１信号出力部１８５０ａ，１８５０ｂは、空間成分信号修正部１８３０から空間成分信号が入力され、第２信号出力部１８６０ａ，１８６０ｂは、ソース成分信号抽出部１８４０からソース成分信号、またはオーディオ信号受信部（図示せず）からオーディオ信号が入力される。空間成分信号修正部１８３０及びソース成分信号抽出部１８４０については、図１１に示す成分信号修正部１１３０及びソース成分信号抽出部１１４０で説明した通りであるので、その詳細説明を省略する。
【０１２７】
第１信号出力部１８５０ａ，１８５０ｂは、側後面への出力方向を有するので、側後面方向に出力される空間成分信号は、後面の壁または側面の壁から反射される効果をより増大させることができる。また、聴取者に空間成分信号が伝達される経路をより様々にすることができるので、自然的なディレイ効果などが発生し、出力されたオーディオ信号のステレオ効果を増大させることができる。
【０１２８】
図１９を参照すると、第１信号出力部１９５０ａ，１９５０ｂが、図１８の第１信号出力部１８５０ａ，１８５０ｂと第２信号出力部１９６０ａ，１９６０ｂの出力方向を基準に側前面への出力方向を有する。第１信号出力部１９５０ａ，１９５０ｂは、空間成分信号修正部１９３０から空間成分信号が入力され、第２信号出力部１９６０ａ，１９６０ｂはソース成分信号抽出部１９４０からソース成分信号、またはオーディオ信号受信部（図示せず）からオーディオ信号が入力される。空間成分信号修正部１９３０及びソース成分信号抽出部１９４０についての詳細も省略する。
【０１２９】
第１信号出力部１９５０ａ，１９５０ｂも同様、側前面への出力方向を有するので、側前面方向に出力される空間成分信号は、側面の壁から反射される効果をより増大させることができる。また、図１８のオーディオ信号デコーディング装置に比べて、第１信号出力部１９５０ａ，１９５０ｂ及び第２信号出力部１９６０ａ，１９６０ｂがより狭い空間を占めるため、出力部のための空間が狭いオーディオ信号デコーディング装置に有用に用いることができる。
【０１３０】
また、本発明のオーディオ信号デコーディング装置は、空間成分信号及びソース成分信号を出力する第１信号出力部及び第２信号出力部を連続して一つの出力装置とすることもできる。図２０は、一つの出力装置に第１信号出力部及び第２信号出力部を有するオーディオ信号デコーディング装置を含むＴＶを示す図である。本明細書ではＴＶを一例として説明するが、オーディオ信号デコーディング装置を含む装置（device）で広範囲に用いることができる。
【０１３１】
図２０を参照すると、出力装置２０１０，２０２０は、Ｌ、Ｒの二つで構成されており、これらは垂直に配置される。出力装置２０１０，２０２０は、空間成分信号を出力する第１信号出力部及びオーディオ信号またはソース成分信号を出力する第２信号出力部を備えており、画面部の左側に配置された出力装置２０１０を拡大した内部構成を図２０の下段に示す。この左側の出力装置２０１０は、第１信号出力部２０１１及び第２信号出力部２０１２を備えており、第１信号出力部２０１１及び第２信号出力部２０１２の出力方向を別々に配置することができる。例えば、第２信号出力部２０１２の出力方向は前面に向かうように配置する一方で、第１信号出力部２０１１の出力方向は側後面または側前面に向かうように配置することができる。
【０１３２】
また、第１信号出力部２０１１及び第２信号出力部２０１２の出力方向を、特性情報に基づいて変換または移動させることができる。この特性情報は、音源の特性または動作モードによって決定することができ、音源の特性または動作モードは、オーディオ信号デコーディング装置に入力されたオーディオ信号を表すビットストリームに含まれることもでき、本発明によるオーディオ信号デコーディング装置における空間成分信号修正部１１３０内に保存されていることもできる。または、聴取者から聴取者入力装置（図示せず）を通じて入力されることもできる。
【０１３３】
例えば、聴取者がサラウンド効果のないステレオ信号のみを再生しようとする場合、聴取者は、リモコンなどを用いて既に設定された２ｃｈモードを入力し、オーディオ信号デコーディング装置はこれを受信し、第１信号出力部２０１１の出力方向が第２信号出力部２０１２の出力方向と同一となるように第１信号出力部２０１１の配置方向を変換させることができる。このような配置方向の変換は、機械的な回転を通じて獲得したり信号処理的な方法を用いて獲得することができる。
【０１３４】
本発明の他の実施例によれば、第１信号出力部及び第２信号出力部を含む出力装置は、様々な形態とすることができる。この出力装置の一例を図２１に示す。同図の出力装置は、複数個のユニットを含むことができ、各ユニットは、第１信号出力部または第２信号出力部でありうる。図２１に示すように、円筒形とした出力装置は、回転が容易であるとともに、各分割された領域でそれぞれ異なる信号を出力することでステレオ効果を増大させることができ、特性情報にしたがって各ユニットの出力方向を調節することができる。しかし、本発明の出力装置は円筒形に限定されず、複数個のユニットを含むとともに回転可能ないずれの形態も可能である。
【０１３５】
また、本発明のオーディオ信号デコーディング装置は、出力装置だれでなく、第１信号出力部または第２信号出力部のそれぞれが複数個のユニットを含む形態とすることもできる。このような場合、複数個のユニットはそれぞれ異なる周波数バンドの信号を出力でき、各ユニットはユニット特性情報によって出力方向が調節されることができる。このユニット特性情報は、音源の特性によって決定されることができ、音源の特性は、オーディオ信号デコーディング装置に入力されたオーディオ信号を表すビットストリームに含まれることもでき、本発明によるオーディオ信号デコーディング装置における空間成分信号修正部１１３０内に保存されていることもできる。または、聴取者から聴取者入力装置（図示せず）を通じて入力されることもできる。
【０１３６】
本発明のさらに他の実施例によれば、空間成分信号を出力する第１信号出力部を、画面部の上側に配置することによって、オーディオ信号のステレオ効果を向上させることができる。図２２は、第１信号出力部と第２信号出力部とが、画面部の位置している前面において互いに垂直をなし、第１信号出力部が画面部の上側に配置されたオーディオ信号デコーディング装置の一例であるＴＶを示す図である。図２２に示すように、出力装置は、空間成分信号を出力する第１信号出力部２２１０及びソース成分信号を出力する第２信号出力部２２２０，２２３０を備えており、第２信号出力部は、画面部２２４０の左側及び右側にそれぞれ配置されることができる。また、第１信号出力部２２１０は、第２信号出力部２２２０，２２３０及び画面部２２４０と同一平面上に位置するとともに、第２信号出力部２２２０，２２３０と垂直をなしながら画面部２２４０の上側に配置されることができる。
【０１３７】
図２２を参照すると、ＴＶの第１信号出力部２２１０が画面部２２４０の上端に第２信号出力部２２２０，２２３０と垂直をなしながら位置する場合、空間成分信号は、第１信号出力部２２１０から出力されて天井から反射されることができる。このように、第１信号出力部２２１０が上端に位置する場合は、第１信号出力部が第２信号出力部の側後面または側前面に位置する場合に比べて、天井にぶつかって反射される段階をさらに含むので、オーディオ信号のステレオ効果をより向上させることができる。また、第１信号出力部２２１０は、第２信号出力部２２２０，２２３０と垂直をなしながら画面部２２４０の上端に位置する形態に限定されず、画面部２２４０の上端において様々な角度で配置されることができる。
【０１３８】
図２２では、第１信号出力部２２１０が画面部２２４０の上側に位置する場合について開示したが、画面部及び第２信号出力部が含まれた前面と垂直をなすオーディオ信号デコーディング装置の上端、または、前面と対応する後面の上端に位置することもできる。また、物理的または電気的な方法を用いて第１信号出力部が平面と特定角をなすように配置することも可能である。
【０１３９】
また、本発明のさらに他の実施例では、オーディオ信号デコーディング装置が用いられる環境を考慮して空間成分信号を再修正することによって、オーディオ信号のステレオ効果を向上させるデコーディング装置及び方法を提案する。これについて図２３を参照して以下に詳細に説明する。
【０１４０】
図２３を参照すると、本発明のオーディオ信号デコーディング装置は、大きく、オーディオ信号抽出部２３１０、空間成分信号抽出部２３２０、環境情報生成部２３３０、空間成分信号修正部２３４０、ソース成分信号抽出部２３５０、第１信号出力部２３６０、及び第２信号出力部２３７０を含む。オーディオ信号抽出部２３１０、空間成分信号抽出部２３２０、ソース成分信号抽出部２３５０、第１信号出力部２３６０、及び第２信号出力部２３７０は、図１１に示すオーディオ信号抽出部１１１０、空間成分信号抽出部１１２０、ソース成分信号抽出部１１４０、及び図１６に示す第１信号出力部１６５０、第２信号出力部１６６０の機能及び役割と同一なので、その詳細説明は省略する。また、ソース成分信号修正部（図示せず）をさらに含み、抽出されたソース成分信号を修正することによって、オーディオ信号のステレオ効果を向上させることができる。
【０１４１】
環境情報生成部２３３０は、既に設定された様々なモードを、聴取者入力装置（図示せず）に送出し、聴取者が選択したモードに対応する既に設定された環境情報を出力することができる。既に設定されたモードの例に、ＴＶの場合、壁掛けモードまたは床置きモードがありうる。環境情報生成部２３３０は、壁掛けモードまたは床置きモードに対応する環境情報を空間成分信号修正部２３４０に出力するが、壁掛けモードに対応する環境情報は、床置きモードに比べてオーディオ信号デコーディング装置と反射面間の距離が狭く設定されていることができる。一方、環境情報生成部２３３０は、聴取者から環境情報を直接受信することができる。例えば、聴取者は、入力装置を用いてオーディオ信号デコーディング装置の後面と反射面との距離、装置の上端と天井との距離、装置の側面と反射面との距離などを入力することができ、環境情報生成部２３３０はこれを用いて環境情報を生成することができる。
【０１４２】
また、環境情報は、オーディオ信号デコーディング装置と聴取位置間の空間特性に関する情報を含むことができ、例えば、空間特性に関する情報は、デコーディング装置と聴取位置の間の距離でありうる。オーディオ信号デコーディング装置と聴取位置の間の距離によって、オーディオ信号のステレオ効果を最大化できるような最適の聴取位置が異なってくることができる。したがって、環境情報生成部２３３０は、聴取者入力装置を通じて当該距離を受信して環境情報を生成し、これを空間成分信号修正部２３４０に出力することができる。また、環境情報生成部２３３０は、別個の感知装置（図示せず）を用いて聴取者の位置を推定することもできる。例えば、マイクのような別個の音響センサーまたはリモコンなどを用いてオーディオ信号デコーディング装置から聴取者までの距離を推定することができる。
【０１４３】
本発明のオーディオ信号デコーディング装置及び方法は、上記のように生成された環境情報に基づいて空間成分信号を修正することによって、オーディオ信号のステレオ効果をより増大させることができる。
【０１４４】
また、本発明のさらに他の実施例によれば、空間成分信号をソース成分信号に比べて遅延された時間に出力したり、ソース成分信号に拡張効果を与えたりすることによって、オーディオ信号のステレオ効果を向上させることができる。図２４は、出力遅延部２４５１をさらに含むオーディオ信号デコーディング装置を示す概略図である。図２４に示すように、空間成分信号を出力する第１信号出力部２４５０は、出力遅延部２４５１及び出力部２４５２を含み、出力遅延部２４５１によって、第２信号出力部２４６０から出力されるソース成分信号よりも遅れた時間に空間成分信号を出力することができる。したがって、オーディオ信号の残響（reverb）効果を極大化させることによってステレオ効果を与える効果が得られる。
【０１４５】
図２５は、拡張効果適用部２５６１をさらに含むオーディオ信号デコーディング装置を示す概略図である。図２５に示すように、ソース成分信号を出力する第２信号出力部２５６０は、拡張効果適用部２５６１及び出力部２５６２を含み、拡張効果適用部２５６１によって、第２信号出力部２５６０から出力される各ソース成分信号の距離が拡張された効果を有するので、より広い空間でオーディオ信号を聴取できる効果が得られる。
【０１４６】
また、本発明のオーディオ信号デコーディング装置は、第１信号出力部内の出力遅延部と第２信号出力部内の拡張効果適用部を同時に含み、オーディオ信号のステレオ効果を改善する効果を得ることができる。
【０１４７】
本発明の適用されるデコーディング／エンコーディング方法は、コンピュータで実行可能なプログラムとして製作して、コンピュータ読み取り可能記録媒体に記憶させることができ、本発明によるデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能記録媒体に記憶させることができる。コンピュータ読み取り可能記録媒体は、コンピュータシステムによって読み取り可能なデータが記憶されうるいかなる種類の記憶装置も含むことができる。コンピュータ読み取り可能記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、エンコーディング方法により生成されたビットストリームは、コンピュータ読み取り可能記録媒体に記憶されたり、有／無線通信網を用いて伝送されたりすることができる。
【０１４８】
以上では限定された実施例と図面を参照して本発明を説明してきたが、本発明はこれに限定されず、本発明の属する技術分野における通常の知識を有する者には、本発明の技術思想と添付の特許請求の範囲とその均等範囲内で様々な修正及び変形が可能であるということが理解できる。
【産業上の利用可能性】
【０１４９】
本発明は、オーディオ信号をエンコーディング及びデコーディングするのに適用されることができる。
【図１】
2010538572.tif 000036
【図２】
2010538572.tif 000037
【図３】
2010538572.tif 000038
【図４】
2010538572.tif 000039
【図５】
2010538572.tif 000040
【図６】
2010538572.tif 000041
【図７】
2010538572.tif 000042
【図８】
2010538572.tif 000043
【図９】
2010538572.tif 000044
【図１０】
2010538572.tif 000045
【図１１】
2010538572.tif 000046
【図１２】
2010538572.tif 000047
【図１３】
2010538572.tif 000048
【図１４】
2010538572.tif 000049
【図１５】
2010538572.tif 000050
【図１６】
2010538572.tif 000051
【図１７】
2010538572.tif 000052
【図１８】
2010538572.tif 000053
【図１９】
2010538572.tif 000054
【図２０】
2010538572.tif 000055
【図２１】
2010538572.tif 000056
【図２２】
2010538572.tif 000057
【図２３】
2010538572.tif 000058
【図２４】
2010538572.tif 000059
【図２５】
2010538572.tif 000060
【国際調査報告】
2010538572.tif 000061
2010538572.tif 000062