(57)【要約】入力チャネル設定の第１の入力チャネル及び第２の入力チャネルを出力チャネル設定の少なくとも１個の出力チャネルにマッピングするための装置であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置に対して配置される方向を有し、前記装置は前記第１の入力チャネルを前記出力チャネル設定の第１の出力チャネルにマッピングする。前記装置は、更に、少なくともａ）前記第２の入力チャネルを前記第１の出力チャネルにマッピングし、前記マッピングは少なくとも１個の等化フィルタ及び非相関フィルタを前記第２の入力チャネルに適用することにより前記第２の入力チャネルを処理するステップを備え、及び／又はｂ）前記第２の入力チャネルの方向と前記第１の出力チャネルの方向との間の角度差が、前記第２の入力チャネルの方向と前記第２の出力チャネルとの間の角度差より少ない、及び／又は前記第２の入力チャネルの方向と前記第３の出力チャネルの方向との間の角度差より少ないことに関わらず、前記第２の出力チャネルと前記第３の出力チャネルとの間のパニングにより、前記第２の入力チャネルを前記第２の出力チャネル及び前記第３の出力チャネルにマッピングするよう構成される装置を提供する。
2016527805.tif 000002
【特許請求の範囲】
【請求項１】
入力チャネル設定の第１の入力チャネル（１２）及び第２の入力チャネル（１４）を出力チャネル設定の少なくとも１個の出力チャネル（１６，４２，４４）にマッピングするための装置（１０；３０；５０；６０）であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置（Ｐ）に対して配置される方向を有し、前記装置は、
前記第１の入力チャネル（１２）を前記出力チャネル設定の第１の出力チャネル（１６）にマッピングし、少なくとも
ａ）前記第２の入力チャネル（１４）を前記第１の出力チャネル（１６）にマッピングし、前記マッピングは少なくとも１個の等化フィルタ（１８，３２）及び非相関フィルタ（１８，３２）を前記第２の入力チャネル（１４）に適用することにより前記第２の入力チャネル（１４）を処理するステップを備え、及び／又は
ｂ）前記第２の入力チャネル（１４）の方向と前記第１の出力チャネル（１６）の方向との間の角度差が、前記第２の入力チャネル（１４）の方向と前記第２の出力チャネル（４２）との間の角度差より少ない、及び／又は前記第２の入力チャネル（１４）の方向と前記第３の出力チャネル（４４）の方向との間の角度差より少ないことに関わらず、前記第２の出力チャネル（４２）と前記第３の出力チャネル（４４）との間のパニング（５２，６２）により、前記第２の入力チャネル（１４）を前記第２の出力チャネル（４２）及び前記第３の出力チャネル（４４）にマッピングするよう構成される、装置。
【請求項２】
請求項１に記載の装置であって、
前記角度差はリスナー水平面（３００）における方位角差である、装置。
【請求項３】
請求項１又は請求項２に記載の装置であって、
前記第１の入力チャネル（１２）及び前記第２の入力チャネル（１４）はリスナー水平面（３００）に対して異なる仰角を有する、装置。
【請求項４】
請求項１〜３のうちいずれか１項に記載の装置であって、
前記第２の入力チャネル（１４）を前記第２の出力チャネル（４２）及び前記第３の出力チャネル（４４）にマッピングするよう構成され、前記マッピングは前記第２の出力チャネル（４２）と前記第３の出力チャネル（４４）との間のパニング（５２，６２）を備え、更に、等化フィルタ及び非相関フィルタのうち少なくともいずれかを前記第２の入力チャネル（１４）に適用することにより前記第２の入力チャネル（１４）を処理するよう構成される、装置。
【請求項５】
請求項１〜４のうちいずれか１項に記載の装置であって、
等化フィルタ（１８，３２）を前記第２の入力チャネル（１４）適用するよう構成され、前記等化フィルタ（１８，３２）は、リスナーに音声が前記第２の入力チャネル（１４）の配置に対応する配置から聞こえるような印象を与えることが知られている前記第２の入力チャネル（１４）の別のスペクトル成分と比較すると、前記第２の入力チャネル（１４）のスペクトル成分をブーストするよう構成される、装置。
【請求項６】
請求項５に記載の装置であって、
前記第２の入力チャネル（１４）の方向は前記第２の入力チャネル（１４）がマッピングされる少なくとも１個の出力チャネルの仰角より大きい仰角を有し、前記等化フィルタ（１８，３２）は周波数７ｋＨｚ〜１０ｋＨｚの範囲における前記第２のチャネル（１４）のスペクトル成分をブーストするよう構成される、装置。
【請求項７】
請求項１〜６のうちいずれか１項に記載の装置であって、
前記等化フィルタ（１８，３２）は、前記第２の入力チャネル（１４）の方向と前記第２の入力チャネル（１４）がマッピングされる前記少なくとも１個の出力チャネル（１６，４２，４４）の方向とが異なることによる音質差を補償するために前記第２の入力チャネル（１４）を処理するよう構成される、装置。
【請求項８】
請求項１〜７のうちいずれか１項に記載の装置であって、
非相関フィルタ（１８，３２）を前記第２の入力チャネル（１４）に適用するよう構成され、前記非相関フィルタ（１８，３２）は前記第２の入力チャネル（１４）に周波数依存な遅延及び／又はランダム化フェーズを導入するよう構成される、装置。
【請求項９】
請求項１〜８のうちいずれか１項に記載の装置であって、
非相関フィルタ（１８，３２）を前記第２の入力チャネル（１４）に適用するよう構成され、前記非相関フィルタは反響音フィルタである、装置。
【請求項１０】
請求項１〜９のうちいずれか１項に記載の装置であって、
非相関フィルタ（１８，３２）を前記第２の入力チャネル（１４）に適用するよう構成され、前記非相関フィルタは前記第２の入力チャネル（１４）と指数関数的に減衰するノイズシーケンスを畳み込むよう構成される、装置。
【請求項１１】
請求項１〜１０のうちいずれか１項に記載の装置であって、
前記少なくとも１個の等化フィルタ及び非相関フィルタ（１８，３２）の係数は、特定の聴取する部屋のバイノーラル室内インパルス応答測定、又は室内音響学に関する経験的技術に基づき設定される、装置。
【請求項１２】
入力チャネル設定の第１の入力チャネル（１２）及び第２の入力チャネル（１４）を出力チャネル設定の少なくとも１個の出力チャネルにマッピングするための方法であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置（Ｐ）に対して配置される方向を有し、前記方法は、
前記第１の入力チャネル（１２）を前記出力チャネル設定の第１の出力チャネル（１６）にマッピングするステップと、
ａ）前記第２の入力チャネル（１４）を前記第１の出力チャネル（１６）にマッピングし、前記マッピングは少なくとも１個の等化フィルタ及び非相関フィルタ（１８，３２）を前記第２の入力チャネル（１４）に適用することにより前記第２の入力チャネル（１４）を処理する工程を備え、と、
ｂ）前記第２の入力チャネル（１４）の方向と前記第１の出力チャネル（１６）の方向との間の角度差が、前記第２の入力チャネル（１４）の方向と前記第２の出力チャネル（４２）との間の角度差より少ない、及び／又は前記第２の入力チャネル（１４）の方向と前記第３の出力チャネル（４４）の方向との間の角度差より少ないことに関わらず、前記第２の出力チャネル（４２）と前記第３の出力チャネル（４４）との間のパニング（５２，６２）により、前記第２の入力チャネル（１４）を前記第２の出力チャネル（４２）及び前記第３の出力チャネル（４４）にマッピングする、
との少なくとも１つとを備える、方法。
【請求項１３】
請求項１２に記載の方法であって、
前記角度差はリスナー水平面（３００）における方位角差である、方法。
【請求項１４】
請求項１２又は請求項１３に記載の方法であって、
前記第１の入力チャネル（１２）及び前記第２の入力チャネル（１４）は、リスナー水平面（３００）に対して異なる仰角を有し、前記方法は、等化フィルタ（１８，３２）を前記第２の入力チャネル（１４）適用するよう構成され、前記等化フィルタは、リスナーに音声が前記第２の入力チャネル（１４）の配置に対応する配置から聞こえるような印象を与えることが知られている前記第２の入力チャネル（１４）の別のスペクトル成分と比較すると、前記第２の入力チャネルのスペクトル成分をブーストするよう構成される、方法。
【請求項１５】
コンピュータ又はプロセッサ上で動作する際に、請求項１２〜１４のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、第１および第２の入力チャネルを少なくとも１個の出力チャネルにマッピングするための装置及び方法に関し、詳細には、異なるラウドスピーカチャネル設定間におけるフォーマット変換での使用に適切な装置及び方法に関する。
【背景技術】
【０００２】
空間音声符号化ツールは公知な技術であり、ＭＰＥＧサラウンド標準等において標準化されている。空間音声符号化は、再生設定における各々の配置により、例えば左チャネル、中央チャネル、右チャネル、左サラウンドチャネル、右サラウンドチャネル、低域強調（ＬＦＥ：Ｌｏｗ  ｆｒｅｑｕｅｎｃｙ  ｅｎｈａｎｃｅｍｅｎｔ）チャネルとして特定される５個又は７個の入力チャネル等の複数の元の入力から開始される。空間音声エンコーダは元のチャネルから少なくとも１個のダウンミックスチャネルを導出してもよく、更に、チャネルコヒーレンス値におけるチャネル間レベル差、チャネル間フェーズ差、チャネル間時間差等の空間キューに関連するパラメトリックデータを導出してもよい。当該少なくとも１個のダウンミックスチャネルは空間キューを示すパラメトリックサイド情報と共に、当該ダウンミックスチャネル及び対応するパラメトリックデータを復号するための空間音声デコーダへ伝送され、最終的に元の入力チャネルに近似する出力チャネルが得られる。出力設定におけるチャネルの配置は、５．１フォーマット、７．１フォーマット等、固定であってもよい。
【０００３】
また、空間音声オブジェクト符号化ツールは公知な技術であり、ＭＰＥＧ空間音声オブジェクト符号化（ＳＡＯＣ：Ｓｐａｔｉａｌ  ａｕｄｉｏ  ｏｂｊｅｃｔ  ｃｏｄｉｎｇ）標準等において標準化されている。元のチャネルから開始する空間音声符号化とは対照的に、空間音声オブジェクト符号化は、所定のレンダリング再生設定に自動的には割当てられない音声オブジェクトから開始する。更に言えば、再生シーンにおける音声オブジェクトの配置は柔軟に行うことができ、例えば所定のレンダリング情報を空間音声オブジェクト符号化デコーダに入力することによりユーザが設定してもよい。代わりに、又は更に、レンダリング情報は付加サイド情報又はメタデータとして伝送されてもよく、レンダリング情報は再生設定において所定の音声オブジェクトが配置される位置に関する（例えば経時的な）情報を含んでいてもよい。所定のデータ圧縮を得るため、複数の音声オブジェクトが、オブジェクトを所定のダウンミックス情報に従ってダウンミックスすることにより入力オブジェクトから少なくとも１個の伝送チャネルを算出するＳＡＯＣエンコーダを用いてラベル化される。更に、ＳＡＯＣエンコーダは、オブジェクトレベル差（ＯＬＤ：ｏｂｊｅｃｔ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ）、オブジェクトコヒーレンス値等のオブジェクト間キューを表すパラメトリックサイド情報を算出する。ＳＡＣ（ＳＡＣ：Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ：空間音声符号化）において、オブジェクト間パラメトリックデータは個別の時間／周波数タイルに対して算出される。音声信号の所定のフレーム（１０２４又は２０４８サンプル等）に対しては、パラメトリックデータが各フレーム及び各周波数帯に対して提供されるよう、複数の周波数帯（２４、３２、又は６４帯域等）が考慮される。例えば、ある音声が２０フレームを有し、各フレームが３２周波数帯に更に分割される場合、時間／周波数タイル数は６４０である。
【０００４】
所望の再生フォーマット、すなわち出力チャネル設定（出力ラウドスピーカ設定）は入力チャネル設定と異なっていてもよく、その場合、一般的に出力チャネル数は前記入力チャネル数とは異なる。したがって、入力チャネル設定の入力チャネルを出力チャネル設定の出力チャネルにマッピングするため、フォーマット変換が必要となる場合がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｖ．Ｐｕｌｋｋｉ，“Ｖｉｒｔｕａｌ  Ｓｏｕｎｄ  Ｓｏｕｒｃｅ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｕｓｉｎｇ  Ｖｅｃｔｏｒ  Ｂａｓｅ  Ａｍｐｌｉｔｕｄｅ  Ｐａｎｎｉｎｇ，”Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ，４５巻，４５６〜４６６頁、１９９７年．
【非特許文献２】安藤彰男，“再生音場における音声の物理的特性を維持するマルチチャネル音声信号の変換」，”ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｄｉｏ、Ｓｐｅｅｃｈ、ａｎｄ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，１９巻，６号，２０１１年８月．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の基本的な目的は、音声再生を向上させる装置及び方法を提供することであり、詳細には、異なるラウドスピーカチャネル設定間におけるフォーマット変換において提供することである。
【課題を解決するための手段】
【０００７】
上記目的は、請求項１に記載の装置及び請求項１２に記載の方法により達成される。
【０００８】
本発明の実施例は、入力チャネル設定の第１の入力チャネル及び第２の入力チャネルを出力チャネル設定の少なくとも１個の出力チャネルにマッピングするための装置であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置に対して配置される方向を有し、
前記装置は、
前記第１の入力チャネルを前記出力チャネル設定の第１の出力チャネルにマッピングし、少なくとも
ａ）前記第２の入力チャネルを前記第１の出力チャネルにマッピングし、前記マッピングは、少なくとも１個の等化フィルタ及び非相関フィルタを前記第２の入力チャネルに適用することにより前記第２の入力チャネルを処理するステップを備え、及び／又は
ｂ）前記第２の入力チャネルの方向と前記第１の出力チャネルの方向との間の角度差が、前記第２の入力チャネルの方向と前記第２の出力チャネルとの間の角度差より少ない、及び／又は前記第２の入力チャネルの方向と前記第３の出力チャネルの方向との間の角度差より少ないことに関わらず、前記第２の出力チャネルと前記第３の出力チャネルとの間のパニングにより、前記第２の入力チャネルを前記第２の出力チャネル及び前記第３の出力チャネルにマッピングするよう構成される装置を提供する。
【０００９】
本発明の実施例は、入力チャネル設定の第１の入力チャネル及び第２の入力チャネルを出力チャネル設定の少なくとも１個の出力チャネルにマッピングするための方法であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置に対して配置される方向を有し、
前記方法は、
前記第１の入力チャネルを前記出力チャネル設定の第１の出力チャネルにマッピングし、少なくとも
ａ）前記第２の入力チャネルを前記第１の出力チャネルにマッピングし、前記マッピングは少なくとも１個の等化フィルタ及び非相関フィルタを前記第２の入力チャネルに適用することにより前記第２の入力チャネルを処理する工程を備え、及び／又は
ｂ）前記第２の入力チャネルの方向と前記第１の出力チャネルの方向との間の角度差が、前記第２の入力チャネルの方向と前記第２の出力チャネルとの間の角度差より少ない、及び／又は前記第２の入力チャネルの方向と前記第３の出力チャネルの方向との間の角度差より少ないことに関わらず、前記第２の出力チャネルと前記第３の出力チャネルとの間のパニングにより、前記第２の入力チャネルを前記第２の出力チャネル及び前記第３の出力チャネルにマッピングするよう構成される方法を提供する。
【００１０】
本発明の実施例は、複数の入力チャネルをより少ない数の出力チャネルにダウンミックス処理する場合でも、少なくとも１個の出力チャネルにマッピングされる少なくとも２個の入力チャネルの空間多様性を保持するよう構成される手法を用いることにより、音声再生を向上できるとする発見に基づく。本発明の実施例によれば、上記は、等化フィルタ及び非相関フィルタのうち少なくともいずれかを適用することにより、同一の出力チャネルにマッピングされる入力チャネルのうちの１個を処理することにより実現される。本発明の実施例において、上記は、少なくとも１個が入力チャネルに対して入力チャネルと別の出力チャネルとの角度差より大きい角度差を有する、２個の出力チャネルを用いて入力チャネルのうちの１個に対してファントム音源を生成することにより実現される。
【００１１】
本発明の実施例において、等化フィルタは、前記第２の入力チャネルに適用され、音声が前記第２の入力チャネルの配置に対応する配置から聞こえるような印象をリスナーに与えることが知られている、前記第２の入力チャネルのスペクトル成分をブーストするよう構成される。本発明の実施例において、前記第２の入力チャネル仰角は、入力チャネルがマッピングされる少なくとも１個の出力チャネルの仰角より大きくてもよい。例えば、第２の入力チャネルに関連付けされたラウドスピーカは、上記したリスナー水平面に配置されていてもよく、少なくとも１個の出力チャネルに関連付けされたラウドスピーカは、リスナー水平面に配置されてもよい。等化フィルタは、周波数７ｋＨｚ〜１０ｋＨｚの範囲における第２のチャネルのスペクトル成分をブーストするよう構成されてもよい。第２の入力信号をこのように処理することにより、音声が実際には上方の配置から聞こえない場合でも、上方の配置から聞こえるような印象をリスナーに与えることができる。
【００１２】
本発明の実施例において、前記第２の入力チャネルの配置と前記第２の入力チャネルがマッピングされる前記少なくとも１個の出力チャネルの配置とが異なることによる音質差を補償するために前記第２の入力チャネルを処理するよう構成される等化フィルタを適用することにより前記第２の入力チャネルが処理される。したがって、ラウドスピーカにより誤った配置で再生される前記第２の入力チャネルの音質を、音声が元の配置により近い別の配置、すなわち前記第２の入力チャネルの配置から発生しているような印象をユーザが得られるよう処理してもよい。
【００１３】
本発明の実施例において、非相関フィルタが前記第２の入力チャネルに適用される。非相関フィルタを前記第２の入力チャネルに適用することにより、第１の出力チャネルにより再生される音声信号が入力チャネル設定において異なる配置に位置する異なる入力チャネルから発生しているような印象をリスナーに与えることができる。例えば、非相関フィルタは、前記第２の入力チャネルに周波数依存な遅延及び／又はランダム化フェーズを導入するよう構成されてもよい。本発明の実施例において、非相関フィルタは、第１の出力チャネルを介して再生された音声信号が異なる配置から発生しているような印象をリスナーが得られるよう、前記第２の入力チャネルに反響音信号成分を導入するよう構成される反響音フィルタであってもよい。本発明の実施例において、非相関フィルタは、第２の入力信号における乱反射音を模するため、前記第２の入力チャネルと指数関数的に減衰するノイズシーケンスを畳み込むよう構成されてもよい。
【００１４】
本発明の実施例において、等化フィルタ及び／又は非相関フィルタの係数は、特定の聴取する部屋のバイノーラル室内インパルス応答（ＢＲＩＲ）測定、又は室内音響学に関する経験的技術（特定の聴取する部屋を対象としていてもよい）に基づき設定される。したがって、入力チャネルの空間多様性を考慮するための各処理は、信号が出力チャネル設定により再生される特定の聴取する部屋等の特定のシーンを通して適応させてもよく、その信号は、出力チャネル設定により再生される。
【００１５】
以下に、本発明の実施例を添付の図面を参照して説明する。
【図面の簡単な説明】
【００１６】
【図１】３次元音声システムの３次元音声エンコーダの概略を示す。
【図２】３次元音声システムの３次元音声デコーダの概略を示す。
【図３】図２の３次元音声デコーダに実装可能なフォーマット変換装置を実現するための例を示す。
【図４】ラウドスピーカ設定の概略平面図を示す。
【図５】別のラウドスピーカ設定の概略背面図を示す。
【図６Ａ】第１の入力チャネル及び第２の入力チャネルを出力チャネルにマッピングするための装置の概略図である。
【図６Ｂ】第１の入力チャネル及び第２の入力チャネルを出力チャネルにマッピングするための装置の概略図である。
【図７Ａ】第１の入力チャネル及び第２の入力チャネルを複数の出力チャネルにマッピングするための装置の概略図である。
【図７Ｂ】第１の入力チャネル及び第２の入力チャネルを複数の出力チャネルにマッピングするための装置の概略図である。
【図８】第１のチャネル及び第２のチャネルを１個の出力チャネルにマッピングするための装置の概略図である。
【図９】第１の入力チャネル及び第２の入力チャネルを異なる出力チャネルにマッピングするための装置の概略図である。
【図１０】入力チャネル設定の入力チャネルを出力チャネル設定の出力チャネルにマッピングするための信号処理装置のブロック図を示す。
【図１１】信号処理装置を示す。
【図１２】いわゆるブラウエルト（Ｂｌａｕｅｒｔ）帯域を示す図である。
【発明を実施するための形態】
【００１７】
本発明の手法の実施例を詳細に説明する前に、本発明の手法を実装可能な３次元音声コーデックシステムの概略を説明する。
【００１８】
図１及び  図２は、実施例による３次元音声システムのアルゴリズムブロック図である。より詳細には、図１は３次元音声エンコーダ１００の概略図である。前記音声エンコーダ１００は、任意で設けられるプリレンダラ／ミキサー回路１０２において、入力信号、より詳細には、前記音声エンコーダ１００に複数のチャネル信号１０４を入力する複数の入力チャネル、複数のオブジェクト信号１０６及び対応するオブジェクトメタデータ１０８を受信する。前記オブジェクト信号１０６は前記プリレンダラ／ミキサー１０２（信号１１０参照）により処理された後、ＳＡＯＣエンコーダ１１２（ＳＡＯＣ：Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ：空間音声オブジェクト符号化）に入力されてもよい。前記ＳＡＯＣエンコーダ１１２は、ＵＳＡＣエンコーダ１１６（ＵＳＡＣ：Ｕｎｉｆｉｅｄ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ：発話音声統合符号化）の入力側に入力される前記ＳＡＯＣ伝送チャネル１１４を生成する。更に、ＳＡＯＣ−ＳＩ信号１１８（ＳＡＯＣ−ＳＩ：ＳＡＯＣ  ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ：サイド情報）も前記ＵＳＡＣエンコーダ１１６の入力側に入力される。前記ＵＳＡＣエンコーダ１１６は更に、オブジェクト信号１２０、並びに前記チャネル信号及びプリレンダリング済オブジェクト信号１２２を前記プリレンダラ／ミキサーから直接受信する。前記オブジェクトメタデータ情報１０８は、前記圧縮オブジェクトメタデータ情報１２６を前記ＵＳＡＣエンコーダに入力するＯＡＭエンコーダ１２４（ＯＡＭ：ｏｂｊｅｃｔ  ｍｅｔａｄａｔａ：オブジェクトメタデータ）に適用される。前記ＵＳＡＣエンコーダ１１６は、上記入力信号に基づき、１２８に示す圧縮出力信号ＭＰ４を生成する。
【００１９】
図２は、前記３次元音声システムの３次元音声デコーダ２００の概略図である。図１の前記音声エンコーダ１００により生成される前記符号化信号１２８（ＭＰ４）は、前記音声デコーダ２００、より詳細にはＵＳＡＣデコーダ２０２で受信される。前記ＵＳＡＣデコーダ２０２は前記受信した信号１２８をチャネル信号２０４、プリレンダリング済オブジェクト信号２０６、オブジェクト信号２０８、及びＳＡＯＣ伝送チャネル信号２１０に復号する。更に、圧縮オブジェクトメタデータ情報２１２及びＳＡＯＣ−ＳＩ信号２１４が前記ＵＳＡＣデコーダにより出力される。前記オブジェクト信号２０８は、レンダリング済オブジェクト信号２１８を出力するオブジェクトレンダラ２１６に入力される。前記ＳＡＯＣ伝送チャネル信号２１０はレンダリング済オブジェクト信号２２２を出力するＳＡＯＣデコーダ２２０に入力される。圧縮オブジェクトメタ情報２１２は、各制御信号を、前記レンダリング済オブジェクト信号２１８及び前記レンダリング済オブジェクト信号２２２を生成する前記オブジェクトレンダラ２１６及び前記ＳＡＯＣデコーダ２２０に出力するＯＡＭデコーダ２２４に入力される。前記デコーダは更に、図２に示すように、前記入力信号２０４、２０６、２１８及び２２２を受信してチャネル信号２２８を出力するためのミキサー２２６を備える。前記チャネル信号は、２３０に示す３２チャネルラウドスピーカ等のラウドスピーカに直接出力されてもよい。また、前記信号２２８は、前記チャネル信号２２８が変換される経路を示す再生レイアウト信号を制御入力として受信するフォーマット変換回路２３２に入力されてもよい。図２に記載の実施例において、変換は信号を２３４に示す５．１スピーカシステムに入力可能な方法で行われるものする。また、前記チャネル信号２２８は、例えば２３８に示すヘッドフォン等を対象として２個の出力信号を生成するバイノーラル・レンダラ２３６に入力される。
【００２０】
図１及び図２に記載の前記符号化／復号化システムは、チャネル信号及びオブジェクト信号（信号１０４及び１０６参照）を符号化するためのＭＰＥＧ−ＤＵＳＡＣコーデックを基礎としていてもよい。大容量オブジェクトの符号化効率を向上させるため、ＭＰＥＧ  ＳＡＯＣ技術を用いてもよい。三種類のレンダラにより、オブジェクトのチャネルへのレンダリング、チャネルのヘッドフォンへのレンダリング、又はチャネルの異なるラウドスピーカシステム（図２の参照番号２３０、２３４及び２３８参照）へのレンダリングを行ってもよい。オブジェクト信号がＳＡＯＣを用いて明示的に伝送、又はパラメトリックに符号化される場合、対応するオブジェクトメタデータ情報１０８は３次元音声ビットストリーム１２８に圧縮（信号１２６参照）及び多重化される。
【００２１】
図１及び図２は、以下に更に詳細に説明する前記３次元音声システム全体のアルゴリズムブロック図を示す。
【００２２】
図前記プリレンダラ／ミキサー１０２を任意で設けて、符号化前にチャネル＋オブジェクト入力シーンをチャネルシーンに変換してもよい。前記装置は、後に詳述するオブジェクトレンダラ／ミキサーと機能的に同一である。オブジェクトのプリレンダリングは、基本的に同時にアクティブなオブジェクト信号数の影響を受けないエンコーダ入力における決定論的信号エントロピーを確保するために行われてもよい。オブジェクトをプリレンダリングする際、オブジェクトメタデータの伝送は不要である。離散オブジェクト信号は、前記エンコーダが使用するようするよう構成されるチャネルレイアウトにレンダリングされる。各チャネルに対するオブジェクトの重みは関連オブジェクトメタデータ（ＯＡＭ）から得られる。
【００２３】
前記ＵＳＡＣエンコーダ１１６は、ラウドスピーカ−チャネル信号、離散オブジェクト信号、オブジェクトダウンミックス信号及びプリレンダリング済信号のコアコーデックである。前記装置はＭＰＥＧ−ＤＵＳＡＣ技術を基礎としている。前記装置は、入力チャネル割当及びオブジェクト割当の幾何学的情報及びセマンティクス情報に基づいてチャネル及びオブジェクトマッピング情報を作成することにより上記信号の符号化処理を行う。前記マッピング情報は、入力チャネル及びオブジェクトがチャネル・ペア・エレメント（ＣＰＥ）、シングル・チャネル・エレメント（ＳＣＥ）、低域効果（ＬＦＥ）及びチャネル・クワッド・エレメント（ＱＣＥ）等のＵＳＡＣチャネルエレメントにどのようにマッピングされるかを記述し、ＣＰＥ、ＳＣＥ、ＬＦＥ、及び対応する情報は前記デコーダに伝送される。ＳＡＯＣデータ１１４、１１８又はオブジェクトメタデータ１２６等の付加ペイロードは全てエンコーダ・レート制御にて考慮される。オブジェクトの符号化は、レンダラが求めるレート／歪み条件、及び双方向性条件に応じて、異なる経路で行うことも可能である。実施例によれば、以下のようなオブジェクト符号化も可能である。
・プリレンダリング済オブジェクト：オブジェクト信号は２２．２チャネル信号にプリレンダリング及びミキシングされた後、符号化される。続く符号化チェーンでは２２．２チャネル信号として処理される。
・離散オブジェクト波形：オブジェクトはモノラル波形としてエンコーダに入力される。エンコーダはシングル・チャネル・エレメント（ＳＣＥ）を用いてチャネル信号及びオブジェクトを伝送する。復号化オブジェクトは受信側でレンダリング及びミキシングされる。圧縮オブジェクトメタデータ情報は受信装置／レンダラに伝送される。
・パラメトリックオブジェクト波形：オブジェクト特性及び相関性はＳＡＯＣパラメータにより記述する。オブジェクト信号のダウンミックスはＵＳＡＣにより符号化される。パラメトリック情報も併せて伝送される。ダウンミックスチャネル数はオブジェクト数及び総データレートに応じて選択される。圧縮オブジェクトメタデータ情報はＳＡＯＣレンダラに伝送される。
【００２４】
オブジェクト信号の前記ＳＡＯＣエンコーダ１１２及び前記ＳＡＯＣデコーダ２２０は、ＭＰＥＧ  ＳＡＯＣ技術に基づくものでもよい。前記システムは、複数の音声オブジェクトをより少ない数の伝送チャネル、及びＯＬＤ、ｌＯＣ（Ｉｎｔｅｒ  Ｏｂｊｅｃｔ  Ｃｏｈｅｒｅｎｃｅ：オブジェクト間コヒーレンス）、ＤＭＧ（ダウンミックスゲイン）等の付加パラメトリックデータに基づき、再現、変更、及びレンダリングすることが可能である。当該付加パラメトリックデータのデータレートは、全オブジェクトを個別に伝送する際に必要となるレートに比べて非常に低く、符号化効率が向上する。前記ＳＡＯＣエンコーダ１１２にはモノラル波形としてのオブジェクト／チャネル信号が入力され、（前記３次元音声ビットストリーム１２８にパケット化される）パラメトリック情報及び（シングル・チャネル・エレメントを用いて符号化及び伝送される）ＳＡＯＣ伝送チャネルを出力する。前記ＳＡＯＣデコーダ２２０は、前記復号済ＳＡＯＣ伝送チャネル２１０及び前記パラメトリック情報２１４からオブジェクト／チャネル信号を再構築し、再生レイアウト、展開オブジェクトメタデータ情報、及び任意でユーザ・インタラクション情報に基づいて出力音声シーンを生成する。
【００２５】
オブジェクトメタデータ・コーデック（ＯＡＭエンコーダ１２４及びＯＡＭデコーダ２２４参照）は、各オブジェクトについてオブジェクト特性を時間及び空間について量子化することにより、３次元空間におけるオブジェクトの幾何学的位置及び量を指定する関連メタデータを効率的に符号化することを目的としている。圧縮オブジェクトメタデータｃＯＡＭ１２６は、サイド情報として前記受信装置２００に伝送される。
【００２６】
前記オブジェクトレンダラ２１６は、圧縮オブジェクトメタデータを利用して所定の再生フォーマットでオブジェクト波形を生成する。各オブジェクトは自身のメタデータに基づき所定の出力チャネル２１８にレンダリングされる。当該ブロックの出力は部分結果が合計から成る。チャネルベースコンテンツ及び離散／パラメトリックオブジェクトが復号される場合、チャネルベース波形及びレンダリング済オブジェクト波形は前記ミキサー２２６によりミキシングされて、その後生成された波形２２８が出力される、又は前記バイノーラル・レンダラ２３６又は前記ラウドスピーカ・レンダラモジュール２３２等のポストプロセッサ／後処理系モジュールに入力される。
【００２７】
前記バイノーラル・レンダラモジュール２３６は、各入力チャネルが仮想音源により表現されるよう、マルチチャネル音声素材のバイノーラルダウンミックスを生成する。当該処理は、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒｂａｎｋ：直交ミラーフィルターバンク）ドメインにおいてフレーム的に行われ、バイノーラル化は測定されるバイノーラル室内インパルス応答に基づいて行われる。
【００２８】
前記ラウドスピーカ・レンダラ２３２は、送信された前記チャネル設定２２８と任意の再生フォーマットとの間の変換を行う。前記装置は「フォーマット変換装置」と呼称してもよい。前記フォーマット変換装置は、より少ない出力チャネル数への変換、すなわち、ダウンミックス作成を行う。
【００２９】
図３は、フォーマット変換装置２３２の実施例を示す。本発明の実施例において、前記信号処理装置は以下のようなフォーマット変換装置である。また、前記フォーマット変換装置２３２は、送信器（入力）チャネル設定の送信器（入力）チャネルを任意の再生フォーマット（出力チャネル設定）の（出力）チャネルにマッピングすることにより、送信器チャネル設定及び任意の再生フォーマット間で変換を行うラウドスピーカ・レンダラと呼称してもよい。一般的に、前記フォーマット変換装置２３２はより少ない出力チャネル数への変換、すなわち、ダウンミックス（ＤＭＸ）工程２４０を行う。好ましくはＱＭＦドメインにおいて動作する前記ダウンミキサー２４０は、前記ミキサー出力信号２２８を受信し、前記ラウドスピーカ信号２３４を出力する。コントローラとも呼称するコンフィギュレータ２４２を備えていてもよく、前記コンフィギュレータ２４２は、ミキサー出力レイアウト（入力チャネル設定）を表す信号２４６を制御入力として受信、すなわち、前記ミキサー出力信号２２８により表現されるデータのレイアウトを決定し、更に任意の再生レイアウト（出力チャネル設定）を表す信号２４８を受信する。当該情報に基づき、前記コントローラ２４２は所定の組合せによる入出力フォーマットのためのダウンミックスマトリクスを好ましくは自動的に生成し、当該マトリクスを前記ダウンミキサー２４０に適用する。前記フォーマット変換装置２３２は、標準ラウドスピーカ設定及び非標準ラウドスピーカ配置によるランダム設定を可能にする。
【００３０】
本発明の実施例は、前記ラウドスピーカ・レンダラ２３２の実施例、すなわち前記ラウドスピーカ・レンダラ２３２の機能性の一部を実現するための装置及び方法に関する。
【００３１】
図４及び図５を参照する。図４は５．１フォーマットを表現するラウドスピーカ設定を示し、左チャネルＬＣ、中央チャネルＣＣ、右チャネルＲＣ、左サラウンドチャネルＬＳＣ、右サラウンドチャネルＬＲＣ、及び低周波数エンハンスメントチャネルＬＦＣを表現する６個のラウドスピーカを備える。図５は別のラウドスピーカ設定を示し、左チャネルＬＣ、中央チャネルＣＣ、右チャネルＲＣ、及び上方中央チャネルＥＣＣを表現するラウドスピーカを備える。
【００３２】
以下において、前記低周波数エンハンスメントチャネルに関連付けされたラウドスピーカ（サブウーファ）の正確な配置は重要ではないため、低周波数エンハンスメントチャネルについては考慮していない。
【００３３】
前記チャネルの各々は、前記中央のリスナー位置Ｐに対して特定の方向に配置される。図５に示す通り、各チャネルの方向は方位角α及び仰角βにより定義する。方位角はリスナー水平面３００におけるチャネル角度を表し、前中央方向３０２に対する各チャネルの方向としてもよい。図４に示す通り、前記前中央方向３０２は、前記中央のリスナー位置Ｐに位置するリスナーの通常の視聴方向と定義してもよい。後中央方向３０４は、前記前中央方向３００に対して１８０°の方位角を有する。前中央方向の左側における前中央方向と後中央方向との間の全方位角は前中央方向の左側に位置し、前中央方向の右側における前中央方向と後中央方向との間の全方位角は前中央方向の右側に位置する。前記前中央方向３０２に対して直角であり中央のリスナー位置Ｐを通過する仮想線３０６の前方に位置するラウドスピーカは前方ラウドスピーカであり、仮想線３０６の後方に位置するラウドスピーカは後方ラウドスピーカである。５．１フォーマットにおいて、前記方位角αはチャネルＬＣが左方向に３０°、ＣＣが０°、ＲＣが右方向に３０°、ＬＳＣが左方向に１１０°、そしてＲＳＣが右方向に１１０°である。
【００３４】
チャネルの前記仰角βは、前記リスナー水平面３００と、中央のリスナー位置と各チャネルに関連付けされたラウドスピーカの間の仮想接続線の方向との間の角度を定義する。図４に示す設定において、全ラウドスピーカは前記リスナー水平面３００内に配置されるため、仰角は全てゼロである。図５において、チャネルＥＣＣの仰角βは３０°であってもよい。前記中央のリスナー位置の真上に位置するラウドスピーカの仰角は９０°となる。前記リスナー水平面３００の下方に配置されるラウドスピーカの仰角は負角となる。図５において、ＬＣは方向ｘ１，ＣＣは方向ｘ２、ＲＣは方向ｘ３、ＥＣＣは方向ｘ４をそれぞれ有する。
【００３５】
空間における特定のチャネルの配置、すなわち特定のチャネルに関連付けされたラウドスピーカ配置）は方位角、仰角及び中央のリスナー位置からのラウドスピーカまでの距離により決定される。なお、「ラウドスピーカの配置」という語は、多くの場合、当業者により方位角および仰角のみを参照して記述される。
【００３６】
一般に、異なるラウドスピーカチャネル設定間のフォーマット変換は、複数の入力チャネルを複数の出力チャネル数にマッピングするダウンミックス処理として実行され、その際、出力チャネル数は通常入力チャネル数より少なく、出力チャネル配置は入力チャネル配置と異なっていてもよい。１個以上の入力チャネルが同一の出力チャネルにミキシングされてもよい。同時に、１個以上の入力チャネルが２個以上の出力チャネルに対してレンダリングされてもよい。当該入力チャネルから出力チャネルへのマッピングは通常１組のダウンミックス係数により決定される（又はダウンミックスマトリクスとして定式化される）。ダウンミックス係数の選択は、得られるダウンミックス出力音質に大きく影響する。選択を誤った場合、ミキシングが不均衡になったり、入力音声シーンの空間的再生が低品質となることも考えられる。
【００３７】
各チャネルは、対応するラウドスピーカにより再生される音声信号に関連付けされる。特定のチャネル（係数の適用、等化フィルタの適用、又は非相関フィルタの適用等により）が処理されるということは、当該チャネルに関連付けされた対応する音声信号が処理されるということを意味する。本出願のコンテクストにおいては、「等化フィルタ」という語は、信号成分の周波数依存な重み付けが可能となるよう信号を等化する手段の全てを包含することを意図している。例えば、等化フィルタは、周波数依存ゲイン係数を信号の周波数帯に適用するよう構成されてもよい。本出願のコンテクストにおいては、「非相関フィルタ」という語は、周波数依存な遅延及び／又はランダム化フェーズを信号に導入すること等により信号を非相関化する手段の全てを包含することを意図している。例えば、非相関フィルタは周波数依存な遅延係数を信号の周波数帯適用するよう、及び／又はランダム化フェーズ係数を信号に適用するよう構成されてもよい。
【００３８】
本発明の実施例において、入力チャネルを少なくとも１個の出力チャネルにマッピングする方法は、入力チャネルがマッピングされる出力チャネルの各々に対して入力チャネルに適用される少なくとも１個の係数を適用する工程を含む。当該少なくとも１個の係数は、入力チャネルに関連付けされた入力信号に適用されるゲイン係数、すなわちゲイン値、及び／又は入力チャネルに関連付けされた入力信号に適用される遅延係数、すなわち遅延値を含んでいてもよい。本発明の実施例において、マッピング方法は周波数選択的係数、すなわち入力チャネルの異なる周波数帯に対し異なる係数を適用する工程を含んでいてもよい。本発明の実施例において、入力チャネルを出力チャネルにマッピングする方法は、係数から少なくとも１個の係数マトリクスを生成する工程を含む。各マトリクスは、出力チャネル設定の各出力チャネルに対して入力チャネル設定の各入力チャネルに適用される係数を定義する。入力チャネルがマッピングされない出力チャネルについては、係数マトリクスにおける各係数はゼロとなる。本発明の実施例において、ゲイン係数及び遅延係数に対して個別に係数マトリクスを生成してもよい。本発明の実施例において、各周波数帯に対して係数が周波数選択的な係数マトリクスを生成してもよい。本発明の実施例において、マッピング方法は更に、導出された係数を入力チャネルに関連付けされた入力信号に適用する工程を備えていてもよい。
【００３９】
良好なダウンミックス係数を得るため、専門家（音響技師等）は、自己の専門技術に基づき手作業で係数を調整する場合もある。他の選択肢として、各入力チャネルを、その空間内の配置が特定のチャネルに関連付けされた空間内の配置、すなわち特定の入力チャネルに関連付けされたラウドスピーカ配置により決定される仮想音源として処理することにより、入出力設定の所定の組合せに対してダウンミックス係数を自動的に導出する方法が考えられる。各仮想音源は、２次元における正接定理パニング、又は３次元におけるベクトル式振幅パニング（ＢＶＡＰ）（Ｖ．プルッキ（Ｐｕｌｋｋｉ）：「ベクトル式振幅パニングを用いた仮想音源配置方法（Ｖｉｒｔｕａｌ  Ｓｏｕｎｄ  Ｓｏｕｒｃｅ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｕｓｉｎｇ  Ｖｅｃｔｏｒ  Ｂａｓｅ  Ａｍｐｌｉｔｕｄｅ  Ｐａｎｎｉｎｇ）」、音声技術学会誌（Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ）、４５巻、４５６〜４６６頁、１９９７年参照）等の一般的パニングアルゴリズムにより再生してもよい。入出力チャネル設定の所定の組合せに対してダウンミックス係数を数学的、すなわち自動的に導出する別の方法としては、安藤彰男による「再生音場における音声の物理的特性を維持するマルチチャネル音声信号の変換」、ＩＥＥＥ音声・言語音声・言語処理会報（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｄｉｏ、Ｓｐｅｅｃｈ、ａｎｄ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）、１９巻、６号、２０１１年８月に提言されている。
【００４０】
したがって、既存のダウンミックス手法は、主にダウンミックス係数を導出するための３種類の手法に基づいている。第一の手法は、破棄された入力チャネルを同一又は同等な方位角位置で出力チャネルに直接マッピングするものである。仰角オフセットは、無視される。例えば、一般的な方法として、高位レイヤが出力チャネル設定において存在しない場合、上方チャネルを同一又は同等な方位角位置の水平面チャネルに直接レンダリングする。第二の手法は、一般的パニングアルゴリズムを用いて、入力チャネルを仮想音源として処理し、ファントム音源を破棄された入力チャネルの配置で導入することにより方位角情報を保持するものである。仰角オフセットは、無視される。最先端の方法においては、パニングは、求める出力配置、例えば、求める方位角において使用可能な出力ラウドスピーカが存在しない場合のみ使用される。第三の手法は、専門技術を組込むことにより、経験的、芸術的又は心理音響的感覚において、最適なダウンミックス係数を導出するものである。異なる手法を個別に用いてもよく、又は組合せて適用してもよい。
【００４１】
本発明の実施例は、ダウンミックス処理を向上又は最適化することにより、当該システムを使用しない場合に比べて、より高いダウンミックス品質の出力信号が得られる技術システムを提供する。実施例において、前記システムは、提案する前記システムを適用せずに行ったダウンミックスの最中に入力チャネル設定に固有な空間多様性が喪失するような場合に、ダウンミックス品質を向上させることが可能となる。
【００４２】
そのために、本発明の実施例により、入力チャネル設定に固有で直接的なダウンミックス（ＤＭＸ）手法では保持されない空間多様性の保持が可能となる。本発明の実施例は、音響チャネル数が減少するダウンミックスシナリオにおいて、より高いチャネル数からより低いチャネル数へのマッピングを行うと黙示的に発生する多様性及び包込み（ｅｎｖｅｌｏｐｍｅｎｔ）の喪失を軽減することを主な目的としている。
【００４３】
発明者らは、特定の設定によっては、入力チャネル設定の固有な空間多様性及び空間的包込み（ｅｎｖｅｌｏｐｍｅｎｔ）は、多くの場合、出力チャネル設定において大幅に低下、又は完全に喪失する点に気付いた。更に、入力設定における複数のスピーカからの聴覚事象は、同時に再生されると、出力設定において、よりコヒーレントで凝縮及び集中したものとなる。これにより、空間的印象が知覚的により圧迫したものとなり、多くの場合、入力チャネル設定に比べて魅力が失われるということが発生する場合がある。本発明の実施例の目的は、出力チャネル設定における空間多様性を初めて明確に保持しようとするものである。本発明の実施例は、聴覚事象の知覚される位置を元の入力チャネルラウドスピーカ設定を用いた場合と比較してできる限り近く保持することを目的とする。
【００４４】
したがって、本発明の実施例は、入力チャネル設定の異なるラウドスピーカ配置に関連付けされるため、空間多様性を備える第１の入力チャネル及び第２の入力チャネルを、少なくとも１個の出力チャネルにマッピングするための特定の手法を提供する。本発明の実施例において、前記第１の入力チャネル及び第２の入力チャネルは、リスナー水平面に対してそれぞれ異なる仰角をとる。したがって、出力チャネル設定のラウドスピーカを用いた音声再生を向上させるために、前記第１の入力チャネルと前記第２の入力チャネルとの間の仰角オフセットが考慮されてもよい。
【００４５】
本出願のコンテクストにおいては、多様性は、以下のように説明できる。入力チャネル設定の別々のラウドスピーカが、ラウドスピーカから位置Ｐに位置するリスナーの両耳等の耳への別々の音響チャネルとして生成される。また、聴取する部屋の多様な励振から発生し、異なるラウドスピーカ配置から知覚される信号の非相関化及び音質変化の原因となる反射音又は反響音としても知られる直接的音響経路及び間接的音響経路が存在する。ＢＲＩＲによれば、各聴取する部屋に特有の音響チャネルを完全に形成できる。入力チャネル設定の聴取経験は、特定のラウドスピーカ配置に対応する個々の入力チャネルと多様なＢＲＩＲとの特有の組合せに大きく依存する。したがって、多様性及び包込み（ｅｎｖｅｌｏｐｍｅｎｔ）は、聴取する部屋により本質的に全ラウドスピーカ信号に与えられる多様性な信号変形から生じる。
【００４６】
以下に、入力チャネル設定の空間多様性を保持するダウンミックス手法の必要性を説明する。入力チャネル設定は、出力チャネル設定より多いラウドスピーカを使用していてもよく、又は出力ラウドスピーカ設定において存在しないラウドスピーカを少なくとも１個使用していてもよい。図５に説明のみを目的として示す通り、出力チャネル設定がラウドスピーカＥＣＣを除き、ラウドスピーカＬＣ、ＣＣ及びＲＣのみを使用しているのに対し、入力チャネル設定がラウドスピーカＬＣ、ＣＣ、ＲＣ、ＥＣＣを使用していてもよい。したがって、入力チャネル設定が出力チャネル設定よりも多い数の再生レイヤを使用していてもよい。例えば、出力設定が水平面のスピーカ（ＬＣ、ＣＣ、ＲＣ）のみを備える場合に、入力チャネル設定が水平面（ＬＣ、ＣＣ、ＲＣ）スピーカ及び高位（ＥＣＣ）スピーカ両方を備えていてもよい。したがって、ダウンミックスにおいては、ラウドスピーカから両耳への音響チャネル数は、出力チャネル設定において減少する。詳細には、３次元（２２．２等）から２次元（５．１等）へのダウンミックス（ＤＭＸ）は、出力チャネル設定において個々の再生レイヤが欠如していることに最も影響を受ける。出力チャネル設定において多様性及び包込み（ｅｎｖｅｌｏｐｍｅｎｔ）に関して類似の聴取経験を実現する自由度が減少し、その結果限定される。本発明の実施例は、入力チャネル設定の空間多様性をより良く保持するダウンミックス手法を提供するが、記載する装置及び方法は、特定のダウンミックス手法に限定されず、様々なコンテクスト及びアプリケーションに適用できる。
【００４７】
以下において、本発明の実施例を図５に記載の特定のシナリオを参照して説明する。但し、記載される問題及びシステムは類似条件を伴う別のシナリオに容易に適用可能である。一般性を失うことなく、入力及び出力チャネル設定を以下のように仮定する。
【００４８】
入力チャネル設定：ｘ１＝（α１，β１）、ｘ２＝（α２，β１）、ｘ３＝（α３，β１）及びｘ４＝（α４，β２）に配置される４個のラウドスピーカＬＣ，ＣＣ、ＲＣ、及びＥＣＣ、ここでα２≒α４又はα２＝α４。
【００４９】
出力チャネル設定：ｘ１＝（α１，β１）、ｘ２＝（α２，β１）、ｘ３＝（α３，β１）に配置される３個のラウドスピーカ、すなわちｘ４に配置されるラウドスピーカは、ダウンミックスにより破棄される。αは、前記方位角を表し、βは、仰角を表す。
【００５０】
上記したように、直接的なＤＭＸ手法は、指向性の方位角情報の保持をを優先し、仰角オフセットは、全て無視する。したがって、ｘ４に配置されるラウドスピーカＥＣＣからの信号は、単純にｘ２に配置されるラウドスピーカＣＣに送られる。但し、その際、特性が喪失する。第一に、再生配置ｘ２及びｘ４において本質的に適用されるＢＲＩＲが異なることによる音質差が喪失する。第二に、異なる配置ｘ２及びｘ４で再生される入力信号の空間多様性が喪失する。第三に、配置ｘ２及びｘ４からリスナーの両耳までの音響伝播経路が異なることによる入力信号の固有な非相関性が喪失する。
【００５１】
本発明の実施例は、ダウンミックス処理に対して本明細書に記載の手法を個別に又は組合せて適用することにより、上記の特性のうち少なくとも１個を保持又は維持することを目的とする。
【００５２】
図６Ａ及び図６Ｂは、一手法を実現するための装置１０を説明するための概略図を示し、この場合、第１の入力チャネル１２及び第２の入力チャネル１４が同一の出力チャネル１６にマッピングされるが、その際、前記第２の入力チャネルの処理は、等化フィルタ及び非相関フィルタのうちいずれかを前記第２の入力チャネルに適用することにより行われる。図６Ａにおいて、当該処理は、ブロック１８で示す。
【００５３】
本出願において説明及び説明する装置は、記載の機能性を得るよう構成及び／又はプログラムされる各コンピュータ又はプロセッサにより実現されてもよいことは当業者にとって明らかである。また、前記装置は、フィールド・プログラマブル・ゲートアレイ等の別のプログラムハードウェア構造体として実現構成されていてもよい。
【００５４】
図６Ａに記載の前記第１の入力チャネル１２はｘ２方向に配置される中央ラウドスピーカＣＣに関連付けされてもよく、前記第２の入力チャネル１４はｘ４に配置される上方中央ラウドスピーカＥＣＣに関連付けされてもよい（各々入力チャネル設定において）。前記出力チャネル１６は、ｘ２に配置される中央ラウドスピーカＥＣＣに関連付けされてもよい（出力チャネル設定において）。図６Ｂにおいて、ｘ４に配置されるラウドスピーカに関連付けされたチャネル１４は、ｘ２に配置されるラウドスピーカＣＣに関連付けされた前記第１の出力チャネル１６にマッピングされ、当該マッピングは、前記第２の入力チャネル１４を処理するステップ１８、すなわち第２の入力チャネル１４に関連付けされた音声信号を処理するステップを備える。前記第２の入力チャネルを処理するステップは、等化フィルタ及び非相関フィルタのいずれかを前記第２の入力チャネルに適用することにより、入力チャネル設定において前記第１の入力チャネルと前記第２の入力チャネルとの間で異なる特性を保持するステップを備える。実施例において、前記等化フィルタ及び／又は前記非相関フィルタは、第１の入力チャネル及び第２の入力チャネルに関連付けされた異なるラウドスピーカ配置ｘ２及びｘ４において本質的に適用される異なるＢＲＩＲによる音質差に関する特性を保持するよう構成されてもよい。本発明の実施例において、前記等化フィルタ及び／又は前記非相関フィルタは、前記第１の入力チャネル及び前記第２の入力チャネルが同一の出力チャネルにマッピングされる場合にも、前記第１の入力チャネル及び前記第２の入力チャネルの空間多様性が知覚可能な状態に保持されるよう別々な配置で再生される入力信号の空間多様性を保持するよう構成される。
【００５５】
本発明の実施例において、非相関フィルタは、前記第１の入力チャネル及び前記第２の入力チャネルに関連付けされた別々のラウドスピーカ配置からリスナーの両耳までの音響伝播経路が異なることによる入力信号に固有な非相関性を保持するよう構成される。
【００５６】
本発明の実施例において、等化フィルタは、前記第２の入力チャネル、すなわちｘ４に配置される前記第２の入力チャネルに関連付けされた音声信号がｘ２に配置される前記ラウドスピーカＣＣにダウンミックスされる場合、適用される。前記等化フィルタは、異なる音響チャネルの音質変化を補償し、経験的専門技術及び／又は計測したＢＲＩＲ等に基づき導出されてもよい。例えば、前記入力チャネル設定が仰角９０°において「天の声」（Ｖｏｉｃｅ  ｏｆ  Ｇｏｄ：ＶｏＧ）チャネルを備えると仮定する。５．１出力設定のように、前記出力チャネル設定が１層のレイヤのみにおいてラウドスピーカを備え、前記ＶｏＧチャネルが破棄される場合、少なくともスイート・スポットにおける前記ＶｏＧチャネルの方向情報を保持するために前記ＶｏＧチャネルを全出力ラウドスピーカに分配する手法は、単純で直接的である。しかしながら、ＢＲＩＲが異なるために元のＶｏＧラウドスピーカは、非常に異なって知覚される。全出力ラウドスピーカに分配する前に前記ＶｏＧチャネルに専用の等化フィルタを適用することにより、音質差を補償できる。
【００５７】
本発明の実施例において、前記等化フィルタは、音声信号の方向知覚に関する心理音響的発見を考慮するため、対応する入力チャネルに周波数依存な重み付けを行うよう構成されてもよい。当該発見の一例として、方向決定する帯域を表現するいわゆるブラウエルト（Ｂｌａｕｅｒｔ）帯域が挙げられる。図１２は、音声信号の特定の方向が認識される確率を表す３個のグラフ２０、２２及び２４を示す。グラフ２０に示す通り、上方からの音声信号は、周波数帯１２００において７ｋＨｚ〜１０ｋＨｚで高い確率で認識される。グラフ２２に示す通り、後方からの音声信号は、周波数帯１２０２において約０．７ｋＨｚ〜約２ｋＨｚ、及び周波数帯１２０４において約１０ｋＨｚ〜約１２．５ｋＨｚで高い確率で認識される。グラフ２４に示す通り、前方からの音声信号は、周波数帯１２０６において約０．３ｋＨｚ〜０．６ｋＨｚ、及び周波数帯１２０８において約２．５〜約５．５ｋＨｚで高い確率で認識される。
【００５８】
本発明の実施例において、前記等化フィルタは、上記の認識性を用いて構成される。すなわち、等化フィルタは、別の周波数帯と比較して、音声が特定の方向から聞こえるような印象をユーザに与えると知られている周波数帯により高いゲイン係数（ブースト）を適用するよう構成されてもよい。より詳細には、入力チャネルがより低い出力チャネルにマッピングされる場合、対応する信号が上方の配置から発生している印象をリスナーに与えるために、入力チャネルの周波数帯１２００における７ｋＨｚ〜１０ｋＨｚの範囲のスペクトル成分を前記第２の入力チャネルの別のスペクトル成分と比較してブーストしてもよい。同様に、図１２に記載の通り、等化フィルタは、前記第２の入力チャネルの別のスペクトル成分をブーストするよう構成されてもよい。例えば、入力チャネルがより前方に配置される出力チャネルにマッピングされる場合に帯域１２０６及び帯域１２０８をブーストしてもよく、入力チャネルがより後方に配置される出力チャネルにマッピングされる場合に帯域１２０２及び帯域１２０４をブーストしてもよい。
【００５９】
本発明の実施例において、前記装置は、前記第２の入力チャネルに非相関フィルタを適用するよう構成される。例えば、ｘ２に配置されるラウドスピーカにダウンミックスする場合、非相関／反響音フィルタを（ｘ４に配置されるラウドスピーカに関連付けされた）前記第２の入力チャネルに関連付けされた入力信号に適用してもよい。当該非相関／反響音フィルタは、ＢＲＩＲ測定又は室内音響学等に関する経験的技術により導出されてもよい。入力チャネルが複数の出力チャネルにマッピングされる場合、前記複数のラウドスピーカに対してフィルタ信号を再生してもよく、その場合、各ラウドスピーカに対して異なるフィルタを適用してもよい。前記フィルタは、初期反射のみモデル化してもよい。
【００６０】
図８は、等化フィルタ又は非相関フィルタであってもよいフィルタ３２を備える装置３０の概略図である。前記装置３０は、複数の入力チャネル３４を受信し、複数の出力チャネル３６を出力する。前記入力チャネル３４は、入力チャネル設定を表現し、前記出力チャネル３６は、出力チャネル設定を表現する。図８に記載の通り、第３の入力チャネル３８、第２の出力チャネル４２に直接マッピングされ、第４の入力チャネル４０は、第３の出力チャネル４４に直接マッピングされる。前記第３の入力チャネル３８は、左ラウドスピーカＬＣに関連付けされた左チャネルであってもよい。前記第４の入力チャネル４０は、右ラウドスピーカＲＣに関連付けされた右入力チャネルであってもよい。前記第２の出力チャネル４２は、左ラウドスピーカＬＣに関連付けされた左チャネルであってもよく、前記第３の出力チャネル４４は、右ラウドスピーカＲＣに関連付けされた右チャネルであってもよい。前記第１の入力チャネル１２は、中央ラウドスピーカＣＣに関連付けされた中央水平面チャネルであってもよく、前記第２の入力チャネル１４は、上方中央ラウドスピーカＥＣＣに関連付けされた上方中央チャネルであってもよい。フィルタ３２は、前記第２の入力チャネル１４、すなわち前記上方中央チャネルに適用される。前記フィルタ３２は、非相関フィルタ又は反響音フィルタであってもよい。フィルタ後、前記第２の入力チャネルは、前記水平面中央ラウドスピーカ、すなわちｘ２に配置されるラウドスピーカＣＣに関連付けされた前記第１の出力チャネル１６に送信される。したがって、図８のブロック４６に示す通り、前記入力チャネル１２及び入力チャネル１４は、共に前記第１の出力チャネル１６にマッピングされる。本発明の実施例において、ブロック４６において前記第１の入力チャネル１２及び処理済前記第２の入力チャネル１４を付加し、出力チャネル１６、すなわち本実施例の前記中央水平面ラウドスピーカＣＣに関連付けされたラウドスピーカに入力してもよい。
【００６１】
本発明の実施例において、フィルタ３２は、２個の分離された音響チャネルが存在する場合に知覚される追加の室内空間効果（ｒｏｏｍ  ｅｆｆｅｃｔ）をモデル化するための非相関フィルタ又は反響音フィルタであってもよい。非相関化により、当該通知によりＤＭＸキャンセルの中間生成物を軽減できる場合がある。本発明の実施例において、フィルタ３２は、等化フィルタであってもよく、音質等化を実行するよう構成されてもよい。本発明の別の実施例において、上方ラウドスピーカの信号をダウンミックスする前に、非相関フィルタ及び反響音フィルタを適用して音質等化及び非相関化を適用してもよい。本発明の実施例において、フィルタ３２は、両方の機能、すなわち音質等化及び非相関化を組合せて構成されてもよい。
【００６２】
本発明の実施例において、非相関フィルタは、反響音を前記第２の入力チャネルに導入する反響音フィルタとして構成されていてもよい。本発明の実施例において、非相関フィルタは、前記第２の入力チャネルと指数関数的に減衰するノイズシーケンスを畳み込むよう構成されてもよい。本発明の実施例において、リスナーに対して、前記第１の入力チャネル及び前記第２の入力チャネルからの信号が別々の配置のラウドスピーカから発生しているような印象を保持するために前記第２の入力チャネルを非相関化するために使用される非相関フィルタはいずれの非相関フィルタでもよい。
【００６３】
図７Ａは、別の実施例による装置５０の概略図である。前記装置５０は、前記第１の入力チャネル１２及び前記第２の入力チャネル１４を受信するよう構成される。前記装置５０は、前記第１の入力チャネル１２を前記第１の出力チャネル１６に直接マッピングするよう構成される。前記装置５０は、更に、前記第２の出力チャネル４２及び前記第３の出力チャネル４４であってもよい第２の出力チャネル及び第３の出力チャネル間のパニングによりファントム音源を生成するよう構成される。当該処理を図７Ａのブロック５２に示す。したがって、第２の入力チャネルの方位角に対応する方位角を有するファントム音源が生成される。
【００６４】
図５に記載のシーンを考慮して、前記第１の入力チャネル１２は、水平面中央ラウドスピーカＣＣに関連付けされてもよく、前記第２の入力チャネル１４は、上方中央ラウドスピーカＥＣＣに関連付けされてもよく、前記第１の出力チャネル１６は、中央ラウドスピーカＣＣに関連付けされてもよく、前記第２の出力チャネル４２は、左ラウドスピーカＬＣに関連付けされてもよく、前記第３の出力チャネル４４は、右ラウドスピーカＲＣに関連付けされてもよい。したがって、図７Ａに記載の実施例において、対応する信号をｘ２に配置されるラウドスピーカに直接適用する代わりに、ｘ１及びｘ３に配置されるラウドスピーカをパニングしてファントム音源を配置ｘ２に配置する。したがって、配置ｘ１及びｘ３より配置ｘ４により近いｘ２に配置される別のラウドスピーカが存在するにも関わらず、ｘ１及びｘ３に配置されるラウドスピーカ間のパニングが実行される。すなわち、図７Ｂに示す通り、前記チャネル４２、４４の各々と及びチャネル１４との間の方位角差Δαが前記チャネル１４とチャネル１６との間の方位角差０°より大きいにも関わらず、ｘ１及びｘ３に配置されるラウドスピーカ間のパニングが実行される。これにより、ｘ２及びｘ４に配置されるラウドスピーカにより導入される空間多様性が、本質的には、対応する入力チャネルに割当てられた信号及び同一配置のファントム音源に対してｘ２に配置される離散ラウドスピーカを用いることにより保持される。ファントム音源の信号は、元の入力チャネル設定のｘ４に配置されるウドスピーカの信号に対応する。
【００６５】
図７Ｂは、ｘ１及びｘ３に配置されるラウドスピーカ間のパニング５２による、ｘ４に配置されるラウドスピーカに関連付けされた入力チャネルのマッピングの概略図である。
【００６６】
図７Ａ及び図７Ｂに基づく実施例において、入力チャネル設定は、上方中央ラウドスピーカ及び水平面中央ラウドスピーカを含む上方レイヤ及び水平面レイヤを備えるものとする。更に、出力チャネル設定は、水平面中央ラウドスピーカ及び左右の水平面ラウドスピーカを含む水平面レイヤのみを備えるものとし、水平面中央ラウドスピーカの位置にファントム音源を構成してもよい。上記したように、一般的な直接的手法において、上方の中央入力チャネルは、水平面の中央出力ラウドスピーカに再生される。この代わりに、上記の本発明の実施例によれば、上方中央入力チャネルは、意図的に、水平面の左右の出力ラウドスピーカ間でパニングされる。したがって、入力チャネル設定の上方中央ラウドスピーカ及び水平面中央ラウドスピーカによる空間多様性は、上方中央入力チャネルにより入力される水平面中央ラウドスピーカ及びファントム音源を用いることにより保持される。
【００６７】
本発明の実施例において、パニングに加えて、ＢＲＩＲが異なることが原因で発生する可能性のある音質変化を補償するために等化フィルタが適用されてもよい。
【００６８】
図９に、パニング手法を実行するための装置６０の実施例を記載する。図９において、入力チャネル及び出力チャネルは、図８に記載の入力チャネル及び出力チャネルに対応しており、重複する説明は省略する。装置６０は、図９のブロック６２に記載の通り、第２の出力チャネル４２と第３の出力チャネル４４との間のパニングによりファントム音源を生成するよう構成される。
【００６９】
本発明の実施例において、パニングは、一般的パニングアルゴリズムを用いて実行してもよく、そのような一般的パニングアルゴリズムには２次元における正接定理パニング、又は３次元におけるベクトル式振幅パニングがあり、Ｖ．プルッキ（Ｐｕｌｋｋｉ）による「ベクトル式振幅パニングを用いた仮想音源配置方法（Ｖｉｒｔｕａｌ  Ｓｏｕｎｄ  Ｓｏｕｎｄ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｕｓｉｎｇ  Ｖｅｃｔｏｒ  Ｂａｓｅ  Ａｍｐｌｉｔｕｄｅ  Ｐａｎｎｉｎｇ）」、音声技術学会誌（Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ）、４５巻、４５６〜４６６頁、１９９７年を参照すればよく、ここでの詳細な説明は省略する。適用されるパニング定理のパニングゲインにより、入力チャネルを出力チャネルにマッピングする際に適用されるゲインが決定される。得られた信号の各々は、図９の加算器ブロック６４に示す通り、前記第２の出力チャネル４２及び第３の出力チャネル４４に付加される。したがって、前記第２の入力チャネル１４は、ｘ２に配置されるファントム音源を生成するためにパニングにより前記第２の出力チャネル４２及び第３の出力チャネル４４にマッピングされ、前記第１の入力チャネル１２は前記第１の出力チャネル１６に直接マッピングされ、第３入力チャネル３８及び第４入力チャネル４０は前記第２の出力チャネル４２及び第３の出力チャネル４４に直接マッピングされる。
【００７０】
代替の実施例において、ブロック６２は、パニング機能に加えて等化フィルタの機能も備えるよう変形されてもよい。その結果、パニング手法により空間多様性を保持しつつ、ＢＲＩＲが異なることが原因で発生する可能性のある音質変化を補償することができる。
【００７１】
図１０は、本発明を実施可能なＤＭＸマトリクスを生成するためのシステムを示す。前記システムは、可能な入出力チャネルマッピングを記述する規則セットであるブロック４００、及び入力チャネル設定４０４及び出力チャネル設定４０６の所定の組合せに対する最適な規則を前記規則セット４００に基づき選択するセレクタ４０２を備える。前記システムは、前記入力チャネル設定４０４及び前記出力チャネル設定４０６に関する情報を受信するための適切なインターフェースを備えていてもよい。
入力チャネル設定は、入力設定に存在するチャネルを定義するものであり、各入力チャネルには方向又は配置が対応付けられる。出力チャネル設定は出力設定に存在するチャネルを定義するものであり、各出力チャネルには方向又は配置が対応付けられる。
前記セレクタ４０２は、選択した規則４０８を評価器４１０に入力する。前記評価器４１０は、前記選択された規則４０８を受信及び評価して、前記選択された規則４０８に基づきＤＭＸ係数４１２を導出する。導出したダウンミックス係数からＤＭＸマトリクス４１４を生成してもよい。前記評価器４１０は、ダウンミックス係数からダウンミックスマトリクスを導出するよう構成してもよい。前記評価器４１０は、例えば出力設定のジオメトリ（チャネル配置等）に関する情報、及び入力設定のジオメトリ（チャネル配置等）に関する情報等の、入力チャネル設定及び出力チャネル設定に関する情報を受信し、ＤＭＸ係数を導出する際に当該情報を考慮してもよい。
図１１に示すように、前記システムは、前記セレクタ４０２、前記評価器４１０、及び前記マッピング規則セット４００の少なくとも一部を記憶するよう構成されるメモリ４２２として機能するようプログラム又は構成されるプロセッサ４２２を備える信号処理装置４２０に実装されてもよい。マッピング規則の別の部分の確認は、メモリ４２４に記憶される規則を参照せずにプロセッサにより行ってもよい。いずれの場合も、前記規則は上記の方法を実行するためにプロセッサに入力される。前記信号処理装置は、入力チャネルに関連付けされた前記入力信号２２８を受信する入力インターフェース４２６、及び出力チャネルに関連付けされた前記出力信号２３４を出力する出力インターフェース４２８を備えていてもよい。
【００７２】
前記規則４００の一部を前記信号処理装置４２０が本発明の実施例を実施できるよう設計してもよい。入力チャネルを複数の出力チャネルにマッピングするための規則の例を表１に示す。
表１：マッピング規則
【００７３】
【表１】
2016527805.tif 000003
2016527805.tif 000004
2016527805.tif 000005
【００７４】
表１において、各チャネルに付したラベルは、以下のように解釈されるものとする。符号「ＣＨ」は、「チャネル」を表す。符号「Ｍ」は、「リスナー水平面」、すなわち仰角０°を表す。これは、ステレオ又は５．１等の通常の２次元設定においてラウドスピーカが配置される平面である。符号「Ｌ」は、より低い位置の平面、すなわち仰角＜０°を表す。符号「Ｕ」は、より高い位置の平面、すなわち仰角＞０°を表し、例えば３次元設定における上方ラウドスピーカで３０°である。符号「Ｔ」は、「天の声（ｖｏｉｃｅ  ｏｆ  ｇｏｄ）」チャネルとしても知られる最上方チャネル、すなわち仰角９０°を表す。各符号Ｍ／Ｌ／Ｕ／Ｔの後ろの符号は、左（Ｌ）又は右（Ｒ）を表し、方位角が続く。例えば、ＣＨ＿Ｍ＿Ｌ０３０及びＣＨ＿Ｍ＿Ｒ０３０は、従来のステレオ設定の左右チャネルを示す。各チャネルの方位角及び仰角は、ＬＦＥチャネル及び最後の空チャネルを除いて表１に記載されている。
【００７５】
表１は、少なくとも１個の規則が各入力チャネル（音源チャネル）に関連付けされる規則マトリクスを示す。表１に示す通り、各規則は、入力チャネルがマッピングされる先の出力チャネル（送信先チャネル）を少なくとも１個定義する。更に、各規則は、３列目においてゲイン値Ｇを定義する。更に、各規則は等化フィルタが適用されるか否かを示すＥＱインデックス、及び適用される場合、適用される特定の等化フィルタ（ＥＱインデックス１〜４）を定義する。入力チャネルを１個の出力チャネルにマッピングする処理は、表１の３列目に示すゲインＧにより実行される。入力チャネルを２個の出力チャネル（２列目に記載）にマッピングする処理は、当該２個の出力チャネル間でパニングを適用することにより実行され、その場合、パニング定理を適用して生成されるパニングゲインｇ１及びｇ２に更に各規則により得られるゲインを乗じる（表１における３列目）。最上方チャネルには特別規則が適用される。第１の規則によれば、最上方チャネルは上面の全出力チャネルにマッピングされてＡＬＬ＿Ｕで示され、第２の規則（より優先度が低い）によれば、最上方チャネルはリスナー水平面の全出力チャネルにマッピングされてＡＬＬ＿Ｍで示される。
【００７６】
表１の規則に鑑みて、チャネルｃＨ＿Ｕ＿０００から左右のチャネルへのマッピングを定義する規則は、本発明の実施例の実行例を表す。更に、等化の適用を定義する規則は、本発明の実施例の実行例を表す。
【００７７】
表１に示す通り、上方入力チャネルが少なくとも１個のより低いチャネルにマッピングされる場合、イコライザフィルタ１〜４のうちいずれか１個が適用される。イコライザゲイン値ＧＥＱは、表２に記載の正規化中央周波数及び表３に記載のパラメータに基づき以下のように決定されてもよい。
表２：フィルターバンク帯域７７個の正規化中央周波数
【００７８】
【表２】
2016527805.tif 000006
2016527805.tif 000007
2016527805.tif 000008
表３：イコライザパラメータ
【００７９】
【表３】
2016527805.tif 000009
【００８０】
ＧＥＱは、周波数帯ｋ当たりのゲイン値及びイコライザインデックスｅから成る。５個の所定のイコライザは異なるピークフィルタの組合せから成る。表３に示す通り、イコライザＧＥＱ,１、ＧＥＱ,２及びＧＥＱ,５はピークフィルタを１個備え、イコライザＧＥＱ,３はピークフィルタを３個備え、イコライザＧＥＱ,４はピークフィルタを２個備える。各イコライザは、連続してカスケード接続された少なくとも１個のピークフィルタ及びゲインから成る。
【００８１】
【数１】
2016527805.tif 000010
【００８２】
ここで、帯域（ｋ）は、表２に記載の周波数帯ｊの正規化中心周波数、ｆｓは、サンプリング周波数，及び関数ピーク（）は、負のＧに対応しており、
【００８３】
【数２】
2016527805.tif 000011
上記でなければ
【００８４】
【数３】
2016527805.tif 000012
【００８５】
表３にイコライザに対するパラメータを記載する。上記の数式１及び数式２において、ｂは、帯域（ｋ）×ｆｓ／２により、Ｑは、各ピークフィルタ（１〜ｎ）に対するＰＱにより，  Ｇは、各ピークフィルタに対するＰｇにより，そして、ｆは、各ピークフィルタに対するＰｆにより得られる。
【００８６】
一例として、インデックス４を有するイコライザに対するイコライザゲイン値ＧＥＱ，４を表３の対応する行から得られるフィルタパラメータにより算出する。表３は、ＧＥＱ，４に対するピークフィルタに対する２組のパラメータ群、すなわちｎ＝１及びｎ＝２に対するパラメータ群を記載したものである。前記パラメータは、ピーク周波数ＰｆのＨｚ表示、ピークフィルタ品質因数ＰＱ、ピーク周波数で適用されるゲインＰｇ（ｄＢ表示）、及びカスケード接続された２個のピークフィルタ（カスケード接続されたパラメータｎ＝１及びｎ＝２に対するフィルタ）に適用される総ゲインＧのｄＢ表示である。
したがって
【００８７】
【数４】
2016527805.tif 000013
【００８８】
上記したイコライザによる定義により、各周波数帯ｋに対してゼロフェーズのゲインＧＥＱ，４を個別に定義する。各帯域ｋは、自身の正規化中心周波数帯（ｋ）により規定され、その場合、０≦帯域≦１である。なお、正規化周波数帯＝１は、非正規化周波数ｆｓ／２に対応し、その場合、ｆｓは、サンプリング周波数を表す。したがって、帯域（ｋ）・ｆｓ／２は、帯域ｋの非正規化中心周波数をＨｚで表す。
【００８９】
上記において、本発明の実施例において使用可能な異なるイコライザフィルタを説明した。但し、上記等化フィルタは、単に説明を目的として記載したものであり、その他の実施例において別の等化フィルタ又は非相関フィルタを使用してもよいことは自明であるものとする。
【００９０】
表４は、各方位角及び仰角に対応付けされたチャネルの例を示す。
表４：チャネルおよび対応する方位角及び仰角
【００９１】
【表４】
2016527805.tif 000014
【００９２】
本発明の実施例において、２個の送信先チャネル間のパニングは、正接定理振幅パニングを適用することにより実行してもよい。音源チャネルを第１の送信先チャネル及び第２の送信先チャネルにパニングする際、前記第１の送信先チャネルに対してゲイン係数Ｇ１が算出され、前記第２の送信先チャネルに対してゲイン係数Ｇ２が算出される。
Ｇ１＝（表４の「ゲイン」列の値  ）＊ｇ１、及び
Ｇ２＝（表４の「ゲイン」列の値）＊ｇ２。
【００９３】
ゲインｇ１及びｇ２は、正接定理振幅パニングを以下の方法で適用することにより計算される。
【００９４】
2016527805.tif 000015
【００９５】
別の実施例において、異なるパニング定理を適用してもよい。
【００９６】
原則として、本発明の実施例の目的は、出力チャネル設定においてチャネルマッピングを変更して信号を変形することにより、入力チャネル設定においてより多数の音響チャネルをモデル化することである。入力チャネル設定に比べて、多くの場合、空間的により圧迫しており、多様性がより低く、包込み（ｅｎｖｅｌｏｐｉｎｇ）が少ないと報告されている直接的手法と比較して、本発明の実施例を採用することにより、空間多様性及び全体的な聴取経験が向上し、より魅力的なものとなる。
【００９７】
すなわち、本発明の実施例において、２個以上の入力チャネルがダウンミックスアプリケーションにおいてミキシングされるが、その際、元の入力チャネルからリスナーの両耳までの異なる伝送経路の異なる特性を保持するために処理モジュールが入力信号のうちの１個に適用される。本発明の実施例において、処理モジュールは、等化フィルタ又は非相関フィルタ等、信号特性を変更するフィルタに基づくものでもよい。等化フィルタは、特に、異なる仰角が割当てられた入力チャネルの異なる音質の喪失を補償してもよい。本発明の実施例において、処理モジュールは、少なくとも１個の入力信号を複数の出力ラウドスピーカに経路づけて送信することによりリスナーまでの異なる伝送経路を生成し、これにより、入力チャネルの空間多様性を保持してもよい。本発明の実施例において、フィルタ及びルーティング変更は、個別に適用してもよく、又は組合せて適用してもよい。本発明の実施例において、処理モジュールにおける出力は、１個又は複数のラウドスピーカにおいて再生されてもよい。
【００９８】
装置を対象として特性を記載したが、当該特性が対応する方法も説明することは明白であり、その場合、ブロック又は装置が方法ステップ又は方法ステップの特性に対応する。同様に、方法ステップを対象として記載された特性は対応する装置の対応するブロック又は部材又は特性も説明するものとする。方法ステップの一部又は全ては、マイクロプロセッサ、プログラム可能なコンピュータ又は電子回路等のハードウェア装置により（又は用いることにより）実行されてもよい。実施例によっては、最も重要な方法ステップの少なくとも１個が上記した装置により実行されてもよい。本発明の実施例において、記載した前記方法は、プロセッサ又はコンピュータに実装される。
【００９９】
所定の実施例が求める条件に応じて、本発明の実施例は、ハードウェア又はソフトウェアに実装できる。実施例は、各方法が実行されるようプログラム可能なコンピュータシステムと協働する（又は協働可能な）電子的に可読な制御信号が記録されたフロッピー（登録商標）・ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ等のデジタル記憶媒体等の非一時的記憶媒体を用いて実行可能である。したがって、デジタル記憶媒体はコンピュータ可読性のものでもよい。
【０１００】
本発明による実施例によっては、プログラム可能なコンピュータシステムと協働可能な電子的に可読な制御信号を有するデータの記憶媒体を備え、これにより前記方法のいずれかを実行する。
【０１０１】
一般的に、本発明の実施例は、プログラムコードを備えるコンピュータプログラム製品として実現可能であり、当該コンピュータプログラム製品がコンピュータ上で実行されると、前記方法のいずれかを実行するためにプログラムコードが作動する。当該プログラムコードは、機械可読な記憶装置等に記録されてもよい。
【０１０２】
別の実施例は、前記方法のいずれかを実行するための、機械可読な記憶装置に記録されたコンピュータプログラムを備える。
【０１０３】
すなわち、本発明の方法の実施例は、プログラムコードを備えるコンピュータプログラムであって、前記プログラムコードは、前記コンピュータプログラムがコンピュータ上で実行されると前記方法のいずれかを実行する。
【０１０４】
したがって、本発明の方法の更に別の実施例は、前記方法のいずれかを実行するための前記コンピュータプログラムが記録されたデータ記憶媒体（又はデジタル記憶媒体、又はコンピュータ可読な媒体）である。前記データ記憶媒体、前記デジタル記憶媒体又は前記記録媒体は、通常有形及び／又は非一時的である。
【０１０５】
したがって、本発明の方法の更に別の実施例は、前記方法のいずれかを実行するためのコンピュータプログラムを表現するデータストリーム又は信号シーケンスである。前記データストリーム又は前記信号シーケンスは、インターネット等のデータ通信接続を介して伝送されるよう構成してもよい。
【０１０６】
更に別の実施例は、前記方法のいずれかを実行するようプログラム、構成、又は構成されるコンピュータ又はプログラマブル論理装置等の処理手段を備える。
【０１０７】
更に別の実施例は、前記方法のいずれかを実行するためのコンピュータプログラムがインストールされたコンピュータである。
【０１０８】
本発明による更に別の実施例は、前記方法のいずれかを実行するためのコンピュータプログラムを（例えば電子的又は光学的に）受信装置に伝送するよう構成される装置又はシステムを備える。前記受信装置は、コンピュータ、モバイル機器、記憶装置等であってもよい。前記装置又はシステムは、前記コンピュータプログラムを前記受信装置に伝送するファイルサーバを備えていてもよい。
【０１０９】
実施例によっては、前記方法の機能の一部又は全てを実行するプログラマブル論理装置（フィールド・プログラマブル・ゲートアレイ等）を用いていてもよい。実施例によっては、フィールド・プログラマブル・ゲートアレイは前記方法のいずれかを実行するためにマイクロプロセッサと協働してもよい。概して言うと、前記方法は好ましくはハードウェア装置により実行される。
【０１１０】
上記した実施例は本発明の原理の一例に過ぎない。構成に対する変更及び変形及びその詳細は当業者にとって自明であるものとする。したがって、実施例の記載および説明によりとして提示した特定の要素ではなく、添付の特許請求の範囲によってのみ限定されるものとする。
【図１】
2016527805.tif 000016
【図２】
2016527805.tif 000017
【図３】
2016527805.tif 000018
【図４】
2016527805.tif 000019
【図５】
2016527805.tif 000020
【図６Ａ】
2016527805.tif 000021
【図６Ｂ】
2016527805.tif 000022
【図７Ａ】
2016527805.tif 000023
【図７Ｂ】
2016527805.tif 000024
【図８】
2016527805.tif 000025
【図９】
2016527805.tif 000026
【図１０】
2016527805.tif 000027
【図１１】
2016527805.tif 000028
【図１２】
2016527805.tif 000029
【手続補正書】
【提出日】平成27年8月11日(2015.8.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力チャネル設定の第１の入力チャネル（１２）及び第２の入力チャネル（１４）を出力チャネル設定の少なくとも１個の出力チャネル（１６，４２，４４）にマッピングするための装置（１０；３０；５０；６０）であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置（Ｐ）に対して配置される方向を有し、第１および第２の入力チャネル（１２，１４）がリスナー水平面（３００）と比較して異なる仰角を有し、前記装置は：
前記第１の入力チャネル（１２）を前記出力チャネル設定の第１の出力チャネル（１６）にマッピングし、  
前記第２の入力チャネル（１４）の方向と前記第１の出力チャネル（１６）の方向との間の方位角度差が、前記第２の入力チャネル（１４）の方向と第２の出力チャネル（４２）との間の方位角度差より少ない、及び／又は前記第２の入力チャネル（１４）の方向と第３の出力チャネル（４４）の方向との間の角度差より少ないことに関わらず、前記第２の出力チャネル（４２）と前記第３の出力チャネル（４４）との間のパニング（５２，６２）により、前記第２の入力チャネル（１４）を前記第２の出力チャネル（４２）及び前記第３の出力チャネル（４４）にマッピングして前記第１の出力チャネルに関連付けられたラウドスピーカの位置にファントム音源を生成するよう構成される、装置。
【請求項２】
請求項１に記載の装置であって、
等化フィルタ及び非相関フィルタのうち少なくといずれかを前記第２の入力チャネル（１４）に適用することにより前記第２の入力チャネル（１４）を処理するよう構成される、装置。
【請求項３】
入力チャネル設定の第１の入力チャネル（１２）及び第２の入力チャネル（１４）を出力チャネル設定の出力チャネルにマッピングするための方法であって、各入力チャネル及び各出力チャネルは対応するラウドスピーカが中央のリスナー位置（Ｐ）に対して配置される方向を有し、前記第１および第２の入力チャネル（１２，１４）がリスナー推定面（３００）と比較して異なる仰角を有し、前記方法は：
前記第１の入力チャネル（１２）を前記出力チャネル設定の第１の出力チャネル（１６）にマッピングするステップと、  
前記第２の入力チャネル（１４）の方向と前記第１の出力チャネル（１６）の方向との間の方位角度差が、前記第２の入力チャネル（１４）の方向と第２の出力チャネル（４２）との間の方位角度差より少ない、及び／又は前記第２の入力チャネル（１４）の方向と第３の出力チャネル（４４）の方向との間の角度差より少ないことに関わらず、前記第２の出力チャネル（４２）と前記第３の出力チャネル（４４）との間のパニング（５２，６２）により、前記第２の入力チャネル（１４）を前記第２の出力チャネル（４２）及び前記第３の出力チャネル（４４）にマッピングして前記第１の出力チャネルに関連付けられたラウドスピーカの位置にファントム音源を生成するステップとを備える、方法。
【請求項４】
コンピュータ又はプロセッサ上で動作する際に、請求項３に記載の方法を実行するためのコンピュータプログラム。
【国際調査報告】
2016527805.tif 000030
2016527805.tif 000031
2016527805.tif 000032
2016527805.tif 000033
2016527805.tif 000034
2016527805.tif 000035
2016527805.tif 000036