(57)【要約】      （修正有）【課題】２２．２チャネルのようなマルチチャネル信号を５．１チャネルにレンダリングする方法を提供する。【解決手段】サラウンド出力チャネルによる前後混同現象を防止するための、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、正面高さ入力チャネルに、所定の遅延を付加する段階と、付加された遅延に基づいて、正面高さ入力チャネルに係わる高度レンダリングパラメータを修正する段階と、修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングされたサラウンド出力チャネルを生成することにより、前後混同を防止する段階と、を含む。【選択図】図１６
2019062548.tif 000002
【特許請求の範囲】
【請求項１】
音響信号を高度レンダリングする方法において、
高さ入力チャネル信号を含むマルチチャネル信号を受信する段階と、
前記マルチチャネル信号に対する第１高度レンダリングパラメータを獲得する段階と、
前記高さ入力チャネル信号のラベルが正面高さチャネルラベルのうち１つである場合、前記高さ入力チャネル信号に、所定の遅延を付加して遅延された高さ入力チャネル信号を獲得する段階と、
前記高さ入力チャネル信号のラベルが前記正面高さチャネルラベルのうち１つである場合、サラウンドチャネルラベルである２つの出力チャネル信号のラベルに基づいて、前記遅延された高さ入力チャネル信号に係わる第２高度レンダリングパラメータを獲得する段階と、
前記高さ入力チャネル信号のラベルが前記正面高さチャネルラベルのうち１つである場合、複数個の出力チャネル信号を出力するために、前記第１高度レンダリングパラメータ及び前記第２高度レンダリングパラメータに基づいて、前記マルチチャネル信号及び前記遅延された高さ入力チャネル信号を高度レンダリングする段階と、を含み、
前記複数個の出力チャネル信号は、水平チャネル信号であり、
前記第１高度レンダリングパラメータ及び前記第２高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む、音響信号をレンダリングする方法。
【請求項２】
前記正面高さチャネルラベルは、
ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００のうち少なくとも一つを含む、請求項１に記載の音響信号をレンダリングする方法。
【請求項３】
前記サラウンドチャネルラベルは、
ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０を含む、請求項１に記載の音響信号をレンダリングする方法。
【請求項４】
前記所定の遅延は、前記マルチチャネル信号のサンプリングレートに基づいて決定される、請求項１に記載の音響信号をレンダリングする方法。
【請求項５】
前記所定の遅延は、次のような方程式
【数１】
2019062548.tif 000034
によって決定され、このとき、前記ｆｓは、前記マルチチャネル信号のサンプリングレートである、請求項４に記載の音響信号をレンダリングする方法。
【請求項６】
音響信号をレンダリングする装置において、
高さ入力チャネル信号を含むマルチチャネル信号を受信する受信部と、
前記マルチチャネル信号に対する第１高度レンダリングパラメータを獲得し、
前記高さ入力チャネル信号のラベルが正面高さチャネルラベルのうち１つである場合、前記高さ入力チャネル信号に所定の遅延を付加して遅延された高さ入力チャネル信号を獲得し、
前記高さ入力チャネル信号のラベルが前記正面高さチャネルラベルのうち１つである場合、サラウンドチャネルラベルである２つの出力チャネル信号のラベルに基づいて、前記遅延された高さ入力チャネル信号に係わる第２高度レンダリングパラメータを獲得し、
前記高さ入力チャネル信号のラベルが前記正面高さチャネルラベルのうち１つである場合、複数個の出力チャネル信号を出力するために、前記第１高度レンダリングパラメータ及び前記第２高度レンダリングパラメータに基づいて、前記マルチチャネル信号及び前記遅延された高さ入力チャネル信号を高度レンダリングする高度レンダリング部と、を含み、
前記複数個の出力チャネル信号は、水平チャネル信号であり、
前記第１高度レンダリングパラメータ及び前記第２高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む、音響信号をレンダリングする装置。
【請求項７】
前記正面高さチャネルラベルは、
ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００のうち少なくとも一つを含む、請求項６に記載の音響信号をレンダリングする装置。
【請求項８】
前記サラウンドチャネルラベルは、
ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０を含む、請求項６に記載の音響信号をレンダリングする装置。
【請求項９】
前記所定の遅延は、前記マルチチャネル信号のサンプリングレートに基づいて決定される、請求項６に記載の音響信号をレンダリングする装置。
【請求項１０】
前記所定の遅延は、次のような方程式
【数２】
2019062548.tif 000035
によって決定され、このとき、前記ｆｓは、前記マルチチャネル信号のサンプリングレートである、請求項９に記載の音響信号をレンダリングする装置。
【請求項１１】
請求項１に記載の方法を実行するためのコンピュータプログラムを記録するコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号をレンダリングする方法及びその装置に係り、さらに詳細には、入力チャネルの高度が標準レイアウトによる高度より高いか、あるいは低い場合、高度パンニング係数または高度フィルタ係数を修正することにより、音像の位置及び音色をさらに正確に再現するためのレンダリング方法及びその装置に関する。
【背景技術】
【０００２】
立体音響とは、音の高低、音色だけではなく、方向や距離感まで再生し、臨場感を有するようにし、音源が生じた空間に位置していない聴取者に、方向感、距離感及び空間感を知覚させる空間情報を付加した音響を意味する。
【０００３】
２２．２チャネルのようなチャネル信号を、５．１チャネルにレンダリングする場合、二次元出力チャネルを介して、三次元立体音響を再生することができるが、入力チャネルの高度角が、基準高度角と差がある場合、基準高度角によって決定されたレンダリングパラメータを利用して、入力信号をレンダリングする場合、音像の歪曲が発生することになる。
【０００４】
前述のように、２２．２チャネルのようなマルチチャネル信号、を５．１チャネルにレンダリングする場合、二次元出力チャネルを利用して、三次元音響信号を再生することができるが、入力チャネルの高度角、が基準高度角と差がある場合、基準高度角によって決定されたレンダリングパラメータを利用して、入力信号をレンダリングする場合、音像の歪曲が発生することになる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、前述の従来技術の問題点を解決し、入力チャネルの高度が基準高度より高いか、あるいは低い場合でも、音像の歪曲を減らすことをその目的にする。
【課題を解決するための手段】
【０００６】
前記目的を達成するための本発明の代表的な構成は、次の通りである。
【０００７】
前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、正面高さ（frontal  height）入力チャネルに、所定の遅延を付加する段階と、付加された遅延に基づいて、正面高さ入力チャネルに係わる高度レンダリングパラメータを修正する段階と、修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングされたサラウンド出力チャネルを生成することにより、前後混同（front-back  confusion）を防止する段階と、を含む。
【０００８】
本発明の他の実施形態によれば、複数個の出力チャネルは、水平チャネルである。
【０００９】
本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。
【００１０】
本発明のさらに他の実施形態によれば、前記正面高さチャネルは、ＣＨ＿Ｕ＿Ｌ０３０，ＣＨ＿Ｕ＿Ｒ０３０，ＣＨ＿Ｕ＿Ｌ０４５，ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００チャネルのうち少なくとも一つを含む。
【００１１】
本発明のさらに他の実施形態によれば、サラウンド出力チャネルは、ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０のうち少なくとも一つを含む。
【００１２】
本発明のさらに他の実施形態によれば、所定の遅延は、サンプリングレートに基づいて決定される。
【００１３】
前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする装置は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する受信部と、各出力チャネルが、基準高度角で、高度感ある音像を有する正面高さ入力チャネルに所定の遅延を付加し、付加された遅延に基づいて、正面高さ入力チャネルに係わる高度レンダリングパラメータを修正するレンダリング部と、修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングサラウンド出力チャネルを生成することにより、前後混同を防止する出力部と、を含む。
【００１４】
本発明の他の実施形態によれば、複数個の出力チャネルは、水平チャネルである。
【００１５】
本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。
【００１６】
本発明のさらに他の実施形態によれば、前記正面高さ入力チャネルは、ＣＨ＿Ｕ＿Ｌ０３０，ＣＨ＿Ｕ＿Ｒ０３０，ＣＨ＿Ｕ＿Ｌ０４５，ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００チャネルのうち少なくとも一つを含む。
本発明のさらに他の実施形態によれば、前記正面高さチャネルは、ＣＨ＿Ｕ＿Ｌ０３０，ＣＨ＿Ｕ＿Ｒ０３０，ＣＨ＿Ｕ＿Ｌ０４５，ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００チャネルのうち少なくとも一つを含む。
【００１７】
本発明のさらに他の実施形態によれば、所定の遅延は、サンプリングレートに基づいて決定される。
【００１８】
前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、高く入力チャネルに係わる高度レンダリングパラメータを獲得する段階と、基準高度角以外の所定の高度角を有する高さ入力チャネルに対して高度レンダリングパラメータを更新する段階と、を含み、高度レンダリングパラメータを更新する段階は、トップフロントセンター（top  front  center）の高さ入力チャネルをサラウンド出力チャネルにパンニングするパンニングゲインを更新する段階を含む。
【００１９】
本発明のさらに他の実施形態によれば、複数個の出力チャネルは、水平チャネル（horizontal  channel）である。
【００２０】
本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。
【００２１】
本発明のさらに他の実施形態によれば、高度レンダリングパラメータを更新する段階は、基準高度角及び所定の高度角に基づいて、パンニングゲインを更新する段階を含む。
【００２２】
本発明のさらに他の実施形態によれば、所定の高度角が基準高度角より小さい場合、更新された高度パンニングゲインのうち所定の高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより大きく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。
【００２３】
本発明のさらに他の実施形態によれば、所定の高度角が基準高度角より大きい場合、更新された高度パンニングゲインのうち所定の高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより小さく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。
【００２４】
前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする装置は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する受信部と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、高さ入力チャネルに係わる高度レンダリングパラメータを獲得し、基準高度角以外の所定の高度角を有する高さ入力チャネルに対して、高度レンダリングパラメータを更新するレンダリング部と、を含み、更新された高度レンダリングパラメータは、トップフロントセンター（top  front  center）の高さ入力チャネルをサラウンド出力チャネルにパンニングするパンニングゲインを含む。
【００２５】
本発明のさらに他の実施形態によれば、複数個の出力チャネルは、水平チャネル（horizontal  channel）である。
【００２６】
本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。
【００２７】
本発明のさらに他の実施形態によれば、更新された高度レンダリングパラメータは、基準高度角及び所定の高度角に基づいて更新されたパンニングゲインを含む。
【００２８】
本発明のさらに他の実施形態によれば、所定の高度角が基準高度角より小さい場合、更新された高度パンニングゲインのうち所定の高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより大きく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。
【００２９】
本発明のさらに他の実施形態によれば、所定の高度角が基準高度角より大きい場合、更新された高度パンニングゲインのうち所定の高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより小さく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。
【００３０】
前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、高さ入力チャネルに係わる高度レンダリングパラメータを獲得する段階と、基準高度角以外の所定の高度角を有する高さ入力チャネルに対して、高度レンダリングパラメータを更新する段階と、を含み、高度レンダリングパラメータを更新する段階は、高さ入力チャネルの位置に基づいて、低周波帯域を含む周波数範囲に対して更新されたパンニングゲインを獲得する段階を含む。
【００３１】
本発明の他の実施形態によれば、更新されたパンニングゲインは、背面（rear）高さ入力チャネルに係わるパンニングゲインである。
【００３２】
本発明のさらに他の実施形態によれば、複数個の出力チャネルは、水平チャネル（horizontal  channel）である。
【００３３】
本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。
【００３４】
本発明のさらに他の実施形態によれば、高度レンダリングパラメータを更新する段階は、基準高度角及び所定の高度角に基づいて、高度フィルタ係数に加重値を適用する段階を含む。
【００３５】
本発明のさらに他の実施形態によれば、加重値は、所定の高度角が基準高度角より小さい場合、高度フィルタ特徴が緩慢に示されるように決定され、所定の高度角が基準高度角より大きい場合、高度フィルタ特徴が強く示されるように決定される。
【００３６】
本発明のさらに他の実施形態によれば、高度レンダリングパラメータを更新する段階は、基準高度角及び所定高度角に基づいて、パンニングゲインを更新する段階を含む。
【００３７】
本発明のさらに他の実施形態によれば、所定高度角が基準高度角より小さい場合、更新された高度パンニングゲインのうち、所定高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより大きく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。
【００３８】
本発明のさらに他の実施形態によれば、所定高度角が基準高度角より大きい場合、更新された高度パンニングゲインのうち、所定高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより小さく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。
【００３９】
前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする装置は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する受信部と、各出力チャネルが、基準高度角で、高度感ある音像を提供するように、高さ入力チャネルに係わる高度レンダリングパラメータを獲得し、基準高度角以外の所定高度角を有する高さ入力チャネルに対して、高度レンダリングパラメータを更新するレンダリング部と、を含み、更新された高度レンダリングパラメータは、高さ入力の位置に基づいて、低周波帯域を含む周波数範囲に対して更新されたパンニングゲインを含む。
【００４０】
本発明の他の実施形態によれば、更新されたパンニングゲインは、背面（rear）高さ入力チャネルに係わるパンニングゲインである。
【００４１】
本発明のさらに他の実施形態によれば、複数個の出力チャネルは、水平チャネル（horizontal  channel）である。
【００４２】
本発明のさらに他の実施形態によれば、高度レンダリングパラメータは、パンニングゲイン及び高度フィルタ係数のうち少なくとも一つを含む。
【００４３】
本発明のさらに他の実施形態によれば、更新された高度レンダリングパラメータは、基準高度角及び所定高度角に基づいて、加重値が適用された高度フィルタ係数を含む。
【００４４】
本発明のさらに他の実施形態によれば、加重値は、所定高度角が基準高度角より小さい場合、高度フィルタ特徴が緩慢に示されるように決定され、所定高度角が基準高度角より大きい場合、高度フィルタ特徴が強く示されるように決定される。
【００４５】
本発明のさらに他の実施形態によれば、更新された高度レンダリングパラメータは、基準高度角及び所定高度角に基づいて更新されたパンニングゲインを含む。
【００４６】
本発明のさらに他の実施形態によれば、所定高度角が基準高度角より小さい場合、前記更新された高度パンニングゲインのうち、所定高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより大きく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。
【００４７】
本発明のさらに他の実施形態によれば、所定高度角が基準高度角より大きい場合、前記更新された高度パンニングゲインのうち、所定高度角を有する出力チャネルと同側にある出力チャネルに適用される更新された高度パンニングゲインは、更新前の高度パンニングゲインより小さく、入力チャネルそれぞれに適用される更新された高度パンニングゲインの二乗の和は、１になる。
【００４８】
一方、本発明の一実施形態によれば、前述の方法を実行するためのプログラム、及び前記プログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００４９】
それ以外にも、本発明を具現するための他の方法、他のシステム及び前記方法を実行するためのコンピュータプログラムを記録するコンピュータ可読記録媒体がさらに提供される。
【発明の効果】
【００５０】
本発明によれば、入力チャネルの高度が基準高度より高いか、あるいは低い場合でも、音像の歪曲が少なくなるように、立体音響信号をレンダリングすることができる。また、本発明によれば、サラウンド出力チャネルによる前後混同現象を防止することができる。
【図面の簡単な説明】
【００５１】
【図１】一実施形態による立体音響再生装置の内部構造を示すブロック図である。
【図２】一実施形態による立体音響再生装置の構成のうちレンダラの構成を示すブロック図である。
【図３】一実施形態による、複数個の入力チャネルが複数個の出力チャネルにダウンミックスされる場合の各チャネルのレイアウトに係わる図面である。
【図４】出力チャネルの標準レイアウトと設置レイアウトとの間に位置偏差がある場合、一実施形態によるパンニング部を示す図面である。
【図５】一実施形態による立体音響再生装置の構成のうち、デコーダ及び立体音響レンダラの構成を示すブロック図である。
【図６】一実施形態によるチャネルレイアウトにおいて、アッパレイヤの高度によるアッパレイヤチャネルのレイアウトを示した図面である。
【図７】一実施形態によるチャネルレイアウトにおいて、アッパレイヤの高度によるアッパレイヤチャネルのレイアウトを示した図面である。
【図８】一実施形態によるチャネルレイアウトにおいて、アッパレイヤの高度によるアッパレイヤチャネルのレイアウトを示した図面である。
【図９】一実施形態において、チャネルの高度による音像の変化、及び高度フィルタの変化を示した図面である。
【図１０】一実施形態において、チャネルの高度による音像の変化、及び高度フィルタの変化を示した図面である。
【図１１】一実施形態において、チャネルの高度による音像の変化、及び高度フィルタの変化を示した図面である。
【図１２】一実施形態において、立体音響信号をレンダリングする方法のフローチャートである。
【図１３】一実施形態において、入力チャネルの高度角が臨界値以上であるとき、左右音像が逆転される現象を示した図面である。
【図１４】一実施形態による、水平チャネル及び正面高さチャネルを図示する図面である。
【図１５】一実施形態による正面高さチャネルの認識確率に係わる図面である。
【図１６】一実施形態による、前後混同を防止するための方法のフローチャートである。
【図１７】一実施形態による、サラウンド出力チャネルに遅延が追加された、水平チャネル及び正面高さチャネルを図示する図面である。
【図１８】一実施形態による、水平チャネル及び正面中央チャネル（ＴＦＣチャネル）を図示する図面である。
【発明を実施するための形態】
【００５２】
後述する本発明に係わる詳細な説明は、本発明が実施される特定実施形態を例示として図示する添付図面を参照する。かような実施形態は、当業者が本発明を実施するのに十分であるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないということが理解されなければならない。
【００５３】
例えば、本明細書に記載されている特定形状、構造及び特性は、本発明の精神及び範囲を外れずに、一実施形態から他の実施形態に変更されても具現される。また、それぞれの実施形態内の個別構成要素の位置または配置も、本発明の精神及び範囲を外れずに、変更されもするということが理解されなければならない。従って、後述する詳細な説明は、限定的な意味としてなされるものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲、及びそれと均等な全ての範囲を包括すると受け入れられなければならない。
【００５４】
図面において、類似した参照符号は、多くの側面にわたって、同一であるか、あるいは類似した構成要素を示す。そして、図面において、本発明を明確に説明するために、説明と関係ない部分は省略し、明細書全体を通じて、類似した部分については、類似した図面符号を付した。
【００５５】
以下、本発明が属する技術分野で当業者が本発明を容易に実施することができるように、本発明の多くの実施形態について、添付された図面を参照して詳細に説明する。しかし、本発明は、さまざまに異なる形態に具現され、ここで説明する実施形態に限定されるものではない。
【００５６】
明細書全体において、ある部分が他の部分と「連結」されているとするとき、それは、「直接連結」されている場合だけではなく、その中間に、他の素子を挟んで「電気的に連結」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。
【００５７】
以下、添付された図面を参照し、本発明について詳細に説明する。
【００５８】
図１は、一実施形態による立体音響再生装置の内部構造を示すブロック図である。
【００５９】
一実施形態による立体音響再生装置１００は、複数個の入力チャネルが再生される複数個の出力チャネルにミキシング（mixing）されたマルチチャネル（multi-channel）音響信号を出力することができる。このとき、出力チャネルの個数が、入力チャネルの個数よりさらに少なければ、入力チャネルは、出力チャネルの個数に合わせてダウンミキシング（downmixing）される。
【００６０】
立体音響とは、音の高低、音色だけではなく、方向や距離感まで再生して臨場感を有するようにし、音源が生じた空間に位置していない聴取者に、方向感、距離感及び空間感を知覚させる空間情報を付加した音響を意味する。
【００６１】
以下の説明において、音響信号の出力チャネルは、音響が出力されるスピーカの個数を意味する。出力チャネル数が多いほど、音響が出力されるスピーカの個数が多くなる。一実施形態による立体音響再生装置１００は、入力チャネル数が多いマルチチャネル音響信号が、出力チャネル数が少ない環境で出力されて再生されるように、マルチチャネル音響入力信号を再生される出力チャネルにレンダリングしてミキシングすることができる。このとき、マルチチャネル音響信号は、高度音響（elevated  sound）を出力することができるチャネルを含んでもよい。
【００６２】
該高度音響を出力することができるチャネルは、高度感を感じることができるように、聴取者の頭上に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。水平面チャネルは（horizontal  channel）、聴取者と水平面に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。
【００６３】
前述の、出力チャネル数が少ない環境は、高度音響を出力することができる出力チャネルを含まず、水平面上に配置されたスピーカを介して、音響を出力することができる環境を意味する。
【００６４】
また、以下の説明において、水平面チャネルは、水平面上に配置されたスピーカを介して出力される音響信号を含むチャネルを意味する。オーバーヘッドチャネル（overhead  channel）は、水平面ではない高度上に配置されて高度音を出力することができるスピーカを介して出力される音響信号を含むチャネルを意味する。
【００６５】
図１を参照すれば、一実施形態による立体音響再生装置１００は、オーディオコア１１０、レンダラ１２０、ミキサ１３０及び後処理部１４０を含んでもよい。
【００６６】
一実施形態による立体音響再生装置１００は、マルチチャネル入力音響信号をレンダリングし、ミキシングして再生される出力チャネルに出力することができる。例えば、マルチチャネル入力音響信号は、２２．２チャネル信号であり、再生される出力チャネルは、５．１チャネルまたは７．１チャネルでもある。立体音響再生装置１００は、マルチチャネル入力音響信号の各チャネルを対応させる出力チャネルを決定することによってレンダリングを行い、再生されるチャネルと対応した各チャネルの信号を合わせ、最終信号として出力することにより、レンダリングされたオーディオ信号をミキシングすることができる。
【００６７】
エンコーディングされた音響信号は、オーディオコア１１０に、ビットストリーム形態で入力され、オーディオコア１１０は、音響信号がエンコーディングされた方式に適するデコーダツールを選択し、入力された音響信号をデコーディングする。
【００６８】
レンダラ１２０は、マルチチャネル入力音響信号を、チャネル及び周波数によって、マルチチャネル出力チャネルにレンダリングすることができる。レンダラ１２０は、マルチチャネル音響信号に対して、オーバーヘッドチャネル及び水平面チャネルによる信号を、それぞれ三次元（３Ｄ：３−dimensional）レンダリング及び二次元（２Ｄ：two-dimensional）レンダリングすることができる。レンダラの構成及び具体的レンダリング方法については、以下の図２でさらに詳細に説明する。
【００６９】
ミキサ１３０は、レンダラ１２０によって、水平チャネルと対応した各チャネルの信号を合わせ、最終信号として出力することができる。ミキサ１３０は、所定区間別に、各チャネルの信号をミキシングすることができる。例えば、ミキサ１３０は、１フレーム別に、各チャネルの信号をミキシングすることができる。
【００７０】
一実施形態によるミキサ１３０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいてミキシングすることができる。言い換えれば、ミキサ１３０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいて、最終信号の振幅、または最終信号に適用されるゲイン（gain）を決定することができる。
【００７１】
後処理部１４０は、ミキサ１３０の出力信号を、各再生装置（スピーカまたはヘッドホンなど）に合わせ、マルチバンド信号に対する動的範囲制御及びバイノーラル方式（binauralizing）などを遂行する。後処理部１４０で出力された出力音響信号は、スピーカなどの装置を介して出力され、出力音響信号は、各構成部の処理によって、２Ｄまたは３Ｄに再生される。
【００７２】
図１に図示された一実施形態による立体音響再生装置１００は、オーディオデコーダの構成を中心に図示されており、付随的な構成は省略されている。
【００７３】
図２は、一実施形態による立体音響再生装置の構成のうちレンダラの構成を示すブロック図である。
【００７４】
レンダラ１２０は、フィルタリング部１２１とパンニング部１２３とから構成される。
【００７５】
フィルタリング部１２１は、デコーディングされた音響信号を、位置によって音色などを補正し、頭伝達関数（ＨＲＴＦ：head-related  transfer  function）フィルタを利用して、入力音響信号をフィルタリングすることができる。
【００７６】
フィルタリング部１２１は、オーバーヘッドチャネルを３Ｄレンダリングするために、頭部伝達関数（ＨＲＴＦ）フィルタを通過したオーバーヘッドチャネルを、周波数によって、それぞれ異なる方法によってレンダリングすることができる。
【００７７】
ＨＲＴＦフィルタは、両耳間のレベル差（ＩＬＤ：interaural  level  differences）や、両耳間で音響時間が到逹する時間差（ＩＴＤ：interaural  time  differences）などの単純な経路差だけではなく、頭表面での回折、耳介による反射など複雑な経路上の特性が、音の到来方向によって変化する現象によって立体音響を認識する。ＨＲＴＦフィルタは、音響信号の音質を変化させることによって立体音響が認識されるように、オーバーヘッドチャネルに含まれた音響信号を処理することができる。
【００７８】
パンニング部１２３は、入力音響信号を、各出力チャネルに対してパンニングさせるために、各周波数帯域別、各チャネル別に適用されるパンニング係数を求めて適用する。音響信号に対するパンニングは、２つの出力チャネル間の特定位置に音源をレンダリングするために、各出力チャネルに印加する信号の大きさを制御することを意味する。パンニング係数は、パンニングゲインという用語と混用が可能である。
【００７９】
パンニング部１２３は、オーバーヘッドチャネル信号のうち低周波信号については、add  to  the  closest  channel方法によってレンダリングし、高周波信号については、マルチチャネルパンニング（multichannel  panning）方法によってレンダリングすることができる。マルチチャネルパンニング方法によれば、マルチチャネル音響信号の各チャネルの信号が、各チャネル信号にレンダリングされるチャネルごとに互いに異なるように設定されたゲイン値が適用され、少なくとも１つの水平面チャネルにそれぞれレンダリングされる。ゲイン値が適用された各チャネルの信号は、ミキシングを介して合わされることにより、最終信号として出力される。
【００８０】
低周波信号は、回折性が強いので、マルチチャネルパンニング方法によって、マルチチャネル音響信号の各チャネルを、多くのチャネルにそれぞれ分けてレンダリングせず、１つのチャネルだけにレンダリングしても、聴取者が聞くとき、類似した音質を有することができる。従って、一実施形態による立体音響再生装置１００は、低周波信号をadd  to  the  closest  channel方法によってレンダリングすることにより、１つの出力チャネルに多くのチャネルがミキシングされることによって生じる音質劣化を防止することができる。すなわち、１つの出力チャネルに、多くのチャネルがミキシングされると、各チャネル信号間の干渉によって、音質が増幅されたり低減されたりして劣化されるので、１つの出力チャネルに、１つのチャネルをミキシングすることにより、音質劣化を防止することができる。
【００８１】
add  to  the  closest  channel方法によれば、マルチチャネル音響信号の各チャネルは、多くのチャネルに分けてレンダリングする代わりに、再生されるチャネルのうち最も近いチャネルにレンダリングされる。
【００８２】
また、立体音響再生装置１００は、周波数によって異なる方法によってレンダリングを行うことにより、スイートスポット（sweet  spot）を、音質劣化なしに広げることができる。すなわち、回折特性が強い低周波信号については、add  to  the  closest  channel方法によってレンダリングすることにより、１つの出力チャネルに、多くのチャネルがミキシングされることによって生じる音質劣化を防止することができる。スイートスポットとは、聴取者が、歪曲されていない立体音響を最適に聴取することができる所定範囲を意味する。
【００８３】
スイートスポットが広いほど、聴取者は、広い範囲で歪曲されていない立体音響を最適に聴取することができ、聴取者がスイートスポットに位置しない場合、音質または音像などが歪曲された音響を聴取することがある。
【００８４】
図３は、一実施形態による、複数個の入力チャネルが、複数個の出力チャネルにダウンミックスされる場合の各チャネルのレイアウトに係わる図面である。
【００８５】
三次元映像のように、実際と同一であるか、あるいはさらに誇張された現場感及び没入感を提供するために、三次元立体映像と共に、三次元立体音響を提供するための技術が開発されている。立体音響は、音響信号自体が音の高低及び空間感を有する音響を意味することにより、かような立体音響を再生するためには、最小２個以上のラウドスピーカ、すなわち、出力チャネルが必要である。また、ＨＲＴＦを利用するバイノーラル（binaural）立体音響を除いては、音の高低感、距離感及び空間感をさらに正確に再現するために、多い数の出力チャネルを必要とする。
【００８６】
従って、２チャネル出力を有するステレオシステムに続き、５．１チャネルシステム、Auro  ３Ｄシステム、Holman  １０．２チャネルシステム、ＥＴＲＩ／Samsung  １０．２チャネルシステム、ＮＨＫ２２．２チャネルシステムなど多様なマルチチャネルシステムが提案されて開発されている。
【００８７】
図３は、２２．２チャネルの立体音響信号を、５．１チャネルの出力システムで再生する場合について説明するための図面である。
【００８８】
５．１チャネルシステムは、５チャネルサラウンドマルチチャネルサウンドシステムの一般的な名称であり、家庭のホームシアタ及び劇場用サウンドシステムとして、最も普遍的に普及されて使用されているシステムである。全ての５．１チャネルは、ＦＬ（front  left）チャネル、Ｃ（center）チャネル、ＦＲ（front  right）チャネル、ＳＬ（surround  left）チャネル及びＳＲ（surround  right）チャネルを含む。図３から分かるところのように、５．１チャネルの出力は、いずれも同じ平面上に存在するために、物理的には、二次元システムに該当し、５．１チャネルシステムにおいて、三次元立体音響信号を再生するためには、再生される信号に立体感を付与するためのレンダリング過程を経なればならない。
【００８９】
５．１チャネルシステムは、映画だけではなく、ＤＶＤ（digital  versatile  disc）映像、ＤＶＤ音響、ＳＡＣＤ（super  audio  compact  disc）またはデジタル放送に至るまで多様な分野で広く使用されている。しかし、５．１チャネルシステムが、たとえステレオシステムに比べ、向上した空間感を提供するとしても、さらに広い聴取空間の形成において、さまざまな制約がある。特に、スイートスポットが狭く形成され、高度角（elevation  angle）を有する垂直音像を提供することができないために、劇場のように広い聴取空間には適さない。
【００９０】
ＮＨＫで提案した２２．２チャネルシステムは、図３のように、３層の出力チャネルからなる。アッパレイヤ（upper  layer）３１０は、ＶＯＧ（voice  of  god），Ｔ０，Ｔ１８０，ＴＬ４５，ＴＬ９０，ＴＬ１３５，ＴＲ４５，ＴＲ９０及びＴＲ４５チャネルを含む。このとき、各チャネル名の最前のＴというインデックスは、アッパレイヤを意味し、ＬまたはＲというインデックスは、それぞれ左側または右側を意味し、後の数字は、中心チャネル（center  channel）からの方位角（azimuth  angle）を意味する。アッパレイヤは、またトップレイヤとも呼ばれる。
【００９１】
ＶＯＧチャネルは、聴取者の頭上に存在するチャネルであり、９０°の高度角を有し、方位角はない。ただし、ＶＯＧチャネルは、位置が少しだけよじれても、方位角を有し、高度角が９０°ではない値を有することになるので、それ以上ＶＯＧチャネルではなくなる。
【００９２】
ミドルレイヤ（middle  layer）３２０は、既存５．１チャネルのような平面において、５．１チャネルの出力チャネル以外に、ＭＬ６０，ＭＬ９０，ＭＬ１３５，ＭＲ６０，ＭＲ９０及びＭＲ１３５チャネルを含む。このとき、各チャネル名の最も前のＭというインデックスは、ミドルレイヤを意味し、後ろの数字は、中心（center）チャネルからの方位角を意味する。
【００９３】
ローレイヤ（low  layer）３３０は、Ｌ０，ＬＬ４５，ＬＲ４５チャネルを含む。このとき、各チャネル名の最も前のＬというインデックスは、ローレイヤを意味し、後ろの数字は、中心（center）チャネルからの方位角を意味する。
【００９４】
２２．２チャネルにおいて、ミドルレイヤは、水平チャネル（horizontal  channel）と呼ばれ、方位角０°または方位角１８０°に該当するＶＯＧ，Ｔ０，Ｔ１８０，Ｔ１８０，Ｍ１８０，Ｌ及びＣチャネルは、垂直チャネル（vertical  channel）と呼ばれる。
【００９５】
２２．２チャネル入力信号を５．１チャネルシステムで再生する場合、最も一般的な方法は、ダウンミックス数式を利用して、チャネル間で信号を分配することができる。または、仮想の高度感を提供するレンダリングを行い、５．１チャネルシステムで高度感を有する音響信号を再生する。
【００９６】
図４は、出力チャネルの標準レイアウトと、設置レイアウトとの間に位置偏差がある場合、一実施形態によるパンニング部を示す図面である。
【００９７】
マルチチャネル立体音響信号を、入力信号のチャネル数より少ない出力チャネルで再生する場合、本来の音像が歪曲され、かような歪曲を補正するために、さまざまな技術が研究されている。
【００９８】
一般的なレンダリング技術は、スピーカ、すなわち、出力チャネルが標準レイアウトに合わせて設置された場合を基準に、レンダリングを行うようになっている。しかし、出力チャネルが、標準レイアウトと正確に一致するように設置されていない場合、音像位置の歪曲及び音色の歪曲が発生する。
【００９９】
音像の歪曲は、大きく見て、高度感の歪曲、位相角の歪曲があるが、ある程度低いレベルでは、大きく敏感ではない。しかし、両耳が左右に位置する身体的な特性上、左−中央−右の音像が変わる場合、音像歪曲をさらに敏感に認知することができる。特に、正面の音像については、さらに敏感に認知することになる。
【０１００】
従って、図３のように、２２．２チャネルを５．１チャネルに再現する場合、左右にあるチャネルより、０°または１８０°に位置するＶＯＧ、Ｔ０、Ｔ１８０、Ｔ１８０、Ｍ１８０、Ｌ及びＣのようなチャネルは、音像がよじれないように、特に留意しなければならない。
【０１０１】
オーディオ入力信号をパンニングするときは、基本的に２段階の過程を経る。最初の段階は、入力されたマルチチャネル信号に対して、出力チャネルの標準レイアウトによってパンニング係数を計算する段階であり、初期化（initializing）過程に該当する。２番目の段階は、出力チャネルが、実際に設置されたレイアウトに基づいて計算された係数を修正する段階である。かようなパンニング係数修正段階を経れば、出力信号の音像がさらに正確な位置に存在することになる。
【０１０２】
従って、パンニング部１２３の処理のためには、オーディオ入力信号以外にも、出力チャネルの設置レイアウト、及び出力チャネルの標準レイアウトに係わる情報が必要である。Ｌチャネル及びＲチャネルからＣチャネルをレンダリングする場合であるならば、オーディオ入力信号は、Ｃで再生されなければならない入力信号を、オーディオ出力信号は、設置レイアウトによって、Ｌチャネル及びＲチャネルで出力された修正されたパンニング信号を意味する。
【０１０３】
方位偏差（azimuth  deviation）のみを考慮する二次元パンニング方法は、出力チャネルの標準レイアウトと設置レイアウトとの間に、高度偏差（elevation  deviation）がある場合、高度偏差による効果を補正することができない。従って、出力チャネルの標準レイアウトと設置レイアウトとの間に、高度偏差がある場合であるならば、図４でのように、高度効果補正部１２４を介して、高度偏差による高度上昇効果を補正しなければならない。
【０１０４】
図５は、一実施形態による立体音響再生装置の構成のうち、デコーダ及び立体音響レンダラの構成を示すブロック図である。図５を参照すれば、一実施形態による立体音響再生装置１００は、デコーダ１１０及び立体音響レンダラ１２０の構成を中心に図示されており、それ以外の構成は、省略されている。
【０１０５】
立体音響再生装置に入力された音響信号は、エンコーディングされた信号であり、ビットストリームの形態で入力される。デコーダ１１０は、入力音響信号に対して、音響信号がエンコーディングされた方式に適するデコーダツールを選択し、入力された音響信号をデコーディングし、デコーディングされた音響信号を立体音響レンダラ１２０に伝達する。
【０１０６】
立体音響レンダラ１２０は、フィルタ係数及びパンニング係数を獲得し、更新する初期化部１２５、及びフィルタリングとパンニングとを行うレンダリング部１２７から構成される。
【０１０７】
レンダリング部１２７は、デコーダに伝達された音響信号に対して、フィルタリング及びパンニングを行う。空間音色フィルタリング部１２７１は、音の位置に係わる情報を処理し、レンダリングされた音響信号が所望位置で再生されるようにし、空間位置パンニング部１２７２は、音の音色に係わる情報を処理し、レンダリングされた音響信号が所望位置に適する音色を有するようにする。
【０１０８】
空間音色フィルタリング部１２７１及び空間位置パンニング部１２７２は、図２で説明したフィルタリング部１２１及びパンニング部１２３と類似した機能を遂行する。ただし、図２のフィルタリング部及びパンニング部１２３は、簡略化して示した図面において、初期化部などフィルタ係数及びパンニング係数を求めるための構成が省略されたものであるということに留意しなければならない。
【０１０９】
このとき、フィルタリングを行うためのフィルタ係数、及びパンニングを行うためのパンニング係数は、初期化部１２５から伝達される。初期化部１２５は、高度レンダリングパラメータ獲得部１２５１及び高度レンダリングパラメータ更新部１２５２から構成される。
【０１１０】
高度レンダリングパラメータ獲得部１２５１は、出力チャネル、すなわち、ラウドスピーカの構成及び配置を利用して、高度レンダリングパラメータの初期値を獲得する。このとき、高度レンダリングパラメータの初期値は、標準レイアウトによる出力チャネルの構成、及び高度レンダリング設定による入力チャネルの構成に基づいて、高度レンダリングパラメータの初期値を算出するか、あるいは入力／出力チャネル間のマッピング関係によって、既保存の初期値を読み取る。高度レンダリングパラメータは、空間音色フィルタリング部１２７１で利用するためのフィルタ係数、または空間位置パンニング部１２７２で利用するためのパンニング係数を含んでもよい。
【０１１１】
しかし、前述のように、高度レンダリングのための高度設定値に、入力チャネルの設定及び偏差が存在することがある。かような場合、固定された高度設定値を利用すれば、本来の入力立体音響信号を、入力チャネルと構成が異なる出力チャネルを介して、さらに類似して立体的に再生する仮想レンダリングの目的を達成し難い。
【０１１２】
一例として、高度感が非常に高い場合、音像が小さく、音質が劣化される現象が生じ、高度感が非常に低い場合、仮想レンダリングの効果を感じ難いという問題が生じる。従って、ユーザの設定によって、または入力チャネルに適する仮想レンダリング程度によって、高度感の調節が必要である。
【０１１３】
高度レンダリングパラメータ更新部１２５２は、高度レンダリングパラメータ獲得部１２５１で獲得した高度レンダリングパラメータの初期値を、入力チャネルの高度情報、またはユーザ設定高度に基づいて、高度レンダリングパラメータを更新する。このとき、もし出力チャネルのスピーカレイアウトが、標準レイアウトと比較し、偏差が存在するならば、それによる影響を補正するための過程が追加される。このときの出力チャネルの偏差は、高度角または方位角の差による偏差情報を含んでもよい。
【０１１４】
初期化部１２５で獲得されて更新された高度レンダリングパラメータを利用して、レンダリング部１２７において、フィルタリング及びパンニングを終えた出力音響信号は、各出力チャネルに対応するスピーカを介して再生される。
【０１１５】
図６ないし図８は、一実施形態によるチャネルレイアウトにおいて、アッパレイヤの高度によるアッパレイヤチャネルのレイアウトを示した図面である。
【０１１６】
入力チャネル信号が２２．２チャネルの立体音響信号であり、図３のようなレイアウトによって配置されるとすれば、入力チャネルのうちアッパレイヤは、高度角によって図４のようなレイアウトを有する。このとき、高度角は、それぞれ０°、２５°、３５°及び４５°である場合を仮定し、高度角が９０°に該当するＶＯＧチャネルは、省略されている。高度角が０°であるアッパレイヤチャネルは、水平面（ミドルレイヤ）３２０に存在するのである。
【０１１７】
図６は、アッパレイヤチャネルを正面から見たときのチャネル配置を示している。図６について説明すれば、８個のアッパレイヤチャネルが、それぞれ４５°ずつの方位角差を有する場合であるので、垂直チャネル軸を基準に、正面からアッパレイヤチャネルを見れば、ＴＬ９０チャネル及びＴＲ９０チャネルを除いた残りの６つのチャネルは、それぞれＴＬ４５チャネル及びＴＬ１３５チャネル、Ｔ０チャネル及びＴ１８０チャネル、ＴＲ４５チャネル及びＴＲ１３５チャネルが二つずつ重なって示されることになる。それは、図８と比較して説明すれば、さらに明確に分かるであろう。
【０１１８】
図７は、アッパレイヤチャネルを上から見たときのチャネル配置を示している。図８は、アッパレイヤチャネル配置を三次元で示したものである。８個のアッパレイヤチャネルが、それぞれ４５°ずつの方位角差を有して等間隔に配置されていることを確認することができる。
【０１１９】
高度レンダリングを介して、立体音響に再生されるコンテンツが、例えば、高度角３５°を有するように固定されているならば、全ての入力音響信号に対して、３５°の高度角で高度レンダリングを行ってもよく、最適の結果を得ることができるであろう。
【０１２０】
しかし、コンテンツによって、当該コンテンツの立体音響に対する高度角が異なるように適用され、図６ないし図８で確認することができるように、チャネルの高度によって、各チャネルの位置及び距離などが異なり、それによる信号の特性も異なる。
【０１２１】
従って、固定された高度角で仮想レンダリングを行う場合、音像の歪曲が発生し、最適のレンダリング性能を得るためには、入力立体音響信号の高度角、すなわち、入力チャネルの高度角を考慮したレンダリングを行うことが必要である。
【０１２２】
図９ないし図１１は、一実施形態において、チャネルの高度による音像の変化、及び高度フィルタの変化を示した図面である。図９は、高さチャネルの高度が、それぞれ０°、３５°及び４５°である場合、各チャネルの位置を示した図面である。図９の図面は、聴取者の後ろから見た様子であり、図面に表示されたチャネルは、それぞれＭＬ９０チャネルまたはＴＬ９０チャネルである。高度角が０°である場合は、水平面に存在するチャネルであり、ＭＬ９０チャネルに該当し、高度角が３５°及び４５°である場合は、アッパレイヤチャネルであり、ＴＬ９０チャネルに該当する。
【０１２３】
図１０は、図９でのように位置する各チャネルにおいて、音響信号が出力されるとき、聴取者の両耳に感じられる信号差について説明するための図面である。
【０１２４】
高度角がないＭＬ９０において、音響信号が出力されるとすれば、原則上、左耳でのみ音響信号が認識され、右耳では、音響信号が認識されない。
【０１２５】
しかし、高度が高くなるほど、左耳で認識される音響信号と、右耳で認識する音響信号との差は、だんだんと小さくなり、チャネルの高度角がだんだんと増大し、高度角が９０°になれば、聴取者の頭上にあるチャネル、すなわち、ＶＯＧチャネルになり、両耳に同一音響信号が認識されることになる。
【０１２６】
従って、高度角による、両耳が認識する音響信号に対する変化は、図１０でのように示されるのである。
【０１２７】
高度角が０°であるときの、両耳で認識する音響信号について説明すれば、左耳でのみ音響信号を認識し、右耳では、音響信号を認識することができない。かような場合、ＩＬＤ（interaural  level  difference）及びＩＴＤ（interaural  time  difference）が最大になり、聴取者は、左側水平面チャネルに存在するＭＬ９０チャネルの音像として認識することになるのである。
【０１２８】
高度角が３５°であるとき、両耳で認識する音響信号、及び高度角が４５°であるとき、両耳で認識する音響信号の差について説明すれば、高度角が高くなるにつれ、両耳で認識する音響信号の差が小さくなり、かような差によって、聴取者は、出力音響信号において、高度感の差を感じることができるのである。
【０１２９】
高度角３５°であるチャネルの出力信号は、高度角４５°であるチャネルの出力信号に比べ、音像及びスイートスポットが広く、音質が自然な特徴を有し、高度角４５°であるチャネルの出力信号は、高度角が３５°であるチャネルの出力信号に比べ、音像が狭くなり、スイートスポットも狭くなるが、強さ没入感を提供する音場感を得ることができるという特徴がある。
【０１３０】
先に言及したように、高度角が高くなるほど高度感が高くなり、没入感が強まるが、音像の幅は狭くなる。かような現象は、高度角が高くなるほど、チャネルの物理的位置がだんだんと内側に入り、結局、聴取者に近くなるからである。
【０１３１】
従って、高度角の変化による、パンニング係数の更新は、次のように決定される。高度角が高くなるほど音像が広くなるように、パンニング係数を更新し、高度角が低くなるほど音像が狭くなるように、パンニング係数を更新する。
【０１３２】
例えば、仮想レンダリングのための基本設定高度角が４５°であり、高度角を３５°に低くして仮想レンダリングを行う場合を仮定する。かような場合、レンダリングする仮想チャネルと同側（ipsilateral）出力チャネルに適用するレンダリングパンニング係数を増大させ、残りのチャネルに適用するパンニング係数は、パワーノーマライズ（power  normalization）を介して決定する。
【０１３３】
具体的な説明のために、２２．２チャネルの入力マルチチャネル信号を、５．１チャネルの出力チャネル（スピーカ）を介して再生する場合を仮定する。かような場合、入力チャネルのうち仮想レンダリングが適用される、高度角を有する２２．２チャネルの入力チャネルは、ＣＨ＿Ｕ＿０００  Ｔ０、ＣＨ＿Ｕ＿Ｌ４５  ＴＬ４５、ＣＨ＿Ｕ＿Ｒ４５  ＴＲ４５、ＣＨ＿Ｕ＿Ｌ９０  ＴＬ９０、ＣＨ＿Ｕ＿Ｒ９０  ＴＲ９０、ＣＨ＿Ｕ＿Ｌ１３５  ＴＬ１３５、ＣＨ＿Ｕ＿Ｒ１３５  ＴＲ１３５、ＣＨ＿Ｕ＿１８０  Ｔ１８０、ＣＨ＿Ｔ＿０００  ＶＯＧの９個チャネルになり、５．１チャネルの出力チャネルは、水平面上に存在するＣＨ＿Ｍ＿０００、ＣＨ＿Ｍ＿Ｌ０３０、ＣＨ＿Ｍ＿Ｒ０３０、ＣＨ＿Ｍ＿Ｌ１１０、ＣＨ＿Ｒ＿１１０の５個チャネルになる（ウーファーチャネルは除外）。
かように、５．１出力チャネルを利用して、ＣＨ＿Ｕ＿Ｌ４５チャネルをレンダリングする場合、基本設定高度角が４５°であり、高度角を３５°に低くするならば、ＣＨ＿Ｕ＿Ｌ４５チャネルと同側にある出力チャネルであるＣＨ＿Ｍ＿Ｌ０３０、及びＣＨ＿Ｍ＿Ｌ１１０に適用されるパンニング係数を３ｄＢ増加させるように更新し、残りの３つのチャネルのパンニング係数は減少させ、
【０１３４】
【数１】
2019062548.tif 000003
を満足させるように更新するのである。このとき、Ｎは、任意の仮想チャネルをレンダリングするための出力チャネルの個数を意味し、ｇｉは、各出力チャネルに適用されるパンニング係数を意味する。
【０１３５】
かような過程は、各高さ入力チャネルに対して、それぞれ遂行されなければならない。
【０１３６】
反対に、仮想レンダリングのための基本設定高度角が４５°であるが、高度角５５°に高めて仮想レンダリングを行う場合を仮定する。かような場合、レンダリングする仮想チャネルと同側出力チャネルに適用するレンダリングパンニング係数を低減させ、残りのチャネルに適用するパンニング係数は、パワーノーマライズを介して決定する。
【０１３７】
先に例として挙げた５．１出力チャネルを利用して、ＣＨ＿Ｕ＿Ｌ４５チャネルをレンダリングする場合、基本設定高度角が４５°であるが、５５°に高くするならば、ＣＨ＿Ｕ＿Ｌ４５チャネルと同側にある出力チャネルであるＣＨ＿Ｍ＿Ｌ０３０、及びＣＨ＿Ｍ＿Ｌ１１０に適用されるパンニング係数を３ｄＢ低減させるように更新し、残りの３つのチャネルのパンニング係数は増加させ、
【０１３８】
【数２】
2019062548.tif 000004
を満足させるように更新するのである。このとき、Ｎは、任意の仮想チャネルをレンダリングするための出力チャネルの個数を意味し、ｇｉは、各出力チャネルに適用されるパンニング係数を意味する。
【０１３９】
ただし、かように高度感を高くする場合は、パンニング係数更新によって、左右音像が逆転しないように留意する必要があり、それについては、図８で説明する。
【０１４０】
以下、図１１を参照し、音色フィルタ係数を更新する方法について説明する。
【０１４１】
図１１は、チャネルの高度角が３５°である場合、及び高度角が４５°である場合、周波数による音色フィルタの特徴を示した図面である。図１１から分かるように、高度角が４５°であるチャネルの音色フィルタは、高度角が３５°であるチャネルの音色フィルタに比べ、高度角による特徴がさらに大きく示されるということを確認することができる。
【０１４２】
結局、基準高度角よりさらに大きい高度角を有するように、仮想レンダリングを行う場合、基準高度角に対してレンダリングを行うとき、大きさ（magnitude）を増大させなければならない周波数帯域（本来のフィルタ係数が、１より大きい帯域）については、さらに大きく増加（更新されたフィルタ係数を、１より大きく増加）させ、大きさを減少させなければならない周波数帯域（本来のフィルタ係数が、１より小さい帯域）については、さらに小さく減少（更新されたフィルタ係数を、１より小さく減少）させるのである。
【０１４３】
かようなフィルタ大きさ特徴をデシベル（decibel）スケールで示せば、図１１でのように、出力信号の大きさを増大させなければならない周波数帯域では、正の値であり、出力信号の大きさを低減させなければならない周波数帯域では、負の値を有することになる。また、図１１で確認することができるように、高度角が低いほど、フィルタ大きさの形態（shape）が平ら（plat）になるように示される。
【０１４４】
水平面チャネルを利用して、高さチャネルを仮想レンダリングする場合、高度角が低いほど、水平面チャネルの信号と類似した音色を有し、高度角が高くなるほど、高度感の変化が大きく示されるために、高度角が高くなるほど、音色フィルタによる影響を大きくし、高度角上昇による高度感効果を強調するのである。反対に、高度角が低くなるほど、音色フィルタによる影響を低減させ、高度感効果を低下させることができる。
【０１４５】
従って、高度角の変化による、フィルタ係数の更新は、本来のフィルタ係数を基本設定高度角、及び実際にレンダリングする高度角に基づいた加重値を利用して更新する。
【０１４６】
仮想レンダリングのための基本設定高度角が４５°であり、基本高度角より低い３５°でレンダリングを行って高度感を低くする場合であるならば、図１１の４５°のフィルタに該当する係数が初期値として決定されており、３５°のフィルタに該当する係数に更新されなければならないのである。
【０１４７】
従って、基本設定高度角である４５°に比べ、低い高度角である３５°にレンダリングして高度感を低くする場合であるならば、周波数帯域によるフィルタの谷と床とが、いずれも４５°のフィルタに比べ、緩慢に修正されるように、フィルタ係数が更新されなければならないのである。
【０１４８】
反対に、基本設定高度角が４５°であるが、基本高度角より高い５５°にレンダリングを行って高度感を高くする場合であるならば、周波数帯域によるフィルタの谷と床とがいずれも４５°のフィルタに比べ、強く修正されるようにフィルタ係数が更新されなければならないのである。
【０１４９】
図１２は、一実施形態において、立体音響信号をレンダリングする方法のフローチャートである。
【０１５０】
レンダラは、複数個の入力チャネルを含むマルチチャネル音響信号を受信する（１２１０）。入力されたマルチチャネル音響信号は、レンダリングを介して、複数個の出力チャネル信号に変換され、入力チャネルの数より、出力チャネルの数がさらに少ないダウンミックスの、例えば、２２．２チャネルを有する入力信号が、５．１チャネルを有する出力信号に変換されるのである。
【０１５１】
かように、三次元の立体音響入力信号を、二次元の出力チャネルを利用してレンダリングする場合、水平入力チャネルについては、一般レンダリングが適用され、高度角を有する高さチャネルについては、高度感を付与するための仮想レンダリングが適用される。
【０１５２】
レンダリングを行うためには、フィルタリングに利用されるフィルタ係数、及びパンニングに利用されるパンニング係数が必要である。このとき、初期化過程において、出力チャネルの標準レイアウト、及び仮想レンダリングのための基本設定高度角によって、レンダリングパラメータを獲得する（１２２０）。基本設定高度角は、レンダラによって多様に決定されるが、かように固定された高度角で仮想レンダリングを行う場合、ユーザの趣向によって、または入力信号の特性によって、仮想レンダリングの満足度及び効果が落ちるという結果が示される。
【０１５３】
従って、出力チャネルの構成が、当該出力チャネルの標準レイアウッワ偏差が存在するか、あるいは仮想レンダリングを行わなければならない高度がレンダラの基本設定高度と異なるのであるならば、レンダリングパラメータを更新する（１２３０）。
【０１５４】
このとき、更新されるレンダリングパラメータは、フィルタ係数の初期値に、高度角偏差に基づいて決定された加重値を付与して更新されたフィルタ係数、または入力チャネルの高度と、基本設定高度との大きさ比較結果によって、パンニング係数の初期値を増加または減少させて更新されたパンニング係数を含んでもよい。
【０１５５】
フィルタ係数及びパンニング係数を更新する具体的な方法は、図９ないし図１１で詳細に説明したので省略する。ただし、更新されたフィルタ係数及びパンニング係数は、追加して修正されたり拡張されたりするが、それについては追ってさらに詳細に説明する。
【０１５６】
もし出力チャネルのスピーカレイアウトが、標準レイアウトと比べ、偏差が存在するのであるならば、それによる影響を補正するための過程が追加されるが、それに係わる具体的な方法の説明は省略する。このときの出力チャネルの偏差は、高度角または方位角差による偏差情報を含んでもよい。
【０１５７】
図１３は、一実施形態において、入力チャネルの高度角が臨界値以上であるとき、左右音像が逆転される現象を示した図面である。
【０１５８】
両耳に到逹した音の時間差、大きさ差、周波数特性差によって、音像の位置を区別する。両耳に到逹した信号特性の差が大きいときは、その位置をさらに容易に把握するだけではなく、少しの誤差が発生しても、音像の前後あるいは左右の混同は起きない。しかし、頭の真後ろ近辺や真ん前近辺に位置する仮想音源は、両耳に到逹する時間差及び大きさ差がほとんどないので、周波数特性差だけでその位置を認知しなければならない。
【０１５９】
図１０の場合と同様に、図１３は、聴取者の後ろから見た様子であり、四角で表示されたチャネルは、ＣＨ＿Ｕ＿Ｌ９０チャネルである。このとき、ＣＨ＿Ｕ＿Ｌ９０の高度角がφであるとすれば、φが増加するほど、聴取者の左耳及び右耳に到逹する音響信号のＩＬＤ及びＩＴＤは、だんだんと小さくなり、両耳で認識する音響信号は、類似した音像を有することになる。高度角φの最大値が９０°であり、φが９０°になれば、聴取者の頭上に存在するＶＯＧチャネルになり、両耳に同一音響信号が受信されることになる。
【０１６０】
図１３の左側図面のように、φが相当大きい値を有するならば、高度感が高くなり、強さ没入感を提供する音場感を感じることができる。しかし、高度感が高くなるにつれ、音像が狭くなり、スイートスポットが狭く形成されるので、聴取者の位置が少しだけ移動するか、あるいはチャネルが少しだけずれる場合でも、音像の左右逆転現象が示される。
【０１６１】
図１３の右側図面は、聴取者が左側に若干移動した場合、聴取者とチャネルとの位置を示した図面である。チャネル高度角φが大きい値を有し、高度感が高く形成された場合であるので、聴取者が若干移動しても、左右チャネルの相対的な位置が大きく変化するようになり、最悪の場合、左側チャネルにもかかわらず、右耳に到逹する信号がさらに大きく認識され、図１３の右側図面のように、音像の左右反転が発生する。
【０１６２】
レンダリング過程においては、高度感を付与することより、音像の左右バランス（balance）を維持し、音像の左右位置を定位させることがより重要な課題であるので、かような状況が発生しないためには、仮想レンダリングのための高度角を、一定範囲以下に制限することが必要である。
【０１６３】
従って、レンダリングのための基本設定高度角より、さらに高い高度感を得るために、高度角を上昇させる場合、パンニング係数を低下させなければならないが、一定値以下では小さくならないように、パンニング係数の最小臨界値を設定する必要がある。
【０１６４】
例えば、６０°以上のレンダリング高度を、６０°以上に上昇させた場合でも、強制的に、臨界高度角６０°に対して更新されたパンニング係数を適用し、パンニングを行うならば、音像の左右逆転現象を防止することができる。
【０１６５】
仮想レンダリングを利用して、立体音響を生成すれば、サラウンドチャネルの再生成分によって、音響信号の前後混同（front-back  confusion）現象が生じる。前後混同現象とは、立体音響において、仮想音源が前方（front）に存在するか、後方（back）に存在するかということを判断することができない現象を意味する。
【０１６６】
図１３では、聴取者が移動した場合を仮定したが、音像が高くなるほど、聴取者が移動せずとも、個々人の聴覚器官の特性によって、音像の左右混同または前後混同が発生する可能性が高いという点は、当業者に自明であろう。
【０１６７】
以下では、高度レンダリングパラメータ、すなわち、高度パンニング係数及び高度フィルタ係数を初期化して更新する具体的な方法について説明する。
【０１６８】
高さ入力チャネルｉinの高度角ｅｌｖが３５°より大きいとき、ｉinが正面（frontal）チャネルである場合（方位角−９０°〜＋９０°）であるならば、更新された高度フィルタ係数
【０１６９】
【数３】
2019062548.tif 000005
は、数式（１）ないし数式（３）によって決定される。
【０１７０】
【数４】
2019062548.tif 000006
一方、高さ入力チャネルｉinの高度角ｅｌｖが３５°より大きいとき、ｉinが背面（rear）チャネルである場合（方位角−１８０°〜−９０°または９０°〜１８０°）であるならば、更新された高度フィルタ係数
【０１７１】
【数５】
2019062548.tif 000007
は、数式（４）ないし数式（６）によって決定される。
【０１７２】
【数６】
2019062548.tif 000008
このとき、ｆｋは、ｋ番目周波バンドのノーマライズされた中心周波数であり、ｆｓは、サンプリング周波数であり、
【０１７３】
【数７】
2019062548.tif 000009
は、基準高度角であるときの高度フィルタ係数初期値である。
【０１７４】
高度レンダリングのための高度角が基準高度角ではない場合、ＴＢＣチャネル（ＣＨ＿Ｕ＿１８０）及びＶＯＧチャネル（ＣＨ＿Ｔ＿０００）を除いた他の高さ入力チャネルに係わる高度パンニング係数も、更新されなければならない。
【０１７５】
基準高度角（elevation  angle）が３５°であり、ｉｉｎがＴＦＣチャネル（ＣＨ＿Ｕ＿０００）である場合であるならば、更新された高度パンニング係数
【０１７６】
【数８】
2019062548.tif 000010
および
【０１７７】
【数９】
2019062548.tif 000011
は、それぞれ数式（７）及び数式（８）のように決定される。
【０１７８】
【数１０】
2019062548.tif 000012
このとき、
【０１７９】
【数１１】
2019062548.tif 000013
は、基準高度角３５°であり、ＴＦＣチャネルを仮想レンダリングするためのＳＬ出力チャネルのパンニング係数
【０１８０】
【数１２】
2019062548.tif 000014
は、基準高度角３５°であり、ＴＦＣチャネルを仮想レンダリングするためのＳＲチャネルのパンニング係数である。
【０１８１】
ＴＦＣチャネルは、高度感を制御するために、左右チャネルゲインを調節することが不可能であるので、正面（frontal）チャネルに対する背面（rear）チャネルである、ＳＬチャネル及びＳＲチャネルに係わるゲインの比率を調節し、高度感を制御するのである。さらに詳細な内容は後述する。
【０１８２】
ＴＦＣチャネル以外のチャネルについては、高さ入力チャネルの高度角が基準高度角である３５°より大きいとき、ｇＩ（ｅｌｖ）とｇＣ（ｅｌｖ）とのゲイン差によって、入力チャネルと同側チャネルのゲインは低減され、入力チャネルと異側（contralateral）チャネルのゲインは増加される。
【０１８３】
例えば、入力チャネルがＣＨ＿Ｕ＿Ｌ０４５チャネルであるならば、入力チャネルと同側にある出力チャネルは、ＣＨ＿Ｍ＿Ｌ０３０及びＣＨ＿Ｍ＿Ｌ１１０であり、入力チャネルと異側にある出力チャネルは、ＣＨ＿Ｍ＿Ｒ０３０及びＣＨ＿Ｍ＿Ｒ１１０になる。
【０１８４】
以下では、入力チャネルが側面チャネルである場合、または正面チャネルであるか、あるいは背面チャネルである場合、ｇＩ（ｅｌｖ）及びｇＣ（ｅｌｖ）を求め、そこから高度パンニングゲインを更新する具体的な方法について説明する。
【０１８５】
高度角ｅｌｖを有する入力チャネルが、側面チャネル（方位角−１１０°〜−７０°または７０°〜１１０°）であるとき、ｇＩ（ｅｌｖ）及びｇＣ（ｅｌｖ）は、それぞれ数式（９）及び数式（１０）によって決定される。
【０１８６】
【数１３】
2019062548.tif 000015
高度角ｅｌｖを有する入力チャネルが、正面チャネル（方位角−７０°〜＋７０°）または背面チャネル（方位角−１８０°〜−１１０°または１１０°〜１８０°）であるとき、ｇＩ（ｅｌｖ）及びｇＣ（ｅｌｖ）は、それぞれ数式（１１）及び数式（１２）によって決定される。
【０１８７】
【数１４】
2019062548.tif 000016
数式（９）ないし数式（１２）によって得られた、ｇＩ（ｅｌｖ）及びｇＣ（ｅｌｖ）に基づいて、高度パンニング係数を更新することができる。
【０１８８】
入力チャネルと同側にある出力チャネルに係わる更新された高度パンニング係数
【０１８９】
【数１５】
2019062548.tif 000017
及び入力チャネルと異側にある出力チャネルに係わる更新された高度パンニング係数
【０１９０】
【数１６】
2019062548.tif 000018
は、それぞれ数式（１３）及び数式（１４）によって決定される。
【０１９１】
【数１７】
2019062548.tif 000019
出力信号のエネルギーレベルを一定に維持するために、数式（１３）及び数式（１４）によって得られたパンニング係数は、数式（１５）及び数式（１６）によってパワーノーマライズされる。
【０１９２】
【数１８】
2019062548.tif 000020
かように、入力チャネルのパンニング係数の二乗の和が１になるように、パワーノーマライズ過程を経ることにより、パンニング係数更新前出力信号のエネルギーレベルと、パンニング係数更新後出力信号のエネルギーレベルとを同一に維持することができる。
【０１９３】
【数１９】
2019062548.tif 000021
及び
【０１９４】
【数２０】
2019062548.tif 000022
において、Ｈというインデックスは、高周波帯域においてのみ、高度パンニング係数が更新されるということを示す。数式（１３）及び数式（１４）の更新された高度パンニング係数は、高周波帯域２．８ｋＨｚ〜１０ｋＨｚ帯域においてのみ適用される。しかし、サラウンドチャネルに対して、高度パンニング係数を更新するときには、高周波帯域のみではなく、低周波帯域についても、高度パンニング係数を更新する。
【０１９５】
高度角ｅｌｖを有する入力チャネルが、サラウンドチャネル（方位角−１６０°〜−１１０°または１１０°〜１６０°）であるとき、２．８ｋＨｚ以下の低周波帯域において、入力チャネルと同側にある出力チャネルに係わる更新された高度パンニング係数
【０１９６】
【数２１】
2019062548.tif 000023
及び入力チャネルと異側にある出力チャネルに係わる更新された高度パンニング係数
【０１９７】
【数２２】
2019062548.tif 000024
は、それぞれ式（１７）及び式（１８）によって決定される。
【０１９８】
【数２３】
2019062548.tif 000025
高周波帯域と同様に、低周波帯域の更新された高度パンニングゲインも、出力信号のエネルギーレベルを一定に維持するために、数式（１５）及び数式（１６）によって得られたパンニング係数は、数式（１９）及び数式（２０）によってパワーノーマライズされる。
【０１９９】
【数２４】
2019062548.tif 000026
かように、入力チャネルのパンニング係数の二乗の和が１になるように、パワーノーマライズ過程を経ることにより、パンニング係数更新前出力信号のエネルギーレベルと、パンニング係数更新後出力信号のエネルギーレベルとを同一に維持することができる。
【０２００】
図１４ないし図１７は、一実施形態による、音像の前後混同を防止するための方法について説明するための図面である。図１４は、一実施形態による、水平チャネル及び正面高さチャネルを図示している。
【０２０１】
図１４に図示された実施形態によれば、出力チャネルは、５．０チャネル（ウーファーチャネルは図示せず）であり、正面高さ入力チャネルを、かような水平出力チャネルにレンダリングする場合を仮定する。５．０チャネルは、水平面１４１０に存在し、ＦＣ（front  center）チャネル、ＦＬ（front  left）チャネル、ＦＲ（front  right）チャネル、ＳＬ（surround  left）チャネル及びＳＲ（surround  right）チャネルを含む。
【０２０２】
正面高さチャネルは、図４において、アッパレイヤ１４２０に該当するチャネルであり、図１４の実施形態においては、ＴＦＣ（top  front  center）（正面高さ中心）チャネル、ＴＦＬ（top  front  left）（正面高さ左）チャネル及びＴＦＲ（top  front  right）（正面高さ右）チャネルを含む。
【０２０３】
図１４に図示された実施形態において、入力チャネルが２２．２チャネルであると仮定すれば、２４チャネルの入力信号をレンダリング（ダウンミックス）し、５チャネルの出力信号を生成する。このとき、５チャネル出力信号には、２４チャネルの入力信号それぞれに該当する成分が、レンダリング規則によって配分されている。従って、出力チャネルであるＦＣ（front  center）（正面中心）チャネル、ＦＬ（front  left）（正面左）チャネル、ＦＲ（front  right）（正面右）チャネル、ＳＬ（surround  left）（左サラウンド）チャネル及びＳＲ（surround  right）（右サラウンド）チャネルの信号は、入力信号それぞれに該当する成分を含む。
【０２０４】
このとき、正面高さチャネル及び水平面チャネルの個数、方位角及び高さチャネルの高度角は、チャネルレイアウトによって多様に決定される。入力チャネルが、２２．２チャネルまたは２２．０チャネルであるならば、正面高さチャネルは、ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００のうち少なくとも一つを含んでもよい。出力チャネルが、５．０チャネルまたは５．１チャネルであるならば、サラウンドチャネルは、ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０のうち少なくとも一つを含んでもよい。
【０２０５】
ただし、入出力マルチチャネルが標準レイアウトによらないとしても、各チャネルの高度角及び方位角によって、多様なマルチチャネルレイアウト構成が可能であるということは、当業者に自明である。
【０２０６】
水平出力チャネル（horizontal  channel）を利用して、高さ入力チャネル（height  channel）信号を仮想レンダリングする場合、サラウンド出力チャネルは、音に高度感を付し、音像の高度を高くする役割を行う。従って、正面高さ入力チャネルの信号を、水平面チャネルである５．０出力チャネルに仮想レンダリングする場合、サラウンド出力チャネルであるＳＬチャネル及びＳＲチャネル出力信号によって、高度感が付与されて調節される。
【０２０７】
しかし、ＨＲＴＦは、人ごとに固有特性を有するので、正面高さチャネルに仮想レンダリングされた信号が、聴取者のＨＲＴＦ特性によって、後ろから聞こえるように認識される前後混同現象が発生することもある。
【０２０８】
図１５は、一実施形態による、正面高さチャネルの認識確率に係わる図面である。図１５は、水平出力チャネルを利用して、正面高さチャネル、ＴＦＲチャネルを仮想レンダリングした場合、ユーザが音像の位置（前後）を認識する確率を示した図面である。図１５において、ユーザの認識する高さは、高さチャネル１４２０であり、円の大きさは、確率の高さと比例する。
【０２０９】
図１５について説明すれば、本来の仮想レンダリングされたチャネルの位置である右側４５°で音像を認識するユーザが最も多いが、かなりのユーザは、右側４５°ではない他の位置で音像を認識する。先に言及したように、かような現象は、個々人のＨＲＴＦ特性が異なるためであり、あるユーザの場合は、右側９０°よりさらに偏り、後方に音像が存在すると認識するということを確認することができる。
【０２１０】
ＨＲＴＦは、頭周辺任意の位置に位置した音源から鼓膜までの音の伝達経路を、数学的伝達関数で表現したものを意味し、頭中心に対する音源の相対的位置や、人の頭と外耳（pinna）の大きさや形状によって非常に異なる。正確な仮想音源の描写のためには、対象になる人のＨＲＴＦを一つ一つ測定して使用しなければならないが、これは、現実的に困難であるので、一般的には、人体に類似したマネキンの鼓膜位置にマイクを設けて測定した非個別化された（non-individualized）ＨＲＴＦを使用する。
【０２１１】
かような非個別化されたＨＲＴＦを利用して仮想音源を再現した場合、個人の頭や外耳が、マネキンまたはダミーヘッドマイクロフォンシステム（dummy  head  microphone  system）と合わない場合、音像定位と係わる多様な問題が生じる。水平面上で感じられる角度の誤差は、個人の頭サイズを考慮して補正が可能であるが、高度感に発生する誤差または前後混同現象は、外耳の大きさと形状とが個々人ごとに異なるために発生する問題であるので、それの補正は容易ではない。
【０２１２】
先に言及したように、頭の大きさ及び形態などによって、個々人ごとに固有ＨＲＴＦを有するが、それぞれの聴取者ごとに、互いに異なるＨＲＴＦを適用することは、現実的に困難である。従って、非個別化されたＨＲＴＦ、すなわち、共通ＨＲＴＦを使用することになるが、かような場合、前後混同現象が発生する可能性がある。
【０２１３】
このとき、サラウンド出力チャネル信号に所定の時間遅延（time  delay）を付与すれば、前後混同現象を防止することができる。
【０２１４】
音は、全ての人に同一に認識されるものではなく、周辺環境や聴取者の心理状態によっても、互いに異なるように聞こえることになる。それは、音が伝播される空間での物理的現象は、聴取者に主観的であって感覚的に認識されるからである。かように、聴取者の主観的または心理的な要因に基づいて認識することになる音響信号を心理音響（psychoacoustic）という。該心理音響には、音圧、周波数、時間などの物理的変数以外にも、大きさ（loudness）、ピッチ（pitch）、音色（timble）、及び音に係わる経験などの主観的変数が影響を及ぼす。
【０２１５】
心理音響では、各状況によるさまざまな効果が示されるが、代表的なものとして、マスキング効果、カクテル効果、方向知覚効果、距離知覚効果及び先行音効果などがある。心理音響に基づいた技術は、聴取者にさらに適切な音響信号を提供するために、多様な分野で応用されている。
【０２１６】
先行音効果（precedence  effect）は、ハース効果（Hass  effect）ともいい、互いに異なる音が１ｍｓないし３０ｍｓの時間差に順次に生じる場合、最も先に音がした方向から音がすると聴取者に認識される現象をいう。しかし、２つの音の発生時間に５０ｍｓ以上差があれば、それぞれ異なる方向と認知される。
【０２１７】
例えば、音像が定位された状態において、右側チャネルの出力信号を遅延させれば、音像が左に移り、右側で再生される信号と認識されるが、かような現象を先行音効果またはハース効果という。
【０２１８】
サラウンド出力チャネルは、音像に高度感を付与するために使用されるが、図１５に図示されているように、一部聴取者には、サラウンド出力チャネル信号によって、正面チャネル（frontal  channel）の信号が背面から聞こえるように認識される、前後混同（front-back  confusion）現象が発生することになる。
【０２１９】
先に言及した先行音効果を利用すれば、かような問題を解決することができる。正面高さ入力チャネルを再生するためのサラウンド出力チャネル信号に、所定の時間遅延を付加すれば、正面高さチャネル入力信号を再生する出力信号のうち、正面を基準に、−９０°〜＋９０°に存在する正面出力チャネルの信号より、正面を基準に、−１８０°〜−９０°または＋９０°〜＋１８０°に存在するサラウンド出力チャネルの信号がさらに遅く再生される。
【０２２０】
従って、聴取者固有のＨＲＴＦによって、正面入力チャネルの音響信号が背面で再生されるように認識される場合でも、先行音効果によって、音響信号が先に再生される正面で再生されるように認識することになるのである。
【０２２１】
図１６は、一実施形態による、前後混同を防止するための方法のフローチャートである。
【０２２２】
レンダラは、複数個の入力チャネルを含むマルチチャネル音響信号を受信する（１６１０）。入力されたマルチチャネル音響信号は、レンダリングを介して、複数個の出力チャネル信号に変換され、入力チャネルの数より出力チャネルの数がさらに少ないダウンミックスの、例えば、２２．２チャネルを有する入力信号が、５．１チャネルまたは５．０チャネルを有する出力信号に変換される。
【０２２３】
かように、三次元の立体音響入力信号を、二次元の出力チャネルを利用してレンダリングする場合、水平入力チャネルについては、一般レンダリングが適用され、高度角を有する高さチャネルについては、高度感を付与するための仮想レンダリングが適用される。
【０２２４】
レンダリングを行うためには、フィルタリングに利用されるフィルタ係数、及びパンニングに利用されるパンニング係数が必要である。このとき、初期化過程において、出力チャネルの標準レイアウト、及び仮想レンダリングのための基本高度角によって、レンダリングパラメータを獲得する。基本高度角は、レンダラによって多様に決定されるが、ユーザの趣向、または入力信号の特性によって、基本高度角ではない所定高度角に設定することにより、仮想レンダリングの満足度及び効果を向上させることができる。
【０２２５】
サラウンドチャネルによる前後混同現象を防止するために、正面高さチャネルに係わるサラウンド出力チャネルに、時間遅延を追加する（１６２０）。
【０２２６】
正面高さ入力チャネルを再生するためのサラウンド出力チャネル信号に、所定の時間遅延を付加すれば、正面高さチャネル入力信号を再生する出力信号のうち、正面を基準に、−９０°〜＋９０°に存在する正面出力チャネルの信号より、正面を基準に、−１８０°〜−９０°または＋９０°〜＋１８０°に存在するサラウンド出力チャネルの信号がさらに遅く再生される。
【０２２７】
従って、聴取者固有のＨＲＴＦによって、正面入力チャネルの音響信号が背面で再生されるように認識される場合でも、先行音効果によって、音響信号が先に再生される正面で再生されるように認識することになる。
【０２２８】
かように、正面高さチャネルに係わるサラウンド出力チャネルを遅延させて再生するために、レンダラは、サラウンド出力チャネルに追加された遅延に基づいて、高度レンダリングパラメータを修正する（１６３０）。
【０２２９】
高度レンダリングパラメータが修正されると、レンダラは、修正された高度レンダリングパラメータに基づいて、高度レンダリングされたサラウンド出力チャネルを生成する（１６４０）。具体的に説明すれば、修正された高度レンダリングパラメータを高さ入力チャネル信号に適用してレンダリングすることにより、サラウンド出力チャネル信号を生成する。かように、修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングサラウンド出力チャネルは、サラウンド出力チャネルによる前後混同を防止することができる。
【０２３０】
サラウンド出力チャネルに適用される時間遅延は、約２．７ｍｓ、距離上約９１．５ｃｍが適当であり、それは、４８ｋＨｚで１２８サンプル、すなわち、２ＱＭＦ（quadrature  mirror  filter）サンプルに該当する。ただし、前後混同を防止するために、サラウンド出力チャネルに追加される遅延は、サンプリングレートと再生環境によって異なる。
【０２３１】
このとき、出力チャネルの構成が、当該出力チャネルの標準レイアウトと偏差が存在するか、あるいは仮想レンダリングを行わなければならない高度がレンダラの基本設定高度と異なるものであるならば、それに基づいて、レンダリングパラメータを更新する。更新されるレンダリングパラメータは、フィルタ係数の初期値に、高度角偏差に基づいて決定された加重値を付与して更新されたフィルタ係数、または入力チャネルの高度と、基本設定高度との高さ比較結果によって、パンニング係数の初期値を増大または減少させて更新されたパンニング係数を含んでもよい。
【０２３２】
もし空間高度レンダリングされる正面高さ入力チャネルが存在するのであるならば、正面入力チャネルの遅延されたＱＭＦサンプルが、入力ＱＭＦサンプルに加えられ、ダウンミックスマトリックスは、修正された係数に拡張される。
【０２３３】
所定の正面高さ入力チャネルに時間遅延を付加し、レンダリング（ダウンミックス）マトリックスを修正する具体的な方法は、次の通りである。
【０２３４】
入力チャネルの個数がＮｉｎである場合［１  Ｎｉｎ］チャネルのうちｉ番目入力チャネルについて、ｉ番目入力チャネルが高さ入力チャネル（ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００）のうち一つであるならば、入力チャネルのＱＭＦサンプル遅延、及び遅延されたＱＭＦサンプルは、数式（２１）及び数式（２２）でのように決定される。
【０２３５】
delay  =  round(fs*0.003/64)        （２１）
【０２３６】
【数２５】
2019062548.tif 000027
このとき、ｆｓは、サンプリング周波数を示し、
【０２３７】
【数２６】
2019062548.tif 000028
は、ｋ番目バンドのｎ番目ＱＭＦサブバンドサンプルを示す。サラウンド出力チャネルに適用される時間遅延は、約２．７ｍｓ、距離上約９１．５ｃｍが適し、それは、４８ｋＨｚにおいて１２８サンプル、すなわち、２  ＱＭＦサンプルに該当する。ただし、前後混同を防止するために、サラウンド出力チャネルに追加される時間遅延は、サンプリングレート及び再生環境によって異なる。
【０２３８】
修正されたレンダリング（ダウンミックス）マトリックスは、数式（２３）ないし数式（２５）でのように決定される。
【０２３９】
【数２７】
2019062548.tif 000029
Nin  =  Nin  +  1        （２５）
このとき、ＭＤＭＸは、高度レンダリングのためのダウンミックスマトリックスを示し、ＭＤＭＸ２は、一般レンダリングのためのダウンミックスマトリックスを示し、Ｎｏｕｔは、出力チャネルの個数を示す。
【０２４０】
各入力チャネルに係わるダウンミックスマトリックスを完成するために、Ｎｉｎを１ずつ増加させ、数式（３）及び数式（４）の過程を反復する。１つの入力チャネルに係わるダウンミックスマトリックスを獲得するためには、各出力チャネルに係わるダウンミックスパラメータを獲得しなければならない。
【０２４１】
ｉ番目入力チャネルに係わるｊ番目出力チャネルのダウンミックスパラメータは、次のように決定される。
【０２４２】
出力チャネルの個数がＮｏｕｔである場合［１  Ｎｏｕｔ］チャネルのうち、ｊ番目出力チャネルについて、ｊ番目出力チャネルがサラウンドチャネル（ＣＨ＿Ｍ＿Ｌ１１０またはＣＨ＿Ｍ＿Ｒ１１０）のうち一つであるならば、出力チャネルに適用されるダウンミックスパラメータは、数式（２６）のように決定される。
【０２４３】
【数２８】
2019062548.tif 000030
出力チャネルの個数Ｎｏｕｔについて、［１  Ｎｏｕｔ］のうち、ｊ番目出力チャネルについて、もしｊ番目出力チャネルがサラウンドチャネル（ＣＨ＿Ｍ＿Ｌ１１０またはＣＨ＿Ｍ＿Ｒ１１０）ではないならば、出力チャネルに適用されるダウンミックスパラメータは、数式（２７）のように決定される。
【０２４４】
【数２９】
2019062548.tif 000031
もし出力チャネルのスピーカレイアウトが、標準レイアウトと比較し、偏差が存在するものであるならば、それによる影響を補正するための過程が追加されるが、それに係わる具体的な方法の説明は省略する。そのときの出力チャネルの偏差は、高度角差または方位角差による偏差情報を含んでもよい。
【０２４５】
図１７は、一実施形態による、サラウンド出力チャネルに遅延が追加された、水平チャネル及び正面高さチャネルを図示している。図１７に図示された実施形態は、図１４に図示された実施形態と同様に、出力チャネルは、５．０チャネル（ウーファーチャネル図示せず）であり、正面高さ入力チャネルをかような水平出力チャネルにレンダリングする場合を仮定する。５．０チャネルは、水平面１４１０に存在し、ＦＣ（front  center）チャネル、ＦＬ（front  left）チャネル、ＦＲ（front  right）チャネル、ＳＬ（surround  left）チャネル及びＳＲ（surround  right）チャネルを含む。
【０２４６】
正面高さチャネルは、図４において、アッパレイヤ１４２０に該当するチャネルであり、図１４の実施形態においては、ＴＦＣ（top  front  center）チャネル、ＴＦＬ（top  front  left）チャネル及びＴＦＲ（top  front  right）チャネルを含む。
【０２４７】
図１７に図示された実施形態は、図１４に図示された実施形態と同様に、入力チャネルが２２．２チャネルであると仮定すれば、２４チャネルの入力信号をレンダリング（ダウンミックス）し、５チャネルの出力信号を生成する。このとき、５チャネル出力信号には、２４チャネルの入力信号それぞれに該当する成分が、レンダリング規則によって配分されている。従って、出力チャネルである、ＦＣチャネル、ＦＬチャネル、ＦＲチャネル、ＳＬチャネル及びＳＲチャネルの信号は、入力信号それぞれに該当する成分を含む。
【０２４８】
このとき、正面高さチャネル及び水平面チャネルの個数、方位角、及び高さチャネルの高度角は、チャネルレイアウトによって多様に決定される。入力チャネルが２２．２チャネルまたは２２．０チャネルであるならば、正面高さチャネルは、ＣＨ＿Ｕ＿Ｌ０３０、ＣＨ＿Ｕ＿Ｒ０３０、ＣＨ＿Ｕ＿Ｌ０４５、ＣＨ＿Ｕ＿Ｒ０４５及びＣＨ＿Ｕ＿０００のうち少なくとも一つを含んでもよい。出力チャネルが５．０チャネルまたは５．１チャネルであるならば、サラウンドチャネルは、ＣＨ＿Ｍ＿Ｌ１１０及びＣＨ＿Ｍ＿Ｒ１１０のうち少なくとも一つを含んでもよい。
【０２４９】
ただし、入出力マルチチャネルが標準レイアウトによるものではないとしても、各チャネルの高度角及び方位角によって、多様なマルチチャネルレイアウト構成が可能であるということは、当業者に自明であろう。
【０２５０】
このとき、ＳＬチャネル及びＳＲチャネルによって発生する前後混同現象を防止するために、サラウンド出力チャネルを介してレンダリングされる正面高さ入力チャネルに対して、所定の遅延を付加する。修正された高度レンダリングパラメータに基づいて、正面高さ入力チャネルに対して遅延された高度レンダリングサラウンド出力チャネルは、サラウンド出力チャネルによる前後混同を防止することができる。
【０２５１】
遅延が付加した音響信号、及び付加された遅延に基づいて修正された高度レンダリングパラメータを求める方法は、数式（１）ないし数式（７）に示されている。先に図１６の実施形態において、それについて詳細に説明したので、図１７の実施形態においては、それに係わる詳細な説明は省略する。
【０２５２】
サラウンド出力チャネルに適用される時間遅延は、約２．７ｍｓ、距離上約９１．５ｃｍが適し、それは、４８ｋＨｚにおいて、１２８サンプル、すなわち、２  ＱＭＦサンプルに該当する。ただし、前後混同を防止するために、サラウンド出力チャネルに追加される遅延は、サンプリングレート及び再生環境によって異なる。
【０２５３】
図１８は、一実施形態による、水平チャネル及び正面中央チャネル（ＴＦＣチャネル）を図示している。図１８に図示された実施形態によれば、出力チャネルは、５．０チャネル（ウーファーチャネル図示せず）であり、ＴＦＣ（top  front  center）チャネルをかような水平出力チャネルにレンダリングする場合を仮定する。５．０チャネルは、水平面１８１０に存在し、ＦＣ（front  center）チャネル、ＦＬ（front  left）チャネル、ＦＲ（front  right）チャネル、ＳＬ（surround  left）チャネル及びＳＲ（surround  right）チャネルを含む。ＴＦＣチャネルは、図４において、アッパレイヤ１８２０に該当するチャネルであり、方位角は、０°であり、所定高度角に位置する場合を仮定する。
【０２５４】
先に言及したように、音像の左右逆転が発生しないようにすることは、音響信号をレンダリングする方法で非常に重要である。水平出力チャネルにおいて、高度角を有する高さ入力チャネルをレンダリングするためには、仮想レンダリングを行わなければならず、レンダリングを介して、マルチチャネル入力チャネル信号は、マルチチャネル出力信号にパンニングされる。
【０２５５】
特定高度で高度感を提供する仮想レンダリングのために、各パンニング係数及びフィルタ係数を決定することになるが、ＴＦＣチャネル入力信号は、聴取者の正面、すなわち、中心（center）に音像が位置しなければならないので、ＦＬチャネル及びＦＲチャネルのパンニング係数は、ＴＦＣチャネルの音像が正面に存在するように決定される。
【０２５６】
出力チャネルのレイアウトが、標準レイアウトによる場合であるならば、ＦＬチャネル及びＦＲチャネルのパンニング係数は、同一でなければならず、ＳＬチャネル及びＳＲチャネルのパンニング係数も、同一でなければならないのである。
【０２５７】
かように、ＴＦＣ入力チャネルをレンダリングするための左右側チャネルのパンニング係数は、同一でなければならないので、ＴＦＣ入力チャネルの高度感を調節するために、左右側チャネルのパンニング係数を調節することが不可能である。従って、ＴＦＣ入力チャネルをレンダリングして高度感を付与するためには、前後（front−rear）チャネル間のパンニング係数を調節する。
【０２５８】
基準高度角（elevation  angle）が３５°であり、レンダリングするＴＦＣ入力チャネルの高度角がｅｌｖであるとすれば、ＴＦＣ入力チャネルを、高度角ｅｌｖで仮想レンダリングをするためのＳＬチャネル及びＳＲチャネルのパンニング係数は、それぞれ数式（２８）及び数式（２９）でのように決定される。
【０２５９】
【数３０】
2019062548.tif 000032
このとき、G_vH0,5(iin)は、基準高度角３５°で仮想レンダリングを行うためのＳＬチャネルのパンニング係数であり、G_vH0,6(iin)は、基準高度角３５°で仮想レンダリングを行うためのＳＲチャネルのパンニング係数である。ｉｉｎは、高さ入力チャネルに係わるインデックスであり、数式（２８）及び数式（２９）は、高さ入力チャネルがＴＦＣチャネルである場合のパンニング係数の初期値と、更新されたパンニング係数との関係を示す。
【０２６０】
ここで、出力信号のエネルギーレベルを一定に維持するために、数式（２８）及び数式（２９）によって得られたパンニング係数をそのまま使用せず、数式（３０）及び数式（３１）によってパワーノーマライズして使用する。
【０２６１】
【数３１】
2019062548.tif 000033
かように、入力チャネルのパンニング係数の二乗の和が１になるように、パワーノーマライズ過程を経ることにより、パンニング係数更新前出力信号のエネルギーレベルと、パンニング係数更新後出力信号のエネルギーレベルとを同一に維持することができる。
【０２６２】
以上で説明した本発明による実施形態は、多様なコンピュータ構成要素を介して実行されるプログラム命令語の形態に具現され、コンピュータ可読記録媒体に記録される。前記コンピュータ可読記録媒体は、プログラム命令語、データファイル、データ構造などを、単独でまたは組み合わせて含んでもよい。前記コンピュータ可読記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア分野の当業者に公知されて使用可能なものでもある。コンピュータ可読記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体；ＣＤ−ＲＯＭ（compact  disc  read  only  memory）及びＤＶＤ（digital  versatile  disc）のような光記録媒体；フロプティカルディスク（floptical  disk）のような磁気・光媒体（magneto-optical  medium）；及びＲＯＭ（read  only  memory）、ＲＡＭ（random  access  memory）、フラッシュメモリのような、プログラム命令語を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードも含まれる。ハードウェア装置は、本発明による処理を行うために、１以上のソフトウェアモジュールに変更され、その逆も同様である。
【０２６３】
以上、本発明について、具体的な構成要素のような特定事項、限定された実施形態及び図面によって説明したが、それらは、本発明のさらに全般的な理解の一助とするために提供されたものであるのみ、本発明は、前述の実施形態に限定されるものではなく、本発明が属する技術分野で当業者であるならば、かような記載から多様な修正及び変更を図ることができるであろう。
【０２６４】
従って、本発明の思想は、前述の実施形態に限って決められるものではなく、特許請求の範囲だけではなく、該特許請求の範囲と均等であるか、あるいはそれらから等価的に変更された全ての範囲は、本発明の思想の範疇に属するものであるとすることができる。
【図１】
2019062548.tif 000036
【図２】
2019062548.tif 000037
【図３】
2019062548.tif 000038
【図４】
2019062548.tif 000039
【図５】
2019062548.tif 000040
【図６】
2019062548.tif 000041
【図７】
2019062548.tif 000042
【図８】
2019062548.tif 000043
【図９】
2019062548.tif 000044
【図１０】
2019062548.tif 000045
【図１１】
2019062548.tif 000046
【図１２】
2019062548.tif 000047
【図１３】
2019062548.tif 000048
【図１４】
2019062548.tif 000049
【図１５】
2019062548.tif 000050
【図１６】
2019062548.tif 000051
【図１７】
2019062548.tif 000052
【図１８】
2019062548.tif 000053