(57)【要約】  音響信号を、第１高度に対応する立体音響を生成する所定のフィルタに通過させ、フィルタリングされた音響信号を複製して複数個の音響信号を生成した後、複製された音響信号が出力されるスピーカそれぞれに該当する利得値に基づいて、複製された音響信号それぞれを増幅または減衰した後、増幅または減衰された音響信号を、対応するスピーカを介して出力する立体音響再生方法及びその装置が開示される。
2013533703.tif 000002
【特許請求の範囲】
【請求項１】
音響信号を、第１高度に対応する立体音響を生成する所定のフィルタに通過させる段階と、
前記フィルタリングされた音響信号を複製して複数個の音響信号を生成する段階と、
前記複製された音響信号が出力されるスピーカそれぞれに該当する利得値及び遅延値のうち少なくとも一つに基づいて、前記複製された音響信号それぞれに係わる増幅、減衰及び遅延のうち少なくとも一つを行う段階と、
前記増幅、減衰及び遅延のうち少なくとも一つが行われた音響信号を、対応するスピーカを介して出力する段階と、を含むことを特徴とする立体音響再生方法。
【請求項２】
前記所定のフィルタは、ＨＲＴＦ（head  related  transfer  filter）を含むことを特徴とする請求項１に記載の立体音響再生方法。
【請求項３】
前記ＨＲＴＦを通過させる段階は、
第２高度の左側から発生する音響信号を示す左側トップチャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側トップチャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させる段階を含むことを特徴とする請求項２に記載の立体音響再生方法。
【請求項４】
前記方法は、
前記音響信号が、前記左側トップチャネル信号及び前記右側トップチャネル信号を含まなければ、前記音響信号をアップミキシングし、前記左側トップチャネル信号及び前記右側トップチャネル信号を生成する段階をさらに含むことを特徴とする請求項３に記載の立体音響再生方法。
【請求項５】
前記ＨＲＴＦを通過させる段階は、
前記音響信号が第２高度の左側から発生する音響信号を示す左側トップチャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側トップチャネル信号を含まなければ、左側正面から発生する音響信号を示す左側正面チャネル信号、及び右側正面から発生する音響信号を示す右側正面チャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させる段階を含むことを特徴とする請求項２に記載の立体音響再生方法。
【請求項６】
前記ＨＲＴＦは、
前記第１高度から前記ユーザの耳までの経路情報を含む第１  ＨＲＴＦを、前記音響信号を出力するスピーカの位置からユーザの耳までの経路情報を含む第２  ＨＲＴＦで割って生成されたことを特徴とする請求項２に記載の立体音響再生方法。
【請求項７】
前記出力する段階は、
前記フィルタリングされた左側トップチャネル信号を第１利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を第２利得値によって増幅した音響信号とをミキシングして第１音響信号を生成する段階と、
前記フィルタリングされた左側トップチャネル信号を、前記第２利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を、前記第１利得値によって増幅した音響信号とをミキシングして第２音響信号を生成する段階と、
前記第１音響信号を左側に配置されたスピーカに出力し、前記第２音響信号を右側に配置されたスピーカに出力する段階と、を含むことを特徴とする請求項３に記載の立体音響再生方法。
【請求項８】
前記出力する段階は、
左側後方から発生する音響信号を示す左側サラウンド信号を、第３利得値によって増幅した音響信号と、前記第１音響信号とをミキシングして第３音響信号を生成する段階と、
右側後方から発生する音響信号を示す右側サラウンド信号を、前記第３利得値によって増幅した音響信号と、前記第２音響信号とをミキシングして第４音響信号を生成する段階と、
前記第３音響信号を左側サラウンドスピーカに出力し、前記第４音響信号を右側サラウンドスピーカに出力する段階と、を含むことを特徴とする請求項７に記載の立体音響再生方法。
【請求項９】
前記出力する段階は、
仮想音源を定位させようとする前記第１高度上の位置によって、前記第１音響信号及び前記第２音響信号のうち少なくとも一つをミューティングする段階をさらに含むことを特徴とする請求項８に記載の立体音響再生方法。
【請求項１０】
前記ＨＲＴＦを通過させる段階は、
仮想音源を定位させようとする位置に係わる情報を獲得する段階と、
前記位置情報に基づいて、前記音響信号を通過させるＨＲＴＦを決定する段階と、を含むことを特徴とする請求項２に記載の立体音響再生方法。
【請求項１１】
前記増幅、減衰及び遅延のうち少なくとも一つを行う段階は、
実際のスピーカの位置、聴取者の位置及び仮想音源の位置のうち少なくとも一つに基づいて、前記複製された音響信号それぞれに適用する利得値及び遅延値のうち少なくとも一つを決定する段階を含むことを特徴とする請求項１に記載の立体音響再生方法。
【請求項１２】
前記利得値及び遅延値のうち少なくとも一つを決定する段階は、聴取者の位置情報を獲得することができない場合、前記複製された音響信号それぞれに係わる利得値及び遅延値のうち少なくとも一つを所定の値として決定する段階を含むことを特徴とする請求項１１に記載の立体音響再生方法。
【請求項１３】
前記利得値及び遅延値のうち少なくとも一つを決定する段階は、
聴取者の位置情報を獲得することができない場合、前記複製された音響信号それぞれについて、利得値及び遅延値のうち少なくとも一つを同一の値として決定する段階をさらに含むことを特徴とする請求項１１に記載の立体音響再生方法。
【請求項１４】
音響信号を、第１高度に対応する立体音響を生成する所定のフィルタに通過させるフィルタリング部と、
前記フィルタリングされた音響信号を複製して複数個の音響信号を生成する音響複製部と、
前記複製された音響信号が出力されるスピーカそれぞれに該当する利得値及び遅延値に基づいて、前記複製された音響信号それぞれに係わる増幅、減衰及び遅延のうち少なくとも一つを行う増幅／遅延部と、
前記増幅、減衰及び遅延のうち少なくとも一つが行われた音響信号を、対応するスピーカを介して出力する出力部と、を含むことを特徴とする立体音響再生装置。
【請求項１５】
請求項１ないし１３のうちいずれか一項に記載の方法を具現するためのプログラムが記録されたコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体音響（3D  sound）再生方法及びその装置に係り、特に、所定の高度に仮想音源を定位させる（localize）方法及び装置に係わる。
【背景技術】
【０００２】
映像処理技術及び音響処理技術の発達により、高画質高音質のコンテンツが量産されている。高画質高音質のコンテンツを要求したユーザは、現実性あふれる映像及び音響を願い、それにより、立体映像及び立体音響に係わる研究が活発に進められている。
【０００３】
立体音響は、複数個のスピーカを水平面上の異なる位置に配置し、それぞれのスピーカで同一であるか異なる音響信号を出力することにより、ユーザに空間感を感じさせる技術である。しかし、実際に音響は、水平面上の多様な位置で発生するだけではなく、異なる高度（elevation）でも発生する。従って、異なる高度で発生する音響信号を効果的に再生する技術が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記問題点を解決するための本発明の目的は、立体音響再生方法及びその装置を提供することであり、特に、所定の高度に仮想音源を定位させる方法及びその装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態が有する１つの特徴は、音響信号を、第１高度に対応する立体音響を生成する所定のフィルタに通過させる段階と、前記フィルタリングされた音響信号を複製して複数個の音響信号を生成する段階と、前記複製された音響信号が出力されるスピーカそれぞれに該当する利得値及び遅延値のうち少なくとも一つに基づいて、前記複製された音響信号それぞれに係わる増幅、減衰及び遅延のうち少なくとも一つを行う段階と、前記増幅、減衰及び遅延のうち少なくとも一つが遂行された音響信号を、対応するスピーカを介して出力する段階と、を含むものである。
【０００６】
前記所定のフィルタは、ＨＲＴＦ（head  related  transfer  filter）である。前記ＨＲＴＦを通過させる段階は、第２高度の左側から発生する音響信号を示す左側トップチャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側トップチャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させる段階を含んでもよい。
【０００７】
前記方法は、前記音響信号が、前記左側トップチャネル信号及び前記右側トップチャネル信号を含まなければ、前記音響信号をアップミキシングし、前記左側トップチャネル信号及び前記右側トップチャネル信号を生成する段階をさらに含んでもよい。
【０００８】
前記ＨＲＴＦを通過させる段階は、前記音響信号が第２高度の左側から発生する音響信号を示す左側トップチャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側トップチャネル信号を含まなければ、左側正面から発生する音響信号を示す左側正面チャネル信号、及び右側正面から発生する音響信号を示す右側正面チャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させる段階を含んでもよい。
【０００９】
前記ＨＲＴＦは、前記第１高度からユーザの耳までの経路情報を含む第１  ＨＲＴＦを、前記音響信号を出力するスピーカの位置からユーザの耳までの経路情報を含む第２  ＨＲＴＦで割って生成されもする。
【００１０】
前記出力する段階は、前記フィルタリングされた左側トップチャネル信号を第１利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を第２利得値によって増幅した音響信号とをミキシングして第１音響信号を生成する段階と、前記フィルタリングされた左側トップチャネル信号を、前記第２利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を、前記第１利得値によって増幅した音響信号とをミキシングして第２音響信号を生成する段階と、前記第１音響信号を左側に配置されたスピーカに出力し、前記第２音響信号を右側に配置されたスピーカに出力することができる。
【００１１】
前記出力する段階は、左側後方から発生する音響信号を示す左側サラウンド信号を、第３利得値によって増幅した音響信号と、前記第１音響信号とをミキシングして第３音響信号を生成する段階と、右側後方から発生する音響信号を示す右側サラウンド信号を、前記第３利得値によって増幅した音響信号と、前記第２音響信号とをミキシングして第４音響信号を生成する段階と、前記第３音響信号を左側サラウンドスピーカに出力し、前記第４音響信号を右側サラウンドスピーカに出力する段階と、を含んでもよい。
【００１２】
前記出力する段階は、仮想音源を定位させようとする前記第１高度上の位置によって、前記第１音響信号及び前記第２音響信号のうち少なくとも一つをミューティングする段階をさらに含んでもよい。
【００１３】
前記ＨＲＴＦを通過させる段階は、仮想音源を定位させようとする位置に係わる情報を獲得する段階と、前記位置情報に基づいて、前記音響信号を通過させるＨＲＴＦを決定する段階と、を含んでもよい。
【００１４】
前記増幅、減衰及び遅延のうち少なくとも一つを行う段階は、実際スピーカの位置、聴取者の位置及び仮想音源の位置のうち少なくとも一つに基づいて、前記複製された音響信号それぞれに適用する利得値及び遅延値のうち少なくとも一つを決定する段階を含んでもよい。
【００１５】
前記利得値及び遅延値のうち少なくとも一つを決定する段階は、聴取者の位置情報を獲得することができない場合、前記複製された音響信号それぞれに係わる利得値及び遅延値のうち少なくとも一つを所定の値として決定する段階を含んでもよい。
【００１６】
前記利得値及び遅延値のうち少なくとも一つを決定する段階は、聴取者の位置情報を獲得することができない場合、前記複製された音響信号それぞれについて利得値及び遅延値のうち少なくとも一つを同一の値として決定する段階をさらに含んでもよい。
【００１７】
本発明の他の実施形態が有する１つの特徴は、音響信号を、第１高度に対応する立体音響を生成する所定のフィルタに通過させるフィルタリング部と、前記フィルタリングされた音響信号を複製して複数個の音響信号を生成する音響複製部と、前記複製された音響信号が出力されるスピーカそれぞれに該当する利得値及び遅延値のうち少なくとも一つに基づいて、前記複製された音響信号それぞれについて増幅、減衰及び遅延のうち少なくとも一つを行う増幅／遅延部と、前記増幅、減衰及び遅延のうち少なくとも一つが遂行された音響信号を、対応するスピーカを介して出力する出力部と、を含むものである。
【００１８】
前記所定フィルタは、ＨＲＴＦ（head  related  transfer  filter）を含んでもよい。
【００１９】
前記フィルタリング部は、第２高度の左側から発生する音響信号を示す左側塔チャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側塔チャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させることができる。
【００２０】
前記装置は、前記音響信号が、前記左側塔チャネル信号及び前記右側塔チャネル信号を含まなければ、前記音響信号をアップミキシングし、前記左側トップチャネル信号及び前記右側トップチャネル信号を生成するアップミキシング部をさらに含んでもよい。
【００２１】
前記フィルタリング部は、前記音響信号が第２高度の左側から発生する音響信号を示す左側トップチャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側トップチャネル信号を含まなければ、左側正面から発生する音響信号を示す左側正面チャネル信号、及び右側正面から発生する音響信号を示す右側正面チャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させることができる。
【００２２】
前記ＨＲＴＦは、前記第１高度から前記ユーザの耳までの経路情報を含む第１  ＨＲＴＦを、前記音響信号を出力するスピーカの位置からユーザの耳までの経路情報を含む第２  ＨＲＴＦで割って生成されもする。
【００２３】
前記出力部は、前記フィルタリングされた左側トップチャネル信号を、第１利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を、第２利得値によって増幅した音響信号とをミキシングして第１音響信号を生成する第１ミキシング部と、前記フィルタリングされた左側トップチャネル信号を、前記第２利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を、前記第１利得値によって増幅した音響信号とをミキシングして第２音響信号を生成する第２ミキシング部と、前記第１音響信号を左側に配置されたスピーカに出力し、前記第２音響信号を右側に配置されたスピーカに出力するレンダリング部を含んでもよい。
【００２４】
前記出力部は、左側後方から発生する音響信号を示す左側サラウンド信号を、第３利得値によって増幅した音響信号と、前記第１音響信号とをミキシングして第３音響信号を生成する第３ミキシング部と、右側後方から発生する音響信号を示す右側サラウンド信号を、前記第３利得値によって増幅した音響信号と、前記第２音響信号とをミキシングして第４音響信号を生成する第４ミキシング部とをさらに含み、前記レンダリング部は、前記第３音響信号を左側サラウンドスピーカに出力し、前記第４音響信号を右側サラウンドスピーカに出力することができる。
【００２５】
前記レンダリング部は、仮想音源を定位させようとする前記第１高度上の位置によって、前記第１音響信号及び前記第２音響信号のうち少なくとも一つをミューティングさせるように制御する制御部を含んでもよい。
【発明の効果】
【００２６】
本発明によれば、ＨＲＴＦを通過した一つ以上のチャネル信号を、スピーカによって異なる利得値で増幅して出力することにより、水平面に配置されたスピーカを利用して所定高度に仮想音源を効率的に定位させることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態による立体音響再生装置に係わるブロック図である。
【図２Ａ】本発明の一実施形態による５チャネル音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置に係わるブロック図である。
【図２Ｂ】本発明の他の実施形態による音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置に係わるブロック図である。
【図３】本発明の他の実施形態による５チャネル音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置に係わるブロック図である。
【図４】本発明の一実施形態による７チャネル音響信号を７個のスピーカに出力し、所定高度に仮想音源を定位させる立体音響再生装置に係わる一例を示す図面である。
【図５】本発明の一実施形態による５チャネル音響信号を７個のスピーカに出力し、所定高度に仮想音源を定位させる立体音響再生装置に係わる一例を示す図面である。
【図６】本発明の一実施形態による７チャネル音響信号を５個のスピーカに出力し、所定高度に仮想音源を定位させる立体音響再生装置に係わる一例を示す図面である。
【図７】本発明の一実施形態による所定高度に仮想音源を定位させるためのスピーカシステムに係わる一例を示す。
【図８】本発明の一実施形態による立体音響再生方法に係わるフローチャートである。
【発明を実施するための形態】
【００２８】
以下、添付された図面を参考にしつつ、本発明の望ましい実施形態について詳細に説明する。
【００２９】
図１は、本発明の一実施形態による立体音響再生装置１００に係わるブロック図を示している。本発明の一実施形態による立体音響再生装置１００は、フィルタリング部１１０、複製部（replication  unit）１２０、増幅部１３０及び出力部１４０を含む。
【００３０】
フィルタリング部１１０は、音響信号を、所定の高度（elevation）に対応する立体音響を生成する所定のフィルタに通過させる。また、フィルタリング部１１０は、音響信号を所定の高度に対応する立体音響を生成するＨＲＴＦ（head  related  transfer  filter）に通過させることができる。ＨＲＴＦは、音源の空間的な位置からユーザの両耳までの経路情報、すなわち、周波数伝達特性を含む。ＨＲＴＦは、両耳間のレベル差（ＩＬＤ：inter-aural  level  difference）、及び両耳間で音響時間が逹する時間差（ＩＴＤ：inter-aural  time  difference）などの単純な経路差だけではなく、頭表面での回折、耳介（pinnae）による反射など複雑な経路上の特性が、音の到来方向によって変化する現象によって、立体音響（3D  sound）を認識する。空間上の各方向でＨＲＴＦは、ただ一つであるという特性を有するので、これを利用すれば、立体音響を生成することができる。
【００３１】
フィルタリング部１１０は、水平面上に配置されたスピーカを利用して、実際のスピーカより高い高度で発生する音をモデリングするためにＨＲＴＦを使用する。次の式（１）は、フィルタリング部１１０で使用するＨＲＴＦに係わる一例である。
【００３２】
ＨＲＴＦ＝ＨＲＴＦ２／ＨＲＴＦ１      （１）
ＨＲＴＦ２は、仮想音源の位置からユーザの耳までの経路情報を示すＨＲＴＦであり、ＨＲＴＦ１は、実際のスピーカの位置からユーザの耳までの経路情報を示すＨＲＴＦである。音響信号は、実際のスピーカを介して出力されるので、仮想のスピーカから音響信号が出力されると認識させるためには、所定の高度に対応するＨＲＴＦ２を水平面（または実際のスピーカの高度）に対応するＨＲＴＦ１で割る。
【００３３】
所定の高度に対応する最適のＨＲＴＦは、指紋のように人によって異なる。従って、ユーザごとにＨＲＴＦを計算して適用するのが望ましいが、それは、現実的に不可能である。従って、類似した特性（例えば、年齢、背のような身体的特性、または好む周波数帯域、好む音楽のような性向的特性）を有するユーザ集団内の一部ユーザについてＨＲＴＦを計算した後、代表値（例えば、平均値）を当該集団内の全てのユーザに適用するＨＲＴＦに決定することができる。
【００３４】
式（１）で定義したＨＲＴＦを利用して音響信号をフィルタリングした結果に係わる一例は、次の式（２）の通りである。
【００３５】
Ｙ２（ｆ）＝Ｙ１（ｆ）＊ＨＲＴＦ      （２）
Ｙ１（ｆ）は、実際のスピーカによってユーザに聞こえる音響信号を、周波数領域に変換した値であり、Ｙ２（ｆ）は、仮想スピーカによってユーザに聞こえる音響信号を、周波数領域に変換した値である。
【００３６】
フィルタリング部１１０は、音響信号内に含まれた複数個のチャネル信号のうち一部のみをフィルタリングすることができる。
【００３７】
音響信号には、複数個のチャネルに該当する音響信号が含まれる。以下では、説明の便宜のために、７個のチャネル信号を定義する。しかし、後述するチャネル信号は、一例に過ぎず、音響信号には、後述する７個の方向以外の他の方向から発生する音響信号を示すチャネル信号が含まれもする。
【００３８】
センターチャネル信号は、正面の中央から発生した音響信号を示し、センタースピーカに出力される。
【００３９】
右側正面チャネル信号は、正面の右側から発生した音響信号を示し、右側正面スピーカに出力される。左側正面チャネル信号は、正面の左側から発生した音響信号を示し、左側正面スピーカに出力される。
【００４０】
右側背面チャネル信号は、背面の右側から発生した音響信号を示し、右側背面スピーカに出力される。左側背面チャネル信号は、背面の左側から発生した音響信号を示し、左側背面スピーカに出力される。
【００４１】
右側トップチャネル信号は、右側上方から発生した音響信号を示し、右側トップスピーカに出力される。左側トップチャネル信号は、左側上方から発生した音響信号を示し、左側トップスピーカに出力される。
【００４２】
音響信号に、右側トップチャネル信号と、左側トップチャネル信号とが含まれた場合、フィルタリング部１１０は、右側トップチャネル信号と、左側トップチャネル信号とをフィルタリングする。その後、フィルタリングされた右側トップチャネル信号と左側トップチャネル信号は、所望の高度で発生する仮想音源をモデリングするのに使われる。
【００４３】
音響信号に、右側トップチャネル信号と、左側トップチャネル信号とが含まれていない場合、フィルタリング部１１０は、右側正面チャネル信号と、左側正面チャネル信号とをフィルタリングする。その後、フィルタリングされた右側正面チャネル信号と左側正面チャネル信号は、所望の高度で発生する仮想音源をモデリングするのに使われる。
【００４４】
実施形態によっては、右側トップチャネル信号と、左側トップチャネル信号とを含まない音響信号（例えば、２．１チャネル信号または５．１チャネル信号）をアップミキシングし、右側トップチャネル信号と、左側トップチャネル信号とを生成した後、ミキシングされた右側トップチャネル信号と、左側トップチャネル信号とをフィルタリングすることもできる。
【００４５】
複製部１２０は、フィルタリングされたチャネル信号を複数個に複製する。複製部１２０は、フィルタリングされたチャネル信号を出力するスピーカの個数ほど複製する。例えば、フィルタリングされた音響信号が、右側トップチャネル信号、左側トップチャネル信号、右側背面チャネル信号、左側背面チャネル信号として出力されれば、複製部１２０は、フィルタリングされたチャネル信号を４個に複製する。複製部１２０が、フィルタリングされたチャネル信号を、いくつに複製するかということは、実施形態によって多様であるが、フィルタリングされたチャネル信号が、少なくとも右側背面チャネル信号及び左側背面チャネル信号としては出力されるように、２以上に複製するのが望ましいのである。
【００４６】
右側トップチャネル信号及び左側トップチャネル信号が再生されるスピーカは、水平面に配置される。一例として、右側正面チャネル信号を再生する正面スピーカのすぐ上に付着させることができる。
【００４７】
増幅部１３０は、フィルタリングされた音響信号を、所定の利得値によって、増幅（または減衰）する。フィルタリングされた音響信号の種類と、フィルタリングされた音響信号の種類とによって、利得値を異ならせて設定する。
【００４８】
例えば、右側トップスピーカに出力される右側トップチャネル信号は、第１利得値によって増幅され、左側トップスピーカに出力される右側トップチャネル信号は、第２利得値によって増幅される。このとき、第１利得値が第２利得値より大きくなることがある。また、右側トップスピーカに出力される左側トップチャネル信号は、第２利得値によって増幅され、左側トップスピーカに出力される左側トップチャネル信号は、第１利得値によって増幅されることにより、左右側スピーカで対応するチャネル信号が出力されるようにする。
【００４９】
従来には、所望の位置に仮想音源を生成するために、ＩＴＤ法を主に使った。ＩＴＤ法は、複数個のスピーカで時間差を置いて同一の音響信号を出力し、所望の位置に仮想音源を定位させる方法である。ＩＴＤ法は、実際のスピーカと同一の平面上に、仮想音源を定位させるのに適合する方法である。しかし、本発明でのように、実際のスピーカの高度よりさらに高い高度に仮想音源を定位させるには不適である。
【００５０】
本発明では、かような問題を解決するために、複数個のスピーカで、同一の音響信号を利得値を異ならせて出力する。本発明で提示する方法による場合、実際のスピーカの高度よりさらに高い高度に仮想音源を容易に定位させたり、あるいは実際のスピーカの高度と関係のない特定高度に仮想音源を定位させることができる。
【００５１】
出力部１４０は、増幅された一つ以上のチャネル信号を、対応するスピーカに出力する。出力部１４０は、ミキシング部（図示せず）及びレンダリング部（図示せず）を含んでもよい。
【００５２】
ミキシング部（図示せず）は、一つ以上のチャネル信号をミキシングする。ミキシング部（図示せず）は、第１利得値によって増幅された左側トップチャネル信号と、第２利得値によって増幅された右側トップチャネル信号とをミキシングして第１音響成分を生成し、第２利得値によって増幅された左側トップチャネル信号と、第１利得値によって増幅された右側トップチャネル信号とをミキシングして第２音響成分を生成する。
【００５３】
また、ミキシング部（図示せず）は、第３利得値によって増幅された左側背面チャネル信号と、第１音響成分とをミキシングして第３音響成分を生成し、第３利得値によって増幅された右側背面チャネル信号と、第２音響成分とをミキシングして第４音響成分を生成する。
【００５４】
レンダリング部（図示せず）は、ミキシングされたり、あるいはミキシングされていない音響成分を、対応するスピーカにレンダリングする。レンダリング部（図示せず）は、第１音響成分を左側トップスピーカに出力し、第２音響成分を右側トップスピーカに出力する。左側トップスピーカまたは右側トップスピーカが存在しない場合、レンダリング部（図示せず）は、第１音響成分を左側正面スピーカに出力し、第２音響成分を右側正面スピーカに出力することができる。
【００５５】
また、レンダリング部（図示せず）は、第３音響成分を左側背面スピーカに出力し、第４音響成分を右側背面スピーカに出力する。
【００５６】
音響信号に含まれたチャネル信号の個数と、スピーカの個数とにより、複製部１２０、増幅部１３０及び出力部１４０の動作が変わることがある。チャネル信号の個数と、スピーカの個数とによる立体音響再生装置の動作例は、図４ないし図６で後述する。
【００５７】
図２Ａは、本発明の一実施形態による５チャネル音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置１００に係わるブロック図を示している。
【００５８】
アップミキサ２１０は、５チャネル音響信号２０１をアップミキシングし、左側トップチャネル信号２０２と、右側トップチャネル信号２０３とを含む７チャネル音響信号を生成する。
【００５９】
左側トップチャネル信号２０２は、第１  ＨＲＴＦ  １１１に入力され、右側トップチャネル信号２０３は、第２  ＨＲＴＦ  １１２に入力される。第１  ＨＲＴＦ  １１１は、左側の仮想音源からユーザの耳までの経路情報を含み、第２  ＨＲＴＦ  １１２は、右側の仮想音源からユーザの耳までの経路情報を含む。第１  ＨＲＴＦ  １１１及び第２  ＨＲＴＦ  １１２は、実際のスピーカの位置より高い所定高度での仮想音源をモデリングするためのフィルタである。
【００６０】
第１  ＨＲＴＦ  １１１及び第２  ＨＲＴＦ  １１２を通過した左側トップチャネル信号と、右側トップチャネル信号は、複製部１２１，１２２に入力される。複製部１２１，１２２は、フィルタを通過した左側トップチャネル信号と、右側トップチャネル信号とをそれぞれ二つに複製する。複製された左側トップチャネル信号と、右側トップチャネル信号は、増幅部１３１，１３２，１３３に伝送される。
【００６１】
第１増幅部１３１及び第２増幅部１３２は、出力されるスピーカと、チャネル信号の種類とによって、複製された左側トップチャネル信号と、右側トップチャネル信号とを増幅する。また、第３増幅部１３３は、５チャネル音響信号２０１内の少なくとも１つのチャネル信号を増幅する。
【００６２】
実施形態によって、立体音響再生装置１００が、第１増幅部１３１及び第２増幅部１３２の代わりに、第１遅延部（図示せず）及び第２遅延部（図示せず）を含むか、あるいは第１増幅部１３１、第２増幅部１３２、第１遅延部（図示せず）及び第２遅延部（図示せず）をいずれも含んでもよい。これは、スピーカ別にフィルタリングされた音響信号の遅延値を異ならせることにより、利得値を異ならせることと同一の結果を獲得することができるからである。
【００６３】
出力部１４０は、増幅された左側トップチャネル信号、右側トップチャネル信号、５チャネル音響信号２０１をミキシングして７チャネル音響信号２０５として出力する。７チャネル音響信号２０５は、それぞれのスピーカに出力されるのである。
【００６４】
本発明の他の実施形態で、７チャネル音響信号が入力される場合には、アップミキサ２１０が省略されもする。
【００６５】
一実施形態では、立体音響再生装置１００が、フィルタ決定部（図示せず）及び増幅／遅延係数決定部（図示せず）をさらに含んでもよい。
【００６６】
フィルタ決定部（図示せず）は、仮想音源を定位させようとする位置（すなわち、高度角、水平角）によって、適切なＨＲＴＦを選定する。フィルタ決定部（図示せず）は、仮想音源の位置とＨＲＴＦとのマッピング情報を利用して、仮想音源に対応するＨＲＴＦを選択することができる。仮想音源の位置情報は、アプリケーションのような他のモジュール（ソフトウェアまたはハードウェア）を介して受信されたり、あるいはユーザから入力されもする。例えば、ゲームを具現するアプリケーションの場合、経時的に仮想音源を定位させようとする位置が変更されもし、フィルタ決定部（図示せず）は、仮想音源の位置変更によって、ＨＲＴＦを変更することができる。
【００６７】
増幅／遅延係数決定部（図示せず）は、実際のスピーカの位置、仮想音源の位置及び聴取者の位置のうち少なくとも一つに基づいて、複製された音響信号に係わる増幅（または減衰）係数及び遅延係数のうち少なくとも一つを決定することができる。もし増幅／遅延係数決定部（図示せず）が聴取者の位置情報を知らない場合には、既定の増幅係数及び遅延係数のうち少なくとも一つを選択することができる。
【００６８】
図２Ｂは、本発明の他の実施形態による音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置１００に係わるブロック図を示している。図２Ｂでは、説明の便宜のために、音響信号に含まれた１つのチャネル信号である第１チャネル音響信号に基づいて説明する。しかし、音響信号に含まれた残りのチャネル信号についても、本発明が同一の方法で適用されもすることは、当業者に自明である。
【００６９】
立体音響再生装置１００は、第１  ＨＲＴＦ  ２１１、複製部２２１、増幅／遅延部２３１を含んでもよい。第１  ＨＲＴＦ  ２１１は、仮想音源の位置情報に基づいて、第１  ＨＲＴＦ  ２１１を選択し、第１チャネル音響信号を、第１  ＨＴＲＦ  ２１１に通過させる。仮想音源の位置情報は、高度角情報と水平角情報とを含んでもよい。
【００７０】
複製部２２１は、フィルタリングされた第１チャネル音響信号を、一つ以上の音響信号に複製する。図２Ｂでは、複製部２２１がフィルタリングされた第１チャネル音響信号を実際のスピーカの個数ほど複製したと仮定する。
【００７１】
増幅／遅延部２３１は、実際のスピーカの位置情報、聴取者の位置情報、仮想音源の位置情報のうち少なくとも一つに基づいて、それぞれのスピーカに対応する複製された第１チャネル音響信号の増幅／遅延係数を決定する。増幅／遅延部２３１は、決定された増幅（または減衰）係数に基づいて、複製された第１チャネル音響信号を増幅／減衰したり、あるいは遅延係数に基づいて、複製された第１チャネル音響信号を遅延させる。一実施形態では、増幅／遅延部２３１が、決定された増幅（または減衰）係数と遅延係数とに基づいて、複製された第１チャネル音響信号に係わる増幅（または減衰）と遅延とを同時に行うことができる。
【００７２】
増幅／遅延部２３１は、それぞれのスピーカごとに、複製された第１チャネル音響信号の増幅／遅延係数を独立して決定することが一般的であるが、聴取者の位置情報を獲得することができない場合のように、所定の実施形態にでは、それぞれのスピーカについて、増幅／遅延係数を同一に決定することにより、複製された第１チャネル音響信号がそれぞれのスピーカを介して、同一の音響信号として出力される。特に、増幅／遅延部２３１が聴取者の位置情報を獲得することができない場合、増幅／遅延部２３１は、スピーカ別増幅／遅延係数を、既定の値（または任意の値）として決定することができる。
【００７３】
図３は、本発明の他の実施形態による５チャネル音響信号を利用し、所定の高度に仮想音源を定位させる立体音響再生装置１００に係わるブロック図を示している。信号分配部３１０は、５チャネル音響信号から、右側正面チャネル信号３０２と左側正面チャネル信号３０３を抽出し、第１  ＨＲＴＦ  １１１及び第２  ＨＲＴＦ  １１２に伝達する。
【００７４】
フィルタリング部１１１，１１２、複製部１２１，１２２、増幅部１３１，１３２，１３３に印加される音響成分が、右側正面チャネル信号３０２と左側正面チャネル信号３０３とであるということを除けば、図２と同一であるので、以下説明を省略する。
【００７５】
図４は、本発明の一実施形態による７チャネル音響信号を７個のスピーカに出力し、所定高度に仮想音源を定位させる立体音響再生装置１００に係わる一例である。
【００７６】
まず、入力される音響信号を基に図４について説明した後、スピーカに出力される音響信号を基に、図４について説明する。
【００７７】
左側正面信号、左側トップ信号、左側背面信号、センター信号、右側背面信号、右側トップ信号、右側正面信号が含まれた音響信号が入力される。左側正面信号は、Ｂ倍に減衰されたセンター信号とミキシングされ、左側正面スピーカに伝達される。
【００７８】
左側トップ信号は、左側トップスピーカから３０°高い高度に対応するＨＲＴＦを通過した後、４つのチャネル信号に複製される。２つの左側トップ信号は、Ａ倍に増幅された後、右側トップ信号とミキシングされる。実施形態によっては、Ａ倍に増幅された左側トップ信号と右側トップ信号とをミキシングした後、ミキシングされた信号を二つに複製することもできる。ミキシングされた信号のうち一つは、Ｄ倍に増幅された後、左側背面信号とミキシングされて左側背面スピーカに出力され、残りの一つは、Ｅ倍に増幅された後、左側トップスピーカに出力される。
【００７９】
２つの残りの左側トップ信号は、Ａ倍に増幅された右側トップ信号とミキシングされる。ミキシングされた信号のうち一つは、Ｄ倍に増幅された後、右側背面信号とミキシングされて右側背面スピーカに出力され、残りの一つは、Ｅ倍に増幅された後、右側トップスピーカに出力される。
【００８０】
左側背面信号は、Ｄ倍に増幅された右側トップ信号、Ｄ＊Ａ倍に増幅された左側トップ信号とミキシングされて左側背面スピーカに出力される。
【００８１】
センター信号は、三つに複製される。センター信号のうち一つは、Ｂ倍に減衰された後、左側正面信号とミキシングされて左側正面スピーカに出力され、一つは、Ｂ倍に減衰された後、右側正面信号とミキシングされて右側正面スピーカに出力され、残りの一つは、Ｃ倍に減衰されてセンタースピーカに出力される。
【００８２】
右側背面信号は、Ｄ倍に増幅された左側トップ信号、Ｄ＊Ａ倍に増幅された右側トップ信号とミキシングされて右側背面スピーカに出力される。右側トップ信号は、右側トップスピーカから３０°高い高度に対応するＨＲＴＦを通過した後、四つに複製される。
【００８３】
２つの右側トップ信号は、Ａ倍に増幅された左側トップ信号とミキシングされる。ミキシングされた信号のうち一つは、Ｄ倍に増幅された後、左側背面信号とミキシングされて左側背面スピーカに出力され、残りの一つは、Ｅ倍に増幅された後、左側トップスピーカに出力される。
【００８４】
複製された２つの左側トップ信号は、Ａ倍に増幅され、右側トップ信号とミキシングされる。ミキシングされた信号のうち一つは、Ｄ倍に増幅された後、右側背面信号とミキシングされて右側背面スピーカに出力され、残りの一つは、Ｅ倍に増幅された後、右側トップスピーカに出力される。
【００８５】
右側正面信号は、Ｂ倍に減衰されたセンター信号とミキシングされ、右側正面スピーカに伝達される。次に、前記の過程を経て、最終的にスピーカに出力される音響信号について、スピーカを基に説明する。
【００８６】
左側正面スピーカには、（左側正面信号＋センター信号＊Ｂ）が出力される。左側背面スピーカには、（左側背面信号＋Ｄ＊（左側トップ信号＊Ａ＋右側トップ信号））が出力される。
【００８７】
左側トップスピーカには、（Ｅ＊（左側トップ信号＊Ａ＋右側トップ信号））が出力される。センタースピーカには、（Ｃ＊センター信号）が出力される。右側トップスピーカには、（Ｅ＊（右側トップ信号＊Ａ＋左側トップ信号））が出力される。
【００８８】
右側背面スピーカには、（右側背面信号＋Ｄ＊（右側トップ信号＊Ａ＋左側トップ信号））が出力される。右側正面スピーカには、（右側正面信号＋センター信号＊Ｂ）が出力される。
【００８９】
図４で、チャネル信号を増幅または減衰するのに使用された利得値は一例に過ぎず、左側スピーカと右側スピーカとに相応するチャネル信号が出力される多様な形態の利得値を使用することができる。また、実施形態によっては、左側スピーカと右側スピーカとに相応しないチャネル信号を出力させる利得値も使用されもする。
【００９０】
図５は、本発明の一実施形態による５チャネル音響信号を、７個のスピーカに出力して所定高度に仮想音源を定位させる立体音響再生装置１００に係わる一例である。図５では、ＨＲＴＦに入力される音響成分が、左側正面信号及び右側正面信号であるということを除けば、図４と同一である。従って、以下では、スピーカを基に、スピーカに出力される音響信号の形式についてだけ説明する。
【００９１】
左側正面スピーカには、（左側正面信号＋センター信号＊Ｂ）が出力される。左側背面スピーカには、（左側背面信号＋Ｄ＊（左側正面信号＊Ａ＋右側正面信号））が出力される。
【００９２】
左側トップスピーカには、（Ｅ＊（左側正面信号＊Ａ＋右側正面信号））が出力される。センタースピーカには、（Ｃ＊センター信号）が出力される。右側トップスピーカには、（Ｅ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。右側背面スピーカには、（右側背面信号＋Ｄ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。右側正面スピーカには、（右側正面信号＋センター信号＊Ｂ）が出力される。
【００９３】
図６は、本発明の一実施形態による７チャネル音響信号を、５個のスピーカに出力して所定高度に仮想音源を定位させる立体音響再生装置１００に係わる一例である。図６では、左側トップスピーカ及び右側トップスピーカに出力される音響信号が、左側正面スピーカ及び右側正面スピーカに出力されるということを除けば、図４と同一である。従って、以下では、スピーカを基に、スピーカに出力される音響信号の形式についてだけ説明する。
【００９４】
左側正面スピーカには、（左側正面信号＋（センター信号＊Ｂ）＋Ｅ＊（左側正面信号＊Ａ＋右側正面信号））が出力される。左側背面スピーカには、（左側背面信号＋Ｄ＊（左側正面信号＊Ａ＋右側正面信号））が出力される。
【００９５】
センタースピーカには、（Ｃ＊センター信号）が出力される。右側トップスピーカには、（Ｅ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。右側背面スピーカには、（右側背面信号＋Ｄ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。右側正面スピーカには、（右側正面信号＋（センター信号＊Ｂ）＋Ｅ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。
【００９６】
図７は、本発明の一実施形態による所定高度に仮想音源を定位させるためのスピーカシステムに係わる一例を示している。図７のスピーカシステムは、センタースピーカ７１０、左側正面スピーカ７２１、右側正面スピーカ７２２、左側背面スピーカ７３１、右側背面スピーカ７３２から構成される。
【００９７】
図４ないし図６で説明したように、所定の高度に仮想音源７４１，７４２を定位させるために、フィルタを通過させた左側トップ信号と右側トップ信号は、スピーカごとに異なる利得値で増幅または減衰され、左側正面スピーカ７２１、右側正面スピーカ７２２、左側背面スピーカ７３１、右側背面スピーカ７３２に入力される。
【００９８】
図７には図示されていないが、左側トップスピーカ（図示せず）と右側トップスピーカ（図示せず）とが左側正面スピーカ７２１及び右側正面スピーカ７２２の上に配置されもし、その場合、フィルタを通過させた左側トップ信号と右側トップ信号とがスピーカごとに異なる利得値に増幅され、左側トップスピーカ（図示せず）、右側トップスピーカ（図示せず）、左側背面スピーカ７３１、右側背面スピーカ７３２に入力される。
【００９９】
ユーザは、スピーカシステム内の一つ以上のスピーカを介して、フィルタリングされた左側トップ信号と右側トップ信号とを出力することにより、所定の高度に仮想音源が定位されていると認識する。このとき、一つ以上のスピーカ内で、フィルタリングされた左側トップ信号または右側トップ信号をミューティングされることにより、仮想音源の左右位置を調整することができる。
【０１００】
仮想音源を、所定の高度の真ん中に位置させようとする場合には、左側正面スピーカ７２１、右側正面スピーカ７２２、左側背面スピーカ７３１、右側背面スピーカ７３２のいずれでも、フィルタリングされた左側トップ信号と右側トップ信号とを出力したり、あるいは左側背面スピーカ７３１、右側背面スピーカ７３２でのみ、フィルタリングされた左側トップ信号と右側トップ信号とを出力することができる。実施形態によっては、センタースピーカ７１０にも、フィルタリングされた左側トップ信号及び右側トップ信号のうち少なくとも一つが出力される。しかし、センタースピーカ７１０は、仮想音源の左右位置を調整することには、寄与することができない。
【０１０１】
仮想音源を、所定の高度の右側に位置させようとする場合には、右側正面スピーカ７２２、左側背面スピーカ７３１、右側背面スピーカ７３２だけで、フィルタリングされたトップ信号を出力することができる。
【０１０２】
仮想音源を、所定の高度の左側に位置させようとする場合には、左側正面スピーカ７２１、左側背面スピーカ７３１、右側背面スピーカ７３２だけで、フィルタリングされたトップ信号を出力することができる。
【０１０３】
仮想音源を、所定の高度の右側または左側に位置させようとする場合にも、左側背面スピーカ７３１及び右側背面スピーカ７３２に出力されるフィルタリングされたトップ信号は、ミューティングしないことが望ましい。
【０１０４】
実施形態によっては、一つ以上のスピーカに出力されるフィルタリングされたトップ信号をミューティンさせずに、トップ信号を増幅または減衰させるための利得値を調整することにより、仮想音源の左右位置を調整することもできる。
【０１０５】
図８は、本発明の一実施形態による立体音響再生方法に係わるフローチャートを示している。
【０１０６】
段階Ｓ８１０では、音響信号を所定の高度に対応するＨＲＴＦを通過させる。段階Ｓ８２０では、フィルタリングされた音響信号を複製し、一つ以上の複製された音響信号を生成する。段階Ｓ８３０では、一つ以上の複製された音響信号それぞれが出力されるスピーカに対応する利得値によって、前記一つ以上の複製された音響信号それぞれを増幅する。段階Ｓ８４０では、増幅された一つ以上の音響信号それぞれを、対応するスピーカを介して出力する。
【０１０７】
従来には、所定の高度で発生した信号を出力するためには、トップスピーカを所望の高度に固定させなければならないが、天井にトップスピーカを設置することは、現実的に容易ではない。かような不便さを解消するために、正面スピーカ上にトップスピーカを載せるのが一般的であるが、その場合、所望の高度感を再現することができない。
【０１０８】
ＨＴＲＦを介して、仮想音源を所望の位置に定位させる場合、水平面上の左右位置については、仮想音源を効果的に定位させることができるが、実際のスピーカより高い高度または低い高度に仮想音源を定位させるには適切ではない。
【０１０９】
一方、本発明では、ＨＲＴＦを通過した一つ以上のチャネル信号を、スピーカによって異なる利得値で増幅して出力することにより、水平面に配置されたスピーカを利用して、所定高度に仮想音源を効率的に定位させることができる。
【０１１０】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータ可読記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されもする。
【０１１１】
前記コンピュータ可読記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact  disc）−ＲＯＭ、ＤＶＤ（digital  versatile  disc）など）、及びキャリアウエーブ（例えば、インターネットを介した伝送）のような記録媒体を含む。
【０１１２】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいる全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
【図１】
2013533703.tif 000003
【図２Ａ】
2013533703.tif 000004
【図２Ｂ】
2013533703.tif 000005
【図３】
2013533703.tif 000006
【図４】
2013533703.tif 000007
【図５】
2013533703.tif 000008
【図６】
2013533703.tif 000009
【図７】
2013533703.tif 000010
【図８】
2013533703.tif 000011
【国際調査報告】
2013533703.tif 000012
2013533703.tif 000013