(57)【要約】【課題】アップミックス用の付帯情報を持たない音響信号または音声データから、より多くのチャンネルの音響信号または音声データを得ることができるアップミックス装置、音響再生装置、音響増幅装置、及びプログラムを提供する。【解決手段】入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置１であって、入力音響信号を直接音と間接音に分離する残響分離器１０と、間接音に遅延処理を実行することにより、出力音響信号の各チャンネルに対応した第１間接音を生成する遅延処理部２０と、を備えることを特徴とする。【選択図】図１
2015076857.tif 000002
【特許請求の範囲】
【請求項１】
入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置であって、
前記入力音響信号を直接音と間接音に分離する残響分離器と、
前記間接音に遅延処理を実行することにより、前記出力音響信号の各チャンネルに対応した第１間接音を生成する遅延処理部と、
を備えることを特徴とするアップミックス装置。
【請求項２】
前記遅延処理部は、前記間接音及び前記出力音響信号のチャンネル配置に基づく仮想的な伝搬時間により前記第１間接音を生成する、請求項１に記載のアップミックス装置。
【請求項３】
前記残響分離器が分離した直接音に基づいて、前記出力音響信号のチャンネルに対応した第２間接音を生成する残響生成部をさらに備える、請求項１又は２に記載のアップミックス装置。
【請求項４】
前記残響分離器が分離した間接音のレベルを監視し、
該間接音のレベルに応じて、
前記出力音響信号に含める前記第１間接音及び前記第２間接音を制御する間接音付加方法選択部をさらに備える、請求項３に記載のアップミックス装置。
【請求項５】
前記間接音付加方法選択部が、ユーザーが間接音の付加方法を指示可能なユーザーインターフェース部を有する、請求項４に記載のアップミックス装置。
【請求項６】
前記入力音響信号を、異なる周波数帯域成分をもつ複数の音響信号に分離するフィルタをさらに備える、請求項１〜５の何れか一項に記載のアップミックス装置。
【請求項７】
入力音響信号よりもチャンネル数の多い出力音響信号を生成する音響再生装置であって、
前記入力音響信号を直接音と間接音に分離する残響分離器と、
前記間接音に遅延処理を実行することにより、前記出力音響信号の各チャンネルに対応した第１間接音を生成する遅延処理部と、
を備えることを特徴とする音響再生装置。
【請求項８】
入力音響信号よりもチャンネル数の多い出力音響信号を生成する音響増幅装置であって、
前記入力音響信号を直接音と間接音に分離する残響分離器と、
前記間接音に遅延処理を実行することにより、前記出力音響信号の各チャンネルに対応した第１間接音を生成する遅延処理部と、
を備えることを特徴とする音響増幅装置。
【請求項９】
入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置のコンピュータに、
前記入力音響信号を直接音と間接音に分離するステップと、
前記間接音に遅延処理を実行することにより、前記出力音響信号の各チャンネルに対応した第１間接音を生成するステップと、を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号処理に関し、特には、少ないチャンネル数の音響信号から、より多くのチャンネル数の音響信号を作り出す、アップミックス技術に関するものである。
【背景技術】
【０００２】
従来、２ｃｈステレオの素材から５．１ｃｈサラウンドの素材を自動的に作り出すといった、少ないチャンネル数のマルチチャンネルオーディオ信号から、より多いチャンネル数のマルチチャンネルオーディオ信号を作り出す、アップミックスと呼ばれる技術が知られている（例えば、特許文献１、特許文献２、非特許文献１、及び非特許文献２参照）。
【０００３】
上記のアップミックスを行う機器は、例えば、ポストプロダクションなどで既存の２チャンネルオーディオ素材を５．１ｃｈサラウンド制作に応用する、あるいは、５．１ｃｈサラウンドの音楽番組で２チャンネル制作のカラオケを５．１ｃｈに変換して使用するといった用途に使用されている。また、素材レベルでのアップミックスの利用だけではなく、２チャンネルステレオで制作されたプログラムを丸ごとアップミックスして５．１ｃｈサラウンドのプログラムにするといった例もある。このように、音響制作において、異なるチャンネル方式で制作された素材を融合したり、互換したりする上で、アップミックス技術は必要不可欠なものである。
【０００４】
ところで、近年はスーパーハイビジョン用の２２．２マルチチャンネル音響を始め、５．１ｃｈを上回る多数のチャンネルを有する音響システムの開発が進められている。これらの多チャンネル音響による制作においても、上記と同様の理由により、アップミックス技術が必要不可欠である。
【０００５】
しかし、現在市販されているアップミックス装置の中に２２．２マルチチャンネル音響に対応したものはない。また、Ｎチャンネルのオーディオ信号からＭチャンネルのオーディオ信号を生成する技術（Ｎ≦Ｍ）も提案されている（例えば、特許文献３、特許文献４参照）が、その多くは５．１ｃｈサラウンドなどの二次元平面上にスピーカを配置したシステムを想定したものであり、高さ方向にもスピーカが存在する三次元音響システムに適用した場合に、自然な三次元空間印象が得られるかどうかは検証されていない。
【０００６】
また、上記のような三次元音響システムに対応するアップミックス用の付帯情報（サイド情報）、すなわち、録音時のマイク配置及びスピーカ配置等の情報が元の音響信号に付加されている場合には、当該サイド情報に基づいたアップミックスが可能となるが、このようなサイド情報を録音時に収集・生成することは容易ではなく、多大な時間や費用が必要となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４７９２０８６号公報
【特許文献２】特許第４６６４４３１号公報
【特許文献３】特許第４９８９４６８号公報
【特許文献４】特表２０１２−５１１８４５号公報
【非特許文献】
【０００８】
【非特許文献１】濱崎公男,「Digital Audio用語集」, FDI 2011年11月, pp.44.
【非特許文献２】K. Kinoshita et al. "Blind Upmix Of Stereo Music Signals Using Multi-Step Linear Prediction Based Reverberation Extraction", ICASSP, pp.49-52, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述のように、２２．２マルチチャンネル音響のような、多チャンネルの三次元音響方式へのアップミックス手法は確立されていないのが現状である。
【００１０】
従って、上記のような問題点に鑑みてなされた本発明の目的は、アップミックス用の付帯情報を持たない音響信号または音声データから、より多くのチャンネルの音響信号または音声データを得ることができるアップミックス装置、音響再生装置、音響増幅装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明に係るアップミックス装置は、入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置であって、
前記入力音響信号を直接音と間接音に分離する残響分離器と、
前記間接音に遅延処理を実行することにより、前記出力音響信号の各チャンネルに対応した第１間接音を生成する遅延処理部と、
を備えることを特徴とする。
【００１２】
また、本発明に係るアップミックス装置は、前記遅延処理部は、前記間接音及び前記出力音響信号のチャンネル配置に基づく仮想的な伝搬時間により前記第１間接音を生成することが好ましい。
【００１３】
また、本発明に係るアップミックス装置は、前記残響分離器が分離した直接音に基づいて、前記出力音響信号のチャンネルに対応した第２間接音を生成する残響生成部をさらに備えることが好ましい。
【００１４】
また、本発明に係るアップミックス装置は、前記残響分離器が分離した間接音のレベルを監視し、
該間接音のレベルに応じて、
前記出力音響信号に含める前記第１間接音及び前記第２間接音を制御する間接音付加方法選択部をさらに備えることが好ましい。
【００１５】
また、本発明に係るアップミックス装置は、前記間接音付加方法選択部が、ユーザーが間接音の付加方法を指示可能なユーザーインターフェース部を有することが好ましい。
【００１６】
また、本発明に係るアップミックス装置は、前記入力音響信号を、異なる周波数帯域成分をもつ複数の音響信号に分離するフィルタをさらに備えることが好ましい。
【００１７】
また、本発明に係る音響再生装置は、入力音響信号よりもチャンネル数の多い出力音響信号を生成する音響再生装置であって、
前記入力音響信号を直接音と間接音に分離する残響分離器と、
前記間接音に遅延処理を実行することにより、前記出力音響信号の各チャンネルに対応した第１間接音を生成する遅延処理部と、
を備えることを特徴とする。
【００１８】
また、本発明に係る音響増幅装置は、入力音響信号よりもチャンネル数の多い出力音響信号を生成する音響増幅装置であって、
前記入力音響信号を直接音と間接音に分離する残響分離器と、
前記間接音に遅延処理を実行することにより、前記出力音響信号の各チャンネルに対応した第１間接音を生成する遅延処理部と、
を備えることを特徴とする。
【００１９】
また、本発明に係るプログラムは、
入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置のコンピュータに、
前記入力音響信号を直接音と間接音に分離するステップと、
前記間接音に遅延処理を実行することにより、前記出力音響信号の各チャンネルに対応した第１間接音を生成するステップと、を実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、アップミックス用の付帯情報を持たない音響信号または音声データから、より多くのチャンネルの音響信号または音声データを得ることができるアップミックス装置、音響再生装置、音響増幅装置、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態に係るアップミックス装置の概略構成を示す機能ブロック図である。
【図２】２２．２ｃｈ信号を再生する場合のスピーカ配置とチャンネル番号及びチャンネルラベルの一例を示す図である。
【図３】本発明の第２実施形態に係るアップミックス装置の概略構成を示す機能ブロック図である。
【図４】本発明の第３実施形態に係るアップミックス装置の概略構成を示す機能ブロック図である。
【図５】櫛型フィルタの構成を示す機能ブロック図である。
【発明を実施するための形態】
【００２２】
（第１実施形態）
以下、本発明の一実施形態に係るアップミックス装置について、図面を参照して説明する。
【００２３】
図１は、本実施形態のアップミックス装置１を用いて、２ｃｈステレオ信号である入力音響信号（以下、原信号とも称する。）を２２．２ｃｈの音響信号にアップミックスする場合の信号処理を例示したものである。図１において、入力される原信号に含まれる左右の音響信号をそれぞれxL(t), xR(t)と表し、出力される音響信号を、y1(t), y2(t),… y24(t)と表している。図２は、本実施形態のアップミックス装置１から出力された２２．２ｃｈの音響信号を再生可能なスピーカ配置の一例を、チャンネル番号及びチャンネルラベルとともに示した図である。上記の出力信号y1(t), y2(t),… y24(t)は、図２に示す１〜２４ｃｈのスピーカからそれぞれ出力される。
【００２４】
本実施形態のアップミックス装置１は、残響分離器１０、遅延処理部２０、ローパスフィルタ３０、混合器４０、乗算器５０を備える。
【００２５】
ここで、原信号の左右の信号xL(t), xR(t)に含まれるそれぞれの直接音をdL(t), dR(t)、間接音をrL(t), rR(t)とすると、原信号の左右の信号xL(t), xR(t)は次式のように表される。
【００２６】
【数１】
2015076857.tif 000003
【００２７】
残響分離器１０は、入力された原信号xL(t), xR(t)を、直接音dL(t), dR(t)と間接音rL(t), rR(t)に分離して、遅延処理部２０、ローパスフィルタ３０、及び混合器４０に出力する。なお、残響分離器１０は、例えば非特許文献２に記載された残響分離処理方法等の、公知の残響分離処理方法を用いた残響分離器とすることができる。
【００２８】
遅延処理部２０は、固有の遅延時間情報を有する複数の遅延器２１〜２５を備え、原信号から分離した間接音rL(t), rR(t)に遅延処理を実行して、相互相関の低い新たな第１間接音を生成する。このように、遅延処理部２０で相互相関の低い間接音を生成することで、各チャンネルの間接音の相互相関が低くなり、聴感上の３次元的な広がり感を得ることができる。なお、本実施形態において遅延処理部２０は、図２に示す３次元音響システムにおけるスピーカのチャンネル配置に対応する遅延処理を実行する。遅延処理部２０による遅延処理は、次式のように表される。
【００２９】
【数２】
2015076857.tif 000004
【００３０】
ここで、遅延器２１〜２５が有する遅延時間情報Δts, ΔtH, ΔtVU, ΔtVLは、図２に示すスピーカのチャンネル配置に基づく間接音の仮想的な伝搬時間に応じた値であり、仮想水平伝搬時間をΔts, ΔtH 、中層から上層への仮想伝搬時間をΔtVU、中層から下層への仮想伝搬時間をΔtVL、としている。なお、仮想水平伝搬時間Δts, ΔtHのうち、Δtsは、図２に示すＦＬ(１ｃｈ)とＦＬｃ（７ｃｈ）間及びＦＲ(２ｃｈ)とＦＲｃ(８ｃｈ)間等の、比較的短い距離における間接音の仮想水平伝搬時間を表し、ΔtHは、図２に示すＦＬ(１ｃｈ)とＳｉＬ(１１ｃｈ)、ＦＲ(２ｃｈ)とＳｉＲ(１２ｃｈ)間等の、比較的長い距離における間接音の仮想水平伝搬時間を表している。また、Δts, ΔtH, ΔtVU, ΔtVLの各値は、当業者であれば、r1(t)〜r24(t)の２４の信号がすべて異なる信号となるような値を適宜設定できるものである。Δts, ΔtH, ΔtVU, ΔtVLの各値を設定する際には、下限としては相関を下げる効果が得られる範囲とし、上限としては音が先行音効果により分離しない範囲とすることを考慮して各値を決定することが望ましい。上記の観点から、Δts, ΔtH, ΔtVU, ΔtVLの各値は、３０ｍｓ以下であることが好ましい。また、本実施形態においてΔts, ΔtH, ΔtVU, ΔtVLの各値は、互いに素な値とするのが望ましい。Δts, ΔtH, ΔtVU, ΔtVLの各値の一例としては、Δts＝４ｍｓ, ΔtH＝７ｍｓ, ΔtVU＝１３ｍｓ, ΔtVL＝１１ｍｓとすることができる。遅延処理部２０によって生成された新たな第１間接音は、混合器４０に出力される。
【００３１】
なお、本実施形態では、遅延処理部２０に含まれる遅延器２１〜２５に関して、上式（２）〜（４）を実現する最小限の構成として効率的に遅延処理を行うため、図１に示すように１つの遅延器が複数のチャンネルの遅延処理を実行するよう接続されているが、第１間接音を生成する全てのチャンネルにそれぞれ独立した遅延器を設ける構成としても良い。
【００３２】
また、本実施形態において遅延処理部２０は、上式（２）〜（４）で表すように、図２に示す５〜９ｃｈ及び１１〜２４ｃｈに該当するチャンネルの新たな第１間接音のみを生成しているが、これに限られるものではなく、例えば３ｃｈの新たな第１間接音を生成することも可能である。
【００３３】
ローパスフィルタ３０は、残響分離器１０から出力された原信号の直接音dL(t), dR(t)の低域成分ldL(t), ldR(t)、及び間接音rL(t), rR(t)の低域成分lrL(t), lrR(t)をそれぞれ抽出して、混合器４０に出力する。ここで、ローパスフィルタ３０のカットオフ周波数は、例えば、８０〜１２０Ｈｚとすることができる。またこの例では、ローパスフィルタ３０からの出力信号はＬＦＥ（Low Frequency Effects）チャンネルである、図２のＬＦＥ１(４ｃｈ)及びＬＦＥ２（１０ｃｈ）に出力される信号に適用される。
【００３４】
混合器４０は、残響分離器１０、遅延処理部２０、及びローパスフィルタ３０から出力される信号を混合して、各チャンネルへの信号を生成する。また、混合器４０は、各チャンネルへの信号に含まれる間接音に係数ar1,…, ar24を乗算することにより、各チャンネルに間接音を付加する度合いを調節する。すなわち、混合器４０は、直接音と間接音を混合するチャンネル（この例では１ｃｈ、２ｃｈ、３ｃｈ、４ｃｈ、１０ｃｈ）については、直接音と間接音の比を調節することができる。混合器４０は、例えば、図２に示すＦＬ(１ｃｈ)への信号を生成するため、直接音dL(t)に、係数ar1を乗算した間接音rL(t)を付加する。同様に、混合器４０は、ＦＲ(２ｃｈ)への信号を生成するため、直接音dR(t)に、係数ar2を乗算した間接音rR(t)を付加する。なお、図２に示すＦＣ（３ｃｈ）は左右中央に位置するため、混合器４０は、原信号の左右の直接音を混合したdL(t)+dR(t)に、原信号の左右の間接音を混合した{rL(t)+rR(t)}を、係数ar3を乗算して付加し、ＦＣ（３ｃｈ）への信号を生成する。
【００３５】
乗算器５０は、混合器４０から出力される信号に係数a1, a2,…, a24を乗算することにより、チャンネル毎にレベルを調節して、図２に例示する２２．２ｃｈのスピーカにそれぞれ出力する。乗算器５０が出力する出力信号y1(t), y2(t),… y24(t)は、次式のように表される。
【００３６】
【数３】
2015076857.tif 000005
【００３７】
以上の構成を有する本実施形態のアップミックス装置１によれば、アップミックス用の付帯情報を持たない２ｃｈの原信号から、２２．２ｃｈの音響信号にアップミックスすることができる。また、高さ方向にもスピーカが存在する３次元音響システムに応じた遅延処理を各チャンネルに実行して、相互相関の低い新たな第１間接音を生成することにより、高さ方向にも広がりのある自然な３次元空間印象の音を得ることができる。さらに、原信号に含まれる直接音と間接音を分離して、間接音のレベルを調節して混合するため、直接音と間接音の比（バランス）を適切に調節したアップミックスを行うことができる。例えば、クラシックコンサートの音源のように、残響が大きいことが好まれる場合には、間接音のレベルを上げて残響を大きく響かせるといった処理が可能となる。
【００３８】
（第２実施形態）
次に、本発明の第２実施形態として、Ｌ、Ｒ、Ｃ、ＳＬ、ＳＲ、ＬＦＥチャンネルからなる５．１ｃｈサラウンドの原信号を、２２．２ｃｈの音響信号にアップミックスする場合の信号処理について説明する。なお、第１実施形態と同様の構成については同一の符号で表し、説明を省略する。
【００３９】
図３は、残響分離器１０、遅延処理部２０、混合器４０、乗算器５０を備えるアップミックス装置１００が実行する信号処理を例示したものである。図３において、入力される原信号をxL(t), xR(t), xC(t), xSL(t), xSR(t) , xLFE(t)と表し、出力される音響信号をy1(t), y2(t),… y24(t)と表している。第１実施形態と同様に、アップミックス装置１００から出力される音響信号y1(t), y2(t),… y24(t)は、図２に示す１〜２４ｃｈのスピーカで再生することができる。
【００４０】
原信号xL(t), xR(t), xC(t), xSL(t), xSR(t), xLFE(t)に含まれるそれぞれの直接音をdL(t), dR(t), dC(t), dSL(t), dSR(t) , dLFE(t)、間接音をrL(t), rR(t), rC(t), rSL(t), rSR(t), rLFE(t)とすると、原信号は次式のように表される。
【００４１】
【数４】
2015076857.tif 000006
【００４２】
残響分離器１０は、入力された原信号xL(t), xR(t), xC(t), xSL(t), xSR(t) , xLFE(t)を、直接音dL(t), dR(t), dC(t), dSL(t), dSR(t), dLFE(t)と間接音rL(t), rR(t), rC(t), rSL(t), rSR(t), rLFE(t)に分離して、遅延処理部２０、及び混合器４０に出力する。なお、第１実施形態と同様に残響分離器１０は、例えば非特許文献２に記載された残響分離処理方法等の、公知の残響分離処理方法を用いた残響分離器とすることができる。
【００４３】
遅延処理部２０は、固有の遅延時間情報を有する複数の遅延器２１〜２５を備え、原信号から分離した間接音rL(t), rR(t), rC(t), rSL(t), rSR(t), rLFE(t)に、スピーカのチャンネル配置に対応する遅延処理を実行して、相互相関の低い新たな第１間接音を生成する。遅延処理部２０による遅延処理は、次式のように表される。
【００４４】
【数５】
2015076857.tif 000007
【００４５】
ここで、遅延器２１〜２５が有する遅延時間情報Δts, ΔtH, ΔtVU, ΔtVLは、第１実施形態と同様である。遅延処理部２０によって生成された新たな第１間接音は、混合器４０に出力される。
【００４６】
また、本実施形態において遅延処理部２０は、上式（７）〜（９）で表すように、図２に示す７〜９ｃｈ及び１１〜２４ｃｈに該当するチャンネルの新たな第１間接音のみを生成しているが、これに限られるものではなく、他のチャンネルに対応する新たな第１間接音を生成することも可能である。また、本実施形態においては、原信号にＬＦＥ信号であるxLFE(t)が含まれているため、ローパスフィルタを備えない構成としているが、ローパスフィルタを備える構成としても良い。
【００４７】
混合器４０は、第１実施形態と同様に、残響分離器１０及び遅延処理部２０から出力される信号を混合して、各チャンネルへの信号を生成する。また、混合器４０は、入力された間接音に係数ar1,…, ar24を乗算することにより、各チャンネルに間接音を付加する度合いを調節する。
【００４８】
ここで、本実施形態の混合器４０は、図２のＦＬ(１ｃｈ)、ＦＲ(２ｃｈ)、ＦＣ（３ｃｈ）、ＢＬ（５ｃｈ）、ＢＲ（６ｃｈ）の各チャンネルについては、原信号の直接音dL(t), dR(t), dC(t), dSL(t), dSR(t)と、係数ar1, ar2, ar3, ar5, ar6を乗算して調節した間接音rL(t), rR(t), rC(t), rSL(t), rSR(t)とを付加する。また、混合器４０は、ＬＦＥチャンネル用の信号ＬＦＥ１（４ｃｈ）、ＬＦＥ２（１０ｃｈ）については、原信号のＬＦＥ信号から残響分離器１０で分離した直接音dLFE(t)と、係数ar4, ar10を乗算して調節した間接音rLFE(t)とを付加する。
【００４９】
乗算器５０は、混合器４０から出力される信号を、係数a1,…, a24によりチャンネル毎にレベルを調節して、図２に例示する２２．２ｃｈのスピーカにそれぞれ出力する。乗算器５０が出力する出力信号y1(t), y2(t),…, y24(t)は、次式のように表される。
【００５０】
【数６】
2015076857.tif 000008
【００５１】
以上の構成を有する本実施形態のアップミックス装置１００によれば、アップミックス用の付帯情報を持たない５．１ｃｈの原信号から、２２．２ｃｈの音響信号にアップミックスすることができ、上記第１実施形態と同様に、高さ方向にもスピーカが存在する３次元音響システムに応じた遅延処理を各チャンネルに実行して、相互相関の低い間接音を生成することにより、高さ方向にも広がりのある自然な３次元空間印象の音を得ることができる。また、本実施形態のアップミックス装置１００にあっては、原信号にＬＦＥ信号であるxLFE(t)が含まれているため、ローパスフィルタを用いることなく、２２．２ｃｈの音響信号にアップミックスすることができる。
【００５２】
（第３実施形態）
次に、本発明の第３実施形態として、図４に示すアップミックス装置２００が２ｃｈステレオの原信号を、２２．２ｃｈの音響信号にアップミックスする場合の信号処理について説明する。なお、第１実施形態と同様の構成については同一の符号で表し、説明を省略する。アップミックス装置２００は、残響分離器１０、遅延処理部２０、混合器４０、乗算器５０の構成に加え、櫛型フィルタ２６０、第２残響分離器２７０、残響生成部２８０、間接音付加方法制御部２９０を備える。
【００５３】
櫛型フィルタ２６０は、原信号を異なる周波数帯域成分をもつ複数の音響信号に分離する。本実施形態では、原信号xL(t), xR(t)を、４チャンネルの信号xL1(t), xL2(t), xR1(t), xR2(t)に分離して、混合器４０及び第２残響分離器２７０に出力する。ここで、本実施形態における櫛型フィルタ２６０の詳細な構成について、図５を参照して説明する。
【００５４】
櫛型フィルタ２６０は、遅延器２６１、２６５、乗算器２６２、２６６、減算器２６３、２６７、及び加算器２６４、２６８を備える。櫛型フィルタ２６０に入力された原信号xL(t), xR(t)は、それぞれ遅延器２６１、２６５、減算器２６３、２６７、及び加算器２６４、２６８に送られる。
【００５５】
遅延器２６１、２６５は、それぞれがもつ遅延時間情報ΔtL, ΔtRに基づいて、原信号xL(t), xR(t)に遅延処理を実行し、乗算器２６２、２６６に出力する。乗算器２６２、２６６は、遅延器２６１、２６５からの信号にそれぞれがもつ係数αL, αRを乗算して、減算器２６３、２６７及び加算器２６４、２６８にそれぞれ出力する。減算器２６３、２６７は、原信号xL(t), xR(t)と、乗算器２６２、２６６からの出力をそれぞれ減算する。加算器２６４、２６８は、原信号xL(t), xR(t)と、乗算器２６２、２６６からの出力をそれぞれ加算する。櫛型フィルタ２６０により生成される信号は、次式のように表される。
【００５６】
【数７】
2015076857.tif 000009
【００５７】
ここで、乗算器２６２、２６６の係数αL, αRは、値が大きいほどxL1(t), xL2(t), xR1(t), xR2(t)の周波数特性の差が大きくなり、分離の効果が大きいが、周波数特性の凹凸も増大し、音質の自然さが失われるため、分離度合いと音質のバランスを考慮して決定することが望ましい。遅延器２６１、２６５の遅延時間情報ΔtL, ΔtRについても同様である。なお、原信号の直接音を分離するフィルタとしては、櫛型フィルタに限定されず、例えば原信号を低周波と高周波に分離するフィルタ等、異なる周波数帯域成分をもつ複数の音響信号に分離する様々なフィルタを用いることが可能である。
【００５８】
第２残響分離器２７０は、残響分離器１０と同様の機能を有し、櫛型フィルタ２６０から出力された信号xL1(t), xL2(t), xR1(t), xR2(t)を、直接音dL1(t), dL2(t), dR1(t), dR2(t)と間接音rL1(t), rL2(t), rR1(t), rR2(t)に分離して、混合器４０に出力する。第２残響分離器２７０により生成される信号は、次式のように表される。
【００５９】
【数８】
2015076857.tif 000010
【００６０】
残響生成部２８０は、加算器２８１、残響付加器２８２、ローパスフィルタ２８３、残響付加器２８４を備える。加算器２８１は、残響分離器１０で分離した直接音dL(t), dR(t)を加算し、残響付加器２８２に出力する。残響付加器２８２は、残響分離器１０で分離した直接音dL(t), dR(t)及び加算器２８１の出力に基づいて、独立した新たな第２間接音
R1(t), …, R3(t), R5(t), …, R9(t), R11(t), …, R24(t)を生成して、混合器４０に出力する。ここで、残響付加器２８２による第２間接音の生成には、例えば（非特許文献３：森 他,「三次元残響付加装置に用いるインパルス応答測定におけるマイクロホンの指向性に関する一検討」,  日本音響学会 春季研究発表会講演論文集, , 2013年3月）の方法を利用することができる。ローパスフィルタ２８３は、原信号の直接音dL(t), dR(t)の低域成分ldL(t), ldR(t)、及び間接音rL(t), rR(t)の低域成分lrL(t), lrR(t)をそれぞれ抽出して、混合器４０及び残響付加器２８４に出力する。残響付加器２８４は、直接音dL(t), dR(t)の低域成分ldL(t), ldR(t)から独立した第２間接音R4(t), R10(t)を生成して、混合器４０に出力する。
【００６１】
間接音付加方法制御部２９０は、残響分離器１０で分離した間接音rL(t), rR(t)のレベルを監視し、間接音rL(t), rR(t)のレベルに応じて、遅延処理部２０で生成される第１間接音及び残響生成部２８０で生成される第２間接音をそれぞれ制御する。具体的には、例えば、残響分離器１０で分離した間接音rL(t), rR(t)のレベルが所定の閾値よりも大きい場合には、混合器４０のもつ係数aR1, …,aR24を０とするか、もしくは小さくして残響生成部２８０で生成される第２間接音を付加する度合いを下げることにより、間接音が過大となることを自動的に防ぐことができる。逆に、残響分離器１０で分離した間接音rL(t), rR(t)のレベルが所定の閾値よりも小さい場合には、混合器４０の係数aR1〜aR24を大きくして残響生成部２８０で生成される第２間接音を付加する度合いを上げることにより、アップミックスの効果を維持することができる。
【００６２】
さらに、間接音付加方法制御部２９０は、ユーザーインターフェース部２９１を持ち、ユーザーの入力指示があった場合には、上記のような自動制御の実行を中止して、遅延処理部２０及び残響生成部２８０でそれぞれ生成される間接音を付加する度合いを制御することができる。ユーザーインターフェース部２９１は、ユーザーからの入力に基づいて、遅延処理部２０で生成される第１間接音及び残響生成部２８０で生成される第２間接音のうち、例えば、いずれか一方を選択する、あるいは、任意の比率で混合して用いるといった制御を実行することができる。
【００６３】
なお、本実施形態のアップミックス装置２００にあっては、櫛型フィルタ２６０及び第２残響分離器２７０により、図２で示すＦＬｃ(７ｃｈ)及びＦＲｃ(８ｃｈ)に該当するチャンネルの間接音を生成しているため、遅延処理部２０では上記チャンネルの間接音を生成していないこととしている。また、その結果として、遅延時間情報Δtsをもつ第１実施形態の遅延器２１は不要となるため省略している。本実施形態の遅延処理部２０による遅延処理は、次式のように表される。
【００６４】
【数９】
2015076857.tif 000011
【００６５】
混合器４０は、残響分離器１０、遅延処理部２０、櫛型フィルタ２６０、第２残響分離器２７０、残響生成部２８０、間接音付加方法制御部２９０から出力される信号を混合して、各チャンネルへの信号を生成する。また、混合器４０は、入力された間接音に係数ar1,…, ar24、及びaR1,…, aR24をそれぞれ乗算することにより、各チャンネルに間接音を付加する度合いを調節することができる。
【００６６】
混合器４０は、例えば、図２に示すＦＬ(１ｃｈ)への信号を生成するため、直接音dL(t)に、係数ar1を乗算した間接音rL(t)を付加し、さらに、残響生成部２８０で生成した第２間接音R1(t)を、係数aR１を乗算して付加する。同様に、混合器４０は、ＦＲ(２ｃｈ)への信号を生成するため、直接音dR(t)に、係数ar2を乗算した間接音rR(t)を付加し、さらに、残響生成部２８０で生成した第２間接音R2(t)を、係数aR2を乗算して付加する。なお、図２に示すＦＣ（３ｃｈ）については、混合器４０は、原信号の左右の直接音を混合したdL(t)+dR(t)に、原信号の左右の間接音を混合した{rL(t)+rR(t)}を、係数ar3を乗算して付加し、さらに、残響生成部２８０で生成した第２間接音R3(t)を、係数aR3を乗算して付加する。
【００６７】
乗算器５０は、混合器４０から出力される信号に係数a1, a2,…, a24を乗算することにより、チャンネル毎にレベルを調節して、図２に例示する２２．２ｃｈのスピーカにそれぞれ出力する。乗算器５０が出力する出力信号y1(t), y2(t),… y24(t)は、次式のように表される。
【００６８】
【数１０】
2015076857.tif 000012
【００６９】
本実施形態のアップミックス装置２００によれば、第１実施形態で得られる効果に加え、残響生成部２８０で生成される第２間接音を用いることにより、原信号に含まれる間接音とは、全く別の独立した間接音を生成することができる。
【００７０】
また、本実施形態のアップミックス装置２００によれば、原信号に含まれる間接音が小さい、または０である場合であっても、残響生成部２８０により新たな第２間接音を生成することができるため、アップミックスの効果を十分に発揮することができる。
【００７１】
また、本実施形態のアップミックス装置２００によれば、遅延処理部２０で生成される第１間接音及び残響生成部２８０で生成される第２間接音を選択的に、又は両方を同時に用いてアップミックスを行うことができる。
【００７２】
また、本実施形態のアップミックス装置２００によれば、原信号に含まれる間接音のレベルに応じて、自動的に間接音の生成方法を選択することができる。すなわち、遅延処理部２０で生成される第１間接音及び残響生成部２８０で生成される第２間接音のうち、いずれか一方を選択的に用いるか、あるいは同時に使用するかを自動的に制御し、第１間接音及び第２間接音それぞれのレベル調節を自動的に行うことができる。また、また、間接音付加方法制御部２９０がユーザーインターフェース部２９１を有することにより、ユーザーの好みで手動での上記制御が可能となる。
【００７３】
また、本実施形態のアップミックス装置２００によれば、櫛型フィルタ２６０により原信号を分離して、前方チャンネルの直接音についても相互相関の低い音響信号を生成することができるため、さらに聴感上の広がりのある音を得ることができる。
【００７４】
なお、上記第２実施形態で説明したアップミックス装置１００に、本実施形態の櫛型フィルタ２６０、第２残響分離器２７０、残響生成部２８０、及び間接音付加方法制御部２９０等をそれぞれ適用することで、５．１ｃｈの原信号から２２．２ｃｈの音響信号にアップミックスする場合においても、本実施形態と同様の効果を得ることができる。
【００７５】
また、原信号、原信号に含まれる直接音、及び原信号に含まれる間接音のいずれかから、新たな間接音を生成する複数の手法を追加しても、上記実施形態と同様に原信号に含まれる間接音のレベルに応じて間接音の付加方法を自動制御する、あるいは、手動により制御することが可能である。
【００７６】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
【符号の説明】
【００７７】
１、１００、２００  アップミックス装置
１０  残響分離器
２０  遅延処理部
３０、２８３  ローパスフィルタ
４０  混合器
５０  乗算器
２６０  櫛型フィルタ（フィルタ）
２７０  第２残響分離器
２８０  残響生成部
２８１  加算器
２８２  残響付加器
２８４  残響付加器
２９０  間接音付加方法制御部
２９１  ユーザーインターフェース部
【図１】
2015076857.tif 000013
【図２】
2015076857.tif 000014
【図３】
2015076857.tif 000015
【図４】
2015076857.tif 000016
【図５】
2015076857.tif 000017