(57)【特許請求の範囲】
【請求項１】
入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置であって、
入力音響信号を直接音及び間接音に分離する残響分離器と、
入力音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部と、
前記インパルス応答との相関関数の絶対値の最大値が１よりも小さい複数の類似インパルス応答を生成するインパルス応答生成部と、
前記直接音及び前記複数の類似インパルス応答の畳み込み演算により複数の類似間接音を生成する間接音生成部と、
前記直接音、前記間接音、及び前記類似間接音を用いた線形演算を行い、前記出力音響信号を生成する混合器と、
を備えることを特徴とするアップミックス装置。
【請求項２】
前記インパルス応答生成部は、前記インパルス応答を所定の時間で分割し、乱数を用いて並べ直して前記類似インパルス応答を生成することを特徴とする、請求項１に記載のアップミックス装置。
【請求項３】
前記混合器により生成された出力音響信号について、チャンネル毎に音量レベルを調節する乗算器をさらに備えることを特徴とする、請求項１又は２に記載のアップミックス装置。
【請求項４】
コンピュータを、請求項１から３のいずれか一項に記載のアップミックス装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置及びプログラムに関する。
【背景技術】
【０００２】
従来、２ｃｈステレオから５．１ｃｈサラウンドに変換するといった、少ないチャンネル数のオーディオ信号からより多いチャンネル数のオーディオ信号を作り出す、アップミックスと呼ばれる技術が知られている（例えば、特許文献１及び２参照）。
【０００３】
２ｃｈステレオの信号から５．１ｃｈサラウンドの信号を作り出すアルゴリズムはいろいろと提案されており、すでに製品化もされている。これらの機器は、例えば、ポストプロダクションなどで既存の２チャンネルオーディオ素材を５．１ｃｈサラウンド制作に応用したり、あるいは、５．１ｃｈサラウンドの音楽番組で２チャンネル制作のカラオケを５．１ｃｈに変換して使用したりするといった用途に使われている。また、素材レベルでのアップミックスの利用だけではなく、２チャンネルステレオで制作されたプログラムを丸ごとアップミックスして５．１ｃｈサラウンドのプログラムにするといった例もある。
【０００４】
さらに近年、８Ｋスーパーハイビジョン用の２２．２ｃｈ音響を始め、５．１ｃｈを上回る多数のチャンネルを有する音響システムの開発が進められている。しかし、現在市販されているアップミックス装置の中に２２．２ｃｈ音響に対応したものはない。また、Ｎチャンネルのオーディオ信号からＭチャンネルのオーディオ信号を生成する技術（Ｎ≦Ｍ）も提案されているが（例えば、特許文献３及び４参照）、その多くは５．１ｃｈサラウンドなどの二次元平面上にスピーカを配置したシステムを想定したものであり、高さ方向にもスピーカが存在する三次元音響システムに適用した場合に、自然な三次元空間印象が得られるかどうかは検証されていない。
【０００５】
このように、音響制作において、異なるチャンネル方式で制作された素材を融合したり、互換したりする上で、アップミックス技術は重要である。特に、音響制作の効率的化には、アップミックス用の付帯情報（サイド情報）を持たない従来の２ｃｈステレオ、５．１ｃｈの音声信号（音声データ）から、音響エンジニアがミキシング作業を行うことなく２２．２ｃｈの音声信号（音声データ）を得ることができる、自動アップミックス技術が不可欠である。
【０００６】
そこで、特許文献５では、アップミックス用の付帯情報を持たない従来の２ｃｈステレオ、５．１ｃｈサラウンドの音声信号から、ミキシング作業を行うことなく２２．２ｃｈの音声信号を得る技術が開示されている。
【０００７】
また、２２．２ｃｈを５．１ｃｈや２ｃｈステレオに変換するといった、より少ないチャンネル数のオーディオ信号を作り出すことをダウンミックスと呼ぶ。２２．２ｃｈの再生に対応しない機器（受信機、オーディオアンプ等）では、予め定められた配分（ダウンミックス係数）で複数チャンネルの信号を混合し、再生可能なより少ないチャンネル数に再構成するダウンミックス処理が行われる（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４７９２０８６号公報
【特許文献２】特許第４６６４４３１号公報
【特許文献３】特許第４９８９４６８号公報
【特許文献４】特表２０１２−５１１８４５号公報
【特許文献５】特開２０１５−７６８５７号公報
【非特許文献】
【０００９】
【非特許文献１】ＡＲＩＢ  ＳＴＤ−Ｂ３２  ３．２版、「デジタル放送における映像符号化、音声符号化及び多重化方式」
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献５に記載のアップミックス装置によれば、アップミックス用の付帯情報を持たない従来の２ｃｈステレオ、５．１ｃｈサラウンドの音声信号から、ミキシング作業を行うことなく２２．２ｃｈの音声信号を生成することができる。しかし、得られた２２．２ｃｈ信号から、上述のダウンミックス係数を使った自動ダウンミックスを行った場合、以下の理由により音質が劣化するという課題があった。
【００１１】
特許文献５に記載のアップミックス装置は、アップミックス前の原信号から分離した間接音に遅延処理を施し、この遅延時間を変えることで、複数の間接音を新たに生成してアップミックスを行う。このアップミックス後の信号に、ダウンミックス係数によるダウンミックス処理が施された場合、遅延時間だけが異なる同一の信号が加算される。そのため、櫛形フィルタが形成され、周波数特性に遅延時間の逆数の周波数間隔でピーク又はディップが生じ、音質が劣化してしまう。
【００１２】
かかる事情に鑑みてなされた本発明の目的は、アップミックス用の付帯情報を持たない従来の２ｃｈステレオ、５．１ｃｈサラウンドなどの入力音響信号から、ミキシング作業を行うことなく、かつダウンミックスしても音質劣化の少ない、アップミックスされた出力音響信号を得ることが可能なアップミックス装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明に係るアップミックス装置は、入力音響信号よりもチャンネル数の多い出力音響信号を生成するアップミックス装置であって、入力音響信号を直接音及び間接音に分離する残響分離器と、入力音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部と、前記インパルス応答との相関関数の絶対値の最大値が１よりも小さい複数の類似インパルス応答を生成するインパルス応答生成部と、前記直接音及び前記複数の類似インパルス応答の畳み込み演算により複数の類似間接音を生成する間接音生成部と、前記直接音、前記間接音、及び前記類似間接音を用いた線形演算を行い、前記出力音響信号を生成する混合器と、を備えることを特徴とする。
【００１４】
さらに、本発明に係るアップミックス装置において、前記インパルス応答生成部は、前記インパルス応答を所定の時間で分割し、乱数を用いて並べ直して前記類似インパルス応答を生成することを特徴とする。
【００１５】
さらに、本発明に係るアップミックス装置において、前記混合器により生成された出力音響信号について、チャンネル毎に音量レベルを調節する乗算器をさらに備えることを特徴とする。
【００１６】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記アップミックス装置として機能させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、アップミックス用の付帯情報を持たない従来の２ｃｈステレオ、５．１ｃｈサラウンドなどの入力音響信号から、ミキシング作業を行うことなく、入力音響信号よりもチャンネル数の多いアップミックスされた出力音響信号を得ることができる。また、得られた出力音響信号をダウンミックスしても、音質劣化の少ないブラインドアップミックスを実現することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係るアップミックス装置の構成例を示すブロック図である。
【図２】２２．２ｃｈ信号を再生する場合のスピーカ配置とチャンネル番号及びチャンネルラベルの一例を示す図である。
【図３】本発明の第１の実施形態に係るアップミックス装置におけるインパルス応答生成部の構成例を示すブロック図である。
【図４】本発明の第２の実施形態に係るアップミックス装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
本発明のアップミックス装置は、入力音響信号よりもチャンネル数の多い出力音響信号を生成する装置である。以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００２０】
（第１の実施形態）
第１の実施形態では、入力音響信号（原信号）を、前方左右の音を収録した２ｃｈステレオ信号とし、出力音響信号を、２２．２ｃｈ信号とする。図１に、本発明の第１の実施形態に係るアップミックス装置の構成例を示す。図１に示す例では、アップミックス装置１は、残響分離器１１と、インパルス応答推定部１２と、インパルス応答生成部１３と、間接音生成部１４と、混合器１５と、乗算器１６と、ローパスフィルタ１７とを備える。ただし、乗算器１６は必須の構成ではない。
【００２１】
図２に、２２．２ｃｈ信号を再生する場合のスピーカ配置とチャンネル番号・ラベルを示す。
【００２２】
アップミックスによって得られる図２の１〜２４ｃｈ用の信号をｙ1（ｔ），ｙ2（ｔ），・・・，ｙ24（ｔ）とする。原信号である２ｃｈステレオ信号の左右の信号をそれぞれｘL（ｔ），ｘR（ｔ）とする。原信号ｘL（ｔ），ｘR（ｔ）は、それぞれの直接音ｄL（ｔ），ｄR（ｔ）と間接音（残響音）ｒL（ｔ），ｒR（ｔ）とを用いて次のように表される。
【００２３】
【数１】
0006630599.tif 000002
【００２４】
残響分離器１１は、入力された原信号ｘL（ｔ），ｘR（ｔ）を、それぞれ直接音ｄL（ｔ），ｄR（ｔ）、及び間接音ｒL（ｔ），ｒR（ｔ）に分離して、インパルス応答推定部１２、混合器１５、及びローパスフィルタ１７に出力する。残響分離処理は、公知の処理を用いることができる。例えば、K. Kinoshita et al, "Blind Upmix Of Stereo Music Signals Using Multi-Step Linear Prediction Based Reverberation Extraction", ICASSP, pp.49-52, 2010.に開示された手法により、残響分離処理を行う。
【００２５】
インパルス応答推定部１２は、残響分離器１１により分離された直接音ｄL（ｔ），ｄR（ｔ）と間接音ｒL（ｔ），ｒR（ｔ）とから、あるいは原信号ｘL（ｔ），ｘR（ｔ）と直接音ｄL（ｔ），ｄR（ｔ）とから、原音場（入力音響信号を収録した、直接音を含まない原音場）のインパルス応答ｈL（ｔ），ｈR（ｔ）を推定し、インパルス応答生成部１３に出力する。
【００２６】
間接音ｒL（ｔ），ｒR（ｔ）は、原音場のインパルス応答ｈL（ｔ），ｈR（ｔ）を用いて、式（２）で表される。
【００２７】
【数２】
0006630599.tif 000003
【００２８】
ここで、＊は畳み込み演算を示す。式（２）の周波数領域表現は、式（３）のように表せる。
【００２９】
【数３】
0006630599.tif 000004
【００３０】
式（３）より、原音場の伝達関数ＨL（ω），ＨR（ω）は、式（４）で表される。
【００３１】
【数４】
0006630599.tif 000005
【００３２】
インパルス応答推定部１２は、式（４）に基づき伝達関数ＨL（ω），ＨR（ω）を求め、時間領域に戻したインパルス応答ｈL（ｔ），ｈR（ｔ）を算出する。直接音の周波数成分ＤL（ω），ＤR（ω）に零点がある場合、式（４）の値を算出できないが、原信号の間接音ｒL（ｔ），ｒR（ｔ）、及び直接音ｄL（ｔ），ｄR（ｔ）から、例えばクロススペクトル法や適応フィルタ法など既知の手法を適用することにより、インパルス応答ｈL（ｔ），ｈR（ｔ）を推定することができる。
【００３３】
インパルス応答生成部１３は、インパルス応答推定部１２により推定されたインパルス応答との相関係数の絶対値の最大値が１よりも小さいインパルス応答である類似インパルス応答ｈLm（ｔ），ｈRn（ｔ）を複数生成し、間接音生成部１４に出力する。なお、特許文献５に記載の手法では、遅延時間を変えることで複数の間接音を生成しているが、この方法だと遅延前のインパルス応答と遅延後のインパルス応答の相関関数の絶対値の最大値が１となる。すなわち、インパルス応答生成部１３の処理には、特許文献５に記載の手法が含まれない。
【００３４】
インパルス応答生成部１３は、例えば、元になるインパルス応答ｈL（ｔ），ｈR（ｔ）を所定の時間で分割し、乱数を用いて並べ直すことにより、類似インパルス応答ｈLm（ｔ），ｈRn（ｔ）を生成する。
【００３５】
図３に、インパルス応答生成部１３の一例として、特許第３６５７３４０号公報に開示された構成例を示す。インパルス応答生成部１３にはインパルス応答ｈL（ｔ）及びｈR（ｔ）が与えられるが、説明の便宜上、ここではインパルス応答ｈ（ｔ）が与えられるものとし、１つのインパルス応答ｈ（ｔ）からｍ個の類似インパルス応答ｈ1（ｔ），ｈ2（ｔ），・・・，ｈm（ｔ）を生成する処理について説明する。
【００３６】
図３に示す例では、インパルス応答生成部１３は、信号分離部１３１と、ｎ個の乗算部１３２（１３２−１〜１３２−ｎ）と、ｍ個の乱数発生部１３３（１３３−１〜１３３−ｍ）と、ｎ個の時間シフト部１３４（１３４−１〜１３４−ｎ）と、信号加算部１３５と、スイッチ１３６と、スイッチ１３７とを備える。
【００３７】
信号分離部１３１は、与えられたインパルス応答を初期反射音部ｅ（ｔ）と残響音部ｒ（ｔ）とに分離する。
【００３８】
乗算部１３２は、信号分離部１３１により分離された残響音部ｒ（ｔ）に対して、所定の有限長の時間窓をそれぞれ所定時間だけシフトして得られた時間窓を乗じ、信号ｒ1（ｔ），ｒ2（ｔ），・・・，ｒn（ｔ）を生成する。
【００３９】
乱数発生部１３３は、時間シフト量をランダム時間系列で与える。
【００４０】
時間シフト部１３４は、乱数発生部１３３のランダムな時間シフト量で、乗算部１３２の出力の時間軸をシフトし、信号ｒ1(k)（ｔ），ｒ2(k)（ｔ），・・・，ｒn(k)（ｔ）を生成する。
【００４１】
信号加算部１３５は、信号分離部１３１により分離された初期反射音部ｅ（ｔ）と、時間シフト部１３４の出力とを全て加算する。
【００４２】
スイッチ１３６は、乱数発生部１３３の異なる出力を選択するものである。スイッチ１３７は、スイッチ１３６と連動しており、信号加算部１３５からの信号を振り分ける。
【００４３】
間接音生成部１４は、式（５）に示すように、直接音ｄL（ｔ），ｄR（ｔ）、及び類似インパルス応答ｈLm（ｔ），ｈRn（ｔ）の畳み込み演算により、間接音と類似した音色を持つ間接音である類似間接音ｒLm（ｔ），ｒRn（ｔ）を複数生成し、混合器１５に出力する。
【００４４】
【数５】
0006630599.tif 000006
【００４５】
間接音と類似した類似間接音を用いることにより、聴感上３次元的な広がり感を得ることができる。また、インパルス応答ｈLm（ｔ），ｈRn（ｔ）から生成した類似間接音ｒLm（ｔ），ｒRn（ｔ）は、単純な時間遅延と異なり、混合しても櫛形フィルタが形成されず、ダウンミックスした際の音質劣化を避けることができる。
【００４６】
ローパスフィルタ１７は、残響分離器１１から入力された直接音ｄL（ｔ），ｄR（ｔ）の低域成分ｌdL（ｔ），ｌdR（ｔ）、及び間接音ｒL（ｔ），ｒR（ｔ）の低域成分ｌrL（ｔ），ｌrR（ｔ）をそれぞれ抽出して、混合器１５に出力する。ここで、ローパスフィルタ１７のカットオフ周波数は、例えば、８０〜１２０Ｈｚとする。またこの例では、ローパスフィルタ１７からの出力信号はＬＦＥ（Low Frequency Effects）チャンネルである、図２のＬＦＥ１(４ｃｈ)及びＬＦＥ２（１０ｃｈ）に出力される信号に適用される。
【００４７】
混合器１５は、直接音ｄL（ｔ），ｄR（ｔ）、間接音ｒL（ｔ），ｒR（ｔ）、及び類似間接音ｒLm（ｔ），ｒRn（ｔ）を混合し（すなわち、直接音、間接音、及び類似間接音を用いた線形演算を行い）、各チャンネルへの信号を生成する。ここで、線形演算は直接音、間接音、類似間接音のうち、少なくとも一つを用いていればよい。また、混合器１５は、各チャンネルへの信号に含まれる間接音に係数ａr1，ａr2，…，ａr24を乗算することにより、各チャンネルに間接音を付加する度合いを調節する。例えば、直接音と間接音を混合するチャンネル（本実施形態では１ｃｈ、２ｃｈ、３ｃｈ、４ｃｈ、１０ｃｈ）については、直接音と間接音の比を調節することができる。アップミックス装置１が乗算器１６を備えない場合には、混合器１５の出力する信号が出力音響信号となる。
【００４８】
乗算器１６は、混合器１５から出力される信号に係数ａ1，ａ2，…，ａ24を乗算することにより、チャンネル毎に音量レベルを調節して、２２．２ｃｈのスピーカにそれぞれ出力音響信号を出力する。２２．２ｃｈのスピーカが図２に示す位置に配置される場合、乗算器１６が出力する出力信号ｙ1（ｔ），ｙ2（ｔ），…，ｙ２４（ｔ）は、例えば式（６）のように表される。
【００４９】
【数６】
0006630599.tif 000007
【００５０】
式（６）の例では、混合器１５は、図２に示すＦＬ(１ｃｈ)への信号を生成するため、直接音ｄL（ｔ）に、係数ａr1を乗算した間接音ｒL（ｔ）を付加する。同様に、混合器１５は、ＦＲ（２ｃｈ）への信号を生成するため、直接音ｄR（ｔ）に、係数ａr2を乗算した間接音ｒR（ｔ）を付加する。
【００５１】
混合器１５は、ＦＣ（３ｃｈ）については、原信号の間接音のもつ方向特性の再現性と２２．２ｃｈ音響のチャンネル配置に鑑み左右中央に位置する信号であるため、原信号の左右の直接音を混合したｄL（ｔ）＋ｄR（ｔ）に、原信号の左右の間接音を混合した｛ｒL（ｔ）＋ｒR（ｔ）｝を、係数ａr3を乗算して付加する。
【００５２】
同様に、混合器１５は、左右中央に位置するＢＣ（９ｃｈ），ＴｐＦＣ（１５ｃｈ），ＴｐＣ（１６ｃｈ），ＴｐＢＣ（２１ｃｈ），ＢｔＦＣ（２２ｃｈ）についても、原信号から得た左右のインパルス応答ｈL（ｔ），ｈR（ｔ）それぞれから生成したｈLm（ｔ），ｈRn（ｔ）に基づく類似間接音ｒLm（ｔ），ｒRn（ｔ）（ｍ＝ｎ＝９，１５，１６，２１，２２）を混合した間接音を付加する。また、混合器１５は、中央より左側に位置するチャンネルには、原信号の左側インパルス応答ｈL（ｔ）から生成したｈLm（ｔ）に基づく類似間接音ｒLm（ｔ）（ｍ＝５，７，１１，１３，１７，１９，２３）を付加する。中央より右側に位置するチャンネルには、原信号の右側インパルス応答ｈR（ｔ）から生成したｈRn（ｔ）に基づく類似間接音ｒRm（ｔ）（ｎ＝６，８，１２，１４，１８，２０，２４）を付加する。なお、類似間接音それぞれの相関は低く、音の定位にも大きく影響しないため、左右どちらか一方の類似間接音を付加するようにしてもよい。
【００５３】
（第２の実施形態）
つぎに、本発明の第２の実施形態について説明する。第２の実施形態では、入力音響信号（原信号）を、Ｌ，Ｒ，Ｃ，ＳＬ，ＳＲ，ＬＦＥチャンネルからなる５．１ｃｈサラウンド信号とし、出力音響信号を、２２．２ｃｈ信号とする。図４に、本発明の第２の実施形態に係るアップミックス装置の構成例を示す。図４に示す例では、アップミックス装置２は、残響分離器２１と、インパルス応答推定部２２と、インパルス応答生成部２３と、間接音生成部２４と、混合器２５と、乗算器２６とを備える。ただし、乗算器２６は必須の構成ではない。
【００５４】
原信号である５．１ｃｈサラウンド信号ｘL（ｔ），ｘR（ｔ），ｘC（ｔ），ｘSL（ｔ），ｘSR（ｔ），ｘLFE（ｔ）は、それぞれの直接音ｄL（ｔ），ｄR（ｔ），ｄC（ｔ），ｄSL（ｔ），ｄSR（ｔ），ｄLFE（ｔ）と、間接音ｒL（ｔ），ｒR（ｔ），ｒC（ｔ），ｒSL（ｔ），ｒSR（ｔ），ｒLFE（ｔ）を用いて、式（７）のように表される。
【００５５】
【数７】
0006630599.tif 000008
【００５６】
残響分離器２１は、原信号をそれぞれ直接音ｄL（ｔ），ｄR（ｔ），ｄC（ｔ），ｄSL（ｔ），ｄSR（ｔ），ｄLFE（ｔ）、及び間接音ｒL（ｔ），ｒR（ｔ），ｒC（ｔ），ｒSL（ｔ），ｒSR（ｔ），ｒLFE（ｔ）に分離して、インパルス応答推定部２２、及び混合器２５に出力する。
【００５７】
インパルス応答推定部２２は、残響分離器２１により分離された直接音と間接音とから、あるいは原信号と直接音とから、原音場のインパルス応答ｈL（ｔ），ｈR（ｔ），ｈC（ｔ），ｈSL（ｔ），ｈSR（ｔ），ｈLFE（ｔ）を推定し、インパルス応答生成部２３に出力する。
【００５８】
原信号の間接音ｒL（ｔ），ｒR（ｔ），ｒC（ｔ），ｒSL（ｔ），ｒSR（ｔ），ｒLFE（ｔ）は、原音場のインパルス応答ｈL（ｔ），ｈR（ｔ），ｈC（ｔ），ｈSL（ｔ），ｈSR（ｔ），ｈLFE（ｔ）を用いて、式（８）で表される。
【００５９】
【数８】
0006630599.tif 000009
【００６０】
ここで、＊は畳み込み演算を示す。式（８）の周波数領域表現を用いて、原音場の伝達関数ＨL（ω），ＨR（ω），ＨC（ω），ＨSL（ω），ＨSR（ω），ＨLFE（ω）は、式（９）で表される。
【００６１】
【数９】
0006630599.tif 000010
【００６２】
第１の実施形態と同様、インパルス応答推定部２２は、式（９）の伝達関数に基づき、クロススペクトル法や適応フィルタ法など既知の手法を適用することにより、インパルス応答ｈL（ｔ），ｈR（ｔ），ｈC（ｔ），ｈSL（ｔ），ｈSR（ｔ），ｈLFE（ｔ）を推定する。
【００６３】
インパルス応答生成部２３は、インパルス応答推定部２２により推定されたインパルス応答との相関係数の絶対値の最大値が１よりも小さいインパルス応答である類似インパルス応答ｈLk（ｔ），ｈRl（ｔ），ｈCm（ｔ），ｈSLn（ｔ），ｈSRp（ｔ），ｈLFEq（ｔ）を複数生成し、間接音生成部２４に出力する。例えば、元になるインパルス応答ｈL（ｔ），ｈR（ｔ），ｈC（ｔ），ｈSL（ｔ），ｈSR（ｔ），ｈLFE（ｔ）を所定の時間で分割し、乱数を用いて並べ直すことにより、類似インパルス応答ｈLk（ｔ），ｈRl（ｔ），ｈCm（ｔ），ｈSLn（ｔ），ｈSRp（ｔ），ｈLFEq（ｔ）を生成する。
【００６４】
間接音生成部２４は、式（１０）に示すように、直接音ｄL（ｔ），ｄR（ｔ），ｄC（ｔ），ｄSL（ｔ），ｄSR（ｔ），ｄLFE（ｔ）、及び類似インパルス応答ｈLk（ｔ），ｈRl（ｔ），ｈCm（ｔ），ｈSLn（ｔ），ｈSRp（ｔ），ｈLFEq（ｔ）の畳み込み演算により、間接音と類似した音色を持つ間接音である類似間接音ｒLk（ｔ），ｒRl（ｔ），ｒCm（ｔ），ｒSLn（ｔ），ｒSRp（ｔ），ｒLFEq（ｔ）を複数生成し、混合器２５に出力する。間接音と類似した類似間接音を用いることにより、聴感上３次元的な広がり感を得ることができる。
【００６５】
【数１０】
0006630599.tif 000011
【００６６】
混合器２５は、直接音ｄL（ｔ），ｄR（ｔ），ｄC（ｔ），ｄSL（ｔ），ｄSR（ｔ），ｄLFE（ｔ）、間接音ｒL（ｔ），ｒR（ｔ），ｒC（ｔ），ｒSL（ｔ），ｒSR（ｔ），ｒLFE（ｔ）、及び類似間接音ｒLk（ｔ），ｒRl（ｔ），ｒCm（ｔ），ｒSLn（ｔ），ｒSRp（ｔ），ｒLFEq（ｔ）を混合し（すなわち、直接音、間接音、及び類似間接音を用いた線形演算を行い）、各チャンネルへの信号を生成する。ここで、線形演算は直接音、間接音、類似間接音のうち、少なくとも一つを用いていればよい。また、混合器２５は、各チャンネルへの信号に含まれる間接音に係数ａr1，ａr2，…，ａr24を乗算することにより、各チャンネルに間接音を付加する度合いを調節する。アップミックス装置２が乗算器２６を備えない場合には、混合器２５の出力する信号が出力音響信号となる。
【００６７】
乗算器２６は、混合器２５から出力される信号に係数ａ1，ａ2，…，ａ24を乗算することにより、チャンネル毎に音量レベルを調節して、２２．２ｃｈのスピーカにそれぞれ出力音響信号を出力する。２２．２ｃｈのスピーカが図２に示す位置に配置される場合、乗算器２６が出力する出力信号ｙ1（ｔ），ｙ2（ｔ），…，ｙ２４（ｔ）は、例えば式（１１）のように表される。
【００６８】
【数１１】
0006630599.tif 000012
【００６９】
式（１０）の例では、原信号の間接音のもつ方向特性の再現性と２２．２ｃｈ音響のチャンネル配置に鑑み、原音場の左側のインパルス応答ｈL（ｔ）から生成した間接音及び類似間接音は、アップミックスで生成される２２．２ｃｈ信号の左側チャンネルに利用し、原音場の右側のインパルス応答ｈR（ｔ）から生成した間接音及び類似間接音は２２．２ｃｈ信号の右側チャンネルに利用している。同様に、ｈC（ｔ）から生成した間接音及び類似間接音は左右中央のチャンネルに割り当て、ｈSL（ｔ），ｈSR（ｔ）から生成した間接音及び類似間接音はそれぞれ後方の左右に割り当て、ｈLFE（ｔ）から生成した間接音及び類似間接音はＬＦＥチャンネルに割り当てている。なお、間接音及び類似間接音それぞれの相関は低く、音の定位にも大きく影響しないため、他の割り当て方法も考えられる。
【００７０】
以上、アップミックス装置１，２について説明したが、このアップミックス装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、アップミックス装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００７１】
上述したアップミックス装置１，２、又はアップミックス装置１，２として機能させるコンピュータによれば、原音場のインパルス応答に類似する類似インパルス応答から複数の類似間接音を生成するため、アップミックス用の付帯情報を持たない入力音響信号から、ミキシング作業を行うことなく、入力音響信号よりもチャンネル数の多いアップミックスされた出力音響信号を得ることができる。
また、類似インパルス応答はインパルス応答との相関関数の絶対値の最大値が１よりも小さいため、得られた出力音響信号をダウンミックスしても、音質劣化の少ないブラインドアップミックスを実現することができる。
【００７２】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【００７３】
また、上述の実施形態では、２２．２ｃｈへアップミックミックスする例を示したが、本発明によれば、同様な方法で７．１ｃｈなど、入力音響信号よりもチャンネル数の多い他のマルチチャンネルフォーマットへアップミックスすることができる。
【符号の説明】
【００７４】
１，２      アップミックス装置
１１，２１  残響分離器
１２，２２  インパルス応答推定部
１３，２３  インパルス応答生成部
１４，２４  間接音生成部
１５，２５  混合器
１６，２６  乗算器
１７        ローパスフィルタ
１３１      信号分離部
１３２      乗算部
１３３      乱数発生部
１３４      時間シフト部
１３５      信号加算部
１３６      スイッチ
１３７      スイッチ
【図１】
0006630599.tif 000013
【図２】
0006630599.tif 000014
【図３】
0006630599.tif 000015
【図４】
0006630599.tif 000016