(57)【特許請求の範囲】
【請求項１】
方向別に分離した音源信号である局所音源信号群からバイノーラル音を再合成する再合成装置であって、
前記再合成装置は、
前記局所音源信号群の各々についてフレームごとの局所音源信号パワーを計算する局所音源信号パワー計算部と、
前記局所音源信号パワーが大きいことを示す所定の範囲にある局所音源信号とＨＲＴＦを畳み込み、前記バイノーラル音を再合成する選択型ＨＲＴＦ畳み込み部と
を含むものであり、
前記所定の範囲を示す閾値は音源からの信号がない状態に対応する数値である
再合成装置。
【請求項２】
請求項１に記載の再合成装置であって、
ＰをＨＲＴＦ畳み込みの対象とする局所音源信号の数の上限を表す整数とし、
前記局所音源信号パワーが大きいことを示す所定の範囲にある局所音源信号が複数ある場合は、高々Ｐ個以下の局所音源信号のみをＨＲＴＦ畳み込みの対象とする再合成装置。
【請求項３】
方向別に分離した音源信号である局所音源信号群からバイノーラル音を再合成する再合成方法であって、
前記再合成方法は、
前記局所音源信号群の各々についてフレームごとの局所音源信号パワーを計算する局所音源信号パワー計算ステップと、
前記局所音源信号パワーが大きいことを示す所定の範囲にある局所音源信号とＨＲＴＦを畳み込み、前記バイノーラル音を再合成する選択型ＨＲＴＦ畳み込みステップと
を含むものであり、
前記所定の範囲を示す閾値は音源からの信号がない状態に対応する数値である
再合成方法。
【請求項４】
請求項１または２に記載の再合成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バイノーラル音を再合成する技術に関し、特に方向別に分離した音源信号である局所音源信号群から再合成する技術に関する。
【背景技術】
【０００２】
近年、全天球カメラが普及したことを背景として、ユーザが見渡している映像に対応した音を仮想的に生成するための研究が盛んにおこなわれている。その一つに、全天球映像音声視聴システムがある（非特許文献１）。全天球映像とは、全天球カメラで撮影した映像のことである。これにより、ユーザはあたかも撮影した場にいるかのような映像を視ることが可能となる。
【０００３】
全天球映像音声視聴システムでは、複数の領域（具体的には、特定の角度幅で区切った領域）において推定した局所音源信号群にＨＲＴＦ（Ｈｅａｄ−Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を畳み込むことにより、ユーザが見渡している映像に対応するバイノーラル音を生成・出力することができる。このシステムでは、ユーザがジャイロセンサ付きのＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を装着することで、頭部方向をリアルタイムに取得する。そして、取得した頭部方向に応じて各局所音源信号に畳み込むＨＲＴＦを切り替えることで、ユーザが見渡している映像に対応したバイノーラル音をリアルタイムに生成する。生成したバイノーラル音はイヤホンやヘッドホンを用いて聴取される。
【０００４】
なお、ＨＭＤは１枚のフレネルレンズとスマートホンを組み合わせて構成されるような簡単なものでもよい。スマートホンを用いて構成することにより、ネットワークで配信されるコンテンツの視聴が容易に可能となる。
【０００５】
以下では、全天球映像音声視聴システムにおける音の生成（全天球映像に対応したバイノーラル音の生成システム）について説明する。
【０００６】
Ｋ個（Ｋは１以上の整数）の音源が存在する音場に、Ｍ本（Ｍは１以上の整数）のマイクロホンで構成されたアレイを設置して観測することを想定する。ｋ番目（１≦ｋ≦Ｋ）の音源信号をＳｋ,ω,τ、ｍ番目（１≦ｍ≦Ｍ）の観測信号をＸｍ,ω,τ、その間の伝達特性をＡｍ,ｋ,ωとするとき、観測信号群ｘω,τは次式でモデル化される。
【０００７】
【数１】
0006526582.tif 000002
【０００８】
ここで、ω、τはそれぞれ周波数のインデックス、フレーム時間（以下、単にフレームともいう）のインデックスを表す。また、
【０００９】
【数２】
0006526582.tif 000003
であり、Ｔは転置、Ｎｍ,ω,τはｍ番目の観測信号に含まれる背景雑音を表す。
【００１０】
ユーザが見渡している映像に対応したバイノーラル音ｂω,τ＝[Ｂω,τ（Left），Ｂω,τ(Right)]Ｔ の生成について説明する。フレーム時間τにおけるユーザの頭部方向（極座標表現）をΨτ＝［Ψτ(Hor)，Ψτ(Ver)]Ｔと表す。
【００１１】
音源の指向性や背景雑音を無視できると仮定したとき、ユーザの頭部方向と各音源の間のＨＲＴＦを各音源信号に畳み込むことで、ユーザが見渡している映像に対応したバイノーラル音ｂω,τを出力できる。その様子を図１に示す。
【００１２】
【数３】
0006526582.tif 000004
【００１３】
ここで、Ｈｋ,Ψτ,ω(Left)、Ｈｋ,Ψτ,ω(Right)は、ｋ番目の音源とユーザの左耳間のＨＲＴＦ、ｋ番目の音源とユーザの右耳間のＨＲＴＦをそれぞれ表す。
【００１４】
近接した音源の位置の違いに対してＨＲＴＦが劇的に変化しないことを考慮すると、局所的な領域内にある音源群を１つの音源信号（以下、局所音源信号という）と見なしてもユーザの音像定位に大きな影響を及ぼさないと考えられる。そこで、全天球映像音声視聴システムでは、個々の音源信号を抽出するのではなく、方向Θｊ＝[Θｊ(Hor),Θｊ(Ver)]Ｔ（ｊ＝１，…，Ｌ） を主軸とした角度幅を持つＬ個の領域（以下、簡単のため、局所領域Θｊともいう）群における局所音源信号群を推定する方向別収音する方式を採用する。その様子を図２に示す。例えば、図２の局所音源信号ＺΘ３,ω,τと図１の３番目の音源信号Ｓ３,ω,τ、４番目の音源信号Ｓ４,ω,τが対応していることを示している。なお、方向別収音の具体的な方法については後述する。
【００１５】
方向Θｊ＝[Θｊ(Hor),Θｊ(Ver)]Ｔを主軸とした角度幅を持つ領域とその他領域から到来した音源群を分離し、局所音源信号ＺΘｊ,ω,τ（ｊ＝１，…，Ｌ）が推定されたと仮定すると、ユーザが見渡している映像に対応したバイノーラル音ｂω,τは、次式で仮想的に生成される。
【００１６】
【数４】
0006526582.tif 000005
【００１７】
ここで、ＨΘｊ,Ψτ,ω(Left)、ＨΘｊ,Ψτ,ω(Right)は、ｊ番目の局所領域Θｊの主軸方向とユーザの左耳間のＨＲＴＦ、ｊ番目の局所領域Θｊの主軸方向とユーザの右耳間のＨＲＴＦをそれぞれ表す。
【００１８】
なお、音場の残響時間、頭部や両耳の物理構造の個人性、音源と受聴者の間の距離に応じてＨＲＴＦが変化することは一般的に知られているが、ここでは、これらの影響を無視できると仮定し、ＨΘｊ,Ψτ,ω(Left)、ＨΘｊ,Ψτ,ω(Right)を簡略化して表すこととした。この簡略化したＨΘｊ,Ψτ,ω(Left)、ＨΘｊ,Ψτ,ω(Right)は、あらかじめＨＡＴＳ（Ｈｅａｄ  ａｎｄ  Ｔｏｒｓｏ  Ｓｉｍｕｌａｔｏｒｓ）を低残響下に設置し、スピーカを離散的に配置して収録したデータベースから最も近い方向のＨＲＴＦを選択することで得られる。
【００１９】
音源信号群ｓω,τからバイノーラル音ｂω,τを生成するための全体的な処理フローを図３に示す。図３における再合成処理が式（９）、式（１０）を用いたバイノーラル音の生成に対応する。その際、ＨＭＤにより取得されたユーザの頭部方向が入力される（図３におけるユーザコントロールが対応する）。
【００２０】
次に、観測信号群ｘω,τから局所音源信号群ｚω,τ＝[ＺΘ１,ω,τ，…，ＺΘＬ,ω,τ]Ｔを収音する方向別収音について説明する。全天球映像音声視聴システムでは、局所ＰＳＤ（Ｐｏｗｅｒ  Ｓｐｅｃｔｒａｌ  Ｄｅｎｓｉｔｙ）推定に基づく音源強調方式による方向別収音を用いる。
【００２１】
ここで、全天球映像音声視聴システムにおいて音源別収音でなく、方向別収音を用いる理由を説明する。ユーザが見渡している映像に対応するように分離した信号群を定位操作し再合成するという用途では、近接した位置にある音源群を無理に分離する必要性はないと考えられる。これは、音源群と受聴者の間のＨＲＴＦの特性が大きく変わらないため、受聴者の音像定位に対して大きな影響を及ぼさないからである。むしろ、音源が時々刻々と移動する状況を想定するならば、できるだけ均一に区切られた領域群に対応する局所音源信号群を生成できる方が好ましいからである。
【００２２】
観測信号群ｘω,τにビームフォーミングを適用する、あるいはショットガンマイクのような超指向性のマイクロホンを用いて受音する等の手段により方向Θｊを主軸とした角度幅を持つ領域（局所領域Θｊ）から到来した音をプリエンハンスした信号をＹΘｊ,ω,τ（ｊ＝１，…，Ｌ）とする。また、プリエンハンスした信号群をｙω,τ＝［ＹΘ１,ω,τ，…，ＹΘＬ,ω,τ］Ｔと表す。プリエンハンスした信号群ｙω,τを生成する処理が図３における指向性形成処理である。
【００２３】
音源信号が互いに無相関であると仮定すると、ＹΘｊ,ω,τのＰＳＤφＹΘｊ,ωは次式でモデル化される。
【００２４】
【数５】
0006526582.tif 000006
【００２５】
ここで、＜・＞は期待値演算、ＤΘｊ,ｋ,ωはｋ番目の音源に対するｊ番目のビームフォーミング／受音の平均的な感度、φＳｋ,ωはｋ番目の音源のＰＳＤを表す。
【００２６】
式（１１）の関係が局所音源信号群ｚω,τとプリエンハンスされた信号群ｙω,τの関係についても成り立つと仮定すると、φＹΘｊ,ωは次式で近似して表される。
【００２７】
【数６】
0006526582.tif 000007
【００２８】
ここで、ＤΘｊ,Θｉ,ωは方向Θｉを主軸とした角度幅を持つ領域に対するｊ番目のビームフォーミング／受音の平均的な感度、φＳΘｉ,ωはｉ番目の局所音源信号のＰＳＤ（局所ＰＳＤ）を表す。Ｌ個のφＳΘｉ,ωとφＹΘｊ,ωの関係は次式でモデル化される。
【００２９】
【数７】
0006526582.tif 000008
【００３０】
Ｌ個の局所ＰＳＤφＳΘｉ,ωを推定するために、式（１３）の逆問題を解く。ここでは、雑音抑圧性能を高めるために、フレーム毎に局所ＰＳＤを推定することとすると、逆問題は次式で定式化される。
【００３１】
【数８】
0006526582.tif 000009
【００３２】
なお、実用上の課題としてスパース性を仮定できる局所領域の数Ｌ、Ｄω?１の安定性を制御する課題が生じる。Ｄωの要素はすべて正の数であるため、Ｄωの特異値の条件によっては安定に解が求まらないこともある。したがって、マニュアルで安定化計算の調整をする必要がある。例えば、以下のように対角項に所定の値を加算する操作を行い、調整すればよい。
【００３３】
【数９】
0006526582.tif 000010
【００３４】
ここで、εは安定化係数であり、値が大きいほど安定な逆行列計算を可能にする。
【００３５】
観測信号に干渉雑音のみが混在している場合には、式（１４）で算出したΦ＾Ｓ,ω,τから目的音のＰＳＤ（目的音ＰＳＤ）及び雑音のＰＳＤ（雑音ＰＳＤ）を求めればよい。なお、目的音のＰＳＤ、雑音のＰＳＤは音源強調のフィルタを生成する際に必要となる。
【００３６】
しかし、実際には式（１）のように非干渉性（あるいは拡散性）の背景雑音が観測信号に存在する。そのような場合には、干渉性雑音のＰＳＤ（干渉雑音ＰＳＤ）と背景雑音のＰＳＤ（背景雑音ＰＳＤ）を別々に推定した方が精度の高い音源強調のフィルタを生成できると考えられる。干渉性雑音のＰＳＤと背景雑音のＰＳＤを別々に推定するための一方法を以下で説明する。
【００３７】
まず、式（１４）で算出したΦ＾Ｓ,ω,τから背景雑音のＰＳＤを取り除く。背景雑音は目的音、干渉性雑音とは無相関であると仮定できるので、パワースペクトル領域での加算性を仮定しても近似的には成り立つと考えられる。ｉ番目の方向Θｉの局所領域にある音源群を目的音とする。そのとき、局所ＰＳＤφＳΘｉ,ω,τからその中に存在する背景雑音ＰＳＤφBNTΘｉ,ω,τを減算する。これにより、推定された目的音のＰＳＤ（背景雑音の影響を除去済みのもの）φTSΘｉ,ω,τが求まる。
【００３８】
【数１０】
0006526582.tif 000011
【００３９】
もし、目的音ＰＳＤφTSΘｉ,ω,τが０より小さいときには０にする。また、式（１６）の背景雑音ＰＳＤφBNTΘｉ,ω,τを計算するために背景雑音が時間的な定常性が強い（つまり、時間に応じて劇的に変化しない）ことを仮定し、再帰的な更新アルゴリズムにより、φＳΘｉ,ω,τを時間平滑化処理することで突発性の成分を除去すると、式（１７）が得られる。
【００４０】
【数１１】
0006526582.tif 000012
【００４１】
ここで、βωは時間平滑化のための定数である。例えば、１５０ｍｓ程度で忘却するように設定すればよい。φ−ＳΘｉ,ω,τの区間Τにおける最低値を保持することで、目的音領域（つまり、局所領域Θｉ）の背景雑音ＰＳＤφBNTΘｉ,ω,τを推定することができる。
【００４２】
【数１２】
0006526582.tif 000013
【００４３】
同様に、目的音領域（局所領域Θｉ）以外の領域にある干渉性雑音群のＰＳＤφISΘｉ,ω,τを推定するために目的音と同様に背景雑音のＰＳＤφBNIΘｉ,ω,τを減算する。
【００４４】
【数１３】
0006526582.tif 000014
【００４５】
ここで、α１,ωはコンテンツに応じて最適値が変わる重み係数である。また、干渉性雑音群のＰＳＤφISΘｉ,ω,τについても０より小さいときには０にフロアリングする。式（１９）にある背景雑音ＰＳＤφBNIΘｉ,ω,τは以下のように計算する。
【００４６】
【数１４】
0006526582.tif 000015
【００４７】
ｊ番目の局所音源信号ＺΘｊ,ω,τを推定するためのウィーナーフィルタＧΘｊ,ω,τを生成する。
【００４８】
【数１５】
0006526582.tif 000016
ここで、α２,ω、α３,ωは重み係数である。
【００４９】
式（２２）を用いて計算した後のウィーナーフィルタＧΘｊ,ω,τを以下のように整形する。
【００５０】
【数１６】
0006526582.tif 000017
【００５１】
ここで、α４,ωは重み係数である。この後、α５,ω（０≦α５,ω＜１）を用いて、α５,ω≦ＧΘｊ,ω,τ≦１となるようにＧΘｊ,ω,τのフロアリング処理を行う。局所音源信号ＺΘｊ,ω,τは次式で算出される。
【００５２】
【数１７】
0006526582.tif 000018
【００５３】
プリエンハンスした信号群ｙω,τをウィーナーフィルタリングすることにより局所音源信号群ｚω,τを生成する処理が図３における方向別収音処理である。
【００５４】
最後に、全天球映像音声視聴システムにおけるバイノーラル音の生成処理を実行するバイノーラル音生成システム９００について説明する。図４は、バイノーラル音生成システム９００の構成を示すブロック図である。図４に示すようにバイノーラル音生成システム９００は、収音装置９０５と、再合成装置９５５を含む。収音装置９０５は、Ｍ本のマイクロホン９１０−１〜９１０−Ｍと、Ｍ個の周波数領域変換部９２０−１〜９２０−Ｍと、Ｌ個のビームフォーミング部９３０−１〜９３０−Ｌと、局所ＰＳＤ推定部９４０と、ウィーナーフィルタリング部９５０を含む。再合成装置９５５は、ＨＲＴＦ畳み込み部９６０を含む。
【００５５】
時間領域観測信号群から局所音源信号群を生成する処理（音源分離処理）を実行するのが、収音装置９０５である。マイクロホン９１０−１〜９１０−Ｍは、Ｋ個の音源が存在する音場の音声を収音し、時間領域観測信号を生成する。周波数領域変換部９２０−１〜９２０−Ｍは、それぞれ時間領域観測信号を観測信号Ｘｍ,ω,τ（１≦ｍ≦Ｍ）に変換する。
【００５６】
ビームフォーミング部９３０−１〜９３０−Ｌは、Ｍ個の観測信号（観測信号群）からプリエンハンスした信号ＹΘｊ,ω,τ（ｊ＝１，…，Ｌ）を生成する。なお、マイクロホン９１０−１〜９１０−Ｍの代わりに、Ｌ＝Ｍとして、Ｌ個の指向性マイクを用いて収音するのでもよい。この場合、指向性マイクを用いて収音した信号をプリエンハンスした信号ＹΘｊ,ω,τ（ｊ＝１，…，Ｌ）としてよいので、ビームフォーミング部９３０−１〜９３０−Ｌが不要になる。
【００５７】
局所ＰＳＤ推定部９４０は、プリエンハンスした信号ＹΘｊ,ω,τ（ｊ＝１，…，Ｌ）を用いて目的音のＰＳＤ、干渉雑音のＰＳＤ、背景雑音のＰＳＤを生成する。具体的には、式（１４）、式（１６）、式（１９）、式（１８）を用いて、目的音ＰＳＤ、干渉雑音ＰＳＤ、背景雑音ＰＳＤを生成する。
【００５８】
ウィーナーフィルタリング部９５０は、目的音のＰＳＤ、干渉雑音のＰＳＤ、背景雑音のＰＳＤを用いてＬ個のウィーナーフィルタを生成し、プリエンハンスした信号ＹΘｊ,ω,τ（ｊ＝１，…，Ｌ）にウィーナーフィルタＧΘｊ,ω,τ（ｊ＝１，…，Ｌ）を適用し、局所音源信号ＺΘｊ,ω,τ（ｊ＝１，…，Ｌ）を生成する。具体的には、式（２２）、式（２３）、式（２４）を用いて局所音源信号ＺΘｊ,ω,τを生成する。
【００５９】
局所音源信号群からバイノーラル音を生成する処理（再合成処理）を実行するのが、再合成装置９５５である。ＨＲＴＦ畳み込み部９６０は、局所音源信号ＺΘｊ,ω,τ（ｊ＝１，…，Ｌ）からバイノーラル音ｂω,τを生成する。具体的には、式（９）、式（１０）を用いて受聴用のバイノーラル信号である受聴信号（左）と受聴信号（右）を生成する。
【００６０】
なお、インターネットのようなネットワークに収音装置９０５と再合成装置９５５を接続してバイノーラル音生成システム９００を構成することもできる。この場合、収音装置９０５、再合成装置９５５はネットワークによる通信に必要は手段を具備する必要があるのはいうまでもない。また、伝送に適するよう、局所音源信号群を符号化する符号化部、局所音源信号群を符号化した符号化データを復号する復号部をそれぞれ収音装置９０５、再合成装置９５５に備えるようにしてもよい。
【先行技術文献】
【非特許文献】
【００６１】
【非特許文献１】丹羽健太、小泉悠馬、小林和則、植松尚、“全天球映像に対応したバイノーラル音を生成するための方向別収音に関する検討”、信学技報EA2015-7、電子情報通信学会、２０１５年７月、vol.115, no.126, pp.33-38.
【発明の概要】
【発明が解決しようとする課題】
【００６２】
収音装置９０５と再合成装置９５５をネットワークに接続してバイノーラル音生成システム９００を構成する場合、例えばスマートホンを用いて再合成装置９５５を構成する方法が考えられる。しかし、スマートホンでバイノーラル音の生成のための局所音源信号群のＨＲＴＦ畳み込み演算をそのまま実行すると、計算に時間がかかる。また、計算に時間がかかることに起因して、バッテリーも大きく消耗してしまう。
【００６３】
そこで本発明では、ＨＲＴＦの畳み込みにより局所音源信号群からバイノーラル音を再合成する際の処理演算量を削減した再合成装置を提供することを目的とする。
【課題を解決するための手段】
【００６４】
本発明の一態様は、方向別に分離した音源信号である局所音源信号群からバイノーラル音を再合成する再合成装置であって、前記局所音源信号群の各々についてフレームごとの局所音源信号パワーを計算する局所音源信号パワー計算部と、前記局所音源信号パワーが大きいことを示す所定の範囲にある局所音源信号とＨＲＴＦを畳み込み、前記バイノーラル音を再合成する選択型ＨＲＴＦ畳み込み部とを含む。
【発明の効果】
【００６５】
本発明によれば、局所音源信号のパワーを基準に処理対象とする局所音源信号を選択することにより、局所音源信号群からバイノーラル音を再合成するためのＨＲＴＦとの畳み込みに係る処理演算量を削減することが可能となる。
【図面の簡単な説明】
【００６６】
【図１】音源別収音を用いた頭部方向に応じたバイノーラル音の生成のイメージを示す図。
【図２】方向別収音を用いた頭部方向に応じたバイノーラル音の生成のイメージを示す図。
【図３】全天球映像音声視聴システムにおけるバイノーラル音の生成処理フローを示す図。
【図４】バイノーラル音生成システム９００の構成を示すブロック図。
【図５】再合成装置３００の構成を示すブロック図。
【図６】再合成装置３００の動作を示すフローチャート。
【発明を実施するための形態】
【００６７】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００６８】
以下、図５〜図６を参照して再合成装置３００について説明する。図５は、再合成装置３００の構成を示すブロック図である。図６は、再合成装置３００の動作を示すフローチャートである。図５に示すように再合成装置３００は、局所音源信号パワー計算部３１０と、選択型ＨＲＴＦ畳み込み部３２０を含む。
【００６９】
局所音源信号パワー計算部３１０は、局所音源信号群から局所音源信号パワー群を計算する（Ｓ３１０）。具体的には、局所音源信号パワー計算部３１０では、周波数領域の局所音源信号ＺΘｊ,ω,τ（ｊ＝１，…，Ｌ）を時間領域に変換した局所音源信号ｚΘｊ,ｔ（ｊ＝１，…，Ｌ）から、式（２５）を用いて局所音源信号のパワーγΘｊ,τ（ｊ＝１，…，Ｌ）を計算する。
【００７０】
【数１８】
0006526582.tif 000019
【００７１】
ここで、Ττはフレームτに含まれる量子化時間インデックス群を表す。量子化時間インデックス群のサイズは通常は数百〜数千くらいであることが多い。
【００７２】
ここでは、局所音源信号パワー計算部３１０の入力を周波数領域の局所音源信号群として説明したが、時間領域の局所音源信号群を入力としてもよい。
【００７３】
選択型ＨＲＴＦ畳み込み部３２０は、局所音源信号パワーγΘｊ,τ（ｊ＝１，…，Ｌ）を用いて畳み込み対象とする局所音源信号を選択し、選択した局所音源信号からバイノーラル音を生成する（Ｓ３２０）。具体的には、パワーγΘｊ,τが所定の閾値よりも小さい（あるいは所定の閾値以下の）場合、ＨＲＴＦとの畳み込み演算を行わないこととする。なお、この閾値は、音源からの信号がない状態に対応する数値であればよい。例えば、背景雑音や残響成分に相当する程度の値になるように設定すればよい。あるいは、局所音源信号の平均パワーの−２０ｄＢ程度の値になるように設定すればよい。閾値以上の（あるいは閾値よりも大きい）局所音源信号のチャネルインデックス群をρτと表す（つまり、ρτは｛１，…，Ｌ｝の部分集合である）。以下では、パワーγΘｊ,τが閾値以上であるあるいは閾値よりも大きいことを、パワーγΘｊ,τが大きいことを示す所定の範囲にあるということにする。式（２６）、式（２７）を用いて、ρτに含まれるチャネルとＨＲＴＦを畳み込む。
【００７４】
【数１９】
0006526582.tif 000020
【００７５】
なお、コンテンツにもよるが、（時間とともに変化する）同時発音領域数は多くても２〜３程度であることが多い。このように音源は概ね空間的にスパースである。したがって、チャネルインデックス群ρτの集合としてのサイズ（つまり、ＨＲＴＦ畳み込み演算を行うチャネル数）が方向別収音により分割した領域数（Ｌ＝５〜６を想定）になってしまうこともあり得るが、コンテンツの同時発音領域数を考慮すると、ほとんどのフレームにおいてＨＲＴＦ畳み込み演算を行うチャネル数は２、３チャンネル以下で十分定位感のある受聴信号を生成することができる。
【００７６】
また、チャネルインデックス群ρτの集合としてのサイズの上限を設定（例えばサイズ上限を１または２に設定）したうえで、ＨＲＴＦ畳み込み演算を実行してもよい。例えば、パワーが大きいことを示す所定の範囲にある局所音源信号のうち、パワーが最大となる局所音源信号のみ（あるいは、パワーが最大となる局所音源信号と２番目に大きい局所音源信号）をＨＲＴＦ畳み込み演算の対象としてもよい。このようにチャネルインデックス群ρτの集合としてのサイズが高々１や２になるようにしても視聴品質に問題が生じないある程度の定位感は得られると同時にＨＲＴＦ畳み込みの処理演算を最小にすることが可能となる。
【００７７】
本実施形態では、選択型ＨＲＴＦ畳み込み部３２０が、事前に計算された局所音源信号のパワーを用いて所定の条件を満たすと判断されたチャネルの局所音源信号のみを畳み込み対象としてＨＲＴＦとの畳み込み演算を実行する。これにより、ＨＲＴＦとの畳み込みの処理演算量（選択型ＨＲＴＦ畳み込み部３２０における処理演算量）を削減することが可能となる。また、選択型ＨＲＴＦ畳み込み部３２０における処理演算量を削減することにより、再合成装置３００をスマートホン等バッテリー容量があまり大きくない端末を用いて実装した場合のバッテリーの持ちを改善することが可能となる。特に、ＨＲＴＦ畳み込み対象とするチャネル数に上限を設けることにより、選択型ＨＲＴＦ畳み込み部３２０における処理演算量の最小化及びバッテリーの持ち時間の最大化を図りつつ、ある程度定位感のあるバイノーラル音の再合成が可能となる。
【００７８】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００７９】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００８０】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００８１】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００８２】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００８３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００８４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0006526582.tif 000021
【図２】
0006526582.tif 000022
【図３】
0006526582.tif 000023
【図４】
0006526582.tif 000024
【図５】
0006526582.tif 000025
【図６】
0006526582.tif 000026