(57)【要約】  本技術は、より高精度に音像を定位させることができるようにする情報処理装置および方法、並びにプログラムに関する。対象音像がメッシュ外に位置する場合に、対象音像がメッシュの境界上に位置するように、対象音像の水平方向の位置が固定されたまま垂直方向に移動される。具体的には、メッシュ検出部は、対象音像の水平方向の位置を包含するメッシュを検出し、候補位置算出部は、検出されたメッシュの移動先となる弧の両端にあるスピーカ位置と対象音像の水平方向の位置とに基づいて、対象音像の移動目的となる位置を算出する。これにより、対象音像をメッシュの境界上に移動させることができる。本技術は、音声処理装置に適用することができる。
2015012122.tif 000002
【特許請求の範囲】
【請求項１】
複数のスピーカにより囲まれる領域であるメッシュのうちの水平方向において対象音像の水平方向位置を包含するメッシュを少なくとも一つ検出し、前記メッシュにおける前記対象音像の移動目標となるメッシュの境界を少なくとも一つ特定する検出部と、
前記移動目標となる前記特定された少なくとも一つのメッシュの境界上にある２つの前記スピーカの位置と、前記対象音像の前記水平方向位置とに基づいて、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上の前記対象音像の移動位置を算出する算出部と
を備える情報処理装置。
【請求項２】
前記移動位置は、前記水平方向において前記対象音像の前記水平方向位置と同じ位置にある前記境界上の位置である
請求項１に記載の情報処理装置。
【請求項３】
前記検出部は、前記メッシュを構成する前記スピーカの前記水平方向の位置と、前記対象音像の前記水平方向位置とに基づいて、前記水平方向において前記対象音像の前記水平方向位置を包含する前記メッシュを検出する
請求項２に記載の情報処理装置。
【請求項４】
前記メッシュを構成する前記スピーカの位置関係、または前記対象音像と前記移動位置の垂直方向の位置の少なくとも何れかに基づいて、前記対象音像の移動が必要であるか否かを判定する判定部をさらに備える
請求項２に記載の情報処理装置。
【請求項５】
前記対象音像の移動が必要であると判定された場合、前記移動位置に音声の音像が定位するように、前記移動位置と前記メッシュの前記スピーカの位置とに基づいて前記音声の音声信号のゲインを算出するゲイン算出部をさらに備える
請求項４に記載の情報処理装置。
【請求項６】
前記ゲイン算出部は、前記対象音像の位置と前記移動位置との差に基づいて前記ゲインを調整する
請求項５に記載の情報処理装置。
【請求項７】
前記ゲイン算出部は、前記対象音像の位置からユーザまでの距離と、前記移動位置から前記ユーザまでの距離とに基づいてさらに前記ゲインを調整する
請求項６に記載の情報処理装置。
【請求項８】
前記対象音像の移動が必要ではないと判定された場合、前記水平方向において前記対象音像の前記水平方向位置を包含する前記メッシュについて、前記対象音像の位置に音声の音像が定位するように、前記対象音像の位置と前記メッシュの前記スピーカの位置とに基づいて前記音声の音声信号のゲインを算出するゲイン算出部をさらに備える
請求項４に記載の情報処理装置。
【請求項９】
前記判定部は、垂直方向において、前記メッシュごとに求めた前記移動位置のうちの最も高い位置が前記対象音像の位置よりも低い位置にある場合、前記対象音像の移動が必要であると判定する
請求項４に記載の情報処理装置。
【請求項１０】
前記判定部は、垂直方向において、前記メッシュごとに求めた前記移動位置のうちの最も低い位置が前記対象音像の位置よりも高い位置にある場合、前記対象音像の移動が必要であると判定する
請求項４に記載の情報処理装置。
【請求項１１】
前記判定部は、垂直方向の位置として取り得る最も高い位置に前記スピーカがある場合、前記対象音像の上から下方向への移動が必要でないと判定する
請求項４に記載の情報処理装置。
【請求項１２】
前記判定部は、垂直方向の位置として取り得る最も低い位置に前記スピーカがある場合、前記対象音像の下から上方向への移動が必要でないと判定する
請求項４に記載の情報処理装置。
【請求項１３】
前記判定部は、垂直方向の位置として取り得る最も高い位置を包含する前記メッシュがある場合、前記対象音像の上から下方向への移動が必要でないと判定する
請求項４に記載の情報処理装置。
【請求項１４】
前記判定部は、垂直方向の位置として取り得る最も低い位置を包含する前記メッシュがある場合、前記対象音像の下から上方向への移動が必要でないと判定する
請求項４に記載の情報処理装置。
【請求項１５】
前記算出部は、前記水平方向位置ごとに予め前記移動位置の最大値および最小値を算出して記録させ、
記録されている前記移動位置の最大値および最小値と、前記対象音像の位置とに基づいて、前記対象音像の最終的な前記移動位置を求める判定部をさらに備える
請求項２に記載の情報処理装置。
【請求項１６】
複数のスピーカにより囲まれる領域であるメッシュのうちの水平方向において対象音像の水平方向位置を包含するメッシュを少なくとも一つ検出し、前記メッシュにおける前記対象音像の移動目標となるメッシュの境界を少なくとも一つ特定し、
前記移動目標となる前記特定された少なくとも一つのメッシュの境界上にある２つの前記スピーカの位置と、前記対象音像の前記水平方向位置とに基づいて、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上の前記対象音像の移動位置を算出する
ステップを含む情報処理方法。
【請求項１７】
複数のスピーカにより囲まれる領域であるメッシュのうちの水平方向において対象音像の水平方向位置を包含するメッシュを少なくとも一つ検出し、前記メッシュにおける前記対象音像の移動目標となるメッシュの境界を少なくとも一つ特定し、
前記移動目標となる前記特定された少なくとも一つのメッシュの境界上にある２つの前記スピーカの位置と、前記対象音像の前記水平方向位置とに基づいて、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上の前記対象音像の移動位置を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は情報処理装置および方法、並びにプログラムに関し、特に、より高精度に音像を定位させることができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、複数のスピーカを用いて音像の定位を制御する技術として、VBAP（Vector Base Amplitude Pannning）が知られている（例えば、非特許文献１参照）。【０００３】
VBAPでは、目標となる音像の定位位置が、その定位位置の周囲にある２つまたは３つのスピーカの方向を向くベクトルの線形和で表現される。そして、その線形和において各ベクトルに乗算されている係数が、各スピーカから出力される音声信号のゲインとして用いられてゲイン調整が行なわれ、目標となる位置に音像が定位するようになされる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら上述した技術では、高精度に音像を定位させることができない場合があった。【０００６】
すなわち、VBAPでは、球面上または円弧上に配置されたスピーカで囲まれるメッシュ外の位置には音像を定位させることができないので、メッシュ外の音像を再生するときには、その音像位置をメッシュの範囲内に移動させる必要がある。ところが、上述した技術ではメッシュ内の適切な位置に音像を移動させることが困難であった。【０００７】
本技術は、このような状況に鑑みてなされたものであり、より高精度に音像を定位させることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、複数のスピーカにより囲まれる領域であるメッシュのうちの水平方向において対象音像の水平方向位置を包含するメッシュを少なくとも一つ検出し、前記メッシュにおける前記対象音像の移動目標となるメッシュの境界を少なくとも一つ特定する検出部と、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上にある２つの前記スピーカの位置と、前記対象音像の前記水平方向位置とに基づいて、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上の前記対象音像の移動位置を算出する算出部とを備える。【０００９】
前記移動位置を、前記水平方向において前記対象音像の前記水平方向位置と同じ位置にある前記境界上の位置とすることができる。【００１０】
前記検出部には、前記メッシュを構成する前記スピーカの前記水平方向の位置と、前記対象音像の前記水平方向位置とに基づいて、前記水平方向において前記対象音像の前記水平方向位置を包含する前記メッシュを検出させることができる。【００１１】
情報処理装置には、前記メッシュを構成する前記スピーカの位置関係、または前記対象音像と前記移動位置の垂直方向の位置の少なくとも何れかに基づいて、前記対象音像の移動が必要であるか否かを判定する判定部をさらに設けることができる。【００１２】
情報処理装置には、前記対象音像の移動が必要であると判定された場合、前記移動位置に音声の音像が定位するように、前記移動位置と前記メッシュの前記スピーカの位置とに基づいて前記音声の音声信号のゲインを算出するゲイン算出部をさらに設けることができる。【００１３】
前記ゲイン算出部には、前記対象音像の位置と前記移動位置との差に基づいて前記ゲインを調整させることができる。【００１４】
前記ゲイン算出部には、前記対象音像の位置からユーザまでの距離と、前記移動位置から前記ユーザまでの距離とに基づいてさらに前記ゲインを調整させることができる。【００１５】
情報処理装置には、前記対象音像の移動が必要ではないと判定された場合、前記水平方向において前記対象音像の前記水平方向位置を包含する前記メッシュについて、前記対象音像の位置に音声の音像が定位するように、前記対象音像の位置と前記メッシュの前記スピーカの位置とに基づいて前記音声の音声信号のゲインを算出するゲイン算出部をさらに設けることができる。【００１６】
前記判定部には、垂直方向において、前記メッシュごとに求めた前記移動位置のうちの最も高い位置が前記対象音像の位置よりも低い位置にある場合、前記対象音像の移動が必要であると判定させることができる。【００１７】
前記判定部には、垂直方向において、前記メッシュごとに求めた前記移動位置のうちの最も低い位置が前記対象音像の位置よりも高い位置にある場合、前記対象音像の移動が必要であると判定させることができる。【００１８】
前記判定部には、垂直方向の位置として取り得る最も高い位置に前記スピーカがある場合、前記対象音像の上から下方向への移動が必要でないと判定させることができる。【００１９】
前記判定部には、垂直方向の位置として取り得る最も低い位置に前記スピーカがある場合、前記対象音像の下から上方向への移動が必要でないと判定させることができる。【００２０】
前記判定部には、垂直方向の位置として取り得る最も高い位置を包含する前記メッシュがある場合、前記対象音像の上から下方向への移動が必要でないと判定させることができる。【００２１】
前記判定部には、垂直方向の位置として取り得る最も低い位置を包含する前記メッシュがある場合、前記対象音像の下から上方向への移動が必要でないと判定させることができる。【００２２】
前記算出部には、前記水平方向位置ごとに予め前記移動位置の最大値および最小値を算出させて記録させ、情報処理装置には、記録されている前記移動位置の最大値および最小値と、前記対象音像の位置とに基づいて、前記対象音像の最終的な前記移動位置を求める判定部をさらに設けることができる。【００２３】
本技術の一側面の情報処理方法またはプログラムは、複数のスピーカにより囲まれる領域であるメッシュのうちの水平方向において対象音像の水平方向位置を包含するメッシュを少なくとも一つ検出し、前記メッシュにおける前記対象音像の移動目標となるメッシュの境界を少なくとも一つ特定し、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上にある２つの前記スピーカの位置と、前記対象音像の前記水平方向位置とに基づいて、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上の前記対象音像の移動位置を算出するステップを含む。【００２４】
本技術の一側面においては、複数のスピーカにより囲まれる領域であるメッシュのうちの水平方向において対象音像の水平方向位置を包含するメッシュを少なくとも一つ検出し、前記メッシュにおける前記対象音像の移動目標となるメッシュの境界が少なくとも一つ特定され、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上にある２つの前記スピーカの位置と、前記対象音像の前記水平方向位置とに基づいて、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上の前記対象音像の移動位置が算出される。
【発明の効果】
【００２５】
本技術の一側面によれば、より高精度に音像を定位させることができる。
【図面の簡単な説明】
【００２６】
【図１】２次元VBAPについて説明する図である。
【図２】３次元VBAPについて説明する図である。
【図３】スピーカ配置について説明する図である。
【図４】音像の移動先について説明する図である。
【図５】音像の位置情報について説明する図である。
【図６】音声処理装置の構成例を示す図である。
【図７】位置算出部の構成を示す図である。
【図８】２次元位置算出部の構成を示す図である。
【図９】３次元位置算出部の構成を示す図である。
【図１０】音像定位制御処理を説明するフローチャートである。
【図１１】２次元VBAPにおける移動目的位置算出処理を説明するフローチャートである。
【図１２】３次元VBAPにおける移動目的位置算出処理を説明するフローチャートである。
【図１３】２次元メッシュにおける移動目的候補位置の算出処理を説明するフローチャートである。
【図１４】３次元メッシュにおける移動目的候補位置の算出処理を説明するフローチャートである。
【図１５】音像の移動の要否の判定と移動目的位置の算出について説明する図である。
【図１６】位置算出部の他の構成を示す図である。
【図１７】対象音像の移動距離について説明する図である。
【図１８】折れ線カーブについて説明する図である。
【図１９】関数カーブについて説明する図である。
【図２０】音声処理装置の構成例を示す図である。
【図２１】位置算出部の構成を示す図である。
【図２２】音像定位制御処理を説明するフローチャートである。
【図２３】本技術のダウンミックス技術への適用について説明する図である。
【図２４】本技術のダウンミックス技術への適用について説明する図である。
【図２５】本技術のダウンミックス技術への適用について説明する図である。
【図２６】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２８】
〈第１の実施の形態〉
〈本技術の概要について〉
まず、図１乃至図５を参照して、本技術の概要について説明する。なお、図１乃至図５において、対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００２９】
例えば、図１に示すように、音声付の動画像や楽曲などのコンテンツを視聴するユーザＵ１１が、２つのスピーカＳＰ１およびスピーカＳＰ２から出力される２チャンネルの音声をコンテンツの音声として聴いているとする。
【００３０】
このような場合に、各チャンネルの音声を出力する２つのスピーカＳＰ１とスピーカＳＰ２の位置情報を用いて、音像位置ＶＳＰ１に音像を定位させることを考える。
【００３１】
例えば、ユーザＵ１１の頭部の位置を原点Ｏとし、図中、縦方向および横方向をｘ軸方向およびｙ軸方向とする２次元座標系における音像位置ＶＳＰ１を、原点Ｏを始点とするベクトルｐにより表すこととする。
【００３２】
ベクトルｐは２次元のベクトルであるため、原点Ｏを始点とし、それぞれスピーカＳＰ１およびスピーカＳＰ２の位置の方向を向くベクトルｌ１およびベクトルｌ２の線形和によってベクトルｐを表すことができる。すなわち、ベクトルｐは、ベクトルｌ１およびベクトルｌ２を用いて次式（１）により表すことができる。
【００３３】
【数１】
2015012122.tif 000003
【００３４】
式（１）においてベクトルｌ１およびベクトルｌ２に乗算されている係数ｇ１および係数ｇ２を算出し、これらの係数ｇ１および係数ｇ２を、スピーカＳＰ１およびスピーカＳＰ２のそれぞれから出力する音声のゲインとすれば、音像位置ＶＳＰ１に音像を定位させることができる。すなわち、ベクトルｐにより示される位置に音像を定位させることができる。
【００３５】
このようにして、２つのスピーカＳＰ１とスピーカＳＰ２の位置情報を用いて係数ｇ１および係数ｇ２を求め、音像の定位位置を制御する手法は、２次元VBAPと呼ばれている。
【００３６】
図１の例では、スピーカＳＰ１とスピーカＳＰ２を結ぶ円弧ＡＲ１１上の任意の位置に音像を定位させることができる。ここで、円弧ＡＲ１１は、原点Ｏを中心とし、スピーカＳＰ１およびスピーカＳＰ２の各位置を通る円の一部分である。このような円弧ＡＲ１１が２次元VBAPにおける１つのメッシュ（以下、２次元メッシュとも称する）とされる。
【００３７】
なお、ベクトルｐは２次元ベクトルであるので、ベクトルｌ１とベクトルｌ２のなす角度が０度より大きく、１８０度未満である場合、ゲインとされる係数ｇ１および係数ｇ２は一意に求まる。これらの係数ｇ１および係数ｇ２の算出方法については、上述した非特許文献１に詳細に記載されている。
【００３８】
これに対して、３チャンネルの音声を再生しようとする場合には、例えば図２に示すように、音声を出力するスピーカの数は３つになる。
【００３９】
図２の例では、３つのスピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ３から各チャンネルの音声が出力される。
【００４０】
このような場合においても、スピーカＳＰ１乃至スピーカＳＰ３から出力される各チャンネルの音声のゲイン、つまりゲインとして求める係数が３つになるだけで、考え方は上述した２次元VBAPと同様である。
【００４１】
すなわち、音像位置ＶＳＰ２に音像を定位させようとする場合に、ユーザＵ１１の頭部の位置を原点Ｏとする３次元座標系において、音像位置ＶＳＰ２を、原点Ｏを始点とする３次元のベクトルｐにより表すこととする。
【００４２】
また、原点Ｏを始点とし、各スピーカＳＰ１乃至スピーカＳＰ３の位置の方向を向く３次元のベクトルをベクトルｌ１乃至ベクトルｌ３とすると、ベクトルｐは次式（２）に示すように、ベクトルｌ１乃至ベクトルｌ３の線形和によって表すことができる。
【００４３】
【数２】
2015012122.tif 000004
【００４４】
式（２）においてベクトルｌ１乃至ベクトルｌ３に乗算されている係数ｇ１乃至係数ｇ３を算出し、これらの係数ｇ１乃至係数ｇ３を、スピーカＳＰ１乃至スピーカＳＰ３のそれぞれから出力する音声のゲインとすれば、音像位置ＶＳＰ２に音像を定位させることができる。
【００４５】
このようにして、３つのスピーカＳＰ１乃至スピーカＳＰ３の位置情報を用いて係数ｇ１乃至係数ｇ３を求め、音像の定位位置を制御する手法は、３次元VBAPと呼ばれている。
【００４６】
図２の例では、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ３の位置を含む球面上の三角形の領域ＴＲ１１内の任意の位置に音像を定位させることができる。ここで、領域ＴＲ１１は、原点Ｏを中心とし、スピーカＳＰ１乃至スピーカＳＰ３の各位置を通る球の表面上の領域であって、スピーカＳＰ１乃至スピーカＳＰ３により囲まれる３角形の領域である。３次元VBAPでは、領域ＴＲ１１が１つのメッシュ（以下、３次元メッシュとも称する）とされる。
【００４７】
このような３次元VBAPを用いれば、空間上の任意の位置に音像を定位させることができるようになる。
【００４８】
例えば図３に示すように、音声を出力させるスピーカの数を増やして、図２に示した三角形の領域ＴＲ１１に相当する領域を空間上に複数設ければ、それらの領域上の任意の位置に音像を定位させることができる。
【００４９】
図３に示す例では、５つのスピーカＳＰ１乃至スピーカＳＰ５が配置されており、それらのスピーカＳＰ１乃至スピーカＳＰ５から各チャンネルの音声が出力される。ここで、スピーカＳＰ１乃至スピーカＳＰ５は、ユーザＵ１１の頭部の位置にある原点Ｏを中心とする球面上に配置されている。
【００５０】
この場合、原点Ｏを始点とし、各スピーカＳＰ１乃至スピーカＳＰ５の位置の方向を向く３次元のベクトルをベクトルｌ１乃至ベクトルｌ５として、上述した式（２）を解く計算と同様の計算を行い、各スピーカから出力される音声のゲインを求めればよい。
【００５１】
ここで、原点Ｏを中心とする球面上の領域のうち、スピーカＳＰ１、スピーカＳＰ４、およびスピーカＳＰ５により囲まれる三角形の領域を領域ＴＲ２１とする。同様に、原点Ｏを中心とする球面上の領域のうち、スピーカＳＰ３、スピーカＳＰ４、およびスピーカＳＰ５により囲まれる三角形の領域を領域ＴＲ２２とし、スピーカＳＰ２、スピーカＳＰ３、およびスピーカＳＰ５により囲まれる三角形の領域を領域ＴＲ２３とする。
【００５２】
これらの領域ＴＲ２１乃至領域ＴＲ２３は、図２に示した領域ＴＲ１１に対応する領域である。すなわち、図３の例では、領域ＴＲ２１乃至領域ＴＲ２３のそれぞれがメッシュとされる。いま、音像を定位させたい位置を示す３次元のベクトルをベクトルｐとすると、図３の例では、ベクトルｐは領域ＴＲ２１上の位置を示している。
【００５３】
そこで、この例ではスピーカＳＰ１、スピーカＳＰ４、およびスピーカＳＰ５の位置を示すベクトルｌ１、ベクトルｌ４、およびベクトルｌ５が用いられて式（２）を解く計算と同様の計算が行なわれ、スピーカＳＰ１、スピーカＳＰ４、およびスピーカＳＰ５の各スピーカから出力される音声のゲインが算出される。また、この場合、他のスピーカＳＰ２およびスピーカＳＰ３から出力される音声のゲインは０とされる。つまり、これらのスピーカＳＰ２およびスピーカＳＰ３からは、音声は出力されない。
【００５４】
このように空間上に５つのスピーカＳＰ１乃至スピーカＳＰ５を配置すれば、領域ＴＲ２１乃至領域ＴＲ２３からなる領域上の任意の位置に音像を定位させることが可能となる。
【００５５】
ところで、空間上に複数のメッシュがあり、全てのメッシュの範囲外にある音像の係数を式（２）によりそのまま計算すると、係数ｇ１乃至係数ｇ３のうちの少なくとも１つが負の値となり、VBAPでの音像定位ができなくなってしまう。
【００５６】
しかし、音像を何れかのメッシュの範囲内に移動させれば、従来通りにVBAPで音像を定位させることができるようになる。
【００５７】
但し、音像を移動させると、もともと音像を定位させたい移動前の位置と離れてしまうので、音像の移動は最小限にすべきである。
【００５８】
例えば図４に示すように、再生しようとする音像位置ＲＳＰ１１にある音像を、スピーカＳＰ１乃至スピーカＳＰ３を囲むメッシュとしての領域ＴＲ１１内に移動させることを考える。
【００５９】
このとき、移動させる音像の水平方向位置、つまり図中、横方向の位置を固定させ、音像を音像位置ＲＳＰ１１から垂直方向にのみ動かして、スピーカＳＰ１とスピーカＳＰ２とを結ぶ弧上に移動させれば、音像の移動量を最小限に抑えることができる。
【００６０】
この例では、音像位置ＲＳＰ１１にあった音像の移動先は、音像位置ＶＳＰ１１となる。一般的に人の聴覚は、音像の垂直方向への移動に比べて水平方向への移動に対して敏感である。したがって、音像位置を水平方向に固定して垂直方向にのみ移動させれば、音像の移動による音質の劣化も抑制することができる。
【００６１】
しかし、従来の技術においては音像を移動させようとすると膨大な演算が必要であるだけでなく、音像位置ＶＳＰ１１などのメッシュの境界上に音像を移動させることができなかった。
【００６２】
具体的には、従来の技術（例えばhttp://www.acoustics.hut.fi/research/cat/vbap/参照）では、まずメッシュごとに対象となる位置に音像を定位させるためのVBAPの計算が行われる。そして、ゲインとなる係数が全て正の値となるメッシュがあれば、音像の位置はそのメッシュ内にあるとされ、音像の移動は不要であるとされる。
【００６３】
一方、音像の位置が何れのメッシュ内にもない場合には、音像が垂直方向に移動される。音像を垂直方向に移動させる場合、予め定められた定量値だけ音像が垂直方向に移動され、移動後の音像位置についてメッシュごとにVBAPの計算が行われ、ゲインとなる係数が求められる。そして、メッシュについて算出された係数が全て正の値となるメッシュがある場合、そのメッシュが移動後の音像位置を含むメッシュとされて、算出された係数により音声信号に対するゲイン調整が行われる。
【００６４】
これに対して、全ての係数が正の値となるメッシュがない場合には、音像の位置がさらに定量値だけ移動され、音像位置が何れかのメッシュ内に移動されるまで上述した処理が繰り返し行われる。
【００６５】
したがって、移動後の音像位置がメッシュの境界上に位置することはほとんどなく、音像の移動量を最小限に抑えることができなかった。その結果、音像の移動量も大きくなって移動前のもとの音像位置からも大きく離れてしまうことになる。
【００６６】
また、音像の移動時には移動後の音像がメッシュ内に位置するか否かの演算を、音像を移動させるたびに各メッシュに対して行わなければならないので、演算量が膨大になってしまうおそれがあった。
【００６７】
そこで、本技術では、まずVBAPの計算を行う前に、定位させたい音像が全メッシュの範囲外にあるか否かを特定する。そして、音像がメッシュ外にある場合には、その音像を垂直方向の最も近いメッシュの境界上に移動させることにより、音像の移動量を最小限に抑えるとともに、音像の定位に必要な演算量を削減できるようにする。
【００６８】
以下、本技術について説明していく。
【００６９】
本技術では、音像位置や、音声を再生するスピーカの位置は、例えば図５に示すように水平方向角度θ、垂直方向角度γ、および視聴者までの距離ｒで表されるものとする。
【００７０】
例えば、図示せぬスピーカから出力される各オブジェクトの音声を聴いている視聴者の位置を原点Ｏとし、図中、右上方向、左上方向、および上方向を互いに垂直なｘ軸、ｙ軸、およびｚ軸の方向とする３次元座標系を考える。このとき、１つのオブジェクトに対応する音像（音源）の位置を音像位置ＲＳＰ２１とすると、３次元座標系における音像位置ＲＳＰ２１に音像を定位させればよい。
【００７１】
また、音像位置ＲＳＰ２１と原点Ｏとを結ぶ直線を直線Ｌとすると、ｘｙ平面上において直線Ｌとｘ軸とがなす図中、水平方向の角度（方位角）が、音像位置ＲＳＰ２１の水平方向の位置を示す水平方向角度θとなり、水平方向角度θは-180°≦θ≦180°を満たす任意の値とされる。
【００７２】
例えばｘ軸方向の正の方向がθ＝０°とされ、ｘ軸方向の負の方向がθ＝+180°＝-180°とされる。また、原点Ｏを中心に反時計回りの方向がθの＋方向とされ、原点Ｏを中心に時計回りの方向がθの−方向とされる。
【００７３】
さらに、直線Ｌとｘｙ平面とがなす角度、つまり図中、垂直方向の角度（仰角）が、音像位置ＲＳＰ２１の垂直方向の位置を示す垂直方向角度γとなり、垂直方向角度γは-90°≦γ≦90°を満たす任意の値とされる。例えばｘｙ平面の位置がγ＝０°とされ、図中、上方向が垂直方向角度γの＋方向とされ、図中、下方向が垂直方向角度γの−方向とされる。
【００７４】
また、直線Ｌの長さ、つまり原点Ｏから音像位置ＲＳＰ２１までの距離が視聴者までの距離ｒとされ、距離ｒは０以上の値とされる。すなわち、距離ｒは、０≦ｒ≦∞を満たす値とされる。但し、VBAPでは、全てのスピーカと音像から視聴者までの距離ｒが同一であり、距離ｒを１に正規化して計算を行うのが一般的な方式であるので、以下では各スピーカや音像の位置は距離ｒ＝１であるものとして説明を続ける。
【００７５】
また、以下ではVBAPに用いられるメッシュがＮ個あるものとし、ｎ番目（但し、１≦ｎ≦Ｎ）のメッシュを構成する３つのスピーカの各位置を、水平方向角度θと垂直方向角度γを用いて（θｎ１，γｎ１）、（θｎ２，γｎ２）、および（θｎ３，γｎ３）と定義することとする。すなわち、例えばｎ番目のメッシュを構成する１つ目のスピーカの水平方向角度θがθｎ１で表され、そのスピーカの垂直方向角度γがγｎ１で表される。
【００７６】
なお、２次元VBAPの場合は、メッシュを構成する２つのスピーカの各位置が、水平方向角度θと垂直方向角度γが用いられて（θｎ１，γｎ１）、および（θｎ２，γｎ２）と定義される。
【００７７】
まず、本技術により移動対象となる音像（以下、対象音像とも称することとする）を、所定のメッシュの境界線上、つまりメッシュ境界の円弧上に移動させる方法について説明する。
【００７８】
上述した３次元VBAPでは、次式（３）によって、三角形状のメッシュの逆行列Ｌ１２３−１と対象音像の位置ｐから３つの係数ｇ１乃至係数ｇ３を計算により得ることができる。
【００７９】
【数３】
2015012122.tif 000005
【００８０】
なお、式（３）においてｐ１、ｐ２、およびｐ３は、対象音像の位置を示す直交座標系、すなわち図５に示したｘｙｚ座標系上のｘ軸、ｙ軸、およびｚ軸の座標を示している。
【００８１】
またｌ１１、ｌ１２、およびｌ１３は、メッシュを構成する１つ目のスピーカへ向くベクトルｌ１をｘ軸、ｙ軸、およびｚ軸の成分に分解した場合におけるｘ成分、ｙ成分、およびｚ成分の値であり、１つ目のスピーカのｘ座標、ｙ座標、およびｚ座標に相当する。
【００８２】
同様に、ｌ２１、ｌ２２、およびｌ２３は、メッシュを構成する２つ目のスピーカへ向くベクトルｌ２をｘ軸、ｙ軸、およびｚ軸の成分に分解した場合におけるｘ成分、ｙ成分、およびｚ成分の値である。また、ｌ３１、ｌ３２、およびｌ３３は、メッシュを構成する３つ目のスピーカへ向くベクトルｌ３をｘ軸、ｙ軸、およびｚ軸の成分に分解した場合におけるｘ成分、ｙ成分、およびｚ成分の値である。
【００８３】
また、以下、メッシュの逆行列Ｌ１２３−１の各要素を次式（４）に示すように記すこととする。
【００８４】
【数４】
2015012122.tif 000006
【００８５】
さらに、ｘｙｚ座標系から球座標系の座標θ、γ、およびｒへの変換は、ｒ＝１である場合には次式（５）に示すように定義されている。
【００８６】
【数５】
2015012122.tif 000007
【００８７】
VBAPでは、メッシュの境界である１つの弧上に音像を定位させる場合、その弧上にないスピーカのゲイン（係数）の値は０となる。そのため、対象音像をメッシュの１つの境界上に移動させると、移動後の位置に音像を定位させるための各スピーカのゲイン、より詳細には各スピーカで再生される音声信号のゲインのうちの１つのゲインは０となる。
【００８８】
このことから、音像をメッシュの境界上に移動させることは、メッシュを構成する３つのスピーカのうちの１つのスピーカのゲインが０となる位置に、音像を移動させることであるということができる。
【００８９】
例えば、対象音像の水平方向角度θを固定したまま、３つのスピーカのうち、ｉ番目（但し、１≦ｉ≦３）のスピーカのゲインｇｉが０となる位置に対象音像を移動させたとすると、式（３）から式変形により得られる次式（６）が成立する。
【００９０】
【数６】
2015012122.tif 000008
【００９１】
この式（６）で表される方程式を解くと、次式（７）が得られる。
【００９２】
【数７】
2015012122.tif 000009
【００９３】
式（７）では、垂直方向角度γが対象音像の移動先の位置の垂直方向角度である。また、式（７）では、水平方向角度θが対象音像の移動先の水平方向角度であるが、対象音像を水平方向に移動させないので、この水平方向角度θは、対象音像の移動前の水平方向角度θの値と同じである。
【００９４】
したがって、メッシュの逆行列Ｌ１２３−１、対象音像の移動前の水平方向角度θ、およびメッシュを構成する、ゲイン（係数）が０となるスピーカが分かれば、対象音像の移動先の位置の垂直方向角度γを得ることができる。なお、以下では、対象音像の移動先の位置を移動目的位置とも称することとする。
【００９５】
なお、以上においては、３次元VBAPが行われる場合について移動目的位置の算出方法を説明したが、２次元VBAPが行われる場合においても、３次元VBAPの場合と同様の計算により移動目的位置を算出することができる。
【００９６】
具体的には、２次元VBAPの場合、メッシュを構成する２つのスピーカの他に、その２つのスピーカを通る大円上にない任意の位置に仮想的なスピーカを１つ追加すれば、２次元VBAPの問題を３次元VBAPの問題の場合と同じ考えで解くことが可能となる。すなわち、メッシュを構成する２つのスピーカと、追加された仮想的なスピーカについて上述した式（７）を計算すれば、対象音像の移動目的位置を求めることができる。この場合、追加した仮想的な１つのスピーカのゲイン（係数）が０となる位置が対象音像を移動させるべき位置となる。
【００９７】
なお、３次元VBAPの場合においても、メッシュの１つの境界の両端に位置する２つのスピーカの他に、その２つのスピーカを通る大円上にない任意の位置に仮想的なスピーカを１つ追加して式（７）を計算しても移動目的位置を求めることが可能である。
【００９８】
したがって、式（７）では、少なくとも対象音像の移動先となる、メッシュの境界の両端に位置する２つのスピーカの位置情報と、対象音像の水平方向角度θとが分かれば、対象音像の移動目的位置を求めることができる。
【００９９】
また、メッシュの逆行列Ｌ１２３−１を求める計算方法は、VBAPにより各スピーカのゲイン（係数）を導く場合と同じであり、その計算方法は上述した非特許文献１に記載されている。したがって、ここでは逆行列の計算方法の詳細な説明は省略する。
【０１００】
続いて、音像の移動が必要な場合に、視聴者であるユーザがいる空間において、ユーザを囲むように配置された全メッシュのうち、音像の移動先となる位置にあるメッシュと、そのメッシュを構成するスピーカのうちのゲインが０となるスピーカを検出する方法について説明する。また、音像の移動が必要ない場合に、その音像位置が含まれている可能性のあるメッシュを検出する方法についても説明する。
【０１０１】
まず、後段で各オブジェクトの音声に対して３次元VBAPが行われるか、または２次元VBAPが行われるかが特定され、その特定結果に応じた処理が行われる。
【０１０２】
例えば、ユーザがいる空間にあるメッシュが全て２次元メッシュ、つまり２つのスピーカから構成されるメッシュである場合には、２次元VBAPが行われるとされる。これに対して、全メッシュのうち１つでも３次元メッシュ、つまり３つのスピーカから構成されるメッシュが含まれている場合には、３次元VBAPが行われるとされる。
【０１０３】
〈２次元VBAPの場合の処理〉
後段で２次元VBAPが行われるとされた場合、以下の処理２Ｄ（１）乃至処理２Ｄ（４）が行われて、音像の移動が必要か否かと、その移動先とが求められる。
【０１０４】
（処理２Ｄ（１））
まず、処理２Ｄ（１）として、ｎ番目の２次元メッシュの両端の位置、つまり２つのスピーカを結ぶメッシュ境界である弧の両端の位置を左限位置および右限位置とし、左限位置の水平方向角度である左限値θｎｌと、右限位置の水平方向角度である右限値θｎｒが次式（８）により求められる。
【０１０５】
【数８】
2015012122.tif 000010
【０１０６】
一般的には、ｎ番目の２次元メッシュを構成する１つ目のスピーカの水平方向角度θｎ１と２つ目のスピーカの水平方向角度θｎ２のうち、角度θが小さい方が左限値θｎｌとされ、大きい方が右限値θｎｒとされる。つまり、より水平方向角度が小さい方のスピーカ位置が左限位置とされ、より水平方向角度が大きい方のスピーカ位置が右限位置とされる。
【０１０７】
但し、メッシュ境界である弧が球座標系におけるθ＝180°の点を包含する場合、すなわち、２つのスピーカの水平方向角度の差分が180°を超える場合には、より水平方向角度が大きい方のスピーカ位置が左限位置とされる。
【０１０８】
式（８）の計算により左限値と右限値を定める処理がＮ個のメッシュについて行われる。
【０１０９】
（処理２Ｄ（２））
続いて、処理２Ｄ（２）では、全てのメッシュについて左限値と右限値が定められると、次式（９）の演算により、全メッシュのなかから、対象音像の水平方向角度θにより示される水平方向位置を包含するメッシュが検出される。すなわち、水平方向において、左限位置と右限位置の間に対象音像が位置するようなメッシュが検出される。
【０１１０】
【数９】
2015012122.tif 000011
【０１１１】
但し、対象音像の水平方向位置を包含するメッシュが１つも検出されなかった場合には、対象音像の位置に最も近い左限位置または右限位置を有するメッシュが検出され、その結果検出されたメッシュの左限位置または右限位置となるスピーカ位置が対象音像の移動先の位置とされる。この場合、検出されたメッシュを示す情報が出力され、後述する処理２Ｄ（３）および処理２Ｄ（４）は不要となる。
【０１１２】
（処理２Ｄ（３））
処理２Ｄ（２）により、対象音像の水平方向位置を包含するメッシュが検出されると、処理２Ｄ（３）が行われ、検出された各メッシュについて、そのメッシュについての対象音像の移動目的位置の候補である移動目的候補位置が算出される。
【０１１３】
なお、移動目的候補位置は、水平方向角度θと垂直方向角度γにより特定されるが、水平方向角度は固定されたままとされるので、以下では移動目的候補位置を示す垂直方向角度を、単に移動目的候補位置とも称することとする。
【０１１４】
処理２Ｄ（３）では、まずは処理対象であるｎ番目のメッシュの左限値と右限値が同じであるか否かが特定される。
【０１１５】
そして、左限値と右限値が同じである場合には、左限位置の垂直方向角度と、右限位置の垂直方向角度のうち、より対象音像の垂直方向角度γに近い垂直方向角度、つまり差分がより小さい方の垂直方向角度が移動目的候補位置γｎＤとされる。すなわち、より詳細には右限位置と左限位置のうち、より対象音像に近い方の垂直方向角度が、ｎ番目のメッシュについて求められた移動目的候補位置を示す垂直方向角度γｎＤとされる。
【０１１６】
これに対して、左限値と右限値が異なる場合、２次元のメッシュにさらに１つの仮想的なスピーカが追加され、その仮想的なスピーカと、右限位置および左限位置にあるスピーカとからなる三角形状の３次元メッシュが構成される。例えば、仮想的なスピーカとして、ユーザの真上、つまり垂直方向角度γ＝９０°の位置（以下、トップ位置とも称する）に配置されたトップスピーカが追加される。
【０１１７】
そして、この３次元メッシュの逆行列Ｌ１２３−１が計算により求められ、上述した式（７）によって、追加された仮想的なスピーカの係数（ゲイン）が０となる場合における垂直方向角度が、対象音像の移動目的候補位置γｎＤとして求められる。
【０１１８】
式（７）では、左限位置と右限位置にあるスピーカの位置情報と、対象音像の水平方向角度θとが分かれば、移動目的候補位置γｎＤを求めることができる。
【０１１９】
（処理２Ｄ（４））
処理２Ｄ（３）によりメッシュごとに移動目的候補位置γｎＤが求められると、処理２Ｄ（４）では求めた移動目的候補位置γｎＤに基づいて、対象音像の移動が必要であるか否かが判定され、その判定結果に応じて音像位置の移動が行われる。
【０１２０】
具体的には、求められた移動目的候補位置γｎＤのなかから、移動前の対象音像の垂直方向角度γと最も垂直方向角度が近いものが検出され、検出により得られた移動目的候補位置γｎＤが対象音像の垂直方向角度γと一致するか否かが判定される。
【０１２１】
このとき、移動目的候補位置γｎＤが対象音像の垂直方向角度γと一致する場合には、移動目的候補位置γｎＤにより特定される位置は、移動前の対象音像の位置そのものであるから、対象音像の移動は必要ないとされる。この場合、処理２Ｄ（２）で検出された、対象音像の水平方向位置を包含する各メッシュを示す情報（以下、識別情報とも称する）が出力され、２次元VBAPの計算が行われるメッシュを示す情報として利用される。
【０１２２】
なお、対象音像の垂直方向角度γと一致する移動目的候補位置γｎＤを算出したメッシュが、対象音像が位置しているメッシュであるので、そのメッシュを示す識別情報のみが出力されるようにしてもよい。
【０１２３】
これに対して、移動目的候補位置γｎＤが対象音像の垂直方向角度γと一致しない場合、対象音像の移動が必要であるとされ、その移動目的候補位置γｎＤが対象音像の最終的な移動目的位置とされる。より詳細には移動目的候補位置γｎＤが対象音像の移動目的位置を示す垂直方向角度とされる。そして、対象音像の移動先を示す情報として移動目的位置と、その移動目的位置とされた移動目的候補位置γｎＤを算出したメッシュの識別情報とが出力され、これらの移動目的位置と識別情報が、２次元VBAPの計算に利用される。
【０１２４】
〈３次元VBAPの場合の処理〉
また、後段で３次元VBAPが行われるとされた場合、以下の処理３Ｄ（１）乃至処理３Ｄ（６）が行われて、音像の移動が必要か否かと、その移動先とが求められる。
【０１２５】
（処理３Ｄ（１））
まず、処理３Ｄ（１）ではユーザの周囲に配置されているスピーカのなかに、トップスピーカとボトムスピーカが存在するかが確認される。ここで、ボトムスピーカとは、ユーザの真下にあるスピーカであり、具体的には垂直方向角度γ＝−９０°の位置（以下、ボトム位置とも称する）に配置されたスピーカである。
【０１２６】
したがって、トップスピーカがある場合とは、垂直方向の位置として最も高い位置、つまり垂直方向角度γの取り得る値の最大値となる位置にスピーカがある場合である。同様に、ボトムスピーカがある場合とは、垂直方向の位置として最も低い位置、つまり垂直方向角度γの取り得る値の最小値となる位置にスピーカがある場合である。
【０１２７】
対象音像を垂直方向に移動させる場合、下から上方向への移動、つまり垂直方向角度が大きくなる方向への移動と、上から下方向への移動、つまり垂直方向角度が小さくなる方向への移動との２通りの移動が考えられる。
【０１２８】
また、VBAPのメッシュは、隣接するメッシュとメッシュの間に隙間がない状態と仮定されているので、トップスピーカが存在する場合には、音像の上から下方向への移動は不要である。同様に、ボトムスピーカが存在する場合には、音像の下から上方向への移動は不要である。したがって、処理３Ｄ（１）では、音像の移動が必要であるか否かを特定するためにトップスピーカとボトムスピーカが存在するかが特定される。
【０１２９】
（処理３Ｄ（２））
続いて、処理３Ｄ（２）では各メッシュの左限値θｎｌおよび右限値θｎｒと、メッシュにおいて水平方向の左限位置と右限位置の間に位置するスピーカの水平方向角度である中間値θnmidとが計算される。さらにメッシュがトップ位置またはボトム位置を包含しているかが特定される。なお、以下、左限位置と右限位置の間にある、中間値θnmidにより示される位置を中間位置とも称することとする。
【０１３０】
処理３Ｄ（２）では、メッシュが３次元メッシュであるか２次元メッシュであるかによって、異なる処理が行われる。
【０１３１】
例えばメッシュが３次元メッシュである場合には、処理３Ｄ（２）として以下の処理３Ｄ（２．１）−１乃至処理３Ｄ（２．４）−１の処理が行われる。
【０１３２】
すなわち、処理３Ｄ（２．１）−１ではｎ番目のメッシュを構成する３つのスピーカの水平方向角度θｎ１、水平方向角度θｎ２、および水平方向角度θｎ３が小さい順に並べ替えられて水平方向角度θnlow1、水平方向角度θnlow2、および水平方向角度θnlow3とされる。ここで、θnlow1≦θnlow2≦θnlow3である。
【０１３３】
次に、処理３Ｄ（２．２）−１では、次式（１０）により水平方向角度θの差分diffn1、差分diffn2、および差分diffn3が求められる。
【０１３４】
【数１０】
2015012122.tif 000012
【０１３５】
そして処理３Ｄ（２．３）−１では次式（１１）が計算され、左限値θｎｌ、右限値θｎｒ、および中間値θnmidの各値として、処理対象となっているメッシュの水平方向角度θnlow1乃至水平方向角度θnlow3の何れかの値が選択される。
【０１３６】
【数１１】
2015012122.tif 000013
【０１３７】
すなわち、式（１１）では、処理３Ｄ（２．２）−１で求めた差分diffn1乃至差分diffn3のなかに、差分の値が１８０°以上であるものがあるか否かが特定される。
【０１３８】
そして、１８０°以上である差分がある場合には、処理対象のメッシュはトップ位置もボトム位置も包含していないメッシュとされ、水平方向角度θnlow1乃至水平方向角度θnlow3に基づいて、左限値θｎｌ、右限値θｎｒ、および中間値θnmidが定められる。
【０１３９】
これに対して、１８０°以上である差分がない場合には、処理対象のメッシュは、トップ位置またはボトム位置を包含しているメッシュとされる。つまり、処理対象のメッシュ内には、トップ位置またはボトム位置が含まれている。
【０１４０】
処理３Ｄ（２．４）−１では、処理３Ｄ（２．３）−１でトップ位置またはボトム位置を包含しているとされたメッシュについて、３次元VBAPの計算が行われる。すなわち、メッシュの逆行列Ｌ１２３−１が用いられて、トップ位置を定位させようとする音像の位置、つまりベクトルｐが示す位置とした場合における各スピーカの係数（ゲイン）が上述した式（３）により求められる。
【０１４１】
その結果、得られた係数ｇ１乃至係数ｇ３が全て非負であれば、処理対象のメッシュはトップ位置を包含するメッシュであるので、この場合には対象音像の上から下方向への移動は不要となる。すなわち、垂直方向の位置として取り得る最も高い位置を包含するメッシュがある場合には、対象音像の上から下方向への移動は不要となる。
【０１４２】
逆に、得られた係数ｇ１乃至係数ｇ３に負の値が含まれていれば、メッシュはボトム位置を包含するメッシュであるので、この場合には対象音像の下から上方向への移動が不要となる。すなわち、垂直方向の位置として取り得る最も低い位置を包含するメッシュがある場合には、対象音像の下から上方向への移動は不要となる。
【０１４３】
また、処理対象となっているメッシュが２次元メッシュである場合には、処理３Ｄ（２）として処理３Ｄ（２．１）−２が行われる。
【０１４４】
処理３Ｄ（２．１）−２では、処理２Ｄ（１）と同様の処理が行われ、各メッシュについて式（８）により左限値θｎｌと右限値θｎｒが求められる。
【０１４５】
（処理３Ｄ（３））
続いて、処理３Ｄ（３）では全メッシュのなかから、水平方向において対象音像の水平方向角度θにより示される水平方向位置を包含するメッシュが検出される。なお、処理３Ｄ（３）ではメッシュが２次元メッシュであるか３次元メッシュであるかによらず、同じ処理が行われる。
【０１４６】
具体的には、処理対象のメッシュに左限位置と右限位置がある場合、次式（１２）により、水平方向において左限位置と右限位置の間に対象音像が位置するようなメッシュが検出される。
【０１４７】
【数１２】
2015012122.tif 000014
【０１４８】
また、左限位置と右限位置がないメッシュ、つまりトップ位置またはボトム位置の何れか一方を包含しているメッシュは、水平方向において対象音像の水平方向位置を必ず包含している。
【０１４９】
なお、対象音像の水平方向位置を包含するメッシュが１つも検出されなかった場合には、水平方向において対象音像に最も近い左限位置または右限位置を有するメッシュが検出され、検出されたメッシュの左限位置または右限位置に対象音像が移動されるものとする。この場合、検出されたメッシュの識別情報が出力され、以降の処理３Ｄ（４）乃至処理３Ｄ（６）を行う必要がなくなる。
【０１５０】
また、対象音像の水平方向位置を包含するメッシュのうち、３次元メッシュが少なくとも１つ検出された場合、対象音像の上から下方向への移動、および下から上方向への移動がともに不要であるとされたときには、以降の処理３Ｄ（４）乃至処理３Ｄ（６）を行う必要がなくなる。この場合には、対象音像の移動は行われないものとし、検出されたメッシュの識別情報が出力され、以降の処理３Ｄ（４）乃至処理３Ｄ（６）を行う必要がなくなる。
【０１５１】
（処理３Ｄ（４））
処理３Ｄ（３）で対象音像の水平方向位置を包含するメッシュが検出されると、処理３Ｄ（４）において、検出されたメッシュについて、対象音像の移動の目標となるメッシュの境界線、つまりメッシュの弧が特定される。
【０１５２】
ここで、メッシュの移動の目標となる境界線とは、対象音像を垂直方向に移動させていったときに到達し得る境界線である。つまり、水平方向において、対象音像の水平方向角度θの位置を含む境界線である。
【０１５３】
なお、処理対象のメッシュが２次元メッシュである場合には、その２次元メッシュがそのまま対象音像の移動目標となる弧とされる。
【０１５４】
処理対象のメッシュが３次元メッシュである場合には、対象音像の移動の目標となる弧を特定することは、VBAPにおいて移動目的位置に音像を定位させるための係数（ゲイン）が０となるスピーカを特定することと等価である。
【０１５５】
例えば、処理対象のメッシュが左限位置と右限位置を有するメッシュである場合、次式（１３）によって係数が０となるスピーカが特定される。
【０１５６】
【数１３】
2015012122.tif 000015
【０１５７】
式（１３）では、まずメッシュの左限値θｎｌ、右限値θｎｒ、および中間値θnmidがθｎｌ≦θnmid≦θｎｒとなるように必要に応じてそれらの値と、対象音像の水平方向角度θが修正される。
【０１５８】
そして、対象音像の水平方向角度θが中間値θnmidより小さい場合には、type1とされる。type1とされた場合、右限位置と中間位置にあるスピーカが、係数が０となるスピーカとなり得る。この場合、右限位置にあるスピーカが、係数が０となるスピーカとされて移動目的候補位置が算出される処理とともに、中間位置にあるスピーカが、係数が０となるスピーカとされて移動目的候補位置が算出される処理も行われる。
【０１５９】
水平方向角度θが中間値θnmidより小さい場合、対象音像は中間位置よりも左限位置側に位置しているので、中間位置と左限位置とを結ぶ弧、および左限位置と右限位置とを結ぶ弧が対象音像の移動先となり得る。
【０１６０】
また、式（１３）では、対象音像の水平方向角度θが中間値θnmid以上である場合には、type2とされる。type2とされた場合、左限位置と中間位置にあるスピーカが、係数が０となるスピーカとなり得る。
【０１６１】
さらに、左限位置と右限位置がないメッシュ、つまりトップ位置またはボトム位置を包含するメッシュについては、以下の式（１４）によって係数が０となるスピーカが特定される。
【０１６２】
【数１４】
2015012122.tif 000016
【０１６３】
式（１４）では、処理対象のメッシュの各スピーカの水平方向角度と、対象音像の水平方向角度θとの関係によって、type3乃至type5の何れかとされる。
【０１６４】
type3とされた場合、水平方向角度θnlow3となる位置のスピーカ、すなわち最も水平方向角度が大きいスピーカが、係数が０となるスピーカとされる。
【０１６５】
また、type4とされた場合、水平方向角度θnlow1となる位置のスピーカ、すなわち最も水平方向角度が小さいスピーカが、係数が０となるスピーカとされる。type5とされた場合、水平方向角度θnlow2となる位置のスピーカ、すなわち水平方向角度が２番目に小さいスピーカが、係数が０となるスピーカとされる。
【０１６６】
（処理３Ｄ（５））
処理３Ｄ（４）において、対象音像の移動の目標となるメッシュの弧が特定されると、処理３Ｄ（５）では、対象音像の移動目的候補位置γｎＤが算出される。この処理３Ｄ（５）では、処理対象となるメッシュが２次元メッシュであるか、または３次元メッシュであるかによって異なる処理が行われる。
【０１６７】
例えば処理対象となるメッシュが３次元メッシュである場合、処理３Ｄ（５）として処理３Ｄ（５）−１が行われる。
【０１６８】
処理３Ｄ（５）−１では、処理３Ｄ（４）で特定された係数が０となるスピーカの情報、対象音像の水平方向角度θ、およびメッシュの逆行列Ｌ１２３−１に基づいて上述した式（７）の計算が行われ、得られた垂直方向角度γが移動目的候補位置γｎＤとされる。すなわち、対象音像は、水平方向の位置が固定されたまま、水平方向において対象音像の水平方向位置と同じ位置にあるメッシュの境界線上の位置まで垂直方向に移動される。ここで、メッシュの逆行列は、スピーカの位置情報から得ることができる。
【０１６９】
なお、処理対象となるメッシュがtype1またはtype2のように、処理３Ｄ（４）で特定された、係数が０となり得るスピーカが２つあるメッシュである場合には、それらの２つのスピーカごとに移動目的候補位置γｎＤが求められる。
【０１７０】
また、処理対象となるメッシュが２次元メッシュである場合、処理３Ｄ（５）として処理３Ｄ（５）−２が行われる。処理３Ｄ（５）−２では、上述した処理２Ｄ（３）と同様の処理が行われて移動目的候補位置γｎＤが求められる。
【０１７１】
（処理３Ｄ（６））
最後に処理３Ｄ（６）では、対象音像の移動が必要であるか否かが判定され、その判定結果に応じて音像が移動される。
【０１７２】
通常、VBAPのメッシュ配置では、３次元メッシュと２次元メッシュが混在していたとしても３次元メッシュについての移動目的候補位置γｎＤか、２次元メッシュについての移動目的候補位置γｎＤかの何れか一方のみが得られる。
【０１７３】
３次元メッシュについて移動目的候補位置γｎＤが得られた場合、対象音像の上から下方向への移動が必要であるかと、下から上方向への移動が必要であるかの判定が行われる。
【０１７４】
すなわち、処理３Ｄ（１）でトップスピーカが存在しないとされ、かつ処理３Ｄ（２．４）−１の結果、トップ位置を包含するメッシュがなかった場合、対象音像の上から下方向への移動が必要であるとされる。
【０１７５】
この場合、処理３Ｄ（５）−１で求められた移動目的候補位置γｎＤのうちの最大値が移動目的候補位置γｎＤ_ｍａｘとされ、移動目的候補位置γｎＤ_ｍａｘが対象音像の垂直方向角度γより小さい場合には、移動目的候補位置γｎＤ_ｍａｘが最終的な移動目的位置とされる。
【０１７６】
換言すれば、垂直方向において最も高い位置にある移動目的候補位置γｎＤが、対象音像の垂直方向の位置よりも低い位置にある場合、対象音像の移動が必要であるとされ、対象音像が移動目的位置とされた移動目的候補位置γｎＤに移動される。
【０１７７】
対象音像が移動される場合には、対象音像の移動先を示す情報として移動目的位置、より詳細には移動目的位置を示す垂直方向角度とされた移動目的候補位置γｎＤ_ｍａｘと、その移動目的候補位置を算出したメッシュの識別情報とが出力される。
【０１７８】
また、処理３Ｄ（１）でボトムスピーカが存在しないとされ、かつ処理３Ｄ（２．４）−１の結果、ボトム位置を包含するメッシュがなかった場合、対象音像の下から上方向への移動が必要であるとされる。
【０１７９】
この場合、処理３Ｄ（５）−１で求められた移動目的候補位置γｎＤのうちの最小値が移動目的候補位置γｎＤ_ｍｉｎとされ、移動目的候補位置γｎＤ_ｍｉｎが対象音像の垂直方向角度γより大きい場合には、移動目的候補位置γｎＤ_ｍｉｎが最終的な移動目的位置とされる。
【０１８０】
換言すれば、垂直方向において最も低い位置にある移動目的候補位置γｎＤが、対象音像の垂直方向の位置よりも高い位置にある場合、対象音像の移動が必要であるとされ、対象音像が移動目的位置とされた移動目的候補位置γｎＤに移動される。
【０１８１】
対象音像が移動される場合には、対象音像の移動先を示す情報として移動目的位置、より詳細には移動目的位置を示す垂直方向角度とされた移動目的候補位置γｎＤ_ｍｉｎと、その移動目的候補位置を算出したメッシュの識別情報とが出力される。
【０１８２】
これに対して、以上の処理で対象音像の移動目的位置が得られなかった場合、例えば上から下方向への移動も下から上方向への移動も必要ないとされた場合、対象音像は何れかのメッシュ内にある。そのような場合には、対象音像が位置する可能性のあるメッシュとして、処理３Ｄ（３）で検出された、対象音像の水平方向位置を包含する各メッシュを示す識別情報が出力される。
【０１８３】
また、２次元メッシュについての移動目的候補位置γｎＤが得られた場合、処理２Ｄ（４）と同様の処理が行われる。
【０１８４】
なお、トップスピーカやボトムスピーカの有無や、トップ位置またはボトム位置を包含するメッシュの有無は、メッシュを構成するスピーカの位置関係により定まる。したがって、処理３Ｄ（６）では、メッシュを構成するスピーカの位置関係、または移動目的候補位置と対象音像の垂直方向角度の少なくとも何れかに基づいて、対象音像の移動が必要であるか否か、つまり対象音像がメッシュ外にあるか否かが判定されるということができる。
【０１８５】
以上のように、処理２Ｄ（１）乃至処理２Ｄ（４）や、処理３Ｄ（１）乃至処理３Ｄ（６）を行うことで、簡単な演算で対象音像がVBAPのメッシュ外にあるか否かを判定することができるとともに、対象音像の移動目的位置を求めることができる。
【０１８６】
特に、対象音像の移動目的位置として、メッシュの境界上の位置を求めることができるので、適切な位置へと対象音像を移動させることができる。すなわち、より高精度に音像を定位させることができる。これにより、音像の移動により生じる音像位置のずれを最小限に抑え、より高品質な音声を得ることができる。
【０１８７】
しかも、以上において説明した処理では、対象音像についてVBAPの計算をすべきメッシュ、つまり対象音像の位置を包含する可能性のあるメッシュを特定することが可能であるので、後段におけるVBAPの計算量も大幅に削減することができる。
【０１８８】
VBAPでは、音像がどのメッシュの内部にあるかを直接特定することができないため、全てのメッシュについて係数（ゲイン）を求める計算が行われ、得られた全ての係数が非負であるメッシュが、音像が位置しているメッシュであるとされる。
【０１８９】
したがって、この場合には、全てのメッシュについてVBAPの計算を行わなければならないので、メッシュの数が多い場合には、膨大な計算量が必要となる。
【０１９０】
しかし、本技術では対象音像の移動が必要である場合には、その移動先である移動目的位置が属すメッシュを示す識別情報が出力されるので、そのメッシュについてのみVBAPの計算を行えばよく、VBAPの計算量を大幅に削減することができる。
【０１９１】
また、対象音像の移動が必要でない場合でも、対象音像の位置を包含する可能性のあるメッシュを示す識別情報が出力されるので、それらのメッシュ以外については、VBAPの計算を行う必要がない。したがって、この場合にもVBAPの計算量を大幅に削減することができる。
【０１９２】
〈音声処理装置の構成例〉
次に、本技術を適用した具体的な実施の形態について説明する。
【０１９３】
図６は、本技術を適用した音声処理装置の一実施の形態の構成例を示す図である。
【０１９４】
音声処理装置１１は、外部から供給されたモノラルの音声信号に対してチャンネルごとのゲイン調整を行なうことで、Ｍチャンネルの音声信号を生成し、Ｍ個の各チャンネルに対応するスピーカ１２−１乃至スピーカ１２−Ｍに音声信号を供給する。
【０１９５】
スピーカ１２−１乃至スピーカ１２−Ｍは、音声処理装置１１から供給された音声信号に基づいて、各チャンネルの音声を出力する。すなわち、スピーカ１２−１乃至スピーカ１２−Ｍは、各チャンネルの音声を出力する音源となる音声出力部である。なお、以下、スピーカ１２−１乃至スピーカ１２−Ｍを特に区別する必要のない場合、単にスピーカ１２とも称することとする。
【０１９６】
スピーカ１２は、コンテンツ等を視聴するユーザを囲むように配置されている。例えば、各スピーカ１２は、ユーザの位置を中心とする球の表面上の位置に配置されている。これらのＭ個のスピーカ１２が、ユーザを囲むメッシュを構成するスピーカである。
【０１９７】
音声処理装置１１は、位置算出部２１、ゲイン算出部２２、およびゲイン調整部２３から構成される。
【０１９８】
音声処理装置１１には、例えば移動物体などのオブジェクトに取り付けられたマイクロホンにより収音された音声の音声信号、そのオブジェクトの位置情報、およびメッシュ情報が供給される。
【０１９９】
ここで、オブジェクトの位置情報とは、オブジェクトの音声の音像位置を示す水平方向角度および垂直方向角度である。
【０２００】
また、メッシュ情報には、各スピーカ１２についての位置情報と、メッシュを構成するスピーカ１２の情報とが含まれている。具体的には、各スピーカ１２を特定するインデックスと、スピーカ１２の位置を特定するための水平方向角度および垂直方向角度とが、スピーカ１２についての位置情報としてメッシュ情報に含まれている。また、メッシュ情報には、メッシュを構成するスピーカ１２の情報として、メッシュを識別する情報と、そのメッシュを構成するスピーカ１２のインデックスとが含まれている。
【０２０１】
位置算出部２１は、供給されたオブジェクトの位置情報とメッシュ情報に基づいて、オブジェクトの音像の移動目的位置を算出し、移動目的位置とメッシュの識別情報とをゲイン算出部２２に供給する。
【０２０２】
ゲイン算出部２２は、位置算出部２１から供給された移動目的位置および識別情報と、供給されたオブジェクトの位置情報とに基づいて各スピーカ１２のゲインを算出し、ゲイン調整部２３に供給する。
【０２０３】
ゲイン調整部２３は、ゲイン算出部２２から供給された各ゲインに基づいて、外部から供給されたオブジェクトの音声信号に対するゲイン調整を行なって、その結果得られたＭ個の各チャンネルの音声信号をスピーカ１２に供給して出力させる。
【０２０４】
ゲイン調整部２３は、増幅部３１−１乃至増幅部３１−Ｍを備えている。増幅部３１−１乃至増幅部３１−Ｍは、ゲイン算出部２２から供給されたゲインに基づいて、外部から供給された音声信号のゲイン調整を行い、その結果得られた音声信号をスピーカ１２−１乃至スピーカ１２−Ｍに供給する。
【０２０５】
なお、以下、増幅部３１−１乃至増幅部３１−Ｍを個々に区別する必要がない場合、単に増幅部３１とも称する。
【０２０６】
〈位置算出部の構成例〉
また、図６の音声処理装置１１における位置算出部２１は図７に示すように構成される。
【０２０７】
位置算出部２１は、メッシュ情報取得部６１、２次元位置算出部６２、３次元位置算出部６３、および移動判定部６４から構成される。
【０２０８】
メッシュ情報取得部６１は、外部からメッシュ情報を取得して、スピーカ１２から構成されるメッシュに３次元メッシュが含まれるか否かを特定し、その特定結果に応じてメッシュ情報を２次元位置算出部６２または３次元位置算出部６３に供給する。すなわち、メッシュ情報取得部６１では、ゲイン算出部２２で２次元VBAPが行われるか、または３次元VBAPが行われるかが特定される。
【０２０９】
２次元位置算出部６２は、メッシュ情報取得部６１から供給されたメッシュ情報および外部から供給されたオブジェクトの位置情報に基づいて、処理２Ｄ（１）乃至処理２Ｄ（３）を行って対象音像の移動目的候補位置を算出し、移動判定部６４に供給する。
【０２１０】
３次元位置算出部６３は、メッシュ情報取得部６１から供給されたメッシュ情報および外部から供給されたオブジェクトの位置情報に基づいて、処理３Ｄ（１）乃至処理３Ｄ（５）を行って対象音像の移動目的候補位置を算出し、移動判定部６４に供給する。
【０２１１】
移動判定部６４は、２次元位置算出部６２から供給された移動目的候補位置、または３次元位置算出部６３から供給された移動目的候補位置と、供給されたオブジェクトの位置情報とに基づいて対象音像の移動目的位置を求め、ゲイン算出部２２に供給する。
【０２１２】
〈２次元位置算出部の構成例〉
さらに、図７の２次元位置算出部６２は、図８に示すように構成される。
【０２１３】
２次元位置算出部６２は、端算出部９１、メッシュ検出部９２、および候補位置算出部９３から構成される。
【０２１４】
端算出部９１は、メッシュ情報取得部６１から供給されたメッシュ情報に基づいて、各メッシュの左限値θｎｌと右限値θｎｒを算出し、メッシュ検出部９２に供給する。
【０２１５】
メッシュ検出部９２は、供給されたオブジェクトの位置情報と、端算出部９１から供給された左限値および右限値とに基づいて、対象音像の水平方向位置を包含するメッシュを検出する。メッシュ検出部９２は、メッシュの検出結果と、検出されたメッシュの左限値および右限値とを候補位置算出部９３に供給する。
【０２１６】
候補位置算出部９３は、メッシュ情報取得部６１からのメッシュ情報、供給されたオブジェクトの位置情報、並びにメッシュ検出部９２からの検出結果、左限値、および右限値に基づいて、対象音像の移動目的候補位置γｎＤを算出し、移動判定部６４に供給する。なお、候補位置算出部９３が、例えばメッシュ情報に含まれるスピーカ１２の位置情報から、予めメッシュの逆行列Ｌ１２３−１を算出して保持しておくようにしてもよい。
【０２１７】
〈３次元位置算出部の構成例〉
また、図７の３次元位置算出部６３は、図９に示すように構成される。
【０２１８】
３次元位置算出部６３は、特定部１３１、端算出部１３２、メッシュ検出部１３３、候補位置算出部１３４、端算出部１３５、メッシュ検出部１３６、および候補位置算出部１３７から構成される。
【０２１９】
特定部１３１は、メッシュ情報取得部６１から供給されたメッシュ情報に基づいて、スピーカ１２のなかにトップスピーカおよびボトムスピーカがあるかを特定し、その特定結果を移動判定部６４に供給する。
【０２２０】
端算出部１３２乃至候補位置算出部１３４は、図８の端算出部９１乃至候補位置算出部９３と同様であるため、その説明は省略する。
【０２２１】
端算出部１３５は、メッシュ情報取得部６１から供給されたメッシュ情報に基づいて、各メッシュの左限値、右限値、および中間値を算出するとともに、メッシュがトップ位置またはボトム位置を包含しているかを特定し、算出結果と特定結果をメッシュ検出部１３６に供給する。
【０２２２】
メッシュ検出部１３６は、供給されたオブジェクトの位置情報と、端算出部１３５から供給された算出結果および特定結果とに基づいて、対象音像の水平方向位置を包含するメッシュを検出し、そのメッシュにおける音像の移動先となる弧を特定し、候補位置算出部１３７に供給する。
【０２２３】
候補位置算出部１３７は、メッシュ情報取得部６１からのメッシュ情報、供給されたオブジェクトの位置情報、およびメッシュ検出部１３６からの弧の検出結果に基づいて、対象音像の移動目的候補位置γｎＤを算出し、移動判定部６４に供給する。また、候補位置算出部１３７は、メッシュ検出部１３６から供給されたトップ位置またはボトム位置を包含しているメッシュの特定結果を移動判定部６４に供給する。なお、候補位置算出部１３７が、例えばメッシュ情報に含まれるスピーカ１２の位置情報から、予め逆行列Ｌ１２３−１を算出して保持しておくようにしてもよい。
【０２２４】
〈音像定位制御処理の説明〉
ところで、音声処理装置１１にメッシュ情報、オブジェクトの位置情報、および音声信号が供給され、オブジェクトの音声の出力が指示されると、音声処理装置１１は音像定位制御処理を開始してオブジェクトの音声を出力させ、その音像を適切な位置に定位させる。
【０２２５】
以下、図１０のフローチャートを参照して、音声処理装置１１による音像定位制御処理について説明する。
【０２２６】
ステップＳ１１において、メッシュ情報取得部６１は、外部から供給されたメッシュ情報に基づいて、後段のゲイン算出部２２において行われるVBAPの計算が、２次元VBAPであるか否かを判定し、その判定結果に応じてメッシュ情報を２次元位置算出部６２または３次元位置算出部６３に供給する。例えばメッシュ情報に、メッシュを構成するスピーカ１２の情報として、３つのスピーカ１２のインデックスが含まれているものが１つでもある場合、２次元VBAPでないと判定される。
【０２２７】
ステップＳ１１において２次元VBAPであると判定された場合、ステップＳ１２において位置算出部２１は２次元VBAPにおける移動目的位置算出処理を行って、移動目的位置およびメッシュの識別情報をゲイン算出部２２に供給し、処理はステップＳ１４に進む。なお、２次元VBAPにおける移動目的位置算出処理の詳細は後述する。
【０２２８】
また、ステップＳ１１において２次元VBAPでないと判定された場合、すなわち３次元VBAPであると判定された場合、処理はステップＳ１３へと進む。
【０２２９】
ステップＳ１３において位置算出部２１は３次元VBAPにおける移動目的位置算出処理を行って、移動目的位置およびメッシュの識別情報をゲイン算出部２２に供給し、処理はステップＳ１４に進む。なお、３次元VBAPにおける移動目的位置算出処理の詳細は後述する。
【０２３０】
ステップＳ１２またはステップＳ１３において移動目的位置が求められると、ステップＳ１４の処理が行われる。
【０２３１】
ステップＳ１４において、ゲイン算出部２２は、位置算出部２１から供給された移動目的位置および識別情報と、供給されたオブジェクトの位置情報とに基づいて各スピーカ１２のゲインを算出し、ゲイン調整部２３に供給する。
【０２３２】
具体的には、ゲイン算出部２２は、オブジェクトの位置情報に含まれる音像の水平方向角度θと、位置算出部２１から供給された移動目的位置である垂直方向角度とにより定まる位置を、音声の音像を定位させる位置であるベクトルｐの位置とする。そして、ゲイン算出部２２は、ベクトルｐを用いてメッシュの識別情報により示されるメッシュについて式（１）または式（３）を計算し、メッシュを構成する２つまたは３つのスピーカ１２のゲイン（係数）を求める。
【０２３３】
また、ゲイン算出部２２は、識別情報により示されるメッシュを構成するスピーカ１２以外のスピーカ１２のゲインを０とする。
【０２３４】
なお、対象音像の移動が不要な場合には、対象音像の移動目的位置が算出されず、ゲイン算出部２２には対象音像の位置を含む可能性のあるメッシュの識別情報が供給される。そのような場合には、ゲイン算出部２２は、オブジェクトの位置情報に含まれる音像の水平方向角度θと垂直方向角度γにより定まる位置を、音声の音像を定位させる位置であるベクトルｐの位置とする。そして、ゲイン算出部２２は、ベクトルｐを用いてメッシュの識別情報により示されるメッシュについて式（１）または式（３）を計算し、メッシュを構成する２つまたは３つのスピーカ１２のゲイン（係数）を求める。
【０２３５】
さらに、ゲイン算出部２２はゲインを求めたメッシュのうち、全てのゲインが非負となるメッシュを選択し、選択したメッシュを構成するスピーカ１２のゲインをVBAPにより求めたゲインとし、他のスピーカ１２のゲインを０とする。
【０２３６】
これにより、少ない演算で各スピーカ１２のゲインを求めることができる。なお、ゲイン算出部２２においてVBAPの計算に用いられるメッシュの逆行列は、候補位置算出部９３や候補位置算出部１３７から取得されて保持されるようにしてもよい。そのようにすることで計算量を削減し、より迅速に処理結果を得ることができるようになる。
【０２３７】
ステップＳ１５において、ゲイン調整部２３の増幅部３１は、ゲイン算出部２２から供給されたゲインに基づいて、外部から供給されたオブジェクトの音声信号のゲイン調整を行い、その結果得られた音声信号をスピーカ１２に供給し、音声を出力させる。
【０２３８】
各スピーカ１２は、増幅部３１から供給された音声信号に基づいて音声を出力する。これにより、目標とする位置に音像を定位させることができる。スピーカ１２から音声が出力されると、音像定位制御処理は終了する。
【０２３９】
以上のようにして、音声処理装置１１は、対象音像の移動目的位置を算出し、その算出結果に応じた各スピーカ１２のゲインを求めて音声信号のゲイン調整を行なう。これにより、目標とする位置に音像を定位させることができ、より高品質な音声を得ることができる。
【０２４０】
〈２次元VBAPにおける移動目的位置算出処理の説明〉
次に、図１１のフローチャートを参照して、図１０のステップＳ１２の処理に対応する２次元VBAPにおける移動目的位置算出処理について説明する。
【０２４１】
ステップＳ４１において、端算出部９１は、メッシュ情報取得部６１から供給されたメッシュ情報に基づいて、各メッシュの左限値θｎｌと右限値θｎｒを算出し、メッシュ検出部９２に供給する。すなわち、上述した処理２Ｄ（１）が行われて、式（８）によりＮ個のメッシュごとに左限値と右限値が求められる。
【０２４２】
ステップＳ４２において、メッシュ検出部９２は、供給されたオブジェクトの位置情報と、端算出部９１から供給された左限値および右限値とに基づいて、対象音像の水平方向位置を包含するメッシュを検出する。
【０２４３】
すなわち、メッシュ検出部９２は、上述した処理２Ｄ（２）を行って、式（９）の計算により対象音像の水平方向位置を包含するメッシュを検出し、メッシュの検出結果と、検出されたメッシュの左限値および右限値とを候補位置算出部９３に供給する。
【０２４４】
ステップＳ４３において、候補位置算出部９３は、メッシュ情報取得部６１からのメッシュ情報、供給されたオブジェクトの位置情報、並びにメッシュ検出部９２からの検出結果、左限値、および右限値に基づいて、対象音像の移動目的候補位置γｎＤを算出し、移動判定部６４に供給する。すなわち、上述した処理２Ｄ（３）が行われる。
【０２４５】
ステップＳ４４において、移動判定部６４は、候補位置算出部９３から供給された移動目的候補位置と、供給されたオブジェクトの位置情報とに基づいて、対象音像の移動が必要であるか否かを判定する。
【０２４６】
すなわち、上述した処理２Ｄ（４）が行われる。具体的には、移動目的候補位置γｎＤのなかから、対象音像の垂直方向角度γと最も垂直方向角度が近いものが検出され、検出により得られた移動目的候補位置γｎＤが対象音像の垂直方向角度γと一致する場合、移動が不要であると判定される。
【０２４７】
ステップＳ４４において移動が必要であると判定された場合、ステップＳ４５において、移動判定部６４は、対象音像の移動目的位置と、メッシュの識別情報とをゲイン算出部２２に出力し、２次元VBAPにおける移動目的位置算出処理は終了する。２次元VBAPにおける移動目的位置算出処理が終了すると、その後、処理は図１０のステップＳ１４へと進む。
【０２４８】
例えば、対象音像の垂直方向角度γと最も近い移動目的候補位置γｎＤが移動目的位置とされ、移動目的位置と、その移動目的位置を算出したメッシュの識別情報とが出力される。
【０２４９】
一方、ステップＳ４４において移動が必要ないと判定された場合、ステップＳ４６において、移動判定部６４は、移動目的候補位置γｎＤを算出したメッシュの識別情報をゲイン算出部２２に出力し、２次元VBAPにおける移動目的位置算出処理は終了する。すなわち、対象音像の水平方向位置を包含しているとされた全てのメッシュの識別情報が出力される。２次元VBAPにおける移動目的位置算出処理が終了すると、その後、処理は図１０のステップＳ１４へと進む。
【０２５０】
以上のようにして、位置算出部２１は、水平方向において対象音像の位置を包含するメッシュを検出し、そのメッシュの位置情報と対象音像の水平方向角度θとに基づいて、対象音像の移動先となる移動目的位置を算出する。
【０２５１】
これにより、少ない演算量で対象音像がメッシュ外にあるか否かを特定することができるとともに、対象音像の適切な移動目的位置を高精度に求めることができる。その結果、音像の移動により生じる音像位置のずれを最小限に抑え、より高品質な音声を得ることができる。特に位置算出部２１によれば、垂直方向において対象音像の位置から最も近いメッシュの境界上の位置を、移動目的位置として求めることができるので、音像の移動により生じる音像位置のずれを最小限に抑えることができる。
【０２５２】
〈３次元VBAPにおける移動目的位置算出処理の説明〉
続いて、図１２のフローチャートを参照して、図１０のステップＳ１３の処理に対応する３次元VBAPにおける移動目的位置算出処理について説明する。
【０２５３】
ステップＳ７１において、特定部１３１は、メッシュ情報取得部６１から供給されたメッシュ情報に基づいて、スピーカ１２のなかにトップスピーカおよびボトムスピーカがあるかを特定し、その特定結果を移動判定部６４に供給する。すなわち、上述した処理３Ｄ（１）が行われる。
【０２５４】
ステップＳ７２において、３次元位置算出部６３は、２次元メッシュにおける移動目的候補位置の算出処理を行い、２次元メッシュについての移動目的候補位置を算出し、その算出結果を移動判定部６４に供給する。すなわち、２次元メッシュについて、上述した処理３Ｄ（２）乃至処理３Ｄ（５）が行われる。なお、２次元メッシュにおける移動目的候補位置の算出処理の詳細は後述する。
【０２５５】
ステップＳ７３において、３次元位置算出部６３は、３次元メッシュにおける移動目的候補位置の算出処理を行い、３次元メッシュについての移動目的候補位置を算出し、その算出結果を移動判定部６４に供給する。すなわち、３次元メッシュについて、上述した処理３Ｄ（２）乃至処理３Ｄ（５）が行われる。なお、３次元メッシュにおける移動目的候補位置の算出処理の詳細は後述する。
【０２５６】
ステップＳ７４において、移動判定部６４は、３次元位置算出部６３から供給された移動目的候補位置、供給されたオブジェクトの位置情報、特定部１３１からの特定結果、および候補位置算出部１３７を介してメッシュ検出部１３６から供給されたトップ位置またはボトム位置を含むメッシュの情報に基づいて、対象音像の移動が必要であるか否かを判定する。すなわち、上述した処理３Ｄ（６）が行われる。
【０２５７】
ステップＳ７４において移動が必要であると判定された場合、ステップＳ７５において、移動判定部６４は、対象音像の移動目的位置と、メッシュの識別情報とをゲイン算出部２２に出力し、３次元VBAPにおける移動目的位置算出処理は終了する。３次元VBAPにおける移動目的位置算出処理が終了すると、その後、処理は図１０のステップＳ１４へと進む。
【０２５８】
一方、ステップＳ７４において移動が必要ないと判定された場合、ステップＳ７６において、移動判定部６４は、移動目的候補位置γｎＤを算出したメッシュの識別情報をゲイン算出部２２に出力し、３次元VBAPにおける移動目的位置算出処理は終了する。すなわち、対象音像の水平方向位置を包含しているとされた全てのメッシュの識別情報が出力される。３次元VBAPにおける移動目的位置算出処理が終了すると、その後、処理は図１０のステップＳ１４へと進む。
【０２５９】
以上のようにして、位置算出部２１は、水平方向において対象音像の位置を包含するメッシュを検出し、そのメッシュの位置情報と対象音像の水平方向角度θとに基づいて、対象音像の移動先となる移動目的位置を算出する。これにより、少ない演算量で対象音像がメッシュ外にあるか否かを特定することができるとともに、対象音像の適切な移動目的位置を高精度に求めることができる。
【０２６０】
〈２次元メッシュにおける移動目的候補位置の算出処理の説明〉
続いて、図１３のフローチャートを参照して、図１２のステップＳ７２の処理に対応する２次元メッシュにおける移動目的候補位置の算出処理について説明する。
【０２６１】
ステップＳ１１１において、端算出部１３２は、メッシュ情報取得部６１から供給されたメッシュ情報に基づいて、各メッシュの左限値θｎｌと右限値θｎｒを算出し、メッシュ検出部１３３に供給する。すなわち、上述した処理３Ｄ（２．１）−２が行われて、式（８）によりＮ個のメッシュごとに左限値と右限値が求められる。
【０２６２】
ステップＳ１１２において、メッシュ検出部１３３は、供給されたオブジェクトの位置情報と、端算出部１３２から供給された左限値および右限値とに基づいて、対象音像の水平方向位置を包含するメッシュを検出する。すなわち、上述した処理３Ｄ（３）が行われる。
【０２６３】
ステップＳ１１３において、メッシュ検出部１３３は、ステップＳ１１２において検出された、対象音像の水平方向位置を包含する各メッシュについて、対象音像の移動目標となる弧を特定する。具体的には、メッシュ検出部１３３は、ステップＳ１１２において検出された２次元メッシュの境界線である弧を、そのまま移動目標となる弧とする。
【０２６４】
メッシュ検出部１３３は、対象音像の水平方向位置を包含するメッシュの検出結果と、検出されたメッシュの左限値および右限値とを候補位置算出部１３４に供給する。
【０２６５】
ステップＳ１１４において、候補位置算出部１３４は、メッシュ情報取得部６１からのメッシュ情報、供給されたオブジェクトの位置情報、並びにメッシュ検出部１３３からの検出結果、左限値、および右限値に基づいて、対象音像の移動目的候補位置γｎＤを算出し、移動判定部６４に供給する。すなわち、上述した処理３Ｄ（５）−２が行われる。
【０２６６】
対象音像の移動目的候補位置が算出されると、２次元メッシュにおける移動目的候補位置の算出処理は終了し、その後、処理は図１２のステップＳ７３へと進む。
【０２６７】
以上のようにして３次元位置算出部６３は、水平方向において対象音像の位置を包含する２次元メッシュを検出し、その２次元メッシュの位置情報と対象音像の水平方向角度θとに基づいて、対象音像の移動先となる移動目的候補位置を算出する。これにより、簡単な計算で、より高精度に対象音像の適切な移動先を算出することができる。
【０２６８】
〈３次元メッシュにおける移動目的候補位置の算出処理の説明〉
さらに、図１４のフローチャートを参照して、図１２のステップＳ７３の処理に対応する３次元メッシュにおける移動目的候補位置の算出処理について説明する。
【０２６９】
ステップＳ１４１において、端算出部１３５は、メッシュ情報取得部６１から供給されたメッシュ情報に基づいて、メッシュを構成する３つのスピーカの水平方向角度を並び替える。すなわち、上述した処理３Ｄ（２．１）−１が行われる。
【０２７０】
ステップＳ１４２において、端算出部１３５は、並び替えた水平方向角度に基づいて、水平方向角度の差分を求める。すなわち、上述した処理３Ｄ（２．２）−１が行われる。
【０２７１】
ステップＳ１４３において、端算出部１３５は、求めた差分に基づいて、トップ位置またはボトム位置を包含しているメッシュを特定するとともに、トップ位置またはボトム位置を包含していないメッシュの左限値、右限値、および中間値を算出する。すなわち、上述した処理３Ｄ（２．３）−１および処理３Ｄ（２．４）−１が行われる。
【０２７２】
端算出部１３５は、トップ位置またはボトム位置を包含しているメッシュの特定結果と、トップ位置またはボトム位置を包含しているメッシュの水平方向角度θnlow1乃至水平方向角度θnlow3とをメッシュ検出部１３６に供給する。また、端算出部１３５は、トップ位置またはボトム位置を包含していないメッシュの左限値、右限値、および中間値をメッシュ検出部１３６に供給する。
【０２７３】
ステップＳ１４４において、メッシュ検出部１３６は、供給されたオブジェクトの位置情報と、端算出部１３５から供給された算出結果および特定結果とに基づいて、対象音像の水平方向位置を包含するメッシュを検出する。すなわち、上述した処理３Ｄ（３）が行われる。
【０２７４】
ステップＳ１４５において、メッシュ検出部１３６は、供給されたオブジェクトの位置情報と、端算出部１３５から供給されたメッシュの左限値、右限値、および中間値、メッシュの水平方向角度θnlow1乃至水平方向角度θnlow3、および特定結果に基づいて、対象音像の移動目標となる弧を特定する。すなわち、上述した処理３Ｄ（４）が行われる。
【０２７５】
メッシュ検出部１３６は、移動目標となる弧の特定結果、つまり係数が０となるスピーカの特定結果を候補位置算出部１３７に供給するとともに、トップ位置またはボトム位置を包含しているメッシュの特定結果を、候補位置算出部１３７を介して移動判定部６４に供給する。
【０２７６】
ステップＳ１４６において、候補位置算出部１３７は、メッシュ情報取得部６１からのメッシュ情報、供給されたオブジェクトの位置情報、およびメッシュ検出部１３６からの弧の特定結果に基づいて、対象音像の移動目的候補位置γｎＤを算出し、移動判定部６４に供給する。すなわち、上述した処理３Ｄ（５）−１が行われる。
【０２７７】
対象音像の移動目的候補位置が算出されると、３次元メッシュにおける移動目的候補位置の算出処理は終了し、その後、処理は図１２のステップＳ７４へと進む。
【０２７８】
以上のようにして３次元位置算出部６３は、水平方向において対象音像の位置を包含する３次元メッシュを検出し、その３次元メッシュの位置情報と対象音像の水平方向角度θとに基づいて、対象音像の移動先となる移動目的候補位置を算出する。これにより、簡単な計算で、より高精度に対象音像の適切な移動先を算出することができる。
【０２７９】
〈第１の実施の形態の変形例１〉
〈音像の移動の要否と移動目的位置の算出について〉
なお、以上においては、３次元メッシュと２次元メッシュが混在していたとしても３次元メッシュの移動目的候補位置γｎＤか、２次元メッシュの移動目的候補位置γｎＤかの何れか一方のみが得られる場合について説明した。しかし、メッシュの配置によっては、３次元メッシュの移動目的候補位置γｎＤと、２次元メッシュの移動目的候補位置γｎＤの両方が得られることもある。
【０２８０】
そのような場合、移動判定部６４は、図１５に示す処理を行って、対象音像の移動が必要であるかを判定するとともに、移動目的位置を求める。
【０２８１】
すなわち、移動判定部６４は、２次元メッシュの移動目的候補位置γｎＤと、３次元メッシュの移動目的候補位置γｎＤ_ｍａｘとを比較する。そして、γｎＤ＞γｎＤ_ｍａｘが成立する場合、移動判定部６４は、さらに対象音像の垂直方向角度γが、移動目的候補位置γｎＤ_ｍａｘよりも大きいか否かを判定する。すなわち、γ＞γｎＤ_ｍａｘが成立するかが判定される。
【０２８２】
ここで、γ＞γｎＤ_ｍａｘが成立するのであれば、対象音像を２次元メッシュの移動目的候補位置γｎＤと、移動目的候補位置γｎＤ_ｍａｘとのうちのより近い方に移動させればよい。
【０２８３】
そこで、移動判定部６４は｜γ−γｎＤ_ｍａｘ｜＜｜γ−γｎＤ｜が成立する場合には、移動目的候補位置γｎＤ_ｍａｘを対象音像の最終的な移動目的位置とする。逆に、移動判定部６４は｜γ−γｎＤ_ｍａｘ｜＜｜γ−γｎＤ｜が成立しない場合には、２次元メッシュの移動目的候補位置γｎＤを対象音像の最終的な移動目的位置とする。
【０２８４】
また、移動判定部６４はγｎＤ＞γｎＤ_ｍａｘは成立するがγ＞γｎＤ_ｍａｘが成立せず、対象音像の垂直方向角度γが移動目的候補位置γｎＤ_ｍｉｎより小さいとき、つまりγ＜γｎＤ_ｍｉｎであるとき、移動目的候補位置γｎＤ_ｍｉｎを対象音像の最終的な移動目的位置とする。
【０２８５】
さらに、移動判定部６４はγｎＤ＜γｎＤ_ｍｉｎが成立するとき、対象音像の垂直方向角度γと移動目的候補位置γｎＤ_ｍｉｎとを比較する。
【０２８６】
ここで、γ＜γｎＤ_ｍｉｎが成立するのであれば、対象音像を２次元メッシュの移動目的候補位置γｎＤと、移動目的候補位置γｎＤ_ｍｉｎとのうちのより近い方に移動させればよい。
【０２８７】
そこで、移動判定部６４はγ＜γｎＤ_ｍｉｎが成立するとき、さらに｜γ−γｎＤ_ｍｉｎ｜＜｜γ−γｎＤ｜が成立するか否かを判定する。
【０２８８】
そして移動判定部６４は、｜γ−γｎＤ_ｍｉｎ｜＜｜γ−γｎＤ｜であれば、移動目的候補位置γｎＤ_ｍｉｎを対象音像の最終的な移動目的位置とする。逆に、移動判定部６４は｜γ−γｎＤ_ｍｉｎ｜＜｜γ−γｎＤ｜が成立しない場合には、２次元メッシュの移動目的候補位置γｎＤを対象音像の最終的な移動目的位置とする。
【０２８９】
また、移動判定部６４はγｎＤ＜γｎＤ_ｍｉｎは成立するがγ＜γｎＤ_ｍｉｎが成立せず、γ＞γｎＤ_ｍａｘが成立するとき、移動目的候補位置γｎＤ_ｍａｘを対象音像の最終的な移動目的位置とする。
【０２９０】
さらに、以上の何れにも該当しない場合には、移動判定部６４は上述した処理３Ｄ（６）に従って対象音像の最終的な移動目的位置を定める。
【０２９１】
〈第２の実施の形態〉
〈位置算出部の構成例〉
また、以上において説明した実施の形態では、定位音像の位置が変化するたびに、音像の移動が必要か否かの判定および移動目的位置の算出と、その後のVBAPの計算とが必要であった。しかし、音像の水平方向角度の取り得る値が有限個（離散値）である場合、これらの計算は重複となる可能性が大きいため、無駄な計算が大量に発生しているということができる。
【０２９２】
そこで、音像の水平方向角度の取り得る値が有限個（離散）である場合には、それらの全ての値について、予め対象音像の移動が必要となる場合における移動目的候補位置の計算を行っておき、各水平方向角度θに対して移動目的候補位置を対応付けて記録しておいてもよい。この場合、例えば水平方向角度θに対して、２次元メッシュの移動目的候補位置γｎＤと、３次元メッシュの移動目的候補位置γｎＤ_ｍａｘおよび移動目的候補位置γｎＤ_ｍｉｎとが対応付けられてメモリに記録される。
【０２９３】
これにより、実際にVBAPによって音像を定位させる場合に、メモリに記録されている移動目的候補位置と、対象音像の垂直方向角度γとを比較すればよいので、音像の移動が必要か否かを特定するための計算は不要となり、計算量を大幅に削減することができる。
【０２９４】
さらに、この場合、音像の移動が必要となるときにVBAPで計算された各スピーカ１２のゲインもメモリに記録しておくとともに、音像の移動が必要ないときにVBAPでゲイン計算が必要なメッシュの識別情報をメモリに記録しておけば、さらに計算量を削減することができる。
【０２９５】
この場合、各水平方向角度θに対して、２次元メッシュの移動目的候補位置γｎＤ、３次元メッシュの移動目的候補位置γｎＤ_ｍａｘ、および移動目的候補位置γｎＤ_ｍｉｎのそれぞれについてのVBAPの係数（ゲイン）がメモリに記録される。また、各水平方向角度θに対して、VBAPでゲイン計算が必要となる１または複数のメッシュの識別情報がメモリに記録される。
【０２９６】
このように、水平方向角度θに対して移動目的候補位置が対応付けられて記録される場合、位置算出部２１は例えば図１６に示すように構成される。なお、図１６において図７における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０２９７】
図１６に示す位置算出部２１はメッシュ情報取得部６１、２次元位置算出部６２、３次元位置算出部６３、移動判定部６４、生成部１８１、およびメモリ１８２から構成される。
【０２９８】
生成部１８１は、水平方向角度θとして取り得る全ての値を順番に生成し、生成した水平方向角度を２次元位置算出部６２および３次元位置算出部６３に供給する。
【０２９９】
２次元位置算出部６２および３次元位置算出部６３は、生成部１８１から供給された水平方向角度ごとに、メッシュ情報取得部６１から供給されたメッシュ情報に基づいて移動目的候補位置を算出してメモリ１８２に供給し、記録させる。
【０３００】
このとき、メモリ１８２には、音像の移動が必要となる場合における２次元メッシュの移動目的候補位置γｎＤと、３次元メッシュの移動目的候補位置γｎＤ_ｍａｘ、および移動目的候補位置γｎＤ_ｍｉｎとがそれぞれ供給される。
【０３０１】
メモリ１８２は、２次元位置算出部６２および３次元位置算出部６３から供給された水平方向角度θごとの移動目的候補位置を記録し、必要に応じて移動判定部６４に供給する。
【０３０２】
また、移動判定部６４は、外部からオブジェクトの位置情報が供給されると、メモリ１８２に記録されている、オブジェクトの音像の水平方向角度θに応じた移動目的候補位置を参照し、音像の移動が必要であるかを判定するとともに音像の移動目的位置を求めてゲイン算出部２２に出力する。すなわち、対象音像の垂直方向角度γと、メモリ１８２に記録されている移動目的候補位置が比較されて音像の移動の要否が判定されるとともに、必要に応じてメモリ１８２に記録されている移動目的候補位置が、移動目的位置とされる。
【０３０３】
〈第３の実施の形態〉
〈ゲインの変更について〉
なお、上述した第１の実施の形態または第２の実施の形態において、音像の移動が必要であると判定された場合、音像を移動させる度合いに応じてゲインをさらに変更すれば、音像の移動により生じる音像の実際の再現位置と、本来再現したい音像位置とのずれを低減させることができる。
【０３０４】
例えば移動判定部６４は、音像の移動が必要であると判定された場合、次式（１５）により移動目的位置の垂直方向角度γｎＤと、対象音像の移動前の元の垂直方向角度γとの差Ｄmoveを算出し、ゲイン算出部２２に供給する。
【０３０５】
【数１５】
2015012122.tif 000017
【０３０６】
ゲイン算出部２２は、移動判定部６４から供給された差Ｄmoveに応じて音像の再生ゲインを変化させる。すなわち、ゲイン算出部２２は、差Ｄmoveに応じた値を、VBAPにより求めた各スピーカ１２の係数（ゲイン）のうち、音像の移動目的位置があるメッシュの弧の両端に位置するスピーカ１２の係数に乗算して、ゲインをさらに調整する。
【０３０７】
このように移動前後の音像の位置の差に応じてゲインを変化させることにより、例えば差Ｄmoveが大きい場合にはゲインを小さくして、音像がメッシュから遠い位置にあるような感覚を与えるようにすることができる。また、差Ｄmoveが小さい場合にはゲインを殆ど変化させず、音像がメッシュから近い位置にあるような感覚を与えるようにすることができる。
【０３０８】
なお、音像が垂直方向だけでなく水平方向にも移動する場合には、次式（１６）により差Ｄmoveを求めればよい。
【０３０９】
【数１６】
2015012122.tif 000018
【０３１０】
なお、式（１６）において、γｎＤおよびθｎＤは、それぞれ音像の移動先の垂直方向角度および水平方向角度を示している。
【０３１１】
以下、このように対象音像の移動前の元の位置と移動先の位置との差（以下、移動距離と称する）に基づいてゲインを調整する例について、より詳細に説明する。
【０３１２】
例えば図１７に示すように、再生しようとする音像位置ＲＳＰ１１にある音像を、スピーカＳＰ１乃至スピーカＳＰ３を囲むメッシュとしての領域ＴＲ１１内に移動させたとき、その移動先の位置が領域ＴＲ１１の境界上にある音像位置ＶＳＰ１１であったとする。なお、図１７において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０３１３】
この場合、ユーザＵ１１から元の音像位置ＲＳＰ１１までの距離ｒ＝ｒｓと、ユーザＵ１１から移動先の音像位置ＶＳＰ１１までの距離ｒ＝ｒｔとが同じであるとする。そのような場合、音像位置ＲＳＰ１１と音像位置ＶＳＰ１１の間の距離、つまり対象音像の移動量は、半径ｒｓ＝ｒｔの円上における、音像位置ＲＳＰ１１と音像位置ＶＳＰ１１とを結ぶ弧の長さで表現することができる。
【０３１４】
図１７の例では、ユーザＵ１１および音像位置ＲＳＰ１１を結ぶ直線Ｌ２１と、ユーザＵ１１および音像位置ＶＳＰ１１を結ぶ直線Ｌ２２とがなす角度を対象音像の移動距離とすることができる。
【０３１５】
具体的には、音像位置ＲＳＰ１１と音像位置ＶＳＰ１１の水平方向角度θが同じであれば、対象音像の移動は垂直方向のみであるので、上述した式（１５）により求まる差Ｄｍｏｖｅが、対象音像の移動距離Ｄｍｏｖｅとなる。
【０３１６】
一方、音像位置ＲＳＰ１１と音像位置ＶＳＰ１１の水平方向角度θが同じでなく、対象音像の移動が水平方向にもある場合には、上述した式（１６）により求まる差Ｄｍｏｖｅが、対象音像の移動距離Ｄｍｏｖｅとなる。
【０３１７】
移動判定部６４は、音像定位制御処理時において、対象音像の移動目的位置とメッシュの識別情報だけでなく、式（１５）または式（１６）を計算して得られた対象音像の移動距離Ｄｍｏｖｅもゲイン算出部２２に供給する。
【０３１８】
また、移動判定部６４から移動距離Ｄｍｏｖｅの供給を受けたゲイン算出部２２は、上位の制御装置等から供給された情報に基づいて、折れ線カーブまたは関数カーブの何れかを用いて、各スピーカ１２のゲインを補正するための移動距離Ｄｍｏｖｅに応じたゲインGainmove（以下、移動距離補正ゲインとも称する）を算出する。
【０３１９】
例えば、移動距離補正ゲインの算出に用いられる折れ線カーブは、各移動距離Ｄｍｏｖｅに対する移動距離補正ゲインの値から構成される数列により表現される。
【０３２０】
具体的には、移動距離補正ゲインGainmoveの値の数列として、［0,-1.5,-4.5,-6,-9,-10.5,-12,-13.5,-15,-15,-16.5,-16.5,-18,-18,-18,-19.5,-19.5,-21,-21,-21］（dB）が、移動距離補正ゲインを得るための情報とされているとする。
【０３２１】
そのような場合、数列の始点の値が移動距離Ｄｍｏｖｅ＝0°のときの移動距離補正ゲインとされ、数列の終点の値が移動距離Ｄｍｏｖｅ＝180°のときの移動距離補正ゲインとされる。また、数列のｋ番目の点の値が、次式（１７）に示す移動距離Ｄｍｏｖｅのときの移動距離補正ゲインとされる。
【０３２２】
【数１７】
2015012122.tif 000019
【０３２３】
なお、式（１７）において、length_of_Curveは数列の長さ、つまり数列を構成する点の個数を示している。
【０３２４】
また、数列の隣接する点の間は、移動距離Ｄｍｏｖｅによって移動距離補正ゲインが線形に変化するとされる。このような数列により得られる折れ線カーブは、移動距離補正ゲインと移動距離Ｄｍｏｖｅのマッピングを表すカーブである。
【０３２５】
例えば、上述した数列によって図１８に示す折れ線カーブが得られる。
【０３２６】
図１８では、縦軸は移動距離補正ゲインの値を示しており、横軸は移動距離Ｄｍｏｖｅを示している。また、折れ線ＣＶ１１が折れ線カーブを表しており、折れ線カーブ上の円は、移動距離補正ゲインの値の数列を構成する１つの数値を示している。
【０３２７】
この例では、移動距離ＤｍｏｖｅがＤＭＶ１である場合には、移動距離補正ゲインは、折れ線カーブ上のDMV1におけるゲインの値であるGain1とされる。
【０３２８】
一方、移動距離補正ゲインの算出に用いられる関数カーブは、３つの係数coef1、係数coef2、および係数coef3と、予め定められた下限となるゲイン値MinGainにより表現される。
【０３２９】
この場合、ゲイン算出部２２は係数coef1乃至係数coef3、ゲイン値MinGain、および移動距離Ｄｍｏｖｅにより表現される、次式（１８）に示す関数f(Dmove)を用いて、以下の式（１９）を計算し、移動距離補正ゲインGainmoveを算出する。
【０３３０】
【数１８】
2015012122.tif 000020
【０３３１】
【数１９】
2015012122.tif 000021
【０３３２】
なお、式（１９）において、Cut_Threは、次式（２０）を満たす移動距離Ｄｍｏｖｅの最小値である。
【０３３３】
【数２０】
2015012122.tif 000022
【０３３４】
このような関数f(Dmove)等により表される関数カーブは、例えば図１９に示すカーブとなる。なお、図１９において縦軸は移動距離補正ゲインの値を示しており、横軸は移動距離Ｄｍｏｖｅを示している。また、曲線ＣＶ２１が関数カーブを表している。
【０３３５】
図１９に示す関数カーブでは、関数f(Dmove)により示される移動距離補正ゲインの値が始めて下限となるゲイン値MinGainより小さくなると、それ以降の各移動距離Ｄｍｏｖｅにおける移動距離補正ゲインの値はゲイン値MinGainとされている。すなわち、移動距離Ｄｍｏｖｅ＝Cut_Thre以降の各移動距離Ｄｍｏｖｅにおける移動距離補正ゲインの値はゲイン値MinGainとされている。なお、図中の点線は、各移動距離Ｄｍｏｖｅにおけるもとの関数f(Dmove)の値を示している。
【０３３６】
この例では、移動距離ＤｍｏｖｅがDMV2である場合には、その移動距離補正ゲインGainmoveは、関数カーブ上のDMV2におけるゲインの値であるGain2とされる。
【０３３７】
なお、関数カーブにより移動距離補正ゲインを求める場合、係数coef1乃至係数coef3の組み合わせ［coef1,coef2,coef3］は、例えば［8,-12,6］や、［1,-3,3］、［2,-5.3,4.2］などとされる。
【０３３８】
以上のように、ゲイン算出部２２は、折れ線カーブまたは関数カーブの何れか一方を用いて、移動距離Ｄｍｏｖｅに応じた移動距離補正ゲインGainmoveを算出する。
【０３３９】
また、ゲイン算出部２２は、ユーザ（視聴者）までの距離に応じて移動距離補正ゲインGainmoveがさらに補正（調整）された補正ゲインGaincorrを算出する。
【０３４０】
この補正ゲインGaincorrは、対象音像の移動距離Ｄｍｏｖｅと、移動前の対象音像からユーザ（視聴者）までの距離ｒｓとに応じて、各スピーカ１２のゲイン（係数）を補正するためのゲインである。
【０３４１】
例えばVBAPが行われる場合、距離ｒは常に１であるが、他のパニングベースの手法を用いた場合や、実際の環境が理想のVBAP環境ではない場合など、対象音像の移動の前後で距離ｒが異なるときには、距離ｒの違いによる補正が行われる。すなわち、対象音像の移動先の位置からユーザまでの距離ｒｔは常に１とされるので、対象音像の移動前の位置からユーザまでの距離ｒｓが１でないときに補正が行われる。具体的には、ゲイン算出部２２は補正ゲインGaincorrと遅延処理により補正を行う。
【０３４２】
ここで、補正ゲインGaincorrと、遅延処理時の遅延量Delayの算出について説明する。
【０３４３】
まず、ゲイン算出部２２は、距離ｒｓと距離ｒｔの違いに応じて各スピーカ１２のゲインを補正するための視聴距離補正ゲインGaindistを次式（２１）により算出する。
【０３４４】
【数２１】
2015012122.tif 000023
【０３４５】
さらに、ゲイン算出部２２は、このようにして求めた視聴距離補正ゲインGaindistと、上述した移動距離補正ゲインGainmoveとから次式（２２）を計算し、補正ゲインGaincorrを算出する。
【０３４６】
【数２２】
2015012122.tif 000024
【０３４７】
式（２２）では、視聴距離補正ゲインGaindistと、移動距離補正ゲインGainmoveとの和が補正ゲインGaincorrとされている。
【０３４８】
また、ゲイン算出部２２は、移動前の対象音像の距離ｒｓと、移動後の対象音像の距離ｒｔとから次式（２３）を計算し、音声信号の遅延量Delayを算出する。
【０３４９】
【数２３】
2015012122.tif 000025
【０３５０】
そして、ゲイン算出部２２は、遅延量Delayだけ音声信号を遅延または早着させるとともに、補正ゲインGaincorrに基づいて各スピーカ１２のゲイン（係数）を補正して音声信号のゲイン調整を行う。これにより、音量調整と遅延処理によって、対象音像の移動や距離ｒの違いにより生じる音声再生時の違和感を低減させることができる。
【０３５１】
ここで、図１０のステップＳ１４の処理で求まるゲイン（係数）をGainspkとすると、次式（２４）の計算によってゲインGainspkが補正ゲインGaincorrだけ補正され、最終的なゲイン（係数）である適応ゲインGainspk_corrとされる。
【０３５２】
【数２４】
2015012122.tif 000026
【０３５３】
式（２４）においてゲインGainspkは、図１０のステップＳ１４で式（１）または式（３）の計算により得られた各スピーカ１２のゲイン（係数）である。
【０３５４】
ゲイン算出部２２は、式（２４）の計算により得られた適応ゲインGainspk_corrを増幅部３１に供給し、スピーカ１２についての音声信号に乗算させる。
【０３５５】
以上のように移動距離Ｄｍｏｖｅに応じて各スピーカ１２のゲインを補正することにより、対象音像の移動度合いが大きい場合はゲインが小さくなり、実際の音像位置がメッシュから遠い位置にあるような感覚を与えることができる。一方、対象音像の移動度合いが小さい場合には、対象音像のゲインは殆ど補正されず、実際の音像位置がメッシュから近い位置にあるような感覚を与えることができる。
【０３５６】
〈音声処理装置の構成例〉
次に、以上において説明したように移動距離Ｄｍｏｖｅに応じて各スピーカ１２のゲインを補正する場合における音声処理装置の構成と動作について説明する。
【０３５７】
そのような場合、音声処理装置は例えば図２０に示すように構成される。なお、図２０において、図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０３５８】
図２０に示す音声処理装置２１１は、位置算出部２１、ゲイン算出部２２、ゲイン調整部２３、および遅延処理部２２１を有している。音声処理装置２１１の構成は、遅延処理部２２１が設けられるとともに、ゲイン算出部２２に新たに補正部２３１が設けられている点で、図６の音声処理装置１１と異なり、他の点では音声処理装置１１と同じ構成とされている。なお、後述するように、より詳細には音声処理装置２１１の位置算出部２１の内部の構成も音声処理装置１１の位置算出部２１の内部の構成と異なる。
【０３５９】
音声処理装置２１１では、位置算出部２１は、対象音像の移動目的位置および移動距離Ｄｍｏｖｅを算出し、移動目的位置、移動距離Ｄｍｏｖｅ、およびメッシュの識別情報をゲイン算出部２２に供給する。
【０３６０】
ゲイン算出部２２は、位置算出部２１から供給された移動目的位置、移動距離Ｄｍｏｖｅ、およびメッシュの識別情報に基づいて、各スピーカ１２の適応ゲインを算出して増幅部３１に供給するとともに、遅延量を算出して遅延処理部２２１に遅延を指示する。また、ゲイン算出部２２は、補正部２３１を備えており、補正部２３１は、移動距離Ｄｍｏｖｅに基づいて、補正ゲインGaincorrや適応ゲインGainspk_corrを算出する。
【０３６１】
遅延処理部２２１は、ゲイン算出部２２の指示に従って、供給された音声信号に対する遅延処理を行い、遅延量により定まるタイミングで音声信号を増幅部３１に供給する。
【０３６２】
〈位置算出部の構成例〉
また、音声処理装置２１１の位置算出部２１は、例えば図２１に示すように構成される。なお、図２１において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０３６３】
図２１に示す位置算出部２１は、図７に示した位置算出部２１の移動判定部６４に、さらに移動距離算出部２６１が設けられた構成とされている。
【０３６４】
移動距離算出部２６１は、対象音像の移動前の垂直方向角度等と、対象音像の移動目的位置の垂直方向角度等とに基づいて移動距離Ｄｍｏｖｅを算出する。
【０３６５】
〈音像定位制御処理の説明〉
次に、図２２のフローチャートを参照して、音声処理装置２１１により行われる音像定位制御処理について説明する。なお、ステップＳ１８１乃至ステップＳ１８３の処理は、図１０のステップＳ１１乃至ステップＳ１３の処理と同様であるので、その説明は省略する。
【０３６６】
ステップＳ１８４において、移動距離算出部２６１は、対象音像の移動目的位置の垂直方向角度γｎＤと、対象音像の移動前の元の垂直方向角度γとに基づいて上述した式（１５）を計算して移動距離Ｄｍｏｖｅを算出し、ゲイン算出部２２に供給する。
【０３６７】
なお、対象音像が垂直方向だけでなく水平方向にも移動している場合には、移動距離算出部２６１は、対象音像の移動目的位置の垂直方向角度γｎＤおよび水平方向角度θｎＤと、対象音像の移動前の元の垂直方向角度γおよび水平方向角度θとに基づいて上述した式（１６）を計算し、移動距離Ｄｍｏｖｅを算出する。
【０３６８】
また、移動目的位置とメッシュの識別情報が移動距離Ｄｍｏｖｅと同時にゲイン算出部２２に供給されるようにしてもよい。
【０３６９】
ステップＳ１８５において、ゲイン算出部２２は、位置算出部２１から供給された移動目的位置および識別情報と、供給されたオブジェクトの位置情報とに基づいて各スピーカ１２のゲインであるゲインGainspkを算出する。なお、ステップＳ１８５では図１０のステップＳ１４の処理と同様の処理が行われる。
【０３７０】
ステップＳ１８６において、ゲイン算出部２２の補正部２３１は、移動距離算出部２６１から供給された移動距離Ｄｍｏｖｅに基づいて移動距離補正ゲインを算出する。
【０３７１】
例えば、補正部２３１は上位の制御装置等から供給された情報に基づいて、折れ線カーブまたは関数カーブの何れかを選択する。
【０３７２】
折れ線カーブが選択された場合、補正部２３１は予め用意された数列に基づいて折れ線カーブを求め、折れ線カーブから移動距離Ｄｍｏｖｅに対応する移動距離補正ゲインGainmoveを求める。
【０３７３】
一方、関数カーブが選択された場合、補正部２３１は予め用意された係数coef1乃至係数coef3、ゲイン値MinGain、および移動距離Ｄｍｏｖｅに基づいて関数カーブ、つまり式（１８）に示した関数の値を求め、その値から式（１９）の演算を行って移動距離補正ゲインGainmoveを求める。
【０３７４】
ステップＳ１８７において、補正部２３１は、対象音像の移動目的位置の距離ｒｔと、対象音像の移動前の元の距離ｒｓとに基づいて、補正ゲインGaincorrおよび遅延量Delayを算出する。
【０３７５】
具体的には、補正部２３１は距離ｒｔおよび距離ｒｓと、移動距離補正ゲインGainmoveとに基づいて式（２１）および式（２２）を計算し、補正ゲインGaincorrを求める。また、補正部２３１は距離ｒｔおよび距離ｒｓに基づいて式（２３）を計算し、遅延量Delayを求める。なお、この例では距離ｒｔ＝１であるが、距離ｒｔ＝１でない場合には必要に応じて距離ｒｔの値が与えられる。
【０３７６】
ステップＳ１８８において、補正部２３１は、補正ゲインGaincorrと、ステップＳ１８５で算出したゲインGainspkとに基づいて式（２４）を計算し、適応ゲインGainspk_corrを算出する。なお、対象音像の移動目的位置がある、識別情報により示されるメッシュの弧の両端に位置するスピーカ１２以外のスピーカ１２の適応ゲインGainspk_corrは０とされる。また、以上において説明したステップＳ１８４乃至ステップＳ１８７の処理はどのような順番で行われてもよい。
【０３７７】
このようにして適応ゲインGainspk_corrが得られると、ゲイン算出部２２は、算出された適応ゲインGainspk_corrを各増幅部３１に供給するとともに、遅延量Delayを遅延処理部２２１に供給し、音声信号に対する遅延処理を指示する。
【０３７８】
ステップＳ１８９において、遅延処理部２２１は、ゲイン算出部２２から供給された遅延量Delayに基づいて、供給された音声信号に対する遅延処理を行う。
【０３７９】
すなわち、遅延処理部２２１は、遅延量Delayが正の値である場合、供給された音声信号を遅延量Delayに示される時間だけ遅延させてから増幅部３１に供給する。また、遅延処理部２２１は、遅延量Delayが負の値である場合、遅延量Delayの絶対値に示される時間だけ音声信号の出力タイミングを早めて、音声信号を増幅部３１に供給する。
【０３８０】
ステップＳ１９０において、増幅部３１は、ゲイン算出部２２から供給された適応ゲインGainspk_corrに基づいて、遅延処理部２２１から供給されたオブジェクトの音声信号のゲイン調整を行い、その結果得られた音声信号をスピーカ１２に供給し、音声を出力させる。
【０３８１】
各スピーカ１２は、増幅部３１から供給された音声信号に基づいて音声を出力する。これにより、目標とする位置に音像を定位させることができる。スピーカ１２から音声が出力されると、音像定位制御処理は終了する。
【０３８２】
以上のようにして音声処理装置２１１は、対象音像の移動目的位置を算出し、その算出結果に応じた各スピーカ１２のゲインを求め、さらにそのゲインを対象音像の移動距離やユーザまでの距離に応じて補正した後、音声信号のゲイン調整を行なう。これにより、目標とする位置を音量調整により適切に補正し、その補正後の位置に音像を定位させることができる。その結果、より高品質な音声を得ることができる。
【０３８３】
このように音声処理装置２１１によれば、音像が定位させたい場所からずれた位置で再生される場合に、音像位置の移動量に応じて音源の再生音量を調整することにより音像の移動量を表現し、音像の移動により生じた音像の実際の再現位置と本来の再現したい位置とのずれを低減させることができる。
【０３８４】
ところで、以上において説明した本技術は、マルチチャンネルのオーディオ再生において、入力信号のチャンネル数およびスピーカ配置が、実際のチャンネル数およびスピーカ配置と違う場合、入力信号を実際のチャンネル数やスピーカ配置で再生可能な形式に変換するダウンミックス技術にも適用可能である。
【０３８５】
以下、図２３乃至図２５を参照して、本技術をダウンミックス技術に適用する場合について説明する。なお、図２３乃至図２５において対応する部分には同じ符号を付してあり、その説明は省略する。
【０３８６】
例えば図２３に示すように、７つの仮想スピーカＶＳＰ３１乃至仮想スピーカＶＳＰ３７の各位置で再生されるべき音声信号を、３つの実際のスピーカＳＰ３１乃至スピーカＳＰ３３で再生する場合について考える。
【０３８７】
この場合、各仮想スピーカＶＳＰ３１乃至仮想スピーカＶＳＰ３７の位置を音源の音像位置として仮定すれば、上述したVBAPを用いて実在する３つのスピーカＳＰ３１乃至スピーカＳＰ３３で、その音源位置が再現可能となる。
【０３８８】
しかし、従来のVBAPでは、図２４に示すように、実在する３つのスピーカＳＰ３１乃至スピーカＳＰ３３に囲まれたメッシュＴＲ３１内にある仮想スピーカＶＳＰ３１の位置にしか音源を再現することができない。
【０３８９】
ここで、メッシュＴＲ３１は、各スピーカが配置されている球面において、スピーカＳＰ３１乃至スピーカＳＰ３３により囲まれる領域である。
【０３９０】
スピーカＳＰ３１乃至スピーカＳＰ３３から音声を出力させる場合、従来のVBAPではメッシュＴＲ３１外の位置を、音源の音像位置とすることができないので、メッシュＴＲ３１内にある仮想スピーカＶＳＰ３１の位置のみ、音源の音像位置とすることができる。
【０３９１】
一方、本技術を用いれば、例えば図２５に示すように、実在する３つのスピーカＳＰ３１乃至スピーカＳＰ３３に囲まれた範囲、つまりメッシュＴＲ３１外にあるスピーカ位置も音源の音像位置として表現可能となる。
【０３９２】
この例では、メッシュＴＲ３１外にある仮想スピーカＶＳＰ３２の音像位置を、上述した本技術を用いて、メッシュＴＲ３１内の位置、つまりメッシュＴＲ３１の境界線上の位置に移動すればよい。つまり、本技術を用いて、メッシュＴＲ３１外にある仮想スピーカＶＳＰ３２の音像位置を、メッシュＴＲ３１内にある仮想スピーカＶＳＰ３２’の音像位置に移動させれば、VBAPにより仮想スピーカＶＳＰ３２’の位置に音像を定位させることができる。
【０３９３】
この仮想スピーカＶＳＰ３２と同様に、メッシュＴＲ３１外にある他の仮想スピーカＶＳＰ３３乃至仮想スピーカＶＳＰ３７についても、メッシュＴＲ３１の境界上に音像位置を移動させれば、それらの音像をVBAPにより定位させることができる。
【０３９４】
これにより、実在する３つのスピーカＳＰ３１乃至スピーカＳＰ３３から、仮想スピーカＶＳＰ３１乃至仮想スピーカＶＳＰ３７の位置で再生されるべき音声信号を再生することができるようになる。
【０３９５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
【０３９６】
図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３９７】
コンピュータにおいて、ＣＰＵ５０１，ＲＯＭ５０２，ＲＡＭ５０３は、バス５０４により相互に接続されている。
【０３９８】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０３９９】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０４００】
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
【０４０１】
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０４０２】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０４０３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４０４】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４０５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４０６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４０７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４０８】
さらに、本技術は、以下の構成とすることも可能である。
【０４０９】
［１］
複数のスピーカにより囲まれる領域であるメッシュのうちの水平方向において対象音像の水平方向位置を包含するメッシュを少なくとも一つ検出し、前記メッシュにおける前記対象音像の移動目標となるメッシュの境界を少なくとも一つ特定する検出部と、
前記移動目標となる前記特定された少なくとも一つのメッシュの境界上にある２つの前記スピーカの位置と、前記対象音像の前記水平方向位置とに基づいて、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上の前記対象音像の移動位置を算出する算出部と
を備える情報処理装置。
［２］
前記移動位置は、前記水平方向において前記対象音像の前記水平方向位置と同じ位置にある前記境界上の位置である
［１］に記載の情報処理装置。
［３］
前記検出部は、前記メッシュを構成する前記スピーカの前記水平方向の位置と、前記対象音像の前記水平方向位置とに基づいて、前記水平方向において前記対象音像の前記水平方向位置を包含する前記メッシュを検出する
［１］または［２］に記載の情報処理装置。
［４］
前記メッシュを構成する前記スピーカの位置関係、または前記対象音像と前記移動位置の垂直方向の位置の少なくとも何れかに基づいて、前記対象音像の移動が必要であるか否かを判定する判定部をさらに備える
［１］乃至［３］の何れか一項に記載の情報処理装置。
［５］
前記対象音像の移動が必要であると判定された場合、前記移動位置に音声の音像が定位するように、前記移動位置と前記メッシュの前記スピーカの位置とに基づいて前記音声の音声信号のゲインを算出するゲイン算出部をさらに備える
［４］に記載の情報処理装置。
［６］
前記ゲイン算出部は、前記対象音像の位置と前記移動位置との差に基づいて前記ゲインを調整する
［５］に記載の情報処理装置。
［７］
前記ゲイン算出部は、前記対象音像の位置からユーザまでの距離と、前記移動位置から前記ユーザまでの距離とに基づいてさらに前記ゲインを調整する
［６］に記載の情報処理装置。
［８］
前記対象音像の移動が必要ではないと判定された場合、前記水平方向において前記対象音像の前記水平方向位置を包含する前記メッシュについて、前記対象音像の位置に音声の音像が定位するように、前記対象音像の位置と前記メッシュの前記スピーカの位置とに基づいて前記音声の音声信号のゲインを算出するゲイン算出部をさらに備える
［４］に記載の情報処理装置。
［９］
前記判定部は、垂直方向において、前記メッシュごとに求めた前記移動位置のうちの最も高い位置が前記対象音像の位置よりも低い位置にある場合、前記対象音像の移動が必要であると判定する
［４］乃至［８］の何れか一項に記載の情報処理装置。
［１０］
前記判定部は、垂直方向において、前記メッシュごとに求めた前記移動位置のうちの最も低い位置が前記対象音像の位置よりも高い位置にある場合、前記対象音像の移動が必要であると判定する
［４］乃至［９］の何れか一項に記載の情報処理装置。
［１１］
前記判定部は、垂直方向の位置として取り得る最も高い位置に前記スピーカがある場合、前記対象音像の上から下方向への移動が必要でないと判定する
［４］乃至［１０］の何れか一項に記載の情報処理装置。
［１２］
前記判定部は、垂直方向の位置として取り得る最も低い位置に前記スピーカがある場合、前記対象音像の下から上方向への移動が必要でないと判定する
［４］乃至［１１］の何れか一項に記載の情報処理装置。
［１３］
前記判定部は、垂直方向の位置として取り得る最も高い位置を包含する前記メッシュがある場合、前記対象音像の上から下方向への移動が必要でないと判定する
［４］乃至［１２］の何れか一項に記載の情報処理装置。
［１４］
前記判定部は、垂直方向の位置として取り得る最も低い位置を包含する前記メッシュがある場合、前記対象音像の下から上方向への移動が必要でないと判定する
［４］乃至［１３］の何れか一項に記載の情報処理装置。
［１５］
前記算出部は、前記水平方向位置ごとに予め前記移動位置の最大値および最小値を算出して記録させ、
記録されている前記移動位置の最大値および最小値と、前記対象音像の位置とに基づいて、前記対象音像の最終的な前記移動位置を求める判定部をさらに備える
［１］乃至［３］の何れか一項に記載の情報処理装置。
［１６］
複数のスピーカにより囲まれる領域であるメッシュのうちの水平方向において対象音像の水平方向位置を包含するメッシュを少なくとも一つ検出し、前記メッシュにおける前記対象音像の移動目標となるメッシュの境界を少なくとも一つ特定し、
前記移動目標となる前記特定された少なくとも一つのメッシュの境界上にある２つの前記スピーカの位置と、前記対象音像の前記水平方向位置とに基づいて、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上の前記対象音像の移動位置を算出する
ステップを含む情報処理方法。
［１７］
複数のスピーカにより囲まれる領域であるメッシュのうちの水平方向において対象音像の水平方向位置を包含するメッシュを少なくとも一つ検出し、前記メッシュにおける前記対象音像の移動目標となるメッシュの境界を少なくとも一つ特定し、
前記移動目標となる前記特定された少なくとも一つのメッシュの境界上にある２つの前記スピーカの位置と、前記対象音像の前記水平方向位置とに基づいて、前記移動目標となる前記特定された少なくとも一つのメッシュの境界上の前記対象音像の移動位置を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０４１０】
１１  音声処理装置，  １２−１乃至１２−Ｍ，１２  スピーカ，  ２１  位置算出部，  ２２  ゲイン算出部，  ６２  ２次元位置算出部，  ６３  ３次元位置算出部，  ６４  移動判定部，  ９１  端算出部，  ９２  メッシュ検出部，  ９３  候補位置算出部，  １３１  特定部，  １３２  端算出部，  １３３  メッシュ検出部，  １３４  候補位置算出部，  １３５  端算出部，  １３６  メッシュ検出部，  １３７  候補位置算出部，  １８２  メモリ
【図１】
2015012122.tif 000027
【図２】
2015012122.tif 000028
【図３】
2015012122.tif 000029
【図４】
2015012122.tif 000030
【図５】
2015012122.tif 000031
【図６】
2015012122.tif 000032
【図７】
2015012122.tif 000033
【図８】
2015012122.tif 000034
【図９】
2015012122.tif 000035
【図１０】
2015012122.tif 000036
【図１１】
2015012122.tif 000037
【図１２】
2015012122.tif 000038
【図１３】
2015012122.tif 000039
【図１４】
2015012122.tif 000040
【図１５】
2015012122.tif 000041
【図１６】
2015012122.tif 000042
【図１７】
2015012122.tif 000043
【図１８】
2015012122.tif 000044
【図１９】
2015012122.tif 000045
【図２０】
2015012122.tif 000046
【図２１】
2015012122.tif 000047
【図２２】
2015012122.tif 000048
【図２３】
2015012122.tif 000049
【図２４】
2015012122.tif 000050
【図２５】
2015012122.tif 000051
【図２６】
2015012122.tif 000052
【国際調査報告】
2015012122.tif 000053
2015012122.tif 000054