(57)【要約】【課題】より自由度の高いオーディオ再生を実現することができるようにする。【解決手段】入力部は、音源であるオブジェクトの音声の想定聴取位置の入力を受け付けて、想定聴取位置を示す想定聴取位置情報を出力する。位置情報補正部は、想定聴取位置情報に基づいて、各オブジェクトの位置情報を補正して補正位置情報とする。ゲイン／周波数特性補正部は、位置情報と補正位置情報に基づいて、オブジェクトの波形信号のゲイン補正と周波数特性補正を行う。さらに、空間音響特性付加部は、オブジェクトの位置情報および想定聴取位置情報に基づいて、ゲイン補正および周波数特性補正が施された波形信号に空間音響特性を付加する。本技術は、音声処理装置に適用することができる。【選択図】図１
2020017978.tif 000002
【特許請求の範囲】
【請求項１】
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出する位置情報補正部と、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部と
を備える音声処理装置。
【請求項２】
前記位置情報補正部は、前記音源の修正後の位置を示す修正位置情報と、前記聴取位置情報とに基づいて前記補正位置情報を算出する
請求項１に記載の音声処理装置。
【請求項３】
前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正または周波数特性補正の少なくとも何れかを行う補正部をさらに備える
請求項１に記載の音声処理装置。
【請求項４】
前記聴取位置情報と前記修正位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
請求項２に記載の音声処理装置。
【請求項５】
前記空間音響特性付加部は、前記空間音響特性として、初期反射または残響特性の少なくとも何れかを前記波形信号に付加する
請求項４に記載の音声処理装置。
【請求項６】
前記聴取位置情報と前記位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
請求項１に記載の音声処理装置。
【請求項７】
前記生成部により生成された２以上のチャンネルの前記再生信号に畳み込み処理を行って、２チャンネルの前記再生信号を生成する畳み込み処理部をさらに備える
請求項１に記載の音声処理装置。
【請求項８】
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む音声処理方法。
【請求項９】
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は音声処理装置および方法、並びにプログラムに関し、特に、より自由度の高いオーディオ再生を実現することができるようにした音声処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
一般的にCD（Compact Disc）やDVD（Digital Versatile Disc）、ネットワーク配信オーディオなどのオーディオコンテンツは、チャンネルベースオーディオで実現されている。
【０００３】
チャンネルベースオーディオのコンテンツは、コンテンツの制作者が歌声や楽器の演奏音など、複数ある音源を２チャンネルや5.1チャンネル（以下、チャンネルをchとも記すこととする）に適度にミックスしたものである。ユーザは、それを2chや5.1chのスピーカシステムで再生したり、ヘッドフォンで再生したりしている。
【０００４】
しかしながら、ユーザのスピーカ配置などは千差万別であり、必ずしもコンテンツ制作者が意図した音の定位が再現されているとは限らない。
【０００５】
一方、近年オブジェクトベースのオーディオ技術が注目されている。オブジェクトベースオーディオでは、オブジェクトの音声の波形信号と、基準となる聴取点からの相対位置により示されるオブジェクトの定位情報等を示すメタデータとに基づいて、再生するシステムにあわせてレンダリングされた信号が再生される。したがってオブジェクトベースオーディオには、比較的、コンテンツ制作者の意図通りに音の定位が再現されるという特長がある。
【０００６】
例えばオブジェクトベースオーディオでは、VBAP（Vector Base Amplitude Pannning）などの技術が利用されて、各オブジェクトの波形信号から、再生側の各スピーカに対応するチャンネルの再生信号が生成される（例えば、非特許文献１参照）。
【０００７】
VBAPでは、目標となる音像の定位位置が、その定位位置の周囲にある２つまたは３つのスピーカの方向を向くベクトルの線形和で表現される。そして、その線形和において各ベクトルに乗算されている係数が、各スピーカから出力される波形信号のゲインとして用いられてゲイン調整が行なわれ、目標となる位置に音像が定位するようになされる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、上述したチャンネルベースオーディオやオブジェクトベースオーディオでは、何れの場合においても音の定位はコンテンツ制作者によって決定されており、ユーザは提供されたコンテンツの音声をそのまま聴くことしかできない。例えば、コンテンツの再生側においては、ライブハウスで後席から前席に移動するように想定して聴取点を変化させた場合の音の聴こえ方を再現することなどができなかった。
【００１０】
このように上述した技術では、十分に高い自由度でオーディオ再生が実現できているとはいえなかった。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、より自由度の高いオーディオ再生を実現することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の音声処理装置は、音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出する位置情報補正部と、前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部とを備える。
【００１３】
前記位置情報補正部には、前記音源の修正後の位置を示す修正位置情報と、前記聴取位置情報とに基づいて前記補正位置情報を算出させることができる。
【００１４】
音声処理装置には、前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正または周波数特性補正の少なくとも何れかを行う補正部をさらに設けることができる。
【００１５】
音声処理装置には、前記聴取位置情報と前記修正位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに設けることができる。
【００１６】
前記空間音響特性付加部には、前記空間音響特性として、初期反射または残響特性の少なくとも何れかを前記波形信号に付加させることができる。
【００１７】
音声処理装置には、前記聴取位置情報と前記位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに設けることができる。
【００１８】
音声処理装置には、前記生成部により生成された２以上のチャンネルの前記再生信号に畳み込み処理を行って、２チャンネルの前記再生信号を生成する畳み込み処理部をさらに設けることができる。
【００１９】
本技術の一側面の音声処理方法またはプログラムは、音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成するステップを含む。
【００２０】
本技術の一側面においては、音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報が算出され、前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号が生成される。
【発明の効果】
【００２１】
本技術の一側面によれば、より自由度の高いオーディオ再生を実現することができる。
【００２２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００２３】
【図１】音声処理装置の構成を示す図である。
【図２】想定聴取位置と補正位置情報について説明する図である。
【図３】周波数特性補正時の周波数特性を示す図である。
【図４】VBAPについて説明する図である。
【図５】再生信号生成処理を説明するフローチャートである。
【図６】音声処理装置の構成を示す図である。
【図７】再生信号生成処理を説明するフローチャートである。
【図８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２５】
〈第１の実施の形態〉
〈音声処理装置の構成例〉
本技術は、再生側において、音源であるオブジェクトの音声の波形信号から、任意の聴取位置で聴取される音声を再現する技術に関するものである。
【００２６】
図１は、本技術を適用した音声処理装置の一実施の形態の構成例を示す図である。
【００２７】
音声処理装置１１は、入力部２１、位置情報補正部２２、ゲイン／周波数特性補正部２３、空間音響特性付加部２４、レンダラ処理部２５、および畳み込み処理部２６を有している。
【００２８】
この音声処理装置１１には、再生対象となるコンテンツのオーディオ情報として、複数の各オブジェクトの波形信号と、それらの波形信号のメタデータとが供給される。
【００２９】
ここで、オブジェクトの波形信号は、音源であるオブジェクトから発せられる音声を再生するためのオーディオ信号である。
【００３０】
また、ここではオブジェクトの波形信号のメタデータは、オブジェクトの位置、すなわちオブジェクトの音声の定位位置を示す位置情報とされる。この位置情報は、所定の基準点を標準聴取位置として、その標準聴取位置からのオブジェクトの相対位置を示す情報である。
【００３１】
オブジェクトの位置情報は、例えば球座標、すなわち標準聴取位置を中心とした球面上の位置に対する方位角、仰角、および半径で表されるようにしてもよいし、標準聴取位置を原点とする直交座標系の座標で表されるようにしてもよい。
【００３２】
以下では、各オブジェクトの位置情報が球座標で表される場合を例として説明する。具体的には、ｎ番目（但し、n＝1,2,3,…）のオブジェクトOBnの位置情報が、標準聴取位置を中心とした球面上のオブジェクトOBnに対する方位角An、仰角En、および半径Rnで表されるものとする。なお、方位角Anおよび仰角Enの単位は例えば度とされ、半径Rnの単位は例えばメートルとされる。
【００３３】
また、以下ではオブジェクトOBnの位置情報を(An,En,Rn)とも記すこととする。さらに、ｎ番目のオブジェクトOBnの波形信号をWn[t]とも記すこととする。
【００３４】
したがって、例えば１番目のオブジェクトOB1の波形信号および位置情報は、W1[t]および(A1,E1,R1)と表され、２番目のオブジェクトOB2の波形信号および位置情報は、W2[t]および(A2,E2,R2)と表される。以下では、説明を簡単にするため、音声処理装置１１には、２つのオブジェクトOB1およびオブジェクトOB2についての波形信号と位置情報が供給されるものとして説明を続ける。
【００３５】
入力部２１はマウスやボタン、タッチパネルなどからなり、ユーザにより操作されると、その操作に応じた信号を出力する。例えば入力部２１は、ユーザによる想定聴取位置の入力を受け付け、ユーザにより入力された想定聴取位置を示す想定聴取位置情報を位置情報補正部２２および空間音響特性付加部２４に供給する。
【００３６】
ここで、想定聴取位置は、再現したい仮想の音場における、コンテンツを構成する音声の聴取位置である。したがって、想定聴取位置は、予め定められた標準聴取位置を変更（補正）したときの変更後の位置を示しているということができる。
【００３７】
位置情報補正部２２は、入力部２１から供給された想定聴取位置情報に基づいて、外部から供給された各オブジェクトの位置情報を補正し、その結果得られた補正位置情報をゲイン／周波数特性補正部２３およびレンダラ処理部２５に供給する。補正位置情報は、想定聴取位置からみたオブジェクトの位置、つまりオブジェクトの音声の定位位置を示す情報である。
【００３８】
ゲイン／周波数特性補正部２３は、位置情報補正部２２から供給された補正位置情報と、外部から供給された位置情報とに基づいて、外部から供給されたオブジェクトの波形信号のゲイン補正および周波数特性補正を行い、その結果得られた波形信号を空間音響特性付加部２４に供給する。
【００３９】
空間音響特性付加部２４は、入力部２１から供給された想定聴取位置情報と、外部から供給されたオブジェクトの位置情報とに基づいて、ゲイン／周波数特性補正部２３から供給された波形信号に空間音響特性を付加し、レンダラ処理部２５に供給する。
【００４０】
レンダラ処理部２５は、位置情報補正部２２から供給された補正位置情報に基づいて、空間音響特性付加部２４から供給された波形信号に対するマッピング処理を行い、２以上であるM個のチャンネルの再生信号を生成する。すなわち、各オブジェクトの波形信号から、Mチャンネルの再生信号が生成される。レンダラ処理部２５は、生成されたMチャンネルの再生信号を畳み込み処理部２６に供給する。
【００４１】
このようにして得られたMチャンネルの再生信号は、仮想的なM個のスピーカ（Mチャンネルのスピーカ）で再生することで、再現したい仮想の音場の想定聴取位置において聴取される、各オブジェクトから出力された音声を再現するオーディオ信号である。
【００４２】
畳み込み処理部２６は、レンダラ処理部２５から供給されたMチャンネルの再生信号に対する畳み込み処理を行い、２チャンネルの再生信号を生成して出力する。すなわち、この例ではコンテンツの再生側のスピーカは２つとされており、畳み込み処理部２６では、それらのスピーカで再生される再生信号が生成され、出力される。
【００４３】
〈再生信号の生成について〉
次に、図１に示した音声処理装置１１によって生成される再生信号について、より詳細に説明する。
【００４４】
上述したように、ここでは音声処理装置１１に２つのオブジェクトOB1およびオブジェクトOB2についての波形信号と位置情報が供給される例について説明する。
【００４５】
コンテンツを再生しようとする場合、ユーザは入力部２１を操作して、レンダリング時に各オブジェクトの音声の定位の基準点となる想定聴取位置を入力する。
【００４６】
ここでは想定聴取位置として、標準聴取位置からの左右方向の移動距離Xおよび前後方向の移動距離Yが入力されることとし、想定聴取位置情報を(X,Y)と表すこととする。なお、移動距離Xおよび移動距離Yの単位は例えばメートルなどとされる。
【００４７】
具体的には標準聴取位置を原点Oとし、水平方向をｘ軸方向およびｙ軸方向とし、高さ方向をｚ軸方向とするxyz座標系における、標準聴取位置から想定聴取位置までのｘ軸方向の距離Xと、標準聴取位置から想定聴取位置までのｙ軸方向の距離Yとがユーザにより入力される。そして、入力された距離Xおよび距離Yにより示される標準聴取位置からの相対的な位置を示す情報が、想定聴取位置情報(X,Y)とされる。なお、ｘｙｚ座標系は直交座標系である。
【００４８】
また、ここでは説明を簡単にするため、想定聴取位置がxy平面上にある場合を例として説明するが、ユーザが想定聴取位置のｚ軸方向の高さを指定することができるようにしてもよい。そのような場合、ユーザにより標準聴取位置から想定聴取位置までのｘ軸方向の距離X、ｙ軸方向の距離Y、およびｚ軸方向の距離Zが指定され、想定聴取位置情報(X,Y,Z)とされる。また、以上においてはユーザにより想定聴取位置が入力されると説明したが、想定聴取位置情報が外部から取得されるようにしてもよいし、予めユーザ等により設定されているようにしてもよい。
【００４９】
このようにして想定聴取位置情報(X,Y)が得られると、次に位置情報補正部２２において、想定聴取位置を基準とする各オブジェクトの位置を示す補正位置情報が算出される。
【００５０】
例えば図２に示すように、所定のオブジェクトOB11について波形信号と位置情報が供給され、ユーザにより想定聴取位置LP11が指定されたとする。なお、図２において、図中、横方向、奥行き方向、および縦方向は、それぞれｘ軸方向、ｙ軸方向、およびｚ軸方向を示している。
【００５１】
この例では、xyz座標系の原点Oが標準聴取位置とされている。ここで、オブジェクトOB11がｎ番目のオブジェクトであるとすると、標準聴取位置からみたオブジェクトOB11の位置を示す位置情報は(An,En,Rn)とされる。
【００５２】
すなわち、位置情報(An,En,Rn)の方位角Anは、原点OおよびオブジェクトOB11を結ぶ直線と、ｙ軸とがxy平面上においてなす角度を示している。また、位置情報(An,En,Rn)の仰角Enは、原点OおよびオブジェクトOB11を結ぶ直線と、xy平面とのなす角度を示しており、位置情報(An,En,Rn)の半径Rnは、原点OからオブジェクトOB11までの距離を示している。
【００５３】
いま、想定聴取位置LP11を示す想定聴取位置情報として、原点Oから想定聴取位置LP11までのｘ軸方向の距離Xとｙ軸方向の距離Yとが入力されたとする。
【００５４】
そのような場合、位置情報補正部２２は想定聴取位置情報(X,Y)と、位置情報(An,En,Rn)とに基づいて、想定聴取位置LP11からみたオブジェクトOB11の位置、つまり想定聴取位置LP11を基準とするオブジェクトOB11の位置を示す補正位置情報(An’,En’,Rn’)を算出する。
【００５５】
なお、補正位置情報(An’,En’,Rn’)におけるAn’、En’、およびRn’は、それぞれ位置情報(An,En,Rn)のAn、En、およびRnに対応する方位角、仰角、および半径を示している。
【００５６】
具体的には、例えば１番目のオブジェクトOB1については、位置情報補正部２２は、そのオブジェクトOB1の位置情報(A1,E1,R1)と、想定聴取位置情報(X,Y)とに基づいて、次式（１）乃至式（３）を計算して補正位置情報(A1’,E1’,R1’)を算出する。
【００５７】
【数１】
2020017978.tif 000003
【数２】
2020017978.tif 000004
【数３】
2020017978.tif 000005
【００５８】
すなわち、式（１）により方位角A1’が算出され、式（２）により仰角E1’が算出され、式（３）により半径R1’が算出される。
【００５９】
同様に、位置情報補正部２２は２番目のオブジェクトOB2について、そのオブジェクトOB2の位置情報(A2,E2,R2)と、想定聴取位置情報(X,Y)とに基づいて、次式（４）乃至式（６）を計算して補正位置情報(A2’,E2’,R2’)を算出する。
【００６０】
【数４】
2020017978.tif 000006
【数５】
2020017978.tif 000007
【数６】
2020017978.tif 000008
【００６１】
すなわち、式（４）により方位角A2’が算出され、式（５）により仰角E2’が算出され、式（６）により半径R2’が算出される。
【００６２】
続いて、ゲイン／周波数特性補正部２３では、想定聴取位置に対する各オブジェクトの位置を示す補正位置情報と、標準聴取位置に対する各オブジェクトの位置を示す位置情報とに基づいて、オブジェクトの波形信号のゲイン補正や周波数特性補正が行われる。
【００６３】
例えばゲイン／周波数特性補正部２３は、オブジェクトOB1とオブジェクトOB2について、補正位置情報の半径R1’および半径R2’と、位置情報の半径R1および半径R2とを用いて次式（７）および式（８）を計算し、各オブジェクトのゲイン補正量G1およびゲイン補正量G2を決定する。
【００６４】
【数７】
2020017978.tif 000009
【数８】
2020017978.tif 000010
【００６５】
すなわち、式（７）によりオブジェクトOB1の波形信号W1[t]のゲイン補正量G1が求められ、式（８）によりオブジェクトOB2の波形信号W2[t]のゲイン補正量G2が求められる。この例では、補正位置情報により示される半径と、位置情報により示される半径との比がゲイン補正量とされており、このゲイン補正量によりオブジェクトから想定聴取位置までの距離に応じた音量補正が行われる。
【００６６】
さらにゲイン／周波数特性補正部２３は、次式（９）および式（１０）を計算することにより、各オブジェクトの波形信号に対して、補正位置情報により示される半径に応じた周波数特性補正と、ゲイン補正量によるゲイン補正を施す。
【００６７】
【数９】
2020017978.tif 000011
【数１０】
2020017978.tif 000012
【００６８】
すなわち、式（９）の計算により、オブジェクトOB1の波形信号W1[t]に対する周波数特性補正とゲイン補正が行われ、波形信号W1’[t]が得られる。同様に、式（１０）の計算により、オブジェクトOB2の波形信号W2[t]に対する周波数特性補正とゲイン補正が行われ、波形信号W2’[t]が得られる。この例では、フィルタ処理によって、波形信号に対する周波数特性の補正が実現されている。
【００６９】
なお、式（９）および式（１０）において、hl（但し、l＝0,1,…,L）は、フィルタ処理のために各時刻の波形信号Wn[t-l]（但し、n＝1,2）に乗算される係数を示している。
【００７０】
ここで、例えばL＝2とし、各係数h0、h1、およびh2を次式（１１）乃至式（１３）に示すものとすれば、オブジェクトから想定聴取位置までの距離に応じて、再現したい仮想の音場（仮想的なオーディオ再生空間）の壁や天井によって、オブジェクトからの音声の高域成分が減衰する特性を再現することができる。
【００７１】
【数１１】
2020017978.tif 000013
【数１２】
2020017978.tif 000014
【数１３】
2020017978.tif 000015
【００７２】
なお、式（１２）において、RnはオブジェクトOBn（但し、n＝1,2）の位置情報(An,En,Rn)により示される半径Rnを示しており、Rn’はオブジェクトOBn（但し、n＝1,2）の補正位置情報(An’,En’,Rn’)により示される半径Rn’を示している。
【００７３】
このように式（１１）乃至式（１３）に示される係数を用いて式（９）や式（１０）の計算を行うことで、図３に示す周波数特性のフィルタ処理が行われることになる。なお、図３において、横軸は正規化周波数を示しており、縦軸は振幅、すなわち波形信号の減衰量を示している。
【００７４】
図３では、直線C11はRn’≦Rnである場合の周波数特性を示している。この場合、オブジェクトから想定聴取位置までの距離は、オブジェクトから標準聴取位置までの距離以下である。つまり、標準聴取位置よりも想定聴取位置の方がオブジェクトにより近い位置にあるか、または標準聴取位置と想定聴取位置がオブジェクトから同じ距離の位置にある。したがって、このような場合には、波形信号の各周波数成分は特に減衰されない。
【００７５】
また、曲線C12はRn’＝Rn＋5である場合の周波数特性を示している。この場合、標準聴取位置よりも想定聴取位置の方が、オブジェクトからわずかに離れた位置にあるので、波形信号の高域成分がわずかに減衰する。
【００７６】
さらに、曲線C13はRn’≧Rn＋10である場合の周波数特性を示している。この場合、標準聴取位置と比べて想定聴取位置の方が、オブジェクトから大きく離れた位置にあるので、波形信号の高域成分が大幅に減衰する。
【００７７】
このようにオブジェクトから想定聴取位置までの距離に応じてゲイン補正と周波数特性補正を行い、オブジェクトの波形信号の高域成分を減衰させることで、ユーザの聴取位置の変更に伴う周波数特性や音量の変化を再現することができる。
【００７８】
ゲイン／周波数特性補正部２３においてゲイン補正と周波数特性補正が行われて、各オブジェクトの波形信号Wn’[t]が得られると、さらに空間音響特性付加部２４において、波形信号Wn’[t]に対して空間音響特性が付加される。例えば空間音響特性として、初期反射や残響特性などが波形信号に付加される。
【００７９】
具体的には、波形信号に対して初期反射と残響特性を付加する場合、マルチタップディレイ処理、コムフィルタ処理、およびオールパスフィルタ処理を組み合わせることで、それらの初期反射と残響特性の付加を実現することができる。
【００８０】
すなわち、空間音響特性付加部２４は、オブジェクトの位置情報と想定聴取位置情報とから定まる遅延量およびゲイン量に基づいて、波形信号に対するマルチタップディレイ処理を施し、その結果得られた信号をもとの波形信号に加算することで、波形信号に初期反射を付加する。
【００８１】
また、空間音響特性付加部２４は、オブジェクトの位置情報と想定聴取位置情報とから定まる遅延量およびゲイン量に基づいて、波形信号に対するコムフィルタ処理を施す。そして、さらに空間音響特性付加部２４は、コムフィルタ処理された波形信号に対して、オブジェクトの位置情報と想定聴取位置情報とから定まる遅延量およびゲイン量に基づいてオールパスフィルタ処理を施すことで、残響特性を付加するための信号を得る。
【００８２】
最後に、空間音響特性付加部２４は初期反射が付加された波形信号と、残響特性を付加するための信号とを加算することで、初期反射と残響特性が付加された波形信号を得て、レンダラ処理部２５に出力する。
【００８３】
このように、オブジェクトの位置情報と想定聴取位置情報に対して定まるパラメータを用いて、波形信号に空間音響特性を付加することで、ユーザの聴取位置の変更に伴う空間音響の変化を再現することができる。
【００８４】
なお、これらのマルチタップディレイ処理や、コムフィルタ処理、オールパスフィルタ処理などで用いられる、遅延量やゲイン量などのパラメータは、予めオブジェクトの位置情報と想定聴取位置情報の組み合わせごとにテーブルで保持されているようにしてもよい。
【００８５】
そのような場合、例えば空間音響特性付加部２４は、各想定聴取位置について、位置情報により示される位置ごとに遅延量等のパラメータセットが対応付けられているテーブルを予め保持している。そして、空間音響特性付加部２４は、オブジェクトの位置情報と想定聴取位置情報とから定まるパラメータセットをテーブルから読み出し、それらのパラメータを用いて波形信号に空間音響特性を付加する。
【００８６】
なお、空間音響特性の付加に用いるパラメータセットは、テーブルとして保持されるようにしてもよいし、関数などで保持されるようにしてもよい。例えば関数によりパラメータが求められる場合、空間音響特性付加部２４は、予め保持している関数に位置情報と想定聴取位置情報を代入し、空間音響特性の付加に用いる各パラメータを算出する。
【００８７】
以上のようにして各オブジェクトについて、空間音響特性が付加された波形信号が得られると、レンダラ処理部２５において、それらの波形信号に対するM個の各チャンネルへのマッピング処理が行われ、Mチャンネルの再生信号が生成される。つまりレンダリングが行われる。
【００８８】
具体的には、例えばレンダラ処理部２５はオブジェクトごとに、補正位置情報に基づいて、VBAPによりM個の各チャンネルについてオブジェクトの波形信号のゲイン量を求める。そして、レンダラ処理部２５は、チャンネルごとに、VBAPで求めたゲイン量が乗算された各オブジェクトの波形信号を加算する処理を行うことで、各チャンネルの再生信号を生成する。
【００８９】
ここで、図４を参照してVBAPについて説明する。
【００９０】
例えば図４に示すように、ユーザU11が３つのスピーカSP1乃至スピーカSP3から出力される３チャンネルの音声を聴いているとする。この例では、ユーザU11の頭部の位置が想定聴取位置に相当する位置LP21となる。
【００９１】
また、スピーカSP1乃至スピーカSP3により囲まれる球面上の三角形TR11はメッシュと呼ばれており、VBAPでは、このメッシュ内の任意の位置に音像を定位させることができる。
【００９２】
いま、各チャンネルの音声を出力する３つのスピーカSP1乃至スピーカSP3の位置を示す情報を用いて、音像位置VSP1に音像を定位させることを考える。ここで、音像位置VSP1は１つのオブジェクトOBnの位置、より詳細には、補正位置情報(An’,En’,Rn’)により示されるオブジェクトOBnの位置に対応する。
【００９３】
例えばユーザU11の頭部の位置、つまり位置LP21を原点とする３次元座標系において、音像位置VSP1を、位置LP21（原点）を始点とする３次元のベクトルpにより表すこととする。
【００９４】
また、位置LP21（原点）を始点とし、各スピーカSP1乃至スピーカSP3の位置の方向を向く３次元のベクトルをベクトルl1乃至ベクトルl3とすると、ベクトルpは次式（１４）に示すように、ベクトルl1乃至ベクトルl3の線形和によって表すことができる。
【００９５】
【数１４】
2020017978.tif 000016
【００９６】
式（１４）においてベクトルl1乃至ベクトルl3に乗算されている係数g1乃至係数g3を算出し、これらの係数g1乃至係数g3を、スピーカSP1乃至スピーカSP3のそれぞれから出力する音声のゲイン量、つまり波形信号のゲイン量とすれば、音像位置VSP1に音像を定位させることができる。
【００９７】
具体的には、３つのスピーカSP1乃至スピーカSP3からなる三角形状のメッシュの逆行列L123-1と、オブジェクトOBnの位置を示すベクトルpとに基づいて、次式（１５）を計算することで、ゲイン量となる係数g1乃至係数g3を得ることができる。
【００９８】
【数１５】
2020017978.tif 000017
【００９９】
なお、式（１５）において、ベクトルpの要素であるRn’sinAn’ cosEn’、Rn’cosAn’ cosEn’、およびRn’sinEn’は音像位置VSP1、すなわちオブジェクトOBnの位置を示すx’y’z’座標系上のx’座標、y’座標、およびz’座標を示している。
【０１００】
このx’y’z’座標系は、例えばx’軸、y’軸、およびz’軸が、図２に示したｘｙｚ座標系のｘ軸、ｙ軸、およびｚ軸と平行であり、かつ想定聴取位置に相当する位置を原点とする直交座標系とされる。また、ベクトルpの各要素は、オブジェクトOBnの位置を示す補正位置情報(An’,En’,Rn’)から求めることができる。
【０１０１】
また、式（１５）においてl11、l12、およびl13は、メッシュを構成する１つ目のスピーカへ向くベクトルl1をx’軸、y’軸、およびz’軸の成分に分解した場合におけるx’成分、y’成分、およびz’成分の値であり、１つ目のスピーカのx’座標、y’座標、およびz’座標に相当する。
【０１０２】
同様にl21、l22、およびl23は、メッシュを構成する２つ目のスピーカへ向くベクトルl2をx’軸、y’軸、およびz’軸の成分に分解した場合におけるx’成分、y’成分、およびz’成分の値である。また、l31、l32、およびl33は、メッシュを構成する３つ目のスピーカへ向くベクトルl3をx’軸、y’軸、およびz’軸の成分に分解した場合におけるx’成分、y’成分、およびz’成分の値である。
【０１０３】
このようにして、３つのスピーカSP1乃至スピーカSP3の位置関係を利用して係数g1乃至係数g3を求め、音像の定位位置を制御する手法は、特に３次元VBAPと呼ばれている。この場合、再生信号のチャンネル数Mは3以上となる。
【０１０４】
なお、レンダラ処理部２５では、Mチャンネルの再生信号が生成されるので、各チャンネルに対応する仮想的なスピーカの個数はM個となる。この場合、各オブジェクトOBnについて、M個のスピーカのそれぞれに対応するM個のチャンネルごとに波形信号のゲイン量が算出されることになる。
【０１０５】
この例では、仮想のM個のスピーカからなる複数のメッシュが、仮想的なオーディオ再生空間に配置されている。そして、オブジェクトOBnが含まれるメッシュを構成する３つのスピーカに対応する３つのチャンネルのゲイン量は、上述した式（１５）により求まる値とされる。一方、残りのM-3個の各スピーカに対応する、M-3個の各チャンネルのゲイン量は0とされる。
【０１０６】
以上のようにしてレンダラ処理部２５は、Mチャンネルの再生信号を生成すると、得られた再生信号を畳み込み処理部２６に供給する。
【０１０７】
このようにして得られたMチャンネルの再生信号によれば、所望の想定聴取位置での各オブジェクトの音声の聴こえ方をより現実的に再現することができる。なお、ここではVBAPによりMチャンネルの再生信号を生成する例について説明したが、Mチャンネルの再生信号は、他のどのような手法によって生成されるようにしてもよい。
【０１０８】
Mチャンネルの再生信号は、Mチャンネルのスピーカシステムで音声を再生するための信号であり、音声処理装置１１では、さらにこのMチャンネルの再生信号が、２チャンネルの再生信号へと変換されて出力される。すなわち、Mチャンネルの再生信号が、２チャンネルの再生信号へとダウンミックスされる。
【０１０９】
例えば畳み込み処理部２６は、レンダラ処理部２５から供給されたMチャンネルの再生信号に対する畳み込み処理として、BRIR（Binaural Room Impulse Response）処理を行うことで、２チャンネルの再生信号を生成し、出力する。
【０１１０】
なお、再生信号に対する畳み込み処理は、BRIR処理に限らず、２チャンネルの再生信号を得ることができる処理であれば、どのような処理であってもよい。
【０１１１】
また、２チャンネルの再生信号の出力先がヘッドフォンである場合、予め様々なオブジェクトの位置から想定聴取位置に対するインパルス応答をテーブルで持っておくようにすることもできる。そのような場合、オブジェクトの位置から想定聴取位置に対応するインパルス応答を用いて、BRIR処理により各オブジェクトの波形信号を合成することで、各オブジェクトから出力される、所望の想定聴取位置での音声の聴こえ方を再現することができる。
【０１１２】
しかしながら、この方法のためには、かなり多数のポイント（位置）に対応するインパルス応答を持たなければならない。また、オブジェクトの数が増えると、その数分のBRIR処理を行わなければならず、処理負荷が大きくなる。
【０１１３】
そこで、音声処理装置１１では、レンダラ処理部２５により仮想のMチャンネルのスピーカにマッピング処理された再生信号（波形信号）が、その仮想のMチャンネルのスピーカからユーザ（聴取者）の両耳に対するインパルス応答を用いたBRIR処理により２チャンネルの再生信号にダウンミックスされる。この場合、Mチャンネルの各スピーカから聴取者の両耳へのインパルス応答しか持つ必要がなく、また、多数のオブジェクトがあるときでもBRIR処理はMチャンネル分となるので、処理負荷を抑えることができる。
【０１１４】
〈再生信号生成処理の説明〉
続いて、以上において説明した音声処理装置１１の処理の流れについて説明する。すなわち、以下、図５のフローチャートを参照して、音声処理装置１１による再生信号生成処理について説明する。
【０１１５】
ステップＳ１１において、入力部２１は想定聴取位置の入力を受け付ける。入力部２１は、ユーザが入力部２１を操作して想定聴取位置を入力すると、その想定聴取位置を示す想定聴取位置情報を位置情報補正部２２および空間音響特性付加部２４に供給する。
【０１１６】
ステップＳ１２において、位置情報補正部２２は、入力部２１から供給された想定聴取位置情報と、外部から供給された各オブジェクトの位置情報とに基づいて補正位置情報(An’,En’,Rn’)を算出し、ゲイン／周波数特性補正部２３およびレンダラ処理部２５に供給する。例えば、上述した式（１）乃至式（３）や式（４）乃至式（６）が計算されて、各オブジェクトの補正位置情報が算出される。
【０１１７】
ステップＳ１３において、ゲイン／周波数特性補正部２３は、位置情報補正部２２から供給された補正位置情報と、外部から供給された位置情報とに基づいて、外部から供給されたオブジェクトの波形信号のゲイン補正および周波数特性補正を行う。
【０１１８】
例えば、上述した式（９）や式（１０）が計算されて、各オブジェクトの波形信号Wn’[t]が求められる。ゲイン／周波数特性補正部２３は、得られた各オブジェクトの波形信号Wn’[t]を空間音響特性付加部２４に供給する。
【０１１９】
ステップＳ１４において、空間音響特性付加部２４は、入力部２１から供給された想定聴取位置情報と、外部から供給されたオブジェクトの位置情報とに基づいて、ゲイン／周波数特性補正部２３から供給された波形信号に空間音響特性を付加し、レンダラ処理部２５に供給する。例えば、空間音響特性として初期反射や残響特性などが波形信号に付加される。
【０１２０】
ステップＳ１５において、レンダラ処理部２５は、位置情報補正部２２から供給された補正位置情報に基づいて、空間音響特性付加部２４から供給された波形信号に対するマッピング処理を行うことで、Mチャンネルの再生信号を生成し、畳み込み処理部２６に供給する。例えばステップＳ１５の処理では、VBAPにより再生信号が生成されるが、その他、どのような手法でMチャンネルの再生信号が生成されるようにしてもよい。
【０１２１】
ステップＳ１６において、畳み込み処理部２６は、レンダラ処理部２５から供給されたMチャンネルの再生信号に対する畳み込み処理を行うことで、２チャンネルの再生信号を生成し、出力する。例えば畳み込み処理として、上述したBRIR処理が行われる。
【０１２２】
２チャンネルの再生信号が生成されて出力されると、再生信号生成処理は終了する。
【０１２３】
以上のようにして音声処理装置１１は、想定聴取位置情報に基づいて補正位置情報を算出するとともに、得られた補正位置情報や想定聴取位置情報に基づいて、各オブジェクトの波形信号のゲイン補正や周波数特性補正を行ったり、空間音響特性を付加したりする。
【０１２４】
これにより、各オブジェクト位置から出力された音声の任意の想定聴取位置での聴こえ方をリアルに再現することができる。したがって、ユーザはコンテンツの再生時に自身の嗜好に合わせて、自由に音声の聴取位置を指定することができるようになり、より自由度の高いオーディオ再生を実現することができる。
【０１２５】
〈第２の実施の形態〉
〈音声処理装置の構成例〉
なお、以上においては、ユーザが任意の想定聴取位置を指定することができる例について説明したが、聴取位置だけでなく各オブジェクトの位置も任意の位置に変更（修正）することができるようにしてもよい。
【０１２６】
そのような場合、音声処理装置１１は、例えば図６に示すように構成される。なお、図６において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１２７】
図６に示す音声処理装置１１は、図１における場合と同様に、入力部２１、位置情報補正部２２、ゲイン／周波数特性補正部２３、空間音響特性付加部２４、レンダラ処理部２５、および畳み込み処理部２６を有している。
【０１２８】
但し、図６に示す音声処理装置１１では、ユーザにより入力部２１が操作され、想定聴取位置に加えて、さらに各オブジェクトの修正後（変更後）の位置を示す修正位置が入力される。入力部２１は、ユーザにより入力された各オブジェクトの修正位置を示す修正位置情報を、位置情報補正部２２および空間音響特性付加部２４に供給する。
【０１２９】
例えば修正位置情報は、位置情報と同様に、標準聴取位置からみた修正後のオブジェクトOBnの方位角An、仰角En、および半径Rnからなる情報とされる。なお、修正位置情報は、修正前（変更前）のオブジェクトの位置に対する、修正後（変更後）のオブジェクトの相対的な位置を示す情報とされてもよい。
【０１３０】
また、位置情報補正部２２は、入力部２１から供給された想定聴取位置情報および修正位置情報に基づいて補正位置情報を算出し、ゲイン／周波数特性補正部２３およびレンダラ処理部２５に供給する。なお、例えば修正位置情報が、もとのオブジェクト位置からみた相対的な位置を示す情報とされる場合には、想定聴取位置情報、位置情報、および修正位置情報に基づいて、補正位置情報が算出される。
【０１３１】
空間音響特性付加部２４は、入力部２１から供給された想定聴取位置情報および修正位置情報に基づいて、ゲイン／周波数特性補正部２３から供給された波形信号に空間音響特性を付加し、レンダラ処理部２５に供給する。
【０１３２】
例えば、図１に示した音声処理装置１１の空間音響特性付加部２４では、各想定聴取位置情報について、位置情報により示される位置ごとにパラメータセットが対応付けられているテーブルを予め保持していると説明した。
【０１３３】
これに対して、図６に示す音声処理装置１１の空間音響特性付加部２４は、例えば各想定聴取位置情報について、修正位置情報により示される位置ごとにパラメータセットが対応付けられているテーブルを予め保持している。そして、空間音響特性付加部２４は、各オブジェクトについて、入力部２１から供給された想定聴取位置情報と修正位置情報から定まるパラメータセットをテーブルから読み出し、それらのパラメータを用いてマルチタップディレイ処理や、コムフィルタ処理、オールパスフィルタ処理などを行い、波形信号に空間音響特性を付加する。
【０１３４】
〈再生信号生成処理の説明〉
次に図７のフローチャートを参照して、図６に示す音声処理装置１１による再生信号生成処理について説明する。なお、ステップＳ４１の処理は、図５のステップＳ１１の処理と同様であるので、その説明は省略する。
【０１３５】
ステップＳ４２において、入力部２１は各オブジェクトの修正位置の入力を受け付ける。入力部２１は、ユーザが入力部２１を操作してオブジェクトごとに修正位置を入力すると、それらの修正位置を示す修正位置情報を、位置情報補正部２２および空間音響特性付加部２４に供給する。
【０１３６】
ステップＳ４３において、位置情報補正部２２は、入力部２１から供給された想定聴取位置情報および修正位置情報に基づいて補正位置情報(An’,En’,Rn’)を算出し、ゲイン／周波数特性補正部２３およびレンダラ処理部２５に供給する。
【０１３７】
この場合、例えば上述した式（１）乃至式（３）において、位置情報の方位角、仰角、および半径が、修正位置情報の方位角、仰角、および半径に置き換えられて計算が行われ、補正位置情報が算出される。また、式（４）乃至式（６）においても、位置情報が修正位置情報に置き換えられて計算が行われる。
【０１３８】
修正位置情報が算出されると、その後、ステップＳ４４の処理が行われるが、ステップＳ４４の処理は図５のステップＳ１３の処理と同様であるので、その説明は省略する。
【０１３９】
ステップＳ４５において、空間音響特性付加部２４は、入力部２１から供給された想定聴取位置情報および修正位置情報に基づいて、ゲイン／周波数特性補正部２３から供給された波形信号に空間音響特性を付加し、レンダラ処理部２５に供給する。
【０１４０】
波形信号に空間音響特性が付加されると、その後、ステップＳ４６およびステップＳ４７の処理が行われて再生信号生成処理は終了するが、これらの処理は図５のステップＳ１５およびステップＳ１６の処理と同様であるので、その説明は省略する。
【０１４１】
以上のようにして音声処理装置１１は、想定聴取位置情報および修正位置情報に基づいて補正位置情報を算出するとともに、得られた補正位置情報や想定聴取位置情報、修正位置情報に基づいて、各オブジェクトの波形信号のゲイン補正や周波数特性補正を行ったり、空間音響特性を付加したりする。
【０１４２】
これにより、任意のオブジェクト位置から出力された音声の任意の想定聴取位置での聴こえ方をリアルに再現することができる。したがって、ユーザはコンテンツの再生時に自身の嗜好に合わせて、自由に音声の聴取位置を指定することができるだけでなく、各オブジェクトの位置も自由に指定することができるようになり、より自由度の高いオーディオ再生を実現することができる。
【０１４３】
例えば音声処理装置１１によれば、ユーザが歌声や楽器の演奏音などの構成や配置を変更させた場合の音の聴こえ方を再現することができる。したがって、ユーザはオブジェクトに対応する楽器や歌声等の構成や配置を自由に移動させ、自身の嗜好に合った音源配置や構成とした楽曲や音を楽しむことができる。
【０１４４】
また、図６に示す音声処理装置１１においても、図１に示した音声処理装置１１の場合と同様に、一旦、Mチャンネルの再生信号を生成し、その再生信号を２チャンネルの再生信号に変換（ダウンミックス）することで、処理負荷を抑えることができる。
【０１４５】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
【０１４６】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４７】
コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１４８】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１４９】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１５０】
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１５１】
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１５２】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１５３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５４】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１５６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５８】
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１５９】
さらに、本技術は、以下の構成とすることも可能である。
【０１６０】
（１）
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出する位置情報補正部と、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部と
を備える音声処理装置。
（２）
前記位置情報補正部は、前記音源の修正後の位置を示す修正位置情報と、前記聴取位置情報とに基づいて前記補正位置情報を算出する
（１）に記載の音声処理装置。
（３）
前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正または周波数特性補正の少なくとも何れかを行う補正部をさらに備える
（１）または（２）に記載の音声処理装置。
（４）
前記聴取位置情報と前記修正位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
（２）に記載の音声処理装置。
（５）
前記空間音響特性付加部は、前記空間音響特性として、初期反射または残響特性の少なくとも何れかを前記波形信号に付加する
（４）に記載の音声処理装置。
（６）
前記聴取位置情報と前記位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
（１）に記載の音声処理装置。
（７）
前記生成部により生成された２以上のチャンネルの前記再生信号に畳み込み処理を行って、２チャンネルの前記再生信号を生成する畳み込み処理部をさらに備える
（１）乃至（６）の何れか一項に記載の音声処理装置。
（８）
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む音声処理方法。
（９）
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１６１】
１１  音声処理装置，  ２１  入力部，  ２２  位置情報補正部，  ２３  ゲイン／周波数特性補正部，  ２４  空間音響特性付加部，  ２５  レンダラ処理部，  ２６  畳み込み処理部
【図１】
2020017978.tif 000018
【図２】
2020017978.tif 000019
【図３】
2020017978.tif 000020
【図４】
2020017978.tif 000021
【図５】
2020017978.tif 000022
【図６】
2020017978.tif 000023
【図７】
2020017978.tif 000024
【図８】
2020017978.tif 000025
【手続補正書】
【提出日】令和1年10月4日(2019.10.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出する位置情報補正部と、
前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行う補正部と、
前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部と
を備える音声処理装置。
【請求項２】
前記位置情報補正部は、前記音源の修正後の位置を示す修正位置情報と、前記聴取位置情報とに基づいて前記補正位置情報を算出する
請求項１に記載の音声処理装置。
【請求項３】
前記補正部は、前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正をさらに行う
請求項１または請求項２に記載の音声処理装置。
【請求項４】
前記聴取位置情報と前記修正位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
請求項２に記載の音声処理装置。
【請求項５】
前記空間音響特性付加部は、前記空間音響特性として、初期反射または残響特性の少なくとも何れかを前記波形信号に付加する
請求項４に記載の音声処理装置。
【請求項６】
前記聴取位置情報と前記位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
請求項１に記載の音声処理装置。
【請求項７】
前記生成部により生成された２以上のチャンネルの前記再生信号に畳み込み処理を行って、２チャンネルの前記再生信号を生成する畳み込み処理部をさらに備える
請求項１乃至請求項６の何れか一項に記載の音声処理装置。
【請求項８】
音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出し、
前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行い、
前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む音声処理方法。
【請求項９】
音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出し、
前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行い、
前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本技術の一側面の音声処理装置は、音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出する位置情報補正部と、前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行う補正部と、前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
前記補正部には、前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正をさらに行わせることができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本技術の一側面の音声処理方法またはプログラムは、音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報を算出し、前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正を行い、前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成するステップを含む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本技術の一側面においては、音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す球座標で表された位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示すｘｙｚ座標で表された聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す球座標で表された補正位置情報が算出され、前記標準聴取位置から前記音源までの距離と比較して、前記聴取位置から前記音源までの距離が大きくなるほど高域成分の減衰量が多くなるように、前記位置情報および前記補正位置情報に基づいて前記音源の波形信号に対する周波数特性補正が行われ、前記周波数特性補正が行われた前記波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号が生成される。