(57)【要約】  本開示は、全帯域における頭部伝達関数の個人化を手軽に実現することができるようにする信号処理装置、信号処理方法、およびプログラムに関する。合成部は、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する。本開示は、例えば、スマートフォンなどの携帯端末に適用することができる。
2020036077.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する合成部
を備える信号処理装置。
【請求項２】
前記第１の帯域は、第１の周波数から第２の周波数までの帯域であり、
前記第２の帯域は、前記第１の周波数より低い帯域と、前記第２の周波数より高い帯域を含む
請求項１に記載の信号処理装置。
【請求項３】
前記第１の帯域は、第１の周波数より高い帯域であり、
前記第２の帯域は、前記第１の周波数より低い帯域を含む
請求項１に記載の信号処理装置。
【請求項４】
前記第１の頭部伝達関数は、前記ユーザが配置した音源を用いて実測されるデータであり、
前記第２の頭部伝達関数は、あらかじめ理想的な測定環境で測定されたプリセットデータである
請求項１に記載の信号処理装置。
【請求項５】
前記第１の帯域は、個人に依存する特性を含む帯域である
請求項４に記載の信号処理装置。
【請求項６】
前記第２の帯域は、前記音源が再生できない帯域を含む
請求項４に記載の信号処理装置。
【請求項７】
前記音源は、スピーカを有するデバイスである
請求項４に記載の信号処理装置。
【請求項８】
前記デバイスは、ディスプレイをさらに有する
請求項７に記載の信号処理装置。
【請求項９】
前記デバイスは、スマートフォンである
請求項８に記載の信号処理装置。
【請求項１０】
前記デバイスは、テレビジョン受像機である
請求項８に記載の信号処理装置。
【請求項１１】
前記第１の頭部伝達関数から抽出された前記第１の帯域の特性に含まれる前記音源の特性を除去するよう、前記第１の帯域の特性を補正する補正部をさらに備える
請求項４に記載の信号処理装置。
【請求項１２】
前記第２の頭部伝達関数に対応する頭部インパルス応答から分離された残響成分を、前記第３の頭部伝達関数に付加する付加部をさらに備える
請求項１に記載の信号処理装置。
【請求項１３】
信号処理装置が、
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する
信号処理方法。
【請求項１４】
コンピュータに、
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置、信号処理方法、およびプログラムに関し、特に、手軽に頭部伝達関数の個人化を実現することができるようにした信号処理装置、信号処理方法、およびプログラムに関する。
【背景技術】
【０００２】
音源から耳への音の伝わり方を表現する頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）を用いて、ヘッドホンで音像を立体的に再現する技術がある。【０００３】
例えば、特許文献１には、ダミーヘッドを用いて測定したＨＲＴＦを利用して、立体音響を再生する携帯端末が開示されている。【０００４】
しかしながら、ＨＲＴＦには個人性があるため、ダミーヘッドを用いて測定したＨＲＴＦでは正確な音像定位ができなかった。これに対して、リスナ自身のＨＲＴＦを測定することで、ＨＲＴＦを個人化し、精度の高い音像定位を実現できることが知られている。【０００５】
ところが、リスナ自身のＨＲＴＦを測定する場合、無響室や大型スピーカなどの大規模な設備を用いる必要があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６０５７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そこで、例えばスマートフォンを音源として、リスナ自身のＨＲＴＦが測定できれば、大規模な設備を用いることなく、手軽にＨＲＴＦの個人化を実現することができる。【０００８】
しかしながら、スマートフォンのスピーカは、その再生帯域が狭いため、十分な特性のＨＲＴＦを測定することができなかった。【０００９】
本開示は、このような状況に鑑みてなされたものであり、全帯域における頭部伝達関数の個人化を手軽に実現することができるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の信号処理装置は、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する合成部を備える信号処理装置である。【００１１】
本開示の信号処理方法は、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する信号処理方法である。【００１２】
本開示のプログラムは、コンピュータに、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する処理を実行させるためのプログラムである。【００１３】
本開示においては、ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とが合成されることで、第３の頭部伝達関数が生成される。
【発明の効果】
【００１４】
本開示によれば、手軽に頭部伝達関数の個人化を実現することが可能となる。【００１５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本開示に係る技術を適用した携帯端末の構成例を示すブロック図である。
【図２】携帯端末の機能構成例を示すブロック図である。
【図３】頭部伝達関数の生成処理について説明するフローチャートである。
【図４】第１の実施の形態の携帯端末の構成例を示すブロック図である。
【図５】頭部伝達関数の生成処理について説明するフローチャートである。
【図６】複数チャンネルについての頭部伝達関数の測定について説明する図である。
【図７】頭部伝達関数の帯域抽出について説明する図である。
【図８】残響成分の付加について説明する図である。
【図９】ＮＣマイクロフォン利用時の特性の補正について説明する図である。
【図１０】出力部の構成例を示す図である。
【図１１】周波数特性の変更について説明する図である。
【図１２】第２の実施の形態の携帯端末の構成例を示すブロック図である。
【図１３】頭部伝達関数の生成処理について説明するフローチャートである。
【図１４】左右方向の頭部伝達関数の推定について説明する図である。
【図１５】推定フィルタの周波数特性の例を示す図である。
【図１６】頭部伝達関数の生成処理について説明するフローチャートである。
【図１７】正中面および矢状面の頭部伝達関数の測定について説明する図である。
【図１８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
【００１８】
１．本開示に係る技術を適用した携帯端末の構成と動作
２．第１の実施の形態（複数チャンネルについての頭部伝達関数の測定）
３．第２の実施の形態（正面方向についての頭部伝達関数の測定）
４．第３の実施の形態（正中面についての頭部伝達関数の測定）
５．その他
【００１９】
＜１．本開示に係る技術を適用した携帯端末の構成と動作＞
（携帯端末の構成）
まず、図１を参照して、本開示に係る技術を適用した信号処理装置としての携帯端末の構成例について説明する。
【００２０】
図１に示される携帯端末１は、例えば、いわゆるスマートフォンなどの携帯電話機として構成される。
【００２１】
携帯端末１は、制御部１１を備える。制御部１１は、携帯端末１内の各部の動作を制御する。制御部１１は、制御ライン２８を介して、携帯端末１内の各部とデータのやり取りを行う。
【００２２】
また、携帯端末１は、通信端末として必要な無線通信を行う通信部１２を備える。通信部１２には、アンテナ１３が接続される。通信部１２は、無線通信用の基地局と無線通信を行い、基地局との間で双方向のデータ伝送を行う。通信部１２は、データライン２９を介して、基地局側から受信したデータを携帯端末１内の各部に送出する。また、携帯端末１内の各部からデータライン２９を介して伝送されたデータを、基地局側に送信する。
【００２３】
データライン２９には、通信部１２の他に、メモリ１４、表示部１５、音声処理部１７、および立体音響処理部２１が接続される。
【００２４】
メモリ１４は、携帯端末１を動作させるために必要なプログラムや、ユーザが記憶させた各種データなどを記憶する。メモリ１４には、ダウンロードなどで得られた音楽データなどの音声信号も記憶される。
【００２５】
表示部１５は、液晶ディスプレイや有機ＥＬディスプレイなどで構成され、制御部１１の制御により、各種情報の表示を行う。
【００２６】
操作部１６は、表示部１５を構成するディスプレイと一体となって構成されるタッチパネルや、携帯端末１の筐体に設けられる物理的なボタンなどで構成される。タッチパネル（操作部１６）としての表示部１５には、数字や記号などのダイヤルキー、各種機能キーなどを表すボタンが表示される。各ボタンの操作情報は、制御部１１に供給される。
【００２７】
音声処理部１７は、音声信号の処理を行う処理部であり、スピーカ１８とマイクロフォン１９が接続される。スピーカ１８とマイクロフォン１９は、通話時に受話器として機能する。
【００２８】
通信部１２から音声処理部１７に供給される音声データは、音声処理部１７により復調されてアナログ音声信号となり、増幅などのアナログ処理が施されてスピーカ１８から放音される。また、マイクロフォン１９により収音された音声の音声信号は、音声処理部１７によりデジタル音声データに変調され、変調された音声データが通信部１２に供給されて、無線送信などが行われる。
【００２９】
また、音声処理部１７に供給される音声データのうち、立体音響として出力される音声は、立体音響処理部２１に供給され、処理される。
【００３０】
立体音響処理部２１は、バイノーラル立体音響を再現する２チャンネルの音声信号を生成する。立体音響処理部２１が処理する音声信号は、音声処理部１７から供給される他、メモリ１４などから読み出されてデータライン２９を介して供給されたり、通信部１２で受信された音声データがデータライン２９を介して供給されるなどしてもよい。
【００３１】
立体音響処理部２１で生成された音声信号は、携帯端末１本体に内蔵された左右のチャンネル用の２つのスピーカ２２Ｌ，２２Ｒから出力されたり、出力端子２３に接続された図示せぬヘッドホンから出力されたりする。
【００３２】
スピーカ２２Ｌ，２２Ｒは、携帯端末１本体に内蔵される、比較的小型なスピーカユニットを使用したスピーカであり、携帯端末１本体の周囲にいるリスナに対して再生音を聞かせることができる程度に増幅して出力させるスピーカである。
【００３３】
音声信号を図示せぬヘッドホンから出力させる場合には、出力端子２３にヘッドホンを直接、有線接続する他に、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの方式でヘッドホンと無線通信することで、ヘッドホンに音声信号を供給する構成としてもよい。
【００３４】
図２は、上述した携帯端末１の機能構成例を示すブロック図である。
【００３５】
図２の携帯端末１は、測定部５１、帯域抽出部５２、ＨＲＴＦデータベース５３、帯域抽出部５４、合成部５５、音声入力部５６、および出力部５７を備えている。
【００３６】
測定部５１は、携帯端末１を扱うユーザの頭部伝達関数（ＨＲＴＦ）を測定する。例えば、測定部５１は、ユーザに対して１または複数の方向に配置された、例えばインパルス信号などの測定用音波を再生する音源に基づいて、頭部伝達関数を取得する。
【００３７】
測定用音波を再生する音源は、少なくとも１つのスピーカを有する１のデバイスであればよく、そのスピーカは、必ずしも再生帯域が広いものでなくてもよい。
【００３８】
例えば、測定用音波を再生する音源を、携帯端末１のスピーカ１８とすることができる。この場合、ユーザは、所定の方向に携帯端末１を配置し、ユーザが左右の耳に装着した図示せぬマイクロフォンに、スピーカ１８からの測定用音波を収音させる。測定部５１は、所定の手段により供給されるマイクロフォンからの音声信号に基づいて、そのユーザの頭部伝達関数Ｈｍを取得する。
【００３９】
帯域抽出部５２は、測定部５１により測定された頭部伝達関数Ｈｍから第１の帯域の特性を抽出する。抽出された第１の帯域の頭部伝達関数Ｈｍは、合成部５５に供給される。
【００４０】
ＨＲＴＦデータベース５３は、頭部伝達関数Ｈｍが測定される現在の測定環境とは異なる測定環境で測定された頭部伝達関数Ｈｐを保持している。頭部伝達関数Ｈｐは、例えばユーザが配置した携帯端末１のスピーカ１８を用いて実測される頭部伝達関数Ｈｍとは異なり、あらかじめ測定されたプリセットデータとされる。頭部伝達関数Ｈｐは、例えば、平均的な形状の頭部や耳をもつ人やダミーヘッドについて、無響室や大型スピーカなどの設備を備える理想的な測定環境で測定された頭部伝達関数とされる。
【００４１】
帯域抽出部５４は、ＨＲＴＦデータベース５３に保持されている頭部伝達関数Ｈｐから、上述した第１の帯域以外の第２の帯域の特性を抽出する。抽出された第２の帯域の頭部伝達関数Ｈｐは、合成部５５に供給される。
【００４２】
合成部５５は、帯域抽出部５２からの第１の帯域の頭部伝達関数Ｈｍと、帯域抽出部５４からの第２の帯域の頭部伝達関数Ｈｐとを合成することで、全帯域の頭部伝達関数Ｈを生成する。すなわち、頭部伝達関数Ｈは、第１の帯域については頭部伝達関数Ｈｍの周波数特性を有し、第２の帯域については頭部伝達関数Ｈｐの周波数特性を有する頭部伝達関数となる。生成された頭部伝達関数Ｈは、出力部５７に供給される。
【００４３】
音声入力部５６は、再生させたい立体音響の元となる音声信号を出力部５７に入力する。
【００４４】
出力部５７は、音声入力部５６から入力された音声信号に対して、合成部５５からの頭部伝達関数Ｈを畳み込んで２チャンネルの音声信号として出力する。出力部５７により出力される音声信号は、バイノーラル立体音響を再現する音声信号となる。
【００４５】
（携帯端末の動作）
次に、図３のフローチャートを参照して、携帯端末１による頭部伝達関数の生成処理について説明する。
【００４６】
ステップＳ１において、測定部５１は、スマートフォン（携帯端末１）を音源として用いることで、頭部伝達関数Ｈｍを測定する。
【００４７】
ステップＳ２において、帯域抽出部５２は、測定された頭部伝達関数Ｈｍから第１の帯域の特性を抽出する。第１の帯域は、あらかじめ決められた第１の周波数ｆ１から、周波数ｆ１より高い第２の周波数ｆ２までの帯域であってよいし、単に、周波数ｆ１より高い帯域であってもよい。第１の帯域は、特に、個人に依存する特性が現れやすい帯域とされる。
【００４８】
ステップＳ３において、帯域抽出部５４は、ＨＲＴＦデータベース５３に保持されているプリセットの頭部伝達関数Ｈｐから第２の帯域の特性を抽出する。第２の帯域は、周波数ｆ１より低い帯域と周波数ｆ２より高い帯域を含む帯域であってもよいし、単に、周波数ｆ１より低い帯域を含む帯域であってもよい。第２の帯域は、例えば、個人に依存する特性が現れにくく、スマートフォンが再生できない帯域とされる。
【００４９】
ステップＳ４において、合成部５５は、抽出された第１の帯域の頭部伝達関数Ｈｍと、第２の帯域の頭部伝達関数Ｈｐとを合成することで、頭部伝達関数Ｈを生成する。
【００５０】
以上の処理によれば、実測された頭部伝達関数からは、個人に依存する特性が現れやすい帯域の特性が抽出され、プリセットの頭部伝達関数からは、個人に依存する特性が現れにくく、スマートフォンが再生できない帯域の特性が抽出される。したがって、再生帯域が狭いスマートフォンを音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができ、大規模な設備を用いることなく、全帯域における頭部伝達関数の個人化を手軽に実現することが可能となる。
【００５１】
以下、本開示の技術に係る実施の形態について説明する。
【００５２】
＜２．第１の実施の形態＞
（携帯端末の構成）
図４は、本開示の技術に係る第１の実施の形態の携帯端末１の構成例を示す図である。
【００５３】
図４の携帯端末１は、バンドパスフィルタ１１１、補正部１１２、およびイコライザ１１３を備える。さらに、携帯端末１は、残響成分分離部１２１、ハイパスフィルタ１３１、イコライザ１３２、バンドパスフィルタ１４１、イコライザ１４２、ローパスフィルタ１５１、イコライザ１５２、合成部１６１、および残響成分付加部１６２を備える。
【００５４】
バンドパスフィルタ１１１は、実測された頭部伝達関数Ｈｍから、中域の特性を抽出する。中域は、あらかじめ決められた第１の周波数ｆ１から、周波数ｆ１より高い第２の周波数ｆ２までの帯域とされる。抽出された中域の頭部伝達関数Ｈｍは、補正部１１２に供給される。
【００５５】
補正部１１２は、携帯端末１のスピーカ１８の逆特性を用いて、頭部伝達関数Ｈｍに含まれるスピーカ１８の特性を除去するよう頭部伝達関数Ｈｍを補正する。スピーカ１８の逆特性は、あらかじめ測定されたプリセットデータであり、携帯端末１の機種毎に異なる特性を示す。スピーカ１８の特性が除去された中域の頭部伝達関数Ｈｍは、イコライザ１１３に供給される。
【００５６】
イコライザ１１３は、中域の頭部伝達関数Ｈｍに対して周波数特性の調整を行い、合成部１６１に出力する。
【００５７】
残響成分分離部１２１は、プリセットデータである頭部伝達関数Ｈｐを時間領域で表現した頭部インパルス応答において、直接成分と残響成分とを分離する。分離された残響成分は、残響成分付加部１６２に供給される。分離された直接成分に対応する頭部伝達関数Ｈｐは、ハイパスフィルタ１３１、バンドパスフィルタ１４１、ローパスフィルタ１５１それぞれに供給される。
【００５８】
ハイパスフィルタ１３１は、頭部伝達関数Ｈｐから、高域の特性を抽出する。高域は、上述した周波数ｆ２より高い帯域とされる。抽出された高域の頭部伝達関数Ｈｐは、イコライザ１３２に供給される。
【００５９】
イコライザ１３２は、高域の頭部伝達関数Ｈｐに対して周波数特性の調整を行い、合成部１６１に出力する。
【００６０】
バンドパスフィルタ１４１は、頭部伝達関数Ｈｐから、中域の特性を抽出する。抽出された中域の頭部伝達関数Ｈｐは、イコライザ１４２に供給される。
【００６１】
イコライザ１４２は、中域の頭部伝達関数Ｈｐに対して周波数特性の調整を行い、合成部１６１に出力する。このとき、中域の頭部伝達関数Ｈｐには、そのゲインを０または略０にする処理が施されてもよい。
【００６２】
ローパスフィルタ１５１は、頭部伝達関数Ｈｐから、低域の特性を抽出する。低域は、上述した周波数ｆ１より低い帯域とされる。抽出された低域の頭部伝達関数Ｈｍは、イコライザ１５２に供給される。
【００６３】
イコライザ１５２は、低域の頭部伝達関数Ｈｐに対して周波数特性の調整を行い、合成部１６１に出力する。
【００６４】
合成部１６１は、イコライザ１１３からの中域の頭部伝達関数Ｈｍ、イコライザ１３２からの高域の頭部伝達関数Ｈｐ、およびイコライザ１５２からの低域の頭部伝達関数Ｈｐを合成し、全帯域の頭部伝達関数Ｈを生成する。生成された頭部伝達関数Ｈは、残響成分付加部１６２に供給される。
【００６５】
残響成分付加部１６２は、合成部１６１からの頭部伝達関数Ｈに、残響成分分離部１２１からの残響成分を付加する。残響成分が付加された頭部伝達関数Ｈは、出力部５７における畳み込みに用いられる。
【００６６】
（頭部伝達関数の生成処理）
図５は、図４の携帯端末１による頭部伝達関数の生成処理について説明するフローチャートである。
【００６７】
ステップＳ１１において、測定部５１（図２）は、スマートフォン（携帯端末１）を音源として用いることで、複数チャンネルについての頭部伝達関数Ｈｍを測定する。これにより、頭部伝達関数が測定されたチャンネル数分の仮想音源を定位させることができる。
【００６８】
例えば、図６のＡの左図に示されるように、ユーザＵがその左右斜め前それぞれにスマートフォンＳＰを手に持って腕を伸ばした状態で、頭部伝達関数を測定したとする。この場合、図６のＡの右図に示されるように、ユーザＵの左右斜め前それぞれに、仮想音源ＶＳ１，ＶＳ２を定位させることができる。
【００６９】
また、図６のＢの左図に示されるように、ユーザＵがその正面、左右斜め前、左右横それぞれにスマートフォンＳＰを手に持って腕を伸ばした状態で、頭部伝達関数を測定したとする。この場合、図６のＢの右図に示されるように、ユーザＵの正面、左右斜め前、左右横それぞれに、仮想音源ＶＳ１，ＶＳ２，ＶＳ３，ＶＳ４，ＶＳ５を定位させることができる。
【００７０】
ステップＳ１２において、バンドパスフィルタ１１１は、測定された頭部伝達関数Ｈｍから中域の特性を抽出する。抽出された中域の頭部伝達関数Ｈｍは、補正部１１２によってスピーカ１８の特性が除去された後、イコライザ１１３によって周波数特性の調整が行われる。
【００７１】
ステップＳ１３において、ハイパスフィルタ１３１およびローパスフィルタ１５１は、ＨＲＴＦデータベース５３に保持されているプリセットの頭部伝達関数Ｈｐから低域・高域の特性を抽出する。抽出された低域の頭部伝達関数Ｈｐは、イコライザ１５２によって周波数特性の調整が行われ、高域の頭部伝達関数Ｈｐは、イコライザ１３２によって周波数特性の調整が行われる。ステップＳ１３の処理は、あらかじめ行われていてもよい。
【００７２】
なお、プリセットの頭部伝達関数Ｈｐに対応する頭部インパルス応答からは、残響成分分離部１２１によって残響成分が分離される。分離された残響成分は、残響成分付加部１６２に供給される。
【００７３】
ステップＳ１４において、合成部１６１は、抽出された低域の頭部伝達関数Ｈｍと、低域・高域の頭部伝達関数Ｈｐとを合成することで、頭部伝達関数Ｈを生成する。
【００７４】
図７のＡ，Ｂはそれぞれ、実測された頭部伝達関数Ｈｍと、プリセットの頭部伝達関数Ｈｐの周波数特性を示す図である。
【００７５】
図７のＡにおいて、破線枠ＦＭで囲まれる帯域の特性が、バンドパスフィルタ１１１によって頭部伝達関数Ｈｍから抽出される中域の特性である。中域は、例えば１ｋＨｚから１２ｋＨｚまでの帯域とされる。
【００７６】
一方、図７のＢにおいて、破線枠ＦＬで囲まれる帯域の特性が、ローパスフィルタ１５１によって頭部伝達関数Ｈｐから抽出される低域の特性である。低域は、例えば１ｋＨｚより低い帯域とされる。また、図７のＢにおいて、破線枠ＦＨで囲まれる帯域の特性が、ハイパスフィルタ１３１によって頭部伝達関数Ｈｐから抽出される高域の特性である。高域は、例えば１２ｋＨｚより高い帯域とされる。
【００７７】
このようにして抽出された１ｋＨｚから１２ｋＨｚまでの帯域の頭部伝達関数Ｈｍと、１ｋＨｚより低い帯域および１２ｋＨｚより高い帯域の頭部伝達関数Ｈｐとが合成されることで、全帯域の頭部伝達関数Ｈが生成される。
【００７８】
スピーカの口径が小さく、再生帯域の狭いスマートフォンでは再生できない１ｋＨｚより低い帯域では、頭部伝達関数において個人に依存する特性が現れにくく、プリセットの特性に置き換えても十分な音像定位の精度が得られる。また、１２ｋＨｚより高い帯域は、音像定位への寄与が小さく、プリセットの特性に置き換えても音像定位の精度に影響がない上に、プリセットの特性による高音質化が期待される。
【００７９】
ステップＳ１５において、残響成分付加部１６２は、合成部１６１からの頭部伝達関数Ｈに、残響成分分離部１２１からの残響成分を付加する。
【００８０】
図８のＡ，Ｂはそれぞれ、実測された頭部伝達関数Ｈｍと、プリセットの頭部伝達関数Ｈｐを時間領域で表現した頭部インパルス応答を示す図である。
【００８１】
図８のＡにおいて、破線枠ＦＤで囲まれている波形が、実測された頭部伝達関数Ｈｍに対応する頭部インパルス応答Ｉｍの直接成分である。
【００８２】
一方、図８のＢにおいて、破線枠ＦＲで囲まれている波形が、プリセットの頭部伝達関数Ｈｐに対応する頭部インパルス応答Ｉｐの残響成分である。
【００８３】
図８の例では、実測された頭部インパルス応答Ｉｍの残響成分は、プリセットの頭部インパルス応答Ｉｐと比較して、波形の振幅が小さくなっている。これらの波形の振幅の大小関係は、スマートフォンのスピーカを用いた測定環境によって異なり、実測された頭部インパルス応答Ｉｍの残響成分が、プリセットの頭部インパルス応答Ｉｐと比較して、波形の振幅が大きくなることもある。
【００８４】
残響成分付加部１６２においては、合成部１６１からの頭部伝達関数Ｈに、頭部インパルス応答Ｉｐから分離された残響成分が付加される。残響成分が付加された頭部伝達関数Ｈは、出力部５７における畳み込みに用いられる。
【００８５】
以上の処理によれば、再生帯域が狭いスマートフォンを音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができる。すなわち、大規模な設備を用いることなく、全帯域における頭部伝達関数の個人化を手軽に実現することが可能となる。
【００８６】
また、頭部インパルス応答の残響成分は、個人に依存しないので、実測された頭部インパルス応答にプリセットの頭部インパルス応答を付加しても、頭部伝達関数の個人化を実現することができる。さらに、ユーザが腕を伸ばした程度の状態での頭部伝達関数の測定であっても、プリセットの頭部インパルス応答の残響特性により、数ｍ離れた場所にスピーカが設置されているような仮想音源を定位させるといった、距離感の制御を実現することができる。
【００８７】
（ノイズキャンセリングマイクロフォンの利用）
上述した頭部伝達関数の測定においては、ユーザが左右の耳に装着するマイクロフォンとして、市販のノイズキャンセリングマイクロフォン（ＮＣマイクロフォン）を利用することができる。
【００８８】
図９は、同一のリスナを対象として、理想的な測定環境において測定専用のマイクロフォンとスピーカを用いて測定した頭部伝達関数Ｈｄと、ＮＣマイクロフォンとスマートフォンのスピーカを用いて測定した頭部伝達関数Ｈｎの特性を示す図である。
【００８９】
図中、１ｋＨｚより低い帯域において、頭部伝達関数Ｈｎのゲインが小さいのは、スマートフォンのスピーカの、その帯域におけるゲインが小さいことによるものである。
【００９０】
また、実測された頭部伝達関数の特性が用いられる中域（破線枠ＦＭで囲まれる帯域）では、図中、白抜き矢印で示されるように、頭部伝達関数Ｈｄと頭部伝達関数Ｈｎとで差分が生じることがある。
【００９１】
そこで、あらかじめ、ＮＣマイクロフォン毎にこのような差分データを記録しておき、実測された頭部伝達関数の特性の補正量として用いるようにする。差分データによる補正は、例えば補正部１１２によって行われるようにする。これにより、市販のＮＣマイクロフォンを利用した場合であっても、実測された頭部伝達関数の特性を、理想的な測定環境で測定された頭部伝達関数の特性に近づけることができる。
【００９２】
（音色の変更）
本実施の形態においては、仮想音源の音像定位を変えずに、立体音響の音色を変更することが可能である。
【００９３】
図１０は、出力部５７（図２）の構成例を示す図である。
【００９４】
出力部５７には、ＦＩＲ（Finite Impulse Response）フィルタ１８１Ｌ，１８１Ｒが設けられる。
【００９５】
ＦＩＲフィルタ１８１Ｌは、音声入力部５６（図２）からの音声信号に、合成部５５からの頭部伝達関数Ｈのうちの左耳用の頭部伝達関数ＨＬを畳み込むことで、左耳用の音声信号ＳＬを出力する。
【００９６】
同様に、ＦＩＲフィルタ１８１Ｒは、音声入力部５６からの音声信号に、合成部５５からの頭部伝達関数Ｈのうちの右耳用の頭部伝達関数ＨＲを畳み込むことで、右耳用の音声信号ＳＲを出力する。
【００９７】
なお、出力部５７においては、定位させたい仮想音源の数だけ、図１０に示される構成が設けられ、各構成からの音声信号ＳＬ，ＳＲが加算・合成されて出力される。
【００９８】
ＦＩＲフィルタ１８１Ｌ，１８１Ｒは、直線位相特性を有するので、位相特性を保持した状態で周波数特性を変更することが可能となる。例えば、図１１に示されるように、１つのインパルス応答１９０に対して、ＦＩＲフィルタ１８１Ｌ，１８１Ｒを適用することで、その周波数特性を、特性１９１としたり、特性１９２とすることができる。
【００９９】
これにより、個人化された音像定位を変えずに、立体音響の音色を、他の音場の音色に変更することが可能となる。
【０１００】
＜３．第２の実施の形態＞
（携帯端末の構成）
図１２は、本開示の技術に係る第２の実施の形態の携帯端末１の構成例を示す図である。
【０１０１】
図１２の携帯端末１は、バンドパスフィルタ１１１の前段に、推定部２１１とイコライザ２１２を備える点以外は、図４の携帯端末１と同様の構成を有する。
【０１０２】
推定部２１１は、実測された所定の方向についての頭部伝達関数Ｈｍから、他の方向についての頭部伝達関数を推定する。実測された頭部伝達関数と推定された頭部伝達関数は、イコライザ２１２に供給される。
【０１０３】
イコライザ２１２は、推定部２１１からの頭部伝達関数に対して周波数特性の調整を行い、バンドパスフィルタ１１１に出力する。
【０１０４】
（頭部伝達関数の生成処理）
図１３は、図１２の携帯端末１による頭部伝達関数の生成処理について説明するフローチャートである。
【０１０５】
ステップＳ２１において、測定部５１（図２）は、スマートフォン（携帯端末１）を音源として用いることで、ユーザの正面方向についての頭部伝達関数Ｈｍを測定する。この例では、ユーザが正面に携帯端末１を持って腕を伸ばした状態で、頭部伝達関数Ｈｍが測定される。
【０１０６】
ステップＳ２２において、推定部２１１は、測定された正面方向の頭部伝達関数Ｈｍから、ユーザの左右方向の頭部伝達関数を推定する。
【０１０７】
ここで、左右方向の頭部伝達関数の推定について詳細に説明する。
【０１０８】
まず、図１４のＡに示されるように、ユーザＵの正面方向にスマートフォンＳＰを配置することで測定された左右両耳の頭部伝達関数をＣＬ，ＣＲとする。
【０１０９】
次に、図１４のＢに示されるように、推定対称となる、ユーザＵの正面方向から左３０°方向についての左右両耳の頭部伝達関数をＬＬ，ＬＲとする。同様に、図１４のＣに示されるように、推定対称となる、ユーザＵの正面方向から右３０°方向についての左右両耳の頭部伝達関数をＲＬ，ＲＲとする。
【０１１０】
これら４つの特性ＬＬ，ＬＲ，ＲＬ，ＲＲを、ユーザＵとスマートフォンＳＰのスピーカとの距離によって日向側特性と日陰側特性に分類して推定する。具体的には、ＬＬ，ＲＲは、スピーカから見てユーザＵに近い側（日向側）の特性であるので、日向側特性に分類される。また、ＬＲ，ＲＬは、スピーカから見てユーザＵから見てスピーカの陰になる側（日陰側）の特性であるので、日陰側特性に分類される。
【０１１１】
日向側特性は、スピーカからの音が直接耳に伝搬する直接成分が大きいため、正面方向の測定により得られた特性と比べて中域から高域のゲインが大きくなる。
【０１１２】
一方、日陰側特性は、スピーカからの音が頭部を回り込んで伝搬するため、正面方向の測定により得られた特性と比べて高域のゲインが減衰する。
【０１１３】
また、スピーカから左右の耳までの距離の差による両耳時間差が生じる。
【０１１４】
以上の物理的な伝達特性を考慮し、正面方向についての特性ＣＬ，ＣＲに対する補正項目を、以下の２項目とする。
【０１１５】
（１）音源が左右方向に移動することに起因する、中域から高域の音の増幅や、頭部の日陰側における音の減衰を再現するゲインの補正
（２）音源が左右方向に移動することに起因する、音源からの距離の変化に伴う遅延の補正
【０１１６】
図１５は、正面方向についての特性ＣＬ，ＣＲに対して、上記２項目の補正を実現する推定フィルタの周波数特性を示す図である。
【０１１７】
図１５のＡには、日向側特性を推定するための日向側推定フィルタが示される。日向側推定フィルタにおいては、中域から高域にかけてゲインが増大している。
【０１１８】
一方、図１５のＢには、日陰側特性を推定するための日陰側推定フィルタが示される。日陰側推定フィルタにおいては、中域から高域にかけてゲインが大きく減衰している。
【０１１９】
ここで、日向側推定フィルタのインパルス応答をfilti（ｔ）とすると、日向側特性ＬＬ，ＲＲは以下のように推定される。
【０１２０】
ＬＬ（ｔ）＝filti（ｔ）＊ＣＬ（ｔ）
ＲＲ（ｔ）＝filti（ｔ）＊ＣＲ（ｔ）
なお、“＊”は畳み込みを意味する。
【０１２１】
また、日陰側推定フィルタのインパルス応答をfiltc（ｔ）とすると、日陰側特性ＲＬ，ＬＲは以下のように推定される。
【０１２２】
ＲＬ（ｔ）＝filtc（ｔ）＊ＣＬ（ｔ）
ＬＲ（ｔ）＝filtc（ｔ）＊ＣＲ（ｔ）
【０１２３】
以上のようにして推定された左右方向の頭部伝達関数は、正面方向の頭部伝達関数とともに、イコライザ２１２によって周波数特性の調整が行われる。なお、日陰側特性は、個人に依存する特性が現れにくいので、あらかじめ用意されたプリセットの特性が用いられてもよい。
【０１２４】
ステップＳ２３において、バンドパスフィルタ１１１は、測定／推定された頭部伝達関数から中域の特性を抽出する。抽出された中域の頭部伝達関数は、補正部１１２によってスピーカ１８の特性が除去された後、イコライザ１１３によって周波数特性の調整が行われる。
【０１２５】
なお、ステップＳ２４以降の処理は、図５のフローチャートのステップＳ１３以降の処理と同様であるので、その説明は省略する。
【０１２６】
以上の処理によれば、再生帯域が狭いスマートフォンを音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができる。すなわち、大規模な設備を用いることなく、全帯域における頭部伝達関数の個人化を手軽に実現することが可能となる。
【０１２７】
特に、本実施の形態においては、ユーザの正面方向の頭部伝達関数から左右方向の頭部伝達関数が推定されるので、１回の頭部伝達関数の測定のみで、複数の仮想音源を定位させる頭部伝達関数の個人化を実現することができる。
【０１２８】
＜４．第３の実施の形態＞
以下においては、ユーザの正中面についての頭部伝達関数から矢状面についての頭部伝達関数を推定する例について説明する。
【０１２９】
図１６は、図１２の携帯端末１による頭部伝達関数の生成処理の他の例について説明するフローチャートである。
【０１３０】
ステップＳ３１において、測定部５１（図２）は、スマートフォン（携帯端末１）を音源として用いることで、ユーザの正中面についての頭部伝達関数を測定する。
【０１３１】
例えば、図１７のＡに示されるように、ユーザＵが、正中面３５１内にスマートフォンＳＰを配置することで、頭部伝達関数が測定される。図１７の例では、正中面３５１内のユーザの正面、斜め上、斜め下の３方向についての頭部伝達関数が測定される。
【０１３２】
ステップＳ３２において、推定部２１１は、測定された正中面の頭部伝達関数から、ユーザの左右の矢状面の頭部伝達関数を推定する。
【０１３３】
例えば、図１７のＢに示されるように、ユーザＵのいる空間において、ユーザＵの左側で正中面３５１に平行な矢状面３５２Ｌについての頭部伝達関数と、ユーザＵの右側で正中面３５１に平行な矢状面３５２Ｒについての頭部伝達関数が推定される。
【０１３４】
ここでの頭部伝達関数の推定は、例えば、正中面３５１内のユーザの正面、斜め上、斜め下の３方向についての頭部伝達関数それぞれに対して、上述した日向側推定フィルタと日陰側推定フィルタを用いた補正を行うことで実現される。
【０１３５】
推定された矢状面の頭部伝達関数は、正中面の頭部伝達関数とともに、イコライザ２１２によって周波数特性の調整が行われる。
【０１３６】
なお、ステップＳ３３以降の処理は、図１３のフローチャートのステップＳ２３以降の処理と同様であるので、その説明は省略する。
【０１３７】
以上の処理によれば、再生帯域が狭いスマートフォンを音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができる。すなわち、大規模な設備を用いることなく、全帯域における頭部伝達関数の個人化を手軽に実現することが可能となる。
【０１３８】
特に、本実施の形態においては、ユーザの周囲の任意の方向の頭部伝達関数が推定されるので、ユーザの所望する方向に仮想音源を定位させる頭部伝達関数の個人化を実現することができる。
【０１３９】
＜５．その他＞
（音源の他の例）
上述した説明においては、測定用音波を再生する音源を、スピーカを有するスマートフォンとしたが、これ以外のデバイスとしてもよい。例えば、測定用音波を再生する音源を、スピーカとディスプレイを有するテレビジョン受像機とすることもできる。テレビジョン受像機は、高々２００Ｈｚ程度の帯域までしか再生できず、スマートフォンと同様、再生帯域が広いものではない。
【０１４０】
本開示に係る技術によれば、再生帯域が狭いテレビジョン受像機を音源としてユーザの頭部伝達関数を測定する場合であっても、十分な特性の頭部伝達関数を取得することができる。
【０１４１】
（クラウドコンピューティングへの適用）
本開示に係る技術を適用した信号処理装置は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１４２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１４３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１４４】
例えば、図２のＨＲＴＦデータベース５３が、インターネットなどのネットワークを介して接続されるサーバなど（いわゆるクラウド）に設けられてもよい。
【０１４５】
また、図２の携帯端末１が備える全ての構成がクラウドに設けられてもよい。この場合、携帯端末１は、収音した測定用音波の音声信号をクラウドに送信し、クラウドからの立体音響を再現する音声信号を受信し再生するのみの構成となる。
【０１４６】
（プログラムによる処理の実行）
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１４７】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４８】
上述した携帯端末１は、図１８に示す構成を有するコンピュータにより実現される。
【０１４９】
ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、バス１００４により相互に接続されている。
【０１５０】
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
【０１５１】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５およびバス１００４を介してＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１５２】
ＣＰＵ１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
【０１５３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
【０１５４】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５５】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１５６】
さらに、本開示は以下のような構成をとることができる。
（１）
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する合成部
を備える信号処理装置。
（２）
前記第１の帯域は、第１の周波数から第２の周波数までの帯域であり、
前記第２の帯域は、前記第１の周波数より低い帯域と、前記第２の周波数より高い帯域を含む
（１）に記載の信号処理装置。
（３）
前記第１の帯域は、第１の周波数より高い帯域であり、
前記第２の帯域は、前記第１の周波数より低い帯域を含む
（１）に記載の信号処理装置。
（４）
前記第１の頭部伝達関数は、前記ユーザが配置した音源を用いて実測されるデータであり、
前記第２の頭部伝達関数は、あらかじめ理想的な測定環境で測定されたプリセットデータである
（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記第１の帯域は、個人に依存する特性を含む帯域である
（４）に記載の信号処理装置。
（６）
前記第２の帯域は、前記音源が再生できない帯域を含む
（４）または（５）に記載の信号処理装置。
（７）
前記音源は、スピーカを有するデバイスである
（４）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記デバイスは、ディスプレイをさらに有する
（７）に記載の信号処理装置。
（９）
前記デバイスは、スマートフォンである
（８）に記載の信号処理装置。
（１０）
前記デバイスは、テレビジョン受像機である
（８）に記載の信号処理装置。
（１１）
前記第１の頭部伝達関数から抽出された前記第１の帯域の特性に含まれる前記音源の特性を除去するよう、前記第１の帯域の特性を補正する補正部をさらに備える
（４）乃至（１０）のいずれかに記載の信号処理装置。
（１２）
前記第２の頭部伝達関数に対応する頭部インパルス応答から分離された残響成分を、前記第３の頭部伝達関数に付加する付加部をさらに備える
（１）乃至（１１）のいずれかに記載の信号処理装置。
（１３）
信号処理装置が、
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する
信号処理方法。
（１４）
コンピュータに、
ユーザの第１の頭部伝達関数から抽出された第１の帯域の特性と、前記第１の頭部伝達関数が測定される第１の測定環境と異なる第２の測定環境で測定された第２の頭部伝達関数から抽出された前記第１の帯域以外の第２の帯域の特性とを合成することで、第３の頭部伝達関数を生成する
処理を実行させるためのプログラム。
【符号の説明】
【０１５７】
１  携帯端末，  ５１  測定部，  ５２  帯域抽出部，  ５３  ＨＲＴＦデータベース，  ５４  帯域抽出部，  ５５  合成部，  ５６  音声入力部，  ５７  出力部
【図１】
2020036077.tif 000003
【図２】
2020036077.tif 000004
【図３】
2020036077.tif 000005
【図４】
2020036077.tif 000006
【図５】
2020036077.tif 000007
【図６】
2020036077.tif 000008
【図７】
2020036077.tif 000009
【図８】
2020036077.tif 000010
【図９】
2020036077.tif 000011
【図１０】
2020036077.tif 000012
【図１１】
2020036077.tif 000013
【図１２】
2020036077.tif 000014
【図１３】
2020036077.tif 000015
【図１４】
2020036077.tif 000016
【図１５】
2020036077.tif 000017
【図１６】
2020036077.tif 000018
【図１７】
2020036077.tif 000019
【図１８】
2020036077.tif 000020
【国際調査報告】
2020036077.tif 000021
2020036077.tif 000022