(57)【要約】【課題】  ユーザに応じた音の伝達特性に関する情報を容易に生成できるようにする。【解決手段】  情報処理装置１００は、ユーザの右耳に装着されたマイク１０３Ｒによる収音に基づく収音信号であって、右耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する。また情報処理装置１００は、ユーザの左耳に装着されたマイク１０３Ｌによる収音に基づく収音信号であって、左耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する。そして情報処理装置１００は、右耳について取得した収音信号と左耳について取得した収音信号とに基づいて、ユーザに応じた音の伝達特性に関する特性情報であるＨＲＴＦセットを生成する。【選択図】  図２
2020086143.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの一方の耳の位置における収音に基づく収音信号であって、前記一方の耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する第１取得手段と、
前記ユーザの他方の耳の位置における収音に基づく収音信号であって、前記他方の耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する第２取得手段と、
前記第１取得手段により取得された収音信号と前記第２取得手段により取得された収音信号とに基づいて、前記ユーザに応じた音の伝達特性に関する特性情報を生成する生成手段と、を有することを特徴とする情報処理システム。
【請求項２】
前記生成手段により生成される前記特性情報は、複数の方向それぞれに対応する伝達特性を表す情報を含むことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記生成手段により生成される前記特性情報は、ユーザの正中面に含まれる方向に対応する伝達特性を表す情報を含むことを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記生成手段により生成される前記特性情報は、頭部伝達関数又は頭部インパルス応答を表す情報であることを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
【請求項５】
前記第１取得手段により取得される収音信号に対応する収音期間と、前記第２取得手段により取得される収音信号に対応する収音期間とは、重ならないことを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。
【請求項６】
前記第１取得手段は、前記一方の耳と前記他方の耳とを結ぶ方向に略垂直な複数の方向から前記一方の耳の位置へ向けて発された複数の音の収音に基づく収音信号を取得することを特徴とする請求項１乃至５の何れか１項に記載の情報処理システム。
【請求項７】
前記一方の耳の位置に対して前記一方の耳の周辺において発される複数の音の方向の上昇角と、前記他方の耳の位置に対して前記他方の耳の周辺において発される複数の音の方向の上昇角とは、略等しいことを特徴とする請求項１乃至６の何れか１項に記載の情報処理システム。
【請求項８】
前記生成手段は、
前記第１取得手段により取得された収音信号に基づいて第１の伝達特性を推定する第１推定手段と、
前記第２取得手段により取得された収音信号に基づいて第２の伝達特性を推定する第２推定手段と、
前記第１推定手段による前記第１の伝達特性の推定結果と前記第２推定手段による前記第２の伝達特性の推定結果とに基づいて前記特性情報を生成することを特徴とする請求項１乃至７の何れか１項に記載の情報処理システム。
【請求項９】
信号の入力に応じて音を発する１以上の発音部を有する発音装置に所定の信号を入力する入力手段を有し、
前記第１取得手段は、前記入力手段による前記所定の信号の入力に応じた収音に基づく収音信号を取得することを特徴とする請求項１乃至８の何れか１項に記載の情報処理システム。
【請求項１０】
前記第１取得手段は、前記発音装置が前記一方の耳を囲う状態における収音に基づく収音信号を取得することを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
前記第１取得手段は、前記一方の耳の近傍に位置するマイクによる収音に基づく収音信号であって、前記発音装置が有する複数の発音部により当該マイクに対して複数の方向から発された複数の音の収音に基づく収音信号を取得することを特徴とする請求項９に記載の情報処理システム。
【請求項１２】
前記第１取得手段は、前記一方の耳の近傍に位置するマイクによる収音に基づく収音信号であって、前記発音装置が有する発音部が当該マイクに対する位置を変えて複数の方向から発した複数の音の収音に基づく収音信号を取得することを特徴とする請求項９に記載の情報処理システム。
【請求項１３】
前記生成手段により生成された前記特性情報を記憶部に記憶させる記憶制御手段を有することを特徴とする請求項１乃至１２の何れか１項に記載の情報処理システム。
【請求項１４】
音響信号を取得する信号取得手段と、
前記信号取得手段により取得された音響信号を前記生成手段により生成された前記特性情報に基づいて処理することで得られる処理済み音響信号を出力する出力手段を有することを特徴とする請求項１乃至１３の何れか１項に記載の情報処理システム。
【請求項１５】
前記一方の耳に装着された補聴器による収音に基づく信号を取得する第３取得手段を有し、
前記生成手段は、前記第１取得手段により取得された収音信号と、前記第２取得手段により生成された収音信号と、前記第３取得手段により取得された信号とに基づいて、前記補聴器が発する音を補正するための前記特性情報を生成することを特徴とする請求項１乃至１４の何れか１項に記載の情報処理システム。
【請求項１６】
ユーザの一方の耳の位置における収音に基づく収音信号であって、前記一方の耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する第１取得工程と、
前記ユーザの他方の耳の位置における収音に基づく収音信号であって、前記他方の耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する第２取得工程と、
前記第１取得工程により取得された収音信号と前記第２取得工程により取得された収音信号とに基づいて、前記ユーザに応じた音の伝達特性に関する特性情報を生成する生成工程と、を有することを特徴とする情報処理方法。
【請求項１７】
前記第１取得工程において取得される収音信号に対応する収音期間と、前記第２取得工程において取得される収音信号に対応する収音期間とは、重ならないことを特徴とする請求項１６に記載の情報処理方法。
【請求項１８】
ユーザの耳介部に応じた音の伝達特性を測定するための測定システムであって、
前記ユーザの耳に装着可能なマイクと、
信号の入力に応じて音を発する複数の発音部を有する発音装置と、
前記複数の発音部が前記ユーザの耳に対してそれぞれ異なる方向に位置するように、前記発音装置を前記ユーザに装着させるための装着手段と、を有することを特徴とする測定システム。
【請求項１９】
ユーザの耳介部に応じた音の伝達特性を測定するための測定システムであって、
前記ユーザの耳に装着可能なマイクと、
前記ユーザの耳を差し入れ可能な穴を有するケースと、
信号の入力に応じて音を発する発音部であって、前記ケースの内部に位置する発音部と、
前記ケースの穴の位置に対する前記発音部の位置が変化するように、前記発音部の位置を移動させる制御手段と、を有することを特徴とする測定システム。
【請求項２０】
コンピュータを、請求項１乃至１５の何れか１項に記載の情報処理システムが有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザに応じた音の伝達特性に関する情報を処理する技術に関するものである。
【背景技術】
【０００２】
ヘッドフォンやスピーカから発した音をユーザに聞かせる場合に、そのユーザに応じた頭部伝達関数を用いて処理した音響信号を用いることで、ユーザに対して任意の方向に音像を定位させる技術がある。頭部伝達関数の測定方法としては、ユーザの頭部に対して様々な方向から測定用の音を発し、それぞれの音をユーザの耳に装着された耳栓型マイクで収音した結果に基づいて、方向ごとの音の伝達特性を測定する方法がある。また、特許文献１には、ユーザの正中面に含まれる複数の方向について測定した伝達特性を用いた信号処理と、遅延制御や音量制御などの信号処理とを行うことにより、少数の方向についての測定結果を用いて音像定位を実現することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２１８５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、ユーザに応じた音の伝達特性を表す頭部伝達関数を測定するために専用の大型の設備を用いるため、伝達特性に関する情報を生成することが容易でなかった。例えば無響室や、ユーザの頭部に対して複数の方向から音を発するために、ユーザの正中面においてスピーカの位置を移動させる設備、もしくは正中面における複数の方向に設置された複数のスピーカなどが必要であった。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、ユーザに応じた音の伝達特性に関する情報を容易に生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明に係る情報処理システムは、例えば以下の構成を有する。すなわち、ユーザの一方の耳の位置における収音に基づく収音信号であって、前記一方の耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する第１取得手段と、前記ユーザの他方の耳の位置における収音に基づく収音信号であって、前記他方の耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する第２取得手段と、前記第１取得手段により取得された収音信号と前記第２取得手段により取得された収音信号とに基づいて、前記ユーザに応じた音の伝達特性に関する特性情報を生成する生成手段とを有する。
【発明の効果】
【０００７】
本発明によれば、ユーザに応じた音の伝達特性に関する情報を容易に生成できる。
【図面の簡単な説明】
【０００８】
【図１】情報処理システムの構成例を示す図である。
【図２】測定システムの構成例を示す図である。
【図３】情報処理装置のハードウェア構成例を示す図である。
【図４】情報処理装置の動作の一例を示すフローチャートである。
【図５】測定システムの別の構成例を示す図である。
【図６】情報処理システムの変形例を示す図である。
【図７】情報処理システムの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１０】
［情報処理システムの構成］
図１は、本実施形態に係る情報処理システム１０の構成例を示す図である。情報処理システム１０は、ユーザに応じた音の伝達特性に関する特性情報を生成し、その情報を用いて音響信号を処理することで、ユーザに対して任意の方向に音像を定位させることが可能な立体音響を実現するシステムである。本実施形態では、上記の特性情報として頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ−Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を表す情報を用いる場合を中心に説明する。ただし、情報処理システム１０は、頭部インパルス応答を表す情報など他の特性情報を用いてもよい。
【００１１】
情報処理システム１０は、測定システム２０、情報処理装置１００、記憶部１０６、及び音響信号処理部１０７（以降、処理部１０７と表記）を有する。図１では一例として単一の処理部１０７が記憶部１０６に接続されるものとしているが、複数の処理部１０７が記憶部１０６に接続されていてもよい。同様に、複数の記憶部１０６が情報処理装置１００に接続されていてもよい。なお、本実施形態では記憶部１０６と処理部１０７はそれぞれ独立した装置として構成されているものするが、これに限らない。例えば、記憶部１０６と処理部１０７とが一体となって構成されていてもよいし、記憶部１０６と処理部１０７の少なくとも何れかが情報処理装置１００に含まれていてもよい。また、情報処理装置１００の構成も図１に限定されず、例えば信号出力部１０１が情報処理装置１００とは別の装置に実装されていてもよい。
【００１２】
測定システム２０は、ユーザの耳介部に応じた音の伝達特性を測定するための測定システムであり、発音装置１０２Ｌ、発音装置１０２Ｒ、マイク１０３Ｌ、及びマイク１０３Ｒを有する。図２（ａ）に示すように、発音装置１０２Ｌは固定部２１０によってユーザの左耳を囲うように装着される。本実施形態では、図２（ａ）に示すように、発音装置１０２Ｌが円環状でありユーザの耳は覆われないものとする。ただしこれに限らず、発音装置１０２Ｌはヘッドフォンの耳あて部のようにユーザの耳を内部に密閉するような形状であってもよい。この場合、発音装置１０２Ｌに吸音性の高い部材を備えてもよい。マイク１０３Ｌは、ユーザの左耳の穴の位置に装着可能なマイクロフォンであり、例えば耳穴入口をふさぐ耳栓型の装置に小型のマイクが耳穴の外側を向くように設置される。
【００１３】
図２（ｂ）に示すように、発音装置１０２Ｌには、スピーカ２０１−１からスピーカ２０１−８までの８つの発音部が、円環の中心を向くように設置される。そのため、固定部２１０によって発音装置１０２Ｌがユーザに装着された場合、８つの小型スピーカがユーザの左耳に対してそれぞれ異なる方向に位置する。以降、これらの小型スピーカを特に区別しない場合はスピーカ２０１と表記する。本実施形態では、８つのスピーカ２０１が、マイク１０３Ｌの位置に対して、ユーザの左耳と右耳とを結ぶ方向に略垂直な８方向に位置する。すなわち、８つのスピーカ２０１とマイク１０３Ｌとが略同一平面上に位置する。ただし、発音装置１０２Ｌが有するスピーカ２０１の配置はこれに限定されない。また、発音装置１０２Ｌが有するスピーカ２０１の数はこれに限定されず、発音装置１０２Ｌは１以上のスピーカ２０１を有していればよい。
【００１４】
複数のスピーカ２０１は、情報処理装置１００の信号出力部１０１からの信号の入力に応じて、マイク１０３Ｌに対してそれぞれ異なる複数の方向から音を発する。そしてマイク１０３Ｌは、スピーカ２０１が発する音を収音することで得られる収音信号を、情報処理装置１００の伝達特性推定部１０４（以降、推定部１０４と表記）に出力する。
【００１５】
発音装置１０２Ｒは、発音装置１０２Ｌと同様に複数のスピーカ２０１を有し、ユーザの右耳を囲うように装着される。マイク１０３Ｒは、マイク１０３Ｌと同様にユーザの右耳の穴の位置に装着される。本実施形態では、発音装置１０２Ｒが有するスピーカ２０１の数と発音装置１０２Ｌが有するスピーカ２０１の数とが等しいものとする。ただし、発音装置１０２Ｌと発音装置１０２Ｒとの構成は同一でなくてもよい。なお、発音装置１０２Ｌ、発音装置１０２Ｒ、マイク１０３Ｌ、及びマイク１０３Ｒは、図２（ａ）に示すような形態で装着されるものに限定されない。発音装置１０２Ｌ及び発音装置１０２Ｒは、各スピーカ２０１がユーザの耳の周辺に位置するように配置されていればよく、マイク１０３Ｌ及びマイク１０３Ｒはユーザの耳の穴の近傍に位置していればよい。例えばこれらの各装置が、ユーザに接しないアームによって支持されていてもよい。
【００１６】
本実施形態において、マイク１０３Ｌに対するスピーカ２０１の方向に対応する、ユーザの耳に対する音源方向は、上昇角と側方角で表されるものとする。発音装置１０２Ｒが有する複数のスピーカ２０１のマイク１０３Ｒに対する方向の上昇角は、発音装置１０２Ｌが有する複数のスピーカ２０１のマイク１０３Ｌに対する方向の上昇角と略等しい。側方角αと上昇角βは、ユーザの頭部を基準とした方位角ψと仰角θを用いて以下のように表される。
【００１７】
【数１】
2020086143.tif 000003
【００１８】
情報処理装置１００は、信号出力部１０１、推定部１０４、及び特性情報生成部１０５（以降、生成部１０５と表記）を有する。信号出力部１０１は、伝達特性の測定用の信号、たとえばＴＳＰ（Ｔｉｍｅ  Ｓｔｒｅｔｃｈｅｄ  Ｐｕｌｓｅ）やＭＬＳ（Ｍａｘｉｍｕｍ  Ｌｅｎｇｔｈ  Ｓｅｑｕｅｎｃｅ）などを生成し、発音装置１０２Ｒ及び発音装置１０２Ｌに出力する。
【００１９】
推定部１０４は、マイク１０３Ｌから出力された収音信号を取得し、その収音信号と信号出力部１０１から出力された測定用信号とに基づいて、音の伝達特性を推定する。この推定により得られる伝達特性は、発音装置１０２Ｌのスピーカ２０１から発された音がマイク１０３Ｌにより収音されるまでにユーザの左耳の耳介等によって受ける影響を反映する。また推定部１０４は、マイク１０３Ｒから出力された収音信号を取得し、その収音信号と信号出力部１０１から出力された測定用信号とに基づいて、音の伝達特性を推定する。この推定により得られる伝達特性は、発音装置１０２Ｌのスピーカ２０１から発された音がマイク１０３Ｌにより収音されるまでにユーザの左耳の耳介等によって受ける影響を反映する。ユーザの右耳と左耳の形状が同一でない限り、右耳での測定に基づいて得られる伝達特性と左耳での測定に基づいて得られる伝達特性とは異なる。
【００２０】
生成部１０５は、推定部１０４による左右の耳それぞれに応じた伝達特性の推定結果に基づいて、ユーザの頭に応じた音の伝達特性に関する特性情報であるＨＲＴＦセットを生成する。ＨＲＴＦセットには、ユーザに対する複数の方向それぞれに対応するＨＲＴＦが含まれる。特に、推定部１０４により生成されるＨＲＴＦセットには、ユーザの正中面に含まれる方向に対応するＨＲＴＦが含まれる。このようなＨＲＴＦを用いることにより、ユーザの正中面を基準とした指定方向への音像の定位が実現できる。なお、正中面に含まれないその他の方向に対応するＨＲＴＦがＨＲＴＦセットに含まれていてもよい。生成されたＨＲＴＦセットは、生成部１０５から出力されて記憶部１０６に記憶される。
【００２１】
例えば、推定部１０４は、発音装置１０２Ｌが有する１つのスピーカ２０１−１から発された音に応じた収音信号に基づいて、マイク１０３Ｌに対するスピーカ２０１−１の方向の上昇角（９０°）に対応する左耳の特性情報を推定する。また、推定部１０４は、発音装置１０２Ｒが有する対応するスピーカ２０１から発された音に応じた収音信号に基づいて、同一の上昇角（９０°）に対応する右耳の特性情報を推定する。そして、生成部１０５は、それらの特性情報の推定結果に基づいて、正中面における同一の上昇角（９０°）に対応するＨＲＴＦを生成する。これらの処理を、発音装置１０２Ｌが有する８つのスピーカ２０１それぞれについて行うことで、正中面における８方向のＨＲＴＦを含むＨＲＴＦセットが生成される。
【００２２】
記憶部１０６は、例えばハードディスクやメモリなどの記憶媒体に、生成部１０５から出力されたＨＲＴＦセットを記憶する。測定システム２０及び情報処理装置１００により複数のユーザそれぞれについてＨＲＴＦセットが生成された場合には、記憶部１０６は各ＨＲＴＦセットをユーザの識別情報と共に記憶してもよい。
【００２３】
処理部１０７は、外部の装置から音響信号を取得し、記憶部１０６から取得したＨＲＴＦセットに基づいてその音響信号を処理することで得られる処理済み音響信号を出力する。例えば、測定システム２０による測定対象となったユーザが装着したヘッドフォンに、この出力された処理済み音響信号を入力することで、立体音響を実現することができる。なお、処理対象となる音響信号は、外部の装置からの信号取得に限らず、処理部１０７が生成することにより取得されてもよい。
【００２４】
［情報処理装置の構成］
次に、情報処理装置１００のハードウェア構成について、図３を用いて説明する。情報処理装置１００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、補助記憶装置３０４、表示部３０５、操作部３０６、通信Ｉ／Ｆ３０７、及びバス３０８を有する。
【００２５】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３に格納されているコンピュータプログラムやデータを用いて情報処理装置１００の全体を制御することで、図１に示す情報処理装置１００の各機能部を実現する。なお、情報処理装置１００がＣＰＵ３０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ３０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ３０３は、補助記憶装置３０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ３０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置３０４は、例えばハードディスクドライブ等で構成され、画像データや音声データ、仮想カメラパス情報などの種々のデータを記憶する。
【００２６】
表示部３０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部３０６は、例えばキーボードやマウス、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ３０１に入力する。通信Ｉ／Ｆ３０７は、発音装置１０２Ｌや記憶部１０６などの外部の装置との通信に用いられる。例えば、情報処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３０７に接続される。なお、情報処理装置１００が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ３０７はアンテナを備える。バス３０８は、情報処理装置１００の各部をつないで情報を伝達する。
【００２７】
本実施形態では表示部３０５と操作部３０６が情報処理装置１００の内部に存在するものとするが、情報処理装置１００は表示部３０５と操作部３０６との少なくとも一方を備えていなくてもよい。また、表示部３０５と操作部３０６との少なくとも一方が情報処理装置１００の外部に別の装置として存在していて、ＣＰＵ３０１が、表示部３０５を制御する表示制御部、及び操作部３０６を制御する操作制御部として動作してもよい。
【００２８】
［情報処理装置の処理フロー］
情報処理装置１００の処理フローについて、図４を用いて説明する。図４に示す処理は、例えば、測定システム２０をユーザ装着し、情報処理装置１００に測定を開始するための指示が入力されたタイミングで開始される。ただし、図４に示す処理の開始タイミングは上記に限定されない。図４に示す処理は、ＣＰＵ３０１がＲＯＭ３０２に格納されたプログラムをＲＡＭ３０３に展開して実行することで実現される。なお、図４に示す処理の少なくとも一部を、ＣＰＵ３０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。後に説明する図７のフローチャートに示す処理についても同様である。
【００２９】
測定処理が開始されると、情報処理装置１００は、Ｓ４０１からＳ４０３までの処理を、左右の耳それぞれについて、測定対象となる音源方向のスピーカ２０１ごとに行う。具体的には、発音装置１０２Ｌが有する８つのスピーカ２０１それぞれについてＳ４０１からＳ４０３までの処理がおこなわれた後に、発音装置１０２Ｒが有する８つのスピーカ２０１それぞれについてＳ４０１からＳ４０３までの処理が行われる。ここでは左耳における測定が先に行われる例を示すが、これに限らず、右耳における測定が先に行われてもよい。また、例えば発音装置１０２Ｌが有するスピーカ２０１を用いる測定と発音装置１０２Ｒが有するスピーカ２０１を用いる測定とが交互に行われてもよい。
【００３０】
Ｓ４０１において、信号出力部１０１は、測定対象となるスピーカ２０１を有する発音装置１０２Ｌに、所定の測定用信号を出力する。また、信号出力部１０１はその測定用信号を推定部１０４へも出力する。Ｓ４０２において、推定部１０４は、Ｓ４０１における測定用信号の出力に応じたマイク１０３Ｌによる収音に基づく収音信号を取得する。Ｓ４０３において、推定部１０４は、Ｓ４０２において取得された収音信号とＳ４０１において信号出力部１０１から出力された測定用信号とに基づいて、音の伝達特性を推定する。この推定により得られる伝達特性は、測定対象のスピーカ２０１に対応する方向から発される音が左耳の穴に届くまでに左耳の耳介等によって受ける影響を反映した伝達特性である。伝達特性の推定結果は生成部１０５へ出力される。
【００３１】
発音装置１０２Ｌが有する複数のスピーカ２０１それぞれについてＳ４０１からＳ４０３の処理が完了すると、発音装置１０２Ｒが有するスピーカ２０１についてＳ４０１からＳ４０３の処理が行われる。すなわち推定部１０４は、左耳の場合と同様に、右耳における測定において取得された収音信号とその収音信号に対応する測定用信号とに基づいて、各スピーカ２０１の方向に対応する音の伝達特性を推定する。このように、発音装置１０２Ｌ及びマイク１０３Ｌを用いる収音期間と、発音装置１０２Ｒ及びマイク１０３Ｒを用いる収音期間とは、重ならないように設定される。これにより、一方の耳の周辺においてスピーカ２０１から発した音が他方の耳に装着されたマイクにより収音されるクロストークが発生することを抑制できる。ただし、短時間で測定を行うために、これらの収音期間の一部が重複するようにしてもよい。
【００３２】
Ｓ４０４において、生成部１０５は、推定部１０４から取得した右耳における音の伝達特性の推定結果と、左耳における音の伝達特性の推定結果とに基づいて、正中面に含まれる複数の方向に対応する複数のＨＲＴＦを含むＨＲＴＦセットを生成する。Ｓ４０５において、生成部１０５は、生成されたＨＲＴＦセットを出力して、ＨＲＴＦセットを記憶部１０６に記憶させる記憶制御を行う。
【００３３】
以上のように、本実施形態における情報処理装置１００は、ユーザの右耳に装着されたマイク１０３Ｒによる収音に基づく収音信号であって、右耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する。また情報処理装置１００は、ユーザの左耳に装着されたマイク１０３Ｌによる収音に基づく収音信号であって、左耳の周辺において複数の方向から発された複数の音の収音に基づく収音信号を取得する。そして情報処理装置１００は、右耳について取得した収音信号と左耳について取得した収音信号とに基づいて、ユーザに応じた音の伝達特性に関する特性情報であるＨＲＴＦセットを生成する。
【００３４】
上記のような構成によれば、ユーザの頭部に対して正中面における複数の方向から音を発するための大型の設備を用いる必要がないため、ＨＲＴＦセットを容易に生成することができる。また、発音装置１０２Ｌ及び発音装置１０２Ｒにおけるユーザの耳を囲う部分に吸音性の高い部材を備えることで、無響室を使用した測定と同様に雑音の影響を受けづらい測定を、簡易に実現できる。
【００３５】
本実施形態においては、発音装置１０２Ｌが有する複数のスピーカ２０１のマイク１０３Ｌに対する方向と、発音装置１０２Ｒが有する複数のスピーカ２０１のマイク１０３Ｒに対する方向とが、左右対称である場合を中心に説明した。これにより、右耳での測定結果と左耳での測定結果とに基づいてＨＲＴＦセットを生成する処理が容易になる。ただし、発音装置１０２Ｌと発音装置１０２Ｒとが左右対称でなくてもよい。
【００３６】
発音装置１０２Ｌとマイク１０３Ｌとの位置関係が発音装置１０２Ｒとマイク１０３Ｒとの位置関係と異なる場合には、推定部１０４は、左右の耳について推定した伝達特性を、スピーカ２０１の側方角、上昇角、及びマイクまでの距離などに基づいて補正する。この補正には、測定時のユーザ頭部の前後軸、左右軸、及び上下軸に対する、２つの発音装置間のずれを検出した結果を用いることができる。例えば、発音装置１０２Ｌ及び発音装置Ｒを装着した状態のユーザを撮影した画像に基づいて、各発音装置の装着状態（傾きや中心位置ずれ）を取得できる。あるいは発音装置１０２Ｌ及び発音装置１０２Ｒに姿勢センサなどを備えることで、各発音装置の装着状態を取得できるようにしてもよい。このようにして取得したずれ情報を用いることで、伝達特性を補正できる。
【００３７】
例えば左右の耳における測定において音源方向の上昇角が異なる場合、補正を行っていない伝達特性の推定結果を用いて生成されたＨＲＴＦセットに基づいて処理した音響信号を再生すると、ぼやけたり、音像が頭内に定位したりする虞がある。そこで推定部１０４は、伝達特性を上昇角方向に補間することよって左右の耳について同一の上昇角に対応する伝達特性を推定する。
【００３８】
また、発音装置１０２Ｌからマイク１０３Ｌまでの距離と発音装置１０２Ｒからマイク１０３Ｒまでの距離とが異なる場合、再生される音が右や左にずれる虞がある。これは左右の耳についての伝達関数に時間差やレベル差が発生し、先行音効果によって音が左右にずれるためである。そこで推定部１０４は、伝達特性を遅延時間及び音量に関して補正する。時間に関する補正方法としては、例えば推定部１０４で推定された伝達特性の時間波形の振幅の絶対値が最大となるピークを検出し、その時刻を合わせる方法がある。また、左右の伝達関数の最小位相成分を使用することで、左右の遅延をそろえる方法を用いてもよい。または、左右の伝達特性のラウドネスが所定の範囲内に収まるように補正してもよい。あるいは、調整つまみのような操作部に対するユーザ操作に応じて、左右のずれを調整してもよい。
【００３９】
また、左右の耳における測定において音源方向の側方角が異なる場合にも、音像がぼやけたり音像の頭内定位が発生したりする虞がある。これは側方角が左右軸（両耳を通る軸）に近づくにつれて伝達特性が耳介の影響を受けにくくなるため、ＨＲＴＦのノッチやピークが減衰するためである。そこで推定部１０４は、推定した左右の伝達特性について、第１ピークや第２ピーク、第１ノッチ、及び第２ノッチなどのスペクトラルキューの大きさに基づいて補正してもよい。例えば、第１ピーク及び第２ピークの高さの平均が左右で同程度になるようにスペクトルを強調してもよい。
【００４０】
上述のような補正処理を削減するために、発音装置１０２Ｌのスピーカ２０１と発音装置１０２Ｒのスピーカ２０１は同一の上昇角に配置されることが望ましい。また、正中面のＨＲＴＦのスペクトラルキューは耳介形状の影響を受けるため、発音装置１０２Ｌ及び発音装置１０２Ｒのスピーカ２０１はユーザの耳介を含む矢状面上で耳穴から等距離になるように配置されることが望ましい。これを実現するために、情報処理システム１０は、ユーザが装着した発音装置１０２Ｌ及び発音装置１０２Ｒの装着位置を表示部に表示したり、装着位置を補正するようにユーザに通知したりしてもよい。
【００４１】
本実施例においては、生成部１０５が正中面に含まれる方向に対応するＨＲＴＦを生成する場合を中心に説明したが、生成部１０５は正中面のＨＲＴＦに対してパンニング処理などを行うことにより、正中面に含まれない方向のＨＲＴＦを生成してもよい。そして生成部１０５は、それらのＨＲＴＦを含むＨＲＴＦセットを記憶部１０６へ記憶させてもよい。たとえば、推定された左右の同一上昇角の伝達特性に基づいて、パンニングにより同じ上昇角の任意の側方角への音像定位が実現できる。
【００４２】
本実施形態においては、発音装置１０２Ｌ及び発音装置１０２Ｒのスピーカ２０１が耳介の外側に位置し、マイク１０３Ｌ及びマイク１０３Ｒが耳穴に位置する状態で測定が行われるものとしたが、スピーカとマイクの位置関係は相反法のように逆であってもよい。つまり、耳穴にスピーカが位置し、耳介の外側に複数のマイクが位置する状態で測定が行われてもよい。また、本実施形態において発音装置１０２Ｌ及び発音装置１０２Ｒにおける複数のスピーカ２０１は円環状に配置されるものとした。ただし、複数のスピーカ２０１が耳穴の周辺に位置していればよく、例えばコの字型や四角や三角に複数のスピーカ２０１が配置されていてもよい。
【００４３】
また、本実施形態においては左耳用に発音装置１０２Ｌとマイク１０３Ｌとを用い、右耳用に発音装置１０２Ｒとマイク１０３Ｒを用いるというように、発音装置とマイクを２つずつ用いる場合について説明した。ただし、発音装置とマイクの少なくとも何れかが１つであってもよい。この場合、発音装置とマイクの少なくとも何れかを左右で付け替えて使用することで、左右の耳それぞれにおいて伝達特性を測定できる。
【００４４】
図２に示したような、発音装置１０２Ｌ及び発音装置１０２Ｒを備えたヘッドフォン形状の測定用装置は、小型で携帯性に優れており、伝達特性の測定を簡易にできる。ただし、伝達特性の測定に用いる装置の構成はこれに限定されない。図３（ｂ）は、ユーザの耳介部に応じた音の伝達特性を測定するための測定システム２０において、発音装置１０２Ｒ及び発音装置１０２Ｌの代わりに用いることができる発音装置５００の構成を示す。なお、発音装置５００は右耳用と左耳用で２つ用いてもよいし、１つの発音装置５００を右耳での測定と左耳での測定の両方に用いてもよい。穴５０２を有する発音装置５００のケース５０４の内部には、信号の入力に応じて音を発するスピーカ５０１と、ケース５０４内での音の反射を抑制する吸音部材５０３とが備えられている。また、発音装置５００は、ケース５０４の穴５０２の位置に対するスピーカ５０１の位置が変化するように、穴の周りでスピーカ５０１を円軌道で移動させるためのレールやモータ（不図示）等の構成を有する。
【００４５】
発音装置５００を用いて右耳における測定を行う際には、図５（ａ）に示すように、ユーザは右耳にマイク１０３Ｒを装着して、穴５０２に右耳を差し込む。そして、発音装置５００が有するスピーカ５０１がマイク１０３Ｒに対する位置を変えて複数の方向から順に音を発し、それらの音をマイク１０３Ｒが収音する。収音を行った後の処理については、上述した実施形態と同様である。このような発音装置５００を用いる方法によれば、無響室での測定に近い高精度な測定が可能となる。
【００４６】
なお、図５の例では１つのスピーカ５０１が移動することでマイク１０３Ｒに対して複数の方向から音を発するものとした。このような構成によれば、発音装置５００に多数のマイクを実装することによるコストの増加を抑制できる。ただしこれに限らず、例えば、発音装置５００が複数のスピーカ５０１を有し、各スピーカ５０１が移動しながら音を発してもよい。また例えば、上述した発音装置１０２Ｒと同じように、耳の位置に対して複数の方向に位置する複数のスピーカ５０１が移動せずに音を発してもよい。この構成によれば、スピーカ５０１を移動させるためのレールやモータが不要になるため、発音装置５００を小型化できる。
【００４７】
なお、ユーザが穴５０２に右耳を差し込む場合と左耳を差し込む場合とで、ユーザの頭部の傾きが変化する場合がある。そこで、情報処理装置１００は、測定に基づいて推定した伝達関数に対して、上述したような補正処理を行ってもよい。また他の方法として、ユーザが穴５０２に耳を差し入れた際にカメラやセンサによりユーザの頭部の傾きを検出し、左右の測定時におけるスピーカ５０１の方向の上昇角が等しくなるように、発音装置５００がスピーカ５０１の位置を調整してもよい。この方法によれば、伝達特性を推定した後の補正処理を削減することができる。
【００４８】
また本実施例においては、正中面のＨＲＴＦを生成するために、耳介を含む矢状面上の複数の方向のスピーカ２０１を用いて測定を行うものとした。ただしこれに限らず、たとえば発音装置１０２Ｌ及び発音装置１０２Ｒには、耳の位置を中心とする半球面上に複数のスピーカ２０１が３次元的に配置されていてもよい。このような構成によれば、密な方向分解能で伝達特性を測定できる。また、発音装置５００においても同様に、１つの側方角だけでなく、複数の側方角にスピーカを位置させてもよい。これらの場合、両耳について同じ構成で測定するものに限らず、何れか一方の耳における測定においてのみ密な方向分解能で測定を行ってもよい。
【００４９】
一方の耳について密な方向分解能で測定を行う場合には、音響信号の再生時に音像を定位させたい側の耳における測定を密な方向分解能で行い、その測定に基づくデータを用いることで、より定位感が良くなる。一方で、音像を定位させたい側と逆側の耳の伝達特性については、同一上昇角の耳介を含む矢状面での測定に基づくデータあるいはそれに近しいデータを用いてもよい。この場合、遅延の付加や音量（ゲイン）を下げる処理を行うことによって、目的方向に音像を定位させることができる。たとえば、側方角αと上昇角β（αは正中面より右よりとする）に音像を定位させる場合には、右耳の側方角α及び上昇角βの伝達特性と、左耳の耳介を含む矢状面上の上昇角βで測定されたデータに遅延補正を行ったデータを用いる。このようにすることで、音響信号の再生時の定位感を向上することができる。
【００５０】
［補聴器の調整］
以上では、情報処理装置１００により生成されたＨＲＴＦセットを用いて処理部１０７により音響信号を処理して立体音響を実現する情報処理システム１０について説明した。ただし、測定システム２０による測定結果の使用方法はこれに限らない。以下では、情報処理システム１０の変形例としての情報処理システム３０について説明する。情報処理システム３０は、測定システム２０による測定結果を用いて、ＨＲＴＦによる音像定位を実現する補聴器の調整を行う。
【００５１】
図６は、情報処理システム３０と補聴器６００の構成例を示す図である。補聴器６００は、マイクアレイ６０１、指向性制御部６０２、畳み込み処理部６０３、フィルタ格納部６０４、及びスピーカ６０５を有する。ユーザはこのような構成の補聴器６００を右耳と左耳の両方に装着して使用する。マイクアレイ６０１は、複数のマイク素子による収音で得られた複数チャンネルの収音信号を出力する。指向性制御部６０２は、マイクアレイ６０１から入力された複数チャンネルの収音信号を処理することで特定の方向に対応する音響信号である方向音信号を生成する。たとえば指向性制御部６０２は、ビームフォーミングなどのアレイ信号処理を行うことで、ユーザに対して上昇角が異なる複数の方向（前方、上方、後方、下方）にメインローブが向くような４つの方向音信号を生成し出力する。
【００５２】
畳み込み処理部６０３は、指向性制御部６０２から入力される複数の方向音信号それぞれに対して、フィルタ格納部６０４に格納されたフィルタデータを畳み込む。さらに畳み込み処理部６０３は、畳み込みにより得られた４つのチャンネルの信号を加算して１つのチャンネル信号を出力する。フィルタ格納部６０４は、音像定位のための信号処理に用いられるフィルタデータを格納するメモリである。スピーカ６０５は、ユーザの耳穴に装着される小型のスピーカ（イヤホン）であり、信号の入力に応じて耳穴内部に向けて音を発する。このようにフィルタ処理された音をユーザの両耳から聞かせることで、ユーザは補聴器６００を装着した状態においても、音の方向を明確に識別できるようになる。
【００５３】
情報処理システム３０は、測定システム２０、情報処理装置１００、フィルタ生成部１０８、及び補正情報設定部１０９（以降、設定部１０９と表記）を有する。なお、図６の例ではフィルタ生成部１０８と設定部１０９はそれぞれ独立した装置として構成されているものするが、これに限らない。例えば、フィルタ生成部１０８と設定部１０９とが一体となって構成されていてもよいし、フィルタ生成部１０８と設定部１０９との少なくとも何れかが情報処理装置１００に含まれていてもよい。
【００５４】
測定システム２０と情報処理装置１００の構成は上述した実施形態と同様である。ただし、情報処理装置１００の推定部１０４は、ユーザの耳に装着された補聴器６００による収音に基づく方向音信号を、補聴器６００の指向性制御部６０２から取得する。そして推定部１０４は、マイク１０３Ｌによる収音に基づく収音信号と、マイク１０３Ｒによる収音に基づく収音信号と、補聴器６００から取得した方向音信号とに基づいて、伝達特性を推定する。生成部１０５は、推定部１０４による伝達特性の推定結果に基づいて、補聴器６００のスピーカ６０５が発する音を補正するための特性情報を生成する。具体的には、生成部１０５は、補聴器６００を装着した状態のユーザに適したＨＲＴＦセットを生成する。
【００５５】
例えば、推定部１０４は、マイク１０３Ｌから取得した収音信号を用いて、上述の実施形態と同様に、ユーザの左耳における測定に基づく伝達特性を推定する。加えて、ユーザがマイク１０３Ｌの代わりに補聴器６００を装着した状態で測定が行われ、発音装置１０２Ｌから発した音がマイクアレイ６０１により収音される。そして推定部１０４は、マイクアレイ６０１により得られた収音信号に基づいて指向性制御部６０２により生成された方向音信号を取得し、その方向音信号に基づいて、補聴器６００を装着したユーザの左耳における測定に基づく伝達特性を推定する。これら２つの伝達特性は、左耳を含む矢状面上の同一上昇角で、耳穴入口から等距離で測定される。なお、補聴器６００を装着した状態の伝達特性を推定するために用いられる方向音信号は、測定に用いられたスピーカ２０１の方向にメインローブを向けるように指向性制御部６０２による信号処理が行われることで得られる信号である。
【００５６】
マイクアレイ６０１において収音される音は、マイクが耳近傍に装着されるために耳介の影響を受ける。しかし、マイクは耳穴入口に装着されるわけではなく、また補聴器６００の構造も音の伝搬に影響を与える。そのため、ユーザがマイク１０３Ｌを装着した場合とマイクアレイ６０１Ｌを装着した場合とで、音の伝達特性は異なる。そして、ユーザが補聴器６００装着した状態においても正確な音像定位を実現するためには、補聴器６００の影響を打ち消すように補正されたＨＲＴＦを用いるべきである。そこで推定部１０４は、下記のような計算を行って、補正された伝達特性を取得する。
【００５７】
Ｈ＿Ｃ（ｆ）＝Ｈ＿Ｆ（ｆ）／Ｈ＿ＨＡ（ｆ）
ここで、Ｈ＿Ｃ（ｆ）は補正された伝達特性（周波数特性）、Ｈ＿Ｆ（ｆ）は耳栓型のマイク１０３Ｌを用いた測定に基づいて推定された伝達特性、Ｈ＿ＨＡ（ｆ）は補聴器６００を装着した状態の測定に基づいて推定された伝達特性を示す。この処理は左右の耳それぞれについて、音源方向ごとに行われる。そして推定部１０４は、複数の上昇角それぞれについて、右耳と左耳の補正された伝達特性をセットとして出力する。本処理においてＨ＿ＨＡ（ｆ）＜＜Ｈ＿Ｆ（ｆ）となるような周波数帯域では、Ｈ＿Ｃ（ｆ）の値が非常に大きくなるため、Ｈ＿Ｃ（ｆ）に上限を設けてもよい。これにより、ＨＲＴＦを適用した音が耳障りな音になってしまう虞を低減できる。なお、左右の耳での測定において、あるいは耳栓型のマイク１０３Ｌとマイクアレイ６０１での測定において、音源方向の上昇角、側方角、及び距離の少なくともいずれかが等しくない場合があり得る。この場合には、情報処理システム１０について上述したような補正処理をさらに行ってもよい。
【００５８】
生成部１０５は、上記のような補正された伝達特性を推定部１０４から取得し、これに基づいてＨＲＴＦセットを生成してフィルタ生成部１０８へ出力する。設定部１０９は、補聴器６００を装着するユーザの聴力に応じた補正情報を設定する装置であり、補正情報に応じたフィルタの補正パラメータをフィルタ生成部１０８へ出力する。補正情報は、たとえば周波数帯ごとのゲインなどであり、専門の技師や医師による聴力検査の結果に基づいて設定される。フィルタ生成部１０８は、生成部１０５から取得したＨＲＴＦセットと設定部１０９から取得したパラメータとに基づいて、補聴器６００において用いられるＦＩＲフィルタを生成し、補聴器６００のフィルタ格納部６０４へ出力する。
【００５９】
図７は、情報処理システム３０の処理フローを示す。図７の処理は、たとえば補聴器６００の調整を行うための指示が情報処理システム３０に入力されたタイミングで開始される。Ｓ７０１において、設定部１０９は、補正情報を設定し、設定された補正情報に応じたフィルタの補正パラメータを情報処理装置１００へ出力する。Ｓ７０２において、測定システム２０は、耳栓型のマイク１０３Ｌ及びマイク１０３Ｒを用いた測定を行う。この処理は上述した情報処理システム１０における測定処理と同様である。Ｓ７０３において、情報処理装置１００は、補聴器６００を用いた測定の結果を取得する。なお、Ｓ７０２とＳ７０３の処理の順番は逆でもよい。
【００６０】
Ｓ７０４において、情報処理装置１００は、Ｓ７０２におよびＳ７０３における測定の結果に基づいて、伝達特性の推定および補正を行い、正中面の頭部伝達特性を再現するための特性情報を生成する。Ｓ７０５において、フィルタ生成部１０８は、Ｓ７０４において生成された特性情報と、Ｓ７０１において設定された補正情報とに基づいて、ユーザの聴覚に応じたフィルタデータを生成する。Ｓ７０６において、フィルタ生成部１０８は、各方向に対応するフィルタデータをフィルタデータのセットとして補聴器６００へ出力する。以上説明したように、情報処理システム３０によれば、小型の測定システム２０を用いて、補聴器６００による定位感を改善するための調整処理を行うことができる。
【００６１】
本実施形態においては、マイクアレイ６０１により得られた収音信号を指向性制御部６０２により処理することで方向音信号を生成するものとした。ただし、マイクアレイ６０１の代わりに、別々の方向に向くように設置された複数の指向性マイクロフォンが用いられてもよい。その場合、補聴器６００は指向性制御部６０２を有しなくてもよい。
【００６２】
また本実施形態では、フィルタ生成部１０８はＦＩＲフィルタを生成してフィルタ格納部６０４に出力するものとしたが、フィルタ生成部１０８はＩＩＲフィルタを生成してもよい。その場合、フィルタ格納部６０４にはＩＩＲフィルタのパラメータが格納され、畳み込み処理部６０３ではＩＩＲフィルタの適応処理が行われる。
【００６３】
本実施形態において、補聴器６００と情報処理装置１００との間のデータの伝送は、ケーブルを介した通信や無線通信により行われる。ただしこれに限らず、たとえば補聴器６００に取り外し可能な記憶装置を備え、そこに指向性制御部６０２からの出力を時刻情報などの同期信号とともに記録し、測定後に記憶装置を取り外して、情報処理装置１００へデータを受け渡すようにしてもよい。
【００６４】
上記の説明においては、ユーザが補聴器６００を両耳に装着する場合について説明したが、ユーザは補聴器６００を片耳に装着してもよい。この場合には、推定部１０４が補聴器６００を装着する側の耳の伝達特性について補正を行い、その結果に応じた特性情報がフィルタ生成部１０８へ出力されてもよい。また、補聴器６００が片耳に装着される場合、信号処理の遅延や左右の聴力の差による音像定位のずれを抑制するために、別途調整が行われてもよい。たとえば情報処理装置１００は、パンニング調整により補正を行ってもよい。音像は遅延の発生しない側（補聴器６００を装着していない側）に片寄る傾向にあるため、遅延の発生する補聴器６００を装着した側の音量を上昇させることにより、音像が正しく定位するように補正を行うことができる。また、音量調整処理を１つの音源方向についてだけではなくすべての音源方向について行うことで、方向によって音の距離感が変化する（音量を上げた方向の音像が近く感じる）ようになることを抑制できる。
【００６５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００６６】
１０  情報処理システム
２０  測定システム
１００  情報処理装置
１０２Ｌ、１０２Ｒ  発音装置
１０３Ｌ、１０３Ｒ  マイク
２０１  スピーカ
【図１】
2020086143.tif 000004
【図２】
2020086143.tif 000005
【図３】
2020086143.tif 000006
【図４】
2020086143.tif 000007
【図５】
2020086143.tif 000008
【図６】
2020086143.tif 000009
【図７】
2020086143.tif 000010