(57)【要約】【課題】簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従する。【解決手段】各時刻における前記各マイクロフォンの受音信号間の時間差を、各時刻における頭部の回転方向に対応する受信信号間の時間差で補正する時間差補正部１と、各時刻における時間差補正部１の出力信号に基づいて、出力信号間の誤差を算出する誤差算出部２と、誤差算出部２から出力された誤差を最小化する頭部の回転角を算出する方向算出部３と、を備える。また、時間差補正部１は、リサンプリングまたはオーバーサンプリングによる時間シフトを用いて、受音信号間の時間差を補正することも可能である。【選択図】図２
2011188444.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロフォンを有し、人体の頭部に装着された前記各マイクロフォンで受音した音波に基づいて、前記頭部の位置変化を推定するヘッドトラッキング装置であって、
音波を放射する端末装置と、
前記各マイクロフォンで受音された音波の時間差に基づいて、前記頭部の回転角を推定する位置変化推定部と、を備えることを特徴とするヘッドトラッキング装置。
【請求項２】
前記位置変化推定部は、
各時刻における前記各マイクロフォンの受音信号間の時間差を、前記各時刻における前記頭部の回転方向に対応する受信信号間の時間差で補正する時間差補正部と、
前記各時刻における前記時間差補正部の出力信号に基づいて、出力信号間の誤差を算出する誤差算出部と、
前記誤差算出部から出力された前記誤差を最小化する前記頭部の回転角を算出する方向算出部と、を備えることを特徴とする請求項１記載のヘッドトラッキング装置。
【請求項３】
前記時間差補正部は、リサンプリングまたはオーバーサンプリングによる時間シフトを用いて、受音信号間の時間差を補正することを特徴とする請求項２記載のヘッドトラッキング装置。
【請求項４】
前記誤差算出部は、前記出力信号間の差の二乗を前記誤差として出力することを特徴とする請求項２記載のヘッドトラッキング装置。
【請求項５】
前記方向算出部は、適応信号処理法を用いて前記誤差を最小化する前記頭部の回転角を算出することを特徴とする請求項２記載のヘッドトラッキング装置。
【請求項６】
前記方向算出部は、最急降下法を用いて前記誤差を最小化する前記頭部の回転角を算出することを特徴とする請求項２記載のヘッドトラッキング装置。
【請求項７】
前記端末装置は、１６ｋＨｚ以上の周波数の音波を放射することを特徴とする請求項１から請求項６のいずれかに記載のヘッドトラッキング装置。
【請求項８】
複数のマイクロフォンを有し、人体の頭部に装着された前記各マイクロフォンで受音した音波に基づいて、前記頭部の位置変化を推定するヘッドトラッキング装置の制御プログラムであって、
端末装置から音波を放射する処理と、
各時刻における前記各マイクロフォンの受音信号間の時間差を、前記各時刻における前記頭部の回転方向に対応する受信信号間の時間差で補正する処理と、
前記各時刻における前記補正後の信号に基づいて、出力信号間の誤差を算出する処理と、
前記算出された誤差を最小化する前記頭部の回転角を算出する処理と、を含む一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロフォンを有し、人体の頭部に装着された各マイクロフォンで受音した音波に基づいて、頭部の位置変化を推定するヘッドトラッキング装置に関する。
【背景技術】
【０００２】
従来から、音響信号処理技術の需要は、ディジタル信号処理技術の発展にともない益々高まっている。特に、サラウンドオーディオ分野の発展はめざましい。３次元音響技術という用語がコンシューマベースのオーディオ機器においても頻繁に登場してきていることは、この技術が大きく着目されていることを示している。一方、３次元音響技術は、リスニングルームやシアターなどにおけるエンターテイメントを目的としたものだけでなく、テレコミュニケーション、バーチャルリアリティ、視覚障害者の支援など、ヒューマンコンピュータインターフェースあるいは人と人とのコミュニケーションのツールとしての応用が盛んに試みられている。今後、コミュニケーションのためのインターフェースあるいはツールとしての３次元音響技術の重要性は益々高まると予想される。
【０００３】
このような３次元音響技術は、その再生方式により、スピーカを用いるものとヘッドホンを用いるものに大きく分類することができる。そのうち、ヘッドホンを用いるものについては、１９３０年代には、その基礎となる研究がすでに行なわれている。それは、受聴者の両耳の外耳道入口にプローブマイクロフォンを設置したバイノーラル録音（binaural recording）を行ない、ヘッドホンを用いたバイノーラル再生（binaural reproduction）を行なう手法である。
【０００４】
また、１９６０年代には、ダミーヘッド（dummy head；疑似頭）を用いたバイノーラル録音を行ない、伝送経路を経て、ヘッドホンを用いたバイノーラル再生を行なう手法が研究されている。これらの手法は、通信回線を介したコミュニケーションを実現するために、収音側を原音場（real sound field）、再生側を仮想音場（virtual sound field）と定義すると、原音場において、受聴者が両耳の鼓膜に受けると推測される音源からの音波を受音し、仮想音場において、ヘッドホンを用いたバイノーラル再生により受聴者の耳元付近でその音源からの音波を厳密に再生することが可能であり、あたかも空間を共有しているようなコミュニケーションのためのインターフェースあるいはツールと考えることができる。
【０００５】
１９８０年代には、Ｂｌａｕｅｒｔらにより、ダミーヘッドや受聴者で測定された音響経路の伝達関数を用いた仮想音源合成（virtual sound source synthesis）を行なう手法が提案されている。これは、受聴者が両耳の鼓膜に受けると推測される音源からの音波を、音響経路の伝達関数を用いて信号処理により合成する手法である。１９９０年代には、ディジタル信号処理技術の発展により、音響経路の伝達関数を用いた仮想音源合成の手法は、３  次元音響技術の多くに応用され、現在においても、多くの研究が活発に進められている。
【０００６】
このヘッドホンを用いたバイノーラル再生を行なうにあたり、重要となるのがヘッドトラッキング技術である。それは、原音場において、受聴者が両耳の鼓膜に受けると推測される音源からの音波を受音し、仮想音場において、ヘッドホンを用いたバイノーラル再生により受聴者の耳元付近でその音源からの音波を厳密に再生する際、もし、受聴者の頭部運動が行なわれると、仮想音場は受聴者の頭部運動に伴って回転してしまう問題がある。
【０００７】
この問題を解決するために、ヘッドトラッキング装置がある。ヘッドトラッキング装置は、一般に、座標の原点となる位置にヘッドトラッキングシステムの親機を設置し、ユーザはその子機を頭部に装着する。親機と子機の位置関係を超音波により随時測定し、頭部運動を推定するものである。また、加速度センサを用いたヘッドトラッキング装置もある。これは、複数の加速度センサを用い、頭部運動を推定するものである（特許文献１）。
【０００８】
特許文献１記載の技術では、人体の頭部の向いた３次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する２軸となす角度であるピッチ角及びロ─ル角の３軸で検出する場合に、ヨウ角を加速度の積分値から検出するジャイロセンサと、直立軸方向と直交する平面の傾斜を検出する傾斜センサと、傾斜センサの出力からピッチ角及びロ─ル角を算出する演算手段とが設けられている。これにより、ヘッドマウントディスプレイなどで、頭部が向いている方向の検出を可能としている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−０８５４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来の超音波を用いるヘッドトラッキング装置では、親機をある位置に固定する必要があった。このため、親機および子機共に運搬が困難で、一般に屋内での利用に限られるという問題があった。また、この超音波を用いるヘッドトラッキング装置では、数十から数百ミリ秒程度の所定時間長内において、親機および子機の位置変化がないことを仮定し、親機と子機の位置関係を音波の到達時間から推定している。このため、所定時間長内での位置変化に追従できないという問題がある。また、ヘッドトラッキング装置は、ユーザの頭部周辺に装着するため、小型かつ軽量に構成させることが好ましいが、複数の加速度センサを用いるヘッドトラッキング装置はヘッドホンより大型であり、好ましくなかった。
【００１１】
本発明は、このような事情に鑑みてなされたものであり、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができるヘッドトラッキング装置および制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のヘッドトラッキング装置は、複数のマイクロフォンを有し、人体の頭部に装着された前記各マイクロフォンで受音した音波に基づいて、前記頭部の位置変化を推定するヘッドトラッキング装置であって、音波を放射する端末装置と、前記各マイクロフォンで受音された音波の時間差に基づいて、前記頭部の回転角を推定する位置変化推定部と、を備えることを特徴とする。
【００１３】
このように、各マイクロフォンで受音された音波の時間差に基づいて、頭部の回転角を推定するので、未知のパラメータを回転角（θ）のみとすることができる。これにより、演算量の削減と演算速度の向上を図ることが可能となる。その結果、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。
【００１４】
（２）また、本発明のヘッドトラッキング装置において、前記位置変化推定部は、各時刻における前記各マイクロフォンの受音信号間の時間差を、前記各時刻における前記頭部の回転方向に対応する受信信号間の時間差で補正する時間差補正部と、前記各時刻における前記時間差補正部の出力信号に基づいて、出力信号間の誤差を算出する誤差算出部と、前記誤差算出部から出力された前記誤差を最小化する前記頭部の回転角を算出する方向算出部と、を備えることを特徴とする。
【００１５】
この構成により、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。
【００１６】
（３）また、本発明のヘッドトラッキング装置において、前記時間差補正部は、リサンプリングまたはオーバーサンプリングによる時間シフトを用いて、受音信号間の時間差を補正することを特徴とする。
【００１７】
この構成により、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。
【００１８】
（４）また、本発明のヘッドトラッキング装置において、前記誤差算出部は、前記出力信号間の差の二乗を前記誤差として出力することを特徴とする。
【００１９】
この構成により、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。
【００２０】
（５）また、本発明のヘッドトラッキング装置において、前記方向算出部は、適応信号処理法を用いて前記誤差を最小化する前記頭部の回転角を算出することを特徴とする。
【００２１】
この構成により、頭部の回転方向を連続的かつ逐次的に算出することができ、その結果、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。
【００２２】
（６）また、本発明のヘッドトラッキング装置において、前記方向算出部は、最急降下法を用いて前記誤差を最小化する前記頭部の回転角を算出することを特徴とする。
【００２３】
この構成により、頭部の回転方向を連続的かつ逐次的に算出することができ、その結果、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。
【００２４】
（７）また、本発明のヘッドトラッキング装置において、前記端末装置は、１６ｋＨｚ以上の周波数の音波を放射することを特徴とする。
【００２５】
この構成により、１６ｋＨｚ以上の周波数の音波は、可聴域を外れるため、仮想音場の再生や、他の環境音の聴取自体に影響を与えることを回避することが可能となる。
【００２６】
（８）また、本発明の制御プログラムは、複数のマイクロフォンを有し、人体の頭部に装着された前記各マイクロフォンで受音した音波に基づいて、前記頭部の位置変化を推定するヘッドトラッキング装置の制御プログラムであって、端末装置から音波を放射する処理と、各時刻における前記各マイクロフォンの受音信号間の時間差を、前記各時刻における前記頭部の回転方向に対応する受信信号間の時間差で補正する処理と、前記各時刻における前記補正後の信号に基づいて、出力信号間の誤差を算出する処理と、前記算出された誤差を最小化する前記頭部の回転角を算出する処理と、を含む一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴とする。
【００２７】
このように、各マイクロフォンで受音された音波の時間差に基づいて、頭部の回転角を推定するので、未知のパラメータを回転角（θ）のみとすることができる。これにより、演算量の削減と演算速度の向上を図ることが可能となる。その結果、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。また、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。
【発明の効果】
【００２８】
本発明によれば、各マイクロフォンで受音された音波の時間差に基づいて、頭部の回転角を推定するので、未知のパラメータを回転角（θ）のみとすることができる。これにより、演算量の削減と演算速度の向上を図ることが可能となる。その結果、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。
【図面の簡単な説明】
【００２９】
【図１】本実施形態に係るヘッドトラッキング装置の概念を示す図である。
【図２】本実施形態に係るヘッドトラッキング装置の概略構成を示す図である。
【図３】本実施形態に係るヘッドトラッキング装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。図１は、本実施形態に係るヘッドトラッキング装置の概念を示す図である。図１では、耳に装着された２つのマイクロフォンと音波を放射する携帯端末との関係を示した座標系を模式的に示している。座標系は、頭部の中心を原点とする相対座標系である。ユーザは、携帯端末装置（以下、単に「携帯端末」と呼称する。）を、人体に対して正面方向の任意位置で固定するように把持し、耳に２つのマイクロフォンを装着する。次に、携帯端末のスピーカから頭部回転を検出するための音波を放射する。この音波の周波数は、マイクロフォンで受音できる周波数帯域の範囲内であれば任意である。仮想音場の再生や他の環境音の聴取自体に影響を与えないように好ましくは１６ｋＨｚ以上の可聴困難な周波数を用いる。
【００３１】
耳に装着された２つのマイクロフォンＭｉ（ｉ＝１、２）は座標系のｘ軸上に配置され、その座標ｐｉ（ｉ＝１、２）は、予め与えられ、また、座標系は頭部の回転方向θに伴い、頭部の中心を原点に回転するものとする。人体に対して正面方向の任意位置で固定するように把持した携帯端末より放射される音源ｓからの音波が２つのマイクロフォンＭｉ（ｉ＝１、２）に最も単純に平面波で到来することを仮定すると、離散時刻ｋにおける受音信号系列ｘｉ（ｋ）（ｉ＝１、２）は、音源ｓから頭部中心の原点までの距離に依存した遅延時間τと頭部の回転方向θに依存した時間差δｉ（θ）＝ｐｉ・ｓｉｎ（θ）／ｃ（ｉ＝１、２）を有し、式（１）のように表すことができる。ここで、ｃは、音速で、ｎｉ（ｋ）（ｉ＝１、２）はその他の妨害音源である。各マイクロフォンで受音される音源の音圧レベルはその他の妨害音源の音圧レベルよりも大きいと仮定する。この時間差δｉ（θ）を推定することにより、頭部の回転方向θを得ることが可能である。
【００３２】
また、音源ｓからの音波が２つのマイクロフォンＭｉ（ｉ＝１、２）に球面波で到来する場合で、スピーカが接続されたＤＡ変換機とマイクロフォンが接続されたＡＤ変換機の同期が取れている場合、それらの到達時間を得ることは可能であるので、それらの到達時間と２つのマイクロフォンＭｉ（ｉ＝１、２）の座標ｐｉ（ｉ＝１、２）から頭部の回転方向θを得ることができる。さらに、音源ｓからの音波が２つのマイクロフォンＭｉ（ｉ＝１、２）に球面波で到来する場合で、スピーカが接続されたＤＡ変換機とマイクロフォンが接続されたＡＤ変換機の同期が取れていない場合でも、頭部の中心と携帯端末のスピーカとの距離を、携帯端末を把持する際の平均的な距離に設定すれば、時間差から頭部の回転方向θを得ることができる。
【００３３】
【数１】
2011188444.tif 000003
図２は、ヘッドトラッキング装置の概略構成を示す図である。上述した頭部の回転方向θに依存した時間差δｉ（θ）を推定する演算処理方法は数多存在するが、ここではその一例を示す。まず、時間差補正部１は、離散時刻ｋにおける受音信号系列ｘｉ（ｋ）（ｉ＝１、２）と方向算出部３から離散時刻ｋにおける頭部の回転方向θ（ｋ）を入力とし、離散時刻ｋにおける出力信号系列ｙｉ（ｋ）（ｉ＝１、２）を出力する。誤差算出部２は、離散時刻ｋにおける出力信号系列ｙｉ（ｋ）（ｉ＝１、２）を入力とし、離散時刻ｋにおける誤差ｅ（ｋ）を出力する。方向算出部３は、誤差算出部２から離散時刻ｋにおける誤差ｅ（ｋ）を入力とし、離散時刻ｋにおける頭部の回転方向θ（ｋ）を出力する。ｍはマイクロフォン数である。
【００３４】
本実施形態では、頭部の回転方向θが一定に保たれているかのように離散時刻ｋにおける受音信号系列ｘｉ（ｋ）（ｉ＝１、２）が補正できればよいので、遅延時間τは考慮する必要がない。そこで、頭部の回転方向θに依存した各マイクロフォンの受音信号間の時間差δｉ（θ）を補正するには、例えば、式（２）で示されるように時間シフトを実現するシンク関数ｓｉｎｃ（ｘ）を利用して、時間差δｉ（θ）を補正した出力信号系列ｙｉ（ｋ）（ｉ＝１、２）を得ることができる。Ｄは因果性を満たすための固定遅延、Ｎはシンク関数ｓｉｎｃ（ｘ）の長さ、Ｔはサンプリング間隔である。
【００３５】
【数２】
2011188444.tif 000004
ここで例示したシンク関数ｓｉｎｃ（ｘ）は、受音信号系列ｘｉ（ｋ）（ｉ＝１、２）から時間差δｉ（θ）を補正した出力信号系列ｙｉ（ｋ）（ｉ＝１、２）を得るためのリサンプリングの補間カーネルとして用いている。これは、単位遅延すなわちサンプリング間隔Ｔの整数倍以外の時間シフトを実現するためであり、サンプリング間隔Ｔを小さくできるオーバーサンプリングを施す、あるいはサンプリング間隔Ｔの整数倍の時間シフトでも必要な精度を満足するサンプリングレートを採用すれば、単位遅延の時間シフトで実現しても良い。このようにシンク関数を用いることによって、分解能を高くとることが可能となる。
【００３６】
誤差算出部２では、離散時刻ｋにおける出力信号系列ｙｉ（ｋ）（ｉ＝１、２）を用いて、式（３）に示すように、各出力信号間の差の２乗和を求めることで、時間差に依存した離散時刻ｋにおける誤差ｅ（ｋ）を算出する。この誤差ｅ（ｋ）は、各出力信号系列ｙｉ（ｋ）（ｉ＝１、２）の時間差が０の場合に最小化される誤差関数の１つであり、頭部の回転方向θが算出された際に最小化される。
【００３７】
【数３】
2011188444.tif 000005
方向算出部３では、離散時刻ｋにおける誤差算出部２の出力信号である誤差ｅ（ｋ）を用い、誤差ｅ（ｋ）を最小化する頭部の回転方向θを算出する。頭部の回転方向θの算出に最急降下法を用いた場合、式（４）に示すように、離散時刻ｋにおいて算出された頭部の回転方向θを用いて、次の離散時刻ｋ＋１における頭部の回転方向θを算出する。ここで、μはステップサイズパラメータである。
【００３８】
【数４】
2011188444.tif 000006
以上の手順を、各離散時刻において、連続的かつ逐次的に算出することで、音源である超音波を放射する携帯端末から見た頭部の方向の変化に追従することが可能になるため、携帯端末のスピーカから音波を放射し、耳に装着された２つのマイクロフォン、例えばマイクロフォン付きステレオイヤホンの２つのマイクロフォンでその音波を受音するだけで、簡便に利用でき、可搬が容易で、かつ、高速な方向の変化や所定時間長内での方向の変化に追従することが可能なヘッドトラッキング装置および方法を提供することを可能になる。
【００３９】
なお、時間差補正部１、誤差算出部２および方向算出部３は、位置変化推定部を構成する。
【００４０】
図３は、本実施形態に係るヘッドトラッキング装置の動作を示すフローチャートである。まず、頭部の回転角θの初期値を０とし（ステップＳ１）、次に、携帯端末から音波を放射する（ステップＳ２）。次に、耳に装着されたマイクロフォンで音波を受音し（ステップＳ３）、時間差補正部１で式（１）および式（２）に基づいて、時間差補正を行なう（ステップＳ４）。次に、誤差算出部２で式（３）を用いて誤差を算出し（ステップＳ５）、方向算出部３で式（４）を用いて誤差を算出する（ステップＳ６）。ここで求められた回転角θは、ステップＳ４において用いられる。次に、処理を終了するかどうかを判定し（ステップＳ７）、終了しない場合は、ループを繰り返し、ステップＳ３へ遷移する。一方、ステップＳ７において、終了する場合は、すべての処理を終了する。
【００４１】
以上のような本発明の特徴的な動作は、コンピュータにプログラムを実行させることによって実現することが可能である。すなわち、本実施形態に係る制御プログラムは、複数のマイクロフォンを有し、人体の頭部に装着された前記各マイクロフォンで受音した音波に基づいて、前記頭部の位置変化を推定するヘッドトラッキング装置の制御プログラムであって、端末装置から音波を放射する処理と、各時刻における前記各マイクロフォンの受音信号間の時間差を、前記各時刻における前記頭部の回転方向に対応する受信信号間の時間差で補正する処理と、前記各時刻における前記補正後の信号に基づいて、出力信号間の誤差を算出する処理と、前記算出された誤差を最小化する前記頭部の回転角を算出する処理と、を含む一連の処理を、コンピュータに読み取り可能および実行可能にコマンド化したことを特徴とする。このように、各マイクロフォンで受音された音波の時間差に基づいて、頭部の回転角を推定するので、未知のパラメータを回転角（θ）のみとすることができる。これにより、演算量の削減と演算速度の向上を図ることが可能となる。その結果、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。また、簡易な構成で、高速な方向の変化や所定時間長内での方向の変化に追従することができる。
【００４２】
以上説明したように、本実施形態に係るヘッドトラッキング装置によれば、高速な方向の変化や所定時間長内での方向の変化に追従することが可能なヘッドトラッキング装置を実現することが可能となる。これにより、携帯端末のスピーカから音波を放射し、耳に装着された２つのマイクロフォン、例えば、マイクロフォン付きステレオイヤホンの２つのマイクロフォンでその音波を受音することによって、ユーザは、簡便に利用でき、運搬が容易となる。
【符号の説明】
【００４３】
１  時間差補正部
２  誤差算出部
３  方向算出部
【図１】
2011188444.tif 000007
【図２】
2011188444.tif 000008
【図３】
2011188444.tif 000009