(57)【要約】【課題】  カメラ座標系に対する対象物の角度を高精度で算出することができるモーショントラッカ装置を提供する。【解決手段】  カメラ座標系に対する各光学マーカー７のそれぞれの実測位置を算出する実測位置算出部２４と、カメラ座標系に対する各光学マーカー７のそれぞれの基準位置を示す基準情報を記憶するための記憶部４２と、角度算出部２７とを備えるモーショントラッカ装置１であって、時間ｔ（ｎ−１）から時間ｔｎまでの角速度及び時間ｔｎの実測位置に基づいて、時間ｔ（ｎ−１）における各光学マーカー７のそれぞれの真位置を算出する真位置算出部２５と、基準情報を時間ｔ（ｎ−１）の真位置を用いて変更する更新部２６とを備え、角度算出部２７は、時間ｔ（ｎ＋１）の実測位置及び更新された基準情報に基づいて、時間ｔ（ｎ＋１）における基準座標系に対する対象物１０の角度を算出する。【選択図】図１
2014095557.tif 000002
【特許請求の範囲】
【請求項１】
対象物に取り付けられた３個以上の光学マーカーからなる光学マーカー群と、
カメラ座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、
検出された光線に基づいて、前記カメラ座標系に対する各光学マーカーのそれぞれの実測位置を算出する実測位置算出部と、
前記カメラ座標系に対する各光学マーカーのそれぞれの基準位置を示す基準情報を記憶するための記憶部と、
時間ｔｎの実測位置及び基準情報に基づいて、時間ｔｎにおける前記カメラ座標系に対する対象物の角度を算出する角度算出部とを備えるモーショントラッカ装置であって、
時間ｔ（ｎ−１）から時間ｔｎまでに前記対象物に作用した角速度を検出する角速度センサと、
時間ｔ（ｎ−１）から時間ｔｎまでの角速度及び時間ｔｎの実測位置に基づいて、時間ｔ（ｎ−１）における各光学マーカーのそれぞれの真位置を算出する真位置算出部と、
基準情報を時間ｔ（ｎ−１）の真位置を用いて変更する更新部とを備え、
前記角度算出部は、時間ｔ（ｎ＋１）の実測位置及び更新された基準情報に基づいて、時間ｔ（ｎ＋１）における前記カメラ座標系に対する対象物の角度を算出することを特徴とするモーショントラッカ装置。
【請求項２】
対象物に取り付けられた３個以上の光学マーカーからなる光学マーカー群と、
カメラ座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、
検出された光線に基づいて、前記カメラ座標系に対する各光学マーカーのそれぞれの実測位置を算出する実測位置算出部と、
前記カメラ座標系に対する各光学マーカーのそれぞれの基準位置を示す基準情報を記憶するための記憶部と、
時間ｔｎの実測位置及び基準情報に基づいて、時間ｔｎにおける前記カメラ座標系に対する対象物の角度を算出する角度算出部とを備えるモーショントラッカ装置であって、
時間ｔ（ｎ−１）から時間ｔｎまでに前記対象物に作用した加速度を検出する加速度センサと、
時間ｔ（ｎ−１）から時間ｔｎまでの加速度及び時間ｔｎの実測位置に基づいて、時間ｔ（ｎ−１）における各光学マーカーのそれぞれの真位置を算出する真位置算出部と、
基準情報を時間ｔ（ｎ−１）の真位置を用いて変更する更新部とを備え、
前記角度算出部は、時間ｔ（ｎ＋１）の実測位置及び更新された基準情報に基づいて、時間ｔ（ｎ＋１）における前記カメラ座標系に対する対象物の角度を算出することを特徴とするモーショントラッカ装置。
【請求項３】
前記対象物は、装着者の頭部に装着されるヘルメットであり、
前記光学マーカーは、発光ダイオードであることを特徴とする請求項１又は請求項２に記載のモーショントラッカ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置に設定されたカメラ座標系に対する対象物の現在角度を測定するモーショントラッカ装置（以下、ＭＴ装置ともいう）に関する。本発明は、例えば、ゲーム機や乗物等の移動体で用いられる頭部装着型表示装置付ヘルメットの現在角度（すなわち、現在の頭部角度）を測定するヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）等に利用される。
【背景技術】
【０００２】
時々刻々と変動する物体の現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機ではバーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在角度に合わせて、映像を変化させる必要があり、この頭部装着型表示装置付ヘルメットの現在角度を測定するために、ＨＭＴ装置が利用されている。
【０００３】
また、救難飛行艇（飛行体）による救難活動では、発見した救難目標を見失わないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応したときにロックすることによって、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体の緯度、経度、高度、姿勢に加えて、飛行体に設定された座標系に対するパイロットの頭部の現在角度を測定する必要があり、これにＨＭＴ装置が利用されている。
【０００４】
このようなＨＭＴ装置として、光学マーカー群として複数の発光体を頭部装着型表示装置付ヘルメットの外周面上に取り付け、発光体からの光をカメラ装置でモニタする光学方式のものが開示されている（例えば、特許文献１参照）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカー群として、ＬＥＤ（発光ダイオード）を互いに離隔するようにして３箇所に取り付け、頭部装着型表示装置付ヘルメットにおけるこれら３個のＬＥＤの相対的な位置（基準位置）Ｃｂを、設計情報（頭部装着型表示装置付ヘルメットの設計図等）を用いて予め記憶させておく。そして、これら３個のＬＥＤを、立体視が可能でかつ設置場所が固定された２台のカメラ（カメラ装置）で同時に撮影することで、所謂、三角測量の原理により、現在の３個のＬＥＤの位置（実測位置）Ｃｏを算出する。カメラ装置で頭部装着型表示装置付ヘルメットに固定された３点の位置（３個のＬＥＤの位置）Ｃｏが特定できれば、記憶された設計情報Ｃｂを参照することにより、頭部装着型表示装置付ヘルメットがどのくらい回転したかを特定でき、その結果、頭部装着型表示装置付ヘルメットの現在角度を算出している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２８４４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、光学マーカーとしてＬＥＤを使用した場合、初期情報として設計情報を記憶させることには問題があった。ここで、図６は、一般的なＬＥＤの概略構成を示す断面図である。ＬＥＤ５０は、半導体部５１と、反射板５２と、レンズ５３とを有する。図６に示すように、ＬＥＤの外形形状から求めた中心と、実際にＬＥＤが発光している中心（ＬＥＤの物理的発光中心）とに、製造の際に生じた差異が存在することがあり、ＬＥＤの外形形状から求めた中心（設計情報）Ｃｂを記憶させても、測定誤差が生じることがあった。また、頭部装着型表示装置付ヘルメットをパイロットが装着するときに、頭部装着型表示装置付ヘルメットの顎紐を締め付けることにより頭部に固定するが、その際に頭部装着型表示装置付ヘルメットが変形するともに、ＬＥＤも変形することもあった。さらに、ＬＥＤを長期に渡り使用していると、経年変質や劣化が生じることもあった。
そこで、本発明は、カメラ座標系に対する対象物の角度を高精度で算出することができるモーショントラッカ装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するためになされた本発明のモーショントラッカ装置は、対象物に取り付けられた３個以上の光学マーカーからなる光学マーカー群と、カメラ座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、検出された光線に基づいて、前記カメラ座標系に対する各光学マーカーのそれぞれの実測位置を算出する実測位置算出部と、前記カメラ座標系に対する各光学マーカーのそれぞれの基準位置を示す基準情報を記憶するための記憶部と、時間ｔｎの実測位置及び基準情報に基づいて、時間ｔｎにおける前記カメラ座標系に対する対象物の角度を算出する角度算出部とを備えるモーショントラッカ装置であって、時間ｔ（ｎ−１）から時間ｔｎまでに前記対象物に作用した角速度を検出する角速度センサと、時間ｔ（ｎ−１）から時間ｔｎまでの角速度及び時間ｔｎの実測位置に基づいて、時間ｔ（ｎ−１）における各光学マーカーのそれぞれの真位置を算出する真位置算出部と、基準情報を時間ｔ（ｎ−１）の真位置を用いて変更する更新部とを備え、前記角度算出部は、時間ｔ（ｎ＋１）の実測位置及び更新された基準情報に基づいて、時間ｔ（ｎ＋１）における前記カメラ座標系に対する対象物の角度を算出することを特徴としている。
【０００８】
ここで、「角速度センサ」とは、センサ自体に３軸が定義されて、この３軸を基準とする角速度を検出できるもののことをいい、例えば、ジャイロセンサ等が用いられる。なお、ジャイロセンサは、一般的に短時間では高い精度を確保することができるが、長時間では高い精度を確保することはできない。そこで、本発明では、基準情報を更新するため（キャリブレーション）に用いられることになる。
また、「カメラ座標系に対する対象物の角度」とは、ロール方向（カメラ座標系のＸ軸に対する回転）の角度ＲＬと、エレベーション方向（カメラ座標系のＹ軸に対する回転）の角度ＥＬと、アジマス方向（カメラ座標系のＺ軸に対する回転）の角度ＡＺとのことをいう。
【０００９】
本発明のＭＴ装置によれば、３個以上の光学マーカーが対象物に取り付けられている。そして、カメラ座標系に対する３個以上の光学マーカーの基準位置Ｃｂを示す基準情報を、設計情報（頭部装着型表示装置付ヘルメットの設計図等）を用いて記憶させる。このとき、この基準情報Ｃｂには、光学マーカーの外形形状から求めた中心と、実際に光学マーカーが発光している中心とに、製造時に生じた差異が存在したり、ヘルメットの顎紐等を締め付ける際にヘルメットが変形したりするため、誤差が生じる。
【００１０】
そして、カメラ座標系に対する対象物の現在角度を測定する際には、まず、カメラ装置が、時間ｔ１において、光学マーカーからの光線を立体視で検出する。実測位置算出部は、検出された光線に基づいて、時間ｔ１におけるカメラ座標系に対する光学マーカーの位置（実測位置）Ｃｏ１を算出する。角度算出部は、時間ｔ１の実測位置Ｃｏ１及び基準情報Ｃｂに基づいて、時間ｔ１におけるカメラ座標系に対する対象物の角度を算出する。このとき、上述したように基準情報Ｃｂは誤差が生じたものとなっているので、基準情報Ｃｂのキャリブレーションを実行するため、角速度センサは、測定開始時間ｔ０から時間ｔ１までに対象物に作用した角速度を検出する。真位置算出部は、測定開始時間ｔ０から時間ｔ１までの角速度と時間ｔ１の実測位置Ｃｏ１とに基づいて、測定開始時間ｔ０における光学マーカーの位置（真位置）Ｃｇ０を算出する。そして、記憶させた基準情報Ｃｂを、測定開始時間ｔ０の真位置Ｃｇ０を用いて新たな基準情報Ｃｂ０に変更する。このとき、この新たな基準情報Ｃｂ０では、光学マーカーの外形形状から求めた中心と、実際に光学マーカーが発光している中心とに、製造の際に生じた差異が存在したり、ヘルメットの顎紐等を締め付ける際にヘルメットが変形したりすることによる誤差はないものとなる。
【００１１】
次に、カメラ装置が、時間ｔ２において、光学マーカーからの光線を立体視で検出する。実測位置算出部は、検出された光線に基づいて、時間ｔ２におけるカメラ座標系に対する光学マーカーの位置（実測位置）Ｃｏ２を算出する。角度算出部は、時間ｔ２の実測位置Ｃｏ２及び新たな基準情報Ｃｂ０に基づいて、時間ｔ２におけるカメラ座標系に対する対象物の角度を算出する。このとき、この基準情報Ｃｂ０は、光学マーカーに経年変質や劣化が生じるため、誤差が生じたものとなっているので、基準情報Ｃｂ０のキャリブレーションを実行するため、角速度センサは、時間ｔ１から時間ｔ２までに対象物に作用した角速度を検出する。真位置算出部は、時間ｔ１から時間ｔ２までの角速度と時間ｔ２の実測位置Ｃｏ２とに基づいて、時間ｔ１における光学マーカーの位置（真位置）Ｃｇ１を算出する。そして、記憶させた基準情報Ｃｂ０を、時間ｔ１の真位置Ｃｇ１を用いて新たな初期情報Ｃｂ１に変更する。このとき、この新たな基準情報Ｃｂ１では、時間ｔ１までに生じた光学マーカーの経年変質や劣化による誤差はないものとなる。
【００１２】
次に、カメラ装置が、時間ｔ３において、光学マーカーからの光線を立体視で検出する。実測位置算出部は、検出された光線に基づいて、時間ｔ３におけるカメラ座標系に対する光学マーカーの位置（実測位置）Ｃｏ３を算出する。角度算出部は、時間ｔ３の実測位置Ｃｏ３及び新たな基準情報Ｃｂ１に基づいて、時間ｔ３におけるカメラ座標系に対する対象物の角度を算出する。このとき、この基準情報Ｃｂ１は、時間ｔ１から時間ｔ３までの間に光学マーカーに経年変質や劣化が生じるため、誤差が生じたものとなっているので、基準情報Ｃｂ１のキャリブレーションを実行するため、角速度センサは、時間ｔ２から時間ｔ３までに対象物に作用した角速度を検出する。真位置算出部は、時間ｔ２から時間ｔ３までの角速度と時間ｔ３の実測位置Ｃｏ３とに基づいて、時間ｔ２における光学マーカーの位置（真位置）Ｃｇ２を算出する。そして、記憶させた基準情報Ｃｂ１を、時間ｔ２の真位置Ｃｇ２を用いて新たな基準情報Ｃｂ２に変更する。このとき、この新たな基準情報Ｃｂ２では、時間ｔ２までに生じた光学マーカーの経年変質や劣化による誤差はないものとなる。
【発明の効果】
【００１３】
以上のように、本発明のＭＴ装置によれば、基準情報を、時間ｔ（ｎ−１）の真位置Ｃｇ（ｎ−１）を用いて変更していく。つまり、基準情報のキャリブレーションをリアルタイムで実行する。これにより、角度算出部は、精度よく、カメラ座標系に対する対象物の角度を算出することができる。
【００１４】
（他の課題を解決するための手段および効果）
また、本発明のモーショントラッカ装置は、対象物に取り付けられた３個以上の光学マーカーからなる光学マーカー群と、カメラ座標系が設定され、前記光学マーカーからの光線を立体視で検出するカメラ装置と、検出された光線に基づいて、前記カメラ座標系に対する各光学マーカーのそれぞれの実測位置を算出する実測位置算出部と、前記カメラ座標系に対する各光学マーカーのそれぞれの基準位置を示す基準情報を記憶するための記憶部と、時間ｔｎの実測位置及び基準情報に基づいて、時間ｔｎにおける前記カメラ座標系に対する対象物の角度を算出する角度算出部とを備えるモーショントラッカ装置であって、時間ｔ（ｎ−１）から時間ｔｎまでに前記対象物に作用した加速度を検出する加速度センサと、時間ｔ（ｎ−１）から時間ｔｎまでの加速度及び時間ｔｎの実測位置に基づいて、時間ｔ（ｎ−１）における各光学マーカーのそれぞれの真位置を算出する真位置算出部と、基準情報を時間ｔ（ｎ−１）の真位置を用いて変更する更新部とを備え、前記角度算出部は、時間ｔ（ｎ＋１）の実測位置及び更新された基準情報に基づいて、時間ｔ（ｎ＋１）における前記カメラ座標系に対する対象物の角度を算出することを特徴としている。
【００１５】
ここで、「加速度センサ」とは、センサ自体に３軸が定義されて、この３軸を基準とする３軸方向の加速度を検出できるもののことをいい、例えば、加速度センサ等が用いられる。なお、加速度センサは、一般的に短時間では高い精度を確保することができるが、長時間では高い精度を確保することはできない。そこで、本発明では、基準情報を更新するため（キャリブレーション）に用いられることになる。
また、「カメラ座標系に対する対象物の角度」とは、ロール方向（カメラ座標系のＸ軸に対する回転）の角度ＲＬと、エレベーション方向（カメラ座標系のＹ軸に対する回転）の角度ＥＬと、アジマス方向（カメラ座標系のＺ軸に対する回転）の角度ＡＺとのことをいう。
【００１６】
以上のように、本発明のＭＴ装置によれば、基準情報を、時間ｔ（ｎ−１）の真位置Ｃｇ（ｎ−１）を用いて変更していく。つまり、基準情報のキャリブレーションをリアルタイムで実行する。これにより、角度算出部は、精度よく、カメラ座標系に対する対象物の角度を算出することができる。
【００１７】
上記発明において、前記対象物は、装着者の頭部に装着されるヘルメットであり、前記光学マーカーは、発光ダイオードであるようにしてもよい。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態であるＨＭＴ装置の概略構成を示す図。
【図２】図１に示す頭部装着型表示装置付ヘルメットの斜視図。
【図３】カメラ座標系（ＸＹＺ座標系）の設定を説明する図。
【図４】頭部装着型表示装置付ヘルメットの移動動作を説明する図。
【図５】ＨＭＴ装置による測定動作を説明するフローチャート。
【図６】一般的なＬＥＤの概略構成を示す断面図。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれる。
【００２０】
図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメットの斜視図である。また、図３は、カメラ座標系（ＸＹＺ座標系）の設定を説明するための図である。本実施形態は、搭乗体３０に搭乗するパイロットＰが着用する頭部装着型表示装置付ヘルメット１０の現在角度を算出するものである。つまり、ＨＭＴ装置１は、搭乗体３０に設定されたカメラ座標系（ＸＹＺ座標系）に対する、パイロットＰが着用する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度（ＲＬｎ、ＥＬｎ、ＡＺｎ）を所定の時間間隔Δｔｏで算出していく。なお、カメラ座標系（ＸＹＺ座標系）は、後述するカメラ装置３１を基準とするものであり、カメラ座標系記憶部４３に予め記憶され、一方、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、設計情報（頭部装着型表示装置付ヘルメットの設計図等）が用いられてヘルメット座標系記憶部４４に記憶されることになる。
ＨＭＴ装置１は、パイロットＰの頭部に装着される頭部装着型表示装置付ヘルメット１０と、搭乗体３０に取り付けられたカメラ装置３１と、コンピュータにより構成される制御部２０とから構成される。
【００２１】
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することによりパイロットＰの目に導くコンバイナ８と、ＬＥＤ（光学マーカー）群７と、３軸ジャイロセンサ（角速度センサ）９と、顎紐６とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロットＰは、表示器による表示画像とコンバイナ８の前方実在物とを視認することが可能となっている。
ＬＥＤ群７は、互いに異なる波長の赤外光を発光する３個のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして取り付けられたものである。
【００２２】
ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直となる方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直となる方向をＺ’軸方向とするように、設計情報（頭部装着型表示装置付ヘルメットの設計図等）によりヘルメット座標系記憶部４４に記憶される。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置も、設計情報（頭部装着型表示装置付ヘルメットの設計図等）によりヘルメット座標系記憶部４４に記憶される。
【００２３】
そして、頭部装着型表示装置付ヘルメット１０は、パイロットＰに装着される際において、まず第一（測定開始時間ｔ０）に、カメラ座標系（ＸＹＺ座標系）上の所定位置（例えば、ＸＹＺ座標系とＸ’Ｙ’Ｚ’座標系とが一致する位置）にパイロットＰの頭部を配置するよう指示を発し、初期状態（基準情報）として、カメラ座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度（ＲＬ０、ＥＬ０、ＡＺ０）が基準角度（０、０、０）となるようにされている。このとき、各ＬＥＤ７ａ、７ｂ、７ｃはそれぞれの基準位置Ｃｂに配置されることになり、原点をＬＥＤ７ａの位置とし、ＬＥＤ７ａとＬＥＤ７ｂとＬＥＤ７ｃとで形成された平面に垂直となる方向となる基準ベクトルＶ（Ｃｂ）も基準方向に配置されることになる。図４（ａ）は、初期状態の頭部装着型表示装置付ヘルメット１０を示す斜視図である。
【００２４】
３軸ジャイロセンサ９は、頭部装着型表示装置付ヘルメット１０に作用する角速度を検出するものである。また、３軸ジャイロセンサ９は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）に軸を合わせるようにして、頭部装着型表示装置付ヘルメット１０に取り付けられている。よって、ロール方向（Ｘ’軸に対する回転）、エレベーション方向（Ｙ’軸に対する回転）、アジマス方向（Ｚ’軸に対する回転）における角速度（ω’ＲＬ、ω’ＥＬ、ω’ＡＺ）が検出される。
なお、３軸ジャイロセンサ９は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点に取り付けられてもよく、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点以外の位置に取り付けられた場合には、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点の位置での角速度（ω’ＲＬ、ω’ＥＬ、ω’ＡＺ）を求めるためにオフセット行列Ｍ０を乗算したりする一般的な計算方法等で変換されることになる。
【００２５】
搭乗体３０は、パイロットＰが搭乗するコックピットであり、パイロットＰが着席する座席３２と、カメラ装置３１とを備える。
カメラ装置３１は、第一カメラ３１ａと第二カメラ３１ｂとからなり、撮影方向が頭部装着型表示装置付ヘルメット１０に向けられているとともに、頭部装着型表示装置付ヘルメット１０の立体視が可能な一定の距離ｄを隔てるように、搭乗体３０の天井に固定軸３１ｃを介して設置されている。これにより、第一カメラ３１ａで撮影された第一画像が作成されるとともに、第二カメラ３１ｂで撮影された第二画像が作成される。
そして、第一画像及び第二画像中に映し出されているＬＥＤ７ａ、７ｂ、７ｃの位置により、第一カメラ３１ａからの方向角度αと第二カメラ３１ｂからの方向角度βとを算出し、第一カメラ３１ａと第二カメラ３２ｂとの間の距離ｄを用いることにより、所謂、三角測量の手法で、カメラ装置３１に対するＬＥＤ７ａ、７ｂ、７ｃの位置を算出できるようになっている（図３参照）。
【００２６】
このとき、ＬＥＤ７ａ、７ｂ、７ｃの位置を空間座標で表現できるようにするために、カメラ装置３１に設定されたカメラ座標系（ＸＹＺ座標系）を用いる。カメラ座標系（ＸＹＺ座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図３に示すように、第二カメラ３１ｂから第一カメラ３１ａへの方向をＸ軸方向とし、Ｘ軸方向に垂直かつ左向きとなる方向をＹ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で上向きとなる方向をＺ軸方向とするように定義し、原点を第一カメラ３１ａと第二カメラ３１ｂとの中点として定義するようにカメラ座標系記憶部４３に予め設定されている。
【００２７】
これにより、時間ｔｎでのカメラ座標系（ＸＹＺ座標系）上の３個のＬＥＤ７ａ、７ｂ、７ｃの実測位置Ｃｎを算出し、原点をＬＥＤ７ａの位置とし、ＬＥＤ７ａとＬＥＤ７ｂとＬＥＤ７ｃとで形成された平面に垂直となる方向となる実測ベクトルＶ（Ｃｎ）を算出することができる。図４（ｂ）は、時間ｔ（ｎ−１）の頭部装着型表示装置付ヘルメット１０を示す斜視図であり、図４（ｃ）は、時間ｔｎの頭部装着型表示装置付ヘルメット１０を示す斜視図である。そして、基準ベクトルＶ（Ｃｂ）や実測ベクトルＶ（Ｃ（ｎ−１））から実測ベクトルＶ（Ｃｎ）がどのくらい回転したかを算出することで、頭部装着型表示装置付ヘルメット１０の現在角度（ＲＬｎ、ＥＬｎ、ＡＺｎ）を算出するようになっている。
【００２８】
制御部２０は、ＣＰＵ２１やメモリ４０等からなるコンピュータにより構成され、各種の制御や演算処理を行う。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、画像取得部２８と、角速度取得部２３と、実測位置算出部２４と、真位置算出部２５と、更新部２６と、角度算出部２７と、ヘルメット座標系記憶制御部２２とを有する。また、メモリ４０は、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、カメラ座標系（ＸＹＺ座標系）を予め記憶するカメラ座標系記憶部４３と、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶するためのヘルメット座標系記憶部４４と、基準情報Ｃｂｎを記憶するための基準情報記憶部４２とを有する。
【００２９】
ヘルメット座標系記憶制御部２２は、操作者の入力操作によってヘルメット座標系記憶部４４にヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶させる制御を行う。具体的には、操作者は設計情報（頭部装着型表示装置付ヘルメットの設計図等）を用いて入力操作することにより、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）をヘルメット座標系記憶部４４に記憶させるとともに、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置についても、設計情報（頭部装着型表示装置付ヘルメットの設計図等）を用いて入力操作することにより、ヘルメット座標系記憶部４４に記憶させる。
そして、ヘルメット座標系記憶制御部２２は、測定開始時間ｔ０には、カメラ座標系（ＸＹＺ座標系）上の所定位置にパイロットＰの頭部を配置するように指示する。その結果、初期状態（基準情報）Ｃｂとして、カメラ座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度（ＲＬ０、ＥＬ０、ＡＺ０）が基準角度（０、０、０）となり、設計情報（頭部装着型表示装置付ヘルメットの設計図等）から算出することで、各ＬＥＤ７ａ、７ｂ、７ｃはそれぞれの基準位置Ｃｂに配置されることとし、基準ベクトルＶ（Ｃｂ）も基準方向に配置されることとする（図４（ａ）参照）。
【００３０】
画像取得部２８は、ＬＥＤ群７を点灯する指令信号を出力するとともに、カメラ装置３１でＬＥＤ群７を撮影することにより、第一画像及び第二画像を所定の時間間隔Δｔｏで取得していく制御を行う。
角速度取得部２３は、３軸ジャイロセンサ９から角速度（ω’ＲＬ、ω’ＥＬ、ω’ＡＺ）を所定の時間間隔Δｔｇで取得する制御を行う。
【００３１】
実測位置算出部２４は、時間ｔｎの第一画像と時間ｔｎの第二画像とに基づいて、カメラ座標系（ＸＹＺ座標系）に対する、ＬＥＤ群７のそれぞれの実測位置Ｃｎを算出し、実測ベクトルＶ（Ｃｎ）を算出する制御を行う。具体的には、時間ｔｎの第一画像と時間ｔｎの第二画像中に映し出されているＬＥＤ７ａ、７ｂ、７ｃの位置により、第一カメラ３１ａからの方向角度αと第二カメラ３１ｂからの方向角度βとを算出し、第一カメラ３１ａと第二カメラ３２ｂとの間の距離ｄを用いることにより、三角測量の手法で、時間ｔｎにおけるＬＥＤ７ａ、７ｂ、７ｃの実測位置Ｃｎを算出する。そして、時間ｔｎにおけるＬＥＤ７ａ、７ｂ、７ｃの実測位置Ｃｎから、時間ｔｎにおける実測ベクトルＶ（Ｃｎ）を算出する（図４（ｃ）参照）。
【００３２】
角度算出部２７は、実測位置算出部２４で算出された実測ベクトルＶ（Ｃｎ）と、基準情報記憶部４２に記憶された基準情報Ｃｂ（ｎ−２）とに基づいて、時間ｔｎにおけるヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度（ＲＬｎ、ＥＬｎ、ＡＺｎ）を算出する制御を行う。具体的には、詳細は後述するが、基準情報記憶部４２から最新の基準情報Ｃｂ（ｎ−２）を呼び出す。つまり、ＬＥＤ７ａ、７ｂ、７ｃの基準位置Ｃｂ（ｎ−２）を呼び出すとともに、基準ベクトルＶ（Ｃｂ（ｎ−２））を呼び出す。そして、基準ベクトルＶ（Ｃｂ（ｎ−２））から実測ベクトルＶ（Ｃｎ）がどのくらい回転したかを算出する。これにより、時間ｔ（ｎ−２）における頭部装着型表示装置付ヘルメット１０の角度（ＲＬ（ｎ−２）、ＥＬ（ｎ−２）、ＡＺ（ｎ−２））からどのくらい回転したかを算出し、時間ｔｎでの頭部装着型表示装置付ヘルメット１０の角度（ＲＬｎ、ＥＬｎ、ＡＺｎ）を算出する。なお、時間ｔ１でのヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度（ＲＬ１、ＥＬ１、ＡＺ１）を算出する際には、基準情報Ｃｂ−１は存在しないため、設計情報を用いて記憶された基準位置Ｃｂを用いることになる。
【００３３】
真位置算出部２５は、時間ｔ（ｎ−１）から時間ｔｎまでの角速度（ω’ＲＬ、ω’ＥＬ、ω’ＡＺ）と、実測位置算出部２４で算出された実測ベクトルＶ（Ｃｎ）とに基づいて、時間ｔ（ｎ−１）におけるＬＥＤ群７のそれぞれの真位置Ｃｇ（ｎ−１）を算出する制御を行う。具体的には、時間ｔ（ｎ−１）から時間ｔｎまでの角速度（ω’ＲＬ、ω’ＥＬ、ω’ＡＺ）を積分することにより、時間ｔ（ｎ−１）から時間ｔｎまでのヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度移動量（ΔＲＬ、ΔＥＬ、ΔＡＺ）を算出する。次に、時間ｔｎにおける実測ベクトルＶ（Ｃｎ）を角度移動量（ΔＲＬ、ΔＥＬ、ΔＡＺ）分だけ戻すことにより、時間ｔ（ｎ−１）における真ベクトルＶ（Ｃｇ（ｎ−１））を算出する。次に、時間ｔ（ｎ−１）における真ベクトルＶ（Ｃｇｎ）から、時間ｔ（ｎ−１）におけるＬＥＤ７ａ、７ｂ、７ｃの真位置Ｃｇ（ｎ−１）を算出する（図４参照）。
【００３４】
更新部２６は、基準情報記憶部４２に記憶された基準情報Ｃｂ（ｎ−２）を、時間ｔ（ｎ−１）の真位置Ｃｇ（ｎ−１）を用いて新たな基準情報Ｃｂ（ｎ−１）に変更する制御を行う。具体的には、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度（ＲＬ（ｎ−１）、ＥＬ（ｎ−１）、ＡＺ（ｎ−１））のときには、ＬＥＤ７ａ、７ｂ、７ｃは真位置Ｃｇ（ｎ−１）に存在したとするように、基準情報Ｃｂ（ｎ−１）として基準情報記憶部４２に記憶させる。つまり、時間ｔ（ｎ−１）には、ＬＥＤ７ａ、７ｂ、７ｃは実測位置Ｃ（ｎ−１）に存在するとして、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度（ＲＬ（ｎ−１）、ＥＬ（ｎ−１）、ＡＺ（ｎ−１））は算出されたが、実際にはＬＥＤ７ａ、７ｂ、７ｃは真位置Ｃｇ（ｎ−１）に存在したとするようにキャリブレーションする。
【００３５】
次に、ＨＭＴ装置１により頭部装着型表示装置付ヘルメット１０の角度（ＲＬｎ、ＥＬｎ、ＡＺｎ）を測定する測定動作について説明する。図５は、ＨＭＴ装置１による測定動作について説明するためのフローチャートである。
まず、ステップＳ１０１の処理において、操作者は設計情報（頭部装着型表示装置付ヘルメットの設計図等）を用いて入力操作することにより、ヘルメット座標系記憶部４４にヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）と、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での３個のＬＥＤ７ａ、７ｂ、７ｃの位置を記憶させる。
【００３６】
次に、ステップＳ１０２の処理において、パイロットＰは、頭部装着型表示装置付ヘルメット１０を装着して、時間ｔｎを測定開始時間ｔ０とし、カメラ座標系（ＸＹＺ座標系）上の所定位置に頭部を配置する。
次に、ステップＳ１０３の処理において、時間ｔｎを時間ｔ（ｎ＋１）とする。
【００３７】
次に、ステップＳ１０４の処理において、画像取得部２８は、ＬＥＤ群７を点灯する指令信号を出力するとともに、カメラ装置３１でＬＥＤ群７を撮影することにより、時間ｔｎの第一画像及び時間ｔｎの第二画像を取得する。
次に、ステップＳ１０５の処理において、角速度取得部２３は、３軸ジャイロセンサ９から時間ｔ（ｎ−１）から時間ｔｎまでの角速度（ω’ＲＬ、ω’ＥＬ、ω’ＡＺ）を取得する。
【００３８】
次に、ステップＳ１０６の処理において、実測位置算出部２４は、時間ｔｎの第一画像及び時間ｔｎの第二画像に基づいて、カメラ座標系（ＸＹＺ座標系）に対する、ＬＥＤ７ａ、７ｂ、７ｃの実測位置Ｃｎを算出し、実測ベクトルＶ（Ｃｎ）を算出する。
次に、ステップＳ１０７の処理において、角度算出部２７は、基準情報記憶部４２から最新の基準情報Ｃｂ（ｎ−２）を呼び出す。つまり、ＬＥＤ７ａ、７ｂ、７ｃの基準位置Ｃｂ（ｎ−２）を呼び出すとともに、基準ベクトルＶ（Ｃｂ（ｎ−２））を呼び出す。なお、時間ｔ１におけるヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度（ＲＬ１、ＥＬ１、ＡＺ１）を算出する際には、基準情報Ｃｂ−１は存在しないため、基準位置Ｃｂを用いることになる。
【００３９】
次に、ステップＳ１０８の処理において、角度算出部２７は、基準ベクトルＶ（Ｃｂ（ｎ−２））から実測ベクトルＶ（Ｃｎ）がどのくらい回転したかを算出し、時間ｔ（ｎ−２）での頭部装着型表示装置付ヘルメット１０の角度（ＲＬ（ｎ−２）、ＥＬ（ｎ−２）、ＡＺ（ｎ−２））からどのくらい回転したかを算出し、頭部装着型表示装置付ヘルメットの角度（ＲＬｎ、ＥＬｎ、ＡＺｎ）を算出する。
次に、ステップＳ１０９の処理において、真位置算出部２５は、時間ｔ（ｎ−１）から時間ｔｎまでの角速度（ω’ＲＬ、ω’ＥＬ、ω’ＡＺ）を積分することにより、時間ｔ（ｎ−１）から時間ｔｎまでのヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度移動量（ΔＲＬ、ΔＥＬ、ΔＡＺ）を算出する。
【００４０】
次に、ステップＳ１１０の処理において、真位置算出部２５は、時間ｔ（ｎ−１）における真ベクトルＶ（Ｃｇ（ｎ−１））を算出し、時間ｔ（ｎ−１）におけるＬＥＤ７ａ、７ｂ、７ｃの真位置Ｃｇ（ｎ−１）を算出する。
次に、ステップＳ１１１の処理において、更新部２６は、基準情報記憶部４２に記憶された基準情報Ｃｂ（ｎ−２）を、時間ｔ（ｎ−１）の真位置Ｃｇ（ｎ−１）を用いて新たな基準情報Ｃｂ（ｎ−１）に変更して記憶させる。
【００４１】
次に、ステップＳ１１２の処理において、測定を終了するか否かを判定する。測定を終了すると判定したときには、本フローチャートを終了させる。一方、測定を終了しないと判定したときには、ステップＳ１０３の処理に戻る。つまり、測定を終了すると判定するときまで、ステップＳ１０３〜Ｓ１１１の処理は繰り返される。
【００４２】
以上のように、本発明のＨＭＴ装置１によれば、基準情報Ｃｂ（ｎ−２）を、時間ｔ（ｎ−１）の真位置Ｃｇ（ｎ−１）を用いて変更していく。つまり、基準情報Ｃｂｎのキャリブレーションをリアルタイムで実行する。これにより、角度算出部２７は、精度よく、カメラ座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の角度（ＲＬｎ、ＥＬｎ、ＡＺｎ）を算出することができる。
【００４３】
＜他の実施形態＞
（１）上述したＨＭＴ装置１において、３軸ジャイロセンサ９が用いられる構成としたが、加速度センサが用いられるような構成としてもよい。なお、加速度センサからは、公知の計算方法が用いられて角度移動量（ΔＲＬ、ΔＥＬ、ΔＡＺ）が算出されることになる。
【００４４】
（２）上述したＨＭＴ装置１において、ＬＥＤ群７は、互いに異なる波長の赤外光を発光する構成としたが、全てのＬＥＤは、同一の波長の光を発光するようにして、例えば、各ＬＥＤをそれぞれ個別に追跡して区別する方法（例えば、前記特許文献１に記載のＬＥＤ識別方法）を用いたり、各ＬＥＤの形状をそれぞれ変えたりして、互いを識別されるような構成としてもよい。また、ＬＥＤ群は、赤外光以外の光を発光するような構成としてもよい。
【００４５】
（３）上述したＨＭＴ装置１において、ＬＥＤ群７は、３個のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして取り付けられた構成としたが、例えば１０個のＬＥＤが互いに離隔するようにして取り付けられたような構成としてもよい。
【産業上の利用可能性】
【００４６】
本発明は、搭乗体に設定されたカメラ座標系に対する搭乗員等の頭部角度を測定するためのヘッドモーショントラッカ装置等に利用することができる。
【符号の説明】
【００４７】
１  ヘッドモーショントラッカ（ＨＭＴ）装置
７  ＬＥＤ（光学マーカー）
９  ３軸ジャイロセンサ（角速度センサ）
１０  頭部装着型表示装置付ヘルメット（対象物）
２４  実測位置算出部
２５  真位置算出部
２６  更新部
２７  角度算出部
３１  カメラ装置
４２  基準情報記憶部
【図１】
2014095557.tif 000003
【図２】
2014095557.tif 000004
【図３】
2014095557.tif 000005
【図４】
2014095557.tif 000006
【図５】
2014095557.tif 000007
【図６】
2014095557.tif 000008