(57)【特許請求の範囲】
【請求項１】
対象物に位置決めされて取り付けられ、第一光線を出射する３個以上の光学マーカーと、
前記３個以上の光学マーカーの内から検出領域に存在する少なくとも３個の光学マーカーからの第一光線を立体視で検出するカメラ装置と、
検出された第一光線に基づいて、前記カメラ装置に対する３個以上の光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
前記光学マーカー位置情報に基づいて、前記カメラ装置に対する対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、
前記カメラ装置に取り付けられ、第二光線を出射する発光素子と、
前記光学マーカーとの相対的な位置関係が決められて対象物に取り付けられ、前記発光素子からの第二光線を検出する２個以上の受光素子と、
検出された第二光線の強度に基づいて、前記２個以上の受光素子の内から発光素子の最も近傍にある１個の受光素子を選択する受光素子近傍情報を算出して、当該受光素子近傍情報を受光素子位置情報記憶部に記憶させる受光素子位置情報算出部と、
前記光学マーカー位置情報算出部は、前記光学マーカー位置情報を算出する際に、前記受光素子近傍情報を用いて、前記３個以上の光学マーカーの内から検出領域に存在する少なくとも３個の光学マーカーを決定して、決定した光学マーカーと、検出された第一光線とをそれぞれ対応付けることを特徴とするモーショントラッカ装置。
【請求項２】
前記カメラ装置は、２台のカメラであり、
前記発光素子は、２台のカメラに１個ずつ取り付けられることを特徴とする請求項１に記載のモーショントラッカ装置。
【請求項３】
前記３個以上の光学マーカーは、少なくとも３個の光学マーカーが１組の光学マーカー群となるように対象物に取り付けられ、
１組の光学マーカー群においては、それぞれの光学マーカーが識別可能に形成され、
前記光学マーカー位置情報算出部は、前記受光素子近傍情報を用いて、前記２組以上の光学マーカー群の内から検出領域に存在する１組の光学マーカー群を決定して、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けることを特徴とする請求項１又は２に記載のモーショントラッカ装置。
【請求項４】
前記受光素子位置情報算出部は、さらに直前に記憶された光学マーカー位置情報を用いて、選択した受光素子の発光素子に対する移動量である受光素子移動量情報を算出して、当該受光素子移動量情報を受光素子位置情報記憶部に記憶させ、
前記光学マーカー位置情報算出部は、さらに受光素子移動量情報を用いて、少なくとも３個の光学マーカーのカメラ装置に対する予想移動位置を算出して、検出された第一光線と光学マーカーの予想移動位置とを比較することにより、前記光学マーカーと第一光線とをそれぞれ対応付けることを特徴とする請求項１又は２に記載のモーショントラッカ装置。
【請求項５】
前記光学マーカー位置情報算出部は、算出した各光学マーカーの予想移動位置を中心とする球状である予想移動範囲を設定して、当該予想移動範囲内に検出される第一光線と光学マーカーとを対応付けることを特徴とする請求項４に記載のモーショントラッカ装置。
【請求項６】
前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、
前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられることを特徴とする請求項１〜５のいずれか１項に記載のモーショントラッカ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学方式のモーショントラッカ装置（以下、ＭＴ装置ともいう）に関し、さらに詳細には、光学マーカーの現在位置を検出する機能を備える光学方式のＭＴ装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度（すなわち、頭部の現在位置及び現在角度）を検出するヘッドモーショントラッカ装置（以下、ＨＭＴ装置ともいう）等に利用される。
ここで、光学方式のＨＭＴ装置とは、反射板や発光体等の光学マーカーを取り付けたヘルメット等を頭部に装着して、光学マーカーの現在位置を立体視が可能なカメラ装置で測定することにより、頭部の動きを追跡する装置をいう。
【背景技術】
【０００２】
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメット（対象物）を用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。そこで、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。
【０００３】
また、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部の現在角度及び現在位置を測定している。ここでも、ＨＭＴ装置が利用されている。
【０００４】
頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、光学マーカーとして複数個の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源と２台のカメラ（第一カメラ及び第二カメラ）とを飛行体に固定することにより、光源から光を照射したときの反射板からの反射光を第一カメラ及び第二カメラでモニタする。
また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のＨＭＴ装置もある。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカーとして発光体であるＬＥＤ（発光ダイオード）を互いに離隔するようにして複数箇所に取り付け、これら複数個のＬＥＤの位置関係をＨＭＴ装置に予め記憶させておく。そして、これら複数個のＬＥＤの内の少なくとも３個のＬＥＤを、立体視が可能でかつ飛行体に固定された第一カメラ及び第二カメラで同時に撮影することで、所謂、三角測量の原理により、現在の３個のＬＥＤの位置関係を測定している。これにより、第一カメラ及び第二カメラに対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を特定している。
【０００５】
ところで、上述したような光学方式のＨＭＴ装置における第一カメラにより撮影される撮影領域と、第二カメラにより撮影される撮影領域とについて、図４を用いて説明する。図４は、第一カメラにより撮影される撮影領域と第二カメラにより撮影される撮影領域とについて説明するための図である。
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなり、立体視が可能となるように飛行体３０の天井に固定されている。
第一カメラ２ａには、使用されている低歪レンズや広角レンズ等により撮影できる撮影領域の大きさと形状とが定められる。例えば、第一カメラ２ａの撮影領域の形状は、第一カメラ２ａを頂点とする円錐となっている。また、第二カメラ２ｂにも、第一カメラ２ａと同様に、使用されている低歪レンズや広角レンズ等により撮影できる撮影領域の大きさと形状とが定められる。そして、第二カメラ２ｂの撮影領域の形状も第二カメラ２ｂを頂点とする円錐となっている。
そして、カメラ装置２に対するＬＥＤ４７の位置を算出するためには、三角測量の原理を用いるので、第一カメラ２ａにより撮影される撮影領域と、第二カメラ２ｂにより撮影される撮影領域とが重なった検出領域Ｓに、ＬＥＤ４７が存在していなければならないことになる。
【０００６】
そこで、飛行体３０中で動くことになる頭部装着型表示装置付ヘルメット５０の現在位置や現在角度を特定し続けるために、第一カメラ２ａ及び第二カメラ２ｂの検出領域Ｓに常に少なくとも３個のＬＥＤ４７が存在するように、頭部装着型表示装置付ヘルメット５０の外周面の全面に複数個（図４中では５個）のＬＥＤ４７が取り付けられている。
さらに、第一カメラ２ａ及び第二カメラ２ｂで検出される光線が、複数個のＬＥＤ４７の内のどのＬＥＤ４７から出射されたものであるかを識別する必要があるので、頭部装着型表示装置付ヘルメット５０には、それぞれが識別可能な光線を出射するＬＥＤ４７が取り付けられている。例えば、頭部装着型表示装置付ヘルメット５０の外周面上に、互いに異なる波長の発光光を出射するＬＥＤ４７を互いに離隔するようにして取り付けている。これにより、発光光の波長を区別することによって、検出された各発光光と、その発光光を出射したＬＥＤ４７とをそれぞれ対応付けて、カメラ装置２に対する頭部装着型表示装置付ヘルメット５０の現在位置や現在角度を算出している。
【特許文献１】特表平９−５０６１９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、それぞれが識別可能な複数個のＬＥＤ４７を取り付けた場合、１個のＬＥＤ４７が故障等したときに、故障した１個のＬＥＤ４７を新品の１個のＬＥＤ４７と交換することになるが、取り付けられている他のＬＥＤ４７の識別情報（例えば、波長情報）と区別できるように、新品の１個のＬＥＤ４７の詳細な識別情報を改めてＨＭＴ装置に記憶させる必要があった。よって、新品のＬＥＤ４７と交換するたびに、新品のＬＥＤ４７の識別情報をＨＭＴ装置に記憶させる手間がかかっていた。
一方、識別情報を有さない複数個のＬＥＤを、１個１個順番に点灯させることにより、識別することも考えられるが、１個１個順番に点灯させなければならないので、時々刻々と変化する頭部装着型表示装置付ヘルメットの動きをモニタリングすることに用いるには困難であった。
【０００８】
そこで、本出願人は、頭部装着型表示装置付ヘルメットに取り付けられた複数個のＬＥＤのそれぞれの現在位置を算出する際に、ＬＥＤに識別情報を持たせたり、１個１個順番にＬＥＤを点灯させたりすることもなく、同じ波長の発光光を出射するＬＥＤを識別する識別方法を見出している。図５は、頭部装着型表示装置付ヘルメットにおけるＬＥＤを識別する識別方法を説明するための図である。なお、図中、黒丸はＬＥＤを示す。
まず、第一カメラと第二カメラとが飛行体に固定されているときには、第一カメラの撮影方向と第二カメラの撮影方向とが定まった状態であるので、エピポーラ幾何学に基づく予測により、第一カメラによる第一画像に撮影された発光光と、第二カメラによる第二画像に撮影された発光光との間で、同一のＬＥＤから出射された発光光の組をそれぞれ対応付ける。
次に、第一画像と第二画像との間での発光光の組を対応付けることができれば、カメラ装置に対する各発光光が出射された位置を算出して、さらに図５に示すように、時間ｔ１（カメラ装置の１回目の撮影時間）のＬＥＤ５７ａ、５７ｂ、５７ｃのそれぞれの位置を記憶するとともに、記憶された各ＬＥＤ５７ａ、５７ｂ、５７ｃの位置を中心とする一定の大きさの球状である予想移動範囲（Ｄａ、Ｄｂ、Ｄｃ）をそれぞれ設定することにより、時間ｔ２（カメラ装置の２回目の撮影時間）に、予想移動範囲（Ｄａ、Ｄｂ、Ｄｃ）に存在する発光光が出射された位置に、時間ｔ１に設定された予想移動範囲（Ｄａ、Ｄｂ、Ｄｃ）に対応するＬＥＤが移動したと認識する。
このようにすることで、ＬＥＤに識別情報を持たせたり、１個１個順番にＬＥＤを点灯させたりすることもなく、同じ波長の発光光を出射するＬＥＤを識別することができる。
【０００９】
しかし、上述した識別方法では、カメラ装置による撮影時間の間隔において、各ＬＥＤ５７ａ、５７ｂ、５７ｃの移動距離が予想移動範囲（Ｄａ、Ｄｂ、Ｄｃ）内となる場合には問題なかったが、図６に示すように、頭部装着型表示装置付ヘルメットの移動速度が速い（各ＬＥＤの移動距離が予想移動範囲（Ｄａ、Ｄｂ、Ｄｃ）を超える）場合に、予想移動範囲（Ｄａ、Ｄｂ、Ｄｃ）に、予想移動範囲（Ｄａ、Ｄｂ、Ｄｃ）に対応するＬＥＤ５７ａ、５７ｂ、５７ｃと異なるＬＥＤ５７ｄ、５７ｅ、５７ｆが存在することがあった。つまり、ＬＥＤ５７ａ〜５７ｆは識別情報を有さないため、ＬＥＤ５７ｄ、５７ｅ、５７ｆをＬＥＤ５７ａ、５７ｂ、５７ｃとして認識してしまっていた。つまり、ＬＥＤ５７ａ〜５７ｆのそれぞれの現在位置を正確に算出することがでないことがあった。
【００１０】
また、上述した識別方法以外にも、９個のＬＥＤが互いに異なる距離で離隔するようにして、頭部装着型表示装置付ヘルメットの外周面上に取り付けられたものを用いることにより、同じ波長の発光光を出射するＬＥＤを識別する識別方法も見出している。図７は、頭部装着型表示装置付ヘルメットにおけるＬＥＤを識別する識別方法を説明するための図である。
図７に示すように、同じ波長の発光光を出射する９個のＬＥＤ６７ａ〜６７ｉが互いに異なる距離ｌ１〜ｌ９で離隔するようにして、頭部装着型表示装置付ヘルメットの外周面上に取り付けられている。
まず、上述した識別方法と同様に、エピポーラ幾何学に基づく予測により、第一カメラによる第一画像に撮影された発光光と、第二カメラによる第二画像に撮影された発光光との間で、同一のＬＥＤから出射された発光光の組をそれぞれ対応付ける。
次に、第一画像と第二画像との間での発光光の組を対応付けることができれば、カメラ装置に対する各発光光が出射された位置を算出するとともに、各発光光が出射された位置の間の距離を算出することにより、算出された距離と、ＬＥＤ６７ａ〜６７ｉ間の距離とを比較することで、各発光光が出射された位置と、それぞれのＬＥＤ６７ａ〜６７ｉとを対応付ける。
このようにすることで、ＬＥＤに識別情報を持たせたり、１個１個順番にＬＥＤを点灯させたりすることもなく、同じ波長の発光光を出射するＬＥＤを識別することができる。
しかし、このような識別方法では、算出された距離と、全てのＬＥＤ６７ａ〜６７ｉ間の距離とを比較することになるので、各発光光が出射された位置と、それぞれのＬＥＤ６７ａ〜６７ｉとを対応付けるのに、時間がかかるという問題点があった。
【００１１】
そこで、本発明は、頭部装着型表示装置付ヘルメット等の対象物に取り付けられた３個以上のＬＥＤ等の光学マーカーのそれぞれの現在位置を算出する際に、光学マーカーのそれぞれの現在位置を精度よく効率的に算出することができるモーショントラッカ装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するためになされた本発明のモーショントラッカ装置は、対象物に位置決めされて取り付けられ、第一光線を出射する３個以上の光学マーカーと、前記３個以上の光学マーカーの内から検出領域に存在する少なくとも３個の光学マーカーからの第一光線を立体視で検出するカメラ装置と、検出された第一光線に基づいて、前記カメラ装置に対する３個以上の光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置に対する対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、前記カメラ装置に取り付けられ、第二光線を出射する発光素子と、前記光学マーカーとの相対的な位置関係が決められて対象物に取り付けられ、前記発光素子からの第二光線を検出する２個以上の受光素子と、検出された第二光線の強度に基づいて、前記２個以上の受光素子の内から発光素子の最も近傍にある１個の受光素子を選択する受光素子近傍情報を算出して、当該受光素子近傍情報を受光素子位置情報記憶部に記憶させる受光素子位置情報算出部と、前記光学マーカー位置情報算出部は、前記光学マーカー位置情報を算出する際に、前記受光素子近傍情報を用いて、前記３個以上の光学マーカーの内から検出領域に存在する少なくとも３個の光学マーカーを決定して、決定した光学マーカーと、検出された第一光線とをそれぞれ対応付けるようにしている。
【００１３】
本発明のモーショントラッカ装置によれば、３個以上の光学マーカーと２個以上の受光素子とは相対的な位置関係を決められて対象物に取り付けられている。これにより、２個以上の受光素子の内から１個の受光素子が選択されると、１個の受光素子の近傍にある光学マーカーが決定できるようになっている。
このような対象物をカメラ装置が撮影することにより、３個以上の光学マーカーの内から検出領域に存在する少なくとも３個の光学マーカーからの第一光線を立体視で検出する。
このとき、発光素子が、カメラ装置に取り付けられるとともに、第二光線を出射する。そして、２個以上の受光素子は、発光素子からの第二光線の強度をそれぞれ検出する。
これにより、受光素子位置情報算出部は、第二光線の強度が最も強い受光素子を選択することで、発光素子の最も近傍にある１個の受光素子を選択する受光素子近傍情報を算出する。つまり、発光素子はカメラ装置に取り付けられているため、カメラ装置の近傍にある１個の受光素子が選択されることになる。
さらに、光学マーカー位置情報算出部は、３個以上の光学マーカーと２個以上の受光素子とは相対的な位置関係を決められて取り付けられているため、選択された１個の受光素子の近傍にある光学マーカーを決定する。つまり、カメラ装置の近傍、すなわちカメラ装置の検出領域にある光学マーカーが決定されることになる。
そして、光学マーカー位置情報算出部は、カメラ装置の検出領域にあると決定した光学マーカーと、カメラ装置で検出した第一光線とをそれぞれ対応付けて、光学マーカー位置情報を算出する。
【発明の効果】
【００１４】
以上のように、本発明のモーショントラッカ装置によれば、受光素子で検出された第二光線の強度からカメラ装置の検出領域に存在する光学マーカーをまず特定することができるので、光学マーカーのそれぞれの現在位置を精度よく効率的に算出することができる。
【００１５】
（他の課題を解決するための手段および効果）
また、上記の発明において、前記カメラ装置は、２台のカメラであり、前記発光素子は、２台のカメラに１個ずつ取り付けられるようにしてもよい。
また、上記の発明において、前記３個以上の光学マーカーは、少なくとも３個の光学マーカーが１組の光学マーカー群となるように対象物に取り付けられ、１組の光学マーカー群においては、それぞれの光学マーカーが識別可能に形成され、前記光学マーカー位置情報算出部は、前記受光素子近傍情報を用いて、前記２組以上の光学マーカー群の内から検出領域に存在する１組の光学マーカー群を決定して、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けるようにしてもよい。
本発明のモーショントラッカ装置によれば、２組以上の光学マーカー群の内から検出領域に存在する１組の光学マーカー群を決定する。そして、光学マーカー位置情報算出部は、１組の光学マーカー群においては、光学マーカーがそれぞれ識別可能に形成されているので、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けることができる。
したがって、本発明のモーショントラッカ装置によれば、１組の光学マーカー群において、光学マーカーがそれぞれ識別可能に形成されればよいので、例えば、３個の光学マーカーが１組の光学マーカー群となるようにしたときには、３種類の識別情報を有する光学マーカーのみを使用すればよく、全ての光学マーカーにそれぞれ異なる詳細な識別情報を持たせる必要がなくなるので、おおまかな識別情報を記憶させておけばよく、識別情報を改めて記憶させる必要がなくなる。また、光学マーカー間の距離を互いに異なるように形成したときには、全ての光学マーカー間の距離と対応させる必要もなく、１組の光学マーカー群のみの光学マーカー間の距離と対応させればよくなるので、光学マーカーのそれぞれの現在位置を効率的に算出することができる。
【００１６】
また、上記の発明において、前記受光素子位置情報算出部は、さらに直前に記憶された光学マーカー位置情報を用いて、選択した受光素子の発光素子に対する移動量である受光素子移動量情報を算出して、当該受光素子移動量情報を受光素子位置情報記憶部に記憶させ、前記光学マーカー位置情報算出部は、さらに受光素子移動量情報を用いて、少なくとも３個の光学マーカーのカメラ装置に対する予想移動位置を算出して、検出された第一光線と光学マーカーの予想移動位置とを比較することにより、前記光学マーカーと第一光線とをそれぞれ対応付けるようにしてもよい。
本発明のモーショントラッカ装置によれば、受光素子位置情報算出部は、直前に記憶された光学マーカー位置情報を用いて、選択した受光素子の発光素子に対する移動量である受光素子移動量情報を算出する。そして、光学マーカー位置情報算出部は、さらに受光素子移動量情報を用いて、少なくとも３個の光学マーカーのカメラ装置に対する予想移動位置を算出して、検出された第一光線と光学マーカーの予想移動位置とを比較することにより、光学マーカーと第一光線とをそれぞれ対応付ける。
【００１７】
そして、上記の発明において、前記光学マーカー位置情報算出部は、算出した各光学マーカーの予想移動位置を中心とする球状である予想移動範囲を設定して、当該予想移動範囲内に検出される第一光線と光学マーカーとを対応付けるようにしてもよい。
さらに、上記の発明において、前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられるようにしてもよい。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
【００１９】
（実施形態１）
図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。また、図３は、相対座標系（ＸＹＺ座標系）の設定を説明するための図である。
本実施形態は、飛行体（移動体）３０に搭乗するパイロット３が着用する頭部装着型表示装置付ヘルメット（対象物）の現在位置及び現在角度を算出するものである。つまり、ＨＭＴ装置１は、飛行体３０に設定された相対座標系（ＸＹＺ座標系）に対する、パイロット３が着用する頭部装着型表示装置付ヘルメット１０に設定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出する。なお、相対座標系（ＸＹＺ座標系）は、後述するカメラ装置２を基準とするものであり、相対座標系記憶部４３に記憶され、一方、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、後述するＬＥＤ群７を基準として設定されたものであり、ヘルメット座標系記憶部４４に記憶されている。また、角度（ＲＬｈ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（ＥＬｈ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（ＡＺｈ）は、アジマス方向（Ｚ軸に対する回転）の角度である。
【００２０】
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、飛行体３０の天井に取り付けられたカメラ装置２と、カメラ装置２に取り付けられたＬＥＤ群（発光素子群）４と、コンピュータにより構成される制御部２０とから構成される。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ＬＥＤ（光学マーカー）群７と、フォトダイオード群（受光素子群）５とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示画像とコンバイナ８の前方実在物とを視認することが可能となっている。
【００２１】
ＬＥＤ群７は、図２に示すように、同じ波長の発光光（第一光線）を出射する９個のＬＥＤ７ａ〜７ｉが互いに異なる距離で離隔するようにして、頭部装着型表示装置付ヘルメット１０の外周面上に取り付けられたものである。また、９個のＬＥＤ７ａ〜７ｉにおいては、３個のＬＥＤ７ａ〜７ｃが１組のＬＥＤ群（光学マーカー群）となり、３個のＬＥＤ７ｄ〜７ｆが１組のＬＥＤ群（光学マーカー群）となり、３個のＬＥＤ７ｇ〜７ｉが１組のＬＥＤ群（光学マーカー群）となるように取り付けられている。
ここで、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ７ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述するヘルメット座標系記憶部４４に設定されている。また、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）上での９個のＬＥＤ７ａ〜７ｉの位置関係（初期データ）も、ヘルメット座標系記憶部４４に記憶されている。これにより、後述する三角測量の手法で、現時点における９個のＬＥＤ７ａ〜７ｉの内の少なくとも３個のＬＥＤの位置を算出し、初期データを参照することで、頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）が、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現されるようになっている。
【００２２】
フォトダイオード群（受光素子群）５は、図２に示すように、３個のフォトダイオード５ａ〜５ｃが頭部装着型表示装置付ヘルメット１０の外周面上に取り付けられたものである。
このとき、３個のフォトダイオード５ａ〜５ｃは、９個のＬＥＤ７ａ〜７ｉとの位置関係が決められて取り付けられている。例えば、図２に示すように、３個のＬＥＤ７ａ、７ｂ、７ｃで形成される三角形の重心にフォトダイオード５ａが配置され、３個のＬＥＤ７ｄ、７ｅ、７ｆで形成される三角形の重心にフォトダイオード５ｂが配置され、３個のＬＥＤ７ｇ、７ｈ、７ｉで形成される三角形の重心にフォトダイオード５ｃが配置されている。これにより、フォトダイオード５ａの近傍には、ＬＥＤ７ａ、７ｂ、７ｃが存在し、ＬＥＤ７ｄ〜７ｉは存在しなくなる。また、フォトダイオード５ｂの近傍には、ＬＥＤ７ｄ、７ｅ、７ｆが存在し、ＬＥＤ７ａ〜７ｃ、７ｇ〜７ｉは存在しなくなる。さらに、フォトダイオード５ｃの近傍には、ＬＥＤ７ｇ、７ｈ、７ｉが存在し、ＬＥＤ７ａ〜７ｆは存在しなくなる。
また、フォトダイオード群５は、カメラ装置２に取り付けられたＬＥＤ群（発光素子群）４からの発光光（第二光線）の強度を検出する。そして、検出された発光光の強度を検出信号としてコンピュータ２０の受光素子位置情報算出部３３（後述する）に出力する。なお、受光素子位置情報算出部３３では、発光光の強度により、フォトダイオード５ａ〜５ｃの内からどのフォトダイオードがＬＥＤ群４の一番近傍にあるかが算出されるようになっている。
【００２３】
飛行体３０は、パイロット３が搭乗するコックピットであり、パイロット３が着席する座席３０ａを備える。
カメラ装置２は、第一カメラ２ａと、第二カメラ２ｂとからなる。第一カメラ２ａと第二カメラ２ｂとは、撮影方向が異なりかつ頭部装着型表示装置付ヘルメット１０に向けられているとともに、立体視が可能な一定の距離（ｄ）を隔てるように、飛行体３０の天井に取り付けられている。そして、第一カメラ２ａで撮影された第一画像が作成されるとともに、第二カメラ２ｂで撮影された第二画像が作成される。
ここで、図３に示すように、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａから出射された発光光（第一光線）の位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを算出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ）を用いることにより、所謂、三角測量の手法で、カメラ装置２に対するＬＥＤ７ａの位置が算出される。
なお、ＬＥＤ群７は互いに同じ波長の発光光を出射するので、第一カメラ２ａによる第一画像に撮影された複数の発光光と、第二カメラ２ｂによる第二画像に撮影された複数の発光光とを単純に対応付けることができないが、第一カメラ２ａと第二カメラ２ｂとは飛行体３０に固定されているので、エピポーラ幾何学に基づく予測によって、第一カメラ２ａによる第一画像に撮影された複数の発光光と、第二カメラ２ｂによる第二画像に撮影された複数の発光光との間で、同一のＬＥＤから出射された発光光の組をそれぞれ対応付けることになる。
さらに、ＬＥＤ群７は互いに同じ波長の発光光を出射するので、対応付けられた発光光の組と、頭部装着型表示装置付ヘルメット１０に取り付けられたＬＥＤ群７とを対応付けることができないが、光学マーカー位置情報算出部３１（後述する）によって、本発明では精度よく効率的に対応付けることになるので、ここでは説明を省略する。
【００２４】
また、対応付けたＬＥＤの位置を、空間座標で表現することができるようにするために、カメラ装置２に固定された座標系である相対座標系（ＸＹＺ座標系）を設定して用いる。相対座標系（ＸＹＺ座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図３に示すように、第二カメラ２ｂの位置から第一カメラ２ａの位置への方向をＸ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向き方向をＺ軸方向とし、Ｘ軸方向に垂直かつ天井に水平で右向き方向をＹ軸方向とするように定義し、原点を第一カメラ２ａの位置と第二カメラ２ｂの位置との中点として定義するように相対座標系記憶部４３に設定されている。
これにより、上述したように三角測量の手法で算出することで、相対座標系（ＸＹＺ座標系）において、対応付けた発光光の組を出射した位置座標を表現するとともに、位置座標と、頭部装着型表示装置付ヘルメット１０に取り付けられたＬＥＤとを対応付けることにより、ＬＥＤ群７が位置決めされて取り付けられている頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）は、相対座標系（ＸＹＺ座標系）に対する、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置及び角度を用いて表現できる。なお、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点であるＬＥＤ７ａの現在の位置座標で表現することとする。
【００２５】
ＬＥＤ群（発光素子群）４は、同じ波長の発光光（第二光線）を出射するＬＥＤ４ａとＬＥＤ４ｂとからなる。ＬＥＤ４ａが第一カメラ２ａに取り付けられるとともに、ＬＥＤ４ｂが第二カメラ２ｂに取り付けられている。また、ＬＥＤ４ａの発光時間と、ＬＥＤ４ｂの発光時間とは、互いに交互となるように設定されている。
これにより、フォトダイオード群５が、ＬＥＤ４ａとＬＥＤ４ｂとからそれぞれ出射された発光光の強度をそれぞれ検出することで、ＬＥＤ４ａと各フォトダイオード５ａ〜５ｃとの距離、及び、ＬＥＤ４ｂと各フォトダイオード５ａ〜５ｃとの距離を算出することができるようになっている（図３参照）。つまり、３個のフォトダイオード５ａ〜５ｃの内からＬＥＤ群４の最も近傍にある１個のフォトダイオードを選択することができる。
【００２６】
制御部２０は、図１に示すように、ＣＰＵ２１、メモリ４０等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部２８と、光学マーカー位置情報算出部３１と、受光素子位置情報算出部３３と、相対情報算出部３２と、映像表示部２５とを有する。
また、メモリ４０には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、光学マーカー位置情報を順次記憶する光学マーカー位置情報記憶部４１と、受光素子近傍情報を記憶する受光素子位置情報記憶部４２と、相対座標系（ＸＹＺ座標系）を記憶する相対座標系記憶部４３と、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶するヘルメット座標系記憶部４４とを有する。
なお、ヘルメット座標系記憶部４４は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶し、さらに、Ｘ’Ｙ’Ｚ’座標系上での９個のＬＥＤ７ａ〜７ｉと３個のフォトダイオード５ａ〜５ｃとの位置関係（初期データ）も記憶している。
【００２７】
モーショントラッカ駆動部２８は、ＬＥＤ群７を点灯させる指令信号を出力するとともに、カメラ装置２でＬＥＤ群７を撮影し、第一画像と第二画像とを取得する制御を行うものである。
このとき、第一カメラ２ａと第二カメラ２ｂとは飛行体３０に固定されていることにより、第一カメラ２ａの撮影方向と第二カメラ２ｂの撮影方向とが定まった状態であるので、エピポーラ幾何学に基づく予測により、第一カメラ２ａで撮影された第一画像と第二カメラ２ｂで撮影された第二画像との間での発光光の組を認識することができるが、ＬＥＤ７ａ〜７ｉは同じ波長の発光光を出射するものなので、各発光光の組と各ＬＥＤ７ａ〜７ｉとを対応付けることはまだできない。
【００２８】
受光素子位置情報算出部３３は、ＬＥＤ４ａとＬＥＤ４ｂと交互に点灯させる指令信号を出力するとともに、フォトダイオード５ａ〜５ｃで発光光の強度を検出することにより、検出された発光光の強度に基づいて、３個のフォトダイオード５ａ〜５ｃの内からＬＥＤ群４の最も近傍にある１個のフォトダイオードを選択する受光素子近傍情報を算出して、受光素子近傍情報を受光素子位置情報記憶部４１に記憶させる制御を行うものである。
具体的には、まず、ＬＥＤ４ａに点灯させる指令信号を出力することにより、フォトダイオード５ａ〜５ｃで発光光の強度を検出することにより、検出された発光光の強度に基づいて、ＬＥＤ４ａから各フォトダイオード５ａ〜５ｃまでのそれぞれの距離を算出する。次に、ＬＥＤ４ｂに点灯させる指令信号を出力することにより、フォトダイオード５ａ〜５ｃで発光光の強度を検出することにより、検出された発光光の強度に基づいて、ＬＥＤ４ａから各フォトダイオード５ａ〜５ｃまでのそれぞれの距離を算出する。そして、ＬＥＤ４ａ、４ｂから各フォトダイオード５ａ〜５ｃまでのそれぞれの距離を用いて、３個のフォトダイオード５ａ〜５ｃの内からＬＥＤ群４の最も近傍にある１個のフォトダイオードを選択する受光素子近傍情報を算出する。最後に、受光素子近傍情報を受光素子位置情報記憶部４１に記憶させる。
なお、ＬＥＤ４ａ及びＬＥＤ４ｂとして、発光光を出射する出射領域が狭いものを用いた場合には、発光光の強度が０にならなかったものを、ＬＥＤ群４の最も近傍にある１個のフォトダイオードとして選択する。
【００２９】
光学マーカー位置情報算出部３１は、受光素子位置情報記憶部４１に記憶された受光素子近傍情報と、カメラ装置２で検出された発光光とに基づいて、９個のＬＥＤ７ａ〜７ｉの内からカメラ装置２の検出領域に存在する３個のＬＥＤ（１組のＬＥＤ群）を決定し、さらに、決定した３個のＬＥＤと、検出された発光光とをそれぞれ対応付け、カメラ装置２に対するＬＥＤの現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部４２に記憶させる制御を行うものである。
具体的には、まず、受光素子近傍情報により、ＬＥＤ群４の最も近傍にある１個のフォトダイオードが選択されるので、カメラ装置２の最も近傍にある１個のフォトダイオードがわかる。さらに、カメラ装置２の最も近傍にある１個のフォトダイオードがわかるので、１個のフォトダイオードの近傍にある３個のＬＥＤを算出することにより、カメラ装置２の最も近傍にある３個のＬＥＤを決定する。つまり、カメラ装置２の検出領域に存在する３個のＬＥＤを決定する。例えば、フォトダイオード５ａが選択されているときには、３個のＬＥＤ７ａ、７ｂ、７ｃがカメラ装置２の検出領域に存在すると決定する。
次に、エピポーラ幾何学に基づく予測により、第一カメラ２ａによる第一画像に撮影された発光光と、第二カメラ２ｂによる第二画像に撮影された発光光との間で、同一のＬＥＤから出射された発光光の組をそれぞれ対応付ける。
次に、第一画像と第二画像との間での発光光の組を対応付けることができれば、カメラ装置２に対する各発光光が出射された位置を算出するとともに、各発光光が出射された位置の間の距離を算出することにより、算出された距離と、決定された３個のＬＥＤ間の距離とを比較することで、各発光光が出射された位置と、それぞれのＬＥＤとを対応付ける。このとき、全てのＬＥＤ７ａ〜７ｉ間の距離と対応させる必要もなく、３個のＬＥＤ間の距離と対応させればよいので、３個のＬＥＤのそれぞれの現在位置を効率的に算出することができる。
最後に、ＬＥＤ７ａ〜７ｉは相対的な位置関係を決められて取り付けられているので、相対座標系（ＸＹＺ座標系）上のＬＥＤ７ａ〜７ｉの位置を算出して、相対座標系（ＸＹＺ座標系）上のＬＥＤ７ａ〜７ｉの位置である光学マーカー位置情報を光学マーカー位置情報記憶部４２に記憶させる。
【００３０】
相対情報算出部３２は、光学マーカー位置情報に基づいて、相対座標系（ＸＹＺ座標系）に対する、パイロット３の頭部の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む相対情報を算出する制御を行うものである。
具体的には、カメラ装置２に対する３個のＬＥＤの現在位置が相対座標系（ＸＹＺ座標系）上で特定されるので、ＬＥＤ群７が固定されているヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を、相対座標系（ＸＹＺ座標系）上で特定する。そして、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を、パイロット３の頭部の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む相対情報として算出する。
映像表示部２５は、相対情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することができるようになる。
【００３１】
（ＨＭＴ装置の動作）
次に、ＨＭＴ装置１により相対情報を測定する測定動作について説明する。図８は、ＨＭＴ装置１による測定動作について説明するためのフローチャートである。
まず、ステップＳ１０１の処理において、時間ｔｎを時間ｔ０と更新する。
次に、ステップＳ１０２の処理において、モーショントラッカ駆動部２８は、ＬＥＤ群７を点灯させる指令信号を出力する。
次に、ステップＳ１０３の処理において、モーショントラッカ駆動部２８は、カメラ装置２でＬＥＤ群７を撮影し、第一画像と第二画像とを取得する。
一方、ステップＳ１０４の処理において、受光素子位置情報算出部３３は、ＬＥＤ４ａに点灯させる指令信号を出力する。
【００３２】
次に、ステップＳ１０５の処理において、受光素子位置情報算出部３３は、フォトダイオード５ａ〜５ｃで発光光の強度を検出する。
次に、ステップＳ１０６の処理において、受光素子位置情報算出部３３は、ＬＥＤ４ｂに点灯させる指令信号を出力する。
次に、ステップＳ１０７の処理において、受光素子位置情報算出部３３は、フォトダイオード５ａ〜５ｃで発光光の強度を検出する。
次に、ステップＳ１０８の処理において、受光素子位置情報算出部３３は、受光素子位置情報算出部３３は、検出された発光光の強度に基づいて、３個のフォトダイオード５ａ〜５ｃの内からＬＥＤ群４の最も近傍にある１個のフォトダイオードを選択する受光素子近傍情報を算出して、受光素子近傍情報を受光素子位置情報記憶部４１に記憶させる。
【００３３】
ステップＳ１０３及びステップＳ１０８の処理が終了すると、ステップＳ１０９の処理において、光学マーカー位置情報算出部３１は、受光素子位置情報記憶部４１に記憶された受光素子近傍情報と、カメラ装置２で検出された発光光とに基づいて、９個のＬＥＤ７ａ〜７ｉの内からカメラ装置２の検出領域に存在する３個のＬＥＤ（１組のＬＥＤ群）を決定し、さらに、決定した３個のＬＥＤと、検出された発光光とをそれぞれ対応付け、カメラ装置２に対するＬＥＤの現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部４２に記憶させる。
次に、ステップＳ１１０の処理において、相対情報算出部３２は、光学マーカー位置情報に基づいて、相対座標系（ＸＹＺ座標系）に対する、パイロット３の頭部の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を含む相対情報を算出する。
【００３４】
次に、ステップＳ１１１の処理において、頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出することを終了するか否かを判定する。例えば、使用者がスイッチ等を押圧したときには、頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出することを終了すると判定し、本フローチャートを終了させる。
一方、例えば、使用者がスイッチ等を押圧しなかったときには、頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出することを終了しないと判定し、ステップＳ１１２の処理において、時間ｔｎを時間ｔｎ＋１と更新して、ステップＳ１０２及びステップＳ１０４の処理に戻る。つまり、頭部装着型表示装置付ヘルメット１０の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（ＲＬｈ、ＥＬｈ、ＡＺｈ）を算出することを終了すると判定するときまで、ステップＳ１０２〜Ｓ１１０の処理は繰り返される。
【００３５】
以上のように、ＨＭＴ装置１によれば、フォトダイオード群５で検出された発光光の強度からカメラ装置２の検出領域に存在する３個のＬＥＤをまず特定することができるので、ＬＥＤ群７のそれぞれの現在位置を精度よく効率的に算出することができる。
【００３６】
（他の実施形態）
（１）上述したＨＭＴ装置１では、９個のＬＥＤ７ａ〜７ｉが互いに異なる距離で離隔するようにして取り付けられたものを示したが、９個のＬＥＤ７ａ〜７ｉが同じ距離で離隔するようにして取り付けられ、受光素子位置情報算出部は、さらに直前に記憶された光学マーカー位置情報を用いて、選択した受光素子の発光素子に対する移動量である受光素子移動量情報を算出して、受光素子移動量情報を受光素子位置情報記憶部に記憶させ、光学マーカー位置情報算出部は、さらに受光素子移動量情報を用いて、３個のＬＥＤのカメラ装置に対する予想移動位置を算出して、算出した各ＬＥＤの予想移動位置を中心とする球状である予想移動範囲を設定して、予想移動範囲内に検出される第一光線とＬＥＤとを対応付けるような構成としてもよい。
（２）上述したＨＭＴ装置１では、ＬＥＤ４ａの発光時間と、ＬＥＤ４ｂの発光時間とは、互いに交互となるように設定されているものを示したが、ＬＥＤ４ａの発光時間と、ＬＥＤ４ｂの発光時間とは、同時となるように設定されるとともに、フォトダイオード群５は、ＬＥＤ４ａとＬＥＤ４ｂとからの発光光（第二光線）の強度をそれぞれ個別に検出するような構成としてもよい。
（３）上述したＨＭＴ装置１では、ＬＥＤ４ａとＬＥＤ４ｂとは同じ波長の発光光（第二光線）を出射するものを示したが、ＬＥＤ４ａとＬＥＤ４ｂとは異なる波長の発光光（第二光線）を出射するような構成としてもよい。
【産業上の利用可能性】
【００３７】
本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するものとして、利用される。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態であるＨＭＴ装置の概略構成を示す図である。
【図２】図１に示す頭部装着型表示装置付ヘルメットの平面図である。
【図３】相対座標系の設定を説明するための図である。
【図４】第一カメラにより撮影される撮影領域と第二カメラにより撮影される撮影領域とについて説明するための図である。
【図５】従来の頭部装着型表示装置付ヘルメットにおけるＬＥＤを識別する識別方法を説明するための図である。
【図６】従来の頭部装着型表示装置付ヘルメットにおけるＬＥＤを識別する識別方法を説明するための図である。
【図７】従来の頭部装着型表示装置付ヘルメットにおけるＬＥＤを識別する識別方法を説明するための図である。
【図８】ＨＭＴ装置１による測定動作について説明するためのフローチャートである。
【符号の説明】
【００３９】
１  ヘッドモーショントラッカ装置
２  カメラ装置
３  パイロット
４  ＬＥＤ群（発光素子群）
５  フォトダイオード群（受光素子群）
７、４７、５７、６７  ＬＥＤ（光学マーカー）群
１０、５０  頭部装着型表示装置付ヘルメット（対象物）
３１  光学マーカー位置情報算出部
３２  相対情報算出部
３３  受光素子位置情報算出部
４１  光学マーカー位置情報記憶部
４２  受光素子位置情報記憶部
【図１】
0004784591.tif 000002
【図２】
0004784591.tif 000003
【図３】
0004784591.tif 000004
【図４】
0004784591.tif 000005
【図５】
0004784591.tif 000006
【図６】
0004784591.tif 000007
【図７】
0004784591.tif 000008
【図８】
0004784591.tif 000009