(57)【要約】【課題】定期的なキャリブレーションを必要とせず、ヘルメットの重量増加を抑えることができるヘッド・マウント・ディスプレイ装置を実現する。【解決手段】使用者のヘルメットに表示画面を装備するとともに、頭部の位置および姿勢を検出してその出力に応じてカメラで撮影した機体外部の画像や計器シンボルなどを表示するヘッド・マウント・ディスプレイ装置において、前記ヘルメットに配置した複数のマーカーと、そのヘルメットの周囲に固定された複数のカメラとを有し、このカメラで前記マーカーを撮影しマーカーの向きと種類を判別することにより頭部の位置および姿勢を検出することを特徴とする。【選択図】図１
2007093694.tif 000002
【特許請求の範囲】
【請求項１】
使用者のヘルメットに表示画面を装備するとともに、頭部の位置および姿勢を検出してその出力に応じてカメラで撮影した機体外部の画像や計器シンボルなどを表示するヘッド・マウント・ディスプレイ装置において、前記ヘルメットに配置した複数のマーカーと、そのヘルメットの周囲に固定された複数のカメラとを有し、このカメラで前記マーカーを撮影しマーカーの向きと種類を判別することにより頭部の位置および姿勢を検出することを特徴とするヘッド・マウント・ディスプレイ装置。
【請求項２】
前記マーカーの形態は、三角形の組み合わせにより構成されることを特徴とする請求項１に記載のヘッド・マウント・ディスプレイ装置。
【請求項３】
前記マーカーは、ヘルメットに配置する位置によってその形態を変化させることを特徴とする請求項１または２に記載のヘッド・マウント・ディスプレイ装置。
【請求項４】
前記カメラの位置は、ヘルメットに対してほぼ等距離になるように配置することを特徴とする請求項１乃至３のいずれかに記載のヘッド・マウント・ディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば航空機などで用いられ、パイロットのヘルメットに表示画面を装備するとともに、カメラで撮影した機体外部の画像や計器シンボルなどを表示するヘッド・マウント・ディスプレイ装置に関するものである。
【背景技術】
【０００２】
ヘリコプタなどの航空機のコックピットで使用されるヘッド・マウント・ディスプレイ装置では、ヘルメットに装備される表示画面に、たとえばカメラで撮影した機体外部の画像を表示する。このとき、パイロットの頭部（ヘルメット）の向きをセンサで検出し、ヘルメットの向きに応じて画像を切り出して表示することにより、パイロットは見たい方向に頭を向けるだけでその方向の画像を見ることができる。
【０００３】
パイロットの頭部の動きを検出するセンサとしては、磁気式センサやジャイロセンサを用いたものが考えられる。しかし、磁気式のものは航空機の機体の他のコンピュータなどと磁気干渉（ＥＭＩ）を生じる恐れがある。そのため、コックピット内の磁界を測定し、あらかじめ演算部にメモリーしておくことで、その干渉を低減させる方法が取り入れられているが、磁界測定のポイントが１０００点を超えること、コックピット内の機器を追加・変更する度に再測定が必要であることから、実運用面でのわずらわしさを生じている。
【０００４】
また、ジャイロ式のものとした場合には、パイロットのヘルメットに３軸ジャイロセンサを装備すると、パイロットの頭部の動きを検出するが、パイロットが乗っている航空機自体も運動しているため、航空機の動きも同時に拾ってしまう。これにより、センサの検出精度が非常に悪くなり、パイロットの頭の向きを正確に算出することが困難となってしまう。
【０００５】
そのため、従来より、ヘルメットにはパイロットの頭部の動きを検出する頭部センサを、航空機には航空機自体の動きを検出する航空機センサを取り付け、頭部センサの検出出力と航空機センサの検出出力の差分に基づいて頭の向きおよび姿勢を検出するということが行われている。差分を取ることで、頭部センサの検出出力から航空機の動きをキャンセルすることができ、頭部の正確な動きのみを検出することができる。
【０００６】
【特許文献１】特許第３４０３３６１号公報  段落０００６〜０００９
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、ジャイロセンサは初期化が必要であり、また、時間とともに出力値の誤差が増大し、ドリフトが生じるといった問題を有する。ドリフトが生じると、表示画面に表示した画像と実際にパイロットが向いている向きとにずれが生じ、パイロットに正確な画像を提供することができないため、定期的にキャリブレーションを行う必要がある。
【０００８】
また、ヘルメットにセンサを配置する必要があるため、部品点数増加、配線増加に伴いヘルメットの重量が増加し、ヘルメットを使用するパイロットの負担が増すという問題がある。
【０００９】
本発明は、上記のような従来方法の問題をなくし、定期的なキャリブレーションを必要とせず、ヘルメットの重量増加を抑えることができるヘッド・マウント・ディスプレイ装置を実現することを目的としたものである。
【課題を解決するための手段】
【００１０】
上記のような目的を達成するために、本発明の請求項１では、使用者のヘルメットに表示画面を装備するとともに、頭部の位置および姿勢を検出してその出力に応じてカメラで撮影した機体外部の画像や計器シンボルなどを表示するヘッド・マウント・ディスプレイ装置において、前記ヘルメットに配置した複数のマーカーと、そのヘルメットの周囲に固定された複数のカメラとを有し、このカメラで前記マーカーを撮影しマーカーの向きと種類を判別することにより頭部の位置および姿勢を検出することを特徴とする。
【００１１】
請求項２では、請求項１に記載のヘッド・マウント・ディスプレイ装置において、前記マーカーの形態は、三角形の組み合わせにより構成されることを特徴とする。
【００１２】
請求項３では、請求項１または２に記載のヘッド・マウント・ディスプレイ装置において、前記マーカーは、ヘルメットに配置する位置によってその形態を変化させることを特徴とする。
【００１３】
請求項４では、請求項１乃至３のいずれかに記載のヘッド・マウント・ディスプレイ装置において、前記カメラの位置は、ヘルメットに対してほぼ等距離になるように配置することを特徴とする。
【発明の効果】
【００１４】
頭部の動きの検出にジャイロセンサを使用する場合と異なり、定期的なキャリブレーションを行う必要がない。
【００１５】
また、ヘルメットにセンサを配置する必要がなく、マーカーを付すだけで済むため、ヘルメットの重量増加がほとんどなく、ヘルメットを使用するパイロットの負担を軽減することができる。
【００１６】
このように、ヘルメットに複数のマーカーを配置し、ヘルメットの周囲に配置した複数のカメラでマーカーを撮影し、カメラに映ったマーカーの向きと種類から頭部の位置および姿勢を計算することにより、定期的なキャリブレーションを必要とせず、ヘルメットの重量増加を抑えることができるヘッド・マウント・ディスプレイ装置を実現することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を用いて本発明のヘッド・マウント・ディスプレイ装置を説明する。
【実施例１】
【００１８】
図１は、本発明によるヘッド・マウント・ディスプレイ装置が航空機のコックピットで使用される場合の実施例を示したものである。図１（ａ）はパイロットを横から見た場合を示す図であり、図１（ｂ）はパイロットを正面から見た場合を示す図である。コックピット内に設けたカメラ１０−１、１０−２、１０−３と、パイロットのヘルメット２０と、ヘルメット２０に設けたマーカー２０−１、２０−２、２０−３、２０−４と、マーカーを撮影したカメラの信号を基にヘルメットの位置・姿勢を検出する演算装置３０、表示画面４０から構成される。
【００１９】
マーカー２０−１、２０−２、２０−３、２０−４は、図に示すようにヘルメット２０の左右、頭頂部、後頭部に１つずつ配置し、それぞれ位置によって異なる形態のマーカーを使用する。
【００２０】
図２はマーカーの形態の例を示した図である。ここでマーカーの形態とは、マーカーの形状や図形、模様、色彩またはこれらの組み合わせを意味するものとする。マーカーはその方向および種類が一義的に判別可能なデザインとし、再帰的なシンボルを組み合わせたものを使用するとよい。なお、図２のような三角形の組み合わせによる図形とすると、画像解析の際にマーカーの先の向きが検出しやすいという利点がある。
【００２１】
図３は、図２に示すマーカーの半分のみを示した図である。図２のような図形をマーカーとして採用すると、図３に示すようにカメラにマーカーが半分しか映らないような場合でも、マーカーの向きおよび種類を判別することができる利点がある。
【００２２】
カメラ１０−１、１０−２、１０−３から見えるマーカーの種類（形態）、位置、向き、大きさは、ヘルメット２０の位置や姿勢によって変化するため、カメラで撮影した画像からヘルメット２０の位置、姿勢を計算することができる。例えば、頭頂部のマーカー２０−１に図２のいずれかのマーカーを配置し、このマーカーをカメラ１０−１で捉えた場合、カメラ１０−１に映るマーカーの大きさから距離を、三角形の歪み具合と頂点の向きから姿勢を計算する。また、カメラ１０−１でマーカーを正確に捉えられなかった場合でも、他のカメラ１０−２、１０−３で捉えたマーカーの画像から、ヘルメットの位置、姿勢を計算することができる。
【００２３】
図４はカメラで複数のマーカーを捉えた場合に、ヘルメット２０との距離によって、各マーカーの大きさや位置関係が変化する様子を示した図である。図４では、ヘルメット２０に配置するマーカーの数を増やすなどして、１つのカメラで３つのマーカーを捉えている場合を示している。図４（ａ）は、カメラとヘルメット２０の距離が小さい場合、図４（ｂ）は距離が大きい場合である。カメラとヘルメット２０が近い場合は、カメラで捉える各マーカーの大きさが大きくなり、また、３つのマーカーが作る三角形５０−１も大きくなる。カメラとヘルメット２０が遠い場合は、カメラで捉える各マーカーの大きさが小さくなり、また、３つのマーカーが作る三角形５０−２も小さくなる。
【００２４】
カメラでマーカーを３つ捉えることができれば、各マーカーの大きさや歪み具合からだけでなく、各マーカーが作る三角形（５０−１、５０−２）の大きさや歪み具合からヘルメット２０の位置・姿勢を計算することもできる。この場合は、各マーカーそのものよりも、各マーカーが作る三角形の方が大きいため、大きさや歪み具合の判断が容易となる利点がある。このように、カメラで捉えるマーカーの数が複数であれば、各マーカーが作る図形の大きさや歪み具合からヘルメットの位置・姿勢を計算することもできる。
【００２５】
なお、各カメラとヘルメット２０までの距離は、いずれかのカメラだけ距離が離れると、そのカメラが撮影するマーカーの画像が小さくなり、位置や姿勢の検出の分解能が下がるため、どのカメラもヘルメット２０に対して等距離となるようにするのが理想的である。そのため、カメラ１０−１、１０−２、１０−３が作る平面上にヘルメット２０の中心が来るように配置することが望ましい。そして、カメラ１０−１、１０−２、１０−３は正三角形に近い配置とし、ヘルメット２０の中心位置は各カメラによって結ばれる円の中心となるように配置することが望ましい。
【００２６】
また、カメラはパイロットの周囲に配置するものであるため、マーカーを撮影するだけでなく、パイロットの状況モニタにも利用することが考えられる。さらに、キャビン内に複数のカメラを設置すれば、キャビン内のクルーの頭部の位置・姿勢をモニタすることも可能である。
【実施例２】
【００２７】
戦闘機などの航空機では、一般に夜間はコックピット内を暗くして飛行する。そのため、カメラでマーカーを撮影してもマーカーを認識することができず、形態の判別を行うことが困難となる。
【００２８】
このような場合には、たとえば、コックピット内に赤外光の光源を設け、各マーカーは赤外光で識別可能なものとし、カメラに赤外線カメラを使用することにより、コックピット内を暗くして飛行する航空機においても本発明の実施が可能である。
【図面の簡単な説明】
【００２９】
【図１】図１は本発明のヘッド・マウント・ディスプレイ装置の構成例を示す図。
【図２】図２はマーカーの形態の例を示す図。
【図３】図３は図２に示したマーカーの半分のみを示す図。
【図４】図４はカメラで複数のマーカーを捉えた場合に、カメラとヘルメットとの距離によって各マーカーの大きさや位置関係が変化する様子を示した図。
【符号の説明】
【００３０】
１０      カメラ
２０      ヘルメット
３０      演算装置
４０      表示画面
【図１】
2007093694.tif 000003
【図２】
2007093694.tif 000004
【図３】
2007093694.tif 000005
【図４】
2007093694.tif 000006