(57)【要約】【課題】対応問題を解決するためのシステム及び方法。本発明は、計算の分野に関し、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との１対１のマッピングを探し出す方法をカバーする。【解決手段】対応問題を解決する方法は、オブジェクトの３Ｄの点と、そのオブジェクトの画像平面への２Ｄの投影との対応を探し出すことによって実現され、これが使用されることにより、オブジェクトの３Ｄの位置と方向を探し出すことができる。それは、追跡されるオブジェクトの現在のポーズがなくても機能するように設計されていて、対応問題と同様に、最初の対応問題についても効率的である。さらに、対応問題を解決するために使用されるＬＥＤ群を選択する方法も提供される。その方法は、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータを使用して、使用事例の要件を満たすようにＬＥＤ群が選択される。【選択図】図５
2016176927.tif 000002
【特許請求の範囲】
【請求項１】
現在のＬＥＤ群を点灯するステップ（１０１）と、
現在のＬＥＤ群のうちの４つのＬＥＤの全てがカメラで見えるかどうかを判断するステップ（１０２）と、
現在のＬＥＤ群のうちの全てのＬＥＤが見える場合、中央ＬＥＤを識別するステップ（１０３）と、
中央ＬＥＤが不明瞭かどうかを判断するステップ（１０４）と、
中央ＬＥＤが不明瞭でない場合、側部ＬＥＤを識別するステップ（１０５）と、
上部ＬＥＤと下部ＬＥＤを識別するステップ（１０６）と、
計算された対応を使用して、追跡されるオブジェクトのポーズを計算するステップ（１０７）と、
計算されたポーズが不明瞭かどうかを判断するステップ（１０８）と、
現在のＬＥＤ群のうちの全てのＬＥＤが見えない、又は中央ＬＥＤが不明瞭である、又は計算されたポーズが不明瞭である場合、新しいＬＥＤ群に切り替えるステップ（１０９）と、
を含むことを特徴とする、対応問題を解決する方法（１００）。
【請求項２】
ステップ１０１において、特に「Ｔ」形のパターンで配置された４つの点灯したＬＥＤを同時に使用することを特徴とする、請求項１に記載の対応問題を解決する方法（１００）。
【請求項３】
４つのＬＥＤがカメラによって完全に見える場合のみ、対応問題の解決が実行されることを特徴とする、請求項２に記載の対応問題を解決する方法（１００）。
【請求項４】
ステップ１０３において、中央ＬＥＤに関する対応の識別は、他の残りの３つのＬＥＤまでの、全てのＬＥＤの距離を計算し、３Ｄ空間の真ん中のＬＥＤに関連した中央ＬＥＤとして、最小の総距離を選択することにより、達成されることを特徴とする、請求項１から請求項３のいずれかに記載の対応問題を解決する方法（１００）。
【請求項５】
計算された２つの最小の総距離が、互いの所定の割合の範囲内である場合、中央ＬＥＤに関する見つかった対応を不明瞭であると識別し、さらに使用される中央ＬＥＤを破棄することを特徴とする、請求項４に記載の対応問題を解決する方法（１００）。
【請求項６】
ステップ１０５において、側部ＬＥＤに関する対応の識別は、中央ＬＥＤから残りのＬＥＤまで３つの線を描き、それから残りの２つのＬＥＤから各線までの直交距離を計算し、それからいずれかの線までの最小の直交距離を探し出し、最後に、線までの最小の直交距離を持つ又は最小でない直交距離を持つ線を描くのに使用されない１つのＬＥＤを側部として選択することにより、実現されることを特徴とする、請求項１から請求項５のいずれかに記載の対応問題を解決する方法（１００）。
【請求項７】
ステップ１０６において、上部ＬＥＤ／下部ＬＥＤに関する対応の識別は、側部ＬＥＤから中央ＬＥＤまで線を描き、前記線の右側のＬＥＤを上部ＬＥＤとして識別し、前記線の左側のＬＥＤを下部ＬＥＤとして識別することを特徴とする、請求項１から請求項６のいずれかに記載の対応問題を解決する方法（１００）。
【請求項８】
上部ＬＥＤ／下部ＬＥＤの対応は、側部ＬＥＤがＬＥＤ群の左側にある場合に切り替えられることを特徴とする、請求項７に記載の対応問題を解決する方法（１００）。
【請求項９】
計算された対応は、任意のポーズ推定アルゴリズムによって使用され、ステップ１０８において目先の対応について、１以上の正しいポーズがある場合、探し出されたポーズは、不明瞭であると考えられることを特徴とする、請求項１から請求項８のいずれかに記載の対応問題を解決する方法（１００）。
【請求項１０】
ポーズが不明瞭である、中央ＬＥＤが不明瞭である、又はカメラで見えるＬＥＤが４つ未満である場合、新しいＬＥＤ群への切り替えを実行することを特徴とする、請求項１から請求項９のいずれかに記載の対応問題を解決する方法（１００）。
【請求項１１】
対応問題を解決する（１００）ために使用されるＬＥＤ群を選択する方法（２００）であって、
アクティブなマーカーの位置を表すメッシュデータと、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータと、１つのカメラの位置及び方向とを取得するステップ（２０１）と、
カバーされていないポーズセットを取得したポーズデータに初期化するステップ（２０２）と、
「Ｔ」形のパターンの４つのＬＥＤ群の全てを列挙し（生成し）、非選択のＬＥＤ群のセットに追加するステップ（２０３）と、
現在のカバーされていないポーズセットのポーズ毎に、カメラ配置データを使用して、非選択のＬＥＤ群を２Ｄ空間に投影するステップ（２０４）と、
（非選択のＬＥＤ群、現在のカバーされていないポーズセットのポーズの）各ペアについて、４つ全てのＬＥＤが見える場合、非選択のＬＥＤ群にポーズを登録するステップ（２０５）と、
非選択のＬＥＤ群の中から、最もカバーされていないポーズをカバーするＬＥＤ群を識別して、選択されたＬＥＤ群に加えるステップ（２０６）と、
カバーされていないポーズセットからカバーされたポーズを除去し、且つ非選択のＬＥＤ群のセットから選択されたＬＥＤ群を除去するステップ（２０７）と、
終了条件が満たされたかどうかを判断し、そうであれば終了するステップ（２０８）と、
を含むことを特徴とする、ＬＥＤ群を選択する方法（２００）。
【請求項１２】
カバーされていないポーズセットは、選択されたＬＥＤ群によってカバーされていないポーズの集まりであり、実行の開始時に、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータに初期化されることを特徴とする、請求項１０に記載のＬＥＤ群を選択する方法（２００）。
【請求項１３】
４つからなる「Ｔ」形のＬＥＤ群の全てが、候補ＬＥＤ群として列挙される（生成される）ことを特徴とする、請求項１０又は請求項１１に記載のＬＥＤ群を選択する方法（２００）。
【請求項１４】
現在の残りのカバーされていないポーズセットのポーズ毎に、カメラ配置データを使用して、非選択ＬＥＤ群が投影されることを特徴とする、請求項１０から請求項１２のいずれかに記載のＬＥＤ群を選択する方法（２００）。
【請求項１５】
カバーされていないポーズセットのポーズは、群の４つ全てのＬＥＤがそのポーズで見える場合、非選択ＬＥＤ群に登録されることを特徴とする、請求項１０から請求項１３のいずれかに記載のＬＥＤ群を選択する方法（２００）。
【請求項１６】
カバーされていないポーズセットのほとんどのポーズをカバーするＬＥＤ群が選択されて、選択されたＬＥＤ群に追加されることを特徴とする、請求項１０から請求項１４のいずれかに記載のＬＥＤ群を選択する方法（２００）。
【請求項１７】
選択されたＬＥＤ群によってカバーされたポーズはカバーされていないポーズセットから除去され、且つ選択されたＬＥＤ群は非選択ＬＥＤ群から除去されることを特徴とする、請求項１０から請求項１５のいずれかに記載のＬＥＤ群を選択する方法（２００）。
【請求項１８】
カバーされていないポーズセットが空になるか、所定数のＬＥＤ群が選択されるか、又はいずれのＬＥＤ群も少なくとも１つのカバーされていないポーズをカバーすることができないときに、方法の終了が発生することを特徴とする、請求項１０から請求項１６のいずれかに記載のＬＥＤ群を選択する方法（２００）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算の分野に関し、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との１対１のマッピングを探し出す方法をカバーする。
【背景技術】
【０００２】
ある環境において三次元のオブジェクトを追跡し、所定の座標系に対する位置と方向（ポーズ）を計算する方法及びモデルがあることが知られている。これらの種類のトラッカーシステムは、例えば、航空機において、パイロットの頭の方向を判定するのに使用されている。例えば表示装置の座標系に関して、方向が取得されると、それに応じて、表示装置上でグラフィックスを生成することが可能になる。磁気的な、機械的な、又は光学的な手段を使用して、その場のオブジェクトを追跡する別の方法がある。現在、オブジェクトの空間関係は、磁気センサ又はレーザビームを使用して判定されているけれども、本発明は、特に、カメラベース（日中のテレビカメラ、熱、赤外線（ＩＲ）、ＴＯＦ（Time-of-Flight）など）の追跡機を使用したシステムに関する。
【０００３】
光学的カメラベースのシステムの一つにおいて、パイロットは模様（基準マーカー）が付いたヘルメットを着用し、少なくとも１つのトラッカーカメラがこれらの模様に基づいた幾何学的計算を使用して、ヘルメットの位置と方向を判定する。カメラベースのトラッカーシステムにおいて使用される模様は、可視光カメラによって追跡されるグラフィカルな（一般的に、黒と白の）模様（パッシブ・マーカー）、又は光源アレイ（例えば、発光ダイオード、すなわちＬＥＤ）（アクティブ・マーカー）である。これらの光源は、電磁スペクトルの赤外領域内になるように、カメラセンサとフィルタのセットの適当な選択により、選ばれる。他の配置も可能であるけれども、これらのシステムは不適当な照明条件下であっても動作できるため、赤外線ＬＥＤを使用したものが、それらの配置の中で最も便利である。それ故、追跡模様を持つオブジェクトとカメラとの空間関係の計算が、最先端において周知である。文書全体にわたって空間関係について述べているときはいつでも、エンティティの所定の基準系と他のものとの関係を意味していることが、理解されるべきである。目的は、カメラと３Ｄオブジェクトの回転と移動を探し出して、オブジェクトの３Ｄの位置と方向が分かるようにすることである。この基準系は、一般的に、検討中のオブジェクトの各模様に基づいている。トラッカーシステムにおいて、他の座標系に関するトラッカーカメラの位置と方向が知られている（又は計算可能、又は測定可能である）ため、トラッカーカメラのセンサとそれから他の座標系とを使用して、ヘルメットの空間関係を計算することもできる。この文脈において「追跡されるオブジェクト」は、追跡模様（基準マーカー）を持ち、トラッカーシステムによって追跡されるオブジェクトを意味する。それは、ヘルメットを搭載したトラッカーシステムのヘルメットであっても良いし、又は任意の他のオブジェクトであっても良い。
【０００４】
上記光学的カメラベースのトラッキングシステムについてのポーズ推定問題は、以下のように示される：オブジェクトの三次元（３Ｄ）の点とそのオブジェクトの画像平面への二次元（２Ｄ）の投影との間の、一連のＮ個の特徴の対応を与えられて、カメラの基準系に対するオブジェクトの回転と移動を探し出す。目的は、カメラと３Ｄオブジェクトの間の回転と移動を探し出して、オブジェクトの３Ｄの位置と方向を分かるようにすることである。ポーズ推定問題の正式な定義は、正しい解が二重であること、すなわち対応問題であることを必要とする。対応問題は、以下のように示される：カメラの基準系に対するオブジェクトの回転と移動が与えられて（又は与えられず）、オブジェクトの３Ｄの点とそのオブジェクトの画像平面への２Ｄの投影との間のＮ個の特徴の対応を探し出す。目的は、オブジェクトの３Ｄの点と、そのオブジェクトの画像平面への２Ｄの投影との間の対応を探し出し、これが使用されて、オブジェクトの３Ｄの位置と方向を探し出すことである。この問題は、最先端において周知である。しかし、我々は、解が正しく解決可能な二重のものであることを必要とする２つの問題を持つ。それ故、トラッカーシステムは、ポーズ推定問題と対応問題のいずれかに対する最初の解を必要とする。
【０００５】
カメラの基準系に対するオブジェクトの回転と移動が与えられない場合、対応問題は最初の対応問題と呼ばれる。最初の対応問題を解決することを選ぶ場合、対応問題を解決するための完了時間をできる限り短くする。追跡されるオブジェクトは、カメラの視錐台から離れ、その後そこに戻る可能性があるため、このような取り組みは必要である。このようなケースでは、追跡プロセスの再スタートが必要であり、それ故、最初の対応問題の速い解決は、起動時間を短くする。好ましい応用の一つにおいて、特にパイロットの頭が何回も視錐台から離れる場合、ヘルメットを追跡するために、速い起動は見えない時間を著しく断ち切る。
【０００６】
追跡されるオブジェクトの３Ｄの点と、そのオブジェクトの画像平面への２Ｄの投影との間の、最初の対応を決定する、現在使用されている方法がいくつかある。その方法の一つにおいて、多数の連続画像が使用されて、そこでは点灯されるＬＥＤの数が反復毎に１つ増加する。それから、ポーズの変更は連続して撮像されたフレーム間で多くないと仮定して、３Ｄから２Ｄへのマッチングが近似計算により計算される。新たに点灯されるＬＥＤは、合致リストに追加されている、いずれの２Ｄ点にも合致しなかったものである。追跡されるオブジェクトのポーズが小さな誤差だけで知られている場合には、対応問題の解決はより簡単である。それから、類似の近似計算が実行されて、３Ｄから２Ｄへのマッチングが探し出される。
【０００７】
現在の方法を用いた最初の対応問題の解決は、多くのフレームキャプチャを必要とするため、長い時間を要するが、最初は追跡されるオブジェクトの回転／移動のデータを利用できないため、追跡されるオブジェクトのポーズを使用する方法を利用できない。現在の方法は、最初の対応問題を解決する効果的な方法を提供していない。この問題の解決を提供するために、非常に効率的な方法で問題を解決する新しい手法が導入されるべきである。さらに、提案された方法は、対応問題を（最初のケースだけでなく）解決し、対応問題の全体的な解決を提供するのに使用されうる。
【０００８】
米国特許第００５８２８７７０号の文献（Ｌｅｉｓ，Ｒｉｓｔａｕ）、最先端の出願は、多数の連続したフレームキャプチャを使用して最初の対応問題を解決する、近似計算に基づく方法を開示している。この文献では、追跡されるオブジェクトのポーズが分かっているときに対応問題を解決する、類似の近似に基づく方法もまた提供されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第００５８２８７７０号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、光学的オブジェクトトラッキングシステムにおいて、追跡されるオブジェクトの基準マーカーと、カメラによって撮像された画像平面への基準マーカーの投影との１対１のマッピングを探し出すことである。
【課題を解決するための手段】
【００１１】
本発明の目的を達成するために実現されるシステム及び方法が、添付の図に示されている。
【図面の簡単な説明】
【００１２】
【図１】オブジェクトの可能性のある基準位置のメッシュのグラフを示す。
【図２】４つからなるＬＥＤ群のサンプル配置を示す。
【図３】ポーズ不明瞭性の問題の例を示す。（ａ−１）（ａ−２）は、オブジェクトの仰角０度でのＬＥＤ群の投影の例を示す。（ｂ−１）（ｂ−２）は、オブジェクトの仰角−４５度でのＬＥＤ群の投影の例を示す。（ｃ−１）（ｃ−２）は、オブジェクトの仰角＋４５度でのＬＥＤ群の投影の例を示す。
【図４】対応問題を解決するための方法のフローチャートである。
【図５】対応問題を解決するために使用されるＬＥＤ群を選択する方法のフローチャートである。
【発明を実施するための形態】
【００１３】
対応問題を解決する方法（１００）は、本質的に、
現在のＬＥＤ群を点灯するステップ（１０１）と、
現在のＬＥＤ群のうちの４つのＬＥＤの全てがカメラで見えるかどうかを判断するステップ（１０２）と、
現在のＬＥＤ群のうちの全てのＬＥＤが見える場合、中央ＬＥＤを識別するステップ（１０３）と、
中央ＬＥＤが不明瞭かどうかを判断するステップ（１０４）と、
中央ＬＥＤが不明瞭でない場合、側部ＬＥＤを識別するステップ（１０５）と、
上部ＬＥＤと下部ＬＥＤを識別するステップ（１０６）と、
計算された対応を使用して、追跡されるオブジェクトのポーズを計算するステップ（１０７）と、
計算されたポーズが不明瞭かどうかを判断するステップ（１０８）と、
現在のＬＥＤ群のうちの全てのＬＥＤが見えない、又は中央ＬＥＤが不明瞭である、又は計算されたポーズが不明瞭である場合、新しいＬＥＤ群に切り替えるステップ（１０９）と、
を含む。
【００１４】
ステップ１０１において、現在のＬＥＤ群のＬＥＤを点灯し、２Ｄ空間へのＬＥＤの投影が見えるようにする。好ましくは、各群は、追跡されるオブジェクト上の、特定のパターンの、選択された４つのＬＥＤで構成される。点灯される４つのＬＥＤの選択は、２つの主な要因から生じる。第１に、対応を探し出すために、いくつかの幾何学的ルールを定義する必要があり、より簡単なルールが定義されて、より少ないＬＥＤを使用して実行されうる。第２に、オブジェクトのポーズを計算するのに必要な対応の理論的な最小数は４である。それ故、ステップ１０１において、できるだけ少ないＬＥＤが点灯され、点灯されたＬＥＤが追跡されるオブジェクトのポーズの計算を可能にする。
【００１５】
点灯されたＬＥＤの２Ｄ空間の投影は領域の影響を及ぼし、いくつかの画素は高輝度の値を持ち、それ故、画像処理のいくつかの形態が適用される必要がある。これは、簡単な閾値化、接続要素の計算、近接要素の重心の計算などの形態であっても良い。これらのプロセスは最先端で周知であり、ここでは説明しない。この前処理の最後に、４組の（ｘ，ｙ）の値を持つことになる。各値は目に見えるＬＥＤの一つに対応する。
【００１６】
ステップ１０２において、点灯されたＬＥＤの全てがカメラの視点から見えるかどうかを判断する。追跡されるオブジェクトが、カメラから見えるＬＥＤを遮断するポーズで配置されているか、又は追跡されるオブジェクト上のいくつかのＬＥＤがカメラの視錐台の範囲外にある可能性がある。このようなケースでは、定義された幾何学的ルールは、適用できない。さらに、たとえ対応の計算が成功しても、理論的限界の４に対し、分かっている対応の数がより少ないため、ポーズ推定を実行できない。このようなケースでは、新しいＬＥＤセットに切り替えて再試行する。
【００１７】
ＬＥＤ群のＬＥＤは、特別なパターンで配置される。サンプルのパターンが図２に見られ、ここでは、３つのＬＥＤが一直線に配置され、４つめのＬＥＤが側部の位置に配置されている。最終的な配置は、「Ｔ」によく似ている。この特別な配置を使用して、特別な幾何学的ルールを生成して、中央、側部、上部、及び下部のＬＥＤを識別する。
【００１８】
ステップ１０３において、中央ＬＥＤに関する対応を探し出す。中央ＬＥＤが他の点灯されたＬＥＤまでの最小の総距離を持つと仮定して、中央ＬＥＤを識別する幾何学的ルールが生成される。中央ＬＥＤの３Ｄの位置は、おおよそ他のＬＥＤの真ん中にあり、ＬＥＤの２Ｄの投影のために、そうであると仮定することは安全であるため、これは合理的な仮定である。２つのＬＥＤ間の距離は、２Ｄ空間上でユークリッド距離として計算される。それから、他のＬＥＤまでの最小の総距離を持つものとして、中央ＬＥＤの投影を識別する。
【００１９】
しかし、中央ＬＥＤを常に間違いなく識別することは難しい。２つのＬＥＤが、互いに非常に近接している他のＬＥＤまでの最小の総距離を持つ場合、中央ＬＥＤの決定の信頼性は低いと言える。カメラがＬＥＤに対して横向きの位置に配置されている場合に、このようなケースは起こり、中央ＬＥＤを側部ＬＥＤと間違える可能性がある、又は中央ＬＥＤを上部ＬＥＤ／下部ＬＥＤと間違える可能性がある。理論的に、３Ｄから２Ｄへの投影が完璧で、ＬＥＤが同一平面上にある場合、このような信頼性の計量を必要としない。しかし、光学的ひずみと、あるエラーを引き起こす画像処理技術と、同一平面状にない形状で配置されたＬＥＤは、このような計量を必要とする。このようなケースが、不明瞭な識別と名付けられる。ステップ１０４において、中央ＬＥＤの識別が不明瞭かどうかを判断する。このような判断は、簡単な相対的閾値化を使用して実現されうる（２番目に最小の総距離が、最小の総距離の所定の割合の範囲内であれば、ＬＥＤの識別は不明瞭であると言う）。不明瞭な判断が存在すれば、新しいＬＥＤセットに切り替えて再試行する。
【００２０】
ステップ１０５において、側部ＬＥＤの識別が行われる。側部ＬＥＤを識別するために定義された幾何学的ルールは、画像内で中央ＬＥＤから他の３つのＬＥＤまで線を描くことを必要とする。それから、各線について、残りの２つのＬＥＤから線までの直交距離を計算し、全部で６（３×２）の値を計算する。計算された６つの値の中から最小値に対応するＬＥＤが、上部／下部ＬＥＤのうちの一つとして識別される。６つの値の最小値を計算するのに使用された線を描くために、（中央ＬＥＤと共に）使用されたＬＥＤは、他方の上部／下部のＬＥＤとして識別される。中央ＬＥＤと上部／下部ＬＥＤが識別されるため、残りのＬＥＤが側部ＬＥＤとなる。
【００２１】
この時点で、２つのＬＥＤが上部／下部のＬＥＤとして識別されたということに注目すべきである。しかし、２つのＬＥＤ間の、上部と下部の位置への、１対１のマッピングはない。ステップ１０６において、上部と下部のＬＥＤの計算が行われる。上部と下部のＬＥＤを識別するために定義された幾何学的ルールは、側部ＬＥＤから中央ＬＥＤまで線を描くことを必要とする。それから、線の右側のＬＥＤを上部ＬＥＤとして識別し、線の左側のＬＥＤを下部ＬＥＤとして識別できる（側部ＬＥＤが右側で選択されると仮定する。そうでなければ、下部ＬＥＤを上部ＬＥＤと切り替える）。中央ＬＥＤの不明瞭性を除いて、ＬＥＤの特別な配置は対応の計算に関する混同を許可しないことに注目すべきである。それ故、説明した方法は、計算する対応の堅固な方法を提供する。
【００２２】
ステップ１０７において、計算された４つの対応を使用して、ポーズの計算が行われる。４つの対応を使用して、ポーズを計算することができる。しかし、いくつかのケースでは、ＬＥＤの２Ｄビューとポーズとの１対１のマッピングがない（すなわち、ＬＥＤの特定の２Ｄビューから、両方が正しい２つのポーズを計算することができる。）。このケースは、ポーズの不明瞭性と呼ばれ、ポーズ推定問題の継承問題である。ポーズの不明瞭性の問題の例が図３に示されている。図３において、左側のグラフは３Ｄ空間のＬＥＤ群の位置を示し、右側のグラフは２Ｄ空間へのそれらの投影を示している。図３（ａ）は、ＬＥＤを回転させていない、標準投影であり、参照を取るためのものである。図３（ｂ）において、ＬＥＤは仰角軸において−４５度回転される。図３（ｃ）において、ＬＥＤは仰角軸において＋４５度回転される。図からわかるように、結果として生じる画像は同一である。それ故、ＥＬ＝４５度とＥＬ＝−４５度で探し出されたポーズは、数学的に両方正しい。しかし、実際には、これらのポーズのうちの一方のみが、結果として生じる画像をもたらす。しかし、ポーズ推定方法を使用して、正しいポーズを探し出す方法はない。完了するために、（各ＬＥＤについて単一の（ｘ，ｙ）の値を探し出すために）撮像された画像の前処理の後に、図３の右側のグラフが得られることに注目すべきである。撮像された原画像において、図３（ｂ）では上部ＬＥＤがカメラにより近いため、下部ＬＥＤよりも大きい。図３（ｃ）では、下部ＬＥＤがカメラにより近いため、上部ＬＥＤよりも大きい。問題は単一の軸に抑制されず、単一の２Ｄビューに対応するポーズが対称であるときに問題は存在することにも注目すべきである。
【００２３】
ステップ１０８において、ポーズの計算が不明瞭であるかどうかを判断する。不明瞭でなければ、計算された対応は正しく、ポーズを計算するのに、計算された対応を使用できる。ポーズ推定と対応の計算の標準の反復を開始できる。しかし、ポーズが不明瞭であれば、例え、対応の計算が正しかったとしても、ポーズ推定プロセスにおいてそれらを使用することができない。それ故、計算された対応は、ポーズの推定と対応の計算の標準の反復を開始するのに十分ではない。このようなケースでは、新しいＬＥＤセットに切り替えて再試行する。
【００２４】
対応問題を解決する方法（１００）が４つのＬＥＤからなる一群のみを使用して実行される場合、ポーズの不明瞭性が原因で、対応を計算できない、又はオブジェクトのポーズが見つからないケースがある。このようなケースを避けるために、数個のＬＥＤ群を使用することを提案する。しかし、ＬＥＤ群を注意深く選択し、オブジェクトが取ることができる、可能性があるポーズの全てをカバーしながら、選択するＬＥＤ群を最小数にするべきである。対応問題を解決する（１００）ために使用されるＬＥＤ群を選択する方法（２００）は、より良い形式で使用事例に適合する、より良いＬＥＤ群の選択のために、動いている状況下で追跡されるオブジェクトのポーズを使用する、このような注意深い選択プロセスを特定する。
【００２５】
対応問題を解決する（１００）ために使用されるＬＥＤ群を選択する方法（２００）は、本質的に、
アクティブなマーカーの位置を表すメッシュデータと、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータと、１つのカメラの位置及び方向とを取得するステップ（２０１）と、
カバーされていないポーズセットを取得したポーズデータに初期化するステップ（２０２）と、
「Ｔ」形のパターンの４つのＬＥＤ群の全てを列挙し（生成し）、非選択のＬＥＤ群のセットに追加するステップ（２０３）と、
現在のカバーされていないポーズセットのポーズ毎に、カメラ配置データを使用して、非選択のＬＥＤ群を２Ｄ空間に投影するステップ（２０４）と、
（非選択のＬＥＤ群、現在のカバーされていないポーズセットのポーズの）各ペアについて、４つ全てのＬＥＤが見える場合、非選択のＬＥＤ群にポーズを登録するステップと（２０５）、
非選択のＬＥＤ群の中から、最もカバーされていないポーズをカバーするＬＥＤ群を識別して、選択されたＬＥＤ群に加えるステップ（２０６）と、
カバーされていないポーズセットからカバーされたポーズを除去し、且つ非選択のＬＥＤ群のセットから選択されたＬＥＤ群を除去するステップ（２０７）と、
終了条件が満たされたかどうかを判断し、そうであれば終了するステップ（２０８）と、
を含む。
【００２６】
追跡されるオブジェクト（例えば、赤外線ＬＥＤを備えたヘッドトラッキングシステムのためのヘルメット）のアクティブな基準の位置が、オブジェクトの各位置について三次元座標で表される。一般的な座標系に対して、メッシュ（モデル）に関するこれらの座標が判定され、カメラの場所に関連付けられるべきであることに注目することが重要である。それと同時に、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータも導入する必要がある。本発明の好ましい構成において、これらのデータは、実際のオブジェクト上に置かれた慣性計測装置（ＩＭＵ）を使用して、実際の動いている状況下で取得され、オブジェクトの動作が記録されて、ポーズデータとして使用される。
【００２７】
ステップ２０２において、カバーされていないポーズセットの初期化が行われる。カバーされていないポーズセットとは、現在カバーされていないポーズの集まりである。ここで、「カバーされていない」とは、現在選択されているＬＥＤ群のうちのいずれもが、そのポーズでは、完全には見えないことを意味する。このセットは、最初は、入力ポーズデータの全部である。しかし、方法が進むと、より多くのポーズがカバーされるため、このセットは空のセットに低減される。
【００２８】
ステップ２０３において、「Ｔ」形のパターンのＬＥＤ群の全ての列挙（生成）が行われる。このステップは、追跡されるオブジェクトのアクティブな基準の位置に過度に依存する。しかし、ＬＥＤ群の生成はやや容易である。簡単な例が、ｎ×ｎグリッドのＬＥＤを使用して提供されうる。ｎ×ｎグリッド上で、３×３グリッドのＬＥＤを使用する場合、３×３グリッドの真ん中のＬＥＤは、８つのＬＥＤ群において使用されうる。真ん中のＬＥＤは、「Ｔ」パターンの中央ＬＥＤである（３×３グリッドのサイズ３の、「＋」と「×」の形状の４つの直線を作成でき、側部ＬＥＤを右側又は左側に配置することができる）。アクティブな基準位置についての特定の入力のために、同様の方略が探し出される。しかし、合理的に小さい数のＬＥＤ群をもたらすように、任意の生成プロセスが予期されるべきである。
【００２９】
追跡されるオブジェクトとカメラの相対的な空間位置を知ることにより、入力ポーズデータを使用して、数学的に、ＬＥＤ群を移動し回転することができ、基準の可視性を計算できる。ステップ２０４において、カバーされていないポーズセットのポーズ毎に、入力カメラの位置／方向から、メッシュ上の各非選択ＬＥＤ群の可視性が計算される。ステップ２０５において、各非選択ＬＥＤ群を表す、可視性の値のリストが生成される。可視性の値は、ＬＥＤ群の全てのノードが、現在のカバーされていないポーズセットを考慮して、カメラのビューポートから何回見えたかを表す。
【００３０】
好ましい構成において、ポーズを与えられた３Ｄモデルの点（アクティブ・マーカー）の可視性を推定するのに、閉鎖モデルが使用される（２００４年Ｄａｖｉｓ他）。それは、コンピュータグラフィックスにおいて開発された光線追跡技術に基づいている。ＬＥＤ基準のケースにおいて、可視性の計算は、オブジェクトの座標系に対するＬＥＤの法線と、ＬＥＤ照明の円錐角と、オブジェクトの既知のポーズとに基づいている。カメラ座標系におけるＬＥＤの法線とカメラ平面の法線との角度は、ＬＥＤがどの程度垂直にカメラ（ＬＥＤの方向角）に向けられているかを定義する。ＬＥＤ照明の円錐角は、カメラに対して可視のＬＥＤについての、最小のＬＥＤ方向角の閾値を定義する。与えられたポーズについて、ＬＥＤ方向角をＬＥＤ毎に計算して、その可視性を決定できる。オブジェクトの座標系に対するマーカーの法線と、マーカー照明の円錐角と、オブジェクトの既知のポーズが、任意のアクティブマーカー追跡システムに同等に適用されうる。
【００３１】
それから、ステップ２０６において、最も高い可視性の数を持つ非選択のＬＥＤ群が、対応問題を解決するための方法（１００）で使用するために選択される。対応問題を解決するための方法（１００）において使用されるＬＥＤ群として以前に決定されなかった最も高い可視性の数を持つＬＥＤ群が、決定されたポーズデータのほとんどにおいて完全に見えるため、選択される。ステップ２０７において、カバーされていないポーズセットから最近選択されたＬＥＤ群によってカバーされたポーズを除去し、且つさらなる計算のために使用される非選択のＬＥＤ群のセットから、最近選択されたＬＥＤ群を削除する。この構成において、少なくとも一つのポーズが新しく選択されたＬＥＤ群によってカバーされるため、カバーされていないポーズセットのエレメントの数は反復毎に減少する。また、この構成において、選択されたＬＥＤ群の数は、反復毎に一つ増加する。
【００３２】
ステップ２０８において、終了条件がチェックされる。最初のポーズデータのすべてのポーズが、少なくとも１つの選択されたＬＥＤ群によってカバーされるときに、主な終了条件が発生する。このケースは、入力ポーズデータに対するＬＥＤ群の成功した熟練の選択に対応する。いくつかの特別なケースにおいて、入力ポーズデータ、カメラの位置、及びアクティブなマーカーの位置は、全てのポーズの範囲を許可しない。このケースでは、新しいＬＥＤ群を追加しても、方法が少なくとも１つのポーズのカバーに失敗した場合に、終了できる。このケースにおいて、対応問題を解決するために使用されるＬＥＤ群を選択する方法（２００）によって生成されるＬＥＤ群は、訓練セットにおけるすべてのポーズについて、対応問題を解決する方法（１００）において使用されるときに、有効な対応結果を生じさせることができない。異なる終了条件が、所定数のＬＥＤ群の選択として、特定されうる。この構成において、いくつかのポーズはカバーされない。しかし、対応問題を解決する方法（１００）は、より少ないＬＥＤ群を持ち、使用して動作する。
【符号の説明】
【００３３】
１００      対応問題を解決する方法
２００      対応問題を解決するために使用されるＬＥＤ群を選択する方法
Ｃ          カメラ
Ｏ０        オブジェクトの仰角（０）
Ｏ１        オブジェクトの仰角（−４５）
Ｏ２        オブジェクトの仰角（４５）
Ｂ０        オブジェクトの仰角０度での下部ＬＥＤの投影
Ｂ１        オブジェクトの仰角−４５度での下部ＬＥＤの投影
Ｂ２        オブジェクトの仰角４５度での下部ＬＥＤの投影
Ｔ０        オブジェクトの仰角０度での上部ＬＥＤの投影
Ｔ１        オブジェクトの仰角−４５度での上部ＬＥＤの投影
Ｔ２        オブジェクトの仰角４５度での上部ＬＥＤの投影
Ｃ０        オブジェクトの仰角０度での中央ＬＥＤの投影
Ｃ１        オブジェクトの仰角−４５度での中央ＬＥＤの投影
Ｃ２        オブジェクトの仰角４５度での中央ＬＥＤの投影
Ｆ０        オブジェクトの仰角０度での側部ＬＥＤの投影
Ｆ１        オブジェクトの仰角−４５度での側部ＬＥＤの投影
Ｆ２        オブジェクトの仰角４５度での側部ＬＥＤの投影
【図１】
2016176927.tif 000003
【図２】
2016176927.tif 000004
【図３】
2016176927.tif 000005
【図４】
2016176927.tif 000006
【図５】
2016176927.tif 000007
【手続補正書】
【提出日】平成28年3月4日(2016.3.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対応問題を解決する（１００）ために使用されるＬＥＤ群を選択する方法（２００）であって、
アクティブなマーカーの位置を表すメッシュデータと、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータと、１つのカメラの位置及び方向とを取得するステップ（２０１）を含み、
カバーされていないポーズセットを取得したポーズデータに初期化するステップ（２０２）と、
可能性のあるＬＥＤ位置のメッシュから、「Ｔ」形のパターンの４つのＬＥＤ群の全てを取得し、非選択のＬＥＤ群のセットに追加するステップ（２０３）と、
現在のカバーされていないポーズセットのポーズ毎に、カメラの位置及び方向を使用して、非選択のＬＥＤ群を２Ｄ空間に投影するステップ（２０４）と、
各ペアについて、オブジェクトの座標系に対するＬＥＤの法線と、ＬＥＤ照明の円錐角と、オブジェクトの既知のポーズとに基づく可視性の計算によって４つ全てのＬＥＤが見える場合、非選択のＬＥＤ群にポーズを登録するステップ（２０５）と、
非選択のＬＥＤ群の中から、最もカバーされていないポーズをカバーするＬＥＤ群を識別して、選択されたＬＥＤ群に加えるステップ（２０６）と、
カバーされていないポーズセットからカバーされたポーズを除去し、且つ非選択のＬＥＤ群のセットから選択されたＬＥＤ群を除去するステップ（２０７）と、
終了条件が満たされたかどうかを判断し、そうであれば終了するステップ（２０８）と、
を含むことを特徴とする、ＬＥＤ群を選択する方法（２００）。
【請求項２】
カバーされていないポーズセットは、選択されたＬＥＤ群によってカバーされていないポーズの集まりであり、実行の開始時に、動いている状況下で追跡されるオブジェクトの可能性のあるポーズを表すポーズデータに初期化される、請求項１に記載のＬＥＤ群を選択する方法（２００）。
【請求項３】
４つからなる「Ｔ」形のＬＥＤ群の全てが、候補ＬＥＤ群として列挙される、請求項１又は請求項２に記載のＬＥＤ群を選択する方法（２００）。
【請求項４】
現在の残りのカバーされていないポーズセットのポーズ毎に、カメラの位置及び方向を使用して、非選択ＬＥＤ群が投影される、請求項１又は請求項２に記載のＬＥＤ群を選択する方法（２００）。
【請求項５】
カバーされていないポーズセットが空になるか、所定数のＬＥＤ群が選択されるか、又はいずれのＬＥＤ群も少なくとも１つのカバーされていないポーズをカバーすることができないときに、方法の終了が発生する、請求項１から請求項４のいずれかに記載のＬＥＤ群を選択する方法（２００）。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
米国特許第００５８２８７７０号の文献（Ｌｅｉｓ，Ｒｉｓｔａｕ）、最先端の出願は、多数の連続したフレームキャプチャを使用して最初の対応問題を解決する、近似計算に基づく方法を開示している。この文献では、追跡されるオブジェクトのポーズが分かっているときに対応問題を解決する、類似の近似に基づく方法もまた提供されている。
２００５年のＢｏｓｃｈｅｔｔｉ他は、自由な外科的遠隔操作の任務の５レベルの実行中に、オペレータを導く問題に取り組んでいる。この研究は、触覚マスタ、スレーブロボット、光学追跡装置、及び主制御装置で構成される脊椎手術遠隔ロボットシステムの実現可能性に重点を置いている。このシステムを使用して、外科医は、遠隔ロボット装置を使用して、触覚フィードバックにより導かれながら、穴を開ける作業を実行する。脊椎骨が動くとすぐに、追跡装置は脊椎骨のポーズを測定する。適当な力がオペレータの手に与えられて、手術道具の位置と方向をオペレータに調整させる。さらに、触覚マスタは、遠隔操作に関連した力のフィードバックを生成する。この文書は、この触覚システムの設計と実施、特に制御システム構造に関し、重点を置いている。
２０００年のＤａｒｉｏ他は、従来の関節鏡検査のための高性能の道具と、コンピュータを使用した関節鏡検査のためのシステムの主要構成要素の両方である、関節鏡検査のためのメカトロニクスの道具を記載している。メカトロニクスの関節鏡は、ケーブルで作動され、サーボモータで駆動される、多関節の機械的構造を持ち、先端の方向を測定するための位置センサと、膝の繊細な組織との可能性のある接触を検出するための力センサとを備えていて、センサの信号の処理と、モータの駆動と、外科医とインターフェースをとるための埋め込み式のマイクロコントローラ、及び／又はシステム制御部を組み込んでいる。コンピュータを使用した関節鏡検査システムは、術前のＣＴ又はＭＲ画像の分割と３Ｄの復元のための画像処理モジュールと、膝関節の位置を測定して、操作している道具の軌道を追跡し、術前と術中の画像をマッチングするための登録モジュールと、拡張現実のシナリオと、メカトロニクスの関節鏡からのデータを友好的及び直感的な方法で表示するヒューマン・マシン・インターフェースと、を含む。術前と術中の画像と、メカトロニクス関節鏡により提供される情報とを統合することにより、システムは、計画段階での膝関節の仮想ナビゲーションと、介入中の拡張現実によるコンピュータガイダンスとを可能にする。この文書は、メカトロニクス関節鏡の特性と、コンピュータを使用した関節鏡検査のためのシステムの特性とを詳細に記載していて、道具とシステムの暫定版を使用して得られた実験結果を論じている。
２０００年のＨｏｆｆ／Ｖｉｎｃｅｎｔは、ヘッドマウントディスプレイを備えた拡張現実システムにおいて、オブジェクトに対する頭の相対的な位置と方向（ポーズ）の精度を分析するための方法が開発されたことを開示している。光学追跡センサのエラーの確率的推定から、共分散行列の形式で、オブジェクトに対する頭のポーズの不確実性が計算されうる。位置の不確実性は、３Ｄ楕円体として可視化されうる。不確実性の明確な表現を持つ一つの有用な利点は、全体的な登録の制度を改善するために、固定のセンサとヘッドマウントセンサの組み合わせにより、センサデータを結合できることである。方法は、光学透過ヘッドマウントディスプレイと、ヘッドマウントＣＣＤカメラと、固定の光学追跡センサとを組み込む実験的な拡張現実システムの分析に適用された。ヘッドマウントディスプレイに対して移動可能なオブジェクトのポーズの不確実性が分析された。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の目的を達成するために実現されるシステム及び方法が、添付の図に示されている。
提案した方法を使用して、ポーズを決定するために使用されるＬＥＤの全てを識別することができる。また、提案した方法は、ＬＥＤの３Ｄの位置とそれらのそれぞれの２Ｄの投影との対応問題を解決するために使用されるＬＥＤ群の選択の仕方に関する一連のステップを含む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
好ましい構成において、ポーズを与えられた３Ｄモデルの点（アクティブ・マーカー）の可視性を推定するのに、閉鎖モデルが使用される。それは、コンピュータグラフィックスにおいて開発された光線追跡技術に基づいている。ＬＥＤ基準のケースにおいて、可視性の計算は、オブジェクトの座標系に対するＬＥＤの法線と、ＬＥＤ照明の円錐角と、オブジェクトの既知のポーズとに基づいている。カメラ座標系におけるＬＥＤの法線とカメラ平面の法線との角度は、ＬＥＤがどの程度垂直にカメラ（ＬＥＤの方向角）に向けられているかを定義する。ＬＥＤ照明の円錐角は、カメラに対して可視のＬＥＤについての、最小のＬＥＤ方向角の閾値を定義する。与えられたポーズについて、ＬＥＤ方向角をＬＥＤ毎に計算して、その可視性を決定できる。オブジェクトの座標系に対するマーカーの法線と、マーカー照明の円錐角と、オブジェクトの既知のポーズが、任意のアクティブマーカー追跡システムに同等に適用されうる。
【外国語明細書】
2016176927.tif 000008
2016176927.tif 000009
2016176927.tif 000010
2016176927.tif 000011
2016176927.tif 000012
2016176927.tif 000013
2016176927.tif 000014
2016176927.tif 000015
2016176927.tif 000016
2016176927.tif 000017
2016176927.tif 000018
2016176927.tif 000019
2016176927.tif 000020
2016176927.tif 000021
2016176927.tif 000022
2016176927.tif 000023
2016176927.tif 000024
2016176927.tif 000025
2016176927.tif 000026
2016176927.tif 000027
2016176927.tif 000028
2016176927.tif 000029
2016176927.tif 000030
2016176927.tif 000031