(57)【要約】【課題】画像からの色認識によるマーカー検出では、照明条件により認識しやすい色が変わる。【解決手段】照明条件が変わったら、それに応じてマーカーを構成する色を変更できるようにする。これによりマーカー検出の精度を上げることができる。【選択図】        図１
2005055938.tif 000002
【特許請求の範囲】
【請求項１】
複数の色の組み合わせからなる光学マーカーを使用したシステムにおいて、
色の組み合わせを容易に変更できることを特徴とした、
光学マーカーの取り付け方法。
【請求項２】
請求項１に記載の光学マーカーの取り付け方法において、
色の組み合わせを構成する各色がパネルに乗っており、そのパネルを交換することで色の組み合わせを変更することを特徴とした光学マーカーの取り付け方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理によりマーカーを抽出するような、光学マーカーを使用した装置に関するものである。
【０００２】
【従来の技術】
以前から、マーカーを構成する色を指定し、取り込んだ画像から特定の光学マーカーを抽出することが行われている。このような光学マーカーの例として、３色の色パネルを並べてマーカーとした、特開２００２−２６９５６７などがあげられる。
【０００３】
だが色によるマーカーの識別は、照明環境によるところが大きい。例えば白熱灯の下と、蛍光灯の下では同じマーカーを使用しても、画像として取り込んだ色は大きく異なる。一般に蛍光灯の下ではすべてのマーカーが青みがかるため、青系統の色のマーカーを使用すると誤認識が増える傾向がある。
【０００４】
【発明が解決しようとする課題】
従来の技術では、ある照明環境下でうまくマーカーを認識できるからといって、別の照明環境下では必ずしもマーカーを認識できるとは限らなかった。
【０００５】
そのため展示会会場などの、照明環境が当日にならないとわからない条件下で使用することが難しく、場合によっては不安定な状況で使用することを余儀なくされていた。
【０００６】
【課題を解決するための手段】
本発明は、複数の色のパターンからなる光学マーカーを使用する際に、マーカーを構成する色のパターンを容易に変更できる構成をとることにより、この問題を解決する。
【０００７】
これにより、蛍光灯の環境下では青系統の色のパターンを避ける、白熱灯の環境下では赤系統の色のパターンを避ける、といったことが容易に行えるようになる。
【０００８】
【発明の実施の形態】
本実施例の全体図を図１に、模式図を図２に示す。本実施例はＭＲ技術を用いたアプリケーションである。ＨＭＤ  １００、３次元センサ本体  ２００、３次元センサ固定局  ２１０、手位置センサ２２０、計算機  ３００により構成される。
【０００９】
ＨＭＤ  １００はビデオシースルー方式のＨＤＭである。図３に示すように、左目右目カメラ  １１０，  １１１、３次元センサ移動局  １２０、左目右目ＬＣＤ  １３０，  １３１からなる。
【００１０】
ＨＭＤ１００に内蔵されたカメラ１１０，１１１の映像が計算機３００に送られる。その映像を計算機３００は加工して新たな映像（例えば元映像に気温などの情報をスーパーインポーズしたもの）を作成する。計算機３００で作成された映像はＨＭＤ１００に送られ、ＨＤＭ１００に内蔵された液晶ディスプレイ（１２０，１２１）に表示される。
【００１１】
本実施例ではビデオシースルー方式のＨＭＤを使用したがこれは本発明を制限するものではなく、光学シースルー方式のＨＭＤとビデオカメラを組み合わせた方式のＨＭＤに対して本発明を適応することも可能である。
【００１２】
ＨＤＭ１００に表示される映像は、計算機３００により作成される。計算機３００はＣＰＵ  ３０１、メモリ３０２、ＰＣＩブリッジ３０３、シリアルＩ／Ｏ  ３１０、ビデオキャプチャカード３２０，  ３２１、ビデオボード３３０，  ３３１からなる。
【００１３】
３次元位置センサ  ２００は３次元位置センサ固定局  ２１０とＨＭＤ内蔵位置センサ  １２０、手位置センサ  ２２０からなる。３次元位置センサ  ２００は磁気により３次元位置センサ固定局  ２１０とＨＭＤ内蔵位置センサ  １２０、手位置センサ２２０との相対位置を測定する。位置情報は  ｘ，  ｙ  ，  ｚ，  ｒｏｌｌ，  ｐｉｔｃｈ，  ｙａｗ  の６自由度を測定できる。計算機  ３００とはシリアルインターフェイスで通信を行う。３次元位置センサ固定局  ２１０の位置は事前に正確に測定してあり、ＨＭＤ内蔵位置センサの相対位置を知ることでＨＤＭ、手の絶対位置を知ることができる。
【００１４】
手には図４に示すように、指サック４００と手位置センサ２２０を装着する。この後に述べるように、指サック４００により手を握ったことを検出する。手位置センサ２２０はＨＭＤ内蔵位置センサ１２０と同じ物であり手の絶対位置を６自由度で測定する。
【００１５】
指サック４００を図５に示す。指サック４００は、円筒形のサックに３色の板からなるマーカー４１０を張りつけたものである。この指サック４００を、爪の側にマーカー４１０がくる方向で指にはめる。マーカーを３色にすることでマーカーの誤認を防いでいる。
【００１６】
指サック４００の詳細を図１３に示す。マーカー４１０は、３色の色パネル４３１，４３２，４３３より構成される。図１４に示すように、色パネル４３１，４３２，４３３は裏にマジックテープ（登録商標）が張られている。
【００１７】
色パネル４３１，４３２，４３３は、マジックテープ（登録商標）により指サック４００に固定される。これらはマジックテープ（登録商標）なので、照明環境により自由に別の色のパネルと交換することができる。
【００１８】
以降は説明を簡略化するために、色パネル４３１，４３２，４３３の色を赤、青、黄とするが、これらの色パネルは自由に張り替えられるため、自由に色を選ぶことができる。
【００１９】
図６（ａ）は、使用者が手を開いているところをビデオカメラ１１０，１１１により撮影した映像である。手の平が見えており指サック４００についているマーカー４１０は手の裏側になっており見えていない。同様に図６（ｂ）は、使用者が手を握っているところを撮影した映像である。指の爪側が見えており指サック４００についたマーカー４１０が見えている。本発明ではこれを利用し、ビデオカメラ１１０，１１１からの映像に写ったマーカー４１０を検出することで、手を握ったことを検知する。
【００２０】
但し図６（Ｃ）に示すよう、使用者が手の甲を見ているときには、マーカー４１０の検出のみで手を握ったことを判定すると誤動作してしまう。そこで手位置センサにより手の甲側が見えていると判断できるときは、マーカー４１０を検出していても、手を握っていないと判断する。
【００２１】
本実施例を構成するプログラムの概略を示したフローチャートを図７に示す。
【００２２】
ビデオカメラ２００から実写映像を取り込む（Ｓ１００）。
【００２３】
取り込んだ映像を、マーカーに使用している３色に対応して３値化する（Ｓ１０１）。より詳しくは、青の部分を１、赤の部分を２というように色ごとに数値化した画像データに置き換える。それ以外の部分を０とする（図８）。色の識別は、映像の各画素をＹ，  Ｃｂ，  Ｃｒに変換し、Ｃｂ，  Ｃｒの値が一定の範囲であれば、その範囲に対応した色と判定している。
【００２４】
この３値化した画像データに対してラベリングを行い（Ｓ１０２）、「どの色が、どの座標を中心に、どのくらいの面積で存在するか」を示すブロックデータを作成する（図９）。ラベリングのアルゴリズムは一般によく知られているのでここでは説明しない。
【００２５】
マーカーを検出する（Ｓ１０３）。マーカーの検出方法についての詳細を、フローチャート（図１０，１１）に示す。マーカー検出は図１２のような位置関係にある赤、青、黄のブロックデータを探すことを基本としている。すべてのブロックの組み合わせに対して（Ｓ２００〜Ｓ２０２，  Ｓ２０７〜Ｓ２１２）、黄と赤のブロックが十分近い距離（青の面積の平方根の４倍以内）にあることを確認し（Ｓ２０３）、黄と赤のブロックの中心を対角とする長方形の内部に青のブロックの中心が存在するかを確認する（Ｓ２０４，２０５）。これらが満たされた場合に、マーカーを検出したと判定する（Ｓ２０６）。すべての赤、青、黄のブロックデータの組み合わせに対してこれらが満たされなかったとき、マーカーは検出されたかったと判定する（Ｓ２１３）。
【００２６】
手のひらがこちら側を向いているかどうかを判定する（Ｓ１０５）。これは視線方向のベクトルと手のひらの法線方向のベクトルの内積をとることで判定できる。内積がマイナスなら両者のベクトルが反対側を向いていることになり、カメラには手のひらが見えていることになる。視線と手のひらの法線のベクトルは、単位ベクトルをそれぞれのｒｏｌｌ，  ｐｉｔｃｈ，  ｙａｗにより回転させたベクトルを使用する。
【００２７】
マーカーが見えており、かつ手のひらが見えているとき、手を握っていると判定する（Ｓ１０５）。またそうでなければ手を握っていないと判定する（Ｓ１０６）。
【００２８】
以上の処理により、ユーザが手を握っているかどうか判定することができる。
【００２９】
【発明の効果】
以上の説明から明らかなように本発明によれば、光学マーカーを構成する色のパターンを容易に変更することができ、さまざまな照明環境下に適した色のパターンによる光学パターンを実現することができる。
【図面の簡単な説明】
【図１】本実施例のハードウェアの全体図である。
【図２】本実施例のハードウェアの模式図である。
【図３】ＨＭＤの構成図である。
【図４】使用者が手につける装備である。
【図５】指先に装着する指サックとそれに付随したマーカーである。
【図６】手を握ったとき、手を開いた状態をＨＭＤから見た映像である。
【図７】本実施例の動作概略を示すフローチャートである。
【図８】原映像をカラー情報により３値化する様子を示した図である。
【図９】ラベリング後のブロックデータを示した図である。
【図１０】マーカー検出の動作を示すフローチャートである。
【図１１】マーカー検出の動作を示すフローチャートである。
【図１２】ブロックデータに含まれる中心座標を用いて、色の位置関係を判定する方法を示した図である。
【図１３】指サックと色パネルを示した図である。
【図１４】色パネルの表面と裏面を示した図である。
【符号の説明】
１００  ＨＭＤ
１１０，１１１  ビデオカメラ
１２０  ＨＭＤ内蔵位置センサ
１３０，１３１  液晶ディスプレイ
２００  ３次元位置センサ本体
２１０  ３次元位置センサ固定局
２２０  手位置センサ
３００  計算機
３０１  ＣＰＵ
３０２  メモリ
３０３  ＰＣＩブリッジ
３１０  シリアルＩ／Ｏ
３２０，３２１  ビデオキャプチャボード
３３０，３３１  ビデオボード
４００  指サック
４１０  指サックにつけるマーカー
４３１，４３２，４３３  色パネル
５００  手の甲につけるマーカー
【図１】
2005055938.tif 000003
【図２】
2005055938.tif 000004
【図３】
2005055938.tif 000005
【図４】
2005055938.tif 000006
【図５】
2005055938.tif 000007
【図６】
2005055938.tif 000008
【図７】
2005055938.tif 000009
【図８】
2005055938.tif 000010
【図９】
2005055938.tif 000011
【図１０】
2005055938.tif 000012
【図１１】
2005055938.tif 000013
【図１２】
2005055938.tif 000014
【図１３】
2005055938.tif 000015
【図１４】
2005055938.tif 000016