(57)【要約】【課題】光源や背景が変化する環境において、マーカを安定的に検出する。【解決手段】カメラ画像より外枠で囲まれたマーカ領域を検出し、本領域内の各色相でのピクセルの登場回数であるヒストグラムを作成し、ピクセルの登場回数を二等分する第一の色相でヒストグラム第一のヒストグラムと第二のヒストグラムに分割し、当該マーカ領域を第一のヒストグラムに含まれる色相の上部色領域と第二のヒストグラムに含まれる色相の下部色領域に分割し、これら領域の色相を二分割する領域にさらに分けてそれぞれの領域を結ぶ第一から第四ベクトルを算出し、また上部色の重心点と下部色の重心点の間の第五のベクトルを算出し、これらベクトルを比較することで安定的にマーカ領域がマーカであるかどうかを判定したうえ、また上部色の重心点と下部色の重心点の中間点をマーカの位置、第五のベクトルをマーカの姿勢とする。【選択図】図４
2019096274.tif 000002
【特許請求の範囲】
【請求項１】
カメラ画像入力部と、
前記カメラ画像入力部にて生成したカメラ画像よりマーカを検出してマーカの位置および姿勢を算出するマーカ検出部と、を有するマーカ位置姿勢検出装置であって、
前記マーカは、マーカ領域と前記マーカ領域を周囲と切り分ける外枠部を有し、
前記マーカ領域は第一の領域と第二の領域を有し、
前記第一の領域には第一のベクトル方向に第一の特徴的配色を有し、
前記第二の領域には第二のベクトル方向に第二の特徴的配色を有することを特徴とし、
前記マーカ検出部は、前記第一の特徴的配色より前記第一のベクトル方向を画像認識し、前記第二の特徴的配色より前記第二のベクトル方向を画像認識し、第一の領域の重心点と前記第二の領域の重心点を結ぶ第三のベクトル方向と、前記第一のベクトル方向および前記第二のベクトル方向が特定の条件の範囲内に収まる場合、マーカ領域をマーカであるとして判定することを特徴とする、
マーカ位置姿勢検出装置
【請求項２】
カメラ画像入力ステップと、
前記カメラ画像入力ステップにて生成したカメラ画像よりマーカを検出してマーカの位置および姿勢を算出するマーカ検出ステップと、を有するマーカ位置姿勢検出方法であって、
前記マーカは、マーカ領域と前記マーカ領域を周囲と切り分ける外枠部を有し、
前記マーカ領域は第一の領域と第二の領域を有し、
前記第一の領域には第一のベクトル方向に第一の特徴的配色を有し、
前記第二の領域には第二のベクトル方向に第二の特徴的配色を有することを特徴とし、
前記マーカ検出ステップは、前記第一の特徴的配色より前記第一のベクトル方向を画像認識し、前記第二の特徴的配色より前記第二のベクトル方向を画像認識し、第一の領域の重心点と前記第二の領域の重心点を結ぶ第三のベクトル方向と、前記第一のベクトル方向および前記第二のベクトル方向が特定の条件の範囲内に収まる場合、マーカ領域をマーカであるとして判定することを特徴とする、
マーカ位置姿勢検出方法
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、バーチャルリアリティにおいて、利用者の手や利用者がバーチャルリアリティ空間で使用したい現実世界の物体を、バーチャルリアリティ空間にて、現実世界と同じ位置・姿勢で表示し、インタラクションを可能とする技術に関するものである。
【背景技術】
【０００２】  近年、コンピュータグラフィックを活用したアプリケーションの体験形態として、バーチャルリアリティが急速な普及を見せている。バーチャルリアリティでは、ヘッドセットを装着した利用者は、まるで自分がコンピュータグラフィックスの世界に入り込んだような体験が可能である。首を動かせば現実世界で首を動かしたときと同様に視点が変わり、視界には現実世界同様の立体的な世界が広がるためである。このような、ヘッドセットを装着した利用者が首を動かすことで、コンピュータグラフィックスの世界での視点も現実同様に切り替わる技術は、ヘッドトラッキングと呼ばれ、バーチャルリアリティを実現するための根幹技術となっている。【０００３】  もう一つのバーチャルリアリティにおける根幹技術は、ハンドトラッキング技術である。この技術は、ヘッドセットを装着した利用者の手の位置・姿勢・形状をトラッキングし、コンピュータグラフィックス内に、コンピュータグラフィックスによる手を再現し、コンピュータグラフィックス内の物体の操作等を可能とする技術である。例えば３次元コントローラ（例えば、非特許文献１）では、バーチャルリアリティを体験する部屋に二つ以上のカメラを設置し、これらのカメラより手に装着した３次元コントローラをトラッキングすることで、コンピュータグラフィックス内での手の位置・姿勢・形状（グー、パー、指差しなど）を測定し、これをコンピュータグラフィックス内の手として再現することで、まるで自分の手がコンピュータグラフィックスの世界に入り込んだかのような体験を実現している。しかし、本技術では、部屋に複数のカメラを設置する必要があるため、持ち運びやセッティングが困難である。【０００４】  ハンドトラッキングにおける持ち運びやセッティングの課題を解消する技術としては、ヘッドセット前面に手を検出する専用のセンサーを装着する技術（例えば、非特許文献２）が存在する。本技術によれば、利用者の手はヘッドセット前面に装着したセンサーにより位置・姿勢・形状が認識され、コンピュータグラフィックス内の手として再現されるため、前記非特許文献１で挙げた持ち運びやセッティングの課題は解消される。【０００５】  また、ウェアラブルコンピュータに用いるリング型インターフェース（特許文献１）では、カメラを用いて、指に装着したリングを画像認識することで、指の位置・姿勢を検出する。本方法では、利用者は指にリングを装着するという手間が必要であるものの、リングは人にとって一般的な装飾品であり、かつ非常に安価なリング型デバイスと、最近のコンピュータには標準搭載されているカメラの組み合わせでハンドトラッキングが実現できるため、非特許文献２のような専用のセンサーデバイスを用いる場合と比べて、安価な実装が可能である。最近は、段ボール製の安価なバーチャルリアリティデバイスに手持ちのスマートフォンを装着するだけでバーチャルリアリティが楽しめる簡易・安価なソリューションが好評を得ていることから、スマートフォンのカメラと、安価なリング型デバイスの組み合わせでハンドトラッキングを実現できる本技術には優位性がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２６７２２０号広報
【非特許文献】
【０００７】
【非特許文献１】オキュラスタッチ（登録商標）（ｈｔｔｐｓ：／／ｗｗｗ．ｏｃｕｌｕｓ．ｃｏｍ／ｒｉｆｔ／）
【非特許文献２】リープモーション（登録商標）（ｈｔｔｐｓ：／／ｗｗｗ．ｌｅａｐｍｏｔｉｏｎ．ｃｏｍ／ｐｒｏｄｕｃｔ／ｖｒ／＃１１３）
【発明の概要】
【発明が解決しようとする課題】
【０００８】  上述したウェアラブルコンピュータに用いるリング型インターフェースでは、ヘッドセットに搭載されたカメラにて、青及び緑の着色を施したマーカが描かれたリング型デバイスを撮影し画像認識をすることを前提としているものの、利用者の向きによって光源や背景部の状態が著しく変化するという状況に対応ができていない。このため、利用者の首の向きによって、窓やライトと向き合ういわゆる逆光状態となると、カメラの特性上カメラ画像内のリングの色情報が大きく欠落してしまうため、認識精度が著しく低下してしまうという問題があった。また、部屋に青と緑が近接した物体があると、これらをリングと誤認識してしまうという問題がある。
上記状況に鑑みて、本発明は、着色を施したマーカをバーチャルリアリティのヘッドセットに装着されたカメラで認識する際、光源や背景の状況によっても、検出漏れ、誤検出が発生しないよう検出精度を向上させることで、バーチャルリアリティにおけるハンドトラッキングやマーカを貼り付けたデバイスの位置・姿勢・形状を検出することが可能な装置及び方法を提供するものである。
【課題を解決するための手段】
【０００９】  上記目的を達成すべく、本発明は、着色を施したマーカを巻き付けた指やデバイスをバーチャルリアリティヘッドセットに搭載したカメラで認識するにあたり、マーカに光源変化や背景の状況の変化に強い配色を施し、ヘッドセットに搭載したカメラ側は、当該カメラで撮影したカメラ画像の画像認識によってこのマーカの配色を解析することで、マーカの位置・姿勢を推定する。
マーカは長方形（縦：横＝１：３程度）に着色を施したもので、紙に印刷して切り抜き、指や対象デバイスに巻き付ける。紙以外にも布やプラスチック等に配色を施してもよいが、紙の場合、インターネット等でマーカを配布し、利用者が自身の所有するプリンター等で印刷して利用が可能であることから、安価にマーカを配布することが可能である。【００１０】  マーカの具体的な配色としては、外枠となる色（例えば赤）と、マーカ領域となる色、すなわちＨＳＶ色空間において外枠となる色の色相に１８０°加算した色（外枠となる色が赤の場合は水色）にて、外枠になる色で横方向にはしご状に着色し、外枠になる色で区切られた各長方形をマーカ領域の色で塗る。ただし、この着色においては、マーカ領域の色をＨＳＶ色空間にて色相を４５°加算した色である上部色と、マーカ領域の色をＨＳＶ色空間にて色相を４５°減算した色である下部色に分け、各長方形の上半分は上部色、下半分は下部色で塗る。また、この上部色、下部色の着色においても、上部色、下部色ぞれぞれ、ＨＳＶ色空間にて色相１０°程度の範囲で上下左右任意の方向にグラデーションを施して着色する。なお、グラデーションではなく、単にＨＳＶ色空間にて色相１０°程度の範囲で二色選択して上下または左右に領域を二分割しそれぞれの色で着色するとしてもよい。【００１１】  このように着色されたマーカは、カメラ画像の画像認識の際、外枠となる色でマーカ領域と背景部とが切り分けらるため、カメラ画像内のマーカ部と背景部が一体化することによる検出漏れを防ぐことができる。また、マーカ領域の色を上部色、下部色にわけることで、逆光等の光源の急激な変化で色の明度情報が大きく欠損したり、クリプトン電球のように赤味の強い光源の下でマーカが赤味を帯びてしまったとしても、色空間での色相の差は残りやすいため、これら光源変化においても上部色と下部色の間には９０°程度の色相の差が残ると期待できる。【００１２】  また、カメラ画像中の青色と緑色の存在部分をマーカとする、単純なルールでは、部屋内の青色・緑色を持つ様々な物体をマーカとして誤認識してしまう。この問題について、前記のマーカのグラデーションを利用し、グラデーションが変化する方向に意味づけをすることで、この意味づけされた方向のグラデーションを持たない部分はマーカではないとして除外することが可能となる。このグラデーション方向の意味づけについては、上部色と下部色で共通の意味づけを行うことで、さらに厳密にカメラ画像内に存在するマーカと誤認する可能性のある部分を除外することができる。【００１３】  さらに、上部色と下部色のグラデーションは、マーカが動く場合の検出率の向上にも寄与する。マーカの背景物との誤認識を防ぐ方法としては、マーカを複雑な幾何学形状、例えば二次元バーコードのようなものにする方法がある。しかし、このような複雑な幾何学形状を用いてしまうと、検出に時間を要するだけでなく、マーカが移動する場合、カメラ画像内の当該マーカがぼやけてしまい正しく認識できなくなってしまう。一方、当該上部色、下部色に施したグラデーションは、マーカが移動しカメラ画像内のマーカが多少ぼやけたとしてもグラデーションの特徴は消失しづらい。バーチ���ルリアリティにおいて手をトラッキングする際には、動く手の指に装備したマーカを認識するため、動くマーカの認識が必要とされる。このことから、本提案のマーカは、バーチャルリアリティにおけるハンドトラッキングに適したものであるといえる。【００１４】  バーチャルリアリティヘッドセットに搭載されたカメラによるカメラ画像より、上記のマーカを検出し、マーカの位置・姿勢を算出する方法の一例としては、カメラ画像をＨＳＶ表色系に変換し、外枠となる色で囲まれたマーカ領域を検出し、本領域内のピクセルの登場回数を縦軸、色相を横軸としてヒストグラムを作成し、本ヒストグラムをピクセルの登場回数を二等分する第一の色相でヒストグラム第一のヒストグラムと第二のヒストグラムに分割し、当該マーカ領域を第一のヒストグラムに含まれる色相の上部色領域と第二のヒストグラムに含まれる色相の下部色領域に分割し、上部色の重心点と下部色の重心点の中間点をマーカの位置、上部色の重心点と下部色の重心点を結ぶ第一の二次元ベクトルをマーカの姿勢とする。なお、マーカ領域サイズより奥行き方向を算出することで、マーカの位置を三次元座標とすることもできる。【００１５】  さらに、上記第一のヒストグラムを、ピクセルの登場回数を二等分する第三の色相で第三のヒストグラムと第四のヒストグラムに分割し、上部色の領域を第三のヒストグラムに含まれる色相の第一の上部色領域と、第四のヒストグラムに含まれる色相の第二の上部色領域に分け、第一の上部色領域の重心点と第二の上部色領域の重心点を結ぶ第二の二次元ベクトルを算出し、第一の二次元ベクトルと第二の二次元ベクトルの角度を算出し、当該算出した角度が所定の範囲外の場合、本領域をマーカとして検出しないようにする。これにより、マーカを複雑な幾何学形状としなくても、簡易な計算により当該領域がマーカであるかどうかを検証でき、マーカと似た色の背景領域をマーカとして誤検出する確率を低下させることができる。なお、同様の方法を下部色領域に適用することで、下部色領域においてもマーカを誤検出する確率を低下させることができる。【００１６】  さらに、第一の二次元ベクトルと第二の二次元ベクトルの角度差により、マーカに識別番号を付与することも可能である。例えば、当該角度が−５°〜５°なら１、８５°から９５°なら２、１７５°〜１８５°なら３、２３５°〜２４５°なら４とし、上部色領域、下部色領域にそれぞれ４パターンの識別番号を付与することで、マーカに１６パターンの識別番号を付与することが可能である。左右両手のすべての指を認識する場合、それぞれの指につけるマーカに異なる識別番号を付与することで、簡単に各指の位置・姿勢を検出することが可能となる。なお、上記角度の範囲は、カメラ画像の解像度に応じて適切な範囲を指定する。カメラ画像の解像度が低い場合は、算出される角度の粒度が荒くなるため、広めの角度の範囲を指定すべきである。【００１７】  次に、本発明の装置は、カメラ画像入力部と、前記カメラ画像入力部にて生成したカメラ画像よりマーカを検出してマーカの位置および姿勢を算出するマーカ検出部と、を有するマーカ位置姿勢検出装置であって、前記マーカは、マーカ領域と前記マーカ領域を周囲と切り���ける外枠部を有し、前記マーカ領域は第一の領域と第二の領域を有し、前記第一の領域には第一のベクトル方向に第一の特徴的配色を有し、前記第二の領域には第二のベクトル方向に第二の特徴的配色を有することを特徴とし、前記マーカ検出部は、前記第一の特徴的配色より前記第一のベクトル方向を画像認識し、前記第二の特徴的配色より前記第二のベクトル方向を画像認識し、第一の領域の重心点と前記第二の領域の重心点を結ぶ第三のベクトル方向と、前記第一のベクトル方向および前記第二のベクトル方向が特定の条件の範囲内に収まる場合、マーカ領域をマーカであるとして判定することを特徴とする、マーカ位置姿勢検出装置である。【００１８】  かかる構成によれば、バーチャルリアリティのヘッドセットに搭載のカメラにマーカ位置姿勢検出装置を搭載することで、マーカを付けた指が動いても、首を振ることでカメラの光源や背景状態が変わっても安定的にマーカを検出することができる。【００１９】  次に、本発明の方法は、カメラ画像入力ステップと、前記カメラ画像入力ステップにて生成したカメラ画像よりマーカを検出してマーカの位置および姿勢を算出するマーカ検出ステップと、を有するマーカ位置姿勢検出方法であって、前記マーカは、マーカ領域と前記マーカ領域を周囲と切り分ける外枠部を有し、前記マーカ領域は第一の領域と第二の領域を有し、前記第一の領域には第一のベクトル方向に第一の特徴的配色を有し、前記第二の領域には第二のベクトル方向に第二の特徴的配色を有することを特徴とし、前記マーカ検出ステップは、前記第一の特徴的配色より前記第一のベクトル方向を画像認識し、前記第二の特徴的配色より前記第二のベクトル方向を画像認識し、第一の領域の重心点と前記第二の領域の重心点を結ぶ第三のベクトル方向と、前記第一のベクトル方向および前記第二のベクトル方向が特定の条件の範囲内に収まる場合、マーカ領域をマーカであるとして判定することを特徴とする、マーカ位置姿勢検出方法である。【００２０】  かかる構成によれば、バーチャルリアリティのヘッドセットに搭載のカメラにマーカ位置姿勢検出方法を実装したソフトウェアを搭載することで、マーカを付けた指が動いても、首を振ることでカメラの光源や背景状態が変わっても安定的にマーカを検出することができる。
【発明の効果】
【００２１】  本発明によれば、カメラおよび紙製のマーカというシンプルで安価な構成により、バーチャルリアリティにおけるハンドトラッキングや、マーカを貼り付けたデバイスのトラッキングが可能となる。このため、段ボール等の簡易ヘッドセットにスマートフォンを挿入して利用する形態のバーチャルリアリティにおいて、利用者は安価・手軽にハンドトラッキングを利用した没入度の高いバーチャルリアリティ体験を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】マーカの外観図
【図２】マーカの装着例（指）
【図３】マーカの装着例（デバイス）
【図４】本発明の装置の構成図
【図５】本発明の装置の機能ブロック図
【図６】マーカ検出部の処理フロー図
【図７】ヒストグラムの例を表す図
【図８】算出した重心点とベクトルの例を表す図
【発明を実施するための形態】
【００２３】  以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、任意の変更及び変形が可能である。
【実施例１】
【００２４】  図１は実施例１のマーカの外観図を示している。
実施例１のマーカ１は、ＨＳＶ色空間にて色相０°である赤色の外周（１ａ）で３つの領域を区切っている。これら区切られた領域の上半分（例えば１ｂ）の上部色領域はＨＳＶ色空間にて色相２２５°である青に近い水色からＨＳＶ色空間にて色相２１５°である、水色で下から上に向けて領域１ｂの右辺及び左辺と水平方向にグラデーションがかかっている。区切られた領域の下半分（例えば１ｃ）の下部色領域はＨＳＶ色空間にて色相１３５°である黄緑色からＨＳＶ色空間にて色相１４５°である、水色がかった緑色で左から右に向けて領域１ｂの右辺及び左辺と垂直方向にグラデーションがかかっている。本実施例１では、各区切られた領域（例えば１ａ、および１ｂ）の形状は長方形としているが、例えば角を落とした丸角形状等、デザイン性を持たせたものであってもかまわない。また、外周の色は赤色以外としてもよいが、その場合、上部色領域は２１５°、下部色領域は１４５°、外周の色の色相に加算した値とする。ただし、マーカを指に装着して使用する場合、指の色相は赤に近くなるため、上部色領域や下部色領域の色が赤の色相に近いものにならないようにするほうがよい。【００２５】  図２は実施例１のマーカを人差し指に装着した装着例を示している。
マーカ１を印刷した紙を切り抜き、左辺と右辺をセロファンテープ等で張り付け、赤色外周に折り目をつけて三角柱の形状とし、指に装着する。２ａは、マーカを左手人差し指に装着した例である。【００２６】  図３はマーカを棒状のデバイスに巻き付けた例を示している。
マーカの横辺の長さをデバイスの円周となるように調整して印刷した紙を切り抜き、接着剤等でマーカをデバイスに固定する。３ｂは、棒状デバイス３ａに巻き付けて張り付けられたマーカの例である。なお、デバイスにマーカを付与する方法としては、紙やビニールなどにマーカを描いて張り付ける他、直接デバイスにマーカを描く方法もある。【００２７】  次に本発明の装置の構成について、図４を参照しながら説明する。
本装置は、具体的には、スマートフォンに搭載されるカメラに搭載され、カメラが撮影したカメラ画像を認識して、前記カメラ画像中のマーカを検出し、前記マーカの位置・姿勢を計算するマーカ位置姿勢検出装置である。なお、本装置はハードウェアとして実装せずスマートフォンに搭載されるソフトウェアとして実装されてもよい。【００２８】  ４ａは、段ボール製の簡易バーチャルリアリティヘッドセットである。このヘッドセット４ａの前面部にスマートフォン４ｂを差し込む。なお、ヘッドセットによってはスマートフォンを差し込むことによってバーチャルリアリティアプリケーションが自動的に起動するものもあるが、そうでない場合は、スマートフォン４ｂをヘッドセット４ａに差し込む前にバーチャルリアリティアプリケーションを起動しておく必要がある。【００２９】  バーチャルリアリティアプリケーションは、マーカ位置姿勢検出装置にアクセスすることで、スマートフォンに搭載されたカメラ４ｃに映りこんだマーカ４ｄの位置・姿勢を計算し、バーチャルリアリティアプリケーションへ出力する。これにより、バーチャルリアリティアプリケーションは、出力されたマーカ４ｄの位置・姿勢に基づき、コンピュータグラフィックスの指等を表示する。【００３０】  次に本発明のマーカ位置姿勢検出装置の機能ブロックについて、図５を参照しながら説明する。
本実施例１においてマーカ位置検出装置を搭載したスマートフォン５１０は、カメラ５１１と、マーカ位置姿勢検出装置５２０と、ＶＲアプリ５１２とを最低限含む。【００３１】  カメラ５１１は、例えばＣＭＯＳカメラモジュールであり、レンズにて集光した光をＣＭＯＳセンサーで読み取ることで、ＲＧＢ表色系のカメラ画像を生成する。【００３２】  マーカ検出装置５２０は、カメラ画像入力部５２１と、マーカ検出部５２２とを含む。
カメラ画像入力部５２１は、カメラ５１１が生成したカメラ画像を入力とし、前記カメラ画像をＲＧＢ表色系から、ＨＳＶ表色系へ変換する。
マーカ検出部５２２は、カメラ画像入力部５２１によってＨＳＶ表色系へ変換されたカメラ画像を入力とし、外周色（１ａ）で囲まれた領域のヒストグラム情報を生成する。ヒストグラム情報は、横軸を色相、縦軸をピクセル数として、領域内の各ピクセルの色相の出現頻度を記録するものである。また、各色相のピクセルの重心点を合わせて計算する。当該領域がマーカであると判定された場合、前記重心点を利用して、マーカの位置・姿勢を計算するためである。
次に前記のヒストグラムを利用して当該領域がマーカであるかどうかを検査する。検査結果、マーカであると判定された場合は、上部色領域の重心点と下部色領域の重心点を算出し、上部色領域重心点と下部色領域を重心点の中間点をマーカの位置、下部色領域の重心点から上部色領域の重心点への二次元ベクトルがマーカの姿勢として、ＶＲアプリ５１２へ渡す。なお、上部色領域と下部色領域のサイズから奥行き方法の座標を計算することで、マーカの位置を三次元座標としてもよい。【００３３】  ＶＲアプリ５１２は、マーカ位置姿勢検出装置５２０が生成したマーカの位置・姿勢情報に基づき、ＶＲアプリ内で表示するコンピュータグラフィックスの指の表示位置・姿勢を調整する。これにより、ＶＲアプリは、実際の自分の指の位置にコンピュータグラフィックスの指を表示することができる。【００３４】  次に本発明のマーカ位置姿勢検出装置におけるマーカ検出部の処理詳細について、図６を参照しながら説明する。【００３５】  前記の通り、ＨＳＶ表色系に変換されたカメラ画像を入力したマーカ検出部は、カメラ画像（幅をＷ，高さをＨとする）を左上（０，０）から、右下（Ｗ−１，Ｈ−１）まで全ピクセルラスタスキャンし、外枠の色の色相をＣａとしたとき、Ｃａ−α°〜Ｃａ＋α°の色に囲まれた領域であって、本領域内を構成するピクセルのβ％がＣａ＋１４５°‐θ〜Ｃａ＋２２５°＋θの範囲である領域を検出する（Ｓ６１）。ここで、α、β、θはスマートフォンのカメラの特性によって調整を行う。【００３６】  次に、Ｓ６１で検出された領域について、ヒストグラムを作成する（Ｓ６２）。ヒストグラムは、色相Ｃａ＋１４５°−θ〜Ｃａ＋２２５°＋θをＮ等分し、Ｃ（１）〜Ｃ（Ｎ）とする。本領域を構成する全ピクセルについて、当該ピクセルがＣ（１）からＣ（Ｎ）のいずれかにＣ（ｉ）属する場合は、当該Ｃ（ｉ）のピクセル数Ｐ（ｉ）を１加算する。合わせてＣ（ｉ）の重心点を計算するために、当該ピクセルのｘ座標をＸ（ｉ）も。ｙ座標をＹ（ｉ）にそれぞれ加算する。図７は、ピクセル（１０，１５）の色がＣ（２）に属する１６０°の場合、ヒストグラムがどのように変化するかを示すものである。Ｃ（２）のピクセル数Ｐ（２）は元々５であったが、１加算されて６になり、また座標ｘ（２）、ｙ（２）に、それぞれ１０、１５が加算される様子が示されている。【００３７】  次に、Ｓ６２で作成されたヒストグラムから、上部色領域の重心点１、上部色領域の重心点２、上部色領域の重心点３、下部色領域の重心点１、下部色領域の重心点２、下部色領域の重心点３をそれぞれ計算し、これら重心点から、当該領域がマーカであるかどうかを判定する（Ｓ６３）。【００３８】  はじめに、ヒストグラムのＰ（１）からＰ（Ｎ）について、Ｐ（１）〜Ｐ（ａ）の総和ＰＡとＰ（ａ＋１）〜Ｐ（Ｎ）の総和ＰＢが概ね同じ値となるａを見つける。すると、Ｘ（１）〜Ｘ（ａ）の総和をＸＡ、Ｙ（１）〜Ｙ（ａ）の総和をＹＡとすると、上部色領域の重心点１ＭＡ＝（ＸＡ／ＰＡ，ＹＡ／ＰＡ）となる。また、Ｘ（ａ＋１）〜Ｘ（Ｎ）の総和をＸＢ、Ｙ（ａ＋１）〜Ｙ（Ｎ）の総和をＹＢとすると、下部色領域の重心点１ＭＢ＝（ＸＢ／ＰＢ，ＹＢ／ＰＢ）となる。
次に、Ｐ（１）〜Ｐ（ｂ）の総和ＰＣと、Ｐ（ｂ＋１）〜Ｐ（ａ）の総和ＰＤが概ね同じ値となるｂを見つける。すると、Ｘ（１）〜Ｘ（ｂ）の総和をＸＣ、Ｙ（１）〜Ｙ（ｂ）の総和をＹＣとすると、上部色領域２の重心点ＭＣ＝（ＸＣ／ＰＣ，ＹＣ／ＰＣ）となる。また、Ｘ（ｂ＋１）〜Ｘ（ａ）の総和をＸＤ、Ｙ（ｂ＋１）〜Ｙ（ａ）の総和をＹＤとすると、上部色領域３の重心点ＭＤ＝（ＸＤ／ＰＤ，ＹＤ／ＰＤ）となる。
同様に、Ｐ（ａ＋１）〜Ｐ（ｃ）の総和ＰＥと、Ｐ（ｃ＋１）〜Ｐ（Ｎ）の総和ＰＦが概ね同じ値となるｃを見つける。すると、Ｘ（ａ＋１）〜Ｘ（ｃ）の総和をＸＥ、Ｙ（ａ＋１）〜Ｙ（ｃ）の総和をＹＥとすると、下部色領域２の重心点ＭＥ＝（ＸＥ／ＰＥ，ＹＥ／ＰＥ）となる。また、Ｘ（ｃ＋１）〜Ｘ（Ｎ）の総和をＸＦ、Ｙ（ｃ＋１）〜Ｙ（Ｎ）の総和をＹＦとすると、下部色領域３の重心点ＭＦ＝（ＸＦ／ＰＦ，ＹＦ／ＰＦ）となる。【００３９】  次にこれら算出した重心点から、全体ベクトルＶ１、上部色ベクトルＶ２、下部色ベクトルＶ３を算出する（Ｓ６４）。
全体ベクトルＶ１は、下部色の重心点１から上部色の重心点１への二次元ベクトルであり、Ｖ１＝ＭＡ−ＭＢで算出される。上部色ベクトルＶ２は、上部色領域のグラデーション方向に関するベクトルでありＶ２＝ＭＣ−ＭＤで算出する。下部色ベクトルＶ３は、下部色領域のグラデーション方向に関するベクトルでありＶ３＝ＭＦ−ＭＥで算出する。【００４０】  次にこれら算出したベクトル群から、当該領域がマーカであるかどうかを判定する（Ｓ６５）。本判定は、上部色領域については、Ｖ２とＶ１の角度があらかじめ決めた範囲Ｒにあるかどうかで判定する。例えば、Ｒを−５°〜＋５°とすると、Ｖ１とＶ２の方向がほぼ同一、すなわち上部色領域のグラデーションの方向と、下部色領域の中心から上部色領域の中心の方向がほぼ同一の場合、上部色領域についてはマーカである可能性ありと判定される。同様に下部色領域については、Ｖ３とＶ１の角度があらかじめ決めた範囲Ｒにあるかどうかで判定する。例えば、Ｒを−５°〜＋５°とすると、Ｖ１とＶ３の方向がほぼ同一、すなわち下部色領域のグラデーションの方向と、上部色領域の中心から下部色領域の中心の方向がほぼ同一の場合、下部色領域についてはマーカである可能性ありと判定される。
上記により、上部色領域および下部色領域の両方がマーカである可能性ありである場合、本領域はマーカであると判定する。マーカである場合は、マーカの位置はＭＡとＭＢの中間点、マーカの姿勢はＶ１となる。【００４１】  なお、本Ｖ２とＶ１の角度、またＶ３とＶ１の角度を単にマーカの可能性判定に利用するだけでなく、この角度に識別番号となる情報を付与することで、マーカに識別番号を付与して管理することが可能となる。例えば、当該角度が−５°〜５°なら１、８５°から９５°なら２、１７５°〜１８５°なら３、２３５°〜２４５°なら４とすることで、上部色領域で４パターン、下部色領域で４パターン、マーカ全体で１６パターンの識別番号の付与が可能である。【００４２】  図８は、算出した重心点とベクトルの例を表す図である。上部色領域の重心点１（８ａ）と下部色領域の重心点１（８ｂ）より算出されたＶ１（８ｃ）と、上部色領域の重心点２（８ｄ）と上部色領域の重心点３（８ｅ）より算出されたＶ２（８ｆ）と、下部色領域の重心点２（８ｇ）と下部色領域の重心点３（８ｈ）より算出されたＶ３（８ｉ）とを示している。
【産業上の利用可能性】
【００４３】  本発明は、安価なヘッドセットによるバーチャルリアリティにおけるハンドトラッキングの手法として有用である。
【図１】
2019096274.tif 000003
【図２】
2019096274.tif 000004
【図３】
2019096274.tif 000005
【図４】
2019096274.tif 000006
【図５】
2019096274.tif 000007
【図６】
2019096274.tif 000008
【図７】
2019096274.tif 000009
【図８】
2019096274.tif 000010