(57)【要約】【課題】  光学マーカを検出可能な画像処理装置において、光学マーカを識別するための色パラーメータの変更は容易でなかった。【解決手段】  予め、使用する可能性のある光学マーカについて識別用の色パラメータを求めておき、実際に使用するマーカに合わせて選択的に使用する。環境光の種類などにより使用する光学マーカが変更された場合には、使用するマーカをダイアログ６００から指定するだけで直ちに設定の変更が可能になる。【選択図】  図１７
2005165682.tif 000002
【特許請求の範囲】
【請求項１】
画像中から所定の色を有する領域を検出する画像処理方法であって、
前記所定の色として指定された色を特定する情報を取得する色情報取得ステップと、
前記所定の色として指定されうる色の各々について、当該各色を検出するために用いる色パラメータを記憶する記憶手段から、前記指定された色に対応する前記色パラメータを取得するパラメータ決定ステップと、
前記指定された色に対応する前記色パラメータを用いて、所定の画像から前記指定された色を有する領域を検出する検出ステップとを有することを特徴とする画像処理方法。
【請求項２】
さらに、前記所定の色として指定されうる色を撮影した画像から、前記所定の色として指定されうる色ごとに前記色パラメータを算出し、前記色を特定する情報とともに前記記憶手段に格納する色パラメータ算出ステップを有することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記所定の色を指定するためのユーザインタフェースを提示する提示ステップをさらに有し、
前記色情報取得ステップが、前記ユーザインタフェースを介して指定された前記色を特定する情報を取得することを特徴とする請求項１又は請求項２記載の画像処理方法。
【請求項４】
画像中から所定の色を有する領域を検出する画像処理装置であって、
前記所定の色として指定された色を特定する情報を取得する色情報取得手段と、
前記所定の色として指定されうる色の各々について、当該各色を検出するために用いる色パラメータを記憶する記憶手段と、
前記記憶手段から、前記指定された色に対応する前記色パラメータを取得するパラメータ決定手段と、
前記指定された色に対応する前記色パラメータを用いて、所定の画像から前記指定された色を有する領域を検出する検出手段とを有することを特徴とする画像処理装置。
【請求項５】
請求項１乃至請求項３のいずれか１項に記載の画像処理方法をコンピュータに実行させるプログラム。
【請求項６】
請求項５記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理により所定の色を有する領域を検出可能な画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
例えば特定の色を有する領域や形状を画像中から抽出することにより、様々な処理に利用することは広く知られている。このような、特定の色や形状を有する物体をマーカ、特に光学マーカと呼ぶ。マーカは、マーカとして配置される物体はもとより、もともと存在する物体が有する色や形状などをマーカとして利用することも可能である。
このような光学マーカの例として、例えば特許文献１においては、ユーザの指に装着される３色の色パネルをマーカとして利用している。
【０００３】
【特許文献１】特開２００２−２６９５６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
色によってマーカを識別する場合、予め指定されたマーカの色に対応する領域を画像中から検出する訳であるが、撮像されるマーカの色は、照明環境に依存して大きく変化する。例えば白熱灯の下と、蛍光灯の下では同じ色のマーカを使用しても、画像として取り込んだ際の色は大きく異なる。つまり、ある照明環境下でうまくマーカを認識できるからといって、別の照明環境下では必ずしもマーカを認識できるとは限らなかった。
【０００５】
そのため展示会会場などの、照明環境が当日にならないとわからない条件下で光学マーカを使用することは難しく、場合によっては認識が不安定な状況で使用することを余儀なくされていた。
【０００６】
この問題を解決するため、出願人は先に出願した特願２００３−２０５２８８号において、複数の色のパターンからなる光学マーカを使用する際に、マーカを構成する色のパターンを容易に変更できる構成をとることにより、例えば蛍光灯の環境下では青系統の色のパターンを避けたり、白熱灯の環境下では赤系統の色のパターンは避けるなどして、マーカ認識率の低下を防止することを提案している。しかしながら、マーカとして用いる色のパターンを変更した場合には、マーカを検出するための色認識プログラムのパラメータ変更が必要となる。そして、色認識プログラムのパラメータの変更は、マーカの色パターン交換のように即座に行うことが難しかった。
【課題を解決するための手段】
【０００７】
上述の目的は、画像中から所定の色を有する領域を検出する画像処理方法であって、所定の色として指定された色を特定する情報を取得する色情報取得ステップと、所定の色として指定されうる色の各々について、当各色を検出するために用いる色パラメータを記憶する記憶手段から、指定された色に対応する色パラメータを取得するパラメータ決定ステップと、指定された色に対応する色パラメータを用いて、所定の画像から指定された色を有する領域を検出する検出ステップとを有することを特徴とする画像処理方法によって達成される。
【０００８】
また、上述の目的は、画像中から所定の色を有する領域を検出する画像処理装置であって、所定の色として指定された色を特定する情報を取得する色情報取得手段と、所定の色として指定されうる色の各々について、当各色を検出するために用いる色パラメータを記憶する記憶手段と、記憶手段から、指定された色に対応する色パラメータを取得するパラメータ決定手段と、指定された色に対応する色パラメータを用いて、所定の画像から指定された色を有する領域を検出する検出手段とを有することを特徴とする画像処理装置によっても達成される。
【０００９】
また、上述の目的は、本発明の画像処理方法をコンピュータに実行させるプログラム又はこのプログラムを格納したコンピュータ読み取り可能な記録媒体によっても達成される。
【発明の効果】
【００１０】
本発明によれば、上述の構成により、光学マーカの色が変更された場合でも、容易かつ直ちに変更後のマーカに対応した色パラメータを用いた検出処理を行うことが可能になる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置の一例としての複合現実感提示システム（ＭＲシステム）の使用状態を模式的に示す図である。また、図２には、ＭＲシステムの構成例を示すブロック図である。
【００１２】
本実施形態に係るＭＲシステムは、ＨＭＤ（Head Mounted Display）１００、３次元センサ本体２００、３次元センサ固定局２１０、手位置センサ２２０、計算機３００及び、ユーザの指に装着された指サック４００とで構成される。により構成される。本実施形態においてＨＭＤ１００はビデオシースルー方式のＨＭＤである。図３は、本実施形態に適用可能なビデオシースルー方式のＨＭＤの例を示す図であり、（ａ）は斜め前方から見た斜視図であり、（ｂ）は斜め後方から見た斜視図である。
【００１３】
図３において、ＨＭＤ１００は、ユーザの右目の視線方向を撮影する右目用ビデオカメラ１１０、左目の視線方向を撮影する左目用ビデオカメラ１１１、ＨＭＤ１００の３次元位置を測定する３次元センサの移動局１２０、計算機３００から送られる所定の画像を表示する右目用ＬＣＤ１３０、左目用ＬＣＤ１３１からなる。
【００１４】
図２において、３次元位置センサ本体２００は、手位置センサ２２０、３次元位置センサ固定局２１０、及びＨＭＤに取り付けられた３次元センサ移動局１２０に接続される。３次元位置センサ本体２００は、磁気により３次元位置センサ固定局２１０と、移動局１２０及び手位置センサ２２０との相対位置を測定する。３次元センサ２００はｘ，ｙ，ｚ，ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗの６自由度の位置情報を測定することができる。また、３次元位置センサ本体２００は、例えばシリアルインターフェイスを介して計算機３００と通信を行う。
【００１５】
３次元位置センサ固定局２１０の３次元位置は予め正確に測定されており、移動局１２０との相対位置を測定することによりＨＭＤ１００及び手の絶対位置が算出される。手位置センサ２２０は、３次元センサ移動局１２０と同じものであり、ユーザの手の絶対位置を上述したように６自由度で測定する。
【００１６】
計算機３００は、３次元位置センサ本体２００との通信を行うシリアルＩ／Ｏ３１０と、ビデオカメラ１１０，１１１が撮影して得た映像のデータをデジタル化し、入力するビデオキャプチャカード３２０，３２１と、ＬＣＤ１３０，１３１に画像を表示させるビデオカード３３０，３３１と、各部を制御すると共に後述する処理をメモリ３０２に格納されたプログラムを読み出して実行するＣＰＵ３０１と、前記プログラムや撮影して得た映像等を格納するメモリ３０２と、これら各部を接続するＰＣＩブリッジ３０３とから成る。
【００１７】
このような計算機３００は、例えばパーソナルコンピュータとして市販されている汎用コンピュータ装置に、ビデオカードやビデオキャプチャカードを装着することにより構成することができる。
【００１８】
ＨＭＤ１００に設けられたビデオカメラ１１０，１１１の映像は計算機３００に送られる。その映像に対し、計算機３００は固定局２１０と移動局１２０が接続された３次元センサ２００から得られる３次元位置情報に基づいて作成したＣＧなど他の画像を重畳し、複合現実空間画像を作成する。計算機３００で加工された画像はビデオカード３３０，３３１を介してＨＭＤ１００に送られ、ＨＤＭ１００に内蔵されたＬＣＤ１３０，１３１に表示される。
【００１９】
なお、本実施形態ではビデオシースルー方式のＨＭＤを使用したが、光学シースルー方式のＨＭＤを用いてもよい。
【００２０】
上述したように、本実施形態において、ユーザは手に指サック４００と手位置センサ２２０を装着する。図４は及び図５は、手位置センサ２２０と、指サック４００の装着状態及び装着方法を説明する模式図である。
【００２１】
本実施形態のＭＲシステムは、後述するように、指サック４００に取り付けられたマーカを計算機３００で検出、識別することにより、ユーザの手の状態（握った状態か、開いた状態か）を検出する。なお、上述したように、手位置センサ２２０は移動局１２０と同じ物であり、固定局２１０との相対位置を測定することにより、手の絶対位置を６自由度で測定することが可能である。
【００２２】
指サック４００は、図１３に示すように、３色のパネル４３１，４３２，４３３から構成されるマーカ４１０を円筒形のサック４００に例えば面ファスナーのように着脱可能な取り付け部材によって取り付けた構成を有する。本実施形態では、図１４に示すように、色パネル４３１、４３２及び４３３の各々が独立して着脱可能な構成を有しているが、３つのパネル単位で着脱可能な構成であっても良い。そして、この指サック４００を、図５に示すように、爪の側にマーカ４１０がくる方向で指にはめる。マーカを３色にすることでマーカの誤認を防ぐとともに、着脱可能に取り付けることで、マーカの交換を容易にしている。
以降は説明を簡略化するために、色パネル４３１，４３２，４３３の色を赤、青、黄とするが、これらの色パネルは自由に張り替えられるため、自由に色を選ぶことができる。
【００２３】
図６は、ビデオカメラ１１０，１１１により撮影されたユーザの手の映像を示す概略図であり、（ａ）はユーザが手を開いている状態の概略図であり、（ｂ）は手を握っている状態の概略図であり、（ｃ）は手の甲が見えている状態の概略図である。
【００２４】
図６（ａ）では、ユーザの手のひらが見えており、指サック４００に付されたマーカ４１０は、手の裏側になり見えない。図６（ｂ）では、ユーザの指の爪側が見えており、指サック４００に付されたマーカ４１０が見えている。本実施形態では、このような手の状態の差を利用し、ビデオカメラ１１０，１１１により撮影された映像からマーカ４１０を検出することで手を握ったことを検出している。
【００２５】
但し、図６（ｃ）に示すように、ユーザの手の甲が見えているときには、マーカ４１０の検出のみで手を握ったことを判定すると誤動作してしまうので、手位置センサ２２０により手の甲側が見えていると判断できるときは、マーカ４１０を検出していても、手を握っていないと判断する。すなわち、位置センサにより、ＨＭＤの絶対位置と手の絶対位置（方向を含んだ６自由度の位置）が分かるため、ＨＭＤの視線方向を示すベクトルと手のひらの方向を示すベクトルが得られ、二つのベクトルのなす角を両者の内積をとることで求めることにより、この角が９０度以下の場合には、ＨＭＤからみて手の甲が見えていると判断することができる。
【００２６】
（手の状態判定処理）
次に、図７に示すフローチャートを用い、図２の計算機３００における手の状態（開閉）判定処理について説明する。
【００２７】
図７において、まず、ビデオカメラ１１０，１１１による実写映像の取り込みを行う（Ｓ１００）。
取り込んだ映像を、マーカに使用している可能性のあるｎ色に対応してｎ値化する（Ｓ１０１）。本実施形態では、使用する可能性のある色の種類を６種類とし、６値化している。より詳しくは、青の部分を１、赤の部分を２というように色ごとに数値化した画像データに置き換える（図８参照）。マーカに使用している可能性のある色に対応しない色（図８における白、黒、茶）は０となる。色の識別は、映像の各画素をＹ，Ｃｂ，Ｃｒに変換し、Ｃｂ，Ｃｒの値が一定の範囲であれば、その範囲に対応した色と判定している。
【００２８】
これらのＣｂ，Ｃｒの値の範囲が、色パネル４３１，４３２，４３３の色に対応する。本実施形態では、色パネル４３１，４３２，４３３が張り替えられたときに対応できるように、あらかじめいろいろな色のＣｂ，Ｃｒの値の範囲を取得しておく。
【００２９】
ここで、本実施形態において、予め用いる可能性のある色パネルに対応した色パラメータを取得する方法について説明する。本実施形態では、使用する可能性がある色の種類を、図１５に示すように色相の異なる６種類とし、それらのＣｂ，Ｃｒの値の範囲を取得する。これらのパラメータの取得には、例えば図１８に示すような色見本パネル３６０を用いる。色見本パネル３６０にはガイドマーカー３６２が各マーカーの４隅に配置されるように格子状に配置されている。そして、色見本として、使用する可能性のある色パネルの色が配置されている。
【００３０】
パラメータ設定時には、図１９に示すように、計算機３００のビデオキャプチャカード３２０又は３２１にパラメータ設定用のビデオカメラ３５０を接続し、色見本パネル３６０を撮影する。
【００３１】
図２０に示すフローチャートを用い、パラメータの取得処理について説明する。
キャプチャした画像について画面全体の明るさの平均値を計算し、画面を構成する各画素に対して、平均値を用いて２値化する（Ｓ１３）。これは、各画素を示す輝度・色差信号の輝度信号を用いて処理する。
【００３２】
２値化画像に対してラベリングを行い、取り込んだ画面中に写った色見本パネル３６０のガイドマーカー３６２と思われる点のリストを作る（Ｓ１４）。ラベリングのアルゴリズムについては、よく知られているのでここでは説明しない。
【００３３】
ラベリング結果から格子状に４行３列に並んだ点をガイドマーカーとして検出し、そして画面に写った色見本パネル３６０を認識する（Ｓ１５）。ラベリングにより作った点のリストから格子状に並んだ点を探すには、ハフ変換により直線に並んだ点を探し、それらの直線の組み合わせを評価し、その結果から認識する。ハフ変換のアルゴリズムはよく知られているので、ここでは説明しない。
【００３４】
色見本パネル３６０の位置からそれぞれの色見本（６色）の場所を計算し、元画面（２値化前の画像）の対応する場所の色情報の平均を計算する（Ｓ１７）。また得た色情報は同時に、２５６×２５６の配列に格納する。この配列はカラーチャートの各点に対応する。初期状態では配列はすべて０が埋められている。そして得た色情報に従い、要素（Ｃｂ＋１２８，Ｃｒ＋１２８）に色見本のＩＤ、１〜６が代入される。
【００３５】
そして、カラーチャート３６０の情報を格納した２５６×２５６の配列を元に、色パラメータを計算する（Ｓ２１）。配列の内容をラベリングし、各色ごとにもっとも面積の大きい島を探す。それらの島の中心点を色パラメータのＣｂ，Ｃｒの値とし、それらの島に図３のように外接する長方形の大きさを、それらの色の色パラメータとして記録する。
【００３６】
得た色パラメータを、ファイルに書き出す（Ｓ２２）。より具体的には、カラーＩＤと、図１６の示すＣｂ，Ｃｒの中央値と、中央値から広がる長方形の辺の長さ(長方形の円周方向の大きさ(tangent length)Tanと長方形の放射線方向の大きさ(radiation length)Rad)を色パラメータとして書き出す。
本実施形態において、６つのマーカのＩＤ１〜６はそれぞれ図１５に示すように割り当てられている。
【００３７】
図１７はマーカ認識パラメータの設定用ダイアログ６００である。設定用ダイアログ６００では、上述の処理で書き出したパラメータがＩＤ毎に示され、また必要に応じて修正可能になっている。また、本システムで使用するマーカ色については「enabled」にチェックを付けておく。
【００３８】
そして、実際に用いる光学マーカの色のパターンを、図１７に示したマーカ認識パラメータ設定ダイアログ６００の左下の「Grasp marker ID」の欄に、ＩＤの番号を入力することにより設定する。図１７の例では、「Grasp marker ID」の欄にＩＤ「２，１，３」が設定されており、これは「赤、青、黄」の色のパターンの使用が設定されていることを示している。
【００３９】
ここでいう赤、青、黄は、説明のためにＩＤ  ２に設定した色を「赤」、ＩＤ  １に設定した色を「青」、ＩＤ  ３に設定した色を「黄」としているだけであり、ＩＤ  １に「緑」や「黄」を設定してもかまわない。すなわち、ＩＤと色の関係は任意に設定可能である。
【００４０】
色パネル４３１，４３２，４３３の色を変更する場合には、この「Grasp marker ID」に設定するＩＤを、使用する色の組み合わせに応じて変更する。例えば最初に使用していなかった色（ここでの例ではＩＤ４〜６の「緑」、「紫」及び「橙」）も、色パラメータは既に設定済みであり、ＩＤを設定しなおすだけで迅速に光学マーカの色パターン変更変更することができる。
【００４１】
図７に戻って、Ｓ１０１で６値化した画像データに対してラベリングを行い（Ｓ１０２）、「どの色が、どの座標を中心に、どのくらいの面積で存在するか」を示すブロックデータを作成する（図９）。ラベリングのアルゴリズムは一般によく知られているのでここでは説明しない。
【００４２】
次に、ラベリングした画像データからマーカ４１０を検出したか否かを判別する（Ｓ１０３）。マーカ４１０の検出は、図１２に示す位置関係にある赤、青、黄の各ブロックデータを探すことを基本としている。マーカ４１０の検出処理は図１０，図１１を参照して後述する。Ｓ１０３の判別の結果、マーカ４１０を検出していないときは、手を握っていない（手を開いている）と判定して（Ｓ１０７）本処理を終了する。
【００４３】
一方、Ｓ１０３の判別の結果、マーカ４１０を検出したときは、手とＨＭＤ１００との位置を手位置センサ等を用いて取得し（Ｓ１０４）、手のひらがＨＭＤ１００側を向いているか否かを判別する（Ｓ１０５）。すなわち、手のひらがＨＭＤ１００側を向いているか否かは、ユーザの視線方向のベクトルと手のひらの法線方向のベクトルとの内積をとることで判定することができる。内積がマイナスなら両者のベクトルが反対側を向いていることになるので、ＨＭＤ１００側に手のひらが向いていることになる。視線と手のひらの法線のベクトルとは、単位ベクトルをそれぞれのｒｏｌｌ，ｐｉｔｃｈ，ｙａｗにより回転させたベクトルを用いる。
【００４４】
Ｓ１０５の判別の結果、手のひらがＨＭＤ１００側を向いていないときは、マーカ４１０を検出したときでも手を握っていないと判定（Ｓ１０７）する一方、手のひらがＨＭＤ１００側を向いているときは、手を握っている（手を開いていない）と判定して（Ｓ１０６）本処理を終了する。
以上の処理により、ユーザが手を握っているかどうか判定することができる。
【００４５】
次に、マーカ４１０の検出処理を図１０、図１１を参照して説明する。
図１０、図１１は、図７のＳ１０３で行われるマーカ４１０の検出処理の詳細を示すフローチャートである。
図１０において、b＿blockに最初の青のブロックデータを代入し（Ｓ２００）、r＿blockに最初の赤のブロックデータを代入し（Ｓ２０１）、y＿blockに最初の黄のブロックデータを代入する（Ｓ２０２）。次に、r＿blockとy＿blockとの距離が所定値（４・√b＿blockの面積）未満か否かを判別し、所定値未満でないときはＳ２０７へ進む一方、所定値未満であるときは、Ｓ２０４へ進む。
【００４６】
Ｓ２０４では、３次元位置センサ本体２００により測定した位置情報におけるｘ方向の各ブロックデータがr＿block．x＜b＿block．x＜y＿block．x又はr＿block．x＞b＿block．x＞y＿block．xの関係にあるか否かを判別し、この条件を満足しないときは、Ｓ２０７へ進む一方、この条件を満足するときは、Ｓ２０５へ進む。Ｓ２０５では、さらに上記位置情報におけるｚ方向の各ブロックデータがr＿block．z＜b＿block．z＜y＿block．z又はr＿block．z＞b＿block．z＞y＿block．zの関係にあるか否かを判別する。この判別の結果、条件を満足しないときはＳ２０７へ進む一方、この条件を満足するときは、マーカ４１０検出と判定して（Ｓ２０６）本処理を終了する。
【００４７】
Ｓ２０７では、y＿blockにy＿blockの次のブロックデータを代入する。次に、代入したy＿blockが空か否かを判別し（Ｓ２０８）、空でないときはＳ２０３以降の処理を行う一方、空であるときは、r＿blockにr＿blockの次のブロックデータを代入し（Ｓ２０９）、代入したr＿blockが空か否かを判別する（Ｓ２１０）。この判別の結果、r＿blockが空でないときは、Ｓ２０２以降の処理を行う一方、空であるときはb＿blockにb＿blockの次のブロックデータを代入し（Ｓ２１１）、代入したb＿blockが空か否かを判別する（Ｓ２１２）。この判別の結果、b＿blockが空でないときはＳ２０１以降の処理を行う一方、空であるときはマーカ未検出と判定して（Ｓ２１３）本処理を終了する。
【００４８】
このように、すべてのブロックデータの組み合わせに対して（Ｓ２００〜Ｓ２０２，Ｓ２０７〜Ｓ２１２）、黄と赤とのブロックデータの位置が青のブロックデータ（青の面積の平方根）の４倍以内の距離にあることを確認し（Ｓ２０３）、黄と赤とのブロックデータの中心を対角とする長方形の内部に青のブロックの中心が存在するか否かを確認する（Ｓ２０４，２０５）。これらが満たされた場合に、マーカを検出したと判定する（Ｓ２０６）。すべての赤、青、黄のブロックデータの組み合わせに対してこれらが満たされなかったとき、マーカ未検出と判定する（Ｓ２１３）。
【００４９】
このように、本実施形態によれば、使用する可能性のある複数種の光学マーカの各々について事前に色パラメータを求めておき、実際に使用する光学マーカに対応する色パラメータを選択的に使用することにより、光学マーカを変更した場合であっても直ちに適正なマーカ検出を行うことが可能になる。
【００５０】
（他の実施形態）
上述の実施形態においては、ＭＲシステムに本発明を適用した場合を説明したが、本発明は光学マーカを用いる任意のシステムに適用可能である。また、上述の実施形態では、カメラなどの撮像装置やキャプチャボードを有するものとして計算機を説明したが、例えば他の機器でキャプチャされた画像データを用いて処理するような構成であっても良い。
【００５１】
また、上述の実施形態においては、３色のマーカを同時に用いる場合について説明したが、２色以下のマーカを用いる場合や、４色以上のマーカを用いる場合であっても本発明は同様に適用可能である。
【００５２】
また、実施形態で説明した計算機と同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【００５３】
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００５４】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００５５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００５６】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００５７】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００５８】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００５９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００６１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態に係る画像処理装置の一例としてのＭＲシステムの使用状態を模式的に示す図である。
【図２】図１のシステムの内部構成例を示すブロック図である。
【図３】図１のシステムに使用可能なＨＭＤの例を示す外観斜視図である。
【図４】図１のシステムの使用時における指サック４００と手位置センサ２２０の装着状態を模式的に示す図である。
【図５】指サック４００の装着方法を説明する図である。
【図６】手の状態と観察されるマーカとの関係を説明する図である。
【図７】本発明の実施形態における画像処理装置の状態判定処理を説明するフローチャートである。
【図８】図７のＳ１０１で行うｎ値化処理の例を示す図である。
【図９】図７のＳ１０２で作成されるブロックデータの構成例を示す図である。
【図１０】、
【図１１】本発明の実施形態における画像処理装置のマーカ検出処理を説明するフローチャートである。
【図１２】実施形態における、図９のブロックデータに含まれる中心座標を用いた色の位置関係判定方法を説明する図である。
【図１３】実施形態における指サックと色パネルの構成例を示す斜視図である。
【図１４】色パネルの表面及び裏面構成の例を示す図である。
【図１５】Ｃｂ，Ｃｒ平面に長方形の領域として示した色認識領域の例を示す図である。
【図１６】長方形の領域として示した色認識領域を特定する色パラメータの例を説明する図である。
【図１７】マーカ認識パラメータの設定用ダイアログの例を示す図である。
【図１８】色パラメータの設定に用いるカラーパネルの例を示す図である。
【図１９】色パラメータ設定時のシステム構成例を模式的に示す図である。
【図２０】撮像した画像から色パラメータを算出する処理を説明するフローチャートである。
【符号の説明】
【００６３】
１００  ＨＭＤ
１１０，１１１  ビデオカメラ
１２０  ３次元位置センサ移動局
１３０，１３１  液晶ディスプレイ
２００  ３次元位置センサ本体
２１０  ３次元位置センサ固定局
２２０  手位置センサ
３００  計算機
３０１  ＣＰＵ
３０２  メモリ
３０３  ＰＣＩブリッジ
３１０  シリアルＩ／Ｏ
３２０，３２１  ビデオキャプチャボード
３３０，３３１  ビデオボード
４００  指サック
４１０  指サックにつけるマーカ
４３１，４３２，４３３  色パネル
【図１】
2005165682.tif 000003
【図２】
2005165682.tif 000004
【図３】
2005165682.tif 000005
【図４】
2005165682.tif 000006
【図５】
2005165682.tif 000007
【図６】
2005165682.tif 000008
【図７】
2005165682.tif 000009
【図８】
2005165682.tif 000010
【図９】
2005165682.tif 000011
【図１０】
2005165682.tif 000012
【図１１】
2005165682.tif 000013
【図１２】
2005165682.tif 000014
【図１３】
2005165682.tif 000015
【図１４】
2005165682.tif 000016
【図１５】
2005165682.tif 000017
【図１６】
2005165682.tif 000018
【図１７】
2005165682.tif 000019
【図１８】
2005165682.tif 000020
【図１９】
2005165682.tif 000021
【図２０】
2005165682.tif 000022