(57)【要約】【課題】  指標の定義情報を管理するＧＵＩにおいてユーザが設定可能な指標の定義情報を元に、指標に関連付けられたアイコンの色や形状を適切に更新することで、ユーザがＧＵＩ上の指標と３次元空間内に置かれた現実指標との対応を直感的に判別可能にすること。【解決手段】  現実空間中に配されるそれぞれの指標のうち、所望の指標を定義する定義情報を設定し、所望の指標を識別するための識別情報と共に、設定した定義情報に従った表示形態でもってアイコンを表示する（Ｓ１５４１）。【選択図】  図１４
2006285791.tif 000002
【特許請求の範囲】
【請求項１】
現実空間中に配されるそれぞれの指標に係る情報を管理する情報処理方法であって、
現実空間中に配されるそれぞれの指標のうち、所望の指標を定義する定義情報を設定する設定工程と、
前記所望の指標を識別するための識別情報と共に、前記設定工程で設定した定義情報に従った表示形態でもってアイコンを表示する表示工程と
を備えることを特徴とする情報処理方法。
【請求項２】
前記設定工程では、前記所望の指標が有する色を含む色領域を設定することを特徴とする請求項に記載の情報処理方法。
【請求項３】
前記表示工程は、
前記現実空間中に配されるそれぞれの指標を含む現実空間の画像中に、前記設定工程で設定された色領域に含まれる色を有する画素群が存在する場合には、当該色領域中の色を用いて代表色を決定する決定工程を備え、
前記決定工程で決定した代表色でもって前記アイコンを表示することを特徴とする請求項２に記載の情報処理方法。
【請求項４】
前記表示工程では、前記所望の指標の定義情報に含まれている形状情報に従った形状でもって前記アイコンを表示することを特徴とする請求項１乃至３の何れか１項に記載の画像処理方法。
【請求項５】
現実空間中に配されるそれぞれの指標に係る情報を管理する情報処理装置であって、
現実空間中に配されるそれぞれの指標のうち、所望の指標を定義する定義情報を設定する設定手段と、
前記所望の指標を識別するための識別情報と共に、前記設定手段によって設定した定義情報に従った表示形態でもってアイコンを表示する表示手段と
を備えることを特徴とする情報処理装置。
【請求項６】
コンピュータに請求項１乃至４の何れか１項に記載の情報処理方法を実行させることを特徴とするプログラム。
【請求項７】
請求項６に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間中に配されるそれぞれの指標に係る情報を管理するための技術に関するものである。
【背景技術】
【０００２】
カメラの焦点距離、主点、レンズ歪みなどのカメラ固有にカメラの内部に存在するカメラ内部パラメータ、もしくは、カメラの位置姿勢といったカメラが外界に対してどのように存在しているかを表すカメラ外部パラメータを校正するために、既定の世界座標系で定義された３次元現実空間内に置かれた１つ以上の指標（現実指標：３次元現実空間中の空間座標値は既知）をカメラで撮像して指標画像を取得し、各指標の３次元現実空間中の空間座標値（指標空間座標値）とこの指標の画像上の座標値（指標画像位置）とを用いて、カメラ校正アルゴリズムに基づき推定する方法がある。
【０００３】
指標画像位置を求めるためには、指標画像から既知の特徴を抽出する処理を行い、指標部分を抽出する必要がある。既知の特徴には実際の指標の形状（指標形状）や、指標を撮像装置で撮影して得られる指標画像上の指標の色（指標画像色）が利用される。
【０００４】
３次元現実空間内に置かれた１つ以上の指標を撮影・抽出し、カメラ校正アルゴリズムに基づきカメラ内部・外部パラメータを推定するためには、どのような指標が現実空間中でどのような位置にあるか、また指標を同定するための色・形状といった指標の定義情報を、パーソナルコンピュータなどの情報処理装置内であらかじめ定めておく必要がある。指標の定義情報は、情報処理装置内において、ツリー構造（木構造、階層構造とも言う）のデータ形式で管理されており、これらの指標に関する定義情報は、ユーザが情報処理装置上で動作するグラフィカル・ユーザ・インタフェース（以下、ＧＵＩ）を操作することで設定することができる。
【特許文献１】特開２００２−２２８４４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
図２は、ユーザが操作する従来のＧＵＩの表示例を示す図である。同図において２８０は、指標がツリー構造のデータ形式で管理されている様子をグラフィカルに示すツリービューであり、定義されている座標系と指標とが階層的に表示されている。同図では、ｗｏｒｌｄという名前の座標系（＝世界座標系）と、ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡという名前の５つの指標とが定義されており、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが、座標系ｗｏｒｌｄの下に所属している様子を示している。
【０００６】
２３０〜２３８はツリービュー２８０で選択されている指標の定義情報を入出力するテキストボックスである。同図のツリービュー２８０においては、指標ＯＲＡＮＧＥが選択され、選択されている指標のＯＲＡＮＧＥの文字が反転表示している様子が示されている。また、２３０〜２３８においては、選択されている指標ＯＲＡＮＧＥに関する定義情報が示されている。
【０００７】
ツリービュー２８０中の２８１は、選択されている指標ＯＲＡＮＧＥに関連付けられた指標アイコンである。指標アイコン２８１は、「ＯＲＡＮＧＥ」の文字が、指標を示すものであることを示すために、赤・緑・青の３色の点から構成されている。また、他の指標（ＹＥＬＬＯＷ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡ）も、指標を示すものであることを示すために、指標アイコン２８１と同じアイコンが関連付けられている。
【０００８】
しかし、３次元現実空間内に置かれた各現実指標は、それぞれ固有の色や形状を持っている。すなわち、指標アイコン２８１と同じアイコンが、一様に他の指標に関連付けられているため、ユーザがツリービュー２８０を見て、どの指標がどの３次元空間内に置かれた現実指標と対応しているか直感的に判別することが難しかった。よって、改善が求められていた。
【０００９】
本発明は、以上の問題に鑑みて成されたものであり、指標の定義情報を管理するＧＵＩにおいてユーザが設定可能な指標の定義情報を元に、指標に関連付けられたアイコンの色や形状を適切に更新することで、ユーザがＧＵＩ上の指標と３次元空間内に置かれた現実指標との対応を直感的に判別可能にすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
【００１１】
即ち、現実空間中に配されるそれぞれの指標に係る情報を管理する情報処理方法であって、
現実空間中に配されるそれぞれの指標のうち、所望の指標を定義する定義情報を設定する設定工程と、
前記所望の指標を識別するための識別情報と共に、前記設定工程で設定した定義情報に従った表示形態でもってアイコンを表示する表示工程と
を備えることを特徴とする。
【００１２】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
【００１３】
即ち、現実空間中に配されるそれぞれの指標に係る情報を管理する情報処理装置であって、
現実空間中に配されるそれぞれの指標のうち、所望の指標を定義する定義情報を設定する設定手段と、
前記所望の指標を識別するための識別情報と共に、前記設定手段によって設定した定義情報に従った表示形態でもってアイコンを表示する表示手段と
を備えることを特徴とする。
【発明の効果】
【００１４】
本発明の構成により、ユーザがＧＵＩ上の指標と３次元空間内に置かれた現実指標との対応を直感的に判別可能にすることができる。
【発明を実施するための最良の形態】
【００１５】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１６】
［第１の実施形態］
＜システム構成＞
先ず、本実施形態に係るシステムの構成について説明する。図１は、本実施形態に係るシステムのハードウェア構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、情報処理装置１００、撮像装置１６０、表示装置１７０により構成されている。以下、各装置について説明する。
【００１７】
先ず、情報処理装置１００について説明する。情報処理装置１００は、例えば一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）などにより構成されており、同図に示す如く、ＣＰＵ１１０、メモリ１２０、ＨＤＤ（ハードディスクドライブ装置）１３０、画像取得部１４０、画像生成部１５０、キーボード１８０、マウス１９０により構成されている。
【００１８】
ＣＰＵ１１０は、メモリ１２０にロードされたプログラムやデータを用いて情報処理装置１００全体の制御を行うと共に、情報処理装置１００が行う後述の各処理を実行する。
【００１９】
メモリ１２０は、ＨＤＤ１３０からロードされたプログラムやデータを一時的に記憶するためのエリア、画像取得部１４０によって撮像装置１６０から取得した画像データを一時的に記憶するためのエリア、ＣＰＵ１１０が各種の処理を実行する際に用いるワークエリアなど、各種のエリアを適宜提供することができる。
【００２０】
ＨＤＤ１３０は、ＯＳ（オペレーティングシステム）や、指標定義情報管理プログラム２００等を保存するものであり、これらはＣＰＵ１１０による制御に従って適宜メモリ１２０にロードされ、ＣＰＵ１１０による処理対象となる。なお、指標定義情報管理プログラム２００は、現実空間中に配される指標がツリー構造のデータ形式で管理されている様子をグラフィカルに示すツリービューの表示・設定、指標定義情報の管理、指標色領域の表示、認識色領域の設定などをＣＰＵ１１０に実行させるためのプログラムである。また、ＨＤＤ１３０には、この指標定義情報管理プログラム２００を動作させるために必要なデータも保存されており、これもまたＣＰＵ１１０による制御に従って適宜メモリ１２０にロードされる。
【００２１】
キーボード１８０、マウス１９０は、情報処理装置１００を操作するユーザが操作することで、各種の指示をＣＰＵ１１０に対して入力するためのものである。
【００２２】
画像取得部１４０は、撮像装置１６０から順次送出される各フレームの画像（現実空間画像）を受け、これを指標定義情報管理プログラム２００で扱うことのできるデータ形式に変換して、順次メモリ１２０、若しくはＨＤＤ１３０に転送する。
【００２３】
画像生成部１５０は、表示装置１７０に表示するための画面を生成するものであり、例えば、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで表示装置１７０に表示されるＧＵＩの画面もまた、この画像生成部１５０によって生成される。
【００２４】
次に、撮像装置１６０について説明する。撮像装置１６０は、複数の指標が配された現実空間の動画像を撮像するものであり、撮像した各フレームの画像は情報処理装置１００が有する画像取得部１４０に送出する。
【００２５】
次に、表示装置１７０について説明する。表示装置１７０は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１１０による処理結果を画像や文字などでもって表示することができる。例えば、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで表示される後述のＧＵＩ画面を表示する。
【００２６】
＜指標定義情報管理プログラム２００について＞
次に、指標定義情報管理プログラム２００について説明する。指標定義情報管理プログラム２００は、どのような指標が使われているか、指標の所属する座標系、指標の位置、指標の認識色領域、指標形状といった指標定義情報を編集し、編集結果を所定の書式のファイル（指標定義情報ファイル）として生成したり、既存の指標定義情報ファイルを読み出したりするためのプログラムである。
【００２７】
図１３は、指標定義情報ファイルの構成例を示す図である。同図に示す如く、指標定義情報ファイルには、ｗｏｒｌｄという名前の座標系（世界座標系）と、ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡという名前の５つの指標とが定義されており、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが、座標系ｗｏｒｌｄの下に所属している様子を示している。また、指標定義情報ファイルには更に、それぞれの指標について、配置位置、色、サイズ（直径）等が登録されている。
【００２８】
このような指標定義情報ファイルは、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで画像生成部１５０が生成し、表示装置１７０に表示されるＧＵＩを、ユーザがキーボード１８０やマウス１９０を用いて操作することで編集することができる。
【００２９】
そして、編集された指標定義情報ファイルは、ユーザがキーボード１８０やマウス１９０を用いてＣＰＵ１１０に対して指示することで、ＣＰＵ１１０によってＨＤＤ１３０に保存される。また、上記ＧＵＩを介して使用する指標定義情報ファイルを指示すると、ＣＰＵ１１０は指示された指標定義情報ファイルをＨＤＤ１３０からメモリ１２０に読み出す。
【００３０】
図１２は、上記ＧＵＩの表示例を示す図である。同図のＧＵＩは上述の通り、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで画像生成部１５０が生成し、表示装置１７０に表示されるものである。なお、以下の説明では特に説明しない限りは、ＧＵＩに対する操作は、ユーザがキーボード１８０やマウス１９０を用いて行うものとし、この操作によって行われる処理は、ＣＰＵ１１０がこの操作を検知し、検知した操作内容に応じた処理を実行することにより成されるものとする。
【００３１】
同図において２１０、２２０はメニューであり、それぞれマウス１９０を用いてクリックすることで、図３、図４のようなメニューリストが表示される。
【００３２】
図３は、「ファイル」メニュー２１０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。同図において「開く」メニュー２１２は、マウス１９０でもって指示することで、ＨＤＤ１３０に保存されている指標定義情報ファイルを開き、後述するツリービュー２８０などに展開表示する処理をＣＰＵ１１０に指示するための項目である。「保存」メニュー２１４は、マウス１９０でもって指示することで、編集中の指標定義情報を指標定義情報ファイルとしてＨＤＤ１３０に保存する処理をＣＰＵ１１０に指示するための項目である。「終了」メニュー２１６は、マウス１９０でもって指示することで、指標定義情報管理プログラム２００を終了する処理をＣＰＵ１１０に指示するための項目である。
【００３３】
図４は、「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。同図において「座標系の新規作成」メニュー２２２は、マウス１９０でもって指示することで、ツリービュー２８０でマウスクリックにより選択され反転色となっている座標系の子座標系を新たに作成する処理を、ＣＰＵ１１０に指示するための項目である。ツリービュー２８０では、座標系を示すノード（座標系アイコンおよび座標系の名前）が追加される。
【００３４】
例えば、ツリービュー２８０が図１５に示す如く、座標系ｗｏｒｌｄが選択されている状態であった場合に、「座標系の新規作成」メニュー２２２を指示すると、図１６に示す如く、座標系ｗｏｒｌｄの子座標系として新しく座標系「ＮｅｗＣｏｏｒｄＳｙｓ」が作成され、ツリービュー２８０に表示される。図１５，１６は、座標系を示すノードの追加を説明する図である。
【００３５】
この子座標系をツリービューで選択して親座標系から見た位置姿勢を入力する必要があるが、それについては以下の説明の趣旨ではないので、説明は割愛する。
【００３６】
図４に戻って、「指標の新規作成」メニュー２２４は、マウス１９０でもって指示することで、ツリービュー２８０でマウスクリックにより選択され反転色となっている座標系に所属する指標を新規作成する処理を、ＣＰＵ１１０に指示するための項目である。ツリービュー２８０には指標を示すノード（指標アイコンおよび指標の名前）が追加される。指標の名前、位置、認識色領域の設定方法は後述する説明から理解可能と考える。
【００３７】
「削除」メニュー２２８は、マウス１９０でもって指示することで、マウスクリックにより選択され反転色となっている座標系や指標を削除する処理をＣＰＵ１１０に指示するための項目である。削除指示されたノードはツリービュー２８０から削除され、座標系が削除された場合は、その座標系に所属するすべての座標系、指標も同時に削除される。
【００３８】
図１２に戻って、２８０は、図１３に例示した指標定義情報ファイルで管理されている座標系、指標のツリー構造をグラフィカルに表示するツリービューである。同図では、定義されている座標系と指標が、ツリー構造により階層的に表示されている。より詳しくは、ｗｏｒｌｄという名前の座標系（＝世界座標系）と、ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡ、ＲＥＤという名前の指標が定義されており、座標系ｗｏｒｌｄの下に、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが所属している。
【００３９】
２３０〜２３８はツリービュー２８０で選択されている指標の定義情報を入出力するテキストボックスである。ツリービュー２８０中の各座標系、各指標には、それぞれ座標系アイコン、指標アイコンが関連付けられている。例えば、指標ＯＲＡＮＧＥには指標であることを示すような指標アイコン２８２が、ツリービュー２８０中の指標の名前に対して横並びに関連付けられて表示されている。また、他の指標ＹＥＬＬＯＷ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡ、ＲＥＤについても同様の指標アイコンが、ツリービュー２８０中の各指標の名前に対して横並びに関連付けられて表示されている。
【００４０】
本実施形態では、指標アイコンが現実空間中に配された複数の指標のうちどの指標を指し示しているのかをユーザに視覚的にわかりやすくするために、指標アイコンの表示形態を制御する。この制御処理については後述する。
【００４１】
指標名２３０は指標の名前であり、指標を識別するために使用される識別情報である。同図では、色の種類を識別情報としているが、ＭＡＲＫＥＲ０１、ＭＡＲＫＥＲ０２など、任意の名前を用いてよいことは言うまでもない。
【００４２】
指標位置２３２は指標の所属する座標系における三次元位置である。
【００４３】
輝度２３４、中心２３６、直径２３８は指標の認識色領域を定義するパラメータである。なお、本実施形態では、指標の認識色領域はＹＵＶ４４４色空間（輝度Ｙが８ビット、色差Ｃｂが８ビット、色差Ｃｒが８ビット）におけるＹ軸方向を高さ、ＣｂＣｒ平面上の楕円を底面とする楕円柱で決定される。この楕円の長径は、その延長線が必ずＣｂＣｒ平面中心（Ｃｂ＝１２７，Ｃｒ＝１２７）を通るように拘束される。
【００４４】
輝度２３４はＹの最小値、最大値、中心２３６は楕円中心位置、直径２３８は楕円の長径と短径を示している。
【００４５】
ユーザがマウス１９０を用いてこれらの指標定義情報を編集し、「保存」メニュー２１４を指示すると、ＣＰＵ１１０はこれを検知して、編集された指標定義情報を図１３に示す指標定義情報ファイルに反映する。
【００４６】
２５０は色空間画像表示領域であり、実写画像もしくは実写画像の選択領域の色領域をＹＵＶ４４４色空間で表現し、輝度Ｙ＝１２８のＣｂＣｒ平面への射影をとった色空間画像２５４が表示される。横軸が色差Ｃｂ、縦軸が色差Ｃｒである。色空間画像表示領域２５０はまた、認識色領域の設定用の領域でもある。認識色領域の一部の指定（Ｃｂ値とＣｒ値の範囲）を楕円カーソル２５２で囲まれた領域で行うことができる。楕円カーソル２５２の中心と円周上の制御点をマウス１９０でドラッグすることで、位置、形状、寸法を変更することが可能である。また中心２３６、直径２３８と同期しており、楕円カーソル２５２を操作すると、中心２３６、直径２３８の値が変化し、中心２３６、直径２３８の値を変更すると楕円カーソル２５２の位置、形状、寸法が変化する。
【００４７】
２６０は実写画像表示領域であり、撮像装置１６０が撮影した各フレームの画像が順次表示される領域である。実写画像表示領域２６０はまた、実写画像選択領域を設定する領域でもある。実写画像表示領域２６０内に表示されている画像上の選択したい領域をマウス１９０でドラッグすることで領域が選択される。選択された領域の枠線は図５に示す如く、実写画像表示領域上に重畳表示される。同図では、５０１が枠線を示す。図５は、実写画像表示領域２６０内の所望の領域を選択した場合の表示例を示す図である。
【００４８】
２７０は抽出画像表示領域であり、実写画像表示領域２６０内に表示されている実写画像における色が認識色領域に含まれる場合、その色の画素のみが認識色領域の代表色で表示される。なお認識色領域における輝度の範囲は、輝度２３４によって設定されているものとする。また認識色領域の代表色は、輝度（Ｙ）が１２８の時の、認識色領域を示す楕円カーソル２５２の中心の色（色差Ｃｂ、色差Ｃｒ）である。
【００４９】
図６〜８にその様子を示す。図６は実写画像表示領域２６０、図７は図６の実写画像表示領域２６０内の実写画像に対する色空間画像表示領域２５０を示す図で、図７に示す如く、図６の実写画像に対する色空間画像２５４と認識色領域設定用の楕円カーソル２５２とが重畳表示されている。図８は、図７に示す設定内容に基づいて図６に示した実写画像から抽出した抽出画像を示す図で、より詳しくは、図６の実写画像から、図７の色空間画像２５４と楕円カーソル２５２が交わっている色領域が抽出画像として抽出され、抽出画像表示領域２７０内に表示されている。
【００５０】
抽出画像表示領域２７０はまた、実写画像表示領域２６０と同様に、実写画像選択領域を設定する領域でもあり、図９に示したように、実写画像表示領域２６０、抽出画像表示領域２７０夫々で選択された領域の枠が、領域の選択に同期してもう一方に重畳表示される。図９は、一方の領域の選択に同期して、他方の領域に選択枠が表示される場合の表示例を示す図である。
【００５１】
また、領域が選択されると、色空間画像２５４が選択された領域を入力として計算される。図１０は、図９に示したように領域選択した場合の色空間画像２５４の様子を示す図である。なお、領域が選択されて無い場合は実写画像全体が入力として計算される。図１１は、図９で示される実写画像の撮影時において領域を選択して無い場合の色空間画像２５４の様子を示す図である。
【００５２】
次に、ＣＰＵ１１０が指標定義情報管理プログラム２００を実行することで行われる処理、即ち、指標定義情報の管理、指標の認識色領域を設定する処理、指標アイコンの表示更新処理を含む一連の処理について、同処理のフローチャートを示す図１４を用いて以下説明する。
【００５３】
なお、同図のフローチャートに従った処理をＣＰＵ１１０に実行させるためのプログラムやデータはＨＤＤ１３０に保存されており、これは適宜ＣＰＵ１１０による制御に従ってメモリ１２０にロードされ、ＣＰＵ１１０がこれを用いて処理を実行することで、情報処理装置１００は以下説明する各処理を実行することになる。
【００５４】
なお、以下説明する処理の前段では、メモリ１２０には指標定義情報管理プログラム２００がロードされていると共に、表示装置１７０の表示画面上には、図１２に例示するようなＧＵＩが表示されているものとする。
【００５５】
そして、ユーザがキーボード１８０やマウス１９０を用いてツリービュー２８０内に表示されている所望の指標を選択すると、ＣＰＵ１１０はその旨を検知し、メモリ１２０に記憶されていたその指標の名前、位置、輝度、色領域を示す楕円の中心座標位置、楕円の長径および短径の情報（即ち、図１３に示す指標定義情報ファイルの一部）を読み出し、それぞれテキストボックス２３０〜２３８に出力する。また楕円カーソル２５２の表示が中心２３６、直径２３８に従って更新される。
【００５６】
このような場合に、ステップＳ１５０２では、ユーザがキーボード１８０やマウス１９０を用いて、楕円の中心位置２３６、直径２３８に対する入力を行ったか否かをチェックする。チェックの結果、入力が成されている場合には処理をステップＳ１５０４に進め、中心位置２３６、直径２３８を入力された値に更新する。そして処理をステップＳ１５０８に進め、認識色領域の表示を更新する。
【００５７】
一方、楕円の中心位置２３６、直径２３８に対する入力を行っていない場合には処理をステップＳ１５０６に進め、ユーザがキーボード１８０やマウス１９０を用いて、認識色領域の輝度２３４に対する入力を行ったか否かをチェックする。チェックの結果、入力が成されている場合には処理をステップＳ１５０８に進め、輝度２３４を入力された値に更新すると共に、認識色領域の表示を更新する。
【００５８】
そしてステップＳ１５０８における処理が終了すると、若しくはユーザがキーボード１８０やマウス１９０を用いて、認識色領域の輝度２３４に対する入力を行っていない場合には処理をステップＳ１５１０に進める。
【００５９】
ステップＳ１５１０では、色空間表示領域２５０上の楕円カーソル２５２の中心や円周上の制御点が、マウス１９０によってドラッグされたかをチェックし、ドラッグされていない場合には処理をステップＳ１５１４に進めるのであるが、ドラッグされた場合は処理をステップＳ１５１２に進め、それに応じて中心２３６、直径２３８を更新する。
【００６０】
ステップＳ１５１４では、実写画像表示領域２６０、抽出画像表示領域２７０がマウス１９０でクリックされたか否かをチェックし、クリックされていない場合には処理をステップＳ１５１８に進めるのであるが、クリックされている場合には処理をステップＳ１５１６に進め、画像選択領域を解除する。そして処理をステップＳ１５２２に進める。
【００６１】
ステップＳ１５１８では、実写画像表示領域２６０、抽出画像表示領域２７０がマウス１９０でドラッグされたか否かをチェックし、ドラッグされていない場合には処理をステップＳ１５２２に進めるのであるが、ドラッグされている場合には処理をステップＳ１５２０に進め、ドラッグ開始点と終了点位置とを結ぶ線分を対角線とする四角形を選択領域として設定する。
【００６２】
ステップＳ１５２２では、画像取得部１４０が撮像装置１６０から取得した現実空間の画像を、指標定義情報管理プログラム２００の管理するメモリ１２０上に取り込み、続いてステップＳ１５２４で、メモリ１２０上に取り込んだ画像を実写画像表示領域２６０に表示する。
【００６３】
次に、ステップＳ１５２６では、ステップＳ１５２０で選択領域が設定されているか否かをチェックし、設定されていない場合には、処理をステップＳ１５３０に進めるのであるが、設定されている場合には、処理をステップＳ１５２８に進め、実写画像表示領域２６０と抽出画像表示領域２７０とで、それぞれ選択領域に対応する部分に選択領域枠を重畳表示する。そして処理をステップＳ１５３２に進め、選択領域枠内に相当する実写画像の部分についてＹＵＶ４４４の色空間画像２５４を計算し、更に処理をステップＳ１５３４に進め、色空間画像表示領域２５０を更新する。
【００６４】
ステップＳ１５３０では、選択領域が設定されていないので、選択表示枠は重畳表示せず、実写画像全体についてＹＵＶ４４４の色空間画像２５４を計算し、ステップＳ１５３４で、色空間画像表示領域２５０を更新する。
【００６５】
そして、ステップＳ１５３６では、色空間画像表示領域２５０上に更に、上記ステップＳ１５０２〜Ｓ１５１２で入力された認識色領域を示す楕円カーソル２５２を重畳表示する。
【００６６】
次に、ステップＳ１５３８では先ず、選択領域枠内に相当する実写画像の部分、若しくは実写画像全体について、認識色領域の色を持つ画素が存在するかをチェックし、存在する場合は認識色領域の代表色を求める。認識色領域の代表色は、輝度（Ｙ）が１２８の時の、認識色領域を示す楕円カーソル２５２の中心の色（色差Ｃｂ、色差Ｃｒ）である。そして、求めた認識色領域の代表色を用いて抽出画像を作成する。そしてステップＳ１５４０では、ステップＳ１５３８で作成した抽出画像を抽出画像表示領域２７０に表示することで、抽出画像表示領域２７０を更新する。
【００６７】
次に、ステップＳ１５４１では、現在選択している指標の指標アイコンの表示を更新する処理を行う。詳しくは、指標アイコンの色、形状を更新する処理を行う。以下、ステップＳ１５４１における指標アイコンの表示更新処理について詳細に説明する。
【００６８】
先ず、指標アイコンの色を決定する処理について説明する。指標アイコンの色は、ステップＳ１５３８で求めた認識色領域の代表色とする。これにより、ツリービュー２８０中の各指標のアイコンの色は、撮像装置１６０によって撮影した実写画像から抽出すべき指標の色を元に更新されるので、視覚的に現実指標の色と対応が取れる。即ち、ユーザがツリービュー２８０中の各指標と現実指標との対応を容易に判別することが可能になる。
【００６９】
例えば、図１２に示したＧＵＩでは、指標ＯＲＡＮＧＥに関連付けられた指標アイコン２８２の色は、現実指標ＯＲＡＮＧＥを抽出すべき認識色領域の代表色として求めたオレンジ色になっている。このオレンジ色は、３次元空間中に配置された現実指標ＯＲＡＮＧＥの実際の色と同じもしくは非常に近い色であるため、ユーザは対応を容易に判別することが可能になる。
【００７０】
次に、指標アイコンの形状を決定する処理について説明する。指標アイコンの形状は、図１２では全て円形形状になっている。これは、現実の各指標の形状が円形であると定義されていることを示している。指標が円形形状であることは、例えば図１３に示す指標情報定義ファイル中で、指標が「PointMarker」と定義されていることで決まる。よって、ＨＤＤ１３０には予め様々な形状のアイコンの画像データが保存されており、指標定義情報ファイル内で定義されている指標形状に応じた画像データ（指標アイコンのデータ）を読み出して用いる。なお、この画像を用いる場合には、その色、即ち、指標アイコン色は、上記代表色に更新される。
【００７１】
なお、本実施形態では、指標アイコンの表示を更新する際にはその色と形状を更新するのであるが、何れか一方のみを更新するようにしても良い。また、更新する要素はこれ以外にも考えられ、この２つに限定するものではない。
【００７２】
そしてユーザがキーボード１８０やマウス１９０を用いて指標定義情報管理プログラム２００の動作終了指示を入力しない限りは（「終了」メニュー２１６がマウス１９０で選択されない限りは）、ステップＳ１５４２を介してステップＳ１５０２に戻り、以降の処理を繰り返す。
【００７３】
なお、ツリービュー２８０で別の指標アイコンをマウスクリックすると、選択された指標アイコンに対応する指標定義情報２３０〜２３８、２５０〜２５４、２７０が更新され、以後その指標アイコンに対して上記ステップＳ１５０２〜ステップＳ１５４２の一連の処理が実施される。
【００７４】
＜認識色領域の設定について＞
次に、上記指標定義情報管理プログラム２００を実行することにより成される、認識色領域を設定する処理について、図２０〜図２２、図２３〜図２６、図２７〜図３１を用いて説明する。なお各々の図は同じ時間での色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の状態の組合せを有している。
【００７５】
図２０〜図２２は、実写画像表示領域２６０での指標色領域選択を行って、問題なく認識色領域が設定できた場合の例を示す図である。
【００７６】
図２０は、認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。実写画像表示領域２６０内には５つの指標が存在するが、ここでは、実写画像中の左上の指標の認識色領域を設定する。
【００７７】
まず、図２１に示す如く、実写画像表示領域２６０から対象となる指標を領域選択する。すると実写画像表示領域２６０内には選択した領域を示す選択枠２３００が重畳表示されると共に、色空間画像表示領域２５０には、領域選択された実写部分のみの色空間画像２３０１が表示される。また抽出画像表示領域２７０には、実写画像表示領域の選択領域に同期して対応部分に選択枠２３０２が表示される。
【００７８】
続いて、図２２に示す如く、色空間画像表示領域２５０内に表示されている楕円カーソル２３０４をマウス１９０でもってドラッグすることより位置、長径、短径を変更し、色空間画像２３０１を包含するようにする。ここで色空間画像表示領域２５０の中心に近いほど無彩色になるため、中心付近は楕円に含まれないようにしている。すると、抽出画像表示領域２７０には、実写画像に存在する楕円カーソル２３０４で設定される認識色領域が抽出される。結果として領域選択された実写部分の色が抽出画像として抽出画像表示領域２７０内に表示される。
【００７９】
ここで、抽出画像の有色な画素が、実写画像の選択部分内（選択枠２３００内）にのみ存在し、かつ実写画像の対象とする指標部分と一致しているため、対象となる指標の指標色領域（実写画像選択部分）と認識色領域（楕円カーソル）とは一致したと判断し、作業を完了することができる。
【００８０】
なお、色空間画像表示領域２５０は、輝度Ｙ＝１２８のＣｂＣｒ平面への射影をとった領域であるため、抽出画像表示領域２７０に抽出された指標の認識色領域の代表色は、現実指標の色と若干異なっている場合がある。すなわち、ツリービュー２８０上の指標アイコンと、現実指標の色とが若干異なるように見える場合がある。そのような場合は、抽出画像表示領域２７０に抽出された指標の認識色領域の代表色を、現実指標の色に近づけるような色変換処理を施して指標アイコンの色として表示すればよいことは言うまでもない。
【００８１】
また、あらかじめルックアップテーブル（ＬＵＴ）を用意しておき、認識色領域の代表色に対応する色をＬＵＴから検索し、指標アイコンの色として表示すればよいことは言うまでもない。一方、色空間をＹＣｂＣｒの３次元で定義した場合は、ＹｃｂＣｒ空間の中心の色を、指標の認識色領域の代表色、指標アイコンの色として表示すればよいことは言うまでもない。
【００８２】
また、色空間画像表示領域をＹＵＶ色空間ではなくＲＧＢ色空間で定義すれば、色空間を２次元平面で定義できる。こうすることで、認識色領域の代表色は現実の指標の色に近くなるため、特に色の変換処理など施さなくてもよいことは言うまでもない。
【００８３】
図２３〜図２６は、実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合の例を示す図である。
【００８４】
図２３は、認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。ここでは３つの指標が実写画像中に存在するが、実写画像中の下の指標の認識色領域を設定する。
【００８５】
先ず、図２４に示す如く、実写画像表示領域２６０から対象となる指標を領域選択すると、選択した領域には選択枠２６００が表示されると共に、抽出画像表示領域２７０内の対応する領域には選択枠２６０１が表示され、更に、領域選択された実写部分のみが色空間画像２６０２に反映される。
【００８６】
続いて図２５に示す如く、色空間画像表示領域２５０内に表示されている楕円カーソル２６０５をマウス１９０を用いてドラッグすることより、位置、長径、短径を変更し、色空間画像２６０２を包含するようにする。しかし同図に示す如く、色空間画像２６０２のうち、楕円カーソル２６０５が包含する部分が小さいため、対象となる指標の指標色領域（実写画像選択部分）と認識色領域（楕円カーソル）が完全に一致せず、抽出画像が若干欠けてしまっている。
【００８７】
このような場合、図２６に示す如く、対象となる指標の指標色領域と抽出画像領域が一致するように見えるまで楕円カーソル２６０５を試行錯誤的に操作することを繰り返し行う。
【００８８】
図２７〜図３１は、実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。
【００８９】
図２７は、認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。ここでは３つの指標が実写画像中に存在するが、実写画像中の左の指標の認識色領域を設定する。また、実写画像中には指標以外の物体も含まれており、画像的に外乱の多い環境と言える。
【００９０】
先ず、図２８に示す如く、実写画像表示領域２６０から対象となる指標を領域選択すると、選択した領域には選択枠３０００が表示されると共に、抽出画像表示領域２７０内の対応する領域には選択枠２７０１が表示され、更に、領域選択された実写部分のみが色空間画像３００２に反映される。
【００９１】
続いて図２９に示す如く、色空間画像表示領域２５０内に表示されている楕円カーソル３００５をマウス１９０を用いてドラッグすることより、位置、長径、短径を変更し、色空間画像３００２を包含するようにする。しかし同図に示す如く、実写画像中にＹＵＶ４４４色空間における指標色領域付近の色が存在するため、抽出画像の有色な画素が、実写画像の選択部分外にも多数存在している。
【００９２】
このような状態で認識色領域を確定すると、抽出画像の有色な画素を指標として誤認識してしまうため、楕円カーソル３００５を操作して認識色領域を設定しなくてはならない。
【００９３】
図３０は、楕円カーソル３００５を操作して、抽出画像において選択部分外に存在する有色な画素を少なくした状態である。楕円カーソル３００５を試行錯誤的に操作して、最終的には図２２、図２６に示すように選択部分内にのみ存在しかつ実写画像の対象とする指標部分と一致するようにしなくてはならないが、楕円カーソル３００５の操作のみでは難しい場合もある。
【００９４】
このような場合には、現実空間に存在する物体を除去して、外乱を実写画像に含まれないようにすることも有効な手段である。しかし人間にとっては実写画像中の何が認識色領域設定のための外乱になるのか、判断することは難しい。それを特定するためには、図３１に示す如く、抽出画像において選択部分外に存在する有色な画素群３０１１を、抽出画像上で領域選択すればよい。実写画像上の選択領域枠と、抽出画像上の選択領域枠は同期しているため、抽出画像上の有色な画素を選択枠３０１０でもって領域選択すれば、抽出元の実写画像部分が領域枠３０１５で囲われる。この実写画像の領域枠３０１５を補助的な情報として、外乱となる現実物体を特定することが容易になる。
【００９５】
以上の作業を繰り返し行うことで外乱のない認識色領域の設定を行うことができる。
【００９６】
なお、本実施形態では、ステップＳ１５４１で指標アイコンの更新を行っているが、初めて指標アイコンの更新が行われるまでは、指標アイコンの色や形状は初期値で定められたものとなる。すなわち、初めて指標アイコンの更新が行われるまでは、ツリービュー２８０上の各指標の色と現実指標の色が異なっている場合がある。このような場合を考慮し、初めて指標アイコンの更新が行われるまでは指標アイコンが未定義であるとして、従来例に示した図２のツリービュー２８１のような共通のアイコンを利用してもよい。
【００９７】
以上の説明により、本実施形態によれば、指標の定義情報を管理するＧＵＩにおいてユーザが設定可能な指標の定義情報を元に、指標に関連付けられたアイコンの色や形状を適切に更新することで、ユーザがＧＵＩ上の指標と３次元空間内に置かれた現実指標との対応を直感的に判別可能にすることが可能となる。
【００９８】
［第２の実施形態］
本実施形態では、現実空間中に配される指標が三角形のような多角形形状である場合について説明する。以下では、多角形の例として三角形を用いるが、ｎ角形（ｎ＞３）のものを用いても以下の説明は実質的には同じである。また、指標の形状として、円形、多角形だけでなく、楕円、バーコード（１次元、２次元）を用いてもよいことは言うまでもない。
【００９９】
本実施形態では、三角形形状の指標を利用するために、図４に示すメニューの代わりに図１７に示すメニューを用いる。図１７は、「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示される本実施形態に係るメニューの表示例を示す図である。
【０１００】
図１７に示すメニューでは、図４のメニューに設けられている項目に加え、「指標の新規作成（三角形）」メニュー２２９が設けられている。ユーザがキーボード１８０やマウス１９０を用いて、この「指標の新規作成（三角形）」メニュー２２９を選択することにより、指標情報定義ファイル、及びツリービュー２８０に三角形の指標が追加される。なお、「指標の新規作成（円形）」メニュー２２４は、図４のメニューにおいて「指標の新規作成」メニュー２２４と同じ機能の項目である。
【０１０１】
図１８，１９はそれぞれ、三角形形状の指標を追加した場合の指標情報定義ファイル、ツリービュー２８０の例を示す図である。
【０１０２】
図１８に示す如く、三角形の指標を新規作成すると、指標情報定義ファイル中で「TriangleMarker」と定義された定義情報が作成される。
【０１０３】
また図１９に示す如く、指標TRIANGLEが作成されると、その指標名「TRIANGLE」と共に、その横に指標アイコン２８３が追加されている。この指標アイコン２８３は三角形の形状を有し、他の円形形状の指標アイコンとは形状が異なっている。このようにすることで、ツリービュー２８０中の各指標のアイコンの形状が、現実指標の形状と対応が取れる。すなわち、ユーザがツリービュー２８０中の各指標と現実指標との対応を容易に判別することが可能になる。
【０１０４】
その他の構成については第１の実施形態と同じである。
【０１０５】
ここで、同じ三角形形状の指標でも、それぞれ色が異なる三角形形状の指標を取り扱うことが考えられる。その場合は、第１の実施形態と同様に、各指標の色を指標情報定義ファイルにて管理し、各指標の色を反映させたアイコンを表示してもよいことは言うまでもない。
【０１０６】
以上の説明により、本実施形態によれば、指標の定義情報を管理するＧＵＩにおいてユーザが設定可能な指標の定義情報を元に、指標に関連付けられたアイコンの色や形状を適切に更新することで、ユーザがＧＵＩ上の指標と３次元空間内に置かれた現実指標との対応を直感的に判別可能にすることが可能となる。
【０１０７】
［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１０８】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０９】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１０】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施形態に係るシステムのハードウェア構成を示すブロック図である。
【図２】ユーザが操作する従来のＧＵＩの表示例を示す図である。
【図３】「ファイル」メニュー２１０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。
【図４】「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。
【図５】実写画像表示領域２６０内の所望の領域を選択した場合の表示例を示す図である。
【図６】実写画像表示領域２６０を示す図である。
【図７】図６の実写画像表示領域２６０内の実写画像に対する色空間画像表示領域２５０を示す図である。
【図８】図７に示す設定内容に基づいて図６に示した実写画像から抽出した抽出画像を示す図である。
【図９】一方の領域の選択に同期して、他方の領域に選択枠が表示される場合の表示例を示す図である。
【図１０】図９に示したように領域選択した場合の色空間画像２５４の様子を示す図である。
【図１１】図９で示される実写画像の撮影時において領域を選択して無い場合の色空間画像２５４の様子を示す図である。
【図１２】ＧＵＩの表示例を示す図である。
【図１３】指標定義情報ファイルの構成例を示す図である。
【図１４】指標定義情報の管理、指標の認識色領域を設定する処理、指標アイコンの表示更新処理を含む一連の処理のフローチャートである。
【図１５】座標系を示すノードの追加を説明する図である。
【図１６】座標系を示すノードの追加を説明する図である。
【図１７】図１７は、「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示される本発明の第２の実施形態に係るメニューの表示例を示す図である。
【図１８】三角形形状の指標を追加した場合の指標情報定義ファイルの例を示す図である。
【図１９】三角形形状の指標を追加した場合のツリービュー２８０の例を示す図である。
【図２０】認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。
【図２１】実写画像表示領域２６０での指標色領域選択を行って、問題なく認識色領域が設定できた場合の例を示す図である。
【図２２】実写画像表示領域２６０での指標色領域選択を行って、問題なく認識色領域が設定できた場合の例を示す図である。
【図２３】認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。
【図２４】実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合の例を示す図である。
【図２５】実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合の例を示す図である。
【図２６】実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合の例を示す図である。
【図２７】認識色領域を設定したい指標を撮影した場合の色空間画像表示領域２５０、実写画像表示領域２６０、抽出画像表示領域２７０の表示例を示す図である。
【図２８】実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。
【図２９】実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。
【図３０】実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。
【図３１】実写画像表示領域２６０での指標色領域選択を行って、認識色領域の設定に試行錯誤をした場合のもうひとつの例を示す図である。
【図１】
2006285791.tif 000003
【図２】
2006285791.tif 000004
【図３】
2006285791.tif 000005
【図４】
2006285791.tif 000006
【図５】
2006285791.tif 000007
【図６】
2006285791.tif 000008
【図７】
2006285791.tif 000009
【図８】
2006285791.tif 000010
【図９】
2006285791.tif 000011
【図１０】
2006285791.tif 000012
【図１１】
2006285791.tif 000013
【図１２】
2006285791.tif 000014
【図１３】
2006285791.tif 000015
【図１４】
2006285791.tif 000016
【図１５】
2006285791.tif 000017
【図１６】
2006285791.tif 000018
【図１７】
2006285791.tif 000019
【図１８】
2006285791.tif 000020
【図１９】
2006285791.tif 000021
【図２０】
2006285791.tif 000022
【図２１】
2006285791.tif 000023
【図２２】
2006285791.tif 000024
【図２３】
2006285791.tif 000025
【図２４】
2006285791.tif 000026
【図２５】
2006285791.tif 000027
【図２６】
2006285791.tif 000028
【図２７】
2006285791.tif 000029
【図２８】
2006285791.tif 000030
【図２９】
2006285791.tif 000031
【図３０】
2006285791.tif 000032
【図３１】
2006285791.tif 000033