(57)【要約】【課題】  指標キャリブレーションなどで用いられる指標と、指標ツリーで管理される指標との整合性を取りやすくする為の技術を提供すること。【解決手段】  現実空間中に配される指標の位置姿勢情報を含む指標情報がユーザ操作によって入力されると、この入力された指標情報を正規登録情報としてメモリに登録する。現実空間を撮像することで得られる撮像画像中に含まれている指標の位置姿勢情報を求め、求めた位置姿勢情報を含む指標情報がメモリ内に登録されていない場合には、この位置姿勢情報を仮登録情報としてメモリに登録する（Ｓ１４０４）。正規登録情報に対応する指標に関する第１の表示内容と、仮登録情報に対応する指標に関する第２の表示内容とを、異なる表示形態で表示する（Ｓ１４０２）。【選択図】  図１１
2008139911.tif 000002
【特許請求の範囲】
【請求項１】
複数の指標の各々に関する指標情報を取得する指標情報取得手段と、
前記指標の登録状態を判定する指標登録状態判定手段と、
前記指標情報および前記指標登録状態判定手段の判定結果に基づき、ユーザ指示に応じて該指標情報を編集するためのユーザインターフェースを生成する生成手段と
を有し、
前記登録状態には仮登録状態と正規登録状態が含まれ、
前記指標情報が指標キャリブレーションにより自動的に算出された情報を前記指標情報に登録する場合は、該指標情報の登録状態として前記仮登録状態が設定されることを特徴とする情報処理装置。
【請求項２】
前記指標キャリブレーションにより自動的に算出された情報は、指標の３次元位置であり、
前記指標キャリブレーションは、指標が配された現実空間の撮影画像を取得し、前記撮影画像から指標を抽出し、前記抽出された指標の画像位置に基づき、前記指標の３次元位置を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ユーザインターフェースは、前記複数の指標をリスト表示する第１の表示領域と、前記複数の指標から選択された指標の指標情報の詳細を表示する第２の表示領域とを有し、
前記指標登録状態判定手段の判定結果に応じて、前記第１の表示領域における指標の表示方法が異なることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記第１の表示領域における指標の表示方法は、前記指標登録状態判定手段の判定結果に応じて、指標のアイコンの表示方法が異なることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記第１の表示領域において前記複数の指標のリスト表示は、前記指標情報に基づくツリー構造で表示され、
前記指標登録状態判定手段の判定結果に応じて、前記ツリー構造の枝の表示方法が異なることを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記登録状態は、前記ユーザインターフェースにおけるユーザ指示に応じて変更可能であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の情報処理装置をコンピュータを用いて実現するためのプログラム。
【請求項８】
ユーザによって入力された、現実空間に配される指標の位置情報を含む指標情報を正規登録情報としてメモリに登録する第１の登録工程と、
撮影装置により撮影された前記現実空間の撮像画像を取得する取得工程と、
前記撮影画像から指標を抽出し、該指標の位置情報を算出する指標位置算出工程と、
前記指標位置算出工程によって算出された位置情報を仮登録情報として前記メモリに登録する第２の登録工程と、
前記正規登録情報に対応する指標と、前記仮登録情報に対応する指標とを、異なる表示形態で表示する表示工程と
を備えることを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間中に配されるそれぞれの指標に係る情報を管理するための技術に関するものである。
【背景技術】
【０００２】
近年、複合現実感（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ；ＭＲ）技術の研究が盛んである。ＭＲ技術とは、コンピュータによって作られる仮想空間を現実空間に対して継ぎ目なく融合する為の技術である。ＭＲ技術の中でも、現実空間に仮想空間を重ね合わせて表示するＡｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＡＲ、拡張現実感、増強現実感とも呼ばれる）技術が特に注目を集めている。
【０００３】
ＡＲ技術において用いられる画像表示装置は、ビデオシースルー方式か光学シースルー方式によって実現される。ビデオシースルー方式とは、ビデオカメラ等の撮像装置によって撮影された現実空間の画像に、この撮像装置の位置及び姿勢に応じて生成された仮想空間の画像を重畳描画した合成画像を表示する方式のことである。ここで仮想空間の画像とは、コンピュータグラフィクスにより描画された仮想物体や文字情報等のことである。一方、光学シースルー方式とは、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成された仮想空間の画像を表示する方式のことである。
【０００４】
ＡＲ技術は、患者の体表面に体内の様子を重畳表示する手術支援や、空き地に仮想のビルを重畳表示する建築シミュレーション、組立作業時に作業手順や配線の様子を重畳表示する組み立て支援等様々な分野への応用が期待される。
【０００５】
ＡＲ技術において最も重要な課題の一つは、現実空間と仮想空間との間の位置合わせをいかに正確に行うかということであり、従来より多くの取り組みが行われてきた。ＡＲ技術における位置合わせの問題は、ビデオシースルー方式の場合はシーン中における（すなわち基準座標系における）撮像装置の位置及び姿勢を求める問題に帰結する。この問題を解決する方法として、次のような方法が従来から用いられている。シーン中に基準座標系における座標値が既知である複数の指標を配置あるいは設定する。そして、撮像装置が撮影した画像内における指標の投影位置と指標の基準座標系における位置との対応関係から、基準座標系におけるこの撮像装置の位置及び姿勢を求める。一般に、3次元位置の既知な複数の点（理論的には3点以上、安定的に解くためには6点以上）の撮影画像上における位置が得られれば、その対応関係からカメラ視点の位置と方位姿勢を求めることができる（いわゆるＰｎＰ問題を解く）。
【０００６】
このような指標を用いた位置合わせ手法を用いる際には、世界座標値が既知である指標を予め準備しておく必要がある。指標は人工的に定義したものであってもよいし、自然特徴などを利用しても良いが、移動するカメラにおいて、常に指標が撮影されているように配置されていることが望ましい。
【０００７】
一方、指標の３次元座標と画像座標の組から撮像装置の位置及び姿勢を算出する方法は、写真測量の分野において古くから提案されている（非特許文献１、非特許文献２を参照）。
【０００８】
さらに、複数の３次元空間中の点としての指標（以下、点指標）だけでなく、例えば非特許文献３、４で開示されているように、大きさが既知の正方形形状の指標（以下、正方形指標）を用いた撮像装置の位置及び姿勢の算出技術も提案されている。また、例えば非特許文献７で開示されているように、正方形指標と点指標を組み合わせた撮像装置の位置及び姿勢算出方法も提案されている。点指標には狭いところにも設定できるというメリットがある。正方形指標には、「同定が簡単である」、「一つの指標の情報量が多いため一つの指標だけから撮像装置の位置及び姿勢を求めることができる」、というメリットがあり、相補的に利用することができる。
【０００９】
ここで、基準座標系における指標の位置及び姿勢は、巻尺や分度器を用いた手作業や、測量器によって計測することが可能であるが、精度や手間の問題から、画像を利用した計測が行われている（以下、指標キャリブレーションという）。
【００１０】
例えば、点指標の位置計測は、バンドル調整法と呼ばれる方法で行うことができる。バンドル調整法は、点指標を撮像装置によって多数撮影し、点指標の現実空間中における位置、点指標の画像上での投影点、撮像装置の視点の３点が同一直線上に存在するという拘束条件を使用する。そして、指標が実際に画像上で観察される投影位置と、撮像装置の位置及び姿勢と指標の位置から計算される投影位置との誤差（投影誤差）が最小化されるように、繰返し演算によって画像を撮影した撮像装置の位置及び姿勢と、点指標の位置を求める。
【００１１】
また、非特許文献６では、３次元空間中に配置された多数の正方形指標の位置及び姿勢を計測する指標キャリブレーション方法が開示されている。非特許文献６は、３次元空間中に配置された多数の正方形指標の画像を多数撮影する。そして、投影誤差が最小になるように、繰返し演算によって各画像を撮影した撮像装置の位置及び姿勢と、正方形指標の位置及び姿勢とを求める。
【００１２】
また、複数種類の指標について投影誤差を最小化するような指標の配置情報を精度よく求める指標キャリブレーション方法も従来から開示されている。
【００１３】
ここで、指標画像位置を求めるためには、指標画像から既知の（指標抽出アルゴリズムにしたがって）指標特徴を抽出する処理を行い、指標部分を抽出する必要がある。既知の特徴には実際の指標の形状（指標形状）や、指標を撮像装置で撮影して得られる指標画像上の指標の色（指標画像色）が利用される。
【００１４】
３次元現実空間内に置かれた１つ以上の指標を撮影・抽出し、カメラ校正アルゴリズムに基づきカメラパラメータを推定するためには、指標の定義情報を、情報処理装置内であらかじめ定めておく必要がある。ここで指標の定義情報とは、どのような指標が現実空間中でどのような位置にあるか、また指標を同定するための色・形状といったものである。このように定められた指標を以下、「登録された指標」と呼ぶ。
【００１５】
指標の定義情報は、情報処理装置内において、ツリー構造（木構造、階層構造とも言う）のデータ形式で管理されている（以下、指標ツリー）。そして、これらの指標に関する定義情報は、ユーザが情報処理装置上で動作するグラフィカル・ユーザ・インタフェース（以下、ＧＵＩ）を操作することで設定することができる。
【００１６】
図２は、ユーザが操作する従来のＧＵＩの表示例を示す図である。
【００１７】
同図において２８０は、指標がツリー構造のデータ形式で管理されている様子をグラフィカルに示すツリービューであり、定義されている座標系と指標とが階層的に表示されている。同図では、基準座標系と、ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡという名前の５つの指標が定義されている。そして、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが、座標系ｗｏｒｌｄの下に所属している様子を示している。
【００１８】
２３０〜２３８はツリービュー２８０で選択されている指標の定義情報を入出力するテキストボックスである。同図のツリービュー２８０においては、指標ＯＲＡＮＧＥが選択され、選択されている指標のＯＲＡＮＧＥの文字が反転表示している様子が示されている。また、２３０〜２３８においては、選択されている指標ＯＲＡＮＧＥに関する定義情報が表示されている。
【特許文献１】特開２００５−３２６２７４号公報
【非特許文献１】Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｃ．Ｌｅｅ，Ｋ．Ｏｔｔｅｎｂｅｒｇ，ａｎｄ  Ｍ．Ｎoｌｌｅ：“Ｒｅｖｉｅｗ  ａｎｄ  ａｎａｌｙｓｉｓ  ｏｆ  ｓｏｌｕｔｉｏｎｓ  ｏｆ  ｔｈｅ  ｔｈｒｅｅ  ｐｏｉｎｔ  ｐｅｒｓｐｅｃｔｉｖｅ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｐｒｏｂｌｅｍ”，Ｉｎｔ’ｌ．Ｊ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ｖｏｌ．１３，ｎｏ．３，ｐｐ．３３１−３５６，１９９４．
【非特許文献２】Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ  ａｎｄ  Ｒ．Ｃ．Ｂｏｌｌｅｓ：“Ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ：ａ  ｐａｒａｄｉｇｍ  ｆｏｒ  ｍｏｄｅｌ  ｆｉｔｔｉｎｇ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ａｎｄ  ａｕｔｏｍａｔｅｄ  ｃａｒｔｏｇｒａｐｈｙ”，Ｃｏｍｍ．ＡＣＭ，ｖｏｌ．２４，ｎｏ．６，ｐｐ．３８１−３９５，１９８１．
【非特許文献３】暦本純一：“２次元マトリックスコードを利用した拡張現実感の構成手法”，インタラクティブシステムとソフトウェア  ＩＶ，近代科学社，１９９６．
【非特許文献４】加藤，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘：“指標追跡に基づく拡張現実感システムとそのキャリブレーション”，  日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，１９９９．
【非特許文献５】Ａ．Ｓｔａｔｅ，Ｇ．Ｈｉｒｏｔａ，Ｄ．Ｔ．Ｃｈｅｎ，Ｗ．Ｆ．Ｇａｒｒｅｔｔ  ａｎｄ  Ｍ．Ａ．Ｌｉｖｉｎｇｓｔｏｎ：“Ｓｕｐｅｒｉｏｒ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｂｙ  ｉｎｔｅｇｒａｔｉｎｇ  ｌａｎｄｍａｒｋ  ｔｒａｃｋｉｎｇ  ａｎｄ  ｍａｇｎｅｔｉｃ  ｔｒａｃｋｉｎｇ”，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ’９６，ｐｐ．４２９−４３８，１９９６．
【非特許文献６】Ｇ．Ｂａｒａｔｏｆｆ，Ａ．Ｎｅｕｂｅｃｋ  ａｎｄ  Ｈ．  Ｒｅｇｅｎｂｒｅｃｈｔ：“Ｉｎｔｅｒａｃｔｉｖｅ  ｍｕｌｔｉ−ｍａｒｋｅｒ  ｃａｌｉｂｒａｔｉｏｎ  ｆｏｒ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ａｐｐｌｉｃａｔｉｏｎｓ”，Ｐｒｏｃ．ＩＳＭＡＲ２００２，ｐｐ．１０７−１１６，２００２．
【非特許文献７】Ｈ．Ｋａｔｏ，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｉ．Ｐｏｕｐｙｒｅｖ，Ｋ．Ｉｍａｍｏｔｏ  ａｎｄ  Ｋ．Ｔａｃｈｉｂａｎａ：“Ｖｉｒｔｕａｌ  ｏｂｊｅｃｔ  ｍａｎｉｐｕｌａｔｉｏｎ  ｏｎ  ａ  ｔａｂｌｅ−ｔｏｐ  ＡＲ  ｅｎｖｉｒｏｎｍｅｎｔ”，Ｐｒｏｃ．ＩＳＡＲ２０００，  ｐｐ．１１１−１１９，２０００．
【発明の開示】
【発明が解決しようとする課題】
【００１９】
ここで、指標ツリーに表示される指標は、予め情報処理装置に登録されている指標であるか、またはユーザがＧＵＩなどによって入力した指標である。これに対して、指標キャリブレーションで扱うのは、指標抽出アルゴリズムによって抽出された指標である。登録されていない指標が指標キャリブレーションで処理されたり、逆に指標ツリーに登録されているが指標キャリブレーションで処理されなかったりということが起こり得る。すなわち、管理されている指標と指標キャリブレーションで扱われる指標とが異なることが起こり得る。これらの整合性をとることは難しいので、改善が求められていた。
【００２０】
本発明は、以上の問題に鑑みて成されたものであり、指標キャリブレーションなどで用いられる指標と、指標ツリーで管理される指標との整合性を取りやすくする為の技術を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
【００２２】
即ち、複数の指標の各々に関する指標情報を取得する指標情報取得手段と、
前記指標の登録状態を判定する指標登録状態判定手段と、
前記指標情報および前記指標登録状態判定手段の判定結果に基づき、ユーザ指示に応じて該指標情報を編集するためのユーザインターフェースを生成する生成手段とを有し、
前記登録状態には仮登録状態と正規登録状態が含まれ、
前記指標情報が指標キャリブレーションにより自動的に算出された情報を前記指標情報に登録する場合は、該指標情報の登録状態として前記仮登録状態が設定されることを特徴とする。
【００２３】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
【００２４】
即ち、ユーザによって入力された、現実空間に配される指標の位置情報を含む指標情報を正規登録情報としてメモリに登録する第１の登録工程と、
撮影装置により撮影された前記現実空間の撮像画像を取得する取得工程と、
前記撮影画像から指標を抽出し、該指標の位置情報を算出する指標位置算出工程と、
前記指標位置算出工程によって算出された位置情報を仮登録情報として前記メモリに登録する第２の登録工程と、
前記正規登録情報に対応する指標と、前記仮登録情報に対応する指標とを、異なる表示形態で表示する表示工程と
を備えることを特徴とする。
【発明の効果】
【００２５】
本発明の構成によれば、指標キャリブレーションなどで用いられる指標と、指標ツリーで管理される指標との整合性を取りやすくすることができる。
【発明を実施するための最良の形態】
【００２６】
以下添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
【００２７】
［第１の実施形態］
＜システム構成＞
先ず、本実施形態に係るシステムの構成について説明する。図１は、本実施形態に係るシステムのハードウェア構成を示すブロック図である。本実施形態に係るシステムは、情報処理装置１００、撮像装置１６０、表示装置１７０により構成されている。以下、各装置について説明する。
【００２８】
先ず、情報処理装置１００について説明する。情報処理装置１００は、例えば一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）などにより構成されている。そして、情報処理装置１００は、ＣＰＵ１１０、メモリ１２０、ＨＤＤ（ハードディスクドライブ装置）１３０、画像取得部１４０、画像生成部１５０、キーボード１８０、マウス１９０により構成されている。なお、係る構成は主要なものを列挙したものであり、これ以外の構成を付加しても構わないし、係る構成によって行う処理と同等の処理を実行可能な構成であれば、如何なる構成を用いても良い。
【００２９】
ＣＰＵ１１０は、メモリ１２０にロードされたプログラムやデータを用いて情報処理装置１００全体の制御を行うと共に、情報処理装置１００が行う後述の各処理を実行する。
【００３０】
メモリ１２０は、ＨＤＤ１３０からロードされたプログラムやデータを一時的に記憶するためのエリア、画像取得部１４０によって撮像装置１６０から取得した画像データを一時的に記憶するためのエリアを有する。更にメモリ１２０は、ＣＰＵ１１０が各種の処理を実行する際に用いるワークエリアも有する。即ちメモリ１２０は、各種のエリアを適宜提供することができる。
【００３１】
ＨＤＤ１３０は、ＯＳ（オペレーティングシステム）、指標定義情報管理プログラム２００、既知の情報として説明する各種の情報等、を保存するものである。ＨＤＤ１３０に保存されているプログラムやデータはＣＰＵ１１０による制御に従って適宜メモリ１２０にロードされ、ＣＰＵ１１０による処理対象となる。
【００３２】
指標定義情報管理プログラム２００は、指標に関する様々な処理をＣＰＵ１１０に実行させるためのものである。指標定義情報管理プログラム２００は、指標がツリー構造のデータ形式で管理されている様子をグラフィカルに示すツリービューを表示する処理をＣＰＵ１１０に実行させる。更に、指標定義情報管理プログラム２００は、指標定義情報を管理したり、指標色領域を表示装置１７０に表示させたり、認識色領域の設定を行ったりする処理を、ＣＰＵ１１０に実行させる。
【００３３】
ＨＤＤ１３０には、指標定義情報管理プログラム２００を動作させるために必要なデータも保存されており、これもまたＣＰＵ１１０による制御に従って適宜メモリ１２０にロードされる。
【００３４】
キーボード１８０、マウス１９０は、ユーザが各種の指示を入力するためのものである。
【００３５】
画像取得部１４０は、撮像装置１６０から順次送出される各フレームの現実空間画像を受け、これを指標定義情報管理プログラム２００で扱うことのできるデータ形式に変換し、順次メモリ１２０、若しくはＨＤＤ１３０に転送する。
【００３６】
画像生成部１５０は、表示装置１７０に表示するための画面を生成するものである。
【００３７】
次に、撮像装置１６０について説明する。撮像装置１６０は、複数の指標が配された現実空間の動画像を撮像し、各フレームの画像を画像取得部１４０に送出する。
【００３８】
次に、表示装置１７０について説明する。表示装置１７０は、ＣＲＴや液晶画面などにより構成されている。
【００３９】
指標定義情報管理プログラム２００について説明する。先ず、指標定義情報について説明する。
【００４０】
指標定義情報は、現実空間中に配された各指標の指標情報を含む。指標情報は、１つの指標について１つ存在するものであり、指標に固有の情報や、指標の所属する座標系、指標の位置（及び姿勢）、指標の認識色領域、指標形状等を含む。
【００４１】
指標定義情報が、指標の位置（及び姿勢）のみの場合もある。この場合は、指標に固有の情報や、指標の所属する座標系、指標の認識色領域、指標形状等について、ユーザが設定することができる。
【００４２】
指標定義情報管理プログラム２００は、指標定義情報を編集するためのＧＵＩを提供したり、その編集結果を所定の書式のファイル（指標定義情報ファイル）として生成したり、既存の指標定義情報ファイルを読み出したりする。
【００４３】
また、指標定義情報管理プログラム２００は、仮登録されている指標情報に対応する指標と、正規に登録されている指標情報に対応する指標とを異なる表示形態で表示する。
【００４４】
図１０は、指標定義情報ファイルの構成例を示す図である。
図１０の指標定義情報ファイルには、座標系としてｗｏｒｌｄ座標系（世界座標系）が定義されている。そして、世界座標系において、ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡという指標名を有する５つの指標が定義されている。
【００４５】
さらに、各指標に対して（各ノードに対して）、配置位置（位置）と認識色領域（色平面における楕円の中心および直径、輝度範囲）が定義されている。
【００４６】
図１０の指標定義情報ファイルでは、各指標に対して定義されている配置位置と認識色領域が指標情報である。
【００４７】
ユーザは、表示装置１７０に表示されるＧＵＩを用いて指標定義情報ファイルを編集することができる。編集された指標定義情報ファイルはＨＤＤ１３０に保存され、任意の時に読み出すことが可能である。
【００４８】
図９は、ＧＵＩの表示例を示す図である。
【００４９】
２１０、２２０はメニューであり、それぞれマウス１９０を用いてクリックしたりすることで、図３、図４のようなメニューリストが表示される。
【００５０】
図３は、「ファイル」メニュー２１０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。「開く」メニュー２１２は、ＨＤＤ１３０に保存されている指標定義情報ファイルを開き、後述するツリービュー２８０などに展開表示する処理を指示するための項目である。「保存」メニュー２１４は、編集中の指標定義情報を指標定義情報ファイルとしてＨＤＤ１３０に保存する処理を指示するための項目である。「終了」メニュー２１６は、指標定義情報管理プログラム２００を終了する処理を指示するための項目である。
【００５１】
図４は、「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。「座標系の新規作成」メニュー２２２は、ツリービュー２８０で選択され反転色となっている座標系の子座標系を新たに作成する処理を指示するための項目である。座標系の新規作成」メニュー２２２を実行することにより、ツリービュー２８０において、選択された座標系に対する子座標系のノード（座標系アイコンおよび座標系の名前）が追加される。
【００５２】
例えば、ツリービュー２８０が図１２に示す如く、座標系ｗｏｒｌｄが選択されている状態で「座標系の新規作成」メニュー２２２を指示すると、図１３に示す如く、座標系ｗｏｒｌｄの子座標系として新しく座標系「ＮｅｗＣｏｏｒｄＳｙｓ」が作成される。そして、作成された座標系「ＮｅｗＣｏｏｒｄＳｙｓ」を示すノードがツリービュー２８０に表示される。
【００５３】
なお、その後、この子座標系をツリービューで選択して親座標系から見た位置姿勢を入力する。
【００５４】
図４に戻って、「指標の新規作成」メニュー２２４は、ツリービュー２８０において選択され反転色となっている座標系に所属する指標を新規作成する処理を指示するための項目である。指標の新規作成」メニュー２２４が選択されると、ツリービュー２８０には指標を示すノード（指標アイコンおよび指標の名前）が追加される。
【００５５】
「削除」メニュー２２８は、マウスクリックにより選択され反転色となっている座標系や指標を削除する処理を指示するための項目である。削除指示されたノードはツリービュー２８０から削除される。座標系が削除された場合は、その座標系に所属するすべての座標系、指標も同時に削除される。
【００５６】
図９に戻って、２８０は、図１０に例示した指標定義情報ファイルで管理されている座標系、指標のツリー構造をグラフィカルに表示するツリービューである。図９のツリービュー２８０では、定義されている座標系と指標がツリー構造により階層的に表示されている。より詳しくは、ｗｏｒｌｄという名前の座標系（＝世界座標系）と、ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡという名前の指標が定義されている。そして、座標系ｗｏｒｌｄの下に、指標ＹＥＬＬＯＷ、ＯＲＡＮＧＥ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡが所属している。
【００５７】
２３０〜２３８はツリービュー２８０において、選択されている指標の指標情報を構成する要素である。選択されている指標に対応する指標情報が表示される。そして、ユーザがその指標情報の各要素を編集もしくは新規に設定することができる。ツリービュー２８０中の各座標系、各指標には、それぞれ座標系アイコン、指標アイコンが関連付けられている。例えば、指標ＯＲＡＮＧＥには指標であることを示すような指標アイコン２８２が、ツリービュー２８０中の指標の名前に対して横並びに関連付けられて表示されている。また、他の指標ＹＥＬＬＯＷ、ＧＲＥＥＮ、ＢＬＵＥ、ＭＡＧＥＮＴＡについても同様の指標アイコンが、ツリービュー２８０中の各指標の名前に対して横並びに関連付けられて表示されている。
【００５８】
指標名２３０は指標の名前であり、指標を識別するために使用される識別情報である。同図では、色の種類を識別情報としているが、ＭＡＲＫＥＲ０１、ＭＡＲＫＥＲ０２など、任意の名前を用いてもよい。
【００５９】
指標位置２３２は指標の所属する座標系における三次元位置である。
【００６０】
輝度２３４、中心２３６、直径２３８は指標の認識色領域を定義するパラメータである。なお、本実施形態では、指標の認識色領域はＹＵＶ４４４色空間（輝度Ｙが８ビット、色差Ｃｂが８ビット、色差Ｃｒが８ビット）におけるＹ軸方向を高さ、ＣｂＣｒ平面上の楕円を底面とする楕円柱で決定される。この楕円の長径は、その延長線が必ずＣｂＣｒ平面中心（Ｃｂ＝１２７，Ｃｒ＝１２７）を通るように拘束される。
【００６１】
輝度２３４はＹの最小値、最大値、中心２３６は楕円中心位置、直径２３８は楕円の長径と短径を示している。
【００６２】
ユーザによってこれらの要素の値を編集され、「保存」メニュー２１４が指示されると、ＣＰＵ１１０は編集された情報を図１０に示す指標定義情報ファイルを更新する。
【００６３】
２５０は色空間画像表示領域であり、実写画像もしくは実写画像の選択領域の色領域をＹＵＶ４４４色空間で表現し、輝度Ｙ＝１２８のＣｂＣｒ平面への射影をとった色空間画像２５４が表示される。横軸が色差Ｃｂ、縦軸が色差Ｃｒである。色空間画像表示領域２５０はまた、認識色領域の設定用の領域でもある。認識色領域の一部の指定（Ｃｂ値とＣｒ値の範囲）を楕円カーソル２５２で囲まれた領域で行うことができる。楕円カーソル２５２の中心と円周上の制御点をマウス１９０でドラッグすることで、位置、形状、寸法を変更することが可能である。また中心２３６、直径２３８と同期しており、楕円カーソル２５２を操作すると、中心２３６、直径２３８の値が変化し、中心２３６、直径２３８の値を変更すると楕円カーソル２５２の位置、形状、寸法が変化する。
【００６４】
２６０は実写画像表示領域であり、撮像装置１６０が撮影した各フレームの画像が順次表示される領域である。実写画像表示領域２６０はまた、実写画像選択領域を設定する領域でもある。実写画像表示領域２６０内に表示されている画像上の選択したい領域をマウス１９０でドラッグすることで領域が選択される。
【００６５】
２７０は抽出画像表示領域であり、実写画像表示領域２６０内に表示されている実写画像における色が認識色領域に含まれる場合、その色の画素のみが認識色領域の代表色で表示される。なお認識色領域における輝度の範囲は、輝度２３４によって設定されているものとする。また認識色領域の代表色は、輝度（Ｙ）が１２８の時の、認識色領域を示す楕円カーソル２５２の中心の色（色差Ｃｂ、色差Ｃｒ）である。
【００６６】
抽出画像表示領域２７０はまた、実写画像表示領域２６０と同様に、実写画像選択領域を設定する領域でもある。実写画像表示領域２６０、抽出画像表示領域２７０夫々で選択された領域の枠が、領域の選択に同期してもう一方に重畳表示される。また、領域が選択されると、色空間画像２５４が選択された領域を入力として計算される。
【００６７】
このように、ユーザは、ＧＵＩにおける各テキストボックスに所望の値を入力することで、指標情報を生成、更新することができる。そして更に、この指標情報を正規登録情報として指標定義情報に含め、その後、この指標定義情報を指標定義情報ファイルとしてＨＤＤ１３０に保存（登録）することができる。
【００６８】
次に、指標キャリブレーションで処理された指標の登録について述べる。指標キャリブレーションを行うためのプログラムもＨＤＤ１３０条に格納されており、ＣＰＵ１１０によって実行される。
【００６９】
指標キャリブレーションは従来技術にて説明したように、撮像装置１６０によって撮影された撮影画像における指標を認識し、各指標の空間中における位置（姿勢）を算出する。
【００７０】
ここで、登録されていない指標（以下、未登録指標）が指標キャリブレーションで認識された場合、自動的に指標情報に登録されることが好ましい。その一方、指標キャリブレーションの認識ミスにより抽出された指標など、本来指標でない情報が勝手に指標情報に登録されることは好ましくない。
【００７１】
そこで、本実施形態では、指標定義情報管理プログラム２００は、指標キャリブレーションによって抽出された指標を、すでに登録されている指標（以下、正規登録指標）であるか、それとも、未登録指標であるかを判断する。そして、未登録指標である場合には、仮登録指標として登録する。仮登録指標は、正規登録指標と区別して表示する。この指標の登録状態を以下、指標登録状態と呼ぶ。本実施形態では、指標登録状態として「正規登録状態」と「仮登録状態」とがある。
【００７２】
図５〜８は、ＧＵＩのツリービュー２８０において、指標状態に応じて、表示方法を区別して表示されている例である。
【００７３】
図５〜８の何れの図面においても、指標名がＲＥＤ、ＹＥＬＬＯＷである２つの指標は仮登録指標であり、、指標名がＧＲＥＥＮ、ＢＬＵＥ、ＣＹＡＮ、ＭＡＧＥＮＴＡである４つの指標は、正規登録指標である。
【００７４】
ここで、ツリービュー２８０では指標定義情報に含まれている各指標情報に含まれている指標名が表示される。指標キャリブレーションによって自動的に登録された仮登録指標には、初めは指標名がない。よって、仮登録指標の指標名は、ユーザによって指標名が設定されるまでは表示されない。図５〜８では、ユーザによって、２つの仮登録指標のそれぞれに対してＲＥＤ、ＹＥＬＬＯＷという指標名が付けられたものとして説明する。
【００７５】
図５では、ＲＥＤ、ＹＥＬＬＯＷという指標名のそれぞれの表示位置近傍（同図では左近傍位置）には、文字「仮」を囲む点線の円のアイコンを表示している。また、ＧＲＥＥＮ、ＢＬＵＥ、ＣＹＡＮ、ＭＡＧＥＮＴＡという指標名のそれぞれの表示位置近傍（同図では左近傍位置）には、文字「正」を囲む点線の円のアイコンを表示している。
【００７６】
図６では、ＲＥＤ、ＹＥＬＬＯＷという指標名と、ＧＲＥＥＮ、ＢＬＵＥ、ＣＹＡＮ、ＭＡＧＥＮＴＡという指標名とを列挙して表示すると共に、それぞれは、列挙方向と直交する方向において異なる位置に表示している。
【００７７】
さらに、図６では、枝の表示方法を変えている（仮登録指標：長い点線、正規登録指標：短い実線）。
【００７８】
図５や図６のように（アイコン、指標名、枝）の（色、大きさ、フォント、線の属性）などさまざまな表示方法を変えても構わない。
【００７９】
図７では、ＲＥＤ、ＹＥＬＬＯＷという指標名は「仮登録マーカ」という見出しの下にまとめて列挙している。また、ＧＲＥＥＮ、ＢＬＵＥ、ＣＹＡＮ、ＭＡＧＥＮＴＡという指標名は「正規登録マーカ」という見出しの下にまとめて列挙している。
【００８０】
図８では、指標名がＧＲＥＥＮである指標の指標情報を構成する各要素を領域８０１内に表示する場合、領域８０１内にＧＲＥＥＮが正規登録情報であることを示す文字列「正規登録」を表示する。一方、指標名がＲＥＤである指標の指標情報を構成する各要素を領域８０２内に表示する場合、領域８０２内にＲＥＤが仮登録情報であることを示す文字列「仮登録」を表示する。
【００８１】
さらに、本実施形態では、図５〜８に示したツリービュー２８０において、ユーザ指示に応じて指標状態を変更することができる。
【００８２】
このように、ツリービュー２８０において、指標の登録状態に応じて指標情報が表示されるので、各指標が正規登録指標であるのかそれとも仮登録指標であるのかを簡単に把握することができる。
【００８３】
したがって、ユーザは仮登録指標が登録すべき指標である場合には指標を正規登録に変更し、仮登録指標が、標抽出ミスなどであることから、正規登録しないで削除するなどの操作を上述したGUIを通して行うことが可能である。
【００８４】
なお、図５〜８に示したように、「異なる表示形態で表示」とは、視覚的に異なる表示のことであり、係る表示には様々な形態が考えられる。
【００８５】
図１１は、ＣＰＵ１１０は指標定義情報管理プログラム２００を実行することで行われる処理のフローチャートである。なお、以下説明する処理の前段では、メモリ１２０には指標定義情報管理プログラム２００がロードされていると共に、表示装置１７０の表示画面上には、図１２に例示するようなＧＵＩが表示されているものとする。
【００８６】
ステップＳ１４０１では、キーボード１８０やマウス１９０を用いて指示された指標定義情報ファイルをＨＤＤ１３０からメモリ１２０にロードする（読み込む）、若しくは予めメモリ１２０にロードされている指標定義情報ファイルを参照する。
【００８７】
次にステップＳ１４０２では、読み込んだ／参照した指標定義情報ファイルに従って、ツリービュー２８０にツリーの表示を行う。表示内容については上述の通りである。
【００８８】
次にステップＳ１４０３では、撮像装置１６０から取得した画像中の指標毎に配置位置姿勢情報を求める処理、所謂指標キャリブレーション処理の実行指示がキーボード１８０やマウス１９０を用いて入力されたか否かをチェックする。係る指示は、キーボード１８０やマウス１９０を用いた図１２に例示したＧＵＩに対する操作指示でも良いし、係るＧＵＩを用いずに行っても良い。
【００８９】
係る指示が入力されたことを検知した場合には処理をステップＳ１４０４に進める。ステップＳ１４０４では、撮像装置１６０からの画像中に含まれている指標毎に配置位置姿勢情報を求める処理を行う。そして指標毎に、配置位置姿勢情報のみで構成されている指標情報を作成し、作成した指標情報に上述の登録情報を付加し、現在開いている指標定義情報に仮登録情報として含める。若しくは配置位置姿勢情報に登録情報を付加したものを、この指標定義情報とは別個のファイルとして指標毎に作成し、ＨＤＤ１３０に登録する。
【００９０】
しかしこの登録の前段で、画像から求めた配置位置姿勢情報と同じ配置位置姿勢情報を含む指標情報が先にＨＤＤ１３０に登録されているのかをチェックする。例えば、ユーザ操作により作成した指標情報がＨＤＤ１３０に登録された後に、この指標情報に対応する指標を撮像装置１６０によって撮像し、撮像画像からこの指標についての指標情報を求めても、ＨＤＤ１３０には同じものが存在しているので冗長である。従ってこのような場合には、画像から求めた指標情報のＨＤＤ１３０への登録は行わない。
【００９１】
なお、画像から求めた配置位置姿勢情報と、先にＨＤＤ１３０に登録されている指標情報中の配置位置姿勢情報とが同じであるか否かのチェック処理については特に限定するものではない。例えば、それぞれの配置位置姿勢情報において、座標値ｘ、ｙ、ｚのそれぞれを比べる。そして画像から求めた指標の配置位置姿勢情報（ｘ、ｙ、ｚ）と先にＨＤＤ１３０に登録されている指標情報中の配置位置姿勢情報（ｘ、ｙ、ｚ）との位置的な差が閾値以下である場合、これらの指標情報は同じ指標についてのものであるとする。
【００９２】
一方、画像から求めた配置位置姿勢情報が先にＨＤＤ１３０に登録されている何れの指標情報中の配置位置姿勢情報とも異なっている場合に限り、この配置位置姿勢情報のみで構成されている指標情報に登録情報を付加したものを仮登録情報として、現在開いている指標定義情報に含める。即ち、この指標情報の登録状態として仮登録状態が設定される。
【００９３】
そして処理をステップＳ１４０２に戻し、図５〜８に示す如く、画像から求めた指標情報に対応する指標についての表示は上述の通り、ユーザ操作により入力された指標情報に対応する指標についての表示とは異なる表示形態とする。
【００９４】
一方、ステップＳ１４０３において、指標キャリブレーション処理の実行指示がキーボード１８０やマウス１９０を用いて入力されていない場合には、処理をステップＳ１４０５に進める。
【００９５】
ステップＳ１４０５では、図１２に示すようなＧＵＩに対する操作入力があったか否かを判断する。操作入力があった場合には処理をステップＳ１４０６に進める。
【００９６】
ステップＳ１４０６では、入力された操作に応じた処理を行う。例えば、表示装置１７０に表示されるＧＵＩにおいて、ユーザがキーボード１８０やマウス１９０を用いてツリービュー２８０内に表示されている所望の指標を選択すると、ＣＰＵ１１０はその旨を検知する。そして、その指標情報（指標の名前、位置、色、形状等）を読み出し、それぞれテキストボックス２３０〜２３８に出力する。また、係る指標情報に登録情報が付加されているか否かに応じて、「正規登録」、「仮登録」の何れかの文字を表示する。
【００９７】
また、本実施形態では、上述の通り、指標についての表示内容には、係る指標について仮登録であるのか正規登録であるのかを示す情報が表示される。そこで、例えば、キーボード１８０やマウス１９０を用いて、「仮登録」なる表示部分を指示することで、仮登録情報としての指標情報を正規登録情報とすべく、この指標情報に付加されている登録情報を削除しても良い。また、その逆も考えられる。このようにして、仮登録情報を正規登録情報として再登録することもできるし、正規登録情報を仮登録情報として再登録することもできる。
【００９８】
図５の場合、正規登録情報に対応する指標の指標名の横に表示しているアイコンをキーボード１８０やマウス１９０を用いて指示すると、係る指標の指標情報に登録情報を付加し、係る指標情報を仮登録情報とする。逆に、仮登録情報に対応する指標の指標名の横に表示しているアイコンをキーボード１８０やマウス１９０を用いて指示すると、係る指標の指標情報に付加されている登録情報を削除し、係る指標情報を正規登録情報とする。
【００９９】
図７の場合、キーボード１８０やマウス１９０を用いて、正規登録情報に対応する指標の指標名を、上記列挙方向に直交する方向における、仮登録情報に対応する指標の指標名の表示位置に移動させることで、係る指標の指標情報に登録情報を付加する。これにより、係る指標の指標情報を仮登録情報とする。逆に、キーボード１８０やマウス１９０を用いて、仮登録情報に対応する指標の指標名を、上記列挙方向に直交する方向における、正規登録情報に対応する指標の指標名の表示位置に移動させることで、係る指標の指標情報に付加されている登録情報を削除する。これにより、係る指標の指標情報を正規登録情報とする。
【０１００】
図８では、領域８０１内のテキストボックス８１０内を指示し、正規登録、仮登録の何れかを選択する操作をキーボード１８０やマウス１９０を用いて行うことで、領域８０１内の指標情報を選択した方（仮登録情報／正規登録情報）とすることができる。係る点は、領域８２０についても同様である。
【０１０１】
このように、仮登録情報としての指標、正規登録情報としての指標のそれぞれを正規登録情報としての指標、仮登録情報としての指標に変更する操作を入力することができる。なお、係る操作は何回繰り返し行っても良い。
【０１０２】
一方、ステップＳ１４０５において、図１２に示すようなＧＵＩに対する操作入力が無かった場合には、処理をステップＳ１４０７に進める。
【０１０３】
そしてユーザがキーボード１８０やマウス１９０を用いて指標定義情報管理プログラム２００の動作終了指示を入力しない限りは（「終了」メニュー２１６がマウス１９０で選択されない限りは）、ステップＳ１４０７を介してステップＳ１４０２に戻る。そして、以降の処理を繰り返す。
【０１０４】
なお、ツリービュー２８０で別の指標についてのアイコンをマウスクリックすると、選択されたアイコンに対応する指標情報２３０〜２３８、２５０〜２５４、２７０が更新される。そして、以後そのアイコンに対応する指標に対して上記ステップＳ１４０２〜ステップＳ１４０７の一連の処理が実施される。
【０１０５】
以上の説明により、本実施形態によれば、画像から求めた指標についての表示内容と、ユーザ操作により入力した指標情報に対応する指標についての表示内容とを、視覚的に区別して表示する（異なる表示形態で表示する）ことができる。また、係る効果により、ユーザがＧＵＩ上の指標と３次元空間内に置かれた現実指標との対応を直感的に判別可能にすることが可能となる。
【０１０６】
なお、本実施形態では撮像画像は撮像装置１６０から取得するものとして説明しているが、これに限定するものではなく、例えば、予めＨＤＤ１３０に保存しておいたものを用いても良い。
【０１０７】
また、本実施形態では、画像から抽出した指標の配置位置姿勢情報のみを含む指標情報には、係る指標情報を仮登録する旨を示す情報（登録情報）を付加することで、仮登録情報として指標定義情報に含めてＨＤＤ１３０に登録していた。しかし、指標情報を仮登録情報として登録する方法は、登録情報を付加してから登録することに限定するものではなく、様々な方法が考えられる。
【０１０８】
例えば、各指標情報に、自身が正規登録情報であるのか仮登録情報であるのかを示す属性ビットを含める。そして、指標情報を登録する際には、自身が正規登録情報であるのか仮登録情報であるのかに応じて、係る属性ビットの値を設定し、その後、この指標情報を指標定義情報に含める。
【０１０９】
［第２の実施形態］
本実施形態では、現実空間中に配される指標が三角形のような多角形形状である場合について説明する。以下では、多角形の例として三角形を用いるが、ｎ角形（ｎ＞３）のものを用いても以下の説明は実質的には同じである。また、指標の形状として、円形、多角形だけでなく、楕円、バーコード（１次元、２次元）を用いてもよいことは言うまでもない。
【０１１０】
本実施形態では、三角形形状の指標を利用するために、図４に示すメニューの代わりに図１４に示すメニューを用いる。図１４は、「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示される本実施形態に係るメニューの表示例を示す図である。
【０１１１】
図１４に示すメニューでは、図４のメニューに設けられている項目に加え、「指標の新規作成（三角形）」メニュー２２９が設けられている。ユーザがキーボード１８０やマウス１９０を用いて、この「指標の新規作成（三角形）」メニュー２２９を選択することにより、指標情報定義ファイル、及びツリービュー２８０に三角形の指標が追加される。なお、「指標の新規作成（円形）」メニュー２２４は、図４のメニューにおいて「指標の新規作成」メニュー２２４と同じ機能の項目である。
【０１１２】
図１５，１６はそれぞれ、三角形形状の指標を追加した場合の指標情報定義ファイル、ツリービュー２８０の例を示す図である。
【０１１３】
図１５に示す如く、三角形の指標を新規作成すると、指標情報定義ファイル中で「TriangleMarker」と定義された定義情報が作成される。
【０１１４】
また図１６に示す如く、指標TRIANGLEが作成されると、その指標名「TRIANGLE」と共に、その横に指標アイコン２８３が追加されている。この指標アイコン２８３は三角形の形状を有し、他の円形形状の指標アイコンとは形状が異なっている。このようにすることで、ツリービュー２８０中の各指標のアイコンの形状が、現実指標の形状と対応が取れる。すなわち、ユーザがツリービュー２８０中の各指標と現実指標との対応を容易に判別することが可能になる。
【０１１５】
その他の構成については第１の実施形態と同じである。
【０１１６】
ここで、同じ三角形形状の指標でも、それぞれ色が異なる三角形形状の指標を取り扱うことが考えられる。その場合は、第１の実施形態と同様に、各指標の色を指標情報定義ファイルにて管理し、各指標の色を反映させたアイコンを表示してもよいことは言うまでもない。
【０１１７】
以上の説明により、本実施形態によれば、指標情報を管理するＧＵＩにおいて指標情報の登録状態に応じて区別して表示する。これにより、画像から求めた指標と、ユーザ操作により入力した指標情報に対応する指標とで、その表示内容を、視覚的に区別して表示する（異なる表示形態で表示する）ことができる。
【図面の簡単な説明】
【０１１８】
【図１】本発明の第１の実施形態に係るシステムのハードウェア構成を示すブロック図である。
【図２】ユーザが操作する従来のＧＵＩの表示例を示す図である。
【図３】「ファイル」メニュー２１０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。
【図４】「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示されるメニューの表示例を示す図である。
【図５】ツリービュー２８０において、ユーザ操作により作成された指標情報に対応する指標についての表示内容、撮像画像から抽出した指標についての表示内容、を異なる表示形態で表示している様子を示す図である。
【図６】ツリービュー２８０において、ユーザ操作により作成された指標情報に対応する指標についての表示内容、撮像画像から抽出した指標についての表示内容、を異なる表示形態で表示している様子を示す図である。
【図７】ツリービュー２８０において、ユーザ操作により作成された指標情報に対応する指標についての表示内容、撮像画像から抽出した指標についての表示内容、を異なる表示形態で表示している様子を示す図である。
【図８】ツリービュー２８０において、ユーザ操作により作成された指標情報に対応する指標についての表示内容、撮像画像から抽出した指標についての表示内容、を異なる表示形態で表示している様子を示す図である。
【図９】ＧＵＩの表示例を示す図である。
【図１０】指標定義情報ファイルの構成例を示す図である。
【図１１】ＣＰＵ１１０は指標定義情報管理プログラム２００を実行することで行われる処理のフローチャートである。
【図１２】座標系を示すノードの追加を説明する図である。
【図１３】座標系を示すノードの追加を説明する図である。
【図１４】「編集」メニュー２２０をクリックすることで、表示装置１７０の表示画面上に表示される本発明の第２の実施形態に係るメニューの表示例を示す図である。
【図１５】三角形形状の指標を追加した場合の指標情報定義ファイルの例を示す図である。
【図１６】ツリービュー２８０の例を示す図である。
【図１】
2008139911.tif 000003
【図２】
2008139911.tif 000004
【図３】
2008139911.tif 000005
【図４】
2008139911.tif 000006
【図５】
2008139911.tif 000007
【図６】
2008139911.tif 000008
【図７】
2008139911.tif 000009
【図８】
2008139911.tif 000010
【図９】
2008139911.tif 000011
【図１０】
2008139911.tif 000012
【図１１】
2008139911.tif 000013
【図１２】
2008139911.tif 000014
【図１３】
2008139911.tif 000015
【図１４】
2008139911.tif 000016
【図１５】
2008139911.tif 000017
【図１６】
2008139911.tif 000018