(57)【要約】【課題】  簡便な方法で回転対称性を有する指標を正確に同定すること。【解決手段】  現実空間中に配置された指標をカメラで撮像した画像中で検出し、画像中の位置を求める（Ｓ４０５）。一方で、カメラの位置姿勢情報と指標の位置情報等から、指標をカメラの撮像面上に投影する（Ｓ４０３）。そして、両者の画像面上での距離と、外形形状に基づいて、対応する指標を同定する（Ｓ４０９）。【選択図】  図４
2005107965.tif 000002
【特許請求の範囲】
【請求項１】
回転対称性を有する外周形状の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得工程と、
前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得工程と、
前記画像中に含まれる前記指標を検出する指標検出工程と、
前記位置姿勢情報取得工程で得た前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定結果と、前記指標の位置に関する情報とに基づいて、前記指標を前記撮像装置の撮像面上に投影した投影指標を求める投影指標算出工程と、
前記画像中で検出された前記指標の位置及び外形形状に関する情報と、前記投影指標の位置及び形状に関する情報とに基づいて、前記画像中で検出された指標を同定する指標同定工程とを有することを特徴とする指標同定方法。
【請求項２】
前記指標の位置に関する情報が、前記指標の中心点の３次元座標及び前記指標の各頂点の３次元座標であることを特徴とする請求項１記載の指標同定方法。
【請求項３】
前記指標同定工程が、
前記投影指標の中心点から各頂点へのベクトルを求める第１のベクトル算出工程と、
前記画像中で検出された前記指標の中心点から各頂点へのベクトルを求める第２のベクトル算出工程と、
前記第１のベクトル算出工程で得られたベクトルと、前記第２のベクトル算出工程で得られたベクトルとの方位を比較する方位比較工程と、
前記方位比較工程で方位が最も近いベクトル対を対応するベクトルと判定し、前記投影指標の頂点に対応する前記画像中で検出された前記指標の頂点を同定する頂点同定工程とを有することを特徴とする請求項２記載の指標同定方法。
【請求項４】
前記方位比較工程が、
前記第１のベクトル算出工程で得られたベクトルと、前記第２のベクトル算出工程で得られたベクトルとがなす角の合計又は平均、或いは内積の値に基づいて前記方位の比較を行うことを特徴とする請求項３記載の指標同定方法。
【請求項５】
前記指標同定工程が、
前記投影指標の頂点と、前記画像中で検出された前記指標の頂点との距離を求める頂点間距離算出工程と、
前記投影指標の頂点と、前記画像中で検出された前記指標の頂点のうち、前記頂点間距離算出工程で距離が最も近い頂点の対を対応する頂点として同定する頂点同定工程とを有することを特徴とする請求項２記載の指標同定方法。
【請求項６】
前記指標同定工程が、
前記投影指標の辺をなす線分と、前記画像中で検出された前記指標の辺をなす線分の方位又は距離の少なくとも一方に基づいて、最も近い線分対を求める線分比較工程と、
前記線分比較工程で最も近い線分対を対応する線分と判定して前記投影指標の頂点に対応する前記画像中で検出された前記指標の頂点を同定する頂点同定工程とを有することを特徴とする請求項２記載の指標同定方法。
【請求項７】
回転対称性を有する外周形状の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得手段と、
前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得手段と、
前記画像中に含まれる前記指標を検出する指標検出手段と、
前記位置姿勢情報取得手段で得た前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定結果と、前記指標の位置に関する情報とに基づいて、前記指標を前記撮像装置の撮像面上に投影した投影指標を求める投影指標算出手段と、
前記画像中で検出された前記指標の位置及び外形形状に関する情報と、前記投影指標の位置及び形状に関する情報とに基づいて、前記画像中で検出された指標を同定する指標同定手段とを有することを特徴とする指標同定装置。
【請求項８】
前記撮像装置及び、前記撮像装置又は前記現実物体の少なくとも一方の３次元位置姿勢測定手段を更に有することを特徴とする請求項７記載の指標同定装置。
【請求項９】
コンピュータに、請求項１乃至請求項６のいずれか１項に記載の指標同定方法を実行させるためのコンピュータプログラム。
【請求項１０】
請求項９記載のコンピュータプログラムを格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間もしくは物体に配置された指標を撮像装置で撮像した画像から検出し同定する指標の同定技術に関するものである。
【背景技術】
【０００２】
［従来技術１］
現実空間を撮像するカメラなどの撮像部（以下適宜カメラと言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。このような従来技術として、特許文献１又は２および非特許文献１において開示されているように、現実空間に配置した、位置が既知のマーカまたは現実空間中の位置が既知の特徴点（以下、マーカと特徴点を合わせて指標という）を用いて、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正する方法がある。
【０００３】
言い換えると、これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。また、指標は同時に複数利用されることが多いが、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める手段のひとつとして、画像から検出した指標の座標と、指標の絶対位置を位置姿勢センサの計測値を基にして投影して得られる、画像面上での指標の座標との間の関係を利用することが知られている。
【０００４】
［従来技術２］
また、一方で、非特許文献２乃至３において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の４頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点（対角線の交点）を通り、面に垂直な軸を回転軸として90度毎の回転対称形であることから、頂点の座標からだけでは上下左右の判定を行うことができない。そのため、正方形の指標内部に、上下左右の判定を行うためのさらなる画像特徴が設けられている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。
【０００５】
【特許文献１】特開平１１−０８４３０７号公報
【特許文献２】特開２０００−０４１１７３号公報
【非特許文献１】A. State, G. Hirota, D. T. Chen, B. Garrett, and M. Livingston: Superior augmented reality registration by integrating landmark tracking and magnetic tracking, Proc. SIGGRAPH '96, pp.429-438, July 1996.
【非特許文献２】加藤, Billinghurst, 浅野, 橘: マーカー追跡に基づく拡張現実感システムとそのキャリブレーション, 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.607-616, Dec. 1999.
【非特許文献３】X. Zhang, S. Fronz, N. Navab: Visual marker detection and decoding in AR systems: A comparative study, Proc. of International Symposium on Mixed and Augmented Reality (ISMAR'02), 2002.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来技術１のカメラの位置姿勢を推定する方法において、指標として点マーカや同心円マーカを利用する場合、１つの指標がもつ情報は１つの座標値でしかない。そのため、幾何的な情報が少なく、正確な位置姿勢を推定するためや観測視野を広くするために、比較的数多くの複数の指標を同時に利用するような方法が採られている。
【０００７】
上述したように、複数の指標を同時に用いる場合には、画像で捉えた指標が現実空間に配置された指標のどれに相当するのかを同定する方法を工夫する必要がある。特に指標の画像特徴（色や形状など、画像処理で識別可能な特徴）が同じか差が小さく、かつ数多くの指標を配置した際には誤識別の可能性があった。
【０００８】
そのため、従来技術２で利用されている正方形マーカのような、図形的な拡がりのある指標を従来技術１で利用すれば、ひとつの指標が複数の座標値（例えば、中心点及び頂点の座標値）をもつため、より少ない数の指標で済むと考えられる。しかし、従来技術２で利用されている正方形マーカは、従来の技術の項で前述した正方形の回転対称性を特定するために、すなわち、上下左右を識別するために、正方形の内部または周囲に正方形以外の画像特徴を併せ持つような指標である必要がある。
【０００９】
また、二つ以上の正方形マーカを同時に利用することを考慮すると、従来技術２では完全に画像のみから個々のマーカを識別する必要が生じるため、個別の指標を区別できるマーカ固有の符号情報やテンプレートとなりうる記号情報などを埋め込む必要があった。図９（ａ）〜（ｃ）は、非特許文献２および非特許文献３にて開示されている従来技術２で利用されている具体的な正方形指標の例である。このような複雑な構造をもつ指標を画像から検出しなければならないため、撮像画像面の中で十分に大きな面積を占めるように指標を捉えなければ、指標の認識ができないという問題があった。これは換言すれば、現実空間の広い領域を指標配置のために確保しなければならないこと、あるいは、カメラが指標に十分に近づかなければならないということを意味する。または、指標の配置条件が厳しいという問題と言い換えることができる。
本発明はこのような従来技術の問題点を解決することを主な目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的は、例えば、回転対称性を有する外周形状の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得工程と、撮像装置又は現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得工程と、画像中に含まれる指標を検出する指標検出工程と、位置姿勢情報取得工程で得た撮像装置又は現実物体の少なくとも一方の３次元位置姿勢測定結果と、指標の位置に関する情報とに基づいて、指標を撮像装置の撮像面上に投影した投影指標を求める投影指標算出工程と、画像中で検出された指標の位置及び外形形状に関する情報と、投影指標の位置及び形状に関する情報とに基づいて、画像中で検出された指標を同定する指標同定工程とを有することを特徴とする指標同定方法によって達成される。
【００１１】
また、本発明の目的は、回転対称性を有する外周形状の指標が現実物体上に配置された現実空間を撮像装置で撮像した画像を取得する画像取得手段と、撮像装置又は現実物体の少なくとも一方の３次元位置姿勢の測定結果を取得する位置姿勢情報取得手段と、画像中に含まれる指標を検出する指標検出手段と、位置姿勢情報取得手段で得た撮像装置又は現実物体の少なくとも一方の３次元位置姿勢測定結果と、指標の位置に関する情報とに基づいて、指標を撮像装置の撮像面上に投影した投影指標を求める投影指標算出手段と、画像中で検出された指標の位置及び外形形状に関する情報と、投影指標の位置及び形状に関する情報とに基づいて、画像中で検出された指標を同定する指標同定手段とを有することを特徴とする指標同定装置によっても達成される。
【００１２】
また、上述の目的は、本発明の指標同定方法をコンピュータ装置に実現させるためのコンピュータプログラム及び、このコンピュータプログラムを記録したコンピュータ装置読み取り可能な記録媒体によっても達成される。
【発明の効果】
【００１３】
このような構成により、本発明によれば、指標の中心点位置のみならず、外周形状をも考慮して同定を行うため、指標が回転対称性を有する場合であっても指標を同定することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。
［第１の実施形態］
図１は、本実施形態に係る指標同定装置の構成例を示すブロック図である。まず、本実施形態においては、好適な指標として、図１０に示すような単純な正方形図形を指標として利用する。
【００１５】
１０１は、現実空間を撮像できるカメラであり、例えばＣＣＤやＣＭＯＳセンサを撮像素子として有するビデオカメラである。カメラ１０１には例えば磁気センサ等を用いた３次元位置姿勢センサ１０２が固定されている。位置姿勢計測部１０３は、３次元位置姿勢センサ１０２を駆動・制御し、カメラ１０１の位置姿勢を計測する。
【００１６】
指標情報データ保持部１０４には、現実空間に配置されている指標、本実施形態においては正方形指標の各々について、配置位置（例えば中心点の３次元絶対座標）、頂点の３次元絶対座標、大きさといった、指標の同定及び方向の識別を行うために必要な情報を予め記憶しておく。なお、ここで挙げた登録項目は単なる例示であり、使用する指標や指標の識別方法に応じて、これ以外の情報を登録することもあれば、より少ない項目で済む場合もある。
【００１７】
そして、位置姿勢計測部１０３は、３次元位置姿勢センサ１０２から得られたカメラ１０１の位置姿勢値を指標投影計算部１０５に供給する。指標投影計算部１０５は、カメラ１０１の位置姿勢値と指標情報データ保持部１０４に記録されている正方形指標の３次元座標情報とを用いて、カメラ１０１が撮像していると思われる指標の、カメラ１０１の画像面上での投影位置を計算する。以下、画像面（撮像面とも言う）上に投影した指標を投影指標という。
【００１８】
指標検出部１０６では、カメラ１０１の撮像画像をキャプチャし、色や形状など、予め定められた指標に関する情報に基づき、指標と思われる領域（以下、検出指標という）を画像から検出する。指標識別部１０７では、指標投影計算部１０５で得られた指標の投影位置と外周形状、指標検出部１０６で得られた画像中の指標位置と外周形状から、指標の同定を行う。指標の同定方法の詳細については後述する。
【００１９】
図２は、図１の構成の想定される使用状態を模式的に示す図である。正方形指標２０３は、図のように現実空間に配置されており、その指標の大きさや配置などの情報が指標情報データ保持部１０４に記録されている。
【００２０】
引き続いて、上記構成を備える指標同定装置が行う処理について、図４に示したフローチャートを参照して説明する。
ステップＳ４０１にて、３次元位置姿勢センサ１０２によって位置姿勢を計測し位置姿勢計測部１０３へ送る。ステップＳ４０２では、ステップＳ４０１で得られた結果を基にして、ビューイング変換を変換行列の形で計算する。ビューイング変換とは、カメラの視点位置を原点とし撮像面をｘｙ平面、視軸をｚ軸負へのベクトルとおいた３次元座標系をカメラ座標系とし、現実世界に固定され設定された座標系を世界座標系としたときに、この２つの座標系間の座標変換のことであり、世界座標系上にある点をカメラ座標系へと変換する変換のことである。すなわち、このビューイング変換を求めておくことによって、世界座標系上にある座標値をカメラ座標系の座標値に容易に計算することが可能となる。
【００２１】
次に、ステップＳ４０３にて、指標情報データ保持部１０４に記録されている正方形指標の中心点と頂点の位置（座標）を、ステップＳ４０２で得られたビューイング変換を利用してカメラ座標系へと変換し、カメラ１０１の透視投影変換計算を行うことによって、それぞれの撮像面上での推定位置（投影座標）を計算する。なお、カメラ１０１の透視投影変換は、カメラ１０１のレンズ焦点距離や主点（投影中心）位置によって一意に定まるものであり、本実施形態を実施する前に予め求めておくことが可能である。
【００２２】
また、ステップＳ４０１、Ｓ４０２、Ｓ４０３の工程を行う一方で、ステップＳ４０４にて、カメラ１０１により現実空間を撮像し、ステップＳ４０５にて、得られた撮像画像から正方形指標の検出を行う。正方形指標の検出にはどのような方法を用いても構わないが、例えば、以下のような方法がある。
【００２３】
まず、指標の明度を背景と異なるものとしておき、明度による二値化を行った後にラベリング処理にて連続領域を求める。その連続領域のラベル外周を折れ線近似することにより外周の四角形（外周形状）を検出する。得られた四角形の頂点を求め、さらに対角線の交点を求めることにより中心点を求める。
【００２４】
以上のステップで、３次元位置姿勢センサの計測値を基にして、正方形指標の頂点と中心点とを画像面へと投影した投影座標と、画像から検出した正方形指標（なお画像中には正方形ではなく四角形として写る）の頂点と中心点の検出座標とを得ることができた。
【００２５】
本実施形態にて最終的に行いたいことは、正方形指標の回転対称性を含めて同定を行うことであり、言い換えると、画像から検出した指標が、現実空間に配置されている指標のうちのどれにあたり、どの向きであるのかを判別することである。このための処理として、まず、ステップＳ４０６にて、ステップＳ４０３で得られた正方形の中心点の投影座標と、ステップＳ４０５で得られた正方形の中心点の検出座標とを比較し、距離の近いものを対応する正方形として決定する。このステップは、正方形指標が複数配置されている場合に、それらを識別するために行う処理であり、もしも正方形指標がひとつしかない場合にはステップＳ４０６は不要である。
【００２６】
以下のステップは、ステップＳ４０３で求めた投影指標と、ステップＳ４０５で求めた画像中の指標との外周形状の比較により、指標同定を行うステップである。本実施形態においては、指標が正多角形であることに鑑み、中心点から各頂点までのベクトル方位の比較を利用することで外周形状の比較を行う場合について説明する。
【００２７】
次に、ステップＳ４０７にて、ステップＳ４０３で得られた正方形の中心点の投影座標から正方形の各頂点の投影座標への４つのベクトルを求める。さらに、ステップＳ４０８にて、Ｓ４０５で得られた正方形の中心点の検出座標から正方形の各頂点の検出座標への４つのベクトルを求める。
【００２８】
このステップＳ４０７及びＳ４０８の工程を、図５の場合を例にして説明する。図５の６０１はカメラ１０１の撮像面を表しており、ステップＳ４０３にて得られた、カメラ１０１の視野に含まれるであろう正方形指標の、カメラ１０１の画像面上への投影座標の１つが、６０２のような位置に計算されているとする。そして、この指標６０２は、画像中で検出された指標６０３であるとする。
【００２９】
指標情報データ保持部１０４に保持されている正方形指標に関する情報には、当然個々の頂点に関する情報が区別して記録されているため、その個々の頂点を撮像面に投影して得られる投影座標においても、各々がどの頂点を投影したものであるのかは処理手順上自明である。
【００３０】
図５のＰ１，Ｐ２，Ｐ３，Ｐ４は、画像面上に投影した指標の頂点がそれぞれどの正方形指標の頂点を投影したものであるのかを模式的に示すための記号である。それに対して、撮像画像から検出した正方形指標６０３に関しては、正方形指標そのものが方向性を示す情報をもたず、その中心点を中心とした回転対称性をもっているため、検出した頂点が正方形指標のどの頂点に対応するものであるのかが不定である。
【００３１】
ステップＳ４０７とステップＳ４０８は、この不定性を求めるための工程の一部の処理であり、そのための準備として、画像面に投影した正方形と画像から検出した正方形の各々で、中心点から頂点へのベクトルを求めておくステップである。そして、ステップＳ４０９にて、ステップＳ４０７で求めたベクトルとステップＳ４０８で求めたベクトルとの比較を行い、最も方位の近いベクトル対を対応するベクトルであると判断することにより、画像から検出した正方形指標の頂点と画像面に投影した正方形指標の頂点とを対応付ける。
【００３２】
このステップＳ４０９での処理について、図６を用いてさらに説明する。図６（ａ）は、図５の６０２と６０３をそのまま表したものであり、画像面に投影した正方形指標と画像から検出した正方形指標を表す。図中には明記していないが、ステップＳ４０７とステップＳ４０８にて、それぞれの中心点から頂点へのベクトルが計算されている。
【００３３】
ステップＳ４０９で行う、それぞれのベクトルを比較する処理とは、図６（ｂ）に示すように、６０２、６０３を回転させずにベクトルの原点（ここでは正方形の中心点）を合わせ、それぞれのベクトルの方位を比較する処理である。そして、方位が近いベクトル対が対応するベクトル、すなわち、方位が近いベクトル対が示す頂点が対応する頂点であるとすることにより、図６（ｃ）に示すように画像から検出した正方形の頂点を同定することが可能となる。図６（ｃ）のＰ１’，Ｐ２’，Ｐ３’，Ｐ４’は、その結果を表しており、投影した正方形指標の頂点Ｐ１が、画像から検出した正方形指標の頂点Ｐ１’に、Ｐ２がＰ２’に、Ｐ３がＰ３’に、Ｐ４がＰ４’にそれぞれ対応していると同定されたことを表現している。
【００３４】
この処理を図６（ｂ）を書き直した図７を用いてさらに詳しく説明する。図６の６０２の中心点から各頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４へのベクトルをそれぞれｖ１，ｖ２，ｖ３，ｖ４とする。また、画像から検出した四角形である６０３の中心点から各頂点へのベクトルを図７に示すように、それぞれｕ１，ｕ２，ｕ３，ｕ４とする。これらの４つのベクトル対のそれぞれのなす角が最も小さい組み合わせとなる（すなわち方位が近い）ものを計算することにより、対応する頂点を決定する。ここで、ベクトルｖｉベクトルｕｊとのなす角をθｉ，ｊとすると、θｉ，ｊは、
【００３５】
【数１】
2005107965.tif 000003
と表すことができる。
【００３６】
４つのベクトル対の組み合わせには４通りが考えられ、それぞれのなす角の合計は、以下の４式で計算できる。
Θ1＝θ1,1＋θ2,2＋θ3,3＋θ4,4
Θ2＝θ1,2＋θ2,3＋θ3,4＋θ4,1
Θ3＝θ1,3＋θ2,4＋θ3,1＋θ4,2
Θ4＝θ1,4＋θ2,1＋θ3,2＋θ4,3
【００３７】
すなわち、Θ１，Θ２，Θ３，Θ４を計算し、最も小さい値となる場合が、方位の近いベクトル対の組み合わせを表す。図７の場合は、Θ２の値、すなわち、ｖ１とｕ２、ｖ２とｕ３、ｖ３とｕ４、ｖ４とｕ１という組み合わせのなす角の合計が最も小さくなると考えられるため、図６（ｃ）に示すようにＰ１’，Ｐ２’，Ｐ３’，Ｐ４’として対応する頂点が決定されることとなる。
【００３８】
なお、上述の方法ではベクトルのなす角の合計により対応する頂点を決定しているが、ベクトルのなす角の合計ではなく平均を利用する方法でもよいし、なす角を基にする方法であればそれ以外の方法でも同様の判定が可能である方法であればどのような方法を用いてもよい。また、ベクトルの方位の近さは、なす角を使わなくても、内積の値を直接比較する方法でも可能であるので、ベクトルの方位の近さを求める方法であれば、どのような方法を用いても良い。
【００３９】
また、ステップＳ４０７からＳ４０９までの処理手順で求めようとしている本質的な事柄は、６０２の四角形の頂点と６０３の四角形の頂点との対応を求めることにある。これは、ステップＳ４０７からステップＳ４０９で述べた四角形の中心点から頂点までのベクトルを利用する方法以外の方法でも、例えば以下のような方法で実現することができる。それは、図７に示すように、６０２、６０３を回転させずにそれぞれの四角形の中心点を合わせた後に、６０２の頂点であるＰ１，Ｐ２，Ｐ３，Ｐ４と，６０３の頂点であるＱ１，Ｑ２，Ｑ３，Ｑ４との距離を比較する方法である。ベクトルのなす角を比較する場合の計算と同様に、点Ｐｉから点Ｑｊまでの距離をｌｉ，ｊとしたときの、４つの頂点対の４通りの組み合わせにて、頂点間距離の合計を以下の４式に対して求め、最も値の小さくなる組み合わせのものを選べばよい。
【００４０】
Ｌ1＝ｌ1,1＋ｌ2,2＋ｌ3,3＋ｌ4,4
Ｌ2＝ｌ1,2＋ｌ2,3＋ｌ3,4＋ｌ4,1
Ｌ3＝ｌ1,3＋ｌ2,4＋ｌ3,1＋ｌ4,2
Ｌ4＝ｌ1,4＋ｌ2,1＋ｌ3,2＋ｌ4,3
【００４１】
なお、このような頂点間の距離を利用する方法においても、頂点間の距離の合計ではなく平均を利用するなど、他の方法を用いても良い。
さらには、四角形の辺を表す４つ線分の線分対を利用し、それらの線分の方位と線分間の距離の一方又は両方を利用する方法なども考えられる。例えば、方位の近い線分対のうち、距離の近いものを対応する線分であるとして頂点を同定することができる。また、逆に距離が近いもののうち方位が近いものを対応線分対としてもよいし、距離と方位の一方のみによって対応線分対を決定しても良い。また、線分間の方位や距離についても、その合計や平均を用いて対応線分対を判定することができる。このように、６０２と６０３の四角形の頂点の対応を、その四角形の外周形状を基にして最適となるように当て嵌める方法であれば、どのような方法を用いても良い。
【００４２】
このように、本実施形態によれば、画像から検出するだけでは指標の頂点を同定することができないような回転対称性をもつ指標であっても、その同定を行うことが可能となる。また、本実施形態において用いた正方形指標は、方向性や個体区別のための追加情報となるパターンや文字等を必要としないため、単純で、画像から安定して検出することが容易である。すなわち、例えば、図３（ａ）に示すように、指標が十分に大きく画像に捉えられている場合だけではなく、図３（ｂ）に示すように画像中の指標が小さくなった場合であっても、指標を安定して検出できる効果をもたらす。また、方向性や個体区別のための追加情報となるパターンや文字等を必要としないため、従来技術２で利用されていたものと比較して、指標を小さくすることが可能であり、外観も比較的目立たないものとすることができる効果もある。さらに、画像中に指標を大きく捉える必要が無くなるため、カメラと指標の位置の制限が非常に緩やかとなる。
【００４３】
［第２の実施形態］
第１の実施形態では、カメラに３次元位置姿勢センサを配置し、カメラが動的に動く状況にて、現実空間に固定された指標を撮像する場合を想定していたが、カメラを固定し、３次元位置姿勢センサおよび指標を配置した現実物体が移動する場合であっても本発明を好適に適用可能である。
【００４４】
図８は、本実施形態におけるカメラ１０１、現実物体８０３及び３次元位置姿勢センサ８０２の関係を模式的に示す図である。なお、３次元位置姿勢センサ８０２の取り付け位置がカメラ１０１から現実物体８０３に変わること以外、図１に示した指標識別装置の構成を変更することなく本実施形態で利用可能である。
【００４５】
本実施形態においては、第１の実施形態における同定処理を説明した図４のステップＳ４０２にて、世界座標系をカメラ座標系に変換するためのビューイング変換を求める代わりに、物体８０３の位置姿勢計測値を基にしてモデリング変換を変換行列の形で計算する。モデリング変換とは、現実世界に固定され設定された座標系を世界座標系とし、対象物体に固定された座標系を物体座標系としたときに、この２つの座標系間の座標変換のことであり、物体座標系にある点を世界座標系上へと変換する変換のことである。すなわち、このモデリング変換を求めておくことによって、物体に固定された座標値をもつ位置を世界座標系での座標値に容易に計算することが可能となる。
【００４６】
そして、ステップＳ４０３において、指標座標投影計算部１０５が、ビューイング変換の代わりにモデリング変換を用いて指標２０３をカメラ１０１の撮像面上に投影する。図４における他のステップは第１の実施形態と同様に処理することで、正方形指標の同定を行うことが可能である。
【００４７】
［第３の実施形態］
第１の実施形態では、カメラが移動、指標が固定、第２の実施形態では、カメラが固定、指標が配置された現実物体が移動という状況であったが、カメラと指標が配置された現実物体の両方が移動する環境においても本発明を適用することが可能である。
【００４８】
この場合、３次元位置センサをカメラと移動現実物体の両方に取り付け、それぞれの測定結果から、投影指標の算出を行うための変換をステップＳ４０２で求める。すなわち、移動物体に固定された座標系を物体座標系、カメラに固定された座標系をカメラ座標系、現実世界に固定され設定された座標系を世界座標系としたときに、物体座標系にある点をカメラ座標系上へと変換する変換（多段変換）を求める。
【００４９】
この変換は、物体座標系にある点を世界座標系上へ変換するモデリング変換と、世界座標系にある点をカメラ座標系上へ変換するビューイング変換を併せて行う変換であるから、それぞれの変換行列を用いることにより容易に求めることができる。
そして、ステップＳ４０３でこの多段変換を用いて投影指標を求める。他のステップは第１の実施形態と同様に実施すればよい。
【００５０】
［他の実施形態］
なお、上述の実施形態においては、理解を容易にするため、カメラ及び３次元位置姿勢センサを含む指標検出装置について説明したが、これらは必ずしも必要ない。すなわち、カメラ（第１／第３の実施形態）又は現実物体（第２／第３の実施形態）の３次元位置姿勢計測及び撮像は他の装置で行い、他の装置から３次元位置計測結果と撮像画像を取得する構成であってもよい。また、リアルタイムに処理を行う場合だけでなく、記録された３次元位置計測結果と、撮像画像とを用いて識別処理を行うことももちろん可能である。
【００５１】
また、上述の実施形態では、指標として図１０に示す正方形形状の指標を利用しているが、指標は正多角形もしくは回転対称性をもつ図形であれば、必ずしも正方形に限らない。
【００５２】
例えば、図１１（ａ）に示すような正三角形の指標を用いることができる。この場合、ステップＳ４０３の投影計算は中心点と３つの頂点を投影計算することとなり、ステップＳ４０５は、三角形の検出を行い、その頂点と中心点を算出することとなる。ここで、ステップＳ４０５の中心点の計算は、四角形の場合には対角線の交点を求めることで行っていたが、三角形の場合には、頂点から対角辺の中心点への直線の交点を計算することで算出すればよい。それらのステップ以降の工程は、上述の実施形態と同様に処理することができ、正三角形指標の同定を行うことができる。正方形、正三角形以外の正多角形においても、同様な計算で指標の同定を行うことができる。
【００５３】
ただし、頂点の数が多くなると、処理が煩雑になるほか、投影指標と検出指標とが回転関係にある場合における、対応ベクトルの判定に誤りが生じる可能性が出てくるため、頂点の数はあまり多くないことが好ましい。
【００５４】
さらに、図１１（ｂ）および図１１（ｃ）に示すように、指標は単純な正多角形ではなく、内部にそれ以外の図形情報をもつ指標であってもよい。図１１（ｂ）では指標内部に明度が異なり、中心点を共通とする正方形が、図１１（ｃ）では指標内部に明度が異なり、中心点を共通とする円がそれぞれ図形情報として設けられている。このような付加的な図形情報は、例えば、画像からの指標検出時に利用することにより、現実空間の中に元々自然に存在する物体との区別に利用することが可能である。
【００５５】
さらに、図１１（ｄ）および図１１（ｅ）に示すように、正多角形ではなくても、回転対称性をもち、回転角の決定に不定性のある形状で、かつ、画像から検出可能であれば、どのような指標の形状であっても本発明を適用可能である。
【００５６】
また、外周形状の比較方法としては、上述した方法以外にも任意の方法が利用可能である。また、複数の方法を組み合わせて用いても良い。例えば、図１１（ｄ）のような形状を有する指標の場合には、中心点から各頂点までのベクトルの大きさは２通り存在する。そのため、方位検出を行う際、大きさの近いベクトル同士で比較すれば、より精度の高い同定が可能になる。
【００５７】
また、上述の実施形態で説明した指標識別装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【００５８】
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００５９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００６０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００６１】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００６２】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００６３】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００６４】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００６６】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１の実施形態における指標同定装置の機能構成を示すブロック図である。
【図２】本発明の第１の実施形態の利用場面を模式的に表す模式図である。
【図３】指標が画像に捉えられている様子を表す模式図である。
【図４】本発明の第１の実施形態における指標同定装置が行う処理のフローチャートである。
【図５】第１の実施形態における正方形指標を投影した画像面上での投影像と撮像され画像に捉えられた正方形指標の様子を表す模式図である。
【図６】第１の実施形態において、画像面に投影計算された正方形指標と、画像から検出された正方形指標とを用いて、画像から検出された正方形指標の頂点を同定する方法を概念的に示す模式図である。
【図７】第１の実施形態における、画像面に投影計算された正方形指標と、画像から検出された正方形指標との頂点の同定方法をより詳細に説明するための模式図である。
【図８】本発明の第２の実施形態の利用場面を模式的に表す模式図である。
【図９】従来技術２で利用されている指標の例である。
【図１０】本発明の実施形態で利用する正方形形状をもつ指標である。
【図１１】本発明に用いることの可能な指標の他の例を示す図である。
【図１】
2005107965.tif 000004
【図２】
2005107965.tif 000005
【図３】
2005107965.tif 000006
【図４】
2005107965.tif 000007
【図５】
2005107965.tif 000008
【図６】
2005107965.tif 000009
【図７】
2005107965.tif 000010
【図８】
2005107965.tif 000011
【図９】
2005107965.tif 000012
【図１０】
2005107965.tif 000013
【図１１】
2005107965.tif 000014