(57)【要約】【課題】  指標の配置情報の適否や再校正の要否をユーザが自らの経験的知識に基づいて判断する必要のない、運用やメンテナンスの容易な、撮像装置の位置及び姿勢の計測技術を提供すること。また、再校正が必要な指標だけを校正する為の技術も提供すること。【解決手段】  指標検出部１１０は、撮像画像から指標の画像座標を検出する。指標配置情報更新部１６０は、指標の画像座標と、この指標の配置情報と、を用いて撮像装置の位置及び姿勢を算出する。更に、指標配置情報更新部１６０は、配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する。そして指標配置情報保持部１４０は、無信頼指標について保持している配置情報を、再校正した配置情報に更新すると共に、無信頼指標について保持している信頼度を、再校正の必要はないことを示す信頼度に更新する。【選択図】  図１
2008275340.tif 000002
【特許請求の範囲】
【請求項１】
現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
前記撮像画像から指標の画像座標を検出する検出手段と、
前記検出手段が検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する再校正手段と、
前記無信頼指標について前記保持手段が保持している配置情報を、前記無信頼指標について前記再校正手段が再校正した配置情報に更新すると共に、前記無信頼指標について前記保持手段が保持している信頼度を、再校正の必要はないことを示す信頼度に更新する更新手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記算出手段は、前記検出手段が検出した指標の画像座標のうち再校正の必要はないことを示す信頼度を有する信頼指標の画像座標と、当該信頼指標について前記保持手段が保持している配置情報と、を用いて、前記撮像装置の位置及び姿勢を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
更に、
前記算出手段による算出処理の過程で、当該算出処理で用いた指標についての信頼度を求める手段を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
前記撮像画像から指標の画像座標を検出する検出手段と、
前記検出手段が検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標についての情報を報知する報知手段と
を備えることを特徴とする情報処理装置。
【請求項５】
前記報知手段は、前記撮像画像上における前記無信頼指標の画像座標近傍の位置に、前記無信頼指標の識別情報、配置情報の再校正が必要である旨を示すメッセージ、前記無信頼指標を強調する為のマーカ、の少なくとも何れかを表示することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
少なくとも前記無信頼指標について前記保持手段が保持している配置情報を前記撮像画像上に投影した画像座標を求める手段と、
前記投影した画像座標に、前記無信頼指標に係る情報を表示することを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記無信頼指標に係る情報は、前記無信頼指標に対する信頼度に応じて異なることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
更に、
前記報知手段によって報知された指標のうち、配置情報の再校正を行う無信頼指標を選択する手段と、
前記選択が成された無信頼指標について前記保持手段が保持している配置情報を再校正する手段と
を備えることを特徴とする請求項４に記載の情報処理装置。
【請求項９】
現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
前記撮像画像から指標の画像座標を検出する検出手段と、
前記検出手段が検出した指標の画像座標のうち、再校正の必要はないことを示す信頼度を有する指標の画像座標と、当該指標について前記保持手段が保持する配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と
を備えることを特徴とする情報処理装置。
【請求項１０】
現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
前記撮像画像から指標の画像座標を検出する検出工程と、
前記検出工程で検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する再校正工程と、
前記無信頼指標について前記保持手段が保持している配置情報を、前記無信頼指標について前記再校正工程で再校正した配置情報に更新すると共に、前記無信頼指標について前記保持手段が保持している信頼度を、再校正の必要はないことを示す信頼度に更新する更新工程と
を備えることを特徴とする情報処理方法。
【請求項１１】
現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
前記撮像画像から指標の画像座標を検出する検出工程と、
前記検出工程で検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標についての情報を報知する報知工程と
を備えることを特徴とする情報処理方法。
【請求項１２】
現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
前記撮像画像から指標の画像座標を検出する検出工程と、
前記検出工程で検出した指標の画像座標のうち、再校正の必要はないことを示す信頼度を有する指標の画像座標と、当該指標について前記保持手段が保持する配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と
を備えることを特徴とする情報処理方法。
【請求項１３】
コンピュータに請求項１０乃至１２の何れか１項に記載の情報処理方法を実行させるためのコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の位置姿勢を計測するための技術に関するものである。
【背景技術】
【０００２】
現実空間に対して文字やＣＧ映像を重畳して提示する複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラ等の撮像装置で撮影した画像に、撮像装置の位置及び姿勢に応じて生成した画像を重畳描画し、これを表示する装置として実現できる。
【０００３】
係る技術を実現する為には、現実空間中に定義した基準座標系と、カメラ座標系と、の間の相対的な位置及び姿勢を、リアルタイムに計測する必要がある。例として、室内やテーブル上といった現実環境の所定位置に仮想物体を重畳表示する場合を考える。この場合、その環境の適切な場所（例えば部屋の床面やテーブル面）に基準座標系を定義し、基準座標系におけるカメラの位置及び姿勢を求めればよい。
【０００４】
このような計測を実現するために、カメラが連続的に撮影する時系列画像を利用して、カメラの位置及び姿勢を逐次計測することが一般的に行われている（非特許文献１，非特許文献２，非特許文献３を参照）。例えば、以下の手順によって、基準座標系におけるカメラの位置及び姿勢を求めることができる。
【０００５】
（１）  室内の床や壁、テーブル面等に、基準座標系における位置（基準座標）が既知である複数の指標を配置あるいは設定する。
【０００６】
（２）  カメラが撮影した撮像画像内における指標の画像座標を検出する。
【０００７】
（３）  検出された指標の画像座標と、この指標の基準座標との対応関係に基づいて、カメラの位置及び姿勢を求める。
【０００８】
ここで指標とは、計測のために意図的に設置された人為的なマーカであってもよいし、元来その環境に存在している特徴（自然特徴）などであってもよい。
【０００９】
上記の手順でカメラの位置及び姿勢を求めるためには、その準備工程として、指標の配置情報を予め取得しておく必要がある。ここで指標の配置情報とは、基準座標系における指標の位置を表すものである。以下では、指標の配置情報を求める作業を、必要に応じて指標の校正と呼ぶ。
【００１０】
指標の校正は、測量器や定規等を用いて手作業で行われることが多い。また、カメラによって前もって撮影した複数枚の画像に基づいて、指標の配置情報を推定する手法も利用されている（非特許文献４を参照）。また、カメラの位置及び姿勢の計測を逐次実行しながら、指標の校正を同時に行う手法も提案されている（非特許文献５を参照）。
【００１１】
非特許文献５に開示の装置は、未知の指標を校正しながらカメラの位置と姿勢を計測するオートマッピングモードと、指標の配置情報は既知としてカメラの位置と姿勢のみを計測するトラッキングモードと、を有している。ユーザは必要に応じて、これらのモードを切り替えて使用する。
【非特許文献１】佐藤，内山，山本：ＵＧ＋Ｂ法：主観及び客観視点カメラと姿勢センサを用いた位置合わせ手法，日本バーチャルリアリティ学会論文誌，vol.10, no.3, pp.391-400, 2005.
【非特許文献２】佐藤，内山，田村: 複合現実感における位置合わせ手法，日本バーチャルリアリティ学会論文誌，vol.8, no.2, pp.171-180, 2003.
【非特許文献３】M. A. Fischler and R. C. Bolles (June 1981): Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography, Comm. of the ACM, vol.24, no.6, pp.381−395, 1981.
【非特許文献４】小竹，内山，山本：マーカー配置に関する先験的知識を利用したマーカーキャリブレーション手法，日本バーチャルリアリティ学会論文誌, vol.10, no.3, pp.401-410, 2005
【非特許文献５】Leonid Naimark and Eric Foxlin: Circular data matrix fiducial system and robust image processing for a wearable vision-inertial self-tracker, Proc. 1st International Symposium on Mixed and Augmented Reality (ISMAR 2002), pp.27-36, 2002.
【非特許文献６】R. Hartley and A. Zisserman, Multiple view geometry in computer vision: Second Edition, Cambridge University Press.
【発明の開示】
【発明が解決しようとする課題】
【００１２】
指標の配置情報を予め計測しておく場合、指標を校正した時点と現時点とで、指標が移動していないことが必要である。例えば、壁や床や天井のような固定構造物に貼り付けたマーカのみを用いるのであれば、この条件は概ね満たされる。
【００１３】
しかし、配置が変化しうる指標が混在している状況では、予め計測した配置情報をそのまま使用すると、指標の配置が変化した場合にカメラの位置と姿勢を正確に計測できないといった問題が生じる。例えば、ウォールキャビネットの扉やキャスター付きの机のような可動物にマーカが配置されている場合、指標を校正した時点と現時点との間に状況の変化がないことを、ユーザが目視等で確認しなくてはならない。
【００１４】
一方、非特許文献５に開示されているような、カメラ位置姿勢計測と同時に指標の配置情報を逐次更新する手法を用いると、原理的には指標の配置情報の変化に対応できる。しかし、固定として扱わない視野内の全指標の配置情報を常に更新し続けるので、計算負荷が大きいという課題がある。それゆえに、非特許文献５に開示の装置は、ユーザが必要と判断した時にのみオートマッピングモードを使用するという設計になっている。結局、指標の再校正の要否判断は、ユーザ自身が行わなくてはならない。
【００１５】
すなわち、従来の技術には、指標の再校正を行うべきか否かを知る術が用意されていなかった。そのため、ユーザが自身の経験的知識によって再校正の実行を判断しなくてはならなかった。また、実際のシーンにおいては一部の指標だけが移動してしまうケースが多いにもかかわらず、従来は、再校正が必要な指標だけを校正する手段が用意されていなかった。
【００１６】
本発明は、このような従来技術の課題に鑑みてなされたものである。すなわち、本発明は、指標の配置情報の適否や再校正の要否をユーザが自らの経験的知識に基づいて判断する必要のない、運用やメンテナンスの容易な、撮像装置の位置及び姿勢の計測技術を提供することを目的とする。
【００１７】
また、本発明は、再校正が必要な指標だけを校正する為の技術も提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
【００１９】
即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
前記撮像画像から指標の画像座標を検出する検出手段と、
前記検出手段が検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する再校正手段と、
前記無信頼指標について前記保持手段が保持している配置情報を、前記無信頼指標について前記再校正手段が再校正した配置情報に更新すると共に、前記無信頼指標について前記保持手段が保持している信頼度を、再校正の必要はないことを示す信頼度に更新する更新手段と
を備えることを特徴とする。
【００２０】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
【００２１】
即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
前記撮像画像から指標の画像座標を検出する検出手段と、
前記検出手段が検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標についての情報を報知する報知手段と
を備えることを特徴とする。
【００２２】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
【００２３】
即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段と、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得手段と、
前記撮像画像から指標の画像座標を検出する検出手段と、
前記検出手段が検出した指標の画像座標のうち、再校正の必要はないことを示す信頼度を有する指標の画像座標と、当該指標について前記保持手段が保持する配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出手段と
を備えることを特徴とする。
【００２４】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
【００２５】
即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
前記撮像画像から指標の画像座標を検出する検出工程と、
前記検出工程で検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標の配置情報を再校正する再校正工程と、
前記無信頼指標について前記保持手段が保持している配置情報を、前記無信頼指標について前記再校正工程で再校正した配置情報に更新すると共に、前記無信頼指標について前記保持手段が保持している信頼度を、再校正の必要はないことを示す信頼度に更新する更新工程と
を備えることを特徴とする。
【００２６】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
【００２７】
即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
前記撮像画像から指標の画像座標を検出する検出工程と、
前記検出工程で検出した指標の画像座標と、当該指標について前記保持手段が保持している配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と、
配置情報の再校正が必要であることを示す信頼度を有する無信頼指標についての情報を報知する報知工程と
を備えることを特徴とする。
【００２８】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
【００２９】
即ち、現実空間中に配されている複数の指標のそれぞれについて、配置情報と、当該配置情報の再校正が必要であるか否かを示す信頼度と、を保持する保持手段を有する情報処理装置が行う情報処理方法であって、
前記現実空間を撮像する撮像装置から撮像画像を取得する取得工程と、
前記撮像画像から指標の画像座標を検出する検出工程と、
前記検出工程で検出した指標の画像座標のうち、再校正の必要はないことを示す信頼度を有する指標の画像座標と、当該指標について前記保持手段が保持する配置情報と、を用いて前記撮像装置の位置及び姿勢を算出する算出工程と
を備えることを特徴とする。
【発明の効果】
【００３０】
本発明の構成によれば、指標の配置情報の再校正の必要性をユーザが容易に知ることができるので、装置の運用やメンテナンスが容易になる。また、指標の配置情報が不正確な場合に再校正の処理が実行されるので、必要以上の計算負荷が発生しない。
【発明を実施するための最良の形態】
【００３１】
以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。
【００３２】
［第１の実施形態］
本実施形態に係る情報処理装置は、撮像装置が撮像した画像を利用して、この撮像装置の位置及び姿勢の計測を行う。本実施形態に係る情報処理装置は、指標の配置情報が変化した場合に、再校正の必要性を判定し、必要であれば再校正に係る処理を実行する。以下、本実施形態に係る情報処理装置について説明する。
【００３３】
図１は、本実施形態に係る情報処理装置を適用した位置姿勢計測装置の機能構成を示すブロック図である。図１に示す如く、本実施形態に係る位置姿勢計測装置１００は、画像入力部１５０、指標検出部１１０、位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０によって構成されている。また、画像入力部１５０には、位置及び姿勢の計測対象である撮像装置１３０が接続されている。撮像装置１３０の位置及び姿勢が、本実施形態に係る位置姿勢計測装置１００によって計測される。
【００３４】
また、現実空間中には、基準座標系（記号Ｗによって表現する）が定義されている。そして係る現実空間の複数の位置にはそれぞれ、指標１８０（１８０−１〜１８０−９）が配されている。指標１８０は、撮像装置１３０の位置及び姿勢の計測可能な範囲内で撮像装置１３０が移動する場合に、常に何れかが撮像装置１３０によって撮像されるように配置されていることが好ましい。以下の説明では、ｋ番目の指標１８０（１８０−ｋ）を記号Ｑｋで表す。ここで、ｋ（ｋ＝１，２，・・・，Ｋ）は指標１８０の識別子（識別情報）を表している。また、Ｋは配置されている指標１８０の総数を表しており、図１ではＫ＝９となる。
【００３５】
指標１８０の夫々は、例えば、それぞれが異なる色を有する小領域からなるカラーマーカによって構成されても良いし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点によって構成されても良い。即ち、撮像装置１３０が撮像した画像からその画像座標が検出可能であって、且つ何れの指標であるかが何らかの方法で識別可能であれば、指標１８０として如何なるものを用いても良い。また、指標１８０は故意に（人為的に）設定されたものであってもよいし、机の角や壁の模様のような、現実空間中に元来存在する特徴を指標１８０として用いてもよい。また、ある程度の面積を有する単色の多角形領域によって形成される多角形マーカを指標１８０として用いてもよい。図２は、白色の四角形マーカ２００の例を示す図である。この場合、多角形の各頂点を指標１８０として扱う。
【００３６】
図１では、指標１８０として円形のカラーマーカ（１８０−１〜１８０−９）が配置されている状況を示している。一部の指標（１８０−８，１８０−９）は室内のテーブル１７０上に配されており、その他の指標（１８０−１〜１８０−７）は部屋の壁面と床面に配置されている。
【００３７】
次に、撮像装置１３０、位置姿勢計測装置１００について説明する。
【００３８】
撮像装置１３０は、現実空間の動画像を撮像するビデオカメラなどにより構成されており、撮像装置１３０が撮像した各フレームの画像（撮像画像、若しくは現実空間画像と呼称する）は、位置姿勢計測装置１００が有する画像入力部１５０に入力される。撮像装置１３０に対しては予めカメラ座標系が定義されており、位置姿勢計測装置１００は、基準座標系に対するこのカメラ座標系の位置と姿勢を、撮像装置１３０の位置と姿勢として計測する。ここでカメラ座標系とは、撮像装置１３０の視点位置を原点、視線方向を−Ｚ軸と定義し、更に、Ｚ軸に直交してかつ互いに直交する２軸をＸ軸、Ｙ軸と定義した座標系である。また、撮像装置１３０の焦点距離などのカメラ内部パラメータは既知であるものとする。
【００３９】
画像入力部１５０は、撮像装置１３０から送出された撮像画像をディジタルデータに変換し、変換後の撮像画像のデータを、後段の指標検出部１１０に送出する。図３は、撮像装置１３０によって撮像された撮像画像の一例を示す図である。図３において３００は撮像画像であり、撮像画像３００内には、テーブル１７０や、指標１８０（１８０−２，１８０−４〜１８０−９）が含まれている。
【００４０】
指標検出部１１０は、画像入力部１５０から受けた撮像画像中に撮像されている指標１８０を検出／同定する。即ち、指標検出部１１０は、撮像画像中に撮像されている指標の識別情報（識別子、ＩＤ等）と、この指標の画像座標と、を検出する。
【００４１】
ここで、指標１８０の検出については、使用する指標の種類に応じた方法で行われる。例えば、指標１８０の夫々が異なる色を有するカラーマーカによって構成されている場合には、撮像画像から各々のマーカ色に対応する領域を検出し、検出した領域の重心位置を指標１８０の画像座標とする。また、指標１８０の夫々が異なるテクスチャ特徴を有する特徴点によって構成されている場合には、テンプレート画像によるテンプレートマッチングによって指標１８０の画像座標を検出する。この場合、各々の指標のテンプレート画像は、既知の情報としてメモリに予め保持しておく。
【００４２】
また、図２に示したような四角形マーカ２００を用いる場合は、撮像画像に２値化処理及びラベリング処理を施し、４つの直線によって形成されているラベル領域をマーカ候補として検出する。さらに、各マーカ候補の矩形領域の中に特定のパターンがあるか否かを判定することによって誤検出を排除する。また、矩形領域中のパターンによって、四角形マーカ２００の識別子を取得する。最後に、矩形領域の４頂点の座標が、４点の指標１８０の位置として出力される。
【００４３】
以下の説明では、撮像画像から検出された指標１８０を「検出指標」と呼称する。また、以下の説明では、検出指標Ｑｋの画像座標をｕＱｋと表記する。この場合、ｋが検出指標の識別情報を表していることになる。
【００４４】
そして、指標検出部１１０は、検出指標Ｑｋ毎に識別情報ｋと画像座標ｕＱｋのセットを後段の位置姿勢算出部１２０と、指標配置情報更新部１６０とに送出する。
【００４５】
指標配置情報保持部１４０は、指標Ｑｋ毎に、識別情報、配置情報（基準座標系における指標１８０の位置）、信頼度、のセットを保持している。信頼度について詳しくは後述するが、信頼度とは、この信頼度とセットになっている配置情報の再校正が必要であるか否かを示すものであり、係る配置情報に対する信頼度を示すものである。そして指標配置情報保持部１４０は、係る信頼度に応じて、対応する配置情報についての再校正を行うべきか否かを判断する。そして再校正が必要と判断した場合には、位置姿勢計測装置１００の動作モードを「配置情報更新モード」に設定する。再校正は必要ないと判断した場合には、位置姿勢計測装置１００の動作モードを「位置姿勢算出モード」に設定する。
【００４６】
なお、以下の説明では、指標Ｑｋの配置情報、即ち、基準座標系における指標Ｑｋの位置を基準座標と呼称し、ｘｗＱｋと表記する。
【００４７】
ここで、指標配置情報保持部１４０は上述のように、それぞれの指標Ｑｋの配置情報ｘｗＱｋを保持しているのであるが、全ての指標Ｑｋの位置が常に現実空間中で固定されているわけではない。従って、現実空間中の指標Ｑｋの位置が変更されてしまうと、実際の配置情報と指標配置情報保持部１４０が保持する配置情報とが異なってしまう。例えば、図３において、指標１８０の配置情報を計測した時点からテーブル１７０が移動してしまった場合、指標配置情報保持部１４０が保持する指標１８０−８，１８０−９の配置情報は、実際の配置情報とは異なった値となる。本実施形態に係る位置姿勢計測装置１００は、以下に説明するように、係る状況が発生した場合に対処するための構成を有する。
【００４８】
位置姿勢算出部１２０は、位置姿勢計測装置１００の動作モードが「位置姿勢算出モード」に設定された場合にのみ動作する。「位置姿勢算出モード」が設定されると、位置姿勢算出部１２０は、指標検出部１１０から、撮像画像から検出された指標Ｑｋ毎に、識別情報ｋと画像座標ｕＱｋのセットを取得する。一方、位置姿勢算出部１２０は、この取得したそれぞれのセット中の識別情報ｋとセットになって指標配置情報保持部１４０に保持されている識別情報ｋ、配置情報ｘｗＱｋを取得する。即ち、位置姿勢算出部１２０は、撮像画像から取得した指標Ｑｋ毎に、画像座標ｕＱｋと配置情報ｘｗＱｋとのセットを、指標検出部１１０、指標配置情報保持部１４０から取得する。
【００４９】
そして位置姿勢算出部１２０は、指標Ｑｋ毎の画像座標ｕＱｋと配置情報ｘｗＱｋとのセットを用いて、撮像装置１３０の位置及び姿勢を算出する（算出処理）。係る算出のための技術については周知の技術である。そして算出した位置及び姿勢を示すデータを外部に出力する。
【００５０】
また、位置姿勢算出部１２０は、撮像装置１３０の位置及び姿勢を求める上記算出の処理の過程で、指標Ｑｋ毎の信頼度を算出する。そして算出したそれぞれの指標Ｑｋの信頼度のデータを、識別情報ｋとセットにして指標配置情報保持部１４０に送出する。
【００５１】
指標配置情報保持部１４０は、位置姿勢算出部１２０から受けた識別情報ｋとセットにして保持している信頼度を、位置姿勢算出部１２０から識別情報ｋとセットにして送出された信頼度に更新する処理を行う。
【００５２】
これにより、指標配置情報保持部１４０には、「位置姿勢算出モード」が設定されている場合には、指標Ｑｋの信頼度が登録されることになり、指標配置情報保持部１４０は常に各指標Ｑｋについて最新の信頼度が登録されていることになる。
【００５３】
なお本実施形態では、位置姿勢算出部１２０は、指標検出部１１０から受けた全ての識別情報ｋに対応する指標Ｑｋについて求めた信頼度を指標配置情報保持部１４０に送出している。しかし、閾値以下の信頼度のみを、識別情報ｋと共に指標配置情報保持部１４０に送出するようにしても良い。
【００５４】
指標配置情報更新部１６０は、位置姿勢計測装置１００の動作モードが「配置情報更新モード」に設定された場合にのみ動作する。「配置情報更新モード」が設定されると、指標配置情報保持部１４０は、自身が保持する各セットのうち、「再校正は必要ないことを示す」信頼度を含むセットを特定する。そして、特定したセット中の識別情報ｋ、配置情報ｘｗＱｋを指標配置情報更新部１６０に送出する。
【００５５】
指標配置情報更新部１６０は、指標配置情報保持部１４０から受けた配置情報ｘｗＱｋと、係る配置情報とセットになっている識別情報ｋとセットになって指標検出部１１０から受けた画像座標ｕＱｋと、を用いて、撮像装置１３０の位置及び姿勢を算出する。即ち、指標配置情報更新部１６０は、再校正の必要のない、信頼度の高い指標（信頼指標）の配置情報と画像座標とを用いて撮像装置１３０の位置及び姿勢を算出する。
【００５６】
その後、指標配置情報保持部１４０は、自身が保持する各セットのうち、「再校正する必要があることを示す」信頼度を含むセットを特定し、特定したセット中の識別情報ｋ（＝ｋ’）を指標配置情報更新部１６０に送出する。
【００５７】
指標配置情報更新部１６０は、指標配置情報保持部１４０から受けた識別情報ｋ’とセットになって指標検出部１１０から受けた画像座標ｕＱｋ’と、過去に求めた撮像装置１３０の位置及び姿勢とを用いて、配置情報ｘｗＱｋ’を再校正する。即ち、指標配置情報更新部１６０は、再校正の必要がある、信頼度の低い指標（無信頼指標）の配置情報を再校正することになる。
【００５８】
そして、再校正した無信頼指標の配置情報ｘｗＱｋ’と、無信頼指標の識別情報ｋ’とをセットにして指標配置情報保持部１４０に送出する。指標配置情報保持部１４０は、係るセットを受けると、受けたセット中の識別情報ｋ’とセットにして保持している配置情報ｘｗＱｋ’を、受けたセット中の再校正済みの配置情報ｘｗＱｋ’に更新する。そして更に、受けたセット中の識別情報ｋ’とセットにして保持している信頼度を「再校正の必要はないことを示す」信頼度に更新する。
【００５９】
例えば、図３に示す撮像画像において、指標１８０−８，１８０−９の信頼度が「再校正する必要があることを示す」場合には、これらの指標の配置情報を再校正し、再校正後の配置情報に更新する。
【００６０】
位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０が行う処理の詳細については、図５のフローチャートを用いて後述する。
【００６１】
図５は、位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０が行う処理の詳細を示すフローチャートである。なお図５のフローチャートは、１フレーム分の撮像画像が撮像装置１３０から画像入力部１５０を介して位置姿勢計測装置１００に入力された場合に、位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０が行う処理を示すものである。従って、図５のフローチャートは、撮像装置１３０から各フレームの撮像画像が位置姿勢計測装置１００に入力される毎に、行われる処理である。
【００６２】
先ずステップＳ５０００の前段で、画像入力部１５０を介して撮像装置１３０からは撮像画像が指標検出部１１０に入力される。指標検出部１１０は、係る撮像画像中に撮像されている指標Ｑｋ毎に、識別情報ｋと画像座標ｕＱｋのセットを検出する。そして指標Ｑｋ毎に検出したこのセットを位置姿勢算出部１２０、指標配置情報更新部１６０に送出する。
【００６３】
先ず、現在設定されている位置姿勢計測装置１００の動作モードが「位置姿勢算出モード」である場合には処理はステップＳ５０００を介してステップＳ５０１０に進む。一方、現在設定されている位置姿勢計測装置１００の動作モードが「位置姿勢算出モード」ではない場合には処理はステップＳ５０００を介してステップＳ５１００に進む。
【００６４】
ステップＳ５０１０において、位置姿勢算出部１２０は、指標検出部１１０から送出された指標Ｑｋ毎の、識別情報ｋと画像座標ｕＱｋのセットを取得する。
【００６５】
ステップＳ５０２０において、位置姿勢算出部１２０は、ステップＳ５０１０で取得したそれぞれのセット中の識別情報ｋとセットになって指標配置情報保持部１４０に保持されている識別情報ｋ、配置情報ｘｗＱｋを取得する。
【００６６】
ステップＳ５０３０において、位置姿勢算出部１２０は、指標Ｑｋ毎の画像座標ｕＱｋと配置情報ｘｗＱｋとのセットを用いて、撮像装置１３０の位置及び姿勢を算出する。係る算出には、ｎ個の指標の配置情報（３次元座標）とその画像座標との対応を用いて、外れ値除去を行いながら撮像装置１３０の位置及び姿勢を求める公知のロバスト推定手法を利用する。例えば、ランダムに選択した複数点を用いた位置姿勢推定とその解の妥当性の検証を繰り返すことで外れ値を除去する手法であるＲＡＮＳＡＣアルゴリズムを利用する（詳細は非特許文献２を参照）。
【００６７】
一般的には、ＲＡＮＳＡＣ等のロバスト推定手法による外れ値の除去は、指標の検出ミスの影響を排除するために利用される。すなわち、指標とは異なる領域が指標として検出されてしまった場合や、ある指標が他の指標に誤同定されてしまった場合に、それらのデータが外れ値として排除される。一方、本実施形態に係る指標検出部１１０においては、指標の検出及び同定は正しく行われているとする。この場合、指標の配置情報が異なっていると、そのデータが外れ値として排除される。
【００６８】
ステップＳ５０４０において、位置姿勢算出部１２０は、ステップＳ５０３０で求めた撮像装置１３０の位置及び姿勢を示すデータを外部に出力する。
【００６９】
ステップＳ５０５０において、位置姿勢算出部１２０は、ステップＳ５０３０における処理の過程で、指標Ｑｋ毎の信頼度を算出する。具体的には、ステップＳ５０３０で外れ値と判断された指標Ｑｋの信頼度を０、外れ値と判断されなかった指標の信頼度を１とする。信頼度が「０」の場合には、「配置情報を再校正する必要がある」信頼度であり、信頼度が「１」であれば、「再校正の必要はない」信頼度である。なお、信頼度は、撮像画像上での残差の大きさに基づいて定めてもよい。
【００７０】
そして、算出したそれぞれの指標Ｑｋの信頼度のデータを、識別情報ｋとセットにして指標配置情報保持部１４０に送出する。指標配置情報保持部１４０は、位置姿勢算出部１２０から受けた識別情報ｋとセットにして保持している信頼度を、位置姿勢算出部１２０から識別情報ｋとセットにして送出された信頼度に更新する処理を行う。
【００７１】
ステップＳ５０６０において、指標配置情報保持部１４０は、保持している各セット内の信頼度を参照し、配置情報の再校正を行うか否かを判断する。例えば、ある指標の信頼度が一度でも閾値以下になれば、その指標の配置情報の再校正が必要と判断する。あるいは、過去のフレームにおける信頼度の履歴を保持しておき、信頼度の変遷に応じて再校正の要否を判定しても良い。例えば、ある指標の信頼度が一定期間の間連続して閾値以下となった場合に、その指標の再校正を行うように判断する。あるいは、信頼度が閾値以下となったフレーム数を指標ごとにカウントし、その値が閾値を超えたときに再校正が必要と判断する。
【００７２】
ステップＳ５０７０において、指標配置情報保持部１４０は、配置情報を再校正する必要がある指標が一つでも存在すると判断した場合には、位置姿勢計測装置１００の動作モードを「配置情報更新モード」に設定する。なお、この判定の基準は、再校正の必要な指標が一定個数以上になったときとしてもよい。
【００７３】
次に、現在設定されている位置姿勢計測装置１００の動作モードが「配置情報更新モード」である場合には処理はステップＳ５１００を介してステップＳ５１１０に進む。一方、現在設定されている位置姿勢計測装置１００の動作モードが「配置情報更新モード」ではない場合には処理はステップＳ５１００を介して本処理を終了し、次のフレームの撮像画像についてステップＳ５０００以降の処理を行う。
【００７４】
ステップＳ５１１０において、指標配置情報更新部１６０は、指標検出部１１０から送出された指標Ｑｋ毎の、識別情報ｋと画像座標ｕＱｋのセットを取得する。
【００７５】
ステップＳ５１２０において、指標配置情報保持部１４０は、自身が保持する各セットのうち、信頼度「１」を含むセットを特定する。そして、特定したセット中の識別情報ｋ、配置情報ｘｗＱｋを指標配置情報更新部１６０に送出するので、指標配置情報更新部１６０は、指標配置情報保持部１４０から送出されたセットを受ける。
【００７６】
ステップＳ５１３０において、指標配置情報更新部１６０は、ステップＳ５１２０で受けた配置情報ｘｗＱｋと、ステップＳ５１１０で受けた画像座標ｕＱｋのうちステップＳ５１２０で受けた識別情報ｋに対応する画像座標ｕＱｋと、を用いて、撮像装置１３０の位置及び姿勢を算出する。ｎ個の指標Ｑｋの配置情報（３次元座標）とその画像座標との対応を用いて撮像装置１３０の位置及び姿勢を求める手法は公知であるので、説明は省略する（例えば、非特許文献２参照）。
【００７７】
ステップＳ５１４０において、指標配置情報更新部１６０はステップＳ５１３０で求めた撮像装置１３０の位置及び姿勢を示すデータを外部に送出する。
【００７８】
ステップＳ５１５０において、指標配置情報保持部１４０は、自身が保持する各セットのうち、信頼度「０」を含むセットを特定し、特定したセット中の識別情報ｋ（＝ｋ’）を指標配置情報更新部１６０に送出する。
【００７９】
指標配置情報更新部１６０は、指標配置情報保持部１４０から受けた識別情報ｋ’とセットになって指標検出部１１０から受けた画像座標ｕＱｋ’と、過去に求めた撮像装置１３０の位置及び姿勢とを用いて、配置情報ｘｗＱｋ’を再校正する。係る再校正の処理は、例えば、過去のデータの中から、撮像装置１３０の位置が十分に異なる２フレームのデータを選択し、三角測量の原理によって指標Ｑｋの配置情報を算出する。使用する画像数は３枚以上であってもよく、この場合は最小二乗法によって解を求めることができる。
【００８０】
ステップＳ５１６０において、指標配置情報更新部１６０は、ステップＳ５１５０にて再校正した無信頼指標の配置情報ｘｗＱｋ’と、無信頼指標の識別情報ｋ’とをセットにして指標配置情報保持部１４０に送出する。指標配置情報保持部１４０は、係るセットを受けると、受けたセット中の識別情報ｋ’とセットにして保持している配置情報ｘｗＱｋ’を、受けたセット中の再校正済みの配置情報ｘｗＱｋ’に更新する。そして更に、受けたセット中の識別情報ｋ’とセットにして保持している信頼度を「再校正の必要はないことを示す」信頼度に更新する。
【００８１】
ステップＳ５１７０において、指標配置情報保持部１４０は、指標配置情報更新部１６０に対してステップＳ５１５０で送出した全ての識別情報ｋ’に対応する配置情報の再校正が終了するまで待機する。そして、終了した場合には、位置姿勢計測装置１００の動作モードを「位置姿勢算出モード」に設定する。
【００８２】
そしてその後は、本処理を終了し、次のフレームの撮像画像についてステップＳ５０００以降の処理を行う。
【００８３】
以上の説明により、本実施形態によれば、配置情報の信頼度が低い指標のみについて、その配置情報の再校正を、ユーザの介入無しに行うことができる。これにより、指標の位置が変化してしまうような状況に対応することができる。また、常に指標の配置情報を算出し続ける従来の手法と比べ、計算機への処理負荷を軽減することができる。
【００８４】
［第２の実施形態］
本実施形態に係る位置姿勢計測装置も第１の実施形態と同様に、撮像装置が撮像した画像を利用して、この撮像装置の位置及び姿勢の計測を行うのであるが、次の点が異なる。即ち、本実施形態に係る位置姿勢計測装置は、指標の配置情報が変化した場合に、再校正の必要性を判定し、必要であれば再校正に係る情報をユーザに報知（通知）する。以下、本実施形態に係る位置姿勢計測装置について説明する。
【００８５】
図６は、本実施形態に係る位置姿勢計測装置の機能構成を示すブロック図である。尚、図６において、図１に示したものと同じものについては同じ番号を付けており、その説明は省略する。
【００８６】
図６に示す如く、位置姿勢計測装置６００は、画像入力部１５０、指標検出部１１０、位置姿勢算出部６２０、指標配置情報保持部６４０、通知部６６０、により構成されている。
【００８７】
以下では、本実施形態に係る位置姿勢計測装置６００が、図１に示した位置姿勢計測装置１００と異なる部分、即ち、位置姿勢算出部６２０、指標配置情報保持部６４０、通知部６６０、について説明する。
【００８８】
指標配置情報保持部６４０は、図１に示した指標配置情報保持部１４０と同様の情報を保持しており、位置姿勢算出部６２０との間では、指標配置情報保持部１４０と位置姿勢算出部１２０との間で行うデータのやり取りと同様の事を行っている。なお、指標配置情報保持部６４０は、位置姿勢計測装置６００の動作モードの設定は行わない。
【００８９】
位置姿勢算出部６２０は、図１に示した位置姿勢算出部１２０と同様の処理を行う。位置姿勢計測装置６００については上述のように、動作モードの設定というものがないので、位置姿勢算出部６２０は、位置姿勢算出部１２０とは異なり、常に動作している点が、第１の実施形態とは異なっている。即ち、位置姿勢算出部６２０は、図５のフローチャートにおけるステップＳ５０１０からステップＳ５０５０の処理を実行する。
【００９０】
通知部６６０は、信頼度が低い指標についての情報を外部に出力することで、係る情報をユーザに通知する。例えば、図３に例示した撮像画像３００において、指標１８０−８、１８０−９の配置情報の再校正が必要と判断された場合には、図７に例示するような表示画面のデータを、外部の表示装置（不図示）に対して送出する。
【００９１】
図７は、通知部６６０が行う通知例を示す図である。図７（Ａ）では、撮像画像上で、指標１８０−８，１８０−９の画像座標近傍に、再校正が必要である旨を記したメッセージと識別情報とのセット４００ａ、４００ｂを表示している。係る表示を実現するためには、位置姿勢計測装置６００は以下のような処理を行う。
【００９２】
指標配置情報保持部６４０は、自身が保持する各セットのうち、信頼度「０」を含むセットを特定し、特定したセット中の識別情報ｋ（＝ｋ’）を通知部６６０に送出する。
【００９３】
通知部６６０は、指標検出部１１０から、撮像画像から検出した各指標Ｑｋ毎に、識別情報ｋと画像座標ｕＱｋのセットを受けるのであるが、そのうち、指標配置情報保持部６４０から受けた識別情報ｋ’とセットになっている画像座標ｕＱｋ’を特定する。そして、通知部６６０は、画像座標ｕＱｋ’の近傍座標位置に上記メッセージと識別情報ｋ’とを表示する。
【００９４】
また、通知部６６０は次のような通知方法を採用しても良い。即ち、再校正が必要である旨を示すメッセージ４００ｅを撮像画像上の適当な位置に表示し、各指標１８０−８、１８０−９を特定（強調）するための適当な形状のマーカ４１０ｃ、４１０ｄを各指標１８０−８、１８０−９の画像座標近傍に表示する。係る表示を実現するためには、位置姿勢計測装置６００は以下のような処理を行う。
【００９５】
指標配置情報保持部６４０は、自身が保持する各セットのうち、信頼度「０」を含むセットを特定し、特定したセット中の識別情報ｋ（＝ｋ’）を通知部６６０に送出する。
【００９６】
通知部６６０は、指標検出部１１０から、撮像画像から検出した各指標Ｑｋ毎に、識別情報ｋと画像座標ｕＱｋのセットを受けるのであるが、そのうち、指標配置情報保持部６４０から受けた識別情報ｋ’とセットになっている画像座標ｕＱｋ’を特定する。そして、通知部６６０は、画像座標ｕＱｋ’に、マーカを表示する。また、撮像画像上の適当な位置（表示したマーカが隠れない位置）にメッセージ４００ｅを表示する。
【００９７】
なお、メッセージの表示位置は、撮像画像上でなくても良い。また、識別情報、メッセージ、マーカの何れをどのように組み合わせて表示しても良い。また、通知の形態については表示に限定するものではなく、音声や振動でもって行うようにしてもよい。また、表示とその他の通知形態を併用しても良いし、１つの通知形態のみを採用しても良い。
【００９８】
また、配置情報の再校正が必要と判断された指標（無信頼指標）について現在保持している配置情報を撮像画像上に投影し、撮像画像上で係る無信頼指標の画像座標と投影像とを観察者に提示させるようにしても良い。
【００９９】
係る投影は、位置姿勢算出部６２０によって得られた撮像装置１３０の位置及び姿勢と、指標配置情報保持部６４０が保持する無信頼指標の配置情報ｘｗＱｋと、に基づいて、次の観測方程式Ｆによって算出できる。
【０１００】
【数１】
2008275340.tif 000003
【０１０１】
ここでＭは、撮像装置１３０の位置及び姿勢を表す４×４の座標変換行列を示す。観測方程式Ｆは、Ｍに基づいて基準座標をカメラ座標に変換するビューイング変換と、カメラ座標を画像座標に変換する透視変換と、によって構成される。以下では、式（１）によって得られる無信頼指標の撮像画像上の座標を投影座標と呼ぶ。
【０１０２】
例えば図７（Ｃ）に示すように、指標がずれている旨を示すメッセージ４００ｆと共に、無信頼指標１８０−８，１８０−９の配置情報を撮像画像上に投影した位置（投影座標）には、×印４２０ａ、４２０ｂを表示する。あるいは、全ての指標について同様に配置情報を撮像画像上に投影した位置に×印を表示しても良い。そして、係る×印の色やサイズを、信頼度の値に応じて異ならせるようにしても良い。
【０１０３】
また、図７（Ｃ）に示すように、無信頼指標の画像座標ｕＱｋと、式（１）で得た投影座標ｕＱｋ＊とを結び付ける矢印４３０ａ、４３０ｂを表示してもよい。なお、矢印４３０ａ、４３０ｂの方向は、画像座標から投影指標に向いていてもよいし、その逆であってもよい。
【０１０４】
以上の説明したように、本実施形態によれば、撮像装置１３０の位置及び姿勢を計測する工程において、配置情報の信頼度が低い指標に係る様々な情報をユーザに通知することができる。これにより、ユーザは、配置情報の再校正を実行するか、あるいは、指標の物理的配置をしかるべき位置に戻すかを判断することができ、これにより、位置及び姿勢の正しい計測を維持することができる。
【０１０５】
＜変形例１＞
上記実施形態におけるロバスト推定処理には、ＲＡＮＳＡＣアルゴリズム以外のものを用いても良い。例えば、公知の技術であるＭ推定によって、外れ値の影響を除外した位置姿勢推定を行ってもよい（例えば、非特許文献６の付録A6.8参照）。Ｍ推定を用いる場合、その計算の過程で各検出指標が解に寄与する重みが算出されるので、この重みを各指標の信頼度として用いてもよい。
【０１０６】
＜変形例２＞
第１の実施形態において、指標配置情報更新部１６０が行っていた配置情報の再校正に係る計算は、他の方法によっても実現できる。例えば、非特許文献５に開示されているような、拡張カルマンフィルタを用いて配置情報を逐次更新する方法を用いてもよい。この場合、撮像装置１３０の位置及び姿勢と、再校正対象である夫々の指標１８０の位置を状態ベクトルとし、指標の検出座標を入力としてこれらの状態ベクトルの更新を行えばよい。また、フィルタリングの処理工程で夫々の状態ベクトルの確からしさが算出されるので、この値に基づいて処理の終了を判定すればよい。
【０１０７】
＜変形例３＞
四角形マーカ２００の頂点のように、指標の性質として、複数の指標１８０同士の相対位置関係は固定の場合がある。このような指標を用いる場合であっても、上記実施形態では、指標１８０ごとに再校正の要否判定を行っていた。しかし、例えば四角形マーカ２００の頂点を用いる場合には、四角形マーカ２００毎に再校正の要否判定を行うべきである。この場合、信頼度は頂点ごとに得られるので、４頂点の信頼度の代表値を算出し、これを四角形マーカ２００の配置情報の信頼度とする。信頼度の代表値は、例えば、４頂点の信頼度の最小値によって定義する。そして、得られた信頼度に基づいて、四角形マーカ２００毎に再校正の要否を判定する。
【０１０８】
四角形マーカ２００の再校正が必要と判定されると、指標配置情報更新部１６０は、四角形マーカ２００の４頂点である指標１８０の位置を全て更新する。なお、通知部６６０では、再校正の必要性を示す表示を、指標１８０毎ではなく四角形マーカ２００毎に行ってもよい。
【０１０９】
なお、四角形マーカ２００の配置情報は、指標上に定義された指標座標系の、基準座標系における位置と姿勢で記述／管理されることがある（非特許文献４を参照）。この場合は、各頂点の３次元位置を個別に推定した後に、指標のサイズや形状の情報に従って、位置と姿勢による表現に配置情報を変換すればよい。あるいは、位置と姿勢のパラメータを未知パラメータとして直接推定してもよい。
【０１１０】
＜変形例４＞
第１の実施形態と第２の実施形態の機能を兼ね備えた位置姿勢計測装置を構成することもできる。単純な構成としては、通知部６６０によって再校正の必要性を通知した上で、指標配置情報更新部１６０によって再校正を実施することができる。
【０１１１】
また、対話的処理によってより柔軟な対応をさせることもできる。まず、第２の実施形態と同様に、通知部６６０によって再校正の必要性をユーザに通知する。そして、どのような対応策を実行するかというユーザの判断を、不図示のＵＩ（ユーザインターフェース）を介して入力する。「再校正の実行」をユーザが選択した場合には、第１の実施形態における指標配置情報更新部１６０の処理を実行し、指標の配置情報を更新する。また、「指標の除外」をユーザが選択した場合には、以降の処理にこの指標を使用しない（無視する）ように設定する。また、指標の物理的配置をユーザが元に戻す場合には、「何もしない」という選択を行えるようにしてもよい。また、上記の処理を指標ごとに指定できるようにしてもよい。
【０１１２】
＜変形例４＞
なお、指標としては上記のもの以外にも、例えば、エッジを用いるようにしても良い。即ち、撮像画像上に写っている机の辺や角部などを指標として用いても良い。なお、指標としてエッジを用いることで上記各種の実施形態を適宜変形させることについては、当業者であれば容易なことである。
【０１１３】
［第３の実施形態］
上記各実施形態（変形例も含む）では、図１に示した位置姿勢計測装置１００、図６に示した位置姿勢計測装置６００を構成する各部は、ハードウェアでもって構成されているものとして説明した。しかし、指標配置情報保持部１４０、指標配置情報保持部６４０についてはメモリで構成し、画像入力部１５０についてはＩ／Ｆ（インターフェース）ユニットで構成し、その他の各部の一部若しくは全部をコンピュータプログラムでもって構成しても良い。この場合、一般のＰＣ（パーソナルコンピュータ）が有するメモリを指標配置情報保持部１４０、指標配置情報保持部６４０として用いると共に、係るメモリには、係るコンピュータプログラムを格納する。そして係るＰＣが有するＣＰＵがこのコンピュータプログラムを実行することで、このＰＣは、位置姿勢計測装置１００、位置姿勢計測装置６００として機能することになる。即ち、係るＰＣは、位置姿勢計測装置１００、位置姿勢計測装置６００に適用することができる。
【０１１４】
図４は、位置姿勢計測装置１００、位置姿勢計測装置６００に適用可能なコンピュータのハードウェア構成を示すブロック図である。
【０１１５】
ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。係るコンピュータプログラムには、図１、図６に示した各部のうち、指標配置情報保持部１４０、指標配置情報保持部６４０、画像入力部１５０、を除く他の各部の機能をＣＰＵ１００１に実行させるためのコンピュータプログラムも含まれている。また、係るデータには、上記各実施形態で説明した各種のデータ（既知の情報も含む）が含まれている。従って、ＣＰＵ１００１は係るコンピュータプログラムやデータを用いて処理を実行することで、位置姿勢計測装置１００や位置姿勢計測装置６００が行う上記各動作を行うことができる。
【０１１６】
ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたコンピュータプログラムやデータを一時的に記憶する為のエリアを備える。また、ＣＰＵ１００１が各種の処理を実行するために用いるワークエリアを備える。即ち、ＲＡＭ１００２は、各種のエリアを適宜提供することができる。
【０１１７】
ＲＯＭ１００３は、一般にコンピュータのブートプログラムや設定データ等を格納する。
【０１１８】
キーボード１００４、マウス１００５は、コンピュータの操作者が操作する入力デバイスの一例であり、操作者はこれらを操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。
【０１１９】
表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、ＣＰＵ１００１による処理結果を画像や文字などでもって表示することができる。例えば、上記各実施形態で操作者に通知すべき各種のメッセージなどを表示することができる。もちろん、係る表示部１００６に、音声を出力することができる機構を加えても良く、この場合、ＣＰＵ１００１による処理結果を音声にて操作者に通知することができる。
【０１２０】
外部記憶装置１００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置として機能する装置である。外部記憶装置１００７には、ＯＳ（オペレーティングシステム）や、上記各コンピュータプログラムやデータが保存されている。また、外部記憶装置１００７には、Ｉ／Ｆ（インターフェース）１００９を介して撮像装置１３０から送出される各フレームの撮像画像のデータを保存することもできる。なお、撮像装置１３０から送出された撮像画像のデータの一部をＲＡＭ１００２に記憶させるようにしても良い。外部記憶装置１００７に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。
【０１２１】
記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを、ＣＰＵ１００１からの指示に従って読み出し、ＲＡＭ１００２や外部記憶装置１００７に出力する。
【０１２２】
Ｉ／Ｆ１００９は、以下の複数種のポートによって構成されている。画像入力部１５０の機能の一部は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートによって実現される。撮像装置１３０から送出される各フレームの撮像画像のデータは、Ｉ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。また、位置姿勢算出部１２０及び指標配置情報更新部１６０が算出した位置及び姿勢のデータは、イーサネット（登録商標）ポート等によって外部へ出力される。
【０１２３】
上述した各構成要素は、バス１０１０によって相互に接続される。
【０１２４】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１２５】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２６】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２７】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１２８】
【図１】本発明の第１の実施形態に係る情報処理装置を適用した位置姿勢計測装置の機能構成を示すブロック図である。
【図２】白色の四角形マーカ２００の例を示す図である。
【図３】撮像装置１３０によって撮像された撮像画像の一例を示す図である。
【図４】位置姿勢計測装置１００、位置姿勢計測装置６００に適用可能なコンピュータのハードウェア構成を示すブロック図である。
【図５】位置姿勢算出部１２０、指標配置情報保持部１４０、指標配置情報更新部１６０が行う処理の詳細を示すフローチャートである。
【図６】本発明の第２の実施形態に係る位置姿勢計測装置の機能構成を示すブロック図である。
【図７】通知部６６０が行う通知例を示す図である。
【図１】
2008275340.tif 000004
【図２】
2008275340.tif 000005
【図３】
2008275340.tif 000006
【図４】
2008275340.tif 000007
【図５】
2008275340.tif 000008
【図６】
2008275340.tif 000009
【図７】
2008275340.tif 000010