(57)【特許請求の範囲】
【請求項１】
複数の視点を移動する撮像装置を用いて、該複数の視点ごとに現実空間を撮像した複数の画像を取得する画像取得手段と、
前記複数の画像のそれぞれから指標を抽出して当該指標の画像座標を求める抽出手段と、
前記複数の画像のそれぞれを撮影した際の撮像装置の位置及び姿勢を取得する位置姿勢取得手段と、
前記複数の画像のうちの何れを、前記撮像装置の内部パラメータの算出に用いるかを判定する判定手段と、
前記算出に用いると判定された画像を用いて、前記撮像装置の内部パラメータの算出を行うパラメータ算出手段とを有し、
前記判定手段は、
前記撮像装置が移動する複数の視点間の移動量が増すほど増大する評価値を算出する評価値算出手段と、
前記評価値が予め定められた閾値を超える場合に、前記移動量が示す移動後の視点で撮像された画像を、前記算出に用いる画像として決定する決定手段とを有することを特徴とする情報処理装置。
【請求項２】
複数の視点を移動する撮像装置を用いて、該複数の視点ごとに現実空間を撮像した複数の画像を取得する画像取得手段と、
前記複数の画像のそれぞれから指標を抽出して当該指標の画像座標を求める抽出手段と、
前記複数の画像のそれぞれを撮影した際の撮像装置の位置及び姿勢を取得する位置姿勢取得手段と、
前記複数の画像のうちの何れを前記撮像装置に備わるセンサの該撮像装置に対する配置の算出に用いるかを判定する判定手段と、
前記算出に用いると判定された画像を用いて、前記撮像装置に備わるセンサの該撮像装置に対する配置の算出を行う配置算出手段とを有し、
前記判定手段は、
前記撮像装置が移動する複数の視点間の移動量が増すほど増大する評価値を算出する評価値算出手段と、
前記評価値が予め定められた閾値を超える場合に、前記移動量が示す移動後の視点で撮像された画像を、前記算出に用いる画像として決定する決定手段とを有することを特徴とする情報処理装置。
【請求項３】
前記撮像装置に備わるセンサの該撮像装置に対する配置は、該撮像装置に備わる姿勢センサの該撮像装置に対する姿勢、該撮像装置に備わる位置姿勢センサの該撮像装置に対する位置姿勢、該撮像装置に備わる位置姿勢センサの前記現実空間の世界座標系における位置姿勢、該撮像装置に備わる姿勢センサの前記現実空間の世界座標系における姿勢のうち、少なくとも１つを含むことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記評価値算出手段が、前記撮像装置が移動する複数の視点間のうち、既に算出に用いられると判定された画像を撮像した視点からの移動量が増すほど増大する評価値を算出することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記評価値算出手段が、前記移動量の移動前の視点で撮像した画像と、該移動量の移動後の視点で撮像した画像とに基づいて、前記評価値を算出することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記抽出手段が、前記複数の画像から現実空間に配された位置が既知である指標を抽出し、
前記評価値算出手段が、前記移動量が示す移動前の視点で撮像した画像から抽出した指標と、該移動量が示す移動後の視点で撮像した画像から抽出した指標とに基づいて、前記評価値を算出することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
請求項１乃至６の何れか１項に記載の情報処理装置の各手段をコンピュータに機能させるためのプログラム。
【請求項８】
画像取得手段が、複数の視点を移動する撮像装置を用いて、該複数の視点ごとに現実空間を撮像した複数の画像を取得する画像取得工程と、
抽出手段が、前記複数の画像のそれぞれから指標を抽出して当該指標の画像座標を求める抽出工程と、
取得手段が、前記複数の画像のそれぞれを撮影した際の撮像装置の位置及び姿勢を取得する位置姿勢取得工程と、
判定手段が、前記複数の画像のうちの何れを、前記撮像装置の内部パラメータの補正に用いるかを判定する判定工程と、
補正手段が、前記補正に用いると判定された画像を用いて、前記撮像装置の内部パラメータの補正を行う補正工程とを有し、
前記判定工程は、
評価値算出手段が、前記撮像装置が移動する複数の視点間の移動量が増すほど増大する評価値を算出する評価値算出工程と、
決定手段が、前記評価値が予め定められた閾値を超える場合に、前記移動量が示す移動後の視点で撮像された画像を、前記補正に用いる画像として決定する決定工程とを有することを特徴とする情報処理方法。
【請求項９】
画像取得手段が、複数の視点を移動する撮像装置を用いて、該複数の視点ごとに現実空間を撮像した複数の画像を取得する画像取得工程と、
抽出手段が、前記複数の画像のそれぞれから指標を抽出して当該指標の画像座標を求める抽出工程と、
取得手段が、前記複数の画像のそれぞれを撮影した際の撮像装置の位置及び姿勢を取得する位置姿勢取得工程と、
判定手段が、前記複数の画像のうちの何れを、前記撮像装置に備わるセンサの該撮像装置に対する配置の算出に用いるかを判定する判定工程と、
配置算出手段が、前記算出に用いると判定された画像を用いて、前記撮像装置に備わるセンサの該撮像装置に対する配置の算出を行う配置算出工程とを有し、
前記判定工程は、
評価値算出手段が、前記撮像装置が移動する複数の視点間の移動量が増すほど増大する評価値を算出する評価値算出工程と、
決定手段が、前記評価値が予め定められた閾値を超える場合に、前記移動量が示す移動後の視点で撮像された画像を、前記算出に用いる画像として決定する決定工程とを有することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
現実空間上に存在する指標の撮影画像を用いて、指標の配置情報または計測対象の配置情報または撮影部のパラメータを算出するものに関する。
【背景技術】
【０００２】
近年、現実空間に仮想空間の情報（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報など）をリアルタイムに重ね合わせて利用者に提示する複合現実感技術に関する研究が盛んである。複合現実感システムで利用される画像表示装置は、ビデオカメラなどの撮影装置によって撮影された現実空間の画像に、撮影装置の位置及び姿勢に応じて生成した仮想空間の画像を重畳描画した画像を表示するビデオシースルー方式によって主に実現される。
【０００３】
体験者が複合現実感システムを違和感なく利用するためには、現実空間と仮想空間との間の位置合わせをいかに正確に行うかということが重要であり、従来から多くの取り組みがなされてきた。一般に、複合現実感における位置合わせの問題は、仮想の情報を重畳しようとする空間や物体に対する撮影装置の位置及び姿勢を求める問題に帰結される。
【０００４】
この問題を解決する方法として、環境中や物体上に配置あるいは設定した指標を用いて位置合わせを行う手法が一般的に行われている（非特許文献１参照）。この手法では、予め指標の三次元座標は与えておき、撮影装置が撮影した画像内における指標の画像座標と三次元座標との対応関係を利用して、撮影装置の位置及び姿勢を求めている。
【０００５】
また、非特許文献２では、指標と磁気式や光学式の６自由度位置姿勢センサをハイブリッドで利用する手法が開示されている。６自由度位置姿勢センサからは、安定的に計測値を得ることができるが、精度が十分ではない場合が多い。そのため、この手法では、撮影装置に装着した６自由度位置姿勢センサから取得される撮影装置の位置及び姿勢を、指標の画像情報を用いて補正することで精度を向上させている。さらに非特許文献３では、撮影装置に３自由度姿勢センサを装着し、指標の画像情報と、姿勢センサから得られる姿勢計測値を利用して、撮影装置の位置及び姿勢を計測する方法が開示されている。
【０００６】
前述の指標を利用した位置合わせ手法では、位置合わせの基準となる三次元座標系（以下、基準座標系と呼ぶ）における指標の三次元情報（以下、指標の配置情報と呼ぶ）を予め求めておく必要がある。指標の配置情報は、定規や分度器、測量器等を用いて手作業で計測することが可能である。しかし、手作業による計測には、手間がかかる、精度が悪いといった問題がある。そのため、画像情報を利用して簡便かつ高精度に指標の配置情報を求めることが従来より行われている。
【０００７】
指標の配置情報が三次元空間中の一点の位置で表される指標（以下、点指標と呼ぶ）の配置情報は、バンドル調整法によって求めることができる。バンドル調整法は、様々な方向から撮影した多数の撮影画像をもとに、空間中の点群の位置と各撮影画像を撮影した際の撮影装置の位置及び姿勢を同時に求める手法である。具体的には、撮影画像上で観察される点の画像上での位置と、点の位置及び撮影装置の位置及び姿勢から計算される点の画像上での位置との誤差の和が最小になるように点群の位置及び撮影装置の位置及び姿勢を最適化する手法である。一方、正方形など二次元形状を持つ指標のように、配置情報が基準座標系における位置及び姿勢で表される指標（以下、二次元指標）の場合には、点群の位置を求める手法であるバンドル調整法を直接適用することができない。そこで非特許文献４では、二次元指標と点指標の配置情報をバンドル調整法と同様の手法で求める手法が開示されている。
【０００８】
前述の指標と６自由度位置姿勢センサまたは３自由度姿勢センサを利用する位置合わせ手法では、指標の配置情報だけでなくセンサの配置情報を予め計測しておく必要がある。
【０００９】
例えば、磁気式の６自由度位置姿勢センサを利用する場合には、空間中にトランスミッタを固定し、計測対象（例えば撮影装置）にレシーバを装着して計測対象の位置及び姿勢の計測を行う。該センサはトランスミッタが規定する座標系におけるレシーバの６自由度位置姿勢を計測するものである。そのため、基準座標系における計測対象の位置及び姿勢を得るためには、基準座標系に対するトランスミッタの配置情報（ここでは位置及び姿勢）及び計測対象に対するレシーバの配置情報（ここでは位置及び姿勢）を予め計測しておく必要がある。特許文献１には、基準座標系に配置された指標を様々な方向から撮影した複数の画像を利用して該センサの配置情報を求める手法が開示されている。また、３自由度姿勢センサを利用する場合には、計測対象（例えば撮影装置）に姿勢センサを装着して計測対象の姿勢の計測を行う。そのため計測対象に対する姿勢センサの配置情報（ここでは姿勢）を予め計測しておく必要がある。特許文献４には、指標を撮影した複数の画像を利用して該センサの計測対象に対する姿勢を求める手法が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−２６９９１３
【特許文献２】特開２００３−２０３２５２
【特許文献３】特開２００５−１０７２４８
【特許文献４】特開２００５−３２６２７５
【非特許文献】
【００１１】
【非特許文献１】佐藤，田村：“複合現実感における位置合わせ手法”，画像の認識・理解シンポジウム（ＭＩＲＵ  ２００２）論文集Ｉ，情報処理学会シンポジウムシリーズ，ｖｏｌ．２００２，ｎｏ．１１，ｐｐ．Ｉ．６１−Ｉ．６８，２００２．
【非特許文献２】内山，山本，田村：“複合現実感のためのハイブリッド位置合わせ手法−６自由度センサとビジョン手法の併用−”，日本バーチャルリアリティ学会論文誌，ｖｏｌ．８，ｎｏ．１，ｐｐ．１１９−１２５，２００３．
【非特許文献３】佐藤，内山，山本：“ＵＧ＋Ｂ法：主観及び客観視点カメラと姿勢センサを用いた位置合わせ手法”，日本バーチャルリアリティ学会論文誌，ｖｏｌ．１０，ｎｏ．３，ｐｐ．３９１−４００，２００５．
【非特許文献４】小竹，内山，山本：“マーカ配置に関する先験的知識を利用したマーカキャリブレーション方法，日本バーチャルリアリティ学会論文誌，Ｖｏｌ．１０，ｎｏ．３，ｐｐ．４０１−４１０，２００５．
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来技術では、位置合わせに利用する指標やセンサの配置情報計測のために様々な方向から撮影した多数の画像が利用されている。これは、画像の撮影は利用者が撮影位置を考え手動で行うことが通例である。しかし、高い精度で配置情報計測を行うためには適当に画像を撮影するのでは不十分で、利用者の経験やノウハウが必要であった。すなわち、誰でも簡単に配置情報を計測することが困難であるという課題があった。
【００１３】
また、従来の指標やセンサの配置情報計測は、事前の準備に時間を要するために利用者が複合現実感システムを体験する前に行うことが前提となっていた。そのため、利用者が複合現実感システムを体験している最中に、指標を新たに追加して移動範囲を拡大することや、また指標やセンサの配置情報が変化するなどの場合に対応できないという解決すべき課題があった。
【００１４】
本発明は、以上の課題を鑑みてなされたものであり、撮影装置から入力される画像列から指標やセンサの配置情報計測のために必要な画像を自動判定して取得することにより、利用者の経験やノウハウへの依存を排除することを目的とする。
【００１５】
また、本発明の別の目的は、撮影装置から入力される画像列から指標やセンサの配置情報計測のために必要な画像を自動判定して取得することにより、複合現実感システム体験中においても指標やセンサの配置情報計測を行うことを目的とする。
【課題を解決するための手段】
【００１６】
上記目的は、以下の装置によって達成される。
【００１８】
また、上記目的は、以下の装置によっても達成される。
【００１９】
すなわち、複数の視点を移動する撮像装置を用いて、該複数の視点ごとに現実空間を撮像した複数の画像を取得する画像取得手段と、前記複数の画像のそれぞれから指標を抽出して当該指標の画像座標を求める抽出手段と、前記複数の画像のそれぞれを撮影した際の撮像装置の位置及び姿勢を取得する位置姿勢取得手段と、前記複数の画像のうちの何れを、前記撮像装置の内部パラメータの算出に用いるかを判定する判定手段と、前記算出に用いると判定された画像を用いて、前記撮像装置の内部パラメータの算出を行うパラメータ算出手段とを有し、前記判定手段は、前記撮像装置が移動する複数の視点間の移動量が増すほど増大する評価値を算出する評価値算出手段と、前記評価値が予め定められた閾値を超える場合に、前記移動量が示す移動後の視点で撮像された画像を、前記算出に用いる画像として決定する決定手段とを有することを特徴とする情報処理装置である。
【００２０】
また、上記目的は、以下の装置によっても達成される。
【００２１】
すなわち、複数の視点を移動する撮像装置を用いて、該複数の視点ごとに現実空間を撮像した複数の画像を取得する画像取得手段と、前記複数の画像のそれぞれから指標を抽出して当該指標の画像座標を求める抽出手段と、前記複数の画像のそれぞれを撮影した際の撮像装置の位置及び姿勢を取得する位置姿勢取得手段と、前記複数の画像のうちの何れを前記撮像装置に備わるセンサの該撮像装置に対する配置の算出に用いるかを判定する判定手段と、前記算出に用いると判定された画像を用いて、前記撮像装置に備わるセンサの該撮像装置に対する配置の算出を行う配置算出手段とを有し、前記判定手段は、前記撮像装置が移動する複数の視点間の移動量が増すほど増大する評価値を算出する評価値算出手段と、前記評価値が予め定められた閾値を超える場合に、前記移動量が示す移動後の視点で撮像された画像を、前記算出に用いる画像として決定する決定手段とを有することを特徴とする情報処理装置である。
【発明の効果】
【００２２】
本発明によれば、撮影装置から入力される画像列から指標やセンサの配置情報計測のために必要な画像を自動判定して取得することにより、利用者の経験やノウハウへの依存を排除することが可能になる。
【００２３】
また、本発明によれば、撮影装置から入力される画像列から指標やセンサの配置情報計測のために必要な画像を自動判定して取得することにより、複合現実感システム体験中においても指標やセンサの配置情報計測を行うことが可能になる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施形態に係る情報処理装置の概略構成を示す図である。
【図２】第１の実施形態に係る情報処理装置の概略処理を示すフローチャートである。
【図３】第１至乃第６の実施形態に係る指標の概略構成を示す図である。
【図４】第１実施形態に係る画像使用判定部の概略処理を示すフローチャートである。
【図５】第１の実施形態に係る評価量算出を説明するための図である。
【図６】本実施形態における指標の配置情報または撮影部の位置及び姿勢を求める手順を示すフローチャートである。
【図７】第２の実施形態に係る情報処理装置の概略構成を示す図である。
【図８】第２の実施形態に係る情報処理装置の概略処理を示すフローチャートである。
【図９】第２実施形態に係る画像使用判定部の概略処理を示すフローチャートである。
【図１０】第３の実施形態に係る情報処理装置の概略処理を示すフローチャートである。
【図１１】第３実施形態に係る基準座標系に配置された指標のカメラ座標系への変換を示す図である。
【図１２】第４実施形態に係る情報処理装置の概略構成を示す図である。
【図１３】第４実施形態に係る情報処理装置の概略処理を示すフローチャートである。
【図１４】第４実施形態に係る画像撮影領域を説明するための図である。
【図１５】第４実施形態に係る画像撮影領域または撮影位置及び姿勢の提示を説明する図である。
【図１６】第５実施形態に係る情報処理装置の概略構成を示す図である。
【図１７】第５実施形態に係る情報処理装置の概略処理を示すフローチャートである。
【図１８】第７の実施形態に係る情報処理装置の概略構成を示す図である。
【図１９】第７の実施形態に係る情報処理装置の概略処理を示すフローチャートである。
【図２０】第７の実施形態に係る画像使用判定部の概略処理を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。
【００２６】
〔第１の実施形態〕
本実施形態に係る情報処理装置では、現実空間上に存在する指標の撮影画像を用いて、指標の配置情報を算出する。以下、本実施形態に係る情報処理装置について説明する。
【００２７】
図１は、本実施形態に係る指標の配置情報を算出する情報処理装置１０００の概略構成を示している。情報処理装置１０００はビデオカメラなどの撮影部１００に接続されている。
【００２８】
画像取得部１０１０は、撮影部１００から画像を取得する。撮影部１００は、指標が配置されている空間または物体を撮影し、画像取得部１０１０を介して情報処理装置１０００に動画像系列を逐次入力する。画像取得部１０１０は、例えばＰＣに設置されたビデオキャプチャカードである。なお、撮影部１００からビデオカメラで得られるライブ画像をリアルタイムに入力するのではなく、不図示の記憶装置に記憶してある過去に撮影された画像系列を入力してもよい。
【００２９】
指標抽出部１０２０は、取得された画像中から指標を抽出する。
【００３０】
ここで本実施形態で用いる指標について説明する。
【００３１】
環境中または対象物体上には、図３（Ａ）に示すような四角形形状の指標（以下、四角形指標と呼ぶ）が複数配置されているものとする。ここで、配置された指標をＰｋ（ｋ＝１，，，Ｋｏ）で表す。但し、Ｋｏは配置された指標の数（図３（Ａ）の例ではＫｏ＝３）である。図３（Ｂ）に示すように、四角形指標は、内部に識別子を表すパターンを持ち、一意に同定可能であるとする。また、また、四角形指標Ｐｋは頂点ｐｋｉ（ｉ＝１，，，Ｎｋ）により構成される。但し、Ｎｋは、指標Ｐｋを構成する頂点の総数（本実施形態の場合は四角形指標であるのでＮｋ＝４）を表す。指標抽出部１０２０は、撮影画像に２値化処理を施した後にラベリング処理を行い、一定面積以上の領域の中から４つの直線によって形成されているものを指標候補として抽出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって候補領域が指標領域であるかを判定し、内部のパターンを読み出すことによって指標の画像内の方向と識別子を取得することにより、取得された画像中から指標を抽出する。
【００３２】
なお、環境中または対象物体上に配置される指標Ｐｋは、四角形指標に限るものではなく、撮影画像上において検出可能であって、かついずれの指標であるか識別可能である指標であれば、何れの形態であってもよい。例えば、図３（Ｃ）に示すように、それぞれが異なる色を有する円形状の指標のような点指標であってもよい。この場合には、画像上から各々の指標の色に対応する領域を検出し、その重心位置を指標の検出座標とする。また、それぞれが異なるテクスチャ特徴を有する空間に元来存在する特徴点（自然特徴点）を点指標としてもよい。この場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを画像上に施すことにより、画像から指標の抽出する。これに限らず、空間中に固定された指標であってそれを撮影した画像から検出可能なものであればどのような指標であってもかまわない。
【００３３】
指標管理部１０３０は、指標抽出部１０２０において抽出された指標の、各々の四角形指標Ｐｋｎの識別子ｋｎと各頂点ｐｋｎｉの画像座標ｕＰｋｎｉ、各指標の配置情報を指標情報として管理する。指標の配置情報は、四角形指標であれば基準座標系に対する指標の位置及び姿勢、点指標であれば基準座標系に対する指標の位置となる。基準座標系は、環境中や物体上の一点を原点として定義し、互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義する。また、本実施形態において、基準座標系での配置情報が既知の指標を基準指標と呼び、いずれかの画像中には、基準指標が含まれるように撮影する。
【００３４】
撮影部位置姿勢情報取得部１０４０は、画像を撮影した時点の撮影部の概略位置及び姿勢を取得する。
【００３５】
画像使用判定部１０５０は、画像取得部１０１０によって情報処理装置１０００に入力された画像を指標の配置情報の算出に使用するか否かの判定を行う。
指標配置情報算出部１０６０は、画像使用判定部１０５０で使用すると判定された画像を用いて指標の配置情報を算出する。
【００３６】
次に、本実施形態における指標配置情報計測の処理の手順を図２に示すフローチャートを用いて説明する。
【００３７】
ステップＳ２０１０では、画像取得部１０１０を介して撮影装置１００が現在撮影している画像を取得する。
【００３８】
ステップＳ２０２０では、指標抽出部１０２０において画像取得部１０１０から取得された画像上における指標が抽出し、抽出された各々の四角形指標Ｐｋｎの識別子ｋｎと各頂点ｐｋｎｉの画像座標ｕＰｋｎｉ、を指標管理部１０３０に登録する。ここで、ｎ（ｎ＝１，，，Ｎ）は画像上で検出された四角形指標夫々に対するインデックスであり、Ｎは検出された四角形指標の総数を表している。また、画像中で検出されたＮ個の四角形指標の頂点の総数をＮＴｏｔａｌとする。例えば図３（Ａ）の場合は、識別子が１、２、３である四角形形状の指標が撮影される場合を示しており、Ｎ＝３である。そして、識別子ｋ１＝１、ｋ２＝２、ｋ３＝３とこれらに対応する画像座標ｕＰｋ１ｉ、ｕＰｋ２ｉ、ｕＰｋ３ｉ、（ｉ＝１、２、３、４）が指標管理部１０３０に登録される。この場合、ＮＴｏｔａｌは、１２（＝３×４）になる。
【００３９】
ステップＳ２０３０では、撮影部位置姿勢情報取得部１０４０において現在入力されている画像を撮影した際の撮影部の概略位置及び姿勢情報を取得する。本実施形態では、撮影部の概略位置及び姿勢を、基準座標系における配置情報が既知である指標の画像情報から公知の手法により求める。例えば、画像中で検出される指標が空間中で同一平面上にない場合にはＤＬＴ（Ｄｉｒｅｃｔ  Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法によって、同一平面上にある場合には平面ホモグラフィーによる手法によって撮影部の位置及び姿勢を求める。このような複数の点の画像座標と三次元座標の対応から撮影部の位置と姿勢を求める方法は写真測量やコンピュータビジョンの分野で広く公知であるので、その詳細な説明は省略する。なお、撮影部の位置または姿勢の取得方法はこれに限られるものではなく、例えば、磁気式、超音波式、光学式などの６自由度位置姿勢センサを撮影部に装着してその出力値を撮影部の概略位置及び姿勢として用いてもよいし、非特許文献３に開示されている３自由度姿勢センサと指標を併用する手法から撮影部の概略位置及び姿勢を求めてもよい。あるいは、その他の何れかの公知技術を用いて撮影部の概略位置及び姿勢を求めてもよい。
【００４０】
ステップＳ２０４０では、画像取得部１０１０によって取得された画像を指標の配置情報の算出に使用するか否かを判定する。図４は、ステップＳ２０４０において、指標の配置情報算出に必要な画像かどうかの判定の手順を示すフローチャートである。
【００４１】
ステップＳ３０１０では、取得された画像中に基準指標かあるいは基準座標系における概略の配置情報を持つ指標が検出されているかを判定する。基準指標は、画像中で検出されたサイズが既知の四角形指標などの多角形指標や、同一直線上にない相対位置関係が既知の３点以上の点指標によって定義すればよい。基準指標以外の四角形指標の概略配置情報は、指標を撮影した時点での撮影部の概略位置及び姿勢及び画像上での各頂点の位置をもとに、平面ホモグラフィーを計算することで求めることができる。また、指標が点指標である場合には、撮影した時点での撮影部の概略位置及び姿勢が既知である２枚の撮影画像からステレオ法によって指標の概略位置を求めることができる。
【００４２】
基準指標あるいは概略配置情報を持つ指標が画像上で検出されない場合には、ステップＳ３０５０へ判定結果を出力し、ステップＳ３０５０でその画像を使用しないと判定される。
【００４３】
ステップＳ３０２０では、基準指標以外の計測対象である指標が検出されているかどうかを判定する。計測対象となる指標が検出されていない場合には、ステップＳ３０５０へ判定結果を出力し、ステップＳ３０５０でその画像を使用しないと判定される。
【００４４】
ステップＳ３０３０では、指標管理部１０３０で管理されている指標情報と撮影部位置姿勢取得部１０４０で取得された撮影部の位置及び姿勢を入力する。ステップＳ３０４０では、指標の配置情報計測に画像を使用するかどうかを判定するための評価量を算出する。ここで、評価量の算出方法について述べる。
【００４５】
図５は、取得した画像を計測に使用するかどうか判定するための評価量の求め方を説明する図である。
【００４６】
過去に計測に使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とし、取得された画像を第ｍフレームとして使用するかどうかの判定を行う。現在取得された画像を撮影した時点での撮影部の位置をＣｍ＝［Ｃｍｘ  Ｃｍｙ  Ｃｍｚ］ｔとする。また、第ｍフレームで取得された画像中で検出された指標群の各々の配置情報から求めた基準座標系における重心位置をＧｍ＝［Ｇｍｘ  Ｇｍｙ  Ｇｍｚ］ｔとする。第ｍ−１フレームを撮影した時点での撮影部の位置Ｃｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇｍ−１とを結ぶベクトルを
【００４７】
【数１】
0005726024.tif 000002
とし、現在取得された画像を撮影した時点での撮影部の位置Ｃｍと重心位置Ｇｍ−１とを結ぶベクトルを
【００４８】
【数２】
0005726024.tif 000003
とする。
【００４９】
【数３】
0005726024.tif 000004
求めたθＡＢを第１の評価量とする。
【００５０】
【数４】
0005726024.tif 000005
求めたαを第２の評価量とする。
【００５１】
ステップＳ３０５０では、求めた評価量をもとに取得された画像を使用するか否かの判定を行う。
まず、第１の評価量θＡＢが
θＡＢ＞θＴＡＢ  ・・・（１−４）
であるときには、第ｍ−１フレームと現在取得されている画像との間に十分に大きな視差があるとして、取得された画像を第ｍフレームとして使用すると判定する。ここでθＴＡＢは、閾値である。評価量θＡＢが閾値θＴＡＢより大きいということは、検出した指標群を第ｍフレームと第ｍ−１フレームにおいて異なる視点から撮影していることを意味する。閾値θＴＡＢは、指標の三次元空間中での分布や配置する環境に応じて任意に変更してもよい。例えば、室内における場合など、撮影可能な範囲が制限されるため場合には、θＴＡＢを小さくする。しかし、閾値θＴＡＢを小さくすると、視差が小さくなるため計測結果の精度は低下する。計測結果の精度が低下するのを防ぐには、使用する画像の枚数を増やしたり高解像度のカメラを使用したりすればよい。
【００５２】
式（１−４）の条件が満たされない場合には第２の評価量αをもとに判定を行う。
【００５３】
第２の評価量αが、
α＜αＴ１，またはαＴ２＜α（但し、αＴ１，＜αＴ２とする）  ・・・（１−５）
であるとき取得された画像を第ｍフレームとして使用すると判定し、そうでない場合使用しないと判定する。ここでαＴ１、αＴ２、は閾値である。第２の評価量が上記の条件を満たすということは、検出した指標群に対する撮影距離が第ｍフレームと第ｍ−１フレームとで異なっていることを意味する。
【００５４】
ステップＳ３０６０では、ステップＳ３０５０で判定された画像を使用するか否かの判定結果を出力する。
【００５５】
ステップＳ２０５０では、現在取得されている画像がステップＳ２０４０で使用すると判定され、かつ指標の配置情報計測に使用すると判定された画像枚数ｍが、
【００５６】
【数５】
0005726024.tif 000006
となったときは、ステップＳ２０６０に進む。一方、ステップＳ２０４０で使用されないと判定された場合は、再びステップＳ２０１０へ戻り、新たな画像を取得する。
【００５７】
ステップＳ２０６０では、使用すると判定された画像の情報を用いて指標の配置情報を算出する。
【００５８】
以下、ステップＳ２０４０において使用すると判定された画像を用いた、指標の配置情報の算出方法について述べる。
【００５９】
ここで、各画像を撮影したときの撮影装置の概略位置及び姿勢、計測対象である四角形指標の概略位置及び姿勢は前述した方法によって得られているものとする。指標の配置情報は、指標の画像上での検出位置と、撮影装置の位置及び姿勢と指標の配置情報から計算される画像上での位置との間の誤差が最小になるように、撮影装置及び指標の配置情報を同時に最適化することにより求める。
【００６０】
指標が画像上に投影される位置をｕ＝［ｕｘ  ｕｙ］ｔ、撮影部の位置及び姿勢を表すベクトルをｓ、指標の配置情報を表すベクトルをａとすると、式（１−６）のように表される。
【００６１】
ｕ＝Ｆ（ｓ，ａ）・・・（１−６）
Ｆは基準座標系からカメラ座標系への変換であるビューイング変換、および透視投影変換を含む関数である。基準座標系における撮影部の位置をｔ＝［ｔｘ  ｔｙ  ｔｚ］ｔ、撮影部の姿勢をω＝［ωｘ  ωｙ  ωｚ］とすると撮影部の位置及び姿勢を表すベクトルｓ＝［  ｔｘ  ｔｙ  ｔｚ  ωｘ  ωｙ  ωｚ］ｔとなる。ａは指標が位置情報しか持たなければ３次元ベクトルであり、位置及び姿勢の情報を持っていれば６次元ベクトルとなる。三次元空間における姿勢は３×３回転変換行列で表されるが、回転の自由度は３しかないので３次元ベクトルωで表すことができる。
【００６２】
ωは３自由度の姿勢表現方法であり、姿勢を回転軸ベクトル及び回転角で表現している。回転角をｒａとすると、ｒａはωによって次式のように表される。
【００６３】
【数６】
0005726024.tif 000007
また、回転軸ベクトルをｒａｘｉｓ＝［ｒｘ  ｒｙ  ｒｚ］ｔとすると、ｒａｘｉｓとωの関係は次式のように表される。
【００６４】
【数７】
0005726024.tif 000008
ω（回転角ｒａ、回転軸ベクトルｒａｘｉｓ）と３×３回転変換行列Ｒとの関係は次式のように表される。
【００６５】
【数８】
0005726024.tif 000009
画像上での指標の検出座標を
【００６６】
【数９】
0005726024.tif 000010
とする。
【００６７】
【数１０】
0005726024.tif 000011
とおくと、△ｕは、ｓを補正するベクトル△ｓ、ａを補正するベクトル△ａを用いて、一次近似により次式のように表すことができる。
【００６８】
【数１１】
0005726024.tif 000012
ここで
【００６９】
【数１２】
0005726024.tif 000013
はヤコビ行列（または画像ヤコビアン）と呼ばれる。ヤコビ行列の具体的な計算方法は非特許文献４において従来例があるためここでは省略する。
【００７０】
式（１−１１）は、ある１つの画像における１つの点（四角形指標であれば１つの頂点）に関する関係式である。計測に使用すると判定された画像がｍ枚あり、指標の頂点がｑ個あるとすると、次式が得られる。
【００７１】
【数１３】
0005726024.tif 000014
上式を簡略化して書くと次式のようになる。
【００７２】
【数１４】
0005726024.tif 000015
使用すると選択された画像中において検出されたすべての指標の頂点が全部でｎ点あるとすると次式を得ることができる。
【００７３】
【数１５】
0005726024.tif 000016
求めるべき未知パラメータ△ｔは最小二乗法によって次式のように求めることができる。
【００７４】
【数１６】
0005726024.tif 000017
なお、＋は擬似逆行列を表す。式（１−１５）から△ｔを計算することは、補正値ベクトル△ｔについての未知数に対して冗長な連立１次方程式を解くことに等しい。そのため、擬似逆行列を計算するのではなく、掃き出し法、あるいはガウス・ジョルダン法、あるいは共役勾配法など、その他の連立一次方程式を解くための方法を用いて解いてもよい。取得した画像が多い場合や、検出した指標が多い場合には、前処理で不完全コレスキー分解を行う前処理付き共役勾配法などで高速に計算することができる。
【００７５】
得られた△ｔを用いて
【００７６】
【数１７】
0005726024.tif 000018
を補正する。Σ△ｕが予め定めた閾値より小さいかどうか、あるいは、補正値△ｓが予め定めた閾値より小さいかどうかといった判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルｓを初期値として用いて繰り返し計算を行う。計算が収束したと判定されると、指標の配置情報を出力する。
【００７７】
以上、説明したように、本実施形態では、画像中で検出された指標の概略配置情報と、撮影画像の撮影された時点での撮影部の概略位置及び姿勢情報から計算される評価値を用いて、撮影画像を計測に使用するか否かを自動的に判定する。これにより、指標の配置情報計測を高精度に行うために必要となる。様々な方向から撮影した多数の画像を経験やノウハウを必要とせず取得することが可能となる。
【００７８】
（変形例１−１）
第１の実施形態では、第ｍ−１フレームを撮影した時点での撮影部の位置Ｃｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇｍ−１とを結ぶベクトルを
【００７９】
【数１８】
0005726024.tif 000019
とし、取得された画像を撮影した時点での撮影部の位置Ｃｍと重心位置Ｇｍ−１とを結ぶベクトルを
【００８０】
【数１９】
0005726024.tif 000020
として第１の評価量を求めていた。しかし、重心位置Ｇｍ−１は単純な重心ではなく指標の検出結果に応じて重み付けされた重み付き重心位置をＧｍ−１としてもよい。
【００８１】
重心位置を求めているのは計測対象指標までの距離を考慮するためである。ステレオ計測などの画像を用いた計測では、計測対象までの距離と撮影位置間の距離によってその計測精度が影響を受ける。しかしながら、例えば検出された指標のうち例外的に一つの指標だけが遠くまたは近くに存在する場合には、計測対象の代表位置が例外的な指標の影響を大きくうけてしまう。従って、例外的な指標を排除または重心計算における重みを下げることにより、その影響を軽減させる。
【００８２】
第ｍ−１フレームで検出した各指標の概略位置と第ｍ−１フレームを撮影した際の撮影部の概略撮影位置との距離ｌｉ（ｉ＝１，２，・・・Ｎ）を求める。ここでのＮは第ｍ−１フレームで検出した指標の総数を表す。ここで、重心計算において、例外的な指標には小さな重みを与えて求めた重み付き重心位置をＧｍ−１とする。重みの計算方法としては、例えば、ロバスト推定手法であるＭ推定でよく用いられるＴｕｋｅｙ  ｆｕｎｃｔｉｏｎを用いることができる。Ｔｕｋｅｙ  ｆｕｎｃｔｉｏｎでは、距離ｌｉ（ｉ＝１，２，・・・Ｎ）と距離ｌｉの標準偏差に基づいて得られた閾値ｃを用いて重みＷｉは、
【００８３】
【数２０】
0005726024.tif 000021
として求まる。
【００８４】
第ｍ−１フレームで検出した各指標の位置ｔｉ（ｉ＝１，２，・・・Ｎ）とすると、重み付き重心位置をＧｍ−１は、
【００８５】
【数２１】
0005726024.tif 000022
として求まる。
【００８６】
（変形例１−２）
第１の実施形態では、指標の配置情報または撮影部の位置及び姿勢を求めたが、撮影部の内部パラメータを計測対象として算出してもよい。
【００８７】
未知パラメータとなる撮像部の内部パラメータは、焦点距離ｆ、画像中心の座標（ｕ０、ｖ０）、ｕ及びｖ方向のスケール・ファクターｋｕ、ｋｖおよびせん断係数ｋｓによって次式のように表される。
【００８８】
【数２２】
0005726024.tif 000023
Ａはカメラ座標系ｘｃの点を画像座標ｕへ変換する行列である。
【００８９】
計測に使用するか否かの判定は、第１の実施形態と同様の手法で判定することができる。前述の撮影部の内部パラメータを未知パラメータとし、指標の画像座標の実測値と、パラメータの推定値から算出した指標の画像座標の理論値との誤差を最小化するようなパラメータを非線形最適化により求めることができる。このとき撮影部の概略の内部パラメータは設計パラメータなどをもとに予め設定しておく。
【００９０】
（変形例１−３）
本実施形態では、第１の評価量θＡＢを第ｍ−１フレームを撮影した時点での撮影部の位置Ｃｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇｍ−１とを結ぶベクトル
【００９１】
【数２３】
0005726024.tif 000024
と、取得された画像を撮影した時点での撮影部の位置Ｃｍと重心位置Ｇｍ−１とを結ぶベクトル
【００９２】
【数２４】
0005726024.tif 000025
から求めていた。
【００９３】
しかし、第ｍ−１フレームと取得された画像のみから第１の評価量を求めなくてもよい。ここで、取得された画像中で検出された指標群の重心位置Ｇｍと取得された画像を撮影した時点での撮影部の位置Ｃｍとを結ぶベクトルを
【００９４】
【数２５】
0005726024.tif 000026
とする。また、取得された画像中で検出される指標の識別子と同じ識別子を持つ指標を含む画像を、第１フレームから第ｍ−１フレームの中から抜き出す。抜き出された画像の総数をＱとする。取得された画像中で検出された指標群の重心位置Ｇｍと第ｑフレーム（ｑ＝１、２、・・・Ｑ）が撮影された時点での撮影部の位置Ｃｑを結ぶベクトルを
【００９５】
【数２６】
0005726024.tif 000027
として第１の評価量を求める。
【００９６】
【数２７】
0005726024.tif 000028
第１の評価量θＡＢｑがすべてのｑに対して
θＡＢｑ＞θＴＡＢ  ・・・（１−２０）
である場合には取得された画像を使用すると判定し、そうでない場合使用しないと判定する。ここでθＴＡＢは、閾値である。評価量θＡＢｑが閾値θＴＡＢより大きいということは、検出した指標群に対して第ｍフレームと第ｑフレームが異なる視点から撮影していることを意味する。閾値θＴＡＢは、指標の分布や配置する環境に応じて任意に変更してもよい。
【００９７】
このような評価量を用いて判定することで、すでに使用すると判定されている画像の全てと異なる視点から撮影された画像を自動的に選択することができる。
【００９８】
（変形例１−４）
本実施形態では、すでに使用すると判定された画像のうち、同一の位置及び姿勢の撮影装置から撮影された画像を排除または更新することはしていなかった。しかし、同一の位置及び姿勢の撮影装置からのは、指標の配置情報の計測精度を向上させる情報を持たないため必要ない。そのため、同一の位置及び姿勢で撮影された画像は、排除または更新するべきである。そこでほぼ同一の位置及び姿勢からの撮影を排除または更新する処理について以下で説明する。
【００９９】
現在取得された画像の撮影された時点での撮影部の位置Ｃｍと取得された画像中で検出された指標群の各々の配置情報から求めた重心位置をＧｍとで作るベクトルを
【０１００】
【数２８】
0005726024.tif 000029
とする。また、過去に使用すると判定された各画像の撮影された時点での撮影部の位置Ｃ１、Ｃ２、・・・、Ｃｍ−１と重心位置をＧｍとで作る各ベクトルを
【０１０１】
【数２９】
0005726024.tif 000030
とする。
【０１０２】
【数３０】
0005726024.tif 000031
と各ベクトル
【０１０３】
【数３１】
0005726024.tif 000032
のなす角θＣＤ１、θＣＤ２、・・・、θＣＤｍ−１を次式によって求める。
【０１０４】
【数３２】
0005726024.tif 000033
また、
【０１０５】
【数３３】
0005726024.tif 000034
と各ベクトル
【０１０６】
【数３４】
0005726024.tif 000035
の比βｉを次式によって求める。
【０１０７】
【数３５】
0005726024.tif 000036
まず、ｉ＝１、２、・・・ｍ−１においてθＣＤｉが、
θＴＣＤ＜θＣＤｉ・・・（１−２３）
かつ、βｉが、
【０１０８】
【数３６】
0005726024.tif 000037
のとき同一視点位置からの撮影と判定し、そのフレームを第ｊフレーム（ｊ＝１、２、・・・Ｊ）とする。Ｊは、同一視点位置からの撮影と判定された画像の総数を表す。ここでθＴＣＤ、βＴ１Ｌ、βＴ２Ｌは閾値である。
【０１０９】
次に同一姿勢かどうかを判定する。まず、取得された画像の撮影部の視軸ベクトルｔｍと同一視点位置と判定された第ｊフレームの視軸ベクトルｔｊとの角度差θｍｊを次式によって求める。
【０１１０】
【数３７】
0005726024.tif 000038
角度差θｍｊ（ｊ＝１、２、・・・Ｊ）を第３の評価量とする。
【０１１１】
次に、視軸周りの回転角度差を求める。
視軸ベクトルと直交するベクトルｖｍをカメラ座標系でのｙ軸方向のベクトルｔｙ＝［０  １  ０］ｔとおき、撮影部の概略姿勢を表す３×３回転変換行列Ｒｍを用いて基準座標系に変換する。
ｖｍ＝Ｒｍ・ｔｙ  ・・・（１−２６）
同様に、同一視点位置と判定された第ｊフレームの視軸ベクトルと直交するベクトルｖｊをカメラ座標系でのｙ軸方向のベクトルｔｙ＝［０  １  ０］ｔとおき、基準座標系に変換する。
ｖｊ＝Ｒｊ・ｔｙ  ・・・（１−２７）
ｖｍとｖｊとの角度差、つまり視軸周りの回転角度差γｍｊは次式によって求まる。
【０１１２】
【数３８】
0005726024.tif 000039
視軸周りの回転角度差γｍｊ（ｊ＝１、２、・・・Ｊ）を第４の評価量とする。
【０１１３】
前述のように求めた第３及び第４の評価量に応じて同一姿勢で撮影された画像かどうか判定し、該画像を計測に使用するか否かを判定する。
第３の評価量θｍｊが
θｍｊ＜θｍｊ（ｊ＝１、２、・・・Ｊ）  ・・・（１−２９）
であるとき、その取得された画像は同一視点位置かつ同一姿勢から第ｊフレームにおいてすでに撮影されていることを意味し、その画像は使用しない。
【０１１４】
一方、第３の評価量が式（１−２９）の条件を満たさない場合、第４の評価量に応じて画像を使用するかどうかの判定を行う。
【０１１５】
第４の評価量γｍｊが、
γｍｊ＞γＴｍｊ  ・・・（１−３０）
であるとき、その取得された画像は同一視点位置かつ同一姿勢から撮影されているが、視軸周りに回転して撮影されているため、その画像は使用すると判定する。そうでない場合は使用しないと判定する。ここでγｍｊは閾値である。
【０１１６】
また、前述の方法でほぼ同視点位置及び姿勢からの撮影のため使用しないと判定した画像であっても、画像中で検出した指標の数が多い場合には、取得した画像をすでに使用すると判定された画像と置き換えることで更新する。
【０１１７】
（変形例１−５）
非特許文献４では、指標の先験的知識を利用して、指標に拘束条件をつけて非線形最適化を行っている。本実施形態では、画像を自動で取得しているので、未知の指標に対しては幾何拘束条件をつけて算出することはできない。しかし、あらかじめ指標が平面上にあることがわかっている場合など、幾何拘束条件が予めわかっている場合には、幾何拘束条件をつけて非線形最適化を行ってもよい。
【０１１８】
また、未知の指標であっても、一度幾何拘束条件をつけずに非線形最適化を行ったあと、オペレータがマウスやキーボードなどの入力装置を介して、幾何拘束条件をつけて再度非線形最適化を行ってもよい。
【０１１９】
（変形例１−６）
なお、指標の配置情報計測のために画像を使用するか否かの判定は、次に示す評価量を用いて行ってもよい。すでに未知パラメータの算出に使用すると判定されている画像のフレーム番号を１、２、・・・、ｍ−１、とし、取得された画像を第ｍフレームとして使用するかどうかの判定を行う。
【０１２０】
まず、第ｍ−１フレームと取得された画像を比較する。検出された指標のうち画像上で閾値Ｔ％以上重なりを持つ画像を第ｍフレームの候補画像とする。
【０１２１】
次に、第ｍ−１フレームを撮影した時点での撮影部の位置Ｃｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇｍ−１とを結ぶベクトルを
【０１２２】
【数３９】
0005726024.tif 000040
とし、取得された候補画像を撮影した時点での撮影部の位置Ｃｍと重心位置Ｇｍ−１とを結ぶベクトルを
【０１２３】
【数４０】
0005726024.tif 000041
とする。さらに撮影部の位置Ｃｍ−１とＣｍを結ぶベクトルを
【０１２４】
【数４１】
0005726024.tif 000042
とする。次の式を満たすとき、取得された画像を計測に使用すると判定する。
【０１２５】
【数４２】
0005726024.tif 000043
ここでＤＴＨは閾値である。ステレオ計測などの画像を用いた計測では、計測対象までの距離と撮影位置間の距離によってその計測精度が影響を受ける。式（１−３１）は、第ｍ−１フレームと取得した画像の撮影された時点での撮影部の位置と指標の代表位置である重心位置までのそれぞれの距離
【０１２６】
【数４３】
0005726024.tif 000044
と
【０１２７】
【数４４】
0005726024.tif 000045
、撮影位置間の距離
【０１２８】
【数４５】
0005726024.tif 000046
を考慮している。つまり、指標の代表値までの距離が近ければ
【０１２９】
【数４６】
0005726024.tif 000047
は小さくなり、基線長が長ければ
【０１３０】
【数４７】
0005726024.tif 000048
が大きくなる。従って、式（１−３１）を満たすとき、指標の配置情報計測のために必要な画像を判定することができる。
【０１３１】
（変形例１−７）
第１の実施形態では、計測対象指標までの距離を考慮するために、各指標の３次元空間中における重心位置に基づいて評価量を求め、指標の配置情報計測に画像を使用するか否かの判定を行っていた。第ｍ−１フレームを撮影した時点での撮影部の位置Ｃｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇｍ−１とを結ぶベクトルと、取得された画像を撮影した時点での撮影部の位置Ｃｍと重心位置Ｇｍ−１とを結ぶベクトルに基づいて評価量を求めていた。しかし、指標の代表位置は各指標位置の重心位置によって求めるのではなく、撮影部が撮影する範囲の中心方向を表す視軸上で代表位置を求めてもよい。検出した各指標の３次元空間中における概略位置よりカメラ座標系における奥行きを求め、各指標の奥行きの平均値をｚｍｅａｎとする。カメラ座標系における指標の代表位置をｔａｍ＝（０，０，ｚｍｅａｎ）とする。撮影部のおおよその位置及び姿勢は撮影部位置姿勢情報取得部１０４０より得ることができるので、カメラ座標系における指標の代表位置ｔａｍを基準座標系の位置に座標変換する。そして座標変換後の代表位置をｔ’ａｍとする。本実施形態で用いた代表位置である重心位置の変わりにｔ’ａｍを用いてもよい。
【０１３２】
（第２の実施形態）
第１の実施形態では、環境または物体に配置された指標の配置情報の計測のための画像利用判定を行い、該計測を行った。第２の実施形態では、姿勢センサのカメラ座標系における姿勢を算出するために使用する画像を自動で判定し、撮影部に装着した姿勢センサのカメラ座標系における姿勢を算出する。
【０１３３】
本実施形態で用いられる姿勢センサは、３軸方向の角速度を検出するジャイロセンサと、３軸方向の加速度を検出する加速度センサによって主に構成されており、それらの計測値の組み合わせによって３自由度の姿勢を計測する。一般に、ジャイロセンサを用いた姿勢センサは、ジャイロセンサが出力する角速度の情報を積分することにより姿勢を得るため、ドリフト誤差が存在する。しかし、加速度センサを併用することにより、地球の重力方向を計測することができるため、傾斜角については高精度な計測値を得ることができる。一方、重力軸回りの回転である方位角に関しては、絶対的なリファレンスを得ることが出来ず、ドリフト誤差を補正することができないため、傾斜角に比べて精度が低い。
【０１３４】
図７は、本実施形態に係る情報処理装置７０００の概略構成を示している。情報処理装置７０００には撮影部７００が接続されており、指標が配置された空間の画像を情報処理装置７０００に入力する。また、撮影部７００には姿勢センサ７０５が装着されており、撮影部７００が画像を撮影するのと同時刻での姿勢センサの計測値が情報処理装置７０００に送られる。
【０１３５】
画像取得部７０１０は、撮影部７００から画像を取得する。
【０１３６】
指標抽出部７０２０は、取得された画像中から指標を抽出する。指標管理部７０３０は、抽出された指標の、各々の正方形形状指標Ｐｋｎの識別子ｋｎと各頂点ｐｋｎｉの画像座標ｕＰｋｎｉ、各指標の配置情報を指標情報として管理する。
【０１３７】
撮影部位置姿勢情報取得部７０４０は、画像を撮影した時点の撮影部の概略位置及び姿勢を取得する。
【０１３８】
画像使用判定部７０５０は、画像取得部７０１０を介して入力された画像を撮影部に装着した姿勢センサのカメラ座標系における姿勢の算出に画像を使用するかどうかの判定を行う。
【０１３９】
センサ出力取得部７０６０は、画像を撮影するのと同時刻での姿勢センサの出力を取得する。
【０１４０】
姿勢センサの位置姿勢算出部７０７０は、画像使用判定部７０５０において使用すると判定された画像を用いて撮影部に装着した姿勢センサのカメラ座標系における姿勢を算出する。
【０１４１】
画像取得部７０１０、指標抽出部７０２０、指標管理部７０３０、撮影画像の位置姿勢情報取得部７０４０は第１の実施形態で述べた画像取得部１０１０、指標抽出部１０２０、指標管理部１０３０、撮影部の位置姿勢情報取得部１０４０、と同様であるのでここでは詳細な説明を省略する。
【０１４２】
図８は第２の実施形態における姿勢センサの配置情報を算出する手順を示すフローチャートである。
【０１４３】
ステップＳ８０１０からステップＳ８０３０までは、第１の実施形態におけるステップＳ２０１０からステップＳ２０３０までと同様であるため説明を省略する。
【０１４４】
ステップＳ８０４０では、姿勢センサのカメラ座標系における姿勢の算出に、取得された画像を使用するかどうかの判定を行う。第１の実施形態と同様の判定処理によって、取得された画像を使用するかどうかの判定を行うことも可能であるが、ここでは、撮影部の姿勢をもとに判定する。以下、使用画像の判定方法の詳細を述べる。
【０１４５】
図９は、ステップＳ８０４０において、姿勢センサのカメラ座標系における姿勢の算出に、取得された画像を使用するかどうかの判定の手順を示すフローチャートである。
【０１４６】
ステップＳ９０１０は、第１の実施形態におけるステップＳ３０１０と同様なので説明を省略する。
【０１４７】
ステップＳ９０２０は、指標管理部７０３０で管理されている指標情報と撮影部位置姿勢取得部７０４０で取得された撮影部の位置及び姿勢を入力する。
【０１４８】
ステップＳ９０３０では、取得された画像を撮影部に装着した姿勢センサのカメラ座標系における姿勢の算出に画像を使用するかどうかを判定するための評価量を算出する。ここで、評価量の算出方法について述べる。
【０１４９】
すでに使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とし、取得された画像を第ｍフレームとして使用するかどうかの判定を行う。
【０１５０】
まず、取得された画像を撮影した時点での撮影部の視軸ベクトルｔｍと、すでに使用すると判定された第ｊフレーム（ｊ＝１、２、・・・、ｍ−１）を撮影した時点での視軸ベクトルｔｊとの角度差θｍｊを次式によって求める。
【０１５１】
【数４８】
0005726024.tif 000049
角度差θｍｊ（ｊ＝１、２、・・・Ｊ）を第１の評価量とする。
【０１５２】
次に、視軸周りの回転角度差を求める。まず、基準座標系における取得された画像を撮影した撮影部の視軸ベクトルｔｍを求める。カメラ座標系でのｚ軸にマイナス方向のベクトルｔｚ＝［０  ０  −１］ｔとおき、撮影部の概略姿勢Ｒｍから視軸ベクトルｔｍを次式のように求める。
【０１５３】
ｔｍ＝Ｒｍ・ｔｚ・・・  （２−２）
取得された画像を撮影した撮影部の視軸ベクトルｔｍと直交するベクトルｖｍをカメラ座標系でのｙ軸方向のベクトルｔｙ＝［０  １  ０］ｔとおき、撮影部の概略姿勢Ｒｍから基準座標系におけるｖｍを求める。
【０１５４】
ｖｍ＝Ｒｍ・ｔｙ・・・  （２−３）
同様に、第ｊフレームの視軸ベクトルと直交するベクトルｖｊをカメラ座標系でのｙ軸方向のベクトルｔｙ＝［０  １  ０］ｔとおき、第ｊフレームを撮影した時点での撮影部の姿勢Ｒｊをかけて次式のように求める。
【０１５５】
ｖｊ＝Ｒｊ・ｔｙ・・・  （２−４）
ｖｍとｖｊとの角度差、つまり視軸周りの回転角度差γｍｊは次式によって求まる。
【０１５６】
【数４９】
0005726024.tif 000050
視軸周りの回転角度差γｍｊ（ｊ＝１、２、・・・Ｊ）を第２の評価量とする。
【０１５７】
ステップＳ９０４０では、求めた評価量をもとに取得された画像を使用するかどうかの判定を行う。第１の評価量θｍｊがすでに使用すると判定された画像（ｊ＝１、２、・・・Ｊ）すべてに対して、
θｍｊ＞θＴｍｊ（ｊ＝１、２、・・・Ｊ）  ・・・（２−６）
であるとき、その取得された画像はまだ撮影されていない視点方向から撮影された画像であるとして、その画像を使用すると判定する。ここでθＴｍｊは閾値である。式（２−６）が満たされない場合、取得された画像は同一姿勢で撮影されている可能性を表し、第２の評価量をもとに取得された画像を使用するかどうかの判定を行う。
【０１５８】
第２の評価量γｍＪが、
γｍｊ＞γＴｍｊ  ・・・（２−７）
であるとき、取得された画像は同一視点方向から撮影されているが、視軸周りに回転して撮影されていることを意味し、その画像を使用すると判定する。ここでγＴｍＪは閾値である。式（２−７）が満たされない場合、取得された画像を姿勢センサの姿勢算出に使用しないと判定する。
【０１５９】
ステップＳ９０５０では、ステップＳ９０４０で判定された、画像を使用するかどうかの判定結果を出力する。
【０１６０】
ステップＳ８０５０は、ステップＳ８０４０で姿勢センサの姿勢算出に使用すると判定され、かつすでに使用すると判定された画像枚数ｍが、
【０１６１】
【数５０】
0005726024.tif 000051
のときは、ステップＳ８０６０へ進む。一方、ステップＳ８０４０で使用されないと判定された場合は、再びステップＳ８０１０へ戻る。
【０１６２】
次に姿勢センサの姿勢算出を行うステップＳ８０６０の詳細について説明する。
【０１６３】
ステップＳ８０６０では、画像使用判定部７０５０で使用すると判定された複数の視点位置で撮影した画像を用いて撮影部に装着した姿勢センサのカメラ座標系における姿勢ωＣＳを算出する。センサ出力値取得部７０６０でセンサ出力値を取得する。基準座標系上の指標の画像上での検出位置と、撮影部の位置、センサ計測値、方位方向のドリフト補正値、ωＣＳから計算される指標の画像上での計算位置との誤差が最小になるような、撮影部の位置、方位方向のドリフト補正値φτ、ωＣＳを非線形最適化により求める。
【０１６４】
世界座標系におけるセンサの姿勢をセンサ出力値をＲｗｓτ、方位方向（重力軸まわり）にφτ回転させる回転行列を△Ｒ（φτ）（方位ドリフト誤差補正値）、ωＣＳによって定まる３×３の回転行列Ｒ（ωＳＣ）とすると、基準座標系をカメラ座標系に変換する式は、
【０１６５】
【数５１】
0005726024.tif 000052
となる。
【０１６６】
姿勢センサのカメラ座標系における姿勢ωＣＳは３値ベクトルωＣＳ＝［ξ  ψ  ζ］Ｔとして扱う。姿勢センサのカメラ座標系における姿勢ωＣＳと、ある視点位置（これを識別子τで表す）での撮影部の位置ｔＷＣτ＝［ｘｔτ  ｙｔτ  ｚｔτ］Ｔと，その画像を撮影した際のセンサ計測値の「方位ドリフト誤差の補正値」φτが未知となる。以下では、これらの未知パラメータを３＋４Ｌ次元の状態ベクトル
【０１６７】
【数５２】
0005726024.tif 000053
で記述する。ここでＬは、異なる視点から撮影された画像の総数を表している。
【０１６８】
状態ベクトルｓに適当な初期値を与える。撮影部の位置ｔＷＣτの初期値に関しては、撮影部位置姿勢取得部７０４０より取得することができる。ωＣＳの初期値に関しては、公知の方法としてωＣＳを表すパラメータの値を対話的に増減し、各値の調整を試行錯誤的に行うという方法がある。具体的には、撮影部の位置の初期値と、ωＣＳと、センサ出力値より仮想物体を画像上に投影することができるので、仮想物体の投影座標と現実物体を正確に位置合わせするようにオペレータが何らかの入力手段を介して調整する。また、地磁気センサで大まかな方位を求めてもよい。また、ωＣＳの初期値を求める別の方法が特許文献２に開示されている。まず予め定めた姿勢に基づいた仮想物体を画像表示装置に表示する。次に表示された仮想物体と現実空間とが正しい位置関係になるように、オペレータが目視で確認しながら撮像装置の姿勢を調節する。最後に、その時点における姿勢センサの出力に従って基準座標系におけるセンサ座標系の姿勢とカメラ座標系における姿勢センサの姿勢を算出する。
【０１６９】
また、φτｉの初期値に関しては、ωＣＳの初期値を用いて、特許文献３に示された方法によって、求めた値を利用する。
【０１７０】
第１の実施形態で示した指標管理部１０３０と同様の指標情報が指標管理部７０３０で管理されている。四角形指標Ｐｋの各頂点ｐｋｉの画像座標と配置情報と識別子、及び状態ベクトルｓから全ての指標の頂点に対して画像座標の理論値ｕ＝［ｕｘ，ｕｙ］Ｔを算出する。ここで、画像座標の理論値とは、基準座標系における撮影部の位置および姿勢と、基準座標系における指標の配置情報を基にして計算される指標の撮影画像中に見えるべき座標を指す。
【０１７１】
基準座標系における撮影部の姿勢は、センサ座標系における姿勢を基準座標系における姿勢に変換する座標変換、センサ座標系におけるセンサ自身の姿勢（センサの姿勢計測値）、方位ドリフト誤差の補正値、センサの姿勢を撮影部の姿勢に変換する座標変換（ωＳＣ）から式（２−８）のように算出できる。ある指標に対する理論値ｕ＝［ｕｘ，ｕｙ］Ｔの算出は、状態ベクトルｓを用いて、次式のように表される。
ｕ＝Ｆ（ｓ）  ・・・（２−９）
Ｆは基準座標系からカメラ座標系への変換であるビューイング変換、および透視投影変換を含む関数である。
【０１７２】
全ての指標の頂点に対して、指標の実際の画像座標ｖ＝［ｖｘ，ｖｙ］Ｔと、それに対応する画像座標の理論値ｕ＝［ｕｘ，ｕｙ］Ｔとの誤差△ｕを次式によって算出する。
【０１７３】
△ｕ＝ｖ−ｕ  ・・・（２−１０）
△ｕを最小化するようにｓを最適化する。△ｕは、ｓを補正するベクトル△ｓを用いて、テーラー展開によって一次近似を行うと次式のように表すことができる。
【０１７４】
【数５３】
0005726024.tif 000054
ここで、
【０１７５】
【数５４】
0005726024.tif 000055
とし、Ｊｕｓは、式（２−１０）のｕを状態ベクトルｓで変微分した偏微分係数を各要素に持つ２×（３＋４Ｌ）のヤコビ行列である。
【０１７６】
式（２−１１）は、姿勢センサの姿勢算出に使用すると判定されたＬ枚の画像における１つの頂点に関する関係式である。
【０１７７】
使用すると判定された画像中において検出されたすべての指標が全部でｎ点あるとすると次式を得ることができる。
【０１７８】
【数５５】
0005726024.tif 000056
求めるべき未知パラメータ△ｓを最小二乗法によって求めることができる。解き方については、第１の実施形態と同様であるので省略する。
【０１７９】
ここで、△ｓは（３＋４Ｌ）次元ベクトルであるので、１個以上の正方形指標を２枚の撮影画像上で検出すれば、△ｓを求めることができる。
【０１８０】
算出した補正値△ｓを用いて、次式に従って状態ベクトルｓを補正し、得られた値を新たなｓとする。
【０１８１】
ｓ＋△ｓ→ｓ  ・・・（２−１３）
Σ△ｕが予め定めた閾値より小さいかどうか、あるいは、補正値△ｓが予め定めた閾値より小さいかどうかといった判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルｓを初期値として用いて繰り返し計算を行う。
【０１８２】
計算が収束したと判定されると、得られた状態ベクトルｓに含まれるωＳＣを出力する。また、最新の方位ドリフト誤差補正値を示すパラメータとして、φτを一緒に出力してもよい。
【０１８３】
最後にステップＳ８０７０において校正処理を終了するか否かの判定が行われる。オペレータが、校正処理の終了を指示した場合には、処理を終了させ、校正処理の継続（再校正）を指示した場合には、再び画像を取得する。オペレータは、得られたωＳＣやφτを用いて画像上に描画した仮想物体と現実物体の位置合わせ結果が正しければ、校正処理を終了し、正しくなければ継続するように判定する。
【０１８４】
以上の方法によって、撮影部に装着した姿勢センサの撮影部に対する姿勢を算出するのに適した画像を自動で取得し、利用者の知識やノウハウに依存することなく高精度に姿勢センサの配置情報の計測を行うことができる。
【０１８５】
（第３の実施形態）
第１の実施形態では、計測対象として指標の配置情報または撮影部の位置及び姿勢を求めた。さらに第２の実施形態では、計測対象として３自由度姿勢センサのカメラ座標系における姿勢を求めた。本実施形態では、６自由度位置姿勢センサが規定するセンサ座標系の基準座標系に対する位置及び姿勢及び撮影部に装着した６自由度位置姿勢センサの撮影部に対する位置及び姿勢を未知パラメータとして求める。本実施形態では、第１及び第２の実施形態で述べた指標と同じ指標を用いる。
【０１８６】
図１０は、第３の実施形態における６自由度位置姿勢センサの配置情報を計測する方法を説明するフローチャートである。
【０１８７】
ステップＳ２１０からステップＳ２３０までは、第１の実施形態におけるステップＳ２０１０からステップＳ２０３０までと同様であるため説明を省略する。
【０１８８】
ステップＳ２４０では、未知パラメータの算出に取得された画像を使用するかどうかの判定を行う。判定方法は、第２の実施形態と同様の判定方法であるのでここでは説明を省略する。一方、第１の実施形態と同様の方法で未知パラメータの算出に画像を使用するか否かの判定をすることもできる。
【０１８９】
ステップＳ２６０では、未知パラメータの算出を行う。
【０１９０】
本実施形態では、基準座標系に対するセンサ座標系の位置及び姿勢を表すパラメータｓＷＴと、カメラ座標系に対する６自由度センサのレシーバ座標系の位置及び姿勢を表すパラメータｓＬＴが未知パラメータとなる。基準座標系におけるセンサ座標系の位置をｔＷＴ＝［ｔｘＷＴ  ｔｙＷＴ  ｔｚＷＴ］Ｔ、基準座標系に対するセンサ座標系の姿勢をωＷＴ＝［ωｘＷＴ  ωｙＷＴ  ωｚＷＴ］ＴとするとｓＷＴ＝［ｔｘＷＴ  ｔｙＷＴ  ｔｚＷＴ  ωｘＷＴ  ωｙＷＴ  ωｚＷＴ］Ｔとなる。また、カメラ座標系における６自由度センサのレシーバ座標系の位置をｔＬＴ＝［ｔｘＬＴ  ｔｙＬＴ  ｔｚＬＴ］Ｔ、カメラ座標系に対する６自由度センサのレシーバ座標系の姿勢をωＬＴ＝［ωｚＬＴ  ωｙＬＴ  ωｚＬＴ］ＴとするとｓＬＴ＝［ｔｘＬＴ  ｔｙＬＴ  ｔｚＬＴ  ωｚＬＴ  ωｙＬＴ  ωｚＬＴ］Ｔとなる。よって１２個の未知パラメータを状態ベクトルｓとして表すと、
【０１９１】
【数５６】
0005726024.tif 000057
となる。状態ベクトルｓに適当な初期値を与える。例えば、ユーザが手動で計測したおおよその値を予め入力する。
【０１９２】
第１の実施形態で示した指標と同様の四角形指標Ｐｋの各頂点ｐｋｉの画像座標と配置情報と識別子、及び状態ベクトルｓから全ての指標の頂点に対して画像座標の理論値ｕ＝［ｕｘ，ｕｙ］Ｔを算出する。ここで、ある三次元座標系Ｂに対する三次元の座標系Ａの原点位置を表す三次元ベクトルをｔ、姿勢を表す３×３回転行列をＲとすると、Ａ上での位置がｘＡ（三次元ベクトル）で表される点のＢ上での座標ｘＢ（三次元ベクトル）は、次式のように表される。
【０１９３】
【数５７】
0005726024.tif 000058
【０１９４】
ＲとｔをまとめてＭと表すと、
【０１９５】
【数５８】
0005726024.tif 000059
【０１９６】
となる。
【０１９７】
図１１は、基準座標系に配置された指標のカメラ座標系への変換を表す。基準座標系における６自由度位置姿勢センサのセンサ座標系の位置及び姿勢ｓＷＴをＭＷＴ、６自由度位置姿勢センサの出力値ＭＴＳ、撮影部に装着したカメラ座標系における６自由度位置姿勢センサの位置及び姿勢ｓＬＴをＭＣＳ、基準座標系における指標の配置情報ＭＷＭとする。
【０１９８】
基準座標系に配置された指標をカメラ座標系に変換する行列ＭＣＭは、
ＭＣＭ＝ＭＣＳ・（ＭＴＳ）−１・（ＭｗＴ）−１・ＭｗＭ  ・・・（３−３）
と表される。
【０１９９】
ある指標に対する理論値ｕ＝［ｕｘ，ｕｙ］Ｔの算出は、状態ベクトルｓを用いて、次式のように表される。
ｕ＝Ｆ（ｓ）・・・  （３−１）
Ｆは基準座標系からカメラ座標系への変換であるビューイング変換、および透視投影変換を含む関数である。
【０２００】
指標の実際の画像座標ｖ＝［ｖｘ，ｖｙ］Ｔと、それに対応する画像座標の理論値ｕ＝［ｕｘ，ｕｙ］Ｔとの誤差△ｕを最小化するパラメータを求めればよい。
【０２０１】
△ｕは、ｓを補正するベクトル△ｓを用いて、テーラー展開によって一次近似を行うと次式のように表すことができる。
【０２０２】
【数５９】
0005726024.tif 000060
ここで、
【０２０３】
【数６０】
0005726024.tif 000061
は、ヤコビ行列である。具体的なヤコビ行列の計算方法は省略する。
【０２０４】
ある１つの画像における１つの点に関するヤコビ行列をＪｕｓ１とする。さらに、式（３−２）を未知パラメータ算出に使用すると判定された画像中で検出されたすべての指標の点が全部でｎ点あるとすると、
【０２０５】
【数６１】
0005726024.tif 000062
求めるべき未知パラメータ△ｓを最小二乗法によって求めることができる。解き方については、第１及び第２の実施形態と同様であるので省略する。
【０２０６】
算出した補正値△ｓを用いて、次式に従って状態ベクトルｓを補正し、得られた値を新たなｓとする。
ｓ＋△ｓ→ｓ  ・・・（２−１４）
誤差ベクトル△ｕが予め定めた閾値より小さいかどうか、あるいは、補正値△ｓが予め定めた閾値より小さいかどうかといった判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルｓを初期値として用いて繰り返し計算を行う。計算が収束したと判定されると、撮影部に装着した６自由度センサの基準座標系におけるセンサ座標系の座標変換（位置及び姿勢）及びカメラ座標系における６自由度センサのレシーバ座標系の座標変換（位置及び姿勢）を出力する。
【０２０７】
ステップＳ２７０では、校正処理を終了するか否かの判定が行われる。オペレータが、校正処理の終了を指示した場合には、処理を終了させ、校正処理の継続（再校正）を指示した場合には、再び画像を取得する。オペレータは、得られた状態ベクトルｓを用いて画像上に描画した仮想物体と現実物体の位置合わせ結果が正しければ、校正処理を終了し、正しくなければ継続するように判定する。
【０２０８】
以上の処理によって、６自由度センサの基準座標系に対する６自由度位置姿勢センサが規定するセンサ座標系の位置及び姿勢及びカメラ座標系における６自由度センサのレシーバ座標系の位置及び姿勢を算出するために必要な画像を自動判定して算出することで、利用者の知識やノウハウに依存しない高精度な計測を行うことが可能である。
【０２０９】
（変形例３−１）
なお、第１至乃第３の実施形態においては、最適化演算において非線形関数をテーラー展開し、１次近似で線形化してから補正値を求めることを、繰り返し補正することで最適解を求めるＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法を用いている。しかし、補正値の算出は必ずしもＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法によって行わなくてもよい。例えば公知の非線形方程式の反復解法であるＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法を用いて求めてもよいし、最急降下法を用いても求めてもよい。他の何れの非線形最適化手法を適用しても本発明の本質が損なわれないことは言うまでもない。
【０２１０】
また、統計的に外れ値の影響を軽減させつつ解を求めることで計算を安定化することができるＭ推定などのロバスト推定手法を用いてもよい。
【０２１１】
（第４の実施形態）
第１至乃第３の実施形態では、指標を撮影した画像を用いて未知パラメータを算出するのに必要となる画像を自動で判定するための方法を述べた。
【０２１２】
本実施形態では、撮影部を移動させる領域や経路をディスプレイを通してユーザに提示することで、より簡便に計測を行えるようにする。第１の実施形態では、指標の配置情報算出に入力画像を使用するか否かの判定を行った。それに対して、本実施形態では、指標の配置情報算出に使用可能と判定される撮影エリアまたは撮影位置及び姿勢を前もって計算し、ユーザに提示することで入力画像そのものをよりよいものにする。
【０２１３】
図１２は、本実施形態に係る情報処理装置３００の概略構成を示している。
【０２１４】
画像取得部３１０は、撮影部３０５から画像を取得する。
【０２１５】
指標抽出部３２０は、取得された画像中から指標を抽出する。
【０２１６】
指標管理部３３０は、抽出された指標の、各々の四角形指標Ｐｋｎの識別子ｋｎと各頂点ｐｋｎｉの画像座標ｕＰｋｎｉ、各指標の配置情報を指標情報として管理する。
【０２１７】
撮影部の位置姿勢情報取得部３４０は、画像を撮影した時点の撮影部の概略位置及び姿勢を取得する。
【０２１８】
画像撮影領域算出部３５０は、良好な計測を行うために必要となる画像を撮影可能な領域を算出する。
【０２１９】
画像撮影領域提示部３６０は、画像撮影領域算出部３５０で算出した領域を表示ディスプレイ３６５に提示する。
【０２２０】
画像使用判定部３７０は、指標の配置情報算出に取得された画像を使用するか否かの判定を行う。
【０２２１】
未知パラメータ算出部３８０は、指標の配置情報を未知パラメータとして算出する。
【０２２２】
情報処理装置３００には、撮影部３０５とディスプレイ３６５が接続されている。
【０２２３】
画像取得部３１０、指標抽出部３２０、指標管理部３３０、撮影画像の位置姿勢情報取得部３４０、は第１の実施形態で述べた画像取得部１０１０、指標抽出部１０２０、指標管理部１０３０、撮影部の位置姿勢情報取得部１０４０、と同様であるのでここでは説明を省略する。
【０２２４】
図１３は第４の実施形態における処理の手順を示すフローチャートである。
【０２２５】
ステップＳ４１０からステップＳ４３０までは、第１の実施形態におけるステップＳ２０１０からステップＳ２０３０までと同様であるため説明を省略する。
【０２２６】
ステップＳ４４０では、画像撮影領域を算出する。画像撮影領域の算出方法について述べる。
【０２２７】
図１４は、画像撮影領域算出方法を説明する図である。すでに使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とする。また、第ｍ−１フレームを撮影した時点での撮影部の位置Ｃｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇｍ−１とを結ぶベクトルを
【０２２８】
【数６２】
0005726024.tif 000063
とする。重心位置Ｇｍ−１は計測対象指標の代表位置を表している仮定する。
【０２２９】
次に
【０２３０】
【数６３】
0005726024.tif 000064
と閾値θＴＡＢだけ角をなし、重心位置Ｇｍ−１と結んでできるベクトルを
【０２３１】
【数６４】
0005726024.tif 000065
とし、
【０２３２】
【数６５】
0005726024.tif 000066
を回転軸として
【０２３３】
【数６６】
0005726024.tif 000067
を回転させてつくる無限遠に広がる領域Ｖを考える。領域Ｖの以外の領域を
【０２３４】
【数６７】
0005726024.tif 000068
で表す。撮影位置が領域
【０２３５】
【数６８】
0005726024.tif 000069
であれば、第ｍ−１フレームと異なる視点から撮影していることを意味し、未知パラメータ算出に十分な視差を持つ画像を撮影できる領域であることを意味する。よって領域
【０２３６】
【数６９】
0005726024.tif 000070
における撮影を次に撮影すべき画像撮影領域とする。
【０２３７】
次に、
【０２３８】
【数７０】
0005726024.tif 000071
と大きさの比α１とα２を持つベクトルをそれぞれ
【０２３９】
【数７１】
0005726024.tif 000072
として次式によって求める。
【０２４０】
【数７２】
0005726024.tif 000073
ここでα１＜α２とする。
【０２４１】
【数７３】
0005726024.tif 000074
領域Ｖは無限遠に広がる領域であったが、領域を限定することも意味を持つ。なぜなら第ｍ−１フレームで撮影した視点位置から計測対象の代表位置に近づいて撮影すれば、画像上で検出される指標の検出精度が向上するため、未知パラメータの計測精度も向上するからである。一方、第ｍ−１フレームで撮影した視点位置から計測対象の代表位置に対して遠ざかれば、画像上における指標の検出精度は低下するが、撮影される領域が広がるため新たに指標を検出する可能性を持つ。そこで領域Ｖを次に示すように更新する。まず、
【０２４２】
【数７４】
0005726024.tif 000075
を回転軸として
【０２４３】
【数７５】
0005726024.tif 000076
を回転させてつくる領域をＶ１とし、
【０２４４】
【数７６】
0005726024.tif 000077
を回転軸として
【０２４５】
【数７７】
0005726024.tif 000078
を回転させてつくる領域をＶ２とする。Ｖ２‐Ｖ１を領域Ｖとして更新する。領域Ｖ以外の領域を
【０２４６】
【数７８】
0005726024.tif 000079
とし、領域
【０２４７】
【数７９】
0005726024.tif 000080
であれば次に撮影すべき画像撮影領域とする。以降、
【０２４８】
【数８０】
0005726024.tif 000081
を画像撮影領域とする。
【０２４９】
ステップＳ４５０では、ステップＳ４４０にて算出した画像撮影領域をもとに画像撮影領域をユーザに提示する。
【０２５０】
画像撮影領域をユーザに提示する提示方法について説明する。図１５（Ａ）は、画像撮影領域をユーザに提示する一例を説明する図である。
【０２５１】
取得された画像を撮影した時点での撮影部の位置及び姿勢は、すでに撮影部位置姿勢取得部３４０で取得されているので、図１５（Ａ）のように撮影部を最も近い画像撮影領域
【０２５２】
【数８１】
0005726024.tif 000082
へ移動するように文字や矢印で提示する。
【０２５３】
ユーザは、この仮想撮影可能エリアまたは仮想撮影部の撮影位置及び姿勢の提示を視覚的に認識することにより、現実空間のどこから撮影すべきかを確認する。
【０２５４】
このように提示することで未知パラメータを算出するために十分な画像を取得できれば、第１の実施形態に示す方法で、未知パラメータを算出することができる。
【０２５５】
（変形例４−１）
本実施形態では、良好な計測を行うために、次に撮影すべき画像撮影領域を算出し、移動を促す文字や矢印により、ディスプレイを通してユーザに提示した。しかし、提示するのは、移動を促す文字や矢印ではなくてもよい。図１４に示すような画像撮影領域自身や、図１５の（Ｂ）に示すような次に撮影すべき撮影部の位置及び姿勢や向きを、仮想的なＣＧ（コンピュータグラフィック画像）を重畳描画して提示してもよい。提示方法は、次に撮影すべき位置や方向、またはまだ撮影可能なエリアを提示できれば、パターン画像であってもよいし、線分で表示した３次元ＣＧ画像でもよいし、文字でもよい。
【０２５６】
本実施形態では、最も近い画像撮影領域
【０２５７】
【数８２】
0005726024.tif 000083
へ移動するように提示したが、第ｍ−２フレームから第ｍ−１フレームへの動きベクトルを計算し、動きベクトルの指す方向に近い画像撮影領域
【０２５８】
【数８３】
0005726024.tif 000084
へ移動するように提示してもよい。
【０２５９】
（第５の実施形態）
第２の実施形態では、指標を撮影した画像を用いて未知パラメータを算出するのに必要となる画像を自動で判定するための方法を述べた。
【０２６０】
本実施形態では、撮影部を移動させる領域や経路をディスプレイを通してユーザに提示することで、より簡便に計測を行えるようにする。第２の実施形態では、撮影部に装着した姿勢センサのカメラ座標系における姿勢の算出に画像を使用するかどうかの判定を行った。それに対して、本実施形態では、未知パラメータである撮影部に装着した姿勢センサのカメラ座標系における姿勢の算出に使用可能と判定される撮影エリアまたは撮影位置及び姿勢を前もって計算し、ユーザに提示することで入力画像そのものをよりよいものにする。
【０２６１】
図１６は、本実施形態に係る情報処理装置５００の概略構成を示している。
【０２６２】
画像取得部５１０は、撮影部５０５から画像を取得する。
【０２６３】
指標抽出部５２０は、取得された画像中から指標を抽出する。
【０２６４】
指標管理部５３０は、抽出された指標の、各々の四角形指標Ｐｋｎの識別子ｋｎと各頂点ｐｋｎｉの画像座標ｕＰｋｎｉ、各指標の配置情報を指標情報として管理する。
【０２６５】
撮影部の位置姿勢情報取得部５４０は、画像を撮影した時点の撮影部の概略位置及び姿勢を取得する。
【０２６６】
画像撮影領域算出部５５０は、良好な計測を行うために必要となる画像を撮影可能な領域を算出する。
【０２６７】
画像撮影領域提示部５６０は、画像撮影領域算出部５５０で算出した領域を表示ディスプレイ５６５に提示する。
【０２６８】
画像使用判定部５７０は、未知パラメータ算出に取得された画像を使用するか否かの判定を行う。
【０２６９】
未知パラメータ算出部５８０は、撮影部に装着した姿勢センサのカメラ座標系における姿勢を未知パラメータとして算出する。
【０２７０】
情報処理装置５００には、撮影部５０５とディスプレイ５６５が接続されている。
【０２７１】
画像取得部５１０、指標抽出部５２０、指標管理部５３０、撮影画像の位置姿勢情報取得部５４０、は第２の実施形態で述べた画像取得部７０１０、指標抽出部７０２０、指標管理部７０３０、撮影部の位置姿勢情報取得部７０４０、と同様であるのでここでは説明を省略する。
【０２７２】
図１７は第４の実施形態における処理の手順を示すフローチャートである。
【０２７３】
ステップＳ６１０からステップＳ６３０までは、第２の実施形態におけるステップＳ８０１０からステップＳ８０３０までと同様であるため説明を省略する。
【０２７４】
ステップＳ６４０では、画像撮影領域を算出する。画像撮影領域の算出方法について述べる。
【０２７５】
すでに使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とする。まず、すでに使用すると判定された第ｊフレーム（ｊ＝１、２、・・・、ｍ−１）を撮影した時点での視軸ベクトルをｔｊとする。次にｔｊの視点位置がある任意の座標系Ａ’の原点Ａ０を通るように並行移動したベクトルを
【０２７６】
【数８４】
0005726024.tif 000085
とする。次にある座標系Ａ’の原点Ａ０に関して
【０２７７】
【数８５】
0005726024.tif 000086
と角度差θＴｍｊだけ角をなすベクトルを
【０２７８】
【数８６】
0005726024.tif 000087
とする。ここで角度差θＴｍｊは閾値である。
【０２７９】
【数８７】
0005726024.tif 000088
を回転軸として
【０２８０】
【数８８】
0005726024.tif 000089
を回転させて領域Ｖｊをつくり、領域Ｖｊ以外の領域を
【０２８１】
【数８９】
0005726024.tif 000090
で表す。座標系Ａ’に撮影部の視軸ベクトルを並行移動した際に、領域
【０２８２】
【数９０】
0005726024.tif 000091
内であれば、第ｊフレームと異なる姿勢の視点から撮影していることを意味する。よって視軸ベクトルがｊ＝１、２、・・・、ｍ−１においてすべて領域
【０２８３】
【数９１】
0005726024.tif 000092
内に含まれる撮影領域を次に撮影すべき画像撮影領域とする。
【０２８４】
しかし、視軸ベクトルが領域Ｖｊ内にあっても、視軸回りで回転すれば異なる姿勢からの撮影となるため画像撮影領域とすることができる。まずｊ＝１、２、・・・、ｍ−１の中で視軸ベクトルが領域Ｖｊ内にある画像をすべて選択する。選択された画像Ｋ枚の中で、第ｋフレーム（ｋ＝１、２、・・・Ｋ）の視軸ベクトルと直交するベクトルｖｋを、カメラ座標系でのｙ軸方向のベクトルｔｙ＝［０  １  ０］ｔとおき、第ｋフレームを撮影した時点での撮影部の姿勢Ｒｋから次式のように求める。
ＶＫ＝Ｒｊ・Ｔｙ  ・・・（５−１）
次にｖｋと視軸ベクトル回りの角度差の閾値γＴｍｋ以上の視軸直交ベクトルｖｍを持つ姿勢であれば、視軸回りで回転しているので異なる姿勢からの撮影となり、次に撮影すべき画像撮影領域とすることができる。したがって、視軸ベクトルと直交するベクトルｖｋとの視軸ベクトル回りの角度差がγＴｍｋ以内の視軸ベクトルと直交するベクトルを持つ領域をＷｋとし、領域Ｗｋ以外の領域を
【０２８５】
【数９２】
0005726024.tif 000093
とする。視軸ベクトルが領域Ｖｊ内にあって、かつ視軸ベクトルに直交するベクトルｖｍが、領域
【０２８６】
【数９３】
0005726024.tif 000094
にあるときの撮影位置姿勢を次に撮影すべき画像撮影領域とする。
【０２８７】
ステップＳ６５０では、ステップＳ６４０にて算出した画像撮影領域をもとに画像撮影領域をユーザに提示する。
【０２８８】
画像撮影領域をユーザに提示する提示方法については、第４の実施形態と同様であるので説明は省略する。
【０２８９】
ユーザは、この仮想撮影可能エリアまたは仮想撮影部の撮影位置及び姿勢の提示を視覚的に認識することにより、現実空間のどこから撮影すべきかを確認する。
【０２９０】
このように提示することで未知パラメータを算出するために十分な画像を取得できれば、第２の実施形態に示す方法で、未知パラメータを算出することができる。
【０２９１】
（変形例５−１）
本実施形態では、未知パラメータは撮影部に装着した姿勢センサの姿勢として、未知パラメータ算出のために必要となる画像の撮影領域の提示をおこなった。しかし、計測対象を６自由度センサとした場合にも同様の画像撮影領域の算出方法が利用でき、ユーザに画像撮影領域を提示することができる。そして第３の実施形態で示したように、撮影部に装着した６自由度センサのレシーバの位置姿勢、及び６自由度センサの基準座標系における位置及び姿勢を未知パラメータとして算出することができる。
【０２９２】
（変形例５−２）
第１至乃第４の実施形態において、未知パラメータを算出するために必要な画像を自動で取得していた。しかし、オペレータが必要であると判断した場合には、例えばキーボードを押すなど何らかの入力装置を介して、手動により画像を取得してもよい。
【０２９３】
（第６の実施形態）
本実施形態に係る情報処理装置は、ユーザが複合現実感を体験しつつ、第１至乃第５の実施形態に記載の未知パラメータを算出するために必要な画像をオンラインで取得し、得られた算出結果を反映するものである。また、本実施形態に係る情報処理装置は、ビデオシースルー（Ｖｉｄｅｏ  Ｓｅｅ−Ｔｈｒｏｕｇｈ）型のヘッドマウントディスプレイ（ＨＭＤ）を用いて、未知パラメータを算出するために必要となる画像の撮影領域をユーザへと提示する。
【０２９４】
撮影部で取得した画像を撮影した時点での撮影部の概略位置及び姿勢が、第１至乃第５の実施形態に記載の撮影部位置姿勢取得部で取得される。得られた撮影部の概略位置及び姿勢と、撮影部の既知の内部パラメータにより、取得した画像に仮想物体を重畳描画することができる。
【０２９５】
未知パラメータに撮影部の内部パラメータが含まれる場合には、撮影部の内部パラメータの概略値と、得られた撮影部の概略位置及び姿勢とを用いて仮想物体を重畳描画する。そして、未知パラメータ算出に使用すると判定された複数の画像を用いて、第１至乃第４の実施形態におけるその他の未知パラメータが算出されると、概略値であった未知パラメータが正しく求まるので、現実世界と仮想物体が正しく重畳される。
【０２９６】
（変形例６−１）
本実施形態では、ビデオシースルー（Ｖｉｄｅｏ  Ｓｅｅ−Ｔｈｒｏｕｇｈ）型のヘッドマウントディスプレイ（ＨＭＤ）に未知パラメータを算出するために必要となる画像の撮影領域を提示した。しかし、ユーザに情報を提示するディスプレイはこれに限らない。例えば、ＣＲＴや液晶ディスプレイであってもよいし、光学シースルー（Ｏｐｔｉｃａｌ  Ｓｅｅ−Ｔｈｒｏｕｇｈ）型のヘッドマウントディスプレイであってもよい。公知のいずれのディスプレイを用いても本発明の本質が損なわれないことはいうまでもない。
【０２９７】
（変形例６−２）
なお、第１至乃第５における未知パラメータを算出するための計算と、一般的な複合現実感を体験する際の計算を分けて計算してもよい。前者は、第１至乃第５における未知パラメータを算出するために必要な画像をオンラインで判定し、未知パラメータを算出する計算である。後者は、ユーザが複合現実感を体験時にする際に一般的に計算される撮影部の位置及び姿勢の算出やＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）の描画などの計算である。
【０２９８】
上記の計算を複数スレッドに分け、マルチコアと呼ばれる複数個のＣＰＵコアをもつコンピュータを用いて計算することで、計算コストの比較的高い未知パラメータの算出を行いつつ、ユーザはリアルタイムで複合現実感を体験することができる。
【０２９９】
（第７の実施形態）
第２の実施形態では、撮影部に装着した姿勢センサのカメラ座標系における姿勢を算出する目的において、指標の観測によって求めた撮影部の位置姿勢に基づいて姿勢の算出に使用する画像を自動で判定した。本実施形態では、姿勢センサのカメラ座標系における姿勢を算出するために使用する画像を、姿勢センサの出力値に基づいて自動で判定する。
【０３００】
図１８は、本実施形態に係る情報処理装置１００００の概略構成を示している。情報処理装置１００００には撮影部１１０００が接続されており、指標が配置された空間の画像を情報処置装置１００００に入力する。また、撮影部１１０００には姿勢センサ１２０００が装着されており、撮影部１１０００が画像を撮影するのと同時刻での姿勢センサの計測値が情報処理装置１００００に送られる。
【０３０１】
画像取得部１００１０は、撮影部１１０００から画像を取得する。
【０３０２】
指標抽出部１００２０は、取得された画像中から指標を抽出する。指標管理部１００３０は、抽出された指標の、各々正方形状指標Ｐｋｎの識別子ｋｎと各頂点ｐｋｎｉの画像座標ｕＰｋｎｉ、各指標の配置情報を指標情報として管理する。
【０３０３】
センサ出力値取得部１００４０では、画像が撮影するのと同時刻でのセンサ出力値を取得する。
【０３０４】
画像使用判定部１００５０は、画像取得部１００１０を介して入力された画像を、姿勢センサ１２０００のカメラ座標系における姿勢の算出に使用するかどうかの判定を行う。
【０３０５】
姿勢センサの位置姿勢算出部１００６０は、画像使用判定部１００５０において使用すると判定された画像を用いて、姿勢センサ１２０００のカメラ座標系における姿勢を算出する。
【０３０６】
画像取得部１００１０、指標抽出部１００２０、指標管理部１００３０、センサ出力取得部１００４０は、第２の実施形態で述べた画像取得部７０１０、指標抽出部７０２０、指標管理部７０３０、センサ出力値取得部７０６０、と同様であるのでここでは詳細な説明を省略する。
【０３０７】
図１９は本実施形態における姿勢センサ１２０００のカメラ座標系に対する配置情報を算出する手順を示すフローチャートである。
【０３０８】
ステップＳ１０１１０とステップＳ１０１２０は、第２の実施形態におけるステップＳ８０１０とステップＳ８０２０と同様であるため説明を省略する。
【０３０９】
ステップＳ１０１３０では、センサ出力値取得部１００４０が、姿勢センサ１２０００からセンサ出力値を取得する。
【０３１０】
ステップＳ１０１４０では、画像使用判定部１００５０が、ステップＳ１０１３０で入力したセンサ出力値をもとに、姿勢センサ１２０００のカメラ座標系における姿勢の算出に、取得された画像を使用するかどうかの判定を行う。以下、ステップＳ１０１４０の処理の詳細を述べる。
【０３１１】
図２０は、ステップＳ１０１４０において、姿勢センサ１２０００のカメラ座標系における姿勢の算出に、取得された画像を使用するかどうかの判定の手順を示すフローチャートである。
【０３１２】
ステップＳ１０２１０は、入力画像中で指標が検出されているかどうかを判定し、検出されていればＳ１０２２０へ進み、検出されていなければＳ１０２４０へ進む。
【０３１３】
ステップＳ１０２２０は、センサ出力値取得部１００４０で取得されたセンサ出力値を入力する。
【０３１４】
ステップＳ１０２３０では、姿勢センサ１２０００のカメラ座標系における姿勢の算出に、当該入力画像を使用するかどうかを判定するための評価量を算出する。
【０３１５】
一般に、ジャイロセンサのみによって得られる角度情報は、ある時刻の姿勢に対する姿勢の相対的な変化である。ジャイロセンサによって構成される姿勢センサは、加速度センサによって地球の重力方向を計測することで、傾斜角（ピッチ角及びロール角）については重力方向を基準とした絶対角を得ることができる。一方、重力軸回りの回転である方位角に関しては、絶対的なリファレンスを得ることが出来ず、ドリフト誤差を補正することができないため、傾斜角に比べて精度が低いという性質を有している。そこで画像中の指標を用いて、方位角（ヨー角）のドリフト誤差補正値と撮影部に対する姿勢センサの姿勢とを併せて推定する。撮影した画像をその演算に使用するかどうかの判定は、姿勢センサの出力値がある閾値よりも変化したかどうか、つまり、十分に異なる姿勢で撮影されたかどうかによって行う。
【０３１６】
十分に異なる姿勢かどうかを判定する評価量の算出方法について以下で述べる。
【０３１７】
すでに使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とし、取得された画像を第ｍフレームとする。
【０３１８】
画像を撮影した時点でのセンサ計測値Ｒｍと、すでに使用すると判定された第ｊフレーム（ｊ＝１，２，・・・、ｍ−１）を撮影した時点でのセンサ計測値Ｒｊとの角度差を求めることを考える。まず、この二つの姿勢の差異、すなわち、△Ｒ＝Ｒｍ・Ｒｊ−１を求め、３×３の回転変換行列である△Ｒからオイラー角θへと変換する。角度差をｘ軸、ｙ軸、ｚ軸の各軸まわりの角度であるオイラー角θ＝［αβγ］によって表すと、次のような関係になる。
【０３１９】
【数９４】
0005726024.tif 000095
さらに、姿勢センサの方位角方向のドリフトを考慮して、ドリフト成分を含んでいるであろう方位角βを除外し、傾斜角成分のみを抽出する。すなわち、θの方位角成分を０とした傾斜角成分のみのオイラー角表現θ‘＝［α０γ］にを得て、得られたθ’を回転軸回転角表現に変換した際の回転角△φを求め、これを評価量とする。
【０３２０】
ステップＳ１０２４０では、求めた評価量をもとに取得された画像を使用するかどうかの判定を行う。すでに使用すると判定された画像（ｊ＝１、２、・・・Ｊ）すべてに対して、
△φｍｊ＞φｔｈｒｅｓｈｏｌｄ  ・・・（７−４）
であるとき、その取得された画像はまだ撮影されていない姿勢で撮影された画像であるとして、その画像を使用すると判定する。ここでφｔｈｒｅｓｈｏｌｄは閾値である。
【０３２１】
ステップＳ１０２５０では、ステップＳ１０２４０で判定された判定結果を、姿勢センサの姿勢算出部１００６０へと出力する。
【０３２２】
ステップＳ１０１５０は、ステップＳ１０１４０で姿勢センサの姿勢算出に使用すると判定され、かつすでに使用すると判定された画像枚数ｍが、
【０３２３】
【数９５】
0005726024.tif 000096
のときは、ステップＳ１０１６０へ進む。一方、ステップＳ１０１４０で使用されないと判定された場合は、再びステップＳ１０１１０へ戻る。
【０３２４】
ステップＳ１０１６０は、画像使用判定部１００５０で使用すると判定された複数の視点位置で撮影した画像を用いて、姿勢センサの姿勢算出部１００６０が姿勢センサ１２０００のカメラ座標系における姿勢ωＣＳを算出する。撮影部の位置、センサ計測値、方位方向のドリフト補正値φτ、およびωＣＳから計算される指標の画像上での計算位置と、指標の画像上での検出位置との誤差が最小になるような、撮影部の位置、方位方向のドリフト補正値φτ、およびωＣＳを非線形最適化により求める。この導出工程は第２の実施形態で説明したＳ８０６０と同様であるので、ここでは説明を省略する。
【０３２５】
最後にステップＳ１０１７０において校正処理を終了するか否かの判定が行われる。オペレータが、校正処理の終了を指示した場合には、処理を終了させ、校正処理の継続（再校正）を指示した場合には、再び画像を取得する。オペレータは、得られたωＳＣやφτを用いて画像上に描画した仮想物体と現実物体の位置合わせ結果が正しければ、校正処理を終了し、正しくなければ継続するように判定する。
【０３２６】
以上の方法によって、撮影部に装着した姿勢センサの撮影部に対する姿勢を算出するのに適した画像を自動で取得し、利用者の知識やノウハウに依存することなく高精度に姿勢センサの配置情報の計測を行うことができる。
【０３２７】
（変形例７−１）
本実施形態では、画像を使用するかどうかの判定のための評価量を算出する際に方位角成分を除外し、傾斜角成分のみを用いて判定した。しかし、姿勢センサがドリフト誤差の影響を無視できるような比較的高精度な計測を行うことができるのであれば、方位角成分を除外せずに評価量を算出して、撮影部に装着した姿勢センサの配置情報を算出するための画像を判定してもよい。
【０３２８】
また、撮影部に装着した姿勢センサの配置情報を算出する際に、方位角ドリフトを無視する場合の未知パラメータについて以下で説明する。
【０３２９】
世界座標系における鉛直上方向（地球の重力の反対方向）を表すベクトルｌ＝（ｌ１，ｌ２，ｌ３）と，センサ座標系と世界座標系との間の方位方向の相違角（重力方向の軸（重力軸）周りの回転角）を表す方位補正角φＷＴとする。ここで、センサ座標系とはセンサ自身が定義する座標系であり、センサ出力値はセンサ座標系における姿勢を表している。このため、センサ座標系における計測対象物体の姿勢を世界座標系における姿勢に変換する座標変換を行う必要がある。この座標変換を方位補正角φＷＴによって行う方法を、本出願人は、特開２００５−１０７２４８で提案している。
【０３３０】
姿勢センサのカメラ座標系における姿勢ωＣＳは３値ベクトルωＣＳ＝［ξ  ψ  ζ］Ｔとして扱う。姿勢センサのカメラ座標系における姿勢ωＣＳと、方位補正角φＷＴと、ある視点位置（これを識別子τで表す）での撮影部の位置ｔＷＣτ＝［ｘｔτ  ｙｔτ  ｚｔτ］Ｔとが未知となる。これらの未知パラメータを４＋３Ｌ次元の状態ベクトル
【０３３１】
【数９６】
0005726024.tif 000097
で記述する。ここでＬは、異なる視点から撮影された画像の総数を表している。
【０３３２】
上記で示した未知パラメータｓを、第２の実施形態と同様の手法で求めることができる。
【０３３３】
（他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０３３４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０３３５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図１】
0005726024.tif 000098
【図２】
0005726024.tif 000099
【図３】
0005726024.tif 000100
【図４】
0005726024.tif 000101
【図５】
0005726024.tif 000102
【図６】
0005726024.tif 000103
【図７】
0005726024.tif 000104
【図８】
0005726024.tif 000105
【図９】
0005726024.tif 000106
【図１０】
0005726024.tif 000107
【図１１】
0005726024.tif 000108
【図１２】
0005726024.tif 000109
【図１３】
0005726024.tif 000110
【図１４】
0005726024.tif 000111
【図１５】
0005726024.tif 000112
【図１６】
0005726024.tif 000113
【図１７】
0005726024.tif 000114
【図１８】
0005726024.tif 000115
【図１９】
0005726024.tif 000116
【図２０】
0005726024.tif 000117