(57)【特許請求の範囲】
【請求項１】
現実空間に配置されている１以上の指標が映された撮影画像を撮像装置より取得する取得手段と、
取得した前記撮影画像に映された前記指標の内容を解析する解析手段と、
前記撮影画像が、前記解析された指標、当該指標の配置情報または当該指標と前記撮影装置との位置関係を校正するための校正用画像に該当するかについて、予め定められた複数の判定条件のそれぞれとの適合度合いを判定する複数の判定手段と、
繰り返し取得した複数の前記撮影画像に基づいて前記撮像装置が静止している状態を検出するとともに、その状態の継続時間が予め定めた所定時間に達したかどうかを判定する状態判定手段と、
前記複数の判定手段の判定結果を表す第１判定情報と前記状態判定手段の判定結果を表す第２判定情報とを視覚的に提示する提示手段とを有し、
前記撮像装置は撮影中の画像を表示可能な表示部を備えるものであり、
前記提示手段は、前記第１判定情報を表示するための複数の領域と、前記第２判定情報を表示するための状態領域とが割り当てられたグラフを、前記撮影中の画像と共に前記表示部に表示させる、情報処理装置。
【請求項２】
前記取得手段は、前記撮影画像の取得を所定周期で繰り返し、
前記解析手段は、前記撮影画像が取得される度に前記解析を繰り返し、
前記複数の判定手段のそれぞれは、前記指標情報が特定される度に前記判定を繰り返し、
前記提示手段は、前記複数の判定手段による判定が行われる度に前記第１判定情報を提示するように構成されている、
請求項１記載の情報処理装置。
【請求項３】
前記状態領域は、一定時間分の長さを有する領域であり、前記静止している状態が継続されるにつれて大きくなる動画像が該状態領域内に表示される、
請求項１記載の情報処理装置。
【請求項４】
前記状態領域における動画像が前記一定時間分の長さに達したことを契機に前記撮像装置に対して撮影のトリガを与える出力手段をさらに有する、
請求項３記載の情報処理装置。
【請求項５】
前記グラフが円環状または複数の同心円環状のグラフである、
請求項１ないし４のいずれか１項記載の情報処理装置。
【請求項６】
前記グラフが前記表示部の画面端部付近に表示される１つ以上の帯状のグラフである、
請求項１ないし４のいずれか１項記載の情報処理装置。
【請求項７】
前記複数の領域には、前記複数の判定条件のそれぞれとの適合度合いを表す前記第１判定情報が表示される、
請求項１ないし６のいずれか１項記載の情報処理装置。
【請求項８】
前記複数の判定手段は、前記撮影画像に映された指標の数を含む指標情報が当該指標の校正を可能にするものかどうかについて判定する第１判定手段を含む、
請求項１記載の情報処理装置。
【請求項９】
前記第１判定手段は、前記撮影画像から２つ以上の指標の指標情報が特定されること、または、前記指標情報が前記撮像装置の位置姿勢の同定を可能にする情報を含むことを前記予め定めた判定条件として含む、
請求項８記載の情報処理装置。
【請求項１０】
前記複数の判定手段は、前記指標情報が既存のものと重複するかどうかを判定する第２判定手段を含む、
請求項１記載の情報処理装置。
【請求項１１】
前記第２判定手段は、前記指標情報が前記撮像装置の位置姿勢の同定を可能にする情報を含み、かつ、前記位置姿勢が既存の指標情報から同定されるものと重複することを前記予め定めた判定条件として含む、
請求項１０記載の情報処理装置。
【請求項１２】
前記複数の判定手段は、前記指標情報が前記校正を有意にするものかどうかを判定する第３判定手段を含む、
請求項１項記載の情報処理装置。
【請求項１３】
前記第３判定手段は、（１）前記撮影画像から解析された指標の数の、既に校正された指標の数に対する割合、（２）前記指標情報に基づいて同定された前記撮像装置の位置姿勢と既に特定されている前記撮像装置の位置姿勢とに基づいて算出される撮像間相対角（３）前記同定された前記撮像装置の位置姿勢と解析された指標の重心点との距離に対する前記撮像装置の過去の位置姿勢と過去に解析された指標の重心点との距離の比、の少なくともいずれかを算出する算出手段を有し、算出結果が予め定められた閾値を超えることを前記判定条件として含む、
請求項１２記載の情報処理装置。
【請求項１４】
前記複数の判定手段のいずれかにより前記撮影画像が前記校正用画像に該当すると判定された場合に、当該撮影画像を当該校正用画像として保持する保持手段と、
保持された校正用画像に基づいて当該校正用画像に映された指標の校正を行う校正手段とをさらに有する、
請求項１ないし１３のいずれか１項記載の情報処理装置。
【請求項１５】
現実空間に配置されている１以上の指標が映された撮影画像を撮像装置から取得する情報処理装置が実行する方法であって、
取得した前記撮影画像に映された指標を解析し、
解析した前記指標、当該指標の配置情報または当該指標と前記撮影装置との位置関係を校正するための校正用画像に該当するかについて、予め定めた判定条件との適合度合いを判定し、前記判定結果との適合度合いを表す判定情報を、前記適合度合いに応じてその表示態様が変化するグラフにより前記撮像装置へ提示するとともに前記撮影画像が前記校正用画像に該当するときは前記判定情報を非表示とする、
指標校正のための撮影案内方法。
【請求項１６】
コンピュータを、請求項１乃至請求項１４のいずれか１項記載の情報処理装置として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間に配置されている指標が映された撮影画像を解析してその指標を校正する情報処理装置に関する。
【背景技術】
【０００２】
現実空間に仮想空間の情報を重ねあわせてユーザに提示する複合現実感システムが知られている。現実空間は自然界に存在する物体や景観などである。他方、仮想空間の情報は、例えばコンピュータグラフィックスにより描画された仮想物体や文字情報などである。複合現実感システムの一つの実現方式として、ビデオシースルー方式と呼ばれる技術がある。ビデオシースルー方式の複合現実感システムでは、撮像装置で撮影された現実空間の画像に、撮像装置の位置姿勢（position andorientation）に応じて生成した仮想空間の画像を重畳描画した画像を表示する。「位置姿勢」は、位置成分と方向成分とを包含する６次元情報であり、行列式などで計算される。
【０００３】
ユーザが複合現実感システムを違和感なく利用できるようにするには、撮影時の現実空間の画像と仮想空間の画像との間の位置姿勢を正確に合わせること、すなわち校正の精度が重要となる。校正に関し、非特許文献１には、現実空間に存在する物体などに配置したマーカ画像などの「指標」を用いて位置姿勢を調整する手法が開示されている。この手法では、指標の三次元座標を定めておき、撮影画像に映された指標の座標と予めその指標において定めた三次元座標との対応関係を利用して、撮像装置の位置姿勢を求めている。
【０００４】
指標を利用して位置姿勢を校正する手法では、校正の基準となる三次元座標系（以下、「基準座標系」という）における指標の配置情報を予め求めておく必要がある。指標の配置情報は、定規や分度器、測量器等を用いて手作業で計測することが可能である。しかし、手作業による計測には手間がかかる。また、精度を高めることができない。そのため、撮影画像を利用して簡便かつ高精度に指標の配置情報を求めることが従来から行われてきた。
【０００５】
指標の配置情報が三次元空間中の一点の位置で表される指標（このような指標を以下、「点指標」という）の配置情報は、バンドル調整法によって求めることができる。バンドル調整法では、様々な方向から撮影した多数の撮影画像をもとに、三次元空間中の点群の位置と各撮影画像を撮影した際の撮像装置の位置姿勢を同時に求める。具体的には、撮影画像に映された点の画像上の位置を第１位置とする。また、三次元空間における点の位置および撮像装置の位置姿勢から計算される点の画像上での位置を第２位置とする。そして、第１位置と第２位置との誤差の和が最小になるように点群の位置および撮像装置の位置姿勢を最適化する。一方、正方形など二次元形状を持つ指標のように、配置情報が基準座標系における位置姿勢で表される指標（このような指標を「二次元指標」という）の場合には、点群の位置を求める手法であるバンドル調整法を直接適用することができない。
【０００６】
非特許文献２には、二次元指標と点指標の配置情報をバンドル調整法と同様の手法で求める手法が開示されている。この手法では、位置合わせに利用する指標の配置情報を計測するために、様々な方向から撮影した多数の撮影画像を用いる。この場合、高い精度で指標の配置情報を計測するためには、指標を撮影する位置姿勢をなるべく分散させるなど、撮影者の経験やノウハウが必要となる。特許文献１では、撮影者の経験やノウハウへの依存を要することなく、撮像装置から入力される画像列から校正に適切な画像を自動判定して取得することが開示されている。
【０００７】
さらに、効果的に撮像装置を移動させるために、画像または映像上に撮像装置の位置姿勢をリアルタイムで表示する手法が特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２９８０号公報
【特許文献２】特許第４７５７１４２号（自社特許）
【非特許文献】
【０００９】
【非特許文献１】佐藤， 田村：“ 複合現実感における位置合わせ手法”，画像の認識・理解シンポジウム（ＭＩＲＵ２００２）論文集Ｉ，情報処理学会シンポジウムシリーズ，ｖｏｌ．２００２，Ｎｏ．１１，ｐｐ．Ｉ．６１−Ｉ．６８，２００２．
【非特許文献２】小竹，内山，山本：“マーカー配置に関する先験的知識を利用したマーカーキャリブレーション方法，日本バーチャルリアリティ学会論文誌，Ｖｏｌ．１０，Ｎｏ．３，ｐｐ．４０１−４１０，２００５．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
撮像装置の位置姿勢と現実空間の物体との位置関係を計測するためには、現実空間に存在する物体に配置された指標の配置情報を撮像装置で撮影した画像から解析する必要がある。特許文献１および特許文献２に開示された技術を用いることにより、撮影者は、指示された方向に撮像装置を移動させることにより、一つの物体に対してさまざまな方向から画像を取得することができる。ただし、特許文献１および特許文献２に開示された技術は、撮像装置の位置姿勢が指示されるのは、指標から撮像装置の位置姿勢などを特定できる状態になった時点以降である。撮像装置の起動直後から撮影の位置姿勢を指示できるものではない。そのため、指標の校正アルゴリズムを知らない撮影者にとっては、どのような手順で校正に用いる画像を撮影したら良いかが分からない場合がある。
【００１１】
また、指標から撮像装置の位置姿勢を特定できない状況では、特許文献１および特許文献２に開示された技術では、撮影者に対して位置姿勢に関する情報を提示することができない。そのため、撮影者がどのような原因で指示が受けられないのかを知る方法がない。また、指標を撮影するタイミングをシステムが決定する場合、撮影者が撮像装置をどの位置姿勢にしておいたら良いかを知ることができなかった。
【００１２】
そこで本発明の目的は、例えば撮像装置の適切な位置姿勢が判明しない状態で指標の校正に用いる画像を撮影する際に、現在の撮影装置の位置姿勢がどの程度適切なのかを撮影者が知得できるようにする技術を提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、現実空間に配置されている１以上の指標が映された撮影画像を撮像装置より取得する取得手段と、取得した前記撮影画像に映された前記指標の内容を解析する解析手段と、前記撮影画像が、前記解析された指標、当該指標の配置情報または当該指標と前記撮影装置との位置関係を校正するための校正用画像に該当するかについて、予め定められた複数の判定条件のそれぞれとの適合度合いを判定する複数の判定手段と、繰り返し取得した複数の前記撮影画像に基づいて前記撮像装置が静止している状態を検出するとともに、その状態の継続時間が予め定めた所定時間に達したかどうかを判定する状態判定手段と、前記複数の判定手段の判定結果を表す第１判定情報と前記状態判定手段の判定結果を表す第２判定情報とを視覚的に提示する提示手段とを有し、前記撮像装置は撮影中の画像を表示可能な表示部を備えるものであり、前記提示手段は、前記第１判定情報を表示するための複数の領域と、前記第２判定情報を表示するための状態領域とが割り当てられたグラフを、前記撮影中の画像と共に前記表示部に表示させる情報処理装置を提供する。
【発明の効果】
【００１４】
本発明によれば、撮影者は、現状の撮影装置の位置姿勢が校正用画像を撮影する上でどの程度適正かどうかを視覚的に判断することができる。そのため、指標の校正アルゴリズムについて熟知しない撮影者であっても、容易に校正用画像を撮影できるようになる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る情報処理装置のハードウエア構成図。
【図２】本実施形態に係る情報処理装置の機能構成図。
【図３】判定部の詳細機能構成図。
【図４】校正用画像の自動取得処理の手順説明図。
【図５】事前条件判定処理の詳細手順説明図。
【図６】基準画像判定処理の詳細手順説明図。
【図７】重複判定処理の詳細手順説明図。
【図８】適合画像判定処理の詳細手順説明図。
【図９】（ａ）〜（ｃ）は指標の内容説明図。
【図１０】適合画像判定の評価量の算出概要説明図。
【図１１】円環状グラフの構造説明図。
【図１２】（ａ）〜（ｃ）は円環状グラフへの実際の提示内容説明図。
【図１３】帯状グラフの構造説明図。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施の形態例を説明する。
図１は、本実施形態に係る情報処理装置のハードウエア構成例を示す図である。この情報処理装置１０は、撮像装置の一例となる頭部装着型のディスプレイ装置(Head Mounted Display：ＨＭＤ)２０と、記録媒体３０とを接続することができる。そのため、情報処理装置１０は、ＨＭＤ２０との入力Ｉ／Ｆ（Ｉ／Ｆはインタフェースの略、以下同じ）１１、ＨＭＤ２０との出力Ｉ／Ｆ１２、および、媒体装着機構１３をバスＢ１に接続して構成される。記録媒体３０は、ＤＶＤ（Digital Versatile Disk）、半導体メモリ、機能拡張カード、機能拡張ユニットに備わるメモリなどである。
【００１７】
媒体装着機構１３は、記録媒体３０が装着されたときに、情報処理装置１０において処理したデータをその記録媒体３０に保存したり、その記録媒体３０に記録されているコンピュータプログラムやデータの読み出しを行う。バスＢ１には、ＣＰＵ（Central Processing Unit）１４，ＲＯＭ（Read Only Memory）１５，ＲＡＭ（Random Access Memory）１６が接続されている。ＣＰＵ１４は、所定周期の動作クロックのもとで動作する。バスＢ１には、また、マウスなどのポインティングデバイス１７およびキーボード１８も接続されている。
【００１８】
ＨＭＤ２０は、撮像部２１を備える。撮像部２１は例えばＣＣＤカメラを含み、このＣＣＤカメラで撮影された撮影画像を情報処理装置１０で処理可能な画像データの形式で出力する。ＨＭＤ２０は、また、撮影中の画像を表示可能な表示部２２を備える。この表示部２２は、例えば液晶パネルを有し、情報処理装置１０から出力される画像データをこの液晶パネルに表示させる。表示される画像データは、撮影画像および後述する判定情報などである。液晶パネルには、適宜、タッチセンサが搭載される。タッチセンサは、撮影者であるユーザからの指示データを受け付ける。撮像部２１および表示部２２は、右眼用・左眼用にステレオで撮影された２つの映像を左右の眼前に提示できるように２つずつ備えても良い。
【００１９】
ＣＰＵ１４は、記録媒体３０、ＲＯＭ１５、あるいは図示を省略した外部記憶装置等に保存されたオペレーティングシステム（ＯＳ）および指標校正用のアプリケーションプログラム（ＡＰ）を実行することにより、情報処理装置１０に所要の機能を実現する。ＲＡＭ１６は、その際にＣＰＵ１４が使用するワークエリアである。ポインティングデバイス１７およびキーボード１８は、操作者から指示データその他のデータの入力を受け付けるための入力デバイスである。
【００２０】
本実施形態では、現実空間の物体や景観などをＨＭＤ２０の撮像部２１が撮影する。撮影される物体や景観には、それぞれ、現実空間における自己の三次元の配置情報や自己と撮像部２１の位置姿勢との関係を解析可能にする指標が１つ以上付されている。指標は、例えばマーカ画像、パターンが記されたシール等である。撮像部２１は、指標が付された物体等を撮影した後、所定周期でサンプリングして撮影画像を得、この撮影画像を情報処理装置１０に入力する。撮影画像は、複数の静止画像を時系列に再生することにより、動画像として表現されるものである。
【００２１】
図２は、ＣＰＵ１４が、ＯＳおよびＡＰを実行することにより情報処理装置１０に形成される機能の構成図である。情報処理装置１０は、ＨＭＤ２０で撮影された撮影画像を取り込む画像入力部２０１として動作する。画像入力部２０１は、また、取り込んだ撮影画像を画像出力部２０７へ出力する。画像入力部２０１は、撮影画像の取得と出力とを所定周期で繰り返す。情報処理装置１０は、また、解析部２０２、判定部２０３、データ管理部２０４、データ保持部２０５、校正部２０６として動作する。
【００２２】
解析部２０２は、画像入力部２０１で取り込まれた撮影画像に映されている指標の検出とその解析を撮影画像が取得される度に繰り返す。必要に応じて指標の同定を行う。これにより、撮影画像に映された指標に関する指標情報を特定する。指標情報は、当該指標の識別情報（ＩＤ）毎に関連付けられた、三次元の基準座標系で表現される指標の配置情報（位置姿勢）、指標の形状およびサイズ、基準指標フラグ、指標が映っている撮影画像のＩＤなどである。指標情報には、また、当該指標と撮像部２１との位置関係も関連付けられる。位置関係は、例えば、ＨＭＤ２０の撮像部２１を基準とした座標系（以下、「カメラ座標系」という）における当該指標の位置姿勢ないし基準座標系における撮像部２１の位置姿勢である。
【００２３】
基準指標フラグは、その指標を基準指標として使用できるものかどうかを判別するためのフラグである。基準指標は、現実空間に重畳させる仮想空間、例えばＣＧモデル等との位置合わせの基準となる指標である。現実空間に複数の指標が配置されている場合、各指標の配置情報を特定するためには、少なくとも１つの指標が基準指標として情報処理装置１０において認識される必要がある。例えば、５個の指標が配置されている場合に、少なくともその中の１つを基準指標とし、その指標情報の基準指標フラグをＯＮに設定する。その際、その基準指標のサイズ、基準座標系における位置姿勢、そのＩＤも関連付けられる。
【００２４】
判定部２０３は、画像入力部２０１が撮影画像を取得し、解析部２０２がその撮影画像から指標を検出し、その解析を行う度に、現在の撮影画像が校正用画像に該当するかどうかを予め定めた判定条件との適合度合いをもとに判定する。校正用画像とは、解析された指標（指標情報）、当該指標の配置情報または当該指標と撮像部２１との位置関係を校正するための画像である。
【００２５】
データ管理部２０４は、基準指標の指標情報、校正用画像その他のデータを管理する。例えば、校正用画像や校正された指標に関する指標情報などをデータ保持部２０５に更新自在に保持する。また、データ保持部２０５に保持されている情報を、適宜、判定部２０３および校正部２０６へ出力する。校正部２０６は、校正用画像から解析された指標の解析結果に応じてその指標の配置情報などを演算する。
【００２６】
ここで、図９を参照して、本実施形態で用いる指標について詳しく説明する。図９（ａ）は、３つの指標Ｐ１，Ｐ２，Ｐ３が現実空間において様々な位置姿勢で配置されている例を示す。各指標Ｐ１〜Ｐ３は、それぞれ複数の図形を組み合わせた図形パターンが記された人工的なマーカ画像である。図形としては、四角形、六角形などが利用できる。これらの図形パターンは、それぞれ当該指標のＩＤを表している。すなわち、当該指標に関する指標情報が関連付けられる。撮像部２１が撮影した撮影画像から各指標Ｐ１〜Ｐ３の図形パターンを読み取ることができる場合は、そのＩＤをもとに、当該指標Ｐ１〜Ｐ３を一意に識別することができる。これらの指標Ｐ１〜Ｐ３のうち、指標Ｐ１が上述した基準指標であり、指標情報における基準指標フラグがＯＮに設定される。この指標Ｐ１には、基準座標系としてＸ軸、Ｙ軸およびＺ軸の三次元座標系が設定されており、他の指標Ｐ２，Ｐ３の位置姿勢は、この指標Ｐ１の基準座標との相対値として算出することができる。各指標Ｐ１〜Ｐ３の座標という場合、各々の重心点の座標となる。
【００２７】
指標Ｐ１〜Ｐ３は、様々な形状のものを用いることができる。図９（ｂ）は、指標Ｐ３の正面図である。指標Ｐ３は、図形パターンを表す領域を構成する４つの内部頂点Ｐ３１〜Ｐ３４を有する。これらの内部頂点Ｐ３１〜Ｐ３４により、指標Ｐ３は、四角形指標として特定される。この内部頂点Ｐ３１〜Ｐ３４の形状を解析することにより、例えば遠近法による形の変形量、あるいは後述する評価法によりＨＭＤ２０の撮像部２１の位置姿勢を特定することができる。なお、指標は、四角形指標に限るものではなく、それが付される物体等の形状に応じて任意の形状のマーカ画像を用いることができる。例えば、図９（ｃ）に示すように円形指標Ｑ１〜Ｑ３とすることもできる。これらの円形指標Ｑ１〜Ｑ３は、異なる色が付されており、その色が当該指標（指標情報）のＩＤを表すものとなる。
【００２８】
なお、指標には、図９（ａ）〜（ｃ）に示されるような人工的に作成されたマーカ画像のほか、撮影しようとする景観の特定の特徴点（自然特徴点）を用いることができる。すなわち、他との判別が可能なテクスチャ特徴を有する現実空間に元来存在する特徴点を用いることができる。但し、この場合は、各々の自然特徴点と予めその姿勢位置を特定可能なテンプレート画像とを対応付けておくことが、以後の処理の効率を高める上で望ましい。つまり、指標は、現実空間においてそれを撮影した撮影画像から検出し、その配置情報の解析が可能なものであれば、どのような形態であっても構わない。
【００２９】
次に、判定部２０３の機能について詳しく説明する。図３は、判定部２０３の詳細な機能構成図である。判定部２０３は、判定管理部３０１、事前条件判定部３０２、重複判定部３０３、画像判定部３０４および表示変換部３０５を有する。判定管理部３０１、事前条件判定部３０２、重複判定部３０３および画像判定部３０４は、それぞれ予め定められた１又は複数の判定条件との適合度合いを表す判定情報を出力する。表示変換部３０５は、これらの判定情報を受け取る度に、画像出力部２０７を通じて、撮影動作中のＨＭＤ２０の表示部２２へ視覚的に提示する処理を繰り返す。視覚的に提示する処理は、例えば、判定情報をグラフに変換して表示部２２へ出力する処理である。
【００３０】
事前条件判定部３０２は、撮影画像が、指標の校正に先立つ１又は複数の事前条件に適合するかどうかを判定する（第１判定手段）。そして、判定結果を判定管理部３０１に出力する。事前条件とは、撮影画像から解析された指標に関する指標情報が指標の校正を可能にするものかどうかを判定する必要条件である。例えば、撮影画像において２つ以上の指標の指標情報が特定されること、指標情報が撮像部２１の位置姿勢の同定を可能にする情報であることが事前条件に該当する。事前条件に該当しない場合、撮影画像を校正用画像の候補から除外する。
【００３１】
重複条件判定部３０３は、撮影画像が、上述した基準指標が付された画像（以下、「基準画像」という）に該当するときに、当該撮影画像から解析された指標に関する指標情報と既存の指標情報とが重複するかどうかを判定する（第２判定手段）。重複するかどうかの判定条件は、例えば、指標情報に基づいて算出される撮像部２１の位置姿勢（撮像情報）とする。既存のものとほぼ同じ位置姿勢から撮影された画像は、映り込む指標の撮影方向が重複している可能性が高い。校正のための処理量を減らす観点からは、このような画像を保持（登録）しないようにすることが望ましい。重複条件判定部３０３は、そのために設けられている。
【００３２】
画像判定部３０４は、撮像情報が重複しない撮影画像から解析された指標の指標情報が校正を有意にするものかどうかを、複数の判定条件との適合度合いをもとに判定する（第３判定手段）。有意である場合、その撮影画像を校正用画像として、データ保持部２０５に保持（登録）する。「有意にする」とは、意義のあるものにすること、例えば既存の指標情報の精度を高めること、校正の処理を効率的にすること等をいう。具体的には、少なくとも下記のいずれかを算出し、あるいは校正部２０６に算出させ（算出手段）、算出結果が、予めＲＯＭ１５に定められた閾値を超えることが「有意にする」に該当する。
（１）撮影画像から解析された指標の数の、既に校正された指標の数に対する割合。（２）指標情報に基づいて同定された撮像部２１の位置姿勢と既に特定されている撮像部２１の位置姿勢とに基づいて算出される撮像間相対角。（３）同定された撮像部２１の位置姿勢と解析された指標の重心点との距離に対する撮像部２１の過去の位置姿勢と過去に解析された指標の重心点との距離の比。これらの詳細については後述する。
【００３３】
判定管理部３０１は、データ保持部２０５に保持されている撮像情報の履歴に基づいて、撮影画像が基準画像に該当するかどうかを判定する。基準画像は、後述する指標の自動校正処理を開始するための起点となる画像であり、重複条件判定部３０３による判定処理に先立って行われる。判定管理部３０１は、また、繰り返し取得した複数の撮影画像に基づいて撮像部２１が静止している状態を検出するとともに、その状態の継続時間が予め定めた所定時間に達したかどうかを判定する（第４判定手段）。そして、事前条件判定部３０２、重複判定部３０３、画像判定部３０４の判定情報を提示する際に、継続時間についても併せて提示させる。
【００３４】
［使用形態］
次に、情報処理装置１０の使用形態例を説明する。図４は、校正用画像の自動取得処理の手順説明図である。この処理は、撮影者からの指示により開始される。情報処理装置１０は、画像入力部２０１で撮影画像を所定周期で繰り返し取得する（Ｓ４０１）。所定周期は例えば１／３０秒であり、動作中、ＲＡＭ１６などに設定される。撮影画像が取得される度に、情報処理装置１０は、解析部２０２において撮影画像に映されている指標を検出し、その指標の指標情報を特定して判定部２０３に出力する（Ｓ４０２）。判定部２０３は、指標情報に基づいて事前条件判定処理を実行する（Ｓ４０３）。事前条件判定処理は、上述した事前条件判定部３０２が行う判定処理である。事前条件判定処理の結果は、ＲＡＭ１６に一時的に保管される。
【００３５】
情報処理装置１０は、事前条件判定処理の後、非表示条件を満たすかどうかを判定する（Ｓ４０４）。「非表示条件」は、ＨＭＤ２０の表示部２２への判定情報を非表示にする条件である。個別判定の結果が肯定的か否定的かを問わず、すべての個別判定を終了した場合に非表示条件を満たせば、非表示となる。事前条件判定処理の段階では、非表示条件を満たさない（Ｓ４０４：Ｎｏ）。そのため、情報処理装置１０は、ＲＡＭ１６に保管された現在の撮影画像に基づく判定情報を表示部２２に視覚的に提示する（Ｓ４１６）。これにより、撮影者は、現在の撮影画像では事前条件が満たされないことを認識することができる。
【００３６】
この段階で非表示条件を満たすものであっても（Ｓ４０４：Ｙｅｓ）、情報処理装置１０は、判定情報を非表示にせず、解析部２０２で解析した撮像情報を取得する（Ｓ４０５）。すなわち、解析部２０２で指標情報をもとに特定した撮影時の撮像部２１の基準座標系における位置姿勢を取得する。そして、この撮像情報をもとに基準画像判定処理を実行する（Ｓ４０６）。基準画像判定処理は、基準画像の指標情報をデータ保持部２０５に保持（登録）するかどうかを判定するための処理である。この処理は、判定管理部３０１が行う。基準画像判定処理の結果は、ＲＡＭ１６に一時的に保管される。
基準画像判定処理の後、情報処理装置１０は、基準画像判定処理の後、非表示条件を満たすかどうかを判定する（Ｓ４０７）。この段階では、非表示条件を満たさない（Ｓ４０７：Ｎｏ）。そのため、情報処理装置１０は、ＲＡＭ１６に保管された現在の撮影画像に基づく判定情報を表示部２２に視覚的に提示する（Ｓ４１６）。これにより、撮影者は、現在の撮影画像が基準画像に該当しないことを認識することができる。
【００３７】
この段階で非表示条件を満たすものであっても（Ｓ４０７：Ｙｅｓ）、情報処理装置１０は、判定情報を非表示にせず、重複条件判定処理を実行する（Ｓ４０８）。つまり、現在の撮影画像（基準画像と判定されたもの）と同一または類似する画像が既にデータ保持部２０５に保持されているかどうかを判定する。この処理は、重複判定部３０３が行う。重複条件判定処理の結果は、ＲＡＭ１６に一時的に保管される。重複条件判定処理の後、情報処理装置１０は、非表示条件を満たすかどうかを判定する（Ｓ４０９）。この段階では、非表示条件を満たさない（Ｓ４０９：Ｎｏ）。そのため、情報処理装置１０は、ＲＡＭ１６に保管された現在の撮影画像に基づく判定情報を表示部２２に視覚的に提示する（Ｓ４１６）。これにより、撮影者は、重複する画像が既に保持されていること、つまり、現在の撮影画像を改めて取得する必要がないことを認識することができる。
【００３８】
この段階で非表示条件を満たすものであっても（Ｓ４０９：Ｙｅｓ）、情報処理装置１０は、判定情報を非表示にせず、校正適合条件判定処理を実行する（Ｓ４１０）。この処理は画像判定部３０４が行う。校正適合条件判定処理の判定情報は、校正適合画像としてどの程度適合するかを表す判定値となる。判定値は、ＲＡＭ１６に一時的に保管される。
校正適合条件判定処理の後、情報処理装置１０は、非表示条件を満たすかどうかを判定する（Ｓ４１１）。この段階でも非表示条件を満たさない（Ｓ４１１：Ｎｏ）。そのため、情報処理装置１０は、ＲＡＭ１６に保管された現在の撮影画像に基づく判定値を表示部２２に視覚的に提示する（Ｓ４１６）。これにより、撮影者は、現在の撮影画像が校正用画像にどの程度適合するものか、あるいは、適合するものでないことを認識することができる。
【００３９】
この段階で非表示条件を満たすものであっても（Ｓ４０９：Ｙｅｓ）、情報処理装置１０は、判定値を非表示にせず、静止判定処理を実行する（Ｓ４１２）。この静止判定処理は、校正用画像として好ましくないブラー画像の保存を回避するための処理であり、判定管理部３０１が行う。判定管理部３０１は、撮像部２１が、過去の位置姿勢の履歴を参照して静止している状態を検出するとともに、その状態の継続時間が所定時間に達したかどうかを、例えばＣＰＵ１４のクロック数を計測することにより判定する。「所定時間」は例えば１秒であり、予めＲＡＭ１６に設定される。撮像部２１の位置姿勢の変分量が過去の１秒間に渡って閾値以内であれば、この条件を満たすと判定する。継続時間が１秒に満たない場合、例えば、撮像部２１が１秒経過前に動いてしまった場合は、継続時間をリセットする。静止判定処理の結果は、ＲＡＭ１６に一時的に保管される。
【００４０】
静止判定処理の後、情報処理装置１０は、非表示条件を満たすかどうかを判定する（Ｓ４１３）。図４の処理手順において、静止状態の継続時間が上記の所定時間に達したときが非表示条件を満たすものとなる。それまでは、非表示条件を満たさないので（Ｓ４１３：Ｎｏ）、情報処理装置１０は、判定情報を表示部２２に提示する（Ｓ４１６）。その際、撮像部２１の停止指示のメッセージを含めて提示する。この停止指示は、撮影画像を校正用画像として保持（登録）するためには撮像部２１を所定時間静止させることが必要であることを撮影者に示すことを目的とする。例えば、表示部に「カメラを静止させてください」という文字や、静止状態が検出された後の継続時間を数字で提示する。所定時間に達するまでの現状の継続時間を棒グラフ等で表示しても良い。
【００４１】
非表示条件を満たす場合（Ｓ４１３：Ｙｅｓ）、情報処理装置１０は、現在の撮影画像を校正用画像と判定し、当該撮影画像に関する撮像情報を指標情報と共にデータ管理部２０４へ出力する（Ｓ４１４）。データ管理部２０４は、データ保持部２０５に格納されている撮像履歴にこの撮像情報を加える。その後、情報処理装置１０は、データ保持部２０５に格納されている撮像履歴中の複数の撮像情報から撮影画像に映った夫々の指標の配置情報を校正部２０６に算出させる（Ｓ４１５）。つまり、指標の校正を行わせる。校正部２０６は、例えば校正用画像から解析された撮像部２１の位置姿勢と指標の位置姿勢とを統合し、「バンドル調整」と呼ばれる演算法によって、夫々の指標の配置情報を算出する。この算出の処理をデータ保持部２０５で保持したすべての校正用画像に対して繰り返し行うことにより、校正対象となる指標（以下、「校正対象指標」という）の校正を行うことができる。すなわち、基準座標系における配置情報を得ることができる。
【００４２】
校正部２０６は、具体的には、以下の<1>の処理で基準画像を起点として撮像部２１の位置姿勢を算出し、その他の画像に対して<2>〜<4>の処理を繰り返す。
<1> 基準画像（Ｓ４０８）から基準座標系における撮像部２１の位置姿勢を推定する。
<2> 校正対象指標のカメラ座標系における位置姿勢を推定する。
<3> 撮像部２１の位置姿勢をカメラ座標系における校正対象指標の位置姿勢を用いて座標変換し、配置情報とする。
<4> 校正対象指標における指標情報の基準指標フラグをＯＮに設定する。
情報処理装置１０は、校正部２０６による校正処理の後、終了通知が入力されない場合は（Ｓ４１７：Ｎｏ）、Ｓ４０１に戻り、次のタイミングで取得された撮影画像について、Ｓ４１７までの処理を繰り返す。終了通知が入力された場合は（Ｓ４１７：Ｙｅｓ）、自動校正処理を終了する。
【００４３】
次に、上述した各種判定処理の内容について詳述する。図５は、事前条件判定処理（Ｓ４０３）の詳細手順説明図である。事前条件判定部３０２は、Ｓ４０２で解析された指標情報のＩＤと、データ保持部２０５に保持されている基準指標の指標情報のＩＤとの重複個数を算出する（Ｓ５０１）。重複個数が存在する場合は肯定的な判定情報となる。他方、基準指標と同じＩＤを持つ指標が撮影画像の指標情報に含まれていない場合、撮像部２１の位置姿勢が計算できないため、否定的な判定情報となる。事前条件判定部３０２は、また、Ｓ４０２で解析された指標情報から指標数を取得する（Ｓ５０２）。撮影画像に含まれる指標数を取得する理由は、基準指標と重複する指標が撮影画像内に含まれていたとしても、２つ以上の指標が含まれない場合は、校正対象となる指標が存在しないためである。
【００４４】
その後、事前条件判定部３０２は、Ｓ５０１およびＳ５０２の処理結果に基づいて事前条件を満たすかを判定する（Ｓ５０３）。指標として図９（ａ），（ｂ）に示した四角形形状の指標を用いる場合、判定内容は、Ｓ５０１の結果が１以上であるか、Ｓ５０２の結果が２以上であるかをそれぞれ判定する。また、指標として図９（ｃ）に示した円形の指標を点特徴として用いた場合は、位置姿勢を求めるために直線上に乗らない３点以上が必要になる。この場合は、Ｓ５０１が直線上に乗らない３点以上、Ｓ５０２が直線上に乗らない３点以上の点と任意の１点以上の点であることを判定の基準となる。
【００４５】
最後にＳ５０３の判定結果を出力して事前判定処理を終える（Ｓ５０４）。この事前条件判定部３０２の判定情報により、現在の撮影画像では撮像部２１の位置姿勢が求められないことを、撮影動作中のＨＭＤ２０の表示部２２を通じて、撮影者に視覚的に提示することができる。
【００４６】
図６は、基準画像判定処理（Ｓ４０６）の詳細手順説明図である。判定管理部３０１は、データ保持部２０５に保持されている撮像履歴数を参照し、撮像履歴数が「１」以上かどうかを判定する（Ｓ６０１）。履歴数が「０」の場合（Ｓ６０１：Ｙｅｓ）、基準画像となる撮影画像が保持されていないことを表す。そのため、判定管理部３０１は、「Ｔｒｕｅ」を基準画像の判定処理の結果とする（Ｓ６０２）。データ保持部２０５に保持されている履歴数が「１」以上の場合（Ｓ６０１：Ｎｏ）、少なくとも１つの基準画像となる撮影画像が既に保持されていることを表す。そのため、判定管理部３０１は、「Ｆａｌｓｅ」を判定処理の結果とする（Ｓ６０３）。その後、各判定処理の結果を出力し（Ｓ６０４）、基準画像判定処理を終える。
【００４７】
図７は、重複条件判定処理（Ｓ４０８）の詳細手順説明図である。重複判定部３０３は、撮像情報、すなわち基準座標系における撮像部２１の位置姿勢をデータ管理部２０４より判定対象として取得する（Ｓ７０１）。取得した位置姿勢をＴ１とする。重複判定部３０３は、また、データ保持部２０５における撮像履歴（１〜Ａ）から基準座標系における位置姿勢を取得する（Ｓ７０２）。取得した位置姿勢をＴ２とする。重複判定部３０３は、位置姿勢Ｔ１，Ｔ２のうち位置成分間の距離を算出する（Ｓ７０３）。また、位置姿勢Ｔ１の姿勢ベクトルと、位置姿勢Ｔ２の姿勢ベクトルとのなす角（θ）を算出する（Ｓ７０４）。そして、距離となす角とがそれぞれ閾値以上か否かを判定する（Ｓ７０５）。閾値は、判定中、例えばＲＡＭ１６などに設定される。閾値未満の場合（Ｓ７０５：Ｎｏ）、撮像部２１の位置姿勢と重複する撮影履歴の位置姿勢が存在すると判定し、「Ｆａｌｓｅ」を判定処理の結果とする。（Ｓ７０７）。
【００４８】
閾値を超える場合（Ｓ７０５：Ｙｅｓ）、重複判定部３０３は、Ｓ７０２からＳ７０５までの処理を残りの撮像履歴（１〜Ａ）に対して繰り返す。すべての撮像履歴に対して閾値を超える場合、重複判定部３０３は、撮像部２１の位置姿勢と重複する撮像履歴が存在しないと判定し、「Ｔｒｕｅ」を判定処理の結果とする（Ｓ７０６）。これは、撮像履歴の中に現在の撮影画像と類似する位置姿勢で撮影された撮影画像は存在しないため、校正用画像の候補として採用される可能性があることを示している。最後に、判定管理部３０１に重複条件の判定結果を出力し（Ｓ７０８）、重複条件判定処理を終える。
【００４９】
図８は、校正適合条件判定処理（Ｓ４１０）の詳細手順説明図である。画像判定部３０４は、Ｓ７０１と同様、撮像部２１の位置姿勢を取得し、保持しておく（Ｓ８０１）。取得した位置姿勢をＴ１とする。また、Ｓ４０２で特定された指標情報を保持しておく（Ｓ８０２）。この指標情報をＭ１とする。画像判定部３０４は、その後、Ｓ８０１およびＳ８０２の処理対象として、撮像履歴Ａ番目の撮像部２１の位置姿勢を取得する（Ｓ８０３）。取得した位置姿勢をＴ２とする。また、撮像履歴Ａ番目の指標情報を取得する（Ｓ８０４）。取得した指標情報をＭ２とする。
【００５０】
画像判定部３０４は、指標情報Ｍ１における指標情報Ｍ２との重複度を算出する（Ｓ８０５）。すなわち、各指標情報Ｍ１，Ｍ２のＩＤの重複数を評価量として算出する。この評価量は、現在の撮影画像から検出され、その内容が解析された指標のＩＤと、撮像履歴中の指標のＩＤとの重複数で表される。重複数が多いほど、指標校正の精度が高まることを示す。すなわち、撮像履歴において保持された基準指標は、撮影画像上でより多く存在する方が、基準座標系における撮像部２１の位置姿勢の推定のばらつきが低くなる。そのため、基準座標系における指標の位置姿勢をより高精度に求めることができる。
【００５１】
画像判定部３０４は、撮像履歴中の指標情報Ｍ２におけるすべての指標の基準座標系における位置を平均し、指標重心点を求める。この指標重心点から撮像履歴中の撮像部２１の位置姿勢Ｔ２の位置を指すベクトルＡと、指標重心点から現在の撮像部２１の位置姿勢Ｔ１の位置を指すベクトルＢとのなす角度（撮像間相対角という）を評価量として算出する（Ｓ８０６）。指標は、様々な方向から撮影されると、撮像部２１からの奥行き方向の不定性が小さくなり、校正精度が高くなる傾向にあることが知られている。撮像間相対角は、履歴中の撮影画像に含まれる指標に対して、どれだけ異なる方向から撮影されているかを評価する尺度となる。撮像間相対角の算出方法については、後述する図１０の説明で詳細を述べる。但し、特定の指標を精度よく求める方法であれば、撮像間相対角以外のパラメータを評価量として用いることが可能である。例えば、撮像履歴中の撮像部２１の位置姿勢Ｔ２と、指標重心点から現在の撮像部２１の位置姿勢Ｔ１との距離を示す「基線長」を評価量のパラメータとして用いても良い。
【００５２】
画像判定部３０４は、また、Ｓ８０６で算出した指標重心点から位置姿勢Ｔ１，Ｔ２までの距離比を評価量として算出する（Ｓ８０７）。指標重心点からの距離が極端に離れている場合は、指標情報Ｍ１，Ｍ２で共通となる指標の解像度が位置姿勢を推定する精度に影響を与えるためである。例えば、図９（ａ），（ｂ）に示した四角形形状の指標では、指標と撮像部２１の距離が離れるにつれて、指標が映り込む解像度が落ちるため、位置姿勢推定精度が低下する。すなわち、校正対象となる指標の配置情報を精度よく求めるためには、撮像履歴として保持されたときの指標群と撮像部２１に近い距離（すなわち評価量が１．０に近い距離）で撮影した方が望ましい。Ｓ８０７の「指標重心点からＴ１およびＴ２までの距離比」の算出法については後述する。
【００５３】
画像判定部３０４は、Ｓ８０５、Ｓ８０６、Ｓ８０７の評価量が、予め各評価量について設定された閾値をどの程度満たすかを示す判定値を算出する（Ｓ８０８）。判定値は次の数１式で求めることができる。
【００５４】
【数１】
0006403447.tif 000002
【００５５】
Ｓ８０５の重複数の閾値は「２」、Ｓ８０６の撮像間相対角の閾値は「５０度」、Ｓ８０７の距離比の閾値は０．８に設定され、判定処理の間、例えばＲＡＭ１６などに保持される。但し、上記の閾値に限定されるものではなく、指標の校正精度を向上させるために、状況に応じて任意の数値を指定しても良い。
【００５６】
判定値は、Ｓ８０５、Ｓ８０６、Ｓ８０７の評価量ごとに算出される。本実施形態では、算出された判定値を、それぞれ指標重複度判定値、撮像間相対角判定値、重心点距離比判定値とする。例えばＳ８０５の重複数が閾値を超えていれば判定値は「１」となり、評価量が閾値より少ないほど判定値は「０」に近づく。Ｓ８０６の撮像間相対角は、閾値よりも角度が大きい場合は判定値が「１」となり、閾値よりも短いほど、判定値は「０」に近づく。Ｓ８０７の距離比は、閾値を超えれば判定値が「１」となり、閾値から小さくなるほど判定値が「０」に近づく。
【００５７】
画像判定部３０４は、Ｓ８０８で算出された重複度判定値、撮像間相対角判定値、重心点距離比判定値の総和となる現在の判定値総和と、現在まで繰り返し算出された判定値の総和の最小値である最小判定値総和とを比較する。そして、どちらの値が低いかを判定する（Ｓ８０９）。Ｓ８０８で算出した現在の判定値総和の方が最小判定値総和に比べて小さい場合は（Ｓ８０９：Ｙｅｓ）、判定最小値をＳ８０８で算出された判定値で更新する（Ｓ８１０）。
【００５８】
Ｓ８０１の処理は、Ｓ８０３からＳ８１０は、Ｓ８０１およびＳ８０２で取得した判定対象となる撮像部２１の位置姿勢および解析された指標に対して、すべての撮像履歴に対して評価を行い、判定値が最小となる撮像履歴がないかを判定するための処理である。現在の撮影画像をもとに特定された指標情報が、いずれの撮像履歴の指標情報に対しても適切な関係になる（適合する）場合、判定値総和は「３．０」となる。これに対し、現在の撮影画像をもとに特定された指標情報が、撮像履歴中の少なくとも１つの指標情報に対して適切でない関係となる場合は「３．０」未満となる。この場合、不適合の度合いが判定情報として、表示部２２に視覚的に提示される。撮影者は、この提示の内容により、どの部分がどの程度不適合なのかを把握し、それを改善する行為を選択することができる。
【００５９】
画像判定部３０４は、Ｓ８１０で最終的に最小になった最小判定値総和を算出したときのＳ８０５、Ｓ８０６、Ｓ８０７の判定値を判定管理部３０１に出力し（Ｓ８１１）、校正適合条件判定処理を終える。
【００６０】
図１０は、Ｓ８０６の評価量として使用する撮像間相対角の算出法、およびＳ８０７で示す評価量として使用する指標重心点までの距離比の算出法の説明図である。図１０では、過去に校正用画像として保持（登録）された画像のフレーム番号を１、２、・・・、ｍ-１とし、新たに取得された撮影画像を第ｍフレームとして使用するかどうかの判定を行う例である。本例では、位置姿勢のうち位置成分を単に「位置」と呼び、姿勢成分をベクトルで表すものとする。新たに取得された撮影画像を撮影した時点での撮像部２１の三次元位置をＣｍ（＝［Ｃｍｘ，Ｃｍｙ，Ｃｍｚ］ｔ）とする。本例では、また、第ｍフレームで取得された撮影画像から検出され、解析された指標群の各々の配置情報から求めた基準座標系における重心位置をＧｍ（＝［Ｇｍｘ，Ｇｍｙ，Ｇｍｚ］ｔ）とする。また、第ｍ-１フレームの画像を撮影した時点での撮像部２１の位置Ｃｍ−１と第ｍ−１フレームの画像から検出され、解析された指標群の重心位置Ｇｍ−１を結ぶベクトルをベクトルＡとする。さらに、新たに取得された撮影画像を撮影した時点での撮像部の位置Ｃｍと重心位置Ｇｍ−１とを結ぶベクトルをベクトルＢとする。ベクトルＡとベクトルＢのなす角θＡＢ、は、以下の数２式によって求めることができる。
【００６１】
【数２】
0006403447.tif 000003
【００６２】
この角θＡＢを撮像間相対角とし、Ｓ８０６で算出する評価量とする。次に、ベクトルＡ
とベクトルＢの大きさの比αを、以下の数３式によって求める。このαが、Ｓ８０７で算出した評価量である。
【００６３】
【数３】
0006403447.tif 000004
【００６４】
次に、Ｓ４１６により表示部２２に視覚的に提示される判定結果の提示例について具体的に説明する。図１１は、判定情報を同心円環状のグラフで表した図である。背面の画像は、撮像部２１で撮影された撮影画像である。グラフＲ００はこの撮影画像に重畳される。グラフＲ００には、同心円上に径の異なる２種類の円環領域が形成される。外側の円環領域には、領域Ｒ０１〜Ｒ０５が割り当てられている。内側の円環領域には、領域Ｒ０６が割り当てられている。各領域Ｒ０１〜Ｒ０６は、撮影画像から解析された指標の指標情報と各判定条件との適合度合いに応じて、その表示態様が変わる。
【００６５】
Ｒ０１領域は、Ｓ４０３の事前条件との適合度合いを表示する領域（第１領域）である。事前条件判定処理（Ｓ５０１）およびＳ５０２の判定情報に応じてその大きさが変わる。例えば、Ｓ５０１の判定結果が「１」以上で、Ｓ５０２の判定結果が「２」未満であった場合、それぞれ５０［％］の長さで表示される。重複条件判定処理（Ｓ４０８）および校正適合条件判定処理（Ｓ４１０）の結果、条件を満たしていないと判定された場合、Ｓ５０１およびＳ５０２の判定情報は肯定的な内容となっているので、Ｒ０１の領域が１００［％］の長さで表示される。
【００６６】
Ｒ０２領域は、Ｓ４１０の重複条件との適合度合いを表示する領域（第２領域）であり、Ｓ７０８の重複条件判定処理による判定情報に応じてその大きさが変わる。例えば、判定情報が、Ｓ７０８の結果が「Ｔｒｕｅ」であった場合は、Ｒ０２の領域を１００［％］の長さで表示される。「Ｆａｌｓｅ」の場合は０［％］の長さで表示される。
【００６７】
Ｒ０３領域は、Ｓ４１２の校正用画像適合判定処理（Ｓ８１１）のうち、指標の重複度を算出したＳ８０５の結果より求められた判定値を表示する領域（第３領域）であり、判定値に応じてその大きさが変わる。例えば、判定情報がＳ８０５で算出した評価量が閾値の１／４の値であった場合は２５［％］の長さで表示される。また、Ｓ８０５で算出した評価量が閾値以上の値であった場合は、Ｒ０３の領域を１００［％］の長さで表示される。
【００６８】
Ｒ０４領域は、Ｓ４１２の校正用画像適合判定処理（Ｓ８１１）のうち、撮像間相対角を算出したＳ８０６の結果より求められた判定値を表示する領域（第３領域）であり、判定値に応じてその大きさが変わる。例えば、判定情報が、Ｓ８０６で算出した評価量が閾値の１／４の値であった場合は、２５［％］の長さで表示される。また、Ｓ８０６で算出した評価量が閾値以上の値であった場合は、Ｒ０４の領域を１００［％］の長さで表示される。
【００６９】
Ｒ０５領域は、Ｓ４１２の校正用画像適合判定処理（Ｓ８１１）のうち、指標重心点までの距離比を算出したＳ８０７の結果より求められた判定値を表示する領域（第３領域）であり、判定値に応じてその大きさが変わる。例えば、判定情報が、Ｓ８０７で算出した評価量が閾値の１／４の値であった場合は、２５［％］の長さで表示される。また、Ｓ８０７で算出した評価量が閾値以上の値であった場合は、Ｒ０５の領域を１００［％］の長さで表示される。
【００７０】
Ｒ０６領域は、撮像部静止判定であるＳ４０６およびＳ４１４で求められた撮像部２１の静止状態の継続時間を表す領域（第４領域）であり、静止している状態が継続されるにつれて大きくなる動画像が該領域内に表示される。例えば、撮像部２１の静止状態が、予め設定された時間閾値の１／４まで継続している場合は、動画像が２５［％］の長さで表示される。なお、動画像がＲ０６の領域の１００［％］に達したときは、非表示条件が満たされたと判断され、グラフが非表示となる。あるいは、領域Ｒ０１〜Ｒ０５がすべて１００［％］に達した時点でこれらの領域を非表示にし、領域Ｒ０６だけを表示するようにしても良い。
【００７１】
図１１は、領域Ｒ０１〜Ｒ０５がすべて１００［％］に達した状態が示されているが、実際は、図１２（ａ）〜（ｃ）のような表示内容となる。図１２（ａ）は領域Ｒ０１の一部領域Ｒ０１１だけが表示されている。つまり、Ｓ５０１の判定結果だけが肯定的であることを示している。図１２（ｂ）は領域Ｒ０１〜Ｒ０４だけが肯定的であることを示している。図１２（ｃ）は、Ｒ０１〜Ｒ０５がすべて肯定的であるため非表示となり、領域Ｒ０６も１００［％］になっていることを示す。この表示の直後に同心円環状グラフが非表示となる。
【００７２】
グラフは、表示部２２の画面端部付近に表示される１つ以上の帯状のグラフであっても良い。図１３は、判定結果を帯状のグラフで表示させた場合の例を示す。表示するグラフの種類は、予め撮影者が選択しておいても良いし、撮影者がキーボード等の入力装置を用いて切り替えても良い。帯状グラフＢ００は撮影画像に重畳される。領域Ｂ０１は図１１に示した領域Ｒ０１で説明した内容が表示される。同様に、領域Ｂ０２は領域Ｒ０２、領域Ｂ０３は領域Ｒ０３、領域Ｂ０４は領域Ｒ０４、領域Ｂ０５は領域Ｒ０５、領域Ｂ０６は領域Ｒ０６で説明した内容が表示される。
【００７３】
このように、本実施形態によれば、撮影者に、現状の撮影画像が校正用画像にどの程度適合するかを視覚的に提示することができる。そのため、撮影者は、撮像部２１の位置姿勢が定まらない状況においても、現在の撮像部２１の位置姿勢が指標群に対して適正なのかどうかを判断できるようになる。また、指標の校正アルゴリズムを熟知しない撮影者であっても、現状の指標の配置情報に応じて、適正な校正用画像を得るための撮像部２１の位置姿勢を判断できるようになる。
また、本実施形態では、撮影者は撮像部２１の移動指示などを知得するだけでなく、高精度な配置情報を算出できる位置姿勢に近づくにつれて、判定情報の提示状態が変化するので、現在の撮影動作が適切なのかそうでないのかのフィードバックを受けることができる。すなわち、校正作業をするたびに高精度な配置情報を算出できる位置姿勢が、指標に対してどのような撮像位置姿勢であるのかを撮影者自身が学習することができる。
【００７４】
［撮影案内方法］
本実施形態の情報処理装置１０は、上記の効果を有することから、ＨＭＤ２０の表示部２２に対して行う指標校正用の撮影案内方法として実施することができる。すなわち、図４の処理手順により、現在の撮影画像が校正用画像に該当するかどうかを判定し、該当するときに非表示となり、適合度合いに応じて判定情報の表示態様が変化するグラフで撮像装置へ提示する。
【００７５】
［変形例］
本実施形態では、画像入力部２０１における撮影画像の取り込みをソフトウエアで実現する場合の例を示したが、例えばビデオキャプチャボードなどで構成しても良い。本実施形態では、また、静止状態が継続する一定時間分の長さを有する領域Ｒ０６は、領域Ｒ０１〜Ｒ０５の判定情報の表示後に表示される例を説明したが、撮影者の指示により任意の時点で表示するようにしても良い。また、領域Ｒ０６における動画像が１００［％］に達したことを契機に撮像部２１に対して撮影のトリガを与える出力手段を設けるようにしても良い。
【００７６】
本実施形態では、ＣＰＵ１４が、ＲＯＭ１５などに記録されたＯＳおよびＡＰを実行することにより、図３に示した機能が実現され、図４ないし図８に示した手順で処理が実行される場合の例を説明した。従って、本発明の機能等をコンピュータで実現するために該コンピュータにインストールされるこれらのコンピュータプログラムも本発明の実施を可能にするものである。つまり、本発明は、このようなコンピュータプログラムも含まれる。その場合、上記機能等を実現できるものであれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態のものであっても良い。
このようなコンピュータプログラムは、種々の記録媒体によって供給することができる。記録媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカードなどが挙げられる。また、ネットワークを介して外部装置からダウンロードすることでコンピュータに供給する形態もある。ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであっても良い。また、コンピュータプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なる外部装置からダウンロードすることによっても供給が可能である。また、本発明のプログラムを暗号化して供給するという形態をとることもできる。この場合、所定の条件をクリアした者に、別途、暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたコンピュータプログラムを復号させることになる。
【図１】
0006403447.tif 000005
【図２】
0006403447.tif 000006
【図３】
0006403447.tif 000007
【図４】
0006403447.tif 000008
【図５】
0006403447.tif 000009
【図６】
0006403447.tif 000010
【図７】
0006403447.tif 000011
【図８】
0006403447.tif 000012
【図９】
0006403447.tif 000013
【図１０】
0006403447.tif 000014
【図１１】
0006403447.tif 000015
【図１２】
0006403447.tif 000016
【図１３】
0006403447.tif 000017