(57)【要約】【課題】撮像装置でマーカを撮像することによるキャリブレーション方法において、撮像画像からのマーカ抽出作業をより簡便にする。【解決手段】マーカ抽出に用いる撮像画像を静止画像にしたり、ライブ映像したり、それらを切り替えながらマーカ抽出可能な環境設定を行えるようにする。マーカ抽出に用いるライブ映像において、マーカ抽出処理を手入力できるようにする。【選択図】      図１
2004334393.tif 000002
【特許請求の範囲】
【請求項１】
位置・姿勢が固定された撮像装置によって逐次的に撮像される撮影画像を入力する画像入力工程と、
前記画像入力工程によって逐次的に入力された撮影画像を逐次的に取得するライブ映像表示モード、前記画像入力工程によってある時点で入力された撮影画像を取得する静止画像表示モードを含む表示モードから表示モードを設定する設定工程と、
前記設定工程によって設定された表示モードに応じて、前記画像入力工程から取得された撮影画像に含まれる指標の画像座標を抽出する指標抽出工程と、
前記指標抽出工程によって特定された前記指標の画像座標を用いて前記撮像装置のカメラパラメータを導出する導出工程とを有することを特徴とする情報処理方法。
【請求項２】
前記指標として複数の指標が存在することを特徴とする請求項１記載の情報処理方法。
【請求項３】
前記指標抽出工程は、自動モードとマニュアルモードとを有し、
前記自動モードは、前記画像入力工程から取得された撮影画像、あらかじめ設定されている抽出条件に応じて指標を抽出し、
前記マニュアルモードは、前記画像入力工程から取得された撮影画像に基づき表示される表示画像上におけるユーザ指示に応じて指標を抽出することを特徴とする請求項１または２記載の情報処理方法。
【請求項４】
さらに、前記抽出条件を調整する調整工程を有し、
前記設定工程において前記ライブ映像表示モードを設定し、前記指標抽出工程において前記自動モードを設定することにより、前記調整された抽出条件を用いた抽出結果をリアルタイムに確認できることを特徴とする請求項３記載の情報処理方法。
【請求項５】
前記設定工程において前記ライブ映像表示モードを設定し、前記指標抽出工程において前記マニュアルモードを設定した場合は、前記撮影画像が更新されたとしても、ユーザによって指示された指標位置は更新されないことを特徴とする請求項３記載の情報処理方法。
【請求項６】
さらに、前記指標の世界座標を設定する指標情報設定工程を有し、
前記導出工程は、前記指標抽出工程によって特定された前記指標の画像座標と、前記世界座標とを用いて前記撮像装置のカメラパラメータを導出することを特徴とする請求項２記載の情報処理方法。
【請求項７】
前記指標情報設定工程によって設定された指標の数が、前記撮像装置のカメラパラメータの導出に必要な数に達していない場合は、ユーザにその旨を報知することを特徴とする請求項６記載の情報処理方法。
【請求項８】
位置・姿勢が固定された撮像装置によって逐次的に撮像される撮像画像をライブ映像として入力する画像入力工程と、
前記画像入力工程によって逐次的に取得された撮像画像を表示する画像表示工程と、
前記画像入力工程から逐次的に取得された撮影画像に基づき、表示される表示画像上におけるユーザ指示に応じて指標を抽出する指標抽出工程と、
前記指標抽出工程によって特定された前記指標の画像座標を用いて前記撮像装置のカメラパラメータを導出する導出工程とを有することを特徴とする情報処理方法。
【請求項９】
前記指標抽出工程において、前記撮影画像が更新されたとしても、ユーザによって指示された指標位置は更新されないことを特徴とする請求項８記載の情報処理方法。
【請求項１０】
請求項１乃至９のいずれかに記載の情報処理方法をコンピュータにより実現するためのプログラム。
【請求項１１】
位置・姿勢が固定された撮像装置によって逐次的に撮像される撮影画像を入力する画像入力手段と、
前記画像入力手段によって逐次的に入力された撮影画像を逐次的に取得するライブ映像表示モード、前記画像入力手段によってある時点で入力された撮影画像を取得する静止画像表示モードを含む表示モードから表示モードを設定する設定手段と、
前記設定工程によって設定された表示モードに応じて、前記画像入力手段から取得された撮影画像に含まれる指標の画像座標を抽出する指標抽出手段と、
前記指標抽出工程によって特定された前記指標の画像座標を用いて前記撮像装置のカメラパラメータを導出する導出手段とを有することを特徴とする情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置の位置姿勢のキャリブレーションを行うものに関する。
【０００２】
【従来の技術】
空間中に固定して設置したカメラの位置姿勢を計測する方法として、３次元空間中の座標（以下世界座標）値が既知である複数マーカ（すなわち、指標）をカメラによって撮像し、マーカの世界座標と撮像画像座標の関係をみたすようなカメラの位置姿勢を算出する（いわゆるＰｎＰ問題を解く）方法がある。
【０００３】
この手法では、カメラによる撮像画像からマーカを抽出し、さらにそのマーカがどのマーカなのかを同定する必要がある（この一連の処理を以下、単にマーカ抽出処理と呼ぶ）。マーカ抽出処理は、カメラで撮影した画像を、画像処理することによって自動的に行ったり、オペレータの手作業によって行ったり、あるいは双方の手段によって実現されている。
【０００４】
手作業によって行う手法では、カメラによる撮像画像を静止画像としてディスプレイなどに表示し、その表示画像上におけるマーカ位置をマウスでクリックすることで、マーカの画像座標入力が実現されている。
【０００５】
また、マーカ抽出処理を自動的に行う手法は、カメラで撮影した静止画像に対して、マーカ抽出パラメータ（抽出色の閾値やマーカの大きさなどを指定するパラメータ）を設定・調整し画像処理を施すことで実現されている。
【０００６】
【発明が解決しようとする課題】
しかし、マーカ抽出処理は画像の明るさに影響されやすく、撮像空間の明るさや撮像方向などによっては、画像の明暗がはっきりせず、画像上でのマーカの判断が難しくなる。このことから、撮像時には、照明などに気を配る必要がある。特に、マーカ抽出処理を自動的に行う場合には、マーカ抽出パラメータの調整も必要となるため、うまくマーカ抽出処理される環境を設定するための試行錯誤が必要となっている。
【０００７】
そのため、従来の静止画像を用いたマーカの自動抽出処理では、環境を撮影してマーカ抽出処理を行い、うまく抽出処理できない場合には撮像環境を変え、再度撮像してマーカ抽出処理を行い、と作業を何度も繰り返し行う必要があった。手作業によってマーカ抽出を行う場合も、すべてのマーカに対して、その抽出に必要な情報が視認できるように、撮像画像の入力を繰り返し行う必要があった。
【０００８】
本発明は、上述の点に鑑みてなされたものであり、撮影画像からの指標の高精度の抽出処理を簡単に行えるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明は、位置・姿勢が固定された撮像装置によって逐次的に撮像される撮影画像を入力する画像入力工程と、前記画像入力工程によって逐次的に入力された撮影画像を逐次的に取得するライブ映像表示モード、前記画像入力工程によってある時点で入力された撮影画像を取得する静止画像表示モードを含む表示モードから表示モードを設定する設定工程と、前記設定工程によって設定された表示モードに応じて、前記画像入力工程から取得された撮影画像に含まれる指標の画像座標を抽出する指標抽出工程と、前記指標抽出工程によって特定された前記指標の画像座標を用いて前記撮像装置のカメラパラメータを導出する導出工程とを有することを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
【００１１】
＜第１の実施形態＞
本実施形態は、固定のカメラの位置姿勢キャリブレーション装置であり、カメラで世界座標が既知のマーカを撮影し、マーカの世界座標とカメラ画像座標の関係を満たすようにして、カメラの位置姿勢を算出する。
【００１２】
そのため本実施形態では、
（１）同一直線上にない３点以上のマーカの世界座標
（２）カメラから撮影した画像上におけるマーカの画像座標
（３）世界座標系におけるカメラ位置姿勢の初期値（大まかな値）
を用い、（１）各マーカの世界座標、（３）カメラ位置姿勢を基にそのマーカの画像座標の理論値を求め、（２）実測値との誤差の和が最小となるようなカメラの位置姿勢を算出する（カメラキャリブレーション）。
【００１３】
このうち、（１）と（３）は準備段階で既知の情報として用意すべきデータである。マーカ（ランドマーク、特徴点）は、カメラが撮影対象としている現実空間内に、世界座標が既知な最低３点以上が配置されている必要がある。ここで、各マーカは、カメラ撮影画像上におけるその投影像の画像座標が特定可能であって、かついずれのマーカであるかが識別可能であるような、例えばそれぞれが異なる色を有するマーカであるものとする。世界座標系は所定の１点を原点とし、更にこの原点から夫々直交する方向にＸ、Ｙ、Ｚ軸をとる。そしてこの座標系において上記３点のマーカの座標が既知であるとする。つまり、予め上記３点のマーカについて原点からＸ、Ｙ、Ｚ方向への距離を測定しておく。また、（３）の固定カメラ配置情報の初期値は必ずしも必要なデータではないが、設定しないと適切な解が得られない場合があるため、この概算値も測定しておく。
【００１４】
（２）はカメラ位置姿勢算出時に取得するデータ、つまり、カメラ撮像画像からマーカ抽出処理で算出するデータである。本実施例においてマーカ抽出処理は、後述するマーカ抽出パラメータによって自動的に行うこともでき、また、オペレータがマーカ位置を手入力することもできるよう構成されている。
【００１５】
本実施形態では、図１に示す、マーカ抽出処理のためのＵＩ（ユーザインターフェース）１０を用意している。このＵＩ１０は、画像表示部２０を備えており、マーカ抽出処理結果をマーカ抽出処理に用いた画像と共に表示することができる。図１では、抽出されたマーカ位置に×印が表示され、さらに同定されたマーカが四角で囲まれている。
【００１６】
このＵＩ１０は、画像表示モード選択機能を有している。ＵＩ１０の［ＬＩＶＥ／ＳＴＩＬＬ］ボタン３０を押すことにより、ライブ映像表示モードと静止画像表示モードとを切り替えることができる。本装置は起動時にはライブ映像モードに設定されている。ライブ映像表示モードでは、カメラによって逐次的に撮影される最新の撮影映像（ライブ映像）が画像表示部２０に表示され、このライブ映像がマーカ抽出処理の対象となる。以下、画像表示部２０に表示されマーカ抽出処理の対象となる画像を対象画像と呼ぶ。静止画像表示モードでは、既に読み込まれている撮影映像（具体的には、［ＬＩＶＥ／ＳＴＩＬＬ］ボタン３０によって静止画像表示モードに切り替えられた時点における入力画像）が対象画像となる。
【００１７】
オペレータはこの画像表示モードの切り替え機能を使って、例えばマーカ抽出においてノイズが多数検出されてしまう場合において、ライブ映像表示モードに設定すれば、リアルタイムで変更する撮像映像を観察しながら、マーカ抽出しやすい照明に変更することができる。また、手作業でマーカを抽出する場合に、すべてのマーカが同時に視認できる状態が得られない場合であっても、ライブ映像上で見えているマーカを順次抽出していくことが可能となる。一方、人の出入りが激しいなど、カメラでマーカを撮影しつづけることが難しい場合においては、マーカを一度撮影して静止画像表示モードに設定することで、人の出入りなどに影響されずにマーカ抽出作業が行うことができる。
【００１８】
さらにこのＵＩ１０は、マーカ抽出処理モード選択機能を有している。マーカ抽出処理モードとは、対象画像のマーカ抽出処理を手動で行うか自動で行うかを決定するためのモードであり、自動抽出処理モードと手動抽出処理モードとがある。マーカ抽出処理モードは、マーカ抽出切り替えボタン４０を押すことで切り替えることができる。自動抽出処理モードでは、後述するマーカ抽出パラメータに従って、対象画像が画像処理されることで自動的にマーカが抽出される。手動抽出処理モードでは、オペレータが画像表示部２０上において対象画像のマーカ位置をマウスクリックすることで画像上におけるマーカ位置を手動入力したり、画像表示部２０上におけるマウスクリックによりマーカの選択を行ったり、マーカ削除ボタン５０によって誤って抽出されているマーカを削除したり、さらにマーカ同定用プルダウンメニュー６０によってマーカがどのマーカであるかを同定したり・修正したりといったことが可能である。この手動抽出処理モードでは、自動抽出処理モードによる抽出処理結果を利用して、誤って抽出処理された部分だけを手動で修正することも可能である。もちろん、自動抽出結果を全く利用せずに、すべてを手入力することも可能である。
【００１９】
さらにこのＵＩには、不図示の入力手段を介して、マーカ抽出パラメータを対話的に変更することができる。マーカ抽出パラメータとは、上述したマーカ抽出処理モードが自動抽出処理モードである場合に、抽出するマーカを指定するためのパラメータである。マーカ抽出のパラメータとして例えば、ｒｅｄ（赤）、ｇｒｅｅｎ（緑）、ｂｌｕｅ（青）の各色の閾値やマーカの大きさなどがある。マーカ抽出処理においては、これらのパラメータを正しく設定することが重要である。自動抽出処理モードにおいてこのＵＩを使うことで、オペレータはマーカ抽出処理結果を観察しながら抽出パラメータの調整を試行錯誤的に行える。
【００２０】
ＵＩ１０のボタン７０はカメラパラメータ算出実行ボタンであり、マーカ抽出処理が終了した後、ボタン７０を押すことによって、抽出されたマーカの画像座標と世界座標との関係を満たすようなカメラ位置姿勢が算出される（カメラキャリブレーション）。
【００２１】
図２は第１の実施形態における概略構成を示すブロック図である。
【００２２】
１０００が本実施形態におけるキャリブレーション装置である。キャリブレーション装置１０００には、キャリブレーションの対象となるカメラを接続することができ、本実施例では撮像装置１００を接続している。撮像装置１００は、対象空間および配置されたマーカを一望するよう固定されている。
【００２３】
２００は撮影映像取込部であり、位置姿勢が固定された撮像装置１００によって撮影された映像信号を入力し、表示部７００およびマーカ抽出部３００に適した形式に変換して、マーカ抽出部３００からの要求にしたがって表示部７００およびマーカ抽出部３００に送出する。
【００２４】
操作入力部８００は、各種インタフェース機器によって実現される。操作入力部８００はオペレータからの入力信号をデータとして入力する。上述したマーカ抽出の際の画像表示モード選択機能、マーカ抽出処理モード選択機能、および、抽出パラメータの変更機能も操作入力部８００によって実現されている。また、マーカ抽出を手作業で行う場合の入力や、カメラ位置姿勢の算出を指示するコマンド実行の入力も行う。
【００２５】
操作入力部８００より入力された信号は、適切な形に変換され、適切な処理部（各種モードの変更や抽出パラメータの変更コマンドはマーカ抽出部３００に、カメラ位置姿勢の算出を指示するコマンドは位置姿勢算出部４００）に送出される。
【００２６】
マーカ抽出部３００では、各種モードの変更およびマーカ抽出処理が行われる。マーカ抽出部３００は、操作入力部８００から画像表示モードおよびマーカ抽出処理モードの変更の指示が入力された場合、入力されたモードに設定し、また、マーカ抽出パラメータの変更コマンドが入力された場合、マーカ抽出パラメータを入力された値に設定する。
【００２７】
マーカ抽出部３００は、画像表示モードがライブ映像モードである場合、撮影映像取込部２００に撮像画像の送信を指示し、撮影画像を読み込むことで常に最新の撮像映像を対象画像とする。また、静止画像表示モードである場合、静止画像表示モードが指示された時点においてマーカ抽出部３００に読み込まれている撮像映像を対象画像とし、その後ライブ映像モードが指示されるまで撮影映像を更新しない。
【００２８】
マーカ抽出部３００は、マーカ抽出処理モードが自動抽出処理モードである場合、データ部から読み込んだマーカ情報および上述したマーカ抽出パラメータに従って画像処理を施すことで、対象画像からマーカの抽出を行う。自動抽出処理モードの際は、更新される画像に対して順次マーカの抽出処理を行い、マーカの抽出結果を更新する。
【００２９】
また、マーカ抽出処理モードが手動抽出処理モードである場合、ＵＩ１０からオペレータによって入力されるデータを、対象画像のマーカ抽出処理結果とする。手動抽出処理モードが指示された場合は、対象画像の更新にかかわらず、指示されたマーカ位置を保持する。
【００３０】
マーカ抽出部３００は、ボタン７０の指示に応じて、マーカ抽出処理結果であるマーカ抽出情報をカメラ位置姿勢算出部４００に送出する。ボタン７０が押下された際に、抽出されているマーカの数が、キャリブレーションするために必要な３より少なかった場合は、警告を出す。なお、抽出されたマーカが３つになるまでは、ボタン７０を押下できないようにしてもよい。
【００３１】
カメラ位置姿勢算出部４００では、操作入力部８００からカメラ位置姿勢の算出を指示するコマンドが入力されると、カメラの位置姿勢を算出する。本実施形態では、カメラ位置姿勢算出部４００は、データ部６００より読み込んだ各マーカの世界座標およびカメラ位置姿勢の初期値を基にそのマーカの画像座標の理論値を求め、マーカ抽出部３００からマーカ情報として送出された実測値との誤差の和が最小となるようなカメラの位置姿勢を算出する。算出されたカメラの位置姿勢は画像生成部５００に送出される。
【００３２】
なお、各マーカの情報（世界座標や識別子（ＩＤ）など）は、不図示の設定部を用いてユーザがマニュアルで設定、調整可能である。そして、設定されたマーカの情報は、図１のＵＩ１０における「Ｍａｒｋｅｒ  ｌｉｓｔ」領域に一覧表示される。
【００３３】
本実施形態では、最低３つ以上のマーカが必要である。よって、設定部によって設定されたマーカの数が３つ未満の場合は、ユーザに警告する。
【００３４】
画像生成部５００では、マーカ抽出部３００から送出されたマーカ抽出情報から、マーカ抽出結果を可視化するためのＣＧ（コンピュータグラフィック）を生成する。ＣＧとは例えば図１に示すように、抽出されたマーカ位置に×印を表示し、さらに同定されたマーカを四角で囲うといったものである。また、位置姿勢演算部４００でカメラ位置姿勢が送出されると、送出されたカメラ位置姿勢情報が正しいか判定するための指標となるＣＧ（図１においてはＸＹＺ座標軸）を生成する。画像生成部５００で生成されたＣＧデータは表示部７００に送出される。
【００３５】
データ部６００では、さまざまなデータを管理する。例えば、マーカ情報、初期段階に与えられた撮像部１００の位置姿勢情報、マーカ抽出パラメータ、マーカ抽出アルゴリズム、カメラ位置姿勢算出アルゴリズム、画像生成部５００で生成するためのＣＧデータなどである。
【００３６】
表示部７００は、撮像映像取込部２００から送出された画像に画像生成部５００で生成されたＣＧを重畳して画像表示部２０に表示する。オペレータはこの重畳画像を観察することで、マーカ抽出状況や算出したカメラ位置姿勢の精度を把握できる。オペレータは、図１に示すマーカの同定を表す×印や四角印を観察し、マーカ抽出処理が終了したと判断した場合は、上述のカメラパラメータ算出実行ボタン７０を押すことで、カメラ位置姿勢の算出を指示する。さらに、カメラ位置姿勢を算出した場合において、図１に示すＸＹＺ座標軸を観察することで、算出した位置姿勢の精度が良いと判断した場合はキャリブレーションを終了する。
【００３７】
図３は、本実施形態のマーカ抽出処理のフローチャートである。
【００３８】
ステップＳ０００において、本実施形態のマーカ抽出処理が起動し、データ部６００から初期設定に関するデータが読み込まれ、初期設定が行われる。画像表示モードはライブ映像モードに、マーカ抽出処理モードは自動モードに設定され、マーカ抽出パラメータにはデフォルト値が与えられる。また、マーカに関するデータもマーカ抽出処理部３００へ送られる。マーカに関するデータにはマーカＩＤ、位置データ、色データ、大きさや形に関するデータなどがある。
【００３９】
ステップＳ１００において、操作入力部８００は、本装置の使用者からコマンドが入力されたか否かの判定を行う。コマンドが入力されている場合にはそのコマンドはマーカ抽出部３００に送出される。マーカ抽出部ではコマンド判定を行い適切な処理を行う。例えば、コマンドがマーカ抽出処理モード変更であった場合は、マーカ抽出処理モードを変更し、コマンドがマーカ抽出パラメータ変更であった場合には、マーカ抽出のパラメータを変更する。また、コマンドがカメラ位置姿勢の算出を指示するコマンドであった場合は、マーカ抽出処理終了のフラグを立てる。
【００４０】
ステップＳ２００において、マーカ抽出部３００は画像表示モード判定を行う。画像表示モードが静止画像モードかつ対象画像が読み込まれている場合ステップ４００へ進む。画像表示モードが映像表示モードまたは対象画像が読み込まれていない場合はステップ３００へ進む。
【００４１】
ステップ３００において、マーカ抽出部３００は、撮影映像取込部２００へ映像の送出を要求する。撮影映像取込部２００は、撮像部１００からの入力された映像を、マーカ抽出部３００および表示部７００へ送出する。
【００４２】
ステップＳ４００において、マーカ抽出部３００で上述したマーカ抽出処理モードが判断される。マーカ抽出モードが自動抽出処理モードである場合、Ｓ４１１へ進み、手動抽出処理モードである場合はＳ４２１へ進む。
【００４３】
まず、自動抽出処理モードである場合（Ｓ４１１〜Ｓ４１３）を説明する。
【００４４】
ステップＳ４１１において、マーカ抽出パラメータに従って、対象画像からマーカが画像処理によって自動的に検出される。マーカ抽出処理結果は画像生成部５００へ送られる。
【００４５】
ステップＳ４１２において、画像生成部５００では、マーカ抽出結果を可視化するためのＣＧを生成する。画像生成部５００生成されたＣＧは表示部７００に送出される。
【００４６】
ステップＳ４１３において、表示部７００に対象画像およびマーカ抽出処理結果が表示される。オペレータは表示部７００を観察することで、マーカ抽出状況を知ることができる。
【００４７】
次に、手動抽出処理モードである場合（Ｓ４２１〜Ｓ４２３）を説明する。
【００４８】
ステップＳ４２１において、画像生成部５００では、現在までのマーカ抽出結果を可視化するためのＣＧを生成する。画像生成部５００生成されたＣＧは表示部７００に送出される。
【００４９】
ステップＳ４２２において、表示部７００に対象画像および現在までのマーカ抽出処理結果が表示される。オペレータは表示部７００を観察することで、現在までのマーカ抽出状況を知ることができる。
【００５０】
ステップＳ４２３において、オペレータが操作入力部８００を介して入力したマーカ情報をマーカ抽出処理結果として保持する。マーカ抽出処理結果は画像生成部５００へ送られる。
【００５１】
ステップＳ５００において、マーカ抽出処理が終了した（マーカ抽出処理終了のフラグが立っている）場合はステップＳ６００に進み、終了していない場合はＳ１００に戻り、マーカ抽出処理を繰り返す。
【００５２】
ステップＳ６００において、カメラ位置姿勢演算部４００は、カメラの位置姿勢を算出する。本実施例においては、カメラ位置姿勢演算部４００は、準備段階で既知の情報として保存された（１）各マーカの世界座標、（３）カメラ位置姿勢を基にそのマーカの画像座標の理論値を求め、マーカ抽出部３００からマーカ情報として送出された（２）実測値との誤差の和が最小となるようなカメラの位置姿勢を算出する。
【００５３】
ステップＳ７００で、オペレータがカメラ位置姿勢算出に失敗したと判断した場合は、再びステップＳ１００へ戻り、カメラ位置姿勢算出が成功するまで処理を繰り返す。オペレータがカメラ位置姿勢算出に成功したと判断した場合は、処理を終了する。
【００５４】
本実施形態ではこのように、カメラ位置姿勢を、理論値と実測値の誤差に基づいて算出する形態をとっているが、マーカの世界座標と撮像画像座標の関係をみたすように位置姿勢を算出する（いわゆるＰｎＰ問題を解く）他の方法を用いても良い。
【００５５】
さらに、本実施形態では、既知のマーカの撮像画像を用いてカメラの位置姿勢のキャリブレーションを行う実施形態としたが、本発明は、撮像画像中におけるマーカや自然特徴を抽出し、キャリブレーションをするさまざまな形態で実施できる。つまり、内部・外部に関わらず、さまざまなカメラパラメータのキャリブレーションにも利用できる。さらに、カメラ位置を既存として、マーカを貼った物体を撮影し、撮像物体の位置姿勢を検出する装置にも利用できる。
【００５６】
上述したように、カメラの位置姿勢キャリブレーションを行うためには、同一直線上にない３点以上のマーカを抽出することが必要である。
【００５７】
本実施形態によれば、ライブ映像表示モードと静止画像表示モード、マーカ抽出処理の自動抽出処理モードと手動抽出処理モードを使い分けることにより、必要なマーカのすべてが常に良好に表示されない状況においても、マーカ抽出を行うことが簡単にできる。
【００５８】
たとえば、実環境の変更やマーカが見え隠れするために一度に、必要なマーカのすべてを撮影することが難しい場合には、ライブ映像表示モードと手動抽出処理モードの組み合わせを使い、ライブ映像においてマーカが見えた時点で手動によりマーカを指示することによりマーカ抽出を行うことができる。そして、すべてのマーカについて指示できるまでライブ映像を取得しつづけることにより、必要なすべてのマーカについて対応することができる。
【００５９】
図４に、ライブ映像表示モードと手動抽出処理モードの組み合わせを使った場合の１例を示す。図４（ａ）では、８０（人）によって左のマーカ（Ｒｅｄ＿ＬＥＦＴ）が隠されてしまい、ユーザが指示することができない。よって、図４（ａ）では、左のマーカ以外のマーカについてユーザが指示している。その後、図４（ｂ）のように、８０（人）が真中に移動した際に、左のマーカ（Ｒｅｄ＿ＬＥＦＴ）を指示することができる。図４（ｂ）では、すでに指示されている真中のマーカ２つが８０（人）によって隠されている。しかしながら、図４（ａ）においてすでに指示されているので、指示されていることおよびマーカ情報を示すグラフィックが表示される。これにより、人がマーカを隠したとしてもすでに指示しているマーカをユーザが認識することができる。
【００６０】
本実施形態は固定のカメラを対象としているので、異なる時間の画像においてマーカを抽出したとしても、画像におけるマーカの位置は同じであるので、同一画像においてマーカのすべてが撮影されている場合と同様に扱うことができる。
【００６１】
また、マーカを良好な状態で撮像しつづけることが難しい状況において、マーカを良好な状態で撮影できたときに、静止画モードを指示し静止映像を取り込むことにより、必要なマーカの抽出処理を行うことができる。この場合は、自動抽出処理モードを用いることによりマーカを簡単に抽出することができる。さらに、上述したように、自動抽出した後に手動抽出処理モードを用いて調整することにより、より高精度な抽出を行うことができる。
【００６２】
マーカの抽出は、実空間の照明条件などの環境条件の影響を大きく受ける。そこで、環境条件の調整もしくはマーカの抽出条件の調整が必要となる。このような調整を行う場合は、ライブ映像表示モードと自動抽出処理モードの組み合わせを使うことにより、調整結果をリアルタイムに確認することができる。
【００６３】
このように、本実施形態によれば、固定のカメラの位置姿勢キャリブレーションを簡単に行うことができる。
【００６４】
なお、上述の実施形態では、表示モードとして、静止画像表示モードとライブ映像表示モードの２つの表示モードを有しているが、さらに、更新タイミングがライブ映像表示モードより遅い間欠表示モードなど他の表示モードを有するようにしてもかまわない。
【００６５】
（他の実施形態）
前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００６６】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００６７】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００６８】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００６９】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００７０】
【発明の効果】
以上説明したように、本発明によれば、逐次的に入力された撮影画像を逐次的に取得するライブ映像表示モードとある時点で入力された撮影画像を取得する静止画像表示モードとを有し、各モードで取得された撮影画像を用いて指標の抽出を行うことができる。さらに、ライブ映像からマーカ抽出処理を行う場合にも、手入力を可能とした（対象画像が更新されても、抽出したマーカ位置は保持する機能をもたせることで実現）。よって、これらのモードを切り替えることにより、さまざまな状況下においても高精度の指標抽出を簡単に行うことができる。
【００７１】
たとえば、実環境の変更や指標が見え隠れするために一度に撮影することが難しい場合にはライブ映像表示モードを使い、また、指標を良好な状態で撮像しつづけることが難しい状況には静止画像表示モードを使うことにより、高精度の指標抽出を簡単に行うことができる。
【図面の簡単な説明】
【図１】第１の実施形態におけるマーカ抽出処理のためのＵＩを示す図である。
【図２】第１の実施形態における概略構成を示すブロック図である。
【図３】第１の実施形態におけるカメラ位置姿勢キャリブレーションの処理手順を示すフローチャートである。
【図４】第１の実施形態における、ライブ映像表示モードと手動抽出処理モードの組み合わせを使った場合のマーカ抽出処理のためのＵＩを示す図である。
【図１】
2004334393.tif 000003
【図２】
2004334393.tif 000004
【図３】
2004334393.tif 000005
【図４】
2004334393.tif 000006