(57)【要約】【課題】  カメラからコンピュータシステムに入力される観測画像データの量を増やすことなく、３次元モデル内の仮想的な視点とカメラの位置が大きくずれていても高精度且つ迅速に実際のカメラの位置や姿勢を推定することができる方法とシステムを提供する。【解決手段】  環境内を移動可能なカメラから、視野の中心部分の解像度が高く、周辺部分に向けて解像度が連続的に減少する中心窩広視野画像データを、前記環境の３次元モデルデータがあらかじめ記憶されているコンピュータシステムに入力し、このコンピュータシステムにより中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けして仮想視点の位置及び向きを修正する手順を両者の点間の位置ずれが無くなるまで反復することでカメラの環境内での位置及び姿勢を推定する。【選択図】  図５
2005069757.tif 000002
【特許請求の範囲】
【請求項１】
環境内を移動可能なカメラから、視野の中心部分の解像度が高く、周辺部分に向けて解像度が連続的に減少する中心窩広視野画像データを取得し、
前記中心窩広視野画像データを前記環境の３次元モデルデータがあらかじめ記憶されているコンピュータシステムに入力し、
前記コンピュータシステムによって、前記中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けして仮想視点の位置及び向きを修正する手順を両者の点間の位置ずれが無くなるまで反復して、カメラの環境内での位置及び姿勢を推定することを特徴とする中心窩広視野画像を利用したカメラ位置姿勢推定方法。
【請求項２】
コンピュータシステムによって、中心窩広視野画像データ上の点と、３次元モデルデータ上の点の対応付けと仮想視点の位置と向きの修正を中心窩広視野画像データの解像度の低い視野の周辺部分だけで反復し、両者の点間の位置ずれが所定値まで減少した段階で、解像度の高い視野の中心部分を含む視野全体で、両者の点間の対応付けと仮想視点の位置と向きを修正する手順を両者の点間の位置ずれが無くなるまで反復することを特徴とする請求項１記載の中心窩広視野画像を利用したカメラ位置姿勢推定方法。
【請求項３】
コンピュータシステムによって中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けして仮想視点の位置及び向きを修正する手順を繰り返す際に、両者の点間の位置ずれが減少する方向に収束する度合いを判定し、その判定結果に応じて両者の点間の対応付けとを行う中心窩広視野画像データ上の解像度の領域を変更し、収束しないと判定した場合には、カメラの環境内での位置及び姿勢を推定処理を中断することを特徴とする請求項２記載の中心窩広視野画像を利用したカメラ位置姿勢推定方法。
【請求項４】
環境内で被写対象を撮影し、視野の中心部分の解像度が高く、周辺部分に向けて解像度が連続的に減少する中心窩広視野画像データを生成する移動可能なカメラと、
環境の３次元モデルデータを記憶し、前記中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けして仮想視点の位置及び向きを修正する手順を両者の点間の位置ずれが無くなるまで反復する処理を実行して、カメラの環境内での位置及び姿勢を推定するコンピュータシステムとを備えたことを特徴とする中心窩広視野画像を利用したカメラ位置姿勢推定システム。
【請求項５】
コンピュータシステムが中心窩広視野画像データ上の点と、３次元モデルデータ上の点の対応付けと仮想視点の位置と向きの修正を中心窩広視野画像データの解像度の低い視野の周辺部分だけで反復し、両者の点間の位置ずれが所定値まで減少した段階で、解像度の高い視野の中心部分を含む視野全体で、両者の点間の対応付けと仮想視点の位置と向きを修正する手順を両者の点間の位置ずれが無くなるまで反復する処理を実行することを特徴とする請求項４記載の中心窩広視野画像を利用したカメラ位置姿勢推定システム。
【請求項６】
コンピュータシステムが中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けして仮想視点の位置及び向きを修正する手順を繰り返す際に、両者の点間の位置ずれが減少する方向に収束する度合いを判定し、その判定結果に応じて両者の点間の対応付けとを行う中心窩広視野画像データ上の解像度の領域を変更する処理を実行するとともに、収束しないと判定した場合には、処理の実行を中断することを特徴とする請求項５記載の中心窩広視野画像を利用したカメラ位置姿勢推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境内でロボット等の作業機に搭載されて移動可能なカメラによって得られる環境の観測画像を、あらかじめコンピュータシステム内に記録された環境の３次元形状モデルと比較してカメラの姿勢や位置を推定する技術に関する。
【背景技術】
【０００２】
例えば、カメラを視覚装置として搭載したロボットが、原子力プラント等の配管等が複雑に配置された環境内で作業する場合、観測画像を入力しているカメラの位置や姿勢を正確に把握することが重要となる。
【０００３】
カメラの周囲の環境の３次元モデルが既知である場合、観測画像と３次元モデルとを位置あわせすることにより、カメラの位置や姿勢を知ることができる。
そのための手法は、いくつか提案されており、観測画像上の点と３次元モデル点の投影との間で画像上の距離の近さを目安にする手法（例えば、非特許文献１参照。）と、観測画像上の点の投影線と３次元モデル点との間の３次元距離を目安にする方法（例えば、非特許文献２参照）に大別できる。
【０００４】
【非特許文献１】Feldmar,J.,Malandian,G.,Ayache,N.,Fernandezvidal,S.,Maurincomme,E.and Trousset,Y.:Matching 3D MR Angiography Data and 2D X-ray Angiograms,Proc.of CVRMed-MRCAS'97,pp.129-138,1997.
【０００５】
【非特許文献２】Lavallee,S.and Szeliski,R.:Recovering the Position and O-rientatation of Free-form Objects from Image Contours Using 3D Distance Maps,IEEE trans. Pattern Anal. & Mach. Intell.,17.4.,pp.378-390,1995.
【０００６】
これらの手法は何れも、観測画像と３次元モデルの両者から例えばコーナーや、２つの面によって構成されるエッジのように、特定が容易な特徴を抽出できることを仮定しているため、環境に曲面で構成されている物体しか存在しない場合には適用することができなかった。
【０００７】
これに対し、本発明者らは、物体の遮蔽輪郭を特徴として用いることのできる手法を提案し、パイプなどの主に円筒状の物体で構成されたプラントの一部のような複雑な環境内においても観察カメラの位置・姿勢の推定を可能にした。（非特許文献３参照）
【０００８】
【非特許文献３】Kita,Y.and Kita,N.:Position and Pose Detection of Active Camera-head in a Nuclear Power Plant,Proc. of Int. Conf. on Intelligent Ro-bots and Systems(IROS '2000),pp.1872-1879,2000.
【０００９】
遮蔽輪郭は、見る方向により３次元的な位置が３次元モデル上を移動するが、３次元モデルからOpenGL（登録商標）のような一般的な画像合成システムが画像と同時に生成する奥行き画像を利用することにより、処理の高速化を実現している。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
３次元モデルデータと、カメラから得られる観測画像データとを対応付けをする場合、両者が大きくずれている初期の段階では、カメラの視野が広いほど両者の対応付けが容易となるが、限られたサイズの画像を入力する場合には、視野を広くとると解像度が下がり、得られるカメラの位置や姿勢の精度が悪くなり、一方、解像度を高くすると、視野が狭くなって、３次元モデルデータにおける仮想カメラ視点と実際のカメラの初期位置が大きくずれていると対応付けができなくなる問題があった。
【００１１】
このような状況を回避するためには、カメラを広視野、且つ、高解像度とすればよいが、その場合には、カメラから入力されるデータの量が膨大になり、処理するコンピュータシステムの負荷が大きく、迅速な対応付けが困難となる問題があった。
【００１２】
そこで、本発明は、前述したような従来技術の問題を解消し、カメラからコンピュータシステムに入力される観測画像データの量を増やすことなく、３次元モデル内の仮想的な視点とカメラの位置が大きくずれていても高精度且つ迅速に実際のカメラの位置や姿勢を推定することができる方法とシステムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の中心窩広視野画像を利用したカメラ位置姿勢推定方法は、環境内を移動可能なカメラから、視野の中心部分の解像度が高く、周辺部分に向けて解像度が連続的に減少する中心窩広視野画像データを取得し、前記中心窩広視野画像データを前記環境の３次元モデルデータがあらかじめ記憶されているコンピュータシステムに入力し、前記コンピュータシステムによって、前記中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けして仮想視点の位置及び向きを修正する手順を両者の点間の位置ずれが無くなるまで反復して、カメラの環境内での位置及び姿勢の推定を行うものである。
【００１４】
前記発明の方法においては、コンピュータシステムによって、中心窩広視野画像データ上の点と、３次元モデルデータ上の点の対応付けと仮想視点の位置と向きの修正を中心窩広視野画像データの解像度の低い視野の周辺部分だけで反復し、両者の点間の位置ずれが所定値まで減少した段階で、解像度の高い視野の中心部分を含む視野全体で、両者の点間の対応付けと仮想視点の位置と向きを修正する手順を両者の点間の位置ずれが無くなるまで反復することが好ましい。
【００１５】
さらに、コンピュータシステムによって中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けして仮想視点の位置及び向きを修正する手順を繰り返す際に、両者の点間の位置ずれが減少する方向に収束する度合いを判定し、その判定結果に応じて両者の点間の対応付けとを行う中心窩広視野画像データ上の解像度の領域を変更し、収束しないと判定した場合には、カメラの環境内での位置及び姿勢を推定処理を中断することが好ましい。
【００１６】
また、本発明の中心窩広視野画像を利用したカメラ位置姿勢推定システムは、環境内で被写対象を撮影し、視野の中心部分の解像度が高く、周辺部分に向けて解像度が連続的に減少する中心窩広視野画像データを生成する移動可能なカメラと、環境の３次元モデルデータを記憶し、前記中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けして仮想視点の位置及び向きを修正する手順を両者の点間の位置ずれが無くなるまで反復する処理を実行して、カメラの環境内での位置及び姿勢を推定するコンピュータシステムとを備えたものである。
【００１７】
また、前記発明のシステムにおいては、コンピュータシステムは、中心窩広視野画像データ上の点と、３次元モデルデータ上の点の対応付けと仮想視点の位置と向きの修正を中心窩広視野画像データの解像度の低い視野の周辺部分だけで反復し、両者の点間の位置ずれが所定値まで減少した段階で、解像度の高い視野の中心部分を含む視野全体で、両者の点間の対応付けと仮想視点の位置と向きを修正する手順を両者の点間の位置ずれが無くなるまで反復する処理を実行するものであることが好ましい。
【００１８】
さらに、コンピュータシステムは、中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けして仮想視点の位置及び向きを修正する手順を繰り返す際に、両者の点間の位置ずれが減少する方向に収束する度合いを判定し、その判定結果に応じて両者の点間の対応付けとを行う中心窩広視野画像データ上の解像度の領域を変更する処理を実行するとともに、収束しないと判定した場合には、処理の実行を中断するものであることが好ましい。
【発明の効果】
【００１９】
請求項１に記載した発明によれば、カメラが撮影した画像のデータが視野の中心部分で解像度が高く、ここから周辺部分に向けて解像度が連続的に減少する中心窩広視野画像データであるため、データ量を増やすことなく、広視野の情報を捉えることができ、仮想視点と実際のカメラの視点が初期に大きくずれていても、カメラによって得られた中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けることが容易にでき、しかも、カメラの視野の中心部分の解像度が高められているため、環境内のカメラの位置と姿勢を高精度に推定することができる。
【００２０】
また、請求項２に記載した発明によれば、さらに、中心窩広視野画像データの解像度の低い視野の周辺部分を用いて、仮想視点の位置と向きをカメラの位置と姿勢に近づくように粗く修正し、その後、解像度の高い視野の中心部分を含む視野全体で仮想視点の位置と向きを、カメラの位置と姿勢に近づくように高精度に修正するようにしているため、コンピュータシステムが、カメラの位置と姿勢の推定に要する時間を短縮することができる。
【００２１】
請求項３に記載した発明によれば、さらに、カメラから得られた中心窩広視野画像データ上の点のコンピュータシステム上における仮想視点から見た３次元モデルデータ上の点への対応付けを効率良く行うことができるとともに、両者の点間での対応付けが誤った場合に、コンピュータシステムが無駄な計算を長時間繰り返してしまうことを防止できる。
【００２２】
請求項４に記載した発明によれば、カメラが撮影した画像のデータが視野の中心部分から周辺部分に向けて解像度が連続的に減少する中心窩広視野画像データであるため、データ量を増やすことなく、広視野の情報を捉えることができる。
【００２３】
また、仮想視点と実際のカメラの視点が初期に大きくずれていても、カメラによって得られた中心窩広視野画像データ上の点を仮想視点から見た前記３次元モデルデータ上の点に対応付けることが容易にでき、しかも、カメラの視野の中心部分の解像度が高められているため、環境内のカメラの位置と姿勢を高精度に推定するシステムが得られる。
【００２４】
請求項５に記載した発明によれば、さらに、中心窩広視野画像データの解像度の低い視野の周辺部分を用いて、仮想視点の位置と向きをカメラの位置と姿勢に近づくように粗く修正し、その後、解像度の高い視野の中心部分を含む視野全体で仮想視点の位置と向きをカメラの位置と姿勢に近づくように高精度に修正するようにしているため、コンピュータシステムが、カメラの位置と姿勢の推定に要する時間を短縮できるシステムが得られる。
【００２５】
請求項６に記載した発明によれば、さらに、カメラから得られた中心窩広視野画像データ上の点のコンピュータシステム上における仮想視点から見た３次元モデルデータ上の点への対応付けを効率良く行うことができるとともに、両者の点間での対応付けが誤った場合に、コンピュータシステムが無駄な計算を長時間繰り返してしまうことが防止できるシステムが得られる。
【発明を実施するための最良の形態】
【００２６】
図１は、本発明のカメラ位置姿勢推定システムの概略構成図であって、環境Ｃの中を図示しないロボット等の作業機に搭載されて移動可能なカメラ１と、このカメラ１から画像データが入力されるコンピュータシステム２から構成されている。
【００２７】
コンピュータシステム２は、環境Ｃの３次元モデルや画像処理プログラムや画像合成プログラムを格納しているハードディスク等の記憶部３、カメラ１が実際に撮影した環境Ｃの観測画像データを取り込むための入力インターフェイス４、これらのデータに基づいて計算処理を行う演算処理部５、出力インターフェイス６、この出力インターフェイス６に接続された、モニタ７やプリンタ８等から構成されている。
【００２８】
本発明においては、カメラ１の初期位置・姿勢が与えられるとして、コンピュータシステム２で３次元モデルのカメラ１視点からの見え方を生成し、これと観測画像とが重なり合うように、カメラ１の位置と姿勢の推定を更新していく。
【００２９】
遮蔽輪郭は見る方向により、３次元モデル上を移動するので、カメラの位置・姿勢推定を更新する毎に計算しなおす。カメラが捉えた環境の画像からCanny Operatorにより濃淡エッジの方向を検出し、入力エッジとする。
【００３０】
（ステップ１：３次元モデル点の決定）
OpenGLなどの画像合成システムは、通常同時に奥行き画像を生成することができるので、これを用いて遮蔽輪郭を検出し、適当にサンプリングしてモデル点とする。
【００３１】
（ステップ２：対応付け）
前記モデル点と入力エッジは、画像上での距離を基準に、方向属性が一致することを条件に対応付けを行う。ここで、方向属性とは、近傍の８方向の濃淡値変化の最大方向である。
【００３２】
ただし、カメラの初期推定における姿勢の僅かなずれが画面上では大きなずれを生じるので、そのままでは距離の近さによる対応付けが行えない。そこで、初回に限り、モデル点が同じ方向性を持つエッジにもっとも良く重なる位置に、モデル点群を画面上で２次元方向に平行移動した後、対応付けを行う。
【００３３】
（ステップ３：カメラの位置・姿勢更新量の計算）
カメラの位置・姿勢更新量は回転変換をＲと平行移動変換をｔとして、下記の式のように表すことができる。
ＲＰｉ＋ｔ＝λｉ  ｐｉ、（ｉ＝１，・・・ｍ）
【００３４】
ここで、Ｐｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）は、モデル点の更新前のカメラ座標系での３次元座標、
ｐｉ＝（ｘｉ，ｙｉ，ｆ）は、観測画像上の対応点の座標、λｉは未知数である。対応ペアが十分存在すれば、回転を４元数を用いて線形化することで、近似最適解を求める
【００３５】
（ステップ４：反復）
更新したカメラ位置・姿勢から見た３次元モデルと観測画像において、遮蔽輪郭が十分重なるまで、前述したステップ１〜ステップ３を繰り返す。
【００３６】
（中心窩広視野画像）
本発明において、カメラよりコンピュータシステムに入力する画像は、図２に示すような中心窩広視野画像であって、これは、図３に示すように画像の中央部分では解像度を高くし、（視野角０．０５度／画素）、周辺部分で解像度を低くすることにより、１２０度の広い視野角を確保している。
【００３７】
図４はシミュレーション画像であり、複数の透視投影合成画像を元画像として座標変換することでこれを得ている。画像中心部分の高い解像度に合わせて透視投影画像を生成しているので周辺部分の一つの画素は透視投影画像のある領域に当たる。そのため、中心窩画像の画素の濃淡値および奥行き値は、この領域の画素値の平均値を用いている。
【００３８】
（中心窩広視野画像による３次元−２次元位置合わせ）
次に、前述した手法を中心窩広視野画像に適用するために行った拡張を、以下に説明する。図５は、中心窩広視野画像による３Ｄ（３次元）−２Ｄ（２次元）位置合わせの手順を示す流れ図であって、先ず、透視投影の場合と同様に、入力観測画像からCanny Operatorにより濃淡エッジと方向を検出する。
【００３９】
次に、カメラの初期推定位置・姿勢から、中心窩画像生成システムにより３次元モデルの予測濃淡値画像と予測奥行き値画像を生成し、エッジを検出して３次元モデル点を決定する。
【００４０】
その後、これを観測エッジ上の点と対応付けし、対応付けのずれを０にするように、カメラの位置・姿勢の更新量を計算する。この際、一回ではずれが無くならないので、図５における１）、２）、３）の処理を反復する。
【００４１】
（３次元モデル点の決定）
先に述べた手順と同様に、合成した奥行き画像から遮蔽輪郭を検出する。但し、ここで用いる３次元モデルには背景である壁が存在するので、有限の閾値を設定し、隣接する画素間の奥行きの差が閾値以上の画素を検出している。
【００４２】
壁に近いパイプによる遮蔽輪郭も検出できる程度に閾値を設定すると、視線に平行に近い面、特に画像周辺部の解像度が低い所の面上では、隣合う画素間での奥行きが閾値以上の差を持ち誤って検出されることがある。
【００４３】
そこで、これを避けるために、その画像位置に濃淡エッジが存在し、且つ、奥行きエッジと濃淡エッジの方向が平行である場合に限り検出する。そのため、濃淡値画像のエッジは、観測画像では検出しにくいエッジ点を含まない。
【００４４】
さらに、奥行き画像のエッジは、鏡面反射等によって引き起こされたエッジ点を全て含まない。したがって、このようなエッジは、頑健な特徴を持つことができる。
【００４５】
ただし、このように検出したエッジは、特に周辺部分で、１つの画素の奥行き値は透視投影画像中のある領域の画素の奥行き値の平均値を使うので、この領域では背景と対象物を含む場合があり、そのときの奥行き値が不安定になり、後の計算に影響を及ぼすことがある。
【００４６】
そこで、検出した画素の奥行きが手前に変化する方向に１画素移動した後、一定の間隔でサンプリングしてモデル点とする。図６は、この処理の前後の結果を示すものであって移動されたエッジ点の全体は対象物上になる。
【００４７】
（仮想透視投影平面の導入と投影変換の表記法）
図７は、中心窩広視野画像の投影モデルを示しており、同図において、ｈは像高、φは入射角であって、両者は図８に示す投影曲線で示す関係を有し、関数ｈ＝ｈ（φ）あるいは、φ＝φ（ｈ）で定義することができる。
【００４８】
３次元点Ｐｗ（Ｘ，Ｙ，Ｚ）は、中心窩画像上のＰｉ（ｕ，ｖ）に投影される。これに対して、カメラの座標系Ｒｃのｚ軸のｚ＝−１に仮想透視投影平面Ｐを導入すると、３次元点Ｐｗ（Ｘ，Ｙ，Ｚ）の透視投影点Ｐｖ（ｘ，ｙ，ｚ＝−１）は、ｘ＝Ｘ／Ｚ，ｙ＝Ｙ／ｚで定義される。
【００４９】
入射角度φは、式φ＝ａｒｃｔａｎ（√（ｘ２＋ｙ２））であり、長さｈ（φ）は、図８の投影曲線から求めることができる。
【００５０】
したがって、Ｐｉ  の座標（ｕ，ｖ）は次式から求めることができる。
ｕ＝ｕ（ｘ，ｙ）＝ｃｏｓ（ψ）ｈ（φ）
ｖ＝ｖ（ｘ，ｙ）＝ｓｉｎ（ψ）ｈ（φ）
【００５１】
ここで、ψは、式ｔａｎ（ψ）＝ｙ／ｘを満足する。逆に、Ｐｉ（ｕ，ｖ）を与えた場合、点Ｐｖ（ｘ，ｙ，ｚ＝−１）の座標は次式で求められる。
【００５２】
ｘ＝ｘ（ｕ，ｖ）＝ｕ／ｈｔａｎ（φ（ｈ））
ｙ＝ｙ（ｕ，ｖ）＝ｖ／ｈｔａｎ（φ（ｈ））
ここで、高さｈは式ｈ＝√（ｕ２＋ｖ２）を満足する。
【００５３】
（対応付け）
対応付けは、画像上での距離と同時にエッジの方向属性を用いるが、中心窩広視野画像の場合、エッジの方向は、カメラの平行移動に依存するので、ここでは仮想透視投影面上でのエッジ方向に変換してから用いている。
【００５４】
最初の対応付けの前に、モデル点群の２Ｄ平行移動が必要となる。ただし、中心窩広視野画像の場合、歪曲による変形を考慮する必要がある。そこで、先ずモデル点群を仮想透視投影平面Ｐに変換し、そこで様々な平行移動を行い、次に中心窩画像面に戻し、観測画像とエッジとの重なりを調べる。
【００５５】
図９は、一回目のカメラの位置・姿勢更新後の対応付けを示すものであって、同図Ａは、観測画像（シミュレーション画像）である。同図Ｂは、更新後のカメラから見た３次元モデルの見え方であり、ここで、点群はモデル点を表し、濃淡の違いで方向属性を表示している。
【００５６】
同図Ａの点は、モデル点と対応がとれた画素を示し、その点から伸びた線分の端点は対応するモデル点の位置を示している。１回目のカメラの位置・姿勢更新後であるにもかかわらず、解像度の高い中心付近では、誤対応が存在している。
【００５７】
（カメラの位置・姿勢更新後の計算）
中心窩広視野画像の場合、先ずモデル点に対応付けられた観測画像上の画素を仮想透視投影平面に変換し、その後、更新量を求めるが、透視投影の場合と異なり、画像の部分によって解像度が大きく異なることを考慮する必要がある。
【００５８】
例えば、カメラの位置・姿勢の誤差が大きくても、画像周辺では解像度が低いため、対応点間の画像上での距離は接近し、収束を遅くさせる可能性がある。そこで、画像全体では、正しい対応付けが得られていると考えられる場合には、収束を速めるために周辺部分の対応ペアに対して、中央付近の対応ペアの重みを大きくし、近似最適解を求めることとする。
【００５９】
（反復）
ここでは、中心窩広視野画像特有の解像度の違いを考慮して、反復の全過程を４つの段階に分けて行う。このような場合、収束がある段階へ至ったこと、もしくは、反復の終了を判断する基準は下記のものがある。
【００６０】
ペア比率（Pairs ratio)は、収束度の基準としては、全てのモデル点のうち、対応付けられた点の比率であって、反復が真の解へ収束する場合にはこれは１に収束する。
【００６１】
また、ペア誤差（Pairs error)は、すべての対応付けペアの画像上での平均距離であって、反復が真の解へ収束する場合、０に収束する。実際には、ペア比率と、ペア誤差を混合したものが有用な場合もある。
【００６２】
反復の４つの段階のうち、最初の段階は、１回目の反復のみであって、この段階でのみ対応付け前に回転誤差による大きなずれを修正するための２Ｄ平行移動を行う。
第２段階においては、中心部分の正しくないマッチングの影響を避けるために、画像の周辺部分だけを用いる。ここでは、サイズが３２０×２４０ピクセルの画像において、半径が８０ピクセルである円の外側を周辺部分とした。
【００６３】
これにより、誤対応の影響が避けられるだけでなく、計算に用いる対応ペアの数が減少し計算効率が向上する利点がある。この段階の終了は、ペア誤差を用いて以下のように判断する。
【００６４】
先ず、適当な定数Ｃ１を設定し、ペア誤差が定数Ｃ１より小さくなれば、収束に向かっていると判断し、反復を継続してペア誤差が増加する直前に次の段階に移行する。すなわち、これ以上収束しなくなった時点で次の段階に移行する。一方、最大反復数の後もペア誤差がＣ１より大きければ、コンピュータシステムはアルゴリズムを終了し、失敗を報告する。
【００６５】
第３段階では、画像上の全ての点の対応ペアを使用するとともに、中央付近の対応ペアの重みを大きくする。これにより、前述した第２段階の処理が終了した後、周辺部分の対応ペアの画像誤差がほとんど無い状態でも収束を促進することが可能となる。
【００６６】
この段階では、ペア比率とペア誤差を混合した基準を用いて、所定の定数Ｃ２より小さくなれば、収束に向かっていると判断して反復を継続し、この基準が増加に転じる直前に第４段階に移行する。もし、前記基準が最大反復数の後も前記定数Ｃ２より小さくならなければ、コンピュータシステムはアルゴリズムを終了し、成功を報告する。
【００６７】
最後の段階である第４段階では、画像誤差が０、あるいは、１である対応ペアだけを用いる。すなわち、この段階では高精度の位置合わせを目的とするために、２画素以上離れた対応付けは誤対応であるとみなす。
【００６８】
ただし、中央付近に誤対応が残った場合の影響を軽減するために画像の場所による重み付けは行わない。この段階は、所定の定数Ｃ３（Ｃ３＜Ｃ２）により、第３段階と同様に判断する。なお、本実施形態においては、アルゴリズムの終了時には、ペア比率とペア誤差の情報についても報告が行われるようにしている。
【産業上の利用可能性】
【００６９】
本発明の中心窩広視野画像を利用したカメラ位置姿勢推定方法及びシステムは、あらかじめ物体の３次元的な形状や配置が既知である環境において、ロボットやマニピュータ等の作業機を用いる場合に利用することができる。
【００７０】
そして、特に、カメラの位置や姿勢、並びに、環境内に置かれている物体の位置関係を高精度に把握することができるため、カメラと環境の３次元モデルデータを記憶した小型のコンピュータシステムを自律型のロボットに搭載して原子力プラント等の中での種々の作業を無人で行うために好適に利用することができる。
【００７１】
また、環境の３次元モデルデータが記憶されているコンピュータシステムは、ロボット等の作業機に搭載せず別の場所に設置して、カメラから撮影した画像データを無線あるいは有線で、そのコンピュータシステムに送信するようにしてもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の中心窩広視野画像を利用したカメラ位置姿勢推定システムの概略構成図である。
【図２】カメラよりコンピュータシステムに入力する環境の中心窩広視野画像の一例を示す図である。
【図３】中心窩広視野画像の解像度曲線図である。
【図４】コンピュータシステムで生成した濃淡値による環境のシミュレーション画像である。
【図５】中心窩広視野画像による３Ｄ−２Ｄ位置合わせの手順を示す流れ図である。
【図６】３次元モデル上のエッジ点の移動過程を示す図であり、（Ａ）は移動前、（Ｂ）は移動後の状態を示す。
【図７】仮想透視投影平面の概念図である。
【図８】カメラのレンズの投影曲線を示すグラフである。
【図９】一回目のカメラの位置と、姿勢更新後のカメラから見た３次元モデルの見え方を示すシミュレーション画像である。
【符号の説明】
【００７３】
１    カメラ
２    コンピュータシステム
３    記憶部
４    入力インターフェイス
５    演算処理部
６    出力インターフェイス
７    モニタ
８    プリンタ
【図１】
2005069757.tif 000003
【図２】
2005069757.tif 000004
【図３】
2005069757.tif 000005
【図４】
2005069757.tif 000006
【図５】
2005069757.tif 000007
【図６】
2005069757.tif 000008
【図７】
2005069757.tif 000009
【図８】
2005069757.tif 000010
【図９】
2005069757.tif 000011