(57)【要約】【課題】本発明は、カメラ中心付近で用意した対象物体の種々の３次元姿勢を捉えたモデル画像のデータベースのみで、画面上の全ての位置に表される実空間に位置する対象物体のカメラ画像の姿勢推定を行うモデル画像照合における３次元姿勢の補正手法を提供する。【解決手段】対象物体１の種々の３次元姿勢を捉えたＣＡＤモデル画像４の球面射影画像データベースを作成した後、これとカメラ画像３の球面射影画像を照合し、カメラ画像３の球面射影画像に最もフィットする推定ＣＡＤモデル２ａを取得する。一方で、対象物体１、ＣＡＤモデルの重心の視線差を計算しておき、推定ＣＡＤモデル２ａの姿勢を視線差φで補正することにより、正しい補正ＣＡＤモデル２ｂの姿勢を得ることができる。【選択図】  図５
2004362128.tif 000002
【特許請求の範囲】
【請求項１】
実空間における対象物体のカメラ画像と、対象物体の種々の３次元姿勢を画像化した複数のモデル画像をデータベース化した画像照合データベースとを画像照合することで、実空間における対象物体の３次元姿勢を推定するモデル画像照合における３次元姿勢の補正手法であって、
前記モデル画像照合により、実空間における対象物体の３次元姿勢を暫定的に推定するとともに、前記モデル画像とカメラ画像の両者で、同一点に設定されているカメラ視点から、前記対象物体固有の特徴点を、モデル画像取得時とカメラ画像取得時各々の位置で認識したときの視方向の角度差を視線差として算定し、
該視線差を用いて、暫定的に推定した３次元姿勢を回転補正することを特徴とするモデル画像照合における３次元姿勢の補正手法。
【請求項２】
請求項１に記載のモデル画像照合における３次元姿勢の補正手法において、
前記対象物体固有の特徴点に、前記モデル画像及びカメラ画像各々の画像重心が用いられることを特徴とするモデル画像照合における３次元姿勢の補正手法。
【請求項３】
請求項１または２に記載のモデル画像照合における３次元姿勢の補正手法において、
前記モデル画像及びカメラ画像の両者を、前記カメラ視点を中心点に備えた同一の立体の面上に射影して、モデル射影画像及びカメラ射影画像を作成し、
前記画像照合データベースには、前記モデル画像に代わり、モデル射影画像をデータベース化するとともに、
モデル画像照合には、カメラ画像に代わり、カメラ射影画像を用いることを特徴とするモデル画像照合における３次元姿勢の補正手法。
【請求項４】
請求項３に記載のモデル画像照合における３次元姿勢の補正手法において、
前記立体には、球体を用いることを特徴とするモデル画像照合における３次元姿勢の補正手法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、モデル画像照合により推定した対象物体の３次元姿勢を補正するための、モデル画像照合における３次元姿勢の補正手法に関する。
【０００２】
【従来の技術】
例えば、ＣＡＤにより作成した対象物体のレンダリング画像（以下ではＣＡＤモデル画像と示す）照合を用いた実空間に位置する対象物体の３次元姿勢推定では、ＣＡＤモデル画像と実空間に位置する対象物体を撮像したカメラ画像を照合して、対象物体の姿勢推定を行う。しかし、ＣＡＤモデル画像は、一般には画像中心付近での画像しか用意しない。この場合、対象物体が同姿勢で位置のみ変動した場合、誤った姿勢推定を行ってしまう。以下に例を示す。
【０００３】
図１は対象物体１が画像中心付近にある場合のカメラ画像３、図２は対象物体１の姿勢は図１と同姿勢だが位置のみ変動した場合のカメラ画像３である。図２の対象物体１の姿勢は  図１と同姿勢と推定されるべきだが、ＣＡＤモデル画像との照合では、図１と別姿勢のＣＡＤモデル画像と最もフィットすると推定される。これは、カメラ画像３、ＣＡＤモデル画像が透視変換により表されることが原因である。勿論、これは図１のような画像中心のみのＣＡＤモデル画像だけでなく、図  ２のような画像中心以外のＣＡＤモデル画像を用意すればよいが、この場合には、データベースとして用意するＣＡＤモデル画像は画面上のあらゆる位置に対して必要になり、また、どの画面位置のＣＡＤモデル画像と照合するかが問題になり、データ量、精度の観点から好ましくない。
【０００４】
この他にも、モデル画像照合を用いた３次元姿勢の推定手法には、特許文献１及び特許文献２に示すように、カメラ画像３をＣＡＤモデル画像データベースと画像照合する手法や、特許文献３に示すように、カメラ画像３の輪郭をＣＡＤモデル輪郭データベースと輪郭照合する手法等が考案されている。
【０００５】
カメラ画像をＣＡＤモデル画像データベースと画像照合する手法では、画像データベースとの相関を取るのは非現実的なデータ量、計算時間となるため、一般的には特徴点部分のみの照合が行われ、かつ繰り返し収束計算を用いた推定手法が用いられる。
また、カメラ画像の輪郭をＣＡＤモデル輪郭データベースと輪郭照合する手法では、ＣＡＤモデル画像データベースを用いる場合と比較すると大幅にデータ量、計算時間が削減される手法であり、特許文献３では、画像の輪郭線を関数化したデータベースを用いて位置、推定を行っている。
しかし、何れの手法においても、対象物体の画像位置による姿勢推定誤差に対する対処は考慮されていない。
【０００６】
【特許文献１】
特開平０９−２７７１８４号公報
【特許文献２】
特開２００２−４６０８７号公報
【特許文献３】
特開平０９−１６７２３４号公報
【０００７】
【発明が解決しようとする課題】
上記事情に鑑み、本発明は、カメラ中心付近で用意した対象物体の種々の３次元姿勢を捉えたモデル画像のデータベースのみで、画面上の全ての位置に表される実空間に位置する対象物体のカメラ画像の姿勢推定を行うモデル画像照合における３次元姿勢の補正手法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
請求項１記載のモデル画像照合における３次元姿勢の補正手法は、実空間における対象物体のカメラ画像と、対象物体の種々の３次元姿勢を画像化した複数のモデル画像をデータベース化した画像照合データベースとを画像照合することで、実空間における対象物体の３次元姿勢を推定するモデル画像照合における３次元姿勢の補正手法であって、前記モデル画像照合により、実空間における対象物体の３次元姿勢を暫定的に推定するとともに、前記モデル画像とカメラ画像の両者で、同一点に設定されているカメラ視点から、前記対象物体固有の特徴点を、モデル画像取得時とカメラ画像取得時各々の位置で認識したときの視方向の角度差を視線差として算定し、該視線差を用いて、暫定的に推定した３次元姿勢を回転補正することを特徴としている。
【０００９】
請求項２記載のモデル画像照合における３次元姿勢の補正手法は、前記対象物体固有の特徴点に、前記モデル画像及びカメラ画像各々の画像重心が用いられることを特徴としている。
【００１０】
請求項３記載のモデル画像照合における３次元姿勢の補正手法は、前記モデル画像及びカメラ画像の両者を、前記カメラ視点を中心点に備えた同一の立体の面上に射影して、モデル射影画像及びカメラ射影画像を作成し、前記画像照合データベースには、前記モデル画像に代わり、モデル射影画像をデータベース化するとともに、モデル画像照合には、カメラ画像に代わり、カメラ射影画像を用いることを特徴としている。
【００１１】
請求項４記載のモデル画像照合における３次元姿勢の補正手法は、前記立体には、球体を用いることを特徴としている。
【００１２】
【発明の実施の形態】
本発明に係るモデル画像照合における３次元姿勢の補正手法について、図３から図９を参照して詳細を以下に示す。
本実施の形態では、実空間における対象物体、実空間における対象物体を撮像するカメラ、対象物体のカメラ画像を、それぞれ対象物体１、カメラ、カメラ画像３と称す。また、カメラ画像３と照合するモデル画像をＣＡＤ空間で取得することとし、これをＣＡＤモデル画像４と称するとともに、ＣＡＤ空間における対象物体をＣＡＤモデル２、ＣＡＤモデル２からＣＡＤモデル画像４を取得するカメラをＣＡＤカメラと称する。
なお、カメラによる画像計測対象を衛星とするが、対象物体１は衛星に特定するものではない。
また、本発明で扱うカメラ画像３は、カメラキャリブレーション結果などを用いて、レンズ歪みは補正されているものとする。
さらに、カメラは２次元画像用カメラのみではなく、３Ｄのレーザレンジファインダに対しても適用可能である。
【００１３】
また、本実施の形態では、照合する対象を画像として記載しているが、例えば、画像輪郭線を画像重心などを原点とした極座標で表した輪郭関数、あるいは輪郭線を曲率の関数として表したフーリエ記述子のように、画像データから作成した関数を照合する場合においても適用可能である。従って、以下に説明するモデル画像照合における３次元姿勢の補正手法においては、照合する対象を、適宜、輪郭関数、フーリエ記述子などと読み替えればよい。
【００１４】
次に、図３にＣＡＤモデル座標系Σｍを示す。ΣｍはＣＡＤモデル２に固定された直交右手系座標系であり、幾何学重心Ｏｍを原点とし、図３のようなＸｍ、Ｙｍ、Ｚｍ軸の方向を取り、回転角θｘ、θｙ、θｚは、各軸右ねじの進む方向に対応する回転を正の回転方向とする。ＯｍはＣＡＤモデル２の幾何学重心、あるいは質量重心である必要はなく任意性があるが、本実施の形態では、幾何学重心として説明する。
【００１５】
また、カメラ座標系は、透視変換の原理に基づき（実空間での）カメラの画面描画をモデル化した座標系であり、  ＣＡＤカメラはカメラと焦点距離、画角、画像サイズ（ピクセル数）を一致させておく。図４にカメラ座標系Σｃの説明を示す。Σｃはカメラに固定された直交座標系であり、カメラ視点Ｏｃを原点とし、図４のようにカメラ画面５の右方向を＋Ｘｃ、カメラ画面５の上方向を＋Ｙｃ、カメラ画面５の手前方向を＋Ｚｃ軸の方向とする。また、ｏはカメラ画面５の中心で、ｆは焦点距離を表す。従って、カメラ画面５はＺｃ＝−ｆの平面となる。例として、Σｃ上の任意の点Ｐは、図  ５のようにカメラ画面５上の点Ｐｃに射影される。
【００１６】
上述するＣＡＤモデル画像４及びカメラ画面５を利用したモデル画像照合における３次元姿勢の補正手法を以降で詳述するが、これに先立ち、２次元を例に挙げて、簡略にモデル画像照合に用いる姿勢補正手法の原理について、図５、図６を参照して説明する。
図５は、２次元空間でのモデル画像照合に用いる姿勢補正の原理を示すものであり、カメラ、ＣＡＤカメラを同一のものとして重畳してあり、対象物体１、ＣＡＤモデル２が存在する空間も重畳されている。ここで、対象物体１がカメラ画面５の画像中心から離れた位置にある場合、ＣＡＤモデル２が画像中心付近にあるＣＡＤモデル画像４による画像照合を用いての姿勢推定を考える。
【００１７】
また、図６は、モデル画像照合に用いる姿勢補正の手順を示すフローチャートであり、このフローチャートは、必ずしも２次元に限定したものではない。
ところで、本実施の形態では、図６に示すように、モデル画像照合に用いる姿勢補正の手順に、球面射影を適用している。これは、ＣＡＤモデル画像４、カメラ画像３には、透視変換に起因する歪みが存在することから、これらを球体に射影した球面射影（３次元極座標変換、眼球変換）を用いて透視変換歪み補正をすることを目的とするものである。ここで、上述する球面射影を用いた透視変換歪み補正を簡略に示す。
【００１８】
図７に、球面座標変換を用いた透視変換歪み補正手法の原理を示す。対象物体１がカメラ画像３中心付近にある場合は画像Ａ、対象物体１がカメラ画面５に平行移動すると画像Ｂとなる。画像Ｂでは画像Ａでは写らなかったカメラ画面５に垂直な部分も撮像され、この垂直部分の撮像部はカメラ画面５の撮像位置により大きさが変化するため透視変換歪みの要因となる。
これに対し、カメラ視点を中心とする球面上に画像を射影する場合、画像Ａ→球面射影画像Ａ、画像Ｂ→球面射影画像Ｂ、と射影される。球面射影画像Ａは画像Ａと大差ないが、球面射影画像Ｂは画像Ｂよりかなり縮小される。すなわち、球面射影により、画面中心から離れた位置の画像を、あたかも画像中心にあるがごとく扱うことができ、画像の正規化と考えると解りやすい。
【００１９】
しかし、球面射影画像Ｂと、画像中心付近にあるＣＡＤモデル画像４の画像Ｃを球面射影した球面射影画像Ｃとを照合すると、図７のような推定ＣＡＤモデル２ａの姿勢と推定する。これは、カメラ視点に対する対象物体１、推定ＣＡＤモデル２ａの視線方向での姿勢が同一だからである。しかし、正しい姿勢は点線で示した対象物体１の姿勢である。従って、モデル画像照合において、球面射影を用いて透視変換に起因する歪みを補正することはできても、正しい推定姿勢は得られない。
【００２０】
そこで、本発明は、カメラ視点から対象物体１の重心、ＣＡＤモデル２の重心への各視線の差、あるいはカメラ視点から対象物体１の球面射影画像重心、ＣＡＤモデル２の球面射影画像重心への各視線の差を視線差と称し、この視線差をモデル画像照合に適用して、推定姿勢を補正するものである。
【００２１】
なお、予め、対象物体１、ＣＡＤモデル２が画像中心付近にあることが解っている場合には、依然として、上述の視線方向の相違に起因する姿勢推定誤差は残るものの、画像中心付近では透視変換歪みの影響は少ないため球面射影は割愛可能であり、図６ではこれをカッコを用いて示している。この場合に照合する画像は、球面射影画像から、適宜、ＣＡＤモデル画像４、カメラ画像３と読み替えれば良い。
また、本実施の形態では、球体に射影した球面射影を用いた透視変換歪み補正を示したが、射影する立体は、必ずしも球体にこだわるものではなく、円筒や多面体上の平面等、カメラ視点が中心点に備えられた立体であれば、適宜最適な立体を用いる構成とすればよい。
【００２２】
以下、球面射影を用いた透視変換歪み補正を実施する場合を事例として、モデル画像照合に用いる姿勢補正の原理を詳述する。
【００２３】
（オフラインでの画像データベース作成）
画像中心付近に位置するＣＡＤモデル２の、種々の３次元姿勢を捉えたＣＡＤモデル画像４を、予めデータベース化し画像照合データベースを作成しておく。図５では、種々の３次元姿勢において、モデル画像照合に用いるＣＡＤモデル画像４である画像Ａを球面射影して、画像照合データベースに代わり、球面射影画像Ａ（請求項のモデル射影画像に相当）をデータベース化した球面射影画像データベースを作成することに相当する。
【００２４】
（カメラ画像の球面射影）
カメラ画像３を球面射影する。図５では、対象物体１のカメラ画像３である画像Ｂを球面射影して、球面射影画像Ｂ（請求項のカメラ射影画像に相当）を取得することに相当する。
【００２５】
（画像照合）
ＣＡＤモデル画像４の球面射影画像データベースと、カメラ画像３の球面射影画像を、相関計算などにより照合するモデル画像照合を実施する。図５では、球面射影画像Ａと球面射影画像Ｂを照合することに相当する。
【００２６】
（姿勢推定）
画像照合して、カメラ画像３の球面射影画像に最もフィットするＣＡＤモデル画像４の球面射影画像の姿勢を推定姿勢とする。図５では、推定ＣＡＤモデル２ａの姿勢が推定姿勢となる。
【００２７】
（重心の視線差計算）
対象物体１、ＣＡＤモデル２の重心の視線差を計算する。図５では、視線差の計算に用いる重心点として、対象物体１、ＣＡＤモデル２の幾何学重心として示したが、必ずしもこれにこだわるものではなく、実用的には球面射影画像Ａ、球面射影画像Ｂの画像重心を用いる方が便利である。これは幾何学重心を用いるためには、姿勢推定とは別に３次元位置推定を行う必要があるためであり、画像重心を用いる場合には単に２次元画像上での計算で済み、視線差計算を簡単に行うことができる。図５では、視線差はφに相当する。
なお、本実施の形態では、視線差の対象を画像重心として示すが、カメラ画像３、ＣＡＤモデル画像４の特徴点（一例として、外接円の中心など）の視線の差を用いても良い。
【００２８】
（姿勢補正）
「００２６」で示したように、対象物体１の推定姿勢は、図５の推定ＣＡＤモデル２ａとして推定される。しかし、正しい推定姿勢は、図５の補正ＣＡＤモデル２ｂで表される姿勢である。推定ＣＡＤモデル２ａと補正ＣＡＤモデル２ｂの姿勢誤差は、視線差φにより生じたもので、補正ＣＡＤモデル２ｂを−φ回転した姿勢として推定される。
これは図８のように、対象物体１をφ回転したカメラで見た相対姿勢として考えることができる。φ回転したカメラ画面５では、対象物体１は相対的に−φ回転したように見え、これは（回転していない）カメラ画面５での推定ＣＡＤモデル２ａの相対姿勢に等しい。すなわち、カメラ画面５でのＣＡＤモデル２と、回転したカメラ画面５での基準姿勢から−φ回転した対象物体１を照合したため、補正ＣＡＤモデル２ｂを−φ回転した姿勢として推定される。従って、推定ＣＡＤモデル２ａの姿勢を視線差φで補正することにより、正しい補正ＣＡＤモデル２ｂの姿勢を得ることができる。
【００２９】
このような、２次元を事例としたモデル画像照合に用いる姿勢の補正手法の原理を念頭に置き、以下に、球面射影を用いた透視変換歪み補正を実施する場合を事例として、モデル画像照合における３次元姿勢の補正手法を詳述する。
【００３０】
（姿勢表現の一般性）
ところで、３次元での姿勢表現の手法には、オイラー角、クオータニオン（オイラーパラメータあるいは四元数）、座標変換行列、方向余弦などの表現手法が有る。本実施の形態では、オイラー角、座標変換行列を用いるが、必ずしもこれにこだわるものではなく、クオータニオン、方向余弦などを姿勢表現として用いた場合に対しても、視線差の表現を同種の姿勢表現を用いることにより、オイラー角、座標変換行列の場合と同様な手法により姿勢補正が可能である。
【００３１】
（球面射影）
図６の姿勢補正フローチャートを３次元に適用する場合には、図９に示すような球面射影を行う。図９は、図４のカメラ座標系に、カメラ視点Ｏｃを中心とし焦点距離ｆを半径とする球面を付加した様子を表す。
ＰＡは  推定ＣＡＤモデル画像（カメラ画像３に最もフィットしたＣＡＤモデル画像４）の画像点、ＰＢはカメラ画像３の画像点、ＱＡはＰＡの球面射影点、ＱＢはＰＢの球面射影点である。以下では、ＱＡ、ＱＢを推定ＣＡＤモデル画像の球面射影の画像重心、カメラ画像３の球面射影の画像重心として説明する。ＱＡ、ＱＢは、それぞれ、φｙＡ→φｘＡ、φｙＢ→φｘＢの順番のオイラー角で表される姿勢である。
なお、本実施の形態では、ＰＡ、ＰＢが画像中心から離れた位置にある場合を想定しているが、予めＰＡ、ＰＢが画像中心付近にあることが解っている場合には、画像中心付近では透視変換歪みの影響は少ないため、画像の球面射影は割愛することが可能である。この場合、本説明におけるＱＡ、ＱＢをＰＡ、ＰＢと読み替えれば良い。
【００３２】
（視線差）
−Ｚｃ軸に対するＱＡ、ＱＢの絶対視線差は、オイラー角でφｙＡ→φｘＡ、φｙＢ→φｘＢと表される。この姿勢を３×３の座標変換行列ＲＡ、ＲＢで表すとすると、ＱＡに対するＱＢの（相対）視線差の座標変換行列Φは（１）式となる。
【００３３】
【数１】
2004362128.tif 000003
【００３４】
（姿勢補正）
「００２８」に示した姿勢補正の考え方を用いると、対象物体１をΦで回転させたカメラ画面５でΦ−１で回転したと認識するため、カメラ画面５で正しい推定姿勢に対してΦ−１で回転したＣＡＤモデル２と照合フィットするとして姿勢推定される。従って、姿勢補正は、対象物体１をΦで回転させることになる。
推定ＣＡＤモデル２ａの姿勢を３×３の座標変換行列Ｒ１で表すとすると、姿勢補正後の座標変換行列Ｒ２は（２）式となる。補正後の姿勢をオイラー角で求める場合は、（  ２  ）式のＲ２を、「００１４」のオイラー角θｘ、θｙ、θｚで表される座標変換行列として解けばよい。
【００３５】
【数２】
2004362128.tif 000004
【００３６】
（モデル画像照合における３次元姿勢の補正手法のまとめ）
本発明を用いることにより、カメラ中心付近で用意したＣＡＤモデル画像４のデータベースのみで、画面上の全ての位置に表される対象物体１のカメラ画像３の姿勢推定を行うことができる。
【００３７】
【発明の効果】
請求項１記載のモデル画像照合における３次元姿勢の補正手法によれば、実空間における対象物体のカメラ画像と、対象物体の種々の３次元姿勢を画像化した複数のモデル画像をデータベース化した画像照合データベースとを画像照合することで、実空間における対象物体の３次元姿勢を推定するモデル画像照合における３次元姿勢の補正手法であって、前記モデル画像照合により、実空間における対象物体の３次元姿勢を暫定的に推定するとともに、前記モデル画像とカメラ画像の両者で、同一点に設定されているカメラ視点から、前記対象物体固有の特徴点を、モデル画像取得時とカメラ画像取得時各々の位置で認識したときの視方向の角度差を視線差として算定し、該視線差を用いて、暫定的に推定した３次元姿勢を回転補正する。
これにより、カメラ中心付近で用意したＣＡＤモデル画像のデータベースのみで、画面上の全ての位置に表される対象物体のカメラ画像による姿勢推定を行うことが可能となる。
【００３８】
請求項２記載のモデル画像照合における３次元姿勢の補正手法によれば、前記対象物体固有の特徴点に、前記モデル画像及びカメラ画像各々の画像重心が用いられる。
これにより、特徴点に幾何学重心を用いる場合と比較して視線差計算をより簡略に実施することが可能となる。
【００３９】
請求項３もしくは４記載のモデル画像照合における３次元姿勢の補正手法によれば、前記モデル画像及びカメラ画像の両者を、前記カメラ視点を中心点に備えた同一の立体の面上に射影して、モデル射影画像及びカメラ射影画像を作成し、前記画像照合データベースには、前記モデル画像に代わり、モデル射影画像をデータベース化するとともに、モデル画像照合には、カメラ画像に代わり、カメラ射影画像を用いる。もしくは、前記立体には、球体を用いる。
これにより、画面中心から離れた位置の画像を、あたかも画像中心にあるがごとく扱うことができることから透視変換歪みの影響を小さくすることができ、より精度の高い対象物体のカメラ画像の姿勢推定を行うことが可能となる。
【図面の簡単な説明】
【図１】従来に係る画像中心付近での対象物体画像を示す図である。
【図２】従来に係る画像中心付近から平行移動した対象物体画像を示す図である。
【図３】本発明に係るＣＡＤモデル座標系の説明図を示す図である。
【図４】本発明に係るカメラ座標系の説明図を示す図である。
【図５】本発明に係る２次元でのモデル画像照合に用いる姿勢の補正手法の原理を示す図である。
【図６】本発明に係るモデル画像照合に用いる姿勢の補正手法のフローチャートを示す図である。
【図７】本発明に係る球面射影を用いた透視変換歪み補正手法を示す図である。
【図８】本発明に係るカメラ回転による等価姿勢を示す図である。
【図９】本発明に係る球面射影と視線差を示す図である。
【符号の説明】
１  対象物体
２  ＣＡＤモデル
２ａ  推定ＣＡＤモデル
２ｂ  補正ＣＡＤモデル
３  カメラ画像
４  ＣＡＤモデル画像
５  カメラ画面
【図１】
2004362128.tif 000005
【図２】
2004362128.tif 000006
【図３】
2004362128.tif 000007
【図４】
2004362128.tif 000008
【図５】
2004362128.tif 000009
【図６】
2004362128.tif 000010
【図７】
2004362128.tif 000011
【図８】
2004362128.tif 000012
【図９】
2004362128.tif 000013