(57)【要約】      （修正有）【課題】画像処理方法による対象物の姿勢及び／又は位置の測定方法を提供する。【解決手段】定義された非平面校正要素（３）によるセルフシェーディングが、校正プロセス画像内で決定され、次いで、検出されたセルフシェーディングを使って、影を補正するパラメータ（８）が決定される。この場合、姿勢及び／又は位置を測定するための対象物の画像を作るために、少なくとも１つの測定すべき対象物が、カメラ（１）の被写域内及び照明（２）によって照らされた区域内に導入される。対象物の画像は、その後、特有のパラメータ（８）によって補正され、対象物の姿勢及び／又は位置が、これから決定される。したがって、１つの画像及び知られている校正要素（３）のセルフシェーディングを用いて、空間内の対象物の姿勢及び／又は位置を確実に測定することができ、測定すべき対象物の、照明（２）によって作られた歪んだ影の境界が、一義的に決定され得る。【選択図】図２
2005326405.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法により対象物の姿勢及び／又は位置を測定する方法であって、
定義された非平面校正要素によるセルフシェーディングが、校正プロセス画像内で検出され、
前記検出されたセルフシェーディングを使用して、影を補正するパラメータを決定し、
少なくとも１つの測定すべき対象物が、カメラの被写域内及び照明によって照らされた区域内に導入され、前記対象物の少なくとも１つの画像が、前記カメラによって撮られ、
前記対象物の前記少なくとも１つの画像が、前記特有のパラメータによって補正され、前記姿勢及び／又は位置が、これから決定される方法。
【請求項２】
シャドー画像が作られ、前記対象物の前記少なくとも１つの画像が、前記校正プロセス画像内に転送され、前記対象物が、前記校正要素に影を落とし、
前記シャドー画像が、２値シャドー画像に変換され、
補正されたシャドー画像が、以前に決定された補正パラメータを使って、前記２値シャドー画像から生成される請求項１に記載の画像処理方法により対象物の姿勢及び／又は位置を測定する方法。
【請求項３】
前記補正されたシャドー画像を使用して、前記校正要素のシェーディングされた区域と前記照明とを相互に接続する三次元の連絡線の群を決定し、三次元の連絡線の前記群が、前記対象物の姿勢及び／又は位置を表す請求項２に記載の画像処理方法により対象物の姿勢及び／又は位置を測定する方法。
【請求項４】
前記少なくとも１つの測定すべき対象物の格納された幾何学モデルが、前記三次元の連絡線の前記群に適合される請求項３に記載の画像処理方法により対象物の姿勢及び／又は位置を測定する方法。
【請求項５】
能動的な輪郭アルゴリズムを使用して、前記幾何学モデルを三次元の連絡線の前記群に適合させる請求項４に記載の画像処理方法により対象物の姿勢及び／又は位置を測定する方法。
【請求項６】
前記測定すべき対象物の前記幾何学モデルが、少なくとも硬い又は柔軟な対象物のモデルである請求項１〜５のいずれか一項に記載の画像処理方法により対象物の姿勢及び／又は位置を測定する方法。
【請求項７】
前記校正要素の前記画像が、異なる空間方向から作られ、該画像のための複数の仮想カメラが定義される請求項１〜６のいずれか一項に記載の画像処理方法により対象物の姿勢及び／又は位置を測定する方法。
【請求項８】
前記校正要素の前記画像が、異なる空間方向から照らされ、該画像のための複数の仮想照明ユニットが定義される請求項１〜７のいずれか一項に記載の画像処理方法により対象物の姿勢及び／又は位置を測定する方法。
【請求項９】
前記校正要素が、ステップ状構造の要素である請求項１〜８のいずれか一項に記載の画像処理方法により対象物の姿勢及び／又は位置を測定する方法。
【請求項１０】
前記校正要素が、前記カメラの被写域の背景の少なくとも一部によって形成される請求項１〜９のいずれか一項に記載の画像処理方法により対象物の姿勢及び／又は位置を測定する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法により対象物の姿勢及び／又は位置を測定する方法に関する。
【背景技術】
【０００２】
対象物の姿勢及び／又は位置を測定するのに好適な、様々な画像処理方法が、知られている。このような方法は、主として、例えば組立の視準操作システムと合わせて、又は独立可動システムと合わせて、産業部門において使用される。
【０００３】
対象物の姿勢及び／又は位置を測定するために、好適な画像センサを使用して、周囲についての二次元又は三次元のいずれかの情報を処理することに基づく画像処理方法を利用することができる。周囲についての三次元情報を検出するのに好適な画像センサが、この場合、それぞれの画素のための関連する深さ値を供給する。しかし、周囲に関する三次元情報の検出中には多量のデータが発生するので、周囲に関する三次元情報を処理すると、その計算及び時間に要する経費が高いものとなる。その上、周囲の三次元検出のための画像センサの人的費用は、周囲の二次元検出のための好適な画像センサの人的費用より、実質的に高い。
【０００４】
二次元画像データを使って、対象物の姿勢及び／又は位置を測定するための異なる画像処理方法が知られている。例えば、２つの画像センサを立体配置することができ、画像センサの間隔が知られていると、画像処理方法により計算して、深さ値を決定することができる。また、異なる位置及び配向から複数のカメラを使って対象物を記録する画像処理方法も知られており、空間内の対象物の位置及び配向が、個々の画像を使って測定される。
【０００５】
独国特許出願番号第１０３４６４８１．６号の公開されていない特許出願では、表面上の構造の輪郭を再構成する方法について開示している。その過程で、検査すべき表面の同じ区域の少なくとも２つの画像が評価され、検査すべき表面が様々な方向から一様な入射角で照らされ、表面の画像が表面に対して急な角度のカメラ位置から撮られる。したがって、表面上の隆起及び窪みは、光の照射につれてその姿勢が変化する、はっきりと落ちた影を画像上に示す。より明るい反射により、傾斜した表面が識別され得る。影の輪郭及び明るい区域の外形を分析することにより、表面上の構造の高さ輪郭を決定し、したがって、例えば勾配の輪郭を再構成することができる。また、シェープ・フロム・シェーディング（ｓｈａｐｅ−ｆｒｏｍ−ｓｈａｄｉｎｇ）方法を組み込んで、輝度輪郭を評価することにより、傾斜の一様な変化を判断し、したがって、原物に十分に対応する、表面の三次元再構成を達成することもできる。
【０００６】
特許文献１では、対象物を観察するための装置及び方法について開示している。この装置は、所定の観察位置に配列された、観察すべき対象物の画像を同時に撮る少なくとも２台のカメラを具備する。その過程で、画像のそれぞれにおいて選択された特徴部分を相互に関連させることにより、記録された画像のそれぞれにおける共通の特徴部分が選択される。対象物の位置、特に選択された共通の特徴部分の三次元座標が、画像のそれぞれにおいて選択された特徴部分の位置データを用いて計算される。ここでは計算集約的な画像データの前処理は不都合であり、特に異なる画像において、最初に共通の特徴を探して、その後共通の特徴を相互に関連させ、次いでこの情報を使用して、対象物の三次元座標を計算することが必要である。対象物の姿勢及び／又は位置を決定するために、複数のカメラ及び／又は画像が必要であることも、特に不都合である。
【０００７】
【特許文献１】欧州特許第０７４７８７０Ｂ１号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
したがって、本発明の目的は、請求項１の前段による画像処理方法により、対象物の姿勢及び／又は位置を測定する方法を作り出すことであり、これを使って、対象物の姿勢及び／又は位置が、１つの画像を用いて簡単かつ信頼できる方法で決定され得る。
【課題を解決するための手段】
【０００９】
上記目的は、本発明により、請求項１の特徴を有する方法によって達成される。本発明の好ましい改良の形態及び発展の形態が、従属請求項に示されている。
【００１０】
本発明により、画像処理方法により対象物の姿勢及び／又は位置を測定する方法が使用される。この場合、定義された非平面校正要素によるセルフシェーディングが、まず校正プロセス画像内で検出される。次いで、検出されたセルフシェーディングを使って、影を補正するパラメータが決定される。姿勢及び／又は位置を測定するために、少なくとも１つの測定すべき対象物が、カメラの被写域内及び照明によって照らされた区域内に導入される。その過程で、対象物の少なくとも１つの画像がカメラによって撮られる。次いで、対象物の少なくとも１つの画像が特有のパラメータによって補正され、姿勢及び／又は位置がこれから決定される。本発明により、初めて、１つの画像を使用して、簡単かつ信頼できる方法で対象物の姿勢及び／又は位置を測定することができるようになる。特に、定義された非平面校正要素及びそのセルフシェーディングを含むことにより、初めて、対象物の測定中に照明によって作られる対象物の歪んだ影の境界を一義的に決定することができる。
【００１１】
本発明の１つの好ましい実施の形態においては、シャドー画像がさらに作られる。このため、対象物の画像を含む少なくとも１つの画像が、まず、校正プロセス画像に転送される。当業者には、このための画像処理プログラム及び光線追跡が知られている。ここで、カメラパラメータ及び照明パラメータの複雑な変換を回避するために、校正プロセス画像に対して、実際の場面と同じカメラパラメータ及び照明パラメータを選択することは明白である。校正要素を含む校正プロセス画像は、この場合、光線追跡環境において生成されることが好ましいが、カメラによって得られた、知られている校正要素の画像を使用することもできる。少なくとも１つの画像を転送した後、測定すべき対象物は、次いで、校正プロセス画像内で、定義された非平面校正要素に影を落とす。対象物の影は、それにより対象物の姿勢及び／又は位置を決定するために、一義的に決定されるべき歪んだ境界を有する。シャドー画像は、そこで２値シャドー画像に変換される。校正プロセス画像内に含まれるグレー値画素は、このため、ブラック又はホワイト画素に変換される。２値画像を作るために、２つのシャドー画像を使って商画像が形成されることが好ましく、この場合、シャドー画像の１つは照明付きで作られ、他のシャドー画像は照明なしで作られる。画像処理の当業者には、この方式の手順が知られており、例えばシェープ・フロム・シャドウ（ｓｈａｐｅ  ｆｒｏｍ  ｓｈａｄｏｗ）方法に適用されている。最後に、補正されたシャドー画像が、以前に決定された補正パラメータを使って、得られた２値シャドー画像から生成される。対象物の影は、この場合、もはや歪んだ境界を有さないが、影が平面にかかって、空間内の実際の姿勢及び／又は位置がこれから決定され得る、対象物の縮尺画像を構成する。
【００１２】
本発明のさらに好ましい実施の形態においては、補正されたシャドー画像を使って、三次元の連絡線の群が決定される。三次元の連絡線のこの群は、校正要素のシェーディングされた区域と照明の位置とを相互に接続する。したがって、三次元の連絡線の群を使用して、測定すべき対象物の姿勢及び／又は位置を再構成することができ、決定された三次元の連絡線の群は、測定すべき対象物の姿勢及び／又は位置を表している。次いで、姿勢及び／又は位置を決定するために、好ましい方法では、少なくとも１つの測定すべき対象物の格納された幾何学モデルが、このために、三次元の連絡線の群に適合される。格納された幾何学モデルを画像場面に適合させる方法が知られている。本発明の範囲内においては、測定すべき対象物の幾何学モデルを三次元の連絡線の群に適合させるために、能動的な輪郭アルゴリズムが使用されることが好ましい。
【００１３】
測定すべき対象物の幾何学モデルは、少なくとも１つの硬い及び／又は柔軟な対象物のモデルであることが好ましい。工業上の適用形態について、これは、例えばネジ、カバー及びフランジなどの硬い取付け手段又は固定手段、あるいは例えばチューブ又は導管などの柔軟な構成部品であり得る。本発明においては、純粋な幾何学データに加えて、対象物のさらなるモデルデータも格納されることが好ましい。これらは、例えば表面組織などの、対象物の表面を記述するパラメータであり得る。しかし、任意のさらなる物理的なパラメータも可能である。幾何学モデル及びさらなるモデルデータは、ここでは、光線追跡環境内で直接生成され格納され得、又は別の好適な開発環境から、例えばＣＡＤシステムから生じ得る。
【００１４】
本発明による方法と合わせて、異なる空間方向から校正要素の画像を作ることもでき、そのための複数の仮想カメラが定義される。さらに、校正要素の画像が異なる空間方向から照らされることに加えて、そのための複数の仮想照明ユニットも定義されることが好ましい。任意の対象物の姿勢及び／又は位置は、複数のカメラ及び／又は照明ユニットが定義されることによって決定され得る。このことにより、少なくとも１つの測定すべき対象物の格納された幾何学モデルが、三次元の連絡線の群に適合されるステップが省かれ、このことにより、計算時間が節約される。しかし、複数のカメラ及び／又は照明ユニットを使用して、本方法の精度を改良することも特に好ましい。
【００１５】
本発明と合わせて使用される校正要素は、ステップ状構造の要素であるよう構成されることが好ましい。一方では、ステップ状構造は、簡単な方法で生成され得る。このため、例えば、ステップの高さ、ステップの幅、及びステップの数を規定することにより、ステップ状構造を生成するために使用され得る、利用可能なマクロがある。他方では、ステップ状構造を使用する場合には、好適な照明によるセルフシェーディングが、測定すべき対象物の姿勢及び／又は位置を決定するために使用されるための、特に簡単な方法で正確に決定され得る。さらに、本発明と合わせて、校正要素の他の任意の形状も可能である。さらに、校正要素が、カメラの被写域の背景の少なくとも一部によって形成されることもあり得る。例えば、これは、モータの、特にカメラの被写域の背景を形成するクランク室の少なくとも一部であり得る。測定すべき対象物は、例えばクランク室に固定すべきホースであり得る。チューブのモデルとクランク室のＣＡＤデータの両方が知られているので、この場合、姿勢及び／又は位置を測定するために、１台のカメラしか必要ではない。
【発明を実施するための最良の形態】
【００１６】
本発明のさらなる特徴及び利点が、図面を使って、好ましい例示的な実施の形態についての以下の記述から見出される。
【００１７】
図１は、例えば、定義された非平面校正要素（３）の場合に、セルフシェーディングを決定するための原理を示している。校正要素（３）及び照明（２）の姿勢は、この場合、カメラ座標系（４）において知られていると推定される。さらに、校正要素（３）の幾何学モデルが、ここではステップの形態で知られている。その上、測定すべき対象物の幾何学モデル（ここには図示せず）が格納され得る。セルフシェーディングを決定するために、校正要素（３）のＣＡＤモデルが、例えば、図１を使って示されているように、カメラ（１）に対応するカメラモデルを介して描写される。その後、画像内のそれぞれの画素について、照明（２）から始まりカメラ（１）までの、見通し線（５）の針路が決定される（光線追跡）。この場合、校正要素の交点（６）と照明（２）との間を走るそれぞれの見通し線（５）が校正要素（３）を切断するかどうか調べられ、したがって、セルフシェーディングが行われる。見通し線（５ａ）の例から分かるように、校正要素は切断されておらず、交点（６ａ）でのセルフシェーディングはない。これとは異なり、見通し線（５ｂ）の場合には、校正要素（３）が切断されているので、交点（６ｂ）でセルフシェーディングがある。
【００１８】
影を補正するパラメータを決定するための原理が、例として、図２に示されている。ここでは、校正要素（３）のセルフシェーディングされていないすべての交点（６）を考慮することを含む第１のステップで、校正要素（３）とカメラ（４）との間に最小の間隔Ｄ＿ｍｉｎを有し、かつこの場合カメラ（１）のＸ、Ｙ平面に平行に配向されている平面（７）を決定することが好ましい。しかし、この代わりに、平面（７）の、他の任意の知られている間隔及び別の任意の配向を選択することもできる。次いで、第２のステップで、平面（７）との交点（８）が、校正要素（３）のセルフシェーディングされていないすべての交点（６）について、関連する見通し線（５）上で照明（２）の方向に交点（６）を変位することによって決定される。校正要素（３）の表面がカメラ（１）の画像面に平行な平面（７）であれば、測定すべき対象物のシャドーポイント（ここには図示せず）が、平面（７）上のこの交点（８）で描写されるであろう。見通し線（５）上での変位は、ここでは、影を補正するパラメータを表し、これから、簡単な方法で対象物の姿勢及び／又は位置をその後再構成することができる。画像を撮るために、測定すべき対象物が、この場合、照明（２）によって照らされたカメラ（１）の被写域と、校正要素（３）との間の領域内に導入される。
【００１９】
図３は、歪んだシャドー画像を示している。これは、２値表示におけるステップ状の校正要素の歪んだシャドー画像である。シャドー画像の２値表示は、この場合、商画像によって形成され、この商画像は２つのシャドー画像から生じる。この２つのシャドー画像は、シャドー画像の１つが照明付きで作られ、他のシャドー画像が照明なしで作られるという点においてのみ異なっている。影画素は、画像内で白色によって表示される。それぞれの影画素がセルフシェーディングされた画素であるかどうかそこで調べられる。セルフシェーディングされた画素があれば、削除される。図２を使って記述されていたように、画像内の新しい位置が、以前に決定された補正のためのパラメータを用いて、残りの影画素について決定される。図４に示されているように、補正された影は、区分的に平行である。補正された区分的に平行な影は、この場合、画像内で水平方向に走るよう、特有の角度だけさらに回転されたものである。
【００２０】
図５に例示されているように、校正要素（３）及び照明（２）に対する、影画素に割り当てられた、物点間のすべての三次元の連絡線（１０）が、その後、対象物（９）の姿勢及び／又は位置を再構成するために決定される。測定すべき対象物（９）のモデルデータが格納されると、対象物は、好適なアルゴリズムを用いて、三次元の連絡線（１０）の群に適合される。
【図面の簡単な説明】
【００２１】
【図１】セルフシェーディングを決定するための概略を示す図。
【図２】影を補正するパラメータを決定するための概略を示す図。
【図３】歪んだシャドー画像を示す図。
【図４】補正されたシャドー画像を示す図。
【図５】対象物の姿勢及び／又は位置を決定するための例を示す図。
【符号の説明】
【００２２】
１  カメラ
２  照明
３  校正要素
４  カメラ座標系
５  見通し線
５ａ  見通し線
５ｂ  見通し線
６  交点
６ａ  交点
６ｂ  交点
７  平面
８  交点
９  対象物
１０  三次元の連絡線
【図１】
2005326405.tif 000003
【図２】
2005326405.tif 000004
【図３】
2005326405.tif 000005
【図４】
2005326405.tif 000006
【図５】
2005326405.tif 000007
【外国語明細書】
2005326405000001.pdf
2005326405000002.pdf
2005326405000003.pdf
2005326405000004.pdf