(57)【特許請求の範囲】
【請求項１】
対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断するようにした三次元位置決め方法。
【請求項２】
対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、抽出特徴を対象特徴として設定し、対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断するようにした三次元位置決め方法。
【請求項３】
対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、確認用モデル２Ｄマッチングを行いさらに、この２Ｄマッチングで照合した特徴を対象特徴として設定して確認用モデル３Ｄマッチングを行うようにした三次元位置決め方法。
【請求項４】
対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断するようにした三次元位置決め方法を実現するソフトウェアを記録した媒体。
【請求項５】
対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、抽出特徴を対象特徴として設定し、対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断するようにした三次元位置決め方法を実現するソフトウェアを記録した媒体。
【請求項６】
対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、確認用モデル２Ｄマッチングを行いさらに、この２Ｄマッチングで照合した特徴を対象特徴として設定して確認用モデル３Ｄマッチングを行うようにした三次元位置決め方法を実現するソフトウェアを記録した媒体。
【請求項７】
対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル２Ｄマッチング部と、を有する三次元位置決め装置。
【請求項８】
対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、抽出特徴を対象特徴として設定する対象特徴設定部と、この対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル３Ｄマッチング部と、を有する三次元位置決め装置。
【請求項９】
対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、確認用モデル２Ｄマッチングを行う部分、さらに、この２Ｄマッチングで照合した特徴を対象特徴として設定する対象特徴設定部、そして確認用モデル３Ｄマッチングを行う部分、を有する三次元位置決め装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、いわゆる三次元物体認識における対象部品の位置決め方法及び装置並びにこの方法を実現するソフトウェアを記録した媒体に関する。
【０００２】
【従来の技術】
いわゆる三次元物体認識方法としてモデルベーストマッチング法がある。このモデルベーストマッチング法は、入力画像から得られる対象部品の輪郭、凹凸、模様といった特徴を直線、円、円弧、角等にして近似した特徴データを用いてマッチングすることにより三次元物体認識を行うものであり、モデル作製時にモデルの特徴データを画像から抽出してこの特徴データを用いて認識すべき対象部品の入力画像のマッチングを行うものであり、例えば特願平８−１８６１３号に提案がされている。
【０００３】
また、対象部品が曲線にて構成されている場合には、対象部品を閉曲線の特徴データとして抽出し、この特徴データにて認識すべき対象部品を閉曲線にてマッチングする技術も開示され、例えば特願平８−１００９７４号に提案がされている。
【０００４】
【発明が解決しようとする課題】
モデルベーストマッチング法は、上述の如く対象部品の輪郭、凹凸、模様を直線、円、円弧、角、閉曲線の特徴として抽出し、これら特徴データを元にして三次元位置姿勢を計算するため最低限必要な特徴グループを部品モデルとして登録し、この特徴グループによって認識すべき対象部品のマッチングを行い部品の位置姿勢を検出するものである。
そして、この方式は、マッチングに用いる特徴数が少ないため、マッチング手順が簡単であり、高速処理を行うことができるという長所を有する。
【０００５】
しかし、反面複雑な形状を有する部品や複数個の部品が入力画像に存在する場合には、特徴グループと似通った特徴群が抽出されても実際の部品の位置姿勢とは異なる場所に部品の特徴グループひいては位置姿勢が得られることがあり、部品位置決め性能や信頼性を著しく欠くことがある。
【０００６】
本発明は、上述の問題に鑑み、複雑な形状を有する部品あるいは複数個の部品があっても、正しい三次元位置姿勢を検出する三次元位置決め方法及び装置並びにこの方法を実現するソフトウェアを記録した媒体の提供を目的とする。
【０００７】
【課題を解決するための手段】
上述の目的を達成する本発明の三次元位置決め方法及びこの方法を実現するソフトウェアを記録した媒体は、それぞれ次の発明の特定事項を有する。
（１）対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断するようにしたことを特徴とする。
【０００８】
（２）対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、抽出特徴を対象特徴として設定し、対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断するようにしたことを特徴とする。
【０００９】
（３）対象部品の入力画像からこの対象部品の特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出し、この認識候補の位置姿勢へ部品モデルを座標変換し、確認用モデル２Ｄマッチングを行いさらに、この２Ｄマッチングで照合した特徴を対象特徴として設定して確認用モデル３Ｄマッチングを行うようにしたことを特徴とする。
【００１０】
また本発明の三次元位置決め装置は次の発明特定事項を有する。
（４）対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル２Ｄマッチング部と、を有する。
【００１１】
（５）対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、抽出特徴を対象特徴として設定する対象特徴設定部と、この対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、ワールド座標系での確認用モデルの三次元特徴マッチングを行うことで認識候補の正否を判断する確認用モデル３Ｄマッチング部と、を有する。
【００１２】
（６）対象部品の入力画像からこの対象部品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特徴を用いたマッチングにより部品の認識候補を検出する位置姿勢計算用モデル特徴マッチング部と、この認識候補の位置姿勢へ部品モデルを座標変換するモデル座標変換部と、確認用モデル２Ｄマッチングを行う部分、さらに、この２Ｄマッチングで照合した特徴を対象特徴として設定する対象特徴設定部、そして確認用モデル３Ｄマッチングを行う部分、を有する。
【００１３】
【発明の実施の形態】
＜基本的事項＞
本発明では、三次元位置姿勢計算をするに当って部品モデルについて必要とする特徴グループ（以後「位置姿勢計算用モデル特徴」と称す）の外に、マッチング結果を確認するための特徴グループ（以後「確認用モデル特徴」と称す）をモデル特徴として登録しておき、マッチング処理において、まず位置姿勢計算用モデル特徴を用いたマッチングにより部品を構成する特徴候補を検出し換言すれば部品の認識候補を検出し、ついでこの認識候補の示す位置姿勢において確認用モデル特徴を用いたマッチングを行い認識候補の正否を確認するもので、間違った認識候補を排除し、正しい結果を得るものである。
【００１４】
ここで、本発明の実施の形態の一例について述べる。最初は、部品モデルについて位置姿勢計算用モデル特徴を登録する。すなわち、部品モデルについて輪郭、凹凸、模様を直線、円、角等の特徴として抽出して特徴データを作製し、この特徴データの中から三次元位置姿勢計算に必要な特徴データの組を選択し特徴グループとして登録する。
【００１５】
マッチングに当っては、対象部品の画像入力から特徴を抽出し、この特徴データと予め登録した部品モデルの選択された特徴グループとのマッチングを行い、認識候補を特定することになる。
【００１６】
他方、確認用モデル特徴によるマッチングでは、まず上記位置姿勢計算用モデル特徴によるマッチングにて得た認識候補の示す位置姿勢へ確認用モデル特徴を座標変換し、この座標変換した確認用モデル特徴を用いてマッチングを行う。
この場合の特徴マッチングにおいては、認識候補の特徴データと座標変換した確認用モデル特徴との特徴データの照合に加え、座標変換した確認用モデル特徴と入力画像から抽出した特徴（以後「抽出特徴」と称す）との位置データの照合を行う。
【００１７】
この場合確認用モデル特徴マッチングとして次のような方式があげられる。
（１）認識候補の示す位置姿勢へ座標変換した確認用モデル特徴をイメージ平面上へ投影し、投影した確認用モデル特徴の二次元特徴データを計算し、この二次元特徴データと入力画像からの抽出特徴のイメージ平面上における二次元特徴データとの照合を行う。
このイメージ平面上での確認用モデル特徴のマッチングにおいては、抽出特徴の三次元情報を必要としないため、抽出特徴に対して時間のかかる三次元計測処理を行う必要が無く、高速なマッチング処理を実現できる。
【００１８】
（２）他方、対象部品について三次元マッチングの対象となる特徴（以下「対象特徴」と称す）の三次元位置計測を行い、対象特徴の三次元特徴データを計算し、認識候補の示す位置姿勢へ座標変換した確認用モデル特徴と対象特徴のワールド座標系における三次元特徴データとの照合を行う。
このワールド座標系でのマッチングでは、特徴の三次元情報を用いて特徴データ及び位置データの照合を実際のサイズにて行うため、信頼性あるマッチング結果を得ることができる。
【００１９】
以後図を参照して部品の三次元位置決め方法を述べる。前述したイメージ上における確認用モデル特徴マッチング（確認用モデル２Ｄマッチングと称す）を図１に示す。この図１に示す手順にて部品の三次元位置決めが行われる。
▲１▼  対象部品の画像を入力する。
▲２▼  対象部品の特徴抽出を行う。
▲３▼  位置姿勢計算用モデル特徴によるマッチングを行い、部品の認識候補を得る。
▲４▼  ▲３▼のマッチング結果から部品の認識候補の位置姿勢を計算する。
▲５▼  認識候補の位置姿勢へ部品モデルを座標変換する。
▲６▼  確認用モデル２Ｄマッチングを行う。
１．座標変換したモデルをイメージ平面上へ投影する。
２．投影モデルの二次元特徴データを計算する。
３．イメージ上での確認用モデルの二次元特徴マッチングを行う。
４．このマッチングの結果から認識候補の正否を判断する。
▲７▼  部品三次元位置姿勢を決定する。
【００２０】
また、前述したワールド座標系における確認用モデル特徴マッチング（確認用モデル３Ｄマッチングと称す）を図２に示す。この図２に示す手順により部品の三次元位置決めが行われる。
▲１▼  対象部品の画像を入力する。
▲２▼  対象部品の特徴抽出を行う。
▲３▼  位置姿勢計算用モデル特徴によるマッチングを行い、部品の認識候補を得る。
▲４▼  ▲３▼のマッチング結果から部品の認識候補の位置姿勢を計算する。
▲５▼  認識候補の位置姿勢へ部品モデルを座標変換する。
▲６▼  抽出特徴を対象特徴として設定する。
▲７▼  確認用モデル３Ｄマッチングを行う。
１．対象特徴の三次元位置計測を行う。
２．対象特徴の三次元特徴データを計算する。
３．ワールド座標系での確認用モデルの三次元特徴マッチングを行う。
４．このマッチングの結果から認識候補の正否を判断する。
▲８▼  部品三次元位置姿勢を決定する。
【００２１】
また、図３は前述した確認用モデル２Ｄマッチング及び確認用モデル３Ｄマッチングを組み合せた部品の三次元位置決め方法の手順を示している。
▲１▼  対象部品の画像を入力する。
▲２▼  対象部品の特徴抽出を行う。
▲３▼  位置姿勢計算用モデル特徴によるマッチングを行い、部品の認識候補を得る。
▲４▼  ▲３▼のマッチング結果から部品の認識候補の位置姿勢を計算する。
▲５▼  認識候補の位置姿勢へ部品モデルを座標変換する。
▲６▼  確認用モデル２Ｄマッチングを行う。
▲７▼  ２Ｄマッチングで照合した特徴を対象特徴として設定する。
▲８▼  確認用モデル３Ｄマッチングを行う。
▲９▼  部品三次元位置姿勢を決定する。
【００２２】
上述の図１，図２，図３に対応した方法を実施する部品三次元位置決め装置を図４，図５，図６に示す。図４において、対象部品の画像を入力する画像入力部１、入力画像から対象部品の特徴を抽出する特徴抽出部２、対象モデル部品について部品モデルの特徴を得るモデル作製部３及びモデル保存部４を有し、位置姿勢計算用モデル特徴マッチング部５では対象部品の特徴データとモデル保存部４の特徴データとのマッチングを行って部品の認識候補を検出し、これに基づき位置姿勢計算部６で対象部品の位置姿勢を得る。
【００２３】
次にモデル座標変換部７では、認識候補の位置姿勢へ確認用部品モデルを座標変換し、確認用モデル２Ｄマッチング部８でマッチングを行う。すなわち、座標変換したモデルをイメージ平面上へ投影し、投影モデルの二次元特徴データを計算し、イメージ上での確認用モデルの二次元特徴マッチングを行う。
そして、部品位置姿勢決定部９では、この二次元特徴マッチングの認識候補の正否を判断し、正しい場合には認識候補の位置姿勢データを用いて部品の三次元位置決めを行う。
【００２４】
図５は、図２に示す確認用モデル３Ｄマッチングによる装置を示す。図５において、図４との違いは、抽出特徴を対象特徴として設定する対象特徴設定部１０を有し、確認用モデル３Ｄマッチング部１１では対象特徴の三次元位置計測を行い、対象特徴の三次元特徴データを計算しそしてワールド座標系での確認用モデルの三次元特徴マッチングを行うものである。その他の処理は図４と同じである。
【００２５】
図６は、確認用モデル２Ｄマッチングと確認用モデル３Ｄマッチングとによる装置を示しており、この図６では、図４，図５に示す装置を組合せたもので図４に示す確認用モデル２Ｄマッチングを行ってこのマッチングの結果照合した特徴を対象特徴として対象特徴について確認用モデル３Ｄマッチングを行うものである。その他の処理は図４と同じである。
【００２６】
上述については、図１，図２，図３にて三次元位置決め方法、図４，図５，図６にて装置を示したものであるが、位置決め処理については、そのソフトウェアを記録したフロッピィディスク、ＣＤ−ＲＯＭ等の媒体により行われる。
【００２７】
【発明の効果】
以上説明したように本発明によれば、次の効果を有する
（１）三次元物体認識においてその結果を確認する機能を持つため、複雑な形状を持つ部品を対象とした場合でも間違った認識結果を排除し、正しい結果のみを得ることができる。
（２）三次元物体認識においてその結果を確認する機能を持つため、複数個の部品が画面内に存在する場合でも間違った認識結果を排除し、正しい結果のみを得ることができる。
（３）三次元物体認識においてその結果を確認する機能を持つため、煩雑な背景や部品表面の汚れ等による環境条件が良好でない場合でも間違った認識結果を排除し、正しい結果のみを得ることができる。
（４）複雑な形状を持つ部品に対しても、認識候補の確認機能によって正しい位置決めを行うことができる。
（５）部品の設置状況や環境条件が良好でない場合でも、認識候補の確認機能によって正しい位置決めを行うことができる。
（６）認識候補の確認機能によって正しい位置決めを行うことができるため、部品位置決め装置として高い信頼性を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態で三次元位置決め方法の一例のフローチャート。
【図２】三次元位置決め方法の他の例のフローチャート。
【図３】三次元位置決め方法のその他の例のフローチャート。
【図４】本発明の実施の形態で三次元位置決め装置の一例のブロック図。
【図５】三次元位置決め装置の他の例のブロック図。
【図６】三次元位置決め装置のその他の例のブロック図。
【符号の説明】
５  位置姿勢計算用モデル特徴マッチング部
７  モデル座標変換部
８  確認用モデル２Ｄマッチング部
１０  対象特徴設定部
１１  確認用モデル３Ｄマッチング部
【図１】
0003763215.tif 000002
【図２】
0003763215.tif 000003
【図３】
0003763215.tif 000004
【図４】
0003763215.tif 000005
【図５】
0003763215.tif 000006
【図６】
0003763215.tif 000007