(57)【要約】【課題】高精度で位置合わせ等に適した情報処理装置を提供すること。【解決手段】基準部と特徴部２５１を含む被検物体２５０の画像情報を取得する画像取得手段と、画像情報と被検物体２５０の３次元形状を表すモデル情報に基づいて、被検物体２５０のフィッティングをする処理手段と、処理手段によるフィッティング後に、画像情報に基づいて、被検物体２５０の基準部に対する特徴部２５１の位置に関する情報を導出する導出手段と、導出手段により導出された情報に基づいて、ターゲットに対する被検物体２５０の設置位置姿勢を決定する決定手段と、を備える。【選択図】図１
2020190496.tif 000002
【特許請求の範囲】
【請求項１】
基準部と特徴部を含む被検物体の画像情報を取得する画像取得手段と、
前記画像情報と前記被検物体の３次元形状を表すモデル情報に基づいて、前記被検物体のフィッティングをする処理手段と、
前記処理手段によるフィッティング後に、前記画像情報に基づいて、前記被検物体の前記基準部に対する前記特徴部の位置に関する情報を導出する導出手段と、
前記導出手段により導出された情報に基づいて、ターゲットに対する前記被検物体の設置位置姿勢を決定する決定手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記処理手段は、前記画像情報から抽出された前記被検物体の輪郭と前記モデル情報に基づきフィッティングをすることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像取得手段は、前記被検物体のフィッティングをする際に使用する前記モデル情報の部位を選択可能であることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記モデル情報を記憶する記憶手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記特徴部は、前記ターゲットとの位置合わせのためのものであることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記特徴部は、前記ターゲットとの位置合わせのための孔または凹部または凸部を含むことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記記憶手段は、前記ターゲットの形状に関する情報を記憶することを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記ターゲットの形状に関する情報は、前記被検物体の前記特徴部と位置合わせされる部分の大きさに関する情報を含むことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記導出手段は、更に前記特徴部の形状情報を取得し、
前記決定手段は、前記特徴部の形状情報と、前記ターゲットの形状に関する情報とに基づいて、前記ターゲットに対する前記被検物体の設置位置姿勢を決定することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記処理手段によるフィッティングに際して、前記画像情報、及び前記特徴部の形状情報に基づいて前記モデル情報を修正する修正手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
前記特徴部は孔を含み、前記決定手段は、前記被検物体に形成された前記孔の中心軸と、前記ターゲットに形成された孔の中心軸とのずれが所定の閾値以下となるように、前記ターゲットに対する前記被検物体の設置位置姿勢を決定することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記特徴部は複数の孔を含み、前記決定手段は、前記被検物体に形成された複数の孔の中心軸と、前記ターゲットに形成され対応する複数の孔の中心軸とのずれが所定の閾値以下となるように、前記ターゲットに対する前記被検物体の設置位置姿勢を決定することを特徴とする、請求項１乃至１０のいずれか１項に記載の情報処理装置。
【請求項１３】
前記基準部が、前記被検物体をロボットで把持するための被把持部に設けられていることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
【請求項１４】
前記被検物体は、第１物体と第２物体を含み、前記導出手段により導出された情報に基づいて、前記第２物体と前記第１物体の相対的位置及び相対的姿勢の少なくとも一方を決定する決定手段と、を備えることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
【請求項１５】
基準部と特徴部を含む被検物体の画像情報を取得する画像取得手段と、
前記画像情報と前記被検物体の３次元形状を表すモデル情報に基づいて、前記被検物体のフィッティングをする処理手段と、
前記処理手段によるフィッティング後に、前記画像情報に基づいて、前記被検物体の前記基準部に対する前記特徴部の位置に関する情報を導出する導出手段と、
前記被検物体は、第１物体と第２物体を含み、前記導出手段により導出された情報に基づいて、前記第２物体と前記第１物体の相対的位置及び相対的姿勢の少なくとも一方を決定する決定手段と、を備えることを特徴とする情報処理装置。
【請求項１６】
基準部と特徴部を含む被検物体の画像情報を取得する画像取得ステップと、
前記画像情報と前記被検物体の３次元形状を表すモデル情報に基づいて、前記被検物体のフィッティングをする処理ステップと、
前記処理ステップによるフィッティング後に、前記画像情報に基づいて、前記被検物体の前記基準部に対する前記特徴部の位置に関する情報を導出する導出ステップと、
前記導出ステップにより導出された情報に基づいて、ターゲットに対する前記被検物体の設置位置姿勢を決定する決定ステップと、を備えることを特徴とする情報処理方法。
【請求項１７】
コンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項１８】
被検物体に所定のパターンを照射する投影部と、
前記投影部によって所定のパターンを照射された前記被検物体を撮像する撮像部と、
前記撮像部によって、基準部と特徴部を含む前記被検物体の画像情報を取得する画像取得部と、
前記画像情報と前記被検物体の３次元形状を表すモデル情報に基づいて、前記被検物体のフィッティングをする処理部と、
前記処理部によるフィッティング後に、前記画像情報に基づいて、前記被検物体の前記基準部に対する前記特徴部の位置に関する情報を導出する導出部と、
前記導出部により導出された情報に基づいて、ターゲットに対する前記被検物体の設置位置姿勢を決定する決定部と、を備えることを特徴とする計測装置。
【請求項１９】
請求項１乃至１５のうちいずれか１項に記載の情報処理装置と、
前記情報処理装置により決定された前記ターゲットに対する前記被検物体の設置位置姿勢に基づいて、前記被検物体の位置合わせをするロボットと、
を有することを特徴とするシステム。
【請求項２０】
物品の製造方法であって、
請求項１乃至１５のうちいずれか１項に記載の情報処理装置により決定された前記ターゲットに対する前記被検物体の設置位置姿勢に基づき、前記被検物体の位置合わせをロボットにより行い、
前記位置合わせされた前記被検物体の処理を行って所定の物品を製造することを特徴とする物品の製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の位置や姿勢を計測する情報処理装置等に関する。
【背景技術】
【０００２】
近年、ロボット技術の発展とともに、工業製品の組立のような、これまで人間が行っていた複雑なタスクをロボットが代わりに行うようになりつつある。このような目的には主にアーム型のロボットが利用され、ロボットはアームの先端に装着されたハンド等のエンドエフェクタによって部品を把持して組立を行うため、把持対象部品との間の相対的な位置姿勢を計測することが求められている。相対的な位置姿勢を計測する装置としては、特許文献１が挙げられる。特許文献１に記載の装置は、濃淡画像から得られるエッジ情報と、パターン投影法などの３次元計測法から得られる距離画像との両方を利用して、ＣＡＤなどのモデルとフィッティングすることにより対象部品の位置姿勢を計測する。３次元モデルフィッティングは、撮像画像から測定対象物の位置及び姿勢を得る手法として広く用いられている。３次元計測技術としては、この他にも光切断法やステレオ法やＴＯＦ方式などがあげられる。
【０００３】
光切断法とは、カメラとスリット投光器を組み合わせて三角測量を行うことで物体の３次元情報を得る手法である。この手法ではテクスチャのない物体に関する３次元情報を容易に得ることができ、工業用ロボットにも利用されてきている。
【０００４】
ステレオ法とは、カメラを２台もしくはそれ以上用意し、画像間の視差から三角測量の原理を使って３次元情報を得る手法である。
【０００５】
ＴＯＦ方式とは、Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔの略であり、ＬＥＤ光源から対象物に対して光を照射して、その反射光をセンサ（受光部）で受光してその時間を計測することで距離を計測する手法である。
【０００６】
また、特許文献２には、位置姿勢及び形状を計測可能な装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１８―１６３１７２号公報
【特許文献２】特許第５９９１７３０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の情報処理装置は、被検物体の製造バラツキにより、位置決めが必要な特徴部にずれがあった場合でも、製造バラツキに十分に対応した位置合わせをしておらず、組立て工程において、組付け失敗が度々発生するという問題があった。
【０００９】
そこで、本発明は上記課題を鑑み、製造バラツキ等が有った場合でも、位置合わせがしやすい情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の情報処理装置は、基準部と特徴部を含む被検物体の画像情報を取得する画像取得手段と、画像情報と被検物体の３次元形状を表すモデル情報に基づいて、被検物体のフィッティングをする処理手段と、処理手段によるフィッティング後に、画像情報に基づいて、被検物体の基準部に対する特徴部の位置に関する情報を導出する導出手段と、導出手段により導出された情報に基づいて、ターゲットに対する被検物体の設置位置姿勢を決定する決定手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、位置合わせ精度の高い情報処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施例の情報処理装置の構成を示した図である。
【図２】第１実施例の画像取得部を示した図である。
【図３】第１実施例のパターン光である。
【図４】第１実施例の詳細を説明するための図である。
【図５】第１実施例の詳細を説明するための断面図である。
【図６】第２実施例の情報処理装置の構成を示した図である。
【図７】第２実施例の位置姿勢決定処理を示したフロー図である。
【図８】情報処理装置が備え付けられた把持装置を含む制御システムの例を示した図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の好ましい実施例を添付の図面に基づいて詳細に説明する。
〔第１実施例〕
図１は、本発明の第１の実施例に係る情報処理装置１の構成を示す図である。図１に示すように、情報処理装置１は、画像取得部１００、画像情報記憶部１１０、３次元モデル記憶部１２０、処理部１３０、導出部１４０及び決定部１５０を備える。画像情報記憶部１１０、３次元モデル記憶部１２０、処理部１３０、導出部１４０及び決定部１５０は、情報処理手段としてコンピュータを用いている。また情報処理装置１には不図示のメモリが内蔵されており、コンピュータプログラムが記憶されている。
【００１４】
次に、画像取得部１００の詳細について、図２を使って説明する。画像取得部１００は、図２に示すように被検物体（第１物体）２５０の３次元形状を示す距離画像（第１画像）用の第１照明部（第１投影部）２１０、被検物体２５０の輪郭を示す濃淡画像（第２画像）用の第２照明部（第２投影部）２２０、撮像部２３０を含む。第１照明部２１０は、第１波長のパターン光（第１光）で被検物体２５０を照明（照射）する。同時に、第２照明部２２０は、第１波長とは異なる第２波長の第２光で被検物体２５０を照明（照射）する。
【００１５】
まず、距離画像の計測について説明する。距離画像は、三角測量の原理に基づいてパターン投影方式により取得され、被検物体２５０の３次元形状情報が点群データとして生成される。本実施例では、距離画像用の第１照明部２１０は、光源２１１とパターン光生成部２１２と投影レンズ２１３とを含む。パターン光生成部２１２は、光源２１１から射出された第１波長の第１光から、距離画像を取得するために用いられるパターン光を生成する。投影レンズ２１３は、パターン光を拡大し、拡大されたパターン光で被検物体２５０を照明する。被検物体２５０からの反射光および散乱光は、撮像部２３０内の撮像レンズ２３１により、波長分割素子であるダイクロイックプリズム２３２を介して、第１撮像素子２３３に受光される。そして、パターン光成分（第１波長の光成分）により被検物体２５０の第１画像が形成される。第１撮像素子２３３は、例えば、ＣＣＤやＣＭＯＳカメラなどである。第１撮像素子２３３で形成されたパターン光による第１画像のデータは図１の処理部１３０に送られ、パターン光のピーク座標を検出し、三角測量の原理に基づいて距離画像を算出する。本実施例は、移動中の被検物体２５０を計測することを想定しており、パターン光による１枚の第１画像のデータから距離を算出する。例えば、パターン光生成部２１２は、ドットによる符号化されたドットパターン光を生成する。ドットパターン光を図３に例示する。処理部１３０は、ドットパターン光を被検物体２５０に照明して得られる画像からドットの位置を検出し、その位置関係に基づいて投影パターンと撮像された画像との対応付けを行うことで、１枚の画像から距離画像を取得する。
【００１６】
次いで、濃淡画像の計測について説明する。濃淡画像は、第２撮像素子２３４により形成されたモノクロの濃淡を有する第２波長の光成分によるグレースケールの画像（第２画像）である。処理部１３０は、濃淡画像のデータから被検物体２５０の輪郭や稜線に相当するエッジを検出し、エッジを画像の特徴として被検物体２５０の位置や姿勢の計測に用いる。本実施例では濃淡画像の計測では、リング照明などの第２照明部２２０により、第２波長の光で被検物体２５０を均一に照明する。被検物体２５０からの反射光および散乱光は、撮像レンズ２３１によりダイクロイックプリズム２３２を介して、第２撮像素子２３４に結像され、撮像される。処理部１３０は、撮像された第２画像のデータから被検物体２５０の輪郭を検出する。なお輪郭には稜線に相当するエッジも含むものとする。エッジを検出する手法としては、Ｃａｎｎｙ法やその他のさまざまな手法があるが、本実施例において、どの手法を用いても良い。処理部１３０は、事前に入力された被検物体２５０の３次元モデルと、距離画像、濃淡画像を用いてモデルフィッティングすることにより被検物体２５０の設置位置姿勢を導出する。ここで設置位置姿勢とはターゲットに対して設置する際の位置や姿勢のことを指す。また、モデルフィッティングの際には、第２画像のデータから抽出した被検物体２５０の輪郭と、被検物体２５０の３次元モデル情報に基づきモデルフィッティングしても良い。
【００１７】
次に、画像情報記憶部１１０と、３次元モデル記憶部１２０について説明する。画像情報記憶部１１０は、被検物体２５０の画像情報を取得し記憶する。また、画像情報記憶部１１０は、ターゲットの画像情報を取得し記憶しても良く、被検物体２５０及びターゲットの形状に関する情報を記憶しても良い。ターゲットの形状に関する情報として、被検物体２５０と位置合わせされる部位や部分の大きさに関する情報を含む。なお、大きさは径などを含む。そして、３次元モデル記憶部１２０は、被検物体２５０の３次元モデル情報を取得し記憶する。なお、３次元モデル記憶部１２０はターゲットの３次元モデル情報を取得し記憶しても良い。画像情報記憶部１１０と、３次元モデル記憶部１２０は便宜上区別して記載しているが、コンピュータに搭載されているメモリであり、一体の記憶部であっても良い。
【００１８】
次に、導出部１４０について説明する。ここで被検物体２５０は、例として、被検物体２５０に特徴部２５１が形成されていて、物体を把持／搬送する手段としてのロボットハンド２６０により被検物体２５０をターゲットに対して位置合わせする場面を想定する。なお、特徴部２５１は例えばネジ締結するためのネジ通し孔である。また、被検物体２５０は、位置合わせの際に把持及び搬送に供される被把持部２５２を有する。導出部１４０は、処理部１３０によるフィッティング後のモデルフィッティング結果と、被検物体２５０及び被検物体２５０に形成された特徴部２５１の画像情報に基づいて、特徴部２５１中心の３次元モデル座標上の基準に対する情報を導出する。導出にあたり、姿勢に関する情報を導出しても良いが、少なくとも位置に関する情報を導出する。そして位置に関する情報は変位量であっても良いし、方向であっても良い。なお特徴部２５１は、ターゲットとの位置合わせのための孔または凹部または凸部であっても良いし、ネジ切り加工またはテーパー加工を施しても良いし、孔の場合であればルーズホールであっても良い。
【００１９】
ここで、情報処理装置１により取得した情報により、ロボットを制御して行う自動組立てにおいて、位置合わせの失敗により組立て性を阻害する要因として、画像認識やフィッティングによる誤差である認識誤差がある。また、被検物体２５０の搬送や把持時に生ずるずれ等のハンドリング誤差、被検物体２５０の寸法・形状誤差（製造誤差）についても考えられる。
【００２０】
重要なのは、ロボットハンド２６０と被検物体２５０の設置位置姿勢を正確に認識して、位置を合わせたい孔を、実形状に基づいて、最適な位置に合わせることである。そこで本実施例においては、ロボットハンド２６０で把持する被検物体２５０の基準部である被把持部２５２に重きをおいてモデルフィッティングを行う。そして、その基準部に対する孔位置を実形状計測により、実際の位置を正しく認識し、その正しい認識に基づいて最適な位置合わせを行う。なお、基準部は被把持部２５２でなくても良く、モデルフィッティングの際には、基準部以外にも取得した画像情報の中からユーザがどれかを選択できるようにしても良い。それによって、例えば物体がバラ積みされていて一部が隠れてしまうような場合など、物体を撮影しても物体の画像情報が一部しか撮影できないケースでもフィッティングを確実に行うことができる。即ち、モデルフィッティングのためのモデル情報の部位や部分を例えばユーザが選択可能とすることによって被検物体２５０の一部が隠れている場合でも確実にフィッティングをすることができるようになる。
【００２１】
より詳しく、図４を用いて説明する。図４（Ａ）に示すように、被検物体２５０の３次元モデルに対し、モデルフィッティング結果及び、フィッティングに基づいて、取得した画像を重ね合わせる。そして、特徴部２５１におけるエッジの中心ずれを、特徴部２５１が形成された面に平行なＸ、Ｙ方向、及び垂直なＺ方向の量ｄｘ、ｄｙ、ｄｚとして導出する（ｄｚは微小なので無視できるものとする）。これにより、設計上の寸法である３次元モデルに対し、製造バラツキにより、基準部である被把持部２５２に対する特徴部２５１の位置にずれが有った場合でも、実形状に基づいた実際の寸法を認識することができる。
【００２２】
図４（Ｂ）と図４（Ｃ）に、被検物体２５０をロボットハンド２６０で把持した状態を示す。図４（Ｂ）は図４（Ａ）と同じ向きから、図４（Ｃ）は図４（Ｂ）の矢印方向から見た図である。被検物体２５０の位置合わせのための搬送に供されるロボットハンド２６０は、ロボットが持つ座標上の位置が保証されたハンド基準部２６１が、被検物体２５０の被把持部２５２と接触するように把持する。そして、その被把持部２５２を基準として、位置合わせ誤差を極力抑えるべき特徴部２５１の実際の位置を、先述のように、実際の形状から寸法を計測したことで、正確に知ることができる。これにより、ロボット座標上の位置が保証されたロボットハンド２６０から、位置合わせ対象である特徴部２５１までの実寸法が正しく認識でき、ロボットと被検物体２５０上に形成された特徴部２５１の位置や姿勢が得られたことになる。
【００２３】
次に、図１に示す決定部１５０により、処理部１３０によるフィッティング結果と、導出部１４０により求められた実形状情報に基づいて、所望のターゲットに対して被検物体２５０を位置合わせするための設置位置姿勢を決定する。また、決定にあたり位置や姿勢は計算により求めても良い。
【００２４】
ターゲットには、設計上、被検物体２５０の特徴部に対応する位置に孔または凹部または凸部が形成されている。また孔または凹部または凸部はネジ切り加工を施しても良いし、テーパー加工を施しても良い。孔の場合であればルーズホールであっても良い。そして、導出部１４０は、各特徴部２５１の中心距離が所定の閾値以下となるように、被検物体２５０の相対的位置や相対的姿勢を導出する。
【００２５】
図５に示すように、特徴部２５１の径φｂは、一般的に径φｃより少し大きくしており、例えばＭ３ネジ（外径＝３ｍｍ）の場合、特徴部２５１の径はφｂ＝３．２乃至３．４ｍｍのようにする。被検物体２５０をターゲット基準で設置した場合の、被検物体２５０の特徴部２５１に対応する位置の孔と特徴部２５１における孔の中心軸間距離Ｅは以下の数１で表せる。
【数１】
2020190496.tif 000003
ここで（ｄｚは微小なので無視できるものとする）、次式（１）の関係を満たす時にネジ等を挿入することができる。なお、ネジ等とはネジやボルトのようにネジ切り加工が施されているものに限らず、ネジ切り加工が施されていない円柱状又は円錐状の物体であっても良いし、リベットのように挿入後固定できるものであっても良い。
Ｅ＜（Φｂ−Φｃ）／２      （１）
【００２６】
各孔組の全てにおいて右辺―左辺が最大、即ち、組立て工程に於いて、ネジ等挿入時のクリアランスが最大となる位置を探索して解を求める。導出には、市販の数値解析ソフトに搭載される最適化アルゴリズムを使用してもよい。
【００２７】
本実施例によれば、ターゲットに対して、被検物体２５０の特徴部２５１に対応する位置の孔と被検物体２５０の特徴部２５１中心軸の位置ずれを所定の閾値以下とすることができる。そして、ネジ等を挿入する際のクリアランスが最大化でき、組立て性を阻害する要因である先述の各誤差が有った場合でも、ネジ等が挿入できないといった組立ての失敗を低減することができる。
【００２８】
本実施例の情報処理装置１によれば、従来よりも組付け性が良好な組立てを実現することができる。
【００２９】
〔第２実施例〕
次に、図６に基づいて本発明の第２実施例の情報処理装置１及び方法について説明する。図６は本発明の第２実施例の情報処理装置１を用いた組立て装置の構成を示した図である。本実施例の位置姿勢計測方法は、図６に示すように、物体を搬送及び把持する搬送手段としてのロボットアーム６１０及びロボットハンド２６０を有し、情報処理装置１（不図示）の画像取得部６００がアームに取り付けられている。このロボットを用いて、被検物体２５０としての第１物体４００と第２物体４１０との位置姿勢合わせを行い、ネジ等を用いて締結する場面を想定する。なお画像取得部６００は図２の１００と同じ構成で、図１のように接続されている。
【００３０】
情報処理装置１の構成は、第１実施例に示した情報処理装置１と同一であり、構成の説明は省略する。
【００３１】
情報処理装置１は、第１実施例と同様に、取得した画像情報と３次元モデルからモデルフィッティングを行い、該フィッティング結果と取得した画像情報から、第１物体４００の被把持部２５２、特徴部２５１の製造バラツキを含む実形状を計測する。
【００３２】
また、第１実施例では、３次元モデルに対するずれを計測値として導出するようにしているが、特許文献２に記載されているように、３次元モデルを剛体としてではなく、実形状計測結果に基づいて３次元モデルの情報を修正するようにしても良い。
【００３３】
また、第１実施例では、寸法／形状の信頼性が高い被把持部２５２を基準としてモデルフィッティングするようにしたが、第１実施例とは逆に外形の寸法精度が緩く、特徴部２５１の複数の孔間ピッチ寸法は精度良く加工されている場合もある。その場合、特徴部２５１のエッジを主に使ってフィッティングを行い、被把持部２５２を含む直線エッジ部と孔位置の関係を、実形状計測により認識するようにすると良い。また、被把持部２５２は直線エッジを含むものとする。
【００３４】
そうすることで、被把持部２５２が３次元モデルとずれがあった場合でも、実形状を反映した認識ができる。従って、ロボットハンド２６０に対する第１物体４００及び被把持部２５２の相対的位置や相対的姿勢を、第１物体４００の形状も含めて正しく求めることができる。即ち、第１物体４００搬送時の保持等を想定した際に、搬送手段との間に生ずる位置や姿勢誤差を軽減することができ、相対的位置や相対的姿勢計算の精度向上に寄与する。
【００３５】
また、ロボットハンド２６０が第１物体４００を把持した状態で再度位置や姿勢の情報を決定するようにしてもよい。そうすることで、把持ずれによる位置や姿勢誤差を除くことができる。従って、把持及び搬送による位置や姿勢計測誤差及びロボットハンド２６０と第１物体４００及び特徴部２５１の相対的位置や相対的姿勢における誤差を低減することができ、ロボットと第１物体４００の相対的位置や相対的姿勢を精度良く計測することができる。
【００３６】
次に第２物体４１０及び第２物体４１０に形成された第１物体４００における特徴部２５１に対応する孔の位置や姿勢を第１物体４００と同様の方法で導出し、第１物体４００の設置位置や姿勢の情報を取得する。そして、第１物体４００の孔位置ずれ量をｄｘ１、ｄｙ１、第２物体４１０の孔位置ずれ量をｄｘ２、ｄｙ２として第１物体４００を第２物体４１０基準で設置した場合とする。その場合、第１物体４００の特徴部２５１に対応する位置の孔と特徴部２５１における孔の中心軸間距離Ｅは、モデル座標上ｘ方向の孔中心軸ずれをＥｘ＝ｄｘ２−ｄｘ１、ｙ方向の孔中心軸ずれ：Ｅｙ＝ｄｙ２−ｄｙ１とすると、以下の数２で表せる。
【数２】
2020190496.tif 000004
そして、上述の式（１）の関係を満たす時にネジ等を挿入することができる。Ｅは小さいほど、ネジ等挿入の際に余裕が大きくなる。各孔組の全てにおいて右辺―左辺が最大となる位置を探索して解を求める。
【００３７】
このように、製造バラツキを含む実形状及び寸法を計測し、該導出結果に基づいて最適な位置合わせを行うことで、ロボット位置誤差、認識誤差、把持誤差などのシステム誤差がある場合でも、許容度が増し、組立て性が向上する。
【００３８】
また、第１物体４００又は第２物体４１０に形成された第１物体４００における特徴部２５１に相当する孔の製造バラツキが大きく、上式の関係を満たす解が見つからない場合には、対象を次の候補物体に移行することができる。
【００３９】
図７は本実施例における位置や姿勢を決定する処理を示すフローである。まず、Ｓ７０１で、第１物体４００及び第２物体４１０の３次元モデル情報を取得し、図１の３次元モデル記憶部１２０に記憶する。次にＳ７０２において、ユーザが任意の数値Ｋを入力する。またこの時Ａは０（ゼロ）とする。次にＳ７０３において、Ａを出力する。次に、Ｓ７０４において、Ｓ７０３のステップで出力したＡの数値と、Ｓ７０２のステップで入力した数値Ｋとを比べＡの数値がＫの数値より多い場合には、Ｓ７１１に進み、エラーメッセージを出力して、処理を終了する。Ａの数値がＫの数値より少ない場合には、Ｓ７０５において、画像取得部１００により、第１物体４００及び第２物体４１０の画像情報を取得し、画像情報記憶部１１０に記憶する。次に、Ｓ７０６において、導出部１４０にて、処理部１３０により３次元モデル記憶部１２０に記憶された３次元モデル情報と、画像情報記憶部１１０に記憶された画像情報とに基づいて、モデルフィッティングを行う。これにより、ロボットが持つ座標系における第１物体４００及び第２物体４１０の位置や姿勢を導出する。次に、Ｓ７０７において、処理部１３０にて導出されたモデルフィッティング結果と、画像情報記憶部１１０に記憶された画像情報に基づいて、第１物体４００及び第２物体４１０の基準寸法である３次元モデルに対する実形状情報を重ね合わせる。そして、基準に対する特徴部の位置や姿勢の情報を導出する。次に、Ｓ７０８において、決定部１５０にて、導出部１４０により導出された実形状に基づいて、第２物体４１０に対する、第１物体４００の相対的位置及び相対的姿勢の少なくとも一方を決定する。そして、Ｓ７０９において、Ｓ７０８で決定した結果が上述の式（１）の関係を満たす時には、ずれは所定の閾値以下であると判定し、最後にＳ７１０において、相対的位置及び相対的姿勢の少なくとも一方をロボットに出力し、処理を終了する。
【００４０】
そして、上述の式（１）の関係を満たさない場合は、Ｓ７０３の前に戻り、複数用意された第１物体４００の中から別の個体を選択し、Ｓ７０３からフローの手順を繰り返す。この時、現時点のＡの数値に１を加算したものが、新たなＡの数値となる。Ａの数値はこの手順が繰り替えさられることにより、１が加算されていく。
【００４１】
第１物体４００は、同一形状に加工され、複数用意されているが、製造バラツキの範囲で微小に寸法が異なるものが存在し、第２物体４１０との組み合わせに依っては、ネジ等を挿入するのに十分なクリアランスの許容値を超える場合が存在する。そのような場合でも、第１物体４００の別の個体を選ぶことで、組立て作業が滞ることなく、進めることができる。
【００４２】
第２物体４１０についても、複数用意されていれば同様に別の個体を選択可能である。
【００４３】
また、図１の３次元モデル記憶部１２０は、第１物体４００を第２物体４１０に締結するネジ等の径情報も記憶するようにしてもよい。そして、導出部１４０は、特徴部２５１の中心位置と同様にその孔径を計測することができる。該孔径も含む計測情報とネジ等の径情報に基づいて、第１物体４００の相対的位置や相対的姿勢を、決定部１５０により決定することで、より実形状及び実寸法を反映して、ネジ等挿入のクリアランスを最大化できる。
【００４４】
また、第１物体４００の係合面と、第２物体４１０の被係合面に形成された各特徴部２５１の、該平面内における基準である特徴部２５１を中心とした３次元モデルの座標に対する変位量と方向を導出する。そして、第１物体４００の係合面と第２物体４１０の被係合面を一致、且つ移動可能な範囲を該平面内に制限し、該導出結果に基づいて、第２物体４１０に対する第１物体４００の相対的位置や相対的姿勢を取得すると、計算による負荷が軽減され、尚良い。
【００４５】
本実施例の情報処理装置１及び方法によれば、従来よりも組付け性が良好な組立てを実現することができる。
【００４６】
〔物品製造方法に係る実施例〕
上述の情報処理装置１は、ある支持部材に支持された状態で使用されうる。本実施例では、一例として、図８のようにロボットアーム６１０（把持装置）に備え付けられて使用される制御システムについて説明する。情報処理装置１は、支持台Ｔに置かれた物体Ｗにパターン光を投影して撮像し、画像を取得する。そして、情報処理装置１の制御部（図示せず）が、又は、情報処理装置１の制御部（図示せず）から出力された画像データを取得したアーム制御部３１０が、物体Ｗの位置や姿勢を決定し、決定した位置や姿勢の情報をアーム制御部３１０に送る。アーム制御部３１０は、その位置や姿勢の情報（計測結果）に基づいて、ロボットアーム６１０に駆動指令を送ってロボットアーム６１０を制御する。ロボットアーム６１０は先端のロボットハンドなど（把持部）で物体Ｗを保持して、並進や回転などの移動をさせる。さらに、ロボットアーム６１０によって物体Ｗを他の部品に組み付ける（組立する）ことにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された物体Ｗを加工（処理）することにより、物品を製造することができる。なお、アーム制御部３１０は、コンピュータとしてのＣＰＵなどの演算装置や、コンピュータプログラムを記憶したメモリなどの記憶装置を有する。なお、ロボットを制御する制御部をアーム制御部３１０の外部に設けても良い。また、情報処理装置１により計測された計測データや得られた画像をディスプレイなどの表示部３２０に表示しても良い。また、物体Ｗを他の部品に対して位置合わせのために、把持及び移動をしても良い。なお物体Ｗは図２の２５０と同じ構成である。
【００４７】
なお、距離情報が算出される画素には、他の算出結果から大きく外れる距離情報をもつ画素が含まれうる。この場合は、事前に当該距離情報を有する画素を除く処理を施した上で物体Ｗのエッジを検出するフローを実施するとよい。
【００４８】
なお、上記実施例では、距離情報を比較していたが、濃淡画像を元に輝度情報を比較する場合にも上記実施例は適用できる。また、距離画像を得るための投影パターンとしては、縞パターンに限られず、例えば、ランダムドットパターンやレーザースリット光を用いてもよい。
【００４９】
〔その他の実施例〕
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【００５０】
また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して情報処理装置や計測装置に供給するようにしてもよい。そしてその情報処理装置や計測装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
【符号の説明】
【００５１】
１      情報処理装置
１００  画像取得部
１１０  画像情報記憶部
１２０  ３次元モデル記憶部
１３０  処理部
１４０  導出部
１５０  決定部
【図１】
2020190496.tif 000005
【図２】
2020190496.tif 000006
【図３】
2020190496.tif 000007
【図４】
2020190496.tif 000008
【図５】
2020190496.tif 000009
【図６】
2020190496.tif 000010
【図７】
2020190496.tif 000011
【図８】
2020190496.tif 000012