(57)【要約】【課題】  作業対象物の少なくとも姿勢を検出するために利用する教示モデルを簡単に得ることができるようにする。【解決手段】  作業対象の対象物の３次元形状データをＣＡＤ等から得る（Ｓ１）。この３次元形状データに設定された座標系上と共に対象物画像を表示画面に表示し視点を設定する（Ｓ２，Ｓ３，Ｓ４）。該視点から見た対象物の２次元画像のデータを教示モデルとして記憶する（Ｓ７，Ｓ８）。対象物画像を設定軸周りに所定量回転させて（Ｓ１１）、対象物を複数の方向から見た教示モデルを得る。ＣＡＤデータから、簡単に教示モデルを得ることができる。ロボットやカメラを使用しないから、ロボットによる作業を停止させることなく教示モデルの生成設定ができる。【選択図】          図２
2006026790.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮像した入力画像と対象物の教示モデルとの比較照合により前記対象物の少なくとも姿勢を認識する画像処理に使用される前記教示モデルを生成するための教示モデル生成装置において、
対象物の３次元形状データを記憶する手段と、
前記３次元形状データに設定されている３次元形状を表す座標系上に設定された位置を視点とし、該視点より該３次元形状を見たときの画像データを教示モデルの１つとして生成する手段と、
前記３次元形状に対する視点方向を変更する視点変更手段と、
前記生成された教示モデルと、これに対応する前記視点方向を表す情報とを関連付けて複数記憶する記憶手段と、
を備えることを特徴とする教示モデル生成装置。
【請求項２】
前記視点変更手段は、前記視点を前記３次元形状に対して、前記座標系上の指定された軸の回りに相対的に指定された角度だけ順次回転させて得られた各位置を新たな視点とすることを特徴とする請求項１に記載の教示モデル生成装置。
【請求項３】
生成した教示モデルを表示装置に表示する手段を備えた請求項１又は２に記載の教示モデル生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットが対象物に対して作業を行うために、視覚センサのカメラで撮像した対象物の画像より対象物の位置姿勢を検出するために使用される教示モデルを生成する装置に関するものである。
【背景技術】
【０００２】
整列されずに、山積みされ若しくは乱雑に集められた部品等の作業対象物を、ロボットハンドで把持して取り出す作業を行う場合、この整列されていない対象物の集まりを視覚センサのカメラで撮像し、その画像データからロボットのアーム先端に取り付けたハンドで把持する対象物を特定し、その対象物の位置姿勢に合わせてハンドで該対象物を把持できるようにロボットの位置姿勢を決定している。この対象物の少なくとも姿勢を判別する手段として、対象物を見る視点を変えて得られた複数の２次元画像を教示モデルとして予めロボット制御装置に設定記憶しておき、この教示モデルとカメラで撮像した対象物の画像を比較して対象物の少なくとも姿勢を検出している。
【０００３】
図５は、従来から行われている教示モデルの生成取得方法を示す図である。ロボット本体１１のアーム先端にカメラ等の撮像装置１２を取り付け、ロボット制御装置１０はロボットアーム先端を移動させて、撮像装置１２によって部品等の対象物２０を複数の方向から撮像し画像処理装置１３に入力し、この画像処理装置１３で処理して各方向から撮像した画像の２次元画像データよりそれぞれ教示モデルを作成するようにしている。
【０００４】
又、カメラを固定しロボットのハンドで対象物を把持して、カメラに対してハンドで把持した対象物を複数の角度から撮像させて複数の画像データを得て教示モデルを得る方法、さらには、２台のロボットの一方にカメラを他方に対象物を把持して、対象物に対して複数の方向からカメラで撮像して教示モデルを得る方法が知られている（特許文献１参照）。
【０００５】
【特許文献１】特開２０００−２８８９６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、従来の教示モデルの取得方法は、教示モデルを得るために実際の対象物を用意して、ロボットにカメラを取り付けるか、対象物をロボットに取り付けるか、さらには、カメラも対象物もそれぞれロボットに取り付けるかして、ロボットを動作させて対象物に対して複数の角度からカメラで撮像し、各画像データを得て、この画像データから教示モデルを得るようにしている。そのために、教示モデルを教示するために時間がかかっていた。対象物を見る角度を変えて得る教示モデルの数にもよるが、この教示モデルを得るために２０分以上の作業時間を必要としている。
【０００７】
また、すでに生産作業を行っているロボットに別の対象物のモデルを教示する場合は、生産を一時停止して教示する必要があり、生産効率が低下するという問題がある。  
そこで、本発明の目的は、教示モデルの取得が簡単で、ロボットの作業を停止させることなく教示モデルを得ることができる教示モデル生成装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、対象物を撮像した入力画像と対象物の教示モデルとの比較照合により前記対象物の少なくとも姿勢を認識する画像処理に使用される前記教示モデルを生成するための教示モデル生成装置において、対象物の３次元形状データを記憶する手段と、前記３次元形状データに設定されている３次元形状を表す座標系上に設定された位置を視点とし、該視点より該３次元形状を見たときの画像データを教示モデルの１つとして生成する手段と、前記３次元形状に対する視点方向を変更する視点変更手段と、前記生成された教示モデルと、これに対応する前記視点方向を表す情報とを関連付けて複数記憶する記憶手段とを備えることにより、対象物の３次元データから教示モデルを簡単に生成することができるようにした教示モデル生成装置である。
【０００９】
又、前記視点変更手段は、前記視点を前記３次元形状に対して、前記座標系上の指定された軸の回りに相対的に指定された角度だけ順次回転させて得られた各位置を新たな視点とするものとした。さらに、生成した教示モデルを表示装置に表示する手段を備え、生成した教示モデルを表示し確認できるようにした。
【発明の効果】
【００１０】
ロボットを用いることなく教示モデルを取得できるので、教示モデルを得るためにロボット作業を一時停止する必要がなく、ロボットの作業対象物が変更になっても、効率よく次の対象物への作業に移行でき、作業効率を向上させることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態について図面と共に説明する。  
本発明の教示モデル生成装置は、パーソナルコンピュータやＵＮＩＸ（登録商標）マシン等で構成されるもので、３次元の画像データより２次元画像を表示できるパーソナルコンピュータ等を利用するものである。図１は、本発明の一実施形態の外観図でパーソナルコンピュータで構成された例を示しており、ハードウェア構成は、従来のパーソナルコンピュータと同一であり、プロセッサ、メモリ、表示装置、キーボードやマウス等の手動入力装置、メモリカード等の外部記憶媒体とのインタフェース、ロボット制御装置や他のコンピュータと接続する通信インタフェース等を備えるものである。これらの構成は、従来から周知のものであることから詳細な説明は省略する。
【００１２】
本発明による実施形態は、教示モデルを対象物の３次元形状データより生成するものである。図２は、この実施形態において実施する、教示モデルの生成処理のフローチャートである。  
まず、教示モデル生成装置１のプロセッサは、ＣＡＤで作成した作業の対象である部品等の対象物の３次元形状データを外部媒体若しくは、通信インタフェースを介してＣＡＤ装置より取り込む（ステップａ１）。なお、ＣＡＤで作成されたデータがない場合には、この教示モデル生成装置に対象物の３次元形状を入力する。
【００１３】
次に、プロセッサは、入力された対象物の形状画像２０’を表示装置２の表示画面に表示する（ステップａ２）。本実施形態では、図１に示すように、視点３を設定のために、対象物の形状データに対して設定されている座標系と共に対象物を所定位置から見た形状画像２０’が一方のウインドウ画面２ａに表示される。又、後述するように設定視点から見た形状を他方のウインドウ画面２ｂに表示するように画面を２つの画面にしてウインドウ形式で表示する。この場合、プロセッサは、３次元の形状データより、視点３から見える形状の２次元データに変換して２次元画面上に表示することになる。
【００１４】
次に、作業員は、対象物を見る視点３の位置を対象物が設定されている座標系上で設定する（ステップａ３）。この視点３の位置が設定されることにより、プロセッサは、この設定視点から見た対象物の２次元画像データを３次元形状データより作成して、図１の表示装置２の画面のウインドウ画面２ｂにその２次元形状画像２０”を表示する（ステップａ４）。そして、画像取り込み指令が入力されたか判断し（ステップａ５）、入力されてなければ、ステップａ３に戻り、ステップａ３〜ステップａ５の処理を繰り返し実行する。作業員は、最適に視点３の位置が決まれば、画像取り込み指令を入力する。
【００１５】
プロセッサはこの画像取り込み指令が入力されると指標ｉを１にセットし（ステップａ６）、現在ウインドウ画面２ｂに表示されている２次元形状画像２０”の２次元の画像データを得て（ステップａ７）、この２次元画像データを教示モデルとして、視点方向を示す回転位置情報（最初は回転位置「０」である）と共に不揮発性のＲＡＭ等のメモリに記憶する（ステップａ８）。
【００１６】
そして、指標ｉを１インクリメントし（ステップａ９）、該指標ｉが設定された値Ｎを超えたか判断し（ステップａ１０）、超えてなければ、対象物の画像２０’を設定されている軸の周りに設定角度だけ回転させる（ステップａ１１）。ステップａ７に戻り、この回転した位置での視点から見た対象物の２次元画像データを得て、教示モデルを得てそのときの回転位置情報（視点方向）と共に記憶する。以下、指標ｉが設定値Ｎを超えるまでステップａ７〜ａ１１の処理を繰り返し実行し、対象物に対して視点方向が異なるＮ個の教示モデルを、その視点方向を示す回転位置情報と共にメモリに記憶して、この教示モデル生成処理は終了する。
【００１７】
なお、ステップａ７で、２次元の画像データを得るとき、ウインドウ画面２ｂに、この時の２次元形状画像２０”を表示し、ウインドウ画面２ａには視点３と対象物の画像２０’の関係（対象物画像の設定回転軸周りの回転）を表示するようにしてもよい。そして、確認等の指令が入力されて初めてステップａ８に進むようにしてもよいものである。即ち、教示モデルを作業員が確認しながら作業を進めるようにしてもよいものである。
【００１８】
図４は、こうして生成された各教示モデルの２次元画像の説明図である。この場合、Ｎ＝８とされ、図１のウインドウ画面２ａにおいて、Ｚ軸周りに対象物画像を４５度回転する毎に教示モデルを得るようにしたとき、得られた８つの教示モデルＳ１〜Ｓ８の２次元画像である。なお、この実施形態では、対象物画像を回転させて教示モデルを取得したが、対象物画像を固定し、設定視点を所定軸（例えばＸ軸又はＹ軸）周りに回転させてもよいものであり、設定視点を対象物画像に対して相対的に回転させて教示モデルを得るようにすればよいものである。
【００１９】
こうして得られた教示モデルは呼びだして表示確認することができる。図３は、教示モデル表示処理の処理フローチャートである。教示モデル表示指令を入力すると、プロセッサはまず指標ｉを１にセットし（ステップｂ１）、指標ｉに対応する教示モデルＳｉをウインドウ画面２ｂに表示し、又、対象物と視点との関係を表すウインドウ画面２ａには、そのときの視点位置と対象物の形状を表示する（ステップｂ２）。そして、次の教示モデル表示指令が入力されたか（ステップｂ３）、前の教示モデル表示指令が入力されたか（ステップｂ４）、教示モデル表示終了の指令が入力されたか判断し（ステップｂ５）、次の教示モデル表示指令が入力されたときには、指標ｉを１インクリメントし（ステップｂ６）、該指標ｉの値が教示モデル数Ｎを超えたか判断し（ステップｂ７）、超えてなければステップｂ２に移行しこの指標ｉで示される教示モデルＳｉを表示する。又、指標ｉの値が教示モデル数Ｎを超えたときには、該指標ｉを「１」にセットし（ステップｂ８）、ステップｂ２に移行する。
【００２０】
又、前教示モデルの表示指令が入力されると（ステップｂ４）、指標ｉを１ディクリメントし（ステップｂ９）、該指標ｉの値が０以下か判断し（ステップｂ１０）、０以下でなければステップｂ２に移行しこの指標ｉで示される教示モデルＳｉを表示する。又、指標ｉが０以下であれば、該指標ｉを教示モデル数Ｎにセットし（ステップ１１２）、ステップｂ２に移行する。  
又、教示モデル表示終了指令が入力されると（ステップｂ５）、この処理を終了する。  以上の通り、作業員は、図４に示すような各教示モデルを表示画面に順次表示させて、教示モデルの確認ができるものである。
【００２１】
なお、こうして得られた教示モデルは、通信インタフェース等を介して作業を行うロボットの制御装置に接続された画像処理装置の不揮発性メモリに格納される。画像処理装置は、視覚センサのカメラで対象物を撮像した入力画像とこれら教示モデルとの比較照合により前記対象物の少なくとも姿勢を認識する画像処理に使用される。  
また、教示モデルの数は、多いほど対象物の検出精度が向上するが、検出時間が多くなるという関係にあり、対象物の形状や、対象物を検出し作業するシステムで許容される時間等によって、決められる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態の教示モデル生成装置の概要図である。
【図２】同実施形態における教示モデル生成処理のフローチャートである。
【図３】同実施形態における教示モデルの表示処理のフローチャートである。
【図４】同実施形態において得られた教示モデルの２次元画像の例の説明図である。
【図５】従来の教示モデルを得るシステムの説明図である。
【符号の説明】
【００２３】
１  教示モデル生成装置
２  表示装置
３  視点
２０  対象物
２０’，２０”  対象物の画像
【図１】
2006026790.tif 000003
【図２】
2006026790.tif 000004
【図３】
2006026790.tif 000005
【図４】
2006026790.tif 000006
【図５】
2006026790.tif 000007