(57)【要約】  ピックアップ装置（１）は、ワーク（２０）を撮影する撮影方向を変えることが可能な撮像装置（９）と、ワーク（２０）へのアプローチ方向を変えることが可能なピックアップ部（１０）と、撮像装置（９）とピックアップ部（１０）とを制御する制御装置（１００）とを備える。制御装置（１００）は、撮像装置（９）によって撮影された画像に対して、機械学習により生成された予測モデルを適用してワーク（２０）を取り上げる容易さを示す予測値を得る。制御装置（１００）は、得られた予測値が判定値を超える場合の撮影方向をワークへのアプローチ方向として決定し、決定されたアプローチ方向からワーク（２０）を取り上げるようにピックアップ部（１０）を制御する。このような構成とすることによって、ワークに対する作業の成功率が向上した作業装置を提供する。
2020050405.tif 000002
【特許請求の範囲】
【請求項１】
ワークに対して作業を行なう作業装置であって、
前記ワークを撮影する撮影方向を変えることが可能に構成された撮像装置と、
前記ワークへのアプローチ方向を変えることが可能であり、前記ワークに対して作業を行なう作業部と、
前記撮像装置と前記作業部とを制御する制御装置とを備え、
前記制御装置は、前記撮像装置によって撮影された画像に対して機械学習により生成された予測モデルを適用することによって前記ワークに対する作業の容易さを示す予測値を取得し、取得された前記予測値が判定値を超える場合の撮影方向を前記ワークへの前記アプローチ方向として決定し、決定された前記アプローチ方向から前記ワークに対して作業を行なうように前記作業部を制御する、作業装置。
【請求項２】
前記撮像装置および前記作業部の位置決めを行なう位置決め機構と、
第１面を有し、前記第１面が前記位置決め機構に取り付けられた第１リンクハブと、
第２面を有し、前記撮像装置と前記作業部とが前記第２面に取り付けられた第２リンクハブと、
前記第１リンクハブと前記第２リンクハブとを連結する角度調整装置とをさらに備え、
前記角度調整装置は、前記第１リンクハブの前記第１面の法線と前記第２リンクハブの前記第２面の法線とが成す角度を変更可能に構成される、請求項１に記載の作業装置。
【請求項３】
前記制御装置は、
（ａ）前記作業部によって前記ワークに対して作業を行なう前に、前記位置決め機構と前記角度調整装置とを制御しつつ前記撮像装置によって複数の撮影方向からそれぞれ複数の画像を撮影し、前記複数の画像の各々に対応する前記予測値を算出し、
（ｂ）前記複数の画像のうち前記予測値が前記判定値を超える第１画像を選択し、前記第１画像に対応する撮影方向を前記ワークへの前記アプローチ方向として決定し、決定された前記アプローチ方向から前記作業部によって前記ワークに対して作業を行なう、請求項２に記載の作業装置。
【請求項４】
前記予測モデルは、少なくとも１つの目標とする取り上げ位置を、前記ワークを撮影した画像から検出するために学習済みの機械学習結果を含み、
前記機械学習結果は、学習対象の画像に基づいて算出された作業動作の容易さを示す正解値と、前記学習対象の画像上に予め指示した作業位置とを教師データとする学習結果であり、
前記制御装置は、前記角度調整装置で前記撮像装置の撮影方向を変更しながら撮影した前記複数の画像のうちから、前記予測値が最大になる画像を前記第１画像として選択する、請求項３に記載の作業装置。
【請求項５】
前記作業部は、前記撮像装置とともに前記第２リンクハブに取り付けられた、吸着パッドを備える、請求項２に記載の作業装置。
【請求項６】
前記作業部は、前記撮像装置とともに前記第２リンクハブに取り付けられた、把持部を備える、請求項２に記載の作業装置。
【請求項７】
前記作業部は、前記撮像装置とともに前記第２リンクハブに取り付けられた、レーザマーカを備える、請求項２に記載の作業装置。
【請求項８】
前記角度調整装置は、
前記第１リンクハブと前記第２リンクハブとを連結する３組以上のリンク機構を含み、
前記第１リンクハブ、前記第２リンクハブおよび前記角度調整装置は、前記第１リンクハブに対し前記第２リンクハブが直交２軸周りに回転自在な２自由度機構を構成する、請求項２〜請求項７のいずれか１項に記載の作業装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ワークを取り上げる作業装置に関する。
【背景技術】
【０００２】
自動化された機械加工または組立作業のワークピース（以下、ワークと称する）は、ロボットまたは組立装置等によって自動的にピックアップされ、加工装置または組立物の筐体などにセットされることが多い。このようなピックアップ時には、ワークの形状および姿勢を認識してピックアップアームを制御する必要がある。【０００３】
従来、ワークの姿勢検出および形状認識には画像処理が用いられている。ワークのピックアップ時には、ワークがカメラで撮影され、ワークの姿勢がパターンマッチング等で検出される。そして、検出結果に基づいてピックアップアームが制御されて把持可能な姿勢にハンドが位置決めされる。【０００４】
このような例として、特開２０１５−２１３９７３（特許文献１）には、把持動作前にワークの位置と姿勢を検出し、ハンドおよびハンドの位置決め機構とワークが格納されている容器が干渉するか否かを判定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−２１３９７３号公報
【特許文献２】特開２０１７−６４９１０号公報
【特許文献３】特開平１０−３３２３３３号公報
【特許文献４】特開平１１−０６６３２１号公報
【特許文献５】特開２０１７−０４７５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特開２０１５−２１３９７３（特許文献１）に記載された装置では、ワークのアプローチ方向の判断に３次元撮像装置を用いている。しかし、ワークを容器内に乱雑に積んである場合、ワークの上方に固定した撮像装置で画像を撮影すると、近傍のワークによって遮られ、姿勢検出に必要な映像が欠落してしまうため、ワークを取り上げる成功率が低下するという問題がある。【０００７】
また、ワーク上方に固定した撮像装置で画像を撮影する場合、把持装置と干渉しないように撮影装置を配置する必要があるので、撮影距離が長距離となり距離検出の分解能が低いという問題もある。【０００８】
本発明は、上記の課題を解決するためになされたものであって、その目的は、ワークに対する作業の成功率が向上した作業装置を提供することである。
【課題を解決するための手段】
【０００９】
本開示は、ワークに対して作業を行なう作業装置に関する。作業装置は、ワークを撮影する撮影方向を変えることが可能に構成された撮像装置と、ワークへのアプローチ方向を変えることが可能であり、ワークに対して作業を行なう作業部と、撮像装置と作業部とを制御する制御装置とを備える。制御装置は、撮像装置によって撮影された画像に対して機械学習により生成された予測モデルを適用することによってワークに対する作業の容易さを示す予測値を取得し、取得された予測値が判定値を超える場合の撮影方向をワークへのアプローチ方向として決定し、決定されたアプローチ方向からワークに対して作業を行なうように前記作業部を制御する。
【発明の効果】
【００１０】
本発明によれば、撮影方向が変更可能に構成された撮像装置で得られた画像を用いてワークに対する作業の容易さを判定し、撮影方向と同じ方向からアプローチして作業を行なうので、作業装置におけるワークに対する作業の成功率が向上する。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態に係るピックアップ装置１の構成を示す図である。
【図２】角度調整装置８の構成を示す図である。
【図３】パラレルリンク機構３０の構成を示す斜視図である。
【図４】一組のリンク機構３４を直線で表現した図である。
【図５】第２リンクハブ３３に取り付けられた撮像装置９およびピックアップ部１０の状態を示す図である。
【図６】図３に示したパラレルリンク機構３０に撮像装置９およびピックアップ部１０を搭載した状態を示す図である。
【図７】図１の制御装置１００の機能ブロック図である。
【図８】学習に用いる画像データの収集の様子を説明するための図である。
【図９】学習時における撮影後の処理を説明するための図である。
【図１０】ピックアップ動作の容易さを示す正解値ＳＧが最大となる状態の一例を示した図である。
【図１１】ピックアップ装置１の一連の動作を説明するためのフローチャートである。
【図１２】フローチャートの処理を実行する制御装置１００の代表的な構成図である。
【図１３】変形例のピックアップ部（オープン時）の構成を示す正面図である。
【図１４】変形例のピックアップ部（クローズ時）の構成を示す正面図である。
【図１５】変形例のピックアップ部の構成を示す側面図である。
【図１６】作業装置をワーク側面に印字された文字の品質検査に適用する例を説明するための図である。
【図１７】ワークの印字面に撮像装置を正対させた場合に得られる画像の例である。
【図１８】作業装置をワークの側面に文字を印字する作業に適用する例を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照しつつ説明する。なお、以下の図面において同一または相当する部分には同一の参照番号を付し、その説明は繰返さない。
【００１３】
（作業装置の構成）
図１は、本実施の形態に係る作業装置の構成を示す図である。図１を参照して、作業装置の一例であるワーク２０を載置場所から取り上げるピックアップ装置１について説明する。ピックアップ装置１は、ワーク設置台１４上または容器１３の内部等に任意の姿勢で置かれたワーク２０をピックアップすることが可能である。ピックアップ装置１は、ワーク２０を撮影する撮影方向を変えることが可能な撮像装置９と、ワーク２０へのアプローチ方向を変えることが可能なピックアップ部１０と、撮像装置９とピックアップ部１０とを制御する制御装置１００とを備える。
【００１４】
撮像装置９は、少なくとも１つ以上のワーク２０を撮影する。ピックアップ部１０は、ワーク２０にアプローチ方向から近づき、ワーク２０をピックアップする。ピックアップ対象のワーク２０は、ワーク設置台１４上のワーク容器１３内に乱雑に積みあげられる場合が多い。
【００１５】
制御装置１００は、ワーク２０を撮影した画像から、少なくとも１つ以上の目標とするピックアップ位置を検出するために訓練された、機械学習結果を保持する。
【００１６】
制御装置１００は、撮像装置９によって撮影された画像に対して、機械学習により生成された予測モデルを適用してワーク２０を取り上げる容易さを示す予測値を得る。制御装置１００は、得られた予測値が判定値を超える場合に、その予測値に対応する画像を撮影した撮影方向をワーク２０へのアプローチ方向としてワーク２０を取り上げるようにピックアップ部１０を制御する。
【００１７】
ピックアップ装置１は、位置決め機構４７と角度調整装置８とをさらに備える。位置決め機構４７は、回転機構７と直動ユニット４によって構成される。角度調整装置８には、撮像装置９とピックアップ部１０が取り付けられる。位置決め機構４７は、ワーク２０に対する角度調整装置８の相対位置を調整することが可能に構成される。回転機構７の空間上の位置は、直交３軸の直動ユニット４によって変更可能である。
【００１８】
直動ユニット４は、互いに直交するＸ軸、Ｙ軸、Ｚ軸にそれぞれ対応する第１電動アクチュエータ４Ｘ，第２電動アクチュエータ４Ｙ，第３電動アクチュエータ４Ｚを含む。回転機構７は、第３電動アクチュエータ４Ｚの出力部６に取り付けられている。
【００１９】
角度調整装置８は、回転機構７に取り付けられている。角度調整装置８は、回転機構７によって回転が可能である。また、角度調整装置８の先端側のリンクハブには、撮像装置９とピックアップ部１０とが取り付けられている。角度調整装置８は、撮像装置９の光軸方向およびピックアップ部１０のアプローチ方向を任意に調整可能に構成される。
【００２０】
図２は、角度調整装置８の構成を示す図である。図２に示した角度調整装置８は、パラレルリンク機構３０とアクチュエータ３１とを含む。図３は、パラレルリンク機構３０の構成を示す斜視図である。なお、図２には、図３に示された３組のリンク機構３４のうち代表として１組が抽出して示されている。
【００２１】
図１、図２に示すように、ピックアップ装置１は、さらに、第１リンクハブ３２と撮像装置９とピックアップ部１０とが取り付けられた第２リンクハブ３３とを備える。位置決め機構４７は、第１リンクハブ３２の位置を変更可能に構成される。角度調整装置８は、第１リンクハブ３２と第２リンクハブ３３とを連結する。
【００２２】
角度調整装置８は、撮像装置９およびピックアップ部１０を姿勢変更可能に支持するパラレルリンク機構３０と、このパラレルリンク機構３０を作動させる姿勢制御用のアクチュエータ３１とで構成される。アクチュエータ３１は、図２の角度αを変更することができる。
【００２３】
図２、図３を参照して、パラレルリンク機構３０は、基端側の第１リンクハブ３２に対し先端側の第２リンクハブ３３を３組のリンク機構３４によって姿勢変更可能に連結したものである。先端側の第２リンクハブ３３には、図１に示された撮像装置９およびピックアップ部１０が取り付けられている。なお、ここでは３組のリンク機構３４を有するパラレルリンク機構３０について示したが、リンク機構３４の数は、４組以上であっても良い。
【００２４】
各リンク機構３４は、基端側の端部リンク部材３５、先端側の端部リンク部材３６、および中央リンク部材３７で構成される。リンク機構３４は、４つの回転対偶からなる４節連鎖のリンク機構である。基端側および先端側の端部リンク部材３５，３６はＬ字状の形状を有する。
【００２５】
基端側の端部リンク部材３５の一端は、基端側の第１リンクハブ３２に回転自在に連結されている。先端側の端部リンク部材３６の一端は、先端側の第２リンクハブ３３に回転自在に連結されている。中央リンク部材３７は、両端に端部リンク部材３５，３６の各他端がそれぞれ回転自在に連結されている。
【００２６】
パラレルリンク機構３０は、２つの球面リンク機構を組み合わせた構造を有する。端部リンク部材３５，３６と中央リンク部材３７との各回転対偶の中心軸は、ある交差角γ（図２）を持っていてもよいし、平行であってもよい。
【００２７】
図４は、一組のリンク機構３４を直線で表現した図である。３組のリンク機構３４は、幾何学的に同一形状のモデルで示すことができる。
【００２８】
基端側の第１リンクハブ３２と先端側の第２リンクハブ３３と３組のリンク機構３４とは、２自由度機構を構成する。この２自由度機構では、基端側の第１リンクハブ３２に対し先端側の第２リンクハブ３３が直交する２軸の周りに回転自在な２自由度を有する。これらの直交する２軸は、図４に示す旋回角φの回転軸（中心軸ＱＡ）と折れ角θの回転軸（点Ｏを通り、中心軸ＱＡおよび中心軸ＱＢに直交する軸）である。旋回角φは、第１リンクハブ３２の中心軸ＱＡに垂直な平面において、中心軸ＱＡの交点を通る基準直線と第２リンクハブ３３の中心軸ＱＢを投映した直線とが成す角度である。折れ角θは、第１リンクハブ３２の中心軸ＱＡと第２リンクハブ３３の中心軸ＱＢとが成す角度である。この２自由度機構は、コンパクトでありながら、基端側の第１リンクハブ３２に対する先端側の第２リンクハブ３３の可動範囲を広くとれる。
【００２９】
折れ角θの調整はリンク機構３４の動作のみで可能であり、多関節ロボットのようには複数の関節の動作を伴わない。このため、パラレルリンク機構３０は、多関節ロボットと比べて素早い動作が可能である。したがって、図３のパラレルリンク機構３０を機械学習に必要な画像データの収集に用いれば、多関節ロボットと比較して、大量の画像データを短時間で収集することができる。
【００３０】
図２に示す角度調整装置８の姿勢制御用のアクチュエータ３１は、減速機構を備えたロータリアクチュエータである。アクチュエータ３１は、第１リンクハブ３２の基端部材４０の面に、回転軸４２と同軸上に設置されている。アクチュエータ３１と減速機構は一体に設けられ、減速機構が基端部材４０に固定されている。３組のリンク機構３４に図３の角α１〜α３を変更するための３つの姿勢制御用アクチュエータ３１を設けても良いが必ずしもアクチュエータ３１を３つ設けなくても良い。３組のリンク機構３４のうち少なくとも２組に姿勢制御用のアクチュエータ３１を設ければ、基端側の第１リンクハブ３２に対する先端側の第２リンクハブ３３の姿勢を確定することができる。
【００３１】
図５は、第２リンクハブ３３に取り付けられた撮像装置９およびピックアップ部１０の状態を示す図である。図６は、図３に示したパラレルリンク機構３０に撮像装置９およびピックアップ部１０を搭載した状態を示す図である。
【００３２】
図５、図６を参照して、撮像装置９は、その撮影方向を示す光軸がパラレルリンク機構３０の第２リンクハブ３３の中心軸ＱＢに一致するよう配置される。撮像装置９の両脇には、吸着パッド１０Ａ，１０Ｂが配置される。吸着パッド１０Ａ，１０Ｂは、ワーク２０を取り上げるピックアップ部１０を構成する。ピックアップ部１０も撮像装置９と同様にパラレルリンク機構３０の先端側の第２リンクハブ３３に取り付けられる。
【００３３】
本実施の形態では、真空吸着方式のピックアップ部１０が用いられる。このピックアップ部１０は２つの吸着パッド１０Ａ，１０Ｂを有する。吸着パッド１０Ａ，１０Ｂは、図５、図６に示すように、撮像装置９に隣接させ、かつ、２つが互いに撮像装置９の撮影方向を示す光軸に対して点対称となるように配置される。なお、ピックアップ部１０の取り付け位置は、吸着パッド１０Ａ，１０Ｂが撮像装置９の観察視野に入らないような位置とする。さらに、ワーク２０をピックアップすることを決定したときにワーク２０までの距離を検出する距離センサー１１が、第２リンクハブ３３上において撮像装置９およびピックアップ部１０の脇に配置される。
【００３４】
本実施の形態では、２つの吸着パッド１０Ａ，１０Ｂを撮像装置９の両側に隣接するように配置したが、ピックアップするワーク２０の形状に応じて適切な位置に配置すれば良い。
【００３５】
また、本実施の形態では、２つの吸着パッドを用いたが、ワーク２０の重量および形状に応じて３個以上の吸着パッドを用いても良い。ただし、１個で十分な場合は吸着パッドを複数搭載する必要はない。
【００３６】
図７は、図１の制御装置１００の機能ブロック図である。図７を参照して、制御装置１００は、撮像装置９から画像を取得する画像取得部１１１と、取得した画像と教師データおよび機械学習結果を保存する記憶部１１５と、取得した画像を処理する検出部１１２とを含む。検出部１１２は、記憶部１１５から読み込んだ機械学習結果によって取得した画像を処理して目標とするピックアップ位置とピックアップ動作の容易さを示す予測値Ｓとを出力する。
【００３７】
制御装置１００は、さらに、記憶部１１５に保存された画像と、画像毎に予め指示した目標位置であるピックアップ位置およびピックアップ動作の容易さを示す正解値ＳＧを教師データとして機械学習を行なう学習部１１３と、直動ユニット４、回転機構７、角度調整装置８、およびピックアップ部１０を制御する制御部１１４とを含む。
【００３８】
制御装置１００は、画像取得部１１１で撮像装置９から画像を取得し、取得した画像を検出部１１２で処理し、検出部１１２の処理結果に基づいて制御部１１４を介して直動ユニット４および回転機構７、角度調整装置８、ピックアップ部１０の動作を制御する制御信号を出力する。
【００３９】
ここで、予測値Ｓと正解値ＳＧについて説明する。本実施の形態では、学習結果を読み込んだ検出部１１２が、入力されたワークの画像に対して出力するピックアップ動作の容易さを示す数値を予測値Ｓと呼ぶ。また、学習時に教師データとして与える予測値Ｓの正解を正解値ＳＧと呼ぶ。予測値Ｓおよび正解値ＳＧは、いずれも、たとえば０〜１００の範囲の値をとり、ピックアップ動作が容易であるほど大きな値をとる。
【００４０】
（ワークの検出）
検出部１１２は、たとえばニューラルネットワークを応用してピックアップ位置の検出を行なう。検出部１１２は、記憶部１１５に保存された学習結果を用いてニューラルネットワークの数値計算を行なう。ニューラルネットワークには撮像装置９からの画像を入力する。
【００４１】
ニューラルネットワークの出力層からは、ピックアップ位置の中心座標（ｘ，ｙ）、縦横サイズ（ｗ，ｈ）とともに、検出したピックアップ位置のピックアップ動作の容易さを示す予測値Ｓが出力される。
【００４２】
上記の説明では、ニューラルネットワークを使用する例を示したが、サポートベクタマシン等の一般的な教師あり学習法、オートエンコーダ（自己符号化器）、ｋ平均法、主成分分析などの教師なし学習法、およびそれらを複合した機械学習法のいずれかを使用してもよい。
【００４３】
（学習データの収集）
ここでは、学習に用いる画像データの収集方法について説明する。図８は、学習に用いる画像データの収集の様子を説明するための図である。本実施の形態では、直方体状のワークの例を示す。
【００４４】
図８に示すように、ワーク２０の法線方向が重ならないように容器１３の底部にワーク２０が配置される。制御装置１００は、直動ユニット４と回転機構７と角度調整装置８とを制御し、撮像装置９をワーク２０の周囲のさまざまな位置９（Ａ），９（Ｂ），９（Ｃ）に移動して画像を撮影し、撮影した画像を記憶部１１５に保存する。また、保存する画像に関連付けて、角度調整装置８の旋回角φと折れ角θも保存する。
【００４５】
ここで、折れ角θ、旋回角φの定義を再び図３、図４を参照して説明する。図４において、折れ角θは、第１リンクハブ３２の中心軸ＱＡと第２リンクハブ３３の中心軸ＱＢとが成す角である。また、旋回角φは、第１リンクハブ３２の中心軸ＱＡに垂直な平面において、中心軸ＱＡの交点を通る基準直線と第２リンクハブ３３の中心軸ＱＢを投映した直線とが成す角である。
【００４６】
角度調整装置８は、第１リンクハブ３２の第１面の法線である中心軸ＱＡと第２リンクハブ３３の第２面の法線である中心軸ＱＢとが成す角度である図４の折れ角θを変更可能に構成される。
【００４７】
図９は、学習時における撮影後の処理を説明するための図である。撮影後の処理として、作業者が、制御装置１００内に保存した各画像毎にアノテーション作業を行なう。図９には、直方体状のワーク２０を折れ角θがゼロの方向から撮影したときの画像をモニタ１１０上に表示した様子が示される。この作業では、たとえば、図７の制御装置１００に接続されたモニタ１１０上に撮影した画像を表示させた状態で、作業者がマウスまたはキーボードなどの入力装置１０９を用いてピックアップ位置ＰＰを示す矩形を設定する。ここで設定した矩形の中心座標を（ｘ，ｙ）、縦横サイズを（ｗ，ｈ）すると、これらのデータがピックアップ位置ＰＰを示すものとして記憶部１１５に記憶される。
【００４８】
図１０は、ピックアップ動作の容易さを示す正解値ＳＧが最大となる状態の一例を示した図である。図１０に示すように、撮像装置９の撮影方向を示す光軸とワーク２０表面の法線とが一致する方向から撮影した画像は、ピックアップが容易であることを示す画像であると定義される。そして、この画像のピックアップ位置ＰＰに対して、ピックアップ動作の容易さを示す正解値ＳＧとして最大値１００を設定する。
【００４９】
ここで、ワーク２０表面の法線の方向は、予めわかっていることとする。たとえば、図９の直方体状のワークを水平な台上に置く。このような場合、最大値となる折れ角θは０°である。
【００５０】
正解値ＳＧは、折れ角θの関数として以下のように定義される。作業者は、マウスまたはキーボードなどの入力装置１０９を用いてピックアップ位置ＰＰを示す矩形を設定する。ピックアップ動作の容易さを示す正解値ＳＧは、折れ角θを用いて下記式（１）で算出される。
ＳＧ＝１００×ｃｏｓθ    …（１）
正解値ＳＧは、θ＝０で最大値１００をとり、θが大きくなるにつれ小さくなる。θは、０〜π／２の範囲の値とする。ＳＧは、θ＝π／２で最小値０をとる。
【００５１】
以上の作業で設定した矩形の中心座標（ｘ，ｙ）と縦横サイズ（ｗ，ｈ）およびピックアップ動作の容易さを示す正解値ＳＧが記憶部１１５に保存される。
【００５２】
なお、「正解値」はワーク２０の形状に応じて決めればよい。上記の説明は直方体形状のワークに関して一例を述べたものである。
【００５３】
（学習処理）
学習部１１３は、以上の作業で収集した画像データと中心座標（ｘ，ｙ）と縦横サイズ（ｗ，ｈ）とピックアップ動作の容易さを示す正解値ＳＧとを用いて、誤差逆伝播法で学習を行ない、結果を記憶部１１５に保存する。検出部１１２は、この学習結果を用いてニューラルネットワークの数値計算を行なう。
【００５４】
なお、誤差逆伝播法以外にも、サポートベクタマシン等の一般的な教師あり学習法を用いても良く、オートエンコーダ（自己符号化器）、ｋ平均法、主成分分析などの教師なし学習法を用いても良い。また、以上の学習法のいずれかそれらを複合した機械学習法のいずれかを用いてもよい。
【００５５】
本実施の形態では、撮像装置９の光軸とワーク２０の法線が一致するとき、ピックアップ動作の容易さを示す「予測値」が最大になるような学習結果を用いる。
【００５６】
（ピックアップ装置の一連の動作）
ここでは、学習後のニューラルネットワークを用いて、目標とするピックアップ位置の検出からピックアップ動作までの一連の動作が実行される例を示す。図１１は、ピックアップ装置の一連の動作を説明するためのフローチャートである。図１２は、フローチャートの処理を実行する制御装置１００の代表的な構成図である。図１２において、メモリ１０２は、図７の記憶部１１５に相当する。またプロセッサ１０１は、メモリ１０２に記憶されたプログラムが実行されることによって、図７の画像取得部１１１、検出部１１２、学習部１１３および制御部１１４として機能する。
【００５７】
図７、図１１を参照して、制御装置１００は、直動ユニット４、回転機構７、および角度調整装置８を制御し、撮像装置９をワーク２０の近傍に移動する（Ｓ１）。続いて、制御装置１００は、角度調整装置８を制御し、撮像装置９の光軸方向を変更しながら（Ｓ２）、さまざまな撮影方向から画像を撮影する（Ｓ３）。
【００５８】
制御装置１００は、撮像装置９から画像を取得してニューラルネットワークに入力し、中心座標（ｘ，ｙ）と縦横サイズ（ｗ，ｈ）の検出およびピックアップ動作の容易さを示す予測値Ｓの算出を行なう（Ｓ４）。ワークが見つからず予測値が算出できない場合（Ｓ５でＮＯ）、制御装置１００は、このフローチャートの処理を終了させる。ワークが見つかり予測値Ｓが算出された場合（Ｓ５でＹＥＳ）、制御装置１００は、出力層から得られるピックアップ動作の容易さを示す予測値Ｓが判定値Ｔ以上であるか否かをチェックする（Ｓ６）。
【００５９】
撮影した画像の予測値Ｓが判定値Ｔより小さいとき（Ｓ６でＮＯ）、ステップＳ２〜ステップＳ６の処理が繰返される。一方、判定値Ｔ以上の画像が撮影されたとき（Ｓ６でＹＥＳ）、角度調整装置８の移動を停止し、距離センサー１１等でピックアップ位置までの相対距離Ｄを計測する（Ｓ７）。このとき、ピックアップ前の画像を撮像装置９で撮影する（Ｓ８）。
【００６０】
次に、制御装置１００は、相対距離Ｄに基づいて直動ユニット４の移動距離を算出し、撮像装置９の光軸に平行に距離Ｄだけエンドエフェクタであるピックアップ部１０を移動する（Ｓ９）。そして制御装置１００は、ピックアップ部１０を用いてワーク２０をピックアップする（Ｓ１０）。ピックアップ後、制御装置１００は、進入した方向と平行に反対方向に距離Ｄだけピックアップ部１０を退避する（Ｓ１１）。このとき、制御装置１００は、ピックアップ後の画像を撮像装置９によって撮影する（Ｓ１２）。
【００６１】
次に、制御装置１００は、ワーク２０がピックアップできているか否かを判定する。たとえば、制御装置１００は、ピックアップ前後において撮像装置９で撮影された画像の差分を求めて輝度の不一致部分を検出する。制御装置１００は、輝度の不一致が検出された場合はピックアップ成功と判定し、変化が検出されなかったときはピックアップ失敗と判定することができる（Ｓ１３）。この判定処理は、特にこの方法には限定されない。ピックアップの成否を判定できれば、近接センサー等の他のセンサーで判定してもよい。
【００６２】
その後制御装置１００は、上記の判定結果と、検出した矩形の中心座標（ｘ，ｙ）および縦横サイズ（ｗ，ｈ）とを、ピックアップ前の画像とともに制御装置１００の記憶部１１５に保存する（Ｓ１４）。
【００６３】
制御装置１００は、ピックアップが成功した場合には（Ｓ１５でＹＥＳ）、このフローチャートの処理を終了させ（Ｓ１６）、ピックアップ処理が成功していない場合には（Ｓ１５でＮＯ）、再びステップＳ２以降の処理を繰返す。
【００６４】
（追加の学習）
必要に応じて、上記のピックアップ動作結果を用いて追加学習を行なってもよい。制御装置１００は、実際のピックアップ動作で撮影された対象物の画像と、その画像において検出されたピックアップ位置と、ピックアップ動作結果に応じて決定されたピックアップ動作の容易さを示す正解値ＳＧとを教師データに追加して機械学習を行なう。そして制御装置１００は、追加学習によって更新された機械学習結果に基づいて以降のワークのピックアップ動作を行なわせる。
【００６５】
この場合、ピックアップに成功したときは、ピックアップ動作の容易さを示す正解値ＳＧを１００とし、失敗したときは正解値ＳＧに係数α（ただし、α＜１）を乗じた新たな値を正解値ＳＧとする。制御装置１００は、このようにして更新された正解値ＳＧおよび矩形の中心座標（ｘ，ｙ）、縦横サイズ（ｗ，ｈ）を教師データに追加して学習を行ない、学習結果を更新して記憶１１５部に保存する。
【００６６】
係数αは、たとえば、ステップＳ１２で失敗が検出された場合は０．３に設定し、アプローチ動作中に撮影を行ない、ピックアップ部１０とワーク２０とが接触してワーク姿勢が変化したことを検出したときは０．５に設定してもよい。なお、係数αは、特にこれらの値に限定される必要はなく、ピックアップ動作の失敗要因に応じて設定されればよい。
【００６７】
また、前述のアノテーション作業と同様の作業によって、検出された矩形位置を微調整してもよい。さらに、この微調整された矩形位置を教師データとして学習を行ない、記憶部１１５に保存された学習結果を更新してもよい。
【００６８】
（ピックアップ部の変形例）
以上の説明では、ピックアップ部１０が吸着パッドを備える場合の例を示していたが、吸着によりピックアップするもの以外でも、ハンドで把持するものであっても同様な構成とすることができる。
【００６９】
図１３は、変形例のピックアップ部（オープン時）の構成を示す正面図である。図１４は、変形例のピックアップ部（クローズ時）の構成を示す正面図である。図１５は、変形例のピックアップ部の構成を示す側面図である。
【００７０】
図１３〜図１５に示す変形例のピックアップ部２００は、第２リンクハブ３３に撮像装置９とともに取り付けられている。ピックアップ部２００は、取り付け板２０１と把持部２０２，２０３とを含む。把持部２０２と把持部２０３とは、ワークへのアプローチ時に図１３に示すようにオープン状態となり、ワークをピックアップする時に図１４に示すようにクローズ状態となる。クローズ状態では、ピックアップ成功時には把持部２０２と把持部２０３との間にワーク２０が把持される。図１５に示すように、把持部２０２，２０３の先端は、撮像装置９の光軸上に位置する。
【００７１】
このように、把持部２０２，２０３によってワークを把持することによって、ピックアップ動作を行なってもよい。
【００７２】
（まとめ）
再び図１を参照して、本実施の形態について総括する。ピックアップ装置１は、ワーク２０を撮影する撮影方向を変えることが可能に構成された撮像装置９と、ワーク２０へのアプローチ方向を変えることが可能であり、前記ワークを取り上げることが可能に構成されたピックアップ部１０と、撮像装置９とピックアップ部１０とを制御する制御装置１００とを備える。ピックアップ装置１は作業装置の具体例に相当し、ワーク２０のピックアップは作業の一例であり、ピックアップ部１０は作業部の具体例に相当する。
【００７３】
制御装置１００は、撮像装置９によって撮影された画像に対して、機械学習により生成されたニューラルネットワークなどを用いた予測モデルを適用することによってワーク２０を取り上げる容易さを示す予測値Ｔを取得する。制御装置１００は、取得された予測値Ｔが判定値を超える場合に、その画像を撮影した撮影方向をワークへのアプローチ方向として決定し、決定されたアプローチ方向からワーク２０を取り上げるようにピックアップ部１０を制御する。
【００７４】
このように、ピックアップ装置１は、撮影方向およびアプローチ方向を変更可能に構成されているため、撮影方向を変更しながらピックアップに適したアプローチ方向を探索することができ、ピックアップの成功率を向上させることができる。
【００７５】
図１、図２に示すように、ピックアップ装置１は、撮像装置９およびピックアップ部１０の位置決めを行なう位置決め機構４７と、第１リンクハブ３２と、第２リンクハブ３３と、第１リンクハブ３２と第２リンクハブ３３とを連結する角度調整装置８とをさらに備える。第１リンクハブ３２は、第１面を有し、第１面が位置決め機構に取り付けられる。第２リンクハブ３３は、第２面を有し、撮像装置９とピックアップ部１０とが第２面に取り付けられる。
【００７６】
このような位置決め機構を採用することによって、多関節のロボットアームなどと比べてピックアップ動作に要する時間を短縮することが可能となる。
【００７７】
制御装置１００は、（ａ）ピックアップ部１０によってワーク２０を取り上げる前に、位置決め機構４７である直動ユニット４および回転機構７と角度調整装置８を制御しつつ撮像装置９によって複数の撮影方向からそれぞれ複数の画像を撮影し、複数の画像の各々に対応する予測値Ｓを算出し、（ｂ）複数の画像のうち予測値Ｓが判定値Ｔを超える画像を選択し、選択した画像に対応する撮影方向をワーク２０へのアプローチ方向として決定し、決定されたアプローチ方向からピックアップ部１０によってワーク２０を取り上げる。
【００７８】
このようにすれば、一つのアプローチ方向からのピックアップ成功可能性が低い場合には、他のアプローチ方向からアプローチして、ワークをピックアップする場合のピックアップ成功率をより高めることができる。
【００７９】
さらに好ましくは、ニューラルネットワークなどを用いた予測モデルは、ワーク２０を撮影した画像から少なくとも１つの目標とする取り上げ位置を検出するために訓練された機械学習結果を含む。機械学習結果は、角度調整装置８で撮像装置９の光軸方向を変えながらさまざまな方向からワーク２０を撮影した画像と、複数の画像に基づいて算出されたピックアップ動作の容易さを示す正解値ＳＧと、撮影した画像毎に予め指示した目標とするピックアップ位置ＰＰとを教師データとする学習結果である。制御装置１００は、角度調整装置８で撮像装置９の撮影方向を変更しながら撮影した複数の画像のうちから、機械学習結果に基づいて出力した予測値Ｓが最大になるピックアップ位置を検出したときの撮影方向をアプローチ方向としてワーク２０の取り上げ動作を行なう。
【００８０】
このようにすれば、複数のアプローチ方向のうちピックアップ成功可能性が一番高いアプローチ方向からアプローチしてワークをピックアップすることができるため、ピックアップの成功率を高めることができる。
【００８１】
図５、図６に示すように、ピックアップ部１０は、撮像装置９とともに第２リンクハブ３３に取り付けられた、吸着パッド１０Ａ，１０Ｂを備える。
【００８２】
また好ましくは、図１３〜図１５に示すように、変形例のピックアップ部２００は、撮像装置９とともに第２リンクハブ３３に取り付けられた把持部２０２，２０３を備える。
【００８３】
より好ましくは、図２、図３、図８に示すように、角度調整装置８は、第１リンクハブ３２と第２リンクハブ３３とを連結する３組以上のリンク機構３４とを含む。図４で説明したように、第１リンクハブ３２、第２リンクハブ３３および角度調整装置８によって、第１リンクハブ３２に対し第２リンクハブ３３が直交２軸周りに回転自在な２自由度機構を構成する。
【００８４】
たとえば、多関節ロボットに撮像装置を搭載する場合は、撮影方向を変えた画像を収集するために複数の関節を動作させたり、関節の動作角度を大きくとらなければならかったりする場合があり、撮影方向を変えた画像を収集するのに時間を要する。上記の構成の角度調整装置８を採用することによって、撮影方向を変えた画像を収集する時間を短縮することができる。
【００８５】
本実施の形態に係るピックアップ装置１によれば、以下の効果が得られる。
撮影方向が変更可能に構成された撮像装置で得られた画像を用いてワークの取り上げの容易さを判定し、撮影方向と同じ方向からアプローチしてピックアップを行なうので、ピックアップ装置におけるワークの取り上げの成功率が向上する。
【００８６】
また、初期学習の学習データのアノテーション作業を作業者が行なうので、目標とするピックアップ位置の初期設定および学習結果の確認が可能である。このため、必要に応じて目標とするピックアップ位置を微調整することが可能であるので、ピックアップ動作の成功率をより向上させることができる。
【００８７】
さらに、本実施の形態に係るピックアップ装置１では、角度調整装置８の先端側の第２リンクハブ３３に撮像装置９を取り付けることにより撮像装置９をワークの近傍に位置決めできる。ワーク上方に固定した撮像装置で画像を撮影する方法も考えられるが、ピックアップ部と干渉しないように撮像装置を配置する必要があるので長距離のワークディスタンスを確保しなければならず距離検出分解能は低い。本実施の形態に係るピックアップ装置１は、このような方法と比べて高い検出分解能を実現することができる。
【００８８】
さらに、本実施の形態に係るピックアップ装置１は、追加学習により動作の改善が可能であるため、作業のタクトタイムをさらに短縮できる。
【００８９】
（作業装置の他の例）
以上の説明では、ワークに対する作業の例として、ワークのピックアップを例示した。本実施の形態の作業装置は、ワークのピックアップ以外にも適用できる。
【００９０】
図１６は、作業装置をワーク側面に印字された文字の品質検査に適用する例を説明するための図である。図１７は、ワークの印字面に撮像装置を正対させた場合に得られる画像の例である。図１６に示す例では、検査用の画像を撮影する作業部は、撮像装置９と兼用されるが、撮像装置９とともに第２リンクハブ３３に取り付けられた検査用カメラを作業部として備えていても良い。この場合、制御装置１００における学習は、ワーク２０の文字印字面の法線と撮像装置９の光軸が一致したとき、予測値Ｓが最大となるように行なわれる。
【００９１】
制御装置１００は、図１１のフローチャートにしたがって撮像装置９の光軸方向を探索する。図１６では、撮像装置９が位置Ｐ１にあるときには、ベルトコンベア３００で搬送されるワーク２０の印字面Ｆ１ではなく、面Ｆ２に対して撮像装置９のレンズ９Ｌが正対している。制御装置１００は、光軸方向の探索を第１の撮像方向Ｄ１から始める。
【００９２】
図１１のフローチャートにしたがって撮像方向を探索し、第２の撮像方向Ｄ２から印字面Ｆ１を撮影したとき、予測値Ｓは最大になる。
【００９３】
制御装置１００は、公知のパターマッチング法や２値画像処理を用いて文字の回転角度を検出し、検出した回転角度に基づいて回転機構７を回転させ、図１７に示すような画像が得られる角度に撮像装置９の光軸の角度を調整する。作業装置は、この後、画像を撮影、処理して文字の欠けやかすれなどを検査する。
【００９４】
作業の他の例として印字処理が挙げられる。図１８は、作業装置をワークの側面に文字を印字する作業に適用する例を説明するための図である。図１８に示す例では、作業部は、撮像装置９とともに第２リンクハブ３３に取り付けられた、レーザマーカ２１０を備える。
【００９５】
この場合、制御装置１００における学習は、印字面Ｆ１の法線とカメラの光軸が一致したとき、予測値Ｓが最大となるように行なわれる。印字処理の場合でも基本的な制御は共通である。まず、制御装置１００は、図１１のフローチャートにしたがって撮像装置９の光軸方向を探索する。図１６では、ベルトコンベアで搬送されるワークの印字面の探索を第１の撮像方向Ｄ１から開始する。
【００９６】
制御装置１００は、図１１のフローチャートにしたがって撮像装置９の光軸方向を探索し、第２の撮像方向Ｄ２から印字面を撮影したとき、予測値Ｓは最大になる。
【００９７】
制御装置１００は、公知のパターマッチング法や２値画像処理を用いて文字の回転角度を検出し、検出した回転角度に基づいて回転機構７を回転させ、図１７に示すような画像が得られる角度に撮像装置９の光軸の角度を調整する。この後、作業装置は、レーザマーカ２１０でレーザを照射し、ワーク２０の印字面Ｆ１に文字を印字する。
【００９８】
以上説明したように、ピックアップ以外の作業にも本実施の形態の作業装置を適用することができる。
【００９９】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１００】
１  ピックアップ装置、４  直動ユニット、４Ｘ  第１電動アクチュエータ、４Ｙ  第２電動アクチュエータ、４Ｚ  第３電動アクチュエータ、６  出力部、７  回転機構、８  角度調整装置、９  撮像装置、１０，２００  ピックアップ部、１０Ａ，１０Ｂ  吸着パッド、１１  距離センサー、１４  ワーク設置台、２０  ワーク、３０  パラレルリンク機構、３１  アクチュエータ、３２  第１リンクハブ、３３  第２リンクハブ、３４  リンク機構、３５，３６  端部リンク部材、３７  中央リンク部材、４０  基端部材、４２  回転軸、４７  位置決め機構、１００  制御装置、１０１  プロセッサ、１０２  メモリ、１０９  入力装置、１１０  モニタ、１１１  画像取得部、１１２  検出部、１１３  学習部、１１４  制御部、１１５  記憶部、２０１  取り付け板、２０２，２０３  把持部、２１０  レーザーマーカ。
【図１】
2020050405.tif 000003
【図２】
2020050405.tif 000004
【図３】
2020050405.tif 000005
【図４】
2020050405.tif 000006
【図５】
2020050405.tif 000007
【図６】
2020050405.tif 000008
【図７】
2020050405.tif 000009
【図８】
2020050405.tif 000010
【図９】
2020050405.tif 000011
【図１０】
2020050405.tif 000012
【図１１】
2020050405.tif 000013
【図１２】
2020050405.tif 000014
【図１３】
2020050405.tif 000015
【図１４】
2020050405.tif 000016
【図１５】
2020050405.tif 000017
【図１６】
2020050405.tif 000018
【図１７】
2020050405.tif 000019
【図１８】
2020050405.tif 000020
【国際調査報告】
2020050405.tif 000021
2020050405.tif 000022
2020050405.tif 000023
2020050405.tif 000024