(57)【要約】【課題】計測データ自体を補正することにより、ワークの取り出し精度を向上させるロボットシステム,計測データ処理装置および計測データ処理方法の提供を図る。【解決手段】ロボット1と,センサ5と,ワークの三次元形状をモデルデータとして記憶するモデルデータ記憶部31,計測データを機械学習により補正する計測データ補正部33,および,計測データとモデルデータを照合して作業領域内のワークの位置および姿勢を計算する位置姿勢計算部32を含む計測データ処理装置3bと,位置姿勢計算部の出力に基づいて,ロボットを制御するロボット制御部3aと,を備え,計測データ補正部は,学習段階で,位置姿勢計算部が計算した位置および姿勢に対してモデルデータを配置したものから教師データを作成し,計測データおよび教師データに基づいて,計測データを補正するパラメータを調整し,取り出し段階で,調整したパラメータを用いて計測データを補正した補正計測データを出力する。【選択図】図４
2018149628.tif 000002
【特許請求の範囲】
【請求項１】
ワークを保持可能なハンドを有するロボットと、
前記ワークが存在する作業領域を計測し、前記作業領域内の三次元形状を計測データとして取得するセンサと、
前記ワークの三次元形状をモデルデータとして記憶するモデルデータ記憶部、前記計測データを機械学習により補正する計測データ補正部、および、前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する位置姿勢計算部を含む計測データ処理装置と、
前記位置姿勢計算部の出力に基づいて前記ロボットを制御するロボット制御部と、を備え、
前記計測データ補正部は、
学習段階において、前記位置姿勢計算部が計算した位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、
取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、
ことを特徴とするロボットシステム。
【請求項２】
前記計測データ処理装置は、さらに、
前記ハンドの形状データを記憶するハンド形状記憶部と、
前記ハンドの形状データおよび前記補正計測データに基づいて、前記ワークの保持位置および姿勢における衝突の有無を判定する衝突判定部と、を備える、
ことを特徴とする請求項１に記載のロボットシステム。
【請求項３】
前記計測データ補正部は、前記位置姿勢計算部の出力結果に対して前記教師データとして使用するか否かを入力する入力受付部を備え、
前記学習段階において、前記入力受付部によって与えられた前記教師データを使用して、前記計測データを補正する前記パラメータを調整する、
ことを特徴とする請求項１または請求項２に記載のロボットシステム。
【請求項４】
前記計測データ処理装置は、さらに、
前記ワークの保持の成否を判定する保持判定部を備え、
前記学習段階において、保持に成功したときに計算した位置および姿勢に対して前記モデルデータを配置したものから作成した前記教師データを前記計測データ補正部に入力し、前記計測データを補正する前記パラメータを調整する、
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載のロボットシステム。
【請求項５】
前記ワークは、前記作業領域内にバラ積みされた複数のワークを含み、
前記センサは、前記作業領域を撮影可能な位置に固定され、或いは、前記ロボットの先端に設けられた視覚センサを含む、
ことを特徴とする請求項１乃至請求項４のいずれか１項に記載のロボットシステム。
【請求項６】
前記計測データ処理装置は、前記ロボット制御部を含むロボット制御装置に内蔵される、
ことを特徴とする請求項１乃至請求項５のいずれか１項に記載のロボットシステム。
【請求項７】
ワークの三次元形状をモデルデータとして記憶するモデルデータ記憶部と、
前記ワークが存在する作業領域内の三次元形状を計測した計測データを機械学習により補正する計測データ補正部と、
前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する位置姿勢計算部と、を備え、
前記計測データ補正部は、
学習段階において、前記位置姿勢計算部が計算した位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、
取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、
ことを特徴とする計測データ処理装置。
【請求項８】
さらに、
前記ワークを保持可能なロボットのハンドの形状データを記憶するハンド形状記憶部と、
前記ハンドの形状データおよび前記補正計測データに基づいて、前記ワークの保持位置および姿勢における衝突の有無を判定する衝突判定部と、を備える、
ことを特徴とする請求項７に記載の計測データ処理装置。
【請求項９】
前記計測データ補正部は、前記位置姿勢計算部の出力結果に対して前記教師データとして使用するか否かを入力する入力受付部を備え、
前記学習段階において、前記入力受付部によって与えられた前記教師データを使用して、前記計測データを補正する前記パラメータを調整する、
ことを特徴とする請求項７または請求項８に記載の計測データ処理装置。
【請求項１０】
さらに、
前記ワークの保持の成否を判定する保持判定部を備え、
前記学習段階において、保持に成功したときに計算した位置および姿勢に対して前記モデルデータを配置したものから作成した前記教師データを前記計測データ補正部に入力し、前記計測データを補正する前記パラメータを調整する、
ことを特徴とする請求項７乃至請求項９のいずれか１項に記載の計測データ処理装置。
【請求項１１】
前記計測データ補正部は、多層構造のニューラルネットワークを使用して構成される、
ことを特徴とする請求項７乃至請求項１０のいずれか１項に記載の計測データ処理装置。
【請求項１２】
前記計測データ補正部は、少なくとも１つの他の計測データ処理装置における計測データ補正部と接続可能であり、少なくとも１つの前記他の計測データ処理装置における計測データ補正部との間で、前記計測データ補正部で調整した前記パラメータを相互に交換または共有する、
ことを特徴とする請求項７乃至請求項１１のいずれか１項に記載の計測データ処理装置。
【請求項１３】
ワークの三次元形状をモデルデータとして記憶し、
前記ワークが存在する作業領域内の三次元形状を計測した計測データを機械学習により補正する計測データ補正し、
前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する計測データ処理方法であって、
学習段階において、計算された前記作業領域内の前記ワークの位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、
取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、
ことを特徴とする計測データ処理方法。
【請求項１４】
計算された前記位置および姿勢に対して前記教師データとして使用するか否かを入力し、
前記学習段階において、前記教師データとして使用するとして入力された当該教師データに基づいて、前記計測データを補正する前記パラメータを調整する、
ことを特徴とする請求項１３に記載の計測データ処理方法。
【請求項１５】
さらに、
前記ワークの保持の成否を判定し、
前記学習段階において、保持に成功したときに計算した位置および姿勢に対して前記モデルデータを配置したものから作成した前記教師データに基づいて、前記計測データを補正する前記パラメータを調整する、
ことを特徴とする請請求項１３または請求項１４に記載の計測データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で言及する実施例は、機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法に関する。
【背景技術】
【０００２】
従来、例えば、コンテナなどのコンテナ内にバラバラに積まれた物品(三次元空間にバラ積みされたワーク)をロボットによって取り出すシステム(バラ積み取り出しシステム，ロボットシステム)が知られている。このようなバラ積み取り出しシステムにおいて、例えば、コンテナ内の三次元形状データをセンサで計測して取得し、そのコンテナ内の三次元形状データからワークの位置および姿勢を特定することでロボットによる取り出しを実現している。
【０００３】
また、ロボットシステムのバラ積み取り出しでは、例えば、ワークを取り出すためにロボットのハンドをワークに近づける動作中に、ハンドとコンテナや他ワークとの衝突が発生してしまう虞がある。そこで、これらの衝突を避けるために、センサの計測した三次元形状データを使用することも行われている。
【０００４】
ところで、従来、計測データと蓄積されたデータを照合してワークの位置および姿勢を算出する技術が提案されている(例えば、特許文献１参照)。また、従来、モデル(モデルデータ)を基にして補正を繰り返すことにより、高精度に物体の位置および姿勢を算出する技術も提案されている(例えば、特許文献２参照)。さらに、従来、機械学習を適用することで照合データを生成する技術も提案されている(例えば、特許文献３参照)。また、深層学習を使用した取得データを補正する技術も提案されている(例えば、非特許文献１参照)。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１３２０８６号公報
【特許文献２】特開２００９−１２８１９２号公報
【特許文献３】特開２０１３−０１０１５５号公報
【非特許文献】
【０００６】
【非特許文献１】Chao Dong et al., "Image Super-Resolution Using Deep Convolutional Networks," IEEE Transactions on Pattern Analysis and Machine Intelligence (https://arxiv.org/abs/1501.00092), July 31, 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、計測データと蓄積されたデータを照合してワークの位置および姿勢を算出する場合、例えば、計測データに誤差があると、照合を精度よく行えないことになる。また、ワークを把持する際に周囲の構造物(コンテナ等)と把持機構(ハンド等)の衝突の判定に計測データを使用しているが、計測データに誤差が含まれていると衝突判定を正しく行うことが難しくなる。
【０００８】
また、モデルを基に補正を繰り返して物体の位置および姿勢を算出する場合でも、計測データ自体の誤差に対応する割合を低下することは困難である。さらに、従来の機械学習の適用は、例えば、照合データの生成に利用されている。
【０００９】
そのため、従来のロボットシステムおよび計測データ処理技術では、バラ積みされたワークを取り出す場合、ロボットのハンドとコンテナや他ワークが衝突するといった課題がある。また、このような衝突発生を回避するために、本来、取り出すことが可能なワークに対して取り出し不可として取り出し動作を行わず、作業効率の低下を招くといった課題もある。
【００１０】
本実施形態の目的は、上述した従来技術の課題に鑑み、計測データ自体を補正することにより、ワークの取り出し精度を向上させることができるロボットシステム、計測データ処理装置および計測データ処理方法の提供にある。
【課題を解決するための手段】
【００１１】
本発明に係る第１形態によれば、ワークを保持可能なハンドを有するロボットと、前記ワークが存在する作業領域を計測し、前記作業領域内の三次元形状を計測データとして取得するセンサと、前記ワークの三次元形状をモデルデータとして記憶するモデルデータ記憶部、前記計測データを機械学習により補正する計測データ補正部、および、前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する位置姿勢計算部を含む計測データ処理装置と、前記位置姿勢計算部の出力に基づいて前記ロボットを制御するロボット制御部と、を備え、前記計測データ補正部は、学習段階において、前記位置姿勢計算部が計算した位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、ロボットシステムが提供される。
【００１２】
本発明に係る第２形態によれば、ワークの三次元形状をモデルデータとして記憶するモデルデータ記憶部と、前記ワークが存在する作業領域内の三次元形状を計測した計測データを機械学習により補正する計測データ補正部と、前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する位置姿勢計算部と、を備え、前記計測データ補正部は、学習段階において、前記位置姿勢計算部が計算した位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、計測データ処理装置が提供される。
【００１３】
本発明に係る第３形態によれば、ワークの三次元形状をモデルデータとして記憶し、前記ワークが存在する作業領域内の三次元形状を計測した計測データを機械学習により補正し、前記計測データと前記モデルデータを照合して前記作業領域内の前記ワークの位置および姿勢を計算する計測データ処理方法であって、学習段階において、計算された前記作業領域内の前記ワークの位置および姿勢に対して前記モデルデータを配置したものから教師データを作成し、前記計測データおよび前記教師データに基づいて、前記計測データを補正するパラメータを調整し、取り出し段階において、調整した前記パラメータを用いて前記計測データを補正した補正計測データを出力する、計測データ処理方法が提供される。
【発明の効果】
【００１４】
本発明に係るロボットシステム、計測データ処理装置および計測データ処理方法によれば、計測データ自体を補正することにより、ワークの取り出し精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、ロボットシステムの一例を模式的に示す図である。
【図２】図２は、ロボットシステムによる計測データにおける課題の一例を説明するための図である。
【図３】図３は、ロボットシステムによる計測データにおける課題の他の例を説明するための図である。
【図４】図４は、本実施形態に係るロボットシステムにおけるロボット制御装置の一例を示す機能ブロック図である。
【図５】図５は、本実施形態に係る計測データ処理装置に設けられた機械学習器の一例を模式的に示す図である。
【図６】図６は、学習段階における処理の一例を説明するためのフローチャートである。
【図７】図７は、取り出し段階における処理の一例を説明するためのフローチャートである。
【図８】図８は、取り出し段階における処理の他の例を説明するためのフローチャートである。
【図９】図９は、取り出し作業を行いながら学習モデルを更新する処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１６】
まず、ロボットシステム、計測データ処理装置および計測データ処理方法の実施形態を詳述する前に、図１〜図３を参照して、ロボットシステムの一例、および、ロボットシステムの計測データ処理における課題を説明する。図１は、ロボットシステムの一例を模式的に示す図である。
【００１７】
図１に示されるように、ロボットシステム１００は、例えば、コンテナ４０などの収容物内にバラ積みされた複数のワーク(部品)４を順番に取り出すもので、ロボット１、センサ５、ロボット制御装置３を含む。なお、ワーク４は、コンテナ４０に収納されたものに限定されず、例えば、三次元空間にバラ積みされたものであってもよいのはいうまでもない。
【００１８】
ロボット１の側方には、上面が開放されたボックス形状のコンテナ４０が配置されている。コンテナ４０は上面が開口され、コンテナ４０内の収容空間には、バラ積みされた複数のワーク(バラ積みされた状態を含む、乱雑に置かれた複数のワーク)４が収納されている。なお、ワーク４は、ロボット１に取り付けられたハンド１０により保持することができ、ロボット制御装置３で制御されるロボット１およびハンド１０の動作により、コンテナ４０からワーク４を１つずつ取り出すことができるようになっている。また、コンテナ４０の中央部上方には、センサ５が設置され、センサ５の出力(計測データ)５ａは、ロボット制御装置３に入力されている。
【００１９】
ここで、図１では、説明を簡略化するために、コンテナ４０内に４つの円盤形状のワーク４がバラバラに積まれた状態で、各ワーク４の中央部の穴をハンド(内径チャック)１０で保持する例が示されているが、ワーク４の形状は円盤形状に限定されず、また、ワーク４の保持機構も内径チャックに限定されるものではない。すなわち、ハンド１０は、ワーク４を保持可能であれば様々な形態を有していてもよく、例えば、２本または複数の爪部を開閉することによってワーク４を把持する形態、或いは、ワーク４に対して吸引力を発生する電磁石または負圧発生装置を備えたものであってもよい。
【００２０】
さらに、センサ５は、計測領域内の三次元形状データを取得することができれば、視覚センサを始めとして様々なセンサであってもよい。また、三次元形状を計測するために、例えば、カメラ２台のステレオ方式、レーザスリット光を走査する方式、レーザスポット光を走査する方式、プロジェクタ等の装置を用いてパターン光をワークに投影する方式、光が投光機から出射されてからワーク４の表面で反射し受光器に入射するまでの時間を利用する方式等を適用することができ、また、三角計測法、光切断法、Time-of-flight法、Depth from Defocus法、または、これらを併用したものといった様々な手法を適用することができる。
【００２１】
なお、図１において、センサ５の出力(計測データ)５ａは、ロボット制御装置３に入力され、ロボット制御装置３において計測データ処理等を行うようになっているが、センサ５の出力５ａは、ロボット制御装置３とは別に設けた専用の計測データ処理装置等により処理し、その計測データ処理装置の出力をロボット制御装置３に入力するように構成してもよい。さらに、センサ５は、コンテナ４０の中央部上方に固定して設けられているが、例えば、ロボット１の手先(先端部)に取り付けたハンドアイとして設けることもできる。
【００２２】
このように、図１に示すロボットシステム１００において、ロボット制御装置３は、バラ積みされた複数のワーク４の三次元位置および姿勢、並びに、コンテナ４０の三次元形状等を測定するセンサ５の出力５ａに基づいて、ロボット１の内径チャック１０によりワーク４を保持する位置および姿勢の保持位置姿勢データを算出し、ロボット１および内径チャック１０を制御して１つずつワーク４の取り出しを行うようになっている。
【００２３】
図２は、ロボットシステムによる計測データ処理における課題の一例を説明するための図であり、図３は、ロボットシステムによる計測データ処理における課題の他の例を説明するための図である。ここで、図２(a)および図３(a)は、計測領域(作業領域)ＷＡの画像を示し、図２(b)および図３(b)は、センサ５による作業領域ＷＡの計測データ５ａの例を示す。また、図２(c)は、図２(b)の計測データ５ａを矢印方向から観測した様子を示す図であり、図３(c)は、図３(b)の計測データ５ａにおける一部を拡大して示す図である。
【００２４】
例えば、図２(a)に示されるような作業領域ＷＡ(コンテナ４０内)に複数のワーク４がバラ積みされた状態は、図２(b)に示されるようなセンサ５による計測データ５ａとして得られる。このとき、図２(c)に示されるように、計測データ５ａでは、例えば、ワーク４の平らな面の計測点が誤差(厚み)を持って計測され、例えば、ＣＡＤ(Computer-Aided Design)によるデータと一致する割合が低下して、検出結果として許容する一致の閾値を下回るなどによりワークが検出されず、或いは、ワーク４の取り出しが難しくなる。
【００２５】
また、例えば、図３(a)に示されるような作業領域ＷＡに複数のワーク４がバラ積みされた状態は、図３(b)に示されるようなセンサ５による計測データ５ａとして得られる。このとき、図３(c)に示されるように、計測データ５ａでは、ワーク４の境界付近において、境界が鈍ったように観測され、例えば、ワーク４の取り出し時に、ロボット１のハンド１０が、鈍ったように観測された境界の計測点と衝突すると判定した場合には、本来、取り出し可能なワーク４を取り出し不可として処理し、その結果、生産効率の低下等を招く虞がある。
【００２６】
以下、本実施形態に係るロボットシステム、計測データ処理装置および計測データ処理方法を、添付図面を参照して詳述する。図４は、本実施形態に係るロボットシステムにおけるロボット制御装置の一例を示す機能ブロック図である。なお、本実施形態に係るロボットシステムは、図１を参照して説明したロボットシステムに相当するが、例えば、ロボット制御装置３には、ロボット１の動作を制御するロボット制御部３ａと共に、以下に詳述する様々な機能を実現する計測データ処理装置３ｂが内蔵されている。ここで、図１を参照して説明したように、ロボット１のハンド(１０)は、ワークを保持可能であれば様々な形態を有していてもよく、また、センサ５は、様々な方式のセンサであってもよいのはもちろんである。
【００２７】
さらに、計測データ処理装置３ｂは、ロボット制御装置３に内蔵するものに限定されず、例えば、計測データ処理装置３ｂとして単独に、或いは、他の制御装置等に設けることも可能なのはいうまでもない。また、図４に示す計測データ処理装置３ｂに含まれる各機能ブロックは、例えば、ＭＰＵ(Micro-processing unit)、ＲＯＭ(Read Only Memory)およびＲＡＭ(Random access memory)等を含むコンピュータ上でソフトウェアにより実現することができる。また、計測データ補正部３３は、機械学習(教師あり学習)を行う機械学習器２に相当する。
【００２８】
すなわち、本実施形態のロボットシステム１００は、図１を参照して説明したのと同様に、ワーク(４)を保持可能なハンド(１０)を有するロボット１、ワークが存在する作業領域(ＷＡ)を計測し、その作業領域内の三次元形状を計測データ(５ａ)として取得するセンサ５、および、ロボット制御装置３を含む。なお、ロボット制御装置３には、例えば、ロボット１に対して教示を行う教示操作盤(ティーチペンダント)や表示装置等の様々な装置が接続されてもよいのはいうまでもない。
【００２９】
図４に示されるように、ロボット制御装置３は、例えば、ロボット制御部３ａおよび計測データ処理装置３ｂを含み、計測データ処理装置３ｂは、モデルデータ記憶部３１、位置姿勢計算部３２、計測データ補正部３３、ハンド形状記憶部３４、衝突判定部３５、および、保持判定部３６を含む。モデルデータ記憶部３１は、ワークの三次元形状をモデルデータとして記憶し、位置姿勢計算部３２は、計測データとモデルデータを照合し、作業領域内のワークの位置および姿勢を計算する。ここで、衝突判定部３５および計測データ補正部３３は、ロボット制御装置３内に設けずに、例えば、外付けの装置とすることもできる。
【００３０】
計測データ補正部３３は、例えば、計測データを機械学習(教師あり学習)により補正する。すなわち、計測データ補正部３３は、例えば、学習を行う学習段階において、位置姿勢計算部３２が計算した位置および姿勢に対してモデルデータを配置したものから教師データを作成し、計測データおよび教師データに基づいて、計測データを補正するパラメータを調整する。さらに、計測データ補正部３３は、例えば、ワークを実際に取り出す取り出し段階において、調整したパラメータを用いて計測データを補正した補正計測データを出力する。なお、ロボット制御部３ａは、計測データ補正部３３の出力に基づいてロボット１を制御する。
【００３１】
ハンド形状記憶部３４は、ハンド(１０)の形状データを記憶し、衝突判定部３５は、ハンドの形状データと補正計測データに基づいてワークの保持位置および姿勢における衝突の有無を判定する。なお、計測データ補正部３３は、位置姿勢計算部３２の出力結果に対して教師データとして使用するか否かを入力する入力受付部３３１を含んでもよい。ここで、学習段階では、入力受付部３３１によって与えられた教師データを使用して、計測データを補正するパラメータの調整が行われる。保持判定部３６は、ワークの保持の成否を判定する。また、学習段階において、保持に成功したワークの領域も教師データとして計測データ補正部３３に入力し、計測データを補正するパラメータの調整を行うことができる。
【００３２】
以上において、ワーク(４)は、例えば、図１に示されるように、作業領域(ＷＡ)内にバラ積みされた複数のワークであってもよい。また、センサ５は、作業領域を撮影可能な位置に固定され、或いは、ロボット１の先端に設けられた視覚センサであってもよい。このように、本実施形態のロボットシステム１００によれば、計測データ自体を補正することにより、ワークの取り出し精度を向上させることができる。
【００３３】
図５は、本実施形態に係る計測データ処理装置に設けられた機械学習器の一例を模式的に示す図である。図５に示されるように、機械学習器２は、例えば、学習段階において、位置姿勢計算部３２が計算した位置および姿勢に対してモデルデータを配置したものから教師データを作成し、計測データおよび教師データに基づいて、計測データを補正するパラメータを調整する、計測データ処理装置３ｂにおける計測データ補正部３３に相当する。なお、計測データ処理装置３ｂ(機械学習器２)は、ロボット制御部３ａが設けられたロボット制御装置３に内蔵してもよいが、例えば、ロボット制御装置３とは別に設けてもよいのは前述した通りである。
【００３４】
機械学習器２は、教師あり学習を行うもので、状態観測部２１、学習部２２および教師データ取得部２３を含む。ここで、教師あり学習とは、教師データ、すなわち、ある入力と結果(教師データ)の組を大量に機械学習器２に与えることで、それらのデータセットにある特徴を学習し、計測データを補正するパラメータを調整する。
【００３５】
状態観測部２１は、例えば、センサ５による計測データ５ａに基づくデータを状態変数として観測し、教師データ取得部２３は、ワーク４の教師データ(モデルデータを位置姿勢計算部３２が出力する位置および姿勢に配置したものから作られるデータ)として取得する。学習部２２は、状態観測部２１の出力(状態変数)および教師データ取得部２３の出力(教師データ)に基づいて、計測データ５ａを補正するパラメータを調整するための学習モデルを作成する。ここで、教師データとしては、例えば、作業領域ＷＡ内のワーク４の位置および姿勢に基づいた、そのワーク４のＣＡＤデータを使用することができる。
【００３６】
出力利用部２０は、機械学習器２の出力を利用するもので、例えば、前述した図４における衝突判定部３５が対応し、機械学習器２に対応する計測データ補正部３３と共に、外付けの装置とすることができるのは前述した通りである。
【００３７】
機械学習器２で得られた学習モデルは、少なくとも１つの他の機械学習器２で利用することができる。すなわち、計測データ補正部３３は、少なくとも１つの他の計測データ処理装置における計測データ補正部(他の計測データ補正部)と接続(通信)可能とされ、計測データ補正部３３で調整したパラメータを相互に交換または共有するようにしてもよい。また、機械学習器２(計測データ補正部３３)は、それぞれのロボット１を制御するロボット制御装置３(エッジ)に対して設けなくてもよく、例えば、複数のロボット１(ロボットシステム１００)を有する工場ごと(例えば、フォグサーバ)、或いは、複数の工場とインターネット等の通信回線を介して接続されたクラウドサーバに設けてもよい。なお、機械学習器２は、例えば、多層構造のニューラルネットワークを使用して構成することができる。この機械学習器２は、汎用の計算機若しくはプロセッサを用いることもできるが、例えば、ＧＰＧＰＵ(General-Purpose computing on Graphics Processing Units)や大規模ＰＣクラスター等を適用すると、より高速に処理することが可能になる。
【００３８】
図６は、学習段階における処理の一例を説明するためのフローチャートである。図６に示されるように、学習段階における処理の一例が開始すると、ステップＳＴ１１において、例えば、センサ(視覚センサ)５による計測データ(５ａ)を取得して、ステップＳＴ１２に進む。ここで、ステップＳＴ１１で取得する計測データは、１回の計測の結果のデータでもよいが、例えば、複数のワークの積載状態に対して複数回計測した結果の複数のデータであってもよい。
【００３９】
ステップＳＴ１２では、ワークの位置および姿勢を計算して(位置姿勢計算を行って)、ステップＳＴ１３に進む。なお、ステップＳＴ１２で行う位置姿勢計算も、１つの計測データに対する１回の計算でもよいが、例えば、複数の計測データに対する複数回の計算であってもよい。ステップＳＴ１３では、教師データを生成して、ステップＳＴ１４に進み、補正パラメータを調整して処理を終了する。
【００４０】
すなわち、ステップＳＴ１３では、機械学習器２により教師あり学習を行うための教師データを作成するが、この教師データは、例えば、ワークの位置および姿勢とワークのモデルデータ(例えば、ワークのＣＡＤデータ)に基づいて作成する。また、ステップＳＴ１４における補正パラメータの調整は、例えば、前述した図４における計測データ補正部３３による処理、或いは、図５における機械学習器２による教師あり学習の処理に相当する。ここで、ステップＳＴ１４の処理は、例えば、教師データが存在する領域のみを使用して学習を行う、すなわち、ステップＳＴ１２で計算された位置および姿勢に対してモデルデータを仮想的に配置し、その際、配置したモデルデータが存在する領域のみに対して学習を行う。
【００４１】
図７は、取り出し段階における処理の一例を説明するためのフローチャートである。図７に示されるように、取り出し段階における処理の一例が開始すると、ステップＳＴ２１において計測データを取得し、ステップＳＴ２２に進んで、計測データの補正、すなわち、上述したステップＳＴ１４における学習段階で調整されたパラメータ(補正パラメータ)を使用した計測データの補正を行う。
【００４２】
さらに、ステップＳＴ２３に進んで、ワークの位置姿勢計算を行う。すなわち、ステップＳＴ２３では、補正された計測データ(補正計測データ)を使用してワークの位置および姿勢を計算する。そして、ステップＳＴ２４に進んで、ワークの取り出しを行う。すなわち、ステップＳＴ２４では、ステップＳＴ２３において位置および姿勢が計算されたワークに対して、ロボット制御装置３(ロボット制御部３ａ)によりロボット(１)およびハンド(１０)を制御してワークを保持する。これにより、例えば、ワーク(４)の位置および姿勢が明確化してワークの検出を安定化することができ、ワーク取り出しの成功率を向上させることが可能になる。
【００４３】
図８は、取り出し段階における処理の他の例を説明するためのフローチャートである。図８に示されるように、取り出し段階における処理の他の例が開始すると、ステップＳＴ３１において計測データを取得し、ステップＳＴ３２に進んで、計測データの補正を行う。さらに、ステップＳＴ３３に進んで、ワークの位置姿勢計算を行う。ここで、図８におけるステップＳＴ３１〜ＳＴ３３の処理は、図７におけるステップＳＴ２１〜ＳＴ２３の処理と同様のものである。
【００４４】
次に、ステップＳＴ３４に進んで、取り出しを行う位置および姿勢による衝突の有無を判定し、ステップＳＴ３５に進む。ステップＳＴ３５では、補正された計測データとハンドの形状データに基づいて、位置姿勢(位置および姿勢)を計算したワークの保持位置姿勢における衝突の有無を判定する。ステップＳＴ３５において、ワークの保持位置姿勢における衝突が有ると判定すると、ステップＳＴ３３に戻って、例えば、別のワークの位置姿勢を取得して、同様の処理を行う。
【００４５】
一方、ステップＳＴ３５において、ワークの保持位置姿勢における衝突が無いと判定すると、ステップＳＴ３６に進んで、ワークの取り出しを行って処理を終了する。これにより、例えば、ワークの取り出し動作中の衝突を正確に判定して、ワークの取り残しを低減すると共に、誤計測によるワークの取り出し動作中のハンドとコンテナや他のワークの衝突等を低減することが可能になる。
【００４６】
図９は、取り出し作業を行いながら学習モデルを更新する処理の一例を説明するためのフローチャートであるｚ。図９に示されるように、学習を含めた取り出し段階における処理の一例が開始すると、ステップＳＴ４１において計測データを取得し、ステップＳＴ４２に進んで、計測データの補正を行う。ここで、ステップＳＴ４２における計測データの補正は、例えば、初回の処理では、調整されたパラメータを保持していないため、予め学習段階の処理を行うか、或いは、予め設定された初期パラメータを使用して計測データを補正する。なお、初期パラメータを使用する場合には、事前に学習段階の処理を行わなくてもよい。
【００４７】
次に、ステップＳＴ４３に進んで、ワークの位置姿勢計算を行って、ステップＳＴ４４に進み、ワークを取り出し、ステップＳＴ４５に進む。ステップＳＴ４５では、ワークの取り出しに成功したか否かを判定し、ワークの取り出しに成功しなかった(失敗した)と判定すると、ステップＳＴ４１に戻って、再度、作業領域の計測データを取得し、同様の処理を繰り返す。
【００４８】
一方、ステップＳＴ４５において、ワークの取り出しに成功したと判定すると、ステップＳＴ４６に進んで、学習のための教師データを生成する。すなわち、取り出しに成功したワークに対して、ワークの位置姿勢とワークのモデルデータ(ＣＡＤデータ)から教師データを生成する。そして、ステップＳＴ４７に進んで、補正パラメータを調整(更新)して処理を終了する。なお、上述したステップＳＴ４１〜ＳＴ４７の処理は、それぞれのワークの取り出し作業に対して行われる。これにより、実際に、ワークの取り出し作業を行いながら、計測データを補正するパラメータの調整を行うことが可能になる。
【００４９】
上述したように、本実施形態のロボットシステム、計測データ処理装置および計測データ処理方法によれば、計測データ自体を補正することにより、ワークの取り出し精度を向上させることが可能になる。
【００５０】
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
【符号の説明】
【００５１】
１    ロボット
２    機械学習器
３    ロボット制御装置
３ａ    ロボット制御部
３ｂ    計測データ処理装置
４    ワーク
５    センサ
１０    内径チャック(ハンド)
２０    出力利用部
２１    状態観測部
２２    学習部
２３    教師データ取得部
３１    モデルデータ記憶部
３２    位置姿勢計算部
３３    計測データ補正部
３４    ハンド形状記憶部
３５    衝突判定部
３６    保持判定部
４０    コンテナ
１００    ロボットシステム
３３１    入力受付部
【図１】
2018149628.tif 000003
【図２】
2018149628.tif 000004
【図３】
2018149628.tif 000005
【図４】
2018149628.tif 000006
【図５】
2018149628.tif 000007
【図６】
2018149628.tif 000008
【図７】
2018149628.tif 000009
【図８】
2018149628.tif 000010
【図９】
2018149628.tif 000011