【手続補正書】
【提出日】令和1年10月15日(2019.10.15)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】ロボットシステム及び物体取り出し方法
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、ロボットによる物体の取り出しのための処理を行う、ロボットシステム及び物体取り出し方法に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
従来、物体（以下「ワーク」ともいう）の取り出し位置の検出のために、距離画像センサを含む３次元計測部により計測した、ワークの距離画像を用いた教示が行われている。距離画像を用いた教示を行うための手法としては、例えば、ＣＡＤ（Computer-Aided Design）マッチングによる手法や、設定パラメータに基づいて探索を行う手法が一般的に利用されている。ここで、距離画像とは、計測対象物（ワーク）の表面を計測した画像であって、撮像された画像上の各画素（ピクセル）が３次元計測部からの深度情報を有する画像を意味する。すなわち、距離画像上の各画素（ピクセル）は、３次元計測部の備える３次元座標系における３次元座標情報を有するといえる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
（１）  本発明のロボットシステム（例えば、後述のロボットシステム１ａ）は、複数の物体（例えば、後述のワーク５０）の画像を生成する計測機（例えば、後述の３次元計測機４０）と、前記複数の物体の少なくとも１つを取り出すためのハンドを有するロボット（例えば、後述のロボット３０）と、前記画像に基づいて決定された、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付部（例えば、後述の操作受付部１３）と、を備え、前記ロボットは、前記教示された取り出し位置に基づいて、前記ハンドにより前記複数の物体の少なくとも１つを取り出す、ロボットシステム。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
（２）  上記（１）に記載のロボットシステムは、前記画像を表示する表示部（例えば、後述の表示部１２）、をさらに備えるようにしてもよい。
（３）  上記（２）に記載のロボットシステムにおいて、前記表示部は、前記表示された画像上に前記教示された取り出し位置を描画するようにしてもよい。
（４）  上記（１）乃至（３）のいずれかに記載のロボットシステムにおいて、前記取り出し位置の教示は、取り出し位置を点及び領域のいずれかで指定したものであるようにしてもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
（５）  上記（１）乃至（４）のいずれかに記載のロボットシステムにおいて、前記教示された取り出し位置及びその近傍の点群の情報を探索用情報として記憶し、前記画像に対して、前記探索用情報による探索を行うことにより、新たな取り出し位置を選択する取り出し位置選択部（例えば、後述の選択処理部１１）をさらに備え、前記ロボットは、前記取り出し位置選択部によって選択された前記新たな取り出し位置で各物体を前記ハンドにより取り出すようにしてもよい。
（６） 上記（１）乃至（５）のいずれかに記載のロボットシステムにおいて、前記ハンドによる取り出し位置の決定に用いられる学習モデル、をさらに備えるようにしてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
（７）  上記（６）に記載のロボットシステム（例えば、後述のロボットシステム１ａ）は、前記教示された取り出し位置及びその近傍の点群の情報を入力データとし、前記入力データとした点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された点群の情報についての評価値を出力する前記学習モデルを学習する学習部（例えば、後述の学習部１４）、をさらに備えるようにしてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
（８）  上記（７）に記載のロボットシステム（例えば、後述のロボットシステム１ａ）は、前記画像から所定領域の画像を切り抜き、切り抜かれた前記画像の点群の情報を前記学習モデルに入力データとして入力することにより出力される前記点群の情報についての評価値に基づいて、新たな取り出し位置を選択する取り出し位置選択部（例えば後述の選択処理部１１）、をさらに備え、前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数の物体の少なくとも１つを取り出し、前記取り出し位置選択部によって選択された前記新たな取り出し位置で各物体を前記ハンドにより取り出すようにしてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
（９）  本発明の他のロボットシステム（例えば、後述のロボットシステム１ｂ）は、複数の物体（例えば、後述のワーク５０）の画像を生成する計測機（例えば、後述の３次元計測機４０）と、前記複数の物体の少なくとも１つを取り出すためのハンドを有するロボットと、前記画像を学習モデルに入力することで取得された、前記ハンドにより取り出し可能な物体が存在する領域を示す評価値マップに基づいて、前記複数の物体の少なくとも１つの取り出し位置を選択する位置選択部（例えば、後述の取り出し位置選択部１５３）と、を備え、前記ロボットは、選択した前記取り出し位置に基づいて、前記ハンドにより前記複数の物体の少なくとも１つを取り出す。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
（１０）  上記（９）に記載のロボットシステム（例えば、後述のロボットシステム１ｂ）は、前記画像を表示する表示部（例えば、後述の表示部１２）と、前記表示部に表示された前記画像に基づく少なくとも１つの教示位置の教示を受け付ける受付部（例えば、後述の操作受付部１３）と、前記受付部で受け付けた前記教示位置に基づき少なくとも１つの教示位置を示すラベルマップを生成し、該ラベルマップと前記画像とを関連づけてデータセットとして教師データ格納部（例えば、後述の教師データ格納部１５１）に保存するアノテーション処理部（例えば、後述のアノテーション処理部１５２）と、前記教師データ格納部に格納された前記データセットを入力として、機械学習を行い、前記学習モデルを出力する学習処理部（例えば、後述の学習処理部１４１）と、をさらに備える。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
（１１）  本発明のワーク取り出し方法は、複数の物体（例えば、後述のワーク５０）の画像を生成する計測機（例えば、後述の３次元計測機４０）と、前記複数の物体の少なくとも１つを取り出すためのハンドを有するロボット（例えば、後述のロボット３０）と、を備えたロボットシステム（例えば、後述のロボットシステム１ａ）が行う物体取り出し方法であって、前記画像に基づいて決定された、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付ステップと、を備え、前記ロボットは、前記教示された取り出し位置に基づいて、前記ハンドにより前記複数の物体の少なくとも１つを取り出す。
（１２）  上記（１１）に記載の物体取り出し方法において、
前記ロボットシステムは、さらに学習モデルを備え、
前記受付ステップは、さらに、
前記画像に基づいて前記学習モデルを用いて決定された、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付けるようにしてもよい。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
（１３）  上記（１２）に記載の物体取り出し方法は、
前記教示された取り出し位置及びその近傍の点群の情報を入力データとし、前記入力データとした点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された点群の情報についての評価値を出力する前記学習モデルを学習する学習ステップ、
をさらに備えるようにしてもよい。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
（１４）  上記（１３）に記載の物体取り出し方法は、
前記画像から所定領域の画像を切り抜き、切り抜かれた前記画像の点群の情報を前記学習モデルに入力データとして入力することにより出力される前記点群の情報についての評価値に基づいて、新たな取り出し位置を選択する取り出し位置選択ステップ、をさらに備え、
前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数の物体の少なくとも１つを取り出し、前記取り出し位置選択ステップによって選択された前記新たな取り出し位置で各物体を前記ハンドにより取り出すようにしてもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
（１５）  本発明の他のワーク取り出し方法は、複数の物体（例えば、後述のワーク５０）の画像を生成する計測機（例えば、後述の３次元計測機４０）と、前記複数の物体の少なくとも１つを取り出すためのハンドを有するロボット（例えば、後述のロボット３０）と、を備えたロボットシステム（例えば、後述のロボットシステム１ｂ）が行う物体取り出し方法であって、前記画像を学習モデルに入力することで取得された、前記ハンドにより取り出し可能な物体が存在する領域を示す評価値マップに基づいて、前記複数の物体の少なくとも１つの取り出し位置を選択する位置選択ステップと、を備え、前記ロボットは、選択した前記取り出し位置に基づいて、前記ハンドにより前記複数の物体の少なくとも１つを取り出す。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
（１６）  上記（１５）に記載の物体取り出し方法は、
前記画像を表示する表示ステップと、
前記表示ステップにて表示された前記画像に基づく少なくとも１つの教示位置の教示を受け付ける受付ステップと、
前記受付ステップにて受け付けた前記教示位置に基づき少なくとも１つの教示位置を示すラベルマップを生成し、該ラベルマップと前記画像とを関連づけてデータセットとして教師データ格納部に保存するアノテーション処理ステップと、
前記教師データ格納部に格納された前記データセットを入力として、機械学習を行い、前記学習モデルを出力する学習処理ステップと、
をさらに備えるようにしてもよい。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
図３に、コンテナ６０内に積まれているワーク５０を俯瞰した状態を示す。図３に示すように、ワーク５０は乱雑にバラ積みされており、ワーク５０の取り出し位置が教示されることなく、ロボット３０のハンドにより当該ワーク５０を把持して取り出すことは困難な状態となっている。なお、図中では、図示の都合上一部のワーク５０についてのみ符号を付している。
【手続補正１７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の物体の画像を生成する計測機と、
前記複数の物体の少なくとも１つを取り出すためのハンドを有するロボットと、
前記画像に基づいて決定された、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付部と、を備え、
前記ロボットは、前記教示された取り出し位置に基づいて、前記ハンドにより前記複数の物体の少なくとも１つを取り出す、ロボットシステム。
【請求項２】
前記画像を表示する表示部、
をさらに備える請求項１に記載のロボットシステム。
【請求項３】
前記表示部は、前記表示された画像上に前記教示された取り出し位置を描画する、請求項２に記載のロボットシステム。
【請求項４】
前記取り出し位置の教示は、取り出し位置を点及び領域のいずれかで指定したものである、
請求項１乃至３のいずれか１項に記載のロボットシステム。
【請求項５】
前記教示された取り出し位置及びその近傍の点群の情報を探索用情報として記憶し、前記画像に対して、前記探索用情報による探索を行うことにより、新たな取り出し位置を選択する取り出し位置選択部をさらに備え、
前記ロボットは、前記取り出し位置選択部によって選択された前記新たな取り出し位置で各物体を前記ハンドにより取り出す請求項１乃至４のいずれか１項に記載のロボットシステム。
【請求項６】
前記ハンドによる取り出し位置の決定に用いられる学習モデル、
をさらに備える、
請求項１乃至５のいずれか１項に記載のロボットシステム。
【請求項７】
前記教示された取り出し位置及びその近傍の点群の情報を入力データとし、前記入力データとした点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された点群の情報についての評価値を出力する前記学習モデルを学習する学習部、
をさらに備える、
請求項６に記載のロボットシステム。
【請求項８】
前記画像から所定領域の画像を切り抜き、切り抜かれた前記画像の点群の情報を前記学習モデルに入力データとして入力することにより出力される前記点群の情報についての評価値に基づいて、新たな取り出し位置を選択する取り出し位置選択部、
をさらに備え、
前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数の物体の少なくとも１つを取り出し、前記取り出し位置選択部によって選択された前記新たな取り出し位置で各物体を前記ハンドにより取り出す、
請求項７に記載のロボットシステム。
【請求項９】
複数の物体の画像を生成する計測機と、
前記複数の物体の少なくとも１つを取り出すためのハンドを有するロボットと、
前記画像を学習モデルに入力することで取得された、前記ハンドにより取り出し可能な物体が存在する領域を示す評価値マップに基づいて、前記複数の物体の少なくとも１つの取り出し位置を選択する位置選択部と、
を備え、
前記ロボットは、選択した前記取り出し位置に基づいて、前記ハンドにより前記複数の物体の少なくとも１つを取り出す、ロボットシステム。
【請求項１０】
前記画像を表示する表示部と、
前記表示部に表示された前記画像に基づく少なくとも１つの教示位置の教示を受け付ける受付部と、
前記受付部で受け付けた前記教示位置に基づき少なくとも１つの教示位置を示すラベルマップを生成し、該ラベルマップと前記画像とを関連づけてデータセットとして教師データ格納部に保存するアノテーション処理部と、
前記教師データ格納部に格納された前記データセットを入力として、機械学習を行い、前記学習モデルを出力する学習処理部と、
をさらに備える、
請求項９に記載のロボットシステム。
【請求項１１】
複数の物体の画像を生成する計測機と、
前記複数の物体の少なくとも１つを取り出すためのハンドを有するロボットと、
を備えたロボットシステムが行う物体取り出し方法であって、
前記画像に基づいて決定された、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける受付ステップと、
を備え、
前記ロボットは、前記教示された取り出し位置に基づいて、前記ハンドにより前記複数の物体の少なくとも１つを取り出す、物体取り出し方法。
【請求項１２】
前記ロボットシステムは、さらに
学習モデルを備え、
前記受付ステップは、さらに、
前記画像に基づいて前記学習モデルを用いて決定された、前記ハンドによる取り出しを行うための取り出し位置の教示を受け付ける、
請求項１１に記載の物体取り出し方法。
【請求項１３】
請求項１２に記載の物体取り出し方法であって、
前記教示された取り出し位置及びその近傍の点群の情報を入力データとし、前記入力データとした点群の情報に対する教示に応じた評価値または取り出しの成否に応じた評価値の少なくともいずれか一方をラベルとした機械学習を行うことにより、入力データとして入力された点群の情報についての評価値を出力する前記学習モデルを学習する学習ステップ、
をさらに備える。
【請求項１４】
請求項１３に記載の物体取り出し方法であって、
前記画像から所定領域の画像を切り抜き、切り抜かれた前記画像の点群の情報を前記学習モデルに入力データとして入力することにより出力される前記点群の情報についての評価値に基づいて、新たな取り出し位置を選択する取り出し位置選択ステップ、
をさらに備え、
前記ロボットは、前記教示された取り出し位置に基づいて前記ハンドにより前記複数の物体の少なくとも１つを取り出し、前記取り出し位置選択ステップによって選択された前記新たな取り出し位置で各物体を前記ハンドにより取り出す物体取り出し方法。
【請求項１５】
複数の物体の画像を生成する計測機と、
前記複数の物体の少なくとも１つを取り出すためのハンドを有するロボットと、
を備えたロボットシステムが行う物体取り出し方法であって、
前記画像を学習モデルに入力することで取得された、前記ハンドにより取り出し可能な物体が存在する領域を示す評価値マップに基づいて、前記複数の物体の少なくとも１つの取り出し位置を選択する位置選択ステップと、
を備え、
前記ロボットは、選択した前記取り出し位置に基づいて、前記ハンドにより前記複数の物体の少なくとも１つを取り出す、物体取り出し方法。
【請求項１６】
請求項１５に記載の物体取り出し方法であって、
前記画像を表示する表示ステップと、
前記表示ステップにて表示された前記画像に基づく少なくとも１つの教示位置の教示を受け付ける受付ステップと、
前記受付ステップにて受け付けた前記教示位置に基づき少なくとも１つの教示位置を示すラベルマップを生成し、該ラベルマップと前記画像とを関連づけてデータセットとして教師データ格納部に保存するアノテーション処理ステップと、
前記教師データ格納部に格納された前記データセットを入力として、機械学習を行い、前記学習モデルを出力する学習処理ステップと、
をさらに備える。