【手続補正書】
【提出日】令和3年6月18日(2021.6.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
包装物の表面を撮像した画像を入力する入力手段と、
前記画像から特定された前記包装物の表面の状態に基づいて、前記包装物を吸引する吸着装置によって吸引が開始されるタイミングを制御する制御情報を出力する出力手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記入力手段は、前記包装物の表面を撮像した少なくとも１つの画像を入力し、
前記出力手段は、前記画像毎に特定された前記包装物の表面のしわの程度が異なる場合、前記包装物の表面のしわの程度に従って、前記吸着装置によって吸引が開始されるタイミングを変更する前記制御情報を出力することを有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記出力手段は、前記画像に基づいて特定された前記包装物の表面にしわがあると判断された場合、前記包装物のしわの程度によって前記吸着装置が吸引を開始するタイミングを変更する前記制御情報を出力することを有することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記出力手段は、前記吸着装置によって吸引が開始されるタイミングが、前記吸着装置と前記包装物の表面とが接触する前か、若しくは接触した後かを示す前記制御情報を出力することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記包装物の表面の状態と前記制御情報との組み合わせに対して、前記吸着装置による吸着が成功したか否かを示す結果に基づいて、前記包装物の表面の状態によって前記吸着装置が吸引を開始するタイミングを制御する前記制御情報を決定する決定手段を更に有し、
前記出力手段は、前記決定手段によって決定された前記制御情報を出力することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記包装物の表面の状態と前記制御情報との組み合わせに対して、前記吸着装置による吸着が成功したか否かを示す結果を学習させた学習済みモデルに基づいて、前記入力手段によって入力された前記画像を入力とし、吸引を開始するタイミングを制御する前記制御情報を決定する決定手段を更に有し、
前記出力手段は、前記決定手段によって決定された前記制御情報を出力することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項７】
前記決定手段は、前記包装物の表面の状態から、前記吸着装置と前記包装物の表面とが接触してから前記吸着装置による運搬が開始されるまでの時間を示す第１の静止時間を決定し、
前記出力手段は、前記決定手段が決定した前記第１の静止時間の経過後に、前記吸着装置が運搬を開始する前記制御情報を出力することを特徴とする請求項５に記載の情報処理装置。
【請求項８】
前記決定手段は、前記包装物の表面の状態から、前記吸着装置を移動させることにより前記包装物を運搬先に運搬した後に、前記吸着装置が吸引を停止してから前記吸着装置に再度移動を開始させるまでの時間を示す第２の静止時間を決定し、
前記出力手段は、前記決定手段が決定した前記第２の静止時間の経過後に、前記吸着装置の移動を制御する前記制御情報を出力することを特徴とする請求項５に記載の情報処理装置。
【請求項９】
前記入力手段によって入力された画像に対して、吸着に適した前記包装物の表面の状態を示す画像特徴であるテンプレートを照合することによって、前記吸着装置によって前記包装物を吸引させる吸着位置を抽出する抽出手段をさらに有し、
前記出力手段は、前記吸着位置に対応する画像領域から特定された前記包装物の表面の状態に基づいて前記制御情報を出力することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
前記吸着装置の真空圧を計測することによって、前記制御情報による制御が成功したか失敗かの結果を判定する判定手段と、
前記判定手段によって判定された判定結果に基づいて、前記包装物の表面の状態において成功する可能性が高い前記制御情報を示すデータセットを学習する学習手段と、をさらに有し、
前記出力手段は、前記画像から特定された前記包装物の表面の状態と前記データセットとに基づいて、前記制御情報を出力することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
前記判定手段は、前記制御情報による制御について、前記真空圧が所定の閾値より小さい場合は成功、前記真空圧が所定の閾値より大きい場合は失敗と判定することを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記学習手段は、前記包装物の吸着が成功した場合には正の報酬を、前記包装物の吸着が失敗した場合には負の報酬を与える強化学習によって、前記画像から前記制御情報を出力する第１の学習済みモデルの結合重み付けパラメータを更新し、
前記出力手段は、前記学習手段によって更新された前記第１の学習済みモデルに基づいて前記制御情報を出力することを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
大きさの異なる複数の吸着部を更に有し、
前記出力手段は、前記画像から特定された前記包装物の表面の状態と、さらに前記吸着部の大きさとに基づいて、吸引を開始するタイミングを制御する前記制御情報を出力することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
【請求項１４】
前記包装物を運ぶタスクにおいて、スピード、品質、コスト、環境音のうち優先項目をユーザから受け付ける受付手段をさらに有し、
前記出力手段は、前記受付手段によって受け付けた前記優先項目についての所定の条件を満たす前記制御情報を出力することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
【請求項１５】
前記受付手段によって受け付けた前記優先項目についての所定の条件を満たす前記制御情報を学習した第２の学習済みモデルを選択する選択手段をさらに有し、
前記出力手段は、前記画像から特定された前記包装物の表面の状態と前記第２の学習済みモデルとに基づいて前記制御情報を出力することを特徴とする請求項１４に記載の情報処理装置。
【請求項１６】
前記包装物を運ぶタスクにおける優先項目に対応して、前記包装物の吸着に成功かつ前記優先項目についての所定の条件を満たす場合には正の報酬を、前記包装物の吸着に失敗または前記優先項目についての所定の条件を満さない場合には負の報酬を与える強化学習を用いて、前記制御情報を出力する前記第２の学習済みモデルの結合重み付けパラメータを更新する第２の学習手段をさらに有することを特徴とする請求項１５に記載の情報処理装置。
【請求項１７】
包装物の表面を撮像した画像を入力する入力手段と、
前記画像に基づいて特定された前記包装物の表面のしわの程度によって、前記包装物を吸引する吸着装置による吸引が開始されるタイミングを変更する制御情報を出力する出力手段と、を有することを特徴とする情報処理装置。
【請求項１８】
前記出力手段は、前記画像の表面に含まれるしわの程度が所定の閾値より大きくなるとき、前記吸着装置による吸引が前記包装物に接触する前に開始される前記制御情報に変更することを特徴とする請求項１７に記載の情報処理装置。
【請求項１９】
包装物の表面を撮像した画像を入力する入力工程と、
前記画像から特定された前記包装物の表面の程度に基づいて、吸着装置によって吸引が開始されるタイミングを制御する制御情報を出力する出力工程と、
を有することを特徴とする情報処理方法。
【請求項２０】
コンピュータを、請求項１乃至１８の何れか１項に記載の情報処理装置として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記課題を解決する本発明にかかる情報処理装置は、包装物の表面を撮像した画像を入力する入力手段と、前記画像から特定された前記包装物の表面の状態に基づいて、前記包装物を吸引する吸引装置によって吸引が開始されるタイミングを制御する制御情報を出力する出力手段と、を有する。