(57)【要約】【課題】積重ねられた対象物の３次元形状又は寸法が未知であっても搬送工程を適切に実行可能なロボットシステムを提供する。【解決手段】対象物５０の３次元情報を取得する３次元センサ４０、及び対象物５０を把持する把持装置３３を備えるロボット３０を備えるロボットシステム１０が提供される。ロボットシステム１０は、対象物５０を取出す前の状態に関連する第一の３次元情報と、対象物５０を取出した後の状態に関連する第二の３次元情報に基づいて、対象物５０の３次元形状情報を取得するとともに、対象物５０の３次元形状情報に基づいて、対象物５０を載置部５２に載置するときのロボット３０の位置及び姿勢を計算する。【選択図】図４
2016144841.tif 000002
【特許請求の範囲】
【請求項１】
積重ねられた複数の対象物を順次搬送して載置部に載置するロボットシステムであって、
前記複数の対象物の３次元情報を取得する３次元センサと、
前記複数の対象物のうちの少なくとも１つを把持する把持装置を備えるロボットと、
積重ねられた前記複数の対象物の３次元情報を、前記３次元センサによって第一の３次元情報として取得する第一の３次元情報取得部と、
前記第一の３次元情報に基づいて、前記複数の対象物のうち、搬送されるべき搬送対象物を特定するとともに、該搬送対象物の位置を取得する対象物位置取得部と、
前記搬送対象物を前記把持装置によって把持するとともに前記ロボットによって残りの対象物から離れて移動させた後、前記残りの対象物の３次元情報を、前記３次元センサによって第二の３次元情報として取得する第二の３次元情報取得部と、
前記第一の３次元情報及び前記第二の３次元情報に基づいて、前記第一の３次元情報を取得する際に前記３次元センサの死角に位置する部位を含む前記搬送対象物の３次元形状情報を取得する形状情報取得部と、
前記形状情報取得部によって取得される前記搬送対象物の３次元形状情報に基づいて、前記搬送対象物を前記載置部に載置するときに、前記載置部に接触するようになる前記搬送対象物の接触部から前記把持装置又は前記ロボットの基準点までの距離と、前記搬送対象物を前記載置部に安定的に載置できるようになる前記搬送対象物の安定姿勢と、の少なくとも一方を取得する載置情報取得部と、
前記接触部から前記基準点までの距離と前記安定姿勢との少なくとも一方に基づいて、前記搬送対象物を前記載置部に載置するときの前記ロボットの位置及び姿勢を計算する位置姿勢計算部と、を備えるロボットシステム。
【請求項２】
前記把持装置によって把持されている前記搬送対象物の３次元情報を、前記３次元センサによって第三の３次元情報として取得する第三の３次元情報取得部をさらに備えており、
前記形状情報取得部が、前記第一の３次元情報、前記第二の３次元情報及び前記第三の３次元情報に基づいて、前記搬送対象物の３次元形状情報を取得するように構成される、請求項１に記載のロボットシステム。
【請求項３】
少なくとも１つの前記対象物を搬送した後において、前記第一の３次元情報取得部が、以前の搬送工程を実行する際に取得された前記第二の３次元情報を前記第一の３次元情報として取得するように構成される、請求項１又は２に記載のロボットシステム。
【請求項４】
前記３次元センサが、前記ロボットとは別個の架台に取付けられている、請求項１から３のいずれか１項に記載のロボットシステム。
【請求項５】
前記３次元センサが、前記ロボットのアーム先端部に取付けられている、請求項１から３のいずれか１項に記載のロボットシステム。
【請求項６】
積重ねられた複数の対象物を順次搬送して載置部に載置するロボットシステムであって、
前記複数の対象物の３次元情報を取得する３次元センサと、
前記複数の対象物のうちの少なくとも１つを把持する把持装置を備えるロボットと、
積重ねられた前記複数の対象物の３次元情報を、前記３次元センサによって第一の３次元情報として取得する第一の３次元情報取得部と、
前記第一の３次元情報に基づいて、前記複数の対象物のうち、搬送されるべき搬送対象物を特定するとともに、該搬送対象物の位置を取得する対象物位置取得部と、
前記把持装置によって把持されている前記搬送対象物の３次元情報を、前記３次元センサによって第三の３次元情報として取得する第三の３次元情報取得部と、
前記第一の３次元情報及び前記第三の３次元情報に基づいて、前記第一の３次元情報を取得する際に前記３次元センサの死角に位置する部位を含む前記搬送対象物の３次元形状情報を取得する形状情報取得部と、
前記形状情報取得部によって取得される前記搬送対象物の３次元形状情報に基づいて、前記搬送対象物を前記載置部に載置するときに、前記載置部に接触するようになる前記搬送対象物の接触部から前記把持装置又は前記ロボットの基準点までの距離と、前記搬送対象物を前記載置部に安定的に載置できるようになる前記搬送対象物の安定姿勢と、の少なくとも一方を取得する載置情報取得部と、
前記接触部から前記基準点までの距離と前記安定姿勢との少なくとも一方に基づいて、前記搬送対象物を前記載置部に載置するときの前記ロボットの位置及び姿勢を計算する位置姿勢計算部と、を備えるロボットシステム。
【請求項７】
前記第三の３次元情報を取得する際の前記ロボットの位置及び姿勢の少なくとも一方が、前記搬送対象物を前記把持装置によって把持したときとは異なる、請求項６に記載のロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、積重ねられた対象物を搬送するロボットシステムに関する。
【背景技術】
【０００２】
ダンボール等の積重ねられた対象物をロボットによって順次搬送するロボットシステムが公知である。ロボットは、対象物を把持する把持装置をアーム先端に備えており、把持装置によって把持した対象物を後工程のために別の場所に在る載置部まで搬送するように構成される。
【０００３】
従来のロボットシステムにおいては、対象物の底面が載置部の表面に一致するように予め作成された指令位置に従ってロボットを動作させることによって載置工程が実行される。しかしながら、対象物の実際の寸法が想定された寸法とは異なる場合、対象物の位置決めが適切に行われずに、過度の押圧力が対象物に付与されたり、又は対象物を落下させたりする虞がある。
【０００４】
別の従来のロボットシステムは、対象物が載置部に接触したことを検出するセンサを備えており、対象物が載置部に接触した時点で対象物が解放されるようになっている。しかしながら、このようなロボットシステムにおいては、載置部から十分に離れた位置から対象物を載置部に向かって低速で移動させる必要があり、搬送効率が低下する。
【０００５】
センサによって積重ねられた対象物の位置情報を取得して、搬送工程を実行するように構成された種々のロボットシステムが公知である（特許文献１〜７参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−００５７６９号公報
【特許文献２】特開平７−０５３０５４号公報
【特許文献３】特開平７−２９９７８２号公報
【特許文献４】特開２００１−３１７９１１号公報
【特許文献５】特開２０１３−１５４４５７号公報
【特許文献６】特開２０１２−１９２４９０号公報
【特許文献７】特開２０１１−２４７８１９号公報
【特許文献８】特開２０１３−１０１０４５号公報
【非特許文献】
【０００７】
【非特許文献１】「カメラキャリブレーション」, CVIM 148, PP. 1-18, 2005
【非特許文献２】「A review of recent range image registration methods with accuracy evaluation」, Image and Vision Computing Volume 25, Issue 5, pp. 578-596, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来のロボットシステムは、対象物の３次元形状及び寸法が未知である場合、或いは対象物の個体差が大きい場合に、搬送工程を適切に実行するのが困難であった。そこで、対象物の３次元形状又は寸法が未知であっても、搬送工程を適切に実行可能なロボットシステムが求められている。
【課題を解決するための手段】
【０００９】
本願の１番目の発明によれば、積重ねられた複数の対象物を順次搬送して載置部に載置するロボットシステムであって、前記複数の対象物の３次元情報を取得する３次元センサと、前記複数の対象物のうちの少なくとも１つを把持する把持装置を備えるロボットと、積重ねられた前記複数の対象物の３次元情報を、前記３次元センサによって第一の３次元情報として取得する第一の３次元情報取得部と、前記第一の３次元情報に基づいて、前記複数の対象物のうち、搬送されるべき搬送対象物を特定するとともに、該搬送対象物の位置を取得する対象物位置取得部と、前記搬送対象物を前記把持装置によって把持するとともに前記ロボットによって残りの対象物から離れて移動させた後、前記残りの対象物の３次元情報を、前記３次元センサによって第二の３次元情報として取得する第二の３次元情報取得部と、前記第一の３次元情報及び前記第二の３次元情報に基づいて、前記第一の３次元情報を取得する際に前記３次元センサの死角に位置する部位を含む前記搬送対象物の３次元形状情報を取得する形状情報取得部と、前記形状情報取得部によって取得される前記搬送対象物の３次元形状情報に基づいて、前記搬送対象物を前記載置部に載置するときに、前記載置部に接触するようになる前記搬送対象物の接触部から前記把持装置又は前記ロボットの基準点までの距離と、前記搬送対象物を前記載置部に安定的に載置できるようになる前記搬送対象物の安定姿勢と、の少なくとも一方を取得する載置情報取得部と、前記接触部から前記基準点までの距離と前記安定姿勢との少なくとも一方に基づいて、前記搬送対象物を前記載置部に載置するときの前記ロボットの位置及び姿勢を計算する位置姿勢計算部と、を備えるロボットシステムが提供される。
本願の２番目の発明によれば、１番目の発明に係るロボットシステムが、前記把持装置によって把持されている前記搬送対象物の３次元情報を、前記３次元センサによって第三の３次元情報として取得する第三の３次元情報取得部をさらに備えており、前記形状情報取得部が、前記第一の３次元情報、前記第二の３次元情報及び前記第三の３次元情報に基づいて、前記搬送対象物の３次元形状情報を取得するように構成される。
本願の３番目の発明によれば、１番目又は２番目の発明に係るロボットシステムにおいて、少なくとも１つの前記対象物を搬送した後において、前記第一の３次元情報取得部が、以前の搬送工程を実行する際に取得された前記第二の３次元情報を前記第一の３次元情報として取得するように構成される。
本願の４番目の発明によれば、１番目から３番目のいずれかの発明に係るロボットシステムにおいて、前記３次元センサが、前記ロボットとは別個の架台に取付けられている。
本願の５番目の発明によれば、１番目から３番目のいずれかの発明に係るロボットシステムにおいて、前記３次元センサが、前記ロボットのアーム先端部に取付けられている。
本願の６番目の発明によれば、積重ねられた複数の対象物を順次搬送して載置部に載置するロボットシステムであって、前記複数の対象物の３次元情報を取得する３次元センサと、前記複数の対象物のうちの少なくとも１つを把持する把持装置を備えるロボットと、積重ねられた前記複数の対象物の３次元情報を、前記３次元センサによって第一の３次元情報として取得する第一の３次元情報取得部と、前記第一の３次元情報に基づいて、前記複数の対象物のうち、搬送されるべき搬送対象物を特定するとともに、該搬送対象物の位置を取得する対象物位置取得部と、前記把持装置によって把持されている前記搬送対象物の３次元情報を、前記３次元センサによって第三の３次元情報として取得する第三の３次元情報取得部と、前記第一の３次元情報及び前記第三の３次元情報に基づいて、前記第一の３次元情報を取得する際に前記３次元センサの死角に位置する部位を含む前記搬送対象物の３次元形状情報を取得する形状情報取得部と、前記形状情報取得部によって取得される前記搬送対象物の３次元形状情報に基づいて、前記搬送対象物を前記載置部に載置するときに、前記載置部に接触するようになる前記搬送対象物の接触部から前記把持装置又は前記ロボットの基準点までの距離と、前記搬送対象物を前記載置部に安定的に載置できるようになる前記搬送対象物の安定姿勢と、の少なくとも一方を取得する載置情報取得部と、前記接触部から前記基準点までの距離と前記安定姿勢との少なくとも一方に基づいて、前記搬送対象物を前記載置部に載置するときの前記ロボットの位置及び姿勢を計算する位置姿勢計算部と、を備えるロボットシステムが提供される。
本願の７番目の発明によれば、６番目の発明に係るロボットシステムにおいて、前記第三の３次元情報を取得する際の前記ロボットの位置及び姿勢の少なくとも一方が、前記搬送対象物を前記把持装置によって把持したときとは異なる。
【００１０】
これら及び他の本発明の目的、特徴及び利点は、添付図面に示される本発明の例示的な実施形態に係る詳細な説明を参照することによって、より明らかになるであろう。
【発明の効果】
【００１１】
本発明に係るロボットシステムによれば、対象物を取出す前後の３次元情報に基づいて、搬送される対象物の３次元形状情報を取得する。そして、取得された対象物の３次元形状情報に従って対象物を載置する際のロボットの位置及び姿勢を計算する。それにより、対象物の形状又は寸法が未知である場合、又は対象物の個体差が大きい場合であっても、搬送工程を適切に実行できるようになる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係るロボットシステムの構成を示す概略図である。
【図２】載置部及び載置部に載置される対象物を示す図である。
【図３】一実施形態に係るロボットシステムの機能ブロック図である。
【図４】一実施形態に係るロボットシステムによって実行される搬送工程の流れを示すフローチャートである。
【図５Ａ】第一の３次元情報を示す図である。
【図５Ｂ】第二の３次元情報を示す図である。
【図６】第一及び第二の３次元情報に基づいて得られる抽出点集合を示す図である。
【図７Ａ】第一の３次元情報を示す図である。
【図７Ｂ】第二の３次元情報を示す図である。
【図８】第一及び第二の３次元情報に基づいて得られる抽出点集合を示す図である。
【図９】載置部及び載置部に載置される対象物を示す図である。
【図１０】別の実施形態に係るロボットシステムの機能ブロック図である。
【図１１】第一の３次元情報を示す図である。
【図１２】対象物の把持工程を示す図である。
【図１３】第三の３次元情報を示す図である。
【図１４】第三の３次元情報を構成する各々の３次元点に対して同次変換を適用して得られる抽出点集合を示す図である。
【図１５】第二の３次元情報を示す図である。
【図１６】対象物の例を示す図である。
【図１７】第一の３次元情報を示す図である。
【図１８】対象物の把持工程を示す図である。
【図１９】第三の３次元情報を示す図である。
【図２０】第三の３次元情報を構成する各々の３次元点に対して同次変換を適用して得られる抽出点集合を示す図である。
【図２１】第二の３次元情報を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明の実施形態を説明する。図示される実施形態の構成要素は、本発明の理解を助けるために寸法が適宜変更されている。また、同一又は対応する構成要素には、同一の参照符号が使用される。
【００１４】
図１は、一実施形態に係るロボットシステムの構成を示す概略図である。ロボットシステム１０は、アーム３１の先端に手首３２を有するロボット３０と、ロボット３０の手首３２に取付けられた把持装置３３と、ロボット３０を制御するロボット制御装置６０と、架台４１に取付けられた３次元センサ４０と、を備えている。図示されるロボット３０は、垂直多関節ロボットであるものの、移動機構ロボット、パラレルリンクロボット、直動機構ロボットなど任意のタイプのロボットが用いられてもよい。
【００１５】
ロボット制御装置６０は、通信ケーブル等の公知の通信手段によってロボット３０に接続されている。ロボット３０は、ロボット制御装置６０から送出される制御指令に従って各関節軸に設けられたサーボモータが駆動され、それにより所望の位置及び姿勢を有するように動作する。
【００１６】
把持装置３３は、手首３２に形成されたメカニカルインタフェースを介してロボット３０に取付けられる。把持装置３３は、把持工程において周囲の対象物５０、対象物５０を収容するコンテナ又はパレット（図示せず）などと干渉することなく、少なくとも１つの対象物５０を搬送可能であれば、その形状及び構成については何ら限定されない。例えば、把持装置３３は、対象物５０に対して機械的に圧力を付与する機械式把持装置、負圧を発生させて対象物５０に対して吸引力を付与する真空吸着式把持装置、又は磁力を利用して対象物５０に対して吸引力を付与する磁力式把持装置である。
【００１７】
対象物５０は、図示されるように積重ねられた状態で設けられている。本明細書において、搬送工程を実行するために把持装置３３に把持される対象物を「搬送対象物」と称し、他の対象物と区別することがある。ロボットシステム１０によれば、把持装置３３によって把持された搬送対象物５１は、ロボット３０によって他の対象物５０から離れて移動させられ、図２に示されるような載置部５２に載置される。載置部５２は、搬送対象物５１を安定的に載置可能な構成を有していればよく、特定の形態には限定されない。載置部５２は、例えばコンベヤであり、搬送対象物５１を後工程のために順次移動させられるようになっている。載置部５２は、コンベヤなどの独立した移動機構を有しない机、パレット又は治具であってもよい。
【００１８】
３次元センサ４０は、積重ねられた対象物５０の概ね上方に設けられている。３次元センサ４０は、対象物５０の表面上に在る複数点の３次元位置情報をそれぞれ取得するとともに、取得した３次元点の集合を３次元情報として出力するように構成されている。
【００１９】
３次元センサ４０の構成は何ら限定されず、例えば空間コード方式、位相シフト方式、ランダムドットパターン方式、ＴＯＦ方式、光切断方式、ステレオカメラ方式などの公知の原理を利用した任意のセンサである。３次元情報の出力形式は何ら限定されない。便宜上、本明細書では、３次元点の集合（「ｐｏｉｎｔ  ｃｌｏｕｄ」としても知られる）から構成される３次元情報を用いる例に基づいて実施形態を説明する。
【００２０】
３次元センサ４０は、ロボットシステム１０の基準座標系における３次元情報を取得できるように予めキャリブレーションされている。センサ座標系と基準座標系とを関連付けるキャリブレーションは、公知の方法に従って実行される（例えば非特許文献１参照）。
【００２１】
３次元センサ４０を制御するセンサ制御装置（図示せず）は、ロボット制御装置６０に内蔵されていてもよいし、ロボット制御装置６０とは別個に設けられていてもよい。一実施形態において、３次元センサ４０は、３次元位置情報に加えてグレースケール画像又はカラー画像などの２次元情報をさらに取得するように構成されていてもよい。
【００２２】
図３は、ロボットシステム１０の機能ブロック図である。図示されるように、ロボットシステム１０は、第一の３次元情報取得部１２と、対象物位置取得部１４と、第二の３次元情報取得部１６と、形状情報取得部１８と、載置情報取得部２０と、位置姿勢計算部２２と、を備えている。各々の機能を実行するのに必要な計算、情報の記憶及び読出し、並びにデータ及び信号の送受信は、ＣＰＵ、ＲＯＭ、ＲＡＭなど公知のハードウェア構成を有するデジタルコンピュータによって実行される。
【００２３】
第一の３次元情報取得部１２は、積重ねられた複数の対象物５０の３次元情報を、３次元センサ４０によって第一の３次元情報として取得する。第一の３次元情報は、搬送対象物５１を搬送する前の状態における対象物５０の３次元情報である。
【００２４】
対象物位置取得部１４は、第一の３次元情報に基づいて、複数の対象物５０のうち、搬送されるべき搬送対象物５１を特定するとともに、搬送対象物５１の位置を取得する。搬送対象物５１は、例えば、対象物５０のうち、最も高い位置に在る対象物である。或いは、把持装置３３のタイプに応じて定まる最も把持し易い位置に在る対象物、又は周囲の対象物５０と干渉せずに取出すことができる対象物を搬送対象物５１として選定してもよい。
【００２５】
３次元情報に基づいて搬送対象物５１の位置を認識する方法は特に限定されず、公知の方法を採用できる（例えば非特許文献２参照）。また、特許文献８に記載されているように、３次元情報及び２次元情報を組合せて搬送対象物５１の位置が認識されてもよい。搬送対象物５１の位置は、把持工程において把持装置３３を位置決めするのに用いられる。すなわち、搬送対象物５１の位置に従って、ロボット３０の位置及び姿勢が制御され、搬送対象物５１を把持するのに適切な位置に把持装置３３が位置決めされる。
【００２６】
第二の３次元情報取得部１６は、搬送対象物５１を把持装置３３によって把持するとともにロボット３０によって残りの対象物５０から離れて移動させた後、残りの対象物５０の３次元情報を、３次元センサ４０によって第二の３次元情報として取得する。第二の３次元情報は、ロボット３０及び搬送対象物５１が、図１の破線で示される３次元センサ４０の検出範囲外まで移動された後に取得される。しかしながら、第二の３次元情報を取得するにあたって支障がない場合は、搬送対象物５１又はロボット３０が３次元センサ４０の検出範囲内に含まれる状態で第二の３次元情報が取得されてもよい。
【００２７】
形状情報取得部１８は、第一の３次元情報及び第二の３次元情報に基づいて、第一の３次元情報を取得する際に３次元センサ４０の死角に位置する部位を含む搬送対象物５１の３次元形状情報を取得する。第一の３次元情報を取得する際には、搬送対象物５１の、３次元センサ４０とは反対側の部位は３次元センサ４０の死角に位置しており、３次元情報が取得されない。そこで、本実施形態によれば、第一の３次元情報と第二の３次元情報を対比することによって、第一の３次元情報に含まれていなかった搬送対象物５１の箇所の形状情報を取得できる。それにより、搬送対象物５１の概ね全体の３次元形状を取得できる。
【００２８】
載置情報取得部２０は、形状情報取得部１８によって取得される搬送対象物５１の３次元形状情報に基づいて、搬送対象物５１を載置部５２に載置するときに、載置部５２に接触するようになる搬送対象物５１の接触部から把持装置３３又はロボット３０の基準点までの距離と、搬送対象物５１を載置部５２に安定的に載置できるようになる搬送対象物５１の安定姿勢と、の少なくとも一方を取得する。
【００２９】
位置姿勢計算部２２は、搬送対象物５１の接触部から把持装置３３又はロボット３０の基準点までの距離と、搬送対象物５１の安定姿勢と、の少なくとも一方に基づいて、搬送対象物５１を載置部５２に載置するときのロボット３０の位置及び姿勢を計算する。
【００３０】
図４は、本実施形態に係るロボットシステム１０によって実行される搬送工程の流れを示すフローチャートである。以下の説明では、対象物５０が直方体形状である例（図１及び図２参照）を適宜参照する。
【００３１】
まず、ステップＳ４０１において、第一の３次元情報取得部１２が、積重ねられた対象物５０の３次元情報（第一の３次元情報）を取得する。図５Ａは、２段に積重ねられた５つの対象物５０について取得される第一の３次元情報を示している。太線Ｘ１は、第一の３次元情報として取得される３次元点が分布する範囲を示している。このように、第一の３次元情報Ｘ１は、対象物５０の表面上に位置する多数の３次元点の位置情報を含んでいる。
【００３２】
ステップＳ４０２において、対象物位置取得部１４が、第一の３次元情報Ｘ１に基づいて搬送対象物５１を特定するとともに、搬送対象物５１の位置を取得する。ステップＳ４０２において取得される搬送対象物５１の位置は、例えば搬送対象物５１の上面の重心の位置（図５Ａの「Ｇ」参照）である。ステップＳ４０１及びステップＳ４０２の工程を実行している間は、必要に応じてロボット３０に別の作業を実行させてもよい。
【００３３】
ステップＳ４０３において、ロボット３０を駆動して、搬送対象物５１を残りの対象物５０から離れて移動させる。ロボット３０は、ステップＳ４０２において取得された搬送対象物５１の位置に基づいて、把持装置３３が搬送対象物５１を把持できる位置に把持装置３３を位置決めする。例えば、把持装置３３が、一点の把持点で搬送対象物５１を把持するように構成される吸着式把持装置である場合、把持装置３３の基準点（例えば把持点）が、搬送対象物５１の位置（例えば重心Ｇ）に一致するように、把持装置３３を位置決めする。把持装置３３の位置決めが完了したら、把持装置３３を作動させて搬送対象物５１を把持する。その後、ロボット３０を制御して、搬送対象物５１を残りの対象物５０から離れて移動させる。
【００３４】
ステップＳ４０４において、第二の３次元情報取得部１６が、搬送対象物５１を取出した後に残っている対象物５０を３次元センサ４０で検出し、第二の３次元情報Ｘ２を取得する（図５Ｂ参照）。図５Ｂに示されるように、搬送対象物５１を除く４つの対象物５０の３次元情報が第二の３次元情報Ｘ２として取得される。
【００３５】
ステップＳ４０５において、形状情報取得部１８が、第一の３次元情報及び第二の３次元情報に基づいて、搬送対象物５１の３次元形状情報を取得する。この形状情報には、搬送対象物５１を取出す前に３次元センサ４０の死角に位置していた部位の搬送対象物５１の形状情報が含まれる。
【００３６】
ステップＳ４０６において、載置情報取得部２０が、搬送対象物５１を載置部５２に載置する際に、載置部５２に接触するようになる搬送対象物５１の接触部から把持装置３３の基準点（例えば把持点）までの距離と、搬送対象物５１の安定姿勢と、の少なくとも一方を取得する。ロボット３０と把持装置３３との位置関係は既知であるので、基準点は、ロボット３０に対して設定されてもよい。
【００３７】
対象物５０が直方体の形状を有していて、図５Ａに示されるように搬送対象物５１の底面が平面であるように概ね整列して積重ねられている場合、搬送対象物５１の姿勢を変更しなくても、搬送対象物５１を載置部５２に安定的に載置できる。したがって、この場合、ステップＳ４０６において安定姿勢を取得する工程を省略してもよい。他方、搬送対象物５１の載置工程を適切に実行するためには、把持装置３３（又はロボット３０）の基準点から搬送対象物５１の接触部（すなわち底面）までの距離を決定する必要がある。反対に、ロボットシステム１０は、把持装置３３又はロボット３０の基準点から搬送対象物５１の接触部までの距離を取得する工程を省略し、搬送対象物５１の安定姿勢のみを取得するように構成されてもよい。搬送対象物５１の接触部から基準点までの距離、及び安定姿勢を取得する具体的な方法については後述する。
【００３８】
ステップＳ４０７において、位置姿勢計算部２２が、搬送対象物５１を載置部５２に載置する際のロボット３０の位置及び姿勢を計算する。ロボット３０の位置及び姿勢は、搬送対象物５１の接触部から把持装置３３又はロボット３０の基準点までの距離と、搬送対象物５１の安定姿勢と、の少なくとも一方に従って計算される。
【００３９】
ステップＳ４０８において、ステップＳ４０７で計算された位置及び姿勢に従ってロボット３０を駆動し、搬送対象物５１を載置部５２まで移動させる。搬送対象物５１が所定の位置に位置決めされたら、把持装置３３を解放して搬送対象物５１を載置部５２に載置し、搬送工程を完了する。
【００４０】
ステップＳ４０１〜Ｓ４０８の工程は、すべての対象物５０の搬送が完了するまで繰返し実行される。なお、二回目以降の任意の搬送工程において、ステップＳ４０１の工程を省略して、以前の搬送工程において取得された第二の３次元情報を第一の３次元情報として用いてもよい。或いは、対象物５０の個体差が小さい場合、二回目以降の搬送工程において、ステップＳ４０１〜ステップＳ４０５の工程を省略して、一旦得られた搬送対象物５１の３次元形状情報を用いてもよい。
【００４１】
次に、３次元情報から搬送対象物５１の３次元形状情報を求める方法、及び搬送対象物５１の３次元形状情報に基づいて、搬送対象物５１の接触部から把持装置３３又はロボット３０の基準点までの距離、及び搬送対象物５１の安定姿勢を計算する方法について説明する。
【００４２】
（第一実施例）
図５Ａ、図５Ｂ及び図６を参照して、第一実施例について説明する。本実施例において、対象物５０は直方体形状を有している。前述したように、図５Ａ及び図５Ｂに示される３次元情報Ｘ１、Ｘ２は、多数の３次元点の集合の位置情報から構成される。第一の３次元情報Ｘ１と第二の３次元情報Ｘ２とを比較することによって、搬送対象物５１の３次元形状情報が求められる。
【００４３】
例えば、第二の３次元情報Ｘ２を構成する各々の３次元点について、該３次元点の３次元点のうち、最も近位に位置する第一の３次元情報の３次元点を「最近傍点」と定義する。最近傍点の候補となる第一の３次元情報の３次元点は、第二の３次元情報の３次元点から水平方向に所定の距離の範囲内に位置するものに限定されてもよい。このようにすれば、最近傍点を計算するのに要する時間が短縮される。第一の３次元情報における同一の３次元点が、第二の３次元情報の複数の３次元点に対する共通の最近傍点として設定されてもよい。なお、「最も近位に位置する」とは、２点間の距離が最も小さいことを意味し、「距離」は、マンハッタン距離（Ｌ１ノルム）、ユークリッド距離、マハラノビス距離、最大値ノルムなど任意の方式に従って定義される。
【００４４】
そして、第二の３次元情報Ｘ２の３次元点から対応する最近傍点までの距離が、予め定められる閾値を超える場合に、最近傍点をそれぞれ抽出する。抽出された最近傍点の集合（「抽出点集合」と称する。）は、搬送対象物５１を取出す前後において、対応する３次元点のうち位置が変化した３次元点を表す。したがって、抽出点集合に基づいて、搬送工程の前において３次元センサ４０の死角に入っていた搬送対象物５１の、３次元センサ４０とは反対側の形状を特定できる。
【００４５】
抽出点集合を抽出する際に用いられる閾値は、例えば３次元センサ４０の分解能に応じて適宜設定される。或いは、対象物５０の個体差、要求される検出精度、又は対象物５０の最薄部の寸法に応じて閾値が設定されてもよい。
【００４６】
代替的な実施形態において、第一の３次元情報Ｘ１に含まれる３次元点のうち、搬送対象物５１の範囲に含まれる３次元点の集合に対して水平方向に同一の範囲に含まれる第二の３次元情報の３次元点の集合を抽出点集合としてもよい。
【００４７】
図６は、搬送対象物５１に対して求められた抽出点集合Ｙを示している。図６の「Ｏ」は、把持装置３３の基準点を表している。例えば、基準点Ｏは、把持装置３３の把持点である。把持装置３３の基準点Ｏから抽出点集合Ｙを構成する各々の３次元点までのベクトルＶのＺ軸方向（例えば鉛直方向）の成分の最大値が、基準点Ｏから、載置部５２に接触するようになる搬送対象物５１の接触部までの距離Ｄである。
【００４８】
本実施例によれば、搬送対象物５１の載置工程において、ロボット３０は、把持装置３３の基準点Ｏが載置部５２の表面から距離Ｄだけ離れた位置に配置されるように制御される。
【００４９】
（第二実施例）
図７Ａ、図７Ｂ、図８及び図９を参照して、第二実施例について説明する。本実施例は、載置工程において、搬送対象物５１を安定的に載置するための安定姿勢を取得する必要がある場合に対応する。図７Ａに示されるように、対象物５０が錐台形状を有する場合、積重ねられた搬送対象物５１の底部の面積が非常に小さい。そのため、搬送対象物５１を載置部５２に安定的に載置するためには、搬送対象物５１の安定姿勢を搬送工程において取得する必要がある。そこで、本実施例では、把持装置３３の基準点Ｏから搬送対象物５１の接触部までの距離に加えて、搬送対象物５１の安定姿勢を取得する。
【００５０】
図７Ａの太線Ｘ１は第一の３次元情報を示しており、図７Ｂの太線Ｘ２は第二の３次元情報を示している。第一実施例と同様に、第一の３次元情報Ｘ１及び第二の３次元情報Ｘ２に基づいて、搬送対象物５１の取出工程の前後において位置が変化する３次元点の集合を抽出点集合として抽出する。図８の太線Ｙは抽出点集合を示している。
【００５１】
抽出点集合Ｙにおいて、最大の面積を有する面、すなわち平面Ｐを特定する。搬送対象物５１が、この平面Ｐにおいて載置部５２に接触するように載置すれば、搬送対象物５１を安定的に載置できる（図９参照）。搬送対象物５１の安定姿勢は、平面Ｐに対する法線ベクトルＮの向きに従って求められる。すなわち、法線ベクトルＮが鉛直方向上方を向くようにロボット３０の姿勢を計算する。それにより、搬送対象物５１は安定した姿勢で載置部５２に載置されるようになる。なお、最大の面積を有する平面Ｐ以外に、予め定められる閾値を超える面積を有する面が存在する場合、当該面において搬送対象物５１を載置部５２に載置するような姿勢を安定姿勢としてもよい。
【００５２】
把持装置３３の基準点Ｏから平面Ｐまでの距離は、基準点Ｏから抽出点集合Ｙを構成する各々の３次元点に向かって定義されるベクトルＶと、法線ベクトルＮに基づいて求められる。例えば、ベクトルＶと法線ベクトルＮの内積の最大値を、基準点Ｏから平面Ｐまでの距離Ｄとして定義する。法線ベクトルＮの向き及び距離Ｄに従ってロボット３０を制御すれば、搬送対象物５０を安定的に載置するのに必要な位置まで移動できる。
【００５３】
別の実施形態において、例えば、載置部５２との接触部が搬送対象物５１の曲面の部位である場合、曲率が予め定められる閾値以下になる領域ごとに近似平面を求め、面積が最大になる近似平面に対する法線ベクトルに基づいて安定姿勢を求めてもよい。
【００５４】
（第三実施例）
図１０〜図１５を参照して、第三実施例について説明する。本実施例において、対象物５０は、図１１に示されるように円柱形状を概ね有している。
【００５５】
図１０は、本実施例に係るロボットシステム１０の機能ブロック図である。図３と図１０を対比すれば分かるように、ロボットシステム１０は、第三の３次元情報取得部２４をさらに備えている。
【００５６】
第三の３次元情報取得部２４は、把持装置３３によって把持されている搬送対象物５１の３次元情報を、３次元センサ４０によって第三の３次元情報として取得する。例えば、第三の３次元情報は、図１３に示されるように、搬送対象物５１を把持した後に、ロボット３０を移動させるとともに手首３２を回転させて把持装置３３の姿勢を変更することによって取得される。
【００５７】
本実施例に係るロボットシステム１０において、抽出点集合Ｙを取得する方法について説明する。まず、他の実施例と同様に、第一の３次元情報Ｘ１を取得する（図１１参照）。次いで、把持装置３３が搬送対象物５１を把持できる位置までロボット３０を移動した時点（図１２参照）におけるロボット３０の位置及び姿勢（「第一のロボット位置」と称する。）を取得する。次いで、図１３に示されるようにロボット３０を移動させるとともに手首３２を回転させて把持装置３３の姿勢を変更し、搬送対象物５１の反対側の部位を含む第三の３次元情報Ｘ３を取得する。また、第三の３次元情報Ｘ３を取得したときのロボット３０の位置及び姿勢（「第二のロボット位置」と称する。）を取得する。
【００５８】
続いて、第一のロボット位置と、第二のロボット位置との差に基づいて、第三の３次元情報を同次変換して抽出集合点Ｙを取得する。例えば、第一のロボット位置に対応する同次変換行列をＨ１、第二のロボット位置に対応する同次変換行列をＨ２とする。この場合、搬送対象物５１の位置及び姿勢の変化量に対応する同次変換行列Ｈ３は、次の式で表される。
【００５９】
Ｈ３＝Ｈ１×Ｈ２-1
なお、Ｈ２-1は、Ｈ２の逆行列である。
【００６０】
第三の３次元情報Ｘ３を構成する各々の３次元点に対して同次変換行列Ｈ３を適用すれば、図１４の太線Ｙで示されるような抽出点集合が得られる。図１１に示される第一の３次元情報Ｘ１及び図１４に示される抽出点集合Ｙに基づいて、搬送対象物５１の３次元形状情報が取得される。一実施形態において、第三の３次元情報を複数回にわたって取得してもよい。一実施形態において、第一の３次元情報Ｘ１及び第三の３次元情報Ｘ３に加えて、図１５に示される第二の３次元情報Ｘ２をさらに用いて搬送対象物５１の３次元形状情報を取得してもよい。第二の３次元情報Ｘ２は、前述したように、搬送対象物５１を残りの対象物５０から離れて移動させた後に取得される対象物５０の３次元情報である。
【００６１】
（第四実施例）
図１６〜図２１を参照して、第四実施例について説明する。本実施例においては、搬送対象物５１の安定姿勢を求めるために、複数の方向から搬送対象物５１の第三の３次元情報を取得する。例えば、図１６に示されるように、正六角柱の対象物５０に凹部５０ａが形成されている場合、凹部５０ａに隣接する第一の面５０ｂを載置部５２に向けて対象物５０を載置すると、対象物５０の姿勢が不安定になって倒れる虞がある。この場合、対象物５０の安定姿勢は、凹部５０ａとは反対側の第二の面５０ｃを載置部５２に向けた姿勢である。このような安定姿勢を求めるには、複数の方向から対象物５０の３次元情報を取得する必要がある。
【００６２】
本実施例によれば、第三の３次元情報を複数の方向から取得する以外は、第三実施例と同様の方法で搬送工程が実行される。すなわち、搬送対象物５１が搬送される前に、第一の３次元情報取得部１２が、積重ねられた対象物５０の第一の３次元情報Ｘ１を取得する（図１７参照）。ロボット３０は、次いで図１８に示されるように、把持装置３３が搬送対象物５１を把持可能になる位置まで移動する。このときのロボット３０の位置及び姿勢は、「第一のロボット位置」として記憶される。
【００６３】
さらに、搬送対象物５１を残りの対象物５０から離れて移動させた後に、手首３２を回転させることによって、搬送対象物５１の第三の３次元情報を複数の方向から取得する。第三の３次元情報を取得する際のロボット３０の位置及び姿勢は、「第二のロボット位置」として記憶される。図１９は、搬送対象物５１の凹部５１ａを３次元センサ４０に向けた状態で第三の３次元情報取得部２４によって取得される第三の３次元情報Ｘ３を示している。続いて、第一のロボット位置及び第二のロボット位置との差に基づいて、第三の３次元情報を同次変換して抽出点集合Ｙを取得する。図２０は、図１９に示される第三の３次元情報Ｘ３に同次変換を適用して得られる抽出点集合Ｙを示している。さらに、搬送対象物５１を視覚センサ４０の検出範囲外まで移動させた後に、第二の３次元情報Ｘ２が第二の３次元情報取得部１６によって取得される（図２１参照）。このようにして得られた第一の３次元情報Ｘ１、第二の３次元情報Ｘ２及び抽出点集合Ｙに基づいて、凹部５１ａを含む搬送対象物５１の３次元形状情報が、形状情報取得部１８によって取得される。いったん搬送対象物５１の３次元情報が取得されれば、各々の面の面積、搬送対象物５１の重心位置などに基づいて、搬送対象物５１の安定姿勢が求められる。
【００６４】
前述した種々の実施形態に係るロボットシステム１０によれば、次の効果が得られる。
（１）積重ねられた対象物の３次元形状及び寸法が未知である場合、又は対象物の個体差が大きい場合であっても、搬送工程を適切に実行できる。それにより、農産物、木材、鉱物などの一定の形状を有しない対象物の搬送工程も容易に実行できる。
【００６５】
（２）対象物は安定した姿勢で載置部に載置されるので、対象物が倒れて破損するのを防止できる。また、対象物が一定の基準に従った姿勢で載置部に載置されるので、後工程の処理効率が向上する。
【００６６】
（３）対象物がコンテナ内に収容されている場合など、側方から対象物の状態を確認できない場合であっても、対象物の３次元形状情報を取得できる。
【００６７】
（４）１つの３次元センサを用いて搬送工程に必要な情報を取得できるので、安価なロボットシステムを提供できるようになる。
【００６８】
（５）ロボットシステムが対象物の接触部からロボットの基準点までの距離及び対象物の安定姿勢に関する情報を事前に用意しておく必要がなくなり、準備工程を簡略化できる。
【００６９】
一実施形態に係るロボットシステムにおいて、３次元センサは、ロボットのアームの先端部に取付けられていてもよい。一実施形態に係るロボットシステムにおいて、複数のロボットが１箇所に積重ねられた対象物を搬送するように構成されてもよい。一実施形態に係るロボットシステムにおいて、少なくとも１つのロボットが、複数箇所に積重ねられた対象物を順次搬送するように構成されてもよい。一実施形態において、互いに異なる位置に設けられた複数の載置部まで対象物が搬送されるようにロボットシステムが構成されていてもよい。
【００７０】
以上、本発明の種々の実施形態について説明したが、当業者であれば、他の実施形態によっても本発明の意図する作用効果を実現できることを認識するであろう。特に、本発明の範囲を逸脱することなく、前述した実施形態の構成要素を削除又は置換することができるし、或いは公知の手段をさらに付加することができる。また、本明細書において明示的又は暗示的に開示される複数の実施形態の特徴を任意に組合せることによっても本発明を実施できることは当業者に自明である。
【符号の説明】
【００７１】
１０    ロボットシステム
１２    第一の３次元情報取得部
１４    対象物位置取得部
１６    第二の３次元情報取得部
１８    形状情報取得部
２０    載置情報取得部
２２    位置姿勢計算部
２４    第三の３次元情報取得部
３０    ロボット
３１    アーム
３２    手首
３３    把持装置
４０    ３次元センサ
４１    架台
５０    対象物
５１    搬送対象物
６０    ロボット制御装置
Ｘ１    第一の３次元情報
Ｘ２    第二の３次元情報
Ｘ３    第三の３次元情報
Ｙ    抽出点集合
【図１】
2016144841.tif 000003
【図２】
2016144841.tif 000004
【図３】
2016144841.tif 000005
【図４】
2016144841.tif 000006
【図５Ａ】
2016144841.tif 000007
【図５Ｂ】
2016144841.tif 000008
【図６】
2016144841.tif 000009
【図７Ａ】
2016144841.tif 000010
【図７Ｂ】
2016144841.tif 000011
【図８】
2016144841.tif 000012
【図９】
2016144841.tif 000013
【図１０】
2016144841.tif 000014
【図１１】
2016144841.tif 000015
【図１２】
2016144841.tif 000016
【図１３】
2016144841.tif 000017
【図１４】
2016144841.tif 000018
【図１５】
2016144841.tif 000019
【図１６】
2016144841.tif 000020
【図１７】
2016144841.tif 000021
【図１８】
2016144841.tif 000022
【図１９】
2016144841.tif 000023
【図２０】
2016144841.tif 000024
【図２１】
2016144841.tif 000025