(57)【要約】【課題】３Ｄカメラを用いることなく安価なピッキングシステムを提供すること。【解決手段】対象物Ｐを収めたトレー１０から当該対象物Ｐを取り出すロボット２と、前記トレー１０の中の対象物Ｐが写った画像に基づいて、対象物Ｐの位置Ｑ、及び角度θを特定する対象物特定部４２と、対象物Ｐの位置、及び角度θに基づいて、ロボット２に対象物Ｐを取り出す動作をさせる制御信号Ｋを生成するロボット制御部３２と、読取面２４に載置された前記トレー１０の中を光学的に読み取り読取画像Ｍを出力するスキャナ装置８と、を備え、対象物特定部４２は読取画像Ｍに基づいて対象物Ｐの位置Ｑ、及び角度θを特定するピッキングシステム。【選択図】図１
2020110851.tif 000002
【特許請求の範囲】
【請求項１】
対象物を収めた容器から当該対象物を取り出すロボットと、
前記容器の中の対象物が写った画像に基づいて、前記対象物の位置、及び姿勢を特定する対象物特定部と、
前記対象物の位置、及び姿勢に基づいて、前記ロボットに前記対象物を取り出す動作をさせる制御信号を生成するロボット制御部と、
読取面に載置された前記容器の中を光学的に読み取り読取画像を出力するスキャナ装置と、を備え、
前記対象物特定部は、前記読取画像に基づいて前記対象物の位置、及び姿勢を特定する
ことを特徴とするピッキングシステム。
【請求項２】
前記スキャナ装置は、前記光学的な読み取りをＣＣＤ方式により行う装置である、ことを特徴とする請求項１に記載のピッキングシステム。
【請求項３】
前記対象物特定部は、
物体認識アルゴリズムを用いたディープラーニングによって機械学習された学習済モデルを備え、
前記学習済モデルは、前記読取画像の入力に応じて、当該読取画像に写っている対象物の位置、及び姿勢を出力する
ことを特徴とする請求項１または２に記載のピッキングシステム。
【請求項４】
前記物体認識アルゴリズムは、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ、またはＳＳＤである、ことを特徴とする請求項３に記載のピッキングシステム。
【請求項５】
前記容器の中の対象物を動かす装置を備える、ことを特徴とする請求項１から４のいずれかに記載のピッキングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピッキングシステムに関する。
【背景技術】
【０００２】
従来、ロボットアームが商品や製造部品、機械部品などの対象物をピッキングするピッキングシステムにおいて、対象物を３Ｄカメラで撮影した画像を用いて認識する技術が知られている（例えば、特許文献１参照、及び特許文献２参照）。対象物を３Ｄカメラで撮影することで収差が抑えられ、対象物の厚みに起因する画像のボケが抑えられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１１５０４０号公報
【特許文献２】特表２０１４−５１１７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、３Ｄカメラは一般的なカメラに比べて高価である、という問題がある。
本発明は、３Ｄカメラを用いることなく安価なピッキングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１の発明は、対象物を収めた容器から当該対象物を取り出すロボットと、前記容器の中の対象物が写った画像に基づいて、前記対象物の位置、及び姿勢を特定する対象物特定部と、前記対象物の位置、及び姿勢に基づいて、前記ロボットに前記対象物を取り出す動作をさせる制御信号を生成するロボット制御部と、読取面に載置された前記容器の中を光学的に読み取り読取画像を出力するスキャナ装置と、を備え、前記対象物特定部は、前記読取画像に基づいて前記対象物の位置、及び姿勢を特定することを特徴とするピッキングシステムである。
【０００６】
第２の発明は、第１の発明において、前記スキャナ装置は、前記光学的な読み取りをＣＣＤ方式により行う装置である、ことを特徴とする。
【０００７】
第３の発明は、第１または第２の発明において、前記対象物特定部は、物体認識アルゴリズムを用いたディープラーニングによって機械学習された学習済モデルを備え、前記学習済モデルは、前記読取画像の入力に応じて、当該読取画像に写っている対象物の位置、及び姿勢を出力することを特徴とする。
【０００８】
第４の発明は、第３の発明において、前記物体認識アルゴリズムは、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ、またはＳＳＤである、ことを特徴とする。
【０００９】
第５の発明は、第１の発明から第４の発明のいずれかにおいて、前記容器の中の対象物を動かす装置を備える、ことを特徴とする。
【発明の効果】
【００１０】
第１の発明によれば、３Ｄカメラを用いない安価なピッキングシステムが得られる。
第２の発明によれば、対象物に厚みがある場合でもブレを抑えた鮮明な読取画像が得られる。
第３の発明によれば、複雑なプログラムを準備せずとも、各対象物の位置、及び姿勢を得ることができる。
第４の発明によれば、読取画像に写った対象物を正確、かつ高速に特定できる。
第５の発明によれば、対象物が動かされることで、対象物同士の重なりや接触状態が解消され、読取画像において各対象物を特定し易くできる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る部品ピッキングシステムの構成を示す図である。
【図２】制御コンピュータの機能的構成を示す図である。
【図３】トレーの中にバラ置きされた対象物の状態の一例を示す図である。
【図４】部品ピッキングシステムのピッキング動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る部品ピッキングシステム１の構成を示す図である。
部品ピッキングシステム１は、作業者に代わりロボット２が対象物Ｐを取り出し（ピックアップし）、所定位置に所定姿勢で配置するシステムであり、多数の対象物Ｐをバッチ処理する用途に好適に用いられる。このような用途としては、部品や装置を組み立てる生産ライン、商品や丸薬などを梱包する梱包ライン、部品や部材を次々に検査する検査処理などが挙げられる。
【００１３】
図１に示すように、部品ピッキングシステム１は、上記ロボット２と、ロボットコントローラ４と、制御コンピュータ６と、スキャナ装置８と、を備え、対象物Ｐが収められたトレー１０から対象物Ｐをピックアップし、目的の作業位置に所定の姿勢で対象物Ｐを配置する。
トレー１０、及び作業位置は、ロボット２の作業範囲内で適宜に設定された位置に設けられる。トレー１０は、ピックアップ対象の対象物Ｐを収める容器であり、このトレー１０には、対象物Ｐの残数に基づいて（例えば残数が所定値を下回った場合など）、供給装置や作業員などによって対象物Ｐが供給される。作業位置は、部品ピッキングシステム１によってピックアップされた対象物Ｐを、それを利用する利用側に引き渡す場所に用いられる。
【００１４】
ロボット２は、対象物Ｐの把持、３次元方向の移動、及び、姿勢変更を実行可能に構成された装置であり、ロボットアーム１４を備える。ロボットアーム１４は、可動部である複数の関節を有し、サーボモーターによって動作し、その先端には、対象物Ｐを把持するハンドピース１６が取り付けられている。
ロボットコントローラ４は、制御コンピュータ６の制御信号Ｋにしたがってロボットアーム１４をサーボ制御する装置である。
【００１５】
スキャナ装置８は、トレー１０の中を光学的に読み取り、読取画像Ｍを制御コンピュータ６に出力する、いわゆるイメージスキャナと呼ばれる装置である。
具体的には、スキャナ装置８は、箱型の筐体２２を備え、筐体２２の上面２２Ａには読取面２４が設けられている。読取面２４は、筐体２２に設けた開口２３に平板状の透過ガラス２８を嵌めて構成されており、この読取面２４に上記トレー１０が載置される。トレー１０の底面１０Ａは、その全面が読取面２４に面接触する平面形状を成し、またトレー１０の内部をスキャナ装置８が光学的に読み取り可能にするために、光学的に透明な材料（例えばアクリル板やガラス板など）で形成される。
【００１６】
スキャナ装置８の筐体２２の内部には、スキャナヘッド２５と、搬送機構２６と、スキャナ制御部２７と、が設けられる。
スキャナヘッド２５は、ＣＣＤやＣＭＯＳセンサなどの光学的読取素子２５Ａが直線状に配列されて構成されたラインヘッドであり、搬送機構２６は、読取面２４の下方で当該読取面２４に平行にスキャナヘッド２５を移動させる機構である。スキャナ制御部２７は、スキャナヘッド２５、及び搬送機構２６などの各部を制御する装置であり、ＣＰＵやＭＰＵなどのプロセッサ、ＲＡＭやＲＯＭなどのメモリデバイス、及び、外部機器（例えば制御コンピュータ６）とデータを送受する接続インターフェースなどを備えたコンピュータを有する。
【００１７】
スキャナ制御部２７は、搬送機構２６を制御してスキャナヘッド２５を読取面２４の下方を移動させ、この移動の間、スキャナヘッド２５の個々の光学的読取素子２５Ａ的に検出した検出信号を所定周期で取り込む。そしてスキャナ制御部２７は、スキャナヘッド２５が読取面２４の全面に亘って移動した際に得られた検出信号に基づいて読取画像Ｍを生成し、制御コンピュータ６に出力する。
スキャナ制御部２７は、スキャナヘッド２５による読取面２４の光学的読取動作を、制御コンピュータ６の要求にしたがって、或いは、周期的又は非周期の所定のタイミングで実行し、その都度、制御コンピュータ６に出力する。
【００１８】
本実施形態のスキャナ装置８は、スキャナヘッド２５が、いわゆる「ＣＩＳ方式」ではなく「ＣＣＤ方式」で構成されている。「ＣＣＤ方式」では、読取面２４に白色の光が当てられ、スキャナヘッド２５には、白色の光の照射によって反射してきた光を光学的読取素子２５Ａに結像させるミラー、及びレンズを有した光学系２５Ｂが設けられる。この光学系２５Ｂのレンズに、一般的なカメラなどでも使われるレンズと同等の特性を有したレンズを使うことで、深い被写界深度が得られる。このため、トレー１０の中の対象物Ｐに厚みがある場合でも対象物Ｐのボケを抑え、その輪郭がクリアに写った読取画像Ｍが得られることとなる。
【００１９】
図２は、制御コンピュータ６の機能的構成を示す図である。
制御コンピュータ６は、スキャナ装置８の読取画像Ｍに基づいて、トレー１０内の対象物Ｐを認識し、ロボット２を制御することで、これらの中から１つの対象物Ｐをトレー１０から取り出させ（ピックアップさせ）、目的の作業位置に所定の姿勢で対象物Ｐを配置させる制御装置である。
【００２０】
制御コンピュータ６は、ＣＰＵやＭＰＵなどのプロセッサと、ＲＯＭやＲＡＭなどのメモリデバイスと、ＨＤＤやＳＳＤなどのストレージ装置と、各種の周辺機器（ディスプレイや入力装置、スキャナ装置８など）を接続するインターフェース装置と、を備え、プロセッサがメモリデバイス又はストレージ装置に記憶されているプログラムを実行することで、図２に示す各種の機能を実現する。このプログラムは、例えばＣＤやＤＶＤ、半導体メモリデバイスなどのコンピュータ読取可能な記録媒体に記録し、或いは、インターネットなどの電気通信回線を通じて配布等できる。
なお、図２に示す機能の一部を、別のコンピュータが実行してもよい。また図２に示す機能の一部又は全部がＡＳＩＣやシステムＬＳＩ、ＳｏＣ（ｓｙｓｔｅｍ  ｏｎ  ａ  ｃｈｉｐ）などの半導体集積型の電子回路によってハードウェア的に実現されてもよい。
【００２１】
図２に示すように、制御コンピュータ６は、画像処理部３０と、ロボット制御部３２と、を備える。
画像処理部３０は、スキャナ装置８の読取画像Ｍに基づいて、トレー１０における各対象物Ｐの位置、及び姿勢を特定する。ロボット制御部３２は、画像処理部３０による対象物Ｐの特定結果に基づいて、これらの中から１つの対象物Ｐをロボット２にピックアップさせ作業位置に所定の姿勢で対象物Ｐを配置させる制御信号Ｋを生成し、ロボットコントローラ４に出力する。そして、ロボットコントローラ４が制御信号Ｋにしたがってロボット２を制御することで、対象物Ｐのピックアップ動作が行われる。
【００２２】
画像処理部３０の機能的構成について更に詳述する。
画像処理部３０は、画像取得部４０と、対象物特定部４２と、ピックアップ対象情報出力部４４と、を備える。
画像取得部４０は、上記インターフェースを通じてスキャナ装置８の読取画像Ｍを取得し、対象物特定部４２に入力する。
【００２３】
対象物特定部４２は、読取画像Ｍに写っている各対象物Ｐの位置、及び姿勢を特定し、ピックアップ対象情報出力部４４に出力する。本実施形態では、トレー１０には、図３に示すように、複数の対象物Ｐが平面視において互いに重なることなくランダムな方向を向いた状態（いわゆる、バラ置き状態）で置かれている。そして対象物Ｐに設定した所定ポイントの位置Ｑを対象物Ｐの位置とし、また対象物Ｐの基準姿勢Ｒに対する対象物Ｐの角度θを対象物Ｐの姿勢としている。この場合において、所定ポイントには、例えばロボット２がピックアップの際に把持する箇所を設定してもよい。なお、対象物Ｐの位置Ｑと姿勢の設定は、あくまでも例示である。例えば対象物Ｐを包囲する所定形状（例えば矩形）の最小の領域が存在する箇所を対象物Ｐの位置に設定してもよい。
【００２４】
本実施形態では、上述の通り、「ＣＣＤ方式」のスキャナ装置８が用いられているため、対象物Ｐが厚みを有する場合でも、対象物Ｐの輪郭がクリアに写った読取画像Ｍが得られているので、対象物特定部４２は、この読取画像Ｍに基づいて、対象物Ｐの位置Ｑ、及び角度θ（姿勢）の誤差を抑えて精度良く求めることができる。
【００２５】
ここで、対象物特定部４２が読取画像Ｍから対象物Ｐを特定する手法には、読取画像Ｍに写った物体を対象物Ｐと見做す各種の条件を記述した判定プログラム（いわゆる、ルールベースプログラム）を用いることができる。この種の判定プログラムとしては、例えば、読取画像Ｍに写った物体の輪郭と対象物Ｐの輪郭との一致度を条件に用いて読取画像Ｍから対象物Ｐを特定するプログラムなどが考え得る。
ただし、トレー１０には多数の対象物Ｐがランダムな姿勢で存在するため、判定プログラムでは、各姿勢に対応可能に一致度の条件を設定する必要がある。また複数の対象物Ｐが接触し合って１つの大きな塊の物体として読取画像Ｍに写ることがあり、このような場合でも当該物体から個々の対象物Ｐを特定可能にする判定条件を記述したプログラムを作成することは非常に労力が要るものとなる。
【００２６】
そこで本実施形態では、対象物特定部４２は、従前のルールベースプログラムを用いて対象物Ｐを特定するのではなく、人工知能の機械学習技術を用いて対象物Ｐを特定している。
具体的には、対象物特定部４２は、読取画像Ｍの入力に対し、読取画像Ｍに写っている対象物Ｐごとに位置Ｑ及び角度θ（姿勢）を出力する物体認識学習済モデル４８を備える。物体認識学習済モデル４８は、ディープラーニング（深層学習）を用いた機械学習によって得られた学習済モデルである。すなわち、未学習状態のニュールネットワークモデルを有した学習前モデルに、不定個数の対象物Ｐがバラ置きされている多数の読取画像Ｍを入力データとして与え、読取画像Ｍに写っている対象物Ｐごとに位置Ｑ及び角度θを出力するように当該学習前モデルを、物体認識アルゴリズムを用いたディープラーニングにより機械学習させることで、物体認識学習済モデル４８が得られている。かかる物体認識アルゴリズムには、Ｆａｓｔｅｒ  Ｒ―ＣＮＮ（Ｒ−ＣＮＮ：Ｒｅｇｉｏｎｓ  ｗｉｔｈ  ＣＮＮ  ｆｅａｔｕｒｅｓ）、或いは、ＳＳＤ（Ｓｉｎｇｌｅ  Ｓｈｏｔ  ＭｕｌｔｉＢｏｘ  Ｄｅｔｅｃｔｏｒ）が用いられており、対象物Ｐが高精度に特定（認識）されるようになっている。
【００２７】
ピックアップ対象情報出力部４４は、対象物特定部４２によって特定された対象物Ｐの中から１つを選択し、ターゲットの対象物Ｐｔの位置Ｑｔ、及び角度θｔをロボット制御部３２に出力する。ターゲットの対象物Ｐｔの選択基準は適宜に設定できる。
【００２８】
ロボット制御部３２は、ピックアップ対象情報出力部４４からターゲットの対象物Ｐｔの位置Ｑｔ、及び角度θｔが入力された場合、ロボット２に当該位置Ｑｔで当該角度θｔに応じた方向からターゲットの対象物Ｐｔを把持させ、当該対象物Ｐｔをトレー１０から取り出させ、上記作業位置に所定の姿勢で配置させるための（すなわち、対象物Ｐのピッキング動作のための）制御信号Ｋを生成し、ロボットコントローラ４に出力する。この制御信号Ｋの生成手法については公知の適宜の技術を利用できる。
【００２９】
図４は、部品ピッキングシステム１のピッキング動作を示すフローチャートである。
制御コンピュータ６では、先ず、画像取得部４０がスキャナ装置８の読取画像Ｍを取得し（ステップＳ１）、この読取画像Ｍを対象物特定部４２が読取画像Ｍを物体認識学習済モデル４８に入力することで、読取画像Ｍに写っている各対象物Ｐの位置Ｑ、及び角度θ（姿勢）を取得する。これにより、各対象物Ｐの位置Ｑ、及び角度θが検出される（ステップＳ２）。次いで、ピックアップ対象情報出力部４４は、各対象物Ｐのいずれか１つをターゲットに選択し、ターゲットの対象物Ｐｔの位置Ｑｔ、及び角度θｔをロボット制御部３２に出力する（ステップＳ３）。ロボット制御部３２は、ターゲットの対象物Ｐｔの位置Ｑｔ、及び角度θｔに基づいて、当該対象物Ｐｔのピッキング動作のための制御信号Ｋを生成して、ロボットコントローラ４に出力する（ステップＳ４）。ロボットコントローラ４が当該制御信号Ｋにしたがってロボット２を駆動することで（ステップＳ５）、ターゲットの対象物Ｐｔがロボット２によってトレー１０から取り出され、目的の作業位置に所定の姿勢で配置される。
そして制御コンピュータ６は、かかるピッキング動作を順次繰り返し実行し、トレー１０の中の対象物Ｐを目的の作業位置に順次配置する。
【００３０】
ここで、読取画像Ｍは、スキャナ装置８の読取面２４の直下からトレー１０内を光学的に読み取って得られた画像であるので、読取面２４のＸＹ平面座標（図３）の値が、そのまま読取画像Ｍの各画素の位置を示している。また各対象物ＰのＺ軸方向（読取面２４に垂直な高さ方向）の位置は、読取面２４のＺ軸座標（図１）の値（例えばＺ＝０）に、トレー１０の底面１０Ａの厚み（固定値）を加えた値で求められる。各対象物Ｐが重なるなどして底面１０Ａから浮いていない場合には、各対象物ＰのＺ軸座標の値は固定値となる。
したがって、読取画像Ｍにおいて対象物Ｐが写っている画素の位置から、読取面２４を基準としたＸＹＺ３次元空間における対象物Ｐの座標値が簡単に特定される。これにより、ロボット２の位置制御に用いる座標空間を、読取面２４を基準としたＸＹＺ３次元空間と対応させることで、上記ステップＳ４において、ロボット制御部３２が制御信号Ｋを生成する際に、ロボット２に対し、簡単かつ正確に、対象物Ｐの位置を指示できる。
【００３１】
上述した実施形態によれば、次の効果を奏する。
【００３２】
本実施形態の部品ピッキングシステム１は、読取面２４に載置されたトレー１０の中を光学的に読み取り読取画像Ｍを出力するスキャナ装置８、を備え、対象物特定部４２は、読取画像Ｍに基づいて対象物Ｐの位置Ｑ、及び角度θ（姿勢）を特定する。
これにより、従前のように３Ｄカメラを用いる必要がないため、安価なピッキングシステムが得られる。
また、スキャナ装置８の読取面２４を基準とした３次元空間座標を用いて対象物Ｐの位置Ｑ、及び角度θを表せるので、この３次元空間座標の値を用いて、簡単かつ正確にロボット２に位置を指示できる。
【００３３】
本実施形態の部品ピッキングシステム１では、スキャナ装置８が光学的な読み取りをＣＣＤ方式により行う装置なので、対象物Ｐに厚みがある場合でも、ボケのない鮮明な読取画像Ｍが得られる。これにより、各対象物Ｐの位置Ｑ、及び角度θを正確に求めることができる。
【００３４】
本実施形態の部品ピッキングシステム１では、対象物特定部４２は、物体認識アルゴリズムを用いたディープラーニングによって機械学習された物体認識学習済モデル４８を備え、この物体認識学習済モデル４８が読取画像Ｍの入力に応じて、当該読取画像Ｍに写っている対象物Ｐの位置Ｑ、及び角度θ（姿勢）を出力する。
これにより、ランダムな姿勢で存在する対象物Ｐを読取画像Ｍに基づいて特定するための複雑なプログラムを準備せずとも、各対象物Ｐの位置Ｑ、及び角度θ（姿勢）を得ることができる。
【００３５】
本実施形態の部品ピッキングシステム１では、ディープラーニングに用いる物体認識アルゴリズムには、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ、またはＳＳＤが用いられているので、読取画像Ｍに写った対象物Ｐを正確、かつ高速に特定できる。
【００３６】
上述した実施形態は、あくまでも本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲において任意に変形、及び応用が可能である。
【００３７】
上述した実施形態において、読取画像Ｍに基づいて特定される対象物Ｐの数が少ない場合、すなわち、トレー１０の中の対象物Ｐの残存数と、対象物特定部４２によって特定された対象物Ｐの数との差が所定数を超えている場合、トレー１０の中の対象物Ｐを動かす装置を別途に設けてもよい。
対象物Ｐが動かされることで、例えば対象物Ｐ同士の重なりや、接触状態が解消され、各対象物Ｐが特定され易くなる。この場合において、読取面２４とトレー１０との位置ズレを防止するために、対象物Ｐを動かす装置は、例えばトレー１０の中をかき混ぜたり、圧縮空気を吹き付けるなどして、トレー１０を動かさずに対象物Ｐのみを動かす装置であることが好ましい。
【００３８】
また例えば、上述した実施形態において、この物体認識学習済モデル４８が、互いに重なった対象物Ｐが写った読取画像Ｍから各対象物Ｐの位置Ｑ、及び角度θ（姿勢）を出力するように学習されていてもよい。
これにより、対象物Ｐが重なっていても、各対象物Ｐの位置Ｑ、及び角度θ（姿勢）を得ることができる。
【００３９】
また例えば、上述した実施形態において、インターネットなどの電子通信回線を通じて制御コンピュータ６と通信可能に接続されたコンピュータ（例えばクラウドサーバ）に、対象物特定部４２の機能を実行させる構成であってもよい。
【符号の説明】
【００４０】
１  ピッキングシステム（ピッキングシステム）
２  ロボット
４  ロボットコントローラ
６  制御コンピュータ
８  スキャナ装置
１０  トレー（容器）
２４  読取面
２５  スキャナヘッド
３０  画像処理部
３２  ロボット制御部
４２  対象物特定部
４８  物体認識学習済モデル
Ｋ  制御信号
Ｍ  読取画像
Ｐ、Ｐｔ  対象物
Ｑ、Ｑｔ  位置
θ、θｔ  角度（姿勢）
【図１】
2020110851.tif 000003
【図２】
2020110851.tif 000004
【図３】
2020110851.tif 000005
【図４】
2020110851.tif 000006