(57)【要約】【課題】コンベヤにより搬送される複数のワークの重なりを正確に判定して、搬送される複数のワークに対して安定して作業を行うことができる物品搬送装置を提供する。【解決手段】この物品搬送装置１０は、ワークＷ１，Ｗ２を搬送するコンベヤ１１と、搬送されているワークＷ１，Ｗ２を撮影して３次元画像を取得する撮影手段４０と、撮影手段４０により取得された３次元画像に基づきワークＷ１，Ｗ２の３次元形状および姿勢を検出するワーク識別手段と、基準ワークの３次元形状と、他のワークと重なっていない状態における基準ワークの姿勢とを記憶する記憶手段８０と、記憶手段８０により記憶されている基準ワークの３次元形状および姿勢と、ワーク識別手段により検出されたワークＷ１，Ｗ２の３次元形状および姿勢とに基づいて、ワークＷ１，Ｗ２の重なりの有無を判定する重なり判定手段とを備える。【選択図】図１
2019111640.tif 000002
【特許請求の範囲】
【請求項１】
ワークを搬送するコンベヤと、
該コンベヤにより搬送されている前記ワークを撮影して３次元画像を取得する撮影手段と、
該撮影手段により取得された３次元画像に基づき前記ワークの３次元形状および姿勢を検出するワーク識別手段と、
基準ワークの３次元形状と、他のワークと重なっていない状態における前記基準ワークの姿勢とを記憶する記憶手段と、
該記憶手段により記憶されている前記基準ワークの３次元形状および姿勢と、前記ワーク識別手段により検出された前記ワークの３次元形状および姿勢とに基づいて、前記ワークの重なりの有無を判定する重なり判定手段とを備える物品搬送装置。
【請求項２】
前記コンベヤの搬送速度を取得するコンベヤ情報取得手段を備え、
前記ワーク識別手段が、前記コンベヤ情報取得手段により取得された搬送速度と、前記撮影手段により異なる時刻に取得された複数の３次元画像とを用いて、同一の前記ワークの３次元形状および姿勢を特定する請求項１に記載の物品搬送装置。
【請求項３】
前記ワークが他とは重ならずに前記コンベヤにより搬送されているときに、前記ワーク識別手段により特定された前記ワークの３次元形状および姿勢を、新たな前記基準ワークの３次元形状および姿勢として前記記憶手段に記憶させる基準ワーク設定手段を備える請求項２に記載の物品搬送装置。
【請求項４】
前記ワーク識別手段により検出された前記ワークの３次元形状の外側に所定の干渉領域を設定する干渉領域設定手段と、
前記撮影手段により取得された３次元画像において、該干渉領域設定手段により設定された前記干渉領域と他の前記ワークとの干渉の有無を判定する干渉判定手段とを備える請求項１から請求項３のいずれかに記載の物品搬送装置。
【請求項５】
前記干渉領域設定手段が、前記ワークの種類に応じて異なる前記干渉領域を設定する請求項４に記載の物品搬送装置。
【請求項６】
入力を受け付ける入力手段を備え、
前記干渉領域設定手段が、該入力手段が受け付けた入力に基づいて、前記ワークの前記干渉領域の形状および大きさの少なくとも一方を調整する請求項４または請求項５に記載の物品搬送装置。
【請求項７】
前記撮影手段により取得された３次元画像および前記干渉領域設定手段により設定された前記干渉領域を表示する画像表示手段を備える請求項４から請求項６のいずれかに記載の物品搬送装置。
【請求項８】
請求項１から請求項７のいずれかに記載の物品搬送装置と、
前記重なり判定手段により他の前記ワークとの重なりがないと判定された前記ワークに対して作業を行い、前記重なり判定手段により他の前記ワークとの重なりがあると判定された前記ワークに対して作業を行わないロボットとを備えるロボットシステム。
【請求項９】
コンベヤにより搬送されているワークを撮影して３次元画像を取得する撮影ステップと、
取得された３次元画像に基づき前記ワークの３次元形状および姿勢を検出するワーク識別ステップと、
該ワーク識別ステップにより検出された前記ワークの３次元形状および姿勢と、記憶されている基準ワークの３次元形状および姿勢とに基づいて、前記ワークと他のワークとの重なりの有無を判定する重なり判定ステップとを含む物品搬送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物品搬送装置、ロボットシステムおよび物品搬送方法に関する。
【背景技術】
【０００２】
従来、コンベヤ上にランダムに載置されコンベヤの作動により移動する複数のワークを撮影装置により撮影し、撮影装置により撮影された画像を用いてロボットによるワーク取出作業を行う物品搬送装置が知られている（例えば、特許文献１，２参照。）。特許文献１に記載された物品搬送装置は、コンベヤ上に重なり合わないように置かれた複数のワークの各重心における水平面上での平均値を算出し、算出した重心の平均値から一番遠い重心のワークを作業対象として識別している。特許文献２に記載された物品搬送装置は、カメラにより取得されたワークの２次元画像を用いて、他のワークと重なり合っていないワークを作業対象の候補として抽出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−５５９９５号公報
【特許文献２】特開２０１４−２３７１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された物品搬送装置では、コンベヤにより搬送される他のワークと重なり合わないワークへの作業を前提としているため、重なり合っているワークがコンベヤにより搬送されてくる状態ではワークへの作業を実施できない。また、特許文献２に記載された物品搬送装置では、ワークの２次元画像を用いてワークの重なりを判定しているため、コンベヤとワークとが同色の場合にワークの重なりを正しく判定できないおそれがある。この場合に、照明によるコントラストによってワークの重なりをある程度判定することもできるが、物品搬送装置が置かれる環境によっては、照明を設置できない場合もある。
【０００５】
本発明は、コンベヤにより搬送される複数のワークの重なりを正確に判定して、搬送される複数のワークに対して安定して作業を行うことができる物品搬送装置、ロボットシステムおよび物品搬送方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様は、ワークを搬送するコンベヤと、該コンベヤにより搬送されている前記ワークを撮影して３次元画像を取得する撮影手段と、該撮影手段により取得された３次元画像に基づき前記ワークの３次元形状および姿勢を検出するワーク識別手段と、基準ワークの３次元形状と、他のワークと重なっていない状態における前記基準ワークの姿勢とを記憶する記憶手段と、該記憶手段により記憶されている前記基準ワークの３次元形状および姿勢と、前記ワーク識別手段により検出された前記ワークの３次元形状および姿勢とに基づいて、前記ワークの重なりの有無を判定する重なり判定手段とを備える物品搬送装置を提供する。
【０００７】
本態様によれば、コンベヤにより搬送されているワークが撮影手段により撮影され、３次元画像が取得される。撮影手段により取得された３次元画像に含まれるワークの３次元形状および姿勢がワーク識別手段により検出される。ワーク識別手段により検出されたワークの３次元形状と、記憶手段に記憶されている基準ワークの３次元形状とが比較されて、検出されたワークが記憶手段に予め記憶されている基準ワークであるか否かが判定される。検出されたワークが記憶手段に記憶されている基準ワークである場合に、検出されたワークの姿勢と、記憶手段に記憶されている基準ワークの姿勢とが比較される。これにより、検出されたワークが、コンベヤ上において他のワークに重なっているか否かが判定される。ワークの重なりを判定することにより、他のワークに重なっているワークに対して作業を行わないことを選択でき、他のワークの位置および姿勢を変化させないワークのみに対して作業を行うことができる。また、ワークの３次元形状および姿勢に基づいてワークの重なりの有無を判定するので、コンベヤの色とワークの色とが同色であっても、撮影時のコントラストを変化させるための照明等がなくても、ワークの重なりの有無を判定できる。
【０００８】
上記態様において、前記コンベヤの搬送速度を取得するコンベヤ情報取得手段を備え、前記ワーク識別手段が、前記コンベヤ情報取得手段により取得された搬送速度と、前記撮影手段により異なる時刻に取得された複数の３次元画像とを用いて、同一の前記ワークの３次元形状および姿勢を特定してもよい。
コンベヤによってワークを一方向に移動させながら、異なる時刻に撮影手段によりワークを撮影することにより、同一のワークに対して異なる視点から３次元画像を取得することができる。一の視点から取得された３次元画像には含まれていないワークの３次元形状が他の視点から取得された３次元画像に含まれている場合がある。そして、コンベヤ情報取得手段により取得されたコンベヤの搬送速度を用いて、取得された３次元画像を相互に対応づけることができる。これにより、ワークの３次元形状および姿勢をより正確に特定することができる。
【０００９】
上記態様において、前記ワークが他とは重ならずに前記コンベヤにより搬送されているときに、前記ワーク識別手段により特定された前記ワークの３次元形状および姿勢を、新たな前記基準ワークの３次元形状および姿勢として前記記憶手段に記憶させる基準ワーク設定手段を備えていてもよい。
このようにすることで、記憶手段に記憶されていない新たなワークでも、他のワークと重なっていない状態でコンベヤにより搬送されて３次元形状および姿勢を特定することができる場合には、新たな基準ワークの３次元形状および姿勢として記憶手段に記憶することができる。これにより、その後のワークの重なり判定を行うことができる。
【００１０】
上記態様において、前記ワーク識別手段により検出された前記ワークの３次元形状の外側に所定の干渉領域を設定する干渉領域設定手段と、前記撮影手段により取得された３次元画像において、前記干渉領域設定手段により設定された前記干渉領域と他の前記ワークとの干渉の有無を判定する干渉判定手段とを備えていてもよい。
このようにすることで、ワーク識別手段によりワークの３次元形状が検出されると、干渉領域設定手段によりワークの３次元形状の外側に所定の干渉領域が設定される。撮影手段により取得された３次元画像において、干渉領域と他のワークとの干渉が発生しているか否かが判定される。干渉領域に干渉している他のワークが存在する場合には、ワーク同士が重なっていなくても、例えば、ワークを取り扱うロボットハンドと他のワークとが接触する可能性がある。したがって、ワークの周囲の干渉領域と他のワークとの干渉の有無を判定することにより、他のワークの位置および姿勢を変化させずに済む。
【００１１】
上記態様において、前記干渉領域設定手段が、前記ワークの種類に応じて異なる前記干渉領域を設定してもよい。
このようにすることで、ワークの形状によっては、例えば、ロボットハンドがワークを把持する領域が異なる場合およびロボットハンドの形状自体が異なる場合があるため、全ての種類のワークに共通の干渉領域が設定される場合と比較して、ワークに対して行われる作業を必要以上に制限せずに済む。
【００１２】
上記態様において、入力を受け付ける入力手段を備え、前記干渉領域設定手段が、該入力手段が受け付けた入力に基づいて、前記ワークの前記干渉領域の形状および大きさの少なくとも一方を調整してもよい。
このようにすることで、入力手段が入力を受け付けることで、ワークに設定される干渉領域の形状および大きさを変化させることができ、例えば、コンベヤにより搬送されるワークに用いられるロボットハンドなどに応じて自由に干渉領域を調整できる。
【００１３】
上記態様において、前記撮影手段により取得された３次元画像および前記干渉領域設定手段により設定された前記干渉領域を表示する画像表示手段を備えていてもよい。
このようにすることで、物品搬送装置を使用するユーザは、画像表示手段に表示されるワークの３次元形状および干渉領域を目視により確認しながら、自由に干渉領域を変更できる。
【００１４】
また、本発明の他の態様は、上記の物品搬送装置と、前記重なり判定手段により他の前記ワークとの重なりがないと判定された前記ワークに対して作業を行い、前記重なり判定手段により他の前記ワークとの重なりがあると判定された前記ワークに対して作業を行わないロボットとを備えるロボットシステムを提供する。
本態様によれば、物品搬送装置のコンベヤにより搬送されているワークの内、他のワークとの重なりが無いワークに対してのみロボットが作業を行うため、重なっている他のワークにロボットが接触して、他のワークの位置および姿勢を変化させてしまうことを防止することができる。
【００１５】
また、本発明の他の態様は、コンベヤにより搬送されているワークを撮影して３次元画像を取得する撮影ステップと、取得された３次元画像に基づき前記ワークの３次元形状および姿勢を検出するワーク識別ステップと、該ワーク識別ステップにより検出された前記ワークの３次元形状および姿勢と、記憶されている基準ワークの３次元形状および姿勢とに基づいて、前記ワークと他のワークとの重なりの有無を判定する重なり判定ステップとを含む物品搬送方法を提供する。
【発明の効果】
【００１６】
本発明によれば、コンベヤにより搬送される複数のワークの重なりを正確に判定して、搬送される複数のワークに対して安定して作業を行うことができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る物品搬送装置を備えるロボットシステムの概略斜視図である。
【図２】制御部および制御部の周辺機器のブロック図である。
【図３】コンベヤにより搬送されている複数のワークを示す概略図である。
【図４】ワークおよびワークに設定された干渉領域を示す斜視図である。
【図５】ワークに設定された干渉領域および複数のワークの位置関係を示す斜視図である。
【図６】基準ワーク設定処理のフローチャートある。
【図７】作業対象ワーク決定処理のフローチャートである。
【図８】コンベヤにより搬送されている２つのワークが写っている３次元画像を時系列に並べた概略図である。
【図９】重なっている２つのワークの位置関係を示す斜視図である。
【図１０】ワークに設定された干渉領域に干渉しているワークを示す斜視図である。
【発明を実施するための形態】
【００１８】
本発明の実施形態に係る物品搬送装置１０を備えるロボットシステム１００について、図面を参照しながら以下に説明する。
本実施形態に係るロボットシステム１００は、図１に示されるように、複数のワークを搬送する物品搬送装置１０と、物品搬送装置１０により搬送されるワークに対して各種作業を行うロボット１とを備えている。
【００１９】
ロボット１は、例えば、６個の軸Ｊ１〜Ｊ６を有する垂直多関節型ロボットである。ロボット１は、図１に示されるように、床面に固定されたベース２と、鉛直な第１軸Ｊ１回りにベース２に対して回転可能に支持された旋回胴３と、水平な第２軸Ｊ２回りに旋回胴３に対して回転可能に支持された第１アーム４と、水平な第３軸Ｊ３回りに第１アーム４に対して回転可能に支持された第２アーム５と、該第２アーム５に対して第３軸Ｊ３と捻れの位置関係にある第４軸Ｊ４回りに回転可能に支持された第１手首要素６と、第４軸Ｊ４に直交する第５軸Ｊ５回りに第１手首要素６に対して回転可能に支持された第２手首要素７と、第５軸Ｊ５に直交する第６軸Ｊ６回りに第２手首要素７に対して回転可能に支持された第３手首要素８とを備えている。
【００２０】
６個の軸Ｊ１〜Ｊ６のそれぞれは、回転駆動するためのモータＭ１，Ｍ２，Ｍ３，Ｍ４（Ｊ５，Ｊ６についてはモータは図示されていない。）と、モータの回転角度を検出する図示しないエンコーダとを備えている。制御部６０から送信される制御信号により、各軸Ｊ１〜Ｊ６のエンコーダから検出されるモータの回転角度を用いて、モータを回転駆動させるフィードバック制御が行われている。
【００２１】
物品搬送装置１０は、図１に示されるように、複数のワークＷ１，Ｗ２を搬送するコンベヤ１１と、コンベヤ１１の搬送速度を検出するエンコーダ（コンベヤ情報取得手段）１２と、コンベヤ１１上における所定の範囲の３次元画像を取得する３次元カメラ（撮影手段）４０と、ユーザからの入力を受け付ける操作部（入力手段）５０と、受け付けた入力および各種制御に応じて画像を表示するモニタ（画像表示手段）７０と、操作部５０が受け付けた入力およびロボットシステム１００全体の制御を行う制御部６０と、物品搬送装置１０により搬送されるワークに関連するデータを記憶する記憶部（記憶手段）８０とを備えている。
【００２２】
コンベヤ１１は、図示しないモータの回転により所定の速度で図１に示される矢印の方向に移動している。エンコーダ１２により取得されたコンベヤ１１の搬送速度についての情報は、制御部６０に送信される。制御部６０は、エンコーダ１２により取得された搬送速度を用いて、コンベヤ１１の搬送速度に対してフィードバック制御を行っている。
３次元カメラ４０は、コンベヤ１１上の所定の範囲を撮影するため、コンベヤ１１により搬送されているワークＷ１，Ｗ２の３次元画像を取得するようになっている。３次元カメラ４０により取得された３次元画像の画像データは、制御部６０に送信される。
【００２３】
制御部６０は、図示しないＣＰＵと、ＲＯＭと、ＲＡＭと、メモリとを有している。制御部６０は、記憶部８０に格納されたプログラムを読み込んで、ＲＡＭに一時的に読出および格納を行うことで、各種プログラムに対応する機能を実行できる。
【００２４】
図２には、制御部６０および制御部６０の制御に関連する各部のブロック図が示されている。図２に示されるように、制御部６０は、３次元カメラ４０により取得された３次元画像に各種処理を行う画像処理部６１と、コンベヤ１１により搬送されているワークを検出するワーク特定部（ワーク識別手段、基準ワーク設定手段）６２と、検出されたワークが他のワークと重なっているか否かを判定する重なり判定部（重なり判定手段）６３と、検出されたワークの周囲における所定の範囲を干渉領域として設定する干渉領域設定部（干渉領域設定手段）６５と、ワークに設定された干渉領域に他のワークが干渉しているか否かを判定する干渉判定部（干渉判定手段）６４と、ロボット１が行う作業を制御する作業制御部６９とを備えている。
【００２５】
画像処理部６１は、３次元カメラ４０から受信した画像データに周知の画像処理、例えば二値化処理を行い、これにより画像中で各ワークの輪郭等を際立たせる。
ワーク特定部６２は、画像処理部６１により画像処理が行われた３次元画像を用いて、コンベヤ１１により搬送されているワークの３次元形状および姿勢を特定するようになっている。特定されたワークの３次元形状および姿勢は、記憶部８０に記憶される。
【００２６】
ワーク特定部６２は、特定したワークの３次元形状および姿勢と、記憶部８０に予め記憶されている複数の基準ワークの３次元形状および基準位置姿勢とを比較することで、特定したワークがいずれの基準ワークと同じワークであるか否かを判定する。基準ワークとは、ロボット１の作業対象の候補となるワークであり、予め記憶部８０に３次元モデルのＣＡＤ（computer-aided design）データと、基準となる１つの姿勢である基準位置姿勢とが対応付けられて記憶されている。基準ワークの基準位置姿勢は、基準ワークが他のワークに重ならずにコンベヤ１１により搬送されている状態の姿勢である。
【００２７】
また、ワーク特定部６２は、まだ基準ワークとして記憶部８０に記憶されていないワークを、新たな基準ワークとして設定して記憶部８０に記憶できるようになっている。新たな基準ワークを設定する際には、まず、基準ワークとして設定されるワークが他のワークと重なり合っていない状態でコンベヤ１１により搬送されて、３次元カメラ４０より当該ワークの３次元画像が取得される。ワーク特定部６２は、取得された３次元画像に基づき、特定したワークの３次元形状および姿勢を、新たに設定する基準ワークの３次元形状および基準位置姿勢として設定するようになっている。
【００２８】
重なり判定部６３は、コンベヤ１１により複数のワークが搬送されている場合に、あるワークと別のワークとが重なり合っているか否かを判定する（以下では、「重なり判定を行う」ともいう）。重なり判定では、対象となるワークがワーク特定部６２によりいずれの基準ワークと同一のワークであるか否かが特定された後に、重なり判定部６３が、ワーク特定部６２により特定されたワークの姿勢と、基準ワークの基準位置姿勢と比較することで、ワークの重なりを判定する。具体的には、重なり判定部６３は、特定されたワークの姿勢を基準位置姿勢と比較して、下記２つのいずれの条件も満たさない場合にワークの重なりがないと判定する。一方で下記２つのいずれかの条件を満たす場合には、特定されたワークは、他のワークと重なっていると判定される。
１  ワークにおける高さ方向（Ｚ方向）が異なる。
２  コンベヤ１１の平面に平行なｘ軸回りまたはｙ軸回りに回転している（Ｒｏｌｌ角またはＰｉｔｃｈ角あり）。
なお、本実施形態では、ワークの高さ方向は、特定されたワークの重心の高さにより決定される。
【００２９】
図３には、コンベヤ１１により搬送されていて図１のワークＷ１と同一形状を有するワークＷＫ１ａ〜ＷＫ１ｇと、ワークＷ１とは異なる形状で互いに同一形状を有するワークＷＫ３ａ〜ＷＫ３ｄとが示されている。図３に示される例では、上記２つの条件に照らし合わせて、左から順にワークＷＫ１ｂ，ＷＫ３ａ，ＷＫ１ｄ，ＷＫ１ｆが重なっているワークとして判定される。具体的には、ワークＷＫ１ｂ，ＷＫ１ｄ，ＷＫ１ｆは、コンベヤ１１の搬送面に対して傾いているため、上記の基準位置姿勢と異なる２つの条件を満たしている。ワークＷＫ３ａは、コンベヤ１１の搬送面に対して傾いていないが、他のワークＷＫ１ｃに乗っているために高さ方向が異なり、上記の条件１を満たしている。
【００３０】
干渉領域設定部６５は、３次元画像上において、ワーク特定部６２により特定されたワークの３次元形状の外形周りに、所定の干渉領域を設定するようになっている。干渉領域は、例えば、ワークがコンベヤ１１により搬送されているときに、ロボット１のハンド等によって把持される空間に相当する領域として設定される。本実施形態では、記憶部８０に記憶されている各基準ワークに、各干渉領域が対応付けられて記憶されている。ワーク特定部６２により新たな基準ワークが設定される場合には、操作部５０がユーザの操作を受け付けることで、新たな基準ワークに干渉領域を設定できるようになっている。干渉領域設定部６５は、コンベヤ１１により搬送されているワークが基準ワークと同一のワークであると特定されると、当該基準ワークに設定されている干渉領域を特定されたワークに設定するようになっている。干渉領域としては、例えば、図３に示されるワークＷＫ１ａに設定された干渉領域ＩＲ１ａおよびワークＷＫ３ｃに設定された干渉領域ＩＲ３ａと、図４に示されるワークＷ４の干渉領域ＩＲ４などが一例として挙げられる。
【００３１】
干渉領域設定部６５は、基準ワークおよび基準ワークに設定されている干渉領域をモニタ７０に表示させることができる。干渉領域設定部６５は、操作部５０が受け付けた操作に応じて、設定されている干渉領域の大きさおよびワークに干渉領域が設定される位置を変更して、変更した干渉領域をワークに対応付けてモニタ７０に表示させることができる。
【００３２】
干渉判定部６４は、コンベヤ１１により搬送されているワークについて、ワーク特定部６２により特定されたワークの３次元形状および姿勢と、干渉領域設定部６５により基準ワークに設定された干渉領域とを用いて、特定されたワークに設定された干渉領域に他のワークが干渉しているか否かを判定する（以下では、「干渉判定を行う」ともいう）。干渉判定部６４は、干渉領域に他のワークが存在している場合に干渉があると判定する。また、図５に示されるように、ワークＷ２ｂに設定された干渉領域ＩＲ２ｂの高さ方向上方に、他のワークとしてワークＷ４の上に乗っているワークＷ２ａが存在している場合にも、干渉判定部６４は、干渉があると判定するようになっている。
【００３３】
作業制御部６９は、操作部５０が受け付けた操作に応じて、ロボット１を制御する。具体的には、作業制御部６９は、コンベヤ１１により搬送されているワークに対して各種作業を行うために、ロボット１の各軸Ｊ１〜Ｊ６のモータの回転を制御する。また、作業制御部６９は、エンコーダ１２の検出値を用いて、コンベヤ１１の搬送速度を決めるコンベヤ用モータ１３に対してフィードバック制御を行う。
【００３４】
以下では、コンベヤ１１により搬送されているワークを新たな基準ワークとして設定する基準ワーク設定処理と、重なり判定部６３により行われる重なり判定および干渉判定部６４により行われる干渉判定を含む作業対象ワーク決定処理とについて、各フローチャートを用いて説明する。
【００３５】
図６に示される基準ワーク設定処理では、初めに、新たに基準ワークとして設定されるワークが、コンベヤ１１により搬送される（ステップＳ１）。コンベヤ１１により搬送されているワークが、３次元カメラ４０により撮影される(ステップＳ２)。
【００３６】
ワーク特定部６２は、３次元カメラにより取得されたワークの３次元画像を用いて、ワークの３次元形状および姿勢を特定し、特定した３次元形状を基準ワークの３次元形状として設定し、特定した姿勢を基準ワークの基準位置姿勢として設定する（ステップＳ３）。次に、干渉領域設定部６５は、新たに設定された基準ワークに対して、干渉領域を設定すると（ステップＳ４）、基準ワーク設定処理は終了する。本実施形態では、基準ワークがモニタ７０に表示され、操作部５０が受け付けた操作により干渉領域が設定される。干渉領域が設定されると、干渉領域設定部６５は、新たに設定した基準ワークと、当該基準ワークに対して設定した干渉領域とを対応付けて記憶部８０に記憶させる。
【００３７】
図７は、ワークに対して重なり判定および干渉判定を行って、ロボット１が実際に作業を行うワークである作業対象ワークを決定する作業対象ワーク決定処理のフローチャートである。作業対象ワーク決定処理では、初めに、３次元カメラ４０によるコンベヤ１１上の所定の範囲の撮影を開始する撮影ステップを行う（ステップＳ１１）。３次元カメラ４０は、動画としてコンベヤ１１における所定の範囲を撮影する。
【００３８】
ワーク特定部６２は、コンベヤ１１が予め設定された一定距離を移動したか否かを判定する（ステップＳ１２）。ワーク特定部６２は、エンコーダ１２によりコンベヤ１１の移動距離を検出する。なお、コンベヤ１１の移動距離は、コンベヤ１１の搬送速度と経過時間とを用いて算出されてもよい。ワーク特定部６２は、コンベヤ１１が一定距離を移動していないと判定した場合には（ステップＳ１２：ＮＯ）、引き続き、コンベヤ１１が一定距離を移動するのを待機する。
【００３９】
ワーク特定部６２は、コンベヤ１１が一定距離を移動したと判定した場合には（ステップＳ１２：ＹＥＳ）、コンベヤ１１が一定距離を移動した時点で３次元カメラ４０により取得される３次元画像から、ワークを検出する（ステップＳ１３）。３次元画像の中からワークが検出されない場合には（ステップＳ１３：ＮＯ）、ステップＳ１２以降の処理が実行される。ワーク特定部６２は、３次元画像の中からワークを検出した場合には（ステップＳ１３：ＹＥＳ）、検出したワークをトラッキングする（ステップＳ１４）。
なお、本実施形態の物品搬送装置１０では、コンベヤ１１により搬送される複数種類のワークは、作業対象ワークとなり得るワークであり、かつ、記憶部８０に記憶されている基準ワークと同一のワークである。
【００４０】
次に、ワーク特定部６２は、コンベヤ１１が一定距離を移動した後に３次元カメラ４０により取得される次の３次元画像の中から、トラッキングしているワークを検出できるか否かを判定する（ステップＳ１５）。この処理では、換言すると、トラッキングしているワークがコンベヤ１１により搬送されることで、３次元カメラ４０の撮影範囲外に移動してしまったか否かが判定されている。ワーク特定部６２は、３次元画像の中にトラッキングしているワークが存在する場合には（ステップＳ１５：ＹＥＳ）、引き続き、当該ワークをトラッキングする（ステップＳ１４）。
【００４１】
ステップＳ１５の処理において、３次元カメラ４０により取得された３次元画像の中から、トラッキングしていたワークが検出されなくなった場合には（ステップＳ１５：ＮＯ）、ワーク特定部６２は、トラッキングしていたワークが写っている複数の３次元画像を用いて、トラッキングしていたワークの３次元形状および姿勢を特定し、いずれの基準ワークと同一のワークであるか否かを特定するワーク識別ステップを行う（ステップＳ１６）。ワーク特定部６２は、トラッキングしていたワークが写っている複数の３次元画像におけるワークの各画像を対応付けることで、ワークの３次元形状および姿勢を特定できる。
【００４２】
図８には、コンベヤ１１により搬送されている２つのワークＷ２，Ｗ４が写っている５つの３次元画像ＩＭ１〜ＩＭ５が示されている。なお、図８の３次元画像ＩＭ１〜ＩＭ５におけるコンベヤの移動方向は、ワークＷ２からワークＷ４へと向かう方向である。初めに取得された３次元画像ＩＭ１では、図８（ａ）に示されるように、ワークＷ４の進行方向側の側面のみが検出される。２番目に取得された３次元画像ＩＭ２および３番目に取得された３次元画像ＩＭ３では、図８（ｂ），（ｃ）に示されるように、２つのワークＷ２，Ｗ４の各上面が検出される。４番目に取得された３次元画像ＩＭ４では、図８（ｄ）に示されるように、ワークＷ４の進行方向逆側の側面が新たに検出される。５番目に取得された３次元画像ＩＭ５では、図８（ｅ）に示されるように、ワークＷ２の進行方向逆側の側面が新たに検出される。以上のように、図８（ａ）〜（ｅ）に示される例では、２種類のワークＷ２，Ｗ４がコンベヤ１１により搬送されている場合に、ワーク特定部６２が、５つの３次元画像から検出された各ワークＷ２，Ｗ４における上面および側面の３次元画像を用いて、ワークＷ２，Ｗ４の３次元形状および姿勢を特定する。
【００４３】
図７に示されるステップＳ１６の処理が行われると、重なり判定部６３は、３次元カメラ４０により取得された３次元画像を用いて、３次元形状および姿勢が特定されたワーク（以降、「形状特定ワーク」ともいう）と他のワークとの重なりを、ステップＳ１８，１９の２つの処理を行うことで判定する。重なり判定部６３は、まず、形状特定ワークの上面が隠れているか否かを判定する（ステップＳ１７）。図９に示されるように重なっている２つのワークＷ２ａ，Ｗ２ｂは、同一の３次元形状を有するワークである。本実施形態では、コンベヤ１１により搬送されるワークの種類が限定されているため、ワークＷ２ａ，Ｗ２ｂは、上面および側面の全面の画像が取得されなくても、ワーク特定部６２により形状特定ワークとして特定されている。図９に示される例では、ワークＷ２ａの上面の一部にワークＷ２ｂが重なっているため、３次元カメラ４０により当該上面を撮影できない。これにより、ワークＷ２ａは、上面が隠れていると判定される。
【００４４】
ステップＳ１７の処理において、形状特定ワークの上面が隠れていると判定されると（ステップＳ１７：ＹＥＳ）、後述のステップＳ２１の処理が実行される。形状特定ワークの上面が隠れていない、すなわち、形状特定ワークの上面全面の画像が取得されていると判定された場合には（ステップＳ１７：ＮＯ）、次に、重なり判定部６３は、形状特定ワークの姿勢と基準ワークの基準位置姿勢とを比較することで、形状特定ワークと他のワークとの重なりの有無を判定する重なり判定ステップ（ステップＳ１８）を実行する。形状特定ワークと同一の形状を有する基準ワークの基準位置姿勢における高さ方向の相違と、基準ワークにおけるｘ軸回りまたはｙ軸回りの回転との２つの条件を、形状特定ワークの姿勢と比較することで、重なり判定部６３は、形状特定ワークと他のワークとの重なりの有無を判定する。
【００４５】
図９に示されるように、形状特定ワークであるワークＷ２ｂの姿勢と、ワークＷ２ｂと同一形状の基準ワークの基準位置姿勢とを比較すると、ワークＷ２ｂの重心は、ワークＷ２ｂがワークＷ２ａに重なっていない姿勢における重心よりも高く、ワークＷ２ｂの姿勢は、ｘ軸回りとｙ軸回りとの少なくとも一方の回転角度が異なる。そのため、ワークＷ２ｂは、他のワークであるワークＷ２ａに重なっていると判定される。
【００４６】
図７に示されるステップＳ１８の処理において、形状特定ワークの姿勢が基準位置姿勢と異なると判定された場合には（ステップＳ１８：ＮＯ）、後述のステップＳ２１の処理が実行される。一方で、形状特定ワークの姿勢が基準位置姿勢と同じであると判定された場合には（ステップＳ１８：ＹＥＳ）、干渉判定部６４が、形状特定ワークに設定された干渉領域に他のワークが干渉しているか否かを判定する（ステップＳ１９）。形状特定ワークに設定される干渉領域は、形状特定ワークと同一の３次元形状を有する基準ワークに予め設定されている干渉領域である。
【００４７】
形状特定ワークに設定された干渉領域に他のワークが干渉していないと判定された場合には（ステップＳ１９：ＮＯ）、形状特定ワークをロボット１が作業を行う作業対象ワークとして決定する（ステップＳ２０）。形状特定ワークに設定された干渉領域に他のワークが干渉していると判定された場合には（ステップＳ１９：ＹＥＳ）、形状特定ワークをロボット１による作業を行わない非作業対象ワークとして決定する（ステップＳ２１）。
【００４８】
図１０に示されている２つのワークＷ２ａ，Ｗ２ｂは、同一の３次元形状を有するワークであり、同一の領域である干渉領域ＩＲ２ａ，ＩＲ２ｂがそれぞれに設定されている。図１０に示されるように、ワークＷ２ａに設定された干渉領域ＩＲ２ａには、他のワークであるワークＷ２ｂが干渉しているため、ワークＷ２ａは、非作業対象ワークとして決定される。一方で、ワークＷ２ｂの干渉領域ＩＲ２ｂには、他のワークが干渉していないため、ワークＷ２ｂは、作業対象ワークとして決定される。
【００４９】
図７に示されるステップＳ２０，２１の処理が実行されると、作業対象ワーク決定処理を終了する否かが判定される（ステップＳ２２）。例えば、操作部５０が受け付けた操作に応じて、作業対象ワーク決定処理が引き続き行われる場合には（ステップＳ２２：ＮＯ）、ステップＳ１２以降の処理が行われ、作業対象ワーク決定処理が終了する場合には（ステップＳ２２：ＹＥＳ）、当該処理が終了する。
【００５０】
このように構成された本実施形態に係る物品搬送装置１０では、コンベヤ１１により搬送されているワークの３次元画像が３次元カメラ４０により取得される。取得された３次元画像から検出されたワークの３次元形状および姿勢と、記憶部８０に記憶されている基準ワークの３次元形状とが比較されて、検出されたワークが、基準ワークと同一の３次元形状を有するワークであるか否かが判定される。検出されたワークが基準ワークと同一の３次元形状を有するワークである場合に、検出されたワークに重なり判定が行われる。重なり判定により、検出されたワークに他のワークが重なっている場合には、検出されたワークにロボット１による作業が行われない。
【００５１】
検出されたワークに他のワークが重なっている状態で、検出されたワークに対してロボット１による作業が行われると、他のワークの位置および姿勢が変化してしまう。そのため、他のワークが重なっているワークをロボット１の作業対象から外すことで、他のワークの損傷および他のワークにおける位置および姿勢変化に基づく影響を事前になくし、ワークに対して安定して作業を行うことができる。また、本実施形態の物品搬送装置１０では、コンベヤ１１により搬送されているワークの３次元画像を３次元カメラにより取得することで、ワークの３次元形状および姿勢を特定している。これにより、コンベヤ１１の色とワークの色とが同色であっても、ワークを撮影する際にコントラストを変化させるための照明等がなくても、ワークの重なりを正確に判定できる。
【００５２】
また、本実施形態に係る物品搬送装置１０では、干渉領域設定部６５によりワークの周囲に干渉領域が設定され、コンベヤ１１により搬送されているワークの干渉領域に他のワークの干渉の有無が判定される。３次元画像の中から検出されたワークに設定された干渉領域に他のワークが干渉していない場合、かつ、検出されたワークと他のワークとの重なりがない場合には、検出されたワークにロボット１による作業が行われる。一方で、検出されたワークの干渉領域に他のワークが干渉している場合には、検出されたワークにロボットによる作業が行われない。検出されたワークに他のワークが直接干渉していなくても、ロボット１によるハンド等を用いた作業では、ハンド等が他のワークに接触してしまうおそれがある。そのため、ロボット１による作業対象のワークの干渉領域に他のワークが干渉している場合に、当該ワークを作業対象から外すことで、他のワークの損傷および他のワークにおける位置および姿勢変化における影響を事前になくすことができる。
【００５３】
さらに、本実施形態では、検出されたワークに設定された干渉領域に他のワークが干渉していなくても、干渉領域の高さ方向上方に他のワークが存在する場合にも、検出されたワークに干渉があると判定される。これにより、実際にハンド等がワークを把持する部分だけでなく、ハンド等がワークを把持するために移動する領域も考慮されているため、ハンド等が他のワークに接触してしまうおそれをより低減できる。
【００５４】
上記実施形態では、物品搬送装置１０および物品搬送装置１０を備えるロボットシステム１００の一例について説明したが、物品搬送装置１０およびロボットシステム１００については、種々変形可能である。例えば、物品搬送装置１０がモニタ７０および操作部５０を備えていなくもよいし、ロボットシステム１００が備えるロボット１は、垂直多関節型ロボット以外のロボット、例えば、水平多関節型ロボットなどのロボットであってもよい。制御部６０が、コンベヤ１１と一体化された装置として構成されてもよい。コンベヤ１１の移動量および搬送速度は、エンコーダ１２が用いられることで検出されたが、例えば、３次元カメラ４０により取得される３次元画像または他のカメラにより取得された画像が用いられることで検出されてもよい。また、ワーク特定部６２は、基準ワーク設定処理を行わなくてもよいし、作業対象ワーク決定処理における重なり判定を行って干渉判定を行わなくてもよい。
【００５５】
上記実施形態では、コンベヤ１１に搬送されるワークは、予め記憶部８０に記憶されている基準ワークと同一のワークであり、かつ、作業対象ワークになり得るワークであったが、ロボット１による作業対象ではないワークであってもよいし、記憶部８０に３次元形状および姿勢が記憶されていない基準ワークとは異なるワークであってもよい。
【００５６】
上記実施形態では、図６に示される基準ワーク設定処理において、ワークに対して１回の基準ワーク設定処理が行われることで、基準ワークとして３次元形状および基準位置姿勢が設定されたが、コンベヤ１１により搬送されるワークの姿勢を変更して複数回の基準ワーク設定処理が行われてもよい。例えば、複雑な形状を有するワークに対して、複数回の基準ワーク設定処理が行われることでより正確なワークの３次元形状が設定される。また、複数回の基準ワーク設定処理を行う場合に、例えば、ユーザが操作部５０を操作することで、得られた複数の基準位置姿勢から１つの基準位置姿勢を選択してもよい。
【００５７】
上記実施形態では、図８に示されるように、コンベヤ１１により搬送されているワークに対して、異なる視点からの複数の３次元画像が取得されることでワークの３次元形状および姿勢が特定された。他の形態では、例えば、コンベヤ１１により搬送される複数種類のワークの３次元形状が大きく異なる場合には、１つの３次元画像が取得されることでワーク特定部６２によりワークの３次元形状および姿勢を特定することも可能である。
【００５８】
上記実施形態では、検出されたワークの姿勢と基準位置姿勢とが比較される場合に、ワークにおける高さ方向は、ワークの重心によって判定されたが、例えば、特定の頂点または特定の面における重心などの他の基準によって判定されてもよい。
また、干渉判定では、検出されたワークの干渉領域の上方に位置する他のワークも考慮されたが、コンベヤ１１に対するロボット１の位置およびロボット１のハンドの形状等によっては、干渉領域の上方にさらに加えた領域または上方とは異なる領域が、干渉判定により考慮されてもよい。
【００５９】
また、制御部６０は、エンコーダ１２により取得されたコンベヤ１１の搬送速度をコンベヤ情報として取得していたが、コンベヤ情報として、コンベヤ１１の位置情報、コンベヤ１１に対するロボット１の位置情報、およびコンベヤ１１に対する３次元カメラ４０の位置情報を取得してもよい。
【符号の説明】
【００６０】
１  ロボット
１０  物品搬送装置
１１  コンベヤ
１２  エンコーダ（コンベヤ情報取得手段）
４０  ３次元カメラ（撮影手段）
５０  操作部（入力手段）
６２  ワーク特定部（ワーク識別手段、基準ワーク設定手段）
６３  重なり判定部（重なり判定手段）
６４  干渉判定部（干渉判定手段）
６５  干渉領域設定部（干渉領域設定手段）
７０  モニタ（画像表示手段）
８０  記憶部（記憶手段）
１００  ロボットシステム
ＩＭ１〜ＩＭ５  ３次元画像
ＩＲ１ａ，ＩＲ２ａ，ＩＲ２ｂ，ＩＲ３ａ，ＩＲ４  干渉領域
Ｗ１，Ｗ２，Ｗ２ａ，Ｗ２ｂ，Ｗ４，ＷＫ３ａ〜ＷＫ３ｄ，ＷＫ１ａ〜ＷＫ１ｇ  ワーク
Ｓ１１  撮影ステップ
Ｓ１６  ワーク識別ステップ
Ｓ１８  重なり判定ステップ
【図１】
2019111640.tif 000003
【図２】
2019111640.tif 000004
【図３】
2019111640.tif 000005
【図４】
2019111640.tif 000006
【図５】
2019111640.tif 000007
【図６】
2019111640.tif 000008
【図７】
2019111640.tif 000009
【図８】
2019111640.tif 000010
【図９】
2019111640.tif 000011
【図１０】
2019111640.tif 000012