(57)【特許請求の範囲】
【請求項１】
袋状ワークの上面で反射したスリット光の投光ラインを撮影したときの撮影画像の濃淡画像データを出力する撮像手段と、
前記濃淡画像データにおける濃度を基にして投光ラインを抽出し、該投光ラインの３次元位置をスリット点列として求めるワーク形状計測手段と、
前記スリット点列の各スリット点間の距離を基にして投光ラインの途切れ部分を抽出する途切れ部分抽出手段と、
前記途切れ部分と前記袋状ワークとの位置関係を示す特徴量を全途切れ部分について求める特徴量計算手段と、
前記特徴量を基にして前記途切れ部分が袋状ワーク内に存在するか否かを判定し、袋状ワーク内に存在しない途切れ部分をワーク境界特徴点とするワーク境界特徴点判定手段と、
前記ワーク境界特徴点を基にして袋状ワークの姿勢を求めるワーク姿勢検出手段と
を有することを特徴とする袋状ワーク姿勢検出装置。
【請求項２】
前記特徴量計算手段は、
前記途切れ部分の前後に存在する複数のスリット点列を直線フィッティングして得た２本の直線を交差させたときの角度差と、途切れ部分の高さ距離と、途切れ部分の水平距離とを特徴量として求めることを特徴とする請求項１記載の袋状ワーク姿勢検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パレット等の荷台上に載置された袋状ワークの姿勢を検出する袋状ワーク姿勢検出装置に関するものである。
【０００２】
【従来の技術】
荷降し作業をハンドリングロボットに実施させる場合には、次の荷降し位置となるピック位置を水平座標および鉛直（高さ）座標により指定してハンドリングロボットに指示する必要がある。従って、従来においては、ワークの立体的な配置状況を認識してピック位置を指示できるように、下記に示すような検出装置が提案されている。
【０００３】
即ち、特開平６−２２６６６８号公報には、図９に示すように、ワーク５１に対して上方からレーザ光５３を線状に投光し、ワーク５１上に形成された投光ライン５３ａを撮像装置５５により上方から撮影する。そして、撮影画像の濃淡画像データを基にして投光ライン５３ａを抽出した後、投光ライン５３ａ中の途切れ部分を求め、この途切れ部分をワーク５１の端部と認識することによって、ワーク５１の姿勢（位置および回転）を検出する検出装置が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の構成では、ワーク５１の表面に付された低反射率の模様やラベル等の低反射部位にレーザ光５３が投光されたときに、低反射部位における投光ライン５３ａの反射光量が他の部位よりも少ないため、撮影画像から投光ライン５３ａを抽出する際に、低反射部位の投光ライン５３ａを抽出できない場合がある。そして、この場合には、ワーク５１内の低反射部位が投光ライン５３ａの途切れ部分となるため、この途切れ部分をワーク５１の端部と誤認識した状態でワーク５１の姿勢を検出する結果、検出の信頼性が低下することになるという問題がある。
【０００５】
従って、本発明は、投光ライン５３ａの途切れ部分がワーク５１内に存在している場合であっても、高い信頼性でワーク５１の姿勢を検出することができる袋状ワーク姿勢検出装置を提供しようとするものである。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明は、袋状ワークの上面で反射したスリット光の投光ラインを撮影したときの撮影画像の濃淡画像データを出力する撮像手段と、前記濃淡画像データにおける濃度を基にして投光ラインを抽出し、該投光ラインの３次元位置をスリット点列として求めるワーク形状計測手段と、前記スリット点列の各スリット点間の距離を基にして投光ラインの途切れ部分を抽出する途切れ部分抽出手段と、前記途切れ部分と前記袋状ワークとの位置関係を示す特徴量を全途切れ部分について求める特徴量計算手段と、前記特徴量を基にして前記途切れ部分が袋状ワーク内に存在するか否かを判定し、袋状ワーク内に存在しない途切れ部分をワーク境界特徴点とするワーク境界特徴点判定手段と、前記ワーク境界特徴点を基にして袋状ワークの姿勢を求めるワーク姿勢検出手段とを有することを特徴としている。
【０００７】
上記の構成によれば、模様等の低反射部位により反射光量が少ない部分が投光ライン中に存在していると、撮影画像の濃淡画像データの濃度を基にして投光ラインを抽出する際に、低反射部位に対応する部分を投光ラインとして抽出できない場合がある。従って、この場合には、袋状ワークの端部と、袋状ワーク内の低反射部位とに対応する部分に途切れ部分が発生することになる。この際、本発明は、途切れ部分と袋状ワークとの位置関係を示す特徴量を全途切れ部分について求め、この特徴量を基にして途切れ部分が袋状ワーク内に存在するか否かを判定することによって、袋状ワークの端部に対応した途切れ部分を正確に特定することができるようになっている。これにより、投光ラインの途切れ部分が袋状ワーク内に存在している場合であっても、袋状ワークの端部に対応した途切れ部分のみを用いて袋状ワークの姿勢を検出することになるため、袋状ワークの姿勢を高い信頼性で検出することができる。
【０００８】
請求項２の発明は、請求項１記載の袋状ワーク姿勢検出装置であって、前記特徴量計算手段は、前記途切れ部分の前後に存在する複数のスリット点列を直線フィッティングして得た２本の直線を交差させたときの角度差と、途切れ部分の高さ距離と、途切れ部分の水平距離とを特徴量として求めることを特徴としている。
上記の構成によれば、直線の角度差と途切れ部分の高さ距離と途切れ部分の水平距離との簡単な構成で特徴量を求めることができる。
【０００９】
【発明の実施の形態】
本発明の実施の形態を図１ないし図８に基づいて以下に説明する。
本実施の形態に係る袋状ワーク姿勢検出装置は、図１に示すように、パレット１上に積み上げられた袋状ワーク２の上方に設置されたセンサヘッド機構３と、センサヘッド機構３に接続された認識処理制御盤４とを有している。尚、袋状ワーク２とは、コーヒー豆等の粒状物や小麦粉等の粉状物を紙や布、合成樹脂等の柔軟な材質で形成された袋に収容することによって、パレット１上に載置したときに端部付近の表面が曲面状に変形する袋詰物のことである。
【００１０】
上記のセンサヘッド機構３は、図２に示すように、帯状のレーザ光からなるスリット光５を拡散させながら出射するスリット光投光器６と、スリット光投光器６からのスリット光５を袋状ワーク２方向に反射する反射ミラー７と、反射ミラー７の傾斜角度を任意に変更可能なステッピングモータ８と、袋状ワーク２に投影されたスリット光５を撮影する撮像装置９とを有している。
【００１１】
上記の撮像装置９は、レンズ１０と撮像部材１１とを有している。レンズ１０は、図３に示すように、撮像方向が鉛直方向（Ｚ方向）となるように設定されている。また、撮像部材１１は、レンズ１０を介して袋状ワーク２上に投影されたスリット光５が結像される撮像面１１ａを有しており、撮像面１１ａは、鉛直方向（Ｚ方向）に対して垂直となるように設定されている。そして、撮像部材１１の撮像面１１ａには、レンズ中心Ｏを中心として点対称に画像が投影されるようになっており、例えばスリット光５を袋状ワーク２に照射して形成された投光ライン５ａのＱ1 点、Ｑ2 点、Ｑ3 点は、それぞれＰ1 点、Ｐ2 点、Ｐ3 点として撮像面１１ａに結像されるようになっている。尚、図には記載していないが、レンズ１０前方に干渉フィルタなどの光学的なバンドパスフィルタを設置することによって、撮像面１１ａ上にスリット光５の像のみを結像させることが可能である。
【００１２】
上記の撮像部材１１は、光量に応じた電荷を発生させる受光素子部（画素）をＸ方向およびＹ方向のマトリックス状に複数有しており、これらの受光素子部の電荷を例えばラスタスキャン形式により電圧出力として読み出して濃淡画像データとして順に出力するようになっている。上記の撮像部材１１は、図１に示すように、認識処理制御盤４に接続されている。認識処理制御盤４は、上述の撮像部材１１やスリット光投光器６等に接続されたＩ／Ｏ部１２ａ・１２ｂと、これらのＩ／Ｏ部１２ａ・１２ｂに信号バス１４を介して接続されたモータ駆動部１３、演算部１６、ＲＡＭ１７、およびＲＯＭ１８とを有している。
【００１３】
上記のＲＡＭ１７には、撮像部材１１の受光素子部の配列と一致したＸ方向およびＹ方向のマトリックス状のデータテーブルを有するように、画像データ記憶領域１７ａが形成されている。そして、画像データ記憶領域１７ａには、Ｉ／Ｏ部１２ａを介して入力された上述の撮像装置９からの濃淡画像データが格納されるようになっている。また、ＲＡＭ１７には、距離データ記憶領域１７ｂが形成されており、距離データ記憶領域１７ｂには、袋状ワーク２上面の３次元座標の距離データ（ｘ，ｙ，ｚ）が格納されるようになっている。さらに、ＲＡＭ１７には、境界データ記憶領域１７ｃが形成されており、境界データ記憶領域１７ｃには、袋状ワーク２の端部に対応する真の途切れ部分の３次元位置を示すワーク境界特徴点が格納されるようになっている。
【００１４】
一方、ＲＯＭ１８には、濃淡画像データおよび距離データを基にして袋状ワーク２の姿勢を検出する袋状ワーク姿勢検出ルーチンが格納されている。袋状ワーク姿勢検出ルーチンは、ワーク形状計測処理（図４のＳ２〜Ｓ４）と途切れ部分抽出処理（図４のＳ５）と特徴量計算処理（図４のＳ６）とワーク境界特徴点判定処理（図４のＳ７）とワーク姿勢検出処理（図４のＳ９）とを行うようになっている。上記のワーク形状計測処理は、濃淡画像データにおける濃度を基にして投光ライン５ａを抽出し、投光ライン５ａの３次元位置をスリット点列として求める処理であり、途切れ部分抽出処理は、スリット点列の各スリット点間の距離を基にして投光ライン５ａの途切れ部分３０を抽出する処理である。特徴量計算処理は、途切れ部分３０と袋状ワーク２との位置関係を示す特徴量を全途切れ部分３０について求める処理である。ワーク境界特徴点判定処理は、特徴量を基にして途切れ部分３０が袋状ワーク２内に存在するか否かを判定し、袋状ワーク２内に存在しない途切れ部分３０をワーク境界特徴点とする処理であり、ワーク姿勢検出処理は、ワーク境界特徴点を基にして袋状ワーク２の姿勢（位置および回転）を検出する処理である。
【００１５】
上記の構成を有した認識処理制御盤４は、Ｉ／Ｏ部１２ｂを介してロボット制御盤２０に接続されている。ロボット制御盤２０は、図２に示すように、パレット１の近傍に設置されたハンドリングロボット２１に接続されている。また、ハンドリングロボット２１の近傍には、袋状ワーク２を移送するローラコンベア２２等が配設されている。そして、ロボット制御盤２０は、認識処理制御盤４から袋状ワーク２の姿勢を示す検出データを受信したときに、次の袋状ワーク２のピッキング位置を決定し、このピッキング位置に存在する袋状ワーク２をローラコンベア２２等に移載するように、ハンドリングロボット２１に対して指令するようになっている。
【００１６】
上記の構成において、袋状ワーク姿勢検出装置の動作を図４のフローチャートに基づいて説明する。
【００１７】
図１および図２に示すように、パレット１がセンサヘッド機構３の下方の所定位置に搬入されると、ロボット制御盤２０から認識処理制御盤４に対して計測を開始するように指示信号が送信される。そして、この指示信号の入力を待っている認識処理制御盤４が指示信号を受信すると（Ｓ１）、パレット１上に積み上げられた袋状ワーク２上面の濃淡画像データおよび距離データを取得するようにワーク形状計測処理を実行する。
【００１８】
即ち、スリット光投光器６からスリット光５を出射させるように、スリット光投光器６に対して出力信号を出力する。また、モータ駆動部１３から駆動出力をステッピングモータ８に出力することによって、ステッピングモータ８の回転駆動により反射ミラー７を所定のミラー回転角度に調整する（Ｓ２）。この後、スリット光５をスリット光投光器６から帯状に拡散しながら出射させ、反射ミラー７でパレット１方向に反射させることによって、パレット１やパレット１上に積み上げられた袋状ワーク２の両端にかけて線状に投光させる。そして、このようにしてスリット光５が投光されたパレット１や袋状ワーク２の全体を撮像装置９により撮影する（Ｓ３）。
【００１９】
次に、撮像装置９の撮影により得られた濃淡画像データをＩ／Ｏ部１２ａを介して認識処理制御盤４に取り込み、ＲＡＭ１７の画像データ記憶領域１７ａに格納する。この後、図２に示すように、画像データ記憶領域１７ａの濃淡画像データ中の濃度を基にしてスリット光５の投光ライン５ａを抽出する。この際、袋状ワーク２に付された低反射率の模様やラベル等の低反射部位２ａが投光ライン５ａ中に存在する場合には、図５に示すように、低反射部位２ａにおける投光ライン５ａの反射光量が少ないため、濃淡画像データの濃度が投光ライン５ａの抽出レベルにまで達していないことがある。従って、この場合には、抽出された一連の投光ライン５ａ中に袋状ワーク２の端部による途切れ部分３０と低反射部位２ａによる途切れ部分３０とが混在することになる。
【００２０】
そして、図３に示すように、上記のようにして抽出された投光ライン５ａの各点（例えばＰ1 ・Ｐ2 ・Ｐ3 ）とレンズ１０の中心点Ｏとを結ぶ視線直線（例えばＬ1 ・Ｌ2 ・Ｌ3 ）を求めると共に、反射ミラー７のミラー回転角度を基にしてスリット光５のスリット光平面Ｓを求める。この後、スリット光平面Ｓと視線直線との交点（例えばＱ1 ・Ｑ2 ・Ｑ3 ）からなるスリット点列の３次元位置を投光ライン５ａの距離データとして求め、図１の距離データ記憶領域１７ｂに順に格納する（Ｓ４）。
【００２１】
次に、距離データ記憶領域１７ｂに格納された投光ライン５ａの距離データを基にして投光ライン５ａに含まれる途切れ部分３０を抽出する。尚、投光ライン５ａ方向をＸ座標、投光ライン５ａに対して直交する方向をＹ座標、高さ方向をＺ座標とした３次元座標系を考えた場合には、投光ライン５ａの点列からなる距離データがＸＺ平面内に存在することになるため、以降の説明おいては、ＸＺ座標系で説明する。
【００２２】
即ち、図６に示すように、隣接するスリット点３１・３１間の距離を求め、距離が所定の基準距離以上であるか否かを判定する。スリット点３１・３１間の距離が基準距離未満である場合には、判定対象となっているスリット点３１・３１間には途切れ部分３０が存在しないと判定する一方、基準距離以上である場合には、判定対象となっているスリット点３１・３１間に途切れ部分３０が存在していると判定する。そして、このような判定を全てのスリット点３１・３１間について順に実施することによって、一連のスリット点３１列からなる投光ライン５ａに存在する全て（例えば２個）の途切れ部分３０を抽出する（Ｓ５）。
【００２３】
次に、図７（ａ）・（ｂ）に示すように、抽出した途切れ部分３０の前後に存在するスリット点３１・３１をそれぞれ途切れ点Ｐ１・Ｐ２とし、両途切れ点Ｐ１・Ｐ２の高さ方向の差である高さ距離ａ１および水平方向の差である水平距離ｂ１を求める。また、各途切れ点Ｐ１・Ｐ２の近傍に存在する数個のスリット点３１列をそれぞれ使用して直線フィッティングすることによって、途切れ点Ｐ１を含む第１直線３２と途切れ点Ｐ２を含む第２直線３３とを作成し、第１直線３２と第２直線３３とを交差させたときの角度差θ１を求める。そして、これらの高さ距離ａ１、水平距離ｂ１、および角度差θ１を途切れ部分３０と袋状ワーク２との位置関係を示す特徴量とし、Ｓ５で求めた全途切れ部分３０について特徴量を求める（Ｓ６）。
【００２４】
次に、図８に示すように、求めた特徴量を特徴空間（θ，ａ，ｂ）の座標系に特徴点３４として投影する。特徴空間（θ，ａ，ｂ）の座標系には、各座標軸方向に閾値θｓ・ａｓ・ｂｓが設定されている。そして、閾値θｓ・ａｓ・ｂｓで囲まれる判定空間３５内に特徴点３４が存在するか否かを判定し、判定空間３５内に特徴点３４が存在していれば、この特徴点３４に対応する途切れ部分３０が袋状ワーク２内で検出されたものであると判断する。一方、判定空間３５内に特徴点３４が存在していなければ、この特徴点３４に対応する途切れ部分３０が袋状ワーク２の端部で検出されたものであると判断し、この途切れ部分３０の３次元位置をワーク境界特徴点として図１の境界データ記憶領域１７ｃに格納する（Ｓ７）。
【００２５】
この後、ワーク境界特徴点が最終の投光ライン５ａに基づいて得られたものであるか否かを判定する（Ｓ８）。最終の投光ライン５ａでない場合には（Ｓ８，ＮＯ）、Ｓ２から再実行し、次のミラー回転角度の投光ライン５ａからワーク境界特徴点を求める（Ｓ２〜Ｓ７）。一方、最終の投光ライン５ａである場合には（Ｓ８，ＹＥＳ）、所定数の投光ライン５ａにおけるワーク境界特徴点を得たと判断し、ワーク境界特徴点を基にして袋状ワーク２の姿勢を検出する（Ｓ９）。そして、図２に示すように、袋状ワーク２の姿勢を示す検出データをロボット制御盤２０に出力する（Ｓ１０）。これにより、ロボット制御盤２０は、検出データを基にして次のピック位置を特定し、ハンドリングロボット２１に対して指令することによって、ピック位置の袋状ワーク２をローラコンベア２２等に移載させる。
【００２６】
以上のように、本実施形態の袋状ワーク姿勢検出装置は、袋状ワーク２の上面で反射したスリット光５の投光ライン５ａを撮影したときの撮影画像の濃淡画像データを出力する撮像手段（撮像装置９）と、濃淡画像データにおける濃度を基にして投光ライン５ａを抽出し、投光ライン５ａの３次元位置をスリット点３１列として求めるワーク形状計測手段（図４のＳ２〜Ｓ４）と、スリット点３１列の各スリット点３１・３１間の距離を基にして投光ライン５ａの途切れ部分３０を抽出する途切れ部分抽出処理（図４のＳ５）、途切れ部分３０と袋状ワーク２との位置関係を示す特徴量を求める特徴量計算手段（図４のＳ６）と、特徴量を基にして途切れ部分３０が袋状ワーク２内に存在するか否かを判定し、袋状ワーク２内に存在しない途切れ部分３０をワーク境界特徴点とするワーク境界特徴点判定手段（図４のＳ７）と、ワーク境界特徴点を基にして袋状ワーク２の姿勢を求めるワーク姿勢検出手段（図４のＳ９）とを有した構成にされている。
【００２７】
上記の構成によれば、図７（ａ）・（ｂ）に示すように、途切れ部分３０と袋状ワーク２との位置関係を示す特徴量を全途切れ部分３０について求め、この特徴量を基にして途切れ部分３０が袋状ワーク２内に存在するか否かを判定することによって、袋状ワーク２の端部に対応した途切れ部分３０を正確に特定することができる。これにより、投光ラインの途切れ部分３０が袋状ワーク２内に存在している場合であっても、袋状ワーク２の端部に対応した途切れ部分３０のみを用いて袋状ワーク２の姿勢を検出することができるため、袋状ワーク２の姿勢を高い信頼性で検出することができる。
【００２８】
また、上記の特徴量計算手段は、途切れ部分３０の前後に存在する複数のスリット点３１列を直線フィッティングして得た２本の第１直線３２と第２直線３３とを交差させたときの角度差θと、途切れ部分３０の高さ距離ａ１と、途切れ部分３０の水平距離ｂ１とを特徴量として求める構成である。
【００２９】
上記の構成によれば、直線の角度差θと途切れ部分３０の高さ距離ａ１と途切れ部分３０の水平距離ｂ１との簡単な構成で特徴量を求めることができる。
【００３０】
以上、本発明を好適な実施の形態に基づいて説明したが、本発明はその趣旨を逸脱しない範囲において変更が可能である。即ち、図４における袋状ワーク姿勢検出ルーチンは、１本の投光ライン５ａを撮影する毎に、濃淡画像データから抽出された投光ライン５ａ中の途切れ部分３０が袋状ワーク２内に存在するか否かを判定するようになっているが、これに限定されるものではなく、全ての投光ライン５ａを抽出した後に、一括して途切れ部分３０の判定を行うようになっていても良い。
【００３１】
【発明の効果】
請求項１の発明は、袋状ワークの上面で反射したスリット光の投光ラインを撮影したときの撮影画像の濃淡画像データを出力する撮像手段と、前記濃淡画像データにおける濃度を基にして投光ラインを抽出し、該投光ラインの３次元位置をスリット点列として求めるワーク形状計測手段と、前記スリット点列の各スリット点間の距離を基にして投光ラインの途切れ部分を抽出する途切れ部分抽出手段と、前記途切れ部分と前記袋状ワークとの位置関係を示す特徴量を全途切れ部分について求める特徴量計算手段と、前記特徴量を基にして前記途切れ部分が袋状ワーク内に存在するか否かを判定し、袋状ワーク内に存在しない途切れ部分をワーク境界特徴点とするワーク境界特徴点判定手段と、前記ワーク境界特徴点を基にして袋状ワークの姿勢を求めるワーク姿勢検出手段とを有する構成である。
【００３２】
上記の構成によれば、途切れ部分と袋状ワークとの位置関係を示す特徴量を基にして途切れ部分が袋状ワーク内に存在するか否かを判定することによって、袋状ワークの端部に対応した途切れ部分を正確に特定することができる。これにより、投光ラインの途切れ部分が袋状ワーク内に存在している場合であっても、袋状ワークの端部に対応した途切れ部分のみを用いて袋状ワークの姿勢を検出することができるため、袋状ワークの姿勢を高い信頼性で検出することができるという効果を奏する。
【００３３】
請求項２の発明は、請求項１記載の袋状ワーク姿勢検出装置であって、前記特徴量計算手段は、前記途切れ部分の前後に存在する複数のスリット点列を直線フィッティングして得た２本の直線を交差させたときの角度差と、途切れ部分の高さ距離と、途切れ部分の水平距離とを特徴量として求める構成である。
上記の構成によれば、直線の角度差と途切れ部分の高さ距離と途切れ部分の水平距離との簡単な構成で特徴量を求めることができるという効果を奏する。
【図面の簡単な説明】
【図１】認識処理制御盤のブロック図である。
【図２】荷降ろしする状態を示す説明図である。
【図３】距離データの算出原理を示す説明図である。
【図４】荷降ろし動作手順の一部を示すフローチャートである。
【図５】投光ラインの状態を示す説明図である。
【図６】スリット点列の状態を示す説明図である。
【図７】途切れ部分の算出方法を示す説明図であり、（ａ）は全スリット点列の状態を示した図、（ｂ）は途切れ部分の状態を示した図である。
【図８】特徴点と判定空間との関係を示す説明図である。
【図９】従来例を示すものであり、ワークの姿勢を検出する状態を示す説明図である。
【符号の説明】
１  パレット
２  袋状ワーク
２ａ  低反射部位
３  センサヘッド機構
５  スリット光
５ａ  投光ライン
６  スリット光投光器
７  反射ミラー
８  ステッピングモータ
９  撮像装置
１０  レンズ
１１  撮像部材
１３  モータ駆動部
１４  信号バス
２０  ロボット制御盤
２１  ハンドリングロボット
２２  ローラコンベア
３０  途切れ部分
３１  スリット点
３２  第１直線
３３  第２直線
３４  特徴点
３５  判定空間
【図１】
0003919932.tif 000002
【図２】
0003919932.tif 000003
【図３】
0003919932.tif 000004
【図４】
0003919932.tif 000005
【図５】
0003919932.tif 000006
【図６】
0003919932.tif 000007
【図７】
0003919932.tif 000008
【図８】
0003919932.tif 000009
【図９】
0003919932.tif 000010