計測自動制御学会東北支部 第 338 回研究集会 (2022.9.16)
資料番号 338-1

ビジョンシステムを用いた非均一な形状の平面物体の認識に関する研究
Recognition of Non-uniform Planar Objects Using Vision System○下村尚道, 沓澤京, 林部充宏
○ Naomichi Shimomura, Kyo Kutsuzawa, Mitsuhiro Hayashibe
東北大学

Tohoku University
キーワード :

画像処理 (Image processing), カメラキャリブレーション (Camera calibration)，産業の自動化 (Factory automation)，ロボティクス (Robotics)，位置姿勢推定 (Pose estitation)

連絡先 : 〒 980-8579 宮城県仙台市青葉区荒巻字青葉 6-6-01 東北大学 青葉山キャンパス 機械系共同棟
312 下村尚道，Tel.: 022-795-6916 E-mail: shimomura.naomichi.q8@dc.tohoku.ac.jp

1.

緒言タを取り付けることで、無造作に置かれた対象近年先進国での少子高齢化が進んでおり 1) 2) 、労働力の不足が深刻な問題となりつつある。そのため製品の生産ラインにおいて自動的に生産を行うシステムの需要が高まっている。このとき同じ規格のものを大量生産するだけではなく、多品種少量生産をするシステムの構築をすることで余剰を出さない生産が可能となり、環境負荷や生産コストの削減につながる。金属のような固い立体物への加工はすでに多くの研究がある 3) 4) 5) が、紙や布といった柔らかく平面的な物体の加工に関する研究はまだ少ない。そこで柔軟な平面物体を対象にした加工のための研究物を加工し均一な品質の生産品を量産することである。対象物は位置決めをせずに乱雑に置かれることを想定する。コンピュータビジョンを用いることで加工対象とマニュピレータのそれぞれの位置姿勢を推定した。そしてペンで対象物上の目標線をなぞることで、推定の精度を確認した。
また実際の生産現場においては加工対象となる物体の形状が製造のムラによりひとつづつ僅かに異なることが考えられる。このような非均一な形状の平面物体に対して加工を施し、均一な製品を量産する手法を提案する。

を行った。
本研究ではカメラとマニュピレータを組み合わせることで、加工対象がどのような位置姿勢

2.

手法

2.1

座標系の定義で置かれていても精度高く適切に加工するシス
加工する平面物体として紙を用いる。マニュテムの構築を目指す。本研究の最終的な目的はマニュピレータの手先に適切なエンドエフェク

ピレータの根本に固定された base 座標系、カメ–1–

座標系の定義．Deﬁnition of coordi-Fig. 2 ハンドアイキャリブレーション．Hand–
Eye calibration.

ラに固定された cam 座標系、マニュピレータの点群処理には python の OpenCV と Open3D ラ

手先に固定された gripper 座標系、紙に固定さイブラリを用いる。

Fig. 1nates.

れた paper 座標系の 4 つの座標系を Fig.1 のように定義する。

2.2

2.4

ハンドアイキャリブレーション

cam 座標系から base 座標系への位置姿勢関実験の概要

係を表す同次変換行列 base Tcam を推定するためな加工を行うためには paper 座標系から base 座のハンドアイキャリブレーションを行う。キャリブレーションには Shah の提案する手法 6) を標系への同次変換行列 base Tpaper を推定する必用いた。

対象物がどのような位置姿勢にあっても適切要がある。そのため cam 座標系から base 座標

キャリブレーションでは 1.6cm の正方形を 7系への同次変換行列 base Tcam と、paper 座標系× 8 個配置したチェッカーボードを手先に取りから cam 座標系への同次変換行列 cam T

paper を付けて行った。チェッカーボードがカメラの画求める実験をそれぞれ行う。2 つのデータを組角の中心に映る場所を基準として x, y 方向にそみ合わせることにより式 (1) のように計算してれぞれ-60mm, 0mm, +60mm、x, y, z 軸回りにbase T

それぞれ-25 度, 0 度, +25 度回転させた計 3 ×paper が求まる。

3 × 3 × 3 × 3=243 通りの位置姿勢で撮影し解base

2.3

Tpaper=base Tcam cam Tpaper(1)

実験に使用するハードウェア・ソフト
ウェア

実験で使うカメラは Intel 製の RealSense Depth

Camera D435 を用いる。また、マニュピレータは DENSO 製の VS068 を用いる。画像解析及び析することで base Tcam を求めた。

2.5

紙の位置姿勢推定

paper 座標系から cam 座標系への位置姿勢関係を表す同次変換行列 cam Tpaper を推定する。
カメラ直下の黒く塗った作業台上にチェッカーボードを置き、Madsen の提案する手法 7) を用–2–

Fig. 3 カメラで撮影した紙．Paper taken by
the camera.

Fig. 4 紙の縁の点群 (ターゲット点群). Point
cloud of paper’s edge (Target point cloud).

Fig. 5 ターゲット点群とソース点群. Source
point cloud and target point cloudFig. 6 ICP アルゴリズムにより重ね合わせたターゲット点群とソース点群. Target point
cloud overlaps on source point cloud.

2.6

推定精度の検証

いて作業台の位置姿勢を求める。次に 15cm ×2 つの推定により求まった base Tpaper の精度を7.5cm の長方形の紙を作業台に置きカメラで撮検証するために、紙上の目標線をなぞる実験を影する (Fig. 3)。その画像を二値化して縁の部分行った。Fig. 7 のように紙面上に paper 座標系のみを抽出し、作業台上にあるという想定の下の原点を通り、x 軸に平行になるように 80mm

で紙の縁を 3 次元点群化してターゲット点群をの目標線を描き、マニュピレータに持たせたペ作成する (Fig. 4)。その後同じく 15cm × 7.5cm

ンがどの程度精度よくこの線をなぞれるかを確の長方形のソース点群を作成しカメラに正対す

かめた (Fig. 8)。(注：紙の位置推定に用いている姿勢でターゲット点群付近に置く (Fig. 5)。

るのは目標線ではなく紙の輪郭である)

両点群の位置合わせには ICP(Iterative Closest Point) アルゴリズム 8) を用いる。これはソース点群の各点において最も近いターゲット点群の点を対応付け、対応付けた点間距離の総和が最小になる変換の計算を閾値以下になるまで繰り返す手法である。ICP アルゴリズムを用いてソース点群を移動して 2 つの点群を重ね合わせ(Fig. 6)、ソース点群移動量を調べることで paper 座標系と cam 座標系の位置姿勢関係を推定する。

Fig. 7ment–3–

実験で使う紙. Paper used for experi-

Fig. 9 上辺が加工済みの不均一な平面物体.
Paper processed only on the top edge.

Fig. 8 紙に線を描く実験. Experiment thatmachine write a line on paper

2.7

不均一な形状の物体の位置推定

加工したい平面物体が製造のムラなどにより想定よりわずかに大きい場合を考える。このとき、折りつけや裁断などの加工を物体に施し作

Fig. 10 赤いペンで目標線をなぞる実験の結果. Result of experiment tracing the target linewith a red pen.

りたい形状にするには、加工済みの辺を基準に次の加工する線を決めるのが有効である。そう

3.

実験結果

することで製造のムラは折りしろまたは切りし3.1

目標線をなぞる実験の結果ろに吸収され、均一な製品の生産が可能になる。
そこで不均一な平面物体の一辺を加工したものとして、Fig. 9 の紙を用いて実験を行う。
加工済みの一辺の点群のみを用いて ICP アルゴリズムで位置合わせをした場合、その辺を軸にして回転する自由度を持ってしまい、ソース推定により求めた base Tpaper を使って紙上の目標線をなぞる実験の結果を Fig. 10 に示す。
ペンは目標線上を正確になぞることができた。
ペンの太さは 0.5mm なので 0.5mm 以下の精度
で base Tpaper を推定していることがわかった

点群がターゲット点群の平面上に乗るとは限らない。そこで加工済みの辺の点群に重み付けを3.2

不均一な平面物体の位置推定の結果して位置合わせをすることで、加工済みでない一辺のみ加工済みの不均一な平面物体のター辺も位置姿勢推定に使われるようにした。重みゲット点群と、一辺のみに重み付けをしたソー

付け ICP は確立されたアルゴリズムがないた

ス点群を ICP 位置合わせをした結果を Fig. 11め、ソース点群のうち加工済みの辺に対応するに示す。上辺に合わせて位置姿勢推定ができて点群を同じ座標に 5 つ重ねて複製することで他いることが確認できた。の辺より 5 倍重みづけし、加工済みの辺に合わせて位置推定できるようにした。

4.

結言

ここまでの研究により、高い精度で平面物体の位置姿勢を推定することができた。また、工場などで想定されるような不均一な材料を用い–4–8) Arun, Somani; Thomas S. Huang; Steven D.
Blostein (1987). ”Least-square ﬁtting of two
3-D point sets”. IEEE Pattern Analysis andMachine Intelligence. 9 (5): 698–700.

Fig. 11 一辺のみ加工した不均一な平面物体の ICP 位置合わせによる位置姿勢推定. Position and pose estimation by ICP registrationof inhomogeneous planar object processed onone side.て均一な製品を量産するための位置姿勢の推定法を提案し、有効であることが確認された。今後はこのシステムを用いてマニュピレータに適切なエンドエフェクタを装着することで、平面物体を折りつけや裁断する研究を続けていく。

参考文献
1) Statistics Bureau, Ministry of Internal Aﬀairs
and Communication, Chapter 2: Populationand Households, Japan Statistical Yearbook
2022, [Retrieved 6 January 2022]
2) W. He, D. Goodkind, P. Kowal: An Aging World: 2015 International Population Reports, (2016)3) Michelle L. Griﬃth, Lane D. Harwell, 1. Tony
Romero, Eric Schlienger, Clint L. Atwood,and John E. Smugeresky:MULTI-MATERIAL
PROCESSING BY LENS
4) Malinauskas, Mangirdas: Ultrafast laser processing of materials: From science to industry:
Light: Science & Applications (2016) 55) Dharani Sowdari, Pradip Majumdar: Finite
element analysis of laser irradiated metal heating and melting processes, Optics & Laser
Technology 42 (2010)6) Mili Shah: Solving the robot-world/hand-eye
calibration problem using the kronecker product: Journal of Mechanisms and Robotics,(2013), 5(3)7) K. Madsen, H. B. Nielsen, and O. Tingleﬀ.
Methods for non-linear least squares problems(2nd ed.), 2004.

–5–