計測自動制御学会東北支部第246回研究集会（2008・11．19）
資料番号246−12

画像認識を用いたマイクロマニピュレータにおける微小物体操作の自動化

AutomationofMicro−ObjectManipulationbyaMicroManipulator
UsingImageRecognition○ 高橋 善重＊，小林 義和＊＊，白井 健二＊＊

OYoshiel払kBLhashi★，YoshikazuKobayashi★★，KenjiShirai★★

＊日本大学大学院，＊＊日本大学★GraduateSchool，NihonUniversity，★★NihonUniversity

キーワード：画像認識（image recognition），位置検出（position detection），位置測定（position measurement）

連絡先：〒963−8642 福島県郡山市田村町徳定字中河原1番地
日本大学大学院工学研究科情報工学専攻生産システム工学研究室 高橋善重，
Th：（024）956−8824，Fax：（024）956−8863，E・mail：y＿takahashi＠ushiwaka．ce．nihon・u．aCjp1．緒言技能を修得するには多大の費用を要している。

近年の工業製品は小型化が進み、それを構成これらの問題の解決策としてマイクロマニピする部品は微小なものが多くなっている。また、ュレータの作業の自動化がある。本研究では、バイオテクノロジーの分野においては微小な生その作業をカメラから取得した画像を使用し、物や細胞などの〃m，nmの物体を扱っている。

物体の位置や姿勢を測定することで自動的に行

これらの分野における微小物体のハンドリング、うマイクロマニピュレーションシステムを目標

組立てはマイクロマニピュレータを人間が操作とし、画像認識を用いた物体の自動的な位置決することにより行われている。

めとロボットの自動動作で物体を把持するシス

しかしながら、これらの作業には熟練技能が必要であり、そのテムを開発した。

2．システム構成

2．1 微小物体把持システム
図1に微小物体把持システムの構成を示す。
本システムは、把持ロボットとⅩYステージ、CCDカメラおよび制御用PCにより構成されている。

ロボットは物体の把持、運搬を行う。

これは制御用PCに搭載されるモーションコントローラボードからのパルス信号により動作する。ⅩYステージは自由度2の高精度フィードバック機能があり、物体をこの上に配置し、任意の位置に移動できる。これは制御用PCからステージコントローラに制御指令コードを送信することにより動作する。最大動作幅は20mm、分解能は10nmである。CCDカメラは、物体の位置確認のために使用される。カメラの高さを図1 微小物体把持システム調整するZ軸ステージを動作させることにより焦点合わせができる。そして、制御用PCにはキャプチャーボードが取り付けられており、これを介してCCDカメラからの出力をモニタに表示させる。キャプチャーボードの最大解像度は640×480、画像の表示速度は30フレーム／秒である。

2．2 把持ロボット本体の構成
図2に把持ロボットを示す。このロボットはハンド部、Z軸ステージおよび回転ステージから構成される自由度2のSCARA型である。
ハンド部にはピンセットが取り付けられており、開閉動作でピンセットを操作し、物体を把持できる。最大動作幅が 9m、繰り返し精度は±0．01mである。ハンド部が取り付けられるZ軸ステージを動作させることによりピンセットの高さを物体にあわせることができる。このZ軸ステージはストロークが20m、最小分解能は0．86〃mである。回転ステージの動作により把持した物体を運搬できる。回転範囲は±1800、最小分解能は0．0040 である。構成部品のサーボモータはステッピングモータを使用している。

図2 把持ロボット
3．制御プログラム

3．1 画像認識手法
本システムにおいてⅩYステージ上の物体の位置を確認するための画像認識手法としてパターンマッチングを用いた1）。この手法により画像上における物体の位置を求め、移動したい位置との相対的な距離を画素単位で求められる。
ⅩYステージの動作には〃m単位での指示が必要である。そこで、画素単位の距離に1画素当たりの幅を乗算することにより〃m単位の動作量を算出する。位置決めの指示によりこの量を動作させる。これにより自動位置決めを可能とした。さらにテンプレート画像から図形の慣性モーメントを求め、物体の重心を測定しこの値を移動量に加えることにより物体の重心を基準に位置決めすることを可能とした2）。

3．2 ロボットの動作プログラム

表1環境の変化による類似度の変化

この動作プログラムでは、把持動作指示前にあらかじめロボットの回転ステージとハンド部を動作させ画像認識によりピンセット位置を読

F＝8×√2 F＝8 F＝16 ボケ
静止画
動画

0．66874 0．98597 0．79922

0．96079 0．80192 0．93956 0．78821

み込ませることによりピンセットの位置決めと開閉動作に必要な移動パルス数およびピンセットの移動可能な範囲を取得する。図3にピンセットの検出（a）と移動可能範囲（b）の例を図3に示す。このとき取得した範囲を物体の位置決めにおける移動目標位置とした。このときピンセットの位置は先端の重心2点の中点と定義した。これにより回転ステージの動作でピンセット先端間の直下に物体の重心が重なるように位置決めすることを可能とした。物体のⅩYステージによる位置決め動作後の位置とテンプ（a）ピンセットの検出

レート画像から取得した物体の幅から回転ステージとハンド部の動作量を決定し動作させることにより、物体の自動的な把持を可能とした。
4．システムの検証実験

4．1位置検出実験
本システムでは物体の検出にカメラ画像を使用するため、環境の変化が物体の検出精度に影響する。そこで入力画像の明るさの変化とピントのボケが発生した状態でそれぞれ静止画と動画像においてパターンマッチングを行い、類似（b）ピンセット先端の移動範囲

図3 ピンセットの位置検出と移動可能範囲度の比較検証をおこなった。静止画における明るさは画素値の加減により調整し、ボケの調整も画像処理により調整した。動画における明るさは絞りを変更することにより調整し、ボケはカメラの焦点距離を変更することにより調整した。実験結果を表1に示す。類似度は最大値が1、最小値が0となっている。実験結果から基準値（F値＝8×√2）の状態では高い類似度が取得されているが、明るさの変化やボケの発生により静止画像と動画像でともに類似度が大きく減少しており、誤検出が発生した。
4．2 位置決め実験取得した画像から画素単位で距離を求めるた
め、目標位置との誤差が最大で1画素あたりの

図4 移動位置と目標基準位置の誤差

幅だけ生じる。そこでパターンマッチングを用いた位置決め実験を行い、その精度を検証した。
物体の配置位置と移動目標基準位置との距離を変更しながら位置決め動作を行い、移動量に対する誤差を計測した。配置した物体と移動目標基準位置との距離を100〃m単位で5mmまで、逐次50回計測した。その結果を図4に示す。
今回の最大誤差は113〃mであった。この値は予（a）物体の配置測される画素単位での位置決め最大誤差145〃mの範囲内にある。

4．3 ロボットによる把持実験
ロボットを用いて把持実験を行い、動作の有効性を検証した。物体は直径5mm、高さ5mの歯車である。まず、物体をⅩYステージ上に配置し、パター ンマッチングにより物体の検出を（b）位置決め動作後開始する。次に物体の位置決め動作を指示しⅩYステージを動作させ移動する。そしてロボットの動作により物体の把持、持ち上げ動作を実行することにより換作の可能性を検証した。

実験の結果を図5に示す。図5において物体の配置がされた状態（a）では画像認識によりその位置が検出されている。位置決めが実行さ（￠）物体の自動把持れた状態（b）から物体の位置がピンセットの

図5 自動動作による把持実験

移動可能範囲に位置決めされている。また回転ステージを動作させ物体の位置に自動的にピンセット先端が移動できている。物体の把持（c）（3）明るさやボケの発生が物体の検出精度に大きな影響を与えることを確認した。

ではハンド部がテンプレートから取得した物体の幅をもとに算出した移動パルス数で動作している。

5．2 今後の課題（1）画像認識による物体の適切な把持位置

5．結言

5．1 結論
画像認識による位置決めと動作実験により、の検出（2）作業の例として複数物体の分別機能の開発と実験による検証

以下の結論を得た。

（1）位置決めの精度は画素単位で距離を求めるための誤差145〃m以下であることを確認した。

（2）ロボットが物体を持ち上げる動作を観察することにより動作プログラムの有効性を確認した。

参考文献

1）田村 秀行：コンピュータ画像処理，オーム社、（2002）、p252〜255
2）木内 雄二：画像認識のはなし［第2版］、日刊工業新聞社（1993）、p30〜31