計測自動制御学会東北支部 第 330 回研究集会 (2020.12.2)
資料番号 330-2

操作者の運動情報をもとにした遠隔マニピュレータ制御に関する研究
Study of Controlling the remote manipulator
Using of User s kinetic information○本間彰三，武藤伸洋○ Shozo Homma, Shin-yo Muto
日本大学

Nihon University
キーワード :

マニピュレータ (manipulator), 遠隔作業支援 (remote work support),
画像処理 (image proccesing)

連絡先 : 〒 963-8642 福島県郡山市田村町徳定字中河原 1 番地 15 号館 107 号室
E-mail: cesh19020@g.nihon-u.ac.jp

1.

はじめに少子高齢化が進んでおり, 作業者の減少および高齢化が進んでいる一方で, インフラ設備を含む建設物の老朽化は進んでいる 1,2) . 建設物の老朽化に伴い点検・補修作業は必須となっている. これらの状況をふまえ, ロボットによる作業補助が推奨されており, これにより効率的な点検・補修作業が可能になる. そこで本研究では遠隔操作ロボットを用いた遠隔作業支援システムを提案している. このシステムではロボットのFig. 1

専門知識のない点検専門の作業員が容易に操作できるよう, 直感的にロボットを操作できるシステムが重要となる. そこで本報告では, 画像処

2.

遠隔作業支援システム

Fig.1 に提案する遠隔作業支援システムの概理を用いて操作者の手の動きを認識し, マニピュレータの動作の目標値生成する方法について検The remote work support system

要を示す.
本システムは遠隔地の指示者による現場作業討する.

者の支援を目的とするシステムである. 指示者–1–

Fig. 4
Representative values of marker
recognition result.
Fig. 2
ation.

Device settings for manipulator oper-3.

画像処理を用いた操作者の運動情報

マニピュレータの操作には専門的な知識が必要となる. しかし, 本研究ではロボットの専門知識のない点検専門の作業員が容易に操作できるために, 直感的にロボットを操作できるシステ
ムが重要である. そこで本研究では,Fig.2 に示すようにマニピュレータ操作者の手の動きを取れるように手にマーカを取り付け, 書画カメラを用いて手を写した. 今回は操作者の手の特徴により画像処理に差がでないように, 操作者の手に直接マーカを取り付けるのではなく, 軍手

Fig.
3OpenCV

Recognition of the markers byに取り付けた. また, あらかじめマーカは認識できるように設定した. 今回画像処理に用いたソ側と作業者側はサーバを介して接続されている.

フトウェアは OpenCV(Ver.4.1.1) である. マー

作業者側からは映像・音声・センサ情報が指示者カを認識するため,OpenCV の正規化相関係数側に送信され, 指示者はその情報をもとに作業者

法 (TM ＿ CCOEFF ＿ NORMED) を用いた.

への作業支援する. 作業支援の方法の例として,また, 書画カメラとして用いたのはエルモ社製の音声による指示やマニピュレータを操作してのMX-P2 である. 手を開いた状態で手の甲を見せ工具の把持によるものである. 本研究では遠隔る状態から画像認識を開始する. 中指の指先から作業支援システムのマニピュレータの部分に関各関節および手の甲に計 4 箇所にマーカを取りして研究をしている.

付けた. マーカの色は指先から, 赤, 青, 緑, 黒の順とした. これらマーカが写り具合 (本報告では信頼度と呼ぶ) が閾値を超えた場合のみ, 同色の矩形でマーカを囲む. 今回は信頼度の閾値を 0.6に設定した.Fig.4 のように, これらの 4 点からはそれぞれ画面内での x 座標, 画面内での y 座–2–

4.

マニピュレータ制御値の導出方
法

マーカから得られる値をそれぞれ色ごとに Ta-ble.1 に示す. また,4 色の信頼度の閾値をそれぞれ順に,r1lim ,r2lim ,r3lim ,r4lim とする. まず, 手の甲に取り付けられた緑と黒のマーカは, 手を握っている状態でも定点カメラに移るため, マーカの手先位置と手先の回転角度の算出に用いる. つまり,r3 > r3lim かつ r4 > r4lim の場合 (条件 1 とする) は, マニピュレータの手先位置 (XY Z 座標) および手先姿勢θ [deg] を求め, 条件 1 が満たされなかった場合は前回の制御目標値を維持Fig. 5する. 手先位置の X と Y 座標に求めるために, 緑SCARA manipulator.と黒のマーカの中点を求める. また, 手先位置のTable 1

Representative values of recognition.
xy Degree of reliability
Redx1 y1r1
Blue x2 y2
r2
Green x3 y3r3Black x4 y4r4Z 座標は, 緑と黒のマーカ間の距離を用いて算出する. これは, 書画カメラのレンズに手が近ければ, 緑と黒のマーカの距離は短いが, 定点カメラのレンズから遠ければ遠いほど緑と黒のマーカの距離は長くなることを用いる. さらに, マニピュレータの手先姿勢を求めるために, 緑と黒の標, マーカの信頼度を取得できる. 画面内は左上マーカの xy 座標を用いる. 今回は Fig.3 のようが原点となっている. 想定しているマニピュレーに書画カメラの画角の下部から手を写す. この

タは,Fig.5 に示すような Vstone 社製のアカデ時, 緑と黒のマーカの x 座標は近似する. これにミックスカラロボットである. このマニピュレーより, 初期状態は緑と黒のマーカの x 座標が近タは, アームヨーの 2 軸, アームの上下軸, ハンド似しているが, 手を黒のマーカを軸に回転させヨー軸, ハンドの開閉軸を持つ,5 軸自由度を持ることにより,x 座標が緑と黒のマーカで差異がつ 3) . マニピュレータを操作するために必要なパ生まれる. これを用いて手先姿勢θ [deg] を求めラメータは, マニピュレータの手先位置 (XY Zる. 以上のことを式 (1),(2),(3),(4) にまとめる.

座標), 手先姿勢θ [deg], マニピュレータのエン{

X = ax

ドエフェクトのハンドの開閉幅 h[mm] の計 5 つである. そこで, 画像処理を用いたマーカの位置{から得られた値, 計 12 から,5 つのパラメータにY = ay変換する, マニピュレータ制御目標値の導出方法を提案する.

√{Z = azx3 + x42
y3 + y42}+ bx(1)+ by(2)}}(x3 − x4 )2 + (y3 − y4 )2 + bz (3)θ = c {atan2 (y3 − y4 , x3 − x4 )} + d–3–(4)ここで,ax , bx , ay , by , az , bz , c, d は定数とする.
次に, ハンドの開閉幅 h[mm] を求めるため, 中指の指先に取り付けた赤と青のマーカの信頼度を用いる. 赤のマーカと青のマーカの信頼度が閾値を超えている場合は, 手は開いている状態と判断する. 赤および青のマーカが両方とも信頼度の閾値を下回った場合は, 手は握られている状態と判断する. つまり,r1 > r1lim かつ r2 > r2lim の場合 (条件 2 とする) である. 条件 2 が満たされない場合は, 前回の制御目標値を維持する. 以上をふまえ, ハンドの開閉幅 h[mm] を式 (5) にまとめる.
√{h=e}(x1 − x2 )2 + (y1 − y2 )2 + f(5)

ここで,e, f は定数とする.Fig.4 の下部に計算結果を示した. 手のマーカのテンプレートマッチン
グによる位置情報および信頼度情報から, スカラロボットの制御目標値を生成できることを確認した.

5.

おわりに

本論文では, 画像処理により得られたマーカの情報をもとに, マニピュレータの制御目標値に変換する式について述べた. 今後の展望としては, 今回の変換式をもとに, マニピュレータの制御目標値をもとに, 実際にマニピュレータの動作を確認し有効性を確認する.

6.

参考文献

1) 内閣府, 令和 2 年版高齢社会白書 , 内閣
府,(2020 年 11 月 7 日)

2) 国土交通省, 社会資本の老朽化の現状と将来, 国土交通省,(2020 年 11 月 7 日)

3) ヴィストン株式会社, アカデミックスカラロ
ボット仕様紹介 , ヴィストン株式会社 (2020 年11 月 8 日)

–4–