計測自動制御学会東北支部 第 331 回研究集会 (2021.3.24)
資料番号 331-2

ハンドアイカメラを用いた脚型クライミングロボットのための把持状態判定手法
Gripping State Determination Method Using a Hand-EyeCamera for a Legged Climbing Robot○大河原拓 ∗ ，宇野健太朗 ∗ ，髙田尚昌 ∗ ，吉田和哉 ∗○ Taku Okawara∗ , Kentaro Uno∗ , Naomasa Takada∗ , Kazuya Yoshida∗∗∗東北大学 工学研究科 航空宇宙工学専攻 宇宙ロボット研究室

Space Robotics Labratory, Department of Aerospace Engineering, Tohoku University
キーワード : ハンドアイカメラ (Hand-Eye Camera), 状態推定 (State Estimation),
脚型クライミングロボット (Legged Climbing Robot), ビジュアルオドメトリ (Visual Odometry),
ロボットビジョン (Robot Vision)

連絡先 : 〒 980-8579 仙台市青葉区荒巻字青葉 6-6-01 東北大学 工学研究科 機械系 1 号館 416 室
Tel.: 022-795-6993，Fax.: 022-795-6993，E-mail: okawara.taku.t3@dc.tohoku.ac.jp

1.

はじめに移動ロボットが重要な役割を担う分野の一つとして，極限環境での探査が挙げられる．極限環境とは，人間が立ち入ることが困難，あるいは多大なリスクを伴う環境であり，災害現場や火山火口，宇宙空間などがその代表例である．このような過酷な環境における情報収集や人・物の運搬作業は，科学調査や救援活動のために必須であり，これらの危険な作業の実施者は人間Fig. 1: Legged climbing robot platform:
HubRobo equipped with a hand-eye camera.

でなくロボットに代替されることが望ましい．
これまで，極限環境で作業を行う移動ロボットが数多く開発されてきたものの，従来の車輪やクローラを用いた移動機構を有するロボットでは走行困難な地形が自然界に広く存在している．
地上の急峻な渓谷や切り立った崖に加え，JAXAによって発見された月の縦孔および，そこからつながる地下空洞もその例の 1 つである．特に，人類の月面基地候補地とも考えられている縦孔内部の探査の必要性は極めて高まっている 1) 一方で，こうした急傾斜で凹凸が激しい地形は移動ロボットの未踏領域となっている．
本研究チームでは，急傾斜，凹凸地形を踏破可能な移動ロボットプラットフォームとして，–1–

Fig. 1 に示すような脚型クライミングロボット滑落を引き起こす．そのため，把持状態が適切かHubRobo を開発した．このロボットの特徴は，どうかをリアルタイムに判定する手法が必要と把持を行うときにアクチュエータを必要としななる．本研究グループでは，IMU(Inertial Mea-

い鉤爪型グリッパを全脚先に装備していることsurement Unit) を脚先の内部に搭載し，振動をである．このグリッパで地形内に点在する凸部(以降，これを把持可能点と記す) にしがみ付き解析することで把持状態を判定する手法を提案している 5) ．

ながらほふく移動することにより，急傾斜，凹

一方本研究では，ハンドアイカメラによるビ凸地形の踏破を可能としている．本研究グルー

ジュアルオドメトリを用いて把持状態を判定す

プでは HubRobo のような脚型クライミングロる手法を提案する．ビジュアルオドメトリによボットを極限環境で自律運用させるために必要

り実際の脚先軌道を推定し，目標の脚先軌道とな要素技術の研究開発を行ってきた．これまで

実際の脚先軌道のずれに着目して把持状態の適に，鉤爪型グリッパの力学的特性を明らかにし
2) ，一般的な脚型ロボットの転倒安定性理論を，切性を判定する．

グリッパの把持性能が寄与する項を組み込むことで拡張した 3) ．また，既知である 3 次元地形態判定手法の詳細を述べ，HubRobo を用いた実験を通して本手法が有効であることを示す．

情報から把持可能点を検出するアルゴリズムを提案してきた．4)

2.

本稿では，ハンドアイカメラを用いた把持状

ハンドアイカメラの主な用途は，広範囲の環

しかしながら，脚型クライミングロボットの自律化にはまだ課題が残されている．その一つとして把持状態の判定が挙げられる．把持可能点はロボットに搭載された外界センサのデータから構築した 3 次元環境地図内に検出されるが，この環境地図は誤差を含むため，結果としてロ境地図を作成することである．脚型ロボットは各脚を移動機構としてだけではなく，カメラを搭載したロボットアーム (ハンドアイシステム)としても活用することで，遊脚運動に伴って広範囲な環境地図を作成できる．
本研究では，ハンドアイカメラを環境地図のボットから見た把持可能点の位置情報には不確実性が含まれる．したがって，この地形情報が有する不確実性と脚の制御に関する誤差により，把持可能点を選択的に掴みながら移動する際，ロボットのグリッパの状態は，以下に示すようなハンドアイカメラ作成ではなく，把持状態の判定に応用する．環境地図を得るには脚先の位置も必要となり，脚先位置はビジュアルオドメトリで推定されるため，このプロセス内で推定された脚先位置を用いて把持状態の判定を行う．ここで，ビジュア不適切な把持状態になり得る．

• 把持可能点を掴むつもりでグリッパを閉じても，実際は把持可能点を十分に把持していない空振り状態• 把持を開放するつもりでグリッパを開いても，意図しない鉤爪の引っ掛かりが残る状態

ルオドメトリとは，連続画像を解析することでカメラの移動量を計算する手法である 6) ．カメラの移動量を座標変換し，初期位置に積算することで，脚先位置が推定できる．また，先行研
究として IMU を用いた把持状態判定手法について述べたが，ハンドアイカメラで把持状態の判定ができれば脚先に IMU を搭載する必要がある脚が不十分な把持状態の時に他の脚を遊脚なくなる．こうしてセンサの数を少なくするこ化させた場合，ロボットの上体が不安定となり，とは，システムの複雑化と計算量の増加を防ぐ–2–

ことにつながるため，極限環境を自律移動するロボットのように計算リソースが限られている場合には極めて有効である．

3.

把持状態判定手法

本章では，はじめに本手法で判定する把持状態の種類を示し，次に，これらの把持状態の適切性を判定するための評価関数，アルゴリズム

Unknown surface

Unknown surface(a) Case 1-1
Successful grasping(b) Case 1-2
Failed grasping

Direc�on of movement

Direc�on of movementについて詳細に述べる．

3.1

考慮する把持状態あるグリッパの把持状態が不適切にも関わらず他の脚が遊脚化した場合，脚型クライミングロボットは安定性を失い，最悪の場合滑落してしまうことを述べた．つまり，自律化のために

Unknown surface

Unknown surface

は，グリッパの把持状態が適切かどうかをリア(c) Case 2-1
Successful releasing(d) Case 2-2
Failed releasing

ルタイムで判定しなければならない．そのため，提案する手法により，Fig. 2 に示すような 4 つの把持状態を判定する．Case 1 はグリッパがFig. 2: Classification of the gripper’s statesconsidered in the proposed method.

閉じている状態であるが，その中でも Case 1-1

き点である．つまり，引っ掛かりがある状態ではグリッパが適切に閉じて把持可能点を十分に脚を動かしたとき，目標の脚先軌道と実際の脚把持している状態 (Successful grasping)，Case先軌道が異なる．

1-2 は把持可能点を十分に把持できていない状

本手法では，目標脚先軌道と実際の脚先軌道

態 (Failed grasping) を表す．一方で Case 2 はのずれを，脚先速度を逐次比較することで評価グリッパが開いている状態であるが，その中でする．実際の脚先速度を求める方法としては，も Case 2-1 はグリッパが適切に解放している

IMU の加速度データや関節角度センサ情報にも状態 (Successful releasing) であり，所望の脚軌とづく算出方法が多数あるが，本手法では，ハ道を追従できる．そして，Case 2-2 はグリッパ

ンドアイカメラによるビジュアルオドメトリをは開いているが，引っ掛かりが残る状態 (Failed

もとに実際の脚先速度を求める．こうすることreleasing) を表す．把持状態が Failed releasing

で，更なるセンサを追加せずに把持状態の判定の時，Fig. 2(d) で示した矢印方向に脚の軌道をが行える．
ビジュアルオドメトリにより得られた脚先位与えた場合，赤い丸で囲んだ鉤爪が引っ掛かる．

置の時間数値微分をとることで脚先速度を求め，3.2

評価関数これを用いて評価を行う．具体的には Eq. (1) でグリッパが地形の凸部に引っ掛かっている状示すように，ビジュアルオドメトリで推定した脚態で脚を動かしたとき，その引っ掛かりが所望

desdes
先速度 V von と目標脚先速度 V n の差を V nのものかどうかに関わらず，脚は所望の軌道をで除した値 Rn を把持状態判定のための評価関追従できない．これが本手法において着目すべ数に用いる．ただし，n は時系列データのステッ–3–プ数を表し，V desn ̸= 0 の時にのみ Rn は計算さめ，グリッパが閉じているならば Wn が 1 に近れる．また，Rn は基本的には 0〜1 の値となる

い値，あるいは，グリッパが開いている時に Wnが，センサの計測誤差等により Rn が 1 を超えが 0 に近い値であれば，適切な把持状態と判定ることもある．Eq. (1) では V desn の大きさの影できる．一方，グリッパが閉じているのに WnV desnで正規化している．

が 1 に近い値，または，グリッパが開いている

Eq. (1) の意味としては，ある客を遊脚化するたにも関わらず Wn が 0 に近い値の場合は不適切

め，その脚を引き上げるような目標軌道を与えな把持状態と判定できる．

響を取り除くためにた時，Rn が 0 に近ければ，目標軌道と実際の軌上記のことから，グリッパの開閉の状態に応道の相対速度が 0 に近く，両者の軌道が一致しじて Wn に関する閾値が存在すれば，Fig. 2 でていることからグリッパには引っ掛かりがない

示した把持状態を判定できる．グリッパが閉じことを示し，反対に Rn が 1 に近ければ，グリッている時の閾値を Wth

パの引っ掛かりがあることによって両者の軌道release とする．これらの閾値をる時の閾値を Wthが一致していないことを表す．

決定できれば，Fig. 3 に基づいて逐次的に Wn とgrasp，グリッパが開いていここで，本手法ではビジュアルオドメトリで比較することで，現在の把持状態の適切性を判推定した脚先位置の差分をとって V vo を計算し定できる．グリッパが閉じている時は，Wn がているが，ノイズに対するロバスト性を高める

graspを超えればグリッパが適切に把持可能点
Wthため，Eq. (2) で示すように，ビジュアルオドメを把持している把持状態 (Successful grasping)

トリの分散 σn2 を重みとして Rn を平滑化した移と判定され，逆に Wn が Wth

動加重平均 Wn を計算する．そして，この Wnリッパが把持可能点を把持できていない不十分を本手法における把持状態を判定するための評な把持状態 (Failed grasping) と判定される．一価関数として設定する．ただし，N は移動加重

release方，グリッパが開いている時は，Wn が Wth平均を計算する際に使用するデータ総数を表す．

未満ならば適切にグリッパが開いている把持状

Rn =voV desn −Vn

V desnN−1∑

Wn =(1)

release を超えたときはグリッパは開いていが Wthるが引っ掛かりが残る不適切な把持状態 (Failedreleasing) と判定される．
把持状態を判定するための閾値は，実験によっ(2)て得られた Wn の傾向を調べることで決定する．

−2σn−i

そのため，Case 1-1 と Case 1-2，Case 2-1 と Case

i=03.3未満の時はグ態 (Successful releasing) と判定され，逆に Wn−2σn−i
Rn−ii=0N−1
∑

grasp

2-2 において Wn の比較を行う．実験で得た Wn

把持状態判定のアルゴリズムの全時系列データより，引っ掛かりがある Case

2.3 節で導入した Wn を評価し，グリッパが閉じている時は Successful grasping と Failedgrasping，開いている時は Successful releasingと Failed releasing を判定するアルゴリズムについて述べる．脚に遊脚の指令を与えた時，Wnが 0 に近ければ引っ掛かりがなく，Wn が 1 にgrasp
1-1 と Case 2-2 からは Wn の最小値 Wn,successful
release ，引っ掛かりがない Case 1-2，Caseと Wn,failed
grasp
release
2-1 からは Wn の最大値 Wn,failedと Wn,successfulを記録する．そして，Case 1-1 と Case 1-2，Case

2-1 と Case 2-2 の比較を行い，Wn の時系列デー
タがそれぞれの Case で二分する閾値を決定す

近ければ引っ掛かりがある状態となる．そのた–4–

Calculate 𝑊𝑛

No

Gripper is grasping
Yes

Nograsp

𝑊𝑛 > 𝑊thNo

𝑊𝑛 > 𝑊threlease

Yes

Yes

Successful grasping Failed grasping

Failed releasing Successful releasing

Fig. 3: Flow chart for the proposed method todetermine the gripper’s state.
る．つまり，Case 1-1 と Case 1-2，Case 2-1 とCase 2-2 の比較を行ったとき，Eq. (3)，Eq. (4)graspを満たす WthFig. 4: Schematic diagram for determination
grasp
the threshold Wth.
1) 左前の脚を 5 秒間直線運動させる指令を

release を決定できれば，把，Wth送る持状態を判定できる．ここで，Eq. (3) に関してまとめた模式図を Fig. 4 に示す．Fig. 4 で示

2) 順運動学に基づく目標脚先位置とビジュ

すように Case 1-1 と Case 1-2 の Wn の時系列

アルオドメトリに基づく実際の脚先位置

grasp

データが二分されているならば Wthをそれぞれ計算するを決定

3) それぞれの脚先位置のタイムスタンプをできる．Case 1 についてまとめたが，同様のこ同期させるとが Case 2 でもいえる．

4) 同期された脚先位置の差分をとり，脚先のgrasp
grasp
grasp
Wn,failed< Wth< Wn,successful(3)

releasereleaserelease< Wn,failed< WthWn,successful

(4)

des
速度 V von ，V n を計算する

5) Wn を計算する

4.2

4.

実験

実験結果

Case 1-1 と Case 1-2，Case 2-1 と Case 2-2

本章では，Eq. (2) で示した Wn を実験によりにおいて，Wn におけるステップ数 n の履歴を算出する方法を述べ，実験により得られた結果それぞれ Fig. 5，Fig. 6 に示す．Fig. 5，Fig. 6を示す．そして，Eq. (3)，Eq. (4) を満たす閾

より，Case 1-1 と Case 2-2 から 5 回の実験でgrasp
release が決定できることを実験に
値 Wth ，Wthrelease ，そしの Wn の最小値 Wn,successful と Wn,failedより検証する．て Case 1-2 と Case 2-1 からは Wn の最大値

実験方法

grasp
releaseWn,failedと Wn,successfulを求める．Fig. 5 より，4.1

はじめに，Wn を計算するための実験方法について述べる．実験環境は Fig. 1 に示すようになっており，ハンドアイカメラが搭載されている左前の脚において，それぞれの Case で以下に示す手順に沿って実験を 5 回ずつ行った．ただし，移動加重平均 Wn を計算する際に使用するデータ総数 N は 5 とした．

grasp

grasp
grasp
Wn,successful= 0.89，Wn,failed= 0.58 となっreleaseた．また，Fig. 6 より，Wn,successful= 0.76，release = 0.91 となった．よって，Fig. 5 とWn,failedFig. 6 は Eq. (3) は Eq. (4) を満たす結果となった．すなわち Case 1-1 と Case 1-2，Case 2-1 とCase 2-2 における Wn の時系列データをそれぞれ二分する閾値を決定できることが検証できた．
この閾値を Fig. 3 のアルゴリズムに適用するこ–5–

を適切に設定することで，グリッパが閉じている
時は Successful grasping と Failed grasping，閉じている時は Successful releasing と Failed re-leasing をそれぞれ判定可能であることを，実機を用いた実験結果にもとづき明らかにした．今後は，不十分な把持状態と判定されたとき，適Fig. 5: Experimental results for Case 1-1 andCase 1-2.

切な把持状態に復帰させる動作を考える．また，今回はハンドアイカメラは 1 台のみであったが，今後は全ての脚先にハンドアイカメラを搭載する．これらにより，全ての脚に関する把持状態を判定でき，脚型クライミングロボットの自律移動の達成に近づくと考える．

謝辞
Fig. 6: Experimental results for Case 2-1 andCase 2-2.

本研究は JSPS 科研費 19J20685 の助成を受けたものです．

参考文献とで，ロボットは把持状態を判定できる．

Fig. 6 での n=4 の箇所を見ると，Case 2-1 における Wn の 1 ステップ目が大きくなりやすい傾向にあることが分かる．本来なら Case 2-1 における Wn は，Case 1-2 と同じように 0.3 程度になるはずである．この原因として，Case 2-1
では脚を把持可能点に押し付けすぎていることが考えられる．このような場合，脚を持ち上げる脚軌道を与えた時，脚が実際に持ち上がるまでに若干の遅れが生じるため，脚が動き出した直後の Rn が 1 に近い値となる．しかし，Rn を平滑化して Wn を計算しているため，Case 2-1と Case 2-2 における Wn の時系列データがそれrelease を決定できる結果
ぞれ二分され，閾値 Wthとなっている．

5.

1) T. Kaku, J. Haruyama, W. Miyake, A. Kumamoto,
K. Ishiyama, T. Nishibori, K. Yamamoto, S. T.
Crites, T. Michikami, Y. Yokota, et al., “Detectionof intact lava tubes at Marius Hills on the Moon bySELENE (Kaguya) Lunar Radar Sounder,” Geophysical Research Letters, vol. 44, no. 20, pp. 10–
155, 2017.
2) K. Nagaoka, H. Minote, K. Maruya, Y. Shirai,
K. Yoshida, T. Hakamada, H. Sawada, and T. Kubota, “Passive Spine Gripper for Free-Climbing
Robot in Extreme Terrain,” IEEE Robotics and Automation Letters, vol. 3, no. 3, pp. 1765–1770, 2018.
3) K. Uno, W. F. Ribeiro, W. Jones, Y. Shirai,
H. Minote, K. Nagaoka, and K. Yoshida, “Gaitplanning for a free-climbing robot based on tumble
stability,” in Proceedings of the 2019 IEEE/SICE
International Symposium on System Integration(SII), 2019, pp. 289–294.
4) 羽地啓悟，宇野健太朗，永岡健司，吉田和哉，“フリークライミングロボットのための地形とグリッパの幾何学形状にもとづく把持候補点検出手法”，ロボティク
ス・メカトロニクス講演会講演概要集，no. 2P1-B06，2020．
5) 比内俊樹，宇野健太朗，吉田和哉，“鉤爪型グリッパを有するクライミングロボットのための機械学習を用いた把持状態判定手法”，第 21 回計測自動制御学会シ
ステムインテグレーション部門講演会，no. 1H3-04，2020．

結論

本稿では，ハンドアイカメラによるビジュアルオドメトリを用いた脚型クライミングロボッ
トの把持状態判定手法を提案した．そして，閾値

–6–6) D. Scaramuzza and F. Fraundorfer, “Visual odometry [tutorial],” IEEE robotics and automation magazine, vol. 18, no. 4, pp. 80–92, 2011.