11C-4
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere

第 23 回日本バーチャルリアリティ学会大会論文集（2018 年 9 月）

テレイグジスタンスの研究（第 93 報）―精緻な手指作業を実現するマスタースレーブ計算手法―
井上康之 1)，加藤史洋 1)，舘暲 1)1) 東京大学 高齢社会総合研究機構（〒113-0033 東京都文京区本郷 7-3-1, y-inoue@tachilab.org）
概要：マスタースレーブ式ロボット操縦システムを用いて人間の細かな手の動きをロボットハンドで再現させるには，操縦者の手指姿勢を正確に計測してその情報をロボットに適切に反映させる必要がある。本研究では 9 軸慣性センサを用いて人の指先位置と方位を推定し，その手指姿勢をロボットに再現させる計算手法を構築した。この手法を用いることで操縦者ごとの手の大きさや形の違いによらずロボットハンドによる精緻な作業が可能になる。
キーワード：テレイグジスタンス，マスタースレーブ制御，運動学

1. はじめに操縦者はあたかもそのロボットの中に入っている，あるい

人間の手は 5 本の指が器用に動くことで様々な作業をは自分自身がロボットになったような感覚でロボットを遂行することができる。物を指先で摘まんだり指全体で包操作することができる。これらのシステムは頭や胴体・腕むように把持するといった基本的な動作から，外科手術をに関する動きは高い精度で再現できているが，手の動きはする・楽器を演奏するなどの特別な技能に至るまで，人類あまり正確に再現できていない。ロボットハンドの制御には器用に動く 5 本の指を使って文明社会を築き上げてきついて，TELESAR V では操縦者の手に装着した曲げ感知た。しかし，特別な技能に関する器用な人の手の動きはそセンサグローブを用いた手法が提案されている[4]。この手の人にしかできないことが多く，また，それらは暗黙的な法では，操縦者が特定の手指姿勢を行っている時の指節の身体知である。そのため，専門医や演奏家などの優れた技曲げ角を測定し，その情報に基づいて操縦者の手とロボッ能はその人の手の届く範囲でしか実現されず，その技能をトハンドの対応関係を取ることで手指運動のマスタース他者に教えるのにも困難がある。

レーブ制御を行っている。しかし，この手法は操縦者の指それに対して，人間の身体の動きを記録してロボットに先位置に関する厳密な逆運動学問題を解いておらず，手指その動きを再現させるという技術的アプローチが存在す姿勢が常に正確に再現されるとは限らない。そのため，操る。そのひとつが人間の存在そのものを実質的に遠隔地に縦者はロボットハンドと実際の手の間にある位置や方向伝えるテレイグジスタンス[1]である。人間と同等の運動機のずれを視覚的に補正する必要があり，指先の身体感覚を能・感覚機能を備えた代理ロボットを通じて，操縦者の身うまく使うことができない。

体運動がリアルタイムに別の場所に再現される。テレイグ

手指運動の厳密なマスタースレーブ制御が困難な理由

ジスタンスが実現すると，人は実際に移動することなくのひとつは，指の動きを正確に計測するのが難しいためで様々な場所で活動できるようになる。しかし，特殊な訓練ある。モーションキャプチャに代表される光学式センサはなしにロボットを自らの身体と同じように自然に動かせ指の位置の計測に適するが，自己遮蔽による欠落が生じやるようにするためには，人間の動きを正確にロボットに再すい。一方で，装着型センサグローブは自己遮蔽が起きず現させるマスタースレーブ式ロボット操縦システムが必

安定して指の曲げ角を計測することが可能だが，指の位置要である。

は計測できないことが多い。

テレイグジスタンスを実現するための人型代理ロボッ

そこで，本報告では，操縦者の手とロボットハンドを厳ト“TELESAR”とその制御システムがこれまで開発されて密に一致させる運動学的なマスタースレーブ計算手法をきた[2][3]。これらのシステムは操縦者の身体の動きを計提案して，その有効性を検討する。この手法によってロボ測し，その動きをロボットに再現させる。人とロボットのットハンドの操作が正確に行えるようになることで，単純身体各部どうしの位置や姿勢を正確に一致させることで，な手指動作だけでなく専門的な身体技能もロボットハン

Yasuyuki INOUE, Fumihiro KATO and Susumu TACHI© 2018 日本バーチャルリアリティ学会

ドを通じて再現できるようになると期待される。

- 11C-4 -11C-4

2. システム構成

なり，事前に計測しておく必要がある。

提案システムは操縦者の手指姿勢を計測してその指先リンク長𝒍を厳密に測定するにはレントゲンや CT など位置を推定する順運動学プロセスと，推定された操縦者ので各指骨の長さや向きを調べる必要があるが，あまり現実指先位置に基づいてロボットハンドの各ジョイント角を的ではない。より現実的な方法として手指の写真画像から決定する逆運動学プロセスからなる。

リンク長を推定することは可能だが，その推定値に誤りが2.1 操縦者の手指姿勢に関する順運動学モデル

あると順運動学モデルの計算結果に狂いが生じる。

指先の正確な位置と姿勢を求めるため，ヒト手指の骨格

この問題に対して，本システムでは指先位置の実測デー構造をリンクモデルで表現することを考える。ヒト手指のタに対する最小二乗法を用いたリンク長の推定を行う。具骨格は手首に粒上の骨が凝集した手根骨があり，そこから体的には，指先の 3 次元位置𝒑をモーションキャプチャで各指に向かって中手骨が伸びる。その先に，母指では基節直接計測し，それと同時に各指節の回転角𝑹を 9 軸慣性セ骨と末節骨の 2 節がつながり，残りの指では基節骨・中節ンサで計測する。次に，(1)式の同次行列の積を展開して，骨・末節骨の 3 節がつながる。母指の中手骨は CM 関節で並進成分に関する 3 つの方程式を連立させる。

広く可動するのに対して，母指以外は中手骨は手根骨と固𝑓𝑥 (𝑙0𝑥 , 𝑙0𝑦 , 𝑙0𝑧 , ⋯ 𝑙3𝑥 , 𝑙3𝑦 , 𝑙3𝑧 ) = 𝑝𝑥

着して板状の手甲部を形成する（図 1）。

{𝑓𝑦 (𝑙0𝑥 , 𝑙0𝑦 , 𝑙0𝑧 , ⋯ 𝑙3𝑥 , 𝑙3𝑦 , 𝑙3𝑧 ) = 𝑝𝑦MPMPCM𝑓𝑧 (𝑙0𝑥 , 𝑙0𝑦 , 𝑙0𝑧 , ⋯ 𝑙3𝑥 , 𝑙3𝑦 , 𝑙3𝑧 ) = 𝑝𝑧

母指IP

左辺は 12 の変数（4 リンク×3 軸方向）からなる 1 次関PIP

DIP数であり，右辺は指先の位置である。𝑓𝑥 , 𝑓𝑦 , 𝑓𝑧 は(1)式の同次

示指行列の積で求まるが，その具体的な数式は煩雑であるため，

中節骨

手根骨

⋯ (2)

基節骨

ここでは省略する。この方程式は，ある指の姿勢における中指各指節の方向と指先位置の関係を示すものである。

末節骨

この方程式からリンク長に関する 12 の未知パラメータ

薬指中手骨を求めるため，(2)式を行列表現𝑨𝒙 = 𝒃に書き直す。ここで小指𝑨は指姿勢に関する定数行列（3×12），𝒙はリンク長に関す
J3る変数ベクトル（12×1），𝒃は指先位置に関する定数ベク

J2J1ローカル原点

J1l0J2J3l1l2

トル（3×1）である。この𝑨と𝒃に最低 4 つの異なる指姿勢に関する計測データ(𝑹, 𝒑)を与えることで，𝒙の最小二乗解

l3̂ = (𝑨𝑇 𝑨)−1 𝑨𝑇 𝒃が求まり，リンク長が推定される。この手𝒙法で一旦リンク長が定まれば，以後は(1)式を用いて指先位置を計算で求められるようになる。
2.2 ロボットハンドの手指姿勢に関する逆運動学モデル

図 1: ヒト手指の骨格構造とそのリンクモデル

人間の手指運動を再現することができる 5 指ロボットハンド（Universal Hand 05，川渕技研）を用いる（図 2）。

各節骨どうしの関節（DIP，PIP，IP，MP，CM）を回転

第 I 指（母指）は 5 自由度の高い可動性を持ち，人間の母関節と見なすと，手のローカル座標系における指先の先端指と同様，他の指に対向させることができる。第 II～V 指部に関する同次座標変換行列 𝑚𝑠−ℎ𝑎𝑛𝑑𝑓𝑡𝑖𝑝𝑻 は指の違いによらは 3 または 2 自由度の回転関節による指節の屈伸運動を行ず以下の 3 関節リンクモデルで定式化できる。

うことができる。その他，指どうしの開閉（アブダクショ

𝐽1𝐽2𝐽3𝑚𝑠−ℎ𝑎𝑛𝑑𝑚𝑠−ℎ𝑎𝑛𝑑𝐽1𝑻 ∙ 𝐽2𝑻 ∙ 𝐽3𝑻 ∙ 𝑓𝑡𝑖𝑝𝑻
𝑓𝑡𝑖𝑝𝑻 =𝑚𝑠−ℎ𝑎𝑛𝑑𝐽1𝑻 = 𝑻𝒓𝒂𝒏(𝒍0 )𝐽1
𝐽2𝑻 = 𝑹𝒐𝒕(𝑹1 ) ∙ 𝑻𝒓𝒂𝒏(𝒍1 )𝐽2
𝐽3𝑻 = 𝑹𝒐𝒕(𝑹2 ) ∙ 𝑻𝒓𝒂𝒏(𝒍2 )𝐽3𝑓𝑡𝑖𝑝𝑻 = 𝑹𝒐𝒕(𝑹3 ) ∙ 𝑻𝒓𝒂𝒏(𝒍3 )ン）運動に対応する 1 自由度が存在する。合計 16 自由度⋯ (1)を持つこの 5 指ロボットハンドが次世代テレイグジスタ
ンスロボット TELESAR VI に搭載される予定である。

ここで，𝑹𝑚 は第 m 関節（m=1~3）による指の 3 軸回転角を示す 3×3 の回転行列，𝒍𝑛 は第 n リンク（n=0~3）の指の長さを示す 3×1 の並進ベクトルであり，𝑹𝒐𝒕(𝑹)と𝑻𝒓𝒂𝒏(𝒍)はこれらを 4×4 同次行列の回転／並進成分に変換する関数とする。このモデルに各節の具体的な𝑹と𝒍を与えることで，ある手指姿勢に関する各指先の位置と方位が得られる。それらのデータのうち，𝑹（≒関節の曲げ角）
は各指節に 3 次元姿勢センサを取り付けることで直ちに

図 2: TELESAR VI 5 指ロボットハンド計測できるが，𝒍（≒指骨の長さ）は個人ごと・指ごとに異（16 自由度）

© 2018 日本バーチャルリアリティ学会- 11C-4 -11C-4

テレイグジスタンスにおいて重要なことは，操縦者の視同じとは限らず， 𝑚𝑠−𝑡ℎ𝑚𝑡𝑖𝑝𝒑をそのまま目標値に設定する点から見た終端部の位置と方向を一致させることであると，人間の方が指が長い場合はロボットハンドの可動範囲[2][3]。そのため，理想的には 5 指全ての指先の位置と方向を越えたり，逆に人間の方が短い場合は可動範囲が極端にがマスタースレーブ間で一致した状態を作り出すことが狭くなることが起こりうる。それを防ぐため，操縦者の手望ましい。しかし，人間の指長には個人ごとに異なる一方とロボットハンドが初期姿勢にある時の母指位置でロボットハンドの指長は固定である。また，人間の関節𝑚𝑠−𝑡ℎ𝑚𝑡𝑖𝑝𝒑𝑖𝑛𝑖 と 𝑠𝑙−𝑡ℎ𝑚𝑡𝑖𝑝𝒑𝑖𝑛𝑖 をあらかじめ求めておき，その可動域に対してロボットハンドの可動域が足りず目標の差分ベクトル 𝒅𝑖𝑛𝑖 = 𝑠𝑙−𝑡ℎ𝑚𝑡𝑖𝑝𝒑𝑖𝑛𝑖 − 𝑚𝑠−𝑡ℎ𝑚𝑡𝑖𝑝𝒑𝑖𝑛𝑖 だけ母位置や方向に到達できない状況もありうる。故に，5 指全指位置の目標値をオフセットさせることで，指長の個人差ての位置・方向を同時に厳密に一致させることは難しい。によらずロボットハンドの可動範囲が十分に利用できる。

そこで，本手法では以下の 3 つの点についてマスタースレーブ間で一致させることを考える。

次に，３に関しては紙面の都合から示指（第 II 指）のみについて述べる。TELESAR VI ロボットハンド第 II 指の順

１． 操縦者の視点から見た手首の位置と方向運動学は以下のように記述される。
𝐽1𝐽2
𝐽3𝐽4
𝑠𝑙−ℎ𝑎𝑛𝑑𝑠𝑙−ℎ𝑎𝑛𝑑𝐽1𝑻 ∙ 𝐽2𝑻 ∙ 𝐽3𝑻 ∙ 𝐽4𝑻 ∙ 𝑠𝑙−𝑖𝑑𝑥𝑡𝑖𝑝𝑻𝑠𝑙−𝑖𝑑𝑥𝑡𝑖𝑝𝑻 =２．

手のローカル座標系における母指の相対位置

３．

母指に対向する各指までの指間ベクトル= 𝑰𝒏𝒅𝒆𝒙(𝜙1 , 𝜙2 , 𝜙3 , 𝜙4 )まず，手全体の位置・方向をマスタースレーブ間で一致

ここで，𝜙1 ~𝜙4 は第 II 指の各ジョイント角であり，𝑰𝒏𝒅𝒆𝒙()させる。これによって固有感覚で知覚される操縦者の手とは同次行列の積で得られる 12 式の省略表現である。この

カメラ映像に見えるロボットハンドの空間的な整合性が中から，第 II 指の終端位置に対応する 3 式を取り出す。

保たれる。次に，手のローカル座標系の原点（＝手首）に操縦者の母指の 3 次元的な動きがロボットハンドに再現ℎ𝑥 (𝜙1 , 𝜙2 , 𝜙3 , 𝜙4 ) = 𝑝𝑥{ℎ𝑦 (𝜙1 , 𝜙2 , 𝜙3 , 𝜙4 ) = 𝑝𝑦ℎ𝑧 (𝜙1 , 𝜙2 , 𝜙3 , 𝜙4 ) = 𝑝𝑧

される。最後に，母指の指先から対向する 4 指の指先まで

第 I 指と同様に，これらの式を用いて任意の終端位置にの指間ベクトル（＝指どうしの距離と方向）を一致させる。

対応するジョイント角𝜙1 ~𝜙4 を求める逆運動学問題を解

これによって指先を使った物を摘まむ・掴む動作がロボッ

き，操縦者の示指位置 𝑚𝑠−𝑖𝑑𝑥𝑡𝑖𝑝𝒑を目標値として入力する。

トハンドに再現される。

そのとき指間ベクトル 𝒗 = 𝑖𝑑𝑥𝑡𝑖𝑝𝒑 − 𝑡ℎ𝑚𝑡𝑖𝑝𝒑 がマスター

対する母指の指先の相対位置を一致させる。これによって上記のうち，１の具体的な実現方法は先行研究[3]で述べられているため，ここでは２と３について述べる。まず２スレーブ間で一致するように示指位置の目標値をオフセットさせる。

について，母指（第 I 指）に関するロボットハンドの順運

上記１～３を適用した結果，手全体の位置と姿勢はマス動学モデルを記述し，その逆運動学問題を 考える。

タースレーブ間で一致するが，指先の位置はオフセット分

TELESAR VI ロボットハンド第 I 指の順運動学は以下のよだけずれるため，カメラ映像から見るロボットハンドの指うに記述される。

先位置は操縦者のそれとは厳密には一致しない。しかし，

𝐽1
𝐽2𝐽3𝐽4𝐽5𝑠𝑙−ℎ𝑎𝑛𝑑𝑠𝑙−ℎ𝑎𝑛𝑑𝐽1𝑻 ∙ 𝐽2𝑻 ∙ 𝐽3𝑻 ∙ 𝐽4𝑻 ∙ 𝐽5𝑻 ∙ 𝑠𝑙−𝑡ℎ𝑚𝑡𝑖𝑝𝑻
𝑠𝑙−𝑡ℎ𝑚𝑡𝑖𝑝𝑻 =指間ベクトルを一致させているため，操縦者が自らの指を動かしたときの指先どうしの相対的な位置関係は正確に= 𝑻𝒉𝒖𝒎𝒃(𝜃1 , 𝜃2 , 𝜃3 , 𝜃4 , 𝜃5 )ここで，
𝜃1 ~𝜃5 は第 I 指の各ジョイント角であり，𝑻𝒉𝒖𝒎𝒃()

ロボットハンドで再現されており，細かな手指作業を行う

は同次行列の積で得られる回転 9，並進 3 の合計 12 式をことが可能である。

省略して表現したものである。この中から，第 I 指の終端

3. 提案システムの評価位置に対応する並進成分 3 式を取り出す。

3.1 順運動学モデルによる指先位置の推定精度

𝑔𝑥 (𝜃1 , 𝜃2 , 𝜃3 , 𝜃4 , 𝜃5 ) = 𝑝𝑥{𝑔𝑦 (𝜃1 , 𝜃2 , 𝜃3 , 𝜃4 , 𝜃5 ) = 𝑝𝑦𝑔𝑧 (𝜃1 , 𝜃2 , 𝜃3 , 𝜃4 , 𝜃5 ) = 𝑝𝑧

提案手法の有効性を調べるため，2.1 節の手法を用いた指先位置の推定精度を評価した。9 軸慣性センサを備えた

左辺は 5 つの変数（ジョイント角）からなる非線形関数

装着型センサグローブ（IGS-Cobra Glove）と光学モーショ（詳細は省略）であり，右辺は第 I 指の終端位置である。

ンキャプチャ（OptiTrack）を用いて，手指運動を行う間のこれらの式から，任意の終端位置が与えられた時にそれに指先位置とその指姿勢を計測し，計算で得られた指先の推対応するジョイント角𝜃1 ~𝜃5 を求める逆運動学問題を解く。

定位置をモーションキャプチャの実測位置と比較した。図

求める変数の数に比べて入力の数が多いため，実際に解く

3 は母指と示指に関する指先位置の運動軌跡である。赤線には追加の制約条件が必要である。

がモーションキャプチャによる実測値，青線は提案モデルこうして得られた逆運動学モデルに対して，2.1 節の推による推定値を示している。図 3 から分かるように，推定定手法で得られる操縦者の母指位置 𝑚𝑠−𝑡ℎ𝑚𝑡𝑖𝑝𝒑 を目標値された指先位置は実測値とほぼ同じであった。次に，指どとして入力することで，ローカル座標系におけるマスターうしの相対距離と方向が正確に推定できているかを調べスレーブ間での母指先端位置が一致する。ただし，前述した。図 4 は母指と示指を動かしている間の指間ベクトルたように人間の指長とロボットハンドの指長は必ずしも

𝒗 = 𝑖𝑑𝑥𝑡𝑖𝑝𝒑 − 𝑡ℎ𝑚𝑡𝑖𝑝𝒑の長さ（実測値：赤，推定値：青）© 2018 日本バーチャルリアリティ学会- 11C-4 -11C-4

現するためのマスタースレーブ計算手法を提案した。操縦者側の手指姿勢の推定には 9 軸慣性センサとモーションキャプチャを併用した順運動学モデリングを行い，そのモデルで推定した操縦者の指先位置に基づいてロボットハンドのジョイント角を逆運動学で求めることで，マスタースレーブ間での指先位置を正確に一致させることに成功した。この手法を用いることで，テレイグジスタンスロボットの操縦者は自らの手指運動をロボットハンドを使って正確に再現させることができるようになる。

図 3: 順運動学モデルによる指先の推定位置

今後の課題は，順運動学モデリングにおけるリンク長推定プロセスの簡便化と，逆運動学計算における指先姿勢の利用である。前者は，現在の手法は個人ごとに異なる各指のリンク長を得るために，指ごとにモーションキャプチャの計測マーカーを取り付けて初期計測を行う必要がある（所要時間 5～10 分）。これに対して，2D:4D 比などの解剖学的制約を利用すれば，より短時間で高精度なリンク長推定が可能になると予想される。後者は，現在の逆運動学計算は指先の終端位置だけをマスタースレーブ間で一致
図 4: 指間ベクトルの長さと角度誤差させる形式になっているが，これに指先の方向も一致させるよう逆運動学問題を定式化すれば，指先で物を挟む動作とそのベクトル方向の角度誤差である。図 4 から分かるよだけでなく，指の腹で物を押す動作や爪で弾くなどのさらうに，提案モデルは指先の間の相対距離と方向をほぼ常にに細かな手指運動も再現できると期待される。

正確に推定できていた。誤差の平均と標準偏差はそれぞれ0.9±3.8 mm，2.4±1.6 deg であった。

謝辞

3.2 逆運動学モデルによる目標位置への到達精度の戦略的創造研究推進事業（ACCEL）「触原色に立脚した

3.1 節で得られた指先の推定位置を用いてロボットハンドの逆運動学計算を行い，目標値に対する到達精度を確認

本研究は国立研究開発法人科学技術振興機構（JST）

身体性メディア技術の基盤構築と応用展開」の支援によって行われた。

した。図 5 は母指／示指に関する操縦者の指先の入力位置（青）に対するロボットハンドの出力位置（紫）である。

参考文献[1] S. Tachi, Telexistence (2nd Edition). World Scientific,
2015.

[2] C. L. Fernando, M. Furukawa, T. Kurogi, S. Kamuro, K.
Sato, K. Minamizawa and S. Tachi, "Design of TELESAR
V for Transferring Bodily Consciousness in Telexistence",
2012 IEEE/RSJ International Conference on Intelligent
Robots and Systems, pp.5112 – 5118, 2012.

図 5: 逆運動学モデルによるロボットハンドの指先位置[3] 井上康之，M. Y. Saraiji，C. L. Fernando，加藤史洋，山図 5 から分かるように，逆運動学で求められたロボット

崎喬輔，田島優輝，舘暲：テレイグジスタンスの研究

ハンド各指先の先端位置は操縦者の指先位置とほぼ正確（第 89 報）―テレイグジスタンスのためのロボットに一致していた。一部の姿勢においては入力と出力の間にシミュレーションシステム―，日本バーチャルリア

若干の位置ずれがあったが，これは目標となる指先位置がリティ学会第 22 回大会論文集，2017.

ロボットハンドの可動範囲を超えているなど逆運動学の[4] C. L. Fernando, M. Furukawa, K. Minamizawa, S. Tachi,

解が得られない場合に生じており，目標が可動範囲内にあ"Experiencing

onesown

HandinTelexistence

る場合は常に正確にロボットハンド先端が目標まで到達

Manipulation with a 15 DOF Anthropomorphic Robot

していた。

Hand and a Flexible Master Glove", Proceedings of the23rd International Conference on Artificial Reality and4. まとめ

Telexistence (ICAT), pp.20 – 27, 2013.

本報告では，ロボットハンドによる精緻な手指運動を実© 2018 日本バーチャルリアリティ学会- 11C-4 -