第 18 回日本バーチャルリアリティ学会大会論文集 (2013 年 9 月)

医学的知見を利用した代表手動作に基づく
少数センサデータグローブのデータ補正法
A Data Adjustment Method of Low-priced Data-glove based on
Representative Hand Motion Using Medical Knowledge
高橋寛昌 1) ，舟橋健司 2)

Hiromasa TAKAHASHI and Kenji FUNAHASHI
1) 名古屋工業大学 情報工学専攻（〒 466-8555 名古屋市昭和区御器所町, hiromasa@center.nitech.ac.jp）

2) 名古屋工業大学 情報工学専攻（〒 466-8555 名古屋市昭和区御器所町, kenji@nitech.ac.jp）
概要: データグローブは VR 分野で広く利用されているインタフェースである．高価なデータグローブ
ほど多数のセンサを備える一方，低価格帯のデータグローブはセンサ数が少ないため，手の動作の詳細なデータを直接的には取得できない．そこで当研究室では，後者より得られるセンサ値から，ユーザの行う手の動作の種類を推定することで，各指関節角度を取得する手法を提案している．これまでに，日常的に行う把持動作から握る・摘む・挟み込む動作を代表手動作として想定し，他の手動作はこれらの合成動作として表現可能と想定していた．しかし，これらが他の手動作を表現するのに適切なのか否かについては議論していない．そこで本論文では，医学的な知見に基づき代表手動作の再考察を行うことで，多様な手動作における自然な各指関節角度の取得を実現する．
キーワード： データグローブ，手動作推定，関節角度推定1.

はじめに関関係を利用して，全ての関節角度を推定する [2]．具体的

近年，バーチャルリアリティ(VR) 技術の発展に伴い，エには，まず日常的に行う把持動作の中から握る・摘む・挟みデュテインメント要素を兼ね備えた一般家庭向け VR シス込む動作を代表手動作として想定する．そして各代表手動テムに関する研究が行われている [1]．このようなシステム作に対するユーザの手動作の比率を算出する．その結果をに使用されるインタフェースは，小規模・低コストで実現可

基に手の各指関節角度を推定することで，代表手動作以外

能であり，実空間と同様の感覚で仮想空間中の物体を操作可の手動作も表現可能としている．しかし上記 3 種類の手動能なものが望ましい．人間は実空間では主に物体を手で扱作を代表手動作として用いることが，多様な手動作を表現うため，手による物体操作 (手動作) を計測できるインターするのに適切なのか否かについては議論していなかった．

フェースであるデータグローブに注目する．人間の手動作

本研究では, 人の手の運動における，物体把持パターンのを正確に取得するためには，多数のセンサを有するデータ分類に関する研究 [3][4] を参考に，少数センサデータグローグローブを用いる必要があるが，そのようなデータグローブの補正に適した代表手動作を見出だすことで，多様な手ブは高価である．一方で，各指全体の曲げ角を一つのセン動作における自然な各指関節角度の取得を目指す．

サでまとめて計測し，それぞれの指関節についての計測を

以下，2 章では手動作の推定による各指関節角度の決定法省くことでセンサ数を少なくした安価なデータグローブもについて，3 章では代表手動作の再考察について，4 章では存在するが，手の動きに関する詳細なデータを直接的には実験結果と考察について述べる．

取得できないという欠点がある．
そこで当研究室では，一般家庭での使用を想定し，各指2.

手動作の推定による各指関節角度の決定法に一つのベンドセンサのみが組み込まれたデータグローブ

2.1

手動作の推定手法からユーザの手動作を取得する手法を提案している．この

当研究室で提案している手動作の推定手法では，事前に手法では，各指同士の屈曲具合の関係を基に手動作の種類各代表手動作を行った時のセンサ値をサンプリングし，得らを推定し，想定される手動作における指の各関節同士の相れたデータの値を利用する．またユーザが, 想定されたある

代表手動作を行ったとしても理想的な代表手動作と完全に2.2指関節角度の決定法一致するように手を動かすことは困難であるため, それに伴事前にセンサが多数内臓されたデータグローブ (Immer-いセンサ値もある程度ばらつくと考えられる．そこで，まsion 社，CyberTouch) により，各代表手動作を行った時のず各代表手動作を行った時のセンサ値の分布について調査

第 2，第 3 関節角度のサンプリングを行う．この結果と少数を行い，調査結果を利用することでセンサ値のばらつきのセンサデータグローブを手に装着して各代表手動作を行っ分布を考慮した手動作推定手法を提案している．

た時に得られる各指のセンサ値をそれぞれ対応付け，代表2.1.1

ばらつきの分布の調査

手動作 p における指 i の第 2 および第 3 関節角度を表す 3

各代表手動作を行った時のセンサ値を複数回サンプリン次多項式を最小二乗法により求める．なお第 1 関節角度にグし，得られたサンプルデータの無作為に選択した点に対ついては第 2 関節角度との比例関係を利用して求める [5]．

して有意水準 5% で D’Agostino-Pearson 検定を行ったところ，全てのサンプルデータにおいて有意差が認められなかった．従って代表手動作を行った時の各指のセンサ値の分布は，正規分布に従うと仮定し, 各センサ値を特徴量とした 5 次元特徴空間においてもセンサ値の分布は多変量正規分布に従うと仮定する．

2.1.2

まず各指のセンサ値を特徴ベクトルとした 5 次元特徴空間における n 点に対して，多変量正規分布の確率密度関数に基づく次式を図 1 のように設定する．実際には指５本のセンサ値を用いており 5 次元の特徴空間として表されるが，{(1)

ただし，S はセンサ値ベクトル，µpn および Σpn は手動
作 p における n (1 ≤ n ≤ 25 を満たす整数) 点目のセンサ値平均ベクトル，分散共分散行列を表す．続いてグローブから実際にセンサ値が得られた場合，式 (1) より出力される値の中で最大となるものを次式に従い選択ことで，現在のセンサ出力値に対する代表手動作 p における尤度を得る．

(2)n

その上でユーザが行っている手動作を 3 種類の代表手動作の合成動作として考え，手動作 p の比率 rp を次式に従い決定する．

Lprp = ∑2L
p=1 p=

Epi3 Si 3 + Fpi3 Si 2 + Gpi3 Si + Hpi3

(6)

θi2
θi3(4)

ただし，θi1 ，
θi2 ，θi3 は指 i における第 1，第 2，第 3 関節のは定数を表す．そして比率 rp を重み係数として，上式から得られる代表手動作別の指関節角度の加重平均値を算出することで，ユーザの各指関節角度を取得する．なお現段階
では，指の第３関節における内転外転運動は考慮せず，把持動作に不可欠な指の屈曲の推定に重点をおいている．

}

1
Lpn (S:µpn ,Σpn) = exp − (S−µpn)T Σ−1pn (S−µpn)2

Lp = max {Lpn (S : µpn , Σpn )}(5)=

曲げ角度，Si は指 i のセンサ値，Epij ，Fpij ，Gpij ，Hpij

センサ値分布に基づく手動作推定

図 1 では 2 次元での例を示す．

=2
θi2
3Epi2 Si 3 + Fpi2 Si 2 + Gpi2 Si + Hpi2

θi1(3)

3.

代表手動作の再考察

3.1

代表手動作の候補選定

これまでは代表手動作を握る，摘む，挟み込む動作３つとしていた．以下では，人の手の把持行動に関する研究 [3]を参考に，代表手動作を再考察する．日常生活に見られる把持のフォームが一定の実験的条件下で観察され，臨床での参照に役立つ程度の 14 のグループに分類された．後に，Napier [6] の質的分類の知見を加えた大項目 4，小項目 14の分類が行われた [4]．我々は，この 14 の分類のうち，物体把持後の手の形状がおおよそ一定であり，さらに各手形状に至るまでのセンサ値が一定以上の変化を見せる 10 種類を代表手動作の候補とした (図 2)．この 10 種類の手動作について，その最終的な手形状に至るまでの各指関節角度の推移を CyberTouch により取得したところ，ある手形状にsensor of middle finger

至るまでの関節角度の推移の中の一部で他の手動作が表現110可能である場合が確認できた (図 3)．そこで Standard によ100

り Parallel Flex と Circular Flex，Lateral Contact により90

Phalangeal Ext を包括的に表現するとし，Parallel Flex，Circular Flex および Phalangeal Ext を除いた 7 種類を代80

表手動作の候補１とする．

70

3.2

60

代表手動作の候補削減

同じような手動作が存在した場合，ある一部の手動作の50影響のみが大きく出てしまい，指関節角度推定結果の精度40を低下させてしまう可能性がある．また，代表手動作を候補

30204060

80 100 120 140 160 180 200
sensor of index finger

１からさらに少なくした場合でも，それらが同等以上の精度で結果を出すのであれば，冗長な計算を削除できる．まず候補１の各手動作を行った時のセンサ値を取得し，それ

図 1: 2 次元空間における Lpn の配置例

らを標準化 (平均 0，分散 1) する．これを用いて ward 法による階層型クラスタ分析を行い，候補１に関するデンド

(1) Standard(2) Hook-like(3) Index Ext(4) Lateral Contact(5) Tripod(6) Parallel Ext(7) Tip Contact(8) Pharangeal Ext(9) Parallel Flex(10) Circular Flex

PIP joint angle of index finger

図 2: 10 種類の手動作補２として選定する．また C2 および C3 に属する手動作の1009080706050403020100

指関節角度データの平均値から，図 5 のような C2 に対す
る平均手動作 MC2 と C3 に対する平均手動作 MC3 を構築し，これらに Standard と Pararel Ext を加えた４種類を代表手動作の候補 3 とする．
Standard
Parallel Ext
Circular Flex
02040
MP joint angle of index finger60

図 3: 示指の第 3，第 2 関節角度の関係 (例)図 5: 平均手動作 (左: MC2 ，右: MC3 )ログラムを作成する (図 4)．図 4 を基に，各手動作を C1 :Standard，C2 : Hook-like・Lateral Contact・Index Ext，
C3 : Tripod・Tip Contact，C4 : Prallel Ext の４つのクラ4.

実験と結果スに分類する．この中で単独でクラスを形成している手動作

前述の候補１，候補２，候補３をそれぞれ代表手動作としては，代表手動作の候補２として選定する．複数の手動作が存想定した実験システムを計算機 (Dual-Core AMD Opteron

在するクラスに対しては，各クラスの平均得点との差が最1210，1GHz) 上に構築し，実験を行った (図 6)．実験シス

も小さい手動作を候補２として選定する．ただし，平均得点テムでは，取得した指関節角度に基づく仮想手を CG としとの差が手動作間で無い場合には，指全体の屈曲量が大きて描画する．少数センサデータグローブは，各指に一つのベいものを選定する．以上の手順に従い，Standard，Lateral

ンドセンサを備える 5DT 社の Data Glove 5 Ultra を用い

Contact，Tripod，Parallel Ext の４種類を代表手動作の候る．本実験では，各実験システムに対して，想定した代表手動作を行ったときの各指のセンサ値を入力データセットして01234Standard
Hook-like
Lateral Contact5

与えたときに出力される推定比率 rp 値 (表 1) を確認した．
また CyberTouch より得られる指関節角度を真値としたときの各指の関節角度誤差 (表 2) を確認した．この際，候補１および候補２の実験システムには，Tripod を行ったとき

Index Extのデータセットを与え, 候補３の実験システムには MC2 をTripod行ったときのデータセットを与え，指関節角度を取得する．

Tip Contact

また実験システムでは想定していない手動作を入力した場

Parallel Ext

合の指関節角度誤差についても同様に評価を行った (表 3)．
この際，候補１および候補２の実験システムには，MC2 を

図 4: 候補１に関するデンドログラム行ったときのデータセットを与え, 候補３の実験システムに

は Tripod を行ったときのデータセットを与え，指関節角度

表 1 より，各候補ともある程度高い値で rp 値が得られてを取得する．なお表 2，表 3 は各指の第 1，第 2，第 3 関節いる．また候補 3 における全代表手動作の平均 rp 値 0.95

角度誤差の平均値を表す．

は，従来の代表手動作を 3 つとした場合の平均 rp 値 0.92よりも高い [2]．さらに表 2 および表 3 の平均値から各候補における手動作全体の関節角度誤差を算出すると，大きな差は見られないものの候補３を代表手動作として想定した実験システムが最も小さい結果となった．従って，少数センサデータグローブによる手の物体把持動作を表現するために適切な代表手動作は，候補３を基本に，今後さらなる検討を行いたい．

むすび

5.

本研究では，これまでに議論していない代表手動作の種類について，14 種類の把持フォームを基に適切な代表手動作を選定した．まず 14 種類の各把持フォームに至るまでの指関節角度の推移から，7 種類に選定したものを候補 1 とし，これをクラスタリングした結果を基に 4 種類に選定し

図 6: 実験の様子たものを候補 2 とした．さらに，同一クラスに属する複数の手動作から平均動作を構築し，これを含む 4 種類を候補3 とした．本研究における実験の結果，候補 3 が最も代表手

表 1: 推定比率 rp の平均値動作として適していることが分かった．
手動作

候補１

候補２

候補３

Standard

0.94

0.98

0.98

Hook-like0.82

Index Ext0.84

Lateral Contact0.610.64

Parallel Ext

0.85

0.89

Tip Contact

0.94

Tripod0.830.94

平均0.830.86

今後の課題としては，他の手動作を入力した場合の指関節角度の推定精度を評価する追加実験を行い，さらに検証を進めたい．また本研究の最終目標は，人の手の多様な動作をすべて少数センサデータグローブにより取得すること

0.89(MC2 )にあり，把持動作以外にも考慮が必要である．
謝辞

研究を進めるにあたり，有益な議論を頂いた本研究室諸氏に感謝する．なお，本研究の一部は JSPS 科研費

0.9524501186 の研究助成による．
0.99(MC3 )参考文献[1] 加藤史洋，三武裕玄，長谷川晶一：体験型料理シミュレー

0.95

タ，日本バーチャルリアリティ学会第 15 回大会講演論
文集，2D2-2 (DVD-ROM)，2010．
表 2: 代表手動作を入力した時の関節角度誤差 [度][2] 高橋寛昌，舟橋健司：センサ値分布を考慮したセンサ数の少ないデータグローブのデータ補正法，2013 年電子情拇指

示指中指

環指小指

平均

報通信学会総合大会 (境界・基礎) 講演論文集，p. 216，

2013.

候補１

8.3

5.7

3.9

3.4

6.5

5.6

候補２

5.9

2.5

3.2

4.9

3.0

3.9

候補３7.2

4.2

3.2

4.5

4.2

4.7

[3] 鎌倉矩子，大村道子，石井晴美，三星文子，三浦頼子：健常手の把握の様式-分類の試み，リハ医学 14，pp. 57-72，

1978.
[4] Kamakura N, Matsuo, Ishii H, Mitsuboshi F, Miura
Y: Patterns of static prehenshion in normal hands,

表 3: 代表手動作以外を入力した時の関節角度誤差 [度]Am J Occup Ther 34, pp. 437-445, 1980.
[5] ELKOURA G: Handrix: Animating the Human hand

拇指

示指中指

環指小指

平均, Proceedings of the 2003 ACM SIGGRAPH / Eu-

候補１

8.5

9.4

9.1

6.5

18.5

10.4

rographics Symposium on Computer Animation, pp.

候補２

9.4

9.6

9.6

6.5

17.55

10.5

候補３

8.2

8.7

8.7

7.4

12.22

9.0

110-119, 2003.
[6] Napier JR: The prehensile movements of the humanhand, J Bone Joint Surg 38(B), pp. 902-913, 1956.