第 16 回日本バーチャルリアリティ学会大会論文集 (2011 年 9 月)

センサー数の少ないデータグローブによる手動作推定に基づくデータ補正法
A data adjustment method of low-priced data-glove based on hand motion pattern estimation
濱口真一 1) ，舟橋健司 2)

Shinichi Hamaguchi and Kenji Funahashi1) 名古屋工業大学 工学研究科（〒 466-8555 愛知県名古屋市昭和区御器所町, hama@center.nitech.ac.jp ）2) 名古屋工業大学 情報基盤センター（〒 466-8555 愛知県名古屋市昭和区御器所町, kenji@nitech.ac.jp ）Abstract : Data-glove is an I/O device widely used in virtual reality research field. An expensive
glove tends to have many sensors, but a low-priced one has too few sensors to get accurate data of
human hand motion. In this paper, we propose a data adjustment method for reproducing natural
motion by few-sensored data-glove. We survey an angle correlation between each finger joint about
three types of motion, and estimate the present motion type using this correlation. Then we adjust
data-glove outputs to appropriate finger angles according to estimated motion. Using this method,
we can use few-sensored and low-priced data-glove to capture natural hand motion.
Key Words: data-glove, hand motion pattern estimation, finger joints correlation

1.

はじめにる。まず手の動作のうちキーとなる代表的な動作を想定し 、近年、エンターテイン メントをはじめとする様々な分野各動作における各指同士の屈曲具合の関係を実験により導で、バーチャルリアリティ(VR) 技術を用いたコンテンツに出する。これらの関係を基に 、データグローブのセンサー関する研究が盛んである。このようなコンテンツのインター出力値から現在の手動作の種類を推定し 、その上でそれぞフェースとしては、キーボード やマウスによる入力の他に、れの種類の動作における指関節同士の相関関係により測定

VR 研究において広く使われているデータグローブが挙げ値を補正することで、センサー数の少ないデータグローブられる。現在のデータグローブは高価格帯のものほど 多数でも自然な手動作の取得が可能となる。のセンサーを備える一方、低価格帯のものではセンサー数が少なくなる傾向にあり、後者では手の動作の詳細なデー

2.

従来研究タを取得できない。当研究室では 、一般家庭での利用を想当研究室では、これまでにセンサー数の少ないデータグ定し 、センサー数の少ない低価格帯のデータグローブで自ローブで自然な手の動作を取得するためのデータ補正法 [1]

然な手動作の取得を行うために 、指の各関節同士の相関関を提案している。低価格帯のデータグローブが備えるセン係を用いる手法 [1] を提案している。しかし 、この手法ではサーは 、複数の指の関節の動きをまとめて計測する仕様の手の動作を手を開いた状態から握る状態への 1 種類に限定ものが多く、手動作のデータを正確に取得することはできしており、我々の手で実際に可能な多様な動作についてはない。そこで、この手法では手動作の種類を手を開いた状対応できていない。人間の手の多様な動作を、把持対象と態から握るという 1 種類に限定し 、その動作における指関なる物体の形状情報と運動学を用いて再現する研究 [2] も行

節角度の相関関係から角度を決定している。まず、指のセわれている。そこで当研究室では 、指の各関節同士の相関ンサーが測定した値を基に各指の第 3 関節 (指の付け根側)関係と把持対象となる物体の形状情報を併用する手法 [3] もの曲げ角度を決定する。そして、握る動作での、第 3 関節提案している。

角度及び指関節同士の相関関係に基づき、残りの指関節の本論文では 、物体の形状情報を用いるのではなく、デー曲げ角度を決定する (式 1-3)。

タグローブのセンサー出力値のみを利用し 、各指同士の屈曲具合の関係を基に手動作を取得するデータ補正法を提案すθi3 = Ai si + Bi(1)

θi1 = Ci θi3 + Di(2)

θi1 =2
θi23(3)を通る直線を引く。ある指 i のセンサー測定値 si に対して、正規化後の値 Si を求める式は直線の方程式 (式 4) とする。

Si = N1i si + N2i

θi1 、θi2 、θi3 はある指 i における第 1 、第 2 、第 3 関節の曲げ角度であり、si は指 i のセンサーの測定値を表す。また、Ai 、Bi 、Ci 、Di は指 i における定数である。なお、式 3 はよく知られた関係式である [4]。これらの式を用いて 1 個のセンサーから指の各関節角度を求めることで、合計 5 個のセンサーから 15 個の関節角度を決定し 、手動作を取得することができる。しかしこの手法では 、現実の手で実際に可能な複雑かつ多様な動作には対応できていない。

(4)

N1i 、N2i は定数である。この式を用いて、測定データを正規化する。なお、正規化値 Si は第 3 関節そのものの角度を示すものではない。なぜなら第 2 関節も曲げた場合のセンサー測定値、正規化値はともに第 3 関節だけではなく、第2 関節の影響も受けているからである。また今後、本稿で述べる「センサー出力値」はセンサーが測定した値を正規化した値を指すものとする。

手動作推定に基づくデータ補正3.

本論文では、人間が日常的に行う手動作の種類の調査結
果 [5] から、「物体を把持する動作」に着目し 、「握る動作」、小さなものを「摘む動作」、薄いものを「挟み込む動作」の3 種類を主要な把持動作と位置付ける。これらの手動作において、人間の指は動作の開始から終了まで、手全体である程度決まった動きをすると考えられる。このことから 、特定の手動作において、手の指同士には「ある指がこの程度屈曲していたら別の指はこの程度屈曲する」という関係が見られる。ここでは、3 種類の手動作における各指同士の関係から現在の手動作を推定し 、推定結果に基づいてデータを補正する手順について述べる。

3.1

図 2: 正規化のための散布図 (人差し 指の例)

データグローブの正規化

本手法を様々なデータグローブに適用可能とするために、センサーが測定した値を正規化することを考える。低価格帯のデータグローブの多くは、指 1 本に対して 1 つのベンド センサーを備えるタイプのものが一般的である。本論文における実験で使用するデータグローブは 、各指につき 1つのベンド センサーを備え、手全体で 5 つのセンサーをもつ 5DT 社の 5DT Data Glove 5 Ultra (図 1) である。5DTのベンド センサーは第 2 関節と第 3 関節を覆うように設置されており、第１関節の動きは測定できない。

3.2

指同士の関係による手動作推定

現在の手動作の種類を推定するために、物体を握る動作、摘む動作、挟み込む動作のそれぞれにおいて指同士にみられる関係を調査する。まず事前に 、実際にグローブを装着して動作の開始から終了までのセンサー出力値をサンプ リングする。各動作につき複数回サンプ リングを行い、平均を取った結果は図 3 のように表せる。実際には指 5 本のセンサー出力値であり 5 次元空間として表されるが 、図では2 次元の例を示す。ここまでの調査で、各動作において、ある指 i のセンサー出力値が Si のときの他の指のおおよそのセンサー出力値がわかる。

図 1: 5DT Data Glove 5 Ultra
データグローブが測定した値を正規化するため、実際にグローブを装着してデータ収集を行う。指の各関節角度が0◦ のときを初期状態とし 、ここから第 3 関節角度が 30◦ 、60◦ 、90◦ の時にセンサーが測定した値を収集する。このとき第 2 関節は動かさないものとする。収集したデータを基に散布図 (図 2) を作成し 、図中のように各データ点の近傍

図 3: 指同士のセンサー出力値の関係 (人差し指と中指の例)

図 5: 出力値に対する第 3 関節角度 (人差し 指の例)
図 4: 第 2、第 3 関節角度の関係 (人差し 指の例)

θi3 を以下の関節各度決定の為の近似曲線方程式 (式 6 、7)
続いて、調査した各動作における出力値サンプルと現在により求める。の手動作における指同士の動きの関係から 、現在の手動作の種類を推定する。ユーザーの現在の手動作が 3 種類のどれかに近い場合、各指のセンサー出力値はその手動作におけるサンプルデータに近い値になると予想される。しかし

θi2 = Epi2 Si 3 + Fpi2 Si 2 + Gpi2 Si + Hpi2(6)

θi3 = Epi3 Si 3 + Fpi3 Si 2 + Gpi3 Si + Hpi3

(7)

なお Epij 、Fpij 、Gpij 、Hpij は定数である。

実際には、現在の手動作におけるセンサー出力値が、3 種類

実際にデータグローブから各指 i のセンサー出力値 (正規の手動作のうち 1 種類のサンプルデータに完全に一致する化後)Si が得られた場合、各手動作の合成比率 rp (rα , rβ ) をことは少ない。そこで本稿では、現在の手動作を、3 種類す求めた上で、以下の式により関節角度決定の為の合成係数

べての手動作の要素を併せ持つ「合成動作」であると考え、

Eωij ∼ Hωij を得る。

現在の手動作に含まれる各手動作の比率 r を推定する。r の推定には 、3 種類の手動作における出力値サンプルと現セEωij=..
.

rα · Eαij + rβ · Eβij

Hωij

=rα · Hαij + rβ · Hβij

ンサー出力値の 5 次元空間上での最短距離を用いる。ここで、例として動作 α と動作 β の 2 種類の合成動作を考え、(8)このときの各手動作の比率 r を推定する。動作 α のサンプ
ルデータと現在のセンサー出力値との最短距離を lα 、動作β のサンプルデータと現センサー出力値との最短距離を lβEαij − Hαij 、Eβij − Hβij はそれぞれ動作 α と動作 β にとすると、動作 α の比率 rα 及び動作 β の比率 rβ は、以下おける式 6 、7 の係数である。合成係数を適用した式 6 、7の式 5 のように求められる。と Si から、各指の第 2 、第 3 関節の角度が得られる。また、

rα =lβlα, rβ =lα + lβlα + lβ

第 1 関節角度については式 3 により決定する。

(5)

これにより、現在の手動作は比率 rα で動作 α を含み、比率rβ で動作 β を含む合成動作であると推定する。
3.3

指関節角度の決定

前節の推定結果に基づき、データグローブの出力値から指の関節角度を求める手順について述べる。まず事前に、センサー数の多いデータグローブ (Immersion 社、CyberTouch:
各指につき第 3 関節と第 2 関節に計 2 個、その他の部位に数個、全体では計 18 個のセンサーをもつ) を用いて、各手動作の開始から終了までの各指の第 2 、第 3 関節角度のサンプリングを行う。各動作につき複数回サンプリングを行い、関節ごとに平均を取った結果は図 4 のように表せる。この結果と図 3 の出力値サンプルを、開始点と終了点が一致するように対応付けることにより、各指の第 2 、第 3 関節について図 5 に示すような関係が得られる。ある手動作 p におけるある指 i のセンサー出力値 Si に対し 、各指の角度 θi2 、

4.

実験
本論文で述べたデータ補正法に基づく実験システムを作成した。実験システムの様子を図 6 に示す。実験システム
は Dual-Core AMD Opteron(tm) Processor 1210 1GHzの CPU をもつマシン環境で、C 言語により実装している。
実験システムでは取得した関節角度に基づく仮想手を CGとして描画し 、操作者は自身の仮想手を認識しながら操作を行うことが可能である。
自然な手動作取得が行えているか確認するため、データグローブを装着した被験者に 3 種類の動作を実行してもらい、アンケート調査を行った。以下に実験の手順を示す。

1. データグローブを装着した状態で握る動作、摘む動作、挟み込む動作を実行する。

2. 手を動かしているときの実際の手と画面上の仮想手の動きを比較する。

図 7: 各手動作の評価点感を与える場合がある。この点を改善する事を今後の課題としたい。その他の課題点としては 、指の長さや太さなど
図 6: 実験システムの様子の手形状の個人差を考慮し 、事前にユーザーの手形状の情報を取得してデータグローブのキャリブレーションを行う

3. どの程度自然に動いているか、動きに違和感は無いかを評価する。

ことが考えられる。また、文献 [3] の把持物体の形状情報を用いる手法との併用により、手動作推定の精度を向上する

これらの実験は 20 代の男性 9 人に対して行った。評価はことも挙げられる。今回は物体を把持する動作に着目して 3

リッカート法による 7 段階の尺度とし 、「違和感を感じない」種類の手動作を想定しているが 、本手法は物体把持以外のを「７」、「違和感を感じる」を「１」として行った。実験

手動作についても適用が可能である。センサー数が少ないの結果を以下の表 1 及び図 7 のグラフに示す。

データグローブでも多様な手動作の取得が可能な自由度の高いデータ補正法の実現を目指したい。

表 1: 評価点の平均値

参考文献平均値

握る動作

摘む動作

挟み込む動作

6.4

5.3

3.5

[1] 濱口真一, 舟橋健司: VR ネットショッピングのためのセンサー数の少ないデータグローブによるデータ補正法,
日本バーチャルリアリティ学会第 15 回大会講演論文集,

握る動作と摘む動作については比較的高い評価が得られて

2A2-4 (DVD-ROM), 2010

おり、ある程度自然な手動作の取得が行えたといえる。一[2] Ramon Mas Sanso, Daniel Thalmann: A Hand Con-方、挟み込む動作についてはそれほど 高くない評価が得ら

trol and Automatic Grasping System for Synthetic

れた。被験者からは、「仮想手の指関節が実際の手に比べてActors, Computer Graphics Forum, Vol.13, No.3,曲がりすぎているように感じる」との意見があった。これ

pp.167-177, 1994

は、手動作推定における合成比率 r を、現在の出力値と各[3] 山本三四郎, 金沢秀典, 舟橋健司: 物体形状情報を利用動作の出力値サンプルとの最短距離に基づいて決定していしたセンサー数の少ないデータグローブによる補正法,るためだと思われる。挟み込む動作の出力値サンプルの一日本バーチャルリアリティ学会第 16 回大会講演論文集,

部は、握る動作の出力値サンプルの一部と 5 次元空間上での座標が近い。そのため、手動作推定の際、これらの手動作の出力値サンプルと現在の手動作の出力値との間で、最短距離の差が小さくなる場合がある。このとき、被験者が意図していない握る動作の合成比率 r が大きくなると考えられる。

2011 (印刷中)[4] ELKOURA G.: ”Handrix: Animating the HumanHand”, Proceedings of the 2003 ACM SIGGRAPH /Eurographics Symposium on Computer Animation,
pp.110-119, 2003.
[5] 長尾竜郎: 手指動作の研究 - 日常生活動作における正常手指機能の分析, リハビリテーション医学, Vol.8, No.1,

5.

むすび
本論文では、センサー数の少ない低価格帯のデータグローブで自然な手動作を取得するためのデータ補正法を提案した。実験より、指同士の関係から手動作の種類を推定した
後、その種類に応じて関節角度を決定することで、ある程度自然な手動作の取得が可能であるといえる。しかし 、握る動作と挟み込む動作のような指同士の関係が類似している手動作では 、ど ちらかの手動作についてユーザーに違和

pp.3-12, 1971