平成 23 年度 修士学位論文

手動作推定によるセンサー数の少ないデータグローブのためのデータ補正法

指導教員
舟橋

名古屋工業大学大学院

工学研究科

平成 22 年度入学

濱口

情報工学専攻22417595 番

真一

健司

准教授

i

目次

第 1 章 はじめに

1

第 2 章 先行研究における補正法

42.1

角度の相関関係に基づくデータ補正 . . . . . . . . . . . . . . . . . . . . . . .

42.2

物体形状情報に基づくデータ補正 . . . . . . . . . . . . . . . . . . . . . . . .

4

2.2.1

把持寸法の決定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.2.2

基本把持動作の決定 . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.2.3

物体寸法に応じた把持動作の補正 . . . . . . . . . . . . . . . . . . . .

6

第 3 章 手動作推定に基づくデータ補正法

8

3.1 データグローブの正規化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

指同士の関係による手動作推定 . . . . . . . . . . . . . . . . . . . . . . . . .

9

3.2.1

手動作種類の推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

3.2.2

最短距離 l の導出方法の検討 . . . . . . . . . . . . . . . . . . . . . . . 123.2.3

指関節角度の決定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

第 4 章 実験

24

3.2

4.1 システムの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
4.2

4.3

実験 1:手動作推定精度の評価. . . . . . . . . . . . . . . . . . . . . . . . . . 25

4.2.1

実験内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

4.2.2

結果と考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

実験 2:センサー数の少ないデータグローブを用いた手動作取得 . . . . . . . . 28

4.3.1

実験内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.3.2

結果と考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

第 5 章 むすび

30

謝辞

32

参考文献

33

ii

発表論文リスト35

1

第 1 章 はじめに

バーチャルリアリティ（ Virtual Reality:以下 VR ）とは 、日本語で「仮想現実感」を意味する言葉であり、現実そのものではないが現実と同じ効力を有することにより、現実と同様に感じる仕組みや技術を指す。VR 技術を利用することによって、人間は現実空間には存在しない物を、本当に存在する物と同様に操作することが可能となる。これにより、高所などの危険な環境を安全に体験したり、劇薬などの危険なものを安全に操作することができる
点、体験したい環境や操作したい物体を用意するための人員及びコストを削減できる点、同じ環境の体験や同じ物体操作の繰り返しが容易に行える点などのメリットがある。これらのメリットから、VR 技術は既に医療や建築分野で用いられるシミュレーションシステム等で活用されている。
近年の VR 技術の発展に伴って、我々の生活にも関わる様々なシステムが登場している。
その一例としては、災害や事故が発生した後の状況をユーザーが疑似体験できるシステム [1]がある。これは、パノラマ画像で精細に再現された仮想環境において、仮想環境内の人物と共に移動しながらインタラクションを行うことでユーザーが災害や事故時の知識を学べるというものである。我々が行う一般的な防災訓練では、建物の中から外への避難や、消火器・避難袋等の防災器具の使い方を確認する程度であり、災害や事故時の状況を実際に体験できるわけではない。そのため、実際の災害や事故で自分の周囲の環境にどんな異常が生じるのか、そのときどのように行動するべきかという知識が身につきにくい。しかし 、高い現実感・没入感を持つ VR システムを利用することで、ユーザーは実際の災害や事故の記録に基づいて再現された環境を体験する事が可能となる。またこのシステムにおける仮想環境内の人物
は、実際に災害や事故に見舞われた人をモデルとしており、彼らから有用な知識を得ることも可能である。他にも、画面上に 3 次元 CG で表示された調理器具を操作し 、温度変化による食材の変化過程を再現する体験型料理シミュレータ [2] がある。不慣れな人が実空間で料理の練習をする場合、調理に失敗したり調理中に怪我をする可能性がある。しかし 、シミュレーション上であれば安全であり、何度も繰り返し練習することで早く上達できる。このよ
うに、今後は一般の家庭で利用可能な VR システムも多く登場するだろうと予想される。
ところで、VR システムの要件としては、ユーザーが現実と同じように没入感を得られること、ユーザーが直感的に操作可能であることなどが挙げられる。これらの要件を満たすた
めには、実空間と同様の感覚で仮想空間上の物体を操作可能なインターフェースを用いるこ

第 1 章 はじめに2とが望ましい。代表的なインターフェースとしては、リモコンやキーボード、マウスなど 挙げられる。しかし 、これらのインターフェースでは「テレビやコンピューターを操作している」という印象が強く、ユーザーが現実と同じ没入感を得ることはできない。ここで、人間は実空間において物体を手で扱うことから、ユーザーの手の動きをそのままシステムに反映するようなインターフェースならば没入感を得やすいと考えられる。本稿では、実際の手動作における各指の関節の動きを計測できるものとして、データグローブに注目する。データ
グローブは VR 分野で広く使用されている入出力デバイスである。このデバイスはカメラで撮影した手の映像から手の動きを取得するものや、指の各関節部分にセンサーを備え、各関節の角度を計測するものなど 様々な種類がある。本稿では、各指関節にセンサーを備えた
データグローブを想定している。データグローブでユーザーの手動作を取得できれば 、ユー
ザーは仮想環境における物体操作をより直感的に行うことが可能となる。ここで、人間の手動作を正確に取得するためには、多数のセンサーを備えたデータグローブを用いることが望ましい。しかし 、そのようなデータグローブは高価であり、一般家庭を対象とした VR シス
テムのインターフェースとしては適さない。一方で、一般家庭での利用を目的とした低価格帯のデータグローブも既に登場している。たとえば 、ゲーム用のコントローラデバイスとして 1990 年に任天堂から発売されたパワーグローブ [10](図 1.1) や、Essensial Reality 社から発売された P5 Glove[11](図 1.2) などがある。しかし 、これらの低価格帯のデータグローブ
は、複数の指関節の動きを単一のセンサーでまとめて計測する仕様のものが多い。必然的にセンサーの総数は少なくなる傾向にあり、手の動作の詳細なデータを取得できないという問題がある。そこで当研究室では、一般家庭での利用を想定し 、センサー数の少ない低価格帯のデータグローブで自然な手動作の取得を行うために、指の関節同士の相関関係を利用したデータ補正法 [3] を提案している。しかし 、この手法では手の動作を手を開いた状態から握る状態への 1 種類に限定しており、我々の手で実際に可能な多様な動作については対応できていない。人間の手の多様な動作については、把持対象となる物体の形状情報と運動学を用いて再現する研究 [4] がある。また、筋電位の推移に基づいて人が意図した動作を識別する
研究 [5, 6] や、物体を投げ上げる運動における手指と手首の運動を解析する研究 [7] 、楽器を演奏する場合に限定して手指動作を認識する研究 [8] も行われている。当研究室では、手の多様な動作を想定したデータグローブのデータ補正法として、指の各関節同士の相関関係と把持対象となる物体の形状情報を併用する手法 [9] も提案している。
本論文では、同じくセンサー数の少ないデータグローブを想定するが、センサー出力値のみを利用し 、各指同士での屈曲の大きさの関係を基に手動作を取得するデータ補正法を提案する。まず人間の手動作のうち代表的な 3 種類の動作を想定し 、各動作における各指同士での屈曲の大きさの関係を実験により導出する。これらの関係を基に、データグローブのセン
サー出力値から現在の手動作の種類を推定し 、その上でそれぞれの種類の動作における指関第 1 章 はじめに

3

図 1.1: パワーグローブ

図 1.2: P5
節同士の角度の相関関係により出力値を補正することで、センサー数の少ないデータグロー
ブでも自然な手動作の取得を可能とする。
以下、第 2 章で従来研究の概要について述べ、第 3 章で提案手法について説明する。その後、第 4 章で提案手法の有用性を確認するための実験の概要と、その結果について述べる。
なお、本稿では以後、指の 3 つの関節について先端から順に第 1 関節、第 2 関節、第 3 関節と呼ぶものとする。

4

第2章

2.1

先行研究における補正法

角度の相関関係に基づくデータ補正

本節では、センサー数の少ないデータグローブでユーザーの手動作を取得可能とするためのデータ補正法について述べる。この手法では、手動作の種類を手を開いた状態から例えば握る状態にするという 1 種類に限定し 、その動作における指関節角度の相関関係に基づいて各関節の角度を決定している。まず実際にデータグローブを装着した状態でサンプリングを行い、指のセンサーが計測した値を基に各指の第 3 関節の曲げ角度を決定する。そして、握る動作での、第 3 関節及び指関節同士の相関関係に基づき、残りの指関節の曲げ角度を決定する (式 2.1-2.3)。

θi3 = Ai si + Bi

(2.1)

θi2 = Ci θi3 + Di
2
θi1 =
θi2
3

(2.2)
(2.3)

θi1 , θi2 , θi3 はある指 i における第 1 、第 2 、第 3 関節の曲げ角度であり、si は指 i のセンサー
出力値を表す。また、Ai , Bi , Ci , Di は指 i における定数である。なお、式 2.3 は指の関節角度の相関関係式としてよく知られている式である [12]。これらの式を用いて各指につき 1 個のセンサーから指の各関節角度を求めることで、手全体で 5 個のセンサーから 15 個の関節角度を決定し 、ユーザーの手動作を取得することができる。

2.2

物体形状情報に基づくデータ補正

前節で述べた手法では、手動作を 1 種類に限定しており、現実の手で実際に可能な複雑かつ多様な動作には対応できていない。本節では、より多くの手動作を取得可能な手法について述べる。人間が物体を把持するとき、把持に至るまでの手指の動作は、把持対象となる物
体の形状に大きく影響される。例えば 、ビー玉のような小さな球体であれば人差し指と親指の先端で摘むように把持し 、本のような平たく薄い物体であれば親指と他の 4 指で挟み込む
ように把持すると考えられる。把持対象となる仮想物体の形状情報を利用することで、ユーザーがその物体を把持する際の手の動作を推定できる。

第2章

先行研究における補正法

5

図 2.1: 手の方向に対する把持寸法

2.2.1

把持寸法の決定

我々のまわりには様々な形状の物体があり、把持の仕方も物体に応じて変わると考えられる。しかし 、多くの物体の形状は直方体や円柱などの基本的な形状で概形を表すことができる。そこで基本的な形状のうちから直方体を想定し 、いくつかの直方体に対する把持動作について検討する。まず、キーとなる直方体の寸法について考える。人間が直方体を把持する
とき、親指以外の 4 指の第 3 関節を繋ぐ 直線と、物体の慣性主軸のいずれかが同じ方向を向く傾向がみられる。また、この際の手の姿勢は、手の平が直方体の 6 面のうち 1 面にほぼ正対しており、手の平と正対する面と隣り合う面に親指が接し 、親指と接する面に向かい合う面に親指以外の 4 指が接すると考えられる。そこで図 2.1 のように、把持する手に対して親指と他の 4 指にはさまれる方向の長さを「把持幅」、親指以外の 4 指の第 3 関節を繋ぐ 方向の長さを「非把持幅」、手の平と向かい合う方向の長さを「把持奥行き」として、直方体の各寸法を定義する。これらの寸法を把持寸法と呼ぶ。事前の予備実験により、各寸法には基準となる長さを定めておく。

2.2.2

基本把持動作の決定

人間が日常的に行う手動作の種類の調査結果 [13] から「物体を把持する動作」に着目し 、「握る動作」、「摘む動作」、「挟みこむ動作」を代表的な把持動作として位置付ける。この 3
種類の手動作は、それぞれ以下のように分類できる。

• 握る動作: 親指と他の 4 指で、第 1 関節及び第 2 関節を曲げて物体を支える動作• 摘む動作: 親指と人差し指の先端で物体を支える動作• 挟み込む動作: 親指と他の 4 指で、第 1 関節及び第 2 関節を伸ばして物体を支える動作
それぞれの手動作の例を図 2.2-2.4 に示す。前項で定めた対象物体の把持寸法に基づいて、これらの手動作を以下のように分類する。

第2章

先行研究における補正法

6

図 2.4: 挟みこむ動作
図 2.2: 握る動作

図 2.3: 摘む動作

• 握る動作:非把持幅が小さく把持奥行きが小さい物体を対象とした把持動作• 摘む動作:非把持幅の小さい物体を対象とした把持動作• 挟み込む動作:非把持幅が大きく把持奥行きが大きい物体を対象とした把持動作
さらに、基準とする把持寸法が大きい場合と小さい場合を考慮し 、図 2.5 に示す 6 種類を基本となる把持動作とする。これらの基本的な把持動作について、1 節と同様に式 2.4 の基本
相関関係式を導出する。

θi2 = Cpi θi3 + Dpi(2.4)

ここで Cpi 、Dpi は把持動作 p における指 i の定数である。また、第 1 関節と第 2 関節については 1 節の式 2.1 、式 2.3 によって求める。これにより、6 種類の把持動作を再現することを可能とする。

2.2.3

物体寸法に応じた把持動作の補正

対象物体の把持寸法が任意の値のとき、基準となる長さとの差により前項で導出した基本
相関関係式のパラメータ同士の補間を行うことで、実際の把持寸法に応じた相関関係式を導出する。たとえば 、図 2.5 の握り (小) と挟み込み (小) で補間を行う場合を考える。握り (小)の基本相関関係式のパラメータを Cgi 、挟み込み (小) の基本相関関係式のパラメータを Cniとすると、Cgi と Cni の内分または外分により、新たなパラメータ Cgni を、式 2.5 により決定する。

Cgni =

nCgi + mCni
m+n

(2.5)

第2章

先行研究における補正法

7

図 2.5: 基本となる把持動作

m 、n はある把持寸法の基準の長さと実際の対象物体における把持寸法との差である。Dgni
についても同様に補間する。このように、各把持寸法に注目して基本相関関係式のパラメー
タの内分または外分を行い、物体寸法に応じた手動作の最終的な相関関係式を導く。

1. 把持奥行きに注目し 、図 2.5 の握り (小) と挟みこみ (小) の相関関係式の内分 · 外分と、にぎり (大) と挟みこみ (大) の相関関係式とを内分 · 外分する。

2. 非把持幅に注目し 、図 2.5 の摘み (小) と 1. で求めた (小) の手動作同士の相関関係式の内分 · 外分と、図 2.5 の摘み (大) と、1. で求めた (大) の手動作同士の相関関係式とを内分 · 外分する。

3. 把持幅に注目し 、2. で求めた 2 つの相関関係式を内分 · 外分する。
以上の手順により、センサー数の少ないデータグローブでも物体寸法に応じた把持動作を取得することが可能である。

8

第3章

手動作推定に基づくデータ補正法

本章では、センサー数の少ないデータグローブで多様な手動作の取得を行う手法として、グローブのセンサー出力値のみを利用する手法について述べる。提案手法では、2 章 2 節で述べた手法と同様に、標準的な物体を「握る動作」、小さな物体を「摘む動作」、平たく薄い物体を「挟み込む動作」を主要な把持動作として扱う。グローブから得られた実際のセンサー出力値が 3 種類のうちいずれかの手動作を行う際のセンサー出力値のパターンと一致す
る場合には、2 章の手法により各関節角度を求めることができる。しかし 、実際には人間の手動作が用意されたパターンと完全に一致することはないだろう。もしこれらのパターンと一致しない場合には、それぞれのパターンにおいて実際に算出した関節角度を基に角度の補間を行い、入力値に対する関節角度を決定する。ところで、これらの 3 種類の手動作において、動作の開始から終了までの人間の各指の屈曲の仕方はある程度決まっているものと考えられる。そこで、指同士での屈曲の大きさの関係に加え、最適な距離尺度を利用することにより、ユーザーが行っている手動作の種類をデータグローブのセンサー出力値に基づいて推定する。これにより、センサー値の組が各手動作のサンプルパターンから、たとえば単純に10%離れていた場合、すなわち 90%の可能性で握る動作であると判断された場合にも、入力値同士の関係から、実際にはたとえば 95%の可能性で握る動作であると推定する手法を提案する。その後推定結果に基づき、各指の関節角度を決定することで、手動作の取得を行う。

3.1

データグローブの正規化

2 章 1 節でも述べたように、低価格帯のデータグローブには、複数の関節を覆うベンド セ
ンサーで指全体の動きをまとめて計測するものが多い。しかし 、データグローブのセンサーが出力する値は製品ごとに違いがあり、ある 1 種類のデータグローブでは有効な補正法が 、別の種類のデータグローブでも有効とは限らない。そこで本節では、提案手法を様々なデー
タグローブに適用可能とするために、データグローブの計測データを正規化することを考える。正規化を行うために、実際にグローブを装着した状態で手指を動かし 、センサーの計測
データを収集する。まず、指の各関節角度が 0◦ のときを初期状態とし 、ここから第 3 関節角度が 30◦ 、60◦ 、90◦ のときのセンサーの計測値を収集する。このとき第 2 関節は動かさないものとする。収集した計測値のデータを基に図 3.1 の散布図を作成し 、図中のように各デー

第3章

手動作推定に基づくデータ補正法

9

図 3.1: データグローブ正規化のための散布図
タ点の近傍を通る直線を引く。なお、図 3.1 は人差し指での例であり、データグローブのセンサーで計測した値を横軸、正規化後の値を縦軸としたグラフである。ある指 i のセンサーの計測値 si に対して、正規化後の値 Si を導出する式は図中の直線の方程式となる。式 3.1に直線の方程式を示す。

Si = N1i si + N2i(3.1)

N1i 、N2i は定数である。この式を用いて、測定データを正規化する。なお、正規化値 Si は
第 3 関節そのものの角度を示すものではない。なぜなら第 3 関節だけでなく第 2 関節も曲げた場合のセンサーの計測値、正規化値はともに第 3 関節だけではなく、第 2 関節の影響も受けているからである。正規化値 Si を用いることで、様々なデータグローブで提案手法を利用することが可能となる。
以後、本稿で述べる「センサー出力値」はセンサーが計測した値を正規化した値を指すも
のとする。

3.2

指同士の関係による手動作推定

3.2.1

手動作種類の推定

センサー数の少ないデータグローブでユーザーの手動作を取得するためには、ユーザーがどのような手動作を行っているのかを推定する必要がある。本稿では、ユーザーの手動作の種類を推定するために、物体を握る動作、摘む動作、挟み込む動作における指同士での屈曲

第3章

手動作推定に基づくデータ補正法

10の大きさの関係に注目する。ここで、ある指の屈曲の大きさを表す値はその指におけるセンサーの出力値であるから、各動作における各指同士でのセンサー出力値の関係を調査する。
まず事前に、実際にデータグローブを装着し 、手動作の開始から終了までのセンサー出力値
をサンプリングする。
ここで、実際にデータグローブを装着してサンプリングを行う方法について述べる。各手動作は手を開いた状態から開始し 、2 章の図 2.2-2.4 の状態に達した時点で終了する。また、手動作の開始から終了までの各指の屈曲の速度は一定とし 、途中で動作を止めないものとする。1 度のサンプリングでは、1 つの手動作の開始から終了まで、決まった時間をかけて

1 回だけ行い、その際のセンサー出力値を収集する。サンプリングは各動作につき複数回行
い、単位時間ごとにセンサー出力値の平均値をとる。本稿ではサンプリングを各動作につき10 回行い、1 度のサンプリングで手動作の開始から終了までにかける時間を 10 秒間としている。
サンプリングの結果、各動作において得られたセンサー出力値のサンプルデータは図 3.2-

3.4 のように表せる。これらの図は人差し指と中指の例であり、人差し指のセンサー出力値
を横軸、中指のセンサー出力値を縦軸としたグラフである。なお、実際には指 5 本のセンサー出力値であり 5 次元空間で表されるが、これらの図では 2 次元の例を示している。続いて、調査した各動作における各指のセンサー出力値のサンプルデータとユーザーの実際の手動作における各指のセンサー出力値との関係から、ユーザーの実際の手動作の種類を推定する。ユーザーの手動作が 3 種類の手動作のどれかに近い場合、各指のセンサー出力値はその手動作におけるサンプルデータにきわめて近い値になると予想されるため、その手動作がユーザーの手動作であると推定できる。しかし実際には、ユーザーの手動作によるセンサー
出力値が 、3 種類の手動作のうち 1 種類のサンプルデータにきわめて近づくことは少ない。
このような場合は、ユーザーの手動作を、3 種類の手動作の要素を比率 r(0 ≤ r ≤ 1) で含む動作として扱う。各手動作における各指の関節角度の値を求め、比率 r に基づいて内分することで、ユーザーの手動作における各指の関節角度の値を決定する。ここで、3 種類すべての手動作で各指の関節角度を内分すると、3 種類のうちユーザーの手動作から最も離れた
手動作の影響により、内分の結果の値がユーザーの手動作における関節角度の値と大きく異なる場合がある。そこで本稿では、3 種類のうちからユーザーの手動作に近い 2 種類の手動
作 α 、β を選び 、この 2 種類の手動作での各指の関節角度の値を rα 、rβ に基づいて内分することを考える。実際にデータグローブから各指 i のセンサー出力値 (正規化した値)Si が得られたとき、図 3.5 に示すように、ある手動作 p での Si のサンプルデータと実際の Si との

5 次元空間上でのユークリッド 距離を lp とする。3 種類の手動作における lp 同士を比較し 、lp が最も大きい手動作を除く 2 種類の手動作 α 、β を選ぶ。その後、lp の値から各手動作の比率 rp を求める。手動作 α 、β において、手動作 α のサンプルデータと実際のセンサー出第3章

手動作推定に基づくデータ補正法

図 3.2: 握る動作におけるセンサー出力値

図 3.3: 摘む動作におけるセンサー出力値

図 3.4: 挟みこむ動作におけるセンサー出力値

11

第3章

手動作推定に基づくデータ補正法

12

図 3.5: 手動作 α 、
β のサンプルデータと実際のセンサー出力値とのユークリッド 距離 lp
力値との最短距離を lα 、手動作 β のサンプルデータと実際のセンサー出力値との最短距離を lβ とすると、手動作 α の比率 rα 及び手動作 β の比率 rβ は以下の式 3.2 で求められる。

lβ
lα + lβlα
rβ =lα + lβ

rα =

(3.2)

rα 、rβ に基づく内分により各指の関節角度を決定することで、実際の手動作に近い手動作を取得できる。本稿では以後、3 種類の手動作から実際の手動作に近い α 、β を選び 、その比率 rα 、rβ を求める過程を手動作推定と呼ぶものとする。

3.2.2

最短距離 l の導出方法の検討

式 3.2 より、手動作 α 、β の比率 rα 、rβ の値は、lα 、lβ の値に大きく影響される。前項では、lp を各手動作におけるセンサー出力値のサンプルデータと実際のセンサー出力値との単純なユークリッド 距離として導出している。しかし本項では、各指の関節角度の内分を行っ

第3章

手動作推定に基づくデータ補正法

13

た後の手動作がより実際の手動作に近づくように rp を導出するため、新たな距離尺度に基づく lp を導出することを考える。
本稿では 、様々な距離尺度の中から n 次元ユークリッド 空間上でのデータ間の距離を表す尺度として、従来のユークリッド 距離のほかに、マハラノビス距離、マンハッタン距離、
標準ユークリッド 距離の 3 種類を想定する。これらの 4 種類の距離尺度のうち、lp の算出に最も適しているのはどれかを調査する。実際にデータグローブを装着して握る動作、摘む
動作、挟みこむ動作を行い、各距離尺度に基づいて各手動作の開始から終了までの lp と rpの値を導出する。このとき、各手動作は動作の開始から終了まで同じだけの時間をかけて行う。また、同じ種類の手動作では、動作の開始から終了までのセンサー出力値はおおよそ同じである。ある手動作 p を実際に行うとき、その手動作の比率 rp の値が 1 に近づくほど 実
際の手動作に近い手動作を取得できる。そこで、以下に示すように距離尺度ごとに各手動作
での rp のデータを比較し 、最適な距離尺度を調査する。

1. ユークリッド 距離
ユークリッド 距離 DEU C は、n 次元ユークリッド 空間上のベクトル x = (x1 , x2 , . . . , xn ),y = (y1 , y2 , . . . , yn ) で定義される 2 点間の幾何学的な直線距離であり、以下の式 3.3 で定義される。

√
DEU C =

Σni=1 (xi − yi )2(3.3)

各手動作を 1 回ずつ行う場合で、式 3.2 及び式 3.3 に基づいて手動作の開始から終了までの rp を導出した結果を、図 3.6-3.8 に示す。図 3.6-3.8 は横軸を時間 t(0 ≤ t ≤ 10) 、縦軸を比率 rp とするグラフであり、横軸の左端 (t = 0) を各手動作の開始点、横軸の右端 (t = 10) を各手動作の終了点としている。これは以後の各距離尺度に基づく場合のグラフでも同様である。また、図 3.6 では、実際に握る動作を行った場合での、握る動作の比率を rgrip とし 、それ以外の 2 種類の手動作の比率を rother としている。図3.7 、3.8 でも同様にして rpinch 、rnip を算出している。図 3.6 に注目すると、手動作の開始点から終了点に近づくにつれて rgrip の値が上昇し 、開始点と終了点の中間点以降
では 0.8 から 0.9 の値域で変動している。rgrip の値から、中間点以降では握る動作にかなり近い動作を取得できることがわかる。また、図 3.7 での rpinch は中間点以降では 0.7 から 0.8 の値域で変動しており、摘む動作の場合も中間点以降の手動作が実際の動作に近づくといえる。一方、図 3.8 では、中間点以前での rnip と rother の値がともに 0.5 に近く、この場合は実際の手動作と異なる手動作の影響が大きくなる。また、手動作の終了までの rnip の値は 0.7 を超えないことから、rnip と rother に基づき関節角度を決定した後の手動作は、開始から終了まで挟みこむ動作とは異なるものになることがわかる。

第3章

手動作推定に基づくデータ補正法

図 3.6: ユークリッド 距離に基づく rp (握る動作)

図 3.7: ユークリッド 距離に基づく rp (摘む動作)

図 3.8: ユークリッド 距離に基づく rp (挟みこむ動作)

14

第3章

手動作推定に基づくデータ補正法

15

2. マハラノビス距離
マハラノビス距離 DM AH とは、n 次元ユークリッド 空間において新たな標本が既知の標本群の集合に属するかど うかを求めるために用いられる距離尺度であり、以下の式

3.4 で定義される。
DM AH =√(x − u)t Σ−1 (x − u)(3.4)

u は x の平均であり、Σ は x の共分散行列である。各手動作を 1 回ずつ行う場合で、
式 3.2 及び 式 3.4 に基づいて手動作の開始から終了までの rp を導出した結果を 、図3.9-3.11 に示す。図 3.9 における rgrip は、開始点からすぐにほぼ 1 に近づき、その後動作終了までほとんど 変動していない。この場合、rgrip と rother に基づき関節角度を決定した後の手動作は、ユークリッド 距離の場合に比べて開始から終了まで握る動作に非常に近いものになる。しかし 、図 3.10 と図 3.11 の場合では rpinch と rnip の値は
ど ちらも rother を大きく下回っている。このような場合、rpinch と rnip 、rother から、握る動作の影響が強く、実際の手動作とはまったく異なる手動作を取得することがわかる。ここで、図 3.10 と図 3.11 での rother に注目すると、どちらも握る動作の比率を表している。これは、マハラノビス距離に基づいて実際の手動作でのセンサー出力値と各手動作のサンプルデータとの最短距離 lp を導くと、センサー出力値と握る動作の
サンプルデータとの最短距離 lgrip が他の動作におけるセンサー出力値とサンプルデー
タとの最短距離 lpinch 、lnip よりも常に短くなることを示している。

3. マンハッタン距離
マンハッタン距離 DM AN は L1 距離ともいい、n 次元ユークリッド 空間上のベクトルx = (x1 , x2 , . . . , xn ), y = (y1 , y2 , . . . , yn ) で定義される 2 点間において各次元ごとの距
離の絶対値の和をとった距離である。DM AN は以下の式 3.5 で定義される。

√
DM AN =

Σni=1 |xi − yi |(3.5)

各手動作を 1 回ずつ行う場合で、式 3.2 及び式 3.5 に基づいて手動作の開始から終了までの rp を導出した結果を、図 3.12-3.14 に示す。図 3.12 において、rgrip は rother の値を一時的に下回るが再び上昇し 、中間点以降ではユークリッド 距離の場合と同様に 0.8
から 0.9 の間で値が変動している。図 3.13 をみると、rpinch の値は中間点以降では 0.7
から 0.8 の間で変動している。終了点付近では 0.8 を超えている点から 、ユークリッ
ド 距離の場合よりも摘む動作にやや近い手動作が取得できると考えられる。また、図3.14 に注目すると、rnip の値自体は 0.7 を超えないが 、中間点以前ではユークリッド
距離の場合とセンサー出力値がおおよそ同じであるにも関わらず、ユークリッド 距離

第3章

手動作推定に基づくデータ補正法

図 3.9: マハラノビス距離に基づく rp (握る動作)

図 3.10: マハラノビス距離に基づく rp (摘む動作)

図 3.11: マハラノビス距離に基づく rp (挟みこむ動作)

16

第3章

手動作推定に基づくデータ補正法

17の場合よりも rnip の値が高くなっており、rnip と rother に基づき関節角度を決定すると、ユークリッド 距離の場合に比べて挟みこむ動作に近い手動作が取得できる。

4. 標準ユークリッド 距離
標準ユークリッド 距離 DN EU C とは、1. のユークリッド 距離を標準偏差を用いて標準化したものであり、式 3.6 で定義される。
√

DN EU C =

Σni=1

( (x − y ) )2
i

i

δ

(3.6)

δ は標準偏差である。各手動作を 1 回ずつ行う場合で、式 3.2 及び式 3.6 に基づいて手動作の開始から終了までの rp を導出した結果を、図 3.15-3.17 に示す。図 3.15 から、

rg rip の値は手動作を開始した直後に 0.7 を超え、その後 0.9 以上となり、動作の終了までにほぼ 1 に近い値に達している。rgrip と rother から、マハラノビス距離の場合と同様に、動作の開始から終了にかけて握る動作に非常に近い手動作が取得できることがわかる。一方、図 3.16 と 3.17 における rpinch 及び rnip の値はど ちらも rother を下回っている。この 2 つの図での rother は、マハラノビス距離の場合と同様に、ど ちら
も握る動作を表すものである。標準化を行ったユークリッド 距離に基づいて lp を導くと、マハラノビス距離の場合と同様に、lgrip が他の動作における lpinch 、lnip よりも常に短くなることがわかる。
以上の結果から、4 種類の距離尺度で比較すると、ユークリッド 距離に基づく場合とマンハッ
タン距離に基づく場合で実際の各手動作に近い手動作を取得できることがわかる。ここで、
図 3.6-3.8 と図 3.12-3.14 における開始点から終了点までを比較すると、ユークリッド 距離に基づいて lp 及び rp を求める方が実際の手動作に近い結果になる場合と、マンハッタン距離に基づいて lp 及び rp を求める方が実際の手動作に近い結果になる場合がある。そこで、ユークリッド 距離に基づく最短距離 lp·euc とマンハッタン距離に基づく最短距離 lp·man の平均をとることで lp を導出したところ、摘む動作では比較的良い結果が得られた。
ところで、図 3.8 と図 3.13 に注目すると、手動作の開始点から中間点付近の間で、実際の手動作と異なる手動作の比率 rother が 0.5 に近づいている。このような場合は、各指の関節角度が実際の手動作における関節角度と大きく異なるものになり、正しく手動作を取得できているとはいえない。これはある手動作でのセンサー出力値サンプルと別の手動作でのセンサー出力値サンプルとの 5 次元空間上での距離が近いことが原因だと思われる。rp は式 3.2に基づき lp から導出しているため、lα と lβ の差が小さくなると 0.5 に近づく。この問題を解決する為に、新たな距離尺度として、加工した特徴量を加え 6 次元空間上のユークリッド
距離として lp を算出することを考える。各手動作同士でのサンプルデータの 6 次元空間上での距離が大きくなるように加工した特徴量を与えることで、式 3.2 における lα と lβ との第3章

手動作推定に基づくデータ補正法

図 3.12: マンハッタン距離に基づく rp (握る動作)

図 3.13: マンハッタン距離に基づく rp (摘む動作)

図 3.14: マンハッタン距離に基づく rp (挟みこむ動作)

18

第3章

手動作推定に基づくデータ補正法

図 3.15: 標準ユークリッド 距離に基づく rp (握る動作)

図 3.16: 標準ユークリッド 距離に基づく rp (摘む動作)

図 3.17: 標準ユークリッド 距離に基づく rp (挟みこむ動作)

19

第3章

手動作推定に基づくデータ補正法

20

表 3.1: 握る動作における各指センサー出力値の相関係数
親指
人差し指
中指
薬指
小指
親指
人差し指
中指
薬指
小指

1
0.81109
0.77295
0.749120.90409

0.811091
0.997310.98984
0.97997

0.77295
0.997311
0.99667
0.964260.749120.98984
0.996671
0.947090.90409
0.97997
0.96426
0.947091

表 3.2: 摘む動作における各指センサー出力値の相関係数
親指
人差し指
中指
薬指
小指
親指
人差し指
中指
薬指
小指

1
0.721290.78761-0.7839-0.29640.721291
0.9725-0.32440.31074

0.78761
0.97251-0.35140.11818-0.7839-0.3244-0.35141
0.47185-0.29640.31074
0.11818
0.471851

表 3.3: 挟みこむ動作における各指センサー出力値の相関係数
親指
人差し指
中指
薬指
小指
親指
人差し指
中指
薬指
小指

1
-0.2432-0.3157-0.1175-0.1278-0.2432
1
0.97903
0.98661
0.99025-0.3157
0.97903
1
0.97280.97372-0.1175
0.98661
0.97281
0.99864-0.12780.99025
0.97372
0.99864
1

差を広げ、より実際の手動作に近い手動作を取得可能とする。新たな特徴量を作成するために、各手動作でのセンサー出力値のサンプルデータに基づき、各指同士のセンサー出力値の相関係数を求める。表 3.1 に握る動作での各指同士の相関係数、表 3.2 に摘む動作での各指同士の相関係数、表 3.3 に挟みこむ動作での各指同士の相関係数を示す。これらの表から、握る動作ではすべての指同士でセンサー出力値に正の相関がみられ 、挟みこむ動作では親指と他の指の間に正の相関がみられないことがわかる。また、摘む動作では親指と薬指の間に負の相関がある。そこで、親指と薬指のセンサー出力値に着目する。相関係数から、この2 本のセンサー出力値を掛け合わせた値は、握る動作では大きく増加するが 、摘む動作では減少すると考えられる。また、挟み込み動作では握る動作よりも値の増加する幅が小さくなる。そこで本稿では、親指と薬指のセンサー出力値を掛け合わせた値を新たな特徴量として利用する。実際にデータグローブを装着して 3 種類の手動作を行い、各手動作の開始から終了までの 6 次元空間上での lp を導出した。各手動作を 1 回ずつ行う場合で、lp から rp を導出した結果を、図 3.18-3.20 に示す。図 3.18-3.20 は横軸を時間 t(0 ≤ t ≤ 10) 、縦軸を比率

第3章

手動作推定に基づくデータ補正法

21

rp とするグラフであり、横軸の左端 (t = 0) を各手動作の開始点、横軸の右端 (t = 10) を各
手動作の終了点としている。図 3.18 は握る動作を行うときであり、開始点から rgrip が 0.8以上に達している。その後 rgrip の値は大きく振動しているが 、振動の中心を通る線を考えると、ユークリッド 距離の場合のグラフとほぼ重なることがわかる。図 3.19 は摘む動作を行
うときであり、ユークリッド 距離及びマンハッタン距離の場合よりも開始点から中間点までの間で rpinch の値が高い。また、ユークリッド 距離の場合と同様に、中間点以降での rpinchの値は 0.7 から 0.8 の間で変動していることから、rpinch と rother に基づいて各指の関節角度を決定すると、動作の開始から終了まで摘む動作に近い手動作を取得できることがわかる。
図 3.20 は挟みこむ動作を行うときであり、ユークリッド 距離及びマンハッタン距離の場合に比べて、動作の開始から終了までの rnip の値が高い。また、開始点から中間点付近の間に注目すると、ユークリッド 距離の場合と異なり、rother の値が抑制出来ていることがわかる。以上より、6 次元空間上での距離に基づいて手動作を推定することで、より実際の手動作に近い手動作を取得できる。

3.2.3

指関節角度の決定推定結果である手動作 p の比率 rp に基づき、データグローブの出力値から指の関節角度を求める手順について述べる。まず事前に、センサー数の多いデータグローブ (Immersion
社、CyberTouch: 各指につき第 2 関節と第 3 関節に計 2 個、指と指の間に 1 個、その他の部位に数個、全体では計 18 個のセンサーをもつ) を用いて、手動作の開始から終了までの各指の第 2 、第 3 関節角度のサンプリングを行う。各動作における第 2 、第 3 関節角度のサ
ンプルデータと図 3.2-3.4 のセンサー出力値のサンプルデータとを、動作の開始時刻と終了時刻が一致するように対応付けることにより、各指の第 2 、第 3 関節について図 3.21 に示すような関係が得られる。図 3.21 は人差し指第 2 関節における握る動作での例であり、センサー出力値を横軸とし 、第 2 関節角度を縦軸とするグラフである。ある手動作 p におけるある指 i のセンサー出力値 Si に対し 、各指の第 2 関節角度 θpi2 、θpi3 は式 3.7 、3.8 の近似曲線
方程式により決定する。

θpi2 = Epi2 Si3 + Fpi2 Si2 + Gpi2 Si2 + Hpi2

(3.7)

θpi3 = Epi3 Si3 + Fpi3 Si2 + Gpi3 Si2 + Hpi3

(3.8)

なお Epij 、Fpij 、Gpij 、Hpij は定数である。また、人間の手指関節は固有の可動域 [14] をもつことから、θpi2 、
θpi3 にそれぞれ固有の値域を設定する。
実際にデータグローブから各指 i のセンサー出力値 (正規化した値)Si が得られたとき、まず手動作推定により手動作 α 、β とその比率 rα 、rβ を求める。続いて、式 3.7 及び 3.8 から

第3章

手動作推定に基づくデータ補正法

図 3.18: 6 次元空間上の距離 lp に基づく rp (握る動作)

図 3.19: 6 次元空間上の距離 lp に基づく rp (摘む動作)

図 3.20: 6 次元空間上の距離 lp に基づく rp (挟みこむ動作)

22

第3章

手動作推定に基づくデータ補正法

23

100

人差し指の第3関節角度

90
80
70
60
50
40
30
20
10
0
0

50

100

150

200

250

人差し指のセンサー出力値

図 3.21: センサー出力値と人差し指第 2 関節角度の対応関係
それぞれの手動作における第 2 、3 関節角度を決定する。最後に、指 i の第 2 、第 3 関節角度

θi2 、θi3 は、手動作 α 、β における第 2 、第 3 関節角度から、それぞれの比率 rα 、rβ に基づき内分することにより式 3.9 、3.10 のように決定する。

θi2 = rα · θαi2 + rβ · θβi2

(3.9)

θi3 = rα · θαi3 + rβ · θβi3

(3.10)

θαi2 、·θαi3 、θβi2 、θβi3 は手動作 α 、β における第 2 、第 3 関節角度である。また、第 1 関節角度については式 2.3 により決定する。ここまでの手順で、センサー数の少ないデータグロー
ブの出力値から各指の関節角度を決定し 、手動作を取得することができる。

24

第4章

実験

本稿では、人間が日常的に行う手動作のうちから 3 種類の把持動作を代表的な手動作として想定し 、各手動作を実際に行う場合での、各指のセンサー出力値のサンプルデータを作成している。これらのサンプルデータは、各手動作の開始から終了までの理想的な値と想定している。実際には、各指のセンサー出力値は各手動作を行う度に異なり、サンプルデータに対して一致することは少ない。これは、同じ人間の手でも、各指の力の入れ方は手動作を行う度に異なるためである。提案手法では、実際の手動作におけるセンサー出力値が各手動作のサンプルデータと異なる場合でも、手動作の種類を推定することで各指の関節角度を決定
し 、ユーザーの意図する通りの手動作を取得することを目標としている。本章では、提案手法の有効性を実験により確認する。実験は提案手法に基づく実験システムで行い、センサー数の少ないデータグローブで実際の手動作に近い手動作が取得できるかど うかを評価する。

4.1

システムの概要

実験システムは、仮想空間上に定義される仮想手モデルとして C 言語により実装した。仮想手は右手を想定しており、コンピュータグラフィックスによってディスプレイ上に出力される。データグローブからユーザーの手動作を提案手法により取得し 、仮想手の手動作に反映する。実験は Dual-Core AMD Opteron(tm) Processor 1210 1.8GHz の CPU をもつ Linux
マシンで行う。また、実験デバイスとして使用するデータグローブは、5DT 社の 5DT Data

Glove 5 Ultra(図 4.1) である。5DT Data Glove 5 Ultra に設置されているセンサーは各指につき 1 個、手全体で 5 個であり、現在販売されているデータグローブのセンサー個数としては少ない。また、5DT Data Glove 5 Ultra のセンサーは各指の第 2 関節と第 3 関節を覆うように設置されており、第 1 関節の動きは測定できない。
なお、本章における実験では右手だけにグローブを装着する場合を想定しているが、提案
手法は左手にも適用可能である。

第4章

実験

25

図 4.1: 5DT Data Glove 5 Ultra

4.2

実験 1:手動作推定精度の評価

4.2.1

実験内容

我々が実際に手動作を行う場合、各手動作におけるセンサー出力値はサンプルデータと比較してずれのあるデータとなる。本実験では、このようなデータを入力した場合での、提案手法における手動作推定の精度を評価する。まず事前に、各手動作におけるセンサー出力値のサンプルデータに対してずれのある 5 次元データを準備する。この 5 次元データを、デー
タグローブの各指のセンサー出力値として実験システムへ入力する。ここで 、提案手法では、各指のセンサー出力値を手動作 p のサンプルデータと完全に一致させるように手を動かす場合、手動作を推定した結果の p の比率 rp は 1 となる。仮に推定結果が rp = 0.9 である
とき、各指のセンサー出力値は p のサンプルデータから 1 割ずれていると考えられる。ある

2 種類の手動作 α 、
β において、手動作 α のサンプルデータを α~ = (α1 , α2 , α3 , α4 , α5 ) 、手動~ = (β1 , β2 , β3 , β4 , β5 ) とし 、手動作 α のサンプルから 1 割ずれて
作 β のサンプルデータを β~ = (v1 , v2 , v3 , v4 , v5 ) とする。このとき、V~ は以下の式 4.1 で求めらいる 5 次元データを Vれる。

~ = 0.9 × α
V~ + 0.1 × β~(4.1)

式 4.1 により、握る動作のサンプルから 1 割ずれている 5 次元データ、摘む動作のサンプルから 1 割ずれている 5 次元データ、挟みこむ動作のサンプルから 1 割ずれている 5 次元データを得る。
続いて、式 4.1 で得られた各 5 次元データを実験システムに入力し 、提案手法により手動~ は 5 次元空間上において α 、
作推定を行う。ここで、式 4.1 によって得られる V
β のサンプ

第4章

実験

26

ルデータ同士を結ぶ線分を 9 : 1 に内分する。しかし 、rp の導出はサンプルデータ同士を結~ と α、
ぶ線分を考慮せず、3 章図 3.5 のように V
β のサンプルデータとの最短距離 lp の長さのみに基づいて行うため、入力データから推定した rp の値が常に 0.9 であるとは限らない。
そこで、式 4.1 で求めたものと同じ入力データを用いて、ユークリッド 距離に基づく手動作
推定と、ユークリッド 距離とマンハッタン距離との平均に基づく推定を行い、3 つの手法による推定結果 rp を比較することで提案手法の推定精度を評価する。

4.2.2

結果と考察

各手動作のサンプルから 1 割ずれたデータを実験システムに入力し 、手動作の種類を推定した結果を以下の図 4.2-4.4 に示す。図 4.2-4.4 は、ある手動作 p のサンプルから 1 割ずれた
データを入力した場合での、1 フレーム目から 10 フレーム目までの rp をグラフとして表したものである。ユークリッド 距離に基づく推定での rp 、ユークリッド 距離とマンハッタン距
離との平均に基づく推定での rp 、提案手法での rp はそれぞれグラフにある通りである。また、p でない動作の比率 rother については省略している。ここで、手動作 p のサンプルから1 割程度ずれたデータは p のサンプルに 9 割程度近いデータでもあることから、p の比率 rp
が 1 に近づくほど 推定結果は良いといえる。
図 4.2-4.4 において、ユークリッド 距離に基づく場合の rp は、あるフレームでは 0 であった。これは、3 種類の手動作における各指のセンサー出力値のサンプルデータ同士が近いためである。本稿における推定では、3 種類の手動作から実際の 5 次元データとサンプルデー
タとの距離が近い 2 種類を選んでいる。このとき、除外された手動作 p がユーザーの手動作である可能性は低いと判断し 、比率 rp の値は考慮せず仮に 0 とする。ここで、図 4.5 に実際の各手動作におけるサンプルデータの関係を示す。図 4.5 は横軸を人差し指のセンサー出力値、縦軸を中指のセンサー出力値とするグラフである。青い線は握る動作、赤い線は摘む
動作、緑の線は挟みこむ動作をそれぞれ表す。グラフから、各手動作のサンプルデータ同士は近い位置関係にあることがわかる。このような場合では、たとえば握る動作から 1 割ずれたデータであっても、握る動作より他の 2 種類の手動作との距離が小さくなることがあり、rgrip は 0 となる。
各手動作におけるグラフから、ユークリッド 距離とマンハッタン距離との平均に基づく場
合の rp は、ユークリッド 距離に基づく場合を上回る場合もあるが 、概ね同等であることがわかる。一方提案手法では 、3 種類すべての手動作における rp が 、ユークリッド 距離に基づく場合の rp の値を大きく上回っている。また、手動作 p の開始から終了までの rp の平均をとった値をみると、握る動作では 0.82 、摘む動作では 0.87 、挟みこむ動作では 0.87 と、3種類すべての手動作で高い値であった。

第4章

実験

27

図 4.2: 握る動作のサンプルから 1 割離れた手動作の推定結果

図 4.3: 摘む動作のサンプルから 1 割離れた手動作の推定結果

図 4.4: 挟みこむ動作のサンプルから1 割離れた手動作の推定結果

図 4.5: 各手動作におけるセンサー出力値サン
プル

第4章

実験

28

本実験から、親指と薬指のセンサー出力値の積を新たな特徴量として加え 6 次元空間上でのユークリッド 距離として lp を求める手法で、単純なユークリッド 距離に基づいて lp を求める場合に比べて優れた推定精度を実現可能であるといえる。

4.3

実験 2:センサー数の少ないデータグローブを用いた手動作取得

4.3.1

実験内容

提案手法に基づく実験システムで実際に手動作を行った場合、取得した手動作が実際の手動作にどれだけ近く感じられるかを確認する。以下に実験の手順を示す。

1. データグローブを装着した状態で、握る動作、摘む動作、挟みこむ動作のうち 1 種類の手動作を行う。各手動作は各指の関節を伸ばし手を開いた状態から開始し 、2 章図

2.2-2.4 の状態に達した時点で終了する。また、手動作の開始から終了までは 1 種類の手動作のみを行い、途中で別の種類の手動作に切り替えることはしないものとする。

2. 各手動作を行う際の画面上の仮想手の動きを実際の手の動作と比較する。
3. 意図した手動作をどれだけ正確に取得できているかを評価する。
実験は 20 代の右利きの男性 9 人に対して行った。また、評価はリッカート法による 7 段階の尺度とし 、「意図した手動作と完全に一致する」を 7 点、「意図した手動作とまったく異なる」を 1 点、「意図した手動作を取得できている」を 4 点とした。実験と並行して、ユーザーが手動作 p を行うときの手動作推定の結果から、p の比率 rp のデータを収集した。手動作の開始から終了までの rp の平均値と評価点を照らし合わせ、rp の値と評価点にみられる傾向について考察する。

4.3.2

結果と考察

実験結果を以下の表 4.1 に示す。表 4.1 は各手動作における rp の平均値と評価点とのまとめである。各手動作の平均評価点に注目すると、握る動作では 5.50 、摘む動作では 5.88 、挟みこむ動作では 4.63 の評価が得られた。これらの点数から、提案手法を用いて被験者の手動作をある程度正確に取得できていることがわかる。各手動作における rp をみると、rgrip の値が 0.82 を越える被験者はほとんど 6 点の評価をしていることから、握る動作については
被験者の手動作にかなり近い手動作を取得できていることがわかる。摘む動作では、rpinch
が 0.7 以上の値となったのは被験者 3 のみであり、あまり正確に摘む動作を取得できていない。しかし評価点ではほとんどの被験者が 6 点と答えており、自分の意図した手動作をかな

第4章

実験

29

表 4.1: 各手動作の評価点
握る動作 (rgrip ) 摘む動作 (rpinch ) 挟みこむ動作 (rnip )
被験者 1

被験者 8

5 (0.817)
6 (0.827)
5 (0.875)
6 (0.897)
6 (0.853)
6 (0.843)
4 (0.773)
6 (0.897)

6 (0.645)
6 (0.625)
6 (0.727)
6 (0.650)
6 (0.641)
6 (0.629)
5 (0.602)
6 (0.635)

5 (0.623)
5 (0.665)
4 (0.590)
5 (0.708)
4 (0.620)
4 (0.601)
5 (0.634)
5 (0.719)

平均点

5.50

5.88

4.63

被験者 2
被験者 3
被験者 4
被験者 5
被験者 6
被験者 7

り高い精度で取得できたと感じている。これは、本稿での摘む動作を「親指と人差し指の 2
本の指の先端で小さな物体を把持する動作」と想定しているためである。被験者は親指と人差し指のみに注目し 、指同士の先端が近づいていれば摘む動作と認識すると考えられる。一方、挟みこむ動作では他の 2 種類の手動作に比べ、あまり高い評価が得られていない。これは、挟みこむ動作以外の比率が高くなることにより、被験者の意図していない動作の影響が強まるためである。このとき、挟みこむ動作は第 2 関節をほとんど 屈曲しない動作であることから、握る動作の影響が強まると外見の違和感が大きくなる。
また、何人かの実験中に、仮想手の特定の指における指の屈曲が実際の手指の屈曲と大きく異なることがあった。これは、それぞれの被験者で手に個人差があるためだと思われる。
手の個人差とは、単純な指の長さの違いのみならず、各手動作における各指の曲げ方や屈曲の大きさ等の違いである。提案手法ではこれらの手の個人差を考慮していないため、被験者
によっては手動作 p を行ったときの各指のセンサー出力値が p のサンプルデータと大きくずれてしまう場合がある。このような場合は、推定結果の rp が低い値となり、実際の手動作と比べて違和感の大きい手動作を取得すると考えられる。

30

第 5 章 むすび

本論文では、センサー数の少ない低価格帯のデータグローブで手の動作を取得するためのデータ補正法を提案した。センサー数の少ないデータグローブでは、その構造上、人間の手動作の詳細なデータを得ることはできない。そこで本稿では、代表的な把持動作として 3 種
類の手動作を想定する。実際のセンサー出力値が 3 種類の手動作におけるセンサー出力値のサンプルデータのいずれにも一致しない場合、指同士の屈曲の大きさの関係からユーザーが実際に行っている手動作の種類を推定する。その後、3 種類の手動作において算出した関節
角度に基づき、推定した手動作の関節角度を決定する。以上の手順により、ユーザーの手動作を取得することができる。4 章 2 節の実験 1 から、3 種類の手動作については、サンプル
データと実際のセンサー出力値との間にずれがある場合でも、提案手法によって手動作の種類を推定できるという結果が得られた。また、4 章 3 節の実験 2 から、推定結果に基づいて角度を決定することで、被験者の意図した動作に近い手動作が取得できるという評価が得られた。しかし 、提案手法ではユーザーごとの手形状や指の屈曲の大きさの個人差を考慮していなかったため、違和感を感じるという意見もあった。
今後の課題としては、ユーザーの指の長さや各指を屈曲する際にセンサー出力値の変動する範囲を事前に調査し 、調査結果に応じてデータグローブの出力値をキャリブレーションすることが挙げられる。また、本稿では 3 種類の手動作における各指のセンサー出力値のサ
ンプルデータと実際の手動作における各指のセンサー出力値との最短距離 l に基づいてユー
ザーの手動作の種類を推定している。推定精度を向上させるために、距離 l に基づく推定以外で、各手動作のサンプルデータと実際の手動作における各指のセンサー出力値をそれぞれ

5 次元ベクトルとして考え、ベクトル同士のなす角度を手動作推定の新たな基準とすることも考えられる。このほかに、文献 [9] の把持対象となる物体の形状情報を用いる手法と提案手法を併用することでも、手動作推定の精度を向上させることができる。さらに、提案手法
は把持動作以外への対応が可能であることから、より多くの手動作について手動作推定を行えるようにすることも重要な課題である。
情報処理技術の発展に伴い、VR 技術は我々の社会生活にとって重要な存在になりつつある。将来的には 、医療や工業分野で用いられるような企業向けの VR システムばかりでなく、一般家庭向けに特化した VR システムも増加すると予想される。一般家庭向けの VR シ
ステムが身近な存在として認識されるようになったとき、低価格帯のインターフェースで高

第5章

むすび

31

価格帯と同等のパフォーマンスを実現できる手法があれば 、より多くの人が VR の恩恵を受けられるようになる。今後は課題点について改めて検討し 、センサー数の少ないデータグ
ローブでもあらゆる手動作を取得可能な自由度の高いデータ補正法の実現を目指したい。

32

謝辞

本研究を進めるにあたり、日頃から多大なご尽力をいただき、御指導を賜りました名古屋工業大学 舟橋健司 准教授、伊藤宏隆 助教、山本大介 助教に心から感謝いたします。
また、本研究に対して御討論、ご協力いただきました中村研究室の皆様ならびに中部大学
岩堀研究室の皆様に深く感謝いたします。
さらに舟橋研究室のゼミにおいて御討論いただきました皆様、実験にご協力いただきました友人の皆様に深く感謝いたします。

33

参考文献

[1] 星野准一, 張磊, 中野敦: パノラマ画像による没入型会話環境, 社会技術研究論文集 2(0),pp.167-172, 2004.
[2] 加藤史洋, 三武裕玄, 長谷川晶一: 体験型料理シミュレータ, 日本バーチャルリアリティ学会第 15 回論文集, pp390-393, 2010.

[3] 濱口真一, 舟橋健司: VR ネットショッピングのためのセンサー数の少ないデータグロー
ブによるデータ補正法, 日本バーチャルリアリティ学会第 15 回大会講演論文集, 2A2-4(DVD-ROM), 2010.
[4] Ramon Mas Sanso, Daniel Thalmann: A Hand Control and Autmatic Grasping System
for Synthetic Actors, Computer Graphics Forum, Vol.13, No.3, pp.167-177, 1994.
[5] 吉川雅博, 三河正彦, 三田友記, 田中和世: 筋電義手のための筋電位信号に基づく手の動
作意図の推定, バイオエンジニアリング講演会講演論文集, 2009 (22), p.183, 2010.

[6] 辻内伸好, 小泉孝之, 栗栖直之: 手と手首動作の並列識別を可能とした筋電義手制御法, ロ
ボティクス・メカトロニクス講演会講演概要集 2010, ”1P1-E23(1)”-”1P1-E23(4)”, 2010.

[7] 梶川伸哉, 門間好功, 佐藤友昭, 長谷秀之介: 物体投げ上げ動作における手指関節運動の解析, 人間工学＝ The Japanese journal of ergonomics 46 (4), pp.282-286, 2010.

[8] 関口博之, 英保茂: 鍵盤楽器演奏における手指動作モデル , 電子情報通信学会ソサイエ
ティ大会講演論文集 1997 年. 情報システム, p.262, 1997.

[9] 山本三四郎, 金沢秀典, 舟橋健司: 物体形状情報を利用したセンサー数の少ないデータ
グローブによる補正法, 日本バーチャルリアリティ学会第 16 回大会講演論文集, 33D-6(DVD-ROM), 2011.
[10] 株式会社パックス・コーポレーション : パワーグローブ[11] Essential Reality 社: グローブ型デバイス P5, http://essential-reality.com/

34[12] ELKORA G.: ”Handrix: Animating the Human Hand”, Proceedings of the 2003
ACM SIGGRAPH / Eurographics Symposium on Computer Animation, pp.110-119,
2003.
[13] 長尾竜郎: 手指動作の研究 - 日常生活動作における正常手指機能の分析, リハビリテー
ション医学: 日本リハビリテーション医学会誌 8 (1), pp.3-12, 1971.

[14] 日本整形外科学会身体障害委員会: 関節可動域表示ならびに測定法, リハビリテーショ
ン医学:日本リハビリテーション医学会誌 11 (2), pp.127-132, 1974.

35

発表論文リスト

1. 濱口真一, 舟橋健司: VR ネットショッピングのためのセンサー数の少ないデータグ
ローブのデータ補正法, 日本バーチャルリアリティ学会第 15 回大会講演論文集, 2A2-4(DVD-ROM), 2010.
2. 濱口真一, 舟橋健司: センサー数の少ないデータグローブによる手動作推定に基づくデー
タ補正法, 日本バーチャルリアリティ学会第 16 回大会講演論文集, 33-D6 (DVD-ROM),2011.
3. Shinichi Hamaguchi, Sanshiro Yamamoto, Kenji Funahashi, Hidenori Kanazawa:
Data adjustment methods of a low-priced data glove, Proc. ICAT2011 (UFD; USB
Flash Drive), 2011.