情報処理学会 インタラクション 2017
IPSJ Interaction 20172-504-22
2017/3/2

立位・座位の非接触操作におけるポインティングジェスチャーの差異
杉原慶哉†1天早健太†1

中道上†2渡辺恵太†3山田俊哉†4

概要：指差しインターフェースをはじめとするジェスチャーによる非接触操作技術の研究が広く行われており，それを利用した様々なシステムが提案されている．しかし，それらのシステムは立位や座位といった特定の姿勢で使用することを想定しており，姿勢が変化した場合のジェスチャーの差異については検証が進められていない．本研究では，ユーザーのからだの一部を基点，操作点とし，それら 2 点の延長線上をポインティング位置とする Remote Touch
Pointing を利用して，立位と座位におけるポインティングジェスチャーの差異を検証する．評価実験の結果，立位と座位によって参加者の 38%が異なるジェスチャーを選択した．そこで，その差異の要因としてポインティング位置に着目し，参加者が選択したジェスチャーをポインティング位置ごとに集計した．集計の結果から，腕の移動量が少なくなるようにジェスチャーが選択されていることが明らかとなった．

Differences of Pointing Gestures between a Standing Posture anda Sitting Posture in Non-contact Operation
KEIYA SUGIHARA†1 KENTA AMAHAYA†1NOBORU NAKAMICHI†2 KEITA WATANABE†3 TOSHIYA YAMADA†4
Abstract: Non-contact operation by gestures including finger pointing is an area of active research. Many of these studies aresupposed to be used in specific posture such as standing posture and sitting posture. However, the gesture difference in when theposture is changed has not been verified. In this research, we analyzed difference of pointing gestures between a standing postureand a sitting posture. pointing gesture which sets on a base point and an operating point as a part of a body was used in theexperiment. It points out objective area using the extended line of them. From experimental result, the difference in the gesturesby postures were analyzed, 38% of participants were a different gesture. We focused pointing position as the difference factor
and analyzed the number of gestures in each pointing position. From the result, the participants were selected gestures so that themovement of the arms was reduced.

1. はじめに*触操作システム[2]が提案されている．このシステムでは，車内システム操作時の視認対象と操作対象を同一にするこ

近年，指差しインターフェースをはじめとするジェスチとで，視認対象に対して直感的に操作が可能となっている．

ャーによる非接触操作技術の研究が広く行われており，そこのように，ジェスチャーを利用した様々なポインティンれらを利用した様々なシステムが提案されている．認知共グシステムが提案されているが，これらのシステムは立位有のためのスポットライト型ポインティングシステムであや座位といった特定の姿勢で使用することを想定しており，るスポットライティング[1]は，指差しジェスチャーによる姿勢が変化した場合のジェスチャーの差異については検証

ポインティングシステムと焦点範囲であるフォーカスエリが進められていない．

アの操作インターフェースから構成されている．フォーカ

本研究では，立位，座位におけるポインティングジェススエリアを拡大・縮小ボタン上に移動することによってフチャーの差異について検証を進めるために，立位，座位のォーカスエリアのサイズを変更し，焦点を絞ることで，説両姿勢でポインティングを行う評価実験を実施した．評価

明者の説明するオブジェクトの位置と範囲を容易に理解す実験時のポインティングジェスチャーを記録し，分析するることが可能となっている．また，カーナビゲーションシ

ことで，立位，座位のポインティングジェスチャーに差異ステムなどの車内システムを直感的に操作するための非接があるのかを検証した．

†1 福山大学大学院
Graduate school of engineering, Fukuyama University†2 福山大学
Fukuyama University†3 株式会社 DNP 情報システム
DNP Information Systems Co., Ltd.
†4 NTT アイティ株式会社
NTT IT Corporation© 2017 Information Processing Society of Japan

2. 関連研究
ジェスチャーを認識するために用いられるセンサーとして，Kinect[3]や Leap Motion[4]，Ring[5]があげられる．
Kinect は 3 種類のカメラを用いて人の骨格を追跡すること464

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-504-22
2017/3/2が可能で，からだ全体のジェスチャーを認識することに優れている．Leap Motion は赤外線を用いて手の形状を認識することが可能で，手や指の動きを認識することに優れている．このような非接触によるセンサーの登場により，デバイスを持たないジェスチャー操作が可能になりつつある．
また，Ring は指に装着するセンサーで，空中でアルファベットや数字，図形を描くことでスマートデバイスの制御を可能としている．
ジェスチャーを利用したポインティング手法の研究も広く行われている．Nickel と Stiefelhagen は，頭部位置（両目 の 中 間 位 置 ） と 手の 延 長線 上 を ポ イ ン テ ィ ング す る
Hand-head line method の提案を行っている[6]．このポインティング手法を含めた 3 種類のポインティング手法で指向

図1

方向を推定する実験を行ったところ，Hand-head line method

Remote Touch Pointing の利用例

Figure 1は 90%の信頼性があることが明らかとなった．

Remote Touch Pointing

また，ジェスチャーによるマウスカーソルの移動を利用したポインティング手法として，Remote Touch Pointing[7]の研究が進められている．Remote Touch Pointing は，からだの一部を基点，操作点とし，それら 2 点の延長線上をポインティングする直観的なポインティング手法である．図
1 に Remote Touch Pointing の利用例を示す．実験の結果，発表者が Shoulder Center と Hand の延長線上をポインティング位置とすることにより，聴講者が直観的にポインティング位置を推定可能であることが明らかとなった．

3. 評価実験
立位，座位におけるポインティングジェスチャーの差異を検証するために，Remote Touch Pointing によるポインティングシステムとその原理を利用した．図 2 に Kinect から取得可能な関節位置を示す[8]．本研究では，基点の候補として，体の中心線上にある 5 箇所の関節を設定した．基点の候補となる関節と関節番号は HEAD（3），NECK（2），SPINE SHOULDER（20），SPINE MID（1），SPINE BASE（0）の 5 箇所である．また，操作点の候補として，ユーザ

図2
Figure 2

Kinect から取得可能な関節位置
Joint types of human body in Kinect sensor

ーの利き手にある 4 箇所の関節を設定した．操作点の候補となる関節と関節番号は HAND TIP RIGHT（23），THUMBRIGHT（24），HAND RIGHT（11），WRIST RIGHT（10）の 4 箇所である．これらの基点と操作点の組み合わせを本研究におけるポインティングの「ジェスチャー」と定義し，姿勢変化よるジェスチャーの差異を検証する．
評価実験では，始めに実験実施者が参加者に対し実験概要と Remote Touch Pointing のポインティングの原理について説明を行った．参加者は 34 名の大学生で，全員右利きであった．図 3 に評価実験におけるポインティングの様子を示す．参加者は立位，座位の両姿勢で 9 タイルをポインテ(a) 立位
図3(b) 座位

評価実験におけるポインティングの様子

Figure 3

Pointing gestures in the experimental

ィングするタスクを実施し，各タイルで自身が直観的にポインティング位置だと感じた基点と操作点の組み合わせを回答した．その後，実験実施者が参加者に組み合わせの確© 2017 Information Processing Society of Japan465

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-504-22
2017/3/2

認を行い，その関節番号を記録用紙に記入した．参加者がタスクを実施するにあたり，データの偏りを防ぐため参加者番号が偶数の参加者は立位から，奇数の参加者は座位からタスクを開始した．
3.1 実験環境評価実験で使用した実験環境を以下に示す．
PC： Windows8.1

Kinect for Windows v2



短焦点プロジェクター： RICHO IPSiO PJWX4130N
図 4 に実験環境のレイアウトを示す．ポインティングエリアとなるスクリーンのサイズは 2.4m x 3.3m に設定し，スクリーンから 1.3m の位置に Kinect を設置した．また，タスク実施時の参加者の行動可能範囲を参加者エリアと定義し，スクリーンから 3m の位置に 0.4m x 0.4m の正方形を設定した．評価実験において，参加者はこの参加者エリアから出ることなく立位と座位の両姿勢でタスクを実施した．
立位の場合，参加者に参加者エリア内から出ることなく立った状態でタスクを実施するように依頼した．また，座位

図4の場合，参加者エリアと同じサイズのパイプ椅子を設置し，Figure 4

実験環境のレイアウト

Layout of experimental equipment

座った状態でタスクを実施するように依頼した．
3.2 タスク
評価実験において，参加者は 9 タイルをポインティングするタスクを立位と座位の両姿勢で実施した．図 5 にタス
ク画面を示す．スクリーン上に表示された各タイルサイズは，Windows8 のタイルサイズに基づいて 120px x 120px の正方形に設定した．まず，参加者は中央タイル（Tile5）をポインティングし，ポインティング可能かどうかの確認を行った．その後，左上（Tile1）から右下（Tile9）までの 9タイルを順番にポインティングした．
図 6 にポインティング時のタスク画面とアイコンを示す．

図5

参加者がスクリーンをポインティングした際，スクリーン

Figure 5

タスク画面
Task screen

上には基点（5 箇所）と操作点（4 箇所）の組み合わせである計 20 個のアイコンが表示される．アイコンは，Kinectで取得した基点の関節番号，操作点の関節番号，ポインティング位置で構成されている．参加者は各タイルをポインティングした際に，タイルの中心位置に最も近いと感じたアイコンを直観的に選択する．その後，実験実施者は参加者が選択したアイコンの関節番号を確認し，その番号を記録用紙に記入した．

4. 実験結果と姿勢による差異の分析
評価実験で記録した参加者ごとの基点と操作点の組み合わせを集計し，立位と座位のジェスチャーの差異について分析を行った．分析方法は，参加者ごとに Tile1 から Tile9までの組み合わせを集計し，その 9 点のポインティングデータから各姿勢における最頻値を算出した．そして，その結果を各姿勢における参加者のジェスチャーとして設定した．

© 2017 Information Processing Society of Japan

図6

ポインティング時のタスク画面とアイコン

Figure 6

Task screen and Icon when pointing466

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-504-22
2017/3/2

図 7 に各ジェスチャーを選択した参加者数を示す．図中位，座位の姿勢変化でジェスチャーが変化しなかった人数の左の値は参加者数，右の値は割合を示している．評価実が 21 人（62%），ジェスチャーが変化した人数が 13 人（38%）

験において，最も多くの参加者が選択したジェスチャーはであった．この結果から，立位と座位のポインティングジ

HEAD x THUMB RIGHT の組み合わせであった．立位ではェスチャーには差異があることが明らかとなった．

12 人（35%），座位では 14 人（41%）の参加者が HEAD x
THUMB RIGHT の組み合わせを選択した．また，2 番目に5. 差異の要因の考察

多くの参加者が選択したジェスチャーは HEAD x HAND

評家実験における分析結果から，立位と座位のポインテTIP RIGHT の組み合わせであった．立位では 8 人（24%），ィングジェスチャーには差異があることが明らかとなった．

座位では 10 人（29%）の参加者が HEAD x HAND TIP RIGHT

そこで，その差異の要因を考察するためにポインティングの組み合わせを選択した．立位と座位の両姿勢において，位置に着目し，参加者が選択したジェスチャーをタイル位参加者が選択したジェスチャーの順位には大きな変化は見置ごとに集計した．図 8 にタイル位置ごとに選択されたジられなかった．

ェスチャーの集計結果を示す．各図では 9 タスクの中で多立位と座位のポインティングジェスチャーに差異があるかをより詳しく分析するために，立位と座位で選択されくの参加者に選択された上位 2 タイルの色を橙色に変更している．

たジェスチャーに変化があるかを分析した．表 1 に立位・

図 8(1)より，HEAD x HAND TIP RIGHT はタスク中央の座位におけるジェスチャーの変化を示す．分析の結果，立行から上部の行にかけて多くの参加者に選択されている．
これはタスク上部をポインティングする場合，操作点の候補の中で HAND TIP RIGHT でのポインティングが最も腕の移動量が少ないことが関係していると考えられる．また，
図 8(3)，図 8(4)より，HEAD x HAND RIGHT や HEAD x
WRIST RIGHT は右側の列で多くの参加者に選択されている．これはタスク右側をポインティングする場合，HAND
TIP RIGHT や THUMB RIGHT と比較して HEAD x HAND
RIGHT や HEAD x WRIST RIGHT の方が腕の移動量が少ないことが関係していると考えられる．この傾向は各ジェス

図7Figure 7

各ジェスチャーを選択した参加者数

チャーで現れており，HEAD x HAND TIP RIGHT はタスク

The number of participants who select every

上部，HEAD x THUMB RIGHT はタスク左側，HEAD x

combination
表1Table 1変化
なし変化
あり

立位・座位におけるジェスチャーの変化

Changes of gestures between a standing posture and a sitting posture
人数 (人)

比率 (%)HEAD x HAND TIP RIGHT

618

HEAD x THUMB RIGHT

824

HEAD x HAND RIGHT

26HEAD x WRIST RIGHT

13

NECK x HAND TIP RIGHT

26NECK x THUMB RIGHT

26合計2162

HEAD x HAND TIP ⇔ HEAD x THUMB26HEAD x HAND TIP ⇔ HEAD x HAND

26HEAD x HAND TIP ⇔ NECK x THUMB

13HEAD x HAND TIP ⇔ NECK x HAND

13HEAD x THUMB ⇔ HEAD x HAND

39HEAD x THUMB ⇔ HEAD x WRIST

39NECK x HAND TIP RIGHT ⇔ NECK x THUMB RIGHT

13

合計

1338

© 2017 Information Processing Society of Japan467

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-504-22
2017/3/2(a) 立位(b) 座位(1)

HEAD x HAND TIP RIGHT(a) 立位(b) 座位(2)HEAD x THUMB RIGHT(a) 立位(b) 座位(3)HEAD x HAND RIGHT(a) 立位(b) 座位(4)図8HEAD x WRIST RIGHT

タイル位置ごとに選択されたジェスチャーの集計結果
Figure 8© 2017 Information Processing Society of Japan

Number of gestures selected every tile position468

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-504-22
2017/3/2

HAND RIGHT はタスク左側，HEAD x WRIST RIGHT はタ

参考文献

スク下部で選択された比率が増加する傾向があると考えら[1]

れる．これらの結果から，立位と座位でポインティングジェスチャーが異なった要因として，参加者は各タイルをポインティングする際に，腕の移動量が少なくなるようにジェスチャーを選択している可能性が考えられる．

[2]

[3]

ポインティング位置の高い精度が要求される場合，ユー
ザーごとにキャリブレーションを行うことでユーザーに最も適した基点と操作点の組み合わせを設定することが可能である．しかし，博物館のように多くの人々が連続してポインティングを行う場合，より多くのユーザーが一定水準[4][5][6]で使用できる共通設定を使用する必要がある．この共通の設定を検討していく上で，ポインティング位置によってジェスチャーが変化する可能性があることから，ある特定の[7]ジェスチャーを共通設定として使用することは難しい．そのため，今後，直観的かつ腕の移動量を考慮したポインテ
ィング手法の検討が必要になると考えられる．

[8]

中道上, 天早健太, 渡辺恵太, 山田俊哉: スポットライティ
ング, インタラクション 2016 論文集, pp. 954-959 (2016).
三宅雄太, 中道上, 渡辺恵太: 車内における直感的な非接触操作システムの提案, 公益社団法人自動車技術会 2015 年秋季大会学術講演会講演予稿集, pp. 418-423 (2015).
“Xbox One Kinect センサー”,
http://www.xbox.com/ja-JP/xbox-one/accessories/kinect-for-xboxone, (2016/12/25).
“Leap Motion”,
https://www.leapmotion.com/?lang=jp, (2016/12/25).
“Ring”,
http://logbar.jp/ring/ja/, (2016/12/25).
Nickel,K., Stiefelhagen,R.: Pointing Gesture Recognition based on
3D-Tracking of Face, Hands and Head-Orientation, ICMI '03
Proceedings of the 5th international conference on Multimodal
interfaces, pp. 140-146 (2003).
渡辺恵太, 中道上, 山田俊哉, 尾関孝史: プレゼンテーショ
ンのための直観的なポインティングシステムの提案と評価,
HCG シンポジウム 2014 論文集, pp. 545-552 (2014).
“Joint Type Enumeration”,
https://msdn.microsoft.com/ja-jp/library/microsoft.kinect.jointtype.
aspx, (2016/12/25)

6. まとめと今後の課題
本研究では，立位，座位におけるポインティングジェス
チャーの差異を検証するために，大学生 34 名を対象に評価実験を実施した．そして，評価実験で参加者が選択した基点と操作点の組み合わせを各姿勢で集計し，集計した 9 タイル分の結果から姿勢ごとの最頻値を算出した．
最頻値を分析した結果，最も多くの参加者が選択したジェスチャーは HEAD x THUMB RIGHT の組み合わせ，2 番目に 多く の参 加者 が選 択し たジ ェス チャ ーは HEAD x
HAND TIP RIGHT の組み合わせであった．立位と座位の両姿勢において，参加者が選択したジェスチャーの順位には大きな変化は見られなかった．そこで，姿勢によるジェスチャーの変化を分析したところ，参加者の 38％が立位と座位で異なるジェスチャーを選択していた．この結果から，立位と座位のポインティングジェスチャーには差異があることが明らかとなった．
分析結果で明らかとなった差異の要因を考察するために，ポインティング位置に着目し，参加者が選択したジェスチャーをタイル位置ごとに集計した．その結果，参加者は各タイルをポインティングする際に，腕の移動量が少なくなるようにジェスチャーを選択している可能性が考えられる．より多くのユーザーが一定水準で使用できる共通設定を検討していく場合，特定のジェスチャーを共通設定として使用することは難しい．そのため，今後，直観的かつ腕の移動量を考慮したポインティング手法の検討が必要になると考えられる．
謝辞

本研究は日本学術振興会の科学研究費補助金（若手研究（B）15K16108）の助成により実施いたしました，厚く御礼申し上げます．

© 2017 Information Processing Society of Japan469