Title
Sub Title
AuthorPublisher
Publication year
JtitleJaLC DOI
Abstract
Notes
Genre
URL

ジェスチャ操作に基づくナチュラルユーザインタフェースの設計
Design of natural user interface based on gesture operation
齋藤, 美佳(Saito, Mika)
小木, 哲朗(Ogi, Tetsuro)
慶應義塾大学大学院システムデザイン・マネジメント研究科
2016

修士学位論文. 2016年度システムデザイン・マネジメント学 第235号
Thesis or Dissertation
https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/detail.php?koara_id=KO40002001-000020160038

慶應義塾大学学術情報リポジトリ(KOARA)に掲載されているコンテンツの著作権は、それぞれの著作者、学会または出版社/発行者に帰属し、その権利は著作権法によって保護されています。引用にあたっては、著作権法を遵守してご利用ください。
The copyrights of content available on the KeiO Associated Repository of Academic resources (KOARA) belong to the respective authors, academic societies, or
publishers/issuers, and these rights are protected by the Japanese Copyright Act. When quoting the content, please follow the Japanese copyright act.

Powered by TCPDF (www.tcpdf.org)

修士論文

2016 年度

ジェスチャ操作に基づくナチュラルユ
ーザインタフェースの設計

齋藤 美佳（学籍番号：81533228）

指導教員

小木 哲朗

2017 年 3 月

慶應義塾大学大学院システムデザイン・マネジメント研究科
システムデザイン・マネジメント専攻

1

論

文

要

81533228

学籍番号

氏

名

旨
齋藤美佳

論 文 題 目：
ジェスチャ操作に基づくナチュラルユーザインタフェースの設計（内容の要旨）近年の技術発展に伴い、人々をとりまく情報端末や電子機器の環境は大きく変化してきた。同様に人とコンピュータの対話を実現するためのユーザインタフェースは、その在り方は変わってきている。キーボードでコマンドを入力するキャラクタユーザインタ
フェース（CUI）の時代から、アイコンやメニューをマウスで選択するグラフィカルユー
ザインタフェース（GUI）の時代に変わったことで、コンピュータは専門家のものから一般の人々へと普及していった。GUI はその構成要素から、WIMP 型インタフェースと呼ばれている。GUI の登場以降、メニュー、フォーム、ツールバーに依存しない PostWIMP 型インタフェースの研究や開発が行われてきた。さらに近年では、ナチュラルユ
ーザインタフェース（NUI）と呼ばれるものも登場した。NUI は人間の五感や人間が自然に行う動作によって機械を操作する方法と定義され、タッチパネルや音声操作、ジェスチャ操作などがそれに当たる。特にジェスチャ操作は、操作を認識するためのデバイスがいくつか登場しているが、ゲーム要素が強く有効活用が進んでいるとはいえない。
そこで本研究では、ジェスチャ操作に基づくナチュラルインタフェースを設計し、Post-WIMP 型インタフェースの在り方を検討する。ユーザインタフェースの設計ではユーザビリティを考慮し、ジェスチャ操作を行うユーザにとって、どのようにすれば使いやすいのか、操作性を担保できるのかを明らかにすることを目的としている。
本研究ではジェスチャ操作に基づくインタフェースを設計する上で、ジェスチャ操作の分析とジェスチャ操作可能な情報案内システムを構築して操作性や有用性の評価を行った。検討するにあたり、人間の感覚に沿った操作感を生むこと、不特定多数のユーザが使
うこと、ジェスチャ操作に適したアフォーダンスを提供することに着目してインタフェー
スの設計を行った。結果、ジェスチャ操作に対してリアルタイム性のあるユーザインタフ
ェースを提供することでユーザの感じる分かりやすさや操作感に向上があることがわかった。

キーワード（5 語）
ジェスチャ操作、ナチュラルユーザインタフェース、Leap Motion、公共情報ディスプレ
イ、ユーザビリティ
2

SUMMARY OF MASTER’S DISSERTATION
Student
Identification
Number81533228

Name

Mika Saito

Title
Design of Natural User Interface Based on Gesture Operation

Abstract
With the development of technology, information terminals and electronic devices have changed
dramatically. Likewise, the user interface for interacting with people and computers is changing.
From the era of the character user interface (CUI) to enter commands with the keyboard, it changed
into the era of the graphical user interface (GUI) which selects icons and menus with the mouse.
As a result, the computer spread from expert to general people. From the constituent elements, theGUI is called a WIMP type interface. Since the advent of the GUI, research and development of a
Post-WIMP type interface independent of menus, forms, and tool bars has been conducted.
More recently, what is called a natural user interface (NUI) also appeared. NUI is defined as "away to manipulate a machine by human senses and actions that nature performs naturally", like atouch panel, voice operation system, gesture operation system. Especially some gesture operations
have appeared devices for recognizing operations. However, it can not be said that the gameelements are strongly used effectively.
Therefore, in this research, I design a natural interface based on gesture operation and examine theway of Post - WIMP type interface. Usability is considered in the design of the user interface. It isaimed to clarify how to make it easier to use and guarantee operability for users who perform
gesture operations. In this research, I designed the interface based on the gesture operation,
analyzed the gesture operation and constructed the information guidance system which can handle
the gesture and evaluated the operability and usefulness. In designing the interface, I focused on
creating an operation feeling according to the human sense, using an unspecified number of users,
and providing affordance suitable for the gesture operation.
As a result, it was found that by providing a user interface with real time nature to the gesture
manipulation, the user's feeling of understandability and operation feeling improved.

Key Word(5 words)
Gesture, Natural User Interface, Leap Motion, PID, Usability

3

⽬次
第1章

序論 .............................................................................................. 8

1.1

研究背景 ....................................................................................... 9

1.1.1

ユーザインタフェースの変化 ............................................................ 9

1.1.2

ユーザインタフェースとユーザビリティ ....................................... 15

1.2

研究⽬的 ..................................................................................... 19

1.2.1

これからのユーザインタフェースとジェスチャ操作 ..................... 19

1.2.2

ジェスチャ操作型情報案内システム ............................................... 20

第2章

関連研究 ..................................................................................... 23

2.1

先⾏研究・事例 .......................................................................... 24

2.1.1

初期の例 ........................................................................................... 24

2.1.2

広視野作業画⾯での例 ..................................................................... 24

2.1.3

商業施設・街頭での例 ..................................................................... 25

2.1.4

デスクトップでのジェスチャ操作 .................................................. 26

2.1.5

実⽤化事例 ....................................................................................... 27

2.2

本研究の位置 .............................................................................. 28

第3章

システムの検討 .......................................................................... 30

3.1

システムのコンセプト ............................................................... 31

3.2

ジェスチャ操作の分析 ............................................................... 32

3.2.1

ジェスチャによる操作コマンド ...................................................... 32

3.2.2

指指し実験 ....................................................................................... 33

3.2.3

実験結果と考察 ................................................................................ 35

3.2.4

スワイプ操作の検証 ........................................................................ 38

第4章

情報案内システムの構築 ........................................................... 41

4.1

コンテンツの検討 ...................................................................... 42

4.2

⼤会情報案内システム ............................................................... 42

4.2.1

機能概要 ........................................................................................... 424

4.2.2

操作コマンドの検討 ........................................................................ 43

4.2.3

ユーザインタフェース設計⽅針 ...................................................... 44

4.2.4

操作⽅法と操作の流れ ..................................................................... 45

4.2.5

システムの構築 ................................................................................ 46

4.3

検証とフィードバック ............................................................... 47

4.3.1

検証⽅法 ........................................................................................... 47

4.3.2

結果とフィードバック ..................................................................... 48

4.3.3

考察 .................................................................................................. 48

第5章

ジェスチャ操作に対する 効果的なフィードバック ................. 50

5.1

効果的なフィードバックの検討 ................................................ 51

5.1.1

問題点と仮説 ................................................................................... 51

5.1.2

リアルタイム性の付与 ..................................................................... 52

5.2

評価と検証 ................................................................................. 53

5.2.1

⽬的 .................................................................................................. 53

5.2.2

評価⽅法 ........................................................................................... 53

5.2.3

結果 .................................................................................................. 55

5.2.4

考察 .................................................................................................. 58

第6章

結論 ............................................................................................ 59

6.1

結論 ............................................................................................ 60

6.2

今後の展望 ................................................................................. 60

謝辞 ........................................................................................................... 62
外部発表 .................................................................................................... 63
参考⽂献 .................................................................................................... 645

図⽬次
図 1-1 Apple Macintosh（1984）の UI ...................................................................... 10
図 1-2 情報通信端末の世帯保有率の推移 ................................................................... 12
図 1-3 Amazon Echo ................................................................................................... 13
図 1-4 Microsoft Kinect .............................................................................................. 14
図 1-5 Project Soil ....................................................................................................... 15
図 1-6 スマートフォンの購入時に重視した項目 ........................................................ 18
図 1-7 Microsoft HoloLens.......................................................................................... 19
図 1-8 Kino-mo Hypervision....................................................................................... 20
図 1-9 情報案内システムの例（新宿駅西口） ............................................................ 21
図 1-10 タッチパネル型ナビゲーション ..................................................................... 22
図 2-1 マイノリティ・リポートでのジェスチャ操作のワンシーン............................ 25
図 2-2 Leap Motion ..................................................................................................... 27
図 2-3 MYO ................................................................................................................. 28
図 3-1 システムの基本構成 ......................................................................................... 31
図 3-2 実験の概要 ....................................................................................................... 35
図 3-3 指指し実験の様子 ............................................................................................ 36
図 3-4 フィードバック有無の差異比較 ....................................................................... 37
図 3-5 サンプルプログラムの画面 .............................................................................. 39
図 4-1 情報案内システムの画面.................................................................................. 45
図 4-2 システム操作フロー .......................................................................................... 46
図 4-3 展示の様子 ........................................................................................................ 47
図 5-1 ユーザインタフェース概要 .............................................................................. 53
図 5-2 比較実験の様子 ................................................................................................ 55
図 5-3 アンケート集計結果 ......................................................................................... 566

表⽬次
表 1-1 インタフェースの世代区分 ................................................................................ 9
表 1-2 ISO 924-11 によるユーザビリティの定義 ........................................................ 16
表 1-3 ニールセンによるユーザビリティの定義 ........................................................ 17
表 3-1 既存デバイスの操作方法.................................................................................. 33
表 3-2 指指し実験の結果 ............................................................................................ 36
表 4-1 操作コマンドの割当内容.................................................................................. 44
表 5-1 良いデザインの原則 ......................................................................................... 51
表 5-2 アンケート項目 ................................................................................................ 54
表 5-3 実験結果 ........................................................................................................... 57

7

第 1章
序論

8

1.1 研究背景
1.1.1 ユーザインタフェースの変化
ユーザインタフェースとは、コンピュータとそれを使う⼈間の間にあって、⼈間の指⽰をコンピュータに伝えたり、コンピュータからの出⼒結果を⼈間に伝えたりするためのソフトウエアやハードウエアの総称である。コンピュータの普及に伴い，⼈とコンピュータの対話を実現するためのユーザインタフェースは変化を遂げてきた。ユーザインタフェースの変化について、Andy Van Dam は断続平衡説の概念を使⽤して以下の 4 つの世代に区分けしている [1]世代

概要・ユーザインタフェース

第⼀世代

バッチインターフェース（1950〜1960 年代）

基本的にはユーザとコンピュータの対話型ではなく、ユーザインタフェースが無い

第⼆世代

キャラクタユーザインタフェース（CUI）（1960〜1980 年代初

ユーザがテキストをコンピュータに⼊⼒する対話型の期）

インタフェース

第三世代

グラフィカルユーザインタフェース（GUI）（1970 年以降）

ウィンドウ、アイコン、メニュー、ポインタ（WIMP）で構成されたインタフェース

第四世代

Post-WIMP 型インタフェース（1990 年代）

メニュー、フォーム、ツールバーに依存しないインタ
フェース
表 1-1 インタフェースの世代区分

コンピュータのユーザインタフェースにおける第⼀の変化は、バッチインター
9フェースからキャラクタユーザインタフェース（CUI）への変化である。それまでコンピュータに穿孔されたカードを読み込ませることで処理を実⾏していたもの
から、キーボードを使⽤してコマンドを打ち込み、処理を実⾏する形へと変化した。この時代にキーボードでの⼊⼒、ディスプレイでの出⼒という、現在の広く普及するパーソナルコンピュータの基礎が出来上がった。マシンの⼩型化と CUIの登場はパーソナルコンピュータの普及を促したが、さらに⼤きな変⾰をもたらしたのがグラフィカルユーザインタフェース（GUI）の登場である。ウィンドウ、
アイコン、ナビゲーションメニュー、ポインティングデバイスで構成された GUIを備えたコンピュータの開発が 1970 年代からパロアルト研究所で始まった。その後、1984 年の Macintosh の登場により⼀般家庭にもパーソナルコンピュータが普及し始め、それに続く Windows PC によって世界的に普及していった。
GUI は、その構成要素（Window, Icon, Menu, Pointing device）の頭⽂字を取って WIMP 型インタフェースと⾔われている。この形式は少しずつ形を変えつつも、基本的な構造は変わること無く現在のパーソナルコンピュータに引き継がれている。(図 1-1)

図 1-1 Apple Macintosh（1984）の UI1Apple Macintosh Desktop:
https://en.wikipedia.org/wiki/File:Apple_Macintosh_Desktop.png

110GUI の登場以降、メニュー、フォーム、ツールバーに依存しない Post-WIMP
型インタフェースの研究や開発が⾏われてきた。
Post-WIMP 型の⼀つの形として、研究の分野では、97 年に MIT メディアラボの⽯井裕教授が提唱したタンジブルインタフェースがある[2]。これは形のないデ
ジタルの世界を、物理世界に表現して直接触れられるようにするというインタフ
ェースである。これは現状のコンピュータのインタフェースの概念を超えるものであり、その後「タンジブル」というキーワードで様々なユーザインタフェースの在り⽅が研究されている。
デバイスの⾯では、1990 年代に PDA（Personal Digital Assistant）と呼ばれる
携帯情報端末なども登場した。PDA はパーソナルコンピュータと⽐較して限定的な機能しか持たないものの、⼿のひらサイズであり、端末⾃体のキーや外付けのペンを使⽤して操作するという特徴がある。UI の⾯では、ポインティングデバイ
スがペンであるという特徴はあるが、Post-WIMP 型と呼べるほどの変化ではなかった。PDA は広く普及するには⾄らず、その後登場したスマートフォンに吸収される形となった。
スマートフォンは、2007 年の iPhone の発売、続く 2008 年の Android の発売により、数年間で爆発的に普及していった[3]。（図 1-2）

11

図 1-2 情報通信端末の世帯保有率の推移2

これらスマートフォンやタブレット型 PC の普及により、画⾯を直接触って操作するタッチパネル式のユーザインタフェース、タッチユーザインタフェース（TUI）が現在は主流となっている。同様に、VR（仮想現実）や AR（拡張現実）の研究開発の進展や、IoT（モノのインターネット）の登場、デジタルサイネージのような情報提⽰システムの普及に伴い、⼈とコンピュータとの在り⽅が変わってきた。このような流れの中で、新たにナチュラルユーザインタフェース（NUI）という概念が出現した。2012 年 3 ⽉に東京⼯芸⼤学が⾏った「ナチュラルユーザーインターフェースに関する調査」[4]では NUI を「⼈間の五感や⼈間が⾃然に⾏う動作によって機械を操作する⽅法」定義している。ここでは NUI の具体例として、タッチパネルや⾳声対話システム、ジェスチャ操作などが挙げられている
タッチパネルは前述したスマートフォンやタブレット PC だけでなく、切符の券売機や銀⾏ ATM、街中に設置してある情報端末など、⽇常的に利⽤されている。
⾳声対話システムで有名なものには、iPhone に搭載されている Siri3が上げられる。Siri は⼊⼒された⾳声を解析してユーザの質問に答える、他のアプリを起動す2

総務省「平成 27 年通信利⽤動向調査」:
http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html/nc372110.html
33 iOS Siri : http://www.apple.com/jp/ios/siri/12るなどのアシスタント機能を備えたアプリである。Siri のような携帯端末に付属するアプリケーションではなく、Amazon Echo のように家庭に据え置きするタイプの⾳声対話システムも登場した（図 1-3）。これは家電と連携する以外にも⾳声⼀
つでショッピングも可能というように様々な機能を兼ね備えており、IoT を体現する製品だと⾔える。

図 1-3 Amazon Echo4

ジェスチャ操作で実⽤化されているものでは Microsoft の Kinect が上げられる（図 1-4）。これは「カラダまるごとコントローラー」というキャッチコピーにあるとおり、ユーザの全⾝の動きを認識しシステムを操作するためのデバイスである。元々はゲーム向けに開発されたものだが、ソフトウェア開発キットなども公開され近年はゲーム⽤途以外での活⽤も模索されている。

4

Amazon Echo : http://a.co/2i9jsto
13図 1-4 Microsoft Kinect5

また、2015 年に Google から Project Soil という名称のプロジェクトが発表された（図 1-5）。これはレーダーをジェスチャセンサとして使⽤し、ジェスチャ操作
で端末を操作するための研究開発プロジェクトである。開発者キットも配布されており、商品化に向けて開発が進んでいる。

5

Microsoft Kinect : http://www.xbox.com/ja-JP/xbox-one/accessories/kinect
14図 1-5 Project Soil6

これらの例を⾒ても、コンピュータとユーザの間で情報のやりとりを⾏うイン
タフェースであるユーザインタフェースも変⾰期にあると⾔える。旧来のパーソ
ナルコンピュータに代表される WIMP 型のユーザインタフェースは過渡期を迎えており、新たなユーザインタフェースの在り⽅が求められている。

1.1.2 ユーザインタフェースとユーザビリティ
ユーザインタフェースは⼈間とコンピュータの対話を実現するためのものであるため、その在り⽅はコンピュータや電⼦機器の操作性や使いやすさを決める⼤きな要因となる。そしてその操作性や使いやすさは、ユーザビリティと呼ばれ、製品やサービスを作る上で重要な指標となっている。
ユーザビリティは国際標準化機構の規格である ISO 9241-11 で「特定の利⽤状
況において、特定のユーザによって、ある製品が、指定された⽬標を達成するた

6Project Soil : https://atap.google.com/soli/

15

めに⽤いられる際の、有効さ、効率、ユーザの満⾜度の度合い」とされ、以下の項⽬が定義されている。（表 1-2）

有効さ

ユーザが指定された⽬標を達成する上での正確さ、完全性(effectiveness)
効率

ユーザが⽬標を達成する際に、正確さと完全性に費やした(efficiency):

資源

満⾜度

製品を使⽤する際の、不快感のなさ、および肯定的な態度(satisfaction)
利⽤状況

ユーザ、仕事、装置（ハードウェア、ソフトウェア及び資(context of use)

材）、並びに製品が使⽤される物理的及び社会的環境
表 1-2 ISO 924-11 によるユーザビリティの定義

また、ウェブユーザビリティの権威である Jakob Nielsen は、著書の中でユーザビリティを以下のように定義している[5]。（表 1-3）

16

学習しやすさシステムは、ユーザがそれをすぐ使い始められるよう、簡単に学習できるようにしなければならない

効率性

⼀度学習すれば、あとは⾼い⽣産性を上げられるよう、効率的に使⽤できるものでなければならない

記憶しやすさユーザがしばらくつかわなくても、また使うときにすぐ使えるよう覚えやすくしなければならない

エラー発⽣率

エラーの発⽣率を低くし、エラーが起こっても回復できるよ
うにし、かつ致命的なエラーは起こってはならない

主観的満⾜度

ユーザが個⼈的に満⾜できるよう、また好きになるよう、楽しく利⽤できなければならない
表 1-3 ニールセンによるユーザビリティの定義

パーソナルコンピュータの急速な普及や、⼈々を取り巻く環境の変化により、情報端末や電⼦機器に対してユーザビリティの⾼さを求める動きが強くなっている。情報端末や電⼦機器が⾝近になればなるほど、操作を学習しやすく、覚えやすく、⼿軽で簡単に使えるものが好まれる。1980 年台の CUI から GUI への流れもその好例である。コンピュータの操作に必要なコマンドを記憶してキーボードで打ち込まなければならないものから、表⽰されたアイコンやメニューから⾃分の望むものを選んでクリックするだけで操作ができるようになったことで、パーソナルコンピュータは⼀部の専⾨家や知識を持った⼈間だけでなく、幅広いユー
ザ層に利⽤されるようになった。
同様にユーザビリティの⾼さは、ユーザが製品を選ぶ⼤きな決め⼿となる。実際に、モバイルマーケティングデータ研究所が 2016 年に⾏ったスマートフォン購⼊者に対して⾏ったアンケートでは、スマートフォンを購⼊する際に重視した項
⽬に機能やスペック⾯よりも「操作性の良さ」を上げている購⼊者が多いという結果が出ている。（図 1-6）
近年ではさらに、ユーザエクスペリエンス（UX）という⾔葉も頻繁に使われる
17

ようになった。これはニールセンのユーザビリティ定義における「主観的満⾜度」に当たるものであり、製品を使ったユーザが楽しいと感じるか、⾯⽩いと思えるかなど、どのように感じるのかということまで求められている。

図 1-6 スマートフォンの購⼊時に重視した項⽬ 7

これらのように、コンピュータとユーザの間で情報のやりとりを⾏うユーザイ
ンタフェースも変⾰期にあるのと同時に、⾼いユーザビリティも求められている。新たなユーザインタフェースの在り⽅を考える上で、操作性の⾼さや使いやすさといったユーザビリティを考慮しなければならない。

7

MMD 研究所：https://mmdlabo.jp/investigation/detail_1613.html
18

1.2 研究⽬的
1.2.1 これからのユーザインタフェースとジェスチャ操作
本研究の⽬的は、ジェスチャ操作に基づくナチュラルインタフェースを設計
し、Post-WIMP 型インタフェースの在り⽅を検討する。ユーザインタフェースの設計ではユーザビリティを考慮し、ジェスチャ操作を⾏うユーザにとって、どのようにすれば使いやすいのか、操作性を担保できるのかを明らかにする。
本研究においてジェスチャ操作を利⽤する理由は２つある。⼀つは、技術的な⾯では充分な性能を持った製品が出ているにも関わらず、使⽤⽤途がゲームなど限定的であり活⽤が進んでいないこと。⼆つ⽬は、VR や AR 技術の発展である。
VR や AR は多くの企業が注⽬しており、様々な開発が⾏われている。Microsoft
では「Microsoft HoloLens」（図 1-7）という新型のヘッドマウントディスプレイ
を発表している。これは頭部に装着するタイプの透過型のディスプレイで、装着者は現実世界にホログラフが表⽰されたような体験ができるものである。

図 1-7 Microsoft HoloLens8

8

Microsft HoloLens : https://www.microsoft.com/microsoft-hololens/en-us
19また、⾝体に装着せずにホログラムを実現させる⽅法もある。kino-mo の「Kino-mo Hypervision」は LED のついたプロペラを⾼速回転することで空間に映像を表⽰する。（図 1-8）

図 1-8 Kino-mo Hypervision9

このように SF 映画の世界とも⾔える技術が登場してきており、今まで画⾯上で操作していたものが画⾯を超えて現実に表現される⽇も近いと⾔える。画⾯が不要になれば、操作⽅法としてジェスチャ操作の存在が⼤きくなると考えられる。
このような背景から、NUI と呼ばれるものの中からジェスチャ操作を取り上げる。

1.2.2 ジェスチャ操作型情報案内システム
本研究ではジェスチャ操作に基づくインタフェースを設計する上で、ジェスチ
ャ操作可能な情報案内システムを構築して操作性や有⽤性を評価することとした。
ここでの情報案内システムは、街中や商業施設などに設置されている地図情報

9Kino-mo: http://kino-mo.com/20表⽰板やナビゲーションシステムを指す。（図 1-9）

図 1-9 情報案内システムの例（新宿駅⻄⼝）

デジタルサイネージの普及に伴い、上図のようなナビゲーション⽤途を持った
サイネージやタッチパネル型のシステムが増えている[6]。特に⽇本では 2020 年の東京オリンピックに向けて、訪⽇外国⼈向けの案内システムを含むサイネージの活⽤が検討されている。現在でもタッチパネル型のシステムは⾒られるが、公共の場で不特定多数のユーザが使うことから、衛⽣⾯での問題がある。また、タッチパネルの場合、操作者の⼿の可動範囲が制限されることから、広視野画⾯での表⽰やタッチパネル化は難しい。
新宿に設置されている情報案内システムはタッチパネル型のナビゲーションシ
ステム（図 1-10）を併設しており、タッチパネル⽅式で新宿駅周辺の情報を確認することができる。このシステムは、タッチパネルで操作できる画⾯の隣部分に広域のマップ画⾯が設置されており、タッチパネルで操作した内容が隣のマップに連動して表⽰される。

21

図 1-10 タッチパネル型ナビゲーション

現地でこれを実際に使⽤したが、その際にタッチパネル部分が汚れていてザラザラとした触感があり、不快感があった。また、タッチパネルで操作している内
容を、隣の広域マップ画⾯に表⽰しても、タッチパネルの前で操作している⾃分では確認することができず、利便性を感じられなかった。
このような問題は、ジェスチャで操作できるようになることで解決できる。ジェスチャ操作の場合は⾮接触で操作できるため、画⾯が汚れていたとしてもそれを触る必要はない。また、広域画⾯の場合でも、離れた場所から操作できるため
適切な視野⾓で画⾯を⾒ることが出来る。
このような⾯から⾒ても、ジェスチャ操作にはタッチパネルとは違った有⽤性があると⾔える。

22

第 2章
関連研究

23

2.1 先⾏研究・事例
ジェスチャ操作に関する研究は古くから⾏われてきており、過去にも様々な⽅法が模索されてきた。第 2 章では過去の研究の例と、本研究の位置づけについて述べる。

2.1.1 初期の例
ジェスチャ操作の初期の例は、1980 年に発表された MIT Media Lab の「PutThat-There」[7]がある。これは⾳声⼊⼒とジェスチャ認識を使って⼤型ディスプ
レイの上のオブジェクト操作をすることができるシステムである。例えば、ディ
スプレイに表⽰されているオブジェクトを指差しながら、「Make that smaller」と⾔うとそのオブジェクトが⼩さくなる。これは前述した Siri や Kinect の概念をすでに実現していたものであり、⾮常に⾰新的で先駆的な研究だったと⾔える。
この研究は 40 年近く前のものであり、その当時から⾳声操作やジェスチャ操作については研究や検討されてきたということである。近年になり技術基盤が出来上がったことで、ようやく普及の段階に達したと⾔える。

2.1.2 広視野作業画⾯での例
近年の例では、⽊村(2006)による広視野電⼦作業空間でのジェスチャ操作の研究がある[8]。これは映画「マイノリティ・リポート」に発想を得て作られたシステムである。「マイノリティ・リポート」の中では、主⼈公が湾曲した半透明の広視野ディスプレイの前でジェスチャ操作を⾏ってシステムを操作するシーンが登場するが（図 2-1）、このジェスチャ操作型システムを現実に再現しようした研究
である。

24

図 2-1 マイノリティ・リポートでのジェスチャ操作のワンシーン10

この研究では、広視野電⼦作業空間に適した作業として医⽤画像の閲覧・整理作業と定義し、それらの操作をジェスチャ操作で⾏うためのシステムを構築している。映像はアーチスクリーンにプロジェクタで投影し、ユーザはグローブを嵌めてジェスチャ操作を⾏う。ジェスチャ操作は磁気センサによる⼿の⼤まかな位
置姿勢の検出と、グローブの指先につけた再帰性反射材をマーカとして⽤いてジェスチャ操作を識別している。
このシステムは⼤規模な装置を必要としており、作業空間が限られている。また、作業者は特定のユーザであり、グローブの装着も必要であるため、誰でも簡
単に操作できるというものではない。

2.1.3 商業施設・街頭での例
常業施設でのジェスチャ操作型システムの例では、松原(2012)によるテーブル
型インタラクティブデジタルサイネージの研究がある[9]。この研究はジェスチャ
操作を⽤いて公共の場での利⽤⽅法に適したインタラクティブサイネージを開発することを⽬的としている。公共の場での利⽤⽅法として複合商業施設でのフロ

10

マイノリティ・リポート：http://movies.foxjapan.com/minority/
25

アガイドを例とし、開発と評価実験が⾏われている。このシステムはセンサ、ディスプレイ、PC の３つで構成されており、3 次元距離画像カメラを⽤いてジェス
チャ操作を認識させている。この実験では⼀般被験者でのユーザビリティ評価により、システムを初めて使うユーザでもジェスチャ操作⽅法を説明すること無く⽬的の操作を実⾏できることを確認しているが、被験者のうち８割がジェスチャ操作をできるにも関わらず画⾯に触ってしまうという結果が出ている。これは実際に触れることが出来るタッチパネルに慣れているユーザにとって、ジェスチャ
操作という実態のない物を操作する⾏為が分かりにくいためであると考えられる。
また、海外の例では C,Ackad（2013）による、PID（公共情報ディスプレイ）を使⽤したインタラクティブサイネージの研究がある[10]。これはジェスチャ操作可能な公共情報ディスプレイを開発し、実際に 120 ⽇間街頭に設置して検証するというものである。このシステムは建物の中に外に向かって設置されており、ガラス窓を通して外の通路からジェスチャ操作できるような仕組みになっている。
ジェスチャ操作を検知するセンサとして Kinect を使⽤しており、⼿を上げたり動かしたり、決められたコマンドに沿ったジェスチャを⾏うと画⾯が反応するようになっている。この実験では 120 ⽇間の間に 2468 ⼈がディスプレイに近づき、そのうちの 62％がジェスチャ操作によるインタラクションを⾏ったという結果がでていることから、多くのユーザが興味をもって使⽤したことが分かる。

2.1.4 デスクトップでのジェスチャ操作
街頭などの屋外ではなく、机上でジェスチャ操作を⾏う例としては、MIT のSpaceTop がある[11]。これは透過型のディスプレイと 2 台の Kinect を使⽤しており、使⽤者はディスプレイを挟む形でディスプレイの後ろ側に⼿を置き、その場所で⼿を動かす。それにより透過型ディスプレイ上に映っている物体を⼿の動きに合わせながら操作することを可能とする。これは CAD プログラムなど 3D 表
現を⾏うユーザが使⽤することを⽬的としており、⼀般向けとは⾔えない。
同様の例では、Microsoft の Holodesk[12]がある。これも SpaceTop と同じように、使⽤者とデスクのあいだに透明なビームスプリッタがあり、そこに CG を投影して現実のデスク上に仮想オブジェクトが出現したように⾒える仕組みとなっ26ている。これもジェスチャのセンシングには Kinect が使⽤されているが、デスクトップなど⼤掛かりな機材が必要となるため、⼀般向けの製品ではない。

2.1.5 実⽤化事例
ジェスチャ操作を実現するデバイスはいくつか販売されている。前述したMicrosoft Kinect 以外にも、⾚外線センターによってハンドジェスチャーを検知する Leap Motion 社の Leap Motion、筋電を検知して腕や⼿の動きを検知する
Thalmic Labs 社の MYO などがある。これらのデバイスはジェスチャ操作によってコンピュータを操作することは実現できるが、公開されているアプリケーショ
ンはゲーム要素が強いものが多い。

図 2-2 Leap Motion11

11

Lap Motion : https://www.leapmotion.com/
27

図 2-3 MYO12

ゲーム以外の例で実⽤化されている例では、⼿術室向け⾮接触型画像操作シス
テムの Opect がある[13]。これは Microsoft とニチイ学館が共同で開発を⾏い、東京⼥⼦医科⼤学で試験運⽤されており、現在はニチイ学館のサービスとして販売されている。外科医は⼿術時に検査画像を⾒ながら進めることがあり、通常は検査画像に直接触れて必要な部位を取り出したり、⼝頭で助⼿に依頼して⾒せてもらったりする必要があった。このシステムは Microsoft Kinect によりジェスチャ操作を実現し、⾮接触で検査画像を操作・閲覧している。⼿術中に⼿が汚れている状態でも⾮接触で画⾯を操作できるため、衛⽣⾯が担保できる。また、遠距離での操作が可能なため⼿術中に場所を移動せずに操作することができる。⼿術室という限定的な環境ではあるが、⾮接触で操作できるジェスチャ操作の有⽤性が活⽤された例である。

2.2 本研究の位置
以上、本研究に関する研究事例や実⽤例を述べてきた。ジェスチャ操作型のシステムは過去数⼗年に渡って研究されてきているが、実⽤化されている例はそれほど多いとはいえない。またジェスチャ操作デバイスの活⽤のケースも限られて

12

MYO : https://jp.myo.com/
28

いる。また、研究の例も限定的な状況であることや、⼤掛かりな装置やシステムを必要としており、導⼊の障壁が⾼い。そこで本研究では、⼤掛かりな施設や装置などを使⽤せずに、簡易な⽅法でジェスチャ操作型システムを実現する。また、公共の場で不特定多数のユーザが使⽤することを想定し、多くのユーザが⾃然にジェスチャで操作でき、使いやすいと思う要素はどのようなものなのかを明らかにする。

29

第 3章
システムの検討30

3.1 システムのコンセプト
本研究で構築するシステムは、⼤規模な施設や装置などを使⽤せずに実現する。基本構成は、ジェスチャ操作デバイスと処理⽤の PC、表⽰⽤のディスプレイ
のみとした。（図 3-1）
ジェスチャ操作を認識するための装置には、Leap Motion を選択した。Leap
Motion は 2 基の⾚外線カメラと⾚外線照射 LED から構成された、⼩型のモーションセンサである。⾚外線 LED に照らされた⼿や指を⾚外線カメラで撮影し、画像解析することにより三次元空間での⼿や指の位置を割り出す。検知できる範囲
は半径 50 センチ程度だが、指や⼿の動きを精密にトラッキングすることができ、⾼い性能を持っている。[14]図 3-1 システムの基本構成

また、本システムは公共の場で不特定多数のユーザに利⽤されることを想定しているため，設計に当たりユーザビリティを⾼めるために以下を考慮すべき点と
31

した。
1.

シンプルで⾃然な操作
CUI のようなコマンドの記憶学習は不要とし、始めて使うユーザでも使い⽅が分かるよう簡単なジェスチャで操作可能とする。

2.

分かりやすい画⾯構成
ジェスチャ操作は触覚や⼒覚などが無く、操作のフィードバックは視覚への依存が⾼くなる。そのため、ひと⽬⾒て分かるような認知負荷の低い画⾯構成とする。

3.2 ジェスチャ操作の分析
3.2.1 ジェスチャによる操作コマンド
ジェスチャとは、⾝振り、⼿振りのこと、またはそれを通して意思伝達するコ
ミュニケーションの⼿段のことを指す。我々は⽇常的に会話や説明などの補助としてジェスチャを⾏っており、⾮常に⾝近な⾏為である。シンプルで⾃然な操作を実現する上で、どのようなジェスチャが操作コマンドとして適しているかを検討する必要がある。そこで、システムを構築する前にジェスチャ操作についての分析を⾏った。
このシステムは不特定多数の⼈が使うことを想定しているため、ジェスチャ操
作は複雑ではなくごく基本的な操作のみに限定し、操作⽅法を学ばなくても誰でも簡単に操作できるような形とする必要がある。そこで、利⽤者の認知コストを下げるために、既存のメンタルモデルを踏襲した上で操作コマンドを検討する必要があると考えた。操作内容を絞って，既存のデバイスでの操作⽅法を整理した(表 3-1)。

32

操作コマンド

マウス

タッチパネル（指）(マウスカーソル)

選択クリック，ダブルクリック

タップ

戻る・進む

戻る・進むボタンをクリッ

戻る・進むボタンをタップ，ク

素早く左右にスワイプ

拡⼤・縮⼩ボタンをクリッ

⼆本指でピンチ

拡⼤・縮⼩ク
画⾯内の上下左右ドラッグ，スクロール

スワイプ

の移動
表 3-1 既存デバイスの操作⽅法

これらの操作をジェスチャで実現する上での操作⽅法を考える上で、ジェスチ
ャにおける「形態」と「動き」の２つの側⾯に注⽬した。形態とは，例えば指指し指⽰で位置を⽰すことや、ピースサインなどの⼿や指の形で意味を⽰すことである。「動き」は⼿を振るなどの動きを主としたジェスチャである。この２つのパターンにおいてどちらが操作コマンドとして適しているか検証した。

3.2.2 指指し実験
マウスやタッチパネルのようなポインティングデバイスの場合、ピンポイント
での操作が可能になるため、クリックやタップをしてメニューやアイコンの⼀部分を選択する操作が多い。同様にジェスチャ操作において「メニューの中から明
⽰的に何かを選ぶ」という操作を考えた場合に、指指しで指⽰をするということが⾃然なのではないかと考えた。
ジェスチャ操作の最初の例である「Put -that -There」でも指指しでの指⽰を操作の基本としているように、「あれ」と⾔って指を指して何かを指定する、⼈の注
⽬を向けるなどの⾏為は、誰しもが⾏ったことのある⼀般的なジェスチャであ33

る。既存のメンタルモデルと照らし合わせても、分かりやすいジェスチャであるといえる。
だが、⼀⽅で指差し動作には不確実さの問題が存在している[15]。Leap Motionのセンシング精度は⾼く、3 次元空間内でもピンポイントに位置を検知できる。機械は 3 次元空間の中で⼈間が指差した向きの絶対的な位置を認識できるが、⼈間の認知は曖昧であり、機械のように精密に認識できるわけではない。⼈間の感覚に沿った、分かりやすい操作感を⽣むためにはこの点を解決する必要がある。ユーザによって指指し動作に何かしらの傾向があるのであれば、使⽤ユーザに合わ
せてキャリブレーションを⾏うなど、対処⽅法を検討する必要がある。そこで機械が認識できる絶対的な位置と、⼈間の認識にどれだけの差異があるのかを測定するための予備実験を⾏った。

この実験の⽬的は、⼈間の認知と物理的な絶対的な位置の差異を計測することにある。それにより、⼈間の認知のずれ⽅の傾向や、ユーザインタフェースを設計する上で注意すべき点を明らかにする。
実験は以下の⼿順で⾏った。
1.

提⽰された指定のポイントを指差しする

2.

指に装着したレーザーポインタのスイッチを⼊れ、指差した延⻑線上を照射する

3.

レーザーポイントが照射された位置を記録し、提⽰したポイントとの差異を計測する

縦 50cm、横 90cm 四⽅に番号を振った 9 つの点を起き、被験者は指⽰された番号を指差す。（図 3-2）

34

図 3-2 実験の概要

レーザーポインタの照射光の位置による影響を避けるため、指差し位置が決定
した後にレーザーポインタのスイッチを⼊れて照射位置を測定する。さらに、被験者は以下の２つの条件下で実験を⾏う。
l

フィードバックあり：⾃分が指差ししたポイントを指さし動作後に確認出来るlフィードバックなし：⾃分が指差ししたポイントを最後まで確認できない

フィードバックあり、なしと条件を分けた理由としては、連続して操作した場
合に、被験者による誤差の修正が⾏われると仮定したためである。被験者が直前に指した場所を確認できることにより、次に指す際には少なからず位置の調整をするはずである。意図的に調整されることも含めて⽐較を⾏うため、上記のような条件を定めた。

3.2.3 実験結果と考察
実験は成⼈男⼥ 15 ⼈が参加して⾏った（図 3-3）。

35図 3-3 指指し実験の様⼦

実験結果の概要は表 3-2 にまとめた。実験結果からは、被験者が⾃分で指している⽅向の認識と、物理的な指の⽅向の違いは被験者によって差が⼤きいことが分かった。また、フィードバックがある場合とない場合で対応のある t 検定を⾏った結果、有意差が認められた(図 3-4)。
フィードバックの有無による差が出た理由として，仮説の通りフィードバックを得ることで被験者が⾃主的に次に指す場所を補正していたためと考えられる。
そのためか、フィードバックがない場合は、ある場合に⽐べてやりにくかったという感想を述べる被験者が数名いた。フィードバックがある場合は、概ね誤差範囲は 50mm 以内に収まっていた。
フィードバック

誤差平均(mm)

標準偏差

分散

あり

31.52

24.27

589.1

なし

78.03

64.41

4148.86

表 3-2 指指し実験の結果

36

図 3-4 フィードバック有無の差異⽐較

被験者によって指の指し⽅も違いがあり、腕を折ったまま指をさす被験者や、腕を伸ばして指す被験者がいた。指指しという⾏為であっても、⼈によってそのやり⽅に違いがあるということも分かった。また、フィードバックが無いことでやりにくさを感じている被験者もいたことから、ジェスチャ操作において⾃分の動作の結果が⽬に⾒えるということが重要であることも分かった。また、被験者数名から、指を⼀定時間指し続ける⾏為に疲れを感じるという感想もあった。
以上の結果から、指指しのようにピンポイントで何かを指⽰するような操作の場合は、システムと⼈間の認知には溝があること、またその差異は個⼈により⼤きく異なるため、システム側で補正するのにも限界があることが分かった。また、ユーザの疲労感についても考慮する必要があることが分かった。
⼀度の指指しで正しい場所を指せるとは限らない場合、その問題を解決するた
めに考えられる施策としては、常に指指ししている箇所を指し⽰すことがあげられる。これはパーソナルコンピュータにおけるマウスカーソルと同等の機能であ37

る。⾃分で常にどの箇所を指しているか分かっているのであれば、⽬的の場所までそのカーソルを動かせば良いため指指しの⽅向が正確である必要はない。しかしその場合、指をさす上で選択を決定するための⾏為、マウスで⾔えばクリックに当たる処理が必要となる。それはすなわち、ユーザに対して⼆段階の操作を求めることになる。しかし、ユーザインタフェースを考える上で、⽬的達成のための⼿順をなるべく少なくしたほうが良いということが⾔われている[16]。そこで⼆段階操作を求めることは避けるべきだと考えた。

3.2.4 スワイプ操作の検証
⼿の動きに着⽬した操作⽅法として、既存のデバイスの操作⽅法の中にあるス
ワイプに着⽬した。スワイプはマルチタッチインタフェースにおいて、画⾯に触れた状態で特定⽅向に指を滑らせる操作である。スマートフォンが主流となった
今⽇、ほとんどのユーザがスワイプ操作を特に意識せずに使⽤している。また、
SF 映画でも空を⼿で左右に動かすような動きは良く⾒られるため、ユーザも理解しやすいだろうと考えた。
そこで、スワイプ操作の実⽤性を検証するために、サンプルプログラムを利⽤
し数名の被験者に実際にスワイプ操作をしてもらった。サンプルプログラムは、5×5 マスの枠の中の⾚枠をスワイプ操作で移動できるものである（図 3-5）。

38図 3-5 サンプルプログラムの画⾯

被験者にはマスの中の⾚枠を、こちらの指⽰する⽅向にスワイプ操作で移動してもらった。移動は連続して 10 回⾏ってもらい、そのうち何回違う⽅向に⾚枠を動かしてしまう操作ミスがあるのかを計測した。
被験者 7 名に⾏ってもらった計測の結果、エラー率は 8.6%だった。被験者のうち 4 名は、操作をした 10 回のうち 1 度もミスが無かった。また、どの被験者も、「左に動かしてください」「左斜めに動かしてください」といった指⽰に対し、すぐに操作⽅法を理解して⽬的の操作をしていた。ミスのあったケースでは、⼿を戻す動きに反応して意図しない操作をしてしまうということも⾒られた。
検証結果から、エラー率 8.6%という数値が操作機器としてエラー率が低いかというとそうとは⾔い切れない部分もあるが、半数の被験者が⼀度もミスせずに操作できていたこと、ミスがあった被験者も 1〜2 回程度であることから、スワイプ
操作は⼗分ジェスチャ操作コマンドとして利⽤できると判断した。また、スワイ
プの場合、⼀度の操作時間が短時間で済み、操作が終わった後に腕をユーザの横など楽な位置に戻すことができる。これにより、指差しの際にあった疲労感も回避できる。何よりも、操作指⽰に対して、被験者がどういった操作をすべきなの
39

かという理解が早かったことは⾮常に重要である。
以上、指指しとスワイプ操作のそれぞれの検証結果から、本システムではジェ
スチャ操作のコマンドとして、スワイプ操作を利⽤することとした。上下左右斜めのスワイプ操作に対して操作コマンドを割り当てることで、システムの操作を
実現する。

40

第 4章
情報案内システムの構築

41

4.1 コンテンツの検討
情報案内システムを構築するにあたり、公共の場での活⽤シーンの⼀つとして、学術⼤会やイベント会場などに設置する情報掲⽰・ナビゲーションシステムを選択した。学術⼤会の会場は⽐較的広い範囲で⾏われ、各セッションやイベン
トが⾏われる会場や教室が点在していることも多い。規模の⼤きな学術⼤会の場
合、会場が複数の建物にまたがっていることもある。また、同時刻に複数のセッションが様々な場所で⾏われており、会場にいる参加者は、参加するセッション
ごとに短時間で会場内を移動する必要がある。不慣れな会場の場合、移動すべき場所が分からずに⽬的地を探さなければならないこともある。このような⾯からも、情報掲⽰・ナビゲーションシステムを設置することで、参加者にとって有益であると考えられる。
また、近年では学術⼤会の電⼦化も進んでおり、アプリや Web サービスを使⽤することで冊⼦体の抄録集などを配布しない学術⼤会も増えてきている。デジタ
ルポスターや電⼦ポスターと呼ばれ、ディスプレイ上にポスター表⽰してポスタ
ー発表を⾏うような例も⾒られるようになった。これらの⾯から⾒ても、通常のディスプレイに表⽰されたものをジェスチャ操作する情報案内システムは親和性が⾼いと⾔える。

4.2 ⼤会情報案内システム
4.2.1 機能概要
構築するシステムは学術⼤会当⽇に会場で使⽤されることを想定し、利⽤価値の⾼いと考えられる以下の機能を実装した。

プログラムタイムテーブル閲覧機能
学術⼤会では、参加者が発表するセッションのプログラムタイムテーブルが作成される。このタイムテーブルに合わせて各時間、各会場でセッションが開催されるため、参加者はタイムテーブルを確認してセッションに参加することとなる。そのため、タイムテーブルの利⽤頻度や閲覧頻度は⾼い。
この機能では、タイムテーブル形式で表⽰された当⽇のプログラムセッション42

の情報をジェスチャ操作で閲覧することを可能とする。

会場マップ閲覧機能
前述したとおり、学術⼤会ではセッションが複数の会場で⾏われていることが多く、階や建物が異なることも多い。その為、場所に慣れるまではフロアマップ
や会場地図が必要となる。
この機能では会場マップを表⽰し、それらをジェスチャによって操作・閲覧することを可能とする。

機能切り替え機能
プログラムタイムテーブル閲覧機能と会場マップ閲覧機能は別機能のため、これらを選択・切り替える機能が必要となる。
この機能では、最初の選択画⾯の状態からの機能の選択と、各機能が有効になっている状態から、それぞれ異なる機能へと切り替えることを可能とする。

4.2.2 操作コマンドの検討システムを構築するにあたり、機能を操作するためのコマンドをどのように実現するか検討する必要がある。前述した予備実験の結果から、操作コマンドとなるジェスチャはスワイプを使⽤する。スワイプ操作で上下左右斜めの 6 ⽅向へ⼿を振る動きを使⽤し、それぞれの動きにシステム操作のためのコマンドを割り当てた（表 4-1）。

43

機能画⾯

スワイプ⽅向割り当てられた機能

初期選択画⾯左

会場マップを表⽰

右タイムテーブルを表⽰

左時計回りにマップを回転

右反時計回りにマップを回転

上下の階層を表⽰

下上の階層を表⽰

右上

機能の切り替え（タイムテーブルを表⽰）

左右隣軸の会場セッションを表⽰する

右左隣軸の会場セッションを表⽰する

上

時間軸を先に進める

下

時間軸を戻す右上

機能の切り替え（マップを表⽰）

マップ画⾯

タイムテーブル画⾯

表 4-1 操作コマンドの割当内容

4.2.3 ユーザインタフェース設計⽅針
ジェスチャ操作は視覚フィードバックがメインとなるため、ユーザがどのようなジェスチャ操作をすれば良いのかを、画⾯を⾒れば⾃然に分かるようにする必要がある。そこで、機能選択や切り替え機能には、⽮印を表⽰してジェスチャをするべき⽅向を明⽰的にした（図 4-1）。また、ユーザに⾃分の操作に対するイン
タラクションを分かりやすく表現するため、各要素の移動や回転にジェスチャ操作と連動したアニメーション効果を付与した。このように画⾯要素に動きを加える事で、ユーザの操作感を⾼め、操作している⽅向を明⽰的に理解できるようにした。
44

タイムテーブル画⾯は、3D のカルーセル形式で表現した。カルーセルはメリー
ゴーランドや回転式コンペアなどくるくると回転するものを意味しており、Web
デザインにおいては⼀定時間でスライドが切り替わるものを指している。Web デ
ザインにおいてはよく使⽤されるものであり、利⽤者のメンタルモデルが作られていると考えた。また、3D 表現にしたことにより、3D 空間を操作するような印象を与えるようにした。

図 4-1 情報案内システムの画⾯

4.2.4 操作⽅法と操作の流れ
本システムの操作フローは以下の通りである（図 4-2）
45

図 4-2 システム操作フロー

プログラムタイムテーブルと会場マップは上下左右のスワイプのみで操作し、機能の切り替えを斜め⽅向へのスワイプで⾏う。プログラムタイムテーブルの時
間軸の移動は上下、会場軸の移動は左右にスワイプすることで表⽰を切り替える。会場マップは建物の階層を上下のスワイプで選択し、左右にスワイプすることでマップを回転させる。それぞれの機能を切り替える場合は、斜め⽅向へスワイプする。⼀定時間操作されない場合，⾃動的に最初の機能選択画⾯へ戻る。

4.2.5 システムの構築
本システムにおいて、両⼿のモーショトラッキングや、基本的なジェスチャ操
作の認識は、Leap Motion 社が提供する Javascript ライブラリを使⽤して実現した。また、画⾯描写やジェスチャ操作と連携した動きは、HTML、CSS、
Javascript で実現した。これらの⾔語で構築したことにより、基本的に Web ブラ
ウザのみで動作可能となっている。また、特別な⾔語環境やプログラムを実⾏する必要もないため、スペックの低い PC でも軽快に動かすことが可能である。
スワイプジェスチャの認識は Leap Motion の Javascript ライブラリにすでに関数が⽤意されており、その関数を使⽤した。
46

4.3 検証とフィードバック
4.3.1 検証⽅法
構築したシステムは、2016 年 10 ⽉ 8 ⽇〜10 ⽇に開催された⽇本機械学会 第
26 回設計⼯学・システム部⾨講演会に展⽰した。展⽰期間中に⼤会参加者数名に使⽤してもらい、ユーザの⾏動観察と、使⽤後に感想のインタビューを⾏った。

図 4-3 展⽰の様⼦

47

4.3.2 結果とフィードバック
ジェスチャで操作出来るという⽬新しさからか、興味を持ってシステムを操作してくれた参加者が数名いた。しかし操作をする上で、最初からこちらの意図どおりに操作できる⼈はなかなか居らず、ジェスチャ操作の難しさを再認識させる結果となった。
しかし、⼀度慣れてしまえばスムーズに操作できる使⽤者もおり、操作のコツを掴めるかどうかで使⽤者の感じ⽅も違うようだった。スムーズに操作出来ない
場合、何度か試した後に諦めてしまう使⽤者もいた。また、画⾯の表⽰内容を確認せずに、とりあえず⼿を動かして反応するか試してみる、というような使⽤者もいた。
使⽤者からは、主に以下のフィードバックを得た。
１. 操作が正しく認識されているのかどうかが分からず、どのように操作すれば良いのかが分かりにくい
２. 機器が認識できなかったことなどの誤操作やエラーに対するフィードバックがないため、操作⽅法が悪かったのか、そもそも Leap Motion ⾃体が認識できなかったのかが分からない

4.3.3 考察
以上の結果から、現状からさらに操作感や分かりやすさを⾼めるための要素が必要であるということが分かった。フィードバックの内容から、操作コマンドの分かりにくさや画⾯表⽰の分かりにくさの問題よりも、ジェスチャ操作を認識したか否かを含め、ユーザに対して操作に対するフィードバックが不⾜しているということが考えられる。
これらは、ニールセンによるユーザビリティの定義における、エラー発⽣率に問題があるということが⾔える。学習のしやすさや効率性、記憶のしやすさの⾯
では、操作コマンド⾃体を簡易的なものにしたことにより、⼀度操作⽅法を理解してしまえば操作に迷うこともなく、操作⽅法⾃体の分かり難さは低く抑えられている。しかし、ユーザからしてみれば、操作に対してエラー（この場合はシス
テム的に問題が発⽣したというエラーではなく、デバイスがユーザのジェスチャ
48

を認識していないということをエラーと定義する）の発⽣率が⾼く、さらにそれに対するフィードバックがないため分かりにくいシステムとなっていると考えられる。
ジェスチャ操作の操作性、ユーザビリティを⾼めるためにはさらにエラーに対するフィードバックが必要であるという結論を得た。

49

第 5章
ジェスチャ操作に対する効果的なフィードバック50

5.1 効果的なフィードバックの検討
5.1.1 問題点と仮説
使⽤者のコメントから、現状のシステムにはジェスチャ操作に対するフィード
バックの与え⽅に問題があると考えられた。
構築したシステムの上下左右８⽅向のスワイプ認識は、Leap Motion 社が提供する Javascript ライブラリを使⽤している。このライブラリは，ユーザのスワイプ操作を判定するものであり、「ユーザが⼀定⽅向にスワイプした」という⼀連の動きを認識した後に、その判定値を返すような仕組みになっている。このことにより、ユーザがスワイプ動作を完了した後に画⾯が反応するという流れになっており、ユーザの操作と画⾯の連動に⼀定のタイムラグが存在していた。このタイムラグの存在が、ユーザにとって操作の分かりにくさや操作感の悪さに繋がったと考えた。ユーザビリティを向上するにはこの問題を解決する必要があるため、さらにどういった要素が必要なのかを検討した。
インタフェースの研究者である D.A Norman は良いデザインの原則に以下の項⽬を上げている[17]（表 5-1）。
可視性

⽬で⾒ることによって、ユーザは装置の状態とそこでどんな⾏為をとりうるかを知ることができる。

良い概念モデル

デザイナーは、ユーザにとってのよい概念モデルを提供すること。そのモデルは、操作とその結果の表現に整合性があり、⼀貫的かつ整合的なシステムイメージを⽣むものでなくてはならない。

よい対応づけ⾏為と結果、操作とその効果、システムの状態と⽬に⾒えるものの間の対応関係を確定することができること。

フィードバック

ユーザは⾏為の結果に関する完全なフィードバックを常にうけることができること
表 5-1 良いデザインの原則

51

この問題を照らしあせて考えてみると、可視性、良い対応づけ、フィードバッ
クの項⽬において不⾜していると⾔える。操作に対してのフィードバックが遅い
ため、⾏為と結果の間に溝が出来てしまっている。また、⾏為の結果に関するフィードバックも、エラー（未検知）であった場合に何も反応がなく、検知しているのかどうかも理解できない。
そこで、タイムラグを無くし、常に⼀定のフィードバックを与えるために操作と結果をリアルタイムに関連付ける必要があると考えた。リアルタイムでユーザにフィードバックを与えることで、ユーザビリティが向上するという仮説を⽴てた。

5.1.2 リアルタイム性の付与
仮説を検証するために、操作に対してリアルタイムで画⾯を反応させるシステ
ムのプロトタイプを作成した。
Leap Motion はリアルタイムに XYZ の三次元軸で⼿の位置を認識できるため、その機能を利⽤することにした。しかし、完全に⼿の動きと同調して画⾯が動いてしまうと、⼿を戻そうとする動きなど意図しない動きにつられて画⾯が動いてしまう。その問題を解決するために、認識した⼿の位置から決まった⽅向に⼀定数動いた場合に「⼿を⼀定⽅向にスワイプさせようとしている」という判断をするようにした。その判定が下された後に、その⼿の動きに合わせて画⾯⾃体を動かすように変更した。この動きはスマートフォンの画⾯切り替えの動きに近いものであり、スマートフォンを利⽤しているユーザにとっては分かりやすい動きである。
あわせて、Leap Motion がユーザの⼿を認識している間は⽮印を表⽰し、操作可能な⽅向を⽰すようにした。これにより、Leap Motion が⼿を認識しているかどうかをユーザ⾃⾝が知ることが出来る。⼿をかざせばとりあえずフィードバックが返ってくるという状態にすることにより、「これがジェスチャで動くものである」ということをユーザに明⽰的に⽰す効果にも繋がると考えた（図 5-1）。

52

Leap Motion の認識範囲に⼿をかざすと⽮印を表⽰する

左右に動かすと、連動
して画⾯も回転する

図 5-1 ユーザインタフェース概要

5.2 評価と検証
5.2.1 ⽬的
ユーザインタフェースにリアルタイム性を付与することにより、ユーザの操作感に向上がみられるかどうかを検証する。被験者は、リアルタイムにフィードバックがあるものと無いものの２つの⽅式でジェスチャ操作を⾏う。２つの⽐較を⾏うことで、リアルタイム性を持ったインタフェースに対してユーザがどのような意識や感想を持つのかを明確にする。

5.2.2 評価⽅法
新たに作成したリアルタイム性のあるユーザインタフェースが有⽤であるのか
53

を検証するために、以下の⽐較実験を⾏った。
被験者は
A: ジェスチャ操作を認識してから画⾯が動くタイプ
B: ジェスチャ操作に合わせてリアルタイムで画⾯が動くタイプのシステムをこちらの指⽰の通りに使⽤し、それぞれのシステムに対して以下のアンケート項⽬（表 5-2）に 5 段階評価で解答してもらった。
また、被験者からは実験が終わった後に使⽤感など、操作を通して感じたことなどの感想も述べてもらった。

１

操作しやすかったですか？

２

操作⽅法はわかりやすかったですか？

３

間違えずに操作できましたか？

４

操作中に感じたストレスの強さはどれくらいでしたか？

５

うまく操作できたと思いますか？
表 5-2 アンケート項⽬

実験には２０名の成⼈男⼥に参加してもらった。A と B を使⽤する順序による差を防ぐため、A→B の順序で試すグループと B→A の順序で試すグループの 2 つに分けて実験を⾏った。

54

図 5-2 ⽐較実験の様⼦

5.2.3 結果
アンケート項⽬への回答は以下の通りであった。（図 5-3）

55

A:リアルタイムでない
B:リアルタイムである

図 5-3 アンケート集計結果

56

差の平均値

差の標準偏差有意確率

A1 - B1

-.950

1.638

.018 *

A2 - B2-1.0501.503.006 **

A3 - B3-1.1501.926.015 *

A4 - B4

.600

1.429

.076

A5 - B5-1.0501.959.027 *

表 5-3 実験結果

ストレス以外の項⽬で、有意差が⾒られた。まず、1. 操作のしやすさについては、リアルタイムでない場合の 7 名と⽐較して、リアルタイムである場合は半数以上の 11 名が操作しやすいかやや操作しやすいと答えている。2. 操作⽅法の分かりやすさについては、12 名に対して 19 名が分かりやすいか、やや分かりやすいと答えている。3. 間違えずに操作できたかについては、4 名に対して 10 名が出来た、やや出来たと答えている。4. 操作中に感じたストレスについては、ストレスが強く感じたのが 5 名に対して 1 名となっている。5. 上⼿く操作できたかについては、4 名に対して 10 名が出来た、やや出来たと感じていた。
また、実験後に被験者からもらった感想では、「SF 映画のようで凄い」「上⼿く操作できると楽しい」「こういうものが使えたら⾯⽩い」といった意⾒が⾒られた。操作感の⾯では、リアルタイムでフィードバックがあるものに対して「⼿をかざすと⽮印が表⽰されることが良い指標となり、それを⾒ながら操作をすることができた。」「動かそうと思う⽅向に少し⼿を動かせば反応するので、⾃分の操作が間違ってないということが分かった」というような意⾒があった。逆に、うまく操作できなかった場合、思ったように画⾯が動かなかった場合には「難しい」といった感想を述べる被験者が多かった。
また、被験者を観察していたところ、すぐにコツを掴める被験者とそうでない
被験者がいた。すぐにコツを掴める被験者は、⼀度⾃分が操作した⽅法でスワイ
57

プの処理ができることが分かれば、その⽅法で操作を続ける。上⼿く操作できなかった被験者は、⼀度成功した操作と少し違った動きをしてしまう傾向があった。例えば、⼀度スワイプした後の⼿を戻さずに、そのまま逆の⽅向に⼿を動かして結果スワイプと認識されてしまうなどの例がみられた。

5.2.4 考察
以上の結果から、リアルタイム性のあるユーザインタフェースのほうが、操作のしやすさや分かりやすさなどの操作性が⾼いと感じるということが分かった。
実態のない空間を操作する形式のジェスチャ操作の場合、⾃⾝の操作に対する確証をどのように得るのかが⾮常に重要なポイントとなるが、操作と画⾯フィード
バックにリアルタイムでインタラクションをもたせることで、ユーザの⾏為に対する⾃信に繋がったと考えられる。
操作中に感じたストレスについては、リアルタイム性のある B パターンのほうが⽐較的低い結果ではあったものの、それなりにストレスを感じている被験者が多かった。これには、操作した⼿を戻す動きに反応してしまうなど、⾃分の意図しない動きをすることや、思った通りに動かないケースがあったためと考えられる。この点については、更にジェスチャ操作の誤検出を減らす⽅法を検討する必要があると⾔える。
また、A と B を⽐較した際に⼤きな差があったのは、習熟までの時間である。
被験者には操作⽅法を具体的に指⽰せず操作をしてもらったが、A の場合最初に画⾯を切り替えるまで平均して 50 秒ほど時間がかかり、B の場合は開始から平均 15秒ほどで画⾯を切り替えていた。ユーザインタフェースを設計する上で考慮すべき点として、⼀つの⽬的を達成するための時間は短いほうが良いということが上げられる。使⽤してみて「使えない」「分からない」と判断された時点でユーザは離れていってしまう。特に公共の場に設置して使うことを想定した場合、利⽤者
が操作⽅法を理解し、実際に動かすまでにかかる時間は短いほうが良い。この⾯から考えても、ジェスチャ操作の画⾯フィードバックにリアルタイム性を持たせることは⾮常に有⽤であると⾔える。

58

第 6章
結論

59

6.1 結論
本研究では、Leap Motion を使⽤した公共の場で利⽤可能なジェスチャ操作型のナビゲーションシステムの開発と評価実験を⾏い、GUI の次の形となる、ジェス
チャ操作に基づくナチュラルユーザインタフェースについて検討した。
検討するにあたり、⼈間の感覚に沿った操作感を⽣むこと、不特定多数のユー
ザが使うこと、ジェスチャ操作に適したアフォーダンスを提供することに着⽬してインタフェースの設計を⾏った。
まずジェスチャでの操作コマンドを検討するために、ジェスチャ操作の分析を⾏った。ここでは、指指し操作とスワイプ操作について検証した。その結果、指指しのように三次元空間をピンポイントで指⽰するような精密な動作よりも、ス
ワイプのような⼿の動きを活⽤したほうが、より簡単で⾃然にジェスチャ操作できるという結論を得た。
また、実際にジェスチャで操作できるシステムを構築し、実際に使⽤してもらうことで、ジェスチャ操作と UI の問題点を明らかにし、更に改善を図った。シス
テムの操作は、各⽅向のスワイプの動きに対して操作コマンドを割り当てることで実現した。機能の選択や切り替え、閲覧などの簡易的な操作であれば、スワイ
プ操作のみで実現できることを実証した。さらに、この検証で明らかになった問
題点を更に分析し、ジェスチャ操作に対してリアルタイムにフィードバックを与えることで更に操作性の向上が⾒込めるという仮説を⽴てた。
リアルタイムなフィードバックによる効果を測定するため、⼿の動きに合わせてリアルタイムで画⾯フィードバックを⾏うシステムを構築し、検証を⾏った。
検証結果から、リアルタイムにフィードバックを与えることによって、ユーザの操作感の向上が認められ、リアルタイムであることの有効性が⽰された。

6.2 今後の展望
本研究の今後の展望として、システムの実⽤化が上げられる。
実際にシステムの検証実験の被験者から、「こういったシステムがあれば使ってみたい」といった⾔葉や、「会社のサービスとして活⽤できないか」というような60

意⾒を貰った。
本研究の中では、スワイプという簡易的な操作のみでシステムを操作できること、ジェスチャ操作におけるユーザインタフェースに必要な要素について明確になった。その上で、検証⽤に構築した情報案内システムを更に発展させ、実際の⼤会やイベントで使⽤できるようなシステムを構築することで、多くのユーザに使ってもらえるシステムとなる可能性が期待できる。
本研究では、情報案内システムの⼀例として学術⼤会での情報案内システムを構築したが、駅の構内やショッピングモールなどの施設などの街中での活⽤も⾒込める。現状では⼀般的とは⾔えないジェスチャ操作であるが、利⽤シーンが増えることにより、今後より⼀般的な操作⽅法になっていくであろう。

61

謝辞
本論⽂の執筆にあたり、慶應義塾⼤学⼤学院システムデザイン・マネジメント
研究科の⼩⽊哲朗教授には指導教官として多くのご指導をいただきました。また、同専攻の五百⽊誠教授には副査としてご助⾔いただきました。ここに深く感謝申し上げます。
また、ゼミの中で様々な意⾒やアドバイスをくれた⼩⽊研究室の皆様にも感謝申し上げます。
最後に、実験を⾏うにあたり、株式会社アトラスの皆様にも快く協⼒いただきました。実験の協⼒だけでなく、仕事を続けながら⼤学院へと通える環境を与えてくれた皆様に深く感謝申し上げます。

2017 年 1 ⽉ 27 ⽇
慶應義塾⼤学⼤学院
システムデザイン・マネジメント研究科
システムデザイン・マネジメント専攻
齋藤 美佳

62

外部発表
1.

齋藤美佳, ⼩⽊哲朗, “ナチュラルユーザインタフェースに基づく情報案内システムの開発”, ⽇本機械学会第 26 回設計⼯学・システム部⾨講演会

63

参考⽂献
(1) van Dam, A. (1997). Post-WIMP user interfaces. Communications of the ACM,

40(2), 63‒67. http://doi.org/10.1145/253671.253708(2) Ishii, H. (2008). Tangible bits: beyond pixels. Proceedings of the 2nd International

Conference on Tangible and Embedded Intreaction (TEI ʼ08), xv‒xxv.
http://doi.org/10.1145/1347390.1347392(3) 総務省(2015) 平成 27 年版情報通信⽩書(4) 東京⼯芸⼤学 (2012). ナチュラルユーザインターフェースに関する調査(5) ヤコブ・ニールセン (1999) 「ユーザビリティエンジニアリング原論」東京電機⼤学出版局(6) デジタルサイネージコンソーシアム(2013). デジタルサイネージ⽩書 2013
(7) Bolt, R. a. (1980). “Put-that-there”: Voice and Gesture at the Graphics Interface.
Proceedings of the 7th Annual Conference on Computer Graphics and Interactive
Techniques - SIGGRAPH ʼ80, 262‒270.
(8) ⽊村朝⼦, 柴⽥史久, 鶴⽥剛史, 酒井理⽣, ⻤柳牧⼦, & ⽥村秀⾏. (2006). ジェスチ
ャ操作を活⽤する広視野電⼦作業空間の設計と実装. 情報処理学会論⽂誌, 47(4),1327‒1339. Retrieved from http://ci.nii.ac.jp/naid/110004734730/(9) 松原 孝志, ボンダン スティアワン, 松本 和⼰, 徳永 ⻯也, & 中島 ⼀州. (2014). 3
次元ジェスチャ操作によるテーブル型インタラクティブデジタルサイネージの開発.

情報処理学会論⽂誌コンシューマ・デバイス＆システム（CDS）, 4(3), 1‒10.
Retrieved from http://ci.nii.ac.jp/naid/170000087180(10) Ackad, C. J., Wasinger, R., Gluga, R., Kay, J., & Tomitsch, M. (2013). Measuring
Interactivity at an Interactive Public Information Display. In Proceedings of the 25th

Australian Computer-Human Interaction Conference: Augmentation, Application,
Innovation, Collaboration (OZCHIʼ13) (pp. 329‒332).
http://doi.org/10.1145/2541016.2541091(11) Lee, J., Olwal, a, Ishii, H., & Boulanger, C. (2013). SpaceTop: integrating 2D andspatial 3D interactions in a see-through desktop environment. Proceedings of CHI

2013, 189‒192. http://doi.org/10.1145/2470654.2470680(12) Hilliges, O., Kim, Izadi, S., Weiss, M., & Wilson, a. (2012). Holodesk: Direct 3d64interactions with a situated see-through display. Proceedings of CHI 2012, 2421‒
2430. http://doi.org/10.1145/2207676.2208405(13) 千葉慎⼆, 吉光喜太郎, 丸⼭隆志, 遠⼭仁啓, 伊関洋, & 村垣善浩. (2012). KINECT
センサを⽤いた⾮接触画像閲覧システム : Opect. Journal of Japan Society ofComputer Aided Surgery : J.JSCAS, 14(3), 150‒151.
(14) Weichert, F., Bachmann, D., Rudak, B., & Fisseler, D. (2013). Analysis of theaccuracy and robustness of the Leap Motion Controller. Sensors (Switzerland), 13(5),(15) 橋本元信, 吉⽥⼀展, & ヒルドミヒャエル. (2002). 指さし動作の解析による物体認
識. 電⼦情報通信学会技術研究報告. PRMU, パターン認識・メディア理解,
101(713), 81‒88.
(16) Susan Weinschenk (2012). 「インタフェースデザインの⼼理学-ウェブやアプリに新
たな視点をもたらす 100 の指針」オライリー・ジャパン(17) D.A.ノーマン (1990). 「誰のためのデザイン？」新曜社

65