WISS2007

ユーザに優しいディジタルノート向けスタイラスインタフェース
User Friendly Stylus Interface for Digital Notes

鈴木優

三末和男

田中二郎∗

Summary. ディジタルノートはスタイラスによる操作を想定した機能が多く備わっているにも関わらず，スタイラスでは必ずしも使いやすいインタフェースではない．これは，ディジタルノートのインタフェースが WIMP インタフェースをベースに設計されているからである．本論文では，この問題点を解決するための手法について述べる．この手法では，空中でのスタイラスの動き（スタイラスアクションと呼ぶ）をインタラクションに利用する．スタイラスアクションを使用する一つの試みとして，ディジタルノートにショートカットアクションを適用した．評価実験を通して，ショートカットアクションの有効性を示すことができた．

1

はじめに

タブレット PC や PDA，スマートボードなどの普及に伴って，電子的にメモを取るということが頻繁に行われるようになっている．電子的にメモを取るためのツールとしては，以前はディスプレイ上に手書きで文字や図形を書くことができるだけの単純なツールが多かったが，最近では Microsoft OﬃceOneNote1（以下，OneNote と記述）のようなディジタルノート用のツールが開発されている．
また，ペンは誰もが幼少のころから利用してきた道具であり，多くの人がノートを取るためにペンを使用している．よって，ペン型デバイスであるスタイラスは多くの人にとって使いやすく，導入しやすいインタフェースであり，マウスやキーボードなどと比較してディジタルノートに適した入力デバイスであると言える．
OneNote ではマウスを用いて操作することも可能であるが，手書き文字認識やディジタルインクなどのペン操作を想定した機能が多く備わっている．しかしながら，インタフェースとしては従来の WIMPインタフェースをベースとしているため，必ずしもスタイラスを用いた操作に適したインタフェースであるとは言えない．例えば，メニューの選択にはウィンドウ上部にあるメニューバーからツリー構造になっている階層メニューを辿っていくという操作や，ツールバーにある小さいアイコンをクリックするという操作が必要である．このような操作はディスプレイを注視しながら細かいカーソル移動操作を行わなければならず，操作性が良いとは言えない．さらに，
スタイラスはディスプレイ上の操作対象を直接ポイCopyright is held by the author(s).
Yu Suzuki, Kazuo Misue and Jiro Tanaka, 筑波大学大学院 システム情報工学研究科 コンピュータサイエンス専
攻1
http://oﬃce.microsoft.com/ja-jp/onenote/∗

ンティングする必要があるため，ディスプレイが大きくなればなるほど操作が困難になる．
我々は以上のようなスタイラスに関する問題点を解決し，我々の目標である “スタイラスでも使いやすいインタフェースの作成” を達成することで，ペンインタフェースをより便利で身近なものにしたいと考えている．
そこで本論文では，その一環として行っているディジタルノート用インタフェースの作成について述べる．

2
2.1

問題点と提案手法
ディジタルノートの問題点

スタイラスを用いてディジタルノートを操作する際の，インタフェースの観点からみた問題点について具体例を用いて説明する．
ディジタルノート上に描かれたあるオブジェクトを複製する場合を考える．我々は，まず最初に対象オブジェクトを選択し，次にメニューバーの「編集」を選択する．さらにプルダウンメニューの中から「コピー」を選択するという操作を行う．このような一連の操作は細かいカーソル操作を必要とするため，操作に意識と目線を奪われる．ノートを取ることは，意識を集中して思案しながら行うことが多いため，操作に意識と目線を奪われるという問題点は改善すべきである．

2.2

ショートカットアクションの提案

我々は入力デバイスとしてスタイラスを用いる場
合での，前節で述べたようなインタフェースの問題点を改善する方法として，ショートカットアクションを考案した．ショートカットアクションでは，スタイラスを持つ手の空中の動きを利用して，アプリケーションの特定の機能を呼び出すことができる．
これにより，ディスプレイ上の操作対象を直接ポイWISS 2007ンティングすることなく，インタラクションすることも可能となる．
ショートカットアクションに利用するための空中での手の動きにはさまざまなものが考えられる．しかしながら，インタラクションに利用するためには，スタイラスを握ることを前提とし，かつ，人間にとって無理のない自然な動きを採用する必要がある．本
研究では，以下の３つの動きを採用する．

クにより文字や図形などが描けるモードであり，選択モードとはストロークによりバウンディングボックスが表示されてノート上のオブジェクトを選択できるモードである．現在のモードが選択モードの場合，１度 shakingを行うとペンモードになり，さらにもう１度shaking を行うと選択モードになる．

• swinging…コピー／ペーストを行うことができる（図 1）．swinging は４方向の識別が可(a) ペンをペン軸回りに回転させる(b) ペンをペン軸方向に振る(c) ペンをペン軸に垂直な方向に振る
それぞれの動きに対応するスタイラスアクションを以下のように呼ぶ．

(a) rolling(b) shaking(c) swinging
ショートカットアクションでは，自由に機能を割り当てることができるため，ショートカットアクションのように利用頻度の高い機能にアクションを割り当てることも可能である．

2.3

関連する操作手法

我々が提案するスタイラスによるショートカットアクションは，キーボード操作におけるショートカットキー導入のアナロジーで考えることができる．
キーボードには独自のインタラクション方法として，ショートカットキーと呼ばれるものが用意されている．ショートカットキーでは，Ctrl+V や Ctrl+Cなどで利用頻度の高い機能を呼び出すことができるが，操作を行うためにマウスとキーボードを併用しなければならない．
一方，スタイラスによるショートカットアクションでは，スタイラスのみで操作することができるため，操作体系としてはショートカットアクションの方がシンプルであり優れている．

3
3.1

作成したインタフェース
ディジタルノートインタフェース

我々は OneNote の操作体系にショートカットアクションを追加した．各アクションに割り当てられた操作は以下の通りである．

• rolling…OneNote に標準で備わっている 13種類のペンを変更することができる．時計回りに rolling をすると現在選択しているペンの１つ下のペンが選択される．一方，反時計回りに rolling をすると１つ上のペンが選択される．

• shaking…ペンモード／選択モードを切り替えることができる．ペンモードとはストロー能であるが，その中の２方向にコピー機能とペースト機能を割り当てた．

shaking と swinging により，従来とは異なるオブジェクトのコピー&ペースト操作やペンの変更操作が可能となる．コピー&ペーストの場合，従来のインタフェースではまず，対象オブジェクトを選択し，メニューバーからコピーやペーストを選択する必要があった．一方，ショートカットアクションを用いると，対象オブジェクトを選択した後は swingingを行うだけでコピーやペーストを行うことができる．
3.2

Oh! Stylus Draw

前節では既存のディジタルノートである OneNoteのインタフェースを拡張したが，市販のアプリケーションソフトウェアであるため，インタフェースデザインの変更を行うことはできなかった．
我々はインタフェースデザインを自由に変更することができるアプリケーションにおいてショートカットアクションを利用し，その効果を検証するためにディジタルノートの開発を進めている．開発中のディジタルノートにはさまざまな機能を盛り込むことを考えているが，本論文ではその１つの機能であるペイント機能を持つアプリケーション，Oh! Stylus
Draw について紹介する．
Oh! Stylus Draw とは，以下のような機能を持った簡単なペイントツールである．

• 描画色の変更• 描画モードの切り替え• ペンの太さの切り替え• UNDO
Oh! Stylus Draw でこれらの機能を選択する方法として，階層メニューから選択する方法と，ショートカットアクションから選択する方法の２通りがある．階層メニューから選択する方法は既存の多くのアプリケーションと同じ操作であるため省略する．
ショートカットアクションによるメニューの選択
では，swinging によりメニューの呼び出しを行い，rolling と shaking により描画色の変更やパレット切り替えを行う．swinging によって呼び出されるメ
ニューはスタイラスで操作しやすい大きめのパネル

User Friendly Stylus Interface for Digital Notes

図 1. swinging によるコピー&ペーストに配置されてユーザに提示される．WINP インタフェースを採用している多くのアプリケーションが持つアイコンメニューとは異なり，スタイラスでの操作を考慮に入れたインタフェースデザインになっている．
アクションとメニュー呼び出しの詳細は以下のようになっている．

• rolling による描画色の選択• shaking によるパレットの切り替え• swinging による
1. 描画モードを切り替えるパネルの表示
2. ペン先を切り替えるパネルの表示
3. UNDO4. カラーパレットの表示／非表示の切り替

図 2. swinging によるペン先を切り替えるパネルの表示

え
図 2 に swinging でペン先を切り替えるパネルを表示している例を示す．swinging により，図 2 の画面中央に表示されているようなパネルが表示され，そのパネルの中から好みのペン先をタップ操作によって選択する．また，ペン先を切り替えるパネルと同様の動作で，描画モードを切り替えるパネルも操作することができる．
このように，呼び出されたメニュー画面がディスプレイの中央に大きく表示されるため，その中から好みの機能を選択することができ，メニュー操作のために意識を大きく奪われることがなくなる．よって，ユーザはメモを取る行為に集中することができるようになる．

44.1

実現方法
Context Sensitive Stylus

ショートカットアクションを実現するためには，まずスタイラスを握る手の空中での動きを取得する必要がある．我々は空中での手の動きを取得するた

めに，スタイラスに加速度センサを付加するというアプローチを取った．スタイラスに付加する加速度センサには Cookie（図 3）を用いた．

Cookie では，３軸の加速度情報を 10Hz で取得することができる．また，Cookie は Bluetooth モジュールを備えているため，ワイヤレスな通信が可能である．本研究では，この加速度センサ付きスタイラスを「Context Sensitive Stylus (CS Stylus)」と呼ぶ．さまざまなデバイスで CS Stylus を利用できるようにするために，我々は大画面ディスプレイ用とタブレット PC 用の２種類の CS Stylus を作成した（図 4）．
スタイラスにセンサを付加することでスタイラスの重量バランスが変化し，操作性に影響を与えることが考えられるが，現在の CS Stylus はプロトタイプであるため，現時点ではこのことに関して問題視はせず，インタフェースとしての将来性について考えていきたい．

WISS 2007

図 3. Cookie と取得できる３軸方向

図 5. タッチスクリーン付き大画面ディスプレイ

5.2

図 4. タブレット PC 用 Context Sensitive Stylus（左）と大画面用 Context Sensitive Stylus（右）4.2アクションの認識

３アクション (rolling, shaking, swinging) をインタラクションに利用するために，３軸の加速度情報を基にアクションを認識する必要があるが，これらのアクションの認識方法については文献 [7] で詳細を述べているので，そちらを参照してもらいたい．

5

評価

提起したディジタルノートにおける問題点を解決する手法として提案した，ショートカットアクションについての評価実験を行った．

5.1

評価の目的

この評価実験は，最終的な我々の目標である “スタイラスでも使いやすいインタフェースの作成” に必要な知見を得るための予備実験として行ったものである．

評価方法

被験者は，著者が所属する研究室の大学院生 3 名＋アプリケーションの開発者である著者の一人の合計4 名で行った．開発者自身は何度も CS Stylus を扱っているので，入力デバイスとして CS Stylus を使い慣れているといえる．そのため，開発者自身も被験者となることで，デバイスに対する “慣れ” の操作性に及ぼす影響についても知見を得ることができる．
評価実験は，タッチスクリーン付き大画面プラズマディスプレイパネル（スマートボード），CS Stylus，通常のスタイラスを用いて行った．デバイスにはスマートボードではなく，タブレット PC を用いることも可能であった．しかしながら，著者の使用経験より，大画面用 CS Stylus とタブレット PC 用 CSStylus を比較すると，後者の方が重量バランスが優れていることが判明していたため，実験に用いるデバイスとして大画面ディスプレイを採用した．プラズマディスプレイパネルには，画面サイズが 50 インチ，パネル解像度が 1280*768 ドットのものを使用した（図 5）．また，アプリケーションとインタフェースには，それぞれ OneNote と 3.1 節で説明したインタフェースを使用した．
評価実験のタスクは，被験者がそれぞれ自分の名前を OneNote 上に書き，それをコピー&ペーストで 1 つ複製するというシンプルなものである．被験者に書いてもらう内容によって，被験者間に有利不利が生じないように，最も書き慣れているであろう各自の名前を書くというタスクを設定した．
このタスクを CS Stylus と通常のスタイラスの2 種類のスタイラスを用いてそれぞれ 3 回ずつ行った．4 人の被験者のうち，被験者 A，D は最初に CS
Stylus を用いた実験を行い，次に通常のスタイラスを用いた実験を行った．被験者 B，C はその逆順で実験を行った．
また本実験では，2 種類のスタイラスにおけるタスク達成時間の差を検証するため，被験者によって名前の画数の違いによるタスク達成の時間の違いは考慮に入れない．

User Friendly Stylus Interface for Digital Notes

表 1. タスクにかかった所要時間 (秒)

被験者 A

1 回目
2 回目
3 回目

1 回目
2 回目
3 回目

5.3

CS Stylus
10.2
16.9
9.0

Stylus
10.9
10.8
10.4
被験者 C
CS Stylus Stylus
13.0
15.5
16.8
16.0
12.8
15.8

被験者 B差Stylus
26.0
23.4
28.3被験者 D
CS Stylus Stylus
13.2
15.0
13.1
14.3
12.0
14.0

-0.7
6.1
-1.4
差-2.5
0.8
-3.0

結果と考察

実験の結果を表 1 に示す．被験者全員のタスクにかかった時間の差から，ほとんどのタスクで CS
Stylus による操作の方が通常のスタイラスによる操作よりも良い結果を残していることがわかる．
また，通常のスタイラスによるタスク達成の時間を比較すると，それぞれの被験者は 3 回の試行をほとんど同じ時間でこなしたことがわかる．これは，被験者全員が WIMP インタフェースという一般的に採用されている GUI に使い慣れているためであると考えられる．
一方，CS Stylus によるタスク達成の時間を比較すると，被験者 A と被験者 C の 2 回目の試行結果を無視すれば，全員が 1 回目の試行よりその後の試行の方が速いと言える．被験者 A，C の 2 回目の試行は，彼らが CS Stylus の扱いに慣れていなかったために起こった操作ミスであった．開発者の経験からすると，CS Stylus の扱いに慣れることによってこのような操作ミスは軽減できると考えられる．開発者である被験者 D は CS Stylus の扱いに十分慣れており，操作ミスはなく 3 回それぞれの試行でかかった時間はほとんど同じであった．実験結果より，
CS Stylus の扱いに慣れることで，通常のスタイラスよりも操作性が向上すると期待できる．

6

CS Stylus
20.9
13.6
14.8

議論

実世界においてシャープペンシルを使用するときに，芯を出すためにペンの上部をノックしたり，ペンを上下に振ったりするが，これらの行為は習慣化されており，芯を出すことを意識しなくても行える．
開発者の CS Stylus の使用経験からすると，CSStylus は空間マウスなどの空中で操作する他のデバイスと比較して慣れるまでの時間が早い．これは CS
Stylus も “ペン” であるからだと思われる．
したがって，我々が提案するショートカットアクションも容易に習慣化でき，シャープペンシルと同等の効果が期待できる．スタイラスを使ったインタ

差-5.1
-9.8
-13.5
差-1.8
-1.2-2.0

ラクションでもメニュー選択等に意識を奪われない操作が可能になることで，ディジタルノート向けインタフェースとして適したものになると考えられる．
また，スタイラスにはバレルボタンと呼ばれ，それを押すことで右クリックに相当する操作ができるボタンが付加してあるものもある．このバレルボタンを用いることで通常のストローク操作とバレルボタン＋ストローク操作という２種類の入力ができるようになり，操作性が向上するように思われる．しかしながら，バレルボタンを押しながら操作するためにはボタンがちょうど指の位置にある必要があり，ペンの持ち方に制約を与えざるを得ない．ユーザに優しいインタフェースを実現するには，そのような制約を課すことは望ましくないため，我々のシステ
ムではバレルボタンを使用しない設計となっている．
大画面ディスプレイとタブレット PC とでは，人間に対するディスプレイの角度が全く異なるため，ユーザのスタイラスの持ち方が大きく異なる．大画面ディスプレイの場合にはスタイラスを水平に持ち，タブレット PC の場合には垂直に持つ．この違いによって，大画面ディスプレイとタブレット PC との操作性に違いが生じることも予想されるが，開発者のタブレット PC ＋ CS Stylus の使用経験では，操作性に大きな違いを感じることはなかった．今後，このようなスタイラスの持ち方の操作性に与える影響についても考察していく必要がある．

7

関連研究

我々はスタイラスを用いてディジタルノートを利用する際の問題点に着目し，その問題を改善するための研究を行っており，その基礎となる技術を開発している [8]．
我々と同じように，スタイラスを用いたインタラクションを改善する目的の研究が行われている．Apitz
らはあらゆる操作をクロッシングにより行うドローツール，CrossY[2] を開発した．クロッシングとはAccot ら [1] の提唱したコマンド実行のための手法

WISS 2007

であり，ポインティングデバイスが操作対象を横切ることにより，コマンドを実行するという操作体系である．CrossY では，ラジオボタンやスクロールバーなどの GUI 部品をクロッシングによって操作することができる．機能としては，描画色の選択，ペンやブラシの選択，スクロール操作などが行える．
Hinckley らは Pigtail を用いて Marking menu[5,4] を表示し，その中から操作を選択することでさまざまな操作を行うことができるシステム，Scriboli[3]を開発した．Pigtail とはペンストロークの最後にブタのしっぽのような形状を描くことで操作を行うテクニックである．Scriboli では，操作対象を囲むストロークの後に Pigtail を描くことで，Markingmenu を表示させ，実行する操作を選択する．
Smith らはスタイラスで円を描くジェスチャをすることで，スクロール操作を可能にする The radial
scroll tool[6] を開発している．
椎尾らは文鎮メタファを利用したペンインタフェー
ス [9] を提案している．紙に文字を書くときに，人は手の甲で紙を押さえて紙を固定して文字を書くことがあるが，この動作を入力の切り替えに利用することで，シームレスな入力の切り替えを実現している．

8

まとめと今後の課題

我々は入力デバイスにスタイラスを用いてディジタルノートを操作することの問題提起を行い，その解決方法としてショートカットアクションを用いることを提案した．提案手法を実現する OneNote 用のインタフェースの作成と，それを実現するための実装方法について述べた．
そして，作成したインタフェースを用いて評価実験を行った．評価実験では，ほとんどの被験者が通常のメニュー操作と比較して，我々が作成したインタフェースの方が優位であることがわかった．また，
CS Stylus の扱いに慣れることで，通常のスタイラスよりも操作性を向上させることができる可能性を示すことができた．
今後は，デバイスへの “慣れ” を本格的に観測し，分析するための長期的な評価実験や，ディジタルノート以外へのショートカットアクションの応用などを行っていきたい．

謝辞
Cookie センサを貸与していだたいた Nokia Research Center Tokyo に厚くご御礼申し上げます．

参考文献[1] J. Accot and S. Zhai. More than dotting the i’s- Foundations for crossing-based interfaces. In
Proceedings of the SIGCHI Conference on HumanFactors in Computing Systems (CHI’02), pp. 73–80, 2002.
[2] G. Apitz and F. Guimbretiere.
CrossY: A
Crossing-Based Drawing Application. In Proceedings of the 17th annual ACM Symposium
on User Interface Software and Technology(UIST’04), pp. 3–12, 2004.
[3] K. Hinckley, P. Baudisch, G. Ramos, andF. Guimbretiere. Design and Analysis of Delimiters for Selection-Action Pen Gesture Phrases inScriboli. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI 2005), pp. 451–460, 2005.
[4] G. P. Kurtenbach, A. J. Sellen, and W. A. Buxton. An Empirical Evaluation of Some Articulatory and Cognitive Aspects of Marking Menus. In
Journal of Human Computer Interaction, Vol. 8,
pp. 1–23, 1993.
[5] G. Kurtenbach and W. Buxton. The Limits Of
Expert Performance Using Hierarchic Marking
Menus. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI’93), pp. 482–487, 1993.
[6] G. M. Smith and m. c. schraefel. The radial scroll
tool: scrolling support for stylus- or touch-based
document navigation. In Proceedings of the 17th
annual ACM Symposium on User Interface Software and Technology (UIST’04), pp. 53–56, 2004.
[7] Y. Suzuki, K. Misue, and J. Tanaka. Interfacefor Digital Notes Using Stylus Motions Made inthe Air. In Proceedings of the 2nd International
Conference on Knowledge, Information and Creativity Support Systems (KICSS2007), 2007.
[8] Y. Suzuki, K. Misue, and J. Tanaka. Stylus Enhancement to Enrich Interaction with Computers. In Proceedings of 12th International Conference on Human-Computer Interaction (HCI International 2007), LNCS4551, pp. 133–142, 2007.
[9] 椎尾 一郎, 辻田 眸. 文鎮メタファを利用した小型情報機器向けインタフェース. 情報処理学会論文誌, 第 48 巻, pp. 1221–1228, 2007.