情報処理学会研究報告(HI-100), Vol.2002, No.91, pp.57-64 (2002)

マウスと電子ペンを併用できる環境の提案
中塚 智子*，坂東 宏和**，大即 洋子*，加藤 直樹**東京農工大学工学部**東京成徳短期大学ビジネス心理科

本稿では，電子ペンの新たな活用方法の提案を目的とし，マウス用の作業空間と電子ペン用の作業空間を分離することで，マウスと電子ペンによって別々の作業を行える環境を提案し，その環境を実現するツール WorkTable の設計と実現について述べる．具体的に，デスクトップとアプリケーションなどの各ウインドウは，従来どおりマウスで操作を行う．これに加えて電子ペンでは，手書きによる計算や電子メールの送信など，電子ペンに適した作業をマウスによる作業とは独立して行える．試用評価の結果，マウスと電子ペンで独立した別々の作業ができるのは便利であり，従来の Windows 環境よりも素早く作業できることが示唆された．

A workbench supporting concurrent useof a mouse and an electronic pen.
Tomoko Nakatsuka*, Hirokazu Bandoh**, Yoko Otsuki*, Naoki Kato**Dept. of Computer Science, Tokyo University of Agriculture and Technology.
**Dept. of Marketing and Psychology, Tokyo Seitoku College.

This paper will describe the doubled layers method for simultaneous uses
and separated works of a mouse and an electronic pen.

As usual, windows

operation such as desktop or application could be directed by a mouse. Besides,on the other overlapping and translucent layer, an electronic pen could operate
several works suitable to a pen; calculation, e-mail, etc. Furthermore, thispaper will mention about design and development of a new tool Work Table
designed for realization of this method. As a result of the evaluation test, mostof testers recognized convenience of this method and their working time wasshortened.

‑57‑

情報処理学会研究報告(HI-100), Vol.2002, No.91, pp.57-64 (2002)

作を行う．これに加えて電子ペンでは，手書

1. はじめにきによる計算や電子メールの送信など，電子近年，計算機の高速化と低価格化が進み，一般家庭においても高速なパーソナルコンピ

ペンに適した作業をマウスによる作業とは独立して行える．

ュータ(以下，PC と記す)が利用されるように複数のデバイスを併用する研究は従来からなってきた．PC への入力手段としてはマウス行われているが，それらは基本的に同一の作とキーボードが一般的であるが，最近では数業空間上で作業を行うものである 6)7)8) ．マウ

千円程度で購入できることもあり，イラストスと電子ペン用の作業空間を分離することで，を描いたりするときに，ペン入力タブレット電子ペンとマウスを持ち替えるだけで作業をと電子ペン(スタイラス，以下電子ペンと記切り替えることができ，電子ペンがより多くす)も広く一般的に利用されるようになってきの場面で活用されることが期待できる．

た．
電子ペンは，多くの人が従来から慣れ親し

2. WorkTable の設計

んできた紙と鉛筆のように利用することができ，キーボードやマウスのように，使いこな

2.1 作業空間の分離すための練習を必要としない手軽な入力デバ

WorkTable は，マウスと電子ペンで別々のイスである．また，筆記者の個性や感情を含作業を行えるようにするために，マウス用のめた表現豊かな文字や絵が描画できるという作業空間と電子ペン用の作業空間を分離した利点もある．このような利点を活かす形で，環境を提供する(図 1)．

従来から手書きによる電子メールシステム1)や，手書きを利用した教育支援システム2)3)など，電子ペンに関する様々な研究が行われてきた．
同時に，キーボードの代わりとして，電子ペンによるテキスト入力を容易に行うための研
究4)5)も多く行われ，現在 PDA を中心に広く利用されている．
しかし，現在市販されている一般的なアプ
リケーションでは，マウスからの入力と電子マウス用の作業空間→デスクトップ&ウイ
ンドウ

ペンからの入力を同一のものとして扱うことが多く，使い勝手の問題を除けばマウスでも電子ペンと同様の作業や操作を行うことが可

電子ペン用の作業空間→ペンパネル

電子ペン用の作業空間→ペンレイヤー

図1 WorkTable の基本構造能であった．そのため，電子ペンの利点が活

マウス用の作業空間は，デスクトップ，おきる場面以外では基本的にマウスが利用され，電子ペンが全く使われないことも多かった．

よび，各ウインドウである．マウスでは，従そこで，本稿では，電子ペンの新たな活用

来どおりデスクトップと，アプリケーション方法の提案を目的とし，マウス用の作業空間などの各ウインドウの操作を行える．と電子ペン用の作業空間を分離することで，電子ペン用の作業空間は，マウス用の作業マウスと電子ペンによって別々の作業を行え空間全体を覆う透明なレイヤー(以下，ペンレる環境を提案し，その環境を実現するツールイヤーと記す)である．本稿では，ペンレイヤ

WorkTable の設計と実現について述べる．具ーの中で，電子ペンによる作業を行うための体的に，デスクトップとアプリケーションなボタンなどの操作オブジェクト，および，作どの各ウインドウは，従来どおりマウスで操業結果などを表示するためのテキストボック‑58‑情報処理学会研究報告(HI-100), Vol.2002, No.91, pp.57-64 (2002)

スなどが表示されている部分を，特にペンパ表示切り替えボタン
非表示ボタンネル(図 2)と呼び区別する．なお，それらのオブジェクトは，マウス用の作業空間の表示を邪魔しないために，半透明で表示する．電子ペンでは，2.3節で述べる作業を行うことがで認識結果表示部

きる．
なお，マウス用の作業空間と電子ペン用の作業結果表示部

作業空間は完全に独立しており，お互いの作全消去ボタン

業が相手の作業空間に影響を与えることはな
い．

2.2 有効な場面
WorkTable は，マウスと電子ペンを用いて独立した 2 つの作業を並行して行うことがで

電卓ボタン

き，特に次のような場面で有効であると考え辞書ボタン(A)表示パタン1

る．
表示切り替えボタン

2.2.1 マウスに適した作業の補助

非表示ボタン

文章入力や表計算などの事務的な作業をしているときに，一時的に計算や辞書引きなどの補助的な作業をしたくなることがある．こ色選択部の と き ， 従 来 の Microsoft Windows( 以 下Windows と記す)の環境では，電卓や電子辞

太さ選択部

書などの補助的な作業に必要なアプリケーシ
ョンを起動し，そのアプリケーションに切り替えて作業を行わなければならない．また，メールアドレス入力部

両方のウインドウを同時に表示したい場合にメールタイトル
入力部

は，二つのウインドウの位置と大きさを調整する必要があり，手間がかかって面倒であっメモ・メール
ボタン

た．

(B)表示パタン2

この問題の解決方法としては，キーボードに専用のボタンを用意し，そのボタンを押す

表示切り替えボタンを押すことにより，だけで補助作業に必要なアプリケーションを表示(A)(B)を切り替えることができる．

起動できるようにすることが考えられる．し図2 ペンパネル

かし，この方法では，ウインドウの切り替えや位置と大きさの調整が必要という問題は依然として残る．この方法の発展として，ウインドウの切り替えや位置と大きさの調整といったすべての作業を，キーボードによって素早く行えるようにすることも考えられる．しかし，この方法は，時間の短縮には有効であるが，習熟するまでの心理的負担が大きいという問題がある9)．

別の解決方法としては，IBM 社のインター
ネット翻訳の王様のように，マウスカーソルを文章中の単語や計算式にあわせるだけで，自動的に補助作業を行う方法も考えられる．
しかし，この方法では，文章中に入力されていない単語や計算式の場合には対応できない．
そこで，電子ペンによってこれらの補助的な作業を行うことを提案する．具体的に，電‑59‑

情報処理学会研究報告(HI-100), Vol.2002, No.91, pp.57-64 (2002)

子ペンによってペンレイヤーに手書き入力をの表示の上に，手書きで文字などを書き加え，行うことで，様々な作業を行えるようにする． それらをファイルに保存したり，メールで送これによりマウスから電子ペンに持ち替える信したりできるソフトウェアである．しかし，だけで素早く補助的な作業を開始できる．さPenPlus は，モードの切り替えによって手書らに，作業結果を半透明なペンパネル上に表き文字の描画と通常の Windows 操作とを切示することで，ウインドウの位置やサイズをり分けている．また，手書きで書き加えた文調整することなく常に補助作業の結果を見る

字などを見ながら Windows の操作を行えなことができる．

い問題があり，必ずしも簡便に 2 つの作業を2.2.2 電子ペンに適した作業の補助組み合わせることができなかった．

第2.2.1項で述べた場面とは逆に，手書き電子メールなどの電子ペンに適した作業をしているときに，漢字の確認や辞書引きなどの補2.3 電子ペンによる作業の種類
2.3.1 マウスに適した作業の補助助的な作業をしたくなることがある．このよ

WorkTable では，マウスに適した作業を補うな場合も，補助的な作業を行うためのアプ助する作業の例として次の(1)，(2)の機能を実リケーションを起動する操作は必要となるが， 現する．
(1) 電卓機能
電子ペン用の作業空間が透明であるためウイ
文章入力などの作業を行っているときに，ンドウの位置やサイズを調整することなく常に補助作業の結果を見ることができる．

簡単な計算が必要になった場合を想定し，ペ2.2.3 作業の組み合わせ

ンレイヤーに入力された手書きの数式(図

地図の上に直接手書き文字などを書き込み，メールで送信する場合のように，複数のアプリケーションを組み合わせて 1 つの作業を行3(A))を計算し，その計算結果をペンパネルに表示する機能( 図 3(B))を実現する．今回は，括弧を含む四則演算を計算できるようにする．

う場合がある．このような場合，地図の表示

計算結果認識結果ツール，お絵描きツール，メーラなど，必要なアプリケーションを順次利用して作業を行う必要がある．しかし，従来の Windows 環
境では，複数のアプリケーションを利用して作業を行う場合に，コピー＆ペースト操作や，ファイルを経由してのデータ移動を行わなければならず，コピー操作やアプリケーション(A)ペンレイヤーへの入力の起動操作など必要となる操作が多くなり面倒であった．

図3 電卓機能

そこで，マウス用の作業空間と電子ペン用の作業空間における作業の結果を，組み合わせて利用することを提案する．これにより，コピー操作などが不要となり，複数のアプリケーションを組み合わせた作業がより容易に行えるようになる．
同様の作業の組み合わせを実現するソフト
ウェアとしては，PlusSoft 社の PenPlus があ(B)計算結果の表示(2) 辞書引き機能
文章や資料の閲覧を行っているときに，熟語の意味などを調べたくなった場合を想定し，ペンレイヤーに入力された手書き文字を認識
10) し，その意味などを表示する機能を実現す
る．

2.3.2 電子ペンに適した作業

る．PenPlus は，デスクトップやウインドウ‑60‑

WorkTable では，電子ペンに適した作業の情報処理学会研究報告(HI-100), Vol.2002, No.91, pp.57-64 (2002)

例として次の(1)，(2)の機能を実現する．

(2) 手書きドローメール機能
手書きによる簡単な連絡をメールで送りたくなった場合を想定し，ペンレイヤーに入力された手書きの文字やイラストを，電子メールで送信する機能を実現する．手書きの文字やイラストは，2.3.2項(1)で述べた手書きドローメモと同様の形式でファイルに保存し，電子メールの添付ファイルとして送信する．
また，電子メールの送信先は，あらかじめ用意したアドレス帳から選択できるようにする．さらに，電子メールのタイトルは，枠あり手書き文字認識技術 11) を用い，手書きによって入力できるようにする．

(1) 手書きドローメモ機能
手書きによる簡単なメモを取る場合を想定し，図 4(A)のようにペンレイヤーに入力された手書きの文字やイラストを，ドロー形式でファイルに保存する機能を実現する．
一般的なドロー形式では，閲覧する際に専用の表示ソフトウェアが必要となるものが多い．しかし，この場合，他の PC 上でメモを見ようとした場合，最初に表示ソフトウェアをインストールする必要などがあり面倒である．そこで WorkTable では，Windows 環境
で一般的に使われているブラウザである
Microsoft 社の Internet Explorer(以下，IE2.3.3 作業の組み合わせと記す)で表示できる形式で保存する(図 4(B))．
WorkTable では，組み合わせによる作業のまた，保存する際のファイル名は，日時と時一例として次の(1)，(2)の機能を実現する．
間から自動的に生成する．
(1) 手書き PNG メモ機能
Web ブラウザなどで表示した地図などの上に，直接手書きでメモを書き加えて保存したい場合を想定し，図 5(A)のようにペンレイヤーに入力された手書きの文字やイラストを，デスクトップやウインドウの表示を含めてファイルに保存する機能を実現する( 図 5(B))．
ファイル形式は，ファイルサイズが小さくなり，IE などの一般的なブラウザで表示できることから PNG(Portable Network Graphics)形式を採用する．また，保存する際のファイ(A) ペンレイヤーへの入力
ル名は，2.3.2項(1)で述べた手書きドローメモと同様に，日時と時間から自動的に生成する．
(2) 手書き PNG メール機能
Web ブラウザなどで表示した地図などの上に直接手書きで連絡を書き加えてメールで送りたくなった場合を想定し，画面に入力された手書きの文字やイラストを，デスクトップやウインドウの表示を含めて電子メールで送信する機能を実現する．手書きの文字やイラ
スト，デスクトップやウインドウの表示は，2.3.3項(1)で述べた手書き PNG メモと同様の(B) 保存したデータの表示例
形式でファイルに保存し，電子メールの添付ファイルとして送信する．
図4 手書きドローメモ機能
電子メールの送信先，タイトルの入力は，‑61‑

情報処理学会研究報告(HI-100), Vol.2002, No.91, pp.57-64 (2002)

2.3.2項(2)手書きドローメールと同様の方法でスクトップに配信されようとした場合に，入力できるようにする．

WorkTable がそのマウスイベントを消去し，配信されないようにする．同時に，WorkTable で画面への入力などの処理を行う．
なお，そのマウスイベントを発生したデバイ
スの種類の判別は，WACOM 社のタブレットドライバ(Version4.71 で確認)と，我々の研究室で開発しているタブレットドライバ
iDriveMe が，マウスイベントの拡張情報を 0以外に設定することを利用する．マウスイベ
ントの拡張情報が 0 であればマウスによる入力によって，0 以外であれば電子ペンによる入力によって発生したイベントと判断する．

(A) ペンレイヤーへの入力

3.2 画面への筆跡表示とペンパネルの実現
筆跡は，画面に直接描画することにより表示する．しかし，デスクトップやウインドウの表示が変更された場合や再描画が行われた場合に，表示した筆跡が消えてしまう危険性がある．そこで，Windows 上で発生するすべてのイベントを監視し，デスクトップやウインドウが，ウインドウの移動や再描画要求などの筆跡が消えてしまう危険性のあるイベン
トを受信した場合には，筆跡の再描画処理を行う．

(B) 保存したデータの表示

ペンパネルは，Windows のレイヤードウイ

図5 手書き PNG メモ機能ンドウを利用して実現する．レイヤードウイ
ンドウの半透明機能を利用して，半透明なウインドウを実現する．さらに，そのウインド

3. WorkTable の実現

ウを最前面ウインドウ(常に他のウインドウよ3.1 基本作業と手書き作業の区別りも前面に配置されるウインドウ)に指定する

Windows では，一般的にマウス，電子ペンどちらからの入力も同じマウスイベントに変換され，各ウインドウに配信される．一方，ことで，ペンパネルが常に前面に表示されるようにする．

3.3 ドロー形式

WorkTable では，マウスによる入力と電子ペンによる入力を別の入力として扱うために，Windows 上で発生するすべてのマウスイベン
トを監視し，電子ペンによる入力によって発生したマウスイベントの場合には，処理を変更する．
具体的には，電子ペンによる入力によって発生したマウスイベントが各ウインドウやデWorkTable のドローメモ，ドローメール機
能で採用するデータ形式は，Windows 環境で一般的に使われているブラウザである IE で表示 で き る よ う に す る た め に ， VML(Vector
Markup Language，IE 上で線分などの描画オブジェクトを生成するための拡張タグ)を用いて実現する．具体的に，線の色や太さ，点‑62‑

情報処理学会研究報告(HI-100), Vol.2002, No.91, pp.57-64 (2002)の座標列などの描画データと，その描画デー

表1 典型的な使用機材

タを基に VML を生成する JavaScript のプログラム，および，基本的な HTML タグを含むHTML ファイルとして保存する．

OSMicrosoft Windows2000

CPUIntel PentiumⅢ 933MHz

メインメモリ

4. WorkTable の評価

384Mbyte

出力装置

1024×768×32bit

タブレット

WACOM 社製 FAVO Serial(M)

4.1 実験の目的と手順

読取範囲：127.6×92.8mm

本稿で提案した電子ペンの新たな活用方法

読取分解能：0.025mmの有用性を評価するために，被験者が普段利読取速度：最高 100 ポイント／秒用している PC に WorkTable をインストール
し，3 週間利用してもらい，アンケートを行

従来のW indows環境と比較して素早く作業を行えるかった．被験者は筆者の所属する大学の学生 7

行えない

行える

3.7

名であり，全員 PC の操作に習熟していた．
実験の様子を図 6に，実験に利用した PC の一１

例を表 1に示す．なお，実験期間中は，243

マウスと電子ペンで別々の作業ができるのは便利か

WorkTable を利用して 1 日 1 通以上の電子メ不便ールを送信してもらった．

便利

3.4

4.2 実験の結果
１423
マウスと電子ペンの持ち替えによる作業の切り替えは素早くできるかできない
できる

アンケートは 4 段階(4 が最も良く，1 が最も悪い)で回答してもらった．アンケートの質
問項目と回答結果(平均値)を図 7に示す．

3.3

また，自由に意見を書いてもらった結果，次のような意見が得られた．

１• 使っていて面白い

243

今後も利用したいか• 操作しやすい

したくない• ペンパネルの近くで入力したら，ペンパネ

3.6

したい

ルが自動的に移動してくれるとよい• ペンパネルの操作をマウスで行ってしまう

１2

ことがある

34

図7 評価結果

4.3 考察評価の結果から，マウスと電子ペンで別々の作業ができるのは便利であり，従来のWindows 環境よりも素早く作業できると感じていることが分かった．また，マウスと電子ペンの持ち替えによる作業の切り替えを素早く行え，今後も利用したいと考えていることが分かった．
図6 評価実験の様子

一方で，ペンパネルの操作をマウスで行っ‑63‑

情報処理学会研究報告(HI-100), Vol.2002, No.91, pp.57-64 (2002)てしまうことがあるという問題が指摘された． 謝辞
本稿の執筆にあたり，多大なご助言をいた
この問題を解決するためには，ペンパネルのデザインを工夫し，はっきりと操作オブジェ

だいた葭田まりさん，沖哲幸氏に深く感謝す

クトの区別を行えるようにする必要がある．

る．本研究の一部は，科学研究費補助金奨励

実際に利用する場合には，誤認識による作業効率の低下の問題が発生する．この問題に関しては，現在は誤認識が発生した場合にすべてを書き直すしかないが，簡便に誤認識を訂正できるインタフェースを実装し，誤認識の影響を出来る限り小さくする必要があると考える．また，お絵描きソフトウェアなどの電子ペンに適した一般アプリケーションが利用できなくなるという欠点がある．それについては，マウス用の作業空間と電子ペン用の作業空間を逆にする機能の追加などを検討する必要があると考える．

5. おわりに
本稿では，電子ペンの新たな活用方法の提案を目的とし，マウス用の作業空間と電子ペン用の作業空間を分離することで，マウスと電子ペンによって別々の作業を行える環境を提案し，その環境を実現するツール
WorkTable の設計と実現について述べた．具体的に，デスクトップとアプリケーションなどの各ウインドウは，従来どおりマウスで操作を行え，電子ペンでは，手書きによる計算や電子メールの送信など，電子ペンに適した作業をマウスによる作業とは独立して行うことができる．
また，WorkTable は，ある作業を行っているときに，補助的な別の作業をしたくなった場合，複数の作業を組み合わせた作業を行う場合に，特に有効であると考える．
評価の結果，マウスと電子ペンで別々の作業ができるのは便利であることが示唆された．
より詳細な評価実験の実施と，電子ペンのさらなる活用方法の提案を今後の課題とする．

研究(A)13780205 の補助による．

参考文献
1)

加藤直樹，田中宏，中川正樹：公開インクフォーマットの設計と手書き電子メール環境の開発，
電子情報通信学会論文誌， D-Ⅰ, Vol.J84-D-Ⅰ，No.2, pp.203-212 (2001).
2) 曽谷俊男：ペン入力によるドリル答案作成／採点システムプロトタイプ， 情報処理学会研究報
告， 95-CE-38， pp.49-54 (1995).
3) 伊藤穣，江頭広幸，岡崎泰久，渡辺健次，近藤弘樹：WWW 上でのオンライン手書き文字認識の実現とそれを実装した知的教育システムの開発，電子情報通信学会論文誌， D-Ⅰ, Vol.J83D-Ⅰ， No.6, pp.610-618 (2000).
4) 荒井俊史，正嶋博，福永泰：手書きユーザイン
タフェースにおける文字入力方法， 情報処理学会論文誌， Vol.35, No.3, pp.478-487 (1994).
5) 中島直樹，宮原末治，若原徹，小高和己：マルチメディア端末用手書き入力インタフェースの設計とその応用， 電子情報通信学会論文誌，
D-Ⅱ, Vol.J79-D-Ⅱ， No.4, pp.592-599 (1996).
6) Ken Hinckley, Mary Czerwinski and Mike
Sinclair ：Interaction and ModelingTechniques for Desktop Two-Handed Input,
Proc.UIST’98, pp.49-58 (1998).
7) Paul Kabbash, William Buxton and Abigail
Sellen ： Two-Handed Input in a CompoundTask, Proc.UIST’94, pp.417-423 (1994).
8) Gordon Kurtenbach, George Fitzmaurice,
Thomas Baudel and Bill Buxton ： The
Design of a GUI Paradigm based on Tablets,
Two-hands, and Transparency, Proc.CHI’97,
pp.35-41 (1997).
9) 久野靖，角田博保：キーボードによる窓操作機
構の作成と評価， 情報処理学会論文誌，Vol.31, No.5, pp.721-730 (1990).
10) 福島貴弘，中川正樹：確率モデルに基づくオン
ライン枠なし手書き文字列認識， 信学技報，
PRMU98-139， pp.25-30(1998).
11) 秋山勝彦，中川正樹：オンライン手書き日本語
文字認識のための線形処理時間伸縮マッチング
アルゴリズム，電子情報通信学会論文誌，D-Ⅱ，
Vol.J81-D-Ⅱ，No.4， pp.651-659(1998)．

‑64‑E