情報処理学会研究報告, 2001-HI-95, pp.47-54 (2001.9)

大画面に適したポインティングユーザインタフェースの拡張
坂東 宏和，大即 洋子，増田 厚司，加藤 直樹，中川 正樹
東京農工大学工学部
東京都小金井市中町 2-24-16
E-Mail：bandou@hands.ei.tuat.ac.jp

本稿では，Windows の一般的なアプリケーションと Windows の基本的な操作を，電子白板環境に適したユーザインタフェースで行えることを目的とし，手の届かない位置にあるオブジェクトを操作者の手元から操作できる伸張ポインタの実現について述べる．筆者の所属する研究室では，以前から大画面インタフェースのための伸張ポインタを提案してきた．本稿は，その伸張ポインタを一般の Windows アプリケーションに利用可能とし，さらに，その機能を拡張する方法について述べる．伸張ポインタは，ペンの動きを増幅することにより，適度な動きで遠くの位置にあるオブジェクトの選択と操作を行える．具体的に，タップ，ダブルタップ，ドラッグ操作を可能とする．また，手書き文字認識を用いることで，選択したウインドウに対する文字入力操作も可能とした．

Enhancement of the user interface by the extensible pointerfor a large screen.
Hirokazu Bandoh, Yoko Otsuki, Atsusi Masuda, Naoki Kato and Masaki Nakagawa
Dept. of Computer Science, Tokyo Univ. of Agriculture and Technology.
2-24-16, Naka-cho, Koganei, Tokyo, 184-8588, Japan
E-Mail：bandou@hands.ei.tuat.ac.jp

This paper describes enhancement of the extensible pointer that enables a user to operatedistant objects beyond his/her reach on a large interactive electronic board. We have been
proposing the user interfaces using this extensible pointer. This paper presents a method toavail the extensible pointer for general MS-windows applications and enhance its functions.
Tapping, double tapping and dragging can be effected by the enhanced extensible pointer. By
employing handwritten character recognition, text input has been also realized.

情報処理学会研究報告, 2001-HI-95, pp.47-54 (2001.9)

す)の実現方式について述べる．伸張ポイン

1. はじめに

タでは，具体的にタップ，ダブルタップ，ド近年，教育の情報化が積極的に進められるラッグの操作を行うことができる．また，手中で，一斉授業における黒板の代わりとして書き文字認識技術 6) と組み合わせることで，対話型電子白板が導入されるようになってき選択したウインドウに対する文字入力も可能た．一方，会議において活用することを目的とする．

Liveboard1) などが筆者の所属する研究室では，以前から大あげられる．また，SMART Board(SMART

画面インタフェースのための伸張ポインタをTechnologies 社)やメディアサイト(リコー

提案してきた 2) ．表示一体型のペン入力では，社)，デジタルボード(日立ソフトウェアエン

ペン先で直接に目的の場所を指示する直接指ジニアリング社)など，様々なメーカから対示・操作方式が一般的で，広く受け入れられ話型電子白板が市販されている．ている．しかし，これを大きな表示面の装置としたシステムとしては

このような状況の中，我々の所属する研究に使うと，目的のものを指示したり移動した室では，従来から電子白板環境に適したユーりするために，端から端まで手を伸ばしたり，ザインタフェースの研究 2)3) を行ってきた．

表示面を横切ったりしないといけなくなる．

また，我々はその成果を活かした様々なアプ

そこで考案したのが，伸張ポインタである．

リケーションを提案してきた 4)5) ．しかし，これによると，体から離れたものでも，従来の提案は，大画面ユーザインタフェース指示，操作できる．このことから，厳密にはの研究のため，個々のアプリケーションのイ直接指示ではなくなっている．しかし，ペンンタフェースを改善したものである．この大先と実際の移動先との間に帯を表示すること画面ユーザインタフェースがある程度確立しで，この帯がマジックハンドのように見えるてきたので，一般的なアプリケーション操作ことから，直接指示・操作方式の自然な拡張や Microsoft Windows(以下 Windows と記にもなっている．この機能をつかえば，非常す)の基本 的な操作を ，標準的 な Windowsに大きな表示一体型装置で直接指示・操作方のインタフェースではなく，我々の提案して式のユーザインタフェースを採用することがきたユーザインタフェースで行えるようにす可能である．本稿は，その伸張ポインタを一ることを考えた．教育現場や会議などで使わ般の Windows アプリケーションに利用可能れる多くのアプリケーションは，デスクトッとし，さらに，その機能を拡張する方法につプ環境を想定したものがほとんどである．こいて述べるものである．

れらのアプリケーションを，電子白板環境において便利に活用するためには，これらのア

2. 伸張ポインタの設計方針

プリケーションの操作を電子白板環境に適し本稿で実現する伸張ポインタは，標準的なたユーザインタフェースで可能にすることがパソコンに対話型電子白板を接続した環境を望まれる．

対象とする．本章では，我々の研究室で従来

そこで本稿では，Windows の一般的なアから行ってきた，電子白板環境に適したユー

プリケーションと Windows の基本的な操作

ザインタフェースの研究 2)3) の成果に基づき，を，電子白板環境に適したユーザインタフェ伸張ポインタの設計方針について述べる．

ースで行えることを目的とし，手の届かない

2.1 対話型電子白板

位置にあるオブジェクトを操作者の手元から対話型電子白板(図 1)は，タブレットをホ操作できるポインタ(以下伸張ポインタと記

ワイトボード程度の大きさにしたもので，タ情報処理学会研究報告, 2001-HI-95, pp.47-54 (2001.9)

ブレットと同様電子ペンを用いて入力する．

(2) 電子ペンの動きが大きくなる

電子ペンは 3 種類程度利用でき，アプリケ

電子ペンを用いてドラッグなどの操作を行ーション側でペン番号を識別することで，各う場合，従来のインタフェースではドラッグ電子ペンに別々の機能を割り当てることもで先まで電子ペンを移動しなければならない．

きる．また，電子イレーサを利用することもそのため，たとえば横方向のスクロールバーできる．画面は，前面からプロジェクタで投を操作する場合に，電子白板の端から端まで影する形式のものと，背面から投影する形式移動しなければならない場合がある．また，のものがある．

そのほかの操作も，画面が広くなるのにあわせて全体的に電子ペンを大きく動かさなければならない．

(3) ダブルタップが難しい
デスクトップ上のショートカットによってアプリケーションの起動操作を行う場合などにダブルタップを用いるが，電子ペンの場合には，1 回目のタップと 2 回目のタップの位置がずれてしまうことが多く，ダブルタップがうまくできないことがある．
図1 対話型電子白板(背面投影型)(4) テキスト入力が面倒
従来の環境では，テキスト入力はキーボー

2.2 デスクトップ向けインタフェースを電ドからの入力を基本としている．しかし，電子白板環境に適用した場合の問題点

子ペンを利用しているときにキーボードを操

Windows 環境におけるユーザインタフェースは，基本的にデスクトップ環境を想定しており，そのまま電子白板環境で利用した場作することは面倒である．

2.3 設計方針
伸張ポインタは，2.2節で述べた Windows

合に，次のような問題が発生する．のユーザインタフェースを電子白板環境で利(1) 操作のために画面を遮ってしまう

用した場合の問題点から，次の点を考慮して従来のデスクトップ向けインタフェースは， 設計する．
(1) 操作者の手元で操作できるようにする
基本的にボタンやリストボックスなどの操作オブジェクトの上にポインタを合わせて操作操作者が画面を遮ったり，必要以上に移動する．したがって電子ペンで操作する場合にしたりしなくても画面上の操作オブジェクトは，その操作オブジェクトの上に電子ペンをを操作できるように，遠くの位置にある操作乗せて操作することになる．そのため大画面オブジェクトを操作者の手元で選択し，操作環境では，操作者が操作オブジェクトの近くできるよう設計する．このとき，操作対象とまで歩いて行ってから操作する必要があり，なっている操作オブジェクトを明示し，現在結果的に画面を遮ってしまう．特にどの操作オブジェクトを操作しているのかがWindows 環境の場合，スクロールバーや最はっきりと分かるようにする．

小化・最大化ボタン，メニューがウインドウ(2) 電子ペンの動きを適度な大きさにするの端全体に配置されているため，それらの操電子ペンの動きを増幅することにより，電作を行う場合に頻繁に画面を遮ってしまう．

子ペンの小さな動きで大きな動きと同様の効果が得られるよう設計する．

情報処理学会研究報告, 2001-HI-95, pp.47-54 (2001.9)(3) ダブルタップを容易にする

このポインタを，タップしたい操作オブダブルタップを別の操作で代用できるようジェクトの上に移動し，ペンをアップさせるにすることで，容易にダブルタップを行えるとそのオブジェクトをタップできる(図 3)．

よう設計する．

(2) ドラッグ操作(4) 電子ペンでテキスト入力できるようにす
る

最初に，(1)のタップ操作と同様にドラッ
グしたい操作オブジェクトの上にポインタを

手書き文字認識技術 6) などを用いて，電子移動する．ポインタをそのまま停留させると，ペンによって手書きでテキスト入力できるよ

ペンダウン位置からポインタの位置までを結うにする．

んだ直線が消去され，その操作オブジェクト

3. 伸張ポインタの設計
第2.3節で述べた設計方針に基づき，操作者の手元で，かつ，適度な大きさの電子ペンをドラッグできる(図 4)．なお，電子ペンを完全に停留させることは難しいため，電子ペンが数ピクセル程度動いても停留しているものとみなす．の動きによって一般的なアプリケーションの操作と，Windows の基本的な操作を行えるポインタの位置よう設計する．

3.1 実現する機能
具体的に次の(1)から(3)の機能と，伸張ポ実際のペン位置インタと手書き文字認識技術を組み合わせた(4)の機能を実現する．

(1) タップ操作
操作者が画面上の任意の位置でペンダウンを行い，そのまま電子ペンを移動させると，電子ペンの動きを増幅してポインタを移動する(図 2)．たとえば，増幅の倍率を k とする

ペンダウン位置

図2 移動量の増幅と，電子ペンを(x,y)だけ移動させた場合には，ポインタは(kx,ky)だけ移動する．増幅倍率 k は，画面の大きさや操作者の好みにペンをアップすると，このオブジェクトがタップされるより適切な値が異なる．一般に増幅倍率が大きいほど手の動きが小さくなるが，あまり大きすぎると細かな操作ができなくなる．そこで，操作者が任意の値を選択できるようにする．操作を画面上の任意の位置から始められるようにし，さらに，電子ペンの動きを増幅してポインタを移動させることにより，操作者の手元で，かつ，小さい電子ペンの動きで様々な操作を行うことができる．なお，ポインタの移動中は，ポインタ位置を明確にするためにペンダウン位置からポインタの位置までを線で結んで表示する．

図3 タップ操作

情報処理学会研究報告, 2001-HI-95, pp.47-54 (2001.9)(4) 文字入力操作

停留させると直線が消え，ドラッグできる状態になる

最初に，(1)のタップ操作を行い，文字を入力したいウインドウを選択する(図 6)．次に，3.2節で述べる方法によって手書き文字を入力できる状態にし，電子ペンによって画面上の任意の位置から手書き文字を書き入れる(図 7)．書き終わりから数秒経過すると，画面に書いた文字が認識され，認識結果候補が手書き文字の書かれた場所の近くに表示される(図 8)．候補の中から正しい文字を選択
すると，その文字を最初に選択したウインドウに入力できる．なお，認識結果候補の中に正しい文字が含まれていない場合には，候補

図4 ドラッグ操作

表示部分以外をタップすると入力がキャンセルされる．

(3) ダブルタップ操作
最初に，(1)のタップ操作を行い，ダブルまた，画面上の任意の位置で右タップを行うと，バックスペースを入力できる．

タップを行いたい操作オブジェクトをタップする．タップ操作直後に，電子ペンでシング文字を入力したいウインドウを選択

ルタップを行うと，最初に伸張ポインタでタップした操作オブジェクトをダブルタップできる(図 5)．なお，電子ペンによるシングルタップは画面上の任意の位置で行うことができる．これにより，ダブルタップ操作を，伸張ポインタによるタップと電子ペンによるシングルタップによって行うことができる．
タップ操作後，任意の位置でペンタップを行うと，このオブジェクトがダブルタップされる．

図6 ウインドウの選択

手書き文字の入力
図5 ダブルタップ操作

図7 手書き文字の入力

情報処理学会研究報告, 2001-HI-95, pp.47-54 (2001.9)

ウスイベントを監視する．具体的に，マウスイベントを発生させたデバイス，および，電子ペンのペン番号により，図 9のような処理を行う．
表1 伸張ポインタの実現環境
OSMicrosoft Windows2000

対 話 型 電 日立ソフトエンジニアリング社

認識結果候補の表示

子白板

デジタルボード D-70

電 子 白 板 iDriveMe
図8 認識結果候補の表示

ドライバ
パ ソ コ ン CPU：Intel PentiumⅢ 1Ghz

3.2 機能の切り替えの性能

メモリ：384MB

第3.1節で述べた伸張ポインタの各機能，および，文字入力操作を通常のポインタと併デバイス種類用でき，かつ，画面上の任意の位置から利用できるようにするためには，通常のポインタと伸張ポインタ，手書き文字入力を何らかの電子ペン=3ペン
番号方法で切り替えられるようにする必要がある．
今回は，その方法として対話型電子白板がハードウェア的に 3 種類程度の電子ペンを利用できることに着目し，電子ペンの持ち替え

マウス=1=2(3)伸張ポインタ(2)手書き文字入力(1)通常ポインタによってポインタを切り替えるようにした．
具体的に 3 種類の電子ペンを，次の通り割り当てた．
• Windows 標準のポインタ(ペン番号=1)• 手書き文字の入力(ペン番号=2)• 伸張ポインタ(ペン番号=3)

4. 伸張ポインタの実現
伸張ポインタの実現環境を表 1に示す．電子白板用ドライバ iDriveMe は，我々の所属する研究室で開発しているドライバであり，メーカ標準添付のドライバと比べて，プログラム中でペン番号を利用しやすいなどの特徴がある．原理的にはメーカ標準添付のドライバでも実現できるが，今回は実現を容易にするために iDriveMe を用いた．
伸張ポインタは，マウスの動きを拡張するために Windows 上で発生するすべてのマ

図9 デバイスによる処理の分岐
次に，図 9に示した各処理の実現方式について述べる．

(1) 通常ポインタ
マウスイベントを発生させたデバイスがマウス，または，ペン番号 1 の電子ペンである場合には，発生したマウスイベントをそのまま通過させる．

(2) 手書き文字入力
マウスイベントを発生させたデバイスがペン番号 2 の電子ペンである場合には，発生したマウスイベントを消去し，電子ペンの動きに合わせて画面上に手書き文字を描画す情報処理学会研究報告, 2001-HI-95, pp.47-54 (2001.9)

る．最後の入力が終了してから一定時間内に次の入力が行われない場合には，入力されたペンダウン
MF=0

手書き文字を認識し，その認識結果候補を画面に表示する．認識結果候補の中から正しい文字が選択された場合には，その選択された文字を，入力フォーカスを持ったウインドウへ送信する．

(3) 伸張ポインタ

ペンが移動

NoYes
マウスカーソルを(kx,ky)へ移動
マウスムーブイベ
ントを発効

一定時間
未満

ペンの停止時間
一定時間以上マウスイベントを発生させたデバイスがNo

MF=0

ペン番号 3 の電子ペンである場合には，発Yes生したマウスイベントを消去する．マウスダ

マウスダウンイベ
ントを発効
MF=1

ウンイベント以外のイベントが発生した場合には，マウスカーソルを電子ペンの位置に移動させる．マウスダウンイベント(ペンダウン)が発生した場合には，図 10の処理を行う．
なお，図 10の処理を行っている間に発生したマウスイベントは，すべて消去される．
ペンダウンからペンアップまでの間に電子ペンが移動された場合には，電子ペンの移動量(電子ペンがダウンした位置と，現在の電子ペンの位置との差)を k 倍(k：増幅倍率)した位置にマウスカーソルを移動し，マウスムーブイベントを発効する．増幅倍率は，操作者が設定ファイルを書き換えることによって任意の値に設定できる．ペンが一定時間以上停留された場合には，停留位置でマウスダウンイベントを発効し，ドラッグ状態へ移行する．
ペンがアップされた場合で，ドラッグ状態に移行していない場合には，ペンアップ位置でマウスダウン，マウスアップイベントをペン
アップ

Yes

No
MF=0

No

Yes
マウスダウンイベ
ントを発効
マウスアップイベ
ントを発効
一定時間内にタップ操作

No

Yes
MF=0NoYes
マウスダウンイベ
ントを発効
マウスアップイベ
ントを発効

連続して発効し，クリック動作を行う，ドラッグ状態の場合には，マウスアップイベントだけを発効し，ドラッグ状態を解除する．
ペンアップ後一定時間内にタップ操作が行われた場合には，ペンがアップされた位置

MF:=0：通常モード =1：ドラッグモード
k：増幅倍率（定数値）
x,y：電子ペンの移動量(ペンダウン位置と現在のペン位置との差)でマウスダウン，マウスアップイベントを連続して発効し，ダブルタップ動作を実現する．

図10 伸張ポインタの処理

情報処理学会研究報告, 2001-HI-95, pp.47-54 (2001.9)ても今後検討していく必要がある．

5. 予備評価
伸張ポインタを研究室内の学生 4 人に利

6. おわりに用してもらい，伸張ポインタの各操作につい本稿では，Windows の一般的なアプリケて評価して頂いた．評価は，1(使いにくい)ーションと Windows の基本的な操作を，電から 5(使いやすい)の 5 段階であり，中点は子白板環境に適したユーザインタフェースで3 である．4 人の平均値を表 2に示す行えることを目的とし，手の届かない位置にあるオブジェクトを操作者の手元から操作で

表2 評価結果
操作名

使いやすさ

きる伸張ポインタの実現方式について述べた．

タップ操作

4.25

具体的に伸張ポインタでは，タップ操作，ドドラッグ操作

3.5

ラッグ操作，ダブルタップ操作を行うことがダブルタップ操作

2.75できる．また，手書き文字認識技術と組み合文字入力操作

3.25

わせることで，選択したウインドウに対する文字入力操作も可能とした．

また，気づいた点を自由に書いてもらっ

今後は，問題点を改善するとともによりたところ，次のような意見が得られた．

詳細な評価実験を行い，電子白板環境に適し・ ダブルタップが難しい．

たユーザインタフェースの実用化を目指して・ ダブルタップを失敗した場合に，ペンタいきたい．

ップ位置の操作オブジェクトがクリック謝辞されてしまう．
・ ペンダウン位置とポインタの位置を結ぶ

本研究の基となる研究を行った小國健氏に深く感謝する．本稿執筆にあたり，多大なご直線の残像が残る場合がある．

助言をいただいた葭田まりさんに深く感謝す

ダブルタップ操作以外については，中点る ． 本 研 究 は ， 一 部 基 盤 研 究 (B)(2)以上の評価を得ることができた．
ダブルタップは，伸張ポインタによるタップ操作直後に，電子ペンによるシングルタ11558031 の補助による．

参考文献
1)

ップを行わなければならず，あわててしまいうまく操作できないことが多かった．また，失敗した場合に電子ペンによるシングルタップがタップ操作とみなされるために，操作者が意図していない場所がタップされることがあった．ダブルタップをより容易に行えるよ2)

3)

うにするためには，伸張ポインタによるタップ操作から電子ペンによるシングルタップを4)行うまでの時間を調整し，シングルタップが遅れてもダブルタップ操作とみなすなどの工5)夫が必要である．
また，Windows の再描画の関係から，不要な線が残ることがあった．この問題につい6)

Scott Elrod, Richard Bruce, Rich Gold, DavidGoldberg, Frank Halasz, William Janssen, DavidLee, Kim McCall, Elin Pedersen, Ken Pier, John
Tang ,Brent Welch ： LIVEBOARD: A large
interactive display supporting group meetings,
presentations and remote collaboration, CHI’92,
pp.599-607 (1992).
小國 健,中川 正樹：対話型電子白板システムを用いた種々のアプリケーションのプロトタイピング, 情報処理学会研究報告, 96-HI-67, pp.9-16 (1996).
堀田 耕一郎, 小國 健, 澤田 伸一, 中川 正樹：対話型電子白板におけるユーザインタフェース, 第 14 回
ヒューマンインタフェースシンポジウム報告集,pp.367-372(1998).
大即 洋子, 加藤 直樹, 中川 正樹：手書きによる壁紙新聞作成支援システムの試作, 情報処理学会研究報告, 2000-CE-57, pp.103-110(2000).
中川 正樹, 小國 健, 坂東 宏和, 堀田 耕一郎, 澤田
伸一：対話型電子白板を用いた教育ソフトウェア,
情報処理学会夏のプログラミングシンポジウム報告集, pp47-54(1998).
秋山 勝彦, 中川 正樹：オンライン手書き日本語文
字認識のための線形処理時間伸縮マッチングアルゴ
リズム, 電子情報通信学会論文誌, D-Ⅱ Vol.J81-DⅡ No.4, pp651-659(1998).