The 19th Annual Conference of the Japanese Society for Artiﬁcial Intelligence, 2005

3D1-01

大画面向けインタフェースへのレーザーポインタの応用
A New Laser Pointing Interface Applied to Large Screen Displays
久松孝臣

岩淵志学

三末和男

田中二郎

Takaomi Hisamatsu

Shigaku Iwabuchi

Kazuo Misue

Jiro Tanaka

筑波大学大学院システム情報工学研究科
Graduate School of Systems and Information Engineering, Univeristy of Tsukuba

Recently, computers with large screens appear in the market, In this paper, we propose a new interface for large
screens, which uses a laser pointer. We propose ”Remote Pointer” as a new laser pointing interface. The design, theprototype implementation and the applications of ”Remote Pointer” are described in the paper. A laser pointer, aUSB Camera and a projector are used for the prototype implementation.
Our assumption is that the large and high-resolution screens like a wall will become popular and common infuture. Of course this system can be used with the existing large screens.

1.

はじめに

2.

現在、プラズマディスプレイや、プロジェクタなど、大画面のディスプレイをコンピュータと共に利用する場面が多くなっている。プレゼンテーションソフトウェアと、プロジェクタを用いたプレゼンテーションなどはその好例である。さらに、将来的に画面の大型化、高解像度化が進み、壁一面がディスプレイとなるような状況も考えられる。このような壁面ディスプレイが安価で設置できるようになれば、会議室だけではなく家庭にも大画面が浸透していくと考えられる。
一方、コンピュータの入力インタフェースとしてはマウスやペンなどがあり、大画面を操作する際には、これらの入力インタフェースが広く使われている。しかし、大画面環境で、これらの入力インタフェースを利用するには問題がある。マウスは、机のようにある程度広さのある台の上などの場所で動かす必要があり、ペンを利用するには画面に触れる必要がある、等の制約がある。プレゼンテーション用ワイヤレスマウスなどの製品も発売されているが、これらの製品では、ポインティングデバイスにトラックボールや、ジョイスティック状の装置を使用しており、操作感が直感的であるとは言い難い。特に、初心者やこれらの装置に不慣れな人にとっては操作が難しいと思われる。
近年では、[Microsoft 04] のように、リモコンを使って家電のように PC を操作する「10 フィート UI」と呼ばれるユーザインタフェースを採用した OS が発売され、このようなインタフェースを備えたコンピュータも発売されている。10 フィー
ト UI とは、10 フィート（約 3m）はなれて操作するのに適したユーザインタフェースであり、リモコンで操作することを前提に設計されている。しかし、リモコンによるボタン操作は、メニュー選択のような操作はできるが、画面上の任意の場所を指定して操作することは難しく、ポインティングデバイスとしては利用できない。
そこで、画面から離れて、なおかつ、指差すように直接的な感覚でポインティングすることのできる、大画面向けポインティングインタフェース「リモートポインタ」を提案する。

リモートポインタの提案

本研究では、レーザーポインタをポインティングデバイスとして利用し、離れたところから画面を直接的に操作するポインティングインタフェース「リモートポインタ：リモポン」を提案する。
リモートポインタは、レーザーポインタとデジタルビデオカ
メラを利用することで、コンピュータや画面から離れて GUIを操作することができる。ペンは、画面に触れて操作する必要があるが、リモートポインタは手が届かないようなところ
でも、レーザーポインタを使って指すことができ、画面との距離、画面の大きさなどに制限されずに使える。
また、コンピュータからもはなれて利用することができる。
電波式のワイヤレスマウスの利用できる範囲は、数十センチメートルから 10 メートル程度だが、リモートポインタは、レーザーを利用してさらに離れたところからも操作することができる。たとえば、リビングで利用するときにはコンピュータの筐体は見えるところになくてもよいし、講堂や広い会議場のような場所で利用する際にも便利である。
マウスを使うためには台の上に置いて利用する必要があったが、リモートポインタはリモコンのように画面に向かって使うので、台に手を伸ばす必要はなく、ソファに座ったまま手元で操作できる。
複数の画面をまたいで操作することもでき、別々の画面に接続された複数のコンピュータを、１本のレーザーポインタでシームレスに操作することもできる。また、スクリーンだけではなく、プラズマディスプレイや、液晶ディスプレイなどの画面でも利用可能である。
さらに、画面とは別の平面上で動かすマウスと異なり、自分の意図している場所を、指差すように指し示すことができるので、マウスやトラックボール、ジョイスティックを利用したプ
レゼンテーション用マウスあるいは、リモコンによるボタン操作などに比べ、より直接的な操作感が得られる。
レーザーポインタを入力に用いる研究として [Chen 02] や、[田川 04] では、画面に対して比較的近距離から、レーザーポインタをペンの代わりとして利用し、画面に手書きによる書き込みを行うインタフェースを提案している。また、レーザーポインタを用いて、メニューの選択や、カットアンドペーストによる文の入力などを行うことのできる [Dan R. Olsen 01] などの研究もある。本研究では、ストロークや、「横切る」ということを利用したインタフェースの設計を試みる。

連 絡 先: 久 松 孝 臣 ，〒 305-8573 茨 城 県 つ く ば 市 天 王 台
1-1-1，筑 波 大 学 大 学 院 シ ス テ ム 情 報 工 学 研 究 科 コ ン
ピュー タ サ イ エ ン ス 専 攻 ，TEL/FAX 029-853-5165，
omi@iplab.cs.tsukuba.ac.jp1

The 19th Annual Conference of the Japanese Society for Artiﬁcial Intelligence, 2005

3.

システムの試作

3.1

ハードウェアの構成

表 1: 各項目の設定値

リモートポインタのシステムを実現するために、本研究ではレーザーポインタ、プロジェクタ、USB カメラを用いてプロトタイプの試作を行った。図 1 にリモートポインタのハードウェア構成を示す。

設定項目値

ガンマ
White Balance R:
White Balance B:
Exposure（露出）06300

レーザースポットとレーザースポットとマウスカーソル

3.22 画像の解析とレーザースポットの検出解析は、静止画としてキャプチャされたビットマップ画像を、1 ドットずつスキャンすることで行う。ビットマップ画像
は、1 ドットごとの赤 (R)、緑 (G)、青 (B) の値が記録されている。この RGB の値を表 2 に示す閾値と比較し、レーザースポットの検出を行う。閾値は実験により得られた知識から、それぞれのレーザーの特徴的な値を設定してあり、閾値を変更することで、レッドレーザーにも対応できる。グリーンレーザーおよびレッドレーザーでの閾値の値を表 2 に示す。この値に設定すると、レーザースポットは 3×3 ドット程度の点として検出される。

USBカメラ
USBカメラプロジェクタレーザーポインタ

図 1: ハードウェア構成

レーザーポインタはグリーンレーザーポインタを用いた。通常使われるレーザーポインタは赤色のものが一般的だが、カメラによるレーザースポットの視認性を高めるために緑色のものを使用した。レーザーは、波長 532nm 出力 5mW である。
USB カメラは画素数 35 万ピクセル、USB2.0 対応のものを使用した。カメラにより撮影される画像の解像度は 320×240 ピ
クセルである。USB カメラは比較的安価に購入できることから、複数の画面に対応させる場合にも、カメラの増設が容易である。
表示用機器としてはプロジェクタを使用している。解像度は1280×1024 ピクセルとした。これは、デスクトップ環境として利用される解像度として、一般的な解像度である。
プロジェクタにより投影された画面を前面から USB カメラで撮影する。この際 USB カメラは、投影された画面がカメラフレーム内に収まるように設置する。

3.2

表 2: レーザースポット検出のための閾値レーザーの種類（出力）

閾値 R

閾値 G

閾値 B

グリーンレーザー (5mW)
レッドレーザー (5mW)
レッドレーザー (1mW)

R なし
R>200
R>180

G>200
G なし
G<160

B<150
B<150
B<140

3.23 座標の計算
キャプチャされた画像は、 図 2 に示すように、画像全体 (A)の中に画面を表示した領域 (B)（以下画面表示領域と呼ぶ）が含まれるという形になっている。画面表示領域の左上端の点を原点とし、同領域内でのレーザースポットの位置をレーザーで示された座標としている。これに、表示画面の解像度と画面表示領域の比から求めた倍率を掛け、画面上にカーソルを表示する座標を求める。

ソフトウェアによる処理

リモートポインタでは、大まかに次のような流れで、ソフトウェアによる処理を行っている。
まず、USB カメラによって撮影された映像を、ビットマップ画像としてキャプチャする。次に、キャプチャした画像を解析し、レーザースポットを検出する。さらに、検出されたレーザースポットから、マウスカーソルを表示する位置を計算し、求められた座標にマウスカーソルを表示する。

A0(0, 0)Bh

3.21 USB カメラの設定と画像のキャプチャ
USB カメラは、付属のドライバによって、ガンマ値、露出、ホワイトバランスを調整した。既定値で撮影した画像では、レーザースポットが画面の白い部分（明るい部分）に入ると他と弁別できなくなってしまう。そのため、グリーンレーザーのレーザースポットを検出しやすくするためにこのような調整が必要である。設定値を表 1 に示す。ここに記したもの以外の値は既定値である。
USB カメラで撮影された映像を、毎秒 15 枚のビットマップ画像としてキャプチャする。

B0(0, 0) = A2(40,30)

キャプチャ
画像領域「」
画像領域「A」

Bp(80, 60)

画面表示領域「」
領域「B」

Bw

レーザー
スポット

B1(220, 180) = A3(250, 210)

A1(320, 240)

図 2: レーザースポットの検出2

The 19th Annual Conference of the Japanese Society for Artiﬁcial Intelligence, 2005
3.24 キャリブレーション
システムを使用する前に、キャリブレーションをする必要がある。キャリブレーションはプロジェクタで映し出された画面映像の四隅をレーザーポインタで一定時間指すことで行う。

enter,exit アイコン・ウィンドウ・メニューなどとレーザースポットが重なった場合、enter イベントが発生する。enter
イベントが発生した後、レーザースポットがアイコンなどから外れた場合 exit イベントが発生する。

3.25 手ブレの補正
レーザーポインタで離れたところを指す際に、手の震えから、レーザースポットが震えてしまうということがよく起こる。この影響で、表示したマウスカーソルが震えてしまい、操作しづらくなるという問題が起こった。この問題を解決するた
めに、フレーム間で一定値以上移動した場合は「移動した」、一定値以下の場合は「止まっている」、とみなすことによってブレを抑制した。

stay レーザースポットが点灯し、ある座標に一定時間停止すると stay イベントが発生する。

4.

また、これらのレーザーイベントと、マウスイベントの対応を、表 3 に示す。マウスイベントの click、dragg に相当する操作は、複数のレーザーイベントの組み合わせによって表現できる。
表 3: イベント対応表

インタフェースの設計試作したシステムでは、マウスカーソルをレーザースポットに追従させて表示し、レーザーポインタをポインティングデバイスとして利用することができた。クリック動作については、マウスのボタンを利用している。このままでは、マウスの届く範囲でしか利用できず、画面やコンピュータから離れても操作できるというメリットがなくなってしまう。そのため、レーザーポインタ単体でクリックなどの動作を行えるようにする必要がある。
また、現在の WIMP インタフェースは、マウスでの利用を前提としたものであり、レーザーポインタを使って利用するには、若干使いにくくなってしまう。このため、リモートポインタでの利用を前提としたインタフェースを考案する必要がある。
これらの課題を解決するための新しいインタフェースを設計する。
まず、マウスイベントに相当するレーザーイベントが必要である。すべてのマウスイベントに対してレーザーイベントを完全に対応付けすることができれば、レーザーポインタを利用して、マウスでできる操作をすべて行うことができるはずである。しかし実際には、マウスあるいはペンと、レーザーポインタでは、操作方法が全く異なり、完全な対応付けをすることは不可能である。そこで、レーザーポインタ特有のイベントに意味をあたえ、マウスイベントへの対応づけをすればよいと考えた。
さらに、そもそもマウス向けに作られている WIMP インタフェースをそのまま利用するのではなく、リモートポインタ向けのインタフェースを設計し、より根本的な解決を図るべきである。

4.1

レーザーイベント

マウスイベント

onoﬀ
move
enter
exit
stay
stay → oﬀ
stay → move—release
move
enter
exit
press
clickdragg

ところで、レーザーポインタで同じ場所を指し続けるのは、ブレたり手が疲れたりするため難しい。そこで、ある点に滞留させることなく操作が可能な操作体系を考える必要がある。[Apitz 04] では、ペンのインタフェースに関して、横切る（Cross する）という操作を利用する操作体系について述べている。
また、[Callahan 88] や [François.Guimbretière 00] では、ス ト ロ ー ク を 利 用 し た 円 形 の メ ニュー を 提 案 し て い る 。
[Kurtenbach 93] では、やはりストロークを利用し通過することで選択する、階層構造のメニューを提案している。これらも、対象を「横切る」ということをトリガとした操作体系である。
リモートポインタでは、レーザーポインタの素早く動かせるが、精密な操作はしづらいといった特性を考慮し、これらの「横切る」動作を利用したインタフェースを採り入れるつもりである。また、メニューだけではなく、ウィンドウや画面の境界（辺）を横切ることを利用することも考えている。

イベントの対応付け

まず、マウスと、レーザーポインタのイベントの対応付けを考えてみる。
マウスにおけるマウスイベント、すなわち、マウスボタンのpressed,released、マウスカーソルの moved,entered,exited、さらに、これらのイベントの組み合わせとして構成されるclicked,dragged などに相当するレーザーイベントが必要である。レーザーイベントは次のようなものが適当であると考えられる。レーザーの on,oﬀ,move,enter,exit,stay である。それぞれのイベントは次のような場合に発生する。

5.

考察

5.1

イベントの分析

第 4.1 節において対応付けをしたレーザーイベントを分析す
るといくつかのレベルに分けられることがわかる。
まず、レーザースポットのあるなし、レーザースポットの座標など、全く解釈のないレベルの、「そこにある事実」としての情報を持ったイベントがある。これは、on,oﬀ などのイベン
トと、座標情報などが含まれる。
次に、レーザースポットの座標が移動したことを、動いたと解釈するなど、事実に解釈を加えたレベルのイベントがあり、move,stay などが含まれる。
3 番目に、レーザースポットだけではなく、ウィンドウや、アイコンなど周囲のオブジェクトとの関係で判定されるレベルのイベントがある。enter,exit などがこれにあたる。

on,oﬀ 画面表示領域内で、レーザースポットが点灯した場合on イベントが、消灯した場合 oﬀ イベントが発生する。
move レーザースポットが、画面表示領域内を移動する場合move イベントが発生する。

3

The 19th Annual Conference of the Japanese Society for Artiﬁcial Intelligence, 2005
さらに、これらのイベントを組み合わせて作ることができるイベントがある。マウスのクリックに当たる動作を、レーザー
では、stay → oﬀ によって行うこととした。このように、個々のイベントを組み合わせて動作を割り当てることで、意味を持った操作をおこなうことができる。
以上のことから、イベントはその性質によって階層わけすることができると考えた。表 4 に、各層に対応するイベントを示す。

ンドウは、マトリックス状に配置された数百チャンネルの一部分を見せているだけなので、リモートポインタで、ウィンドウの辺を通過させると、隣接する 20 チャンネルが現れる。

7.

本研究ではレーザーポインタにより画面をポインティングすることで、コンピュータを操作する「リモートポインタ」を提案し、レーザーポインタ、USB カメラ、プロジェクタを用いてシステムの試作を行った。また、「リモートポインタ」の使用を前提とした大画面向けのインタフェースについての設計と考察を行った。今後は、これらの考察を元に、実装を行う予定である。

表 4: 階層わけをしたイベント

第１層
第２層
第３層
第４層

レーザーイベント

マウスイベント

onoﬀ
stay
move
enter
exit
stay → oﬀ
stay → move—releasepressmove
enter
exit
clickdragg

参考文献[Apitz 04] Apitz, G. and Guimbretière, F.: CrossY: acrossing-based drawing application, in UIST ’04: Proceedings of the 17th annual ACM symposium on Userinterface software and technology, pp. 3–12, New York,NY, USA (2004), ACM Press[Callahan 88] Callahan, J., Hopkins, D., Weiser, M., andShneiderman, B.: An Empirical Comparison Of Pie vs.
Liner Menus, in CHI (1988)

コンピュータを操作する際に必要な多くの操作は、第 4 層レベルで検討すればよいことがわかる。たとえば、アプリケーションやファイルなどのオブジェクトに対して、開く、閉じる、選ぶ、移動する、などの動作を行う。このようなユーザが行いたい具体的な動作を、それぞれのイベントないしイベントの組み合わせに割り当てていけばよい。第 4. 節で述べた操作についてもこの層が当てはまる。
また、第 3.25 節では手の小さな震えによって、レーザースポットが震えてしまい操作しづらくなってしまう、手ブレの問題について触れた。この震えを除去するために、ある一定値以上レーザースポットが移動したときのみ移動したとみなすよう改良を加えた。このような改良は、第 2 層について手を加えたものだといえる。

6.

まとめ

[Chen 02] Chen, X. and Davis, J.: LumiPoint: Multi-User
Laser-Based Interaction on Large Tiled Displays, Displays, Vol. 23, pp. 205–211 (2002)[Dan R. Olsen 01] Dan R. Olsen, J. and Nielsen, T.: Laser
pointer interaction, in CHI ’01: Proceedings of theSIGCHI conference on Human factors in computing systems, pp. 17–22, ACM Press (2001)[François.Guimbretière 00] François.Guimbretière,andWingograd, T.: FlowMenu: Combining command, text,and data entry, in Proceedings of ACM User Interface
Software and Technology 2000 (UIST 2000), ACM (2000)

応用例[Kurtenbach 93] Kurtenbach, G. and Buxton, W.: The
limits of expert performance using hierarchic marking
menus, in CHI ’93: Proceedings of the SIGCHI conference on Human factors in computing systems, pp. 482–487, ACM Press (1993)

壁面大画面、多チャンネル（数百チャンネル）テレビの例を挙げて応用例を説明する。
将来、壁一面がディスプレイという非常に大きなディスプレイが登場することも予想できる。そのようなディスプレイが普及し、リビングに設置されたと仮定する。現在リビングにあるTV、ビデオ、オーディオ、PC などは、その姿を隠し、それらを利用するためのインタフェースのみが画面に表示されるようになるだろう。ユーザはその画面を介して、得たい情報にアクセスし、映画や、音楽などを楽しむだろう。
また、多チャンネル化が進んだテレビは、チャンネル数が数百チャンネルになっている。数百あるチャンネルをザッピングするのも、この壁面ディスプレイと、リモートポインタを使えば簡単にできる。
テレビは、50 インチサイズに表示したまま、チャンネル選択用のウィンドウを表示する。チャンネル選択用ウィンドウは、小さいサイズの画面をタイル状に表示し、20 チャンネルを一度に表示できる。ユーザが、選択用ウィンドウから見たいチャンネルをポイントすると、選んだチャンネルが、メイン画面に表示される。表示された 20 チャンネルに興味を引かれるものがなければ、ほかのチャンネルを探す。チャンネル選択用ウィ[Microsoft 04] Microsoft, : Windows XP Media Center
Edition 2005 とは, http://www.microsoft.com/japan/
windowsxp/mediacenter/evaluation/hardwa%re.mspx(2004)[田川 04] 田川 欣哉：Afterglow, http://www.lleedd.com/
afterglow/top.html (2004)

4