情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-503-19
2017/3/2

On-mouse Projector:
モバイル機器の作業空間を拡張するインタフェース
荒木知博1,a)

小室孝1,b)

概要：本稿では，モバイルプロジェクタとマウスを組み合わせることで携帯性と広い作業空間を両立し、かつ安定した操作を行うことができるインタフェースを提案する．モバイルプロジェクタをマウス上方に設置し，マウス前方の平面状に映像を投影する．投影された映像は広い作業空間の一部を表示しており，ユーザはマウスを動かすことで表示領域を変えることができる．このシステムは机上などの平面上で操作することを想定しており，ユーザは通常のマウス操作と同様の安定した操作を行うことが可能である．評
価システムとしてマウス上方にモバイルプロジェクタを固定させた装置を作成した．演算にスティック PCを使用することでスタンドアロンで動作するようにした．また，マウス操作として選択操作，ドラッグ操作，ズーム操作を実装した．

On-mouse Projector:
Extending Workspace using a Mouse with a Projector
Araki Tomohiro1,a)Komuro Takashi1,b)

Abstract: In this paper, we propose On-mouse projector, an interface that combines a mouse and a mobileprojector. This system satisfies both portability and large information space and enables stable operation.
The mobile projector is placed on the mouse and projects images on a surface in front of the mouse. The
projected image presents a part of large information space and users can change the area to see by moving
the mouse. The system is assumed to be used on a flat surface such as a desk and users can stably performthe same operation as the ordinary mouse operation. We created a prototype in which a projector is fixed
above a mouse. This prototype works in a standalone configuration by using a stick PC and realizes various
operations such as object selection, object moving and image zooming.

1. はじめに
近年，スマートフォンやタブレットなどのモバイルデバ外出先で気軽に使用することができない．そのため携帯性と広い作業空間を両立したユーザインタフェースが期待されている．

イスが広く普及している．これらは持ち運びが容易であり，小型デバイスを使って広い作業空間を実現するために，外出先でもメールの読み書きやウェブ閲覧といった様々なモバイルデバイスの位置に合わせて表示空間を変える作業を行うことができる．しかしこれらのデバイスは画面ユーザインタフェースが提案されている．Fizmaurice のサイズが小さく、一度に表示できる情報量に限りがある．

Chamelon [1] では, 画面上にデバイスの 3 次元姿勢に応じそれに対して，大画面上で作業を行うことができるデスクた映像を提示することで, 擬似的に広い作業空間の一部をトップ PC が存在する．これらはより多くの情報を一度に視覚することができる．Fizmaurice の研究を受け,Yee は表示できるという利点がある反面，持ち運びが困難であり，より高いデバイスのトラッキング手法を考案した [2]．ま1a)b)

埼玉大学大学院理工学研究科
埼玉県さいたま市桜区下大久保 255
lucky@is.ics.saitama-u.ac.jp
komuro@mail.saitama-u.ac.jp© 2017 Information Processing Society of Japanた, タッチペンによる両手操作を可能にし, 従来のタッチ操作と比較実験を通して高いパフォーマンスの向上を示した．さらに Pahud らはデバイスの 3 次元姿勢によるパン172

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-503-19
2017/3/2

操作とズーム操作を可能にしたインタフェースを提案した [3]．また，Spindler らもデバイスを奥方向に移動することによるズーム操作を可能にし，被験者実験を通して従Projection area

来のタッチ操作に比べて高いパフォーマンス向上を示し
た [4]．広い情報空間の一部を画面を通して見るこれらのOn-mouse Projector

手法は peephole interaction と呼ばれ，ユーザはデバイスを動かすことで見たい位置へ表示範囲を移動させることができる．これにより疑似的に作業空間を拡張することができる．しかし，一度に表示できる範囲が画面サイズに依存しており、表示範囲を広くするには画面サイズを大きくする必要がある．それににより携帯性が損なわれてしまうと

図 1: 提案システム
Fig. 1 Prototype of our proposed system.

いう課題がある．
一方，小型プロジェクタを使ったユーザインタフェースとで投影位置に応じた映像を提示することを可能にしていが提案されている．プロジェクタを用いることで比較的る．また，平面上でデジタルペンを使った安定したインタ大きな映像を投影することができる．Canesta Projection

ラクションが可能である．しかし，操作範囲が紙面上に制Keyboard [5] はその一つであり，平面上に投影されたキー約されてしまうことや両手で操作する必要があるといったボードをタッチすることで文字を入力することができる．

課題がある．

また，平面上に映像を投影して手をトラッキングすること

そこで本稿では，マウスと小型プロジェクタを組み合わでタッチ操作や空中操作を行うインタフェースが提案されせることで携帯性と広い作業空間を両立し，かつ安定したている [6]．一方，Winkler らはスマートフォンと小型プロ操作が可能なユーザインタフェースを提案する．図 1 にジェクタを組み合わせた装置を作成し, 装置前方の平面上このシステムの操作の様子を示す．小型プロジェクタをマにプロジェクタで映像を投影し, それに対してインタラクウスの上方に設置し，マウス前方の平面上に映像を投影すションを行うことができるインタフェースを提案した [7]．

る．投影される映像は作業空間の一部を表示しており，マプロジェクタは一度に大きい映像を投影することができる

ウスの移動量に応じて表示範囲を変えることができる．本が，そのためには投影面までの距離を長くする必要がある．

システムは机上での操作を想定しており，ユーザは通常のそのため広い作業空間を実現するためには設置環境が制約

マウスと同様の安定した操作を行うことができる．

されてしまうといった問題がある．
その問題を解決するために，手持ちプロジェクタを用いて peephole interaction を行う手法が提案されている．

2. On-mouse Projector
2.1 コンセプト

Gabor らは手首に腕時計型端末を装着して手の 3 次元姿

図 2 に本稿で提案するシステムのコンセプトを示す．モ

勢に応じた映像を壁に投影するインタフェースを提案しバイルプロジェクタがマウス上部に設置されている．プロ

た [8]．また，Cao と Balakrishnan は手持ちプロジェクタ

ジェクタからはマウス前方の平面状に映像が投影される．の 3 次元姿勢をトラッキングすることで投影位置に合わ投影される映像には全体の作業空間の一部が表示されておせた映像を提示するインタフェースを提案した [9]．一方，り，マウスを動かすことで表示範囲を変えることができる．

Kaufmann と Hitz はスマートフォンの内部センサーを用

これにより疑似的に作業空間を拡張することができる．まいることで外部計測機器なしで動作する装置を実現した．

た，作業空間上にはアイコンやウィンドウが表示されておまた，このシステムと従来のタッチ操作との比較実験を地り，通常のモバイルデバイスで行えるウェブ閲覧，地図探図探索タスクにより行い, ターゲット位置を正確に記憶す索といった様々な操作を行うことができる．さらに，全体る空間記憶と探索時間でパフォーマンスの大幅な向上を示を見渡したいときにはズーム操作を行うことで拡大，縮小した [10]．手持ちプロジェクタを用いることで比較的広い操作を行うことが可能である．

範囲に映像を提示することができる．また，投影位置に応じて映像を変えることで仮想的に広い作業空間を実現することができる．しかし，これらのインタフェースは空中で動作させる必要があるため選択操作が安定しないという問題がある．

2.2 実験システム
本稿で提案するインタフェースで動作する実験システムを作成した．
実験システムは Bluetooth マウス，小型レーザプロジェク

それを解決した研究として，Song らが提案した Mouse-タ (解像度 1280×720，質量 195 g，サイズ 55×55×55 mm)，Light がある [11]．このシステムでは，デジタルペンを装スティック PC で構成されており，ユーザはマウスを手で置に取り付け，専用の紙面上の 2 次元位置を所得するこ持って操作する．演算にはスティック PC を用いることで© 2017 Information Processing Society of Japan173情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-503-19
2017/3/2(a)CursorPeephole

図 4: 射影変換による歪み補正

Projector
Workspace

Mouse

Fig. 4 Distortion correction by projective transformation.

2.3 歪み補正(b)

プロジェクタは投影面に対して斜めに映像を投影する．
そのため，投影される映像に歪みが生じてしまう．そこでホモグラフィ変換を行い歪みを補正した．変換行列は投影される映像と元画像の対応点より算出し，対応点は平面からのプロジェクタの高さと俯角より求めた．図 4 は射影変換を行った様子を示す．

2.4 画面遷移
図 2: 提案システムのコンセプト図
Fig. 2 Concept of our proposed system.

本稿のシステムでは，マウスの移動量に合わせて表示範囲を移動させることで擬似的に広い作業空間を実現する．
そのために，カーソルを表示範囲中央に固定し，マウスが移動したときに画面中央の座標とカーソルの移動先の座標との差分をとり, 表示範囲の移動に適用した．図 5 に表示領域をマウスの移動量に合わせて移動させている様子を示す．

3. インタラクション
図 3: 装置構成
Fig. 3 Configuration of our proposed system.

本稿で提案するシステムでは，通常の PC 上で行えるものと同様のマウス操作を行うことが可能である．ユーザは表示範囲の中央に表示されるカーソルを用いて作業を行スタンドアロンで動作させることを可能にした．レーザプ

う．また，常にマウス前方に映像が投影されるため，ユーロジェクタは焦点合わせが不要であり，映像が明るく，高ザは擬似的な広い作業空間上で直感的な作業を行うことが解像度で投影可能である．

できる．提案システムでは，画像を選択してドラッグ操作

また，プロジェクタは投影面から一定の距離を取る必要をすることで移動させたり，ダブルクリックで拡大させるがあり, マウス上方から平面上に斜めに映像を投影する．

といった操作が可能である．また，作業空間の全体を見た

そのため投影される映像の解像度がプロジェクタの設置位

いときはマウスホイールを用いることで表示範囲の大きさ置によって変化する．また, 投影距離によって映像の大きを変えることができる．図 6 の (a) はクリックで画像をさが変化するため, 最適な位置にプロジェクタを設置する選択し，ドラッグ操作で移動させている．(b) はダブルク必要がある．そのため実験システムを作成するために適切リックすることで画像を拡大させている．また，(c) はマなプロジェクタの設置位置を検証した．先行研究においてウスホイールを使ってズーム操作を行っている様子を示し

peephole interaction ではタブレットサイズ (23.5×70 cm)ている．の表示が最適であるという調査結果がある [12]．そこで本加えて，本稿で作成した実験システムはマウス上方にモ

稿では投影映像のサイズを上底 27 cm，下底 10.5 cm，高バイルプロジェクタが固定されており，通常のマウスと同さ 30 cm の台形になるように調整した．その上で，プロじように持ち上げることが可能である．

ジェクタの設置位置をなるべく低くするよう装置を構築した．その結果，プロジェクタを平面から 5 cm の位置に固4. まとめ定し，マウス前方の平面上に 30 度の俯角で投影するよう

本稿では, マウスとプロジェクタを組み合わせることで装置を作成した．図 3 に作成した実験システムを示す．

疑似的に作業空間を拡張するインタフェースを提案した．

© 2017 Information Processing Society of Japan174

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-503-19
2017/3/2

図 5: マウスの移動量に合わせた画面遷移
Fig. 5 Screen transition depending on the mouse movement.

ある広い作業空間上での安定した操作を解決できるかを検証していくことである．そのために被験者を集めた評価実験を行う必要がある．
参考文献
[1]

[2]

[3]

[4]
図 6: 提案システムを用いたインタラクション
Fig. 6 Interaction using our proposed system

プロジェクタで広い表示領域を実現するためには，投影面[5]からプロジェクタを放す必要があり，設置に制約が生じる．
そのため本稿で作成した実験システムでもマウス上方にプロジェクタを設置してマウス前方の平面上に映像を投影している．それにより装置全体を小型にすることが困難とな[6]

り，携帯性に課題がある．しかし現在，壁際に設置して装置上方に映像を投影することができる超短焦点プロジェクタが存在し，そのような装置の小型化が進むことで投影面との距離を離す必要がなくなる．それによりプロジェクタをマウスに直接取り付けることができ，本稿で提案したシステムを小型化することができると期待される．
今後の課題は，本提案システムにより従来研究の課題で© 2017 Information Processing Society of Japan[7]

George W. Fitzmaurice. 1993. Situated information
spaces and spatially aware palmtop computers. Commun. ACM 36, 7 (July 1993), 39-49.
Ka-Ping Yee. 2003. Peephole displays: pen interaction
on spatially aware handheld computers. In Proceedingsof the SIGCHI Conference on Human Factors in Computing Systems (CHI ’03), 1-8.
Michel Pahud, Ken Hinckley, Shamsi Iqbal, Abigail
Sellen, and Bill Buxton. 2013. Toward compound navigation tasks on mobiles via spatial manipulation. In Proceedings of the 15th international conference on Humancomputer interaction with mobile devices and services(MobileHCI ’13), 113-122.
Martin Spindler, Martin Schuessler, Marcel Martsch, andRaimund Dachselt. 2014. Pinch-drag-flick vs. spatial input: rethinking zoom & pan on mobile displays. In Proceedings of the SIGCHI Conference on Human Factorsin Computing Systems (CHI ’14), 1113-1122.
Helena Roeber, John Bacus, and Carlo Tomasi. 2003.
Typing in thin air: the canesta projection keyboard a new method of interaction with electronic devices. In
CHI ’03 Extended Abstracts on Human Factors in Computing Systems (CHI EA ’03), 712-713.
Ji Zhao, Hujia Liu, Chunhui Zhang, and Zhengyou
Zhang. 2010. MobileSurface: interaction in the air formobile computing. In Adjunct proceedings of the 23ndannual ACM symposium on User interface software andtechnology (UIST ’10), 459-460.
Christian Winkler, Markus Lchtefeld, David Dobbelstein, Antonio Krger, and Enrico Rukzio. 2014. SurfacePhone: a mobile projection device for single- and multiuser everywhere tabletop interaction. In Proceedings ofthe SIGCHI Conference on Human Factors in Computing Systems (CHI ’14), 3513-3522.

175

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

[8]

[9]

[10]

[11]

[12]

1-503-19
2017/3/2

Gabor Blasko, Steven Feiner, and Franz Coriand. 2005.
Exploring Interaction with a Simulated Wrist-Worn Projection Display. In Proceedings of the Ninth IEEE International Symposium on Wearable Computers (ISWC’05), 2-9.
Xiang Cao and Ravin Balakrishnan. 2006. Interactingwith dynamically defined information spaces using ahandheld projector and a pen. In Proceedings of the 19th
annual ACM symposium on User interface software andtechnology (UIST ’06), 225-234.
Bonifaz Kaufmann and David Ahlstrm. 2013. Studying
spatial memory and map navigation performance on projector phones with peephole interaction. In Proceedingsof the SIGCHI Conference on Human Factors in Computing Systems (CHI ’13), 3173-3176.
Hyunyoung Song, Francois Guimbretiere, Tovi Grossman, and George Fitzmaurice. 2010. MouseLight: bimanual interactions on digital paper using a pen and a
spatially-aware mobile projector. In Proceedings of theSIGCHI Conference on Human Factors in Computing
Systems (CHI ’10), 2451-2460.
Roman Rdle, Hans-Christian Jetter, Jens Mller, andHarald Reiterer. 2014. Bigger is not always better: display size, performance, and task load during peephole
map navigation. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI’14), 4127-4136.

© 2017 Information Processing Society of Japan176