情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-19
2017/3/2

シームレスな複数の PC 端末利用のためのスマートフォンを用いたインタフェースの開発
岩田 知1,a)

大囿 忠親2,b)

新谷 虎松2,c)

概要：複数の PC 端末が存在する環境において，ある一つの PC 端末を複数人のユーザが操作する場合がある．その際，マウスキーボードのような一つの操作デバイスを複数人で共有する場合，窮屈な姿勢になったり，デバイスを共有することに抵抗を感じる場合がある．また，どの PC 端末に対し複数人のユーザが操作を行うか事前に判断することは困難である．本システムは，スマートフォンを用いて PC 端末を操作できる機能，また，仮想マウスカーソルを搭載することで，ユーザが複数人いる場合でも一つの PC 端末に対し円滑な操作が可能となる．また，複数の PC 端末と通信を行うことにより，複数の PC 端末での利用が可能である．

Developing an Interface with a Smart Phone
for Seamless Operation of Multiple PCs
Satoru Iwata1,a)Tadachika Ozono2,b)Toramatsu Shintani2,c)Abstract: Using a PC in multiple PCs causes the following three problems. The first is complicated operations for PCs. The second is enclosed operating user by other users. The third is unidentified PC operated
by users. We focused a smart phone to solve these problems. We propose to use a smart phone for operatinga PC. We developed an interface with a smart phone for seamless operating of multiple PCs. The interface
helps users to operate Single PC in multiple PCs with virtual mouse cursor.

1. はじめにPC 端末とそのユーザが 1 対 1 にならない場合がある．
例えば，一人のユーザが一つの PC 端末で情報を参照しな

つの PC 端末に複数人のユーザが逐次的に操作を行う場合がある．これらの場合，複数台の PC 端末間でファイルを共有する際は，USB メモリを使ったり，チャットツールやメールなどの通信を用いることが多いが，煩雑である．

がら，もう一つの PC 端末でコーディングや論文執筆を行

また，見てほしいポイントを指し示す，一つのマウスやう場合がある．また，一つの PC 端末のディスプレイを複キーボードを複数人のユーザが使用するなどの場合は，場数人のユーザが共有する場合，PC 端末を操作するユーザ所についての課題と操作デバイスについての課題がある．

に対し，別のユーザが，見てほしいポイントを指し示した場所についての課題は，ユーザが複数人いることで，PCり，交互にマウスやキーボードを操作したりするなど，一端末周りで作業を行えるスペースが不足してしまい，PC端末のディスプレイを十分に閲覧できないユーザが出てし12a)b)c)

名古屋工業大学情報工学科
Department of Computer Science, Nagoya Institute of Technology
名古屋工業大学大学院情報工学専攻
Department of Computer Science, Graduate School of Engineering, Nagoya Institute of Technology
iwasato@toralab.org
ozono@toralab.org
tora@toralab.org© 2017 Information Processing Society of Japan

まったり，PC 端末を操作する際に，他のユーザを避けなければならず，窮屈な姿勢になってしまったりする．操作デバイスについての課題は，ユーザ間で操作の委託を行う
場合，同じデバイスを複数人で使うことに抵抗を感じてしまったり，他のユーザが妨げとなり，操作デバイスの受け渡しが円滑に進まなかったりする．

452

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-19
2017/3/2

本研究では，複数人のユーザが一つの PC 端末を操作すできるシステムを開発することによって，この課題の解決る場合に焦点を当てた．先に挙げた課題は，マウスやキーを図った．また，その単一の操作デバイスとしてスマートボードなどの操作デバイスが一つしかない事が原因である．

フォンを用いている．スマートフォンのタッチパネルに対本研究では，スマートフォンを用いて PC 端末を操作できし，Swipe や Tap などのタッチ操作をすることで，機器のるインタフェースを開発する事により，課題の解決を図っ操作を行う．また，複数の PC 端末間でマウスキーボードた．本インタフェースにより，マウスを用いなくても，一を共有出来る Mac アプリケーションの teleport*1 がある．

つの PC 端末に対し，円滑なポインティングやクリックな

これは単一のマウスキーボードで二つの PC 端末を操作でどの操作を行うことができる．また，PC 端末が複数ある場きるようになるものである．

合では，複数人のユーザが，どの PC 端末に対し操作を行

米田ら，および teleport では，複数の計算機を一つのデうのか，事前に特定するのは困難である．本インタフェー

バイスで操作することによって，操作デバイスが複数存在

スでは，複数の PC 端末に対し，操作対象となる PC 端末することで発声する煩雑性の解決を図っている．また，池を自由に切り替えることができる．これらにより，複数人

松ら，米澤ら，および Miguel らは端末間の情報共有についのユーザによる一つの PC 端末の操作を支援することがでて，スマートフォンを用いて解決を図った．スマートフォ

きる．また，複数の PC 端末が存在する環境でも，容易にンは，Wi-Fi や Bluetooth などの無線通信が可能な携帯端操作対象となる PC 端末を切り替えることができる．

末である．また，タッチパネルも搭載されており，直感的本システムを利用するには，スマートフォンと PC 端末な操作が行える．PC 端末のユーザが複数いる場合に，円で本研究により開発したアプリケーションを起動する必滑な操作が困難になる原因は，マウスやキーボードなどの要がある．本研究ではスマートフォン側で起動するアプリ操作デバイスが一つしかない事が原因であると考える．そケーションをホスト側アプリケーション，PC 端末で起動こで，スマートフォンを操作デバイスとして用いることで，するアプリケーションをクライアント側アプリケーションユーザが複数いる場合であっても，PC 端末に対し円滑なと呼ぶ．また，本論文の 2 章以降の構成を以下に示す．第操作を行うことができると考えた．また，スマートフォン

2 章では，関連研究について述べる．第 3 章では，本シスは持ち運びが容易なので，複数の PC 端末が存在する場合テムについて述べる．第 4 章では，現状の課題と今後の展でも，ユーザは自由に移動でき，目的の PC 端末に対し操望について述べる．最後に第 5 章で本論文についてまと作を行うことができる．スマートフォンを用いてポインめる．

ティングやクリックの操作を行う際の座標を決定するため

2. 関連研究に，本システムは仮想マウスカーソルをディスプレイ上に表示させる．

本研究目的は，PC 端末のユーザが複数いる場合におけ

次に，本研究では携帯端末を計算機の操作デバイスとしる，クリックなどの PC 端末の操作を支援することである．て用いているシステムに関する文献についての調査を行っ

また，複数の PC 端末に対し，操作対象となる PC 端末をた．Dominikus ら [5]，Vinayak ら [6] はシステムを使用す自由に切り替えることができる．本研究では，まず複数のる際の操作デバイスとしてスマートフォンを用いている．

計算機が存在する環境において，どのような課題が存在し，スマートフォンに搭載されたジャイロセンサーとタッチパどのように解決を図っているのかについて，文献を調査しネルによって，スマートフォンの傾きを検知し，システムた．池松ら [1]，米澤ら [2]，および Miguel ら [3] は，複数を操作するインタフェースになっている．の計算機が存在する環境において，情報の共有や転送を行

ジャイロセンサーは少しづつ傾ければ座標の調節が可能うために煩雑な操作が必要になってしまうことを課題としであり，しかも操作時にスマートフォンの中心を軸に傾けてあげている．池松らはタッチパネルを利用し，ドラッグるだけであるので大きなスペースを取ることもない．よっ＆ドロップをモデルとした情報をつまむような動作で端て，本研究では仮想マウスカーソルの操作には加速度セン末間を移動させるインタフェースを開発した．米澤らは，サーではなくジャイロセンサーを用いることにした．まスマートフォンやタブレット端末間で情報送信を行うイ

た，MouseDown や MouseUp のマウスイベントの発火にンタラクションを開発した．これは情報を送信する操作方はタッチパッドを用いることにした．Karlson ら [7] の調法に加速度センサと振動モータを利用している．また，米査によると，多くのユーザはスマートフォンについて，日田ら [4] は，家庭内にさまざまな家電機器が存在すること常的に片手での操作を行いたいと回答したとされている．

で，各機器を操作するリモコンの使い分けが複雑になってこのことから，本システムは片手での操作が可能なインタしまうことを問題視している．家電機器を PC 端末，リモフェースの開発を行った．

コンをマウスやキーボードと捉えると，複数の PC 端末が本研究目的を達成するためのシステム要件を最後にまと存在する環境でも同じ問題が発生すると考えられる．彼はすべての家電機器を単一の操作デバイスで操作することが© 2017 Information Processing Society of Japan*1

http://www.abyssoft.com/software/teleport/

453

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-19
2017/3/2

では，その出た方向のデータをクライアント管理機構へ送り，マッピングデータに従い，移動先のクライアントを取得する．現在仮想マウスカーソルが存在するクライアントを上書きし，引き続きタッチ操作情報を送信する．
本システムは，マウスイベントを発火させることによって，無線通信により接続された複数の PC 端末の中の一つを操作できる．本研究におけるマウスイベントには，MouseDown や MouseUp などの単純なものから，ウィンドウの最小化ボタンにマウスカーソルを合わせクリックなど，複数のマウスイベントを組み合わせたものについても，
図 1 システム構成

Fig. 1 Configuration．

複合的なものではあるがマウスイベントとして扱っている．
また，マウスイベントを発火させるには，操作デバイスであるスマートフォンに対しタッチ操作を行う必要がある．

める．要件は，(1) 仮想マウスカーソルの表示，(2) 仮想マ

スマートフォンはタッチパネルやジャイロセンサーなどのウスカーソルは複数の PC 端末のディスプレ上を自由に移入力装置が搭載された高機能計算機である．また，タッチ動できる，(3) スマートフォンにより仮想マウスカーソル操作はマウス操作に比べ直感的な表現が可能である．直感の操作が行える機能である．(1) は，ポインティングやク的な操作は操作方法の簡略化につながり，作業の効率化にリックをする座標を決定するために必要な機能である．(2)つながると考えた．また，普及率の高いスマートフォンをは，複数の PC 端末がある環境でも本システムを利用でき操作デバイスに用いることにより，特別な機器を用意するるようにするために必要な機能である．(3) は，一つの PC必要がなく，導入が容易になると考えた．

端末を，複数人のユーザが円滑に操作する際に必要な機能である．

3. システム本システムでは，スマートフォンをホスト，PC 端末をクライアントとした Peer-to-Peer による無線通信を行うことで，スマートフォンでの操作を PC 端末に伝えている．
サーバ・クライアント方式と違い，サーバーを建てる必要

本節では本研究で開発したシステムについて説明する．

がないため，容易な導入が可能である．また，スマート図 1 に示すのは本システム構成図である．ホスト側アプフォンに標準的に搭載されている無線規格として，Wi-Fiリケーションには，クライアントと通信を行うための通信と Bluetooth があるが，本システムでは Bluetooth を用い機構と，クライアントのマッピングなどを管理するクライている．

アント管理機構が存在する．また，クライアント側アプリケーションには，ホストと通信を行うための通信機構と，3.1 通信手法

その通信機構に送られたタッチ操作情報を処理するイベン

Wi-Fi は本来であれば百メートル以上の通信距離を持つ

ト管理機構，そして処理されたイベントを PC 端末に対しが，遮蔽物に弱く環境によっては数十メートルとなってしま反映する仮想マウスカーソル管理レイヤーが存在する．まう場合もある．通信速度は Bluetooth に比べ速く，規模のずホスト側アプリケーションとクライアント側アプリケー大きいネットワークの構築に向いている．一方，Bluetoothションを起動する．ホスト側とクライアント側の通信機構は近距離無線通信を想定して作られた無線規格である．

が通信を開始すると，クライアントについての情報がホス

Wi-Fi と違い遮蔽物があっても通信が可能である，消費電ト側アプリケーションのクライアント管理機構に追加され力が小さいなどのメリットがある．本研究で想定する計算

る．ユーザはタッチパネルに対しタッチ操作をすると，ク機間の距離は 10m 以内としており，Wi-Fi，Bluetooth のどライアント機構より現在通信中のクライアントの情報をちらも通信距離としては十分である．本システムは，コー取得し，そのクライアントに対しタッチ操作情報を送信すディングや論文執筆など長時間にわたって行われる作業をる．クライアント側では，通信機構でタッチ操作情報を受支援することを想定しているので，Bluetooth のメリットけ取り，その情報からマウスイベントへ変換を行い，そのである低消費電力は本システムに適している．また，Wi-Fi

後そのマウスイベントを発生させる命令を仮想マウスカー

通信を用いる場合は，同じ Wi-Fi に接続している必要があ

ソル管理レイヤーに対し送信する．クライアント管理機

るが，Bluetooth はその必要がない．よって汎用性につい構ではクライアントのマッピングデータも管理している．ても考慮し本システムの通信手法には Bluetooth を用いてMouseMove や MouseDrag のイベントが発生した後，もしいる．

仮想マウスカーソルが画面外へ出ていた場合，クライアン
トは出た方向のデータをホストに対し送信する．ホスト側© 2017 Information Processing Society of Japan454

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

図 22-503-19
2017/3/2

マウスカーソルの画面遷移

Fig. 2 Display Transition of Mouse Cursor．

図 4

MouseMove・Drag イベント操作

Fig. 4 Operation of MouseMove and MouseDrag Event．

傾きを，スマートフォンに搭載されたジャイロセンサーによって検知することで，変更できる．

3.4 マウスイベント
MouseMove，MouseDrag などのマウスカーソルの移動に関するイベントは，スマートフォンを傾けて発生させる
図 3

仮想マウスカーソル

Fig. 3 Virtual Mouse Cursor．

ことができる．図 4 のように，持って操作する．通常状態
で仮想マウスカーソルの静止，その状態で右方向を向ければ右へ仮想マウスカーソルが移動し，左に傾ければ左に移

3.2 マウスカーソルの画面遷移

動する．上下についても同じである．本システムはマルチ

本システムは仮想マウスカーソルについて，複数の PCディスプレイのような画面遷移を用いているが，要は大き端末上を自由に移動できる．まるで画面結合されたマルチなディスプレイを 1 つの仮想マウスカーソルが移動するディスプレイのように，マウスカーソルを画面外へ出すよと考えることができる．この場合，例えばマウスでマウスうな操作をするだけで，操作する PC 端末の切り替えが行

カーソルを移動させようとした場合，マウスは動かした距える．また，ファイルをドラッグしたまま画面外へマウス離でマウスカーソルを動かす距離を決めているため，何度カーソルを出せば，そのまま別端末上にファイルをコピーもマウスを動かすか，大きな距離を動かさなければいけできる．Web ブラウザについても，ウィンドウをドラッグない．だが，何度も動かすことはユーザの負担となってししながらディスプレイ外へ出すことで，移動先の PC 端末まう．また，大きな距離を動かすことは，物理的な作用スへ Web ブラウザを移動させることができる．例えば 2 のペースを確保しなければいけない．感度を変更すればマように，2 つのクライアント端末 A，B があった場合，Aウスでも短い距離で大きな距離を動かすことは可能だが，から B へ操作端末を切り替えたい場合は，端末 A のディ

PC 端末の切り替えを行うたびに感度を変更するのは手間

スプレイの左側からそのにカーソルを出すだけでよい．まである．本システムの，スマートフォンを傾けてのマウス

た，端末 B はディスプレイの右端から出るようになっていカーソル移動は，傾けている間はその方向へ移動を続ける

る．PC 端末のディスプレイのマッピングはスマートフォため，繰り返し操作を行う必要がない．また，マウスやトン，つまりホストで管理しており，変更可能である．PC

ラックパッドなどと違い，3 次元空間上での操作が可能で端末の実際のディスプレイ配置と，マッピングを合わせるあるため，作業スペース上にノートパソコンや参考資料なことで，ディスプレイから出る方向と入る方向を一致させどが置いてあっても影響を受けない．通常は MouseMoveることができる．

が発生し，仮想マウスカーソルが移動するだけであるが，メインパネルをタッチした状態でスマートフォンを傾けれ3.3 仮想マウスカーソル

ば，MouseDrag が発生する．

本システムでは図 3 のように仮想マウスカーソルを表示

次に，MouseDown，MouseUp の単一的マウスイベントさせ，これを操作する．ユーザは PC 端末について，マウについて説明する．これらのイベントは，スマートフォンスイベントを発火させることによって，操作を行う．そのに搭載されたタッチパネルを操作することで発生させるこ際の座標は，画面上の仮想マウスカーソルが位置する座標とができる．スマートフォン上の操作画面には，図 5 のよとなる．仮想マウスカーソルの座標は，スマートフォンのうに中央に大きな白い矩形が存在する．これが単一的マウ© 2017 Information Processing Society of Japan455

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-19
2017/3/2

通常状態の傾きに設定することができる．

4. 課題
本システムの課題として，仮想マウスカーソルとマウスカーソルが競合してしまう点，マウス操作とは操作方法が異なる点が挙げられる．例えば仮想マウスカーソルでドラッグ中に本来のマウスカーソルを動かすと，ドラッグ範囲についておかしな挙動を起こす．また，アクティブウィンドウを切り替える程度ならウィンドウ内のどこか一部に
図 5

単一的・複合的マウスイベント操作

Fig. 5 Operation of Single and Multiple MouseEvents．

仮想マウスカーソルの座標を合わせるだけでいいが，例えばウィンドウを動かす場合などは，ウィンドウ上部にカーソルを合わせなければいけない．本システムを用いて座標スイベントを発生させるためのもので，本研究ではメインを合わせるには，マウスを用いて合わせる場合とは異なるタッチパネルと呼んでいる．メインタッチパネルは Touch-技術が必要である．よって操作方法を使い分けなければな

Start，TouchEnd，TouchCancel の 3 つのタッチイベント

らず，ユーザによっては思い通りの操作ができるようになを検知する．メインタッチパネルがそれらのイベントを検るまで慣れるのに時間がかかってしまう場合がある．これ知すると，それぞれ対応するマウスイベントに変換され，を解決するためには，自動で座標を合わせてくれる機能が操作端末上の仮想マウスカーソルが位置する座標で発生す必要である．この機能を実装するには，本システムに用いる．タッチイベントと，マウスイベントの対応については，ていない Swipe などの新たなタッチ操作を登録したり，あTouchStart で MouseDown が，TouchEnd と TouchCancelる範囲内にカーソルが入ったら自動で合わせてくれるなどで MouseUp のイベントが発生する．また，MouseDown とユーザが求める操作を予測する機構が必要となる．

MouseUp には，それぞれ LeftMouseDown，RightMouseDown と RightMouseDown，RightMouseUp が存在するが，これらの区別は，タッチ時の指の本数で行っている．1 本指だと Left，2 本指だと Right となっている．

5. おわりに
本稿では，複数人のユーザが，一つの PC 端末に対し操作を行うためのシステムを説明した．本システムは，スマー最後に，複合的マウスイベントについて説明する．本研

トフォンによって PC 端末を操作することができる機構を究における複合的マウスイベントは，単一敵マウスイベン搭載することにより，ユーザが複数存在する場合でも円滑

ト，MouseMove，および MouseDrag を組み合わせた操作な PC 端末の操作が可能となった．また，一つのスマートを指している．スマートフォン上の操作画面には，メインフォンに対し複数の PC 端末との通信を行うことによって，タッチパネル下にもう一つ白い矩形が存在する．複合的マ

複数の PC 端末が存在する環境においても容易に操作対象

ウスイベントはこの白い矩形に対しタッチ操作を行った場である PC 端末の切り替えを行える．PC 端末はマウスイ合に，PC 端末上で発生する．本研究ではこの白い矩形をベントの発火により行い，発火させる座標を決定するためサブタッチパネルと呼んでいる．このサブタッチパネルはに仮想マウスカーソルを表示させている．また，仮想マウ

PinchIn，PinchOut，Flick，Tap，LongTap の操作を検知

スカーソルの位置の操作には，スマートフォンのジャイロする．PinchIn，PinchOut はそれぞれ PC 端末上のウィンセンサーを用いている．

ドウコンテンツを拡大，縮小する．Flick は，PC 端末上の Web ブラウザのタブを切り替える．ただし，これらは参考文献

どれも PC 端末上でアクティブとなっているウィンドウに[1]対し行われるため，ウィンドウをアクティブにする操作はユーザがしなければいけない．また，ウィンドウを開いて[2]いるアプリケーションがコンテンツの拡大，縮小，およびタブ切り替えの操作をサポートしていなかった場合は，本システムでも操作を行うことはできない．Web ブラウザ

[3]のタブ切り替えについて，本システムがサポートする Web
ブラウザは，Google Chrome および Safari となっている．

LongTap はクリップボードに選択中のテキストをコピーできる．Tap は PC 端末上で複合的マウスイベントを発生させるものではないが，Tap 時のスマートフォンの傾きを，© 2017 Information Processing Society of Japan[4]

池松香，椎尾一郎．記憶の石：マルチタッチを利用したデバイス間情報移動．情報処理学会論文誌，Vol.55，No.4，pp.1344-1352，2014．
米澤拓郎，中澤仁，永田智大，徳田英幸．Vinteraction:
スマート端末のための振動を利用した情報送信インタラ
クション．情報処理学会論文誌，Vol.54，No.4，pp.14981506，2013．
Miguel Nacenta，Carl Gutwin，Dzimitri Aliakseyeu，Sriram Subramanian．“Object Movement in Multi-DisplayEnvironments”，In Proceedings of Human-Computer Interaction，Vol.24，No.1，pp.170-229，2009．
米田純，荒川豊，玉井森彦，安本慶一．高精度屋内位置情報を利用した直感的な家電操作手法の提案．情報処理学会論文誌，Vol.5，No.1，pp.30-37，2015．

456

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

[5]

[6]

[7]

2-503-19
2017/3/2

Dominikus Baur，Sebastian Boring，Steven Feiner．Virtual Projection: Exploring Optical Projection as aMetaphor for Multi-Device Interaction，In Proceedingsof ACM，2012．
Vinayak，Devarajan Ramanujan，Cecil Piya，Karthik Ramani．MobiSweep: Exploring Spatial Design Ideation
Using a Smartphone as a Hand-held Reference Plane．
Amy K. Karlson，Benjamin B. Bederson．Understanding single-handed mobile device interaction．Technicalreport，2006．

© 2017 Information Processing Society of Japan457