情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3C66
2018/3/5

Bring Your Own Pointer:
複数の携帯端末による ad-hoc なポインティング操作佐藤 光起1,a)

北村 茂生2,b)

松下 光範1,c)

概要：本研究の目的は，スマートフォンを用いて同時接続が可能なポインティング手法の実現である．既存のポインティング手法は，専用のデバイスが必要であったり，操作に制約が多かったりするなどの問題がある．そこで本研究では，スマートフォンのジャイロセンサを活用することにより，ユーザが専用の機器を用意する必要なく，自らのスマートフォンでポインティングが行える手法として BYOP（Bring YourOwn Pointer）を提案する．提案手法の活用例として，複数人で仮想キャンバスに共同で文字を描ける書道システムを試作した．

Bring Your Own Pointer:
An Ad-hoc Pointing Method with Multiple Smartphones
Koki Sato1,a)Shigeo Kitamura2,b)Mitsunori Matsushita1,c)

Abstract: The purpose of this study is to develop a pointing method that makes users point out positions
simultaneously by using their own smartphones. With existing pointing methods, there are some restrictions such as the necessity of a dedicated device and operation limitations with smartphones. To solve theprobpem, this paper proposes a pointing method called BYOP (Bring Your Own Pointer). It calculates aposition pointed by the user with his/her own smartphone, instead of using a spacial device. The proposedmethod calculates the user’s intended position based on the gyroscope’s values of the smartphone. To demonstrate the possibility of the method, a collaborative calligraphy system is developed as an example. It allows
multiple users to draw lines with virtual brushes on the virtual canvas simultaneously.

1. はじめに
近年，センシング技術の向上により，ジェスチャ入力をはじめとする非接触操作ができるシステムが数多く提案さをトラッキングすることにより，直感的にオブジェクトにスポットライトを当てることができる [5]．しかし，これらの手法は，ユーザが専用の端末を利用することを前提としており，汎用性に欠ける．

れ，商用的にも利用可能になっている．例えば，Spotlight

そこで本研究では，ユーザにとって馴染みが深く日常的Presentation Remote (Logicool 社) は，Bluetooth で接続に利用されているデバイスとして，ジャイロセンサが搭載されている端末が指し示している場所を算出することによされている端末であるスマートフォンに着目し，それを用り，直感的に強調表示や拡大，スクリーン上のカーソルのいたポインティング手法として BYOP（Bring Your Own

コントロールができる．認知共有のためのポインティングPointer）を提案する．これにより，ユーザが新たな機器をシステムであるスポットライティングは，ユーザの肩と手用意することなく，ポインティングを実現できる．この手

12a)
b)
c)

関西大学総合情報学部
Faculty of Informatics, Kansai University
関西大学大学院総合情報学研究科
Graduate School of Informatics, Kansai University
k081485@kansai-u.ac.jpk403662@kansai-u.ac.jp
mat@res.kutc.kansai-u.ac.jp© 2018 Information Processing Society of Japan

法をマルチ接続に対応させることで，ポインティングしている座標をユーザ毎に扱えるようになり，多人数で同時に仮想キャンバスに文字を書くなど，エンタテインメント性を持ったインタラクティブなポインティング手法の実現が可能になる．

1115

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2. 関連研究3C66
2018/3/5

述べた問題を解決するために，本システムが満たすべき要件を，（1）ユーザが新たに機器を準備する必要がないこと

非接触操作を行うための手法として，リモートポイン（ユーザが所有するスマートフォンの環境に依存しないこ

ティング手法が研究されている．これは，ユーザが身体もと）（2）ユーザが指し示している画面座標をシステムが少

しくはデバイスを用いて指し示しているスクリーン上の場ない計算量で算出できること，（3）ユーザが容易にキャリ所を算出する手法である．

ブレーションできること，の 3 点とする．

Wilson らの XWand では，デバイスから出る赤外光を二（1）を実現するために，コントローラをプラットフォーつのカメラで観測し，それとジャイロセンサを組み合わせムに依存しない Web アプリケーションとして実装する．

ることで三次元空間においてユーザが示している場所を決これにより，ユーザは自身が所有しているスマートフォン定している [1]．堀江らは操作対象を二次元空間に限定し，を用いてリモートポインティングが可能になる．
（2）を実

2 つのジャイロセンサのみで GUI 操作を行う手法を提案し現するために，ユーザがディスプレイの右上，左下の 2 点ている [2]．しかしこれらはいずれも専用のデバイスを必を指し示した際のジャイロセンサの値を利用する．2 つの要としており，汎用性に課題が残る．

値を線形補間することにより，システムは少ない計算量

一方，多くのセンサを搭載し，広く普及している携帯端で任意の画面座標を算出できる．（3）を実現するために，末であるスマートフォンを活用することで GUI を操作す

QR コードを用いる．接続先の IP アドレスやポート番号，るデバイスを作成する研究が盛んに行われている．小瀧ら

パスワードを URL クエリパラメータとしてコントローラはそのジャイロセンサを使い，端末の動きの特徴を判断す

ページの URL と共に QR コードで提示する．これにより，るシステムを開発している [3]．しかし，事前に登録したユーザは QR コードを読み取るのみでコントローラページいくつかの動作から特定の機能を再生するにとどまっていに容易にアクセスできる．

る．瀧口らは端末のカメラ画像から事前に登録したカードを認識することで GUI 操作の実現を目指した [6]．この研究においては操作にカードを必要とすることや，画像認識

4. 実装
4.1 提案システムの構成のために時間がかかることが問題点として挙げられる．
ジャイロセンサとカメラを組み合わせることでリモートポインティングを実現した研究も行われている [4]．これ

提案システムにおいて，ユーザが取る行動とシステムが行う処理を以下に示す．

(1) ユーザは表示された QR コードを読み取って，コントローラページにアクセスするはディスプレイに表示されている画像と，携帯端末で撮影された画像をその特徴量から識別しキャリブレーションを(2) ユーザはスクリーンの右上，左下の順にスマートフォンを向け，画面をタップする行っている．そうして得られた変換行列を基にジャイロセンサの値からユーザが示しているディスプレイ座標を算(3) システムはタップされた瞬間のジャイロセンサの値を出するというものである．しかしこのシステムにおいて，ディスプレイに表示されている画像は特徴を持っている

記録する(4) ユーザはスクリーン上の任意の位置にスマートフォンこと，操作するときには端末のカメラが常にディスプレイを捕らえられる方向を向いていることなどの制約に加え，を向ける(5) システムはユーザが指し示した位置の座標を算出するキャリブレーションに多くの時間がかかってしまうことが問題点として挙げられる．

4.2 クライアント側
コントローラとなる Web アプリケーションを HTML5

このようにリモートポインティング手法の実現は，(1) カメラを設置しユーザの操作を観測すること，と JavaScript を用いて実装する．本システムではこのコン(2) デバイスのカメラ画像を使うこと，トローラから JSON 形式で，（1）端末の識別番号，（2）ジャ(3) デバイスのジャイロセンサの値を活用すること，イロセンサの値，（3）画面をタップ，ホールドしているかなどによって実現が試みられてきた．しかし，（1）は環境否か，を送信している．
（2）で取得するジャイロセンサのの設置に手間がかかること，（2）は端末カメラが常に対象

値は JavaScript の Device Orientation イベント*1 を用いてを捉える必要があり，画像特徴量の算出に多くの時間がか取得する．これは端末の回転角度を，図 1 のように定義さかること，（3）はディスプレイの場所の検出が容易でないれる α，β ，γ の 3 つの軸で取得できるものである．α は端こと，が問題となっている．

末のディスプレイに垂直な直線を軸とした回転角度，β は3. デザイン指針
本研究では，複数のユーザがスマートフォンを用いて同時にリモートポインティングを行うことを目指す．2 章で© 2018 Information Processing Society of Japan

端末の前後の動き，γ は端末の左右の動きを表している．

*1

https://developers.arcgis.com/javascript/3/jshelp/
mobile_orientation.html（2017/12/25 確認）

1116

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

γ（-90~90）

3C66
2018/3/5α（0~360）β（-180~180）(a) 画面図 2
図 1

ジャイロセンサの軸

4.3 サーバ側
Processing（ver 3.3.6）*2 を用いて実装した．ユーザがコントローラページにアクセスすることで WebSocket による通信が開始される．その後，第 1 点をディスプレイ上端右端，第 2 点をディスプレイ下端左端として，この 2 つの基準点をユーザが指し示したときのジャイロセンサの値を登録する．本システムにおいてジャイロセンサの数値は，特にユーザの正面において連続する必要がある．取得したジャイロセンサの値のうち α は初期化された時点の値が 0であるが，端末を左方向に回転させると 360 となり不連続である．そのため時刻 t における α 値を αt として，t > 0において以下のように調整する．

αt−1 − 360 (αt−1 ≥ 180)αt =αt−1(otherwise)(b) 風景活用事例: 書道システムとの組み合わせ

VAIO Z1311AJ を使用したところ，7 名が同時に接続できることを確認した．
書道システムとの組み合わせにおいて，7 名のユーザの同時接続では，遅延やフレームレートの低下は見られなかった．BYOP で行っている計算は線形変換のみで計算量が少ないため，人数の増加にも対応可能であると考える．
ただし接続人数に応じてサーバ側の計算量が比例的に変化するため，さらに多くのユーザが同時に接続すると処理速度の低下を招く可能性がある．
また問題点として，キャリブレーション後に移動するユーザがいたことが挙げられる．BYOP では，ディスプレイと端末の相対的位置関係が変化するとポインティング座標に誤差が生じる．この問題を解決する方法を検討していく必要があると考える．

6. おわりに
本稿では複数の携帯端末による ad-hoc なポインティン

ポインティングする画面座標の算出は以下の式を利用す

グ操作手法である BYOP を提案し，その活用例として、複る．ただし，x，y はポインティングする画面の x 座標，y数人書道システムを実装した．課題として，座標軸を設定座標とし，α，β は現在の α 値，β 値，w1 ，h1 はディスプ

後ユーザが移動すると誤差が生じることや，ジャイロセンレイの画面左上の x 座標，y 座標，w2 ，h2 はディスプレイサの γ 軸を考慮していないことが挙げられる．今後の展望の画面右下の x 座標，y 座標，α1 ，α2 は第 1 点，第 2 点にとしては，上記の問題を解決・緩和するとともに，BYOP

おける α 値，β1 ，β2 は第 1 点，第 2 点における β 値を表を活用した新しいシステムの開発が期待される．

している．

x = w2 + (w1 − w2 ) ∗ ((α − α1 )/(α2 − α1 ))y = h1 + (h2 − h1 ) ∗ ((β − β1 )/(β2 − β1 ))複数人による同時接続は識別番号ごとにポインティング

参考文献[1][2]する画面座標を算出することで実現する．

5. 活用事例
本稿で提案した BYOP の活用法の一例として，書道システムを実装した．書道システムは書道の飛沫や墨跡を流[3][4]体力学の演算によって再現したものである．これと BYOPを組み合わせることで，複数のユーザがスマートフォンを[5]振りかざすことにより，同時に 1 つのキャンバスに対して筆で文字を書く体験ができる．書道システムと BYOP を組み合わせたコンテンツの画面を図 2 - (a) に，複数人での接続風景を図 2 - (b) に示す．サーバとして SONY 社の*2

https://processing.org/（2017/12/25 確認）© 2018 Information Processing Society of Japan[6]

Andrew, W. and Steven, S.: XWand: UI for intelligent
spaces, Proceedings of the conference on Human factors
in computing systems, No. 5, pp. 545–552 (2003).
堀江達矢，片山拓也，寺田 努，塚本昌彦：GUI のための加速度センサを用いたポインティング手法，情報処理学会
研究報告，Vol. 2011-HCI-145, No. 2, pp. 1–8 (2011).
小瀧 陽，笹倉万里子：iPod touch の加速度センサによる動作判別用ライブラリの構築，情報処理学会研究報告，Vol. 2010-UBI-2, No. 1, pp. 1–7 (2010).
松元崇裕，瀬古俊一，青木良輔，井原雅行，小林 透：携
帯端末を用いたマルチディスプレイ間でのコンテンツ操作
手法，情報処理学会研究報告，Vol. 2013-UBI-3, No. 6, pp.
1 – 8 (2013).
中道 上，天早健太，渡辺恵太，山田俊哉：スポットライ
ティング：認知共有のためのスポットライト型ポインティ
ングシステム，インタラクション 2016 論文集，pp. 964–949(2016).
瀧口智史，田中敏光，佐川雄二：Web カメラを用いた片手文字・座標入力システム，情報処理学会研究報告，Vol. 2010UBI-2, No. 11, pp. 1 – 6 (2010).

1117