情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B27
2018/3/5

レーザポインタによるジェスチャを用いた複数機器の操作
下村駿平†1

ギエルモエンリケズ†2

三輪貴信†2澤田秀之†2橋本周司†2

概要：ジェスチャインタフェースは，コンピュータへの情報入力をユーザの手や体の動きを用いて直感的に行うものである．近年，ジェスチャインタフェースを家電などの機器操作に応用する研究されている．そこで懸念されているのが，個々の機器に異なるジェスチャを割り当てると，却って操作が複雑化しユーザの負担が増えるという問題である．この問題に対して我々は，一つのジェスチャを複数の機器に利用できれば解決できると考えた．本論文では，レーザポインタで対象機器を指定するとともにレーザ光で描いた軌跡をストロークジェスチャとして認識することで，機器の選択と操作を一括して行える新しいインタフェースを提案する．ユーザによる評価実験を行った結果，提案手法が操作性の向上に有効であることを確認できた．

Natural User Interface for Home Appliance Control
Using Gestures Performed by Laser PointerShumpei SHIMOMURA†1 Guillermo ENRIQUEZ†2Takanobu MIWA†2 Hideyuki SAWADA†2 Shuji HASHIMOTO†2
Abstract: A gesture interface is expected to be used for control of various devices including home appliances, because it allows intuitive
operation of different appliances using users’ hand or body motion. However, if individual gestures are associated to the specificoperations of appliances, the users will have to memorize all of them and burdens on the users are increased. To overcome this problem,
we propose a novel gesture interface that allows users to control multiple appliances by the common gestures. The user can specify thetarget appliance using laser pointer, and control it drawing a gesture as the stroke of the laser pointer. We conducted some user experiments
to evaluate the proposed interface to prove that the proposed method is effective to improve usability of the gesture interface.

1. はじめに室内
全方位カメラジェスチャインタフェースは，人間から機器への入力を電源ON手や指の動きで行うインタフェースである．近年，スマー電源
ON

トハウスの実現に向けて，ジェスチャインタフェースを家電機器の操作入力に利用する試みがある[1][2][3]．これらの研究では，ユーザの自然な動きで機器の制御が可能にな

ユーザ

レーザポインタるため，直感的な操作感覚を実現できると期待されている．
一方で，それぞれの機器の個々の操作に異なるジェスチャを割り当てると，機器の数が増えたときに覚えるジェスチ

図 1 提案インタフェースの概要
Figure 1 Concept of proposed interface.

ャの数も多くなり，ユーザの負担になることが懸念される．
一つのジェスチャを複数の機器に共通に用いることができれば，ジェスチャ数を削減できると考えられる．そのためには，ユーザの操作したい機器を適宜指定できることと，所望の機器だけがジェスチャに反応するような仕組みが必要となる．このような取り組みとして，たとえば，ビーコンを用いて対象機器の指定を行う手法や[4]，レーザポインタと受光器を用いて操作対象を指定する手法がある[5]．しかしながら，これらの手法は個々の機器のそれぞれにビーコンや赤外線受信機を設置する必要がある．そこで我々は，家電操作を例題としてレーザポインタによるジェスチャインタフェースを検討している．ここでは，室内に設置した一台の全方位カメラからの画像により，レーザポインタで指定する機器を特定し，レーザ光点の軌跡をユーザのジェスチャとして認識することにより，機器の指定と操作を行う手法を提案し，ユーザ実験による有効性検証の結果とともに報告する．

†1 早稲田大学
Graduate School of Advanced Science and Engineering, Waseda University†2 早稲田大学理工学術院
Faculty of Science and Engineering Waseda University.

© 2018 Information Processing Society of Japan289

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B27
2018/3/5

TV
オーディオ
照明

図2

作製したレーザポインタと使用した赤外線カメラ

Figure 2

照明

扇風機

The produced laser pointer and infrared camera.

加湿器((,,))

図 4
Figure 4

パノラマ画像中の座標

図3
Figure 3

矩形の枠の初期配置

The initial placement of rectangular frame.

全方位画像中の座標

パノラマ展開の説明図

The explanation drawing of panoramic image.

図 5

2. レーザポインタによる家電操作インタフェース
本章では，提案インタフェースの概要と，全方位カメラから取得したカメラ画像中の光点のトラッキングの手法，ユーザがレーザポインタで描いたジェスチャを認識する手法を述べる．
2.1 インタフェース概要
図 1 に提案インタフェースの使用イメージを示す．ユー
ザは，レーザポインタを家電機器に向けることで操作対象を指定し，ジェスチャとして事前に登録された軌跡と合うようにレーザの光点を動かすことで家電を操作する．レー
ザポインタの光点は，室内に設置した全方位カメラによりリアルタイムに追跡され，その軌跡が事前に登録されたジェスチャと一致するかは，Dynamic Time Warping (DTW) [6]を用いたテンプレートマッチングにより認識される．
図 2 に本研究で作成したレーザポインタと赤外線全方位カメラを示す．照明条件の変化による影響を抑えるために，赤外レーザと赤外カメラを利用した．レーザポインタは，照射方向を視覚的にわかりやすくするために，可視光と赤外光の両方を照射する構造になっている．レーザポインタの長さは 200mm，太さは 30mm，重さは 98g である．各レ© 2018 Information Processing Society of Japan

Figure 5

トラッキングの様子
The image of tracking.

ーザの波長は，それぞれ 550nm，980nm であり，最大出力はそれぞれ 1mW である．全方位カメラは，赤外カメラ（RSComponents Ltd，790-2811）に魚眼レンズを装着したもので，解像度は 720×720 ピクセル，フレームレートは 60 fps である．
2.2 光点のトラッキングと座標変換
光点のトラッキングは，全方位画像に対して行う．本研
究では，レーザ光が当たっている部分が他のピクセルよりも明るくなることを利用し，しきい値処理を用いて光点を検出する．図 4 に示すように，画像中でそれぞれの家電の位置する壁や床には，家電の大きさに応じたサイズの矩形の枠が初期配置されている．光点がいずれかの枠の内側で検出されると，その枠に対応する家電が操作対象として指定され，そこから光点のトラッキングが開始される．このトラッキングでは，図 5 に示すような光点を囲む矩形の枠をあらたに設定し，この枠の内側でしきい値処理を行う．
この枠は，カルマンフィルタを用いて光点の移動方向を予測し，光点が枠から外れないように移動する．カルマンフ

290情報処理学会 インタラクション 2018
IPSJ Interaction 2018

ONOFF

明度up

明度down

ONOFF

明度up

明度down

ONOFF

風量切替

首振りON

OFF

番組up

番組down

ONOFF

風量切替

ON

OFF

再生

1B27
2018/3/5

加湿器

照明1

照明2

窓

扇風機
音量up

音量down

扇風機

照明

入力切替

TV

参加者

加湿器
オー
ディオ

停止

次の曲

前の曲

音量up

音量down照明
図 6

Figure 6

提案手法のジェスチャ一覧

TVThe list of gestures used in proposed method.

ONOFF

明度up

明度down

ONOFF

明度up

明度downONOFF

風量切替

首振りON

OFF

番組up

番組down

ONOFF

風量切替

ONOFF

再生

Figure8

照明1

実験環境の簡略図

The simplified schematic of experimental environment.
 xi , j  ri cos  j,
 y i , j  ri sin  j

照明2

(1)

ri  ri  ri 1  ri  j   j 1 .

扇風機
音量up

音量down

入力切替式(1)に全方位画像で取得した軌跡のデータを代入す

TVることにより，パノラマ展開された歪みのない軌跡のデ加湿器
オーディオ

図8

オーディオータが得られる．
次の曲

前の曲

音量up

音量down2.4 テンプレートマッチングによるジェスチャ認識
ジェスチャの認識は，ユーザがレーザポインタで描いた

図7

Figure7

停止

従来手法のジェスチャ一覧

The list of gestures used in previous method.

ィルタの運動モデルは等加速度直線運動である．これらの処理により，トラッキングに必要な計算量を削減し，太陽光や蛍光灯の光から受けるノイズの影響を取り除くことができる．以上の方法により，光点の軌跡を座標の時系列データとして取得する．
2.3 パノラマ展開による光点軌跡の歪み除去
トラッキングによって得られた光点の軌跡を表す時系列
データには，全方位カメラによる幾何学的な歪みが生じている．そこで軌跡のデータに対してパノラマ展開を適用し，この歪みを除去する．パノラマ展開とは，図 3 に示すように，極座標系で表現された全方位画像を直交座標系で表現されたパノラマ画像に変換するものである．これにはいくつかの手法があるが，本研究では，カメラ－物体間の距離が変化しても物体の縦横比の変化が小さい準正方格子間隔サンプリングパノラマ展開[7]を用いる．具体的には，パノ
ラマ画像中の点の座標を画像の右下を原点とする直交座標表現で(xi,j, yi,j)，全方位画像中の点の座標を極座標表現で(ri,j)として，式(1)を満たすように変換する．ここで ri は半径方向のリサンプリング間隔を円周方向のリサンプリング間隔と等しくするための拘束条件である．

軌跡を事前に用意したジェスチャのテンプレートとマッチングすることにより行われる．
マッチングの前処理として，Wobbrock らが提案した手書
きジェスチャ認識アルゴリズム[8]の一部を参考に，2.3 節で得られた軌跡のデータに対して，リサンプリング，サイズの正規化，位置合わせを行う．全方位カメラは毎秒 60 フ
レームで映像を取得するため，ユーザのジェスチャを描く
速度の違いにより，同じ形のジェスチャでもそれを構成する光点の数は異なっている．そこで，まず，テンプレートと光点の数を揃えるために，隣接する光点間のユークリッド距離がしきい値より大きくなるように光点を間引き軌跡のリサンプリングを行う．次に，ユーザが描いたジェスチ
ャとテンプレートのサイズを合わせるためにサイズの正規化を行う．パノラマ展開された軌跡の形に外接する矩形を考え，この矩形のサイズが 80×80 ピクセルの大きさになるように軌跡のデータを拡大・縮小して正規化する．最後に，正規化された軌跡について，それを構成する全光点から中心座標を求め，これがテンプレートの中心座標と一致するように位置合わせを行う．
Wobbrock らの手法では，アスペクト比が極端な軌跡のデータが入力されると，前処理で軌跡が極端な変形を受け，ジェスチャとして認識できなくなる．この問題に対処するために，山路が提案した手法を参考にする[9]．すなわち，軌跡に外接する矩形のアスペクト比が 10:3 を超える場合© 2018 Information Processing Society of Japan291

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B27
2018/3/5

表 1
Table 1

実験タスクのシナリオ表

The scenario table of experimental task

タスク

シナリオ

番号12345678910TV と扇風機の電源を入れる．→TV のチャンネルを 4 番にする．→扇風機を首振りにする．→すべての電源を落とす．
オーディオと窓側の照明，加湿器の電源を入れる．→オーディオを再生する．→加湿器の風量を変更する．
→オーディオの再生を停止する．→すべての電源を落とす．
TV と廊下側の照明の電源を入れる．→廊下側の照明の明るさを上げる．→TV の音量を下げる．→すべての電源を落とす．
加湿器と扇風機と窓側の照明の電源を入れる．→扇風機の首振りを停止し，風量を変更する．→加湿器の風量を変更する．→すべての電源を落とす．
オーディオと廊下側の照明の電源を入れる．→廊下側の照明の明るさを下げる．→音楽を再生し，音量を下げる．→すべての電源を落とす．
TV の電源を入れて，入力切り替え画面を表示する．→窓側の照明の電源を入れて，廊下側の照明の電源を入れる．→すべての電源を落とす．
オーディオと扇風機の電源を入れる．→扇風機の風量を変更する．→オーディオを再生し，次の曲に変更する．→再生を停止する．すべての電源を落とす．
加湿器と窓側の照明，TV と廊下側の照明の電源を入れる．→加湿器の風量を変更する．→廊下側の照明の明るさを上げる．→TV のチャンネルを 5 番にする．→すべての電源を落とす．
オーディオと扇風機，廊下側の照明と TV の電源を入れる．→オーディオを再生する．→TV の電源を落とす．扇風機の風量を変更する．→オーディオの再生を停止する．→すべての電源を落とす．
加湿器と廊下の照明，扇風機の電源を入れる．→廊下側の照明の明るさを上げる．→扇風機を首振りする．
→すべての電源を落とす．には，サイズの正規化を行わないようにする．

を占めると考えられる．そこで，ジェスチャインタフェー

以上の前処理を施した軌跡のデータを事前に用意したスの使用経験がない，もしくは日常的に使用していない 8各ジェスチャのテンプレートと比較する．比較には軌跡デ名を参加者（平均年齢：24 歳，男性 7 名，女性 1 名）としータの時系列方向の伸縮を吸収してマッチングを行うためて実験を行った．に，Dynamic Time Warping (DTW)[6]を用いる．マッチング

3.2 実験に用いたジェスチャの選定を行った結果，DTW 距離が最も小さくなるテンプレート

提案インタフェースは，ユーザがジェスチャを自由に設のジェスチャをユーザが意図したものと認識する．

定することができるが，ここではあらかじめ選定したジェ3. 評価実験スチャを用いるよう指示した．ジェスチャの選定は，実験に参加しない成年者 8 名に対するアンケート調査に基づき提案したインタフェースの有効性を評価するために，ユ決定した．アンケートの中で提案数の多かったものを中心

ーザ実験を行った．レーザポインタによる家電の操作を，に全体の整合性を考慮した．提案手法と従来手法のそれぞそれぞれの家電機器に異なるジェスチャを割り当てた場合れに用いたジェスチャを図 6 と図 7 に示す．図中でジェス（従来手法）と，同じジェスチャを複数の機器に割り当てチャの軌跡は，明度が低い方から高い方に描かれたものでた場合（提案手法）で行わせた．それらの使いやすさをユある．

ーザの主観評価によって比較し，提案インタフェースがユ3.3 実験環境ーザの負担を軽減できるかを検証した．なお，本実験は，操作対象とした機器は，テレビ，空気清浄機，扇風機，早稲田大学の人を対象とする研究に関する倫理委員会からオーディオプレーヤ，照明が 2 つの計 6 種類である．実験承認を受けて行われた（承認番号：2017-244）．

は，一般的な家庭環境を模した部屋で行った．ユーザは部

3.1 実験参加者

屋の中心付近に座り，それぞれの家電をレーザポインタに家電機器をジェスチャで操作するインタフェースはまだ普及しているとは言えず，一般的にジェスチャインタフェよるジェスチャで操作する．家電の配置とユーザの位置を
図 8 に示す．

ースを使用した経験が少ない，あるいは全くない人が多数© 2018 Information Processing Society of Japan292

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

Table 2

The recognition rates of gestures in each method.
操作手法

認識率(%)

提案手法

97.7

従来手法

96.2

表 3
Table 3

各手法におけるジェスチャ認識率

操作時間（s）

表2

1B27
2018/3/5

1008060
402001

操作を達成できなかった平均回数

The average number of times that the users could not
標準偏差

従来手法

1.14

1.12

提案手法

0.140.34

3.4 実験手順

Figure9

順序効果を考え，8 名の実験参加者を，提案手法を先に

432
従来手法
提案手法
図 10 操作性の評価平均

Figure104

提案手法の操作方法に関する説明を受け，操作とジェ評価値とした．以下に提案手法を先に行う場合の実験手順をユー
1.

3
2

スチャの対応表を見ながら操作練習を 10 分間行う．
2.

The average evaluation scores about operability.

5

なくするため，各手法を行う順番を変えて実験を行うこと
ザの視点で説明する．

1

ジェスチャの対応表を回収し，提案手法を用いて実験従来手法タスクを順番に行う．
3.

提案手法に関するアンケートに回答する．

図 11

4.

従来手法の操作方法に関する説明を受け，操作とジェ

Figure11

提案手法と従来手法の比較に関するアンケートに回

評価値

従来手法に関するアンケートに回答する32答する．

1

従来手法を先に行う場合の実験手順は，提案手法を先に従来手法行う場合の順番を変え，4．→ 5．→ 6．→ 1．→ 2．→ 3．

図 12→ 7．の順番で実験となる．
実験タスクとしては，家電の電源を入れてから切るまでの一連の操作を 1 シナリオとして，10 シナリオを設定した．

Figure125

表 1 に各シナリオを示す．それぞれの手法について，10 分を設けた．

4. 実験結果と考察

2
1
従来手法

スチャの認識率，実験タスク中に操作を達成できなかった

図 13

回数による評価，操作時間による評価，アンケート調査に

Figure13© 2018 Information Processing Society of Japan

疲労感の評価平均

The average evaluation scores about fatigue.

3

本章では，実験環境における提案手法と従来手法のジェよる評価について述べ，実験結果を踏まえた考察を述べる．

提案手法

4
評価値

間の練習時間と対応するジェスチャを記憶してもらう時間

The average evaluation scores about

4タスクを順番に行う．
7.

操作方法の理解のしやすさの評価平均

5

ジェスチャの対応表を回収し，従来手法を用いて実験

6.

提案手法

ease of understanding how to handle.

スチャの対応表を見ながら操作練習を 10 分間行う．
5.

10

The average operation time in each method.

行った．先に行う手法での操作に慣れた結果，後に行う手しまう可能性がある．こういった学習効果による影響を少5 6 7 8 9
操作項目名
従来手法
提案手法
各手法における平均操作時間

1

行う者と従来手法を先に行う者を各 4 名ずつとして実験を法との間でジェスチャによる操作の慣れ度合いが変わって

4

5
評価値

平均回数

3

図9

operation appliances.
操作手法

2

提案手法

ジェスチャの覚えやすさの評価平均
The average evaluation scores abouteasy-to-remember gestures.

293

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

4.1 ジェスチャの認識率

1B27
2018/3/5

ーな手法と提案手法を比較していないため，レーザポイン

提案手法と従来手法のそれぞれについて，表 2 にジェスタを持つ必要があるという制限がユーザの操作に及ぼす影チャの認識率を示す．実験中に行われた 8 名の参加者によ響は検証できていない．提案手法と同じ応答速度のハンドる合計 480 回の入力のうち，ユーザが意図した通りにジェジェスチャを用いたシステムと比較することで．検証する

スチャが認識された回数を認識率としている．いずれの手必要がある．また，実験に用いるジェスチャをアンケート法でも，家電操作を行うのに十分な認識率が達成された．

調査により決定したが，実験参加者が自由にジェスチャを4.2 操作を達成できなかった回数による評価決める場合に比べて，操作性がどの程度変化するかについ実験タスクを行う前に設けた練習時間内に覚えることがては検証していない．実験参加者が自由にジェスチャを決できた家電操作とジェスチャの対応の数を評価するために，めた場合の実験を行い検証する必要がある．

10 個の操作項目の中で対応するジェスチャを忘れて操作

5. まとめと今後の課題を達成できなかった回数を調べた．操作を達成できなかった一人あたりの平均回数を表 3 に示す． 対応のある t 検定

家電操作を具体的な例として，レーザポインタで描いたを用いて従来手法と提案手法を比較した結果，2 つの手法軌跡をジェスチャとして全方位カメラで認識し，機器の指の間に有意差を認めることができなかった（p=0.055>0.05）．

定と操作を行う手法を提案した．また，複数の機器で共通

4.3 操作時間による評価のジェスチャを使えることで，従来手法と比較し提案手法

10 種類のシナリオのそれぞれについて，一連の操作を完がユーザの負担を軽減できるかを検証した．8 名の実験参了するまでに要した時間を図 9 に示す．提案手法と従来手加者に提案手法と従来手法で操作を行ってもらい，操作時法について，8 名の平均をプロットした．エラーバーは，間とユーザの主観評点による評価を行った．結果として，標準誤差である．いずれのシナリオにおいても，提案手法提案手法は従来手法に比べて少ない時間で操作を完了するの方が従来手法よりも少ない時間で操作を完了できていた．

ことができ，操作性とジェスチャの覚えやすさの点で高い

従来手法と提案手法を比較した結果，2 つの手法の間には評価を得ることができた．この結果から提案手法が従来手有意差が認められた（p < 0.05）．

法と比べてユーザの負担を軽減できることが判った．

4.4 アンケート調査による評価

実際に社会の中で提案手法を役立たせるために，社会に操作性，操作方法の理解のしやすさ，疲労感，ジェスチ

普及している音声入力を用いた手法やモバイル端末を利用

ャの覚えやすさについてアンケート調査を行った．それぞした手法などの他のインタフェースと比較し，家電操作ばれの項目について 1 から 5 までの 5 段階評価の質問を 1 つ

かりでなく複数機器の操作における提案手法の有効性を検用意した．アンケート結果を図 10 から図 13 に示す．図中証したいと考えている．のスコアは 8 名の平均値であり，エラーバーは標準誤差である．操作方法の理解のしやすさと，疲労感の点では，提謝辞

案手法と従来手法の間に有意差は認められなかった．疲労の支援を受けて行われました．心より感謝致します。

感の数値は，値が大きいほど疲労感が少ないことを示す．
一方で，操作性とジェスチャの覚えやすさの点では，提案手法が従来手法に比べて高い評価を得た（p < 0.05）．
4.5 考察以上の実験結果を踏まえ考察を述べる．提案手法は，従来手法に比べて少ない時間で操作を完了していることから，ユーザが操作とジェスチャをより強く対応付けすることができていると言える．また，アンケート調査の操作性とジェスチャの覚えやすさの点で，提案手法が従来手法に比べて高い評価を得ることができた．この結果から，ユーザは複数のジェスチャを使い分けて家電を操作するのではなく，操作する家電に体を向け，それぞれの家電に共通したジェスチャを用いた方が操作しやすいと感じたことがわかる．
実際に，複数の実験参加者から「家電に向けてジェスチャを行うことが直感的で操作しやすい」などのコメントが得られた．提案手法を用いることでユーザの負担が軽減され，より快適に操作が可能になったと考えられる．

研究の一部は早稲田大学次世代ロボット研究機構

参考文献[1]A. M. Qamar et al., Proc. of the 5th ACM on InternationalConference on Multimedia Retrieval, 2015, pp.671–674.
[2] U. V. Solanki and N. H. Desai, World Congress on Information andCommunication Technologies 2011. pp.419–423.
[3] K. Ishii et al., Proc. of the 12th IFIP Conference on HumanComputer Interaction, 2009, pp.479-492.
[4] K. Tsukada and M. Yasumura, Journal of Asian Information,
Science and Life 2004, Vol.2, No.2, Nova Science Inc., pp. 111120.
[5] T. Sakai and S. Hashimoto, Proc. of the 13th International
Symposium on Artificial Life and Robotics (AROB) 2008, pp.378381.
[6] H. Sakoe and S. Chiba, Proc. of the 7th International Congress onAcoustics 1971, vol.3, pp.65–69.
[7] 佐藤, 他. 大分産業科学技術センター研究報告, 2003,vol.2002, pp.9–11.
[8] J. O. Wobbrock et al., Proc. of the 20th Annual ACM Symposium
on User Interface Software and Technology, 2007, pp. 159–168.
[9] 山路, 筑波大学大学院システム情報工学研究科修士論文,
2017.

本論文では，ハンドジェスチャのみを用いるハンズフリ© 2018 Information Processing Society of Japan294