情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B302016/3/3

光センサ無線デバイスの複数連携によるジェスチャ認識
梶孝行1,a)

高橋伸2

田中二郎2

概要：遠隔で直感的に電子機器の操作を行うため，リモコンの代わりにユーザのジェスチャを利用するアプローチが研究されている．これらは様々な手法が研究されているが，その一つに消費電力の少ないセンサを用いたセンサネットワークを構築する手法がある．しかしこの手法では家の間取りや使用してる家電が異なることから，センサの数や位置を調整する必要がある．そこで本研究では，小型で連携可能な光センサ無線デバイスを利用することで，認識したいジェスチャに対して必要なデバイスの個数や位置を容易に試すことのできるシステムを提案する．本研究では光センサ無線デバイスおよびジェスチャの登録可能なシステムの作成を行った．

Gesture Recognition with Multiple Cooperated
Wireless Light Sensor Devices
Kaji Takayuki1,a)Takahashi Shin2

Tanaka Jiro2

Abstract: To remotely control of electronic devices intuitively, Many studies proposed methods using users’
gestures instead of the remote controller. In these studies, there is a method which constructs sensors network with low-power consumption sensors. However this method requires to adjust the numbers or positionsof the sensors due to diﬀerences of the floor plans or used appliances. We propose an system that is easily
testable with these variable such as numbers or positions of the devices by using compact and cooperatablewireless light sensor devices. In this paper, we describe creation of the devices and a system that allows users
to register gestures to recognize.

1. はじめに与えてしまいプライバシーの問題が生じる問題点がある．
これに対して，消費電力の低いセンサをネットワーク化遠隔で直感的に電子機器の操作を行うため，リモコンのすることでジェスチャ認識を行うアプローチが提案されて代わりにユーザのジェスチャを利用するアプローチが研究いる．しかし，家ごとに間取りや使用している家電，認識されている．近年ではカメラや kinect 等を利用することしたいジェスチャが異なることから，状況に応じてセンサで容易にユーザの動きを取得できるため，これを利用しての数や位置を調整する必要がある．

ユーザの手の動きを認識して大画面操作を行うといったイ

そこで本研究では，小型で連携可能な光センサ無線デバンタラクションが研究されている．しかしこれらの手法でイスを利用することで，認識したいジェスチャに対して必は室内にユーザがいる間カメラを起動する必要があり運用要なデバイスの個数や位置を容易に変更できるシステムをコストが大きくなるほか，ユーザに監視されている感覚を提案する．本研究では光センサ無線デバイスおよびジェスチャの登録可能なシステムの作成を行った．

12a)

筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻
Department of Computer Science, Graduate School of Systems and Information Engineering, University of Tsukuba
筑波大学システム情報系
Faculty of Engineering, Information and Systems, Universityof Tsukuba
kaji@iplab.cs.tsukuba.ac.jp© 2016 Information Processing Society of Japan

2. 関連研究
少量の安価なセンサを用いたジェスチャ認識を行う手法として，様々な手法が提案されている．Withana らは三つの赤外線センサを用いてスマートウォッチ上の指のジェス

592

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B302016/3/3

チャを認識する zSense を提案している [1]．zSense では三

これによって認識したいジェスチャを認識することがでつの赤外線センサにより画面の直近上の指の動きを取得し，きるだけでなく，安定して認識できるようになる子機の個11 種類のジェスチャを認識することができる．この研究で数や位置を試す，認識したいジェスチャを増やすといったは安価なセンサを用いてジェスチャを認識する点で本研究使い方ができる．と同じであるが，スマートウォッチ上の狭い範囲のジェスチャ認識を目的としている．本研究ではセンサネットワーク化することで認識範囲を容易に拡張できる点で異なる．
センサネットワークを用いたユーザのジェスチャ認識と3.1 複数連携によるジェスチャ認識
認識するジェスチャは子機の数や子機間距離によって図2，3 のようなものが考えられる．

しては Wilson らが天井に設置した赤外線人感センサやドアに接触センサをネットワーク化することでユーザの移動を認識し，照明や空調の操作を行う手法を提案している [2]．この研究では安価なセンサをセンサネットワーク化してジェスチャ認識する点が同じであるが，本研究ではユーザの目的に応じて認識するジェスチャを自由に設定できる点が異なる．

3. 光センサ無線デバイスの複数連携システム
本システムの全体像を図 1 に示す．

図 2

図 1

手の動きによるジェスチャ (a)，手の形によるジェスチャ (b)システム全体像本システムはセンサが取り付けられた無線通信可能な複数の子機と，それらのデータをまとめジェスチャ認識を行う親機から構成される．
子機は一定間隔の時間で取り付けられたセンサ値を読み取り，その結果を親機に無線通信で送信する．想定環境としては蛍光灯等の拡散光源が天井に一つから複数存在し壁からの反射光なども存在する部屋を考える．光センサは直近から 20cm 程度上空の環境光に反応する．そのため，手などにより環境光がさえぎられる変化を取得することがで

図 3

人の通過によるジェスチャきる．
親機は子機からのデータを無線通信によって受け取り，その結果を用いてジェスチャ認識を行う．

例えば机上に子機を一列に並べると手を用いた各面へのタッチや複数の面をスワイプするジェスチャを認識するこ本システム利用の流れは以下のようになる．とができ，オーディオ機器等の操作に利用できる (図 2(a))．

• 各子機を認識したいジェスチャに応じて好きな位置にまた，子機を一列からグリッド上に拡張することで，手のおく．

指の状態を認識することができ，テレビのチャンネルの指• 認識したいジェスチャを実際に行うことで学習を行う．

定を指のジェスチャを用いて行うこともできる (図 2(b))．

• 学習したジェスチャの認識を行う．

また，部屋の要所に子機をおくことで人の通過を検知する• 結果に応じて子機の数や位置を変化させて学習モードことができ，ライフログや照明，空調の操作を行うこともに戻る．

© 2016 Information Processing Society of Japanできる (図 3)．

593

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162B302016/3/3

4. 実装
本研究では，プロトタイプとして光センサ無線デバイ
ス (子機) および親機とジェスチャ認識システムの実装を行った．

4.1 光センサ無線デバイス (子機) の実装
本システムでは無線通信を行うために，ZigBee と呼ばれる近距離無線通信規格を用いる．製品としては XBeeZB
モジュール (XB24-Z7PIT-004) を使用した．光センサデバ
イスは，無線通信を行うための XBee，センサの値を読み
図 5 光センサデバイス回路図取るための Arduino uno，そして光センサから構成される．Arduino uno はコスト削減のためマイコン部分である

ATMEG328P-PU を使用した．
一般的に可視光に対して利用される光センサには CdS 等

ルド，PC から構成される．PC と Arduino は USB 接続され，シリアル通信によってセンサ値のやり取りを行う．

が存在するが，本研究では LED に着目した．LED は電流PC 側では LED のセンサデータの変化を取得し，機械学を流すことで発光する電気素子であるが，反対に光を当て習を用いることでジェスチャ認識を行う．本研究では LED

ることによって微量の電流を得ることができ，LED に対に手を近づけるといった静的なジェスチャだけでなく，複する光の強さによって 0-1.2V の電圧を得ることができる．

数のデバイス間をスワイプするといった動的なジェスチャ

これを Arduino のアナログ入力によって得ることで，あるを認識するために，MHI（Motion History Image)[3] の手程度の近接センサとして利用することができる．また発光法を用いる．まず，各 LED のセンサ値を画素として扱い，による出力を同時に行えるため，センサが反応した様子を全ての LED のセンサ値を一枚の画像とする．そして一定ユーザにフィードバックすることができる．

時間のセンサ値に対して，時系列に応じた重み付けを行い，作成したデバイスおよび回路図は図 4，5 のようになる．

足し合わせた画像を作成する．この画像には現在のデータだけでなく過去のデータがグラデーション状に含まれるため，一枚の MHI に対して識別を行うことで動的なジェスチャ認識が可能になる．これにより複雑な状態遷移といった認識を行うことが無く，リアルタイムでも高速にジェスチャ認識を行うことができる．

5. まとめと今後の課題
本研究では光センサ無線デバイスを用いたジェスチャ認識が行えるシステムを作成した．実際にジェスチャを学習，認識することで認識したいジェスチャに対して必要なデバイスの数や位置を試すことのできるようにした．
今後は本システムと他の IoT 製品を連携することで，認図 4作成した光センサデバイス

識したジェスチャを用いて電子機器が操作できるように改良を行う．これにより，操作したい場所や認識したいジェ

子機は底面が 60mm の正方形，高さが 50mm の大きさで，底面以外の 5 面の中心に LED が取り付けられている．

スチャといった目的に応じた，子機の配置を試行錯誤できるシステムにしたい．

そして Arduino のプログラムは以下の操作を繰り返す．まず接続されたそれぞれの LED のセンサ値を読み取り，そ参考文献の結果を一つの文字列にまとめる．そして文字列を XBee

[1]

通信用のパケットに変換し，XBee へ送信する．

4.2 親機およびジェスチャ認識システムの実装
親機は子機からのデータを受け取るための Arduino unoと XBee 用シールドである Arduino ワイヤレスプロトシー© 2016 Information Processing Society of Japan[2]

Anusha Withana, Roshan Peiris, Nipuna Samarasekara,
and Suranga Nanayakkara. zsense: Enabling shallow
depth gesture recognition for greater input expressivity
on smart wearables. In Proceedings of the 33rd Annual
ACM Conference on Human Factors in Computing Systems, CHI ’15, pp. 3661–3670, 2015.
Daniel Wilson and Chris Atkeson. Simultaneous tracking
and activity recognition (star) using many anonymous,594

情報処理学会 インタラクション 2016
IPSJ Interaction 2016[3]

162B302016/3/3

binary sensors. In Pervasive computing, pp. 62–79. 2005.
Aaron Bobick and James Davis. The recognition of human movement using temporal templates. Pattern Analysis and Machine Intelligence, IEEE Transactions on,
Vol. 23, No. 3, pp. 257–267, 2001.

© 2016 Information Processing Society of Japan595