情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A03
2015/3/5

ジェスチャ認識と連動した iRemocon による直感的な家電群制御
吉澤和宏†1

米長洋二†1岩井将行†1Kinect インターフェースによる iRemocon 制御では,テレビ,扇風機,エアコン等の赤外線信号で操作出来る家電をジェスチャを送ることで制御することができる.ここでユーザが送ったジェスチャのジェスチャ認識情報と iRemocon が学習する赤外線信号情報を結び付けることにより,プログラミングの知識の無いユーザでも任意のジェスチャで任意の家電を制御することが可能になった．

iRemocon-based Home Appliance Control Scheme using Gesture Information ofKinect

KAZUHIRO YOSHIZAWA†1

YOJI YONENAGA†1

MASAYUKI IWAI†1

In this paper, an iRemocon-based control scheme using the gesture information generated by Kinect interface is introduced.
Through gesture recognition embedded in the proposed scheme, infrared controlled home appliances (such as TVs, fans and airconditioners) can be operated by users’ gestures. By combing the infrared signal study ability of iRemocon and gesture recognition
with Kinect, users even without programming knowledge are able to control home appliances easily through their gestures.

1. はじめには異なっている．また島津らは移動ロボットへの情報家電操作の命令方法を提案しており[2]このシステムでは移動

近年,家電制御の分野では従来のリモコンのようなボタロボットに対してジェスチャと音声を入力することで命令ンの入力で赤外線信号を発信する方法だけでなに対応した家電の制御を行なっているが，我々は iRemoconく,NUI(Natural User Interface)と呼ばれる音声認識やジェスを用いているため，ロボットに比べてコストがかからず，チャ認識を用いた直感的な操作をするための家電制御も進家電の制御においても赤外線信号をユーザが任意に学習さんでいる,しかしジェスチャ認識を用いた家電制御においせる事ができるため，あらゆる家電に対応することができ，ては，予め設定されているシチュエーションにしか対応しその学習機能もプログラミングの知識の無いユーザでも簡ていないことや，任意のジェスチャで家電制御が可能であ

単に扱うことができるため，多くのユーザにも対応していっても，ジェスチャに対応した家電制御の命令をユーザがると考える．

設定するには最低限のプログラミングの知識が必要であることが課題になっている．そこで本研究ではプログラミン
グの知識の無いユーザでも任意のジェスチャでマルチに家

3. 提案手法

電 を 制 御 す る た め の Kinect の ジ ェ ス チ ャ 認 識 機 能 と3.1 Kinect v2 インターフェース

iRemocon の赤外線学習及び送信機能を用いたジェスチャ

本システムにおけるジェスチャ認識機能は Kinect for

学習型マルチ家電制御システムの提案について述べる．

Windows v2（以下 Kinect v2）を用いた．Kinect v2 は人間の2. 関連研究

関節の位置情報を指先まで取れるため，以前の Kinect により細かなジェスチャが認識できる．本システムではこの

NUI での家電制御システムは既にいくつか提案されておKinect v2 で取得した関節の位置座標からユーザの送るジり，三木らは Kinect を用いたジェスチャ検出による照明制ェスチャを認識し，ジェスチャに対応した赤外線信号を送御システムを提案した[1]．このシステムでは多くのユーザ

信 す る よ う にiRemocon

を 制 御 し て い る ．

にとって自然で直感的な操作だと感じられるジェスチャをインターフェースに照明制御を行なっているが，予め設定されているジェスチャによって照明制御を行なっているた
め，我々のような任意のジェスチャに対応したシステムと†1 東京電機大学
Tokyo Denki University.

© 2015 Information Processing Society of Japan152

で は ， ま ず プ ロ グ ラム が ユー ザ に 学 習 の 手 順 を促 し ，iRemocon に学習するための命令を送信，ユーザは iRemoconに向けて学習させたい赤外線信号を送信することでiRemocon に赤外線信号を学習させる．次に学習させた赤外線信号を送信する時のジェスチャをユーザが Kinect に入力，その後プログラムがそのジェスチャを学習し，ジェスチャと赤外線信号の情報を対応付けるといった仕組みになっている．
4.3 ジェスチャの切り出し方法
図 1

Kinect for Windows v2

Kinect に入力された動作情報の内，ユーザが入力したジェスチャとジェスチャではないユーザの普段の動作の違い

3.2 iRemocon の制御を明確にするため，ユーザはジェスチャを行う時は右手を本システムのマルチ家電制御は iRemocon を用いて実現

ジャンケンのグーにした状態でジェスチャを入力するといしている．iRemocon はリモコンの赤外線信号を学習し，学う制限を設けた．これによって Kinect に入力された動作情習した赤外線信号を送信することが可能となる機器であり，報からユーザが入力したジェスチャのみの情報を切り出す

これを利用することで，エアコン，扇風機，TV 等のあらことが出来ている．右手がジャンケンのグーであるのか判

ゆる赤外線信号で操作できる電子機器を制御することが可

別するには右手の HandState が Close になっているかどうか能となる．本システムではこの iRemocon を Kinect インタで判別している．

ーフェースで制御することにより家電をユーザの任意のジ
ェ ス チ ャ に よ っ て 制御 す るこ と が 可 能 に な っ てい る ．

図 3 システム構成図
図 2iRemocon

4. 提案システム構成
4.1 システムの流れ
システム構成図は以下の図 3 の通りである．ユーザがKinect に入力したジェスチャをプログラムが認識し，ジェスチャに対応した赤外線信号を送信するように iRemoconに命令，iRemocon が対応した赤外線信号を送信するといった仕組みになっている．また iRemocon とは Telnet を使って通信を行なっている．

図 4 学習モード時の流れ

4.2 ジェスチャ学習機能
プログラミングの知識の無いユーザでも任意のジェス

4.4 入力したジェスチャの判別方法

チャでマルチに家電を制御出来るようなジェスチャ学習機

ユーザが入力したジェスチャの判別方法としては，入力能は以下の図 4 に示す通りに実装している．学習ボタンをしたユーザのジェスチャと，学習してあるジェスチャをそ押すとシステムが学習モードに切り替わる．学習モード時

れぞれ 7 点に分割し，点間の差ベクトルを単位ベクトル化© 2015 Information Processing Society of Japan

153

して比較する(図 5)．差ベクトルの比較には Cos 類似度(cosine similarity)を用いて比較したベクトルの類似度の合計から入力したジェスチャが学習してあるどのジェスチャ

スチャ
G4：反時計回りに 6 時から 12 時にかけて半円を描くジェスチャに最も類似しているのか導き出し，類似度の合計が一定値を超えていた場合に，入力したジェスチャを学習してあるジ ェ ス チ ャ と 一 致 し た と し て 判 別 す る ． そ の 際 cosine
similarity の合計は以下のような数式で求めることにした．

図 6 ジェスチャ
被験者は身長，腕の長さが異なる 4 人を用意し，それぞれ自分が学習させたジェスチャを正しく認識できたか，他人が学習させたジェスチャも正しく認識できたか実験した．
結果は以下の表１の通りであり表 1 にある「S」，「F」については，各ジェスチャを５回入力し４回以上成功した場合は「S」そうでない場合は「F」を付けている．
表 1 実験結果

AB

図 5 ジェスチャ判別イメージ

C

身 長

腕 の自分の学習させ他人の学習させ(cm)

長 さたジェスチャをたジェスチャを(cm）認識できるか認識できるか

50

G1：S

G1：F

G2：S

G2：F

G3：S

G3：S

G4：S

G4：S

G1：S

G1：F

G2：S

G2：F

G3：S

G3：S

G4：S

G4：S

G1：S

G1：F

G2：S

G2：S

G3：S

G3：F

G4：S

G4：S

G1：S

G1：F

G2：S

G2：F

G3：S

G3：F

G4：S

G4：S

162

171

170

5252

5. ジェスチャ認識実験
5.1 実験手法
今回の実験ではジェスチャをユーザの右手の動きに限定して取ることにし，ジェスチャは以下の 4 つ（図 6）を学習させる事にした．
G1：右手を水平方向右に動かすジェスチャ

D

180

55

G2：縦方向下に動かすジェスチャ
G3：時計回りに 6 時から 12 時にかけて半円を描くジェ© 2015 Information Processing Society of Japan154

5.2 考察
この結果を見ると自分で学習させたジェスチャは正し家電操作の命令方法”，日本大学生産工学部第 45 回学術講演会講演概要, 2012．

く認識できているが，他人の学習させたジェスチャは認識し難いと言える．これは自分と他人とでは同じジェスチャだと意識しているつもりでも若干の差異があること，腕の長さの違いから同じつもりのジェスチャが異なる軌道を描いてしまっていることが原因であると考えられる．
また実験を通して簡単に任意のジェスチャで任意の家電を制御できたのか被験者の感想を調査した結果，「ジェスチャ認識が正しく出来れば家電の制御は簡単に行えると思うが命令が増加した時にどのジェスチャでどの命令送信出来るのか忘れてしまった場合困る」といった感想を得ることが出来た．

6. 今後の展望とまとめ
実験結果から得られた知見は以下の通りである．
知見 A：現段階では自分のジェスチャは認識できるが他人のジェスチャは認識し難いといった問題がある．
知見 B：学習したジェスチャが増加してきた場合ユーザがどのジェスチャでどの赤外線信号を送信出来るのか混乱してしまう可能性がある
今後の展望としてはこれらの問題を解決したいと思っており，具体的には現段階ではユーザが入力したジェスチ
ャと学習させたジェスチャを 7 点に分割した点間の差ベク
トルについて cos 類似度を用いて比較して判別しているが，今後は肩から手にかけての各関節の角度を比較して判別し，任意のユーザでも同じジェスチャを判別可能にするつもりである．また学習したジェスチャの増加からユーザが学習させたジェスチャの記憶が曖昧になりユーザが混乱してしまう可能性があることについては，学習したジェスチャに対応付けしている赤外線信号を送信する命令名を学習時にユーザに入力して貰い，その命令名と学習したジェスチャの軌道を描いた画像を命令ごとに表示するチェックリスト機能の実装をすることでユーザの記憶にかかる負担を軽減しようと考えている．
謝辞
本研究は H26 科研費若手研究(A)(代表者:岩井将行, 課
題番号:25700007) の一部により行われている． また，東京電機大学総合研究所研究 Q14J×-04 の補助を受け一部研究を行った．
本論文作成に協力頂いた東京電機大学未来科学部情報メディア学科実空間コンピューティング研究室の皆様に，謹んで感謝の意を表する．

参考文献
1) 三木 光範，長谷川 翔太朗，小野 景子，下村 浩史，“Kinectを用いたジェスチャ検出による照明の制御”，2012 年度人工知能学会全国大会．
2) 島津 正次郎，岡 哲資，中村 喜宏,“移動ロボットへの情報© 2015 Information Processing Society of Japan155