情報処理学会 インタラクション 2017
IPSJ Interaction 20172-505-24
2017/3/2

Master of Surrounds:周囲情報･機器に迅速アクセス･制御
戸田慎也†1西浜正人†2外村佳伸†2

概要：本報告では，人の位置記憶力を活用することで，日常で活用する情報や機能を即座に引き出し利用するシステム”Master of Surrounds”を提案する．実空間を基にした仮想空間に情報や機器と関連付けたオブジェクトを配置することで，各種情報への直観的で迅速なアクセスや，周囲にある機器を簡単に制御することができる．今回は，情報の例として音楽を始めとする音情報へのアクセスと，身の回りにある機器の例として映像機器や照明を本システムを用いて制御する実現例について紹介する．提案システムは，今後の IoT 時代のインタラクションに新しいスタイルをもたらすと考えている．

Master of Surrounds: Rapid Access & Control of Surrounding
Information and Device
SHINYA TODA†1MASATO NISHIHAMA†2 YOSHINOBU TONOMURA†2Abstract: This report proposes an interactive system called “Master of Surrounds”, which let the user pull the information orcontrol device around him/her by using spatial cues. After virtually placing information at a specific object around the user, theuser can quickly access the information just by pointing at it with the help of his/her position memory. Also, the user can perform
quick control of the device with virtual switch attached on it in the same manner. Proposed system could bring us new interaction
styles in the future IoT ages.

1. はじめに

2. Master of Surrounds

私たちは，日々様々な状況でインターネットを介して膨本システムは，各種の情報や機能を実空間に仮想的に配大な情報やコンテンツにアクセスしており，その中から目置することで情報に即座にアクセスしたり，そこにあるモ的に合う情報を賢く検索したり推薦したりする研究が盛ん

ノの機能を制御するシステムである．ここでいう実空間とである[1][2]．一方，近年の IoT(Internet of Things)の動向には個人の部屋などを想定しており，部屋の中に情報を配置見られるように，様々な機器がインターネットに繋がり，し利用したり，各機器をいつもいる場所から操作する．そ多様なセンサーや出力機器の発展とも相まって，まさに情の際，人のジェスチャー操作のみで扱えることとし，特別報環境は人を取り巻く“環境”化しつつある．こうした中な機器の装着などは要求しない．図 1 は実装したシステム

で，私たちは，利用可能な膨大な情報に目を向けるだけでを利用している様子である．プロジェクターの方向に手をなく，情報やコンテンツ，さらには身の回りで活用する機伸ばすことによって，そこにある映像を再生している様子

器までを，思った瞬間に自在に活用できる「自在感」のあを示している．

る情報環境の実現が必要であると考える．その主軸となる考え方は，最近の技術傾向に見られる様にあらゆる機能をネットや機器に任せるのではなく，人の持つ能力をもっと活用することである．
本研究では人が日常で活用する情報や機能を，人の位置記憶力を活用することで即座に引き出すことができるシステム”Master of Surrounds”を提案する．具体的にはプロトタイ
プシステムを構築し，情報として音楽のアクセスや，周辺機器の制御などを例として実現し，その有用性を確認した．

図 1

Master of Surrounds の利用風景

Figure 1

A Scene Using Master of Surrounds.

†1 龍谷大学大学院 理工学研究科 情報メディア学専攻
Graduate School of Science and Technology, Ryukoku University.
†2 龍谷大学 理工学部 情報メディア学科
Science and Technology, Ryukoku University© 2017 Information Processing Society of Japan470

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3. システムの主要な処理
3.1 人の認識と動作のセンシング
人の認識には Microsoft の KinectV2 を用いた．Kinect は6 人まで人を認識できるが，その中で部屋に置いた情報へのアクセスや機器を制御したい人を特定する必要がある．
そこで，本システムでは両手を挙げた人を操作者として処2-505-24
2017/3/2

インターが点座標であるオブジェクトと接触することによってその機器を制御することができる．その時，オブジェクトとの当たり判定が真となったときの手の形状に応じて，機器の制御を行なうこととした．具体的には手を開いた状態（パー）で音楽の再生や機器を ON にする操作，手を閉じた状態（グー）でそれらの停止や OFF にする操作が行なえる．

理するとした．
3.2 仮想空間へのオブジェクトとポインターの配置
本システムを実装するにあたり，実空間に合わせた仮想空間を定義し，その仮想空間に対して情報・機器と関連付けたオブジェクトを配置することとした．具体的には，部屋の実寸を測り，メートルを単位とした値で直方体の仮想空間を用意する．その後，用意した仮想空間に対し，情報・機器のある場所を点座標として配置していく．その後，仮想空間内を指示するための球状のポインターを動かし，各オブジェクトの点座標との当たり判定が真となることで，そのオブジェクトに対する操作を行なうことができる．
3.3 ポインターの操作法
Kinect は認識した人物の各関節の位置を，Kinect の位置を原点としたメートル座標で得ることができる．そのため，

4. 実例
本報告では特に，情報の例として音楽をはじめとした音へのアクセスと，機器の例として映像機器や照明の制御を挙げ，その技術と実現例を紹介する．音楽情報の利用に関しては，モノと音とを関連付けて配置し，再生するときにはそれをきっかけとして再生する．その制御は，手を開いた状態で再生，閉じた状態で停止をすることができる．また，各機器に関しては，実空間にある制御したい機器の位置にオブジェクトを配置する．映像機器では再生/停止，照明ではそれ自体の明かりの ON/OFF を制御できる．照明に関しては，プログラムによる制御が可能な LED 照明である
Philips 社の Hue を用いた．

実空間に合わせて用意した仮想空間の場所を示す際には，得られたメートル座標をそのまま利用することが最も容易である．しかし，通常の部屋は Kinect のセンシング範囲を超えた広さであるため，この方法であれば，制御できる機器の範囲を狭めてしまうこととなる．そこで，Kinect のセンシング範囲の外側にまで拡張する変換を施して仮想空間の座標に割り当てることとした．具体的には，人の手と頭の座標を利用し，頭から手までのベクトルを方向，その腕の伸縮を距離（ベクトルの大きさ）としてポインターの位置を計算し割り当てる．こうすることで，手を伸ばした時

図3

は仮想空間の端（つまり実空間における壁），手前まで引きFigure 3

寄せたときは自分の立ち位置となるようにポインターを操作することができる（図 2）．

本システムによる Philips Hue の制御
A “Philips Hue” is Controlled By the System.

5. おわりに
本報告では，実空間にあるモノを目印に，その方向に手を伸ばすことで，そこに紐付けられたコンテンツにアクセスしたり，そこにある機器を制御するシステム Master ofSurrounds を提案した．実空間に合わせた仮想空間を用意したことで，画面から提示される情報の視覚的フィードバックなしに操作できるシステムを実現できた．今後の展開として，対応できるコンテンツや機器を様々に増やし，操作方法の確立と体系化を図っていきたい．

参考文献
[1]

図2
Figure 2

腕を使ったポインターの操作
User’s Operations with his/her Arm.

3.4 手の形状を活用した各機器の制御
前節で述べたように，本システムでは球の形状をしたポ© 2017 Information Processing Society of Japan

五味愛, 宮崎麗子, 伊藤貴之 Jia Li, 大量画像一覧可視化手法 CAT を用いた絞り込み画像探索のための GUI, 情報処理学会全国大会講演論文集 第 70 回 pp315-316[2] 池谷直紀, 服部正典, 梅木秀雄, 大須賀昭彦, リズム入力イン
タフェース「タタタタップ」による大規模音楽検索, 情報処
理学会研究報告ヒューマンコンピュータインタラクション(HCI), 2005,52, pp.27-33

471