情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-87
2020/3/9

OneForAll:複数光センシングによる多様なインタラクションの実現法の提案
吉田隆之助†1外村佳伸†2

概要：本稿では，複数人が腕に装着した Halocode の LED を同時にホストサーバのカメラで捉えることで多様なインタラクションを実現するプラットフォームシステム OneForAll を提案する．本システムでは，人が操作する複数の端末それぞれはシンプルな情報発信をするだけだが，ホスト側でそれらを集約・仮想化して扱うことで複数ならではの多様なインタラクションを実現することができる．多様なインタラクションを役割型，調和型，合致型の３つのタイプに分け，それぞれを代表するシンプルなアプリケーションを作成し，それらが複数人で利用する環境として成り立っているかを検証した．今後本システムをベースに，さらに端末側の様々なセンシングデータも併せて用い，より多様なアプリケーションを実現できることを実証していきたい．

1. はじめに
近年，様々なセンシングデバイスを搭載する機器の普及により，特に人の動きを活用することが容易となってきた．例えばゲーム機やスマートフォンでは加速度センサやジャイロセンサなどが盛んに用いられている．我々はそう(a) 分担型

した機器を複数用いて多様なインタラクションが可能となるプラットフォームを開発している．そこでは機器が単純に出力し続ける汎用センサーデータをホストサーバが集約し，様々な応用を実現する．特に複数ならではの活用形態を３つのタイプに分類し，典型的な例を実現した[1]．同じような仕組みを利用した研究としては Samuli らが複数の(b) 調和型

モバイル機器を用いて集約するシステムとして，バッテリー消費等を考慮した構成を検討している[2]．
本報告では，新たに端末として様々な汎用センサーと共に LED 群による光の出力が可能な小型機器 Halocode[3]を腕装着型にして用い，人の腕の動きを HaloCode の LED 光によりとらえることを上記プラットフォームで実現し，３つの活用形態ごとにシンプルな例を実現した．構築したシ(c)合致型

ステムでは，複数の人の腕につけた LED の動きを同時にホストのカメラでセンシングする．

2. 複数汎用センシングの活用パタン
スマートフォンを用いた[1]の例では複数の機器ごとの加速度センサデータをホストサーバが同時に受信して処理

図 1. 汎用センシングデータを複数同時利用する
３つのインタラクションタイプ
分担型とは，センシングデータの利用の仕方が，入力情報によって異なり(〇，△，□等形の違いで表す)，それらが役割分担的に協力して目標をめざすものである．

した．今回は機器ごとの LED が発する光をホストサーバ側

一方，調和型とは，センシングデータの利用法はすべのカメラで複数同時にセンシングし，同様のしくみで処理て同じであるが，そのさじ加減により全体で協調的に調和した．複数端末による汎用センシングデータを用いた複数することで目標をめざすものである．

ならではの多様なインタラクションを分類する 3 つのタイ合致型とは，入力情報の処理形は同じだが，その組みプとは，(a)分担型，(b)調和型，(c)合致型である（図合わせ方に特定の成立条件を伴うものであり，その成立を1）．センシングデータの元となる機器はそれぞれを利用すめざすものである．

る人が操作することを想定しており，本タイプ分けは利用

本研究では，これらのタイプについての具体的なアプ者が皆で何をめざして操作するかに対応するものである，リケーションとして，人の操作をベースとしたシンプルな†1 龍谷大学大学院†2 龍谷大学 理工学部

© 2020 Information Processing Society of Japan800

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-87
2020/3/9

ものをプラットフォーム上で実現し，こうしたシステムの読み取るカメラおよび PC モニターからなる．図 3 に示す

応用の可能性を探ると同時に，課題の発見をめざした．

ように，数人が同じホストサーバの画面を見ながらそれぞ

具体的には，分担型では，一つの図形を３人がそれぞれ大きさ，回転，色を調整することで図形の形の穴にはめ込れ Halocode を操作する，Halocode は利用者ひとりに１台ずつ腕に装着してもらう（図 4）．

む平面図形変形ゲーム，調和型では３人が３方向から玉を押したり引っ張り合って中央に位置させるゲーム，合致型
では，各人の光の位置に対応する特定の組み合わせでのみ解除される鍵解除ゲームを実現した．

3. OneForAll のシステム概念
OneForAll は，ひとつひとつの単純な動作が全体として新たな付加価値を持つようなことをめざす意味で名づけた
図 3．実験システム利用場面ものである．本研究では，複数の人がそれぞれ持つ端末から各人の動作にまつわるデータを集め，皆でインタラクションすることではじめて実現するような活用アプリケーシ
ョンを容易に実現できるプラットフォームをめざす．
図 2 は，OneForAll のシステム構成の概念図を示すもの
で，端末の持つセンシング等の各種機能によるデータを正規化して出力し，ホストサーバで集約するものである．今回は端末機器自身のセンシングデータは用いず，LED から

図 4．腕に装着した Halocode

出力した光をホストサーバのカメラでセンシングしたデー
グデータを活用パタンに応じてフィルタリングして処理し，(1) 光情報の取得、集約
常に端末操作者の腕の位置を知るために Halocode の LEDアプリケーションで活用するものである．固定された光のを光り続けさせ、ホストサーバのカメラはセンシングし続

明暗をセンサーで読み取り，参加者がインタラクトする作

ける．Halocode は図 4 に示す通り円形に並ぶ 12 個の LED品の例もあるが[4]，本研究では人が複数同時で LED の光を持つが，今回はこれら全部を光らせ，サーバーのセンシを使うことにより，同時に参加できるアプリケーションをング窓内に検出される上領域として検出することとした．

制作している．

カメラからの画像処理で LED を検出しやすいように，カメタを同じ仕組みで扱う．ホストサーバはそうしたセンシン

ラ側で露出を絞ることで LED の光だけが目立つようにするとともに，カメラ側でわざとフォーカスをずらせてぼかすことで，画像処理によらない膨張効果を持たせた．以上か
ら 12 個の LED 全体でひとかたまりの領域として抽出される．

図 2．OneForAll のシステム概念図

4. 実験システム
今回の実験では，端末に Halocode を用い，図 2 の LEDからホストのカメラ経由の処理に関してシステムを実現した．実験システムでは，サーバーとなる PC と LED の光を© 2020 Information Processing Society of Japan

図 5．4 つの端末（Halocode）の LED の検出(2) 座標位置検出処理
複数の人（今回は 4 人まで）に腕の Halocode をカメラにかざしてもらうが，その結果はセンシング窓上のｙ座標として得られる．図 5 は 4 人の人が持つ Halocode の LED 領801

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-87
2020/3/9

域が撮影および抽出されていることを示す．ｘ値の位置でLED の上下の位置に応じてロックの状況（ビット組み合わ

端末識別，ｙ値を各応用で共通に用いる量として検出するせ）が変化する(図 8)．各 LED の配置による 4 ビットがある組み合わせに合致すると鍵が解除された通知が現れる．

5. 実験アプリケーション
実験アプリケーションとして以下に示す３種類のシンプルなゲームを作成し，複数人で利用する環境として成り立

6. 被験者評価実験
上記実験アプリケーションを実際に被験者に使ってもっているかを検証した．

らい，被験者が感じる操作への応答表示変化の認識性と応(1)分担型：平面図形変形ゲーム

答性を調べるとともに，タスク達成時間（3 分の制限時間

平面図形の大きさ，回転，色の 3 要素を 3 人で役割分担内）を測った．被験者は 6 人(20 代の男性 4 人，20 代の女して制御し、目標の図形の穴に合わせるゲームである(図性 2 人)で実験を行った．分担型と調和型のシステムは 3 人

6)．うまく穴に形も大きさも合ってはまり，周囲の色と同1 組，合致型のシステムは 4 人 1 組で参加してもらった．

じになれば目標達成である．

実験後に被験者には 5 段階評価アンケートに回答してもらった．また，それぞれのゲームの目標を達成するまでの時間を測定し，実験のタスクがゲームとして成立しているかどうか検証を行った．ここでは 3 分を目安にし，目標を達成することが不可能な場合はゲームとして成立してないと見なす．実験内容と結果について以下に述べる．
(1)アンケート項目
アンケートでは以下の内容をそれぞれ実験内容に応じて図 6．平面図形変形ゲームの画面
・役割 1：LED 画面 y 座標

→大きさ変化（拡大縮小）

・役割 2：LED 画面 y 座標

→回転・役割 3：LED 画面 y 座標→

図形の色変化(2)調和型：球押し引きゲーム
画面に表示されている球を 3 つの方向から押したり引いたりして，３者がうまくバランスを取ってボールを真ん中に持っていけると目標達成となるものである(図 7)．

聞いた．
・項目 1：応答の遅れ
・項目 2：操作に対する表示変化の認識
・項目 3：操作に対する表示内容の理解
・項目 4：操作に対する表示変化の程度理解・項目 5：機器操作性(2)結果
各実験による評価結果を図 9～11 に示す．

図 9．平面図形変形ゲーム（分担型）の結果
図 7．球押し引きゲームの画面(3)合致型：鍵解除ゲーム

図 10．球押し引きゲーム（調和型）の結果
図 8．鍵解除ゲームの画面LED の上下のパターンで鍵を解除するゲームである．各© 2020 Information Processing Society of Japan802

情報処理学会 インタラクション 2020
IPSJ Interaction 20202P-87
2020/3/9

アプリケーションを実現できることを実証していきたい．

図 11．鍵解除ゲーム（合致型）の結果
アンケートの自由記述欄には，調和型では自分がどの方向に球を押し引きしているのかわからなかった，合致型では数字が小さくてわかりづらかった，全体的な意見としては LED を上下させるのが大変だった等の意見があった．
(3)考察

参考文献
[1] 吉田隆之助，外村佳伸 “複数の汎用センシングデータを用いて多様なインタラクションを実現する方式の検討”，
2019 年度情報処理学会関西支部大会予稿，G41.
[2] Samuli Hemminki， Kai Zhao， Aaron Yi Ding， Martti
Rannanjärvi， Sasu Tarkoma， Petteri Nurmi “CoSense:a collaborative sensing platform for mobile devices”'13: Proceedings of the 11th ACM Conference on
Embedded Networked Sensor Systems，2013.
[3] https://www.makeblock.com/steam-kits/Halocode[4] 西澤 渚，辻合 秀一 “トイレットペーパーによるインタラクション ～参加型作品インタフェースへの一考察～”
図学研究 第 44 巻 2 号（通巻 128 号）平成 22 年 6 月.

評価結果を見るとシステムの遅延，画面上でのシステ
ムの動作，操作に関する評価は 3 つのアプリケーションとも高いことがわかる．このことからシステムの基本動作には大きな問題ないと考えられる．調和型では質問 2,3,4 の評価が他と比べて低いことから操作者にとってわかりづらい部分がアプリケーションのつくり方にあったと考えられる．特に操作のフィードバックが不足していたことが原因であると推測している．
アプリケーションの目標達成時間に着目するとどれも制限時間以内にタスクが達成されているが，その中では調和型が最も達成時間がかかっている，この理由としてはシステムの評価で記述したことと同じく操作者への操作に対するフィードバック不足が原因だと考えられる．

7. まとめと将来の展望
本研究では，複数の人が操作する端末のシンプルな操作によるセンシングデータを収集・仮想化して処理することにより，複数ならではの多様なインタラクションを可能にするプラットフォームシステム OneForALL を提案した．
さらにアプリケーションの分類として分担型，調和型，合致型の 3 つのタイプを提唱した．今回，使用する端末からのデータとして端末の出す LED からの光を用い，上記 3 つのタイプに準ずる平面図形変形ゲーム，球押し引きゲーム，鍵解除ゲームの 3 つを作成し，操作のレスポンス，操作に対して画面上で起こっている変化への操作者の認識，アプリケーションとしての成立性を検証する実験を行った．実験からシステムの基本的な動作には問題なく，3 つのタイプともにインタラクションの方式として成り立つことがわかった．
本研究では LED を発光させるデバイスとして Halocodeを使用しているが，同機が内蔵している加速度センサーの応用方法[3]と組み合わせることで様々なアプリケーションをさらに作ることができると考えられる．今後本システ
ムをベースに，他の種類の端末の利用も含め，より多様な© 2020 Information Processing Society of Japan803