情報処理学会 インタラクション 2017
IPSJ Interaction 20172-408-76
2017/3/2

身体機能の拡張を実感できるインターフェースに関する研究
高居 貞成1

柳 英克1

概要：センシングデバイスを用いた，身体機能を電子空間へ拡張するようなインターフェースを開発し，これの評価を行う．このインターフェースを開発するための試験機として，2015 年度未来大学システム情報科学実習にて開発を行った「Sound Motion」を再利用する．
「Sound Motion」とは，ユーザの動きをセンシングデバイスを用いて読み取り，それに応じてサウンドとビジュアルを生成するデジタルコンテンツである．本研究ではまず，「Sound Motion」が現状ユーザにどのような効果を与えるのかを，実際にユーザに体験してもらい，その様子を観察することでテストした．次に，このテストの結果を基に，「SoundMotion」の機能の改善案を検討した．そして，その改善案を実際に「Sound Motion」に反映させ，再びテストを行った．最後に，改善前と改善後で比較実験を行い，本インターフェースの有効性および妥当性を検討していく．

Research on Interfaces That Can Feel Expansion of Physical Function
Takai Sadayoshi1

Yanagi Hidekatsu1

Abstract: This research, develop and evaluate interfaces to extend the physical function to the electronicspace. We reuse Sound Motion that developed at Future University Hakodate s project learning The
Project to Develop New Experience from Hakodate in 2015. ”Sound Motion” is the digital content that generates sound and visual accordingly with the movement of a user. Firstly, we tested what current of Sound
Motion would have on users. We asked users to experience ”Sound Motion” and observed the situation.
Secondly, based on the result of this test, we examined the improvement plan of Sound Motion . Then,
we update the ”Sound Motion” on the basis of that plan. Finally, we will conduct comparative experiments
between the system before improvement and after improvement, and examine the eﬀectiveness and validityof this interface.

1. 背景

要領で踏むことで様々なリアクションが発生することを楽しむというものである．「デジタルきゃんぱす」では，壁身体性を利用した体験型コンテンツは，近年注目が高面と床面にそれぞれプロジェクターで映像が投影されていまっており，大型量販店の通路に設置されているサイネーて，それぞれで異なる内容の身体を用いたゲームを楽しむ

ジといった小規模なものから，特殊な環境や道具・装置をことができる．

用意して行う大規模なものまで展開され，一般に普及を見これらの身体的な動作をインターフェースに応用する研せている．具体的な例としては，teamLab の「天才ケンケ究も行われており，その先行研究として，木村朝子らの「広ンパ」 [1] ，ギャラクシティの「デジタルきゃんぱす」 [2]視野電子作業空間に関する考察とシステム試作〜マイノリが挙げられる．
「天才ケンケンパ」は，伝統的な児童の遊び

ティ・リポート型 I/F とその発展形」 [3] が存在する．こであるケンケンパと現代的なビジュアルアートを融合させの研究は，映画「マイノリティ・リポート」に登場する，た体験型コンテンツで，床面にプロジェクターで出力され空間上に投影された映像に対してジェスチャのような仕草た丸型・四角形・三角形のオブジェクトを，ケンケンパのをすることで入力が行えるインターフェースを実際に再現し，それの使用感や実用性を検証するというものである．

1

公立はこだて未来大学
Future University Hakodate© 2017 Information Processing Society of Japanまた，この研究に類似したアプローチでインターフェース

638

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-408-76
2017/3/2の実装を行っている製品として，体の動きで音楽を奏でることで，オブジェクトからエフェクトと音が発生する (図新世代楽器「KAGURA」 [4] が挙げられる．

3) ．音の音階はディスプレイ上のオブジェクトの高さに対しかし，木村朝子らの研究で試作された MR キューブ応している．例えば，手足を高く上げると，高い音階の音は，視差を利用した立体映像を出力するためにプロジェクが鳴り，反対に体をかがませると低い音が鳴る．本プロト

タを 3 台，ジェスチャの入力にセンサが内蔵された専用グタイプでは，ユーザの動きを読み取るためのセンシングデローブとカメラ，処理用の PC が必要と，非常に大掛かりバイスとして KinectV2 を使用し，開発言語は，タイムコーな装置である．また，MR キューブと KAGURA は，両者ドやエフェクトを描画することを考慮して Processing3 をともに一部特殊なジェスチャを覚える必要があり，身体動用いた．再生される音はそれぞれの音階に対応したピアノ

作を利用した直感的な操作性が多少損なわれている．の単音であり，これはフリーの音源と DTM ソフトウェア群を使用して自作した．

2. 研究の目的
本研究では，身体的体験が，深い没入感を得られ，それが物事に対する理解を促すことに着目し，これを機械操作のインターフェースに応用したシステムの開発と評価を行うことを目的とする．また，木村朝子らの MR キューブや，新世代楽器「KAGURA」の事例を受け，装置の小型化と，操作方法の簡素化を目指す．
そのため，センシングデバイスを利用した身体機能の拡張体験を提供するインターフェースを開発する．このインターフェースのプロトタイプとして，2015 年度公立はこだて未来大学システム情報科学実習「函館発新体験開発プロジェクト」にて開発を行った，身体操作でインタラクティブに制御するデジタルコンテンツ「Sound Motion」をベースシステムとして利用する．この「Sound Motion」の操作

図 2

ユーザの頭部・両手足をオブジェクト化した様子

Fig. 2 A state in which the user is changed into objects

性や操作感についての検証と評価を行い，それを基にシステムの修正を行っていく．また，今後の発展として，このシステムを応用した新しい体験型コンテンツの検討を行う．

3. プロトタイプ概要「Sound Motion」はユーザの動きを読み取り，サウンドとビジュアルを生成するデジタルコンテンツである (図 1)．

図 3 タイムコードの通過によるエフェクトの発生の様子

Fig. 3 A state that eﬀects has generated when passing the timecode

プロトタイプ設計の目的は，身体的体験を応用した直感的な操作を可能とすることである．特別に解説をせずともユーザが操作方法を理解できるようにするためには，まず
図 1 Sound Motion

ユーザに興味を持ってもらわなければならないと考えた．

Fig. 1 Sound Motion

そこで，エフェクトと音によるアート的な表現を取り入れた．また，不特定多数の人物が触れることを想定して，現状の仕様としては，ユーザの頭部・両手足，計５か所のディスプレイ上に反映する人体情報は丸型のオブジェクト

座標を円形のオブジェクトとしてディスプレイ上に表示しに抽象化し，さらにユーザが積極的に介入せずとも「Sound(図 2) ，タイムコードがそれらオブジェクト上を通過するMotion」が自動再生される仕組みにした．デバイス前に人© 2017 Information Processing Society of Japan639

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

が通り掛かる限り，常にビジュアルと音が出力され続けることによって，ユーザにコンテンツの存在を認知してもらう狙いである．次に，「Sound Motion」上で再生されてい2-408-76
2017/3/2

5. 観察実験の考察
5.1 被験者がセンシングデバイスに近づきすぎる問題るビジュアルや音が，自身の身体とのインタラクションで被験者がセンシングデバイスに近づきすぎてしまう問題あるということに気付いてもらう必要があると考えた．しの原因として，被験者の目線がセンシングデバイスではなたがって，オブジェクトの座標の高さと，再生される音のく，映像を出力しているディスプレイ側にあることが考え音階を対応付けた．これによって，ユーザがシステムを理られる．その根拠としては，被験者はエフェクトと音が発解するための手がかりとなり，ユーザが様々な動作，すな生しているディスプレイの方に注目をしており，KinectV2

わちインターフェースの操作を試すモチベーションを高めの存在に気がついていなかったからである．反対に，適ると同時に，コンテンツとユーザとの間にインタラクショ正距離を保っていた被験者は KinectV2 の存在に気がついンが生まれると考えた．

た，あるいはそれの仕様を熟知している者であった．この4. 「Sound Motion」の観察実験
4.1 実験の内容

問題の解決策としては，センシングデバイスとの適切な距離を示す目印のようなものを床に設置するか，またはそれが視覚的にわかる仕組みを導入することが考えられる．一

2016 年 10 月 31 日に公立はこだて未来大学で行われた方で，エフェクトと音によるアート的な表現は，被験者に「Open Lab」にて「Sound Motion」を展示し，来場者に実コンテンツの存在を認知させ，興味を持ってもらうという際に体験してもらい，その様子を観察した．被験者数は 10効果を十分に持っていることがわかった．

代と 20 代の男女合計約 40 人であった．設営環境は図 4 のとおりである．

5.2 被験者の没入度が 2 極化する問題
被験者の没入度が 2 極化する問題については，現状のシステムでは，システムと被験者との間のインタラクションが，被験者に伝わりにくかったことが考えられる．展示会場では，他に音楽を利用したコンテンツを展示していたた
めに，音による誘導の効果が薄らいでいた可能性も考えられるが，それ以上に「Sound Motion」がそもそも何を楽しむコンテンツなのかが被験者側にとって難解であったことが根本の原因であったと推察する．実際，特に何もせず放置しているだけでは「Sound Motion」の前を素通りしたり，すぐ興味を失って立ち去ったりする被験者が目立ったが，「Sound Motion」に興味を示した被験者に対して，口頭で簡単な説明とデモンストレーションを行ったところ，

図 4 「Open Lab」にて設営された「Sound Motion」

Fig. 4 ”Sound Motion” established at ”Open Lab”

半数ほどの被験者が強い興味を持ち，様々な身体動作を行うようになった．このことから，音による理解の促進は周囲の環境に強く左右されるか，あるいは単に理解が難しいということがわかった．加えて，身体の 5 つの部位を丸型

4.2 結果のオブジェクトに変換して画面上に投影するという仕様

はじめに目についたのは，多数の被験者がセンシングデが，被験者にとって直感的でなく，理解の妨げになっていバイスに近づきすぎてしまう問題が発生したことだった．

たことが考えられる．しかし，エフェクトが発生すること

KinectV2 のカメラの画角上，人体のすべてを収めるには，で，画面上で何かが起こっているということは即座に理解

KinectV2 本体からおよそ 2m 程度離れる必要があるが，多できるようであり，システムを十分に理解できていない状

くの被験者はそれよりも近く，およそ 1m の距離まで近づ態でも多少の身体動作を行っていた．以上から，被験者へく事が多かった．次に，「Sound Motion」への没入度にはのシステムの理解の誘導は，エフェクトによる演出で行う

大きな個人差が見られた．多少触れただけですぐ興味を失方が適当であり，被験者の身体情報の抽象化もなるべく程うケースと，長時間没頭するケースの 2 つに大別された．

度を小さくするべきであると考えられる．ただ，システム長時間没頭する被験者に関しては，大きく手を上げたり，を理解した被験者は全身を使って様々な身体動作を試行錯かがんだりなどといった様々な身体動作を行っていた．ま誤するようになったことから，「Sound Motion」のシステ

た，被験者が 1 人のときよりも複数人の時の方が被験者のムそのものには，被験者の振る舞いを誘発させる効果があ没入度が高くなる傾向が見られた．

ることが確認できた．

© 2017 Information Processing Society of Japan640

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

5.3 被験者が複数人の場合に没入度が高くなる傾向
被験者の人数が多いほど「Sound Motion」への没入度が高くなる傾向があることについては，被験者数が多いほど画面上に表示されるオブジェクト数が増え，その分エフェクトやサウンドが豪華になるためだと思われる．

6. プロトタイプの改善「Open Lab」での観察実験の結果を受けて，「SoundMotion」のシステムの改善を行った．特に，被験者にとっ2-408-76
2017/3/2向上が期待できると考えたからである．

7. 新版「Sound Motion」の観察実験
7.1 実験の内容改善を行ったプロトタイプについて，被験者を募り，再度実験を行った．実験では，被験者がインターフェース操作の仕様を直感的に理解できたかをテストした．実験に参加した被験者は計 6 名，年齢が 22 歳前後，男女比は 1：1である．実験の内容および手順を以下に記載する．て「Sound Motion」のシステムが理解しづらい問題は早急に対処しなければならないと感じたため，主にビジュアル( 1 ) 被験者に適切な立ち位置を提示の強化を行った．まず，ディスプレイ上にボール型のオブ( 2 ) システム起動後に，画面上のボールを掴むことができジェクトを浮遊させ，被験者がそれに対して，掴むような動作をすることでエフェクトと音声が発生するようにした

ることを教示( 3 ) 被験者に課題を与え，それを遂行している様子を観察(図 5)．この改変に伴い，タイムコードと被験者の頭部・両足の座標の情報が不要となるのでこれを削除した．また，(3) で被験者に与えた課題は以下の 3 点である．なお，握り手と判断されている場合は，手の座標を示す丸型のオ全て持ち時間は 1 分とし，仕様を理解した上で課題を達成

ブジェクトを大きく表示するように変更した．なお，開きしたことが明らかだった被験者に関しては，その時点で打手と判断されている場合は改善前とほとんど同じ表示であち切り，次の課題へ移行した．

る．これ以降は，これらの改変を施したバージョンを「新版」，改変前のバージョンを「旧版」と呼ぶこととする．

( 1 ) 任意の音を鳴らす( 2 ) こちらが指定した音階の音を鳴らす( 3 ) ボールを投射する
また，今後のシステム改善案の検討を行うため，実験終了後に，被験者にシステムを使用した感想や意見を記述していただいた．

7.2 結果上記の観察実験の結果，新版のインターフェース仕様の理解度において，男女差がある可能性が提示された．具体
図 5 ボールを握った際の動作のイメージ図

的には，手順 (2) でこちらが画面上のボールを掴むことがFig. 5 The image of the behavior when gripping the ball

できる旨を伝えた際，女性はこちらの狙いどおりボールを片手で握るような動作を行ったのに対し，男性はボールを上記の改変を行う根拠として，ボールをつかみ続ける限両手で抱え込むように操作した．また，ボールの画面上のりエフェクトと音が発生し続ける仕様になるため，単純に高さと音階の高さが対応しているという仕様についても，ビジュアルの強化がなされることに加えて，ボールがあれ女性の方が理解が早い傾向にあった．男性は最後まで理解ば掴みたくなるという人間の心理の働きを利用することできないケースや，課題 (2) 中に理解するケースがあったで，被験者にコンテンツの性質をスムーズに理解させるとのに対し，女性の場合は課題 (1) の時点で全員がこの仕様いう狙いがある．握り手の状態と開き手の状態でオブジェを理解し，課題 (2) を数秒足らずで遂行できていた．総合

クトの大きさが変化する仕様も同様に，ユーザに，システ的に見て，課題の達成速度は女性側のほうが優秀であった．

ムがボールを掴む・離す操作が認識できることを理解させ

ただし，男性側にも，こちらが提示した課題をこなすうちる狙いである．また，現状のシステムだと，タイムコードに仕様を理解し，以降の課題達成速度が高速化した者がいが画面上に表示されている丸型のオブジェクトを通過するた．この被験者の特徴については，課題 (1) 開始直後の時まで待たなければならず，受動的な体験となってしまい，点では，他の被験者と同様にボールを両手で抱え込むようコンテンツとのインタラクション性が損なわれるおそれがな操作をしていた．だが，課題 (1) を開始して 30 秒程度あるが，ボール型のオブジェクトならば，被験者が自らそが経過したときに，システムが握り手と開き手を区別する

れを掴みに行くという能動的な体験へと変化し，没入感のことができることに気付き，それ以降はボールを両手では© 2017 Information Processing Society of Japan641

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-408-76
2017/3/2

掴まず，片手で握る操作を行うようになった．実験終了後に被験者に書いていただいた記述には，「足が使えたら良い」，「もう片方の手も使いたかった」，といった改善案や，「ボールを掴むのが難しい」，「音の鳴る仕組みが理解できなかった」といった操作面での指摘があった．

8. まとめ本研究では，身体的体験を機械操作のインターフェースに応用したシステムの開発と評価を行うことを目的とした．そのために，プロトタイプとして身体操作でインタラクティブに制御する体験型デジタルコンテンツを試験的に開発した．そして，開発したプロトタイプを実際に複数のユーザに体験していただき，このシステムがユーザにどのように扱われ，さらにユーザにどのような影響を与えるかを観察した．その結果，システムの設計が，ユーザにとって非常に理解し難いものだったことがわかった．この結果を受けて，プロトタイプをより視覚的に理解できるよう改善を行い，再度観察実験を行った．その結果，今度は男女間で理解の程度に差がある可能性があることがわかった．

9. 今後の展望
今後も引き続き被験者を募って観察実験と使用感の調査を繰り返し，両者の結果を比較して本インターフェースの有効性および妥当性を検討していく．
参考文献
[1]

[2]

[3]

[4]

天 才 ケ ン ケ ン パ — チ ー ム ラ ボ/teamLab，
http://www.team-lab.com/hopscotchforgeniuses(2016.12.22).
ギャラクシティ - フロアとサービスの紹介，
http://www.galaxcity.jp/modules/doc/index.php?action=PageView&page id=42 (2016.12.22).
木村朝子：広視野電子作業空間に関する考察とシステム試作〜マイノリティ・リポート型 I/F とその発展形，インタ
ラクション 2005 予稿集, 143, (2005).
KAGURA - CHANGE YOUR MOTION INTO MUSIC,
http://www.kagura.cc/jp/ (2016.12.22).

© 2017 Information Processing Society of Japan642