情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2C67
2018/3/5

ForceIt: 仮想媒体を介して領域的作用を与える
インタラクション手法の提案
西浜正人†1外村佳伸†2

概要：本稿ではジェスチャーにより，従来のポインティングやジェスチャーコマンドとは異なり，領域を作用対象とする新しいインタラクション手法 ForceIt を提案する．利用者は対象との間に定義した仮想媒体を操作し，間接的に対象の部分的な領域に作用を与える．仮想媒体はシンプルな機能のみを持ったパーティクル群から成り，それらが相互に作用し合いながら全体として 1 つの不定形の媒体のように振る舞うことをめざした．提案手法により，空間を意識して対象に働きかける様々な場面での展開が期待できると考えている．

ForceIt: Regionally Affecting Gersture Interaction
through Virtual MediaNAOTO NISHIHAMA†1YOSHINOBU TONOMURA†2

Abstract: This paper proposes a new interaction style of Human-Computer Interaction which people can affect targets
regionally through virtual medium instead of traditional pointing. The virtual medium is a swarm of particles, each has simple
functions, which acts like an amorphous mass as an organic whole. A prototype system called “ForceIt” built as a
proof-of-concept shows that the concept is promising from initial experiment results. It could be used in various scenes which
need spatial interactions with targets.

1. はじめに入力デバイスの多様化，ネットワーク技術の向上により，人とコンピュータとの関係は変わりつつある．これまで人はドライヤーで髪の毛を乾かしたり，息を吹きかけて埃を払ったり，火に水をかけて消すなど，身の回りの空気や水など見えない媒体を使って，領域的・空間的作用を与えることを日常的に行っている．

は PC やスマートフォンなど個別の情報機器とやりとりしそこで本研究では，ジェスチャーを用いて，操作対象とてきたが，IoT(Internet of Things)の発展に伴い，人々は今後の間に仮想的な見えない媒体を介した，領域的・空間的作周りに溢れる情報機器とやり取りするようになる．いわば用を与えるやり取りを行う新しいインタラクション手法

情報環境の真の“環境化”である．こうなると，人々と情ForceIt を提案する．

報環境との間に様々なインタラクションが可能となり，またその重要性もさらに増していくと考えられる．そこで我々は，特定の応用によらないインタラクション手法の原

2. 関連研究

則として，特別な機器を使わずとも，人の存在そのものや近年広く用いられるようになってきたジェスチャー・イ

動き，しぐさなどを用いて周囲の情報環境とやり取りできンタフェースに関しては，手によるプリミティブな型を提る基本的なインタラクション手法を提案して来た[1][2]．今供するものがある[4]．これは対象との間に距離がある場合

回は新たに，人と情報環境との間に仮想的な媒体を介し，に，ジェスチャーをコマンド的に用いるものであり，これ領域的・空間的作用を与えるインタラクションを発想した．

までのコンピュータ利用につなぐ際に役立つものである．

コンピュータ操作のこれまでの基本的な考え方は，ポイ

一方，ジェスチャーを用いるものの，人が媒体を操って対ンティングのように人が明示的に対象を操作することを念象に対して領域を指示しようとする本研究目的には向かな

頭に置いた手法がほとんどである．ジェスチャーをポイン

い．両手のみを使って机上の照明調節を行う Tangible Lights

ティング操作に用いるもの[3]，あるいはコマンドとして使[5]では，人が両手で直感的に操作可能なジェスチャーのプうものなど[4]，これまでのインターフェースの非接触版とリミティブ型を提案している．人が自然にインタラクショ言えるものが多く，インタラクション手法として空間性をンを行えることを重視していることと，限られた範囲では意識したものは少ない．一方，実世界に目を向けると，人あるが領域を意識している点で本研究と共通点を持ち，参考にした．

†1 龍谷大学大学院
Ryukoku University Graduate School.
†2 龍谷大学
Ryukoku University© 2018 Information Processing Society of Japan

コンピュータが人からの入力に対して適切なフィード791

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2C67
2018/3/5

バックを返すためには，その内容や応答時間がある程度人は媒体のイメージを映画スターウォーズに出てくるフォーの予想に則していることが重要である．Abe らは動画からスをモチーフにしたものである．

オブジェクトを抽出し，前提知識なしで物理的に動画内のモノを扱える手法 Interactive Dynamic Video（図 1 では IDVと示す）の提案を行っている[7]．マウスポインタで操作を行うと，動画内のオブジェクトがあたかも実世界の物質にはたらきかけるかのように，操作をすることが出来る．この研究はフィードバックの内容や質によって人の体験感が大きく変わることを示唆している．本研究では，インタラ

図 2：提案手法の基本構造

クションの手法上，ユーザ体験に大きな影響を与えるフィFig 2 Basic Idea of ForceIt

ードバック手法が重要と考えている．
提案手法の位置づけを，現在までに開発されているコンピュータ操作手段を踏まえて，図 1 に示す．

4. システムの主な処理
本章では，提案概念の検証のために作成したプロトタイプシステムについて述べる．
4.1 ジェスチャーの扱い
本プロトタイプシステムの入力には KinectV2 を使用した．KinectV2 から取得した x, y, z 座標を元に手の速度を計算する．毎フレーム 30fps の処理速度で手の座標を取得し，その値をリストに追加していく（図 3）．リストの長さは 30で，リストの先頭と末尾の値を使って，それぞれ x, y, z に

図 1：研究の位置づけおいてベクトルを求める．リストの長さが 30 を超えた場合

Fig 1. Interaction Category

は，末尾の値を捨て，新しい値を入れるキュー型の配列を使用した．

図 1 は筆者が独自に分類したもので，縦軸を従来のポインティングやコマンドとして指示する明示的性質のあるものと今回注目した領域的・空間的性質のあるものとで考えた．そして，横軸は人が操作対象を”直接”操作するか，媒体を介して操作するかに分かれる．この考え方の元でこれまで挙げた関連研究を当てはめると図 1 のようになると考えた．

3. ForceIt の提案
本研究では，提案手法について，ユーザの振る舞い，仮図 3：速度計算のイメージ
Fig 3. Sensing Hands’s motion for velocity caluculation

想媒体，そして操作対象からのフィードバックの３つの組み合わせとして述べる（図 2）．
ForceIt を実現する上での基本コンセプトとして以下の4.2 媒体が人から受ける作用
実世界での現象を考えると，人が動いた時に空気は人か３つを置いた．

ら作用を受け，流れを作る．そして，受けた作用は次々と(1)人はジェスチャーによって，見えない仮想媒体を直感的空間に広がっていく．このような状態を実現するために，に操作し，対象への影響（強さ，方向性，領域等）を制御

本プロトタイプシステムでは，人のジェスチャーに対してできる．

しきい値を設けてコマンド的に解釈すること（例えば，押(2)仮想媒体は，ユーザと対象との間にあって，気体の様にし出し動作判定など）はせず，パーティクル群からなる仮見えないが浮かんでおり，シンプルな仮想粒子による不定想媒体の動作状態に影響を与えることとした．従って，仮形な群とする．

想空間の中のパーティクル群は常に人から大なり小なりの(3)対象は仮想媒体によってある範囲を持った領域的な作作用を受け続けていることになる．そのため，人が少し歩用を受け，また何らかのフィードバック表現をする．

いたり，動いたりしただけでもパーティクル群は作用を受以下でこれらについて述べる．また，ForceIt という名前© 2018 Information Processing Society of Japan

けることになるが，人が意図しない際の影響は操作上困る．

792

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2C67
2018/3/5

そこで，人から受ける作用の大きさと作用を受ける範囲がユーザが作用を与えると仮想空間の中を自由に動き回り，重要になると考えた．ここでは手から近いパーティクルは互いに作用を与えながら減速していき，やがて動きを止め受ける作用が大きくなり，逆に手から遠いパーティクルはるといった様相を見せる．

受ける作用が小さくなるようにした．具体的には，手からまた，原理上は無限空間に存在する無限のパーティクル作用を受けた時のパーティクルの速度を𝑣𝑝 として，式 1 をを実現するのが理想ではあるが，現実問題として，今回の考えた．

プロトタイプシステムでは，インタラクションを想定して−𝑑2

𝑣𝑝 = k ∗ 𝑣ℎ ∗ exp ( 𝑙 )（式 1）𝑣ℎ ：手の速度，d：手とパーティクルの距離，k, l：独立パラメータ
毎フレームごと，それぞれのパーティクルに対して式１いる関心空間に限定して環境を実現すると共に，前述したように有限の大きさの仮想空間を想定し，その中にパーティクル群を閉じ込めている．このことにより，作用を与えられたパーティクルが仮想空間の外に出て行ってしまうことが起こらないようにもしている．の計算を行う．k, l はそれぞれ独立パラメータであり，それぞれ 0.0～1.0 の間で調節することが出来る．k は手からパーティクルへ与える作用の大きさのパラメータ，l は手から与える作用の範囲を決めるパラメータである（図 4）．
この 2 つのパラメータを調節することでユーザがジェスチ
ャーで自然な作用を与える状態を実現できる．

図 5：可視化パーティクル群
Fig 5. Visualized particles
4.4 フィードバック
システムからのフィードバック表現には，応用場面に応じて様々な形式が考えられる．例えば，CG で描画された
図 4: 独立パラメータによる効果

対象に対して人が影響を与える場合，また何等か実写の写

Fig 4. Gesture’s effect on each independent particle

真や映像に対して影響を与える場合，さらに置かれている複数の機器が制御される IoT 時代ならではの例など，具体

例えば，両手を近づけるとパーティクルが集まって来て，的に対象が影響を受ける形態に応じて様々なフィードバッ

その状態で両手を前に押し出すと高密度のパーティクル群

ク表現が考えられる．本プロトタイプシステムでは，後述が放射されることになる．ユーザは，ある程度慣れるとパする実験においてグラフィクス表現によるフィードバックーティクル群としての大きさ，速度の大きさ，放射する方（図 6）を用いているが，最終的な表現方法は違っていて向をイメージしながらコントロールすることが出来ると考も，背景としての処理モデルは共通に考えることができる．

えた．対象への作用を大きくするには，パーティクル群を

図 6 では高密度に集められたパーティクル群が対象に当狭い範囲に押し込め高密度にしたり，強く押し出したりすたった時のフィードバック例を示す．円のように見える部

ればよい．

分の大きさがパーティクル群の大きさ，描画されている場所にパーティクル群が当たっていることを表している．色4.3 パーティクル同士の相互作用は１ピクセルあたりにかかる力の強さを表しており，強さ

仮想媒体はシンプルな機能のみを持ったパーティクル群に応じて RGB の値を変化させる．例えば，力が弱い時は Bからなる．１つ１つのパーティクルはどれも同じ機能を持の値のみ変化するが，力が強くなり B の値が上限まで来るっており，それぞれが作用し合うことで全体として１つのと，B の値はそのままで G の値を変化させる．このような媒体のように振る舞う．実世界の物理モデルを参考に，1方法でプロトタイプシステムのフィードバックを行った．

つ 1 つのパーティクルには，お互いが近づきすぎると反発するという機能と，手から受けた作用によって移動するが少しずつ減速するという機能を持たせることとした．
上記のパーティクル群を規則的に仮想の空間に配置した様子を図 5 に示す．初期値では規則的に配置されているが，© 2018 Information Processing Society of Japan793

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2C67
2018/3/5

図 6：視覚的フィードバックの例
Fig 6. An example of Visual feedback

図 7：景観演出の例（人に反応する草むら）Fig 7. Example of responsive weed

4.5 応用例
本稿で提案した ForceIt の具体的な応用方面は各種考えられるが，そのいくつかについて挙げておく．
まず，フィードバック表示に CG を用いる例として，大5. 実験
5.1 実験の目的

きな画面を使った景観的な背景を演出することが考えられこの実験の目的は間に仮想媒体を介したモデルでのインる．具体的には図 7 に示すような草むらが，前にいる人にタラクションがどれほど直感的にコントロールできるかを反応してなびくというものである．これは人が草むらには検証することである．

たらきかけるとその行動が反映されたと感じられるものであり，本プロトタイプシステムを用いて実現した．これは5.2 実験方法

人の作用によって無数に生えた草がなびくという視覚的な提案手法ではいかに見えない仮想媒体をイメージしながフィードバックを実装している．１本１本の葉の側面はベら操るかが重要になるため，被験者 7 人（20 代男性）にまジェ曲線で描画しており，葉先の座標の値をフレーム毎にずは仮想媒体のモデルについての説明を行い，仮想媒体のアップデートすることでアニメーション表現を行っている．

性質についてイメージしてもらったうえでタスクを説明し葉の生成位置と葉先の座標それぞれの初期値はすべてランた．この実験は図 8 のセットで行い，被験者には両手でパダムに決めており，作用を受けて葉がなびく時のなびき方ーティクル群を集めてそれを放射してもらった．

は 1 本 1 本独立に処理するように実装した．また，CG ではなく，写真や映像を対象にインタラクションすることも考えられる．
変幻灯[8]は，写真等の静止画にプロジェクションマッピングすることで，実物体に見かけの動きを付与できるもの
で，そのインタラクションを与える手段として本提案手法が使えると考えている．一方，CG を用いるという意味では，もちろんゲームへの応用が当然考えられる．従来からある特定の対象をねらうビーム的なものでなく，ユーザの操作で領域的な影響を与える機能の実現に役立つ．このように提案手法を既存のアプリケーションと連携させることで，様々な応用ができると考えられる．
また，様々な機器がネットワークを介してつながりあう

図 8：実験環境の構成
Fig 8. Experiment setup

IoT 時代の例として，例えばある範囲内にある複数のライトを一斉に点けたり，明るさや色を変えたりする際に，ジ

この実験の評価項目はパーティクル群を飛ばした際のェスチャーだけで実現できる．火を扇ぎ消すようなインタ

円の大きさと向き，強さの３つをどれほどコントロールすラクションも実現可能である．近年，家の室内において音ることが出来たかである．1 分間指定の動作を行ってもら

声で様々に機器を制御するハブ的な製品が出つつあるが，った後，被験者にインタビューを行い，それぞれの項目にしぐさで機器を制御することも今後求められるようになる

ついて５段階で評価をしてもらった．と考えられる．

© 2018 Information Processing Society of Japan794

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2C67
2018/3/5

開としてはパーティクルの数や空間の大きさによる仮想媒

5.3 結果・考察
実験結果は以下のようになった（図 9）．

体の振る舞いの比較をすると共に，様々な応用例を提案していきたい．

参考文献
[1]

[2]

[3]

図 9：実験結果[4]

Fig 9. Result of usability tests[5]

図 9 より，大きさに関しては概ね高評価となった．被験者へのインタビューでも自分の操作に対して適切なフィードバックがあると答えた人が多かった．

[6]

向きに関しては評価項目の中では最も悪い結果となった．理由として考えられるのは，人が両手を押し出す動作時の検知方法に問題があると考えられる．自分の予想して[7]いるところより少しずれるというコメントがあったが，人がターゲットとしている場所と実際の動作によってパーティクル群が到達した場所に違いが生じて，自分の操作と少しずれると感じた可能性がある．この問題点に関しては，[8]

Ryusetsu Matsushima, Yoshinobu Tonomura, “MetamorphicWall:Module-based Massive Sensing and Representation,” In Proc. ofACM UbiComp 2015，pp.273-276 (2015)．
戸田慎也,西浜正人,外村佳伸,“Master of Surrounds：周囲情報・機器に迅速アクセス・制御,”インタラクション 2017, 2-505-24,(2017).
中道上，天早健太，渡辺恵太，山田俊哉，“スポットライティング：認知共有のためのスポットライト型ポインティングシステム”インタラクション 2016, pp.964-969(2016).
Intel Real Sense SDK Hand Tracking Tutorial,
https://software.intel.com/sites/default/files/Hand_Tracking.pdf
2017.10.20 アクセス
Tor Sørensen, Oskar D. Andersen, Timothy Merritt, “Tangible
Lights: In-Air Gestural Control of Home Lighting,” Proc. of ACM
TEI2015, Work-in-Progress: Demonstration Presentation,
pp.727-732(2015).
Jun Xing, Rubaiat Habib Kazi1, Tovi Grossman, Li-Yi Wei, Jos
Stam, George Fitzmaurice,”Energy-Brushes: Interactive Tools forIllustrating Stylized Elemental Dynamics,” In Proc. of ACM
UIST2016, pp.755-766 (2016).
Abe Davis, Justin G.Chen, Fredo Durand,”Image-space modalbases for plausible manipulation of objects in video” In Proc ofACM SIGGRAPH Asia 2015, pp.239.1-7(2015).
吹上 大樹,河邉 隆寛, 西田 眞也,”変幻灯―錯覚を利用した光投影による実物体のインタラクティブな動き編集,” 研究
報告コンピュータビジョンとイメージメディア（CVIM）,2017-CVIM-206,No.8, pp.1-6(2017).

ジェスチャーの認識方法を改善する必要がある．
強さに関しては結果に個人差が出た．しかし，７人中５人は５段階中４または５と回答しているため，高評価を得られたのではないかと考えられる．分からないと答えた人の中には，極端な色の違いしか分からず色の変化が分かりやすいサーモグラフィーのような色のフィードバックを行うと分かりやすいのではないかとコメントした人もいた．
フィードバックを改善するとさらに良い結果が期待出来ると考えられる．

6. おわりに
本稿では，仮想媒体を介して領域的に作用を与える新しいインタラクション手法の提案を行った．今回は基礎的な部分の検証のみだが，目に見えない仮想媒体を介しての領域作用与えるインタラクションの可能性が示唆されたと考えている．しかし，パーティクル群の放射の方向性に関する評価が良くなかったため，ジェスチャーを精度よくセンシングし，自然なインタラクションを行えるようにすることが重要であると考えている．また，パーティクルの数の違いや空間の大きさの違いがどのように操作の精度や感覚に影響を及ぼすか，対象のフィードバックによって人の動作がどうように変わるかを検証する必要がある．今後の展© 2018 Information Processing Society of Japan795