情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C3-6
2014/3/1

Harmonic Space:
自発・協調行動を促すインタラクション空間の提案
上野塁†

外村佳伸†

本報告では，大画面上の表示や再生される音声をきっかけに，複数の人それぞれがシステムに対し何らかの法則性を見出し，周りの人と協調しながら行動し，システムがさらにその人々の行動に応じた処理・フィードバックを行うことで，全体として調和した大きなインタラクションを引き起こす空間 Harmonic Space の提案を行う．構築したプロ
トタイプシステムでは，大画面表示と Web カメラ，スピーカを用い，表現された情報をセンスした人々が，事前知識なしに，自発的に周りの人と暗黙の目的を発見しながら一緒に行動することで，一体感，達成感が醸成できる空間を実現した．今後，情報環境の大型化や公衆化に伴い，大きな空間におけるこうした群集向けのインタラクション空間の可能性が広がると考えている．

Harmonic Space:Space for Found-and-Aware-based Harmonized InteractionRUI UENO†

YOSHINOBU TONOMURA†

This report proposes a multi-person interactive space called "Harmonic Space" which we hope to induce people to act
harmoniously by presenting aware triggering graphics using the information observed from the people's behaviors in group.
Experimental results using a prototype system, which comprises big screens, web cameras and speakers, show that eachparticipant voluntarily acted by finding some rules how the information change while being aware of other persons' behavior, andharmonized interactions were eventually presented as a whole. We hope that this kind of found-and-aware-based multi-personharmonized interactions will be widely seen in public spaces in the future.

1. はじめにプロトタイプシステムでは，システムはディスプレイやスピーカから情報を出力する一方，カメラ画像から得られ近年，デジタルサイネージを始めとし大型ディスプレイ

る群集自身の持つ情報，例えば大きさや形などを用いてイの普及が進んでおり，不特定・複数の人に対する情報提供ンタラクションを起こすきっかけを表現する．さらに群集などに用いられている．カメラなどを使用することにより，の状況により表現を変化させることを繰り返し，システム

人とシステムのインタラクティブな情報のやり取りを実現と群集全体で調和のとれた空間の実現をめざした．

する研究も盛んになりつつある[1]．またその効果の検証実験なども駅や商業施設において行われている[2]．

2. システムと群集によるインタラクション

そこで我々は，システムの前に居る複数の人（以下群集

本研究で対象とするインタラクション空間は，「システと称する）を対象に，システムと群集によるどのようなイム」と「群集」，群集の最小単位である「人」の 3 つによりンタラクションが可能か，あるいはあり得るかについて検構成される．ここでは，これらが持ちうる属性要素を挙げ討している．その中でも特に本研究では，球場におけるウながら，システムと群集によるどのようなインタラクショ

ェーブのような場の盛り上げ，あるいは秩序維持，アミュンが可能かについて考える．

ーズメントなど，群集が協調する空間が生まれることをめ

2.1 Mass Computer Interaction (MCI)

ざしている．その際，群集はシステムについての事前知識システムと群集のインタラクションを検討するためのなしに，自発的にシステムが意図する目的や法則性を発見概念モデル(MCI:Mass Computer Interaction)を図 1 に示す．

しながら周りの人と協調的に行動することで，無理なく一[3]では，公衆空間においてインタラクションを起こす際の体感，達成感が醸成されることをめざしている．ここでは，人側からのアクション様式（インタラクション・モダリテ

システムと群集が単に情報のやり取りをすることにとどまィ）を定義しており，抜粋すると以下のようなものがある．

らず，一緒になってその場が作られ，展開していく．
本研究では，検討に当たり，まずこのような環境の概念

A) 存在…居るか，居ないかB) 位置…どの場所に居るか

モデルを考え，システムや群集，群集を構成する個人など

C) 姿勢…どのような体勢(しゃがんでいるなど)かの構成要素について考えた．さらにその一部を利用したプD) 向き…どの方向を向いているかロトタイプシステムを構築し，実験を行った．

E) ジェスチャ…意味を持つ身振り手振り† 龍谷大学理工学研究科情報メディア学専攻
Graduate School of Science and Technology, Ryukoku University© 2014 Information Processing Society of JapanF) 音…声などの明示的な発音(暗黙的な足音なども)653

また，このインタラクション・モダリティは，それが暗2.2 群集情報

黙的であるか，あるいは明示的かといった条件でソートさ大規模な空間での群集情報については，数百から数千規れている．上にあるものほど暗黙的であり，下に進むにつ模の群集モニタリング方法について可視化を中心とした研れ明示的な意味合いが強くなっていく．

究などが行われているが[4]，ここでは少数からある程度の我々の MCI では，事前知識のないところから発見的・自規模の群集に渡ってマクロに見出せそうな情報を検討する．

発的に他の人たちと一緒になってインタラクションを起こ

主に個人の位置から得られるものとして，「大きさ」「形」すものであることから，まずは暗黙的なものの役割が大き「密度」「分布」が考えられる．図 3 にそれらの例を図式化いと考えて優先的に処理し，協調がはっきりしてくると明したものを示す．人の固まりのサイズが「大きさ」を決定

示的な要素が効果を持つようになると考えた．

し，人々がどのような規則で配置されているかが「形」をフィードバック・モダリティ
・領域・物体・機能・存在・位置
大きさ・姿勢形・向き
密度・ジェスチャ分布・音群集としての解釈システム

暗決める．そして，空間全体における人の量が「密度」，人の固まりの偏りが「分布」を決定する．これらの瞬間的な状
況だけでなく，時間的な変化を合わせて考える必要がある．
たとえば，大きさが「小」から「大」に変われば，「大きくなった」という変化情報が得られる．

明

大きさ
個人によるシステムの解釈

形

個人によるインタラクション・モダリティ

・物理法則・心地よさ
・知識欲

群集・存在・位置・姿勢・向き・ジェスチャ
・音

暗大

小横一直線

三角形

密度明十字

分布

図 1: Mass Computer Interaction (MCI)モデル
システムはこのような個人から発現するインタラクシ
ョン・モダリティをまずとらえ，それを 1 つ上のレベルで低密度

高密度

右に分布上に分布左下に分布

図 3: 群集の配置状況

ある群情報として解釈する．そして，その群情報をどのようなものとして表現するかというフィードバック・モダリティを決定し，群集に対して刺激として表現する．一方，そのフィードバックに何らかの法則性を見出した人は，自3. Harmonic Space

発的に他の人と協調しながらアクションを起こす．このス

前述の考え方に基づき，利用者に体験的にシステムの表パイラルによって人とシステムが調和した大きなインタラ

現を見ながら，他の人と協調しながら行動することのできクションを引き起こすことが期待される．図 2 は，インタるインタラクション空間 Harmonic Space を設計した．具体

ラクション・モダリティのうち比較的暗黙的な「位置」を的には，システムがインタラクション空間内に立っている用いてこの処理を構成する場合の情報のレイヤモデルを表人々に，人々自身の群集情報を用いたフィードバックを返現したものである．さらに他のモダリティを組み合わせるし，人々にそれを解釈しながら簡単な問題を解決してもらことで表現の可能性が広がる．

うプロトタイプシステムを構築した．
3.1 研究環境

秩序統制
監視群パフォーマンス
応用

セキュリティ

Harmonic Space を実現するためのシステム環境は，Webカメラ，ディスプレイ，スピーカ，コンピュータから成るハードウェア，ソフトウェア実行環境，それらの上で動作するアプリケーションの 3 つにより構成されている．

解釈とフィードバック

変化情報領域，物体，機能…としてフィードバック
群集情報の変化から読みとる

ハードウェアには，Windows PC と複数の 60”大型液晶ディスプレイ，PC 用 Web カメラ，PC 付属スピーカを使用した．大型液晶ディスプレイの前面に複数の人が行動可能な群集情報

大きさ，形，密度，分布…をとらえる空間がある．ただし本システムは原理確認用のため，想定群集群をとらえる人数として多くとも 10 人ぐらいまでとしている．

個人

インタラクション・モダリティをとらえる

本研究では群集の状況を取得するために，個々の人をオ
図 2: MCI における処理体系© 2014 Information Processing Society of Japan

クルージョンなく識別しやすい方法として，真上から見下ろし撮影した映像を用いることとした．カメラの高さが654

3.20m，撮影可能な範囲が左右 3.75m，奥行き 2.74m である．

バック・モダリティの選択が重要である．本プロトタイプ

ソフトウェア開発には，プログラミング言語である Javaシステムでは，「領域」「物体」「機能」のフィードバック・とそのライブラリである JMF（Java Media Framework）をモダリティに対応した 3 つのアプリケーションを構築し，使用した．これらの環境により本プロトタイプシステムにそれぞれで異なる表現を使用した．

おけるアプリケーションの開発を行った．図 4 に Harmonic

3.3.1 ReadLight …「領域」

Space の外観図を示す．

ReadLight は人ひとりずつが小さな懐中電灯となり，空間に敷かれている情報を人が集まることで見ることができるシステムである．空間内に人が少ない場合，自分の周り以外は暗闇であるため，その中を移動することで情報を見ることになる．しかし人が多ければ多いほど全体が明るくなり，移動せずとも情報を周りの人と共有しながら見ることができる．これは，群集の大きさを空間内にける「領域」として活用している．図 6 では ReadLight において，複数人によりテキストを見ている際の様子を示す．

図 4: Harmonic Space 外観
3.2 個人をとらえる処理
本プロトタイプシステムでは，群集情報の検出方法として，背景差分により，空間内に人が存在する場所と存在しない場所の 2 値化を行い，さらに一定以上の大きさの固まりを検出するフィルタを通すことで個人の位置の判定を行った．これらの処理を行った結果を図 5 に示す．左上から

図 6: ReadLight

右に向かって現在の映像フレーム，キャプチャした背景画像，背景差分による 2 値化画像，人をブロック集合に分解した処理結果である．

3.3.2 AmeBall …「物体」
AmeBall は画面上部から落下してくるボールを左下の穴に入れるゲームである．このゲームにおいて人は「物体」であり，ボールは他のボールおよび人々と衝突するように設計されている．また，人を小さなブロックに分解表現したもの(アメーバ)のように表現しているため，人と人との垣根を取り払い，協力感が生まれるようになる．図 7 に実際に AmeBall において，ボールを左下の穴の方へ転がしている際の様子を示す．

図 5: 位置検出処理結果
3.3 応用例
基本概念がどの程度実現できているかを確認するため，空間内に居る群集の持つ情報を用いたアプリケーションを作成した．

図 7: AmeBall

群集に自発的かつ協調的にアクションを起こさせる為には，システムが群集情報を用いて表現する際のフィード© 2014 Information Processing Society of Japan655

3.3.3 Anamony …「機能」
Anamony はディスプレイによる表示に加え，音の再生も加えたシステムである．空間上に 6 つの穴が配置されておい印象を受けた．多くの音が交じり合っていたため，不快に感じてしまった事が考えられる．
4.2 考察り，その穴からそれぞれ何かしらの音が絶えず漏れ出てい手を上下に振っている人が非常に多かった原因として，る．人がその穴の上に立つことで，穴は塞がれ，音は止む．

垂直に設置されたディスプレイと空間との間に認知上のギ

これは人を，穴を塞ぐことのできるマンホールのような物ャップが発生していることが考えられる．すなわち，シス体としての「機能」として表現している．特定の穴を塞ぐ

テムでは上部からの撮影による前後関係を，全面の画面のことで一つのメロディーとして音楽となるように再生させ上下関係に置き換えていることが関係している．マウス操る音を分割させて穴の中に潜ませた．ディスプレイには 6

作では今日普通になってはいるものの，空間における人のつの穴と，人をブロック単位で表現したものを表示させて位置を垂直に設置されたディスプレイに対し，どのようにいるため，穴を塞いでいるかそうでないかの理解を容易に表示すればより直観的に理解しやすいかを検証する必要がした．このシステムは音と画像による複数のフィードバッある．今後，ディスプレイの設置角度を変化させることにクによる理解の容易性に加え，人間の持つ和音に対する心より，どの角度までは物理現象とマッチするかを確認し，地よさに働きかけることにより，人の自発性を刺激してい人々に対する認知負荷をどの程度軽減させる事が可能か検る．図 8 に実際に Anamony において，特定の穴のみを塞い証する予定である．

でいる際の様子を示す．

しかし，こちらから何も言わずとも自発的に手を振ったり，空間内を歩きまわったりしながら，生じる現象を行動的に探索することをし，特に AmeBall に関しては人々が一直線になることでボールを次々に穴に入れている現象，すなわち協調が見られたため，人々に対し自発・協調行動を促す環境がある程度実現出来たと考えている．

5. おわりに本研究では，システムと群衆によるインタラクションにおける可能性を，MCI という概念モデルを考えることによ
図 8: Anamony

り検討し，その一部の要件を満たすプロトタイプシステムを構築した．群集のもつ情報の取得方法や，システムの効4. 実際に使用してもらって果的な表現方法など，改善する箇所は多々あるが，今後，情報環境はさらなる大型化や公衆化を見せることが考えら

これらのシステムを，大学で行われているオープンキャれており，大きな空間におけるこうした群集向けのインタンパスや学園祭の研究室公開の場において，一般の方々約ラクション空間の可能性への手がかりが得られたと考えて200 人に実際に使用してもらった．

いる．
なお，インタラクティブ展示では，プロジェクタによる4.1 総合的な感想挙がった意見の中に，ディスプレイ上のブロック集合と大画面を用いて上記システムの実演を行う予定である．

空間上の自分の位置の対応を，空間内に入った瞬間に理解することが難しいと言うものがあった．しかし，一度空間内に入り適当に歩き回ってもらうとすぐにこれらの対応関係を理解してもらうことができた．今回は人がディスプレ

参考文献
1)

Jorg Muller, Robert Walter, Gilles Bailly, Michael Nischt, Florian
Alt: “Looking glass: a field study on noticing interactivity of ashop window”, Conference CHI '12 CHI Conference on Human
Factors in Computing Systems, pp.297-306, (2012)

2)

Kuikkaniemi K, Jacucci G, Turpeinen M, Hoggan E, Muller J:“From Space to Stage: How Interactive Screens Will Change Urban
Life”, Computer, 44, 6, pp.40-47, (June 2011)

3)

Jorg Muller, Florian Alt, Albrecht Schmidt, Daniel
Michelis: ”Requirements and Design Space for Interactive Public
Displays”, MM '10 Proceedings of the international conference on
Multimedia, pp.1285-1294, ACM New York(2010)

4)

Brian E.Moore, Saad Ali, Ramin Mehran, Mubarak Shah,: “VisualCrowd Surveillance Through a Hydrodynamics Lens”,
Communications of the ACM, 54, 12, pp.64-73, (Dec 2011)

イ側に歩けばディスプレイ上の対応したブロックは上部に，逆にディスプレイから離れるとブロックは下部に移動するように設定した．ほとんどの人がその対応関係に違和感を示すことはなかったが，手を前に出すべき際に上に上げるなどが多く見られた．また，稀にその対応関係が逆の人，すなわちディスプレイ側に近づけばブロックが下部に移動するべきと考える人がいた．
全体的な感想としては，システムに関する説明がさほど必要ではなかったのは AmeBall であった．Anamony に関しては，ある程度システムの説明をしないと理解されていな© 2014 Information Processing Society of Japan656