情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C702016/3/2

ReaCue：会議における場の活性度評価を用いた
3D オブジェクトによるポジティブな情報のフィードバックに関する検討後藤理†1,†2，a)

新西誠人†2，b)

概要：円滑なコミュニケーションはあらゆるグループ活動の効率及び成果に大きく関わっており，コミュニケーションの促進には感情などのポジティブなフィードバックが有用であることが知られてきた.本研究ではグループによりディスカッションが行われる小規模な場における音声コミュニケーションに着目し，場の活性度を表現する 3D ホロ
グラムオブジェクト ReaCue を作成した．ディスカッションにおける場の活性度は発話の重なりや笑いに関係していることから，それらをポジティブな盛り上がりと考え，音の情報から分析し ReaCue により形状に置き換え提示した．
これによりディスカッションの参加者が無意識的に場のポジティブなフィードバックを受け，良いアイデア発想につながることを目指した．

ReaCue: Study on Positive Information Feedback through 3D Object
on Meeting by Using Activity Information.
SATORU GOTO†1MAKOTO SHINNISHI†2

Abstract: Smooth communication is highly related to efficiency and product of group activities. To promoting communication，
positive feedback of feelings have been known to be useful. In this manuscript, a 3D hologram object(ReaCue) that represents
the activity of discussion at a small room was made. Activity score of discussion related with laughter, cross-talking wasdisplayed as shape on 3D hologram. The ReaCue was made for aim of leading good idea by positive feedback of real time
activity information.

1. はじめにな感情と関わる場の活性度を，「クロストーキング」「笑い」に着目した，わいわいメーターの値を用いて評価しリアル

現在，社会や組織に変革をもたらすイノベーションを個

タイムな可視化を行うことで場におけるフィードバックを人ではなくコミュニティから生み出す動きが注目され，良試みた．ディスカッションの場へのフィードバックは 3Dいコミュニケーションや効率的なコミュニケーションによホログラムによるオブジェクト ReaCue により行い，会話って価値の高いアイデア創出につなげる動きが広がってい中のフィードバックに意識的な注視を必要とせず円滑なコる．社会における組織の大きな枠組みとなる企業においてミュニケーションの妨げにならない設計を目指した．

も基礎的な対面コミュニケーションとなるミーティングは業務の中でも多くの時間を占めている．このようなコミュニケーションの場の効率化を図ることは現代社会の課題のひとつである．

2. 関連研究
ポジティブな感情はディスカッションの効率と関係すると考え多くの研究が行われている．白石らは，ポジティミーティングにおける効率化を図る研究は，これまでワブ原則を考えイノベーティブなアイデアは，笑えるアイデークショップ，グループワーク，ブレインストーミング，アを経て生まれることを示した[1]．また大森らはポジティファシリテーションなどと関連し多くの研究が行われていブなフィードバックとしてあいづちに着目し，あいづちにる．この中で，白石らはポジティブ原則として，肯定するよってアイデアの発想が増加する傾向があることを示してコメントや「いいね」というフィードバックによりディスいる[2]．

カッションを自発的に盛り上げることがブレインストーミングに有効だとしている[1]．
本研究では，このようなディスカッションのポジティブ

このようにディスカッションなどのコミュニケーションにおいてポジティブな感情の自発的な提示が良いアイデ
ア発想と関係していることから，参加者の感情を自発的に提示する道具が研究されてきた．筆者らはこれまで「会議筑波大学
Tsukuba University†2 株式会社リコー
RICOH COMPANY， LTD.
a) satoru.gotoh@nts.ricoh.co.jpb) newest@nts.ricoh.co.jp†1© 2016 Information Processing Society of Japanにあったらいいね！君」（通称：いいね！君）を，会議参加者のポジティブな感情を簡単に提示するツールとして利用し，利用した会議における会議の活性度が向上を示してい444

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C702016/3/2

る[3]．また，スマートメディカル株式会社が発売している

図 1 において実線がわいわいメーターによるデータを示し，「utakata mood-light」は話し手の気分を音声から分析する

収音データから聞き取りにより判別した笑いの区間を紫でことにより会議室の照明の色を変更し気分の共有などを促示した．図 1(a)(b)からディスカッションにおける場の活性し新しい話題とコミュニケーションのきっかけの提供を試

度の上昇の山が局所的に見られ，それぞれの山は概ね笑いみている[4]．また会議では，一人のスピーカに対し複数のの区間と一致することがわかる．また，笑いのような大きオーディエンスが話を聞くことも多い．湯村らは PICARAなピークと関わらない部分においてもわいわいメーターはを提案しスマートホンによって集めたオーディエンスの感

あいづちなどを含むクロストークによる場の盛り上がりと情データによって発表者のプレゼンテーションのスクリー関係している．このことから場の活性度をポジティブな感

ンの色を変えるシステムを提案している[5]．

情情報と考えオブジェクトを用いた可視化によるフィード以上から，ポジティブな感情のフィードバックがコミュバックを試みた．

ニケーションの促進や効率化と関わること，コミュニケーションにおける感情などのフィードバックに色などを用いた間接的な提示を行っていることに着目し，ポジティブな雰囲気と関わる場の活性度を 3D ホログラムにより可視化しフィードバックすることを試みた．

3. 音による場の活性度評価
筆者らはこれまでわいわいメーターによる場の活性度評価を行ってきた[6]．わいわいメーターはカメラによる画像情報とマイクにより収音した音情報から会話における盛り上がりを判定することができる．また，音情報のみに着目した場合においてもクロストーキングや笑いと関係する

図 1
Figure 1

場の活性度と笑いの分析結果

Discussion Activeness and Laugh Duration

4. 場の活性度の可視化オブジェクト

場の活性度をリアルタイムで評価可能である．本研究ではポジティブな感情のフィードバックがブレインストー

場のポジティブな雰囲気を表す音情報として特に笑いに着ミングなどの議論の活性化に有効なことに着目し，笑いや目し，わいわいメーターによる笑い検出を検討した．

あいづちなどと関連するわいわいメーターの分析結果を用

笑いの検出評価にワンナイト人狼を対象にわいわいメいた場の活性度のフィードバックを試みた．オブジェクトーターによる分析実験を行った．人狼は複数人で遊ぶコミの作成は Matlab を用い活性度も同時に計算している．収音ュニケーションを機軸としたゲームである.あらかじめラは Zoom Handy recorder H1 を用いて，標本化周波数 44.1kHz

ンダムに決定された村人と人狼がお互いにその役を知らなで収音し，16kHz にダウンサンプリングし使用した．

いまま，話し合いにより人狼を探り当て，人狼を退治でき4.1 コミュニケーションを妨げないフィードバックれば村人の勝利となるゲームである．この際，人狼役は村ポジティブな感情のフィードバックにおいても情報の人側のフリをすることから複雑なコミュニケーションが必

提示方法により議論の妨げになることが考えられる．また要となる．ここで利用したワンナイト人狼は人狼を小規模

会話対象者のノンバーバルな情報である表情やしぐさを見に手軽に遊べるように改変したゲームとなっている．被験ることは円滑なコミュニケーションにおいて重要である．

者は通常のコミュニケーションに問題の無い 5 名にとし，これらの問題を考え 3D ホログラムオブジェクトを用いた

ワンナイト人狼中の議論を収音し分析した．収音は Zoom

コミュニケーションを妨げない情報フィードバック手法をHandy recorder H1 を用いて，標本化周波数 44.1kHz で収音考えた．

し 16kHz にダウンサンプリングしてから分析に利用した．

図 2 にモニターディスプレイと 3D ホログラムによる情図 1 にワンナイト人狼により得た収音データの分析結果を報提示と視線の違いを示す．図 2(a)に示すように，活性度示す．分析はワンナイト人狼における人狼を探し当てるデをモニターディスプレイにより提示した場合，会話中に話ィスカッション（2 分）とゲーム終了後の会話時間のみ分

者から目を離しテーブル上のディスプレイに視線を向けデ析に利用した．ゲームは 2 回試行し，図 1a は 1 回目，図ータを読み取る必要がある．複数台のディスプレイを立て

1b は 2 回目のデータとなっている．図における横軸は時間参加者全員で情報を共有し視線の動く角度を少なくするこ（分）を示し，縦軸はわいわいメーターにより計算した活とも可能であるが，いずれの場合も会話中にディスプレイ性度を示している．本来わいわいメーターは設定した閾値からデータを読み取る行動がコミュニケーションの円滑なとの対応により活性度を求めているが，本研究ではリアル流れを阻害することが考えられる．一方，図 2(b)に示すよ

タイム処理に合わせる目的から閾値により活性度を判別す

うな 3D ホログラムオブジェクトではテーブルにある造花る未処理のデータを使用している．のように存在することを可能とし，視線が会話対象者に向© 2016 Information Processing Society of Japan445

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C702016/3/2

いている場合でもオブジェクトとして自然に視界に入り会た場合に振幅情報に合わせた色が，オブジェクトの底部か話の妨げにならず情報を無意識に近い形でフィードバック

ら上部に向かって時間とともに流れ変化する様子を表す．

可能であると考えた．また，意図せずオブジェクトが視界

これにより感知された音によって色が変化し，直感的に音に入ることによる広義のサブリミナル効果も期待できる．

によって反応するオブジェクトであることがわかる．さらには活動と関わる現状の周囲の音の大きさを一目で理解できることを目指した．
図 4 では場の活性度とともに変化するオブジェクトの形状を示す．活性度が低い状態ではオブジェクトは正四面体となり活性度があがるにつれて図 4(a)～(c)と順に球状に変化する．このオブジェクトの変化は Matlab における関数
superquad を用いて実装した．図 4(a)は結晶状の固体のイメージから場が固いことを表し，図 4(b)を経て図 4(c)のように球状になることにより円満な状況を表現した．また，オ

図2

ディスプレイとオブジェクトによる可視化

Figure 2

Sight Difference Between Monitor Display
and 3D Holographic Object

4.2 オブジェクトによる活性度の表現

ブジェクトの形が球状に近づく場の活性度の最大値は笑いによる値を考慮しヒューリスティックに決定した．これにより，場においてまとまった笑いが起こった際に図 4(c)に示すような球状に変化する．

オブジェクトによるポジティブな情報のフィードバッ
クにおいて，提示される情報が複雑で読み取りにくい場合，円滑なコミュニケーションが妨げられることが考えられる．
例えば図 1 のような 2 次元情報で活性度を提示する場合，X 軸と Y 軸で表される観測時点での座標を読み取る必要があり，さらに，X 軸上に並ぶ過去のデータは即時的なフィードバックの目的では意味を持たない問題がある．ここでは会話の妨げにならないよう無意識に近い形で情報をフィードバックすることを目指し，色と形状のメタファを用いて提示することを試みる．

図 4
Figure 4

場の活性度と笑いの分析結果

Discussion Activeness and Laugh Duration

4.3 3D ホログラムディスプレイ

音情報により反応するオブジェクトであるということ

近年簡易に作成できる 3D ホログラムディスプレイが知を示すため，色による振幅情報の提示を検討した．図 3 にられてきた[7]。本研究では，作成したオブジェクトを空間観測信号の振幅情報に合わせて変化するオブジェクトの色に投影する目的でアクリル板を用いた 3D ホログラムディの変化を示す．

スプレイを作成した．図 5 に作成したホログラムディスプ
レイと投影画像を示す．図 5(a)に示すホログラムディスプ
レイは 10inch のディスプレイに投影することを考え板厚2mm のアクリル板を上底 15cm，下底 1cm，高さ 8.75cm の台形に切り出し，それらを四方であわせるようにし作成した．3D ホログラムは作成したアクリル板のディスプレイの下部に設置したモニターの画像が反射することにより映像

図 3
Figure 3色を用いた振幅情報の提示が空中に投影される．

Color Indication of Signal Amplitude

振幅情報は 100ms 毎に dB 値を計算し最大値をヒューリスティックに決定し正規化を行い利用した．オブジェクトの色は観測した信号の振幅情報と連動させ小さい値を表す
青から，徐々に振幅が大きくなるにしたがって赤く変化させた．これは多くの音が場にいる人の活動に由来すると考え，音が発生していない状態を冷たく活性していないこと

図 5
Figure 5

場の活性度と笑いの分析結果

Discussion Activeness and Laugh Durationを表す青とし，発話が行われている活動的な状況には赤く

図 5(b)には 3D ホログラムディスプレイに投影する映像表示されるように設計した．図 3(a)は観測信号がほぼ無いの例を示す．映像は四面の 3D ディスプレイに投影する目状態のオブジェクトを表す．図 3(b)～(d)は音の入力があっ的で 4 つ配置し，それぞれのオブジェクトは時計回りの順© 2016 Information Processing Society of Japan446

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161C702016/3/2に垂平軸を基準に 90°ずつ回転させた映像を作成していディスカッションの促進効果を検証するとともに，視認性る．さらにオブジェクトはどの方向から見ていても形状がの向上を試みたい．

判断できるように 1 秒間に 10°ずつ回転させた．

5. ReaCue：ポジティブな感情をフィードバックするオブジェクト
場のポジティブな雰囲気のフィードバックが良いアイデアの創出やディスカッションの促進に繋がると考え空間上でコミュニケーションの妨げになりにくいオブジェクトを検討してきた．これまで作成してきたオブジェクトを場におけるポジティブな空気にリアクションをする ReaCueとし，実空間における 3D ホログラムディスプレイを行った．ReaCue はポジティブフィードバックとしての Reaction，良質なアイデア創出のきっかけとなる Cue，固い結晶体のメタファとしての Cube，さらに球状を表現する日本語のキュウを元に名づけている．図 6 に実際に 3D ホログラムディスプレイに投影した ReaCue の様子を示す．

図 6

参考文献
1) 白石成功，富田欣和，石橋金徳，麻生陽平，八木田寛之：イノベーション創出の短ネオワークショップ，慶応イノベーティブ
デザインスクール，Nov. 20132) 大森晃，土井晃一：あいづちが発想数に与える影響 ―その実験と分析―．認知科学 7.4 pp.292-302.2000.
3) 新西誠人，武藤靖矩，沖原正和，北林弘行，合田耕作，田中龍志，山岡和美：会議活性化ツールの効果測定: いいね! 君を用いたブレインストーミングの計測とアイデアの評価 (ヒューマンコミュニケーション基礎). 電子情報通信学会技術研究報告，
114.517， pp13-18 2015.
4) スマートメディカル社: utakata-mood light
http://www.dreamnews.jp/press/0000104257/(2015 年 12 月 15 日アクセス)
5) 湯村翼，リム勇仁，丹康雄：PICALA: プレゼンテーションにおける照明色による聴講者の感情共有システム，エンタテインメ
ントコンピューティングシンポジウム 2015 論文集， pp18-24，
20156) 新西誠人，糟谷勇児，稲本浩久：わいわいメーター: 場の活性度計測による会議の評価システムの試作 (ヒューマンコミュニケーション基礎)，電子情報通信学会技術研究報告， 114.273， pp19-24， 2014.
7) Turn your Smartphone into a 3D Hologram | 4K: Youtube
https://www.youtube.com/watch?v=7YWTtCsvgvg(2015 年 12 月 15 日アクセス)

投影された ReaCue の様子

Figure 6

Appearance of ReaCue

図 6(a)は場が静かな状態の様子を示している．場が静かな状況では正八面体のまま静かに回転していた．図 6(b)は笑いが発生した状況の ReaCue を示す．笑いが発生した状況
では図 4(a)～(c)に向けて連続的に形状が変化することで，場の盛り上がりに変化があったことが分かり，さらに笑いがおこり場が盛り上がったことを提示できた．これによりReaCue によって場の活性度からなるポジティブな情報を，コミュニケーションをなるべく妨げることなくフィードバック可能であると考えられる．一方，実際に 3D ホログラ
ムを投影することで明るい室内では映像の視認が難しくなることもわかった．

6. おわりに
本研究は議論におけるポジティブなフィードバックがブレインストーミングやイノベーティブなアイデア創出に役立つという観点から，わいわいメーターによる笑いなどの場の活性度を，3D ホログラムオブジェクト ReaCue を用いてリアルタイムにフィードバックすることを試みた．
ReaCue は 3D ホログラムオブジェクトとして環境に溶け込み，視線を相手に向けている場合でも視界に入ることで場のポジティブな情報のフィードバックが可能である．また，場のポジティブな情報は色と形状のメタファから直感的に受け取れるようにデザインされている．今後は ReaCue と© 2016 Information Processing Society of Japan447