HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

P-26

結露を模した映像による存在感の表現手法の提案
Proposal for a Method of Expressing Presence through Video Images that ImitateCondensation
佐藤保徳 1* 小幡祐樹 1

飛田

和子 2 本多博彦 1

Yasunori Sato1, Yuuki Obata1, Kazuko Tobita2, Hirohiko Honda1
湘南工科大学大学院電気情報工学専攻
Graduate School of Electrical and Information Engineering, Shonan Institute of Technology
2
湘南工科大学2
Shonan Institute of Technology
11

Abstract: 我々の研究室ではコミュニケーションの新たな手法のキーワードとして「存在感」に注目し，研究を行ってきた．従来のコミュニケーションは，対面による会話やオンライン会議のように映像や音声，テキストなどを共有する直接的かつ情報量の多いものである．しかし，近年は会話よりも他者の存在のみを期待する作業通話によるコミュニケーションが広がりつつある．互いの作業を妨げない程度の情報量でも存在感を伝達できる作業通話を基礎として，「存在感」を緩やかに提示する手法を提案する．そこで，経時的な変化の表現が可能で，生物感や人間感を想起しやすい「結露」に注目した．本研究では結露を模した映像を用いたシステムの概要および実験計画について報告する．

1. はじめに
我々の研究室ではコミュニケーションの新たな手法のキーワードとして「存在感」に注目し，研究を行ってきた．従来のコミュニケーションでは共通の議題や目的のために集まり，直接顔を合わせた会話や映像，音声を共有するオンライン会議のように明確な情報のやりとりが主流であった．しかし，コロナウイルスによる長期的な外出制限のある生活を経て，コミュニケーションのあり方は節目を迎えていると考える．近年，共通の議題や目的を持たない緩やかなオンラインコミュニケーションである作業通話が少しずつ普及している．ここで作業通話とは，同じ通話環境を共有する中で，各自個別の作業を行いながら通話をするものである．そして会話をしながら作業を行うものと無言で作業を行い，ただ同じ通話環境を共有するだけのものが存在する．本研究では後者を指す．
つまり，顔を合わせた会話やオンライン会議のような映像や音声，テキストを共有する直接的かつ情報量の多いコミュニケーションではなく，ただただ

連絡先 : 湘南工科大学大学院工学研究科電気情報工学専攻〒251-8511 神奈川県藤沢市辻堂西海岸 1 丁目 1-25
E-mail: 23T2001@sit.shonan-it.ac.jp

他者の「存在を感じる」コミュニケーションに一定のニーズがある．これは会話や映像を共有するような直接的で相互に行われるコミュニケーションではなく，インターネットを介した先に確かに誰かがいるという前提のもと，相手の存在感という情報から安心感などを得ようとするコミュニケーションだと考えられる．
我々はこの無言の作業通話の性質や存在感の伝達が見守りシステムなどのコミュニケーション問題を解決する手がかりになるのではないかと考えた．
本研究ではその前身となる存在感を緩やかに提示する手法の提案と評価の検討を行う．作業通話を基礎として，意思の伝達ツールを省き，存在感の提示手法を拡張する．通常，日常生活の障害にならないように情報提示を行いながら，寂しさや心細さなど存在情報が欲しいときに緩やかに受け取れるシステ
ムを結露を模した映像による表現手法を提案する．

2. 関連研究
映像や音声，テキストなど直接的かつ情報量が多いものを除いた手法でインターネットを通して他者の存在感を表現する先行研究として，辻田らによる
SyncDecor[1]が挙げられる．この作品は遠隔地にある照明やゴミ箱の蓋などを操作することで相手の家の対になるデバイスが同期することにより他者の存在感を表現するというシステムである．富永らによる元気スコアドットコム[2]は，シンプルなタップ操作で利用できる選択式対話エージェントを介して毎日の元気を記録し，離れて暮らす家族とゆるやかにつながれる見守り支援 AI システムである．
遠隔地間以外では，公共空間での第 3 者間のゆるやかなコミュニケーションを実現する山中らによるおしゃべり鉢べえ[3]が挙げられる．おしゃべり鉢べえは，鉢植え型会話ボットで，利用者の発言を引用した発言を行う機能により過去に行われた他の利用者の発言の内容を，他の利用者と直接話すことなく手軽に知ることができる．また，システムの質問に回答することで発言を学習させ，自分の気持ちを他の利用者に気軽に伝えることもできる．これらは，直接他者と向き会うことはないが，ネットワーク接続されている対象の機械を操作した相手が必ず存在し，機械が視界に入った時や自身が操作をする時などに，自然とその相手の存在を感じとっている．
さらに，人は人工物や自然の中にも何かしらの存在を感じることがある．高橋らによる Lumos[4]は，卓上に馴染むランプ型ロボットで，人の存在を意識して自律的に動くことでソーシャルな存在として認識されることにより社会的促進の効果について検討している．中山らは「超自然的な存在に包まれている感覚」を人工的に創り出すために，物理的特徴量の抽出を試み，クラスター分析によりその特有の視覚的特徴量を抽出可能であると示唆した[5]．このように，我々は日常生活の中で，人が実在しているかに関わらず，また人工物や自然などの人以外からも「存在感」を意識の有無に関わらず得ている．
また，結露を用いた表現の先行研究として辻本らの Ketsuro-Graffiti:結露を用いたインタラクティブディスプレイ[6]が挙げられる．これは人工的に発生させた結露を文字や絵を描くキャンバスとして捉え，情報に直接触れることで自然とインタラクションすることができるディスプレイを提案した．身近に存在する実物体を用いることで環境に溶け込んだ情報提示が可能であることを示唆した．この環境に溶け込みやすい性質を利用することができれば，緩やかに情報提示する際の手がかりになると考えた．そして，本研究では出力をデジタル表現にすることで表現の幅を拡大させながら．環境に溶け込みやすい特性を失うことなく，結露を模した映像ならではの表現を目指す．

3. 目的

3.1. 研究の全体像
本研究の目的はインターネットを介して他者の存在感を緩やかに伝えることである．
つながり感を獲得する手法を提案するためには「存在感」を伝える必要があると考える．ただ情報を伝えるだけでは，その課程で急激な変化が起こり注意を引いてしまうが，それでは本来の生活の妨げとなり，煩わしさにつながる．同様に情報量が増加
すると煩わしさにつながる．情報量が少なければ「存在感」の提示が見込めなくなる．このとき，情報量と煩わしさの間にトレードオフの関係があるた
め，ある程度煩わしさを低減させつつ，情報量が多い部分を狙う（図 1）．
我々はこれの関係に対処するため，穏やかな情報提示に経時的変化を利用する．
今回は経時的変化を利用しやすい結露を模した映像を表現するシステムを制作する．その後，存在感，安心感を得ることができたか，映像の変化を感じることができたかなどの主観評価を行う．
また，今回のシステムを制作するにあたり，マウス・キーボードや生活音，生体情報の複数の入力方法から適したものを選定する．

図 1: トレードオフの図

3.2. 結露表現を使う目的
インターネットを介して存在感を与えるために以前の研究では，微小な変化を持たせた映像による意識への影響[7]や効果音を利用した遠隔地の人間の存在感[8]を検討してきた．
しかし，視覚による情報提示の可能性に疑問に思った点があった．その改善に結露表現を利用してみようと思い立った．
存在感を与えるために結露を模した映像を用いる
目的は人間らしさ，生物らしさを持たせた抽象的な物体である結露の水滴が直接的ではなく，緩やかな情報提示に有用であるかを検討することである．ここで，キャラクターやアバターを使用した場合，視覚的に注意をひきやすく，情報量が多くなるため，本研究には向かないと考える．そこで，時間をかけて水滴がにじむ様子や結露発生の過程から生物感や人間感を想起しやすく，経時的な変化の表現が可能である結露を用いた存在感を表現する手法を検討する．

4. システム

図 3: システム概要図

4.1. 概要と構成
システムは入力である活動量の取り方によって変化する．入力がマウスやキーボードの場合，タスク作業を行う PC モニターと別に，サブモニターを設置する．サブモニターにはビジュアルプログラミングソフトウェアである TouchDesigner（以下 TD）で生成した映像を表示させる．入力が生活音や生体情報の場合，室内で滞在時間が最も長い場所にサブモニターを設置する．下図は入力がマウスやキーボードの場合を示す（図 2）．

4.2. 入力情報
システムの入力手段は「マウス・キーボード操作，生活音，生体情報」の 3 種類を検討している（表1）．いずれの手法を用いる場合でも TD を利用して映像を生成する．

表 1: 入力データと取得する値に関する表
入力

取得する値

マウス/カーソルの移動量/

キーボード

打鍵数

生活音

生体情報

図 2: マウス・キーボード入力に対応したシステ
ム
結露を模した映像をリアルタイムで生成するシス
テムの概要図を図 3 に示す．入力データとしてマウスやキーボードを動かすデバイス操作や生活音，生体情報を数値データとして収集する．複数の数値データをデータベースへ送信し，蓄積されたデータをTD へ送信する．TD 内では数値データを統合・算出処理することで最終的に結露を模した映像として出力を行う．
複数の PC から数値データを収集することで自身の数値データのみを反映した映像ではなくシステム利用者全員のデータを反映した映像となる．

音の大きさ/連続性/
ピーク値

メリット

デメリット

取得しやすい

PC操作に限られる活動に制限がない

心拍/体温/加速度/ 活動に制限がない/
Y座標

状態を推測しやすい

ノイズが入りやすい/常に録音
システム参加者はデバイスを必ず着用する必要がある

マウスとキーボード操作によるデータは Python
モジュールである pyoutogui ライブラリと TD を組み合わせて移動量の算出や特定キーの検出を行う．
マウス操作の移動量は移動の前後のフレーム時点のX 座標，Y 座標の差から求める．生活音データは振幅や周波数，位相から活動量を推定する．生態情報
は Arduino と心拍センサ，体温センサなど複数のセンサを用いて制作した測定装置からデータを収集し，活動量を推定する．

4.3. 出力情報
結露表現の要素と出力に対応するパラメータ，および期待する印象を表 2 に示す．生成映像に映し出される水滴の数はシステム参加者の数を表している．
参加者の人数を数字として直接的に表現するのではなく，水滴として表現する．この水滴発生のプロセスから他者の存在感を想起することを期待する．水滴の動きは参加者の活動量を反映させて表現し，騒がしくなく，情報量が少なすぎない情報として適度なざわつきを感じさせることを期待する．水滴の大きさは似た活動を行っている人同士を引きつけ合わせ統合させることで表現する．同じシステムの先に誰かがただいるのみではなく，緩やかに自身と似た行動をしている人を想起させることで孤立感の低下を期待する．

表 2: 結露表現の要素とパラメータの対応表
結露表現の要素パラメータとして用いる要素

期待する印象数

システム参加者数

他者の存在感動き

参加者の活動量

適度なざわつき大きさ

似た活動をしている人同士

孤立感の低下システム入退室時における参加者の状態と結露表
現について図 4 に示す．
システムへ参加した時は結露の水滴が現れる．このとき，生物感，人間感を想起させることや経時的変化を行う観点から，ゆっくり水滴を発生させる．
システム参加者の数は水滴の数のみではなく，水滴の大きさからも表現される．
システムから退室した時は水滴が流れ落ち，消滅するか，大きな水滴から分離した後に流れ落ち，消滅することで表現する．

図 5: 状態と表現（参加者の活動）
似た活動の状態と結露表現について図 6 に示す．
活動の種類が似ている時，水滴同士が惹かれ合うことで大きくなる．これは集団を形成することで安心感を担保するねらいがあるが，直接会って集団を形成することに何らかの障壁があるものにとって有効である．似た活動をしているという曖昧な情報により水滴の大きさを変化させることで安心感や親近感から気軽な集団を形成することが可能であると考える．

図 6: 状態と表現（似た活動）

図 4: 状態と表現（入退室時）

サブモニターの出力例を図 7 に示す．参加者の入出状況や活動状況が水滴の数や動きに反映されるた
め，出力されている映像は常に変化し続けている．
最終的に 1 つに統合された映像はサブモニターに出力される．

参加者の活動別の状態と結露表現について図 5 に示す．水滴の動きは参加者の活動量で決定する．控
えめな活動をしている時，水滴は停止する．普段通りの活動をしている時，水滴は振動や微動する．激しい活動をしている時，ゆっくりと自由に動く．水滴が動くとき，入室時と同様に生物感，人間感，経時的変化を意識して制作する．

図 7: サブモニターの出力例

5. 評価手法の検討
システム制作後に実施する実験は研究室で行う．
今回の実験では映像の生成はリアルタイムで行うが，入力値のリアルタイムな反映は重視しない．
被験者らに与えるタスクは加藤ら[7]が用いた統一タスクと異なるタスクを与えるものの 2 種類，入力はマウス・キーボード操作，生活音，生体情報の3 種類，映像の設置位置は PC 周辺，テーブルの上，部屋の真ん中の 3 種類，映像の変化は変化が激しい
もの，ほとんどないものの 2 種類の計 36 通りの実験を行う．
実験からタスクによる存在感提示絵の影響や異なる入力手法によって生成された映像による存在感の提示の可能性，被験者に影響を与えやすい映像を生成する適切な入力，適切な映像の設置位置，トレードオフの関係などを明らかにすることを目指す．
表 3 のアンケート結果を基に SD 法を用いて評価する．評価項目は集中度，印象，気配，気づき，騒がしさ，情報量とする．集中度は本システムが被験者本来の活動を阻害し，集中力に影響を与えていな
いか，印象は存在感を与える媒体に人間的な要素があるか，ないかによって他者の存在感を想起させやすいか，気配は他者の存在感を感じることができたか，気づきは提示する映像の些細な変化を緩やかであっても気づくことができたか，騒がしさ，情報量はトレードオフの関係があるかを評価するものである．
フィードバックとしてアンケートから各項目の評価，分析を行い，システムに適切な入力方法や数の検討，映像の設置位置の検討，トレードオフの関係の確認を行う．

実験の時は事前に活発的に動いた日，通常の生活の日，活発に動かなかった日などの生活データを収集しておき，利用することを考えている．その結果を SD 法などから定量的に評価する予定である．

参考文献
[1]

辻田 眸, 塚田 浩二, 椎尾 一郎: SyncDecor: 遠距離恋愛を支援する日用品, 第 14 回インタラクティブシステ
ムとソフトウェアに関するワークショップ(WISS2006)予稿集, pp.17-22, (2006)[2]

冨永 善視, 田中 秀樹, 松原 仁, 石黒 浩, 小川 浩平: 離れて暮らす親世代と子世代がゆるやかにつながるた
めの見守りサービスの社会実装と検証, 情報処理学
会論文誌デジタルプラクティス(TDP), Vol.3 No.2,pp.32-44, (2022)[3]

山中 崇規,吉野 孝: おしゃべり鉢べえ: 他者の存在を感じさせる鉢植え型会話ボットシステム, グループ
ウェアとネットワークサービス(GN), Vol.2010-GN-74,
No.14, pp.1-6, (2010)[4]

高橋 きなり, 巽 将司, 大島 直樹, 長谷川 孔明, 岡田 美
智男: もしもランプが生きていたら...:傍らに居る存在としての 〈Lumos〉について, HAI シンポジウム
2020, P-53, (2020)[5]

中山 一輝, 伴 碧, 高橋 英之, 石黒 浩: 自然に潜む存在感-仮想空間内の森林における探索的検討, HAI シンポジウム 2021, G-1, (2020)[6]辻本 祐輝, 伊藤 雄一, 尾上 孝雄: Ketsuro-Graffiti: 結露を用いたインタラクティブディスプレイ, 日本バー
チャルリアリティ学会論文誌, Vol.21, No.3, pp.513520, (2016)[7]

小幡 祐樹, 加藤 隼太朗, 飛田 和子, 本多 博彦:作業通
話における安心感を得るための存在認識, HCG シン

表 3: アンケート項目← 1

ポジウム 2022, I-2-3, (2022)

2

3

4

集中度

気が散ったー

集中できた

印象

機械的ー

人間的

気配ないー

ある気づき

気づかないー

気がついた

騒がしさ

騒がしいー

落ち着いた

情報量

少ないー

多い

5 →

6. おわりに今回，結露を模した映像による存在感の表現手法を提案した．システムはアクセスした者の活動量を測定し，結露を模した映像になるようにその値を反映させることで制作する予定である．展望として入力方法と結露の表現を実験から適切に対応させる．

[8]

小幡 祐樹, 佐藤 保徳, 飛田 和子, 湯浅 将英, 本多 博
彦: 効果音を利用した遠隔地の人間の存在感, HCG
シンポジウム 2023, P-2-14, (2023)