情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-47
2023/3/1

mimicube: 会話相手の表情をディスプレイにイラストで表現可能なテレプレゼンスロボットの提案
今吉 友希1

田中 悠生1

堀田 優羽1

栗原 渉2

韓 旭2

串山 久美子2

概要：近年，インターネットの普及によりオンラインでのコミュニケーションの機会が増加している．オ
ンラインでのコミュニケーションは対面でのコミュニケーションと比較し，身振りや表情，視線といった非言語情報が損なわれてしまうことが分かっている．この問題を解決する方法として，テレプレゼンスシ
ステムが提案されているが，日常での利用が難しいことや，カメラ映像を共有せずに対話を行いたいというニーズに対して課題が存在する．そこで，本研究では話し手と聞き手の目や口の動きを双方向に伝達し，会話相手の表情をディスプレイにイラストで表現することで，カメラ映像を共有することなく表情や視線といった非言語情報の伝達を可能にするアバターロボット『mimicube』を提案する．

1. はじめに
近年，インターネットの普及によりオンラインでの通話

後者のアバターロボットでは，カメラ映像を共有せずにコミュニケーションを取ることができる一方で，話し手の表情の表現に制限があることが課題である．

機会は増加傾向にある．日常のコミュニケーションの他にそこで，本研究では日常の場で利用可能なテレプレゼンも，教育現場やセミナー，会議など，さまざまな状況でオスの高いオンラインコミュニケーションの手法として，カンラインコミュニケーションが行われている．

メラ映像から取得した目や口の動きを元に，ディスプレイコミュニケーションにおいて，身振りや表情，視線とに話し手の表情をイラストで表現することで，カメラ映像いった非言語情報は重要とされている [1]．しかし，ビデを共有することなく表情や視線といった非言語情報を伝達

オ通話などのオンラインコミュニケーションは，対面でのできるアバターロボットを提案する．

コミュニケーションと比較すると非言語情報が伝わりづらく，話しやすさや内容の伝わりやすさの点に課題があることが分かっている [2]．

2. 関連研究
カメラ映像を用いずにテレプレゼンスの向上を図るロオンラインコミュニケーションをより豊かにする方法とボットとして，OriHime Biz[7] がある．OriHime Biz は身して，会話の場を対面コミュニケーションの状況に近づけ振りによる非言語情報の伝達が可能な，実体を持つアバるテレプレゼンスシステムが提案されている [3][4]．それターロボットである．また，米田らが開発した孤独感軽減

らの多くはディスプレイ等に話し手のカメラ映像を表示すのための顔の傾きによる気配創出デバイス [8] は，話し手ることでテレプレゼンスを向上させている．そのほか，ビの首の角度を聞き手の手元にあるロボットに対応させるこ

デオを用いずに聞き手の手元に話し手の身代わりとなるアとによって話し手の気配を創出し，孤独感の軽減を図った

バターロボットを置くことでテレプレゼンスの向上を図るものである．しかし，これらの手法はオンラインコミュニといった研究も行われている．

ケーションにおいて表情を表現することができない点が課

しかし，日常における友人との会話や，自宅で行うオン題である．

ライン会議のような状況においては，前者のようなテレプ

このように，話し手のカメラ映像を用いないテレプレゼレゼンスシステムを取り入れることは難しい．また，プランスロボットが提案されてきたが，それらは話し手の表情イバシーの懸念や疲労感が高まるといった理由から，カメの表現について考慮されていない．そこで，本研究では話ラ映像を相手に共有することなく対話したいと思う人もし手の表情の表現形態として，アバターに話し手の表情を多く存在する [5][6]．自宅のような環境でも利用しやすい反映させるテレプレゼンスロボットを提案する．

12

東京都立大学システムデザイン学部
東京都立大学大学院システムデザイン研究科© 2023 Information Processing Society of Japan969

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-47
2023/3/1

3. 提案システム
本研究では，話し手と聞き手の目や口の動きを双方向に伝達することで，表情や視線といった非言語情報の伝達を可能とするアバターロボット「mimicube」を提案する．
図 1 のように，ユーザ A とユーザ B の両者が mimicubeを手元に置き，会話を行う．ユーザ A の手元にある mim-icube の上部についている Web カメラがユーザ A の顔の映像を取得し，その動きをアバターの顔の動きとして描画する．描画されたものを，ユーザ B の手元の mimicube に実装されたディスプレイに表示する．反対に，ユーザ A の手元にある mimicube はユーザ B の視線や口の動きを表示する．これにより，テレプレゼンスの向上が期待できる．

遠距離の環境目、口の動き、顔の傾きが同期
ユーザ B のアバター

ユーザ A のアバター

ユーザ A

ユーザ B

図 1

図 2

mimicube の使用イメージ

mimicube のシステム図

4.3 受信時
受信した座標の値は Processing プログラムで受け取る．

4. 実装
以下にプロトタイプの実装について述べる．

受け取った黒目の位置，目の開き具合，口の形の値をもとに，アバターの表情をイラストで描画する．描画したイラ
ストは mimicube に実装された小型ディスプレイに表示される．

4.1 システム構成
mimicube は，Web カメラと小型ディスプレイで構成さ4.4 外観れている．送信時にはユーザの顔を Web カメラで撮影し，本研究では，日常的な場面での利用を想定しているため，PC 上で動作する Python プログラムで顔の動きを数値化

ユーザが抵抗感を感じにくい外観に仕上げている．ユーザしたのち，OSC(Open Sound Control) 通信で相手方の PCの表情を反映するアバターの表情は，デフォルメされたイへ送信する．受信時には PC 上の Processing プログラムでラストとしており，本体は 3D プリンターを用いて出力し値を受け取り，アバターのイラストを描画してディスプレた，丸みを帯びた形状としている．

イに表示する．システム図を図 2 に示す．

ユーザの顔とイラストの対応を図 4 に，完成した mim-icube の試作を図 5 に，mimicube を実際に使用している様
4.2 送信時

子を図 6 に示す．

mimicube に実装された Web カメラで撮影したユーザの顔の映像は PC に送られ，Python プログラムを用いて処理する．この Python プログラムは画像処理を得意とするOpenCV と Dlib というライブラリを使用している．二値化処理と輪郭検出を行うことで，映像からユーザの黒目の動きや目の開き具合，口の形を座標として取得する．座標を取得している様子を図 3 に示す．このようにして取得した座標の値を，OSC 通信を用いて相手の PC へと送信

図 3

映像から目，口の座標を取得している様子する．

© 2023 Information Processing Society of Japan970

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-47
2023/3/1

参考文献
[1]

[2]

図 4

ユーザの顔とイラストの対応

[3]

[4]

[5]

[6]

[7]
[8]

図 5

図 6

mimicube の外観

高木 幸子：コミュニケーションにおける表情および身体動作の役割, 早稲田大学大学院文学研究科紀要（2005），vol.51，pp. 25-36.
狩野繭姫，布井雅人：直接対面とビデオ通話における (1)
日常的コミュニケーションの評価の違い―LINE のビデオ通話機能を用いた検討―，聖泉論叢（2021），no. 28，pp.
105-116．
三澤 加奈, 石黒 祥生, 暦本 純一 , LiveMask : 立体顔形状
ディスプレイを用いたテレプレゼンスシステムにおけるコミュニケーションの評価, インタラクション 2012 論文集（2012）, pp.41-48.
長谷川孔明：音声遅延環境における話者交替の円滑化のためのテレプレゼンスロボットの提案, 第 78 回全国大会
講演論文集（2016），vol.1，pp. 219-220.
Kristen M Shockley：The Fatiguing Eﬀects of Camera
Use in Virtual Meetings:A Within-Person Field Experiment, American Psychological Association（2021）, Vol.
106, No. 8, pp. 1137–1155.
G. Fauville：Zoom Exhaustion & Fatigue Scale:A WithinPerson Field Experiment, Computers in Human Behavior Reports（2021）, Vol. 4, 100119.
株 式 会 社 オ リ ィ 研 究 所：OriHime Biz, 入 手 先⟨https://orihime.orylab.com⟩ （参照 2022.12.5）.
米田優香，堀之内寛太，古田ゆい，栗原渉，有山大地，韓旭，串山久美子：孤独感軽減のための顔の傾きによる気配創出デバイスの開発，インタラクション 2022 論文集（2022），ID. 1D15，pp. 191-193．

実際に使用している様子

5. まとめと展望
これまで，テレプレゼンスシステムは多く提案されてきたが，カメラ映像を相手に共有することなく話し手の表情を伝達可能なシステムは存在していなかった．そこで，本研究では話し手の表情をイラストで表現可能なテレプレゼンスロボットを提案し，実装を行った．今後，本システムと既存のテレプレゼンスシステムを比較し，テレプレゼンスや話しやすさなどのユーザ体験についての評価実験を計画している．また，本稿における実装では目や口の動きといった表情の表現にとどまっているが，顔の向きもテレプレゼンスやコミュニケーションに影響を与えられると考えられるため，顔の向きを伝達する機能の実装を行う．

© 2023 Information Processing Society of Japan

971