WISS2013

BrightFace: プロジェクションによる表情拡張システム
辻田 眸

暦本 純一∗

概要. 対人コミュニケーションにおいて，重要な役割を果たしているのは表情や身振り，声の調子などの非言語情報であると言われている．なかでも表情は自分の感情を表出し，また他者の感情を理解するために効果的な手段である．しかしながら人によっては自分の感情をうまく表現できなかったり，他者には伝わりにくいときもあるだろう．メールなどの文字メッセージでのコミュニケーションの場合，顔文字や絵文字などを利用し，自分の感情をより効果的に伝えることができる．そこで実世界の対面コミュニケーショ
ンにおいても，文字メッセージで行われているようなアイコンを利用し，自分の表情を補足することができれば，より効果的に自分の感情を他者に伝達でき，コミュニケーションに役立つのではないかと考えた．
本研究ではユーザの表情に応じて，アイコンをユーザの顔に投影し，表情を拡張表現することで，対人コミュニケーション支援を行うシステム「BrightFace」を提案・実装した．

1

はじめに

Mehrabian 氏らの研究 [1] によると，対人コミュニケーションにおいて，表情やしぐさが他者の印象や感情を判断，理解するのに重要な役割を占めているとされている．しかしながら人によっては自分の感情をうまく表現できなかったり，また他者の表情を読み取れず，感情の読み間違いをしてしまうこともあるだろう．一方，メールやチャットなど，文字によるコミュニケーションにおいては，顔文字や絵文字など，自分の表情を表すアイコンを利用することで，相手に自分の感情や雰囲気を伝達する役割を果たしている．さらに漫画やアニメーションの世界
では，キャラクターの顔にアイコンを書き加えたり，頭上に線を書き足し強調して表現することで，絵に対する印象を変化させる表現技法が知られている．
そこで，日常生活での対面会話のときに，このような文字コミュニケーションで行われているアイコンの付加や漫画等で用いられている表現技法を利用し，ユーザの表現能力を拡張することで，お互いの感情理解を深め，コミュニケーション円滑化の支援になるのではないかと考えた．本研究ではユーザの表情に応じて，アイコンをユーザの顔に投影し，表現能力を拡張することで，コミュニケーション支援を行うシステム「BrightFace」の提案を行う．

2

BrightFaceBrightFace はユーザの表情に応じて顔にアイコンを投影させることで，ユーザの感情をよりわかりやすく他人に伝達できるシステムである．例えば図1 のように，ユーザが笑顔になったときにはその表∗

Copyright is held by the author(s).
東京大学大学院情報学環 株式会社ソニーコンピュータサイエンス研究所

図 1. BrightFace システム．ユーザの表情を検出し，それに応じたアイコンをプロジェクションする．

情を拡張表現できるような幸せそうなハートアイコンを，またユーザがやや悲しい表情をしたときには，涙マークなどのアイコンを顔にプロジェクションする．ユーザの表情に応じて，リアルタイムに表情理解が容易にできるようなアイコンをユーザの顔に投影してあげることで，ユーザの表現能力を拡張し，他者の表情・感情理解を深め，コミュニケーション円滑化につながるのではないかと考えた．
本論文では基本的感情表出の中の，「喜び・怒り・悲しみ」に着目した．プロジェクションするアイコンについては，漫画でその表情を拡張表現するときに用いられているような一般的なアイコンを採用した（図 2）．ただし喜び（笑顔）のアイコンについては，様々なアイコンを投影し検討した結果，より表情理解が容易にできるような，図２のようなハートアイコンを投影することにした．表情拡張する感情の種類，提示するアイコンの適正については今後評価実験を通じてさらに検討していきたい．

WISS 2013

用した．ユーザの表情検出には openframeworks のofxFaceTracker を利用した．またあらかじめユー
ザの表情を登録しておくことで，笑顔だけでなく，ユーザの表情に応じてアイコンを表出・プロジェクションし，ビジュアルフィードバックを与える．ア
イコンはユーザの顔の傾き，顔の大きさに応じてサイズを変え，ユーザの顔に位置にあうように工夫している．
図 2. プロジェクションするアイコンの例．

図 3. BrightFace のシステム構成．

2.1

プロジェクターでのアイコン投影

ユーザの表情に対してフィードバックを与える方法はいくつか考えられる．例えば，ユーザの表情や会話の内容に関するフィードバックをディスプレイに投影したり，テーブルとディスプレイが一体となっているデバイスに，アニメーションを映し出したりすることも考えられる．しかしながら，そういった場合，相手の顔から目線をはずすために，相手の表情とアイコンの両方を見ることは容易ではない．そこ
でユーザの目線をそらすことなく，また会話を阻害しないような形で，他者の表情理解の支援，また自分自身の表現能力の拡張を行い，感情を容易に相手に伝えることができるような表現方法を模索した．
その結果，顔に直接プロジェクションすることで，相手の表情とアイコンを同時に見ることができるので，ユーザの目線をそらすことなく，またプロジェクターによりアイコンだけでなく，様々な表現が可能になるため，会話を阻害せず，コミュニケーション支援に役立つのではないかと考えた．

3

システム構成BrightFace のシステム構成について述べる（図3）．USB カメラと小型プロジェクターが一体になっている．プロジェクターについては，小型でかつ，明るい室内においても，プロジェクションされたアイコンや効果がわかるように，サンワサプライ株式会
社の DLP 方式採用のモバイルプロジェクターを使用している．テーブル上においてもあまり圧迫された感じがなく，会話自体を阻害しない小型なものを採

4

関連研究

これまでにも会話の可視化や，プロジェクションマッピングによって人が受ける印象を変化させる研究は多くなされている．埴淵らは [2] ２者間の対面会
話環境において，笑顔アイコンをテーブル上のディスプレイに提示することで，会話や顔面動作にどのような影響を与えるのかを検証した．IllumiRoom[?]
は，プロジェクターと Kinect を組み合わせ，テレビの周囲に画面の延長となる映像や，画面と連動する映像を映し出すことで，ゲームの没入感を高めている．扇情的な鏡 [3] ではディスプレーに映し出されたユーザの顔をシステムが自動で目や頬の位置を変えることで，ユーザの表情とは関係なく，笑い顔や悲しい顔に変形するシステムである．我々は人の顔に直接プロジェクションを行い，表情の表現能力を拡張することで，人の印象がどのように変化するのかを検証したり，コミュニケーション支援や会話の活性化を目指している．

5

まとめと今後の予定

ユーザの表情に応じて，アイコンをユーザの顔に投影し，表情を拡張表現することで，対人コミュニ
ケーション支援を行うシステム「BrightFace」を提案・実装した．USB カメラと小型プロジェクターを利用し，基本的感情表出の中の，「喜び・怒り・悲しみ」に着目し，それに応じたアイコンをユーザの顔に直接プロジェクションを行った．現在は卓上のシステムになっているが，将来的にはモバイルな参考文献[1] Mehrabian, A. Communication without words,
Psychology Today, 1968, 2 (4), 53-55.
[2] 埴淵俊平, 伊藤京子, 西田正吾. ソーシャルインタ
フェースの設計に向けた笑顔アイコン利用方法の検討, ヒューマンインタフェース学会論文誌, 201111-25, 13, 4, 365-375.
[3] S.Yoshida, S.Sakurai, T.Narumi, T.Tanikawa and
M.Hirose: Manipulation of an Emotional Experience by Real-time Deformed Facial Feedback,AH2013, Stuttgart, Germany, Mar, 2013.