同調的表情表出を提示するインタフェースの提案-2 者間会話環境に向けて-埴 淵俊平†

伊藤京子††,† 西田正吾†

A proposal of an interface to display congruent facial expressions-for face to face conversation between two persons-

SHUMPEI HANIBUCHI,† KYOKO ITO††,†and SHOGO NISHIDA†

顔の際に自分が仏頂面ならば, 他者の気分を害してし

1. は じ め にまう恐れがあるために, 意図的に同調した笑顔を作ろ

人と人とのコミュニケーションの場面において, 相う, といった対人コミュニケーションにおける戦略の互作用者のノンバーバルな行動, 例えば話し方や姿勢,ことを指す8) . 表情を変化させることで情動が影響を癖などが互いに類似することが観察される1) . 例えば受けるという顔面フィードバック仮説9) の観点から,Chartrand ＆ Bargh は実験室で実験参加者と実験協送り手の表情に対して受け手が同調した表情の応答を力者とを対面で会話させたとき,2 者間の間で顔なで行なうことで, 情動伝染が起こり, 送り手の内的感情のや足ゆすりといったノンバーバルの無意識的な行動の理解に繋がると考えらている10) . その結果, 送り手は生起量が相関することを明らかにした. さらに行動生同調した受け手に対して好感度や信頼感といった肯定態学の観点から, この性質は適応的に有利であるため的印象を抱くと推測される.に人間に備わっている行動傾向であり, 個体が集団の一方, 表情の同調を調べた研究では, 送り手の表情を成員と同じ行為をして見せることは, 自分が敵ではな見ると常にそれに引きずられて自分の表情を表出するく仲間であると主張することに等しいと述べている2) .とは限らず11) , 同調の割合は全観察時間の 20 ％以下

またノンバーバルな行動を意図的に同調させたとしてであると報告されている12) . これは受け手が送り手のも, 同調された者が同調した者に対して好感度や信頼表情に気付かずに, また仮に気付いていても同調的に感をもつことが示されている3)4)5) .

表情を表出することを怠っているためだと考えられる.

ノンバーバルな行動の中で,2 者間会話時における表
6)

情の情報量は 55 ％を占めるという . 表情は一般的にその結果, 送り手は受け手に対して否定的な印象を抱くことが懸念される.

感情と共に生起すると考えられているが, 一方で内的対面コミュニケーションの中で, 信頼関係などの社感情に関わらず他者との社会的関係を築くために戦略会的関係を形成し, 促進し, 維持させるためには他者に的に表出されるという見解がある7) . 例えば他者が笑肯定的な印象を抱かせることが重要であり, そのためには意図的に他者の表情に同調して自分の表情を表出† 大阪大学大学院基礎工学研究科システム創成専攻
Department of Systems Innovation,Graduate School ofEngineering Science，Osaka University†† 大阪大学コミュニケーションデザイン・センター
Center for the Study of Communication-Design, OsakaUniversityすることが必要だと考えられる. 同調的な表情表出の生起確率と他者が表出者に対して抱く肯定的な印象の関係性を定量的に示した研究は見当たらないが, 同調的に他者の表情を表出する場面が増えれば, より他者に肯定的な印象を与えると考えられる.

情報処理学会 インタラクション 2010

図 1 同調的表情表出を把握する手段
Fig. 1 How to know congruent facial expressions

そこで本研究では,2 者間会話環境時における社会的関係形成の促進を目指して, ノンバーバルな行動である表情の同調性に注目する. そして, 同調的表情表出の生起確率や維持時間が向上すれば, 好感度や信頼度いて述べる.

2.2 必 要 機 能
本節ではインタフェースの必要機能として同調をフィードバックする手段について検討する.

といった肯定的印象度が向上すると仮定し, 同調を促

最もプリミティブな方法として鏡を利用することがすインタフェースを提案する. 最後に提案したインタ挙げられる. 他者の表情と鏡に映った自分の表情を交フェースを利用することによって, 同調的表情表出の互に見ることによって, 両者は同調を把握することが生起確率や維持時間などの変化を確認し, その変化が可能になると考えられる. しかし, 自分の表情を直接鏡他者に与える信頼度や好感度などの印象をどの程度変で確認する必要があるために, 視線が分散してしまい,化させるかを調べるための実験環境について検討する.

会話を妨害してしまうことが懸念される.

本研究で提案するインタフェースは, 面接, 商談, 医

そこで鏡の利用などで直接的に自分の表情を把握す

師-患者間の面談などの初対面時から社会的関係を築るのではなく, 図 1 に示す通り, 両者の表情が同調しくことが要求される際に有効だと期待できる.

た場合に同調したことを提示し, フィードバックする

2. 提案ことを提案する. 直接的に自分の表情を確認する必要がないために, 会話の妨害が緩和されると考えられる.

本章では 2 者間会話環境時における同調的な表情表

また受け手が同調的な表情表出を怠れば, 同調の情報出を促すために, 提案するインタフェースについて述が提示されない. つまり送り手の表情に同調していなべる. まずインタフェースのコンセプトについて述べ,いことが明示されるため, 受け手は意図的に同調的な次に必要機能について検討し, そして表情認識の手段表情表出をする場面が増えると考えられる.

について検討し, 最後にインタフェースの設計と開発について述べる.

2.1 コンセプト
本節ではインタフェースのコンセプトについて述
べる.
コンセプトはインタフェースの利用によって, 会話中に送り手の表情を受け手が同調的に表情表出する場

次に, 図 2 に示す通り, カメラを利用して表情を認識させ, 同調の提示手段としてプロジェクタを用いることを提案する.

2.3 表情認識の手段
本節では両者の表情を認識する方法について検討する. まず認識の対象とする表情の種類について述べ,次に認識の手段について述べる.

面が増加することである. そこで会話中に両者の表情表情の同調性を調べた従来研究12) では基本 6 表が同調すれば, 同調したことを両者に明示的なフィー

情8) (幸福, 驚き, 恐怖, 怒り, 嫌悪, 悲しみ) を対象としドバックを施すことで送り手と受け手の間に一体感がているものが多く, 本研究では認識の対象としてまず生起し, 結果的に表情を意図的に同調しようと試みる

基本 6 表情を検討する. また怒り表情と嫌悪表情に関と仮定する. 次節以降にフィードバックする方法につしては同調させてしまうと好感度が減少する13) ため,

同調的表情表出を提示するインタフェースの提案-2 者間会話環境に向けて-

図 2 カメラとプロジェクタの利用による同調表情一致情報の提示
Fig. 2 Displaying congruent facial expressions by acamera and a projector
図 3 クライアント・サーバの処理
Fig. 3 Processing by server and client

本研究では対象とする表情は幸福, 驚き, 恐怖, 悲しみの 4 表情とする.
近年, 画像処理技術を用いて, 基本 6 表情の認識を行なう研究が行なわれている. そしてそれらの中には,画像入力から認識までを自動かつリアルタイムで処理する実験システムの構築に成功している事例も少なくない14)15) . しかし人物の姿勢や揺らぎ, 表情表出の個人差などが原因となり認識率が変動することが課題とされており16) , インタラクティブな 2 者間会話環境において現在の表情認識技術の信頼性にはやや疑問が残

図 4 クライアント側の表情選択画面
Fig. 4 Selecting facial expressions display from client

る. そこで本研究では今後の表情認識技術の頑健性向上を見込み, まず第三者の目によって表情認識を行い,両者に同調した表情のフィードバックを行なうこととする.

2.4 インタフェースの設計・開発
本節では 2,1 節,2.2 節,2.3 節で述べた検討を基に, インタフェースの設計と開発について述べる.
まず図 3 に示す通りに, サーバ側でキャプチャしたユーザの表情動画像をクライアント側に送る. クライ

図 5 提示する際に利用する 4 表情の画像
Fig. 5 Useing four facial expression images by projector

アント側である第 3 者は図 4 に示した表情選択画面
で 4 表情のいずれかを入力し, サーバ側に送る. 入力

2.5 予 備 実 験する際はボタンコンポーネントをクリックする. なお予備実験として 4 名の大学院生にインタフェースをユーザの表情が 4 表情のいずれでもないと判断した場利用してもらった. タスクとして 2 名ずつペアになっ合は中心の「reset」ボタンをクリックする. サーバ側てもらい, 今までの人生で 1 番幸せだったことをそれは 2 つのクライアント側の入力が同じだった場合, 入ぞれ話し合ってもらった. 4 名の幸せ表情の表出回数,力に応じた表情情報を出力する. もしいずれかのクラ累積表出時間, 同調回数, 累積同調時間の結果を表 1 に

イアント側が「reset」ボタンをクリックすると, 図 1示す.の左図に示した通り,2 者の表情は同調していないとみなし, プロジェクタから同調情報が提示されない.

3. お わ り に

次に実際にプロジェクタから提示される同調情報で

本研究では 2 者間会話環境における, 信頼度や好感は, 同調した表情に応じた静止画像を提示する. 図 5度といった社会的関係を形成するために必要である肯に実際に使用する画像を示し, 実際にインタフェース

定的印象の向上に向けて, 表情の同調を提示することを利用している様子を図 6 に示す.

で同調を促すインタフェースを提案した. そして予備

なお開発環境は Visual Studio 2005 とし, ライブラ

実験で動作の確認と幸せ表情の同調の変化を調べた.

リとして MFC,OpenGL を用いた. またサーバとクラ今後さらに実験を行い, 同調の提示によって, 表情に変イアントの通信には TCP/IP を用いた.

化があるのか, その結果被験者がお互いに肯定的印象情報処理学会 インタラクション 2010

図 6 インタフェース利用の様子
Fig. 6 Face to face conversation with proposed interface
表 1 予備実験の結果
Table 1 Result of pilot study

を抱くのかどうかを調べるための評価実験を行う必要がある.
現在, 同調提示の有無で被験者を 2 群に分けた比較実験を行うことを検討している. 同調提示の有無以外にカメラ, プロジェクタそして机などの機材の配置, 照明条件, 音響条件などは全く同じである部屋に初対面である被験者 2 人を招く.2 人にはタスクとして今までの人生で 1 番「幸せだった話」,「驚いた話」,「怖かった話」,「悲しかった話」を対面で 5 分間ずつ話してもらい, その様子をビデオで撮影する. タスク終了後,被験者がパートナーに対してどのような印象を抱いたのかをアンケート17) によって調べる. そして 2 群間に外面的な側面として同調生起確率, 同調表情維持時間に変化があるのか, 内面的側面として印象の評価に変化があるのかを分析することを今後の課題とする.

参 考文献

1) 大坊郁夫, 他: “心理学辞典”, 有斐閣 (1999).
2) Chartrand, T. L.,Bargh, J. A.：“The chameleoneﬀect: the perception-behavior link and socialinteraction”, Journal of Personality and Social
Psychology,Vol.76,pp.893-910(1999).
3) Lakin, J.,Chartrand, T. L.: “Using nonconscious behavioral mimicry to create aﬃliation

and rapport”, Psychological Science,Vol.14,pp.334-339(2003).
4) LaFrance, M.,Broadbent, M.: “Group rapport: Posture sharing as a nonverbal indicator. Group and Organization Studies”,
Vol.1,pp.328-333(1979).
5) Wallbott, H. G.:“Congruence,contagion,andmotor mimicry: Mutualities in nonverbal exchange”, Cambridge University Press,pp.8298(1995).
6) Mehrabian, A.,Ferris, S. R.: “Inference of attitudes from nonverbal communication in twochannels”, Journal of Consulting Psychology,
Vol.31,pp.248-252(1967).
7) Fridlund, A. J.: “Human facial expression: Anevolutionary view”, San Diego, CA: Academicpress(1994).
8) Ekman, P.,Friesen, W. V.: “Unmasking
the face. Englewood Cliﬀs,NJ”, PrenticeHall(1975).
9) Tomkins, S. S.: “Aﬀect Imagery ConsciousnessVOLUME1.The positive aﬀects-”, Springer
Publishing Company,pp.204-242(1962).
10) Gump, B. B.,Kulik, J. A.: “Stress, aﬃliation, and emotional contagion”, Journal of Personality and Social Psychology,Vol.72,pp.305319(1997).
11) Meltzoﬀ, A. N.: “Imitation and other minds:
The like me hypothesis”, From Neuroscience toSocial Science,vol.2,pp.55-77(2005).
12) Sato, W.,Yoshikawa, S.: “Spontaneous facial
mimicry in response to dynamic facial expressions”, Cognition,Vol.104,pp.1-18(2007).
13) Dimberg, U.,Ohman, A.: “The eﬀects of directional facial cues on electrodermal conditioning
to facial stimuli” Psychophysiology,Vol.20,pp.160-167(1983).
14) 坂口 竜己, 森島 繁生: “画像の 2 次元離散コサイン変換を利用した実時間顔表情認識”, 電子情報通信学会誌 (D-2),Vol.J80-D-2,no.6,pp.15471554(1997).
15) Otsuka, T.,Ohya, J.: “Recognizing abruptlychanging facial expressions from time-sequential
face images”, Proceedings of the IEEE Computer Society Conference on Computer Vision
and Pattern Recognition,pp.808-813(1998).
16) 赤松 茂: “人間とコンピュータによる顔表情の認識 (2)-コンピュータによる顔表情認識技術(1):表情による感情の認識-”, 電子情報通信学会
誌,Vol.85,No.10,pp.766-771(2002).
17) 井上 正明, 小林 利宣: “日本人における SD 法による研究分野とその形容詞尺度構成の概観”, 教育
心理学研究,Vol.14,pp.123-132(1985).