情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

顔表情解析による自然な笑いと作り笑いの識別
中嶋桃香 †1
慶應義塾大学環境情報学部

浜中智己，佐々木航 †2慶應義塾大学大学院政策・メディア研究科

大越匡 †3慶應義塾大学環境情報学部

中澤仁 †4慶應義塾大学環境情報学部

概要
表情と感情の結びつきに着目した先行研究によると，基本 6 感情を表す普遍的な表情があると明らかになっている．
しかし，現実世界では表情と感情は必ずしも一対一の関係ではない．例えば喜びのようにポジティブな感情を表す笑顔と，ネガティブな感情を表す作り笑いがある．特に作り笑いはうつ病の症状として見られることがある．そのため，心療内科では笑顔状態で元気な印象であっても注意深く診療を行っている．そこで，笑顔表出時の感情を推定することを目的として，顔表情データから機械学習モデルを構築する
ことによって自然な笑いと作り笑いの識別をする手法を提案した．その結果，最大で 97.0% の識別精度を達成した．

1. はじめに

図1

Ekman らが提唱した基本 6 感情に結びつく普遍的な表情 [3]

するための笑い．面白く感じていないのに空笑いする擬態，

人間はコミュニケーションを取る際に，表情や声色といっ悲しみや恐怖の感情を他人に悟られないようにするためのた情報から相手の感情や内面状態を推定している．様々な笑いである．社会的笑いについて，コミュニケーションを種類の表情の中で，特に笑顔は対人関係を円滑に進め，日円滑に進めるために笑いがどのような感情の下で生じたの常生活で頻繁に見られる幸福の表象とされている [1]．感情

かを理解することが重要だと述べている．

と表情の結びつきに関する研究の第一人者として知られる

そして，心理臨床場面において快感情を伴わない笑い，内Ekman らの研究によると，図 1 のように基本的な 6 つの感面と表出のずれがうつ病患者の特徴として研究されている．

情 (怒り，嫌悪，恐怖，喜び，悲しみ，驚き) を表す普遍的うつ病の中でも特に若い女性に多いのが「ほほえみうつ病」

な表情があることが示されている [2]．

「仮面うつ病」だと言われている [4]．この病気の特徴は周李・渋谷 [4] らの研究では，社会的笑いに関する心理学研

囲の人に笑顔や明るい表情を出して周りから悟られないよ

究を笑いの分類，社会的笑いの機能， 自然な笑いと作り笑

うに振る舞うことである．また，他人の視線を意識しやす

いの差異，笑いの発達，笑いの識別，笑いの 6 つの観点かい傾向や自己の容姿や行動への意識は心理学の研究では公ら概観した．この研究では，快感情を伴わない笑いを社会的自己意識と呼ばれているが，この公的自己意識が高い人的な笑いとして述べている．例えば，真の感情を隠蔽，擬装ほど作り笑いをしやすいという研究もされている [5]．
このように，作り笑いが注目される中で，自然な笑いとFacial Expression Analysis to Discriminate Between Natural andFake Smiles
†1
†2
†3
†4

MOMOKA NAKAJIMA, Faculty of Environment and Information Studies, Keio University
SATOKI HAMANAKA，WATARU SASAKI, Graduate Schoolof Media and Governance, Keio University
TADASHI OKOSHI, Faculty of Environment and Information
Studies, Keio University
JIN NAKAZAWA, Faculty of Environment and Information
Studies, Keio University

作り笑いを識別することを目的とした研究が行われている．
しかし，既存研究ではセンサーが付属した眼鏡型のデバイスを用いて表情の動きをトラッキングしているため実用性を伴わず，日常生活に応用するのは難しい [6]．そこで，本研究は PC やスマートフォンのカメラで撮影される顔表情からAction Unit ごとに表情の動きの強度を特徴量として，機械学習によって自然な笑いと作り笑いを識別する手法の提案

1

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）をする．本研究で行った顔表情のデータ収集実験においてられてこそ好印象を与えるのである．また，人種や民族の違顔表情データを収集し，Openface を用いて顔表情を Action

いによって顔のパーツは個人によって大きく異なるが，喜Unit に分割した．その Action Unit の動きの強度を特徴量

怒哀楽などの感情を表情から認識する際には感情の共通認として笑いを識別するモデルの学習を行った．AUC を用い識がある程度得られることも述べている．

たモデルの性能評価において 95.7% を達成した．
本論文は以下のように構成される．2 章では自然な笑いと2.2. 自然な笑いと作り笑いの識別

作り笑いの差異，識別に関する関連研究を提示する．3 章で齊藤，正井，杉本らの研究 [6] は反射型光センサアレイをは自然な笑いと作り笑いを識別するための詳細なアプロー

装着した眼鏡型のデバイスから得られるセンサーデータでチについて述べる．4 章では機械学習モデルを構築するた

自然な笑いと作り笑いを識別する研究を行っている．表情

めのデータセットを収集する実験について述べる．5 章で筋の動きによって皮膚変形が生じると，図 3 のような眼鏡

はデータ収集実験の結果や実験内で実施したアンケート結型デバイスに取り付けられた 16 個の反射型光センサーと皮果から性格と作り笑いの関連性について述べる．6 章では

膚表面の間の距離に変化が生じる．その距離によって光の自然な笑いと作り笑いを識別するモデルを学習させるため反射強度が変わるため，センサーデータから表情を識別すのデータセット構築や精度評価について述べる．8 章ではる設計である．

結果を元にした結論と考察を述べる．そして 7 章で考察とともに今後の展望を述べる．

2. 関連研究2.1. 自然な笑いと作り笑いの差異
フランスの神経学者デュシェンヌ (Duchenne) は，ポジ
ティブな情動から表出される笑顔を「真の笑顔」，ポジティ
ブな情動とは関係なく表出される笑顔を「偽の笑顔」として，2 つの笑顔を解剖学的特徴から違いを明らかにした [7]．

2 つの笑顔の一例を図 2 に表す．

図3

反射型光センサアレイを装着した眼鏡型のデバイ

ス [6]
この研究では，コメディ動画によって誘発された快感情を伴う自然な笑いとコンピュータからの指示によって意図的に作らせた快感情を伴わない作り笑いとを区別できるかを検証した．センサーから得られた反射強度の分布である
幾何学的特徴と時間的特徴の両方から学習された機械学習
モデル（SVM）で 94.6 ％と非常に高い平均識別精度を記録した．しかし，この研究は眼鏡型のデバイスから得られるセンサーデータに依存するものである．そのためこの提案された手法に基づいて笑顔の識別を日常生活に応用することは難しい．

図2

左が真の笑顔，右が偽の笑顔を表す [8]

真の笑顔はデュシェンヌスマイルとしても知られており，
大頬骨筋による頬の上昇と眼窩部眼輪筋による口角の上昇が特徴として挙げられる．菅原の研究 [8] では，笑顔は目元と口元が魅力の要因であり，知覚において他の顔要素よりも好印象を与える際に有意に働くということを述べている．
そして，目元と口元のどちらか片方の動きだけでは不十分
であり，目と口の両方にデュシェンヌスマイルの特徴が見3. アプローチ
自然な笑いと作り笑いとを識別するためのアプローチを
以下の図 4 に表す．
本研究は，特殊なデバイスを用いることなく笑いを識別することを目的とした．日常生活にこの識別技術を応用することを見込んで，機械学習モデルの構築という手法を採用した．そして，モデルの構築においては笑顔が表出しているときの表情データセットを作成するところから行った．

2

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

がら，「自然な笑い/作り笑い」をした場面について記録を行う．

6.「自然な笑い/作り笑い」の場面を記録したものと，TIPIJ への回答結果を Google form で送信する．
図4

本研究のアプローチの概観図

4.1. 被験者に行った質問項目
笑顔状態の表情データは基本的にポジティブな感情から表出するものを取り上げている．本研究が着目しているような内面状態と表出事項の不一致，作り笑いのようにネガティ
ブな感情を含む笑顔のデータセットは存在しない．そのため，データセット構築から取り組む必要がありデータセッ
ト構築は本研究の大きな新規性の一つである．

被験者に会話のきっかけとして行った質問項目を以下に示す．

1. 対面コミュニケーションにおいて自分が気まずいな，
困ったなと思う瞬間を教えてください．

2. オンラインコミュニケーションにおいて自分が気まずい，困ったなと思う瞬間を教えてください．

3. 自分の感情とは反して笑顔を無理矢理作る，作り笑い

4. データセット作成のための実験
本実験は，会話上から生まれる自然な笑いと作り笑いの顔
表情データを取得することを目的としたものである．男子をしたことがありますか？またどのような場面でしましたか？

4. SFC にコース制度を導入するとしたら賛成ですか？反
対ですか？理由も教えてください．

大学生 5 名，女子大学生 3 名を対象に，30 分ほどの実験を行った．実験は，被験者 2 名と筆者自身の合計 3 名で構成

これらは筆者が答えやすい質問と答えにくいと想定したもされ被験者 2 名の組み合わせはランダムに行った．実験中のである．答えやすい質問として (1)〜(3)，答えにくいとは筆者自身がファシリテーターとなり，オンライン上で質想定される質問として (4) を設定した．これらの質問は筆問に回答したり雑談を行った．そして，実験中に会話する様者が被験者に 1 人ずつ聞いていき，1 対 1 の対話形式とし子を録画し，実験後被験者に録画を配布して各被験者に自た．(1)〜(3) には作り笑いの定義を実験の冒頭で行った際

然な笑い/作り笑いをした時間について動画を見ながら記録に，コミュニケーションにおける意思疎通の齟齬や作り笑

してもらった．また，先行研究でパーソナリティと作り笑

いについての例を述べたため，実験の流れに沿った質問でいの相関について述べられていたため，個人の性格と作りあり，答えやすいと考えた．(4) は唐突に実験の主題とは異笑いの表出について検証すべく，被験者ごとに Big-Five になった質問で，理由も述べなければならないことから深く基づく性格尺度を測るために TIPI-J に回答してもらった．

考える必要があり答えにくいと考えた．

被験者自身に作り笑いの記録をしてもらうにあたって，以下のような作り笑いの定義を共有した．これは先行研究か
らまとめたものである [4]．

1. 擬態 : 初対面同士の会話，意見が対立した際に対立を避けるために. また緊張を軽減するための笑い

2. 雰囲気操作 : 場が凍っている時，白けてしまった時に場の雰囲気を和ませるための笑い

3. 感情制御 : 立場や雰囲気が原因で本音を言えない時，社
交辞令によりネガティブな感情を隠蔽するための笑い実験手順の詳細は以下の通りである．

4.2. アンケートによる笑顔のラベル付け
笑顔のラベル付けにおいては，実験終了後に Zoom の録画を配布して，自然な笑い (ポジティブな感情を含む) をした時間と作り笑い (ポジティブな感情を含まない) をした時間について記録するよう依頼した．記録を依頼する前に作り笑いの定義に関して被験者に再度補足の説明を行い，実験動画を視聴しながら記録してもらった．このアンケート
データから筆者が自然な笑いと作り笑いの場面だけ動画をトリミングし，機械学習モデル作成のために，データ整形を行った．

1. 実験の概要と作り笑いの定義について説明を受ける．
2. アイスブレイクのために設定された自己紹介を行う．
3. 実験実施者からのコミュニケーションに関する質問に回答する．

4. 実験実施者からの与えられたお題について被験者同士で話す．

5. 実験結果
本節では第 4.1 章で述べたデータ収集実験において被験者から得られた回答について考察を述べる．また性格と作り笑いの表出頻度についての検証結果も本章で記す．
実験から自然な笑いの動画データが全体で 120 秒，作り5. 実験終了後，実験実施者が提供する録画データを見な

3

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

笑いが 251 秒収集できた．特徴化する過程については第 6してしまう」，「自分が興味のない話題でも相手が楽しく話

章で詳細を述べるが，データセットのカラム数としては自せるように，作り笑いをして場を和ませる」，「相手の話が全然な笑いのデータが 2986 行，作り笑いは 6291 行となった．

く分からなくても，ひたすら相槌と作り笑いをして話を聞

実験中に行った (1)〜(4) の質問の回答結果を以下に記す．

き続けたことがある」といった回答が得られた．作り笑いの経験があると回答した 7 名のうち全ての被験者が，会話

5.1. 対面コミュニケーションにおいて気まずさを感じる
点

する相手との関係性について述べていた．関係性について，
目上の人に対しては頻繁に作り笑いをすると回答していた

対面コミュニケーションにおいて気まずさを感じる点にが，友人や後輩のような親しい関係性では作り笑いをする

ついて，「自分が原因で仲違いしてしまった相手とばったりことなく，ありのままに感情を表している．といった回答

会ったときのコミュニケーション」「初対面同士でグループが得られた．作り笑いをあまりしないと回答した 1 名の被ワークを行い，意見が対立したとき」，「言葉が急に出てこ験者は「感情が表情や言動にストレートに出てしまうので，なくなり，沈黙状態を生み出してしまうとき」，「自分が話あまり作り笑いはしない」と回答していた．

しているのに相手から会話を早く切り上げたい雰囲気を感じ取ったとき」，「顔見知り程度の人とばったり会って挨拶

5.4. 性格と作り笑いの表出頻度の関連性

以外に会話をしようとも話題選定が難しいとき」，といっ本研究において，被験者ごとの性格を表す指標をとしてた回答が得られた．5 名の被験者から初対面や顔見知りとは Big-Five を採用した．Big-ﬁve は Goldberg [9] が提唱いったようにそこまで関係性を築けていない人とのコミュ

した，人の性格が 5 つの因子の組み合わせで決まるという

ニケーションにおける話題が挙げられた．また 2 名の被験学説である．そして，実験において信頼性が担保される形

者から，先輩や上司のように立場が上の人と話す際は関係で被験者に負担をかけずに性格尺度を測定するために日本性が築けていても気まずさを感じることが多いという回答

語版 Ten Item Personality Inventory（TIPI-J）を採用しが得られた．

た [10]．これは Big-ﬁve の 5 因子に対して，各 2 項目の設問から測定するものである．5 つの因子を以下に記す．

5.2. オンラインコミュニケーションにおいて気まずさを感じる点• Openness（開放性）• Conscientiousness（誠実性）

オンラインコミュニケーションにおいて気まずさを感じ• Extraversion（外向性）

る点について，「複数人で話すとき，お互いに話始めるタイ• Agreeableness （調和性）

ミングを伺っているような雰囲気があるとき」，「グループ• Neuroticism（情緒安定性）

ワークでカメラオフの状態で話す人がいると表情が見えないから話し始めるタイミングが伺えない」，「深く考えずにテ

TIPI-J を作成する際に信頼性・妥当性の検討について，予キストチャットを送信してしまい，意図が正確に伝わって

備調査と本調査を大学生を対象に行っており，青年期以降

いるかわからないとき．口頭で簡単な補足をすることがでに適用することが可能と述べていることから本研究の実験きないから」，「大人数でのグループワークで沈黙状態からでも Big-ﬁve の 5 特性を測る際に妥当な指標だと考える．

話し始めるハードルが高い」，「話し出しが被ったとき，会話

TIPI-J の回答から Big-ﬁve の 5 因子に対して尺度を測る式

を始める順番の譲り合いのようなことが始まり気まずい」，

を以下に記す [10]．

「グループワークでのアイスブレイクが気まずい，当たり障• 開放性 =（項目 5 ＋（8 – 項目 10））/2

りのない授業に関する話題を持ちかけて頑張ることが多い」• 誠実性 = 項目 3 ＋（8 – 項目 8））/2

といった回答が得られた．

• 外向性 ＝（項目 1 ＋（8 – 項目 6））/2

4 名の被験者からオンライン上で会話する際に話し始める• 調和性 =（（8 – 項目 2）＋ 項目 7）/2

タイミングについて回答が得られた．また 2 名の被験者か• 情緒安定性 =（項目 4 ＋（8 – 項目 9））/2

ら，相手がカメラオフだと表情が見えず話しづらい，感情が読み取りづらい，といった回答が得られた．

以上の計算式から被験者ごとに，開放性，誠実性，外向性，調和性，情緒安定性を算出した結果を表 1 に示す．

5.3. 作り笑いをする経験や場面について作り笑いをした経験について 8 名中 7 名が作り笑いをすると回答した．7 名の被験者からは，「目上の立場の人と会話をするときは対面でもオンラインでも作り笑いを頻繁に

そして，TIPI-J から算出された各 5 項目の素点と実験内における自然な笑いの発生回数と作り笑いの発生回数について相関係数を算出した結果を表 2 に表す．

1 番強い相関が見られた項目が外向性との相関関係で相4情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

被験者番号

自然な笑い

作り笑い

開放性

誠実性

外向性

調和性

情緒安定性

1
2
3
4
5
6
7
8

1
3
3
1
6
2
2
12

7
5
1
3
5
3
1
5

6.0
5.0
6.0
5.0
5.0
4.5
6.0
6.5

2.5
6.0
5.0
5.0
5.5
6.0
7.0
8.5

5.5
6.5
3.0
4.5
6.0
5.0
6.0
5.0

5.5
5.0
3.0
4.5
5.5
4.5
6.0
6.5

5.0
4.0
5.5
4.0
4.0
5.0
1.5
4.0

表1

開放性
誠実性
外向性
調和性
情緒安定性

表2

TIPI-J に基づいて被験者ごとに算出した性格の項目

自然な笑い

作り笑い

0.43750.68990.03070.5041-0.0397

1.480297e-16-0.3161
0.48210.47380.2904の処理によって笑いの動画は 1 フレーム 0.04 秒単位で各AU の動きが 1-5 の 5 段階評価で表される強度を特徴量化した．その結果，データとして自然な笑いは 2986 フレーム，
作り笑いは 6291 フレーム集まった．特徴量化されたデータは以下のような構成になった．

Big-Five と自然な笑いと作り笑いの表出に関する相

カラム名

関

face idtimestamp
conﬁdence
success
AU01 r - AU45 r
AU01 c - AU45 c

関係数は 0.482154 となった．次いで強い相関が見られた項目は調和性で相関係数が 0.473895 となった．また，性格の尺度と自然な笑いの表出回数にも相関が見られなかった．
自然な笑いの表出回数と誠実性の項目で相関係数が

表3

Openface による Action Unit 抽出

0.689952 となった．データ数が 8 であることから，十分な相関関係にあるとはいえないと考えられる．次いで自然な笑いと強い相関関係が見られた項目は調和性で相関関係が 0.504178 となった．
このような結果になった 1 つの原因としてデータ不足が挙げられる．今回の実験では被験者 8 名を対象にしている．
そもそも，被験者をさらに増やしてデータ数を増やすべきという反省点が考えられる．

face id は，1 つの動画内に複数人が映っている場合に人を区別するためのデータである．conﬁdence は，顔のラン
ドマーク検出におけるトラッキングの信頼度を表すものである．実験内で実際にあったものとして，口元を手で隠すような動作がある際に顔のランドマークが検出できずにトラッキングの信頼度が 0 に近い値を取っていた．そのため今回実験で撮影された動画からデータセットを作成する際には，特徴量抽出を行った際に conﬁdence の値が 0.90 を

6. 機械学習モデルの評価下回ったカラムを削除する処理を行った．success はランド

6.1. 特徴量抽出

マーク検出における顔部位のトラッキングが成功している実験で収集した動画を特徴量化するにあたって，Tadas

Baltrušaitis とケンブリッジ大学 Multicomp group が開発した Openface2.0 [11][12] を用いた．このツールキットは顔のランドマーク検出，頭の姿勢推定，表情変化の認識，視線推定をリアルタイムで行うものである．顔表情を解析するツールにおいて，顔のランドマーク検出から姿勢推定まで全てをカバーするソフトは少ない．また，このソフトはWindows，OSX，Ubuntu といったクロスプラットフォームに対応しており GPU を必要としないリアルタイム性能を持つ．この Openface を用いて，顔の筋肉の動きを客観的に分割する Facial Action Unit(AU) を検出した．Openface

かどうかを表すものである．主にフレーム内に顔が写っているかどうかを表している．AU r は，AU の強度について表すものである．例えば，AU01 r のとき内眉の上がり具合について 0（存在しない），1（最小強度で存在），5（最大強度で存在）の範囲で連続した値が出力される．AU c は，AUが存在するかどうかを表すものである．例えば，AU01 r のとき内眉の上がり具合が 0（存在しない），1（存在する）が出力される．
そして，実際に機械学習モデルを構築するにあたって

Action Unit の動きの強度である [AU01 r] から [AU45 r]
のみを説明変数として使用した．
今回作成したデータセットでは，実験内で被験者に回答

5

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

手法

Logistic Regression
Random Forest Classiﬁer
Support Vector Classiﬁer

表4

Precision
0.895
0.972
0.893

Recall
0.910
0.973
0.916

F1 Score
0.902
0.973
0.904

AUC
0.840
0.957
0.840

教師あり学習の各手法とその性能評価してもらった TIPI-J の性格尺度は使用していない．被験者

性質を持つ．そのためこのように高い精度で予測できたとはそれぞれ実験内で複数回作り笑いを行っているため 1 人

考えられる．

の被験者につき約数百行の顔表情データがある．しかし顔また，機械学習モデルの汎化性能を検証するために k=8

表情のデータに性格尺度のラベルを付けるとしても数百行の k 分割交差検証を用いて精度の評価も行ったところ，精度のデータに一意のラベルをつけることになる．そのため今は 97.0% と非常に高い精度で識別できることが示された．

回作成するデータセットでは Action Unit の強度のみを採用した．

1 番高い精度で分類することができたランダムフォレス
トは決定木からなる学習手法であるため，各特徴量がどれだけモデルの精度向上に寄与しているのかを示す Feature

6.2. 機械学習モデルの構築と精度評価

Importance を算出し，以下の図 5 に示す．

本節では機械学習モデルの手法について述べる．
まず実験で作成したデータをモデル構築用データ (学習データ) と予測精度検証用データ (検証データ) に分割する．今回は 8:2 の割合で学習用データと検証用データを分割した．
そして，実際に自然な笑いと作り笑いとを分類する機械学習の手法に Logistic Regression・Random Forest Clas-siﬁer・Support Vector Classiﬁer を用いる．今回はデータ
数も各クラスにつき数千行とそこまで大きくないことから，学習速度が早いこと，また 2 値分類に優れているモデルを採用した．
今回識別したモデルの自作データセットにおいて，自然な笑いのデータが全体の 32%，作り笑いのデータが全体の68% とやや不均衡なデータセットとなっている．そのため今回は特に不均衡なクラスの問題において有用だとされる

AUC（Area Under the ROC Curve）を用いて，識別モデ
ルの全体の性能評価を行うことにした．AUC は，ROC 曲
線下の面積を示し，0.5 以上が望ましい結果で 1 に近いほど識別能力が高いことを表す．ROC (Receiver Operating

Characteristic) 曲線は，二値分類モデルの識別能力を表すグラフで，真陽性率（True Positive Rate，recall）を縦軸に，偽陽性率 (False Positive Rate，precision) を横軸にとって，その結果をプロットしたものである．自然な笑いと作り笑
いの識別モデルの性能について，表 4 に表す．

AUC で比較すると，ランダムフォレストによる手法において 95.7% を達成した．今回，学習手法として用いた

Logistic regression，Random Forest Classiﬁer，Support
Vector Classiﬁer において Precision，Recall，F1-Score，
AUC の全ての指標においてランダムフォレストが 1 番高い性能を示した．ランダムフォレストはアンサンブル学習に
より複数の決定木が異なる特徴量を使用して学習し，その結果を組み合わせるため予測精度が高くなりやすいという

図5

特徴量の重要度

特徴量の重要度において AU06 と AU07 と AU12 に重要度の高い傾向が見られた．この結果から作り笑いの表出時には，眼輪筋の動きによる頬の上がり方と瞼の動き，唇の両端の引き上がり具合が特徴的であり，これらの特徴量が識別予測に寄与していると考えられる．しかし，第 1 章で基本 6 感情にはそれぞれ普遍的な表情が存在するという主張を取り上げたが，佐藤らの研究 [2] では，基本 6 感情を表出する普遍的な表情の理論は日本人に当てはまらない可能性を示唆しており，実証に基づいて修正される必要性を述べている．そのため自然な笑いと作り笑いの識別に関して，

Feature Importance から識別予測に寄与すると取り上げた特徴量が日本人特有の傾向という可能性もある．そのため世代や国籍を限定せず，自然な笑いと作り笑いの特徴について幅広く掘り下げていくためにはよりデータセットを充実させる必要があると考えられる．

6

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

7. 今後の展望
今後の展望として，作り笑いの深掘りと自然な笑いと作
り笑いの識別技術の応用という観点から述べる．

抱いているのかネガティブ，中立な感情を抱いているのか即座に判断することが難しいケースが想定される．商業施
設や観光地において施設のサービスの満足度を測るためには，現地でのインタビューや紙面でアンケートを依頼する

7.1. 自然な笑いと作り笑いの識別技術のユースケース
自然な笑いと作り笑いの識別技術の応用について，この技術を実用段階に持っていくためには，手元にある任意の画像や動画からリアルタイムで自然な笑いと作り笑いを識別することが必要になると考えられる．リアルタイムで識別する技術をシステムとして実装することで，応用先の一例として挙げたカウンセリングや真の感情を隠すことが求められる場面への練習といった日常生活にも活用されると考えられる．
例えば営業や面接の場で，緊張する気持ちや気まずい気持
ちを隠すために笑顔になることがあるだろう．相手にはネ
ガティブな感情を悟られないように，表情の工夫を行うためにこの技術が応用できると考えられる．しかしコミュニ
ケーションにおいて，自分の感情が隠されることなく相手ことが一般的な方法である．しかし対面でのインタビュー
は非常に時間もコストもかかる．そのため，1 つの代替案として商業施設や観光地において各施設を訪問した人の帰るタイミングの表情をモニタリングし，笑顔であればそこからポジティブな感情を抱いているかどうかを測り，満足度の評価につなげられるのではないかと考える．
そして，コロナ禍においてオンラインでの対話やコミュ
ニケーションが珍しくない．オンライン上ではカメラ越しの音声や動画といったように限られた情報から，相手の感情を汲み取る必要があることから表情から感情を推定する技術に，より注目が高まると考えられる．そのため，今後の展望として技術を幅広い分野で使用できるように，顔表情からではポジティブと捉えられがちな笑顔状態における感情推定を行うことが挙げられる．

に伝わったら不都合なこともある．例えば立場上の都合で本音と立前を使い分けて会話をすることが強いられる場面

8. 結論

が挙げられる．そのため自然な笑いと作り笑いの識別技術

本研究ではデータセットの作成からモデルの評価までをは，コミュニケーションにおいて幅広く応用することを想行ったため，各ステップごとに結論と考察を述べていく．

定はしていない．あくまでカウンセリングのように内面状
態 (感情) と表情のずれを識別してメリットが生じる場合の実用を期待している．

7.2. 作り笑い時の感情分析

8.1. データセット作成
まずデータセットに関する結論を述べる．本研究で作成したデータセットは自然な笑いと作り笑いのデータ比率が1:2 となった．やや作り笑いに偏ったデータセットになって作り笑いについて，本研究のデータ収集実験では，被験しまった原因として，実験環境の雰囲気が挙げられる．実者に作り笑いの定義を事前に共有した上で，作り笑いをし験内容について第 4.1 章で述べたように，自然な会話を再た場面を申告してもらった．その実験内で被験者に行った現するために答えやすい質問と答えにくい質問を用意した．

質問から日常生活において作り笑いはさまざまな場面で見オンライン環境での実験ということで，そもそも硬い雰囲られることがわかった．例えば人と話していて「興味がな

気を作り出してしまった，話すのが気まずかったというよい，つまらない」といったネガティブな感情を隠蔽するた

うな原因が考えられる．また今回行った実験では質問内容

めの笑いや初対面同士での会話で場を和ませるための笑いは固定であるものの，会話内容は被験者によって異なり，雰といったものである．このように，場の状況がさまざまで囲気も様々であった．そのため場の雰囲気や会話のコンテあり感情も様々である．特に笑顔は通常嬉しい，楽しいとキストを加味した上で表情データを収集することで，自然いったポジティブな感情を結びつけられることが多いため，な笑いと作り笑いだけでなく，笑い表出時の感情を推定す

ネガティブな感情に基づいた笑顔 (作り笑い) を識別するこることも可能になると考えられる．またデータセット収集とに意義があると考えられる．また，自然な笑いと作り笑

実験の被験者に関して，今回は大学生を対象にして行った．

いの識別だけでなく笑顔表出時の感情についても顔表情の被験者が 8 名だったため，さらに被験者を増やすこと，また動きから推定することができるのではないかと考える．作

表情を収集する世代も幅広くすることでより充実したデー

り笑い時のネガティブな感情の中でも辛い，苦しいといっ

タセットになることが考えられる．また，職業によって真た感情を推定することが可能になれば，本研究の応用先との感情を隠して表情を作り出すことが得意になるケースもして考えるうつ病患者のカウンセリングといった医療的な想定される．例えば役者や営業職のサラリーマンなどは自場面での実用に役立つことが考えられる．

然な笑いと作り笑いの表出にあまり差分が見られないこと

また人間の目視では笑顔状態の人がポジティブな感情をも想定される．そのため世代や職業など幅広く被験者を募

7

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

集することで，自然な笑いと作り笑いの表出に関する差についてより深く知見が深まることが想定される．

8.2. 機械学習モデルの評価
最後に自然な笑いと作り笑いの識別モデルについて，ランダムフォレストによる学習において 95.7% という高い精度で識別することができた．特徴量の重要度を算出したところ，眼や頬の動き，口角といった部位に高い傾向が見られた．しかし，この特徴は大学生の会話時に限定した自然な笑
いと作り笑いの識別に重要な特徴だと考えることもできる．
今回は各被験者から収集した実験の録画データから顔表情を特徴量化して 1 つのデータセットを作成した．前の節でも述べたように被験者の対象を性年代や職業，国籍といった項目ごとにデータセットを分割することで表情の出方に

10.3154/jvs.34.14 (2014).
[9] Goldberg, L. R.: An alternative ”description of personality”: the big-ﬁve factor structure., Journal of personality
and social psychology, Vol. 59 6, pp. 1216–29 (1990).
[10] 小塩真司，阿部晋吾，Cutrone, P. 日本語版 Ten Item Personality Inventory（TIPI-J）作成の試み，パーソナリティ研
究， Vol. 21, No. 1, pp. 40–52（オンライン），10.2132/personality.21.40 (2012).
[11] Baltrušaitis, T.: OpenFace 2.2.0: a facial behavior analysis toolkit. https://github.com/TadasBaltrusaitis/
OpenFace.
[12] Baltrusaitis, T., Zadeh, A., Lim, Y. C. and Morency, L.P.: OpenFace 2.0: Facial Behavior Analysis Toolkit, 2018
13th IEEE International Conference on Automatic Face
& Gesture Recognition (FG 2018), pp. 59–66 (online),
10.1109/FG.2018.00019 (2018).

特徴が見られる可能性もある．そのため本研究で作成した
データセットにおいては，非常に高い精度を達成することができたが，今後データセットを拡張した上でも同程度の精度を達成できるようにする必要があると考えられる．
謝辞 本研究成果は，国立研究開発法人情報通信研究機
構の委託研究（05401），JSPS 科研費 JP21K11853，JST

RISTEX (JPMJRX21J1) の支援を受けたものである．

参考文献[1] 菅原徹，笠井直子，佐渡山亜兵，上條正義，細谷聡，井 口 竹 喜 笑 顔 の 多 様 性 と 印 象 の 関 係 性 分 析 ，感 性 工 学 研
究 論 文 集 ， Vol. 7, No. 2, pp. 401–407（ オ ン ラ イ ン ），10.5057/jjske2001.7.401 (2007).
[2] Ekman, P.: Universals and cultural diﬀerences in facial
expressions of emotion, Nebraska Symposium on Motivation. Nebraska Symposium on Motivation, Vol. Vol. 19(1971).
[3] Ekman, P.: Paul Ekman Group — Universal Facial
Expressions. https://www.paulekman.com/resources/
universal-facial-expressions/.
[4] 珊 李 ，昌 三 渋 谷 社 会 的 笑 い に 関 す る 心 理 学 研 究の 動 向 ，目 白 大 学 心 理 学 研 究 = Mejiro journal of
psychology， Vol. (7), pp. 81–93（ オ ン ラ イ ン ），https://cir.nii.ac.jp/crid/1050001338378901632 (2011).
[5] 押 見 輝 男 公 的 自 己 意 識 が 作 り 笑 い に 及 ぼ す 効 果 ，心 理
学 研 究 ， Vol. 73, No. 3, pp. 251–257（ オ ン ラ イ ン ），10.4992/jjpsy.73.251 (2002).
[6] 千紗齊藤，克俊正井，麻樹杉本反射型光センサアレイを用いた眼鏡型装置による作り笑いと自然な笑いの識別，情報処理学会論文誌， Vol. 62, No. 10, pp. 1681–1690 (2021).
[7] Duchenne de Boulogne, G. B.: The Mechanism of Human Facial Expression, Studies in Emotion and Social
Interaction, Cambridge University Press (1990).
[8] 菅 原 徹 笑 顔 の 形 状 と 表 情 筋 活 動 の 分 析 ，可 視 化 情 報
学 会 誌 ， Vol. 34, No. 133, pp. 14–19（ オ ン ラ イ ン ），8