JASAセミナー

笑う門には福来る
笑顔を促す感情分析技術の提案
2023年11月15日
コモングラウンド委員会/スマートライフWG
加藤恭弘
1© Japan Embedded Systems Technology Association

スマートライフWG紹介
活動目的

1. 人の感情（エモーション）や状態（バイタル）をセンシングし、IoTとして応用するための技術の調査・研究を実施する。
2. 生活上の課題を解決する（QoL向上の）ソリューションを組込みの視点から提案し、生活用IoTの普及を目指す。
3. プロトタイプを作成し、ソリューションの有用性について実証実験を⾏う。
過去の主な活動実績
１．エモーションセンシングプロトタイプ
2017ET展デモ、2018ET展デモ２．スマート睡眠システム
東大駒場リサーチキャンパス公開2018
３．睡眠評価システム
東大駒場リサーチキャンパス公開2019
４．エモーションフラワー
2021ET展デモ
５．ハッピーミラー
2022 ET-WEST
2022 EgdeTech+デモ
2© Japan Embedded Systems Technology Association

エモーションセンシング（2017、2018ET展デモ）目的
1. エモーションキャッチセンサの組み合わせ利用の実証実験
2. エモーションドリブンサービスとコミュニケーションロボットとの適性調査
3. ifLink Platformを活用したIoTシステム開発例）エモーションセンサフュージョンシステムプロトタイプ構成

HDMI

3© Japan Embedded Systems Technology Association

スマート睡眠サービス（リサーチキャンパス2018、2019）
目的
1. シート型センサ（非接触バイタルセンサ）の睡眠サービスへの応用
2. 複数センサ（シート型センサ、トリリオンノード等）を組み合わせたセンシング、家電制御の実証実験
3. IoT-EX Platformを活用したIoTシステム開発

https://trillion-node.org/

http://www.commahouse.iis.u-tokyo.ac.jp/
https://docs.leafony.com/

4© Japan Embedded Systems Technology Association

スマートライフＷGとして取り組んでいること• 感情と技術
スマートライフＷGでは、人間の感情をインプットとして、何ができるかを考えている。
インプットとして使用するために、感情を分析して数値化することが必要。
人間の感情を分析する技術として、様々なセンサーを使って、人間の表情や⾳声、動作等を検出し、解析ソフトによって感情成分の分析を⾏い、数値にする。
現時点で最も精度が良く、再現性が⾼いのは、カメラによる表情解析をベースとして、笑顔を検出する方法であり、笑顔をインプットとして使用し、そこから「うれしいアウトプット」を出すことができれば、さらにそこから笑顔が生まれる、という好循環が生まれる。
これを技術をもってどう実現できるか、検討している。
5

表情から感情を認識する技術• スマイルシャッター（Sony）
ソニーのデジカメや、デジタルビデオカメラハンディカムでは、笑顔に反応して自動でシャッターをきる「スマイルシャッター」が搭載された。
ハンディカムでは、笑顔を検出した箇所を、動画から静止画にする
XPERIA（マークⅡシリーズまで）でも同様の機能が搭載されていたが、近年は、別の画像検出としてハンドシャッター、⼿のひら検出に切り替わっている。

6

表情から感情を認識する技術• OpenCVIntelが開発・公開したオープンソースライブラリ。
画像処理 ・画像解析および 機械学習 等の機能を持つ C / C++ 、Java 、 Python 、 MATLAB 用ライブラリ 。
これによって、静止画や動画、カメラのリアルタイム画像から顔認識をすることができ、そのデータを別途解析することで感情分析を実施できる。
• OpenVino
同じくIntelが提供する、コンピューター・ビジョン、画像関係でディープラーニングAIを開発可能になるソフトウェア（推論エンジン / ツールスイート）。

7

表情から感情を認識する技術• GitHubモデル
GitHubで公開されているモデルに、「emotions-recognition」がある。
人の顔画像から「中⽴」「幸せ」「悲しみ」「驚き」「怒り」の認識を⾏うためのデータセット。
open_model_zoo/models/intel/emotions-recognition-retail0003 at master · openvinotoolkit/open_model_zoo · GitHub8エモーションフラワー（ET2021展デモ）9© Japan Embedded Systems Technology Association

スマートライフWGで着目した課題と仮説
課題解決の仮説オンラインコミュニケーションの課題

オンラインコミュニケーション時に、リモート先の相⼿の感情（表情）を可視化することで、コミュニケーションの活性化に寄与できるのではないか︖

話し⼿としては、相⼿が理解しているかを確認するため、相⼿の表情を⾒たいが、顔出しをしていない場合、相⼿の表情（感情）が⾒えず、コミュニケーションが取りづらい。

・・・

10© Japan Embedded Systems Technology Association

相手に視覚情報（表情、感情）を伝える重要性

越川慎司 「AI分析でわかった トップ5%リーダーの習慣」よりカメラをOffにして、顔出ししないと情報が伝わりにくく、認識GAPが起きやすい。

メラビアンの法則

メラビアンの法則
３つの情報がどれか一つでも一致しない場合は、視覚情報＞聴覚情報＞言語情報の順番で、優先される。
視覚情報の占める割合は大きい。

言語情報
7%
聴覚情報 視覚情報
38%
55%

視覚情報

聴覚情報

言語情報

11
© Japan Embedded Systems Technology Association

色による可視化のメリット

色による可視化のメリット• 抽象化されていて把握しやすい。
• ⼼理的ハードルが下がる。
• 通信の量が少なくてすむ。（最少RGB24bit）

12© Japan Embedded Systems Technology Association

感情色仕様オンラインコミュニケーションで一般的に使われるカメラを利用し、画像から感情を分類。感情の⾊は、プルチックの感情の輪に合わせた。
プルチック感情の輪
感情を8つの基本感情（真ん中）と 2つの基本感情から生まれる混合感情に分類。
さらにに基本感情には、感情の強さもある。

※neutralの場合は、全LEDを白にする
https://swingroot.com/plutchik-emotion/

単純に⾊を変えるのではなく、花の形にして、表現する。
エモーションフラワーと命名しプロトタイプの作成を実施。

13© Japan Embedded Systems Technology Association

エモーションフラワープロトタイプ実機
正面

HW

SW

マイコン

RaspberyPi3

LED

NeoPixel Ring

カメラ

USBカメラ（エレコム）

言語

Python3

ライブラリ

Tensorflow（keras）
Adafruit NeoPixel

中身

Edgeのみで動作可能
14© Japan Embedded Systems Technology Association

エモーションフラワープロトタイプ実機
エモーションフラワーでは、Tensorflow（keras）による学習済みモデルを使用し、OpenCVで取得した顔画像を、ライブラリとの比較によって、表情に含まれる成分を7つに分類している。
「怒り」,「嫌悪」,「恐れ」,「笑顔」,「悲しみ」,「驚き」,「無表情」(angry, disgust, fear, happy, sad, surprise, neutral)emotions-recognitionで判定できるものに、 「嫌悪」,「恐れ」を追加。
どの成分が強いかを数値化し、最大の感情に応じた⾊に変化する。

15© Japan Embedded Systems Technology Association

エモーションフラワープロトタイプ動作動画

16© Japan Embedded Systems Technology Association

ET2021展示会フィードバック
自席において自分の表情を知ることで、「ちょっと休憩しよう」と自分で気づくタイミングになる。
色データだとしても、自分の感情状況が認識され、データとして蓄積されるに抵抗がある。

笑顔の検出率が良い。笑顔の練習になる。

自分の表情データを自分のために使うのであれば、抵抗なく表情検知を活⽤できるんじゃないか︖
もっと笑顔を活⽤することはできないか︖
17© Japan Embedded Systems Technology Association

スマートライフWGで着目した課題と仮説
オンラインコミュニケーションの課題
コロナ禍で人との接触が減り、自分の感情（表情）をアウトプットする機会が減った。それにより、笑顔を作ることが自然にできなくなった。
顔出しをしないオンラインコミュニケーションの弊害。

課題解決の仮説
笑顔のトレーニングをすることにより、表情筋を動かすことで、感情を豊かに表現できるようになるのではないか︖
それにより相⼿に感情を伝えやすくなったり、自分のモチベーションを上げたり、ポジティブな感情になれるのではないか︖

18© Japan Embedded Systems Technology Association

笑顔の重要性
1. 免疫⼒がアップする

笑いや笑顔には、ナチュラルキラー細胞という免疫細胞を活性化させ、免疫⼒をアップする効果がある

2. エイジングケアになる顔のリフトアップ効果が期待きる

3. 表情筋が刺激を受け、ポジティブな気持ちになる
笑顔になることで顔の表情筋が刺激を受け、それが脳にフィードバックされると、ポジティブな感情が生まれる

4. コミュニケーションがスムーズになる
⼝角アップにより⼼理的安全性が担保される

5. 笑顔は周りに伝染する

相⼿の笑顔につられて笑顔になるので、お互いにいい気分になる

6. 幸福度がアップする

気持ちがポジティブなのでポジティブな発言が多く、幸せになる

・笑う門には福来たる。
・笑いは人の薬・泣いて暮らすも一生、笑って暮らすも一生
・笑って損した者なし『楽しいから笑うのではない。笑うから楽しいのだ』
19© Japan Embedded Systems Technology Association

感情認識における今後の課題• Withコロナ時代に求められるもの
在宅勤務、テレワークは継続する。
セミナーやミーティングのハイブリッド開催が増加する。
⇒その場にいる人もいない人も、同時にコミュニケーションを⾏う。
人それぞれの理解や思いを、話者がすぐに読み取ることは難しく、センサーやAIによる判断補助を活用したい。
• ストレスを読み取る
学校やビジネスの場では、メンタルケアが重要視されており、定量的なストレスの数値化、早期発⾒が求められる。
⇒ストレスは表情に出る、カメラでの判断はやりやすい。
表情以外のバイタルデータも、ストレスによって変動するが、ストレスによってどのような変化が起きるか、判断が難しい。
同じ人物のデータを継続的に解析できるような仕組みが必要。
20

ハッピーミラープロトタイプ
笑顔練習⽤の鏡を作ってみよう︕

ケース

LED

スピーカー

カメラ
マジックミラー■仕様• マジックミラーの裏にカメラをセットし、カメラを意識させない。
• カメラで笑顔を認識。（数秒間笑顔を作る）• 笑顔を検出したら、LEDを光らせる。
• 笑顔が数秒間継続したら、スピーカーから⾳声を流す。
21© Japan Embedded Systems Technology Association

想定ユースケース
アンガーマネジメントへの活⽤
怒りを鎮めるために、怒りを感じたら、笑顔を作る。（怒りは6秒間しか持続しない）

リモートワークへの活⽤
笑顔を作ってから、MTGへ参加。メンバーの⼼理的安全性が確保されMTGが活性化する。

毎朝の身⽀度時に笑顔の練習をする。
ゲームへの活用。
22など、応用例はさまざま︕© Japan Embedded Systems Technology Association

ハッピーミラープロトタイプ実機

HWSW

マイコン

RaspberyPi3

LED

フルカラーシリアルLEDテープ

カメラ

Raspberry Pi カメラモジュール V2.1スピーカ伝振動スピーカー

言語

Python3

ライブラリ

Tensorflow（keras）
Adafruit NeoPixel

23© Japan Embedded Systems Technology Association

ハッピーミラープロトタイプ動作動画

VOICEVOX:春日部つむぎ

24© Japan Embedded Systems Technology Association

2022 EgdeTech+展示会フィードバック

笑顔を３秒間Keepするのは難しい。
やってるうちに面白くなって笑ってしまう。
笑顔のトリガーをLEDを光らせるだけではなく、別のことにも使ってみたい。

ミラーの位置が悪い。下からだと下膨れに⾒える。

25© Japan Embedded Systems Technology Association

2023年度のプロトタイプ開発

スマイルガチャ26

2023年度のプロトタイプ開発• スマイルガチャ
形式としてはガチャだが、「表情によって提供されるものが変わる」というアイデアを基にした、自動販売機のようなイメージ。
お菓子等、小さな景品を排出する。
IfLinkを連携して動作させることを検討しており、エモーションフラワーやハッピーミラーでも使用した表情検出をベースに、判定した表情によって異なるガチャを回す。
表情の検出を「If」とし、複数のスマートスイッチモジュールに対して「Then」として出⼒先を変えるルールを作成する。
JASAブースで展⽰中︕

27

2023年度のプロトタイプ開発• IfLinkとは東芝デジタルソリューションズが提供しているIoTプラットフォーム。
インプットをIf、アウトプットをThenと呼び、Ifを判断条件に、複数のThenを設定することができる。
スマートフォンAPIのほか、市販デバイスも、If、Thenとして使用可能。
詳細はホームページへ。
https://www.global.toshiba/jp/products-solutions/aiiot/iflink.html

28

2023年度のプロトタイプ開発• スマイルガチャを使⽤することで提供できるアイデア
笑顔によってガチャが回る⇒笑顔になることで楽しくなる、を促すために、笑顔になることでメリットのあるアウトプットを提供する。
笑顔になることを強制されると、感情としてはストレスを生む原因にもなるが、笑顔になることがメリットであれば、習慣になる。
怒った顔や悲しい顔によってガチャが回る⇒表情からストレスを検知して、それを緩和させるようなアウトプットを提供する。
ストレスが溜まったら解消させる、というアプローチを自動化する。
時間区切りで休憩させると、集中の妨げになることもあるが、休憩を促す必要はある、というような場合に有効な⼿段になる。
ストレスを溜めていることを発信できない人も、検知で対応する。
29

感情認識の応⽤• メタバース空間への適⽤
アバターに利用者の感情を表現する。
感情もコミュニケーション⼿段の1つ(言葉、ジェスチャーなど）
HMIの⼊⼒の一つとして、トリガにもできる。
• マルチモーダルAIによる精度向上
画像からのみでは、判断が難しいことがある。
複数のセンサーから複合的に情報を収集し、バイタル、言語情報、⾳声の抑揚など、画像以外のデータを組み合わせることで精度向上可能。
感情分類• データ取得ループ
体験価値
AI
ビジネス利用が始まれば、データがさらに集まり、精度が向上する。特に個人データには、表情データAI強化価値がある。
30© Japan Embedded Systems Technology Association

箱庭との連携

メタバース空間への応用について調査するため、シミュレーション環境として、箱庭を利用することに決定。
現在、感情認識の結果を、箱庭空間で表現するプロトタイプ作成中。
Toppers Project 箱庭
https://toppers.github.io/hakoniwa/

31© Japan Embedded Systems Technology Association

コモングラウンド委員会と連携（スマトラWG）
アバターへのエモーションの投影

表情解析の結果を、⾊のアウトプットとして、箱庭上のアバターにリアルタイム反映する

32

WGメンバー募集

スマートライフWGで⼀緒に活動してみませんか︖
33© Japan Embedded Systems Technology Association

スマートライフWGからのお願いスマートライフWGへの依頼事項お待ちしています。
■こんなもの作って、試してみてほしい。
■こんなセンサあるけど使ってみてほしい。
■こんなIoT PF使ってみて、使用感を教えて欲しい。
■こういうことやりたいんだけど、一緒にやってもらえない︖などなど

34© Japan Embedded Systems Technology Association

【技術成果発表会スマートライフWG】
2023/11/15 発⾏
発⾏者 一般社団法人 組込みシステム技術協会
東京都中央区日本橋大伝馬町6-7
TEL: 03(5643)0211 FAX: 03(5643)0212
URL: http://www.jasa.or.jp/
本書の著作権は一般社団法人組込みシステム技術協会(以下、JASA）が有します。
JASAの許可無く、本書の複製、再配布、譲渡、展⽰はできません。
また本書の改変、翻案、翻訳の権利はJASAが占有します。
その他、JASAが定めた著作権規程に準じます。

35© Japan Embedded Systems Technology Association

Backup36© Japan Embedded Systems Technology Association