一般社団法人 電子情報通信学会
THE INSTITUTE
OF ELECTRONICS,
社団法人 電子情報通信学会
INFORMATIONAND COMMUNICATIONENGINEERS
THE INSTITUTE
OF ELECTRONICS,

信学技報
IEICE 信学技報
Technical Report
SWIM2019-17,SC2019-17(2019-08)
TECHNICAL REPORT OF IEICE.

INFORMATION AND COMMUNICATION ENGINEERS

ユーザ定義の顔特徴量をリアルタイム計測可能な表情センシングサービスの検討
平山孝輔†

佐伯幸郎†

中村匡秀†,††† 神戸大学 〒657–8501 神戸市灘区六甲台町 1–1†† 理化学研究所・革新知能統合研究センター 〒103–0027 東京都中央区日本橋 1–4–1
E-mail: †hirayama@ws.cs.kobe-u.ac.jp, ††sachio@carp.kobe-u.ac.jp, †††masa-n@cs.kobe-u.ac.jp
あらまし

日本では認知症などによる要介護者の数が年々増加しており，科学的介護の推進が重要となっている．科

学的介護を実現するためにはケアの効果を定量的に評価することが必要とされている．そこで本研究では，ケアの効果を評価する手段として，眉の高さや口角などの顔のパーツの変化＝特徴量を観測することでその人の感情を推定する表情分析に着目し，介護者などが計測したい顔の特徴量を自由に定義し，その値を自動的に計測，記録，表示する「表情センシングサービス」の提案を行う．提案サービスにより，効率的な表情データの取得や，利用者の持つ表情分析の知見を活かした，用途に応じた「微細な表情変化による感情分析」及び「説明可能な表情分析」が実現できる．
キーワード 表情分析，介護，Web サービス

A proposal of real-time sensing service
for measuring user-defined facial features
Kosuke HIRAYAMA† , Sachio SAIKI† , and Masahide NAKAMURA†,††† Kobe University Rokkodai-cho 1–1，Nada-ku，Kobe，Hyogo，657–8501 Japan†† Riken AIP 1–4–1 Nihon-bashi, Chuo-ku, Tokyo 103–0027
E-mail: †hirayama@ws.cs.kobe-u.ac.jp, ††sachio@carp.kobe-u.ac.jp, †††masa-n@cs.kobe-u.ac.jp
Abstract In Japan, the number of people who requires care for disorders such as dementia is increasing year byyear, and promotion of scientific long-term care have been important. To realize scientific long-term care, quantitative evaluation for the eﬀects of care is necessary. In this research, as the method to evaluate the eﬀect of care, wefocused on the method called facial expression analysis, which we observe how facial parts move (= measure facialfeatures) to estimate one’s emotion. Then we propose facial expression sensing service which can automaticallymeasure, record, and display facial features. Target facial features can be defined freely by caretakers. For using
this service, users can obtain expression data more eﬃcient, and users also can utilize their knowledge to realize“emotion analysis from subtle expression changes” and “explicable facial expression analysis” for their needs.
Key words Facial expression analysis, Care, Web service
ここで，客観的なケアの効果を示す指標の一つとして，顔の1. は じ め に表情に着目する．病院や介護施設において，患者の表情を読み

近年，日本は超高齢化社会に直面しており，認知症などによ取ることは，その人が持つ感情に関する手がかりをつかむヒン

り介護を必要とする高齢者の数もそれに伴い増加している．こトになりうる．例えば，認知症のケアに関わる看護師や介護福うした中，日本は科学的介護を国策として実践することを宣言

祉士は，患者の持つ思いや体調を表情から汲み取ろうと努めてし，効果が科学的エビデンスに基づいた介護を実施することで，いる，といった報告がある [2]．また，実際に表情からケアの定対象者により効果の高い介護サービスを提供することを目指し量的評価を行う試みとして，顔のパーツの位置や動きからそのている [1]．科学的介護の実現のためには，ケアの質や効果を人の感情を推定する表情分析をベースに，介助老人保健施設にデータを用いて定量的，客観的に評価することが重要となっておいて，介助行為を行った前後での，被介護者の眉の高さや目いる．の広がりといった特徴量を映像から計測し，安心感や満足感を- 29 -—1—This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

Copyright ©2019 byIEICE

（a）

与えることができたかの評価を行った研究がある [3]．その他に（b）も，認知症高齢者の QOL（Quality Of Life）を測定するための尺度を検討する際に，表情を指標にすることが提案されている [4]．こういった例からも，表情に関するデータを収集，分析することは，科学的介護の観点から見て有意義であると考えられる．

“少し不快感を表している”

このようなケースに対して，現代においては，画像処理技術“多少安心した様子”

図 1 表情の変化の少ない被介護者の例（ [3] より引用）を用いたアプローチが考えられる．特に，ここ数年で，AI に基づく表情分析技術を活用し，顔画像から自動的に感情認識を表 1 コグニティブ API を用いた計測結果行う API が様々な企業から提供されており，これらの API はラベル

画像（a） 画像（b）

喜びや悲しみといった代表的な感情を数値化して出力すること

anger

0.00.0ができるため，ケアの分野においての活用が期待できる．実際

contempt0.001

0.0に，我々の研究グループでは過去に，コグニティブ API を利用

disgust0.00.0fear

0.00.0happiness

0.00.027

neutral

0.998

0.973

しかしながら，実際の医療やケアの現場においては，認知症

sadness0.0010.0の進行などにより表情表出が乏しくなった患者の微細な顔の変

surprise0.00.0

したリアルタイム感情分析サービス Face Emotion Tracker を開発し，ケアの定量的評価を試みている [5]．

化を読み取る必要があるなど，上記の API が目的とする，明白な感情表出の分析とは異なる利用方法が考えられる．また，手に伝達する主要な情報源であるとしている．

API の背後にある感情分析のモデルがブラックボックス化され2. 2 介護の現場ており，なぜその感情が出ていると判断するに至ったかという詳細な説明が求められる用途，場面では適用が難しい．

表情分析の手法の応用が考えられるケースとして，高齢者のケアといった介護の分野に着目すると，過去の例では，2. 1 でそこで本研究では，利用者が微細な表情変化をもたらすよう挙げた P. エクマンらなどによる表情分析の手法を，臨床におな顔の特徴量を自分で定義し，その値をリアルタイムに計測，ける患者の感情の客観的な把握に応用する試み [7] がある．ま

記録する表情センシングサービスを提案する．提案サービスでた，1. で挙げた先行研究 [3] も，表情分析の手法をベースにしは，まず利用者が目や鼻といった顔の特徴点を選択し，各点間ている．しかしながら，先行研究 [3] では「…本研究は例数がの距離をユーザ定義の特徴量として登録する．次に，システム限られているため一般化するには至っていない．…客観的な評はカメラから対象者の顔画像を取得し，定義された特徴量を実価法の確立のためには被介助者，介助者共に更に多くのデータ時間で計測し，データベースに保存する．利用者は計測されたを収集・分析する必要が考えられた」という結論が述べられて特徴量を時系列データとして取り出し，任意の分析に活用するいる．このような問題に対処するためには，効率よくデータをことができる．提案サービスにより，顔特徴量の効率的な取得収集できるような仕組みを構築することが必要である．

が可能になり，さらに，サービス利用者の持つ知見を活用しつ

また，加齢や認知症の進行に伴って，実際の感情に対して表つ，定量的に，用途に応じた「微細な表情変化による感情分析」

情がはっきりしなくなるケースや，脳卒中の後遺症，ALS（筋及び「説明可能な表情分析」が実現できる．また，取得したデー萎縮性側索硬化症），パーキンソン病への罹患などで，顔の筋肉タは機械学習等を用いた感情推定モデルの開発にも応用が期待の一部または全部が動かなくなるケースにより，表情を読み取できる．

ることが困難になるという問題も考えられる．そのため，普段本稿では，表情センシングサービスの具体的な機能設計および実装までを行った．

2. 準からそういった症状の人をケアしている介護士などが実際に患者の表情を窺う際の知見を，分析に取り入れることも重要だと考えられる．

備

2. 3 コグニティブ API
2. 1 表 情 分 析

クラウドコンピューティング技術の急速な発展に伴い，これ表情分析は，顔の表情や動きからその人の感情を読み取る，までエッジ側で実行していた様々な処理を，クラウドサービス感情分析手法である．表情分析の研究で有名な P. エクマンらでの代替が可能となった．このような中，近年爆発的に普及がは，著書 [6] の中で，幸福，悲しみ，驚き，恐怖，怒り，嫌悪の進んでいる人工知能を活用する様々なサービスもクラウドサー

6 種類の感情に関して，それらを区別するために，各感情に特ビスとして利用が可能となりつつある．人工知能を活用するク

徴的な眉，額，目，瞼，頬，口，鼻といった顔の各部分の風貌ラウドサービスとして，視覚・音声・言語・知識などをもとに，を記述している．例えば，幸福を感じているときは，唇が後ろそこに含まれている情報をコンピュータに認識させる，コグニに引かれその両端が少し上がり，頬が持ち上げられて下瞼が持ティブサービスがある．コグニティブサービスでは従来コンち上げられる，という定義がなされている．また，表情は，身ピュータでの処理が困難であった様々な認知に関する機能を実

振り手振りや声の調子などよりも明白に感情のメッセージを相- 30 -—2—

現することができる．コグニティブサービスの中でも，視覚に関する機能を提供するサービスは，画像を入力として，その中撮影

画像送信から様々な情報を抽出することが可能であり，多くのパブリッカメラククラウドで提供されている．
一般的にこういったサービスは，コグニティブ API という形

データ表示／エクスポート

計測対象者

サービス利用者

で外部から利用することが可能であり，利用者はこれらの APIに画像を送信することで，画像内にある様々な情報を受け取る

特徴量計測

データ活用ことができる．例えば，人間の顔画像から年齢や性別，顔表情による感情値を推測することができる．

データ蓄積

2. 4 コグニティブ API を用いた表情分析

データ読込

DB

感情の数値化が自動的に可能なコグニティブ API は科学的介護への応用も期待できるが，API が提供する感情分析機能は表情センシングサービス汎用的なものであるため，対処に難しいケースに遭遇すること

図 2 表情センシングサービスの概念図も予想される．ここでは，参考文献 [3] に掲載されている「表情の変化の少ない被介護者」に対する介助中の顔写真（図 1）につで，データを様々な目的に応用できるようにする．

いて，コグニティブ API の一つである Microsoft Face API（注 1）を用いて感情分析を行った．Face API は，顔画像を入力すると，8 種類の感情値の確度を出力する．その結果を表 1 に示す．
この被介護者の方は写真（a）に比べ，写真（b）のほうが安心した様子を示しているという．実際，API の出力結果では，写真（b）でのみ happiness の感情値が少し出現している．しかしながら，その値は微妙なものであり，両者ともほぼneutralと判断されているともいえ，コグニティブ API による感情分
析は，このような表情の変化に乏しい人を対象とする場合への応用には困難が生じることが予想される．

図 2 に本サービスの概念図を示す．サービスは Web アプリ
ケーションとして提供し，Web ブラウザ上から利用できるようにする．まず，計測対象者の顔画像をカメラから取得する．画
像の取得は一定時間おきに連続して行われる．サービスは顔画像から，眉，目，鼻，口など，顔の各部分に対応する位置（＝特徴点）を抽出し，それらから事前に利用者が定義したプロファイルに従い特徴量を計測する．得られた特徴量は，Web ブラウ
ザに逐次表示される．また，それと同時に，外部のデータベースサーバに計測された特徴量を保存する．保存された情報は各計測（＝セッション）ごとに後から閲覧することができる．
次節では，各機能のより詳細な説明を行う．

3. 表情センシングサービス

3. 2 各機能の説明

本章では，1. で述べた表情センシングサービスに関して，必機能 1：顔画像からの特徴量計測

要な機能の検討および説明を行う．

3. 1 概まず，特徴量の計測を行う前に，特徴量の定義を行う必要が要ある．本サービスで扱う「特徴量」とは，2 つの特徴点を結ぶ距

本サービスは，以下の 2 つの機能の提供を目的とする．

離を表す．また，2 点間の距離以外に，他の 2 つの特徴量の平（ 1 ） 顔画像からの特徴量計測

均を新たな特徴量として定義できるようにする．特徴量の定義

表情から感情を推定する上でどのような顔の特徴量を計測するべきか，その尺度は目的，対象者に応じて多岐にわたると予想される．そのため，どのような分析のケースに対しても本は Web ブラウザ上に表示される専用のフォームで行う．特徴量は同時に複数個定義することができるようにし，それらはまとめて一つの特徴量セットとして外部データベースに保存する．

サービスが活用できるよう，必要な特徴量をサービスの利用者が自由に定義できるようにする．また，表情の表出に乏しい人を対象に計測を行う場合にも備え，顔の微妙な変化でも見逃さ計測を行う際には，保存されている特徴量セットを選択し，セッション名と，測定対象者の名前を入力する．セッション名は後に結果を閲覧する際の参考になる．

ずに記録できることが望ましい．そのため，時系列データとして特徴量を連続で記録し続けることが必要である．これらの機能を備えることで，微細かつ説明可能な感情分析に寄与することを目指す．

計測が開始されると，Web ブラウザを介してカメラからサービスへ画像が送信される．サービスは得られた画像から顔を検出し，顔の部分点を抽出する．次に，指定された特徴量セットに含まれる特徴量の定義に従い，特徴量を計測する．その後，（ 2 ） 計測結果の活用

それらを外部データベースに保存する．最後に，得られた特徴計測によって得られた特徴量の記録を，サービス利用者が活用できる機能が必要である．本サービスでは，特徴量の時系列データをグラフで可視化することで，利用者の表情分析タスクを補助するほか，データをエクスポートする機能を備えること

量を Web ブラウザ側へ送信し，計測結果として表示させる．また，データベースに特徴量を保存する際には，取得した画像も同時に保存する．これにより，後に計測結果を閲覧する際に，特徴量とそのときの顔とを同時に見ることが可能になる．
さらに，上記のようなリアルタイム計測機能に加えて，既存（注 1）：https://azure.microsoft.com/ja-jp/services/cognitive-services/ の画像ファイルを送信して特徴量の計測を行う機能を用意し，face/- 31 -—3—

撮影
カメラ
計測対象者

クライアント×（Webブラウザ）
サービス
操作画面表示各種情報を送受信/整形して表示

JavaScript

データ送受信（HTTP）Web API

HTTPハンドラ
セッション情報送受信

図 4 抽出可能な特徴点

特徴量定義
送受信

画像送受信

測定結果送受信θ
特徴量計測モジュール

サービスコアDBアクセサ

データ送受信（HTTP）

傾きのある顔Web API

補正イメージ

図 5 回転処理の概念図

外部DBサーバ（MySQL）

DB•

Flask は Python 用の Web アプリケーションフレームワー

図 3 表情センシングサービスの全体実装図

クの一つであり，本サービスの構築に用いた．OpenCV およびdlib は画像処理用のライブラリの一つであり，Python から利事前に撮影した画像を用いた分析もできるようにする．

用できる．本サービスでは，画像の読み込みなど基本的な取り機能 2：計測結果の活用
計測結果を閲覧する際は，まずサービス利用者が，過去のセッションのうちから記録を閲覧したいセッション名を選択す
る．サービスはそのセッションに対応する記録をデータベース扱いに OpenCV を，顔検出や顔の特徴点抽出に dlib を用いている．Google charts は Web ブラウザ上でグラフの描画を行うための JavaScript ライブラリである．

4. 2 特徴量計測から読み出し，Web ブラウザ側に送信する．Web ブラウザはそれを時系列グラフとして表示する．グラフ上には計測結果を点でプロットし，各点を選択すると，そのときの顔画像を表示する．また，計測結果はファイルに書き出してダウンロードできるようにする．

行った．図 3 に全体実装図を示す．実装に用いた技術は以下の•ライブラリ：Flask（注 2），OpenCV（注 3），dlib [8]•

API：Google Charts（注 4）が定義されており，これらの点が本サービスで計測対象となる．

離），直線距離（ベクトルの距離）の 3 つである．特徴量を求め

3. で述べた表情センシングサービスのプロトタイプ実装を開発言語：Python3，HTML5，JavaScript，PHP利用している．このファイルは特徴点として図 4 で示す 68 点間の距離のうち，高さ（上下方向の距離），横幅（左右方向の距

4. 1 実装の概要•

本サービスでは顔の特徴点を抽出するために dlib の特徴点抽出器（dlib.shape_predictor）および学習済みファイル（注 6）を本サービスで特徴量として計測できるのは，2 つの特徴点の4. プロトタイプ実装とおりである．

DB（データベース）：MySQL（注 5）る際には，顔の寄り引きによらず一定の値を得るために，両目の中心間の距離 deye を用いて正規化を行う．具体的には，2 点の座標間の距離（前述の 3 種類のいずれか）を計測し，得られた距離 d に対して d/deye を特徴量とする．ただし，高さまたは横幅を求める際には，d を計測する前に，顔の傾きを考慮し，両目の中心間の角度を用いて座標系を回転させる．図 5 にこの（注 2）：http://flask.pocoo.org/（注 5）：https://www.mysql.com/（注 3）：https://opencv.org/（注 6）：http://dlib.net/files/shape_predictor_68_face_landmarks.dat.

（注 4）：https://developers.google.com/chart/

bz2- 32 -—4—

図 6 特徴量計測画面：左眉の高さ：右眉の高さ3：左眉吊り上がり
4：右眉吊り上がり
5：左目開き具合
6：右目開き具合
7：左口角下がり具合
8：右口角下がり具合
9：口幅1234125

6

71＋ 2＝ ─：眉の高さ
23＋ 42＝ ─：眉の吊り上がり
25＋ 63＝ ─：目の開き具合
27＋ 84＝ ─ ：口角の下がり具合
2819図7

特徴量の定義の例

回転処理の概念図を示す．両目を結ぶ線の画像水平方向に対する傾きを θ としたとき，画像中の点 (p, q) の，もとの座標軸を

図 8 計測結果閲覧画面

原点の周りに θ だけ反時計方向に回転させた座標軸上における座標 (p′ , q ′ ) を式 (1) で求め，この座標を用いて高さまたは横幅の記録を Web ブラウザ側に送信し，Web ブラウザは Googleの計測を行う．

Charts API を用い，それらを時系列データとして折れ線グラ( )p′q′)( )(=cos θsin θp− sin θcos θqフを作成，表示する．図 8 に計測結果の表示画面を示す．グ(1)

ラフ中の点をクリックすると，特徴量の値が表示され，さらに「画像表示」をクリックすると，そのときに得られた顔画像が別

図 6 は実際の計測画面である．Web ブラウザがサービスにウィンドウで表示される．また，画面下部の「エクスポート」画像を送信すると，サービス側で特徴量の計測が行われる．一のボタンをクリックすると，そのセッションにおけるすべての回の計測ごとに，特徴量と，計測に使われた特徴点を図示した特徴量の時系列データを含む CSV ファイルが生成され，ユー画像が Web ブラウザ上に表示される．このデモでは図 7 に示ザが Web ブラウザ経由でダウンロードすることができるようす特徴量を計測している．になる．

4. 3 計測結果の閲覧，活用

5. サービス利用テスト

計測によって得られた特徴量や顔画像はすべて外部の DBサーバ（MySQL サーバ）に保存される．本サービスと DB サー

今回作成した表情センシングサービスを用いて表情分析を行

バとのデータのやり取りは，サービス側の DB アクセサモジュー

うテストとして，参考文献 [3] 中の被介護者の顔写真 2 枚（図ルと，DB サーバ側の Web API（PHP）を介して行われる．

1 のもの）を本サービスに入力し，同文献に記載されている表ユーザが記録を閲覧したいセッション名を選択すると，本サー情の特徴量を計測し，考察を試みた． [3] では，感情抽出のた

ビスは．DB サーバからそのセッションにおける各特徴量ごと- 33 -—5—

（a）

（b）

データの連続的な取得を行うことや，本システムが，ケアの定量的評価などの実用場面においてどれぐらい効果をもたらすことができるかを調査することが挙げられる．
また，より安定した特徴点抽出や，サービスの機能拡張，取得したデータを用いた感情推定モデルの構築など，技術的な改良や機械学習への応用も検討したい．
謝辞

図 9 表情センシングサービスが抽出した特徴点成を受けている．

表 2 表情センシングサービスによって得られた特徴量
ラベル

文

画像
（a） 画像（b）

眉の高さ（a1 ）

0.407

0.378

眉の吊り上がり（a2 ）

0.113

0.133

目の開き具合（a3 ）

0.074

0.051

口角の下がり具合（a4 ）

1.1271.101

口幅（h9 ）

0.828

0.870

本 研 究 の 一 部 は JSPS 科 研 費 JP19H01138,

JP17H00731, JP18H03242, JP18H03342, JP19K02973 の助

めの特徴量として，「眉の高さ」「眉の吊り上がり」「目の開き具合」「口角の下がり具合」「口幅」の 5 つを定義している．本
サービスでそれを再現するために，図 7 の a1 〜a4 および h9 を
図 1 の写真（a），（b）についてそれぞれ計測した．その結果を表 2 に示す．また，特徴量を計測するのために，サービスが画像から抽出した特徴点を図 9 に示す．
これらの結果より，例えば，被介護者の顔は写真（b）において写真（a）よりも目が細くなっていることが認められる．同時に，眉の吊り上がりと，口角の上がりが観測されている．[3] には，目が細くなった場合，下瞼が上がっていると幸福の感情を示す，ほか，口角の下がりが負（＝口角が上がった）ならば安堵感が増したことが示唆される，という記述がある．また，上献[1] 日本経済再生本部，“未来投資戦略 2017（案）,” http://www.
kantei.go.jp/jp/singi/keizaisaisei/dai26/siryou.pdf．
[2] 高見美保，中筋美子，野村陽子，“認知症のステージ進行に応じたケアの特徴，” Phenomena in Nursing，vol.1，no.1，pp.R1–R14，2017．
[3] 佐藤和典，杉野一行，林 隆司，“表情に基づく客観的な介護・福祉教育効果評価法の検討，” 医療保健学研究：つくば国際大学
紀要，vol.1，pp.163–170，2010．
[4] 田島明子，岩田美幸，籔脇健司，小林隆司，“認知症高齢者の「QOL」の概念化・尺度化・援助設定をめぐる論点の整理，” 吉備国際大学研究紀要（保健科学部），vol.••, no.20，pp.63–70，2010．
[5] 佐古 嵐，佐伯幸郎，中村匡秀，安田 清，“コグニティブコ
ンピューティングによる顔感情解析を用いたケア効果の定量的評価，” 電子情報通信学会技術報告書，第 LOIS2017-89 巻，pp.105–110，March 2018． 沖縄・那覇市 IT 創造館．
[6] P. エクマン，W.V. フリーセン，工藤 力訳，表情分析入門―表情に隠された意味をさぐる，誠信書房，1987．
[7] 太田智美，田村真理子，有田真理子，木曽奈央子，佐伯行一，“
表情分析: エクマンにより提唱されている表情の特徴との比較検討，” 滋賀医科大学看護学ジャーナル，vol.3，no.1，pp.20–24，
2005．
[8] D.E. King, “Dlib-ml: A machine learning toolkit,” Journalof Machine Learning Research, vol.10, pp.1755–1758, 2009.の結果から（b）の目の細まりは下瞼が上がったことによるものと考えられる．これらより，写真（b）において被介護者には幸福，安堵の感情が生じているのではないかと推測できる．他には，口幅を見ると写真（b）の方が大きくなっており，これはケアによって緊張が生じたことにより口が真一文字に固まってしまったためとも捉えられるが，口角が後ろに引かれたことによって口幅が大きくなったようにも見え，参考文献 [6] や [7]では，幸福の感情が表れるときに口角が後方に引かれるといった分析がなされており，口角が上がっていることからも，口元にもなお幸福感が表れているのではないか，などといったように，得られた特徴量の値から，感情の推測を行うことができる．

6. お わ り に
本稿では，利用者が顔の特徴量を自身で定義し，その値をリアルタイムに計測，記録する表情センシングサービスの検討および実装を行った．また，サービスの動作テストを行った．
このサービスを活用することによって，表情データの効率的な取得および，サービス利用者の持つ知見を活用した「微細な表情変化による感情分析」及び「説明可能な表情分析」の実現に寄与できると思われる．
今後の研究課題としては，実際に本システムを運用し，表情- 34 -—6—