一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATIONAND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会

信学技報
IEICE Technical Report
SC2019-37(2020-03)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

高齢者ケアの科学的な評価を目的としたユーザ定義の顔特徴量の測定
平山孝輔†

佐伯幸郎†

中村匡秀†,†† 安田清†††† 神戸大学 〒657–8501 神戸市灘区六甲台町 1–1†† 理化学研究所・革新知能統合研究センター 〒103–0027 東京都中央区日本橋 1–4–1††† 大阪工業大学 〒535–8585 大阪市旭区大宮 5–16–1
E-mail: †hirayama@ws.cs.kobe-u.ac.jp, ††sachio@carp.kobe-u.ac.jp, †††masa-n@cs.kobe-u.ac.jp,††††fwkk5911@mb.infoweb.ne.jp
あらまし

ケアの定量的評価によって，説明可能なエビデンスを活用する「科学的介護」を実践するために，我々は「表情センシングサービス」を以前の研究で提案した．このサービスは，ユーザが定義した顔の特徴量を自動的にカメラや映像ファイルから測定し，時系列データとして保存する．これにより，ケア中の対象者の微細な表情の変化を詳細に捉え，定量的かつ，説明可能な感情分析を実現することを目指している．本稿ではサービスの実用性を評価するために，ケア最中の高齢者の映像を利用して特徴量の測定を行う実験を行った．また，既存のコグニティブ API によって得られた結果との比較，考察を行ったところ，既存の API では捉えられない微細な表情の変化を観測することができた．
キーワード

表情分析，科学的介護，ケア効果，ストリームマイニング

Capturing user-defined facial features for scientific evidence of elderly care
Kosuke HIRAYAMA† , Sachio SAIKI† , Masahide NAKAMURA†,†† , and Kiyoshi YASUDA†††† Kobe University Rokkodai-cho 1–1，Nada-ku，Kobe，Hyogo，657–8501 Japan†† Riken AIP 1–4–1 Nihon-bashi, Chuo-ku, Tokyo 103–0027††† Osaka Institute of Technology 5–16–1 Omiya, Asahi-ku, Osaka, 535–8585 Japan
E-mail: †hirayama@ws.cs.kobe-u.ac.jp, ††sachio@carp.kobe-u.ac.jp, †††masa-n@cs.kobe-u.ac.jp,††††fwkk5911@mb.infoweb.ne.jp
Abstract To achieve the scientific long-term care supported by interpretable evidence, we have proposed the“facial expression sensing service” in the previous research. The service automatically measures user-defined facial
feature values from cameras or video files and saves them as time-series data. In this way, we aim to realize quantitative and explainable emotion analysis by capturing subtle changes in facial expressions of the subject during care.
In this paper, to evaluate the practicality of the service, we conducted an experiment to measure the features using
videos of elderly people during care. Comparing and considering the results obtained by the existing cognitive API,
we have observed subtle changes in facial expressions that could not be captured by the existing API.
Key words Facial expression analysis, Long-term care, Care eﬀect, Stream mining
る．ここで，客観的なケアの効果を示す指標の一つとして，顔1. は じ め にの表情に着目する．顔の表情は，ケアを受けている患者の感情

近年，日本は超高齢化社会に直面しており，介護を必要とする高齢者の数が増加したことで，慢性的な介護リソースの不足を推し量る上で有用なヒントといえ，「表情分析」という体系的な手法も案出されている [2]．に苛まれている．こうした中，日本は「科学的介護」を国策とこういった表情の分析および感情の推定は，現代においてはして実践することを宣言し，介護の効果を科学的エビデンスに画像処理技術を用いることで自動化を図ることができる．特によって検証することで，介護リソースを適切に配分することをここ数年では，機械学習技術を活用した感情分析用の API が目指している [1]．科学的介護の実現のためには，ケアの質や効様々な企業からリリースされており，入力した顔写真を自動的果をデータを用いて定量的，客観的に評価することが重要であに分析することが可能となっている．こうした API は喜びや悲- 17 -—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2020 by IEICEしみといった代表的な感情を数値化して出力することができ，被験者Ａ - ＦＥＴの感情値
1

ケアの効果の測定に役立つことが期待できる．ただ，実際の医療やケアの現場においては，ケアの対象となる高齢者の表情の0.8変化が，機能性あるいは認知機能の障害により弱まっているこ0.6とがあるため，既存の API では測定できないような微妙な表情0.4の変化にまで気を配る必要がある．また，既存の API による

0.2

感情分析はブラックボックス化されており，その結果がなぜ，000:00

どのようにして導かれたのかを辿ることが困難である．

04:00

08:00

12:00

neutral

これに対処すべく，我々は以前の研究で，ユーザが顔の特徴量を自分で定義し，微細な表情変化を捉えることができるよう

16:00

happiness

被験者Ｂ - ＦＥＴの感情値1にするためのサービスである「表情センシングサービス」の検討，開発を行った [3]．このサービスでは，ユーザは，目や鼻0.8といった顔の特徴点を選択し，その各点間の距離をカスタム特0.6

徴量として定義する．提案サービスは，カメラからリアルタイ0.4

ムに，あるいは動画ファイルから映像を読み込み，映像内に映0.2る人物の顔を検出し，特徴点を抽出する．そして，あらかじめ

000:00

ユーザが定義した特徴量の定義に従って特徴点間の距離を測定

04:00

08:00
neutral

し，記録する．同時に，測定された値と測定時刻を紐づけ，デー

12:00

16:00

20:00

happiness

図 1 FET によって得られた結果の一部タベースに蓄積する．ユーザは時系列データとしてそれらを取り出し，任意の分析に利用することができる．提案サービスにより，カスタム顔特徴量の効率的な取得が可能になり，微細な以上から，科学的介護を実現するためには，介護の定量的な表情変化による感情分析及び説明可能な表情分析の実現が期待評価に寄与するようなデータを自動的に収集できるようなコンできる．

ピュータベースのサービスを開発することが必要があると考え

本稿では，表情センシングサービスによって科学的介護に寄られる．

2. 2 コグニティブ API

与できるデータが得られるかを調べるために，施設でケアを受けている最中の高齢者の映像を用いて，その表情変化を提案

クラウドコンピューティング技術の急速な発展に伴い，これサービスにより観測する実験を行った．また，得られた特徴量までエッジ側で実行していた様々な処理を，クラウドサービスを，既存の API が測定した感情値と比較し，考察を行った．

で代替することが可能となった．このような中，近年爆発的に2. 準普及が進んでいる人工知能を活用する様々なサービスもクラウ備ドサービスとして利用が可能となりつつある．人工知能を活用

2. 1 科学的介護を取り巻く現状するクラウドサービスとして，視覚・音声・言語・知識などを

1. で述べた科学的介護においては，介護の質を定量的，客観もとに，そこに含まれている情報をコンピュータに認識させ的に評価する必要がある．しかしながら，現状，介護行為の評る，コグニティブサービスがある．コグニティブサービスでは

価は，対象者の観察やアンケートなど，主観的なスケールで行従来コンピュータでの処理が困難であった様々な認知に関するわれることがほとんどである．そのため，得られたデータは科機能を実現することができる．多くのパブリッククラウドがこ学的なエビデンスとしての活用が難しい．さらに，こうした評ういったサービスをコグニティブ API という形で提供してい価方法では，ケアの評価者か対象者，あるいはその両方に大きる．コグニティブ API の中でも，例えば視覚に関する機能をな負担がかかってしまう．

提供するサービスは，画像を入力として，その中から，例えばまた，科学的介護は大規模なデータを活用して行われるため，データの効率的な収集が求められる．過去に，客観的な介護効映っている物体の説明や，人物の年齢，感情といった，様々な情報を識別・抽出することが可能である．

2. 3 コグニティブ API を用いた感情分析

果を測定するために，ケアを行っている最中の対象者の表情の変化を測定する実験がなされている [4]．この実験では，[2] のコグニティブ API は感情を自動的に数値化することができる

P. エクマンらの手法などを基に，ケア対象者の眉の高さや目のため，科学的介護への応用も期待できる．実際に，我々の研究グ広がりといった特徴量を映像から測定し，さらにその上で感情ループでは過去に，コグニティブ API を利用したリアルタイムの推測を行っている．しかし，測定は録画された映像から手動感情分析サービス「Face Emotion Tracker（FET）」を開発で行われていた．また，当該報告中では，「…本研究は例数がし，ケアの定量的評価を試みている [5]．この先行研究では，高限られているため一般化するには至っていない．…客観的な評齢者施設で生活している高齢者 5 名を対象に，バーチャルエー価法の確立のためには被介助者，介助者共に更に多くのデータジェント [6] を用いたケアを行い，その最中に対象者の顔画像をを収集・分析する必要が考えられた」という結論が述べられてコグニティブ API（Microsoft Face API [7]）に送信し，感情分いた．

析を行っている．これによって得られた結果のグラフの一部を- 18 -—2—

測定対象者

サービス利用者

カメラ
撮影
定義登録
画像送信

読込

特徴量測定

データ蓄積

特徴量
定義

測定
結果

読込

データ活用

データベース

表示／
エクス
ポート

表情センシングサービス
図 2 表情センシングサービスの概念図

図 1 に示す．FET は 8 種類の感情（anger, contempt, disgust,

図 3 特徴量測定画面

fear, happiness, neutral, sadness, surprise）を 0 から 1 の確度として出力することができ，このうち，今回は特に neutral とhappiness の値に注目している．被験者 A は比較的表情が豊かな方で，実際，ケアの経過とともに neutral と happiness の値が交互に表れており，楽しそうにしていた瞬間を捉えられていた．一方で，被験者 B は 99 歳という高齢で，表情筋の衰えからか，あまり表情の変化が目立たない方だった．その結果，ほぼ全ての時間で neutral しか観測されていない．しかしながら，この実験では，FET による分析と同時に，実地で観察者がケア最中の被験者の様子を記録しており，その記録では，被験者 Bはケアの後半になるにつれて良い気分になっていたとの評価がなされており，FET で得られた結果との乖離がみられた．
要介護者の表情を観測する上では，実際の感情に対して表情が乏しい方を対象とするケースが多々考えられる．要因として
は，加齢，認知症，脳卒中の後遺症，ALS（筋萎縮性側索硬化

図 4 測定結果表示画面症），パーキンソン病などが挙げられる．そのため，何らかの対処を講じる必要がある．

ユーザは，任意の特徴点のペアを選択することにより，測定しまた，FET が利用しているようなコグニティブ API は機械たい特徴量を定義することができる．必要な特徴量を自由に定学習技術を用いて構築されている．そのため，入力に対してあ義できることで，どのような分析のケースに対しても本サービる結果が出力されるまでに至る過程を追うことができない．こスが活用できる．そして，記録された特徴量および顔画像は，のことから，得られたデータを介護効果のエビデンスなどに用グラフとして表示できるほか，ファイルにエクスポートが可能いようとする場合に困難が生じる懸念がある．

である．これによって，データを様々な目的に応用できる．これらの機能を提供することにより，微細かつ説明可能な感情分

3. 表情センシングサービス

析に寄与することを目指す．

本章では，1. で述べた表情センシングサービスに関する説明を行う．

3. 1 概図 2 に本サービスの概念図を示す．サービスはカメラから対象者の顔画像を取得し，特徴点を抽出し，登録された特徴量

要の定義に基づいて特徴量を測定する．測定された特徴量は逐次本サービスは，対象者の顔画像から特徴量を抽出，記録する．

データベースに保存される．また，本サービスはカメラからリ

本サービスにおける特徴量とは眉，目，鼻，口など，顔の特徴アルタイムに測定する以外にも，動画ファイルから自動的に特的なパーツの座標（＝特徴点）間の距離のことを指す．この特徴量を測定する機能も備えており，事前に撮影された映像を活徴量の変化をトラッキングすることで，顔の動き＝表情の変化用することもできる．の度合いを測定する．測定は一定の間隔ごとに連続で行われ，3. 2 プロトタイプ実装

値はその瞬間の顔画像とともに記録される．これにより，表情本研究では表情センシングサービスのプロトタイプ実装をの表出に乏しい人を対象に測定を行う際にも，顔の微妙な変化行っている．サービスは Web アプリケーションとして提供し，を見逃さずに記録することを目指している．また，サービスのWeb ブラウザ上から利用できるようにした．本サービスのスク- 19 -—3—

：左眉の高さ：右眉の高さ3 ：左眉吊り上がり
4 ：右眉吊り上がり
5 ：左目開き具合
6 ：右目開き具合
7 ：左口角下がり具合
8 ：右口角下がり具合
9 ：口幅
10 ：両眉間距離

表 1 各被験者の詳細

123
1410256789

年齢 性別

1＋ 2
1＝ ─：眉の高さ
23＋ 42＝ ─：眉の吊り上がり
25＋ 6
3＝ ─：目の開き具合
27＋ 84＝ ─ ：口角の下がり具合
2

図 5 予備実験で測定された特徴量

備考

被験者 A

80

男性 表情が豊か．脳梗塞発症経験あり．

被験者 B

99

女性 ご高齢であり，表情が顔に表れにくい．

被験者 C

73

女性 表情が豊か．要支援．

被験者 D

84

女性 表情が豊か．要支援だが会話に支障なし．

被験者 E

80

女性 重度の認知症．多幸症の疑いあり．とで，本サービスが，表情の定量的な分析に有用なデータを得られるか，また，特に表情に乏しい人について，従来の FETではカバーできない微細な表情変化を捉えられるかについて評価する．
今回の実験で測定を行った被験者 5 名に関する情報を表 1 に示す（被験者 A，B は 2. 3 及び図 1 内で示した被験者と同一）．
このうち，被験者 A，C，D は表情が豊かであり，笑っている様リーンショットを図 3，図 4 に示す．

子などが容易に見て取れた．一方，被験者 B，E は表情の変化実装に用いた技術は以下のとおりである．に乏しかった．被験者 B は高齢に伴う表情筋の衰えが原因か，•

開発言語： Python3, HTML5, JavaScript

顔を動かしていることは分かるものの，明確な表情があまりみ•使用したライブラリやツール： Django（注 1）, OpenCV（注 2）,られなかった．被験者 E は認知症による多幸症の疑いがある方

dlib [8], Plotly（注 3）, Celery（注 4）, RabbitMQ（注 5）であり，ケア開始から終了に至るまでほぼ常に笑顔を見せていDjango は Python 用の Web アプリケーションフレームワー

た．本実験では，被験者 A，C，D と被験者 B，E をそれぞれクの一つであり，サービスの構築のために用いている．OpenCV

被験者群 1，被験者 2 として分け，それぞれの群について考察および dlib は Python で利用できる画像処理用のライブラリを行う．

であり，画像の読み込みなど基本的な操作に OpenCV を，顔検出や顔の特徴点抽出に dlib を利用している．なお，dlib を

なお，本研究は，神戸大学大学院システム情報学研究科の研究倫理審査委員会の許可を受けている（承認番号 R01-02）．

用いた特徴点の抽出には公開されている学習済みファイル（注 6）

4. 2 実 験 方 法を利用している．Plotly はグラフの描画を行うためのライブラ

まず，FET のデータから顔画像を取り出し，測定間隔を考慮

リであり，本サービスではブラウザ上からグラフを表示するして動画ファイル化する．次に，それらの動画ファイルを，表ために，JavaScript で使用している．Celery はタスクキュー，情センシングサービスに入力し，図 5 の h9 ，h10 ，a1 〜a4 で示

RabbitMQ はメッセージブローカーの一種であり，これらはされる 6 つの特徴量「口幅」，「両眉間距離」，「眉の高さ」，「眉サービス内部で特徴量測定を行うモジュールとのデータのやの吊り上がり」，「目の開き」，「口角下がり具合」を測定する．

り取りに利用される．また，本プロトタイプにおいては，特徴これらのうち「両眉間距離」を除く 5 つの特徴量は [4] を参考

量セットの定義や測定結果を保存するためのデータベースは，にしている．

Django デフォルトの SQLite3 を使用してアプリケーション内に組み込んでいる．

得られた特徴量を分析するために，本実験では，FET の測定対象となる感情のうち，特にケアの効果の判断に直結しうるで特徴量を測定する上では，顔の寄り引きによらず一定の値をあろう “happiness”（幸福）に着目し，happiness の値と各種特得るために，両目の中心間の距離および両目を結ぶ線の画像水徴量との間の相関係数を求めることで，FET による感情値と平方向に対する傾きを用いて正規化を行う．の比較を行う．被験者群 1 では，幸福の感情を示すような固有の表情が明確に表れるため，FET の値に何らかの特徴量が追4. 評 価 実 験

従し，結果として高い相関が得られると予測できる．一方，被4. 1 実 験 概 要

験者群 2 において，もし本サービスが FET で捉えられない微本実験では，2. 3 で述べた，先行研究である FET の実験で得妙な表情の変化が記録できたならば，それに伴って相関は低くられたケア最中の被験者 5 名の映像から，表情センシングサーなると予想される．なお，相関を求める際に，事前に FET のビスを用いた顔の特徴量の測定を行う．その結果を分析するこデータから外れ値と思われるものは除外している．

4. 3 実 験 結 果（注 1）：https://www.djangoproject.com/

今回の実験では，相関係数を計算するために，FET と表情セ

（注 2）：https://opencv.org/（注 3）：https://plot.ly/

ンシングサービスのデータを，測定間隔を考慮して結合した．

（注 4）：http://www.celeryproject.org/

その結果，表 2 に示す数のデータが得られた．このデータを用（注 5）：https://www.rabbitmq.com/

いて算出された FET の感情値と各特徴量との間の相関係数を（注 6）：http://dlib.net/files/shape_predictor_68_face_landmarks.dat.

bz2

表 3 に示す．

- 20 -—4—

被験者Ｂ - 口幅

被験者Ｂ – FET “happiness”

被験者Ｂ - 口角下がり具合

1

1.2

1.5

0.8

1.1

1.4

0.6

1

0.4

0.9

0.2

0.8

1.3

1.2

0
0:00

4:00

8:00

12:0016:00

20:00

0.7
0:00

1.1
1
4:00

1.2

0.8

1.1

0.6

1

0.4

0.9

0.2

0.8
4:00

8:00

12:00

16:00

12:00

16:00

20:00

被験者Ｅ - 口幅

被験者Ｅ – FET “happiness”
10
0:00

8:00

0.9
0:00

0.7
0:00

20:00

4:00

8:00

12:00

16:00

4:00

8:00

12:00

16:00

20:00

被験者Ｅ - 口角下がり具合

20:00

1.6
1.5
1.4
1.3
1.2
1.1
1
0.9
0.8
0:00

4:00

8:00

12:00

16:00

20:00

図 6 被験者 B，E の FET の感情値と表情センシングサービスの特徴量のグラフ

表2

実験で得られたデータ

れた点での顔を調べたところ，笑顔が見られた．ただ，それ以データ数 動画時間

外の特徴量との相関の符号は一致しておらず，笑ったときの顔

被験者 A

350

18:42の動きには人によって若干の差異があることが推測される．被被験者 B

362

21:31

験者 A については相関が低かった．その理由としては，被験被験者 C

344

18:18

者 A の happiness の値は，C，D のものよりも変化が急峻であ

被験者 D

253

13:18

被験者 E

438

23:00

り，値が 1 近くまで大きくなった直後に 0 近くに戻る，というような動きが多く，その一方，表情センシングサービスの特徴量は常に少しずつ変化していたため，このギャップにより，相表 3 FET の “happiness” の値と表情センシングサービスによる関が低くなったものと考えられる．しかし，被験者 A について特徴量の相関係数
口幅
被験者A

両眉間
距離

眉の高さ

も，口幅広がりや，口角上がりがみられる点での顔を調べたと

眉の目の口角の吊り上がり 開き具合 下がり具合

ころ，被験者 C，D と同様に，笑顔が見られた．

0.18282 -0.19747 -0.23628 -0.05432 -0.00720 -0.23862

被験者B -0.08138

0.011620.08983

0.06623 -0.01453

以上より，表情センシングサービスは被験者群 1 全体に共通

0.15413

被験者C0.690850.534630.25550 -0.72197

するような幸福時の顔の動きをデータとして捉えることができ

被験者D

0.690930.25851 -0.15822

0.06826 -0.39886 -0.70356ていたと言える．また，程度の差はあるが，FET の感情値と被験者E0.11818

0.06127 -0.01107

0.01582 -0.01585の相関がみられた．つまり，表情センシングサービスの特徴量0.35611 -0.356040.00205

が FET の感情値を追従していたことになり，FET の分析に裏まず，被験者群 1 について，被験者 C，D の特徴量は FET付けを与えるような結果となった．このことから，被験者群 1の感情値との相関が比較的大きかった．この 2 名に共通してのように，表情豊かな人を対象とした感情推定においては，本happiness に対して，口幅との間に正の相関が，口角下がり具サービスが，機械学習によって行われた分析の結果をより定量合との間に負の相関がみられた．また，被験者 C については，的かつ説明可能なものに強化することが期待できる．同時に，両眉間距離との間にも大きめの相関がみられた．一方で，被験特定の感情を見せる際の表情の変化が数値として表れることが者 A の相関係数は C，D と比べて低かった．

ある程度確認できたため，本サービスは人間の目によって行わ

次に，被験者群 2 だが，被験者 B，被験者 E の両者とも，全れた分析にも応用できると思われる．ての特徴量において happiness との相関が特にみられなかっ4. 5 被験者群 2 の分析

た．ここで，被験者 B，E の happiness の値および今回測定さ図 6 より，被験者群 2 の 2 名の happiness の値は，被験者 Bれた特徴量の一部を表すグラフを図 6 に示す．縦軸は特徴量のではほぼ 0 に近く，被験者 E ではほぼ 1 に近い．つまり，これ値を，横軸はケア開始からの時間を示す．また，黒破線は平均らの表情の変化に乏しい人に対して，FET の出力値は変化が小値である．

さい．これに対して，表情センシングサービスによる特徴量の4. 4 被験者群 1 の分析

値は，常に変化し続けていたため，結果としてほぼ happiness

被験者群 1 の結果から，被験者 C，D について，幸福の感との相関がみられないという結果になった．FET との相関が情を示すとき，つまり笑ったときに口が広がり，口角が上がり低いという事実により，結果として，表情センシングサービス（＝口角の下がりが負），眉が外側に引かれるという顔の変化がは FET が捉えきれなかった微妙な表情の変化を記録すること読み取れる．実際に，口幅の広がりや，口角の上がりが観測さができていたといえる．

- 21 -—5—

者に利用してもらうことで，測定されたデータに対する評価や被験者Ｂ - 口幅 (測定値10個の移動平均)
1.05

フィードバックを得ることが重要となるだろう．その他，技術的な問題として，特徴点抽出が不安定になることがしばしば起1

こった．この問題は，特に，被験者が顔を大きく傾けた際に見0.95受けられた．特徴点の位置がずれると，特徴量の測定にも影響0.9が生じるため，実装面での改善も進める必要がある．

0.85
0:00

4:00

8:00

12:00

16:00

5. お わ り に

20:00

本稿では，利用者が顔の特徴量を自身で定義し，その値を測

被験者Ｂ - 口角下がり具合 (測定値10個の移動平均)
1.25

定，記録する表情センシングサービスを用いて，表情の分析を1.2行う予備実験を行った．

1.15

実験の結果，本サービスはコグニティブサービスでは捉えき1.1

れないような微細な表情変化を捉えられることがわかった．ま1.05

た，得られた特徴量は表情分析に寄与できると考えられる．こ1のサービスを活用することによって，表情データの効率的な取

0.95
0:00

図720:00

得および，数値データを活用した「微細な表情変化による感情分被験者 B の特徴量のグラフ（測定値 10 個の移動平均）析」や「説明可能な表情分析」の実現に寄与できると思われる．

4:00

8:00

12:00

16:00

今後の研究課題としては，実際に本サービスを運用するなど
さらに，被験者 B について，表情の変化をより具体的に調べるため，口幅と口角下がり具合について，直近測定値 10 個分のし，より多くのデータを収集したり，利用者から意見を頂くことでデータの活用できる範囲を広げることが挙げられる．

単純移動平均を算出した．そのグラフを図 7 に示す．口幅を見その他にも，より安定した特徴点抽出や，サービスの使い勝ると，ケアの後半になるにつれて全体的に右肩上がりに値が増

手の向上といった実装面での改良や，声の調子など顔以外の要大している．また，口角下がり具合についても，9 分以降で値が素も組み合わせた，より強力なケアの効果推定ツールの実現な小さくなっており，口角が上がっていることが推察される．ケ

ども検討したい．
謝辞

ア開始後 16 分ごろから約 5 分間は歌を歌うケアが行われたた

本 研 究 の 一 部 は JSPS 科 研 費 JP19H01138,

め，口元の動きが不規則になり，特徴量の値が大きく変化して

JP17H00731, JP18H03242, JP18H03342, JP19K02973 の助

しまっているが，最終的にはケア開始直後に比べ，口幅は広が成を受けている．

り，口角は上がった．この結果は，被験者群 1 から得られた幸福時の顔の変化と一致している．また，表情分析に関する参考
文献 [2] においても，幸福を示す表情について「唇の両端は後ろに引かれ，多少上がっている」，「頬は持ち上げられている」という定義がなされている．そのため，被験者 B はケアを通して良い気分になったと推測することができる．さらに，2. 3 でも述べたように，実地でケア中の被験者を観察した人は，被験者

B はケアが進むにつれていい気分になっていたと評価していたが，表情センシングサービスによって得られた特徴量から，この評価についても数値データによって裏付けることができた．
被験者 E については，幸福を示す顔の動きは捉えられたものの，常に楽しそうな様子を示していたため，それが心からの楽しさによって作られた表情であるかどうかまでは判断できなかった．

4. 6 考察

今回の実験の結果より，表情センシングサービスは，表情が豊かな人に対してもそうでない人に対しても，微細かつ定量的な表情分析を行うためのデータを提供できると考えられる．表情の変化が乏しい人に関しては，被験者 B のような表情が薄文

献[1] 日本経済再生本部，“未来投資戦略 2017（案）,” http://www.
kantei.go.jp/jp/singi/keizaisaisei/dai26/siryou.pdf．
[2] P. エクマン，W.V. フリーセン，工藤 力訳，表情分析入門―表情に隠された意味をさぐる，誠信書房，1987．
[3] 平山孝輔，佐伯幸郎，中村匡秀，“ユーザ定義の顔特徴量をリアルタイム計測可能な表情センシングサービスの検討，” 電子情報通信学会技術報告，vol.••, no.SWIM2019-17,SC2019-17，pp.29–34，Aug. 2019． 大阪・大阪産業大学．
[4] 佐藤和典，杉野一行，林 隆司，“表情に基づく客観的な介護・福祉教育効果評価法の検討，” 医療保健学研究：つくば国際大学
紀要，vol.1，pp.163–170，2010．
[5] 佐古 嵐，佐伯幸郎，中村匡秀，安田 清，“コグニティブコ
ンピューティングによる顔感情解析を用いたケア効果の定量的評価，” 電子情報通信学会技術報告書，第 LOIS2017-89 巻，pp.105–110，March 2018． 沖縄・那覇市 IT 創造館．
[6] S. Tokunaga, K. Tamamizu, S. Saiki, M. Nakamura, andK. Yasuda, “VirtualCareGiver: Personalized Smart ElderlyCare,” International Journal of Software Innovation (IJSI),vol.5, no.1, pp.30–43, Oct. 2016. http://www.igi-global.
com/journals/abstract-announcement/158780.
[7] “Face api - 顔認識ソフトウェア | microsoft azure,” https://azure.microsoft.com/ja-jp/services/cognitive-services/face/．
[8] D.E. King, “Dlib-ml: A machine learning toolkit,” Journalof Machine Learning Research, vol.10, pp.1755–1758, 2009.

れた人に対しては効果が期待できるが，被験者 E のように表情の表出が特殊な人に対しては現状では分析が難しいことがわかった．さらなる分析のためには，実際にサービスをケア従事- 22 -—6—