一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
社団法人 電子情報通信学会
INFORMATIONAND COMMUNICATION ENGINEERS

信学技報
IEICE Technical Report
HCS2020-78(2021-03)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

変化点検知を活用した顔特徴量時系列データからの注目点の抽出
平山

孝輔†

佐伯

幸郎†

中村

匡秀†,††† 神戸大学 〒657–8501 神戸市灘区六甲台町 1–1†† 理化学研究所・革新知能統合研究センター 〒103–0027 東京都中央区日本橋 1–4–1
E-mail: †hirayama@ws.cs.kobe-u.ac.jp, ††sachio@carp.kobe-u.ac.jp, †††masa-n@cs.kobe-u.ac.jp
あらまし

我々は以前より，顔の微細な動きを特徴量として捉え，ケアの定量的評価に寄与するための「表情センシ

ングサービス」の開発を行っている．効率的なケア評価を行うためには，膨大な特徴量時系列データの中から「注目点」を自動的に見つけ出す手法が必要になる．そこで本稿では，被験者の表情に大きな変化がみられるタイミングを注目点とし，変化点検知手法を用いて特徴量データからの注目点の抽出を試みる．これにより，特徴量が大きく変動
したり，傾向が変わった箇所を自動的に検知することで，注目点を効率的に探し出せるようにする．また，複数の特徴量を組み合わせた「複合特徴量」を考案し，より実際の表情の変動に即した情報を得ることを目指す．
キーワード

科学的介護，表情分析，ケア効果，変化点検知

Extracting Points of Interest from Facial Feature Time-Series Data by
Changing Point Detection
Kosuke HIRAYAMA† , Sachio SAIKI† , and Masahide NAKAMURA†,††† Kobe University Rokkodai-cho 1–1，Nada-ku，Kobe，Hyogo，657–8501 Japan†† Riken AIP 1–4–1 Nihon-bashi, Chuo-ku, Tokyo 103–0027
E-mail: †hirayama@ws.cs.kobe-u.ac.jp, ††sachio@carp.kobe-u.ac.jp, †††masa-n@cs.kobe-u.ac.jp
Abstract We have been developed “Facial Expression Sensing Service” for quantitative care evaluation by capturing subtle
facial movements as feature values. For eﬃcient care evaluation, we need a method to automatically ﬁnd “point of interest” ina huge amount of time-series data of feature value. In this study, we deﬁne points of interest as the moments when a subject’s
facial expression changed signiﬁcantly, and attempt to extract them from feature value data using changing point detection
method. For this, we can detect when feature values changed signiﬁcantly or their trend changed, so we can eﬃciently ﬁnd
points of interest. We also devise “composite feature value” that combines multiple feature values to obtain information that ismore close to actual facial expression changes.
Key words Scientiﬁc long-term care, Facial expression analysis, Care eﬀect, Changing point detection
検討，開発を行っている [2]．実際に得られたデータを活用し

1. は じ め にた分析を行うに当たっては，ケアの全体を通して対象者の感情

近年，日本は超高齢化社会に直面しており，介護を必要とすがどう変わったかというマクロな視点と，ケアの最中のどのタる高齢者の数が増加したことで，慢性的な介護リソースの不足

イミングで対象者の感情に変化が生じたかのミクロな視点からに苛まれている．こうした中，日本は「科学的介護」を国策との分析が考えられる．マクロな視点からは，そのケアの満足度して実践することを宣言し，介護の効果を科学的エビデンスにや，対象者に対する適性が考察でき，ミクロな視点からは，対よって検証することで，介護リソースの適切な配分を目指して象者がどのような会話やコンテンツに対してポジティブな反応

いる [1]．科学的介護の実現のためには，ケアの質や効果をデーを示したかを推測することができる．こういった分析は，ケア

タを用いて定量的，客観的に評価することが重要である．

の効果を評価するとともに，対象者ひとりひとりの好みに応じ

以前より我々は，客観的なケアの効果を示す指標の一つとした最適なケアを提供するために有用である．しかし，表情センて，顔の表情に着目し，微細な表情の変化を数値データとしてシングサービスは秒単位で特徴量の測定を行うため，得られる取得するためのサービスである「表情センシングサービス」の時系列データは膨大になる．そのため，特にミクロな視点での- 60 -—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2021 by IEICE

分析において，注目すべき表情の変化点を探し出すことが困難の中でバッチ的に変化点を探すオフライン検知と，新しいデーとなるおそれがある．

タが得られるたびに検知を行い得られたデータが変化点である

そこで本稿では，表情センシングサービスで得られる特徴量かどうかを判断するオンライン検知がある．本稿では特に，オ

時系列データの中からケア効果を評価するうえで重要な点を注

ンライン変化点検知手法の 1 つである ChangeFinder [4] を特徴

目点とし，これを効率的に抽出することを考える．本稿では特量時系列データの分析に採用する．ChangeFinder の計算量は，に，被験者の表情に大きな変化がみられるタイミングを注目点計算に用いるデータ数に関しては線形のオーダーとなるため，と定め，これを見つけ出すために変化点検知を用いる．そして，変化点検知を素早く行うことが可能である [5]．

特徴量が大きく変動したり，値の傾向が変化する時点を示す変ChangeFinder は，Auto Regression Model（AR モデル）と平化点を自動的に検知し，被験者の表情が大きく変わった点を探

滑化を利用した 2 段階学習を特徴とする変化点検知手法であし出す．これにより，膨大なデータの中から注目点を容易に見る．時系列が従うモデルが変化した点を検知する仕組みとなっつけ出すことができ，先述のミクロな視点からの分析への寄与ており，変化の程度の大きさをスコア（＝変化スコア）としてが期待できる．

計算する．内部に AR モデルを 2 つ持っており，1 つ目は元の本稿では，本稿筆者の顔から作成した評価用のデータや，ケ

データの時系列モデルを学習し，2 つ目は 1 つ目の AR モデル

アを受ける被験者の映像から作成したデータを ChangeFinderを用いて得られた変化の程度を時系列データとして扱い学習という変化点検知手法を用いて分析する実験を行い，実際の様する．これらにより，小さなノイズの影響による変化を除去す

子と比較することで，その有用性を考察した．また，単一の特る仕組みとなっている．また，AR モデルの学習に Sequentially徴量だけではなく，複数の特徴量を組み合わせた複合特徴量をDiscounting AR model learning（SDAR）という忘却型学習アル

作成し，これに対しても変化点検知を適用することで，より実ゴリズムを用いており，これによりオンライン処理が可能な処際の表情の変動に即した情報を得るための実験を行った．実験

理スピードを実現している．さらに，一般に AR モデルは時系の結果，本稿の手法によって表情の変化や顔の大きな動きを注

列の定常性を仮定したモデルであるが，ChangeFinder は忘却型

目点として抽出できることを確認した．

学習を取り入れることで，非定常なデータにも対応する．

2. 準

表情センシングサービスによって得られるような，1 次元の備

時系列データに対する ChangeFinder が行う処理のステップを

2. 1 表情センシングサービス

以下に示す．

1. で述べた通り，我々は以前より「表情センシングサービス」

Step 1: 入力されたデータに対して，1 段階目の AR モデルのの検討・開発を行っている．表情の分析タスクには，機械学習

学習を行う．この処理ステップでは，SDAR アルゴリズムを用を用いて構築されたコグニティブ API を使用することも考えいて，AR モデルが持つ平均・共分散・分散・自己回帰係数のられる．実際に，過去に我々の研究グループではコグニティブ

更新を行う．AR モデルの次数を 𝑘 ，時刻 𝑡(= 1, 2, · · · ) に対API を利用したリアルタイム感情分析サービス「Face Emotion

する入力データを 𝑥 𝑡 ，今回算出される平均を 𝜇𝑡 ，自己回帰係数

Tracker（FET）」を開発し，ケアの定量的評価を試みている [3]．

を 𝑎 𝑡 ,𝑖 ，共分散を 𝐶𝑡 ,𝑖 ，分散を 𝜎𝑡 ，忘却率を 𝑟 (0 < 𝑟 < 1) とししかし，既存の API は汎用目的であり，例えばケアの対象となたとき，次の式で更新が行われる．

る高齢者の表情の変化が機能性あるいは認知機能の障害により

𝜇𝑡 = (1 − 𝑟)𝜇𝑡−1 + 𝑟𝑥 𝑡

弱まっているような場合，その微妙な変化を捉えきれない可能性がある．また，既存の API による感情分析はブラックボック(1)

𝐶𝑡 ,𝑖 = (1 − 𝑟)𝐶𝑡−1,𝑖 + 𝑟 (𝑥 𝑡 − 𝜇𝑡 )(𝑥 𝑡−𝑖 − 𝜇𝑡 )ス化されており，なぜその結果が出力されたかに至るまでの結

𝐶𝑡 ,𝑖 =

果を追うことができないため，得られたデータを介護効果のエ𝑘∑𝑎 𝑡 , 𝑗 𝐶𝑡 ,𝑖− 𝑗(𝑖 = 1, ..., 𝑘)(𝑖 = 0, ..., 𝑘) (2)
(3)

𝑗=1

ビデンスなどに用いようとする場合に困難が生じる懸念がある．
表情センシングサービスでは，眉，目，口など，顔の特徴的(3) は Yule-Walker 方程式と呼ばれる．ただし，𝐶𝑡 ,−𝑖 = 𝐶𝑡 ,𝑖 となパーツの座標（＝特徴点）を顔画像から抽出し，その 2 点をする．これを解くことによって 𝑎 𝑡 , 𝑗 を計算し，次に以下を計算

結ぶ長さを特徴量として計測し続け，時系列データとして記録

する．

する．この特徴量の変化をトラッキングすることで顔の動き＝𝑥ˆ𝑡 =表情の変化の度合いを測定する．これにより，表情の変化に乏𝑘∑𝑎 𝑡 ,𝑖 (𝑥 𝑡−𝑖 − 𝜇𝑡 ) + 𝜇𝑡

(4)𝜎𝑡 = (1 − 𝑟)𝜎𝑡−1 + 𝑟 (𝑥 𝑡 − 𝑥ˆ𝑡 )(𝑥 𝑡 − 𝑥ˆ𝑡 )

(5)

𝑖=1

しい人を対象に測定を行う際にも，顔の微妙な変化を見逃さずに記録することが期待できる．また，表情の動きに伴う感情の変化を推測する際に，その表情変化の度合いを明確な数値としStep 2: 確率密度分布を用いてスコアを算出する．この処理スて把握することで，説明可能な感情分析やケアの評価に寄与すテップでは，Step 1. の結果得られた平均・分散をもとに，正規ることを目指している．

分布の確率密度関数を利用することで，スコアの算出を行う．

2. 2 変化点検知
変化点検知とは，時系列データに対する変化点を検出する技術である．変化点検知の種類には，今までに蓄積されたデータ

このときの確率密度を 𝑝 𝑡 (𝑥 𝑡 ) としたとき，𝑝 𝑡 (𝑥 𝑡 ) およびスコア

𝑦𝑡 は以下のように計算される．

- 61 -—2—

𝑝 𝑡 (𝑥 𝑡 ) = √

(
)
1
1
exp −
(𝑥 𝑡 − 𝑥ˆ𝑡 ) 2
2𝜎𝑡
2𝜋𝜎𝑡

𝑦𝑡 = − log 𝑝 𝑡−1 (𝑥 𝑡 )

(6)

2

1
3

(7)

Step 3: 得られたスコアを平滑化する．この処理ステップで5

𝑆𝑐𝑜𝑟𝑒 𝑡 は以下のように求まる．

1

1+ 2= ─ : 眉の高さ
2

2

7

∑ 𝑤−1

𝑤

②

: 口幅

3+ 4
= ─ : 目の開き具合
25+ 6④ 3 = ─ : 口角の下がり具合
2は，Step 2. で得られたデータを平滑化することでノイズの除去

𝑆𝑐𝑜𝑟𝑒 𝑡 =7③6を行う．平滑化するサイズを 𝑤 としたとき，平滑化後の結果

𝑖=0 𝑦𝑡−𝑖①
4

図 1 笑顔スケールの作成に用いた特徴量(8)

表 1 本稿筆者の顔画像 10 枚から測定した特徴量の平均値

Step 4: Step 3. で得られたデータ 𝑆𝑐𝑜𝑟𝑒 𝑡 を新たな時系列デー

口幅 h7

タとし，2 段階目の学習・スコア算出・平滑化を Step1〜3 と同

眉の高さ

a1

目の開き
具合 a2

口角の下がり具合 a3様に行う．そして，2 段階目の学習の平滑化後のスコアが，変平常時平均0.81990.42700.0901

化スコアとして得られる．

笑顔時平均0.8914

0.39810.05030.9817

差分

0.0715-0.0289-0.0398-0.0614

差分比率

1.00000.40350.55610.85783. 特徴量データを用いた注目点抽出実験

1.0431

3. 1 目的とアプローチ
本稿では 1. で述べた「ミクロな分析」を表情センシングサー
ビスによる特徴量時系列データを用いて行うことに焦点を当て，ケアが行われている最中，どの時点で被験者に反応があっ
図 2 平常時の顔のサンプル

たか，つまり表情に変化が生じたかを効率的に調べることを目的とする．そのため，特徴量時系列データにおいて，大きな変動が認められる時点を「注目点」とし，これを抽出することを考える．本研究では，2. 2 でも述べた通り，ChangeFinder という変化点検知アルゴリズムを用い，特徴量の変化箇所を的確に

図 3 笑顔時の顔のサンプル捉えた上での注目点抽出を試みる．
本研究のキーアイデアとして，「口幅」や「目の開き具合」といった単一の特徴量だけではなく，複合特徴量という概念を導入し，これに対しても変化点検知を適用することを考える．複合特徴量は，分析の目的に応じて複数の特徴量から作成された尺度であり，各々の特徴量の変化について考慮するよりも効率的に分析が行える．さらに，表情が変化する際には複数の顔のパーツが動くため，複数の特徴量を組み合わせた尺度の導入によってより実際の顔の動きを反映した妥当性の高い注目点抽出が可能になると考えられる．具体的な手法としては以下のようになる．

Step 1: 複数の特徴量 𝑥 1 (𝑡), 𝑥 2 (𝑡), · · · を組み合わせた複合特徴
量 𝑋 (𝑡) = 𝑓 (𝑥 1 (𝑡), 𝑥 2 (𝑡), · · · ) を作成する．

Step 2:𝑋 (𝑡) を ChangeFinder に入力し，変化スコア 𝑆(𝑡) を求める．

Step 3: ある閾値 𝛾 を定め，𝛾 < 𝑆(𝑡 ′ ) となる点 𝑡 ′ を注目点の候補とする．

•

眉は全体的に下に下がる

•

細目になる

•

口角は後ろに引かれ，また位置が上がる

•

頬が上がる

こういった特徴から，笑顔スケールの作成にあたり，図 1 で示す 4 つの特徴量に着目する．これらの特徴量のうち，先に述べた表情の特徴と照らし合わせると，「口幅」 ℎ7 を除く 3 つの特徴量は，その値が小さいほど幸福を示していることになる．
また，各特徴量ごとに変動の絶対量は異なる．例えば，口元の動きのほうが，目の開閉の動きよりも大きいはずである．そのため，各特徴量に一定の重みを付ける必要がある．この重みを決定するために，まず，後の予備実験で用いる顔画像の中から，本稿の筆者の平常時の顔と笑った時の顔画像（サンプルは図 2，
図 3 に示す）を 10 枚ずつ無作為に選択して特徴量を測定し，その平均値の差分をそれぞれ求めた．平均値の計算結果を表 1 に示す．「差分比率」は口幅に対する各特徴量の「差分」の比率を

3. 2 複合特徴量
本研究ではケアの効果測定という観点から，対象者がどれぐ
らい楽しそうにしているかを示す「笑顔スケール」を複合特徴量として定める．笑顔スケールを作成するにあたって，どのよ示したものである．この結果より，「口幅」 ℎ7 や「口角下がり具合」𝑎 3 と比べ，「眉の高さ」𝑎 1 ，「目の開き具合」𝑎 2 の変化の絶対量は小さく，半分程度であることが分かる．

うな顔の動きが楽しそう・幸福の感情を示唆するかを考察する．
まず，様々な感情に対応する表情の特徴を記述した表情分析

以上の考察から，笑顔スケール 𝑋 を以下のように決定した．

𝑋 = 2ℎ7 − 𝑎 1 − 𝑎 2 − 2𝑎 3(9)に関する書籍 [6] や，これを検証した文献 [7] を参照しまとめると，幸福を示す表情について以下のような特徴が挙げられる．

- 62 -

顔の動きの度合いには個人差があることを考慮し，表 1 の差

—3—

注目点候補

変化スコア

イベント点

（a）
楽しそうになった時点

閾値γ

経過時間

時間

09:55

10:00

10:05

10:10

10:15

12:37

12:42

イベント点

（b）
楽しくなさそうになった時点

図 4 注目点候補の説明

分比率をそのまま係数に用いることは避けた．また， 𝑋 の計算

経過時間

12:22

12:27

12:32

に用いる各特徴量は標準化を施した値を用いる．具体的には，

図 5 イベント点の例

もとの特徴量の値 𝑥(𝑡) に対して，その平均が 𝜇 𝑥 ，標準偏差が𝑥(𝑡) − 𝜇 𝑥
𝜎𝑥 であるとき，𝑧(𝑡) =で計算される値 𝑧(𝑡) を特徴量𝜎𝑥の値として用いる．

ただし，記録するのは明らかな顔の動きがみられる時のみとす
る．次に注目点候補のうち，イベント点とタイミングが一致す

3. 3 実験の詳細

るものを調べる．これを正解点とし，その数を正解数とする．

本稿の筆者の顔から作成したテスト用データ，およびケア最本実験では，注目点候補がイベント点の前後 10 秒以内にあれ中の高齢者の顔画像から作成したデータについて，単一特徴ば一致したとみなす．ただし，一つのイベント点に対して正解

量および複合特徴量である笑顔スケールの注目点抽出実験を

数は一回のみカウントする．そして，注目点候補の数 𝑛 𝑝 ，正解行う．本実験では，Python 用の ChangeFinder ライブラリ 1 を使用する．このライブラリはパラメータとして AR モデルの次数数 𝑛 𝑐 ，イベント点の数 𝑛𝑒 に対して，以下を調べる．

𝑜𝑟𝑑𝑒𝑟 ，忘却率 𝑟 ，平滑化サイズ 𝑤 をとる．第一段階学習ではこ•Recall：捉えることができたイベント点の比率 𝑛𝑐 /𝑛𝑒•

Precision ：妥当な注目点候補の比率 𝑛𝑐 /𝑛 𝑝

れらのパラメータがそのまま使われ，第二段階学習では平滑化

Recall が高いほど表情変化の取りこぼしが少ないといえる．ま

サイズが round(𝑤/2.0) で求まる値となる．なお，今回の各実

た，Precision が高いほどノイズの少ない正確な注目点抽出がで

験では，パラメータを 𝑜𝑟 𝑑𝑒𝑟 = 1，𝑟 = 0.025，𝑤 = 5 と設定する．

きているといえる．

ChangeFinder によって算出された変化スコア 𝑆(𝑡) のうち，図

なお，変化スコアの先頭部データは，SDAR アルゴリズムの4 のように，一定の閾値 𝛾 を超えてから下回るまでの間で最も学習が始まって間もない時点のため，参考にならない．そのた

スコアが高い時点を注目点候補とする．今回の一連の実験においては，閾値 𝛾 を変化スコア 𝑆 の平均 𝜇 𝑆 と標準偏差 𝜎𝑆 を用め，先頭 30 秒部分のデータは閾値 𝛾 および各尺度の計算から除外した．

いて 𝛾 = 𝜇 𝑆 + 𝜎𝑆 で定める．

4. 2 結果

図 6 は 4 つの単一特徴量それぞれの，図 7 は笑顔スケールの4. 予 備 実 験

変化スコアのグラフである．赤線が変化スコア，薄青線は各特

4. 1 概要徴量の生の値，黒破線は閾値 𝛾 を示す．赤点が注目点候補を示予備実験として，本稿の筆者の顔画像から作成したテスト用の特徴量データを用いた注目点の抽出実験を行った．

す．そのうち，二重丸は正解点を示す．黄縦線と水色縦破線はイベント点を示し，黄色が楽しそうになったとき，水色が楽し

テスト用データは，本稿の筆者が通常の表情と笑顔の繰り返

くなさそうになったときを示す．左軸は変化スコアの値を，右しを何回か行った映像を基に作成した．映像はノートパソコン

軸は特徴量の値，横軸は経過時間を示す．また，表 2 に各尺度の画面を見ながら内蔵カメラを用いて撮影した．特徴量は 1 秒の計算結果を示す．

間隔で測定し，明らかな外れ値は除去した．これにより不足し𝑛 𝑝 /𝑛 の値はいずれの場合も 0.02 以下，𝑛𝑜 /𝑛 の値も高くてもたデータはその前のデータで埋め合わせている．このデータの0.1 程度であった．つまり，本手法により注目点を探すべきデー

単一特徴量および笑顔スケールに対して ChangeFinder を適用

タを 10 分の 1 以下に絞り込むことができたといえる．

し，変化スコアの算出および注目点候補の抽出を行った．

また，笑顔スケールに対して ChangeFinder を適用した際に最本実験ではまず，どれだけ表情分析が効率化されるかを推定

も正解数が多く，Recall の値も最も高くなった．グラフを見るするため，特徴量データの総数 𝑛 で注目点候補数 𝑛 𝑝 および閾と，2 分付近，3 分付近，15 分 30 秒付近のイベント点で注目点

値 𝛾 を超えたデータの数 𝑛𝑜 を割った比率 𝑛 𝑝 /𝑛，𝑛𝑜 /𝑛 をそれ候補が得られたのは笑顔スケールからのみであった．さらに，ぞれ求める．これらの値が小さいほど，確認すべきデータの数

イベント点以外の部分における注目点候補が最も少ない，つまが減ることになり，分析がより効率化されるといえる．

り Precision が最も高かったのも笑顔スケールの場合であった．

次に，得られた注目点候補の妥当性を確認するために，目視

これらより，複合特徴量の注目点候補は，単一特徴量の注目点

による表情の変化点との比較を行う．まず，事前に目視により，候補に比べ重要な瞬間を捉えている可能性が高いといえる．

図 5 のように，顔が (a) 楽しそうになった時点および (b) 楽し

各特徴量のグラフでは，イベント点のない 6 分〜9 分部分でくなさそうになった時点を探し，イベント点として記録する．

の注目点候補が見られる．これらの点では，笑顔は見せていな（注 1）：https://github.com/shunsukeaihara/changefinder

いが，目を見開いたり，口元を結んだりといった，細かい顔の- 63 -—4—口幅

表 3 各被験者の詳細
年齢 性別
被験者A

眉の高さ

80

男性

備考
表情が豊か．脳梗塞発症経験あり．

被験者B

99

女性

ご高齢であり，表情が顔に表れにくい．

被験者C

73

女性

表情が豊か．要支援．

被験者D

84

女性

表情が豊か．要支援だが会話に支障なし．

被験者E

80

女性

重度の認知症．多幸症の疑いあり．

※年齢は2018年1月30日（FET実験が行われた）時点のもの
笑顔スケール

目の開き具合図 8 笑顔スケールに対する変化スコア（被験者 A）
口角の下がり具合

笑顔スケール図 6 各単一特徴量に対する変化スコア（テスト用データ）
図 9 笑顔スケールに対する変化スコア（被験者 C）

笑顔スケール

笑顔スケール図 7 笑顔スケールに対する変化スコア（テスト用データ）
図 10 笑顔スケールに対する変化スコア（被験者 D）
表 2 計算された各尺度（テスト用データ）
データの総数 n =1114，イベント点の数 ne =12
複合

いられたケア最中の被験者 5 名の画像を用いて特徴量データを

眉の高さ

目の開き
具合 a2

口角の下が
り具合 a3

笑顔スケール

作成し，それらに対して注目点の検出実験を行う．そして，予

12

16

13

18

特徴量種別
名称

単一
口幅 h7

a1

備実験の場合と同様に分析が効率化したか，また妥当な注目点

np
nonp / nno / n
nc

55

80

75

113

78

0.01440.01080.01440.01170.01620.04940.07180.06730.10140.0700

4

3

4

6

11

情の変化に乏しい被験者 B，E を被験者群 2 と分け，それぞれRecall0.33330.25000.33330.50000.9167の群について考察を行った．なお，本研究は，神戸大学大学院

Precision

0.25000.25000.25000.46150.6111

16

候補が得られたかどうかを調べる．各被験者の情報は表 3 に掲載してある．表情豊かな被験者 A，C，D を被験者群 1 と，表システム情報学研究科の研究倫理審査委員会の許可を受けている（承認番号 R01-02）．
各被験者の顔画像は約 3 秒間隔で撮影されたものであったた

動きがあり，それらに ChangeFinder が反応していた．顔の動き

め，得られた特徴量データもそれに準じるものとなったが，実を詳細にトラッキングしたデータを用いる以上，こういったノ験条件を予備実験と合わせるため，予め各特徴量データは 1 秒

イズは多かれ少なかれ発生してしまう．ただ，笑顔スケールを間隔になるよう埋め合わせを行った．また，明らかな外れ値は用いた場合には，各特徴量ごとの細かい変動が少々抑えられる除去した．予備実験と同様，先頭 30 秒部分のデータは閾値 𝛾 ，ため，単一特徴量の場合と比べて重要でない時点での反応が抑各比率の計算から除外する．

えられ，結果として Precision の値が上がったと考えられる．

5. 2 被験者群 1 の結果

以上より，今回用いたテスト用データに対しては，特徴量

被験者群 1 についての分析結果を示す．ChangeFinder の変化

データにおける ChangeFinder の利用と，複合特徴量の導入が有

スコアの算出に加えて，被験者群 1 は目視により表情の変化を効であることが確認できた．

確認することができるため，予備実験と同様にイベント点を調

5. 実

べたうえで，Recall，Precision の算出を行った．各被験者につ験

いて，笑顔スケールの変化スコアのグラフを図 8〜図 10 に示

5. 1 概要す．各グラフの凡例は予備実験と同一である．また，表 4〜表

本実験では，先行研究である FET の実験（2. 1 を参照）で用6 に Recall，Precision の計算結果を示す．

- 64 -—5—

達成できているといえる．本実験では元データに大きくパディ

表 4 計算された各尺度（被験者 A）
データの総数 n =1129，イベント点の数 ne =11
特徴量種別
名称

単一
口幅 h7

ングを施しているため，𝑛 𝑝 /𝑛 はあまり参考にならないが，値と

複合

眉の高さ

目の開き
具合 a2

口角の下が
り具合 a3

笑顔
スケール

17

19

20

12

a1

してはすべて 0.02 以下であった．
被験者 C，D について，笑顔スケールを用いた場合に Recall

np
nonp / nno / n
nc

61

76

86

93

62

0.01150.01510.01680.01770.0106

0.05400.06730.07620.08240.0549

6

3

3

7

5

あったといえる．被験者 C，D の両者において，Recall の値はRecall0.54550.27270.2727

0.63640.4545

Precision

0.46150.17650.15790.35000.4167

ともに 0.5 であり，イベント点の半分が注目点候補として検出

13および Precision の値が最も高くなった．この結果から，被験者

C，D については，予備実験と同様，複合特徴量の利用が有効でされたことになる．笑顔スケールのグラフを確認すると，イベ
ント点の周辺でその値自体には上昇や下降が見られるものの，

表 5 計算された各尺度（被験者 C）
データの総数 n =1075，イベント点の数 ne =16
特徴量種別
名称

単一
口幅 h7

それらすべてが注目点候補として抽出されるわけではなかった．

複合

眉の高さ

目の開き
具合 a2

口角の下が
り具合 a3

笑顔
スケール

12

15

10

15

a1

つまり，ChangeFinder は単純に局所的な値の変化に反応しているわけではないことが考察できる．

np
nonp / nno / n
nc

67

45

77

61

76

次に，被験者 A についてであるが，このケースでは笑顔ス

0.01120.01120.01400.00930.01400.06230.04190.0716

0.05670.0707ケールに比べて「口幅」が Recall，Precision ともに，
「口角の下

6

4

6

4

8

がり具合」が Recall において高い値となった．ここで，各単一

Recall

0.37500.25000.37500.25000.5000Precision

0.50000.33330.40000.40000.5333

特徴量の変化スコアを図 11 に示す．笑顔スケールのグラフか

12

らは，4 分付近，10 分 30 秒付近，14 分付近など大きな特徴量の変動が見られる部分に比べて，6 分 30 秒〜7 分付近の小さな表 6 計算された各尺度（被験者 D）
データの総数 n =769，イベント点の数 ne =14
特徴量種別
名称

np
no
np / nno / nnc

値の変動では変化スコアの反応がなく，イベント点も見逃して

単一

複合

眉の高さ

目の開き
具合 a2

口角の下が
り具合 a3

笑顔
スケール

10

8

7

6

12

42

38

36

61

54

0.01300.01040.00910.00780.0156

0.05460.04940.04680.07930.0702

5

2

2

3

7

口幅 h7

a1

Recall

0.35710.14290.14290.21430.5000Precision

0.50000.25000.28570.50000.5833いることが見て取れる．一方，「口幅」についてはこれを検出できている．単一特徴量の結果は複合特徴量の場合と比べて重要でない時点を注目点候補とみなす場合が多いものの，データの性質によっては複合特徴量による結果を補完するために有効であると考えられる．

5. 3 被験者群 2 の結果
被験者群 2 についての分析結果を示す．被験者群 2 に関
しては，目視でイベント点を探すことが困難であったため，

口幅

ChangeFinder の変化スコアの算出のみを行い，注目点候補として検出された点における表情を確認することで考察を行う．各
被験者について，笑顔スケールの変化スコアを示すグラフを図

12，図 13 に示す．また，𝑛 𝑝 /𝑛，𝑛𝑜 /𝑛 の計算結果を表 7，表 8

眉の高さに示す．各グラフの凡例は予備実験や被験者群 1 の実験と同一である．
各被験者について，𝑛𝑜 /𝑛 の値は常に 0.1 以下であり，被験者
群 1 の場合と同様，本手法によりデータの大幅な絞り込みがで目の開き具合きたといえる．
被験者 B は表情筋の硬化により，明らかな表情の変化が見られなかった．笑顔スケールの値は変動し続けているものの，明確に上昇／下降したり，時系列の傾向が変わる時点はうまく確認できなかった．また，注目点候補付近の顔を調べると，主に口角の下がり具合

口を結ぶ，口を開けるなどの口元の動きが見られた．これは，各単一特徴量においても特に変動の傾向がみられない中で，複合特徴量の係数が高い「口幅」や「口角下がり具合」などが強く反映され，ChangeFinder がそれらの変動に敏感に反応した結図 11 各単一特徴量に対する変化スコア（被験者 A）

果と思われる．
次に，被験者 E について考察する．被験者 E は多幸症の症状各被験者について，いずれの特徴量を用いた場合でも 𝑛𝑜 /𝑛

からか，ケアの最初から終わりまで概ね楽しそうな様子を見せの値は高くても 0.08 程度であった．調査すべきデータを全体のていた．笑顔スケールから抽出された注目点候補の付近の顔を8% 以下に減らせていると考えると，分析の効率化については

調べると，表情が大きく動く瞬間を捉えることができた．ケア- 65 -—6—

笑顔スケール

ため，利用者側が自身のニーズや，分析にかけられる時間やコスト等を考慮した上で，閾値を定める必要があると思われる．
被験者群 2 については，そもそも顔の動きが小さい方に対しては，大きな表情の変化を示すような注目点候補を抽出することがうまくできなかった．しかし，注目点候補の前後において，

図 12

笑顔スケールに対する変化スコア（被験者 B）

実際に口を動かすなどの顔の動きは見られたため，感情の推定は困難にしろ，外部刺激に対する反応の大きさを探ることで，笑顔スケール

ケアへの興味を失わせずにインタラクションができたかを推定すること等は可能であると思われる．一方で，多幸症とみられる方に対しては，大きく笑った瞬間や，真剣な表情になった瞬間をうまく注目点候補として捉えることができたため，本研究の手法により，一見ずっと楽しそうにしている方が，特にどう図 13 笑顔スケールに対する変化スコア（被験者 E）

いった場面で喜んでいたかを推測することができるといえる．
表 7 計算された各尺度（被験者 B）

6. お わ り に

データの総数 n =1303
特徴量種別
名称

np
no
np / nno / n

単一
口幅 h7

複合

眉の高さ

目の開き
具合 a2

口角の下が
り具合 a3

笑顔スケール

本章では，表情センシングサービスを用いて得られる特徴量

19

19

21

26

データに対して ChangeFinder を用いた変化点検知手法を適用す

a1

23
95

86

88

129

115

0.01770.01460.01460.01610.02000.07290.06600.06750.09900.0883

ることで，注目点を効率的に探し出すことを提案した．さらに，分析をより高い精度で行うために，複合特徴量の考案を行った．
実際に分析を行うことにより，表情豊かな方について，妥当な表 8 計算された各尺度（被験者 E）

注目点候補を効率的に抽出できることがわかった．また，表情データの総数 n =1351
特徴量種別
名称

np
no
np / nno / n

単一
口幅 h7

眉の高さ

a1

の変化に乏しい方についても，顔が大きく動くタイミングを捉

複合

目の開き
具合 a2

口角の下が
り具合 a3

笑顔
スケール

14

16

20

14

17

72

70

100

71

82

0.01040.01180.01480.01040.0126

0.05330.05180.07400.05260.0607

えることができ，ケアへの反応を調べる手がかりとなるような情報が得られた．
今後の課題として，本研究での手法の妥当性や精度の検証をより深く行うことが挙げられる．そのためには，より多くの，
また，様々な背景を持つ被験者のケア映像を用いて分析・考察

前半〜中盤（14 分以前）では，大きく笑った様子を見ることができた，また，後半部分，18 分 30 秒に注目点候補が存在するが，この地点以降，22 分 30 秒ぐらいまで笑顔含め顔の動きがあまり見られなくなった．ケアの記録によると，18 分 20 秒から 4 分間ほど本被験者は好きな音楽を聞かされていたとあり，を行うことが必要になる．また，分析結果を実際に介護に携わる方に確認してもらい，現場の目線からの意見を得たいと考えている．
謝辞 本研究の一部は JSPS 科研費 JP19H01138, JP17H00731,

JP18H03242, JP18H03342, JP19K02973 の助成を受けている．

これに真剣に聞き入っていた結果，表情が一時的に薄くなったと推測できる．

5. 4 考察

被験者群 1 については，抽出された注目点候補が，目視で確認したイベント点，つまり表情の変化タイミングとある程度合致することが確認できた．扱うデータによる精度の差や，取りこぼしも発生していたものの，膨大な時系列データの中から調査すべきデータが大きく絞られたことを考慮すると，今回用いた手法により，絶え間なく変化する特徴量データの中から，注目点として適切な部分を効率的に掬えたといえ，注目点を効率よく見つけ出すヒントを得ることができるという点で，本手法は有用であると思われる．また，被験者群 1 の 3 名に共通して，変化スコアのグラフを細かく見たときに，閾値 𝛾 を超えな
いものの，イベント点の周辺で，小さく変化スコアが上がっている箇所が存在する．閾値を下げればこのような箇所も検出されるようになるが，その分注目点候補の数自体も増えてしまう
ため，妥当な注目点を確認するコストは上がってしまう．その- 66 -

文

献[1] 日本経済再生本部，“未来投資戦略 2017（案）,” http://www.
kantei.go.jp/jp/singi/keizaisaisei/dai26/siryou.pdf．
[2] 平山孝輔，佐伯幸郎，中村匡秀，安田清，“高齢者ケアの科学的な評価を目的としたユーザ定義の顔特徴量の測定，” 電子情報通信学会技術研究報告，第 119 巻，pp.17–22，March 2020． 東京，
日立製作所・中央研究所．
[3] 佐古 嵐，佐伯幸郎，中村匡秀，安田 清，“コグニティブコ
ンピューティングによる顔感情解析を用いたケア効果の定量的評価，” 電子情報通信学会技術報告書，第 LOIS2017-89 巻，pp.105–110，March 2018． 沖縄・那覇市 IT 創造館．
[4] S.Shanthi S.Saranya, R.Rajeshkumar, “A survey on anomaly detection
for discovering emerging topics,” International Journal of Computer
Science and Mobile Computing (ĲCSMC), vol.3, no.10, pp.895–902,
Oct. 2014.
[5] 山西健司，データマイニングによる異常検知，共立出版株式会
社，2016．
[6] P. エクマン，W.V. フリーセン，工藤 力訳，表情分析入門―表情に隠された意味をさぐる，誠信書房，1987．
[7] 太田智美，田村真理子，有田真理子，木曽奈央子，佐伯行一，“
表情分析–エクマンにより提唱されている表情の特徴との比較検討，” 滋賀医科大学看護学ジャーナル，vol.3，no.1，pp.20–24，
2005． http://hdl.handle.net/10422/875—7—