ABML2011

O1-3

2011年11月3日-5日 東京（芝浦工業大学）

表情解析と頭部動作解析による高齢者見守りシステムの構築
Development of a Monitoring System for the Elderly by Image and Head Motion Analysis○前川義量,秋山庸子,西嶋茂宏（大阪大）

Yoshikazu MAEKAWA, Yoko AKIYAMA, Shigehiro NISHIJIMA, Graduate School of Engineering, Osaka University
Abstract: In the field of nursing care for the elderly persons, understanding of their somatic sensation such as pain is very
important for care givers to provide appropriate care. However, it is not always easy for elderly person with declined
verbal function. Therefore, the objective evaluation method of pain intensity without verbal communication is required.
In this study, pain evaluation system in daily life without verbal communication was developed. The system is noninvasive,
because the information corresponding to pain intensity is extracted from facial expression. In order to digitalize the facialexpression, the images of facial expression were extracted from the web cam at real time, and were analyzed
sequentially. A pain stimulation test was carried out for healthy adults as subjects to dip their hand in to ice water (coldpressor test). The facial bench marks can be used for detecting head motion. Therefore, the program is attempting anothermethod of accident detections system, in order to predict wider range of angle.
Key Words: Facial expression, Pain, Image analysis, Motion analysis
1. はじめに1-1 背景と目的
高齢者福祉施設におけるケア現場では，被介護者と介護者の人員配置基準は 3 対 1 となっているものの，日常の介護において常に利用者の見守りを行うことができないことがある。そこで本研究では，画像解析を用いて表情の変化と頭部の動作を検出することによって，事故や異常が生じたときに自動的に介護者に通知する実用的なシステム構築の可能性を検証した。
近年，コンピュータをはじめ，画像解析に関連する機器の精度は向上し低価格になってきており，施設におけるシステムの導入は現実的になってきていると言える。本研究で開発したシステムは，対象者の表情と頭部の位置を一つのアウトプットデータから同時計測するというもので，Open Source Computer Vision Library (OpenCV)を利用して
作 成 さ れ た ， 表 情 に 特 化 し た Face Application Program
Interface (Face API) を利用している。
本報告では，特に介護職員が最も必要とする情報である
疼痛表情の検知，および姿勢の異常を検知することを目的とした。画像情報を実時間で収集し解析することで，疼痛と事故検知を行い，介護者に迅速に伝えることができるシステムを開発することを目的とした。
1-2 倫理面の配慮
すべての実験において，被験者にはあらかじめ，実験目的や実験内容を説明した。また実験への参加は自由意思に基づくものであり，実験途中であってもいつでも中止できることを説明した。また撮影された映像などの個人情報の保護に努めることなどを書面と口頭で説明し，文書による承諾を得た。

(1)

例えば F1(右眉を上げる表情変化)に対応する X1 は，右眉が上がれば 1，右眉が下がれば-1，動いていなければ 0とした．この手法に基づくと，例えば両眉が下がり(X1=-1,X2=-1)，両目が閉じ(X3=-1, X4=-1)，両口角の広がりには変化が無く(X5=0, X6=0)，両口角が上がり(X7=1, X8=1)，口が開いている(X9=1)表情は，[-1 -1 -1 -1 0 1 0 1 1]・T[F1 F2 …
F9]と表される。
2-3 疼痛表情係数の算出
疼痛の度合いを客観的に表す「疼痛表情係数」の算出式を式(2)に示す。解析対象となる表情の行列(A)を，比例係数(B)と事前に決定した疼痛表情の行列(C)の線型結合で表している。比例係数(B)は「疼痛表情係数」と定義し，疼痛表情の行列(C)が最大の痛みを表すと仮定した。疼痛表情の行列(C)は，10 名の 20 代の被験者の手に疼痛刺激を与えた時の表情から決定された定数行列である。式(2)に解析対象となる表情の行列(A)を入力することで，(B)で表される「疼痛表情係数」が得られる。

2-4 検証実験
提案した上記の表情解析手法の妥当性を検証するため，冷水による疼痛刺激実験（コールドプレッサー法）を行い，疼痛表情を解析することで，式（2）により「疼痛表情係数」を求め，同時に被験者が自己申告した疼痛の官能評価の値との相関を調べた。
実験は安静 30 秒，疼痛刺激 30 秒の 2 つのセッションをまとめて 1 セットとし，連続して 3～5 セット行い，各セッション直後に現時点で感じている疼痛強度の官能評価について VAS 法を用いて行った。
実験中の表情は被験者の正面約 1 メートルの距離に設置したウェブカメラにより撮影し，同時に官能評価として，2. 表情解析
2-2 表情の数値化
通常の顔を基準表情とし，表情変化を特徴づける眉などの 9 ヶ所を行列化し，この表情からの変化を，[X1 X2 …
X9]・T[F1 F2 … F9]の形にした。ここで，T[F1 F2 … F9]は，”左上瞼を上げる”や”上唇を上げる”など，顔面部位の変化を表す行列である。[X1 X2 … X9]は T[F1 F2 … F9]で表される変化をしているかどうかを，下記の式(1)に基づいて－1・0・1 の 3 値化表記したものである。
O1-3-1

疼痛実験における各セット直後に，冷水実験による疼痛をVAS 法（Visual Analogue Scale）により自己申告してもらった。VAS 法による評価は，無痛(0 点)から想像できる最大の疼痛(10 点)の間で任意の位置にマーカーにチェックをしてもらった。
なお本実験では被験者は健康成人男女 10 名（28－47 歳）とし，どの被験者も身体に慢性的な疼痛を感じていないことを事前に確認した。実際の対象は高齢者であるが，基礎的検討として，表情が捉えやすい若年者での検討を行った。
2-5 疼痛強度の検証結果
ウェブカメラで記録されたログデータから表情評価得点を算出し，表情の解析をすることで，「疼痛表情係数」を求めた。また一方で，被験者による官能評価によって「VAS値」を求めた。両者の相関を評価することで，「疼痛表情係数」による疼痛評価の妥当性を検討した。疼痛刺激を付与している 30 秒の間にも表情はランダムに変化するため，VAS 値との相関に関しては各セット最終の 10 フレーム（2秒間）のデータの平均値を利用した。
疼痛刺激付与実験によって得られた「疼痛表情係数」と「VAS 値」を時系列で Fig. 1 に示した。また，Fig. 2 に疼痛表情係数と VAS 値の相関を示した。疼痛表情係数と VAS値との間には，r=0.93(p<0.01)から r=0.69(p<0.2)の間で，平均 r=0.83(p<0.05)の相関が得られた。この結果より，本プログラムを用いた疼痛評価の妥当性を確認することができた。

正面に対する上下左右の傾きの角度の追跡を行った。精度の検証を行うため，実際の傾きと，計測された傾きとの誤差を検討した。その結果，上下左右共に，20 度以下の傾きでは，精度が若干下がる傾向が見受けられたものの，95％以上の精度で上下左右の頭部の傾きの角度が測定できることが実証された。
3-2 被験者の頭部可動域の測定事故を検出するためには，頭部の傾きが異常かどうかの閾値が必要である。そこで，被験者が自然に頭部を回転させたときの動きの範囲，および，専門家による頭部可動域の測定を行った。高齢者 3 名（平均 78 歳）と，対照実験として健康成人 1 名（38 歳）の頭部可動域を専門家によって測定した。被験者には前述の方法と同じく被験者の正面に設置したカメラの前で，専門家の立会いの下，頭部を左右に 3 周ずつ回転してもらった。この時の頭部の動作について解析した。その結果，それぞれ既往歴と身体状況は異なるものの，頭部を自然に回転させた時の可動域は，専門家によって測定された上下左右の可動域より狭くなった。
Fig.3 のプロットは，健康成人における自然な頭部の動きと，専門家によって推定された危険域と安全域の範囲を示している。太円で示した部分を限界可動域とし，点線内に被介護者のプロットが収まっていると通常，そこから出ると注意，さらに可動域円から出た場合，異常な姿勢もしくは事故とみなすよう閾値設定を行い，見守りシステムを構築することを検討している。

Fig.1 Temporal change of the pain face factor and VAS value.
Fig.3 Functional limit of capturing data and average headmotion range of normal person
4. まとめ
表情解析と頭部動作解析による高齢者の見守りシステムをこうちくするため，ウェブカメラで撮影した表情変化と頭部動作の数値化して実時間で解析し，疼痛の強度を「疼痛表情係数」として数値化すると同時に，頭部の傾きを算出するシステムを開発し，その妥当性の検証を行った。その結果，表情，頭部動作の双方において，高精度に疼痛強度と姿勢の異常を検出できる可能性が示された。
今後はこの手法によって被介護者の異常を介護者に分かりやすくかつ迅速に提示できるようにするとともに，表情や動きの度合いをさらに長期的に解析することで，体調の変化や長期的な認知症の進行についても検出できるようにしたいと考えている。

Fig.2 Relationship between pain face factor and VAS value.
3. 頭部動作解析
3-1 測定精度の検証
次に，表情解析による疼痛の検出に加え，同じアウトプットデータを用いて頭部の位置を測定し，事故などによって座位姿勢が異常を示した場合に，介護者に知らせるシステムを同期させることで，見守りシステムとしての実用性をさらに拡大させることを検討した。
まず，当該システムを用いた頭部の傾きの測定精度の検証理髪練習用の頭部モデルを，上下左右 10°毎に 50°まで傾けてゆき，正面に設置したカメラで計測した鼻の頂点の参考文献(1) 水口公信:ひとの痛み測定方法と評価法. 千葉医学雑誌. 62(6):323-331, 1986.
(2) 赤松幹之:痛みと評価(<特集>人・機械と評価). バイオメカニズム学会誌. 14(3): 151-159, 1990.
O1-3-2