計測自動制御学会東北支部 第 298 回研究集会(2015.11.18)
資料番号 298-4

顔の色変化からの生理情報の抽出と応用
Extraction of Variable Physiological Indecis
from Face Video Image○山田 佑也*，田中 明*，杉田 典大**，吉澤 誠***，山家 智之†*

福島大学共生システム理工学類，**東北大学大学院工学研究科
東北大学サイバーサイエンスセンター，†東北大学加齢医学研究所****

Faculty of Symbiotic Systems Science, Fukushima University,**
Graduate School of Engineering, Tohoku University***
Cyberscience Center, Tohoku University，†Institute of Development, Aging and Cancer, Tohoku University
Keyword: 速度脈波(velocity plethysmogram)，脈波伝播時間(pulse transit time), 非接触計測(non-contactmeasurement), 顔映像(face video image)
連絡先:〒960-1248 福島県福島市金谷川 1 福島大学共生システム理工学類 田中研究室 山田 佑也，
TEL/FAX : 024-548-5258 Email: s1210173@ ipc.fukushima-u.ac.jp[2]，Sugita らは末梢部位の脈波を計測することで，脈波の到達時間の差などから血管の固さや自律神経活動の情報を得られることを報告している[3]．
一方，生体の血行動態は体の左右で異なることが知られている．例えば，めまい患者において平均動脈圧や脈圧の左右差が大きい[4]という報告や大動脈炎症候群患者において左右の血圧差が大きく表れる[5]という報告があり，血行動態の左右差はいくつかの疾患と関係があると考えられている．
そこで，本研究では，顔における皮膚血流に着目し，高フレームレートの顔映像における左右の頬の脈波の抽出と脈波到達時間の差を算出するアルゴリズムの開発および，脈波到達時間の左右差について運動の前後における変化の調査を行った．

1． 諸言
近年，ジョギング時の心拍数計測や簡易的な体調管理を目的とした，腕に装着するタイプの安価な心拍計の普及やスマートフォンのカメラを利用して簡易的に脈波を計測するアプリケーションの公開など，比較的簡易に心拍数を計測することが可能となった．
一方で，乳幼児や高齢者などでは計測装置の装着や操作が困難である場合があること，計測器具の装着は被計測者に心理的な影響を与える可能性があること，などから体にセンサを取り付けることなく生体信号を得られることが望ましい．また，初期の不整脈などのように，普段は症状が表れず，不定期に症状が生じるような疾患では継続的な計測が望ましく，日々の生活の中で，無拘束かつ非接触に生体信号を得られることは，日々の健康管理や疾患の早期発見に大きく寄与すると考えられる．
Poh らは WEB カメラやスマートフォンで撮られた顔の動画像において肌の色の時間変化から心拍数 を 算 出 す る 方 法 を 提 案 し て い る [1] ． ま た ，Yoshizawa らは顔や手などの異なる部位での脈波抽出によって脈の伝播時間の情報が得られること

2. 方法
2.1 顔の色変化からの映像脈波抽出法
非接触での映像脈波の抽出法として，顔を検出した後に肌色の部位を抽出し，色変化を算出する
ことで脈波を抽出する手法や関心領域(ROI)を指定し，ROI 内の平均輝度の変化を算出することで脈波を抽出する手法があるが，映像から抽出される脈波は外光や体動などのノイズが重畳しやすいため，計測環境を工夫することやノイズ除去アルゴリ

1ズムの導入が必要になることが多い．Poh らは得られた映像の赤(R)，緑(G)，および青(B)について独立成分分析(ICA)を行うことで脈波成分を抽出している[1]．また，Verkruysse らは，主に G チャンネルに脈波成分が多く含まれ，B チャンネルには脈波以外の外光の変化やノイズ成分を多く含まれることから G チャンネルから B チャンネルを減算すること
で 脈 波 を 強 調 す る 方 法 を 採 用 し て い る [6] ．
Yoshizawa らの方法では計測環境が十分安定している場合では，G チャンネルに適当な周波数フィルタを適用することで脈波成分が抽出できることを示している[2].
Fig.1 に 250fps で撮影された顔映像の R，G，Bの時間変化の例を示す(上三段)．どのチャンネルにも脈波成分が見て取れるが，G チャンネルが最も安定して脈波が計測できている．Fig.1 の最下段は，G チャンネルに対してハイパスフィルタをかけて位相を反転させたものであり，通常指や耳朶で計測する容積脈波と同等の波形が取得できている．
これらのことから映像から得られる脈波情報によっても比較的簡易に心拍数の計測等が可能である
ことがわかるが，映像脈波の時間分解能はカメラのフレームレートに依存し，一般的な USB カメラで15~120fps である．心拍変動解析や臨床で用いる心拍数計測では通常 125Hz 以上の時間分解能で計測されることから，カメラのフレームレートは十分に高い必要がある．本研究では 250fps 以上で撮影可能な高速度カメラを使用した．

2.2

Fig.1 RGB の色変化と抽出した脈波

Fig.2 左右の耳朶速度脈波

脈波の伝播時間差の算出

2.2.1 速度脈波のピークの時間差
Fig.2 に左右の耳朶において計測された容積脈波の一階微分波形すなわち速度脈波の例を示す．
右耳に比べて左耳の波形のピークが速いことが見て取れる．この計測における左右のピークの時間差は平均 14ms であった．このような脈波の差が生じる要因として，心臓から動脈の血管分岐あるいは大静脈に向かう血管路の左右差や血管抵抗の左右差などが考えられる．
本研究ではまず，耳朶脈波に見られるような左右差が顔から得られる脈波でも同様に観察可能か確認を行う．

Fig.3 相互相関関数とその補間結果評価することは困難であると予想される．そこで，本研究では，映像脈波の相関解析を行い，その結果を補完することによって時間差算出の時間分解能の向上を試みた．具体的には，左右の速度脈波について，4 秒窓に対して，相互相関関数を算出し，その結果を 3 次のスプライン補間を行った後に，102.2.2 相互相関法
上述したように耳朶で生じたピークの時間差はおよそ数 ms から数十 ms 程度であり，250fps すなわちサンプリング周期 4ms で得られる映像脈波の時間分解能では速度脈波のピークの時間差の変化を2

Fig.4 本研究で顔脈波を抽出する ROI(左右頬)Fig.5 耳朶脈波の伝播時間差倍のサンプリング周波数で再サンプリングし，遅れ時間すなわち左右の時間差を算出した．Fig.3 は予備実験で得られた左右の頬の速度脈波に対して相互相関関数を算出した結果であり，得られた時間差は，補間前 12ms（4 サンプル），補間後 13ms であった．

人差があることがわかるが，すべての被験者で平均値が正の値となり，運動前の安静時の平均と標準偏差は被験者 S01~S03 でそれぞれ，3.2±5.7ms，30.3±8.6ms，9.1±4.8ms であった．
各状態間での比較を行った結果，S03 のみに有意差があったが，最初の安静と 1 回目の運動後との間では増加，2 回目の運動後と 2 回目の回復後との間では減少であったことから，運動によって増加した可 能性 がある．し かしそ の差が 1.7ms と2.6ms でわずかであることや，他の被験者では有意な変化が得られなかったことから，運動によって脈波伝播の左右差が生じるかどうかは不明である．

2.3 運動負荷実験
前述した，顔における映像脈波の伝播時間の左右差の運動による変化について調査するために，運動負荷実験を行った．
実験対象は 21 歳から 24 歳までの健常者 3 名（男性 2 名，女性 1 名，平均年齢 22.7 歳）であり，被験者に約 15 分の安静，エアロバイクによる運動（1 回目），10 分間の安静，エアロバイクによる運動（2 回目）さらに 10 分間の安静の順に指示した．エアロバ
イクによる運動負荷は心拍数が安静時の 1.5 倍まで上昇するまで回転数およそ 60 回転で運動するように指示した．計測量は心電図（ECG），左右の容積脈波（PPGL，PPGR），顔映像（250fps）であり，運動前の安静時，運動終了直後（2 回）と運動後の安静の後（2 回）に 1 回あたり 55 秒の計測を行った．映像以外の計測量はサンプリング周波数 1kHz で記録した．
得られた顔映像について左右の頬に関心領域（ROI）を設定し，上記の脈波解析を行い，顔の脈波における左右の伝播時間差について耳朶脈波と比較した．ただし，伝播時間差は右の脈波に対して左の脈波の遅れを正と定義した．Fig.4 に左右の頬に対する ROI の位置の例を示す．

3.2 顔脈波における伝播時間差
Fig.6 に左右の頬の速度脈波から算出した伝播時間差を示す．Fig.6(a)は速度脈波のピーク時刻の差であり，S01 の値は他の被験者の値よりも大きかったため値を 1/20 で示している．
耳朶脈波と同様に，最初の安静時では平均値が正の値を示しているが，標準偏差が大きく安定的に時間差が得られていない．また，S03 の結果について運動による変化をみると，時間差は減少する傾向を示しており，耳朶脈波の結果と異なっている．
Fig.6(b)は相互相関関数を求めて得られた，左右の脈波伝播時間差である．速度脈波のピークから得られる時間差に比べ，標準偏差が小さくなっている．S01 において運動後 2 の標準偏差が大きくなっているのは，計測中の体動が原因であった．初めの安静時にはすべての被験者で時間差の平均値は正であった．一方で運動時については，すべての被験者において，1 回目の運動後減少しその後の回復で上昇する結果が得られた．さらに，時間差の変化を割合で示したのが Fig.7 であり，すべての被験者において 1 回目の運動によって同様の変化を示したことがわかる．

3. 結果および考察
3.1 耳朶脈波における脈波伝播時間差Fig.5 に耳朶脈波から算出した伝播時間差を示す．3 人の被験者ごとに異なる値を示しており，個3180160

各状態の変化[%]

140120S01100S0280S036040200**:P<0.01安静

運動後1 回復後1 運動後2 回復後2

Fig.7 各状態での脈波伝播時間差（顔脈波）と顔脈波ともに右側の脈波の方が早く到達することが確認されたが，運動後では耳朶脈波は時間差の変化はほぼ見られなかったのに対して，顔脈波ではすべての被験者で有意に差が減少した．今後，さらなるデータの取得やドップラー血流計を用いて実際の皮膚血流の変化を参照するなど重ねて検証する必要がある．さらに，これらの血管動態の変化と生体の心理的状態や疾患との関係についても検討していく予定である．
参考文献
1) Poh MZ, Mcuff DJ, Picard RW, Advancements in
Noncontact, Multiparameter Physiological
Measurements Using a Webcam, IEEE Trans. on
Biomedical Eng., 58（1）, 7-11, 2011.
2) Yoshizawa M, Tanaka A, Sugita N, Abe M,Homma N, Obara K, Yambe T, A Great Impact ofGreen Video Signals on Tele-Healthcare in Daily
Life, Especially for Rural or Disaster Areas.,
Transactions of Japanese Society for Medical andBiological Engineering, Vol. 51, p. M-55, 2013.
3) Sugita,N, Yoshizawa M, Abe M, Tanaka A
Watanabe T, Chiba S, Yambe T, Nitta S,
Evaluation of adaptation to visually inducedmotion sickness based on the maximum
cross-correlation between pulse transmission timeand heart rate., Journal of neuroengineering andrehabilitation, 4（35）, 2007.
4) Matsunaga.T,Kakiuchi.H,Wakuda.K,Okumura.S,Mori.N,Saheki.K,
Matsunaga.Y,Okamoto.K,General PhysicalExamination for Vertigo.耳鼻臨床 73:増 1,270～281,1980.
5) Kim.SY,Itoh.A,Mizuno.M, A Case of Aortitis
Syndrome Presenting Bilateral Sudden Deafness,
耳鼻臨床 92:12，1291~1296，1999
6) W．Verkruysse,et ak. “Remote plethysmographic
imaging using ambient linght.”Optics Express,
vol.16,no.26,pp.1-12,2008

Fig.6 ピーク時間の差と相互相関によって得られた頬の脈波伝播時間差
先述したように耳朶脈波には各状態間にほとんど有意差が得られなかったのに対し，顔脈波では 1回目の運動前後にすべての被験者が同様な変化を示し，有意に時間差が減少した．すなわち，通常右よりも左の方が遅れて脈波が到達するのに対して運動によってその差が減少した可能性がある
解剖学的には耳朶も顔も外頸動脈から分岐する血管によって血液を供給されている．したがって，頬で顕著に表れた左右差の変化は，自律神経による外頸動脈から分岐する血管，頬の末梢血管，あるいは静脈系の血管の調節が左右で異なっている可能性がある．

4. 結言
本研究では，非接触に得られる顔映像から左右の頬の脈波伝播時間差を抽出し，運動が左右差に与える影響の調査を行った．伝播時間差を算出する際に左右の速度脈波の相互相関関数を算出しそFig.6 ピーク時間の差と相互相関によってれを補間する方法を用いることによって算出の安定得られた頬の脈波伝播時間差性や時間分解能の向上を確認した．
運動負荷実験の結果より，安静時では耳朶脈波4