Deep Convolutional Neural Network による認知症リスクの推定
Estimating Risk of Dementia by Deep Convolutional Neural Network中川茉耶†，神谷龍司†，山下隆義†，田中正行‡，山内悠嗣†，藤吉弘亘†
Maya NAKAGAWA†，Ryuji KAMIYA†，Takayoshi YAMASHITA†，Masayuki TANAKA‡，Yuji YAMAUCHI†，and Hironobu FUJIYOSHI††: 中部大学，{maya@mprg，yamashita@，hf@}.cs.chubu.ac.jp‡: 東京工業大学
概要： 日本の認知症患者数は年々増加しており，認知症を発症していることに気づかず生活している高齢者が数多くいるという問題がある．認知症の早期発見が求められる一方，医師による診断でしか認知症を発見できないことが課題である．そこで，本研究では認知症の簡易な診断が可
能な C-Face.D を参考に，工学的なアプローチで自動診断する手法を提案する．本研究では， CFace.D のスコアを出力する Deep Convolutional Neural Network (DCNN) を構築することで，認知症リスクの推定を実現する．評価実験より， DCNN に Heterogeneous Learning を導入し，顔器官点を同時に学習することで，認知症レベルの推定精度の向上を確認した．

はじめに日本の認知症患者数は年々増加しており，厚生労働省の統計によると，2012年の時点で約462万人の高齢者が認知症を発症している[1]．また，単身世帯の高齢者増加に伴い，自分自身が認知症を発症していることに気づかずに，生活している高齢者が数多くいる．認知症は，本人の自覚や同居している家族による発見が難しい病気の1つである．
従来，認知症の診断は，医師による対話や患者の顔表情の観察により行われる．例えば，医師とのコミュニケーションによる診断では，医師が患者に対して幾つか質問をし，その受け答えから認知症のレベルを医師が決める．認知症特有の表情には，目に生気がないや視線が定まらない等がある．顔表情の診断
では，認知症特有の表情や顔の動きが見られるかを医師が観察し，認知症のレベルを診断する．しかし，これらの診断法は医師の主観に基づいて診断するため，診断結果が大幅に変化する場合がある．また，このような診断には患者と1対1の対話が必要であり，診断に時間を要するという問題がある．このため，認知症のレベルを自動診断するシステムの実現が期待されている．
医師の主観に依存しやすい認知症特有の表情に基準を定める研究として，北岡らにより提案されたClinical Facial Expression Scale (C-Face)がある[2][3]．

C-Face は，認知症患者特有の表情を観察し，健常者と認知症患者との表情の変化の傾向を調査した結果に基づく認知症レベルの判定基準である．また，CFace の観察内容を修正し認知症レベルの基準を設けた C-Face for Dementia (C-Face.D)が提案されている[4]．C-Face と C-Face.D は，目や口等の器官に対してそれぞれ認知症レベルを設けている．
本研究では Deep Convolutional Neural Network(DCNN)[5]を用いて，C-Face.D のスコアを推定する
認知症診断システムを提案する．C-Face.D の基準を採用した DCNN を用いて，目や口等の各器官の認知症レベルを推定する． C-Face.D の基準は目や口等の器官点に注目しているため，器官点の情報を利用することで推定精度の向上が期待できる．そこで，
複 数 の タ ス ク を 同 時 に 推 定 で き る Heterogeneous
Learning を DCNN に導入することで，顔器官点を同時に学習し，認知症レベルの推定精度の向上を目的とする．

C-Face.D
認知症の一般的な診断は，Mini-Mental State Examination (MMSE)[6]により行われる．MMSE は，Folstein らが提案した診断方法であり，医師の口頭質問により記憶力，計算力，会話力，見当識を評価し，認知症レベルを評価する．一方，顔表情の診断には認知症患者特有の表情の変化から認知症レベルの図 1 C-Face における観察内容とスコア

図 2 C-Face.D における観察内容とスコア基準を設けた C-Face と C-Face.D がある．本研究では，C-Face と C-Face.D による認知症レベルの自動推定を DCNN により実現する．以下に，本研究のベースとなる C-Face と C-Face.D について記述する．
Clinical Facial Expression Scale[2]C-Face は，医師が患者の表情を観察し，客観的に認知症のレベルを診断する方法である．C-Face は，医師の質問に対する患者の表情を基準にしている．
診断に重要な観察項目である眉，両眼瞼，目つき，視線，口元，唇の6項目を図1のように2段階で評価する．各項目のスコアの合計が最終的な評価値となり，症状が重いほどスコアが高くなる．観察する表情は，被験者に“癒しの表情”を提示した前後の表情としている．C-Face の着目点は，認知症患者特有の表情を顔器官毎にスコア化している点である．
Clinical Facial Expression Scale for Dementia[3]C-Face.D は，C-Face の第6 項目である唇の観察内容を，図2のように2点から3点に修正した方法である．この修正は，C-Face の観察内容にない口角の拳上を追加すると良いと指摘があったため修正されている．口角の拳上は，Action Unit における健常者の“やや微笑む”に相当する．口角の拳上を追加することで，感情や表情表出を失うといわれる認知症患者においても，刺激によっては快の感情が誘発されるため，喜びの表情として表出する可能性があると考えられる．

DCNN で認知症レベルを推定するだけでなく，Heterogeneous Learning を導入することで認知症レベル推定と顔器官点検出を同時に学習する．認知症レベル推定と顔器官点検出を同時に学習することで，DCNN が顔画像中の目や口等の器官の位置を把握しやすくなり，高精度な認知症レベルの推定を行うことができる．以下に詳細を述べる．
Heterogeneous Learning
Heterogeneous Learning[7]は，複数のタスクを単体の CNN で学習する学習法である．一般に複数のタスクを扱う場合，タスクの数に比例し識別器を構築する必要がある．それにより，タスクの数に比例して計算コストが増加するため，実用化の面で非現実的である．Heterogeneous Learning を用いて，1つの識別器を構築することで，複数のタスクを同時に学習，識別することが可能である．Zhang らは HeterogeneousLearning を用いて，顔器官点検出と異なる複数のタスク(性別，眼鏡の有無，笑顔，顔の角度)の同時学習，識別を実現している[8]．本研究では，図3のように C-Face.D のスコア推定タスクと顔器官点検出タスクを同時に学習，識別する．
C-Face.D のスコア推定タスク
C-Face.D のスコア推定タスクは，C-Face.D における“眉”，“両眼瞼”，“目つき”，“視線”，“口元”，“唇”の各スコアを出力する．スコア𝑂𝑂𝑚𝑚 は，0 から 1 の実数を出力する．そのため，C-Face.D の観察項目“唇”のスコア設定を[1,0,-1]から[1,0.5,0]に変更した．各観察項目𝑚𝑚 のスコア算出は式(1)，合計スコア算出方法は式(2)により求める．
𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑚𝑚 (𝑥𝑥) =(1)𝑠𝑠𝑠𝑠𝑠𝑠�𝑚𝑚𝑚𝑚𝑚𝑚(0, 𝑂𝑂𝑚𝑚 (𝑥𝑥) − 0.5)�

提案手法
本研究では，C-Face.D の認知症診断方法をベースにし，DCNN で認知症レベルを推定する．また，

図 3 Heterogeneous Learning を導入した CNN
6

𝑇𝑇𝑇𝑇𝑇𝑇𝑇𝑇𝑇𝑇_𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠(𝑥𝑥) = � 𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑚𝑚 (𝑥𝑥)

(2)

𝑚𝑚=1

DCNN の出力ユニット数は観察項目に相当する 6 ユニットである．また，教師ラベルを𝐿𝐿，出力値を𝑂𝑂 として式(3)により学習誤差を二乗誤差として求める．
6𝐸𝐸𝑠𝑠 = � (𝐿𝐿𝑚𝑚 − 𝑂𝑂𝑚𝑚 )2(3)𝑚𝑚=1

顔器官点検出タスク
顔器官点検出タスクは，各顔器官点の座標を出力する．DCNN の出力ユニットは目や口の顔器官点数に相当する．本研究では，右目，左目，鼻，右口端，左口端の 5 点と左右の目頭，目端を加えた 9 点とする．教師座標を𝑳𝑳，出力は𝑶𝑶𝑛𝑛 = �𝑂𝑂𝒏𝒏𝒏𝒏 , 𝑂𝑂𝒏𝒏𝒏𝒏 �の 2 次元ベクトルであり，式(4)に示す L2 ノルム二乗誤差で学習誤差を求める．
𝑁𝑁𝐸𝐸𝑟𝑟 = �‖𝑳𝑳𝑛𝑛 − 𝑶𝑶𝑛𝑛 ‖22

Heterogeneous Learning の学習誤差
本研究の Heterogeneous Learning を導入した際の学習誤差は式(3)および式(4)を用いて式(5)のように求める．式(5)のα はタスクの重要度を決める重みである．本研究では，0.5としている．

畳み込み層1

畳み込み層2
畳み込み層3
全結合層1

全結合層2
出力層
学習パラメータ

重みフィルタMaxoutMax Pooling
重みフィルタMaxoutMax Pooling
重みフィルタDropout
ユニット数活性化関数
Dropout
ユニット数
活性化関数
ユニット数
Regression
更新回数
学習係数

60×60×1
3×3×20
22×2
4×4×30
22×2
4×4×600.5300Sigmoid0.5200Sigmoid6+顔器官点6+顔器官点
100万回
0.01

(5)

式(5)学習誤差を用いて各パラメータの更新量を求める．この各パラメータの更新量を求める方法として誤差逆伝播法[9]を用いる．

評価実験

入力層(4)

𝑛𝑛=1

𝐸𝐸 = 𝛼𝛼𝛼𝛼𝑠𝑠 + (1 − 𝛼𝛼)𝐸𝐸𝑟𝑟

提案手法の有効性を示すために，3つの評価実験を行 う．1 つ 目 に単 一の CNN で 学習 した 場合 とHeterogeneous Learning を用いて顔器官点を同時に学習した場合の精度を評価して比較する．2つ目は同時に学習する顔器官点の数を変えて評価し，推定表1 CNN の構造
各層関数
サイズ

精度を比較する．3つ目は，更新回数ごとに各手法の推定精度を求めて評価する．評価実験で使用する
CNN の構造を表1に示す．入力サイズは60×60のグ
レースケール画像で，3つの畳み込み層と2つの全結合層および出力層で構成されている．畳み込み層のフィルタサイズはそれぞれ3×3，4×4，4×4で，フィルタ数はそれぞれ20枚，30枚，60枚である．1層目および2層目の活性化関数には，Maxout[10]を用い，プーリングは MaxPooling である．出力層の活性化関数は C-Face.D のスコア推定，顔器官点検出ともにシグモイド関数を用いる．更新回数は100万回，学習係数は0.01である．
データセット
評価実験に使用するデータセットは，The Japanese
Female Facial Expression(JAFFE) Database と CohnKanade AU-Coded Facial Expression(CK) Database である．本実験では，2つのデータセットから医師が表情の表出が顕著であると判断した220枚を用いる．
220枚のうち187枚を学習サンプル，33枚を評価サンプルとしている．学習と評価に使用するサンプルは，顔器官点を基準に切り出しを行う．初めに，両目間のユークリッド距離の75%をマージンとし，図4のように

図 4 顔領域の切り出し方法

図 5 推定する顔器官点の位置切り出しを行う．次に Data Augmentation により学習サンプルを187枚から4114枚へ拡張する．ここで，DataAugmentation では顔領域の切り出し位置のずらしと左右反転を行う．顔画像に付与する顔器官点は図5の5点と9点である．
評価方法
認知症レベルの推定精度は，各観察項目のDCNN の出力結果とラベルから求める．顔器官点検
出の精度は，検出した座標が教師座標の両目間のユークリッド距離の10%以内であれば検出成功としている．実際のサンプル上におけるズレの許容範囲の例を図6に示す．

図 6 ズレの許容範囲

図 7 各手法のスコア推定精度
Heterogeneous Learning の導入による精度の比較
図7に，各手法の認知症レベル推定の比較結果を示す．単一の CNN の場合，“眉”に対する精度は約85%，“両眼瞼”は約76%，“目つき”は約55%，“視線”は約82%，“口元”は約88%，“唇”は約70%となっている．他の観察項目より“目つき”や“唇”の精度は悪い．提案手法は，5点の顔器官点を学習させることで，“眉”に対する精度は約88%，“目つき”は約58%，“視線”は約85%，“口元”は約91%， “唇”は約76%となっており，単一 CNN の精度よりも良い．このように，“両眼瞼”以外の観察項目でスコア推定精度が向上していることがわかる． 特に“唇”は約6%向上している．
顔器官点数の変更による精度の比較
顔器官点を9点として学習した場合，新たに左右の目端と目頭を付与したことで図7に示すように“目つき”と“視線”のスコア推定精度がそれぞれ約3%向上している．しかし，目の周りに器官点が集中してしまったことで“眉”，“口元”と“唇”のスコア推定精度は低下している．顔器官点を増やすことで，増やした器官に関連する観察項目の精度は向上するものの，精度全体への向上にはつながらないことが分かる．
更新回数ごとの精度の変化
更 新 回 数 に よ る 精 度 変 化 を評 価 す る ．単 一 のCNN，顔器官点5点を付与した場合と顔器官点9点を付与した場合の更新回数10万回ごとの認知症レベ図 8 更新回数ごとのスコア推定精度の変化

図 9 更新回数ごとの検出精度の変化
ル推定精度を図8に示す．顔器官点を付与した場合のスコア推定精度は単一の CNN のスコア推定精度よりも“眉”と“目つき”が全体的に向上している．更新回数をかさねることによるスコア推定精度の向上は見られない．また，顔器官点の検出精度の変化を図9に示す．顔器官点は50万回と70万回に検出精度が低下する傾向があり，更新回数が少ない間は左右の器官点で検出精度に偏りがでている．しかし，顔器官点検出の精度は更新回数を重ねることで，検出精度が向上し，左右の器官点で検出精度に偏りがでていた問題を解決していることがわかる．図10に提案手法によるスコアの推定例を示す．

まとめ
本稿では，顔画像から認知症リスクを判定する手法を提案した．Heterogeneous Learning を用いて顔器官点を同時に学習することでスコア推定精度が向上した．また，更新回数を重ねることにより顔器官点の検出精度が向上した．今後の課題としては，合計スコアを教師ラベルに追加し重みづけによる各観察項目のスコア修正，サンプルのスコアづけが専門家によるものではないためサンプルの新たな収集が挙げられる．

謝辞 本研究の一部は公益財団法人三菱財団27127の助成を受けたものである．

参考文献[1] http://www.mhlw.go.jp/file/05-Shingikai-12601000-Seisakutoukatsukan-Sanjikanshitsu_Shakaihoshoutantou/0000065682.pdf[2] 北岡哲子, et al.: 臨床的顔表情評価法 C-Face(ClinicalFacial Expression Scale by Kitaoka)の認知症患者における検証, 日本早期認知症学会誌, 第6巻, 第1号, 2013.
[3] 北岡哲子, et al.: Clinical Facial Expression Scale (C-Face)による早期認知症患者の表情特徴抽出~FACS 併用の有用性~, 日本早期認知症学会誌, 第6巻, 第2号, 2013.
[4] 北岡哲子, et al.: 癒し表情刺激を用いた認知症患者の評価 C-Face for dementia の作成と評価, 日本早期認知症学会誌, 第7巻, 第1号, pp.88-95, 2014.
[5] Y. LeCun, et al.: Backpropagation Applied to Handwritten
Zip Code Recognition, Neural Computation, vol.1, pp.541551, 1989.
[6] M. F. Folstein, et al.: “MINI-MENTAL STATE” A practical method for grading the cognitive state of patients for theclinical, Journal of Psychiatric Research, vol.12, pp.189198, 1975.

図 10 提案手法によるスコアの推定例[7] X. Yang, et al.: Heterogeneous Multitask Learning withJoint Sparsity Constraints, Neural Information Processing
Systems, 2009.
[8] Z. Zhang ， et al.: Facial Landmark Detection by Deep
Multi-task Learning，European Conference on ComputerVision，2014.
[9] D. E. Rumelhart, et al.: Learning representations by backpropagating errors, NATURE, vol.323, pp.533-536, 1986.
[10] I. J. Goodfellow, et al.: Maxout Networks, Proceedings ofthe 30th International Conference on Machine Learning,2013.
中川茉耶:中部大学工学部情報工学科在学中．
神谷龍司:2015年中部大学工学部情報工学科卒，現在同大学大学院工学研究科情報工学専攻博士前期課程在学中．
山下隆義:2002年奈良先端科学技術大学大学院大学博士前期課程修了．2002年オムロン株式会社入社，2009年中部大学大学院博士後期課程修了(社会人ドクター)，2014年中部大学講師，人の理解に向けた動画像処理，パターン認識・機械学習の研究に従事．

田中正行: 2003年東京工業大学大学院理工学研究科機械制
御システム専攻博士課程修了．2003年アジレント・テクノロジー株式会社．2004年東京工業大学大学院理工学研究科機械制御システム専攻研究員.2008年東京工業大学大学院理工学研究科機械制御システム専攻准教授.2013-2014年スタン
フォード大学客員研究員.組織改編のため2016年より東京工業大学工学院システム制御系准教授．
山内悠嗣:2012年中部大学大学院博士後期課程修了，2010
年独立行政法人日本学術振興会特別研究員 DC．2014年中部大学助手．コンピュータビジョン，パターン認識の研究に従事．
藤吉弘亘:1997年中部大学大学院博士後期課程修了．1997～ 2000 年 米 カ ー ネ ギ ー メ ロ ン 大 学 ロ ボ ッ ト 工 学 研 究 所
Postdoctoral Fellow．2000年中部大学講師．2004年より同大学教授．2005～2006年米カーネギーメロン大学ロボット工学
研究所客員研究員，計算機視覚，動画像処理，パターン認
識・理解の研究に従事．