三次元顔認証スマホアプリによる表情筋トレーニング／ストレッチの客観的指標の導入と末梢性顔面神経麻痺後遺症予防リハビリへの応用
産業医科大学医学部耳鼻咽喉科・頭頸部外科

堀龍介

We developed an iPhone app, FacialPalsyZero, which can objectively and quantitatively evaluate facial motion using
Apple's three-dimensional facial recognition system, Face ID. We released it on the App Store for free. FacialPalsyZerosmoothly displays real-time scores indicating the ratio of the amount of change in five facial regions, including the eyebrow,eye, nose, cheek, and mouth, between maximum movement and the resting state. FacialPalsyZero is a revolutionary
application for evaluating facial motor function that is simple, easy to use, and objective. In this study, we assessed theperformance of FacialPalsyZero, further upgraded it by increasing the number of BlendShapeLocation items from 7 to 15,
introduced Debug Mode, and created FacialPalsyZero+ with high-definition facial motion objective evaluation functions.
The results of this study have been reported.
The findings of this study have facilitated the easy and objective evaluation of facial movements. It is anticipated thatfurther enhancements to the accuracy of FacialPalsyZero+ will lead to the replacement of evaluation methods that havetraditionally relied on subjective experience with a more objective and quantitative approach. The challenge for the future is
to optimize treatment and rehabilitation for the sequelae of peripheral facial nerve palsy. This study would make a significant
contribution to the field of cosmetology.

１．緒果としてリハビリが長続きしないことがしばしばみられる。

言

従って、顔の運動や表情筋の動きを客観的に評価できるシ

表情筋は顔面頸部の皮膚に付着しており、微妙な動きをして人の表情を作り出す。眼の開閉、口で食べる ･ しゃべ

ステムの開発はコスメトロジーにおいて非常に重要なものであるといえる。

るなどの運動にも関わっており、顔面神経の支配を受けてわれわれは、Appleの三次元顔認証システムを利用して顔いる。人は表情筋で表情を作って自由に感情を表現するわの運動を手軽に客観的かつ定量的に評価できる独自のアプリ

けで、表情が豊かだと明るくはつらつとした印象を与える「FacialPalsyZero」を開発し、AppStore に無料公開していため、健康な表情筋の維持は生活には欠かせない。一方、る（図 1）。眉・目・頬・鼻翼・口角の顔面 5 部位の最大運動

加齢や無表情など衰えた表情筋は顔のハリの低下やたるみ時と安静時の変化量の比をタイムラグなく滑らかにスコアの原因となり、表情が暗い印象になったり老けて見えたり表示することができる。このアプリは顔面神経麻痺患者のする。末梢性顔面神経麻痺ではその程度によって表情筋が顔面運動機能評価のために開発した。これまでの顔面運動全く動かなくなり閉眼や食事などで困るのに加え、左右非機能評価は、簡便であるが主観的、もしくは客観的である対称の顔貌に精神的苦痛も感じる。また、末梢性顔面神経が非常に手間と時間がかかる、というように一長一短の評

麻痺患者での病的共同運動などの後遺症予防リハビリで代価法しかなかったが、FacialPalsyZero は簡便で手間がかか表的なものとしてミラーフィードバック法がある。鏡越しらず客観的という画期的な顔面運動機能評価アプリである。に自分の顔を見ながら口唇を動かさずに閉眼したり、食事本研究では FacialPalsyZero の性能の評価を行い、さらの時や話をする時などには口を動かす必要のある時にはなに FacialPalsyZero の改良と Debug Mode の開発、そしてるべく意識して目を開くような運動訓練などを行う。しか高精細顔面運動客観的評価アプリ FacialPalsyZero ＋の開し、ミラーフィードバック法にしても実際の強度や程度に発を行った。

対する判断は鏡越しに自分を見るだけの主観的判断に過ぎないため、患者は判断に困惑して効果も不十分となり、結Introduction of an objective index for
facial muscle training/stretching usinga three-dimensional face recognition iPhone App and its application to rehabilitation for prevention of sequelae of peripheral facial nerve paralysis
Ryusuke Hori
Department of Otolaryngology - Headand Neck Surgery, University of Occupational and Environmental Health, Japan− 174 −

図1

FacialPalsyZero ？

三次元顔認証スマホアプリによる表情筋トレーニング／ストレッチの客観的指標の導入と末梢性顔面神経麻痺後遺症予防リハビリへの応用

2．方法

2 . 1．FacialPalsyZero と柳原法、ENoG、積分筋電図の相関関係の確認
すでに開発していた FacialPalsyZero は、Apple が提供する BlendShapeLocation という顔面の動きを示す指標を利用していた。検出された顔の表情を特定の顔の特徴の動きで表現し、BlendShapeLocation の各キーに対応する値は、その特徴のニュートラルな構成に対する現在の位置を示す浮動小数係数で、0 . 0（ニュートラル）から 1 . 0（最大動作）の範囲で示される。この係数で動きを定量化したものが FacialPalsyZero の概要である。FacialPalsyZero
では顔面運動の主要部位の動きを代表する眉 / 目 / 頬

図 2 FacialPalsyZero で用いる BlendShapeLocation
顔面運動の主要部位の動きを代表する 5 か所の部位に対する 7
つの BlendShapeLocation を評価対象とする/ 鼻 翼 / 口 角 の 5 か 所（ 左 右 10 か 所 ）に 対 す る 7 つ のBlendShapeLocation（眉 : browOuterUp , browDown / 目 :口周囲（口輪筋、口角挙筋、大頬骨筋、口角下制筋、笑筋）、

eyeblink, browDown / 頬 : cheekSquint / 鼻翼 : noseSneer

首回り（オトガイ筋肉、広頚筋）を想定する。

/ 口 角 ; mouthDimple, mouthSmile）を 評 価 対 象 と し た（図 2）。顔面神経麻痺の一般的な評価法である柳原法と2 . 4．FacialPalsyZero ＋の開発

FacialPalsyZero の相関関係を調べるため、健常人 5 人をDebug Mode の開発を基に柳原法、House-Brackmann

対象にスコアを評価した。次に顔面神経麻痺患者 12 人を法、Sunnybrook 法、May 法に準じた 12 の表情を設定し、対象として柳原法との比較を行った。さらに ENoG、積分

この 12 の顔面運動シーンを撮影しその動きを解析するアプ筋電図との相関関係を検討した。

リ「FacialPalsyZero ＋」を開発した。顔面運動の設定された 12 のシーンごとに安静時からの顔面運動変化を 2 秒間、

2 . 2．高精細評価のための FacialPalsyZero の改
良と Debug Mode の開発

別の評価項目を用いて、複数の医師で評価した柳原法の値

BlendShapeLocation には実際は全 52 の指標があり、よと比較した。健常例 5 例、麻痺例 30 例での検討を行った。

1 秒当たり 60 フレーム（60 fps）で記録する。それぞれ個り高精細に評価するため 15 か所（左右で 30 か所）を評価

3．結するシステムにバージョンアップした。顔面神経麻痺および後遺症の高精細部位診断と運動評価法の開発のため

果

3 . 1．FacialPalsyZero と柳原法、ENoG、積分には、柳原法以外にも国際的にも認知されている顔面神筋電図の相関関係の確認

経麻痺評価法や後遺症評価法である House-Brackmann 法、健常人 5 人のスコア評価では、全員正常値が検出されSunnybrook 法、May 法との相関関係も十分に評価できるた（90 ％以上を正常とする）。顔面神経麻痺患者 12 人をアプリのプログラム開発をする必要がある。そこでアプリ対象とした柳原法との比較では、5 か所の評価部位すべてプログラムでの 30 か所の浮動小数係数をリアルタイムにに FacialPalsyZero と柳原法のスコアに相関関係がみられ表示し、その数値が目まぐるしく変化する状態が一目でわた。ENoG、積分筋電図との相関関係の検討では、いずれかる Debug Mode の開発に取り組んだ。

もFacialPalsyZeroのスコアとの相関関係がみられた（図 3）。

2 . 3．表情筋トレーニング／ストレッチ強度における客観的指標の導入

3 . 2．高精細評価のための FacialPalsyZero の改良と Debug Mode の開発

健常人 3 人を対象に、表情筋に対応した Debug Mode で

15 の BlendShapeLocation（ 左 右 で 30）は、browOuterUp、の顔面部位を特定し、その部位に応じた自発的最大筋収縮、browDown、eyeblink、CheekSquint、noseSneer、mouthSmile、

受動的最大筋伸張の客観的スコアを継続的に記録し、過不mouthDimple、eyeWide、eyeSquint、mouthLowerDown、足のない最適な表情筋トレーニング／マッサージ強度を特

mouthUpperUp、mouthPress、mouthStretch、mouth、定するとともに、最適な継続および間隔日数を特定するこ

mouthFrownを使用した。これらと実際の顔の動きを図 4 にとを検討した。表情筋は、おでこ― 前額部（前頭筋、上眼示す。Debug Mode を図 5 に示す。Debug Mode では顔面

瞼挙筋、眼輪筋、眉毛下制筋、皺眉筋）、眼周囲（眼輪筋）、の素早い動きを１秒当たり 60 フレーム（60 fps）で浮動小ほうれい線―鼻唇溝（上唇挙筋、小頬骨筋、上唇鼻翼挙筋）、数係数をリアルタイムに表示することができる。

− 175 −

コスメトロジー研究報告 Vol. 32, 2024

図3

健常人 5 人での分布、顔面神経麻痺患者 12 人を対象とした柳原法との比較、ENoG、積分筋電図との相関関係

図415 の BlendShapeLocation 実際の顔の動き− 176 −

三次元顔認証スマホアプリによる表情筋トレーニング／ストレッチの客観的指標の導入と末梢性顔面神経麻痺後遺症予防リハビリへの応用

3 . 3．表情筋トレーニング／ストレッチ強度における客観的指標の導入

目）、mild eye closure（軽閉眼）、strong eye closure（強Debug Modeで表示されるリアルタイムの浮動小数係数は（左眼閉眼）、nose wrinkling（鼻作皺）、grin（歯の露出）、

1 秒 60 フレームであり、すなわち浮動小数係数は 1/60 秒ごwhistling（口笛）、blowout cheek（頬を膨らます）、lowerとにめぐるましく表示が動く。従って、表情筋の部位に応lip depression（ 下 口 唇 下 動 ）と し た。scene は こ の 順 にじた自発的最大筋収縮、受動的最大筋伸張の客観的スコア撮影した。顔面の主な動きとして、前額の動きが browを継続的に記録することは困難であったため、表情筋トレelevation、 目 の 動 き が blinking eyes/mild eye closure/ーニング／マッサージ強度を特定することはできなかった。

strong eye closure/eye closure（right）/eye closure（left）、閉眼）、eye closure（right）（右眼閉眼）、eye closure（left）

鼻の動きが nose wrinkling、口の動きが grin/whistling、

3 . 4．FacialPalsyZero ＋の開発

頬部の動きが blowout cheek に対応する。柳原法、House-柳原法、House-Brackmann 法、May 法に準じた 12 の表情の設定内容を図 5 に示す。12 の表情は、Facial rest
（安静時）
、brow elevation（前額作皺）、blinking eyes（ 瞬Brackmann 法、May 法における対象となる表情設定は図6 のとおりである。
FacialPalsyZero ＋において scene 4 の軽閉眼では eyeblink

図 5 Debug Mode
30 か所の浮動小数係数をリアルタイムに表示し、その数値が目まぐるしく変化する状態が一目でわかる。

図6

柳原法、House-Brackmann 法、May 法に準じた 12 の表情の設定内容− 177 −

コスメトロジー研究報告 Vol. 32, 2024において 2 秒間の合計値を評価指標として左右の比率を検討

4．考したところ、カットオフ値を 99 . 5 % 以上が柳原法における察4 点、99 . 5 % から 90 % が 2 点、90 % 未満が 0 点と設定す

顔面神経麻痺の程度を正確に客観的に評価することは、ることで正診率は 88 % を示した。Scene 9 の歯の露出では治療方針の決定ひいては予後にかかわるために非常に重要

mouthsmile・mouth・cheeksquint を組み合わせて評価し、である。従来の顔面神経麻痺評価法には主観的評価法と客カットオフ値を適切に設定することで正診率は 78 % を示

観的評価法があり、それぞれ利点と欠点がある。主観的評した。動きがない scene 1 の安静時や、適切な評価指標が価法として柳原法、House-Brackmann 法、May 法などがない scene 2 の額の前額作皺では評価が難しかった（図 7）。

あるが、これは検者が自身で見て判断するため、非常に簡一方で本アプリは動的な評価が可能であり、例えば軽閉眼便で費用もかからず普及している。しかし、主観的である

では左右の動きの微妙な差の時間的な変化を客観的データがために検者間での差が大きく、柳原法では検者が変わとして示すことが可能であった。また瞬間的な動的変化とるとスコアが一致しないことが多いとされている。例えば、して麻痺症例での瞬目の左右の違いを示すことも可能であ柳原法 40 点満点中 30 点とつける検者もいれば 6 点とつけり、顔面全ての座標変化を同時に測定可能であることからる検者もいる 1）。客観的検査法には顔面筋誘発筋電図や積眼輪筋が動いた際の口輪筋の動き左右差も記録することが分筋電図などがあるが、定量的評価が可能であるものの手可能であった（図 8）。

間や費用がかかり、検査できない施設も多いのに加え検査

図 7 「FacialPalsyZero+」
軽い閉眼での測定例（左麻痺例）

図 8 「FacialPalsyZero+」
指標の動的変化（左麻痺例）− 178 −

三次元顔認証スマホアプリによる表情筋トレーニング／ストレッチの客観的指標の導入と末梢性顔面神経麻痺後遺症予防リハビリへの応用できる施設でも頻回に検査をするのは患者負担的にも保険

FacialPalsyZero ＋では安静時、前額作皺、瞬目、軽閉的にも現実的ではない。簡便で手間がかからず、定量的で眼、強閉眼、右眼閉眼、左眼閉眼、鼻作皺、歯の露出、口検者間で差が出ない評価法が理想的であるが、これまでそ笛、頬を膨らます、下口唇下動の 12 の表情を設定し、このような検査法は存在しなかった。また、顔面神経麻痺評

れ に よ り 国 内 外 の 広 く 普 及 し て い る 柳 原 法、House-価としてこれらの方法が長らく使用されてきたのは、主観Brackmann 法、May 法の各評価にも対応できるようにし的評価法や客観的評価法の利点も評価されてきたからでて、FacialPalsyZero ＋を世界でも普及させる戦略とした。

はあるが、別の要素として機械やコンピューターによる評

また、記録は安静時からの 12 の表情（顔面運動変化を）各価が困難な分野であったということも大きい。しかし近年、

2 秒間、１秒当たり 60 フレーム（60 fps）で記録した。つ

機器や人工知能（AI）の発展により画像認識の分野においまり各表情を 2 秒間で 120 フレーム記録することとなる。ては人間の知覚を超える高い識別性能を示すこともできる

この結果、120 もの座標データをもとに高精細に評価でき時代となってきている。我々の研究グループでは、iPhoneのるようになるだけでなく、連続する座標データの時間的な三次元顔認証システムを使用することで麻痺を手軽に客観変化を客観的データとして示すことにより顔面の動的な評的かつ定量的に評価できると考え、Appleの 3 次元顔認証シ価ができる。すなわち、これら連続する座標データの傾きステム（Face ID）を利用し独自のアプリ「FacialPalsyZero」

が顔面の動きの速度、そして連続する速度データの傾きがを開発し AppStore に公開している 。FacialPalsyZero は加速度となるわけである。このような時間的な変化を手軽

iPhone から照射される赤外線により、顔表面の 1220 個に評価できる機器は今までにないものであり、新たな知見のポイントの 3 次元空間での座標情報や顔の動きを定量につながる可能性を秘めている。またスマートデバイスを化できる。その情報をリアルタイムで取得し、素早い動用いることで医療従事者だけでなく麻痺患者自身でさえもきにも対応可能である。主観的な要素は全くなく、客観客観的な評価をいつでも行うことが可能になるので、早期的に定量化できる。しかも、簡便でかつ直感的であるの診断・正確な診断に基づく予後予測・治療方針の決定にで医療従事者だけではなく患者からも好評のアプリであ役立つかもしれない 2）。顔面神経麻痺の早期予後診断としる。本研究助成により、このアプリのバージョンアップ、て、我々はアブミ骨筋反射の内視鏡下観察と筋電図閾値にDebug mode の開発、そしてさらに高精細評価ができるついての検討も行っている 3）。顔面神経麻痺患者に対するFacialPalsyZero ＋の開発に取り組んだ。

FacialPalsyZero ＋のデータ集積とアブミ骨筋反射の内視2）

FacialPalsyZero のバージョンアップとして、対象とする
BlendShapeLocation を 7 から 15 に増やした。BlendShape

鏡下観察の結果をまとめ合わせることで、より正確な顔面神経麻痺の早期予後診断ができることも期待される。

Location は全 52 あるが、これらは Apple 社が決めた指標

FacialPalsyZero ＋の研究結果では、図 6 のように軽閉である。バージョンアップアプリでは顔面の主な動きとし眼では左右の動きの微妙な差の時間的な変化を客観的デて、前額、目、鼻、口、頬の動きを評価できる 15 のBlendータとして示したり、図 7 のように瞬間的な動的変化としShapeLocation を選択した。Debug Mode では１秒当たりて麻痺症例での瞬目の左右の違いを示したりすることも60 フレーム（60 fps）で浮動小数係数をリアルタイムに表可能であった。また、図 7 のごとく、顔面全ての座標変化示することができるた。すなわち 1 / 60 秒という非常に短を同時に測定可能であることから眼輪筋が動いた際の口い間隔で顔面の素早い動きを数値化して表示することがで輪筋の動きや左右差も記録することが可能であった 2）。こきる。これら技術基盤は FacialPalsyZero ＋の開発に応用れまで顔面の複数部位の動きを同時に評価するのは検者されていくのであるが、逆にこのような素早い動きがめぐの主観的判断しかなく、客観的評価法は存在しなかった。

るましく表示されるため、表情筋の部位に応じた自発的最FacialPalsyZero ＋の顔面全ての座標変化を同時に測定で大筋収縮、受動的最大筋伸張の客観的スコアを継続的に記きる機能を用いることにより、顔面神経麻痺の重要な後遺録することは困難であった。このことが表情筋トレーニン症である病的共同運動を、精細にかつその動きの動的指標グ／ストレッチ強度における客観的指標の導入を困難にさまで客観的に評価することができる。病的共同運動は麻痺せた原因である。この解決方法としては Debug Mode で発症 2 週間後の ENoG 値が 40 ％未満の場合に、発症 4 か表示される浮動小数係数をすべてアプリに保存するように月後以降に起こるとされている 4）。病的共同運動の治療も仕様を変更することが挙げられるが、アプリに保存した場ミラーフィードバック法などの主観的なリハビリテーショ

合そのデータを見るために一度リアルタイムの画面を切っンが主体であった。今後 FacialPalsyZero ＋のさらなる応てから保存を呼び戻さなくてはいけない。従って、これで用により、病的共同運動発症が予測される患者／病的共同はリアルタイムで表情筋トレーニング／マッサージ強度を運動発症患者を対象として、ミラーフィードバック療法を特定することは困難となる。さらなるプログラム開発が必改良した客観的な三次元顔認証スマホアプリフィードバッ要であると考えられる。

ク療法の開発が期待される。例えば、病的共同運動が起− 179 −コスメトロジー研究報告 Vol. 32, 2024

こっている各部位の筋収縮客観的スコアをアプリで計測し、明るい表情を客観的に評価することができ、その結果、気このスコアを目安にスマホアプリフィードバック療法を行持ちも前向きになって男女問わず美容と健康の増進につなうなどが考えられる。また、三次元顔認証スマホアプリをがると考えられる。本研究は、コスメトロジーに大きく貢見ながらこれに客観的スコア表示機能を搭載させることに献するものと思われる。

より、アプリ使用者のリハビリに対する理解が深まり、飽きて脱落することなく継続することができるようになるこ（引用文献）
1） 松代直樹：麻痺スコア（40 点法）の検者による差異とも期待できる。

5．総

顔面神経麻痺の専門家 9 人と全国の一般耳鼻咽喉科勤務

括医 47 人での検討．Facial N Res Jpn 2010; 29: 63-65．

本研究の成果により、顔面の動きが簡便に客観的に評価

2） 児嶋剛：3 次元顔認証システムによるリアルタイム顔することができるようになった。FacialPalsyZero ＋の精面神経麻痺評価．Facial N Res Jpn 2021; 41: 10-12．

度を高めることで、今まで経験に左右されることが多かっ

3） 堀龍介：アブミ骨筋反射の内視鏡下観察と筋電図閾値

た評価が客観的かつ定量的な評価方法に置き換わることが期待される。今後は顔面神経麻痺後遺症における治療およびリハビリの最適化に取り組んでいくことが課題となりえについて．Facial N Res Jpn 2022; 42: 139-141．
4） 村上健：顔面神経麻痺のリハビリテーション．MBENT2016; 198: 1-67．

る。何より本アプリで顔面表情を観察すると、人の豊かで− 180 −