茨城県産業技術イノベーションセンター研究報告 第 48 号

非侵襲的に摂食時の嚥下機能状態をモニタリングする技術開発に関する試験研究事業
岡田 真 *

１. はじめに高齢化による筋肉の衰えや，脳卒中の後遺症などの原因により，嚥下機能が低下し，物を飲み込む際にむせたりすることが多くなる症状が嚥下機能障害である。
当センターでは，H27年度より茨城県立医療大学との共同研究により非侵襲で安全・簡便な嚥下機能評価手法について研究を行ってきた。H27年度からH29年度にかけては，嚥下音により嚥下機能の良否を判断する手法について研究を行い，嚥下音から抽出した音響特徴量による嚥下機能評価の有用性を確認した1)。
H30年度からは，嚥下機能評価システムを実用化するにあたり必要な要素技術である収集データから，嚥下音を自動抽出する手法について研究を行っている2)。

中川

裕光 *

飯村

修志 **

本村 美和 ***

3.2 分割音のデータサイズ統一処理
無音区間検出アルゴリズムによって分割された音は，それぞれデータ長さが統一されていない。
本研究では，深層学習のネットワークに各データを入力することを見込み，その前処理として分割音のデータ長さを統一するプログラムを構築した。本プログラムでは，指定したデータ長さに対して，分割音データの長さが不足している場合，図 2 に示すように，分割音データの最終値を，分割音が指定したデータ長さになるまで挿入しつづける処理を行っている。

3.3 ニューラルネットワークによる嚥下音判定
従来の嚥下音の判定手法は嚥下時間長さ等の指標により，閾値によりふるい分けを行っていたが 3~4)，本研
２．目的
究では，ニューラルネットワークによる深層学習モデ
今年度は，嚥下評価に用いる嚥下音部分の抽出精度ルを適用することにより，嚥下音の判定を行うアルゴを向上するため，昨年度構築した嚥下音自動抽出アルリズムの構築を目指した。ネットワークの学習は，こゴリズムの高度化を行った。また，次年度に予定している嚥下音を用いた嚥下機能評価手法の高度化に向け， れまでに県立医療大学および筑波メディカルセンター
病院と共同で収集した嚥下音 100 データと嚥下音以外
正常嚥下時と異常嚥下時における咽頭内部での音響特の音 100 データの合計 200 データを用いている。
性の変化等を簡易モデルを用いたシミュレーションにネットワークへの入力データは，3.2 で指定データより解析し，異常時にみられる傾向の分析を行った。
長さに補完したデータ（以下，データセットとする）を直接入力した場合と嚥下時の摂取水量推定 5)などの３．研究内容
研究で用いられている MFCC(Mel-Frequency Cepstrum
3.1 嚥下音の自動抽出手法の高度化
Coefficients)をデータから求め，入力した場合を検証
本研究では，昨年度実施した無音区間検知による嚥2)したが，高い認識率を得られなかった。
下音の自動抽出手法 で抽出されたデータから，嚥下一方，MFCC を求める過程で得られるメルスペクトロ
音を精度よく判定できるアルゴリズムの構築を目指しグラムのマップデータとディープラーニング技術を活た。本研究で検討した嚥下音の自動抽出フローは図 1
用して，性能向上が見られたことが報告 6)されており，に示すとおりである。今回は，無音区間検出アルゴリ
本研究ではデータセットに対して，図 3 に示すようにズムにより分割されたデータから嚥下音以外の音をふメルスペクトログラムを求め，ネットワークに入力しるい分けるアルゴリズムを高度化することにより，収結果を考察した 7～9)。
集したデータから嚥下音を正確に抽出できるアルゴリ
本研究で構築したニューラルネットワークのネットズムの構築を目指した。
ワーク構造を図 4 に示す。

図 1 嚥下音の自動抽出フロー*IT･マテリアルグループ**研究推進グループ***

茨城県立医療大学

保健医療学部

看護学科

図 2 データサイズの統一処理
図 5 正常時の嚥下モデル

図 3 嚥下音のメルスペクトログラム解析
図 6 異常時の嚥下モデル
今回，嚥下時の流れについては，この条件のもとVoF法を用いて流体解析を行った。また，水沼氏ら11)と同様に嚥下開始時t=0.0004からt=0.3[s]までの間の流れを解析し，結果を考察した。

図 4 ニューラルネットワークの構造
3.4 嚥下の簡易モデル構築
嚥下機能評価手法の指標として，水による模擬的な嚥下をシミュレーションにより解析し，その際に生じる音を抽出することで，正常時と異常時でどのような違いが生じているか明らかにするため，シミュレーシ
ョンで用いる嚥下の簡易モデル構築を行った。
嚥下機能については，正常時は喉頭蓋により気道が塞がれ，異常時は喉頭蓋の動作が遅くなり気道が塞がれていない状態となっている。今回，正常な嚥下と異常な嚥下が行われている 2 種類のモデルを作成したが，その違いは喉頭蓋を模したモデルで気道を模したモデルを塞いでいるか否かを違いとしている。正常時のモデルは図 5 に，異常時のモデルを図 6 に示す。
3.5 嚥下流れの解析
嚥下圧については森氏ら10)により，上流の軟口蓋部の圧力は12kPa，下流の頸部食道は8kPaとし，流速については水沼氏ら11)の報告から，平均0.5m/sとした。

3.6 嚥下発生時の音場解析解析した嚥下流で生じる音源を用い，音場解析を行った。嚥下音の音響信号成分については中山氏ら12)により，主要な音響信号成分が1,000[Hz]以下に存在することがわかっていることから，周波数の範囲を20[Hz]から1,000[Hz]として，解析し結果を考察した。
４．研究結果と考察
1．嚥下音判定の認識率の結果は図 7 のとおり。
未学習のデータに対し，認識率 80%を達成できた。
メルスペクトログラムを用いることにより，MFCC よりも認識精度が上がった結果となった。MFCC はメルスペ
クトログラムの各フレームで離散コサイン変換を行い，係数化したもので，一般的に音声分野などで口腔形状による声道特性と音源特性を分離する手法として用いられ，特に声道特性を示す低次成分が音声認識に有用となっている。本研究では，嚥下音や人の声など人から発生する音のほか，聴診器がこすれる音やぶつかる音など機器から発生する音を判別するが，音源や音が伝わる経路がそれぞれ違うため，MFCC でもこれらの音の特徴を捉えられると考えられたが，今回の結果ではよい結果が得られなかった。
メルスペクトログラムのほうが MFCC よりも認識率が向上した考察として，離散コサイン変換を行う際に，任意の低次項までの係数化にとどめるため，高次項部空気(a) 繰り返し学習回数 epoch と認識率 accuracy の推移

水

図 8 正常時の嚥下流れ(b) 繰り返し学習回数 epoch と損失係数 loss の推移
図7 嚥下音判定の結果分の情報が抽出されず，本来抽出すべき特徴的な成分を失った可能性があること，また，ニューラルネットワークによる学習との組み合わせの相性の影響も大きいと考えられる。一例として， SVM（Support VectorMachine）を用いた場合には，MFCC のほうがメルスペクトログラムよりも認識率が向上する結果が出ており，一概に MFCC が特徴量として悪いということではないことがわかる。このことについては，今後も検証してきたい。
2．シミュレーション解析による正常時のモデルによる嚥下の流れを図8に，異常時のモデルによる流れを図9に示す。正常時の嚥下流れでは，気道が喉頭蓋によって塞がれているため，水は中咽頭に到達した後，食道壁を伝い胃部に流れており，流れは食道内部に収束していることがわかる。
また，異常時の嚥下流れでは，正常時には喉頭蓋で塞がれていた気道が異常時には塞がれていないため，食道壁で跳ね返った水が食道と気道を隔てている輪状軟骨を伝い，気道にも流れていることがわかる。

空気水

図 9 異常時の嚥下流れ
3．2．で解析した嚥下流れで生じる壁面や流体内部での圧力変化を音源とし，指定した観測面で観測される音場の解析を行った。正常の音場解析結果を図 10に，異常の音場解析結果を図 11 に示す。
図10より，正常時の周波数特性は，最大ピークが他のピークよりも15[dB]以上突出して高くなっており，各周波数の音圧に高低差があることから，比較的明瞭な音が生じることが推測される。
また，図 11 より，異常時の周波数特性は，全体として平均的であり，不明瞭な音が生じる可能性が推測される。特に，低周波数帯域では周波数ごとでの音圧の差が確認できるが，高周波数帯域に遷移するにつれ差がなくなることが確認できる。また 250Hz 近傍の領域
では，正常時の場合と比べ音圧が全体と比較して高くなることから，このあたりの周波数域で異常時特有の特徴が生じている可能性がある。
５．まとめ
1．
深層学習技術を活用した嚥下音の自動抽出アルゴリズムを構築し，嚥下判定の識別率 80%を達成した。
2．正常時，異常時の嚥下により観測される音場解析を実施し，喉頭蓋が遅れて気道を塞ぐ際の嚥下音の音響特性を比較できた。
６．今後の課題
次年度のプロトタイプ製作に向け，今回シミュレー
ションによって得られた正常時と異常時の嚥下音の音響特性の比較結果をもとに嚥下音機能評価手法の高度化を行う。また，引き続き県立医療大学及び筑波メディカルセンター病院と連携し，評価精度の向上に向け嚥下データの収集を進める。

12011010090
音80
圧[dB]70605040300200400600
周波数[Hz]800

1,000800

1,000

図 10 正常時の解析結果
12011010090
音
圧 80[dB]70605040300200400600
周波数[Hz]

図 11 異常時の解析結果

７．謝辞
本研究を行うにあたり，嚥下音収集にご協力いただ
いた，筑波メディカルセンター病院 看護部 師長の外塚恵理子様をはじめ言語聴覚士の中条朋子様，日下部みどり様，山田悟志様に深く感謝いたします。
８．参考文献等
1)岡田真，平間毅，本村美和，音響特徴量を用いた嚥
下機能評価手法に関する研究，日本音響学会2018年春季研究発表会，2018年3月15日．
2) 岡田真,本村美和，青木邦知，非侵襲的に摂食時の嚥下機能状態をモニタリングする技術開発に関する試
験研究事業,平成30年度研究報告, 47, 1-4(2019)3)高橋浩二，嚥下障害診断法としての頸部聴診法，昭和歯学会雑誌，25,167-171,2005
4) 松村雅史, 辻村肇,口腔咽喉音分析による嚥下回数の長時間モニタリングと応用, バイオメカニズム学会
誌，Vol. 40，No.4 ,255-260，2016.
5）山田侑太朗，個人差の少ない特徴量を用いた水分摂取量推定手法の検討，マルチメディア，分散協調とモバイルシンポジウム2016論文集，2016，1814 - 1820，
2016．
6) Masahiro Suzuki, Makoto Sasaki, Katsuhiro Kamata,Atsushi Nakayama, Isamu Shibamoto, Yasushi Tamada,
Swallowing Pattern Classification Method Using
Multichannel Surface EMG Signals of Suprahyoid andInfrahyoid
Muscles,Advanced
Biomedical
Engineering9: 10–20, 2020.
7) Brian McFee,Colin Raffel,Dawen Liang,Daniel P.W.
Ellis,Matt
McVicar,EricBattenbergk,Oriol
Nieto,librosa: Audio and Music Signal Analysis inPython, PROC. OF THE 14th PYTHON IN SCIENCE CONF.
(SCIPY 2015)8) 小田昌宏，原武史，森健策，医用画像処理のための深層学習サンプルコード集DMED, 日本コンピュータ外科学会誌 第27回日本コンピュータ外科学会大会特集号 JSCAS2018
9) 巣籠悠輔，詳解ディープラーニング TensorFlow・Kerasによる時系列データ処理，株式会社マイナビ出版
10) 森 敏裕，嚥下第Ⅱ期における嚥下圧動態の研究，
95-145，1992．
11) 水沼 博，嚥下流動に及ぼす液状食品の粘性特性の影響，日本機械学会論文集（B編）70巻699号，論文
No.04-0026，2004．
12) 中山 裕司，嚥下音の産生部位と音響特性の検討，
昭歯誌 26:163-174，2006．