ABML2011

O1-5

2011年11月3日-5日 東京（芝浦工業大学）

重度障害者の意思伝達を目的とした舌運動推定法
Method of Tongue Movement Estimation for Supporting Communication of Disabled People○ 佐々木誠（岩手大）

荒川峻之（岩手大）

中山淳（一関高専）

山口昌樹（岩手大）

Makoto SASAKI, Graduate School of Engineering, Iwate University
Takayuki ARAKAWA, Graduate School of Engineering, Iwate University
Atsushi NAKAYAMA, Ichinoseki National College of Technology
Masaki YAMAGUCHI, Graduate School of Engineering, Iwate University
Abstract: With attention to voluntary tongue motion, which is capable of communicating the intentions of a person with adisability, we estimated the tongue movement using EMG signals of the underside of the jaw, where the suprahyoidmuscles are crowded. Suprahyoid muscles usually function to open the mouth, and to control the position of the hyoid, thebase of the tongue. We affixed a multi-channel electrode with nine electrodes to the underside of the jaw. Then, deriving
many EMG signals using monopolar leads, we calculated 36 (=9C2) channel EMG signals between any two of the nineelectrodes. Associating these EMG signals and tongue movements using a neural network, we confirmed our ability toestimate tongue movement with 91.5% precision. Furthermore, building a neural network for estimating mouth opening
and deglutition, which are potential origins of false estimation, and discriminating that movement with 92.0% precision,
we suggest precise extraction of only the signal of voluntary tongue movement from EMG signals of the suprahyoidmuscles.
Key Words: Tongue movement, Assistive technology, People with severe disabilities, Human machine interface
1. はじめに頸髄損傷や筋ジストロフィーなどによる重度四肢麻痺者の生活支援において，抽出可能な何らかの生体信号を用いて，本人の意思を伝達することは重要である．これまでに，重度障害者の意思伝達装置として，脳波，眼球運動，頭部運動，顎運動，音声，呼気などを利用したものがいくつか開発されている (1-5)．しかし，これらの意思伝達方法には，それぞれ良し悪しがあり，例えば，脳波や眼球運動は，周囲からの外乱を極力排除した環境での利用効果は高いが，様々な外部刺激を受ける実生活環境下で，本人の意思を反映した生体信号のみを正確に分離，抽出することは困難である．また，頭部運動や顎運動は，本人の随意動作を直接反映できるため，意思伝達が比較的容易であるが，頸部の安定性が不十分な高位頸髄損傷者には適用できない場合がある．したがって，個人差の大きい重度障害者に個別対応するためには，これらの問題を解決するとともに，直観的かつ簡便に利用可能な，より多くの方法を開発し，使用者の選択肢を増やすことが重要と考えられる．
そこで筆者らは，脳神経の支配により，頸髄損傷などにおいても運動機能が残存しやすく，自由度の高い随意運動が可能な 舌 に着目した意思伝達手法の開発を進めている．これまで，舌運動の計測方法としては，舌に永久磁石を固定して，磁界強度の変化を磁気センサで検出する方法，人工口蓋プレート上にダイオードを配置して，舌の近接を検出する方法，人工口蓋プレート上に圧力センサを配置して，舌の接触力を検出する方法，口腔内にジョイスティッ
クやスイッチを挿入して，舌で直接操作する方法などがいくつか提案されている(6-8)．しかし，いずれの方法も口腔内設置が前提であるため，異物を挿入することによる心理的ストレスの増加，口腔衛生状態の悪化，発話や飲食の妨げ，誤飲またはそれによる窒息，感電，バッテリーの液漏れなどの様々な危険性を含んでいる．
一方，口腔内に計測装置を設置することなく，安全に舌O1-5-1

運動を識別する方法としては，身体運動のパターン推定や
意 図 抽 出 に 有 効 な 表 面 筋 電 位 （ surface electromyogram:EMG）の利用が考えられる (9,10) ．しかし，EMG 計測が唯一期待される下顎底部では，舌運動を発現する舌筋ではなく，舌の土台となる舌骨の位置制御を担う舌骨上筋群の筋活動を観測することになるため，舌の運動推定に十分な情報量が得られるかどうかは不明である．また，舌骨上筋群は，随意的な動作だけでなく，開口や嚥下にも複雑に関与するため，意思伝達に利用可能な舌の随意運動のみを下顎底部の EMG から正確に抽出することが不可欠となる．
本研究では，舌骨上筋群が密集する下顎底部の筋活動を用いて舌の随意運動を推定し，EMG の導出条件や多チャンネル電極の構成が推定精度に与える影響について検討した．
また，誤認識の原因となる開口，嚥下の各動作をニューラルネットワークで識別することにより，意思伝達に利用可能な舌の随意運動との分離を図り，舌骨上筋群の筋活動に着目した意思伝達の可能性について検討を行った．
2. 舌運動の推定方法
2-1. 舌の運動メカニズム
舌運動を発現する舌筋は，内舌筋と外舌筋で構成される（図 1） (11)．内舌筋は，舌の形態制御機能を有し，舌の形や舌先の向きの変化を可能にする．また，外舌筋は，舌の位置制御機能を有し，舌の前方突出，舌の後方引き下げなどの役割を果たす．これらの EMG を計測するためには，口腔内への電極設置や針電極の利用が必要とされる．
一方，舌運動の際には，舌の土台となる舌骨の位置が舌骨筋により適切に保持される．舌骨筋は，舌骨上筋群（顎二腹筋，茎突舌骨筋，顎舌骨筋，オトガイ舌骨筋）と舌骨下筋群で構成され，舌の側方運動時には顎舌骨筋，舌の前方突出時にはオトガイ舌骨筋，舌の口蓋への圧接時には茎突舌骨筋が，それぞれ舌骨の位置制御を担う．したがって，舌運動時に協調的に活動する舌骨上筋群の筋活動を表面電9 個の生体アンプを介して，9C2 = 36 通りの EMG を観測できるが，双極誘導法により同程度の情報量を得るためには，4 倍の生体アンプが必要となる．さらに，複数の電極が一体となった多チャンネル電極を，下顎底部全体を覆うように貼り付けることで，専門的な知識や熟練を要する電極位置決定の煩わしさを解消できる可能性がある．
舌運動のパターン認識には，入力層，中間層，出力層からなる階層型ニューラルネットワークを用いる．ニューラ
ルネットワークへの入力信号は，特徴抽出を行った EMGとし，教示信号には，舌の随意運動，開口，嚥下に対応した識別信号（2 進数表現）を用いる．そして，舌骨上筋群の筋活動と舌運動とを関連付けるように，誤差逆伝搬法によりネットワークの重みとバイアスを学習し，意思伝達に利用可能な舌の随意運動を抽出する．

Anterior belly ofdigastric muscle
Mylohyoid muscle
Lower jaw
Stylohyoid muscle

Geniohyoid muscle

Posterior belly ofdigastric muscle

Hyoid(a) Frontal plane
Intrinsic muscle of tongue
Palatoglossus muscle

Genioglossus muscle

3. 実験
本実験では，舌骨上筋群の EMG を利用した舌運動推定の可能性を探るとともに，EMG の導出条件，多チャンネル電極の構成，開口，嚥下の各動作がそれぞれ推定精度に与える影響について検討することを目的とした．

Styloglossus muscle

Anterior belly ofdigastric muscle

Hyoglossus muscle

Geniohyoid muscle
Mylohyoid muscle

Hyoid(b) Sagittal plane

極で観測することにより，随意的な舌運動を間接的に推定できる可能性がある．ただし，舌骨上筋群は，舌骨が舌骨下筋群に固定された状態では，下顎骨を引き下げる開口筋として機能し，また，下顎骨が咀嚼運動を発現する咀嚼筋に固定された状態では，舌骨を引き上げて嚥下などを行う
ため，舌骨上筋群の EMG から，これらすべての動作を識別しなければならない．

3-1. 計測装置
EMG 計 測 に は ， デ ィ ス ポ ー ザ ブ ル 電 極 （ メ ッ ツ ，SMP-300）を用い，20 mm 間隔に規則正しく穴を開けた透明な薄型シートに，電極のコネクタ部を差し込むことで，三角形状の 9 チャンネル電極を作成した．ディスポーザブ
ル電極と接続するリード電極（日本光電工業，BR-331S）には，増幅率 1 倍のプリアンプ回路を組み込み，増幅率 1950倍の生体アンプ（ナブテスコ，NB6101HS）を介して，サンプリング周波数 2,000 Hz で EMG 計測を行った．生体アンプの遮断周波数は，ハイパスフィルタ 2.3 Hz，ローパスフィルタ 320 Hz である．

2-2. 推定アルゴリズム
舌骨上筋群の EMG を利用した舌運動推定アルゴリズムを図 2 に示す．EMG 計測には，舌骨上筋群が密集した下顎底部全体の筋活動を観測できるよう，n 個の電極を等間隔に配置した多チャンネル電極を用いる．そして，耳朶を不関電極とする単極誘導法により，各電極位置での EMG を計測し，nC2 通りの各電極間 EMG を計算する．これにより，双極誘導法を用いて導出した EMG のように，電極に混入した同相ノイズを除去することができ，また，電極間距離の異なる複数の EMG を導出することで，近傍の筋から混入した電位（クロストーク）を積極的に利用した下顎底部全体の筋活動の把握が期待される．また，計測に必要な電極と生体アンプの数は，双極誘導法と比較して遥かに少なくて済み，例えば，9 個の電極を等間隔に配置した場合は，3-2. 実験条件
被験者は，舌機能が正常な健常成人男性 5 名（年齢 21.8± 0.8 yr，身長 169.0 ± 4.8 cm，体重 63.0 ± 7.0 kg，mean± SD）とした．実験では，下顎底部に多チャンネル電極を取り付け，意思伝達に利用するための随意運動として，舌先を右，左，前の各方向に押し付ける 3 動作，ならびに，随意運動との分離が必要な開口，唾液嚥下の合計 5 動作を計測した．舌先を押し付ける場所は，それぞれ上顎右第一大臼歯，上顎左第一大臼歯，上顎中切歯付近とした．EMGの計測時間は，安静 2 秒，動作 1 秒，安静 2 秒の合計 5 秒とし，1 動作につき 15 回の計測を行った．なお，本研究は，被験者に実験の内容とリスクについて口頭と書面の双方で説明し，十分なインフォームドコンセントが得られた後に実施した．

Fig.1

Lingual muscles and hyoid muscles.

Fig.2

・ ・・

Derivation of nC2 channel
EMG signals

Left・ ・・・ ・・Measurement of n channel
EMG signals using monopolar
leads

Feature extraction

Right

Mouth opening
Deglutition

Estimation of tongue movement
using a neural network

Estimation algorithm of the tongue movement.
O1-5-2

ForwardExtraction of voluntary
tongue movement

3-3. 推定方法および推定精度の評価指標
15 回分の計測データのうち，4 回分をニューラルネット
ワークの学習，残り 11 回分を舌運動の推定に用いた．ニューラルネットワークの入力値には，自乗平均平方根（rootmean square: RMS）によって特徴抽出した EMG の最大値を用いた．RMS は，一定の時間範囲の EMG を二乗して，範囲内の平均を求めた後，平方根をとったものであり，本研
究ではこの時間範囲を 0.25 秒に設定した．また，推定精度の評価指標には，次式で与えられる識別率を用いた．
推定動作の正解数
× 100 [%]
推定に用いた動作の総数

Discrimination rate [%]*100806040200(1)9-channel EMG signals

36-channel EMG signals

Fig.3 Effects of different derivation procedures of EMG
signals on estimation precision.

なお，特に断りのない場合，識別率の計算結果は，被験者5 名に対する mean ± SD で示した．また，各条件比較には，Tukey-Kramer 法を適用し，統計学的な有意差が認められた場合には，図中に*印を示した（p < 0.05）．
4. 舌骨上筋群の EMG を用いた舌運動推定4-1. EMG 導出条件が推定精度に与える影響単極誘導により導出した 9 チャンネル EMG から，9C2 通りの各電極間電位差（36 チャンネル EMG）を算出する本提案手法の有効性を検証するために，観測した 9 チャンネ
ル EMG を直接用いた場合と，36 チャンネル EMG を用いた場合について，それぞれ随意運動の推定を行った．この結果，本提案手法による識別率は，9 チャンネル EMG の場合よりも有意に高く，開口筋として主に機能する舌骨上筋群の EMG から，舌の随意運動を 91.5%の認識率で推定できることが明らかとなった（図 3）．また，両者とも同一電極で計測した EMG を基にしていることから，多チャンネ
ル電極を構成する電極配置が等しい場合には，方向や距離の異なる 2 点間電位差を算出し，より多くの特徴量を抽出した方が識別率を高められると考えられる．

(a) 36-channel EMG signals (Tri-9)(b) 15-channel EMG signals (Tri-6)(c) 6-channel EMG signals (Tri-4)(d) 15-channel EMG signals(Rec-6)(e) 6-channel EMG signals(Rec-4)4-2. 電極構成が推定精度に与える影響
図 3 の結果より，舌運動の推定には，より多くの情報を含んだ EMG の利用が有効であることが示されたが，同程度の推定精度が保証される場合には，装着者の負担や計算処理の観点から，できるだけ少ない電極数の方が好ましい．
また，電極数が等しい場合には，舌運動に関連した多くの特徴量を抽出できるように，推定精度の高い電極配置を見出さなければならない．そこで，前節の解析に用いた随意運動の計測データに対して，図 4 の各電極構成ごとに舌運動の推定を行い，その識別率を比較した．図中の(a)~(c) は，9 個（Tri-9），6 個（Tri-6），4 個（Tri-4）の電極をそれぞれ三角形状に配置した多チャンネル電極，(d)，(e)は，(b)，(c)と比較するために，6 個（Rec-6），4 個（Rec-4）の電極を長方形状に配置した多チャンネル電極である．
各電極構成における随意運動の識別率を図 5 に示す．この結果，多チャンネル電極を構成する電極数が多いほど識別率は高くなり，電極数が最も多い Tri-9 の場合のみ識別率が 90%を超えることが示された．また，電極配置の影響を考察するため，同一電極数の Tri-6 と Rec-6，ならびに Tri-4と Rec-4 についてそれぞれ比較したところ，三角形状に構成した Tri-6，Tri-4 の方が，四角形状に構成した Rec-6，Rec-4よりも識別率が高くなる傾向が示された．これにより，多チャンネル電極を構成する電極数が限られている場合には，近傍の筋から混入するクロストークを積極的に利用できるよう，下顎底部全体を覆うように電極を配置することが望ましいと考えられる．
O1-5-3Fig.4

Configurations of multi-channel electrode.

120*Discrimination rate [%]識別率=120*100806040200Tri-9Tri-6Rec-6Tri-4Rec-4Fig.5
Effects of electrode configurations on estimation
precision.

4-3. 開口，嚥下が推定精度に与える影響
前節までの結果により，意思伝達に利用可能な舌の随意運動を 90%以上の識別率で推定できることが明らかとなった．しかし，舌骨上筋群は，通常は開口筋として主に機能する上，嚥下などの生理的な動作にも複雑に関与するため，舌の随意運動を認識するように学習を行ったニューラルネDiscrimination rate [%]120

所の表面筋電位から，方向や距離の異なる 36 通り（＝ 9C2）の 2 電極間電位差を算出し，舌骨上筋群が密集した下顎底部全体の筋活動と舌運動とをニューラルネットワークで関連付けることにより，91.5%の識別率で舌の随意運動を推定できることが明らかとなった．また，誤認識の原因となる開口，嚥下をニューラルネットワークの学習に組み込むことにより，95.5%の識別率でこれらの動作判別が可能となり，舌の随意運動，開口，嚥下のすべての動作に関与する舌骨上筋群の EMG から，舌の随意運動のみを正確に識別できる可能性が示唆された．

Without learning of mouth opening andWith learning of mouth opening and deglutition**

100
806040200

Voluntary movement Mouth opening
Deglutition

謝辞
本研究の一部は，公益財団法人マツダ財団ならびに財団法人インテリジェント・コスモス学術振興財団の支援を受けて実施された．

TotalFig.6 Effects of mouth opening and deglutition on estimation
precision.

ットワークでは，開口，嚥下時に誤認識することが予想される．そこで，識別率が最も高い値を示した Tri-9 のニューラルネットワークに対して，未学習である開口，嚥下の計測データを入力したところ，識別率は 20.0%となり，約8 割の確率で誤認識する結果となった（図 6）．これに対して，随意運動，開口，嚥下の全 5 動作をそれぞれ識別できるようにニューラルネットワークを再学習したところ，随意運動の識別率を 90%以上に維持した状態で，開口，嚥下の識別率が 95.5%，全体の識別率が 92.0%へと有意に改善することが示された．これにより，舌の随意運動，開口，嚥下のすべての動作に関与する舌骨上筋群の EMG から，舌の随意運動のみを正確に識別できる可能性が示唆された．
5. 考察
本提案手法により，随意的な舌の 3 動作と，開口，嚥下の合計 5 動作を 90%以上の精度で識別できることが示されたが，意思伝達装置としての実用化を想定した場合には，識別可能な動作数と識別率の向上が必要とされる．識別動作としては，携帯機器操作の主流であるタップ，フリックなどに対応した舌運動が実用的と考えられるが，本研究で特徴抽出に用いた RMS 処理では，筋の活動量の増加に伴う EMG の振幅変化を捉えることができるため，舌の動きに関する情報だけでなく，口腔内に押し付ける舌の力の強弱についても同時に識別できる可能性がある．また，嚥下
は，1 時間あたり 30 回以上もの頻度で無意識に行われるため，随意運動との分離は不可欠であるが，開口は，95.5%の高い精度で識別できるため，意思伝達への積極的な利用も考えられる (4,12)．一方，識別率を高めるためには，図 3，5 から得られた結果のように，多チャンネル電極の電極数を増やし，舌骨上筋群の EMG からより多くの情報量を抽出するか，あるいは周波数解析や独立成分分析などを用いて，精度向上に有効な特徴量を抽出するなどの検討が必要とされる．今後は，量的，質的な観点から，これらの検討を深めるとともに，電動車いすの運転やコンピュータ入力支援などへの応用を検討する予定である．
6. おわりに本研究では，重度障害者の意思伝達を支援するために，舌の随意運動に着目し，多チャンネル表面電極を用いて計測した舌骨上筋群の筋活動パターンから，舌運動推定を試みた．その結果，単極誘導法により導出した下顎底部 9 ヶ参考文献(1) Wolpaw JR, Birbaumer N, McFarland DJ, Pfurtscheller G,
VaughanTM,
Brain-computerinterfaces
forcommunication and control. Clinical Neurophysiology,
vol.113, no.6, pp.767-791, 2002.
(2) LaCourse JR, Hludik FC Jr, An eye movement
communication-control system for the disabled, IEEETransactions on Biomedical Engineering, vol.37, no.12,
pp.1215-1220, 1990.
(3) 井上剛伸, 廣瀬秀行, 数藤康雄, 重度脳性麻痺者を対象とした頭部操作式電動車いすの開発, バイオメカニ
ズム12, pp.303-314, 1994.
(4) 新川拓也, 河内了輔, 下顎運動と舌運動を併用したヒューマンインターフェース, 生体医工学, vol.44, no.1,pp.94-100, 2006.
(5) Clark JA, Roemer RB, Voice controlled wheelchair,Archives of Physical Medicine and Rehabilitation, vol.58,
no.4, pp.169-175, 1977.
(6) Huo X, Wang J, Ghovanloo M, Introduction andpreliminary evaluation of the Tongue Drive System:
wireless tongue-operated assistive technology for people
with little or no upper-limb function, J Rehabil Res Dev,
vol.45, no.6, pp.921-930, 2008.
(7) T. Scott Saponas, Daniel Kelly, Babak A. Parviz, andDesney S. Tan., Optically sensing tongue gestures forcomputer input, Proc of ACM Symposium on User
Interface Software and Technology, pp.177-180, 2009.
(8) 一ノ瀬裕, 和久本雅彦, 本多清志, 東輝明, 佐藤準二,
ワイヤレス式舌圧センサを用いたヒューマンインタフ
ェースと電動車椅子の制御への応用, 電子情報通信学会論文誌, vol.J86-D-II, no.2, pp.364-367, 2003.
(9) 辻敏夫, 伊藤宏司, 長町三生, 義手制御を目的とした多チャンネルEMG 動作識別法, 電子情報通信学会論文誌, vol.J70-D, no.1, pp.207-215, 1987.
(10) 大賀誠，卜楠，杉山利明，辻敏夫, 電極間クロストー
ク情報に基づく多チャンネルEMG 動作識別法, 計測
自動制御学会論文集，vol.43, no.6, pp.514-521, 2007.
(11) 井出吉信, 小出馨, チェアサイドで行う顎機能検査のための基本機能解剖, 医歯薬出版株式会社, 2004.
(12) 岡崎浩也, 山下光美, 松村雅史, 田中信和, 小谷泰子,
野原幹司, 口腔咽喉音による無拘束嚥下回数の計測,
電 子 情 報 通 信 学 会 技 術 研 究 報 告 , vol.108, no.270,
pp.25-28, 2008.

O1-5-4