立石科学技術振興財団

助成研究成果集(第27号) 2018

前頸部生体信号に基づいた舌運動と黙声単語認識のための基礎研究―― Recognition of tongue motion and silent speech word based on biological signal from anterior neck ――
2171005

研究代表者

神戸市立工業高等専門学校電子工学科准教授

尾山匡

浩

数の EMG を用い，舌動作の推定と黙声音声認[研究の目的］識が可能なシステムの構築を目的とする。
近 年，四 肢 不 随 者 の た め の マ シ ン イ ン タ[研究の内容，成果］

フェースに関する様々な研究が行われてきている。その中で，前頸部から計測した筋活動電位(EMG) を 用 い て 舌 動 作 を 推 定 し，イ ン タ(1) 舌動作および黙声母音の同時推定フェースとして応用する研究も行われている。

本研究ではまず，舌動作と黙音母音の同時時舌は残存機能として残っている場合が多く，比推定が可能か検討するために図 1 に示すような較的動きの自由度も高いため，手足に変わるイ流れで処理を行った。まず，前頸部から EMGンタフェースとなる可能性があると言える。こを計測し，標準化を行い，深層学習の 1 つであの舌動作の推定に関しては，顎底部に 20 極程る畳み込みニューラルネットワーク (CNN)度のアレイ電極を貼り付け，得られた複数のを用いて推定を試みた。

EMG から特徴量を計算し，機械学習手法を用いて 6-10 自由度程度の動作を 90% 以上の精度(a) EMG の計測と前処理で推定した報告がされている [1][2]。多極の電極

図 1 に示すように前頸部に 4ch の乾式アクを用いる場合には，装着に時間がかかり，コスティブ電極を装着し，舌骨上筋群の計測を行っトも高くなってしまう。関連研究では，舌運動た。このとき電極は，喉仏より顎側の前頸部がを検出するための電極数や電極配置に関しても覆われるように配置した。また 1ch と 3ch に検討されているが，更なる検討が必要であると対応する電極ユニットは，幅約 2[mm] の信号いえる。

線が互いの電極ユニットの間に通るように配置

一方で，EMG を用いた黙声音声認識に関すし，2ch と 4ch に対応するものは，左右それぞ[3]る研究も行われている 。現状，母音の認識精れの額二腹筋付近に配置した。なお，EMG の度は高いが，子音では極端に精度が落ちてしま

計測機器には (有) 追坂電子機器の『P-EMGう。また，これらの EMG は口唇周りの表情筋plus』(サ ン プ リ ン グ 周 波 数：5000 [Hz]) をを用いることが一般的で前頸部からの EMG を利用した。
本研究では各被験者において舌の上下・左用いた研究は文献 [4] ぐらいである。
そこで，本研究では前頸部から採取された少右・前後の 6 動作を遂行する舌動作タスク時と― 1 ―立石科学技術振興財団

図1

推定手法の流れ日本語 5 母音を発声なしに口の形だけ実施する

み込み層の最終出力サイズが 100 以下となる範黙音タスク時の EMG を計測した。

囲で，100 [epoch] の学習内で評価データの計測した EMG 信号から，状態の推定を行う
ため，信号をフレームと呼ばれる一定時間の区損失関数の値が充分に収束するように試行錯誤により決定した。

間に切り分ける。この時，先行研究を参考にフレーム長を 128 [ms] (サンプル点数：640 点)， (c) 実験条件
フレームシフト幅を 32 [ms] (サンプル点数：推定手法の有効性を検証するために，実際に160 点) として処理する。次に，学習データと計測した EMG を用いて評価実験を実施した。

評価データそれぞれにおいて，各 ch，各サンEMG を計測するときには，被験者を椅子に座プル時点で，データ集合の平均と，同様の標準らせた状態で，タスクについて教示を行い，そ偏差を求め，これを用いて標準化を行った。の後，前頸部の 4 箇所に電極を装着する。またタスクを実行するタイミングを指示するモニタを用意し，被験者はこのモニタを見てタスクを(b) CNN を用いた推定

本研究では，近年画像処理分野や音声信号処実行する。各タスクは 1 動作が約 2 秒間となる理分野で目覚ましい成果を上げ，注目されていように行ってもらい，それぞれ 20 動作分計測る畳み込みニューラルネットワークする。なお被験者は 20 代男性が 4 名，30 代男(Convolutional Neural Network : CNN) を 推性が 1 名の計 5 名である。

定手法として導入する。CNN は入力信号そのも の か ら 学 習 を 行 う た め，従 来 の SVM(d)評価方法(Support Vector Machine) などのように，前推定は，舌動作タスク (6 クラス)，黙声タもって特徴量を設計・選択する必要がなく，実スク (5 クラス) に加え，これら 2 つを合わせ験者は CNN 構造の設計を行うだけでよい。こた MIX タスク (6+5=11 クラス) について，のため，これまで計測箇所やタスクによって特そ れ ぞ れ 行 う。ま た，評 価 法 は (10-Fold

徴量を決定しなければいけなかったところを，Cross Validation : 10-FoldCV) を採用し，各異なる計測箇所や異なるタスクにおいても，全クラスの 20 動作分のうち，18 動作を学習デー

く同じ構造の CNN を用いて統一的に学習と推タ，2 動作を評価データとなるようにデータを定を行える可能性がある。そこで本研究では舌分割し，計 10 組の組み合わせについて推定を骨上筋群の EMG から舌動作と黙声母音の推定行い，その正答率 (Accura-cy) を評価値とすを高い認識精度で実現するために CNN によるる。また，CNN による提案手法の有効性を検手法を導入し，推定を試みる。

証するために従来の特徴量と SVM を用いた推CNN は，図 1 右に示すような構造となって定も試み，それらの比較を行う。特徴量には，おり，全結合層のパラメータ肥大を防ぐため畳EMG を用いた動作推定で広く利用されている― 2 ―Tateisi Science and Technology Foundation

MAV， RMS， WAMP， VAR， ZC， SSC，

母音は約 84 %，MIX タスクは約 81 % の正答

WL，MMDF，MMNF の 9 種類を用いる。こ率で推定できている。舌動作の推定に関しては，

れらの特徴量を 4ch 分算出し，これらを結合動作の種類の違いはあるが他の文献では 95 %することで，9×4=36 次元の特徴ベクトルを以上で推定可能とも報告されている。これらの構成し SVM へ入力する。SVM の非線形カー

原因として，EMG の取得 ch 数が少ないこと

ネルには，Gaussian カーネルを用いる。これによる情報量の低下，または被験者により同様により，高次元での線形識別が可能になることのタスクを実行する際にも使用する筋やその筋が期待される。また，SVM のコストパラメーの伸縮度合いが異なることが考えられる。次に，タを C=10，カーネルパラメータを γ=0.01 と母音の認識に関しても口周りの表情筋を利用しして推定を行った。

た研究では 95 % 以上で推定できており，10 %以上低い正答率となってしまった。しかしながら，文献 [4] の前頸部の EMG を用いた結果(e) 推定結果

表 1，表 2 にそれぞれ SVM，CNN を用いたと比較すると電極数が少ないにも関わらず，10-FoldCV における平均の正答率と，その標CNN を用いた場合には精度が上回っている。

準偏差を示す。ここで，表中の Accuracy は正舌動作に関しては被験者 1 や 4 ではそれぞれ答率，SD (Standard Deviation) は標準偏差を94 %，98 % と高い正答率の場合もあり，黙声表す。

タスクにおいても被験者 1 や 2 が 90 % 以上とこれらの結果をみると，各手法での大まかな正答率の大小関係は変わらず，全体的に CNNなっている。このことから，被験者によっては高精度な推定が可能であると言える。

が SVM の正答率を上回る結果となった。本研
究では舌動作と黙声の同時推定を目指すことか

また，各動作における違いとして，舌動作のら，MIX タスクに注目すると，双方の推定手「上」と「前」間に相互な誤推定がみられた。

法において，正答率が最も高い被験者は 1，最また，特に「下」を「後」，「お」を「下」なども低い者は 3 であった。一方でばらつき (標準と，舌の動きが似通っている動作を多く誤推定偏差) が最も低い被験者は SVM では被験者 1，していることがわかった。これより，舌動作タ

CNN では被験者 2 であった。

スク内の「上」，「前」だけではなく，「お」とCNN を用いた場合，舌動作は約 87 %，黙声表1

Participant 5
Average

いて行う黙声タスクの間においても，舌骨上筋

SVM を用いた推定結果

Accuracy±SD Tongue motions
Participant 1
84.7±7.1
Participant 2
78.2±3.6
Participant 3
69.9±5.7
Participant 4
96.4±1.665.5±6.3
78.9±4.9「下」などの口を閉じて行う舌動作タスクと開Vowels
90.9±7.492.3±7.0
62.6±8.5MIX82.8±7.280.8±8.4
61.0±5.3

群の筋動作が近いものであれば，誤推定を招く

72.6±4.862.6±8.476.2±7.2

81.4±4.2
61.5±4.673.5±5.9はないこともわかった。また，母音の中では可能性が高いと考えられる。しかしながら，これらの現象がすべての被験者に共通するわけで「い」の推定精度が各被験者ともに最も良く，それ以外ではばらつきが見られた。

表2

CNN を用いた推定結果

Accuracy±SD Tongue motions
Participant 1
93.9±5.9
Participant 285.8±4.0
Participant 3
81.6±5.0
Participant 498.1±0.9
Participant 5
Average74.8±5.6
86.9±4.3

Vowels
92.1±8.3
96.5±2.877.5±5.9MIX91.0±5.789.9±1.967.2±7.1

80.1±5.775.8±6.6
84.4±5.986.4±3.2
71.7±5.681.2±4.7(2) 黙声単語の推定
次に黙声単語の認識について検証を行った。
黙音母音の推定精度では，「い」以外には各被験者間でばらつきが見られたため，今回は先行研究 [5] を参考に 4 名の被験者に 20 単語を黙― 3 ―立石科学技術振興財団

音発話してもらった際の EMG について計測を験者もいることから前頸部の EMG のみでも黙行った。なお，1 単語につきおよそ 2 秒間で発音単語の識別が可能であると言える。

話してもらうように被験者に教示し，各単語を[今後の研究の方向，課題］

20 回ずつ試行してもらった。
次に，一定の時間幅で信号の切り出しを行う。
ここで，フレームの時間幅は動作時間の 2 秒間

本研究では，前頸部に装着した少数の電極かに加えて，動作前の 0.2 秒，動作後の 0.3 秒をら得られる EMG より舌動作と黙声単語の推定含めた 2.5 秒間とした。また，この切り出したが可能か検証を行った。現段階では舌動作，黙フレームの EMG 信号に対して平均を 0，分散音単語ともに先行研究には及ばないが，推定手を 1 にする標準化を行った。なお，推定に関し法の改良や他のセンサと組み合わせることでさては舌動作および黙音母音の時と同様に CNNらなる向上が期待できる。
また，今後はより多くの被験者から EMG をを用いて行った。
評価方法については 20 タスク×20 回=400採取し，リアルタイムで実行可能なシステムをのデータ数から 320 の学習データ，80 のテス構築することで，被験者がシステムに十分に慣トデータを選び出し 5-fold Cross Validation にれた場合の検証も行いたいと考えている。加えより 5 つの選び方の組み合わせでの学習・テスて現在，コンパクトでより安価な EMG のアクトをそれぞれ行った。表 3 に推定結果を示す。

ティブ電極回路と治具を試作しており，それら

この結果より，被験者 3 を除いて 95 % 程度を用いた検証実験も実施していきたい。最終的で推定可能であることがわかった。被験者 3 にには舌動作による方向指示と黙声単語による命ついては，舌動作と黙声母音についても良好な令指示を組み合わせたヒューマンインタフェー

結果とは言えないためさらなる検証が必要であスを実現したい。

る。また，先行研究[5]とは利用している筋が異なるが，同程度の推定精度を実現している被[成果の発表，論文等］① 渡邉 大生，尾山

表3正答率[%]

CNN を用いた黙声単語推定結果
被験者 1

被験者 2

被験者 3

被験者 4

Arigatou
GennkiHai

100
100100959595909085

1009090

Iie
Itadakimasu
Itamu

100
100
100

100
100
100909080959580

Kirai
Konnbannwa
Konnnichiwa
Nemutai
Nomimono
OhaoyuOkaasann
Sayounara

90
100
100
100
100
100
100

100
100
100
100
100
95
100

8560
70
100
80
9075

90
10095
100959595

Suki
TabemonoToire
Tsukareru
Uresii
AVE.±SD匡浩，福見稔，“舌骨上筋群の表面筋電位に基づく CNN を用いた舌動作と黙声の推定”，平成 29 年電気学会電子・情報・システム部門大会，pp. 1553-1554, 2017
② 尾山匡浩，渡邊大生，“表面筋電位を用いた舌動作および黙声認識”，第 18 回計測自動制御学
会システムインテグレーション部門講演会, pp.
2650-2651, 2017
③ 尾山 匡浩，渡邊 大生，“EMG に基づく舌動作と黙声母音の識別に関する検討”，信学会福祉情報工学研究会 (WIT2018-4), pp. 17-20, 2018
④ 渡邉 大生，尾山匡浩，福見稔，“舌骨上筋群の筋電信号に基づく CNN を用いた舌動作と黙声母音の推定”，電気学会論文誌 C, Vol. 138, No.

95
1006090
100
10090
100
100
10075
95
100
10085
10090
10075
90
100
100
80
95
98.8±3.1 99.0±2.0 82.2±10.7 93.7±5.9― 4 ―7, pp. 828-837[参考文献］[ 1 ] 長谷川ら “SVM を用いた前頸部生体電位信号に基づく舌運動の検出”，日本機械学会論文集, Vol.
78, No. 796, pp. 3970-3978, (2012)

Tateisi Science and Technology Foundation[ 2 ] M. Ssaki et. al., “Tongue interface based onin electrode grid for automatic spe-ech recognition

surface EMG signals of suprahyoid mus-cles”,

based on surface EMG”
, Neurocomputing, Vol. 134,

ROBOMECH Journal, 3 (1), 9, (2016)15-19, (2014)[ 3 ] 真鍋ら“無発声音声認識：筋電信号を用いた声を[ 5 ] 福田ら，
“EMG 信号を利用した代用発声システ

伴わない日本語 5 母音の認識”, 信学論 D-II, Vol.

ム”
，信学論 D-II, Vol. J88-D-II, No. 1, pp. 105-112,

J88-D-II, No.9, pp. 1909-1917, (2005)(2005).

[ 4 ] T. Kubo et. al., “Towards excluding red-undancy― 5 ―