情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3P01
2021/3/10

SilentMask: 口周辺の運動計測によるマスク型サイレントスピーチインタラクション
平城 裕隆†1,a)

暦本 純一†1,†2,b)

概要：サイレントスピーチインタラクション (SSI) は，有声ではない発声による音声インタラクションであり，スマートフォンなどの音声認識デバイスへの入力手段として，また発声困難者への支援として用いられる．従来から口の周辺を利用する SSI としてリップリーディングや筋電，超音波エコー，口蓋内の静電測位等を用いた手法が提案されてきたが，片手が塞がることや目立ちやすいといった課題があった．本
研究では，マスクに取り付けた加速度と角速度のセンサを利用し，口周辺の運動を計測することで無声での発話を認識するマスク型の SSI を提案する．2 つの加速度センサを用いて 12 次元の口周辺の運動情報を取得し，深層学習を用いて解析したところ，21 種類の音声コマンドと発話していない状態の計 22 状態を79.1%の精度で識別でき，表情と動作の計 6 種類に関して分類し 84.7%の精度で認識できた．また，主観調査を行い，加速度センサを直接皮膚に貼る手法に比べて長時間着用できるという結果を得た．本研究は，カメラ画像を用いないため照明条件によらず，目立たず片手を塞がないインターフェースであり，マスクの新たな可能性を提示するものである．

マートフォンやスマートスピーカーなどの音声検索や対話的な入力は，GUI など他のインターフェースと同様に日常的に用いられている．
他方で，発声型の音声インターフェースは公共空間での発声が憚れることや，騒音・他者の声など意図しない音声が入力され得る環境においては利用されにくいといった課題がある．また，発話内容のプライバシーの点でも個人情報の入力など他者に聞かれるべきでない情報を伝達するのには適していない．
これらの課題を解決するためにサイレントスピーチイン
タラクション (SSI) が研究されている [1]．これは声帯の振動を伴わない発声において生じる身体の変化をデバイスで計測することによって発声を推定し，インタラクションと図 1

SilentMask は布製のマスクにセンサを固定し，周辺の皮膚運動計測によって無声発話を認識するサイレントスピーチイン
タラクションである．

して利用するものである．SSI は有声発声インタラクションの代替手段としてだけでなく，声帯振動での発声が困難な者への補助手段としても用いられている．

SSI は様々なセンサーや測定位置が提案されている．特に口周辺に着目した手法としては口腔内の静電センサー [2]1. 背景
電子デバイスと人間の対話環境は，音声認識技術や自然言語処理の発展によって身近な存在になってきた．特にス†1†2a)b)

現在，東京大学大学院情報学環
現在，ソニーコンピュータサイエンス研究所
hiraki-uts1@g.ecc.u-tokyo.ac.jp
rekimoto@acm.org© 2021 Information Processing Society of Japanや筋電による口周辺の運動計測 [3]，などがある．一方で，それらはデバイスが目立ち不自然なものや，照明条件など外部の環境によって計測に影響が生じるもの，片手の補助を伴い音声インターフェースとしての自由度を低下させているものなど各々課題がある．
そこで本研究ではマスク型デバイスによる SSI である

734

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3P01
2021/3/10

SilentMask を提案する．これは市販のマスクに加速度・マスクの前面にディスプレイを設置し音声入力から動的に角速度センサーを取り付けて無声発話時の皮膚の運動情表情を変えてマスク越しに伝達する手法を提案している.

報を取得し，深層学習を用いて発話や動作を推定する．

山崎ら [14] はマスクの表面に格子状のタッチセンサを配置

SilentMask はマスクという衛生用途として日常的に用いし口の形状を認識させている. Nam ら [15] は加速度センられるデバイスを拡張することで，不自然に目立つことなサー，LED の映像，マスク内の小型カメラの 3 つの手法でく，観測する環境に依らず，片手の補助を必要としないイ

唇の運動を取得し表情の伝達を行っている. Lee ら [16] はンターフェースを実現している．

反射型フォトリフレクタを用いて 12 の唇の運動と 11 の表

本研究ではスマートスピーカーへの入力として用いられる 21 の音声コマンドと 1 つのを用いて行い，79.1%の認識率を示した．また，表情と動作の計 6 種類に関して分類し情を分類している．

3. SilentMask

84.7%の精度で認識できた．主観評価も加えて行い，皮膚サイレントスピーチにおいてマスクは顔の表面と触れるにセンサーを貼り付ける手法と比較して長時間着用可能で面積が大きく，無声発話によって生じる口腔の運動を捉えあることを示した．

ることができると考えられる．本研究ではマスク型デバイ

2. 関連研究2.1 サイレントスピーチインタラクション
SSI では身体の測定する箇所に応じたセンサ構成が提案されており，一概に分類するのは難しい．Kapur ら [3] はスに加速度センサーと角速度センサーを取り付けて皮膚の運動を計測し無声発話を認識する手法を提案する．加速度・角速度センサーは小型で目立ちにくく，安価かつ省電力であるため，日常的に用いられるデバイスであるマスクのインタラクションに向いていると言える．

身体に対して侵襲的か否かで大別している．暦本ら [4] は使用するセンサーは InvenSense 製の MPU-6050 であり，画像方式のリップリーディング，非可聴つぶやき，超音波

2 つのセンサーからなる 12 次元のデータを raspberrypi

画像，筋電図，口の中または周辺のデバイスの 5 つに分類

zero を用いて 60fps で取得する．センサーは市販の不織布し各手法の課題を纏めている．本研究の立ち位置は「侵襲のマスクにサージカルテープとピンバッチで固定してい的でなく」かつ「口の中または周辺のデバイス」に該当し，る．取り付ける場所は図 2 の位置でありこれはマスクを装加えて皮膚運動の計測による無声発話の推定を行うもので着した際に顎と右頬の位置に該当する．この位置は筋電セある．

ンサーを用いた SSI で利用されており [3]，無声発話時の運マスクのように非侵襲なデバイスによるサイレントス動情報を含んでいると考えられる．

ピーチは，様々なセンサによって行われており，RGB 画像によるリップリーディング [5][6]，超音波エコー [7][8]，マイク [9]，筋電図 (EMG)[3][10][11]，加速度センサ [4] などが挙げられる．
口に直接触れる点では，福本 [9] はマイクを口の前面の非常に近い距離に設置し，吸気での発話を取得することで周囲に音が漏れない手法を提案している．マイクは片手で押さえる設計となっており音声インターフェースの自由度を低減させている，また吸気による音声入力は新たな発声の訓練を必要とする．
皮膚の運動計測に関しては，暦本ら [4] は加速度・角速

図 2 システムの構成度センサーを用いて顎下の皮膚運動計測を用いる手法を提案しており，22 の発声コマンドを 94%以上の精度で認識している．

4. データの収集
4.1 音声コマンドの選択

2.2 マスク型デバイスによるインタラクション
顔の一部，特に口周辺を覆うマスクは衛生対策として日サイレントスピーチインターフェースはどのコマンドを認識すべきかが確立されておらず，AlterEgo[3] では 0-9 の常的に用いられると共に，医療用途でも利用されている. マ

10 単語，Lip-Interact[5] では頻繁に使われる 44 のコマン

スクは顔の一部を覆うことができることから，表情の取得ド，Derma[4] では 21 単語とまばらである．

や口の開閉の判別などが研究されている. Mose ら [12] は，今回は，単純で Alexa の入力にも用いられる 21 単語をフォトリフレクタを用いて顔の運動を計測してパペットを用いた (表 1)．また，無声の発声を行っていない状態のセ操縦できるお面状のマスクを提案している. 石井ら [13] はンサーデータを収集し，計 22 種類の発話状態に分離する．

© 2021 Information Processing Society of Japan735

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

表 1 音声コマンド
music cancel
answeryesmenu

Alexa
mute

no

open

start

closeleft

stop

home

right

play

next

play music

okbackstop music

3P01
2021/3/10に標準化して用いた．

4.2 データの収集
データの収集は，日常的に有声発話を行っている 4 名(男性 3 名・女性 1 名) で行った．各ユーザーは 22 個の各コマンドについて 10 回の発話を 1 セクションとして 4 セクション行った．
セクションごとにマスクを外して再度着用し，またセクションごとに有声発話と無声発話を交互に切り替えた．こ図 4 データ拡張の 4 回のセクションを 1 セットとし，提案手法の場合と，皮膚に直接センサを貼り付けた場合の 2 セットをユーザーごとに行った．

表 2

評価用ネットワーク 1(Conv1)

発話の際は発声すべき単語を表示し，その後約 2 秒間のInputShape

Layer

Kernel/Stride/Pad間のセンサーの値を記録した．ユーザー 1 名につき，10 回

100 × 12

Conv1D

3/1/valid/× 4 セクション× 22 コマンドの計 880 回分のデータを取

98 × 64

Dropout0.5

得した．

98 × 64

Conv1D

3/1/valid/

96 × 128

Dropout0.53/1/valid/

また，図 3 に示す 3 つの表情と 3 つの動作に関して同じ
く 40 回ずつ収集し，ユーザーあたり 240 回分のデータを取得した．

96 × 128

Conv1D

94 × 256

Dropout

0.5

94 × 256

Conv1D

3/1/valid/

92 × 512

Dropout

0.5

92 × 512

BiGRU

96

92 × 512

BiGRU

96512

Dropout

0.5

512

FC4096

4096

FC22

表 3

InputShape

図 3 表情・動作

4.3 データの前処理
センサーの平均 fps は 60Hz であり，1 回の発話につき 2秒間で平均して 120 個，最低 110 個のセンサーデータが取得できる．このうち，各発話データにおいて時系列で中央にある 110 個を選んでデータとしている．セクションごと

評価用ネットワーク 2(Conv2)

Layer

Kernel/Stride/Pad

100 × 12

Conv1D3/1/valid/

98 × 64

MaxPool

2/none/valid

49 × 64

Dropout

0.5

49 × 64

Conv1D3/1/valid/

47 × 64

MaxPool2/none/none

23 × 128

Dropout

0.5

23 × 128

Conv1D

3/1/valid/2/none/valid

21 × 256

MaxPool

10 × 256

Dropout

0.5

10 × 256

Conv1D

3/1/valid/2/none/valid

8 × 512

MaxPool

4 × 512

Dropout

0.5

2048

FC40964096

FC

22にマスクを外すことによって生じる位置の変化による影響を少なくするために，収集したデータを各セクションごと© 2021 Information Processing Society of Japan736

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3P01
2021/3/10

5. 評価

6. 主観評価

5.1 評価用のネットワークデバイスの使用感に関して表 7 の質問を行い，リッカー収集したデータを評価するために 2 種類のニューラルト尺度の 7 段階で評価した．結果を図 5 に示す．

ネットワークを用意した．ネットワークへの入力は，標準結果として，口周辺にデバイスを直接取り付ける場合に化された 12 次元のセンサーデータ 100 個で，出力はコマ比べて，マスク型デバイスの方が長時間装着することに対ンドを示す 22 次元の one hot vector となっている．

しての抵抗が少ないことが明らかになり，より日常的に用評価用のニューラルネットの 1 つ目 (Conv1) は Lip-いやすいことを示した．

Interact[5] で提案されたもの (表 2) であり．他方 (Conv2)

表 7

主観評価の質問項目

は Derma[4] で提案されたもの (表 3) を拡張したもので

Q1

口を動かしやすかった (貼り付けた場合)ある．

Q2

数時間 (2，3 時間) 着用できると感じた (貼り付けた場合)

Q3

1 日中着用できると感じた (貼り付けた場合)

Q4

口を動かしやすかった (マスクに付けた場合)

Q5

数時間 (2，3 時間) 着用できると感じた (マスクに付けた場合)

Q6

1 日中着用できると感じた (マスクに付けた場合)

5.2 音声コマンドの認識収集した 2640 回 (=22 コマンド× 40 回× 4 名) のデータのうち 8 割を学習用に，残りの 2 割をテスト用に分割した
後，データ拡張により 10 倍にした．学習の際の batchsize
は 128 で 500epoch まで実施した．
コマンドの分類精度は表 4,5 のようになった．ユーザー

7. 議論・今後の課題
7.1 センサーの配置ごとの認識の結果の平均は，既存手法が 84.6%, 提案手法

本研究では，筋電センサによるサイレントスピーチインが 79.1%となった．全てのユーザーのデータでの分類は既タラクションでのセンサーの設置場所を参考に，顎と右の存手法が 86.2%, 提案手法が 79.9%となった．

頬にセンサーを設置した．マスクという口周辺全体を覆えるデバイスをより活かし，センサーを複数配置した形での，5.3 表情・動作の認識

口周辺や耳付近などの皮膚運動がどのように影響を与える収集した 960 回 (=6 動作× 40 回× 4 名) のデータを音かは考慮できておらず，検討が必要である．また，精度の声コマンドと同様に 8 割を学習用に 2 割をテスト用に分割

面でも複数のセンサーを配置することで口腔の無声発話にした後，先述したデータ拡張により 10 倍にして用いた．

よるによる皮膚運動をより精細に取得できると考えられる．

全ユーザーでの認識結果は表 6 のようになった．6 動作のみでは 84.7%，音声コマンドと合わせて 28 状態 (=22 コ
マンド+6 動作) での分類では 79.1%となった．

7.2 マスクのキャリブレーション
マスクは口全体を覆うデバイスであるが，皮膚とマスク用いたネットワークは，音声コマンド・表情と動作，いずれの場合も Net2 の方が良い性能を示した．の密着状態が常に維持されているわけではなく，皮膚の運動計測に変化が生じやすい．今回は環境を統一するために市販の不織布マスクを用いたが，利用するマスクの大きさ

表 4 結果 1: ユーザーごとの認識率
net
user1 user2 user3 user4

平均は人によって異なるため，他者へのデータの適用についてSilent

Net1

0.944

0.657

0.792

0.725

0.791

も考慮が必要である．また，布製のマスクなど顔の形状に

Mask

Net2

0.960

0.657

0.814

0.736

0.791

合わせやすく，センサーとより密着な状態を期待できるもBaseline

Net1

0.834

0.705

0.909

0.873

0.831のについても検討が必要である．

Net2

0.946

0.801

0.778

0.861

0.846

8. 結論
表 5

マスクに付着して口周辺の運動を計測する 2 つの加速

結果 2: 全てのユーザーでの認識率
net1
net2

度・角速度センサーにより無声発話を推定するマスク型SilentMask

0.736

0.799

SSI を提案した．これによって，2 つのセンサーで取得しBaseline

0.805

0.862

た 12 次元の情報を深層学習を用いて解析し，22 種類の音声コマンドを 79.9%の認識率で，表情と動作の計 6 種類を

表 6 結果 3: 表情・動作の分類
net1
net2

84.7%の精度で識別できた．
また，皮膚にセンサーを直接貼り付ける既存手法と比較

表情・動作のみ

0.808

0.847

し，同程度の性能を得た．主観評価も加えて行い，マスク

表情・動作 + 音声コマンド

0.756

0.790

型デバイスは口にセンサーを直接貼り付ける場合に比べて日常的に用いやすいことを示した．

© 2021 Information Processing Society of Japan737

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3P01
2021/3/10

図 5 デバイスの装着に関する主観調査

マスクによる SSI は従来の手法に比べ，照明等による環境の影響が少なく，日常的に用いられるため目立たず，片手を塞ぐことがない点で優れている．また，マスクは医療[8]用として病院等で用いられており，マスクによる SSI は患者の健康状態のデータなど，重要だが本人に秘匿すべき情報を入力する際などの応用として期待される．

[9]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

Denby, B., Schultz, T., Honda, K., Hueber, T., Gilbert,
J. and Brumberg, J.: Silent speech interfaces, SpeechCommunication, Vol. 52, No. 4, pp. 270 – 287 (online),
DOI:
https://doi.org/10.1016/j.specom.2009.08.002(2010). Silent Speech Interfaces.
Li, R., Wu, J. and Starner, T.: TongueBoard: AnOral Interface for Subtle Input, Proceedings of the 10th
Augmented Human International Conference 2019,AH2019, New York, NY, USA, Association for Computing Machinery, (online), DOI: 10.1145/3311823.3311831(2019).
Kapur, A., Kapur, S. and Maes, P.: AlterEgo: A
Personalized Wearable Silent Speech Interface, 23rd
International Conference on Intelligent User Interfaces, IUI ’18, New York, NY, USA, Association
for Computing Machinery, p. 43–53 (online), DOI:
10.1145/3172944.3172977 (2018).
暦本純一，西村 悠： Derma: 皮膚運動計測によるサイレ
ントスピーチインタラクション，インタラクション 2020，
情報処理学会，pp. i–ii (2020).
Sun, K., Yu, C., Shi, W., Liu, L. and Shi, Y.: LipInteract: Improving Mobile Device Interaction withSilent Speech Commands, Proceedings of the 31st Annual ACM Symposium on User Interface Software andTechnology, UIST ’18, New York, NY, USA, Association for Computing Machinery, p. 581–593 (online), DOI:
10.1145/3242587.3242599 (2018).
Wand, M., Koutnı́k, J. and Schmidhuber, J.: Lipreadingwith long short-term memory, 2016 IEEE International
Conference on Acoustics, Speech and Signal Processing(ICASSP), pp. 6115–6119 (2016).
Kimura, N., Kono, M. and Rekimoto, J.: SottoVoce:An Ultrasound Imaging-Based Silent Speech Interaction Using Deep Neural Networks, Proceedings of the2019 CHI Conference on Human Factors in Computing Systems, CHI ’19, New York, NY, USA, Associa-© 2021 Information Processing Society of Japan

[10]

[11]
[12]

[13]

[14]

[15]

[16]

tion for Computing Machinery, p. 1–11 (online), DOI:
10.1145/3290605.3300376 (2019).
Csapó, T., Grósz, T., Gosztolya, G., Tóth, L. andMarkó, A.: DNN-Based Ultrasound-to-Speech Conversion for a Silent Speech Interface, (online), DOI:
10.21437/Interspeech.2017-939 (2017).
Li, R., Wu, J. and Starner, T.: TongueBoard: AnOral Interface for Subtle Input, Proceedings of the 10th
Augmented Human International Conference 2019,AH2019, New York, NY, USA, Association for Computing Machinery, (online), DOI: 10.1145/3311823.3311831(2019).
Meltzner, G. S., Heaton, J. T., Deng, Y., Luca, G. D.,Roy, S. H., and Kline, J. C.: Development of sEMG sensors and algorithms for silent speech recognition., Vol. 15,
No. 4, pp. 1741–2552 (2018).
Wand, M. and Schultz, T.: Session-independent EMGbased Speech Recognition., pp. 295–300 (2011).
Sakashita, M., Kawahara, K., Koike, A., Suzuki, K.,
Suzuki, I. and Ochiai, Y.: Yadori: Mask-Type User Interface for Manipulation of Puppets, ACM SIGGRAPH
2016 Emerging Technologies, SIGGRAPH ’16, New
York, NY, USA, Association for Computing Machinery,(online), DOI: 10.1145/2929464.2929478 (2016).
綾郁石井，孝徳小松，直 橋本： HappyMouth:マスク型デバイスによる対面コミュニケーション能力の拡張，技術報告 7，明治大学, 明治大学, 明治大学 (2018).
山崎友翼，志築文太郎， 高橋伸： マスク型インタフェー
スによるハンズフリーな入力手法，インタラクション
2018，情報処理学会，pp. 612–614 (2018).
Nam, H. Y., Hernandez, I. and Harmon, B.: Unmasked,Adjunct Publication of the 33rd Annual ACM Symposium on User Interface Software and Technology,
UIST ’20 Adjunct, New York, NY, USA, Association
for Computing Machinery, p. 111–113 (online), DOI:
10.1145/3379350.3416137 (2020).
Lee, H., Kim, Y. and Bianchi, A.: MAScreen: Augmenting Speech with Visual Cues of Lip Motions, Facial Expressions, and Text Using a Wearable Display,
SIGGRAPH Asia 2020 Emerging Technologies, SA ’20,
New York, NY, USA, Association for Computing Machinery, (online), DOI: 10.1145/3415255.3422886 (2020).

738