補助事業番号

2023M-262

補助事業名

2023年度 無声発話と手の動きによる新しいコミュニケーションの開発補助事業

補助事業者名中央大学理工学部 橋本秀紀

１ 研究の概要
本補助事業では、新しいコミュニケーション方式の確立を目指し、新しいコミュニケーションツールとして無声発話と手の動きに着目し、生体情報を用いた発話内容認識および手の動きによるコミュニケーション意図認識システム開発を目的としている。意図認識システムは、顔表面の生体情報から発話認識を無声で認識し、手の動きを手首に取り付けるウェアラブルデバイスにより認識することで実現する。2つの認識システムを統合することで、コミュニケーションエラーを効率的に対処した新しい直感的なコミュニケーション方式を実現する。本補助事業では，無声発話の認識精度向上、使い心地の向上に着目して、新たな無声発話認識技術の研究開発を遂行した。
２ 研究の目的と背景
近年、メタバースやスマートフォンの発展に伴い、アバターや家電をリモートコントロールする技術に注目が集まっている。現状では、操作意図を推定するために、キーボードやPC用マウス、タッチパネルのような端末接触型入力方式および音声認識や顔認識のような非接触型入力方式が用いられており、より直感的な操作の実現には課題が残っている。また、非接触型入力方式を用いたコミュニケーションは、感染症などによるパンデミック時の対策として、有用である。しかし、発話を伴うことやマスクを外す必要があるなど対策として課題がある。上記2つの課題を解決するために、新しい入力方式を確立する必要がある。本事業は、使用する人にも依存しない、現実・仮想空間などの場所による制限もないと直感的にリモートコントロール・コミュニケーションが可能となる新たなシステムの開発を目指す。本事業が完成すれば、直感的なリモートコントロール技術および新しいコミュニケーションツールを確立することができ、アバター操作および利用者の日常生活において利便性を大きく向上させることが可能である。さらに、パンデミック下のコミュニケーションツールとして活用が期待できる。
本事業の目的は、コミュニケーションツールとして社会で多用される音声に着目し、口周りの筋電位や動きなどの生体情報を活用した声を発しない発話内容認識によるサイレントコミュニケーシ
ョン方式の実現およびリモートコントロール・コミュニケーションツールへの適用である。
３ 研究内容本補助事業では、特に無声発話認識システムの認識精度向上・使い心地の向上に着目して、以下の３つの研究項目について研究を行った。
（１）無声発話における単語認識の実現に関する研究
無声発話の実現に向けた静止時および体動時の単語認識システムの作成を行った．まず，無声発話時の顔周りの筋電位を取得するセンサシステム（図１）を構築し，センサシステムから取得したセンサデータをもとに事前に決定された任意の単語に関して、無声発話時に発された単語を分類する分類器を畳み込みニューラルネットワークを用いて構築した（図２）。構築
したシステムを用いて、静止時において80%程度の分類精度を達成するデータ取得法及び学習法の確立を達成した。 また、本研究項目では、利用者の使い心地の向上も考慮して、センサ数削減にも着手しており、従来法よりも少ないセンサ数で同等の認識精度を達成することに成功している。

図１ 顔面筋電位取得システム（本研究にかかわる発表論文[1]より参照）

図２ 無声発話認識システム（本研究にかかわる発表論文[1]より参照）（２）無声発話における体動の影響の除去に関する研究
体動時(歩きながらなどの動作時)での利用を考え、体動除去に関する研究を行った。事前検証結果では、静止状態での無声発話認識システムを体動に利用した場合、認識精度が約40%-80％程度と安定的かつ実用的な精度の確保が行えていない。そこで、体動を除去する手法として下記の２つの手法の構築・検証を行った。
① 鎖骨の上に取り付けた電極から移動に基づくノイズ信号を取得し、減算する手法
図１のシステムに鎖骨上に取り付ける電極を１つ追加し、無声発話に関する顔表面EMG信号と同時に体動に基づく筋電位信号のノイズ成分を取得する．追加された筋電位信号は、無声発話の影響を含まず、体動の影響を表すものとして顔面筋電位信号から減算することで、ノイズ除去を試みた。検証結果として、体動ノイズを除去しない場合に比べて全体的に10%程度-15%程度、推定精度を向上させることに成功した。
② 変分的モード分解を用いて、筋電位情報から発話に関する情報のみを抽出する手法
変分的モード分解は、ある信号から特定の周波数帯の信号を抽出することに優れている。そこで、この手法を顔面筋電位信号に適用し、無声発話による筋電位信号のみを抽出することを試みた。検証結果としては、個人差が生じており、特に除去なしの場合に比べて、変化がない場合や、40％以上認識精度が向上したケースがあった。また、特に①の手法に比べて、体動が比較的早い場合に有効であることが示されている。

（３）無声発話における一文字ごとの認識の実現に関する研究
実用上、特定の単語にのみ絞った認識システムでは、コミュニケーションのすべてを行うことが不可能である。そのため、ひらがなを一文字ずつ認識させるシステムの構築を行った。これにより、無声発話時の文字起こしができるようになると思われる。本研究項目では、母音と子音の認識に着目し、まず、「あ」「い」「う」「え」「お」の母音のみの認識検証および、「あ」「さ」「な」「ま」「ら」を用いた子音の認識検証を行った。母音検証結果より、60%-71.8%程度の認識精度を達成することに成功した。各母音の特徴量の差から認識精度に違いがでていることがわかっている。子音の検証結果より、平均で10％代と大きな課題が残っている。これは、子音の違いによって生じる発話時の口の形の違いが少ないためである。そのため、EMG信号の取得位置の変更や、追加のセンサの活用が必要となる結果が得られている。
４ 本研究が実社会にどう活かされるか―展望
本事業が完成すれば、直感的なリモートコントロール技術および新しいコミュニケーションツールを確立することができ、アバター操作および利用者の日常生活において利便性を大きく向上させることが可能である。さらに、パンデミック下のコミュニケーションツールとして活用が期待できる。
本事業は、日常生活でリモートコントロールおよびコミュニケーションを行うすべての人、発話に障害を持つ人などの日常会話が困難である人、新たな生活様式として声を出さないコミュニケーション方式を体験したい人など様々な人にとって有益である。また、音声認識・コミュニケーションを使用しているメタバースを含むすべての業界での活用が見込まれる。また、ニーズとしては、近年、SiriやAlexaなどの音声認識によるリモートコントロールが多く活用されており、周辺環境に依存しない音によらないコミュニケーションツールとしてニーズがある。
５ 教歴・研究歴の流れにおける今回研究の位置づけ
補助事業実施者は長きにわたり、生体信号計測システムおよび生体信号の処理システムに関する研究に着手している。生体信号を用いた無声発話による新たなコミュニケーションツールの開発は、ごく少数の研究者が実施していることは承知していたが、補助事業実施者は実施していなかった。しかしながら、コロナ禍などのパンデミック下を経て、本技術の重要性を認識し、３年前から基礎検討・基礎実験をはじめきた。今回の補助により本格的な研究の着手が行えた。良好な成果を示すことができ、今後は、より多くの研究者や社会から注目される技術になると思われる。

６ 本研究にかかわる知財・発表論文等[1] Ryosuke Kimoto, Takashi Ohhira, Hideki Hashimoto, "Silent Speech Recognition Using
Facial Surface EMG," The 10th IEEJ international workshop on Sensing, Actuation, Motion
Control, and Optimization (SAMCON2024), 2024.3. (JKA謝辞あり)

[2] Koya Negishi, Kazuya Tsubota, Takashi Ohhira, Hideki Hashimoto, "Non-Contact Blood
Pressure Estimation using Wi-Fi Channel State Information", The 2024 16th IEEE/SICE
International Symposium on System Integration (SII2024), 2024.1. (JKA謝辞あり)[3] 志賀 駿也, 根岸 航也, 大平 峻, 橋本 秀紀, "Wi-Fi チャネル状態情報を用いた人の屋内位置推定に関する研究", "第24回計測自動制御学会システムインテグレーション部門
講演会(SI2023), 2023.12. (JKA謝辞あり)[4] Ryota Fujita, Mitsuo Yasushi, Takashi Ohhira, Hideki Hashimoto, "Driver Drowsiness
Detection Using a Gyroscope Attached to a Seatbelt", 49th Annual Conference of the IEEE
Industrial Electronics Society (IECON 2023), 2023.10. (JKA謝辞あり)[5] 田中康斗, 竹内朝音, 立崎 遥己, 大平峻, 橋本秀紀, "操作者の筋電位を用いた荷物搬送型倒立二輪ビークルの制御", 第41回日本ロボット学会学術講演会（RSJ2023）, 2023.9,
宮城. (JKA謝辞あり)
７ 補助事業に係る成果物（１）補助事業により作成したもの
図２に示した無声発話認識システムおよび図４の生体信号処理システム

図４ 生体信号取得システム（２）（１）以外で当事業において作成したもの
特になし
８ 事業内容についての問い合わせ先
所属機関名： 中央大学理工学部電気電子情報通信工学科 橋本研究室（チュウオウダイガクリコウガクブデンキデンシジョウホウツウシンコウガッカ
ハシモトケンキュウシツ）
住所： 〒112-8551
東京都文京区春日1-13-27

担

当者： 教授 橋本 秀紀（ハシモト ヒデキ）

E - m a i l： hashimoto@elect.chuo-u.ac.jp
ＵＲ

Ｌ： https://hlab.r.chuo-u.ac.jp/