若手ICT研究者等育成型研究開発

発話障害者のコミュニケーション支援のための携帯電話用読唇システムの開発
九州工業大学
大学院情報工学研究院
システム創成情報工学研究系
齊藤 剛史

2

研究開発の目的 発話障害者がこれまで利用できなかった通話機能を利用可能な「携帯電話用読唇システム」の構築
1. 使用するカメラや撮影方向、画像サイズなどの撮像機構の確立
2. 認識対象とする発話内容の設定および発話シーンの撮影
3. 撮影画像から口唇領域の自動抽出手法の提案
4. 認識に有効な特徴量および認識手法の提案
5. 処理の実時間化
6. プロトタイプシステムの構築および被験者実験による定量的評価の実施

3

読唇の目的
 音声認識の補助– 高騒音環境における認識精度の向上
 聴覚・発話障害者のコミュニケーション支援
 無音声認識– 公共の場所における音声通話の実現– 映像のみからの発話内容の復元

4

研究の背景
 平成18年身体障害児・者実態調査結果– 厚生労働省

内部障害
1,070,000(30.7%)

視覚障害
310,000(8.9%)
聴覚・言語障害
343,000(9.8%)

肢体不自由1,760,000(50.5%)403528.5%30252015
105.6%

50

総数

4.3%

4.3%

視覚障害

聴覚・言語障害 肢体不自由

1.6%
内部障害

外出するうえで、または外出しようとするうえで困ること
人と話をすることが困難
障害の種類別にみた身体障害者数5研究の背景 発話障害者

e.g. 喉頭摘出、気管切開– コミュニケーション支援システムの開発は大切な課題– 音声情報のみを利用した音声認識（automatic speechrecognition; ASR）システムは利用できない。
– 急性期の治療や気管切開を受け意識は回復しているが発声できない患者は常時4～～5人（1地方病院の人数）– 全国の病院数8670施設（平成22年10月）を考慮すると3～4万万人の患者– 口頭摘出による失声者数は2～～3万万人（赤木、日本医療機械学会大会2008）。

6従来技術とその問題点
 喉頭摘出者の発声法– 通常の空気の流れと喉頭摘出手術後の空気の流れ– 声を発声する三つの方法

食道発声

シャント発声法

電気式人工喉頭7

従来技術とその問題点
 障害者のコミュニケーション手段– 残存聴力
 補聴器
 人工内耳– 視覚情報
 手話、指文字
 読話
 筆談

8

従来技術とその問題点
 音声

非接触デバイス、8kHz、16kHz– 実用（カーナビ、Siriなど）
 肉伝導

接触デバイス、16kHz– “非可聴つぶやき認識”、中島他、信学論（2004）– 人に聞こえない、体表から直接センシング、外部雑音に対して頑健 筋電信号

接触デバイス、2kHz– “無発声音声認識：筋電信号を用いた声を伴わない日本語5母音の認識”、眞鍋他、信学論（2005）
 読唇

非接触デバイス、30Hz

9

従来技術とその問題点
 読唇– Audio-visual ASR（Automatic Speech Recognition）
 “Evaluation of real-time audio-visual speech recognition”– Shen et al. (Proc. of AVSP2010)
 “Real-time lip reading system for isolated Korean wordrecognition”– Shin et al. (Pattern Recognition 2011)– 口形＋キー操作
 “MouthType: Text entry by hand and mouth”– Lyons et al. (Proc. of CHI2004)– Visual-only ASR
 “A novel transducer: From lip motion to voice message”– Saitoh et al. (Proc. of MVA2009)

10

新技術の特徴・従来技術との比較
 カメラの利用– 非接触型装置– 空気の流れがなくても可能 シンプルな構成– PCとカメラ 無音声認識– 周囲の人に迷惑を与えない– 静かな場所で利用できる– 声を出せない人が音声コミュニケーションできる。

11

期間内の実施項目
 プレ評価実験の実施
 発話障害者およびそのコミュニケーション支援に関する調査
 読唇システムにおける撮像機構・手段の確立
 認識対象の発話内容の決定および発話シーンの撮影
 撮影画像から自動的に口唇領域を抽出する手法の提案
 口唇の動きと認識精度に関する検討
 発話シーンのフレームレートと認識精度の検討
 読唇に有効な視点の検討
 単語ベース読唇と文章ベース読唇の検討
 プロトタイプシステムの開発および評価実験 研究成果の公開
 読唇に有効な顔モデルの検討

読唇アルゴリズム

13読唇アルゴリズム
 口唇領域の抽出– Viola-Jones顔検出器– Active Appearance Model（AAM）を用いた顔と口唇の抽出
 発話区間の自動検出– 口の開閉を利用 特徴量– Appearanceパラメータ（AAM）
 認識手法– DPマッチング

14

口唇領域の抽出 抽出結果例– 黄色矩形：Viola-Jonesによる顔検出結果– 緑：AAM顔モデル– 水色：AAM口唇モデル15発話区間の自動検出 口唇の高さ  を利用– 閉唇口形：   – 発話区間：二つの閉唇口形に挟まれた区間– シンプルだが有用なアプローチ
Detected an utterance sectionClosed-shapeコミュニケーション
支援システムプロトタイプシステムの開発

17

システム要件 発話内容は単語単位あるいは短文単位とする。

– 単語ベース読唇と文章ベース読唇の検討結果に基づく
 正面顔画像を用いる。

– 読唇に有効な視点の検討結果に基づく
 抽出処理時間は1フレームあたり333ms以下（10fps以上）とする。
– 発話シーンのフレームレートと認識精度の検討結果に基づく
 認識処理だけでなく学習データ登録作業も手軽に操作できるようにする。
– 被験者が容易にシステムを操作可能にする18

システム要件 ノートPCベースのシステムを構築する
 発話終了後2秒以内に認識結果を出力する。
 認識結果をテキストとして画面に表示するだけでなく音声メッセージも出力する。
 操作の利便性を考慮して、把持しやすいワイヤレスコントローラを利用する。

19

システム機能 読唇機能 発話区間の自動検出機能
 目標文入力のための誤認識文の退避機能
 メッセージを一文ずつ伝達するだけでなく、複数の単語を組み合わせたメッセージを伝える2種の伝達機
能 光源環境の影響を軽減するためのカメラ制御機能

20

コミュニケーション支援システム
 2モード– 登録モード– 認識モード ハードウェア：PC、カメラ、コントローラ

登録モード

Registration
mode

Recognition
mode
database21

コミュニケーション支援システム
 2モード– 登録モード– 認識モード ハードウェア：PC、カメラ、コントローラ

認識モード

Registration
mode

Recognition
mode
database22

コミュニケーション支援システム
 誤認識の場合、認識後に認識結果をそのまま出力すると・・・

false recognition

話し相手とコミュニケーションに失敗する

23

コミュニケーション支援システム
 誤認識による誤メッセージの伝達を防ぐ– 認識結果をユーザに表示し、認識結果が正しければ話し相手にメッセージを伝える。

話し相手と正確なコミュニケーションを実現24

プロトタイプシステム– PC: Laptop (CPU: Intel Core2 i5-520M, 2.40GHz)– Camera: Point Grey Research, Chameleon– Lens: Fujifilm, YF4A-2– 画像サイズ：320×240画素– 顔－カメラ間の距離：60cm– 処理時間: 22.3fps

25

プロトタイプシステム
 メイン画面

Captured image overlaid with extracted result
Transition of lip heightPhrase list

Recognition resultButtons

評価実験

実験条件
 認識対象語：– 電話会話50文
 サンプル数：– 1文につき10サンプル
 被験者：– 4名（男性、健常者）
 姿勢：

– 座位

発話内容
#
1 暖かいです
2 暑いです3 雨です
4 ありがとう5 いいです6 いい天気です7 一緒にどうですか
8 いつですか9 お元気ですか
10 おはようございます
11 お久しぶりです
12 お待ちください
13 おめでとう
14 おやすみなさい
15 風邪です
16 かまいません
17 気分が悪い
18 気をつけて19 繰り返しお願いします
20 元気です
21 声がよく聞こえません
22 ごめんなさい
23 こんにちは24 こんばんは
25 寒いです

発話内容#26 さようなら
27 失礼します
28 知りません
29 涼しいです
30 すみません
31 大丈夫です
32 助けてください
33 できません
34 どういたしまして
35 どうしましたか
36 どこですか
37 熱があります
38 まあまあです
39 また会いましょう
40 また今度41 また電話します
42 間違い電話です
43 もう一度言ってください
44 申し訳ありません
45 もしもし46 もちろんです
47 ゆっくり話してください
48 よろしくお願いします
49 わかりました
50 わかりません

28

モデル構築
 Speaker B– 顔モデル用（10枚）– 口唇モデル用（22枚）

登録枚数

SpeakerAve.

AB

C

D顔モデル

19

1081513.0

口唇モデル

19222925

23.8

29

実験結果
–

– %– – ：1文あたりの平均登録フレーム数：平均認識率：認識時間：認識後から発話開始までの時間
Speaker

Ave.

%

ABCD
38.4
平均認識率：94.4%
55.9
67.4
55.4
87.6
認識時間：0.2秒
97.5
94.6
97.6

 s

0.112

0.230

0.280

0.184

0.198

 s

1.27

1.25

1.52

1.59

1.41



50.6
94.4

30

実験結果

認識率 [%]

 各被験者の認識率の推移
100
90
80
7060
50
40
30
20
1000A

B

C

D

試行回数

1212109

最長経過日数

53453745

10203040

登録後からの経過日数 [日]ABCD

506031実験の様子
 抽出処理 登録作業 認識実験

– 画面– 臥位– 通訳32

研究開発の結果及び成果 基礎研究の実施– システム開発のための撮影機構の確立– 読唇に有効な視点– フレームレートの検討– 口唇領域の自動抽出手法など
 完成度の高いプロトタイプシステムの開発– 実時間読唇の実装や登録モードや認識モードなど
 日本語50文に対して被験者4人の評価実験– 2ヶ月弱の試行– 平均認識率94%– 発話終了後2秒以内に音声メッセージを出力

研究成果の社会的意義社会への波及効果
 本研究成果はコミュニケーション支援システムとして障害者の生活の質の向上に貢献する。
 本システムは声を発する必要がなく、発話障害者だ

けでなく、騒音時や公共の場所などで声を発することが望まれない場所でも利用可能であり、音声認識インタフェースとしての利用が期待されている。

33

34

Any Question ?

本研究は、総務省戦略的情報通信研
究開発推進精度（SCPPE）によって遂行されました。