LIFE2014 2014 年 9 月 24 日－26 日 北海道GS9-5

透過型ヘッドマウントディスプレイを用いた聴覚障がい者のための発話可視化システム
Speech Visualization System for Hearing Impaired Using Transmissive Head Mounted Display○徳留規裕（東京電機大学）

小山裕徳（東京電機大学）

川澄正史（東京電機大学）

Norihiro TOKUDOME, Tokyo Denki University
Hironori KOYAMA, Tokyo Denki University
Masashi KAWASUMI, Tokyo Denki University
Abstract: This paper describes the result of an attempt to apply a see-through Head Mounted Display (HMD) for deaf
support system. We performed a teaching-materials-video-viewing experiment in order to investigate the effectiveness ofthe HMD. Three videos were used in the experiment for two subjects, 1) a usual video with voice, 2) a silent video withclosed captions, and 3) a silent video with closed captions displayed in HMD. The subjects were allowed to take notes inthe experiments. To evaluate effectiveness in understanding of the content of each video, we performed a impression
evaluation to the subjects. As a result, a silent image was evaluated as the most difficult comprehension in three images.
We consider that it is hard to watch silent video for parallax and caption through HMD, moreover notes at hands.
Key Words: Speech Visualization, Head Mounted Display, Life Support, Welfare Engineering
1. 背景・目的
情報保障とは，聴覚障がいなどの身体的ハンディキャップにより，情報へのアクセスが行えない人々に対して，代替手段を用いて情報提供を行うことである．情報保障の多
くは聴覚障がい者に対し，同時手話通訳や Fig.1 に示すようなリアルタイム字幕放送 (1)により実施されている (2) ．また放送番組や講演会などの枠組みで行われることが多い．
先行研究 (3)では音声認識を用いた自動字幕システムが開発されている．しかし手話通訳や字幕放送による情報保障は低コスト，低規模での実施が困難である．日常的なコミュ
ニケーションにおける情報保障は低コスト，低規模で実施可能であることが望ましいと考えられる．
一方，情報通信技術，特に拡張現実感に関する技術の発展により，様々な情報の実空間上での可視化，共有が可能になりつつある．実空間上での情報呈示技術には，聴覚障がい者に対する，低コスト，低規模な情報保障実施への有効性が考えられる．そこで本稿では日常的なコミュニケーションの中での情報保障を目的とし，透過型ヘッドマウントディスプレイによる，発話の可視化を試みた．情報保障における困難性の一つに授業内容などの筆記があげられる．
丁寧に筆記を行うために，視線をノートに向けている間は，手話通訳，または字幕への注目が不可能であるため．その間，情報へのアクセスが行えないという困難性が報告されている (4)．ヘッドマウントディスプレイを用いることで，視野に追従した，情報呈示が可能となれば，筆記時における困難性の解決に有効であると推測される．

Fig. 1

Execution of the Real-time Caption

GS9-5-1

2. 実験
透過型ヘッドマウントディスプレイによる，情報保障の有効性を検証するため，映像教材に対するリアルタイム字幕を用いた情報保障実験を実施した．実験には，Epson 製ヘッドマウントディスプレイ MOVERIO BT-200(画角 23 度)を用いた．被験者は男子大学生 1 名，女子大学生 1 名を採用した．音声有りの教材映像を視聴する『音声有り条件』，音声を除去した教材映像，そして除去された音声の代替情報としての字幕を同一のディスプレイにより視聴する『HMD 不使用条件』，映像を液晶ディスプレイに表示し，字幕はヘッドマウントディスプレイに表示させる『HMD使用条件』を設定した．本実験における字幕はすべて，画面下部にテキストを 5 秒間表示させる形式で示した．また映像教材には録画した料理番組 (5)を用いた．
Fig.2 には実験で呈示する映像と字幕のイメージを示す．
HMD 使用条件におけるヘッドマウントディスプレイの映像の焦点位置は 0.6m 前方に設定し，Fig. 3 に示すように被験者－ディスプレイ間の距離を 0.6m に定めた．視聴中，被験者には自身の判断でメモを取らせ，3 つの条件それぞれの映像教材を視聴させた．その後，各条件での情報保障の有効性を検討するため Table 1 に示す 5 段階尺度の印象評価を，それぞれの条件での映像視聴後に課した．
3. 結果
被験者 A，被験者 B，2 名分の印象評価の結果を Table 2に示す．音声有り条件での評価が特に高く，HMD 使用条件の評価が低い傾向が確認された．また以下の様な自由記述が得られた．
無音映像について・情報量を補うために，発話者の動作に強く注目した
HMD 使用条件について・字幕がぼやけて見え，視聴や筆記に集中できなかった・発話者の映像も表示させてもよいのではないか
・ヘッドマウントディスプレイの装着に違和感を覚える
字幕の焦点位置について
・手元のメモより焦点位置が遠いと，違和感を覚える
・焦点距離は可変であるほうがよい
・その際はユーザ側での焦点の調整が可能だとよいLIFE2014 2014 年 9 月 24 日－26 日 北海道

象への注意が損なわれてしまったことが推測される．この問題の解決には，ユーザ側での任意の焦点位置の変更機能が有効であると考えられる．今後，焦点位置の変更機能を実装し，再び検証を行う．
またヘッドマウントディスプレイの着用に不慣れであることも疲労に繋がり，焦点の調整が困難になってしまった可能性がある．そのため被験者には事前にヘッドマウントディスプレイに慣れるための時間を今後の実験では設ける．

Fig. 2

5. まとめ
透過型ヘッドマウントディスプレイを用いた情報保障の，既存の情報保障における困難性に対する有効性を検証した．
その結果，ヘッドマウントディスプレイを用いた字幕呈示は，逆に内容の把握を困難にさせることが明らかになった．
その理由としては，焦点位置やヘッドマウントディスプレイの装着感などの問題が考えられる．そのため，情報呈示のデザインの改良が必要である．今後，焦点位置による違和感が軽減された，情報呈示のデザインが決定次第，ヘッドマウントディスプレイを用いた，発話可視化システムを構築していく．

Execution of the Captioning SystemFig. 3

State of the Experiment

Table. 1

Evaluation questionnaire

良い
映像の見やすさ
字幕の見やすさ
内容の把握しやすさ
Table. 2

参考文献(1) CNNj, “CNN Student News”, 2013/01/18.
(2) 吉田 仁美, “高等教育における聴覚障害者の自立支援―ユニバーサル・インクルーシブデザインの可能性”,
ミネルヴァ書房, 2010.
(3) Shigeki Miyoshi, Hayato Kuroki, Mayumi Shirasawa,“Support Technique for Real-Time Captionist to Use
Speech Recognition Software”, ICCAP2008 Vol. 20.
No. 73, pp. 647-650, 2008.
(4) デフサポートおおさか, 稲葉 通太, “知っていますか?
聴覚障害者とともに一問一答”, 解放出版社, 2007.
(5) 日 本 テ レ ビ , “ キ ュ ー ピ ー 3 分 ク ッ キ ン グ ”,
2009/10/05.

悪いふつう

543

2

1

5

4

3

2

1

5

4

3

2

1

Questionnaire result

映像の見やすさ（音声有り条件）
字幕の見やすさ
内容の把握しやすさ
映像の見やすさ（HMD 不使用条件）
字幕の見やすさ
内容の把握しやすさ
映像の見やすさ（HMD 使用条件）
字幕の見やすさ
内容の把握しやすさ

A
555554111B5554435134. 考察
音声有り条件時の評価が HMD 不使用条件，HMD 使用条件と比較し評価が優れていることから，同一の内容であれば，視覚情報のみの教材は音声情報と視覚情報を組み合わせた教材と比較し，内容の把握が困難だと示唆される．
HMD 使用条件に関して，映像，字幕の見やすさ，そして内容の把握しやすさの評価が低い理由としては，自由記
述にもあったように，ぼやけた字幕が考えられる．はっきりと見えない字幕に対し，無意識的に注目してしまい，対GS9-5-2