北海道地区

教育システム情報学会 2018年度学生研究発表会

音声認識を利用した聴覚障がい学生の情報保障‐実環境への導入検討実験と考察‐
Using Speech Recognition to Support Study of Hearing Impaired Students- Experimental Results in Actual Classrooms and Discussions 杉澤榛高*1・皆川雅章*2
Harutaka SUGISAWA Masaaki MINAGAWA* 1 Department of Clinical psychology, Sapporo Gakuin University* 2 Department of Law, Sapporo Gakuin University
Email: R160175@e.sgu.ac.jp
あらまし：講義中の教員の発話を文字化して聴覚障がい学生に提示する情報保障の主な方法には，ノートテイ
クとパソコンテイクがある．いずれも通常はテイカーと呼ばれる 2 人の支援学生によって行われているが，テイカーの育成は大きな課題である．近年，音声認識ソフトの性能が向上し，この文字化作業を機械で代替することへの期待があるが，話者，講義形態，教室環境などにより認識精度が影響を受ける．従来の方法を音声認識によって代替するには，安定的に使用が可能となる条件を検証し，環境整備を行っていく必要がある．本報
告では，実環境への導入検討実験の結果と，それに基づく考察を行う．
キーワード：情報保障，聴覚障害，音声認識

1.

はじめに聴覚障がいを持つ学生（以下，被支援学生）の講義受講を支援するために行われる『パソコンテイク』では，パソコンを使用し， 教員の発話内容を 2 人１組で分担しタイピングすることで字幕を作成する．このようなテイク活動は継続的に質の維持が要求されるが，例年，テイカー不足の問題が生じている．二人でテイクをすることにより，より効率的に情報が保障できる（１）がこのような問題に対する解決策としてソフトウェア等のサービスで提供される音声認識機能を用いて教員の発話を文字化することにより，配置する支援学生を１名とすることが期待される．本報告では，Shamrock
Records 社の UD トーク(2)というスマートフォンアプリを用いて実際の講義への導入検討のために行った実験と考察について述べる．

のち自由記述回答．
質問２：「音声認識という情報保障が必要か」「賛成・反対・ある一定の条件さえそろえば賛成・その他」の４件法で答えてもらったのち，自由記述回答．
質問３：「音声認識の使用感」というテーマに基づいて，８問の質問を用意し，それぞれ「１（そう思う）～５（そう思わない）」の５件法で回答．質問４：「これまの実験に参加して思ったこと」を自由記述回答．教員は，「使用の感想」「全体を通しての感想」をそれぞれ自由記述回答．

2 実験手続き
本実験は①「実際の講義にて，音声認識を利用した情報保障を行う」②「筆者を含む数名のテイカーが観察法等を用いて実験の様子を報告」③「一般学生と利用学生に協力を仰ぎ，質問紙法で『使用感』等を答えてもらう」から構成されている．①においては，臨床心理学科の 5 講義(2 講義は同じ教員），法律学科の 1 講義を対象とした．講義内では，iPod touch を教員，後述する協力学生に渡し，教員の端末にはピンマイクを接続し音声認識を実施した．そしてテイカー５名がＰＣを用いて誤認識修正を行い（無修正時の認識も観察した），様子を観察した．②は音声認識利用の訓練をした学生５名が行った．③は９名の学生（そのうち７名が一般学生，１名が支援者である「テイカー」，１名が利用学生）に協力してもらい，実験終了後，質問紙を通じて，以下の４つの質問を提示した．
質問１：「音声認識で支援をする上で修正は必要か」「はい・いいえ・その他」の３件法で答えてもらったでも，文脈の流れから理解できなくもないが，その時間がムダ．
②よく聴く単語でも，誤変換があるから必要．
③講義という性質の元，修正は必要．
④修正があってわかりやすかった．
⑤漢字にフリガナがふってあってよかった．
⑥そもそも意味が分からない文章になっていた．
⑦同音異義語を完璧に認識では判別しきれない．90 分の講義時間の誤認識を文脈と音で判断するのは利用学生にとって苦痛．

3 実験結果アンケート集計

質問１：「はい」８名，未回答１名．
自由記述回答① 誤認識があると，利用学生が情報を理解できない．誤認識

質問２：「賛成」２名，「ある一定の条件～」６名．
「未回答」１名．
「ある一定の条件がそろえば賛成」の意見①画面の大きさが小さい．タブレットでの導入が良い？
②音声認識の機能では不十分．
PTやNTの補助で扱うのならアリ．
③先生との相性も必要．図をよく使うものは難しそう．
④あーとかえーとか言う先生は難しい．充電が重要．
⑤利用学生にとってわかりづらいものなら必要ないと思う．
⑥変換精度の高い先生（相性の良い先生）なら良い．

「賛成」の意見3

北海道地区

教育システム情報学会 2018年度学生研究発表会①話した内容がすぐ文字化されて表示されるから，負担軽減になる．小さい端末なら自分一人でも確認しやすい 英語の講義では困難かもしれない（2 言語の使用）．しかし負担軽減になるのなら良い．
②新人テイカーさんが修正を行ったら『？？』を使用する数が減るのではないのか．情報量が多く利用学生に渡るのではないか．

「実験全体の感想について」（回答１名）

質問３：「音声認識の使用感について」
表１のような結果となった．

４．考察①新しい試みに参加できて，大変楽しかったです．精度が高まると同時により安価で使用しやすい形になることも期待しています．
②このシステムが発展すると速記が不必要になるだけではな
く，コンビニや飲食店でも，店員のセリフが反映されると，聴覚に障害を持つ方はとても生活しやすくなるかもしれませんね

抽出された問題点は以下の通りである．
①認識が勝手に中断される原因の１つは充電に関するもの，もう１つは教員側の操作に関わるものである．音声認識は教員も介在する支援であることの認識が必要である．
②「認識結果の遅延」
基本的に音声認識は，マイクを通じて入力されてから，１~５秒程度で表示されるのだが，大幅な遅延が生じることがある．これについては制作会社に問い合わせをしながら，最適な環境を模索していく必要があると考えられる．
③単語登録の必要性
専門性の高い用語は正しく表示されない可能性が高い．単語登録機能を使って講義前や講義後に，重要な単語を登録して誤認識に対処することができる．
④修正の必要性
認識の精度の質は，話者の話し方の特徴にも現れるため，状況に応じて修正を必要とする．
⑤被支援者の多様性
使用感を聞いたアンケートの結果によると，使用感は人それぞれ違う．これにより「必要としている支援の形態をできるだけ提供する」ということの重要性がわかった．

表１ 音声認識の使用感に関するアンケート結果認識された文字は読みやす
かった
端末のサイズが大きかった
端末のサイズは小さかった
修正文は分かりやすい
無修正は分かりづらい
認識時のラグが気になる
修正がなくても認識された文字だけで受講できる支援として導入するべきではない

平均値
3.375

中央値
3

最頻値
332
3.75
4.375
3.625
2.25

32
45
4
2.5

3
1, 3
4
54
1, 3

2.125

2

3

質問４（学生対象）：「実験そのものについての自由記述」
テイカーと学生の意見：① 無修正は講義の速さに合ったスピードで情報は提供できてはいる．修正も，時間にズレはあるが，それでも読むには充分．
② iPod と PP を交互に見るのには大変．負担も考えるべき．
③ さかのぼって確認できるのが良い．話し手も明瞭に話すべき．工夫と協力で誤認識を減らし，支援が実施できる．トークが止まった時の対処法は考えるべき．
④フリガナがついてるのは良かった．
⑤ノートを取っている暇がない，唐突の人名が出てきて笑う．
読み取りが難しい．一番重要なポイントが分かりづらいかも？
⑥音声認識のラグが気になった．指示語の時に補足が入れられる修正であると良い．実際に支援に導入されるならば，支援ですでに講義に入ったことがある人が入るとやりやすいのでは？

５．おわりにテイカー不足を補うため，音声認識による支援を検討し，実際に講義で実験を行った．トラブルの対処法を記述したルールの作成が重要であると考える．今後はもっと多くの利用学生と連携をとり，声を多く反映するべきである．また，音声認識に向かない話者も存在するので，音声認識はこれまでやってきた支援を代替せず，並行して「選べる」支援のスタイルとして存在するべきだと考えられる．来年度から音声認識の支援が実際に始まるので，今回の実験で得られた知見を活かしたい．ＵＤトークを支援として利用している団体とも交流し，問題点の対処方法の模索などを行いた
い．

利用学生の意見：特例として私は支援を受けていたが，修正者が居ないと始まらない．PT と NT よりも情報量は多いが，聞き逃したところは修正できない．修正できない部分は「～～？？」と表示するが，私の場合は修正せずにそのままにした方が，読解ができる為良い．

質問４（教員対象）：「講義内でマイクをつけて音声認識を利用して思ったこと」（回答２名）①音声認識ツールを利用して必要な学生に利用してもらうことは大変良い試みである．取り扱いの工夫が必要．教室備え付けのマイクアンプから音を取って記録する方法もあるかと思った．支援学生の負担はテイクでは大きいので，音声認識ソフトと変換ツールが上手く合わされば気軽に利用できると思う．
②非常に快適に使用することができた．ピンマイクをつけていることが，気にならない時間が多かった．気になったことをあえて挙げるとすれば，ボタンを間違って押してしまったことがあったことぐらいです．これまでのやり方よりも良いと思う．

参考文献(1)有海順子・四日市 章：”大学講義におけるパソコン通訳の訳出率に及ぼす通訳者要因の影響”特殊教育学研究.50(4) ,PP.353-362(2012).
(2)「UD トーク | コミュニケーション支援・会話の見える化
アプリ」< http://udtalk.jp/ >（2019/02/06 アクセス）

4