北海道地区

教育システム情報学会 2015年度学生研究発表会

ICT を用いた聴覚障がい学生支援の試み‐音声認識ソフトを用いたテイク負荷軽減‐

Using ICT to Help Learning of Hearing Impaired Students-Using Speech Recognition Software to Reduce Work Load of Note/PC Takers 我毛宏平*1・上原亮太*2・皆川雅章*3
Kohei GAKE
Ryota UEHARA Masaaki MINAGAWA* 1 Department of Economics, Sapporo Gakuin University* 2 Department of Law, Sapporo Gakuin University*3 Department of Social Information, Sapporo Gakuin University
Email: K140961@e.sgu.ac.jp

あらまし：聴覚障害学生の情報保障を音声認識ソフトによって代替する試みを行った。通常は二人のパソコンテイカーによって行われている作業を、音声認識ソフトと一人のテイカーによって置き換える。教員の発話を音声認識ソフトによって文字化し、誤認識をテイカーが修正するという方法である。このような方法の導入によって、テイカーの担い手不足や、習熟度不足を補うことが期待される。実際の教室環境において UD トークを用いて実験を行い、利用可能性を確認したので、その結果を報告する。

はじめに札幌学院大学では、聴覚障がいを持つ学生（以下、被支援学生）の講義受講を支援するために、学内の支援学生によって『パソコンテイク』『ノートテイク』が行われている。
『パソコンテイク』では、パソコンを使用し、 教員の発話内容を 2 人１組で分担しタイピングすることで字幕を作成する。また『ノートテイク』では、１人がルーズリーフに手書きで発話内容を文字にするのに加えて、もう１人が講義の要点をまとめている。これらのテイク活動は継続的に質の維持が要求されるが、例年、新学期の卒業生と入学生の入れ替わり（表１参照）によって、経験のあるテイカー不足の問題が生じている。筆者らは、このような問題に対する解決策として音声認識を活用したテイク（ここでは音声テイクと呼ぶ）を検討してきた。(1)ソフトウェアやインターネット上のサービスで提供される音声認識機能を用いて教員の発話を文字化することにより、配置する支援学生を１名とすることが期待される。本報告ではUDトーク(2)を用いて模擬講義を行いその利用可能性について検討した結果について記し、考察を行う。

音声テイク導入の背景とこれまでの取組み
前述のテイク活動には①支援学生の確保、②支援学生の負担増、③支援学生のテイク能力の限界、の 3 つの問題がある。①に関しては、平均半年の養成期間が必要であり、養成期間終了後も習熟するまでは、進行が速い講義、英語で行われる講義などのテイクはできない。また支援学生数の減少に伴い、テイカー数に余裕がなくなり、支援学生自身の履修科目との競合によりテイク担当が困難になっている。②は、前述の支援学生不足に伴い、個々の支援学生に対する負担が大きくなってしまう問題である。本学にはテイク活動の質の維持と学業との両立を図るため「テイクルール」と呼ばれる規則があり、「1 講義につき 2 人配置する」「2講義続けてテイクしない」「支援学生の履修科目を優先する」と定められているが、人員不足のため規則通りには実施できない場合が生じるのが実情である。平均的なテイク回数は週に 2～3 回だが、熟練者は週に 5 回の場合もある。最後に③は、進行の早い講義では発話を 100%テイクすることができないという問題である。
また英語で行われる講義や専門用語が多用される講義
では支援学生の知識不足のために不完全な情報保障となることがある。

1.

2.

表 1 2015 年度支援学生の分布
PC
ノート
構成比

4 年生
11 人
6人
39％

3 年生
7人
1人
18％

2 年生
10 人
2人
27％

1 年生
2人
5人
16％

筆者らはこれらの問題を解決するために、教員の発話の文字化を音声認識で代替し、文字化の結果に誤りがある場合、1 人のテイカーがそれを修正し、被支援学生に提示するという方法である。
このようなことが可能になるには、音声認識の認識

図１ パソコンテイクの様子

1北海道地区

教育システム情報学会 2015年度学生研究発表会率を高める必要がある。これまでに、ソフトウェアやインターネット上のサービスで提供される音声認識機能、使用機器の複数の組み合わせで実験を行い、利用可能性を探ってきた。その結果、実際の講義環境を想定すると、①パソコンがフリーズし音声認識が停止する、②教室用マイク用拡声スピーカーの音が音声入力対して雑音となる。③無線接続の場合、十分な音質の入力が得られないという問題が生じた。これらの問題解決のために高性能のパソコンを使用する、使用環境を限定する、有線接続マイクを使用するなどを行った
結果、一定の認識率を得ることはできたが、誤認識の発生は避けられないために、その修正が必要になる。
その後の調査の結果、Shamrock Records 社の UD
トークというスマートフォンアプリが音声認識の精度が高く、誤認識の修正が容易な利用環境を構築できる可能性を期待できることがわかり、その利用実験を行った。UD トークでは音声認識した情報、それを受けてパソコンで修正した情報が全端末で共有される。ハードウェアに関しては音声認識用スマートフォン１台、表示用 iPad２台、修正用パソコン１～２台、有線マイクを使用する（図２）。 実験の結果、認識制度、誤認識の修正の容易さともに実際の授業で使うことのできるレベルにあることが確認できた。

トラブルによって、その講義での情報保障が成立しなくなる場合に対応するため、筆者らは被支援学生と教員の協力を得て 45 分の模擬講義（図３）を行い、事前に想定されるトラブルを抽出した。その結果は次の通りである。
問題① 30 分経過するとソフトウェアの仕様により音声認識が止まってしまう。
問題② 長時間使い続けると認識に遅延が発生する。
問題③ バッテリー消費が激しいため90分維持することが難しい。
問題④ 修正しやすいように文章を区切って表示させており字幕の流れる速度が速い。
これら①～④に対応する対策として、次のようなことが考えられる。
対策① 30 分ごとに教員に声をかける。
対策② 講義開始前に再起動しておき、45 分で機器を交換する。
対策③ モバイルバッテリーを携帯しておき常時充電状態にする。
対策④ 修正の時だけ分割して表示させる。

図３ 模擬講義の様子

図２ 使用する機材

3-3. マニュアル等の整備来年度後期から、音声テイクを用いた取り組みを学内に広めていきたいと考えている。そのために、支援学生、教員を対象として UD トークの講習会を行うことを計画しており、機器の使い方と接続方法を説明したマニュアルを作成するとともに、使用する様子を実演したビデオを収録した。

3 音声テイク導入に向けて
3-1. 誤認識を減らす工夫
音声テイクではできる限り誤認識を減らし修正の負荷を軽減する必要がある。認識率を向上させる要素として、①単一指向性マイクの使用、 ②辞書登録、 ③教員の話し方の工夫、の３つが挙げられる。①により話者からの発話以外の音声が入りにくくなり、音源をよりクリアにすることで認識率を向上することができる。②では過去の情報保障で蓄積したログデータから単語のみを抽出して音声認識の辞書に登録する。同一講義において大きな使用語彙の変化は考えにくいため、辞書登録により正確に認識・変換を行うことが可能になる。③教員の話し方を音声認識に適したものにするには、発話方法に留意するとともに、話者自身が認識結果を常に確認できる環境の提供が必要である。そこ
で教員用表示画面を用意し、そこに字幕を表示させることを検討している。これによって、教員が認識率を意識した話し方をすることを促すことが期待できる。
3-2. 想定可能なトラブルの抽出2016 年度前期から音声テイクを試験的に 1 講義・全15 回において行うことを計画している。何らかの機材

4. まとめテイカー不足を補うための方法として、パソコンテイクに音声認識を組み入れる方法を検討した。UD トークを用いて実験を行い、認識制度、誤認識の修正の容易さともに実際の授業で使うことのできるレベルにあることが確認できた。この方法を実際の授業で導入するための問題抽出、マニュアル整備を行った。
参考文献(1)上原亮太，我毛宏平，西村知恵，皆川雅章：“ICT を用いた聴覚障がい学生支援の試み‐音声認識ソフト活用に向けたマニュアル作成‐”，
PCカンファレンス北海道2015 ，pp.19-20（2015）．
(2)「UD トーク | コミュニケーション支援・会話の見える化
アプリ」<http://udtalk.jp/>（2015/02/15 アクセス）2