障がい学生支援パンフレット第 4 号

はじめましてこの冊子を手に取って頂き、誠にありがとうございます。
本学の音声認識支援は、学生が主体となって、2014 年度から始まりました。そこから、多数の実験導入を踏まえ、ついに 2019 年度より支援体制として、札幌学院大学の支援組織である「アクセシビリティ推進委員会」の活動の中に導入されました。しかし、それでもまだ支援中にトラブルに見舞われることや、ルールの不足を再確認させられる瞬間もあり、「完璧な支援」とはまだ言い切れない段階です（もちろん使うことはできる）。そのため、現在は「半導入」のような形をとっています。
基本はパソコン・ノートテイクを実施しています。ただ、週に 2～3 回だけ、テイカーが不足しているコマや、望む利用学生が居るコマにて音声認識支援を行っております。
さて、「学生が主体となって」という語り口で前段落はお話をしましたが、一体どういうことなのでしょうか。実はこの音声認識の取り組みは、札幌学院大学で支援活動を行っている「アクセシビリティ推進委員会」とはまた別の「学生発案プロジェクト」といった、所謂「学生が主体となって、何かプロジェクトを持ちかけて、大学から予算をもらってプロジェクトの実施をする。」という大学内の事業があり、そこで発足した組織が行っています。もちろん、パソコン・ノートテイク等の支援を実施している「アクセシビリティ推進委員会」もこの音声認識の取り組みには深くかかわっています。例えば、機材の借用、支援者育成講習会のスケジュール合わせ、実際に支援の中に音声認識を導入するということなどで、もちろんですが、職員や教員も携わっております。学生が主体という謳い文句を設けていますが、実際は教員や職員とは二人三脚のような関わりで日々活動しております。
この冊子の作った目的として、「より深く本学の支援を知ってほしい」というものもありますが、これを手に取って読んだ、別の組織に属しているであろうあなたと「情報共有」をしたい。という目的もあります。是非、読んだご感想や意見、話したいことなどを札幌学院大学サポートセンター「shien@ims.sgu.ac.jp」へ連絡をしていただけると嬉しいです。

1

もく

じ

はじめまして
１．そもそも音声認識支援とは何なのか？............................................................. ３（担当：佐々木・永坂）
２．札幌学院大学での音声認識支援体制づくりに向けての取り組み ........ ８（担当：平賀・村本・髙松）
3．使用している機材について ...................................................................................... １２（担当：麥谷・長岡・石川・髙松）
4．音声認識支援の方法 .................................................................................................... １６（担当：阿部・須賀川・杉澤）
5．音声認識支援者育成講習会について................................................................... ２２（担当：平賀・須賀川・永坂・村本・杉澤）
6．利用学生が抱えるニーズ・音声認識支援の使用感 ...................................... ２４（担当：佐藤・僧都・森部）
おわりに（担当：杉澤） ................................................................................................... ２６※本学の音声認識支援は「UD トーク（教育機関向けプラン）」（https://udtalk.jp/）
を用いております。
※また、各項目の担当は、すべて、この小冊子を作った学生たちです。

2

１．そもそも音声認識支援とは何なのか？

音声認識について○そもそも音声認識とは？
→話者の喋った言葉をマイクで認識、文字化を行うことで、音の聴き取りが困難な学生に対して講義内の情報保障活動を行うこと。

マイク
iPod touch

パソコンテイク、ノートテイクとの違い〇パソコンテイク→IPtalk というアプリケーションを用いて音声情報を保障する。
〇ノートテイク→ノートを用いて、音声情報を保障する。
「タイピング」で保障するのか、「筆記」で保障するのか、というところが特徴。両者とも、「設備さえ」あれば学外でもテイクを行うことができる。

3音声認識とは？
○「UD トーク」というアプリで支援を実施する。
文字化を「人の力」ではなく「機械の力」で行うことが最大の特徴。よって支援者の負担が減り、誤認識を修正することだけが仕事になる。
→支援者を減らすことが可能に！（２人→１人）
これまでのテイクよりも、話者がより深く支援の中に介在することになる！
（教員たちの支援活動への理解が深まる）「音声認識」の図解

音声認識は iPod で行われている（音声「入力」は行っている）わけではなく、UD トークによって接続された株式会社アドバンスト・メディアの高精度日本語音声認識エンジン「AmiVoice（アミボイス）」のクラウド上で大規模に認識を行うバージョンである｢Amivoice cloud｣が行っている。
※日本語のみ4音声認識のプロセス（図解つき）① 話者が喋った言葉を UD トークが認識② 認識した言葉を音声データをサーバーに送信③ 音声データを文字データに変換④ サーバーから UD トークに文字データを送信⑤ 修正者が文字データを修正、サーバーに送信⑥ サーバーが文字データを UD トークに送信（※①～④）

5

（※⑤）

（※⑥）

これは、実際の支援を再現したイラストです。詳しく説明していきます。
まず、教員が「色々ありました。」と言いました。それは iPod touch を通じて UD トークへ入力され、Amivoice cloud へ送信されます。そして認識が行われ、認識された文字情報は各端末（話者の端末、修正者の端末、利用学生の端末）に転送されます。

6

ですが、その認識には誤りがありました。「イライラしました」と認識されてしまったのです。なのでテイカー（支援者）は、それを修正し、「色々ありました」という情報をサーバーに送信します。そして、正しい情報がサーバーから各端末に転送され、正しい情報を閲覧できるようになります。

「音声認識」とは（まとめ）音声認識とは、これまで本学で行ってきたテイクと違い、文字入力を「機械」が行うことができます。それにより支援者の負担が減り、１人で支援が可能になります。更に、話者がより深く支援に介在することで、話者自身も支援活動に対する関心が高まる可能性が出てくるということがあります。
しかしながら、これらはこれまでの支援を「超える」というものではな
く、あくまで利用学生の使用感等を参考にしながら、使うか否かを決めていくような、これまでの支援と「並列」して実施されるものです。
このような内容で、本学の音声認識支援は実施されております。

7

２.札幌学院大学での音声認識支援体制づくりに向けての取り組み
2009 年 本学で最初に音声認識を用いたのは、映像教材の字幕挿入作業においてである。それまでは、学生が映像教材の音声を聞き、タイピングによる文字起こしを行っていたのだが、作業軽減の方法として音声認識ソフトが用いられた。それと同時期に、講義内におけるノートテイク支援の補助手段として音声認識支援が行われ始めた。
2012 年 聴覚障害を持つ学生が、教員の口頭説明を文字情報としてリアルタイムで受けながら実習を行うことができることを目標として活動した。音声認識ソフトの操作性、実習環境、実際の講義での利用可能性について、実験を行った。使用した音声認識ソフトは「Dragon Dictation」。
2013 年 話者の発話速度と認識精度の関連性の実験を行い、音声認識ソフトを導入する際の課題を考察した。その他、音声認識の実用可能性の検討を行った。使用した音声認識ソフトは「Dragon Dictation」。
2014 年 雑音除去機能のあるマイクとないマイクの二種類を用意して、マイクによる認識精度の差と、雑音による音声認識への影響を調べた。
使用した音声認識ソフトは「DragonDictation」。
2015 年

音声認識ソフトの研究を行い、「UDトーク」を用いた情報保障を始める。その他、模擬講義での実験、「UD トーク」マニュアルの整備、認識精度向上の実験を行った。

8

2016 年 一斉講義における音声認識の実験を行った。また、少人数講義での音声認識実験もこの年に行う。音声認識は「UD トーク」で行い、修正にはアプリ「まあちゃん」を使用する。前期に実用に向けた実験を行って問題点の抽出と解決を図ったのに対し、後期では一部支援学生に対して講習を行った。この年から、音声認識の修正をパソコンではな
く、iPod で修正する実験を行うようになった。さらに、英語の講義内での音声認識の実験も行う。
2017 年 少人数講義での音声認識実験を行う。音声認識には「UD トーク」を使い、修正にはアプリ「まあちゃん」を使用する。正式に講義内で音声認識を導入するために、支援学生・教員・職員間で情報共有をし、連携の強化を図った。
2018 年
この時期から、札幌学院大学として UD トークと法人契約を結び、支援の充実化が図られた。そして、支援組織である「アクセシビリティ推進委員会」とも情報共有のもと、協力関係が結ばれ、支援体制としての導入が現実味を帯びてきた。
・音声認識の実験→複数の講義内において音声認識を利用したテイクを行った。そして実験協力者（計 9 名の学生と講義担当教員）にテイクを見てもらった。講義終了後、実験協力者にアンケートに回答してもらった。（学生には音声認識でテイクを受けた感想について、教員には音声認識を使用して講義を行った感想について）9・学外での音声認識→計 3 回行った。学外で音声認識を使う場合には、あらかじめその旨を外部の担当者に把握してもらうようにしていた。また、話し方についても留意してもらうようお願いした。3 回とも、事前の単語登録は行うことができなかった。初回の認識のみ、修正者が同行できなかったため、無修正で行った。
・UD トーク講習会→計 3 回行った。UD トークの認知を目的とした。テイク活動を行っている学生を中心に講習会を行った。音声認識支援の認知を目的としており、最終的に、十数名の学生が参加した。

2019 年・支援として実践投入→今までの活動成果が認められ、学内で正式に音声認識を支援で用いることとなった。
・UD トーク講習会→前年度に引き続き、UD トーク講習会を行った。今年度は支援者育成を目的とした。

10

・UD トークの見極め→本学では、講習会を受けた学生は実際の講義でテイクを行う。それを見て、正式にテイカーとしてデビューしてよいか、先輩学生とテイク利用学生が判断する（「見極め」）。見極めに合格した者は、実際の講義で支援可能となる。今年度から、UD トークを用いた支援においても初めて見極めを導入した。

・今後の予定→〇テイカー全体に向けて、UD トークの支援者育成講習会を行う〇実際のゼミなどグループワークを想定した状況で実験を行う〇障害学生支援に携わる教職員と協力し、実験・アンケート調査を行う〇「UD トーク」の公式アプリを使って修正活動を行っていたが、「まあちゃん」も導入し、比較・検討を行う。

・まとめ
実は音声認識にまつわる歴史は１０年間も続いていることがわかった。
しかし、この冊子を作るまで、メンバーを持ち合わせている情報は「UD トークを使って支援をする」ということと、２０１８年以降の情報のみだった（今いるメンバーがすべて２０１８年以降に所属したメンバーだから）。
よって、これまでの活動の引継ぎが殆ど行われていない現状が分かった。
そのため、再び過去の実績を見つめなおし、勉強をし直さないといけないということが本項目の製作で分かった。

11

３．使用している機材について

・旧型マイク「UD トーク」に話者の声を認識させるためのマイクです。
このマイクは全方位から集音可能な全指向性マイクです。しかし、話者以外の音（雑音）も拾ってしまうため、話者の声をしっかりと読み込むことができず、誤認識が多くなってしまいます。
認識を行う際には、話者にマイクと端末を渡します。

12

・新型マイク
旧型マイクと同じく、話者の声を「UD トーク」に認識させるためのマイクです。ですが、こちらは単一指向性のため、余計な雑音を認識しません。そのため、より音声認識に特化したマイクと言えます。また、このマイクは「UD トーク」のシステム上音声認識を担当しているサーバー （「Ami voice cloud」）を提供している「Amivoice」社製のマイクです。よって「UD トーク」を利用した音声認識と相性が良いです。旧型のマイクを使った支援だと、講義中にマイクがiPod から外れてしまったり、話者が意図せずアプリを止めてしまい、認識が中断されるという事故が頻発していました。しかし、このマイクはBluetooth を利用しているため、そのような事故無しに安定した支援を提供することが可能です。こうした点も、新型マイクを使うメリットです。

・iPod
本学では、「UD トーク」を使用できる機器として iPod を導入しています。この中には、音声認識を行う「UD トーク」、音声認識の文字データの履歴を保存できる「UDコネクト」というアプリを入れています。音声データの送受信、誤変換の修正、修正後のデータの閲覧の三役をこの機器で担っています。
iPod の導入により、修正方法の選択肢が増えました。現在、支援に使用しているのは 5 台です。

13

・PC
「UD トーク」の誤認識の修正に使います。
パソコンで修正した内容はサーバーへ送信され、サーバーから各端末へ転送されます。

・iPad
音声認識の文字データの出力に使用する機材です。
iPod の小さい画面では、一度に表示できる文字列に限界があるため、利用学生への情報保障が不十分になりがちです。そのため、より多くの文字を表示することができる iPad の利用が望ましいです。

14

・ポケット Wi-fi「UD トーク」を使うためにはインターネット環境が必要です。そのため、学外ではネット環境がなく、音声認識を使用することができない場面が多くありました。この機材は、そうした状況を改善するために導入されました。主に、大学の講義等で学外へ行く場合に使います。

・モバイルバッテリー
支援中に利用している機材の充電に使用します。
「UD トーク」を使用していると、iPodのバッテリーの消費は激しくなりがちです。そして、バッテリーが消耗すると、「UD トーク」が停止してしまい、支援に支障が出てしまいます。そのため、支援中は iPod にモバイルバッテリーを接続して、バッテリーの消耗を防ぎます。

15

４．音声認識支援の方法（１）準備（機材のページも参照!）
・PC（UD トーク for Windows ダウンロード済み）

・iPod touch（UD トークと UD コネクトダウンロード済み）

・マイク≪マイクの電源の付け方≫①電源ボタンを押す②「Power ON」という音声が聞こえたら指を離す。
③緑のランプが点灯しているかを確認する
・モバイルバッテリー
UD トークはバッテリーを多く使うので、使用している端末（iPod touch）には接続しておくこと。

16

（２）各種端末で UD トークを起動

・iPod touch で、UD トーク（コネクト）を起動。

↓UD トーク起動時の画面

・UD コネクトで、初めてテイクする講義だった場合、新しくトークルームを作る

この「＋」ボタンを押して部屋を作成。
作成した部屋が一覧に載っているのを確認する↑UD コネクト起動時の画面

17

（３）音声認識に参加する
・iPod touch でトークルームを開放。PC で開いた UD トークに表記されているユーザー
ID を確認し、iPod touch に入力。
・「招待されたトークを確認する」をクリック
し、「接続先」の欄に部屋の名前が出てくるのを確認する。
・「接続先」の欄にあるトークルームの名前をクリック。
必ず、「接続完了」になっていることを確認する

・UD トークから「トークに参加する」をクリックし、カメラを起動。画像のようなQR コードを読み取り、トークルームに参加する（UD コネクトも同様）

ここをクリックし、PC に表示されたユーザーID を打ち込む。
すると、トークルームに招待される

18

参加できた成功例→

ここをクリックすることで QRコードを表示することができる。

ここを押すと、音声認識が可能になる。

・あとは、マイクを話者（講義であれば教師や講師）、端末を利用者に渡す。
（ワイヤレスマイクは Bluetooth を用いて端末と通信するので、携帯の「設定」→「Bluetooth」からデバイスを選んで接続）

Let's

音声認識！

19

（４）誤変換の修正＆ 単語登録機能について≪誤変換の修正≫①修正したい箇所を含む行をクリック。
例）誤「遠く右折」
正「という説」②この入力部に行が表示されたら、間違えている箇所を修正。
Enter で確定する。

≪単語登録機能≫
あまり聞きなれない、専門用語などが頻発する場面で役に立つ機能。

例）「赤坂サカス」を登録したい①「メニュー」画面から「単語を登録する」をクリック。

20

②←のような画面が出たら、登録したい単語と、単語の読みをカタカナで入力する。

③この図のように単語が一覧に登録されれば成功。

～まとめ～
このような流れを通じて私たちは、音声認識支援を開始しています。
現在は、学内 Wi-Fi やポケット Wi-fi(WiMAX)を用いて支援をしているため、iPod touch を使っていますが、それらの接続だと誤認識の修正が遅れたり、認識が遅れたりするトラブルが時折発生していました。その理由を職員と協議のもと、大学から UD トークを製作・配信している「シャムロッ
ク・レコード株式会社」に問い合わせたところ、現在の私たちのこのような環境だと遅延が発生して当然だということが分かりました。つまり、Wi-Fiを使うのではなく携帯回線を用いて支援を行うべきであるということ、WiFi を使うにしても大手３社（au、ドコモ、ソフトバンク）を使うべきだということが明らかになりました。Wi-fi の契約は、札幌学院大学として大学側（職員側）が行っておりました。この事実を教職員と学生とで共有し、Wifi から携帯回線への契約変更を試みる必要があります。
21

５．音声認識支援者育成講習会について
・音声認識講習会の構成
音声認識講習会では、主に UD トー
クを活用した音声認識による支援の方法を中心に、スライドを用いて説明を受け、講習会内で体験を通して方法を学ぶ。講義と実践のバランスをとって実践する。最終的には、実際の講義で支援活動を行い、学生講師と利用学生
で、「受講生が実際に支援できるか」、見極めを行う。その後、支援学生として活動を開始する。
右の図は、実際の講習会で、音声認識による支援の仕組み理解するために用いられた図である(順番は上から１，２，３の順番)。

・どこまで学ぶことが出来るのか講習会を受けることで、まず支援の方法を理解できる。支援をする前の準備として何をすべきか（例えば機材準備など）、実際のやり方と、問題が起きたときはどのように対処すべきかなど、基本的なことから、問題への対処法などの細かい点まで学べる。その学んだ内容は、講習会の中で行われる練習や、実践を通して体感し、実感しやすいような流れになっている。
また、学生が講師をすることによって、実際の支援状況や、どのようなトラブルが起こりうるのか、利用学生からはどのようなニーズがあるのか、ということを聞くことができる。

22

・講習会の流れ
・「音声認識」について「音声認識とはどういうものなのか」について知る。
・「音声認識」の準備
実際に支援する際の準備手順を調べる。
・「音声認識」の体験
実際に UD トークを用いて、音声認識を体験する。
・単語登録機能について
UD トークの機能である単語登録機能について知る。
・トラブルの対処法
支援中に発生するトラブルの例とその対処法を学ぶ。
・練習
音声認識の支援を練習して、実際の講義に備える。
・まとめ
講義の内容をまとめる。

23

６．利用学生が抱えるニーズ・音声認識支援の使用感(１)音声認識支援の使用感について、利用学生の立場から✔タイムラグが少ないため、リアルタイムで情報を得ることができる✔専門用語を登録しておくことで、しっかり認識され誤認識（変換ミス）を少なくすることができる。
※変換がスムーズではなくまた誤認識（変換ミス）になることで、この情報は何だろうとなることもある。そして、専門用語を登録しない場合の変換は、誤認識・誤字（変換ミス）として情報になってしまう。
✔パソコンテイカーの負担を減らせる可能性もある※パソコンで文字を打つのに比べ、UD トークの場合は、音声認識システムを使用しているので、言っていることを全て打つのではなく、誤認識（変換ミス）部分のみを修正し、周りの様子を文字化していく形になる。例えば「((レジュメ配布))」と「(())」を使用し周りの様子を伝える。よってパソコンテイクで全ての文を打っていた労働と比べ、労働面ではだいぶ楽になると思う。
✔誤認識（変換ミス）を見つけ、修正していく作業は、予想以上に集中力を使うため、90 分ある講義の後半 40 分くらいは、修正が追い付かない状況になる場合が多い✔パソコンテイクのように自分で打たない場合、誤認識（変換ミス）の見落としが多い✔ノートテイクと違い要約する機会が多くないため、内容を掴むのが困難に感じることが多い✔話していることがそのまま認識されるので、「、」の減少に繫がる。その「、」も補わなくてはならず、誤認識（変換ミス）の見落としに繫がるケースもある。
✔自分で打っていないことによる誤認識（変換ミス）の見落としが多い※パソコンテイクと違い、自動で認識されるので誤認識（変換ミス）に気づきにくいというデメリットもあるかと思う。利用学生の間では、パソコンテイクと UD トークの違いで、情報が得やすい・得にくい両方の意見がある。
24✔誤認識（変換ミス）は多いがタイムラグがないので、情報を得やすい利用学生もいれば、言っていることをそのまま打っているので、文脈に関する情報もなく、更に利用者の手が加わらないため，要約・整文等がなされず、情報をうまく捉えることができない利用学生もいる。
※UD トークのメリットは、タイムラグがなく、専門用語を登録でき誤認識（変換ミス）を最小限減少させることができることだ。しかし、自分で全ての文章（説明）を入力するわけでないため、要約するとなるとかなり大変だ。UD トークはテイカーにとっては負担を減らせる支援だが、一部利用学生によっては、情報が得にくい支援になりかねないことも念頭におく必要があり、利用学生によってパソコンテイクと UD トークのどちらの支援体制が合っているのか、もっと話し合う必要があると思った。

25

おわりにいかがでしたでしょうか。札幌学院大学の音声認識支援。ひいては、音声認識以外の大学の支援体制そのものに対して多くのことを知っていただけたかと思います。
本学では、「学生主体」で様々な支援活動を行っています。しかし、いくら学生主体と言っても、そのそばには、職員が居て、教員が居ます。まだ、その連係が完璧ではないとも感じますし、それによって十分な支援が提供できていないとも思います。更に言えば、学生の声もどんどん小さくなっていると思います。支援に対して、主張の声が小さいのです。それは、全員の主体性が足りないとか、そういう個人に帰属するようなものではありません。純粋に「機会が少ない」とも言えます。利用
学生の声も、支援学生の声も、今の札幌学院大学の中では SNS や、噂でしか響きません。悲しいことに、これが現状です。
しかし、声が上がっているのは事実で、各学生が声を上げようとしているということも事実です。そのパワーを、エネルギーを、ぶつける機会を、この「冊子制作」として設けました。言いたいことを「文字」として表現し、主張する。この冊子制
作は、札幌学院大学の中での情報共有にもなります。
更に、この冊子制作を通すことで、私たちは音声認識支援の歴史や、やり方、所謂「ノウハウ」を再学習し、また、私たちの知識にインプットすることができ、私たちにも大きな利益をこの小冊子制作は与えてくれると信じています。
ここまで読んでくださってありがとうございました。これからも「良い支援」へとつながるように邁進していきます。これからもよろしくお願いします。
「音声認識プロジェクト(学生発案プロジェクト)一同
アクセシビリティ・学生スタッフ一同」
アクセシビリティ推進委員会

26

障がい学生支援パンフレット第 4 号「音声認識支援ガイド」
発行日：2020 年 3 月 31 日
発 行：札幌学院大学 アクセシビリティ推進委員会〒069-8555 北海道江別市文京台 11
Tel：011-386-8111（代表）
Fax：011-386-8113（代表）E-mail：shien@ims.sgu.ac.jp（学生支援課学習支援係）
執筆者：音声認識プロジェクト(学生発案プロジェクト)
アクセシビリティ・学生スタッフ

27