講義音声字幕化に向けた認識における言語モデル構築の低コスト化
Cost Reduction in Constructing Language Models of a Speech Recognizer for
Automatic Superimposing of Lecture Speech
感性情報学講座 0312016305 芹澤龍生
指導教員：伊藤慶明 小嶋和徳
1. はじめに
聴覚障害のある学生には，講義を受講する際にノートテイクや手話通訳など情報保障者を配置する方法のほか，講師等の音声を聴覚障害のある学生の補聴器に直接届ける方法等がとられている．これらの方法では情報保障者及び資料が必要等の問題がある 1)．
講義内で教員等（講師）が話した内容をリアルタイムで音声認識し，それをスクリーン等に表示できれば，聴覚障害のある学生も他の学生と同様に講義を受講できるようになると考える．
先行研究 2)では講義は毎年内容が類似していることに着目し，日本語話し言葉コーパス (CSJ:
Corpus of Spontaneous Japanese) を用いて構築した言語モデルと不特定話者用の音響モデルに対し当該教員の昨年度等の講義音声で追加学習することで，音声認識精度の向上を図った．この方法では講義の書き起こしに手間を要する．関連研
究 3)では講義に用いる教科書を類似文書として学習用コーパスを作成することで，認識精度の向上を図った．本研究では言語モデルに着目し，言語モデル構築用の CSJ に対し講義科目に関連する用語を Web 検索し，Web サイトの文書を収集する．これらの文書を CSJ に追加して言語モデルを構築することで，先行手法の音声認識精度を保ちつつ言語モデル構築の低コスト化を図る．

時間短縮した．本研究では，Web 上で講義科目に関連する単語を検索し，検索結果上位 10 件のWeb サイトから文書を取得する．取得した文書の中で頻出度の高い名詞単語を用いて再検索を行い，文書を取得する作業を規定データ量に達するまで繰り返す．取得した規定データ量の文書をCSJ に追加し，言語モデルを構築する．別手法として，講義科目のシラバスに載っている講義名及び講義タイトルによって検索を行い，Web サイトから文書を取得する．これにより，講義音声の書
き起こしなしに言語モデル構築における作業時間短縮を図る．

3. 実験条件評価に用いる音声データは，岩手県立大学における数学の講義科目 A の 2016 年度講義音声 3 回分のデータを使用する．言語モデルに用いる学習用コーパスには CSJ 及び Web 上から取得した規定データ量の文書を用いる．本研究では 2 つの手法でコーパスを作成し，言語モデルを構築した．
3.1. 検索単語に講義科目名を用いた言語モデル
Web 上からの文書取得手順を図 1 に示す．図 1
中頻度の高い名詞で再検索を行う際，検索単語数によって結果が異なる．本研究では TF 値の最も高い名詞と上位 3 名詞の 2 通りで検索を行った．
データ量を閾値とし，規定のデータ量を超えた時点で文書取得を終了した．

2. 課題と提案
2.1. 先行研究の課題先行研究では 20.6%の単語誤り率 (WER) を達成した．この手法では講義音声の書き起こし等の編集が行われたが，編集作業に 1 講義音声当たり平均 7.2 時間と実講義時間の 4.8 倍を要した．
2.2 提案方式
関連研究 3)では講義の書き起こしを用いずに教科書を言語モデルに追加統合することにより，認識誤りの編集時間を含め実講義時間の 3.8 倍に
図1

コーパス用文書取得手順

3.3. 検索単語にシラバスを活用した言語モデル

A シラバス 2 の場合が 57.90%と最も低くなった．

認識対象のシラバスに載っている講義名及び各講義回のタイトルを検索語として検索を行い，

表2

認識結果（WER，値は%）Web サイトから文書を取得することでコーパス

評価データ言語モデルを作成した．
3.4. 作成コーパス概要

科目

科目

科目

A-1

A-2

A-3

平均

CSJ

61.25

62.18

58.02

60.48

CSJ + 科目 A

55.86

55.91

56.18

55.98

CSJ + 講義科目検索 1

60.98

62.23

57.95

60.39

コーパスの閾値，追加したデータ量，文書数及びCSJ + 講義科目検索 260.6962.44

57.79

60.31

編集時間を表 1 に示す．科目名 A は 2015 年度科

CSJ + 講義科目検索 3

59.79

62.41

58.04

60.08

CSJ + 講義科目検索 460.63

62.49

57.80

60.31

CSJ + 複数語再検索 1

60.07

62.76

57.87

60.23

CSJ + 複数語再検索 2

59.30

62.09

57.67

59.69

索単語に講義科目名を用いて再検索時に TF 値の

CSJ + 複数語再検索 3

60.42

61.87

57.65

59.98

CSJ + 科目 A シラバス 1

60.41

62.30

57.66

60.12

上位 1 名詞及び 3 名詞を用いたコーパスを示す．

CSJ + 科目 A シラバス 2

58.01

58.96

56.72

57.90

実験では 9 つの学習用コーパスを作成した．各目 A の 1 回目講義音声書き起こしを示す．講義科目検索 1~4 と複数語再検索 1~3 はそれぞれ検科目 A シラバス 1~2 は検索単語にシラバスの情報を用いたコーパスを示す．
表1

本研究では，言語モデル構築の低コスト化のた実験用追加コーパスデータ

コーパス名

閾値

データ量（倍）(KB)

科目 A

-

講義科目検索 1

5. 終わりにめ，Web 上から取得した文書を学習用コーパスに文書数

編集時間
(h)

追加する方法について言語モデル構築に要する

34547

7.0

作業時間と認識精度の検証を行った．講義科目の1475890.5

講義科目検索 25174

2,1100.5

シラバスに記載されている講義名及び講義タイ

講義科目検索 3

10447

5,524

1.0

トルを検索語として Web サイトから取得した文講義科目検索 450

1,974

46,0962.0

書のコーパス (4,342KB) を用いたとき，WER は複数語再検索 110396

5,1990.3

複数語再検索 2502,250

57,0791.3

平均 57.90%と CSJ のみの 60.48%より 2.58 ポイ

複数語再検索 3100

3,942

100,430

2.5ント低下できた．一方，これは書き起こしを追加

科目 A シラバス 1-

1,218

30,233

1.5

した言語モデルの 55.98%より 1.92 ポイント高か

科目 A シラバス 2-4,342

229,808

0.5

った．この言語モデルの作成時間は 0.5 時間と実4. 評価実験
4.1. 実験内容

講義時間の 0.3 倍まで作業時間を短縮した．
今後の課題として，今回は講義科目 A に対してのみ実験を行った．異なる講義音声においてシ2016 年度 1~3 回目の科目 A 講義音声に対しラバス情報を用いたコーパス作成手法を用いてCSJ のみ及び CSJ に科目 A コーパスで学習した評価することにより，本手法の検証をしていく必

言語モデルを用いたものをベースラインとし，要があると考える．

3.4.で示したコーパスを用いた場合と比較した．
実 験 に は 評 価 指 標 と し て 単 語 誤 り 率 (WER:Word Error Rate)を用いた．WER は低いほど良い結果を示す．数式を以下に示す．
𝑊𝐸𝑅 = (𝑆 + 𝐷 + 𝐼)⁄𝑁
C:正解単語数，D:脱落誤り数，I:挿入誤り数，S:置換誤り数，N:全単語数
4.2. 実験結果
実験結果 (WER) を表 2 に示す．表 2 中認識データの科目 A-1~3 はそれぞれ 2016 年度科目 A の1~3 回目の講義音声を示す．
ベースラインと提案手法の WER 平均を比較す
ると，言語モデルが CSJ の場合 60.48%，CSJ + 科
目 A の場合 55.98%であるのに対し，CSJ + 科目

参考文献
1) “日本学生支援機構”，
http://www.jasso.go.jp/gakusei/tokubetsu_shien/
guide_kyouzai/guide/choukaku_bamen/gakushu_jugyo.html，（参照 2017/12/28）．
2) 小田中麻喜， “講義音声字幕化に向けた特定話者認識精度の向上”，2016 年度岩手県立大学ソフトウェア情報学部卒業論文，2016-3．
3) 河原達也，秋田祐哉，広瀬洋子，“自動音声認識を用いた放送大学のオンライン授業に対する字幕付与”，情報処理学会研究報告
Vol.2016-AAC-2 No.5，2016-12．