講義音声字幕化に向けた特定話者認識精度の向上
Improvement of Speech Recognition Accuracy for a Specified Speakertowards Automatic Superimposing of Lecture Speech
感性情報学講座 0312013034 小田中麻喜
指導教員：伊藤慶明 小嶋和徳
1. はじめに際に行われた数学の講義を対象に，書き起こしや聴覚障害を持つ学生にとって，通常の講義を受 音声の切り分けを行い，それに要する作業量の調講する上で視覚的な援助が足りない等大きな問題 査を行う．前年度講義分の書き起こしから，言語がある．聴覚障害者への講義内支援として，ノー モデルと音響モデルの追加学習を行い，認識精度トテイク，手話通訳等の講義中の音情報を文字や の変化を調査する．更に，様々なモデルの組み合手話に変換して伝える方法や，話し手の音声を聴 わせを行う事で，どの条件が認識精度向上に最も覚障害の学生が付けている補聴器に直接届ける， 適しているのか，その時の認識精度，作業時間を補聴援助等が行われている．その他には聴覚障害 踏まえて講義音声字幕化の実用可能性について検者が優先的に教室の前列に着席できるようにした 討する．
り，話し手がゆっくりはっきり話したりなどの配3. 評価用データ慮が行われている．ノートテイクや手話通訳は，音声データは、岩手県立大学で行われている数
まず支援するボランティアを探さなければならな学の講義科目 A の講義音声を使用する． 2015 年
い．ボランティアが見つかっても，そのボランテ度後期に収録した科目 A の 11 回，2016 年度後期
ィアにノートテイク等の技術や知識が不足していに行われた同一科目 A の 3 回のデータを使用するといった問題も発生している．また，話し手がる．2015 年度と 2016 年度の講義音声は，共に同講義内で，聴覚障害者から見えやすい位置で講義じ担当教員で，講義時間は 90 分である．
を通常行わない問題も発生している 1) 2) ．
このデータの発話数，発話総時間および実際に書講義内で話した内容をその場で自動音声認識をき起こしした時間を表 1 に示す．
行い，スクリーン等に表示できれば，聴覚障害を持つ学生が他の受講者と同じように１人で講義を
表 1 2015 年度講義実験用データ詳細受講することが可能になると考える．授業は毎年
講義回
書き起こし
発話数
時間
平均発時間(h)(m)
話長(s)
講義内容が似ているため，前年度講義分の書き起
17.0
547
485.2
こしを作成すれば，言語モデル，音響モデルの学
2
9.5
871
34
2.3
習ができ，学習上で十分な精度が得られるのではないかと考える．そこで，言語モデルと音響モデ
36.4
410
344.9
ルを講義音声で追加学習し，音声認識精度の向上
47.1
591
373.7を図る．認識精度向上の為に書き起こしや音声の5
7.1
552
35
3.8
切り分け作業を行う．更に，書き起こしを行った
6
7.4
652
353.2
科目以外で同一教員の他の講義音声で評価を行い，
76.5
541
343.7
他の授業で利用可能性の検証を行う．関連研究として，講演，講義音声から字幕を付与するシステ
86.5
482
364.4ムの開発が京都大学で行われている．大規模な講
97 .0
491
31
3.7
演・講義のデータベースを用いて学習を行うのに
10
7.3567444.6
対し，本研究では，大規模且つ複数人の講義，講
11
7.4
635
32
3.0
演では無く，特定の話者に向けた認識精度の向上
7.2
576
363.8を図る．
平均

2. 音声認識システムの問題点と提案
現在の音声認識システムでは，講義内での専門的な用語の認識が困難等の理由により，チューニングをせずに認識すると，42%程度と低い結果になるのが現状である．一方で，大学で行われている講義は毎年似た内容であることから，一学期分講義の書き起こしを行い，音声認識システムにおいて音響モデル，言語モデルの学習を行えば認識精度が上がるのではないかと考えた．そこで，実書き起こしと音声の切り出し作業は 1 講義あたり 7～10 時間程度かかった．この作業時間は，(1)音声区間の切り出し，(2)漢字仮名混じりの書き起こし，(3)漢字仮名混じりの書き起こしからカタカ
ナの書き起こしへの変換の 3 つの作業からなる．
発話数は 550～870 程度である．発話総時間は 30～48 分程度である．1 発話あたり 1～11 秒程度である．
3.1. コーパス作成条件

表2 漢字仮名混じり書き起こし文

発話番号

書き起こし内容

Risan1_001

じゃあやりましょうか逆ですね

Risan1_002

P ならば Q ね

Risan1_003

P 且つノット P というのはので単語認識を行った時の認識精度である．括弧内の値は認識精度を表している．
表 3 結果比較（上段：認識精度，括弧内：認識率）
言語モデル

音
響モデル

CSJ のみ科目 A のみ

追加学習

音声認識を行うにあたり，下記の条件でコーパス
42.13%
51.81%
36.62%CSJ のみ(58.60%)(70.19%)(54.27%)を作成する．
47.52%
62.13%
34.75%
科目 A のみ・ アルファベットは英語表記(53.72%)(69.93%)(36.52%)・ 記号は読み方で表記
44.56%
60.62%
41.33%
追加学習(56.11%)(65.75%)(53.34%)
例：∧は且つと表記
これらの条件で実際に行った書き起こしの例を左上の音響モデル，言語モデル共に CSJ のみの
表 2 に示す．
学習で行った場合の認識精度，42.13%をベースラ
3.2. 音声切り出し条件
音声認識システムに入力する為に，講義音声デ インとして比較を行う．音響モデルと言語モデル
ータを無音区間で区切り，発話ごとに切り出す． が共に CSJ のみの学習から，音響モデルと言語モ音声データが下記の条件の場合，音声の切り出し デルが共に科目 A のみで学習したモデルを用いると，認識精度が 62.13%となり 20 ポイント上昇しは行わない．
た．音響モデル，言語モデル共に追加学習を行っ
・ 何度も繰り返し発話される単語た場合の認識精度が，本来であれば 42.13%よりも・ 学生の個人名
すべて発話ごとに分けられた wav 形式のデータで， 高 く な る は ず で あ る が ， 今 回 の 実 験 結 果 で は音声ファイルであり，最短で 1.3 秒，最長で 11.7 41.33%と低くなってしまった．今後追加学習の実験内容について再評価を行う予定である．
秒である．
今回書き起こしは素人が試行錯誤的に行ったた4. 評価実験
め，平均 7.2 時間要したが，標準化，ツールの使用
4.1. 実験内容
により書き起こし時間の短縮化が可能と考える．
始めに，2016 年度 1 回目の科目 A 講義音声に より効率良く書き起こしを行う方法については今
対し，CSJ および 2015 年度 1 回目と 2 回目の科 後の課題とする．
目 A 講義音声を用いて，以下 3 つの条件で実験を行い，単語認識精度を比較した．上記の CSJ とは， 5. 終わりに本研究では，講義音声字幕化に向けた認識精度
日本語話し言葉コーパス中の，CSJ 2,702 講演（604向上のために，前年度講義分の書き起こしから，時間）を使用した．また，学習用データとして，2015 年度の 1 回目 2 回目の科目 A 講義音声 119 分 言語モデル，音響モデルの学習を行い，認識精度向上を図った．実験結果では，言語モデル，音響32 秒を使用した．
モデル共に科目 A で学習したモデルを用いた認識・ 条件 1：CSJ のみの学習で単語認識精度は，61.13%と 20 ポイント上昇し，前年度の書・ 条件 2：2015 年度科目 A で学習し，き起こしを用いる効果を確認できた．一方，言語
単語認識・ 条件 3：2015 年度科目 A のデータを CSJ に モデル，音響モデル共に追加学習を行った場合の認識精度が 41.33%と 0.8 ポイント低くなってしま
追加学習し，単語認識ったため，今後再評価を行い，字幕化の可能性をまた，評価指標を以下に示す．
検討していきたいと考える．更に，同一教員が行・ Accuracy（単語認識精度）= (C-D-S-I) / Nっている他の講義音声で評価を行いたいと考える．
・ Correct（単語認識率）= (C-D-S) / N
ここで，C:正解単語数 D:脱落誤り数 I:挿入誤 参考文献
り数 S:置換誤り数 N:全単語数 である．
1) “日本学生支援機構”.
4.2. 実験結果
http://www.jasso.go.jp/gakusei/tokubetsu_shien/guide_kyou
3.1.で挙げた実験内容で認識結果を出し，比較を zai/guide/choukaku_bamen/gakushu_jugyo.html,行った結果を表 3 に示す．表 3 中の，CSJ のみと （参照 2016_01_04）
は，CSJ 2,702 講演のみで学習したモデルを用いた 2) “聴覚障害者大学教育支援プロジェクト
日本社会事業大学“
ことを意味している．同様に，科目 A のみとは，
http://deafhohproject.com/support/forteacher/2015 年度の科目 A のみで学習をしたモデルで，追 （参照 2016_01_04）
加学習とは，CSJ 2702 講演のデータに科目 A のデ 3) “音声認識技術を用いた字幕のータを追加し学習をしたモデルを用いたことを意
作成支援システム”.
味している．例えば，左下の 44.56%は音響モデル http://sap.ist.i.kyoto-u.ac.jp/jimaku/，が追加学習したもの，言語モデルは CSJ のみのも （参照 2016_01_04）