音声訳におけるリップノイズの自動識別
An Automatic Identification of Lip Noise in Speech Data
感性情報学講座 0312015122 西野 将弘
指導教員：伊藤慶明 小嶋和徳
た原稿 A の音声訳を使用した．リップノイズの1. はじめに出やすい音素を求めるにあたり，話者別にリップ視覚障害者の代わりに，本や家電の取り扱い説ノイズの出やすさに偏りがあると考え，7 人全員明書などを音声化・録音し視覚障害のある方の目が同じ文章を音声訳している原稿 A を約 1000 文の代わりをする音声訳がある．音声訳では文章の字(音声で約 3 分)で区切り，傾向を確認した．

音声化を行う際に，利用者が音声を正しく認識で音声データ中の発話とその発話の書き起こしきるか話者以外の人が音源を聞きチェックする

文を音声認識ツールに与えると，音素と音声デー校正があり，最低 2 回行っている．誤読等が 1 つタとの対応付けが行われる．この機能を利用してでもあると，その箇所の再録音を行う．校正は人音素の推定を行った．音声を聞いてリップノイズが音声を聞いて行っており，音声訳の作成には多を確認し，音素ごとのリップノイズ出現頻度を求くの時間を要する．

めた．その結果，リップノイズの出現回数が上位

再録音要因の一つにリップノイズがある．これ

5 件の子音音素は“r, N, n, k, t”であった．これらのは口を開くときに鳴る音で，音声訳の利用者に不音素については，一定量のリップノイズ有の音声快感を与える大きな要因となる．話者も自分が話データが確保でき，7 人に同様に表れているためしている時にリップノイズを出していることが汎用的であると考え，これらに対してリップノイ分かりにくい．本研究では，音声を聞く前に自動ズ有無の識別を行う．

でリップノイズを検出することで，効率的な音声訳の作成を目指す．

2.2. 学習データの生成

具体的には，音声訳の会から提供して頂いた音識別音素を決定する時に使用した原稿 A の音声データを用い，リップノイズ有無の自動識別を声(合計で約 1 時間 10 分)からデータを取得した．

SVM(Support Vector Machine)を用いた手法を2.1 で得られた音素と音声データの対応付けから，検討する．

音素ごとの音声を自動で切り出した．切り出した音声のリップノイズ有無でラベル付けを行った．

2. 研究概要

この時，音声認識ツールから得られた情報で音声

今回，音声訳の会から 3 つの初心者講習用音源を自動で切り出すと，切り出した最初の部分や最と初心者の方が音声訳を行ったデータ(原稿 A，後の部分が発話として安定しない場合があった．

B は 7 人が音声化，原稿 C は 6 人が音声化)を提その対策として，音声の始端と終端に 0.01 秒の供頂いた．この音声からリップノイズの出やすいフェード処理を行った．

音素を求める．詳しくは 2.1.識別音素の決定で説リップノイズ有(実リップノイズ有)のデータ明する．求めた音素に対して，特徴量を抽出し，数がリップノイズ無のデータ数の 1/2 程度で，音リップノイズの有無を機械学習，自動識別する．

素や話者ごとにリップノイズ有のデータ量が偏リップノイズの有無は 2 クラス分類であるため，った．リップノイズ有無の学習データ量を均等に識別には SVM を使用する．

するため，音声が無いリップノイズのみの音 20個を，リップノイズの無い音素と合成し，疑似的2.1. 識別音素の決定なリップノイズ有の音素を生成した(合成リップ全ての音素に対してリップノイズの識別器をノイズ)．この時，リップノイズは，発話と同時に構成するのは，音声データの量が十分でなく現実起こる場合が多いので，リップノイズが音素の中的でない．人が話す中でリップノイズが出やすい央に来るように生成した．表 1 にリップノイズの音素に対象を絞って識別器を構成することにし種類と学習に使用したデータ数を示す．

た．音声データは，音声訳の会から提供して頂い表 1 生成した学習データ

3.2. 実験結果
実験結果を表 2 に示す．学習データ数が多く，リップノイズの種類学習データ数

音素実合成

無r35212400

620

432N30415420

771546

n

209

28188

1409

1092

k

9616740837492t6315060

753528

合計

102487808

43903090

実リップノイズ有のデータ数も多い音素“N, n”
がリップノイズ有無の正検出率が 9 割以上と高い結果となった．一方，実リップノイズ有のデータ数が少なく，合成リップノイズが多い音素“k, t”
は，学習データ数が音素“r”よりも多かったが，正検出率が 6 割を切る結果となった．実リップノイ
ズ有のデータ数が十分あると，生成したリップノイズ有が効果的に作用すると考える．
表 2 リップノイズ有無の正検出率
音素リップノイズ有リップノイズ無正検出率(%)

正検出率(%)

r81.13

78.45

N

96.14

96.94

n97.1591.19

プノイズ識別を行った．SVM のライブラリは

k66.7948.31

Scikit-learn を使用した．

t56.6656.53

平均79.5774.28

3. 実験
表 1 のデータを用い，SVM に機械学習でリッ

3.1. 学習・評価方法
7 人分のデータのうち 6 人分を学習用データとし，残り１人分を評価用データとして，話者別に7 分割のクロスバリデーションを行った．今回使用した特徴量 MFCC(12 次元・分析窓 512 フレーム)には話者の特徴も含まれるため，話者別に7 分割のクロスバリデーションを行い，話者別の特徴を除いた評価とした．評価用データに対し適切なラベルが出力されれば正解とした．
各音素に対して，すべての話者でリップノイズ無のデータ数が最も少ない数に合わせ，各話者の実リップノイズ有，無で学習データを同数用意した．実リップノイズ有の数がリップノイズ無より少ない場合，合成リップノイズをランダムで選び，リップノイズ無の数と等しくした．合成リップノ
イズはランダムで選び，話者ごとにその割合も異なるため，一人当たり 5 回ランダム選択・評価を行い検出率算出し，その平均値とすることで偏りを無くした．その 7 人分の平均を音素ごとの正検出率とした．
リップノイズ有の音声を正しく識別したリップノイズ有正検出率と，リップノイズ無の音声を正しく識別したリップノイズ無正検出率で評価を行った．

4. まとめ本研究では，発話中にリップノイズが有る音素，発話中にリップノイズの無い音素，発話の無いリップノイズのみ聞こえる音声について，SVM による機械学習判別を行った．その結果，5 つの音素の平均正検出率は，リップノイズ有が 79.57%，リップノイズ無が 74.28%となった．合成リップ
ノイズによって学習データ数を増やす効果は見られたが，実リップノイズ有のデータ量の少ないものの検出率を上げる方法を検討する必要が有る．今回は，提供して頂いた音声訳のみで実験したが，CSJ(Corpus of Spontaneous Japanese: 日本語話し言葉コーパス)などでリップノイズの検出可能性を検証していく．

参考文献1)

望月紫穂野

他：話者照合のための音素情報を考慮したポップノイズ検出法による声の生体検知，電子情報通信学会論文誌 D
Vol.J101-D No.3 pp.588-596(2018/3/1)