15th Sept. 2016, ASJ Annual Meeting Autumn@Toyama Univ.

尤度ベース言語識別における待ち時間短縮法
T. Okamoto, A. Hiroe and H. Kawai, ”Reducing latency for language identification basedon large-vocabulary continuous speech recognition,” Acoust. Sci. & Tech., (accepted, toappear).

◯岡本拓磨，廣江厚夫，河井恒
情報通信研究機構
1

Outline
Introduction
Comparison of previous methods
Discriminative approaches
Multiple large vocabulary continuous speech recognition approach

Latency problem in LVCSR based LID
Latency problem
Timeout
Tradeoﬀs between accuracy and latency

Proposed method
ExperimentsConcluding remarks

2Introduction
言語識別
入力された言語が何語であるかを自動で推定する技術
Applications: VoiceTra，クロスリンガル音声対話システム..
Cross-lingual dialogue management
WFST
Japanese ASR

Cross-lingual
SLU WFSJapanese TTS

English ASR

Japanese SLU WFSTEnglish TTS
Scenario WFST

Chinese ASR

English SLU WFST

Chinese TTS

Chinese SLU WFST
Language identification

Language ID

How much does it cost?

なるほどenIt takes 3 dollars.

ja

ボタンなしで自動選択したい!!

zh

これはいくらですか?
3ドルです．
它要多少錢 ?
它需要3元．

我明白．謝謝．

Cross-lingualagent

岡本ら，音講論(秋)，2015

3

Comparison of previous methods

Cross-lingua

識別器による方式(現在の主流)

・深層学習による音声認識モデルの向上
・計算機性能の向上
・比較的少ない言語(〜10)での識別Japanese SLU

Chinese ASR

English SLU

Chinese SLU
Language identification

Lan

Decoded word enstring

Decoder
for language 1

ja
Likelihood
zh

Decoded word string
Decoder
for language 2·········

Likelihood

Decoded word string
Decoder
for language N

Likelihood

Multiple speech recognition decoders○：識別学習不要，言語追加容易，実装&ラピッドプロトタイピング容易：すべての認識結果を待つため，レイテンシーの発生

Identified language ID

How much does it c

なるほど

Input utterance

すべての音声認識器でデコードし，尤度最大を選択○(当時)：言語追加容易，実装が容易(当時)：(20言語などの場合)精度は識別器に劣る計算コスト高

English ASR

It takes 3 do

我明白．謝謝Decoded result

尤度ベースによる方式(20年前に登場)

Cross-ling
SLU WF

Wait for completing hypotheses and compare them

入力音声特徴量から言語を直接識別 with i-vector and DNN○：20〜30言語でも高精度に識別可能(研究ベース)：識別学習要，言語追加には再学習要Japanese ASR

Likelihood comparator

4

Latency problem in LVCSR based LID
レイテンシー発生の理由
モデルミスマッチ
入力とデコーダで言語が食い違う場合，モデルミスマッチのため仮説が膨大となり，言語が合っている場合と比べて計算時間がよけいにかかる(a) latency is 0

タイムアウトの導入
単純タイムアウト
発話終了後，特定の時間内に届いた結果のみで尤度比較
発話長に応じた可変型タイムアウト
固定値ではなく，発話長に応じてタイムアウトを設定

T1stT2nd

TfinaltimeUtterance
timeout: T

end

start
(b) latency is Tfinal

T1st T2nd

Tfinaltime

Utterance
endstart

timeout: Tlatency(c) latency is T

T1stT2nd

Tfinaltime

Utterance
start

end

timeout: Tlatency(d) latency is T1st

T1st

time

Utterancestarttimeout: T

endlatency5

Tradeoﬀs between accuracy and latency
識別精度とレイテンシーのトレードオフ問題
タイムアウトを小さくすると識別精度劣化=速いものを選択すればいいわけではない：何故か?

LID Correct rate [%]94.5

9493.5(A) Without timeout

93(B) Constant timeout(C) Utt length dependent timeout

00.5

11.52

Averaged latency [sec]

日英中3言語識別

目標：精度を保ちつつレイテンシーを小さくする方式の開発

6

Proposed method

各認識器ごとに処理速度が異なる
速い認識器では言語が食い違っていても速く届く
English (en)Japanese (ja)Chinese (zh)training data
370 h
360 h
560 h

vocablaly
262 k
684 k
213 k

averaged RTF
0.47
0.66
0.27

認識器言語

速いものを選択すればよいわけでない理由

en
jazh

入力発話言語
enjazh
0.42 0.92 0.90
1.55 0.67 1.44
0.58 0.72 0.28

SPREDSの平均RTF結果

単純タイムアウトでは，ある識別器ではタイムアウト時間が長過ぎて，レイテンシーの原因とるが，別の識別器では短過ぎて正解がドロップアウト

各認識器の処理速度に応じた可変型タイムアウト
各認識器の平均リアルタイムファクターRTF(発話長と処理時間の比)を使用し，認識器ごとにタイムアウト長を設定
平均RTFはモデルリリースの際，容易に取得可能
8< wvt RTFl L L (if wvt RTFl > 1)
Tvt,l =:
70(elsewhere) ※ Tvt,lang < 0を防ぐため

Experiments
日英中3言語識別実験

DNN型音声認識(MCML音声インタラクションSDKモデル)
MFCC39次元(11フレーム=429次元)
training data
隠れ層5，512ノード
English (en)370 hJapanese (ja)360 h
音素数 英：39，日：26，中：30
Chinese (zh)560 h
尤度を発話長で正規化✓◆
Sutt,lducing latency for language identificationl = arg minLll2{en,ja,zh}
Table 2 テストセット
Number of utterances and average utterance lengths Lavg of each test set.
enjazhLavg (sec)

BTEC

510

510510

3.1

XTEC

1500 1500 912

4.6

VoiceTra 1726 5000 607

3.2

SPREDS 1133 1498 1501

6.5

.2. LVCSR-based
LID
平均認識率

英：90.96 %vocablaly
262 k684 k
213 k

averaged RTF
0.47
0.66
0.27

読み上げ音声，旅行会話，マイク収録
模擬対話，マイク収録
自然発話，スマホ収録，雑音込
模擬対話，スマホ収録
日：89.25 %中：79.89 %8Results with BTEC, XTEC and VoiceTra
日英中3言語識別(A) Without timeout(B) Constant timeout(C) Utt length dependent timeout(D) Proposed RTF dependent timeout

LID Correct rate [%]

96.2

98.5

98

97.5

96
95.8
95.6
95.4
(A) Without timeout(B) Constant timeout(C) Utt length dependent timeout(D) Proposed RTF dependent timeout

95.2

97
950

0.2

0.4

0.6

0.8

1

1.2

0

Averaged latency [sec]

0.5

1

1.5

Averaged latency [sec]

BTECXTEC

84.5
84

LID Correct rate [%]LID Correct rate [%]

99

83.5
83
82.5
82
81.5
81

(A) Without timeout(B) Constant timeout(C) Utt length dependent timeout(D) Proposed RTF dependent timeout

80.5
80
00.20.4

0.60.81

Averaged latency [sec]VoiceTra

9

Results with SPREDS corpus
日英中3言語識別

9493

LID Correct rate [%]LID Correct rate [%]

94.5

94

93.5

(A) Without timeout(B) Constant timeout(C) Utt length dependent timeout(D) Proposed RTF dependent timeout

93

00.5

1

1.5

Averaged latency [sec]

実測結果

292
91
90
89
88

(A) Without timeout(B) Constant timeout(C) Utt length dependent timeout(D) Proposed RTF dependent timeout

87
86
0123

45

Averaged latency [sec]1.5倍処理時間がかかった場合(遅いマシンでの計算を再現)

精度を保ちつつレイテンシーを小さくする方式の実現

10

Concluding remarks
尤度ベース言語識別における待ち時間短縮法の提案
尤度ベース言語識別の有用性
待ち時間問題と単純タイムアウトのトレードオフ
平均RTFを用いたデコーダごとの可変タイムアウト方式の提案
日英中3言語識別実験による提案法の有効性の確認

11