複数の音声認識器からのシンプルで高精度な認識結果の選択手法
研究の背景・目的

嶋田 和孝・宇津巻 彰（九州工業大学）/ NLP若手の会 第3回シンポジウム

介護支援ロボットの開発

複数のタスク依存認識器による複合認識器

音声認識器：認識精度の問題

大語彙認識器

タスク依存認識器が認識できないものは扱えない

命令文専用

リモコンをベッドの下に落としたんだけど ....

語彙サイズ：小→精度：高・範囲：小精度向上のアプローチ

語彙サイズ：大→精度：低・範囲：大リモコン

複数の認識器を利用

タスク外の発話

タスクごとの認識器の作成と統合

発話

想定外の発話ベッド！必ず誤認識！

下

リモコンを拾ってくれる？
補完
ヒモ紺

取ってくれる認識
発話

想定内の発話

リモコンを拾ってくれる 認識

重要な文脈情報になる可能性あり

カーナビゲーション
レストラン検索・ルート検索・観光地検索

発話

ついでに，携帯も取ってタスク外の発話も柔軟に扱える枠組みの必要性

想定内の発話

ついて携帯下駄も取って取っ手

タスク依存な発話については頑健で，柔軟性の高い手法を実現する

認識修正提案手法
OCSS model (One Commoner and Some Specialists)
音声入力

小語彙の高精度認識器
Specialist

みんなで聴く

命令発話の専門家

大語彙認識器Commoner

基本的な考え方：誰が最も大語彙認識器と似ているか？
大語彙認識器と似ている＝その認識器の出力が正しい
信頼度の推定などでも用いられる考え方

誰も似ていない＝タスク外発話

類似性の判断：2 つの編集距離に基づき判定
質問発話の専門家

出力が一番似ている人がきっと正しい■なんでもなんとなくわかる人

説明発話の専門家■専門家

専門家たちが理解できない雑談

自分が理解できるものはほとんどなどの部分を認識できる．

間違えない．

統合

いろんな発話に柔軟に対応可能で高精度な認識器が実現する- 提案手法のイメージ -発話レベル（EDutter）＆単語レベル（EDword ）最終的な距離：音素数で正規化したもの
分類ルール：順に適用
1) ED utter ＜ Thresh utter→距離が最小のタスク依存認識器を採用
2) ED word ＜ Thresh word
→距離が最小のタスク依存認識器を採用
else→大語彙認識器の結果を採用* 発話レベル
Input: 財布を持ってきて財布 を 持ってきて
DSSR: s a i f u o m o q t e k i t e
Insert, Replace or Delete
LVCSR: s a i g o o m o q t e
最後
思ってThe Distance is 6.

ED utter = Distance / # of phonemes in two results= 6 / 26 = 0.23

* 単語レベル
Input: 床の上のタオルを拾ってくれる？
床の上 の タオル を拾ってくれる
DSSR: y u k a | n o u e | n o | t a o r u | o | h i r o q t e | k u r e r u
20

30LVCSR: y u k a | n o | n a k a | w a | r o | o | h i r o q | t e | k u r e r u
床の中は 路 を 拾って くれるBest Combinations: noue vs. no, no vs. no, taoru vs. wa|ro, hiroqte vs. hiroq|teDistance/Phoneme: 2/6=0.33,0/4=0,
3/9=0.33,
0/14=0EDword = Sum / # of words in the DSSR result = (0.33+0.33)/7 = 0.09

実験考察
シンプルで高精度な分類

実験内容：認識器を適切に選択できるか？
予備実験

膨大な学習データが必要ない

2 つの認識器：大語彙認識器（Julius）＆命令発話認識器（Julian）
50 発話（命令）＆ 50 発話（非命令）× 4 人（男女 2 名ずつ）

新たなタスク依存認識器の追加が容易
DSSRs only (Specialists only)
DSSR
DSSR

交差検定

TypePrecision

RecallF

高い分類精度

命令

0.963

0.985

0.974

揺れない閾値と精度

非命令

0.985

0.963

0.974

Threshutter : 0.24-0.26，Thresh word : 0.08-0.13

One LVCSR and Some DSSRs (OCSS model)
LVCSR

出力選択のための複雑なモデル
DSSR

Our method

シンプルな比較処理
DSSR

DSSR

モデルの再構築が必要

閾値固定でも F 値の低下は 0.01 程度

DSSR

DSSR

単純に追加が可能
最も近い DSSR を選ぶだけでいい必要があれば閾値のチューニングDSSR の追加

LVCSR: 大語彙認識器

本実験

DSSR: タスク依存認識器

話者ごとのモデルの部分的な切り替えなどが容易

4 つのタスク依存認識器

画像による話者認識との統合：マルチモーダル化患者からの命令発話：机の上の携帯を取ってくれる？
看護師からの命令発話：食事を 301 号室に持って行ってロボット制御発話：1m 右に移動

特定の認識器に依存しない
音素レベルの比較のみで分類が可能

統合的な利用に向けて

質問発話：TV のリモコンはどこにある？

大語彙認識器の単語認識精度：36％

実験データ

精度向上が必須

各カテゴリに 10 発話（合計 50 発話）＆被験者：6 名・閾値：予備実験の値
TypePrecision

RecallF

大語彙認識器

0.838

0.950

0.891

患者からの命令発話

0.983

0.966

0.975

タスク依存認識器の語彙の拡充

看護師からの命令発話

1.000

0.983

0.992

メンテナンスツールの開発

ロボット制御発話

1.000

0.933

0.966

質問発話

0.948

0.917

0.932

平均

0.954

0.950

0.951

今後の課題

認識器の統合的利用
大語彙認識器による文脈形成とその有効性の検証
マルチモーダル化

大語彙認識器を除く分別精度：0.978（F 値）

画像情報との統合：話者認識・発話区間推定

タスク依存認識器の単語認識精度：98%

本研究の内容の詳細は K. Shimada, et al. “An Effective Speech Understanding Method with a Multiple Speech
Recognizer based on Output Selection using Edit Distance,” PACLIC22, 2008. を参照してください．

An Eﬀective Speech Understanding Method with a Multiple Speech Recognizer Based on Output Selection using Edit Distance, Kazutaka SHIMADA and Akira UZUMAKI