論文

複数の大語彙連続音声認識モデルの出力の共通部分を用いた
高信頼度部分の推定
宇津呂武仁†

西崎 博光††

小玉 康広††

中川 聖一††

Estimating Highly Confident Portions Based on Agreement among Outputs ofMultiple LVCSR Models
Takehito UTSURO† , Hiromitsu NISHIZAKI†† , Yasuhiro KODAMA†† ,and Seiichi NAKAGAWA††

あらまし 本論文では，音声認識結果の正解部分と誤り部分を分離することを目的として，複数の音声認識シ
ステムによる認識結果のうち複数のシステムの間で共通となっている部分を用いる方法を提案し，その有効性をい示す．具体的には，大語彙日本語連続音声認識において，デコーダ，音響モデル，言語モデル，音響/言語スコアの重み，挿入ペナルティなど，様々な設定が少しずつ異なっている二つの大語彙連続音声認識モデルによる認識
結果について，その共通部分が正解となっている割合を測定することにより，二つの大語彙連続音声認識モデ
ルによる認識結果の共通部分の信頼度を評価する．新聞読上げ音声及びニュース音声を対象として，2 種類のデコーダを用いて行った評価実験の結果では，デコーダ及び音響モデルが異なる二つの大語彙連続音声認識モデルについて，認識結果の共通部分の信頼度を評価したところ，非常に高い性能が達成された．また，同一のデコー
ダを用いた場合にも，音響モデルの特徴の違いと信頼度との相関を網羅的に評価することにより，デコーダが異なる場合の性能をやや下回るものの，ほぼそれに匹敵する性能を達成した．特に，混合連続分布 HMM に基づく
音響モデルの場合では，無音モデルの有無，音響モデルの種類（トライフォンや音節モデルなど）の違いといった特徴が高い信頼度に寄与していることがわかった．
キーワード

大語彙連続音声認識，信頼度尺度，複数モデル混合，音響モデル，認識誤り検出で提案されてきた信頼度尺度の多くは，いずれも，単1. ま え が き一の認識エンジン・認識モデルが出力する認識結果を

近年，音声認識結果の正解部分と誤り部分を分離す

用いて，その正解部分と誤り部分を分離するというもることを目的として信頼度 (Confidence Measure) ののであった．一方，連続音声認識の認識率そのものの研究が行われている．例えば，連続音声認識では，音向上を目的とする研究においては，複数の認識システ

響安定度 (acoustic stability) を用いるもの [7]，単語

ムの出力を統合する方式 (ROVER 法 — Recognizer

グラフ中のエッジ接続数 [14] や仮説密度 (hypothesis

density) [7] を用いるもの，音響・言語ゆう度 [13]，あるいは，事後単語確率 [19] を用いるものなどをはじめ

Output Voting Error Reduction) [3] も提案され，一定の効果が報告されている（例えば，文献 [15] など）．
本論文では，ROVER 法のような（重み付き）多数

として，数多くの研究が行われている．ここで，これま決法が認識率の改善に効果的であることを考慮して，
音声認識結果の正解部分と誤り部分を分離することを†目的として，複数の音声認識システムによる認識結果

京都大学大学院情報学研究科知能情報学専攻，京都市
Department of Intelligence Science and Technology, Gra-のうち複数のシステムの間で共通となっている部分をduate School of Informatics, Kyoto University, Yoshida-用いる方法を提案し，その有効性を示す．具体的には，

Honmachi, Sakyo-ku, Kyoto-shi, 606–8501 Japan
††

豊橋技術科学大学工学部情報工学系，豊橋市

大語彙日本語連続音声認識において，デコーダ，音響Department of Information and Computer Sciences, Toyo-

モデル，言語モデル，音響/言語スコアの重み，挿入

hashi University of Technology, Tempaku-cho, Toyohashishi, 441–8580 Japan974

電子情報通信学会論文誌 D–II

ペナルティなど，様々な設定が少しずつ異なっている
Vol. J86–D–II No. 7 pp. 974–987 2003 年 7 月

論文／複数の大語彙連続音声認識モデルの出力の共通部分を用いた高信頼度部分の推定

二つの大語彙連続音声認識モデルによる認識結果につでは，新聞読上げ音声及びニュース音声を対象として，いて，その共通部分が正解となっている割合を測定す

2 種類のデコーダを用いて行った評価実験を踏まえて，ることにより，二つの大語彙連続音声認識モデルによこれらの分析結果の詳細について報告する．

る認識結果の共通部分の信頼度を評価する．
ここで，より高い適合率を実現するために，3 種類

2. 大語彙日本語連続音声認識モデル

以上のモデルを用いてその共通部分を利用するという本章では，本論文で用いた大語彙日本語連続音声認方式も考えられるが，予備調査の結果，2 種類のモデ

識の各モデルについて述べる．本論文では，デコーダとルの組合せにおける最も高い適合率が上限となり，こしては，IPA「日本語ディクテーション基本ソフトウェ

れを大きく上回る適合率は達成できないことを確認しアの開発」プロジェクト [6] から提供された Julius，及ている [9]．また，3 種類以上のモデルを用いた多数決

び，豊橋技術科学大学工学部情報工学系中川研究室で法でも，2 種類のモデルの組合せにおける最も高い適開発された SPOJUS [1] を用いている．各々のデコー

合率を上回ることはないことも確認している [16]．しダで用いた音響モデル・言語モデルの一覧を表 1〜表 3

たがって，本論文では，二つのモデルの組合せを網羅にそれぞれ示す．

2. 1 音響モデル

的に評価するという手順をとる．
以上の考えに基づき，二つのモデルの出力の共通部

音響モデルとしては，混合連続分布 HMM に基づく

分の信頼度を実験的に評価したところ，デコーダ及びモデルを用い，特に，音素を基本単位とする HMM モ

音響モデルが異なる二つのモデルについて，最も高デル，及び，音節を基本単位とする HMM モデルの二い性能が達成された．その性能は，新聞読上げ音声の種類のモデルを評価対象とした．デコーダの実装の都

場合，正解単語の約 87％を 99％近くの精度で予測で合上，Julius と SPOJUS とでは，異なった音響モデ

き，また，ニュース音声の場合，正解単語の約 64％をルを用いている．以下では，各々のデコーダで用いて95％近くの精度で予測できるという，非常に高いものいる音響モデルについて簡単に説明する．

であった．また，同一のデコーダを用いた場合にも，音響モデルの特徴の違いと信頼度との相関を網羅的に

2. 1. 1 Julius で用いた音響モデル
Julius では，表 1 に示すように，音素を基本単位共通して，音響モデルが無音モデルをもつか否か，あとする HMM モデル，及び，音節を基本単位とする
HMM モデルを用いた．
音素モデルは IPA「日本語ディクテーション基本ソ
フトウェアの開発」プロジェクト [6] から提供された

るいは，音響モデルの種類（トライフォンか音節モデものを用いた．これらのモデルは，無音モデルをもち，

ルかなど），といった要因が高い信頼度に寄与する度

無音を含む訓練用音声データを用いて学習されたも合が大きいことがわかった．更に，これらの重要な要のである．本論文では，これらの音素モデルをそのま因を単独で用いるよりも，その他の様々な要因と組みま用いて，無音モデルをもつ音響モデルとして認識を合わせて用いることで，より高い信頼度が達成できる

行った．音節モデル [11] についても，訓練データ，学という結果が得られた．この評価結果より，混合連続

習方式，HMM が自己遷移ループをもつ，無音モデル

分布 HMM に基づく音響モデルが通常もつとされるをもつ，などの諸条件は音素モデルの場合と同じであ

各種特徴の組合せについて，今回用いたデコーダの範る．なお，音素モデル，音節モデルのいずれにおいて

囲内では，網羅的な評価を行うことができた．本論文

も，認識時に無音を考慮せず認識を行うことにより，評価することにより，デコーダが異なる場合の性能をやや下回るものの，ほぼそれに匹敵する性能を達成した．具体的には，新聞読上げ音声及びニュース音声にTable 1

表 1 音響モデルの特徴（デコーダ：Julius）
Speciﬁcations of acoustic models. (Decoder: Julius)

音素モデル
音節モデル
（音素数：43（無音あり）/42（無音なし），5 状態（3 出力状態））（音節数：124（無音あり）/123（無音なし），
モノフォン
トライフォン PTM（64 混合，母音，促音，撥音，無音は 5 状態（3 出力状態），
音響モデル（16 混合，総状態数：（16 混合，（総状態数：
他 7 状態 (5 出力状態),16 混合，129（無音あり）/126（無音なし））総状態数：2000） 3000/129）
総状態数：600（無音あり）/597（無音なし））
16 kHz サンプリング，25 ms ハミング窓，フレーム周期 10 ms，性別依存（男性），対角共分散行列，自己遷移ループ
特徴ベクトル
MFCC（12 次元） + ∆MFCC + ∆POW（計 25 次元）975

電子情報通信学会論文誌 2003/7 Vol. J86–D–II No. 7

Table 2

音響
モデル

特徴
ベクトル

表 2 音響モデルの特徴（デコーダ：SPOJUS）
Speciﬁcations of acoustic models. (Decoder: SPOJUS)

音節モデル（音節数：116（無音あり）/114（無音なし），
5 状態（4 出力状態）-4 混合（全共分散行列），6 状態（5 出力状態）-32 混合（対角共分散行列），
総状態数 464（無音あり）/456（無音なし），性別依存（男性）），自己遷移ループ/継続時間制御
12 kHz サンプリング，21.33 ms ハミング窓，
16 kHz サンプリング，21.33/25 ms ハミング窓
フレーム周期 8 ms, 全共分散行列
フレーム周期 8/10 ms, 対角/全共分散行列
MFCC（10 次元 × 4 フレームを KL 展開で 20 次元に圧縮）
MFCC（12 次元） + ∆MFCC + ∆∆MFCC+ ∆CEP + ∆∆CEP + ∆POW + ∆∆POW（計 42 次元）+ ∆POW + ∆∆POW（計 38 次元）（以下，MFCC-seg と略記）
（以下，MFCC-frm と略記）
LPC·MEL·CEP（10 次元）+ ∆LPC·MEL·CEP+ ∆∆LPC·MEL·CEP + ∆POW + ∆∆POW（計 32 次元）
MFCC（12 次元〜4 フレーム
（以下，LPC-frm と略記）
を KL 展開で 24 次元に圧縮）
LPC·MEL·CEP（10 次元 ×4 フレームを KL 展開で 20 次元に圧縮） + ∆CEP + ∆∆CEP+ ∆CEP + ∆∆CEP + + ∆POW + ∆∆POW（計 42 次元）+ ∆POW + ∆∆POW（計 50 次元）（以下，LPC-seg と略記）
（以下，MFCC-seg と略記）

Table 3

新聞読
上げ音声
ニュース
音声

表 3 言語モデルの特徴
Speciﬁcations of language models.

毎日新聞（45ヵ月分）から作成した tri-gram モデル（語彙数 2 万，パープレキシティ33.4（句読点あり）/ 43.4（句読点なし），カバレージ 99.54（句読点あり）/ 99.49（句読点なし）％)
NHK 汎用ニュース原稿（5 年分）から作成した tri-gram モデル（語彙数 2 万，パープレキシティ56.5（句読点あり）/ 72.2（句読点なし），カバレージ 96.91（句読点あり）/ 96.62（句読点なし）％)

無音モデルをもたない音響モデルを擬似的に実現して実際に実験を行った条件の組合せとしては，最も認識を行った．具体的には，まず，入力音声に対して認識率の高い組合せ（サンプリング周波数 16 kHz，

パワーのしきい値を設定し，あらかじめ，しきい値以
下の音声区間を除去した音声に対して認識を行う．そフレーム周期 10 ms，全共分散行列，特徴ベクトル
MFCC-seg，継続時間制御）を中心として，個々の条して，認識の際には，無音を表す音素・音節を含む認件が一部だけ異なるモデルを用意しそれらの評価を識結果を出力しないように制約をかける．ただし，音行った．組合せの詳細は表 2 及び表 4 に示すとおり

響モデルにおける無音モデルの有無は，言語モデルにである．なお，無音モデルの有無については，予備実

おける句読点の有無に対応しているので，パワーがし験の結果，複数のモデルの出力の共通部分を用いた信きい値以下の音声区間を除去して認識を行う場合は，頼度の性能に大きな影響をもつと推定されたので，あ語彙として句読点を含まない言語モデルを用いる（注 1）．

らゆる音節モデルの設定において，無音モデルをもつ

2. 1. 2 SPOJUS で用いた音響モデル
SPOJUS で用いた音響モデルは，音節を基本単位とする HMM モデルで，デコーダと同様に，豊橋技術

ものともたないものの両方の音節モデルを用意し評価した（注 2）．

2. 2 言語モデル

科学大学工学部情報工学系中川研究室で開発されたモ言語モデルの一覧を表 3 に示す．言語モデルとし

デル [12] を用いた．音響モデルの特徴の概要を表 2 にては，語彙数 2 万の単語 bi-gram 及び単語 tri-gram示す．詳細については文献 [12] を参照されたい．

（Julius では逆向き単語 tri-gram）を用いた．Julius，

無音モデルの有無については，原則として，あらゆ
る認識モデルで，無音モデルをもつものともたないも

SPOJUS どちらのデコーダにおいても，2 パス探索に
より認識を行い，1 パス目では単語 bi-gram を，2 パのの両方を用意して評価した．SPOJUS の場合は，無音をもたない音節モデルについても，パワーがしきい
値以下の音声区間を除去した音声データを訓練データとして実際にモデル学習を行ってモデルを実現した．
また，無音モデルをもたない音節モデルを用いた認識の際には，Julius の場合と同様に，入力音声から無音区間を除去した上で，語彙として句読点を含まない言語モデルを用いて認識を行う．
976（注 1）：入力音声中の促音の無音区間のうち，無声摩擦音/s/の前以外の促音は除去される．Julius における無音モデルをもたない音響モデ
ルは，促音のモデルをもっているが，SPOJUS における無音モデルをもたない音響モデルでは，無声摩擦音/s/の前以外の促音のモデルをもたない．一方，言語モデル用の単語辞書においては，Julius，SPOJUS
とも，促音は除去されていない．
（注 2）：特徴ベクトルとして LPC-frm あるいは LPC-seg を用いたものについては，MFCC-frm あるいは MFCC-seg を用いたものと比較
して認識率が低いため，ここでは，あくまで参考データとして，無音モ
デルをもたないモデルによる結果だけを示すにとどめている．

論文／複数の大語彙連続音声認識モデルの出力の共通部分を用いた高信頼度部分の推定
表 4 単一の大語彙連続音声認識モデルの単語認識率 (％)
Table 4 Word recognition rates of individual LVCSR models (％).
デコーダ

無音モデル 音響モデル（継続時間制御/自己遷移ループ，サンプリング周波数， 新聞読上げ音声
・句読点
フレーム周期，対角/全共分散行列，特徴ベクトル）
Cor
Acc
トライフォン（1 パス目）
85.1
82.2
トライフォン（2 パス目）
93.9
91.3
有

Julius

無

PTM
モノフォン
音節モデル
トライフォン（2 パス目）
PTM
モノフォン
音節モデル

全
16 kHz

MFCC-seg
MFCC-frm

10 ms

継続時間制御対角
MFCC-seg

有12 kHz8 ms

自己遷移ループ 16 kHz

10 ms

12 kHz

8 ms

16 kHz

10 ms

SPOJUS(音節
モデル)

MFCC-seg
MFCC-frm

全

MFCC-seg
MFCC-frm

対角
継続時間制御MFCC-seg
8 ms

無12 kHz

全自己遷移ループ 16 kHz

10 ms

12 kHz

8 ms

ス目では単語 tri-gram を，それぞれ使用する．言語モ

LPC-seg
LPC-frm
MFCC-seg
MFCC-frm
MFCC-seg

92.7
83.0
91.9
84.3
87.0
73.8
86.0
91.1
90.6
83.9
87.5
80.7
87.7
86.0
87.0
79.5
88.3
89.0
82.3
88.0
90.4
86.1
80.1
85.6
85.4
87.1
88.1

91.3
80.6
90.4
79.4
82.8
70.3
83.3
84.3
86.2
55.3
70.2
64.3
86.0
81.0
81.9
73.2
84.1
84.8
77.9
82.9
84.9
82.9
77.3
82.7
81.9
84.4
84.9

ニュース音声
Cor
Acc
59.0
50.2
66.5
57.5
（言語モデル：
新聞 45ヵ月分）(62.3)(56.1)

62.3
56.5
72.4
62.6
56.9
50.4
68.9
71.5
70.6
61.4
71.8
66.2
65.8
62.9
68.5
60.6
67.9
66.2
58.2
68.3
70.3
62.7
55.6
63.4
61.3
67.6
68.2

58.2
48.6
69.2
51.0
50.5
40.8
63.6
63.9
62.7
57.0
56.1
53.3
60.7
58.5
62.8
55.8
45.7
39.9
43.0
38.9
58.4
53.8
49.2
56.9
50.7
60.0
60.2

（男性話者 10 人，1,565 語）．

デル訓練用のコーパスとしては，以下の 2 種類のもの（ 2 ） NHK のニュース「ニュース 7」と「おはようを用いた．
（ 1 ） 45 カ月分の毎日新聞記事

日本」（1996 年 6 月 1 日）の 175 文（男性話者 10 人
— アナウンサー 2 人，レポーター 8 人，6,813 単語）．

（ 2 ） 5 年分の NHK ニュース原稿（約 12 万文）．

いずれの評価データも，音響モデル及び言語モデルの言語モデルの作成においては，IPA「日本語ディクテー

学習には用いていない．

ション基本ソフトウェアの開発」プロジェクト [6] から

2. 4 単語認識率

提供されている言語モデル作成ツールを利用した．な

新聞読上げ音声，及び，ニュース音声をそれぞれ評

お，いずれのモデルにおいても，句読点を含んだもの

価用音声データとした場合の，単一の大語彙連続音声と含まないものの両方を学習し，認識の際には，音響認識モデルの単語正解率 (word correct rate, “Cor”)，

モデルにおける無音モデルの有無と対応させて用いる．

単語認識精度 (word accuracy, “Acc”) を表 4 に示

2. 3 評価用音声データ

す（注 3）．ここで，言語モデルとしては，新聞読上げ音

評価用音声データとしては，音声認識が比較的容易

声の認識の場合は，新聞記事から作成したモデルを，な新聞読上げ音声，及び，相対的に音声認識が容易で

ニュース音声の認識の場合は，ニュース原稿から作成しないニュース音声の 2 種類を用いる．
（ 1 ） IPA「日本語ディクテーション基本ソフトウェ
アの開発」プロジェクト [6] において，新聞記事読上
げ音声データベース (JNAS) [5] から選定した 100 文（注 3）：正解文の単語数を N ，認識結果における正解単語数を C ，置換誤り単語数を S ，挿入誤り単語数を I ，脱落誤り単語数を D とすると，単語正解率は C/N = (N − S − D)/N ，単語認識精度は(N − S − D − I)/N として定義される．

977

電子情報通信学会論文誌 2003/7 Vol. J86–D–II No. 7たモデルを，それぞれ用いた．言語モデルは，Julius，て，複数の大語彙連続音声認識モデルの出力の共通部

SPOJUS のデコーダ間では共通のものを用いている．

分が正解単語であると仮定した場合の，正解単語の再認識時の音響/言語スコアの重み，挿入ペナルティの現率・適合率によって，複数モデルの出力の共通部分

設定については，単語認識精度が最大となった結果をの信頼度を評価する．

採用した．なお，デコーダとして Julius を用い，音響

まず，n 個の大語彙連続音声認識モデルの出力を，モデルとして無音モデルをもつトライフォンモデルをそれぞれ Hyp1 , . . . , Hypn とする．ただし，各出力用いた場合には，1 パス目及び 2 パス目の両方の単語
は，言語モデルとして，毎日新聞記事 45 カ月分から

Hypi は，認識結果の単語の列で表現される．次に，DP マッチングにより，n 個の認識結果の単語の列
Hyp1 , . . . , Hypn の対応付けを行い，n 個の認識結果作成したモデルを用いた場合の 2 パス目の単語認識率

すべてに含まれる単語を集め，これを「一致単語リスも括弧内に示す．表中では，デコーダとして Julius をト」と呼ぶ．

認識率を示すが，特に，ニュース音声の認識について用いた場合，及び，SPOJUS を用いた場合について，
単語正解率・単語認識精度の両方から判断して最も高いと考えられる単語認識率を太字で示す（注 4）．

3. 信頼度の評価尺度

例えば，n = 2 の場合，二つのモデルの出力 Hyp1
及び Hyp2 が以下のように表現されるとする．

Hyp1 =w11 , . . . , w1i , . . . , w1k
Hyp2 =w21 , . . . , w2j , . . . , w2l

本章では，本論文で用いる信頼度の評価尺度を定義

このとき，一致単語リストは，同一の単語 w1i と w2jする．一般には，大語彙連続音声認識モデルが出力す(w1i = w2j ) のうち，DP マッチングによって対応づける認識結果の各単語の信頼度を推定するタスクは，どられたものを集めることにより構成される．

の単語が正しく認識されていて，どの単語が誤認識であるかを推定することである．しかし，本論文では，正解単語がどの程度の精度で検出できるかに焦点を当

Fig. 1

978（注 4）：最大の単語正解率付近において，有意水準 5％での有意な認識率の差は，新聞読上げ音声では 1.8％程度，ニュース音声では 1.6％程度であった．

図 1 二つのモデルの認識結果の共通部分の再現率・適合率の例
An example of recall/precision of agreement between hypotheses by twomodels.

論文／複数の大語彙連続音声認識モデルの出力の共通部分を用いた高信頼度部分の推定

そして，一致単語リストと正解文を比較して，一致
単語リスト中の正解単語を判別し，次式によって再現率・適合率を算出する．
再現率=

一致単語リスト中の正解単語数
正解文の単語数

適合率=

一致単語リスト中の正解単語数
一致単語リストの単語数

図 1 に，二つのモデルの認識結果の共通部分の再現率
及び適合率を計算する例を示す．図中では，認識結果同士の比較，あるいは，共通部分と正解文の比較において共通の単語であると判定された部分を四角で囲ん(a) 新聞読上げ音声でいる．
本論文では，信頼度に対する要件として，正解単語をいかに高い精度で推定するかという点を重視し，再現率よりも適合率に重点をおいて，一定以上の再現率のもとでどれだけ高い適合率を達成できるかを重視して評価を行う．

4. 音響モデルの差異の評価
本章及び次章では，二つの大語彙連続音声認識モデ
ルの出力の共通部分について，その信頼度を測定した
結果を示し，高い信頼度に貢献する要因を分析する．
まず，本章では，デコーダが異なる場合も含めて，2. 1(b) ニュース音声で説明した音響モデルのあらゆる可能な二つの組合せ

図 2 二つのシステムの出力の共通部分の適合率の分布（デコーダの組合せごと）
Fig. 2 Distribution of precision of agreement
between two systems.
(For each pair of decoders)について，その出力の間の共通部分の再現率・適合率を評価した結果について述べる．

4. 1 デコーダの組合せの評価
まず，2. の表 4 に挙げたほぼすべてのモデルの認識
結果の組合せについて，その出力の間の共通部分の再現率・適合率を評価した．その組合せの数は，表 4 中のトライフォン（1 パス目），トライフォン（ニュース
音声の認識において新聞用言語モデルを用いた場合），

LPC-seg，LPC-frm を除く 26 種類の認識結果のすべての組合せ（325 通り），及び，LPC-seg，LPC-frm
を含む数種類の認識結果の組合せである．そして，共通部分の信頼度の性能を概観するために，再現率に下（注 5）限（新聞読上げ音声：80％，ニュース音声：50％）
をデコーダの組合せごとに，上段に適合率最大となるモデルの組合せを，下段に単語正解率が最大のモデルの組合せ（同一デコーダの組合せの場合は，単語正解率
が 1 位と 2 位の組合せ）を，それぞれ示す．表中では，二つのモデル間で異なる特徴を下線で示す．
図 2 からわかるように，適合率最大のモデルの組合せの性能から判断すると，新聞読上げ音声及びニュース音声のいずれにおいても，Julius-SPOJUS という設け，再現率がこの下限値を上回る組合せを適合率順に並べた結果をプロットしたものを図 2（(a) 新聞読上げ音声，(b) ニュース音声）に示す．図 2 では，横軸に適合率の順位を，縦軸に適合率をとり，デコーダの組合せと信頼度の性能の相関を調べるために，デコーダの組合せ (Julius-SPOJUS, Julius-Julius, SPOJUS-SPOJUS) ごとのプロットを示す．また，表 5 には，（注 5）：再現率の下限値は，各単独モデルの認識率の分布などを考慮して，一応の目安として決めた値である．再現率がこの下限値を上回る組合せの割合は，新聞読上げ音声については約半数，ニュース音声については約 8 割であった．ニュース音声については，各単独モデルの認識率の分散が大きいため，再現率の下限値もやや低めに設定した．なお，4.
における評価結果は，すべて，この下限値を上回る結果だけを対象としている．また，最大の適合率付近において，有意水準 5％での有意な適合率の差は，新聞読上げ音声では 0.9％程度，ニュース音声では 0.8％程度であった．

979

電子情報通信学会論文誌 2003/7 Vol. J86–D–II No. 7
表 5 適合率最大のモデルの組合せと単語正解率最大のモデルの組合せ（デコーダの組合
せごと）
Table 5

新聞読み
上げ音声

ニュース
音声

Pairs of models with highest precision/highest word correct rates. (foreach pair of decoders)

デコーダの組合せ モデルの組合せ（上段：適合率最大の組，下段：単語正解率最大の組） 単語正解率 再現率 適合率
J: 無音モデルあり，トライフォン
93.9
84.1
98.8
Julius
S: 無音モデルあり，MFCC-seg，16 kHz，8 ms，全，継続
87.5
SPOJUS
J: 無音モデルあり，トライフォン
93.9
87.1
98.7
S: 無音モデルあり，MFCC-seg，16 kHz，10 ms，全，継続
91.1
J: 無音モデルあり，トライフォン
93.9
84.9
97.9
Julius
J: 無音モデルなし，PTM
87.0
Julius
J: 無音モデルあり，トライフォン
93.9
90.2
96.9
J: 無音モデルあり，PTM
92.7
S: 無音モデルあり，MFCC-frm，16 kHz，10 ms，全，継続
90.6
84.6
98.0
SPOJUS
S: 無音モデルなし，MFCC-frm，16 kHz，10 ms，全，継続
89.0
SPOJUS
S: 無音モデルあり，MFCC-seg，16 kHz，10 ms，全，継続
91.1
87.6
94.9
S: 無音モデルあり，MFCC-frm，16 kHz，10 ms，全，継続
90.6
J: 無音モデルあり，PTM
62.3
55.1
94.8
Julius
S: 無音モデルあり，MFCC-seg，16 kHz，8 ms，全，継続
71.8
SPOJUS
J: 無音モデルあり，音節モデル
72.4
63.8
94.5
S: 無音モデルあり，MFCC-seg，16 kHz，8 ms，全，継続
71.8
J: 無音モデルあり，音節モデル
72.4
56.5
93.3
Julius
J: 無音モデルなし，トライフォン
62.6
Julius
J: 無音モデルあり，音節モデル
72.4
64.8
87.2
J: 無音モデルなし，音節モデル
68.9
S: 無音モデルなし，MFCC-seg，16 kHz，10 ms，全，自己
63.4
53.7
93.6
SPOJUS
S: 無音モデルあり，MFCC-seg，12 kHz，8 ms，全，継続
66.2
SPOJUS
S: 無音モデルあり，MFCC-seg，16 kHz，8 ms，全，継続
71.8
64.8
89.5
S: 無音モデルあり，MFCC-seg，16 kHz，10 ms，全，継続
71.5
太字: 単語正解率最大（デコーダごと），適合率最大異なるデコーダの組合せの場合に，高い信頼度が達読上げ音声で 98％程度，ニュース音声で 93∼94％程成できている（注 6）．また，表 5 に示すように，最も高度という適合率であった．異なるデコーダの組合せのい適合率を達成した組合せでは，新聞読上げ音声で最高の適合率からは約 1％程度劣るものの，かなり高99％程度，ニュース音声で 95％程度の高い適合率を達い信頼度であるといえる．しかし，同一のデコーダの成しており，信頼度尺度としては非常に有用なもので組合せにおいて，単語正解率が 1 位と 2 位のモデルあるといえる．更に，表 5 で，Julius-SPOJUS といの組合せでは，ほとんどの場合，適合率がかなり低く

う異なるデコーダの組合せの場合に，単語正解率が最なっており，どのような特徴をもった二つのモデルを大のモデルの組合せの再現率・適合率を評価した結果

組み合わせるかによって，適合率が大きく左右されるでは，最高の適合率をわずかに下回るものの，新聞読ことがわかる．

上げ音声で約 87％，ニュース音声で約 64％という高4. 2 デコーダが同一の場合の評価

い再現率を達成している．この結果を，単一のモデル

次に，本節では，音響モデルの特徴における個々のの単語正解率（再現率と同等の尺度）と比較すると，差異が，二つのモデルの出力の共通部分の適合率に与新聞読上げ音声では，最大単語正解率（94％程度）かえる影響を調べるために，同一のデコーダの組合せのら 7％程度下回る再現率となっているものの，99％近
い適合率を達成していることがわかる．また，ニュース音声でも，最大単語正解率（72％程度）から 9％弱
程度下回る再現率となっているものの，95％近い適合率を達成している．一方，表 5 中で，Julius-Julius，

SPOJUS-SPOJUS といった同一のデコーダの組合せにおいて最も高い適合率を達成した組合せでは，新聞980（注 6）：同様の傾向は，ATR 旅行会話音声を対象として，本論文で用いた Julius 及び SPOJUS のほかに，第 3 のデコーダとして ATRSPREC を追加して行った評価 [18] においても確認している．ただし，実際に，デコーダの特性の様々な相違の網羅的な評価を行うためには，
音響モデル・言語モデル等の他の条件を同じにした上で，デコーダの様々な特性を少しずつ調整して，信頼度へ与える影響との相関を評価することが不可欠である．一方，本論文の実験では，デコーダが異なると音響モデルにも何らかの差異が生じるため，現段階では，デコーダのみの差
異の評価はできていない．そこで，本節では，今回用いた二つのデコーダに関する実験的事実を述べるにとどめる．

論文／複数の大語彙連続音声認識モデルの出力の共通部分を用いた高信頼度部分の推定場合について，音響モデルの特徴における個々の差異

LPC-frm）と適合率の相関について分析する．

ルの差異がただ一つの特徴だけであるモデル同士で，（ 4 ） サンプリング周波数（デコーダの組合せ：
SPOJUS-SPOJUS，16 kHz/ kHz）
（ 5 ） フレーム周期（デコーダの組合せ：SPOJUSSPOJUS，10 ms/8 ms）（ 6 ） 共分散行列（デコーダの組合せ：SPOJUS-

出力の共通部分の再現率・適合率を評価した．音響モ

SPOJUS，全共分散行列/対角共分散行列．図 3 (a) でデルの特徴ごとに，値の大きい順に適合率をプロット

は，サンプル数が一つであったため，スペースの都合した結果を図 3（(a) 新聞読上げ音声，(b) ニュース音

上，プロットを省略している．
）

声）に示す．分析の対象とした音響モデルの特徴は以（ 7 ） 自己遷移ループをもつか継続時間制御か（デ下のとおりである．

コーダの組合せ：SPOJUS-SPOJUS）

4. 2. 1 単一の特徴だけが異なる場合
まず，音響モデルの個々の特徴の差異がそれぞれ単独で適合率に与える影響を分析するために，音響モデ（ 1 ） 無音モデルの有無（デコーダの組合せ：Julius-

各特徴ごとの最大の適合率を比較すると，新聞読上

Julius，SPOJUS-SPOJUS）（ 2 ） 音響モデルの種類（デコーダの組合せ：JuliusJulius，モノフォン/トライフォン/PTM/音節モデル）（ 3 ） 特徴ベクトル（デコーダの組合せ：SPOJUSSPOJUS，MFCC-seg / MFCC-frm / LPC-seg /げ音声，ニュース音声とも，SPOJUS における無音モ
デルの有無の組合せの性能が最も高く，Julius における異種の音響モデルの組合せもほぼ同等の性能を示している．新聞読上げ音声においては，Julius における無音モデルの有無の組合せがこれらに続いているが，ニュース音声における性能はあまりよくない．
ここで，無音モデルの有無における違いを，他の音響モデルの特徴の差異と比較する際に留意すべき点として，無音モデルの有無に差異がある場合には，言語
モデルにおいても句読点の有無に違いがある点が挙げられる．他の音響モデルの特徴の差異は厳密に音響モ
デルのみの違いであることを考えると，この点は非常に重要である．そこで，言語モデルにおける差異の効果を排除して，音響モデルにおける差異の効果のみを評価するために，本論文の実験において対象とした音響モデルの組合せについて，言語モデルを用いずに音(a) 新聞読上げ音声

節認識実験を行った結果について，モデル組の出力の共通部分の信頼度（音節単位での再現率・適合率）の実験的評価を行った．特に，図 3 の場合と同様に，音響モデルの個々の特徴の差異がそれぞれ単独で適合率に与える影響を分析するために，音響モデルの差異がた
だ一つの特徴だけであるモデル同士で，音節出力の共
通部分の再現率・適合率を評価した．音響モデルの特徴
ごとに，値の大きい順に適合率をプロットした結果を
図 4（(a) 新聞読上げ音声，(b) ニュース音声）に示す．
この結果における「無音モデルの有無 (Julius)」及び「無音モデルの有無 (SPOJUS)」を，それぞれ，図 3(b) ニュース音声

図 3 二つのシステムの出力の共通部分の適合率の分布（モデル間の差異が単一の特徴の場合，単語認識）
Fig. 3 Distribution of precision of agreement
between two systems. (Diﬀerence in a single
feature, word recognition)（単語認識）における「無音モデルの有無 (Julius)」及
び「無音モデルの有無 (SPOJUS)」と比較するとわかるように，(a) 新聞読み上げ音声，及び，(b) ニュー
ス音声のいずれにおいても，音節認識においては，無音モデルの有無の違いの効果は，単語認識における効981

電子情報通信学会論文誌 2003/7 Vol. J86–D–II No. 7

せ，の 3 通りについて，適合率の分布をプロットして比較した．この結果を図 5 に示す．なお，このうち，デコーダの組合せが Julius-Julius の場合については，ii) 及び iii) におけるモデル間の差異は，音響モデルの種類のみの違いとなっている．また，i) におけるモデル間の差異は，無音モデルの有無のみの違い，あるいは，無音モデルの有無と音響モデルの種類の違いの両方となっている．図 5 の結果から，最高の適合率については，Julius-Julius，SPOJUS-SPOJUS のいずれのデコーダの組合せにおいても，モデル間の差異とし(a) 新聞読上げ音声て無音モデルの有無が異なる方がよいことがわかる．

4. 2. 3 ま と め
これまでの分析を総合して，デコーダが同一の場合について，音響モデルの各特徴の差異が，二つのモデルの出力の共通部分の高い適合率に寄与する度合をまとめる．
まず，4. 2. 1 の分析から，無音モデルの有無（デコーダ：SPOJUS）及び音響モデルの種類の違い（デコーダ：Julius）が高い適合率の重要な要因になっていることがわかった．また，モデル間の差異が単一の特徴の場合と複数の特徴の場合を比較すると，複数の(b) ニュース音声

図 4 二つのシステムの出力の共通部分の適合率の分布（モデル間の差異が単一の特徴の場合，音節認識）
Fig. 4 Distribution of precision of agreement
between two systems. (Diﬀerence in a single
feature, syllable recognition)

特徴で差異があるモデルの組合せの方が高い適合率が達成できる傾向にあることがわかっている [17]．そこ
で，ここでは，音響モデルの各特徴の差異の組合せを
以下のように分類する．
まず，デコーダが Julius の場合については，以下の3 通りに分類する．
（ 1 ） 音響モデルの種類，無音モデルの有無の両方
果ほど目立ったものではない．このことから，単語認が異なるモデルの組合せ

識における無音モデルの有無においては，言語モデル（ 2 ） 音響モデルの種類のみが異なるモデルの組における句読点の有無が重要な役割を担っているとい

合せ

える．

（ 3 ） 無音モデルの有無のみが異なるモデルの組

4. 2. 2 無音モデルの有無の評価

合せ

前節の（単語認識に関する）分析から，デコーダがこれらの各分類について，適合率が最大となるモデル同一の場合には，無音モデルの有無（デコーダ：SPOJUS）及び音響モデルの種類の違い（デコーダ：Julius）

いて，特にニュース音声における性能の差を重視するが高い適合率の重要な要因になっていることがわかっと，高い適合率への寄与の度合は以下の不等式で表現た．そこで，本項では，これらの特徴の差異の有無と，できる．

二つのモデルの出力の共通部分の適合率の間の相関について分析を行う．具体的には，デコーダの組合せがの組合せの適合率を図 6 左側に示す．この結果につ(1) > (2)  (3)Julius-Julius の場合，及び，SPOJUS-SPOJUS の場（ただし，(1) と (2) との差は，有意水準 5％では有意合のそれぞれについて，i) 無音モデルをもつ/もたな

ではない）また，デコーダが SPOJUS の場合についいモデルの組合せ，ii) 無音モデルをもつモデル同士のては，以下の 5 通りに分類する．

組合せ，iii) 無音モデルをもたないモデル同士の組合（ 4 ） 無音モデルの有無を含む複数の特徴に差異が982

論文／複数の大語彙連続音声認識モデルの出力の共通部分を用いた高信頼度部分の推定(1) 新聞読上げ音声(a) デコーダの組合せ：Julius-Julius(b) デコーダの組合せ：SPOJUS-SPOJUS(2) ニュース音声(a) デコーダの組合せ：Julius-Julius(b) デコーダの組合せ：SPOJUS-SPOJUS

図 5 二つのシステムの出力の共通部分の適合率の分布（無音モデル { あり/なし，あり/
あり，なし/なし } による分類）
Fig. 5Distribution of precision of agreement between two systems. (Classiﬁed by{with/without, with/with, without/without} Short Pause Models)あるモデルの組合せ（ 5 ） 無音モデルの有無のみが異なるモデルの組合せ（ 6 ） 無音モデルをもつモデル同士で，複数の特徴に差異があるモデルの組合せ（ 7 ） 無音モデルをもたないモデル同士で，複数の特徴に差異があるモデルの組合せ（ 8 ） 単一の特徴だけが異なるモデルの組合せのう
ち上記以外のもの
これらの各分類について，適合率が最大となるモデルの組合せの適合率を図 6 右側に示す．この結果についても，特にニュース音声における性能の差を重視する
図 6 音響モデルの差異ごとの最大適合率の比較（単一デコーダの場合）
Fig. 6 Evaluation results of agreement between two
acoustic models: summary.

と，高い適合率への寄与の度合は以下の不等式で表現
できる．

983

電子情報通信学会論文誌 2003/7 Vol. J86–D–II No. 7(4) > (5), (6) > (7) > (8)(1)（ただし，分類 (7) 及び (8) の優劣については，分類(8) において，新聞読上げ音声とニュース音声の両方において分類 (7) と同等の適合率を達成したモデル組が存在しないため “(7) > (8)” と判定した．また，ニュース音声においては，(4) と (5) との差，及び，(6) と(7) との差は，それぞれ，有意水準 5％で有意である．
）

5. 音響モデル以外の差異の評価

表 6 の「1 パス&2 パス」の欄に示す．
また，信頼度尺度に関する先行研究において一定の性能が確認されている音響安定度を用いた信頼度 [7]との比較のために，音響/言語スコアの重みについて，最も高い単語認識率を示す値を中心とする 10 通りの設定について，その出力の間のあらゆる可能な部分集合の共通部分の再現率・適合率を評価した（注 7）．音響モ
デル・デコーダとしては，トライフォンモデル・Juliusを用いた場合と，音節モデル（12 kHz サンプリング，

MFCC-seg）
・SPOJUS を用いた場合の 2 通りを評価
本章では，デコーダが同一の場合に，言語モデル，
デコーダの設定など，音響モデル以外で複数のモデル間に差異がある場合に，それらの複数のモデルの出力の共通部分の再現率・適合率を評価した結果について
述べる．

5. 1 言語モデル

した．この結果のうち，再現率が最も高い場合及び適合率が最も高い場合の結果を，表 6 の「音響/言語ス
コアの重み」の欄に示す．
更に，挿入ペナルティについても，最も高い単語認
識率を示す値を中心とする 10 通りの設定について，その出力の間のあらゆる可能な部分集合の共通部分の再

ニュース音声の認識の場合について，毎日新聞記事

現率・適合率を評価した（注 8）．音響モデル・デコーダを用いて訓練された言語モデル，及び，ニュース原稿

としては，トライフォンモデル・Julius を用いた．こを用いて訓練された言語モデルの二つを用いて，2 通
りの認識結果を作成し，その共通部分について，再現率・適合率を評価した結果を表 6 の「二つの言語モデル」の欄に示す．この場合の適合率は，音響モデルの特徴に差異がある場合の最高の適合率（表 5，デコー
ダが同一の場合の，適合率最大のモデルの組合せ）には及ばなかった．

5. 2 デコーダの設定の結果のうち，再現率が最も高い場合及び適合率が最も高い場合の結果を，表 6 の「挿入ペナルティ」の欄に示す．
これらのすべての結果における適合率は，音響モデ
ルの特徴に差異がある場合の最高の適合率（表 5，デコーダが同一の場合の，適合率最大のモデルの組合せ）には及ばなかった．

デコーダの各種設定として，1 パス目と 2 パス目，
音響/言語スコアの重みの複数の設定，挿入ペナルティの複数の設定，について，それぞれ，それらの出力の共通部分の信頼度を評価した．まず，音響モデル・デコーダとして，トライフォンモデル・Julius を用いた
場合について，デコーダの 1 パス目及び 2 パス目の出力の間の共通部分の再現率・適合率を評価した結果を，（注 7）：これらの重みを用いた場合の最も低い単語認識率は，新聞読上げ
音声の場合，トライフォン・Julius で，86.9％ (Cor) / 79.3％ (Acc)，
音節モデル・SPOJUS で，80.1％ (Cor) / 77.3％ (Acc)，ニュース音
声の場合，トライフォン・Julius で，61.9％ (Cor) / 45.9％ (Acc)，
音節モデル・SPOJUS で，52.3％ (Cor) / 46.3％ (Acc) である．
（注 8）：これらの挿入ペナルティを用いた場合の最も低い単語正解率(Cor) 及び単語認識精度 (Acc) は，新聞読上げ音声の場合，89.3％ (Cor)/ 84.7％ (Acc)，ニュース音声の場合，60.5％ (Cor) / 45.3％ (Acc)である．

表 6 音響モデル以外が異なる複数のモデルの出力の共通部分の再現率/適合率 (％)
Table 6 Recall/precision (％) of agreement among multiple models. (Diﬀerencesin features other than acoustic models)
モデルの組合せ
新聞読上げ音声
ニュース音声二つの言語モデル（トライフォン，毎日新聞記事/ニュース原稿）—
53.7 / 86.5
1 パス & 2 パス（トライフォン）
81.0 / 92.7
57.9 / 66.1
音響/言語
トライフォン
86.9 / 93.2 ∼ 82.4 / 93.9 50.7 / 87.6 ∼ 44.4 / 91.6
スコアの重み音節モデル (MFCC-seg)
82.7 / 92.2 ∼ 76.2 / 94.5 58.5 / 81.1 ∼ 44.7 / 90.1
挿入ペナルティ トライフォン
89.7 / 91.4 ∼ 87.7 / 92.7 56.9 / 75.7 ∼ 50.8 / 82.9
N-best 候補
トライフォン
82.4 / 93.1 ∼ 66.0 / 94.5
64.0 / 82.0
音節モデル (LPC-seg)
80.4 / 90.6 ∼ 39.9 / 98.3
42.4 / 74.4
トライフォン：Julius，無音モデル・句読点あり，16 kHz，10 ms，対角共分散行列，自己遷移ループ
音節モデル：SPOJUS，無音モデル・句読点なし，12 kHz，8 ms，全共分散行列，継続時間制御984

論文／複数の大語彙連続音声認識モデルの出力の共通部分を用いた高信頼度部分の推定

5. 3 N-best 候補の間の共通部分

ルの出力の共通部分を用いた信頼度における有効性

信頼度尺度に関する先行研究において一定の性能について分析を行う予定である．例えば，言語モデルが確認されているものとして，単語グラフ中のエッジについては，統語構造を利用するモデル（例えば，文接続数を用いた信頼度 [14] や仮説密度を用いた信頼

献 [2], [8] など）や話題の情報を利用するモデル（例え度 [7] などが挙げられる．これらの従来の信頼度尺度

ば，文献 [4], [8] など）のように，tri-gram モデルとはの考え方を参考にして，単一モデルの出力の N-best

異なる仮説を優先すると思われるモデルも提案されて(200best) 候補の間の共通部分を求め，その再現率・いるので，これらについて分析を行うことが有望であ適合率を評価した．音響モデル・デコーダとしては，ると思われる．

トライフォンモデル・Julius を用いた場合と，音節モ

なお，今回の評価実験の結果をより一般化して議論

デル（12 kHz サンプリング，LPC-seg）
・SPOJUS をし，複数の音声認識システムの出力の共通部分を用い用いた場合の 2 通りを評価した．単一モデルの出力のN-best (200best) 候補について，そのうちの任意の i

る信頼度の有効性を理論的観点から検証するためには，個 (2 ≤ i ≤ 200) の共通部分の再現率・適合率を評価

ステム間で比較し，その傾向と信頼度との相関を詳細した結果を，表 6 の「N-best 候補」の欄に示す（注 9）．

に分析する必要がある．更に，認識結果における正解

この場合の適合率（新聞読上げ音声の場合は，再現率

単語・誤り単語の分布の差異と信頼度との相関のモデが 80％程度での適合率）は，音響モデルの特徴に差ル化を行い，そのモデル化に基づいて，任意のシステ

異がある場合の最高の適合率（表 5，デコーダが同一ムの組に対して，その出力の共通部分の信頼度を的確の場合の，適合率最大のモデルの組合せ）には及ばなに予測できる必要がある．例えば，今回の評価実験で認識結果における正解単語・誤り単語の分布を複数シかった．

は，最大で 28 通りもの認識モデルを構築し評価実験

6. むを行ったが，評価実験を網羅的に行っただけであるのす びで，新聞読上げ音声・ニュース音声以外の音声データ

本論文では，音声認識結果の正解部分と誤り部分をに対して，今回の評価実験の結果がそのまま当てはま

分離することを目的として，複数の音声認識システムるという保証はない．新たな種類の音声データや，新の出力の共通部分を用いる方法を提案し，その有効性

たな種類のデコーダ・音響モデル・言語モデルに対しを示した．実験の結果，デコーダ及び音響モデルが異て，複数の音声認識システムの出力の共通部分を用いなる二つのモデルについて，出力の共通部分の信頼度

る本論文の手法を有効に活用するためには，どのようを評価したところ，新聞読上げ音声では正解単語の約な認識モデルをどの程度の種類用意すれば十分である

87％を 99％近くの精度で予測でき，また，ニュース音
声では正解単語の約 64％を 95％近くの精度で予測でかについての指針を与える必要がある．

きるという，非常に高い性能が達成された．また，同テムの正解部分・誤り部分が完全に独立に分布する一のデコーダを用いた場合にも，音響モデルの特徴のと仮定する．このとき，単独システムの単語正解率

例えば，最も単純なモデル化として，二つのシス

違いと信頼度との相関を網羅的に評価することにより，が 90％ で あ ると する と ，2 シス テ ムが と もに 正解

デコーダが異なる場合の性能をやや下回るものの，ほする 確 率 は 0.9 × 0.9 = 0.81，と も に 誤 る 確 率 はぼそれに匹敵する性能を達成した．また，特に，混合連続分布 HMM に基づく音響モデルの多種多様な特徴

0.1 × 0.1 = 0.01 となり，再現率は 81％，適合率は0.81/(0.81 + 0.01) = 98.8％ と予測される．一見するが，高い信頼度に寄与する度合を評価した結果，無音と，この予測は実験結果と合っているように見えるが，モデルの有無，音響モデルの種類（トライフォンや音単独システムの単語正解率が 70％の場合には，2 シス

節モデルなど）の違いといった特徴が重要であること
語モデルにおける句読点の有無が重要な役割を担ってテムがともに正解する確率が 0.49，ともに誤る確率が0.09 より，再現率の予測値は 49％，適合率の予測値
は 0.49/(0.49 + 0.09) = 84.5％ となり，実験結果かいることがわかった．

らは大きく外れる．したがって，二つのシステムの正がわかった．更に，無音モデルの有無においては，言今後は，大語彙連続音声認識モデルの振舞いを左右する要因のうち，デコーダ及び言語モデルについて
も，様々な特徴の組合せを網羅的に評価し，複数モデ（注 9）：新聞読上げ音声の場合については，適合率が最も高い場合，及び，再現率が 80％程度の場合の結果，ニュース音声の場合については，適合率が最も高い場合の結果を示す．

985

電子情報通信学会論文誌 2003/7 Vol. J86–D–II No. 7

解部分・誤り部分は完全に独立に分布しているわけで

データベースを提供して頂いた NHK 放送技術研究所

はなく，何らかの相関のもとで分布していると推測さの関係諸氏に感謝する．

れ，その分布の適切なモデル化が必要であるといえる．

文

献また，本論文の高信頼度部分推定手法と，従来の，単一の認識エンジン・認識モデルのみを用いた信頼度[1]

尺度（例えば，[7], [13], [14], [19]）との比較においても，本論文の高信頼度部分推定手法に対して上述したよう[2]

得るのかの分析ができることが望ましい（注 10）．そのよ

C. Chelba and F. Jelinek, “Structured language modeling,” Comput. Speech Lang., vol.14, no.4, pp.283–

なモデル化を行い，そのモデル化と従来手法のモデル化を比較して，原理的にどのような性能の違いがあり

赤松裕隆，花井建豪，甲斐充彦，峯松信明，中川聖一，“新聞・ニュース文をタスクとした大語彙連続音声認識システ
ムの評価，” 情処学会第 57 回全大，pp.35–36, 1998.

332, 2000.
[3]

J.G. Fiscus, “A post-processing system to yield reduced word error rates: Recognizer output voting er-

うな分析の結果を踏まえれば，本論文で用いた二つのror reduction (ROVER),” Proc. IEEE Workshop on

モデルの出力の共通部分の情報と，従来の，単一の認

Automatic Speech Recognition and Understanding,

識エンジン・認識モデルのみを用いた信頼度尺度におpp.347–354, 1997.
[4]

R. Florian and D. Yarowsky, “Dynamic non-local lan-

いて用いられている情報を併用することにより，より

guage modeling via hierarchical topic-based adapta-

高性能な信頼度尺度を実現することも可能であると考

tion,” Proc. 37th Annual Meeting of ACL, pp.167–
174, 1999.

（注 11）

えられる

．

[5]

K. Itou, M. Yamamoto, K. Takeda, T. Takezawa,

また，上記のことに関連して，複数システムの間でT. Matsuoka, T. Kobayashi, K. Shikano, and S. Ita-

高信頼度の認識結果を相補的に組み合わせることによhashi, “JNAS Japanese speech corpus for large vo-

り，文全体の認識率を改善するという問題 [10], [16] にcabulary continuous speech recognition research,” J.

おいても，認識結果における正解単語・誤り単語の分[6]

布の差異と信頼度との相関のモデル化に基づいて，ど嵯峨山茂樹，伊藤克亘，伊藤彰則，山本幹雄，山田 篤，
宇津呂武仁，鹿野清宏，“日本語ディクテーション基本ソのような認識モデルをどの程度の種類用意すれば十分

フトウェア（99 年度版），” 音響誌（技術報告），vol.57,

であるかについての指針を与えられることが望ましい．
複数の音声認識システムの出力の共通部分を用いる

no.3, pp.210–214, 2001.
[7]

本論文の手法の汎用性を高め，様々な状況においてそ

1997.
[8]

tional dependencies in language modeling,” Comput.

2 種類のデコーダを用いた場合について，二つのモデ[9]

言語処理学会第 7 回年次大会論文集，pp.389–392, 言語処理学会，2001.

て評価を行い，その結果についての分析と考察を行っ[10]

謝辞 本研究に協力して頂いた豊橋技術科学大学工学部情報工学系中川研究室の関係者に深く感謝する．

986

小玉康広，渡邊友裕，宇津呂武仁，西崎博光，中川聖一，“機械学習を用いた複数の大語彙連続音声認識モデルの出力の混合，” 情処学研報，2003–SLP–45, pp.95–100, 2003.

[11]

諸戸正憲，松本 弘，“大語彙連続音声認識によるメル
LPC 分析の評価，” 信学技報，SP2000-62, 2000.

[12]中川聖一，花井建豪，山本一公，峯松信明，“HMM に基づく音声認識のための音節モデルと triphone モデルの比

また，ニュース音声データベース，ニューステキスト（注 10）：あくまで一事例にすぎないが，共通の評価データのもとでの文
献 [13] の信頼度尺度との性能比較においては，本論文の手法の方が十分に高い性能を示している．
（注 11）：手法の一例として，それらの様々な情報を用いて認識結果の正誤を判別するための規則を機械学習などの枠組みで学習するという方法が有効であると考えられる．実際，複数のモデルの出力を混合すること
により単語認識率を改善するという問題において，そのような機械学習の枠組み (SVM) を適用した結果 [10] においては，単に単語認識率を改善するだけでなく，副産物として，信頼度尺度としても，本論文で示した性能を上回ることを確認している．

Speech Lang., vol.14, no.4, pp.355–372, 2000.
小玉康広，宇津呂武仁，西崎博光，中川聖一，“複数の音声認識システムの出力の共通部分を用いた認識誤り検出，”の程度の性能が達成できるのかという点に焦点を当てた．上記の理論的考察については別の機会に述べる．

S. Khudanpur and J. Wu, “Maximum entropy techniques for exploiting syntactic, semantic and colloca-

は，新聞読上げ音声及びニュース音声を対象として，
ルの出力の共通部分という非常に単純な指標だけでどT. Kemp and T. Schaaf, “Estimating conﬁdence using word lattices,” Proc. 5th Eurospeech, pp.827–830,の手法を有効に活用するためには，これらの理論的考察が不可欠である．しかし，紙数の都合上，本論文でAcoust. Soc. Jpn. (E), vol.20, no.3, pp.190–206, 1999.
河原達也，李 晃伸，小林哲則，武田一哉，峯松信明，

較，” 信学論（D-II），vol.J83-D-II, no.6, pp.1412–1421,[13]

June 2000.
中川聖一，堀部千寿，“音響尤度と言語尤度を用いた音声” 情処学研報，2001–SLP–36,
認識結果の信頼度の算出，pp.87–92, 2001.

[14]

緒方 淳，有木康雄，“信頼度を組み込んだデコーディン
グによる音声認識の検討，” 情処学研報，2000–SLP–32,
pp.1–6, 2000.

論文／複数の大語彙連続音声認識モデルの出力の共通部分を用いた高信頼度部分の推定[15]

H. Schwenk and J.-L. Gauvain, “Combining multiple
speech recognizers using voting and language model
information,” Proc. 6th ICSLP, vol.II, pp.915–918,
2000.

[16]

宇津呂武仁，原田哲志，渡邊友裕，西崎博光，中川聖一，“複数の大語彙連続音声認識モデルの出力の共通部分を用いた信頼度 — 信頼度を利用した複数モデルの出力の混[17]” 信学技報，SP2002-22, 2002.
合，宇津呂武仁，西崎博光，原田哲志，小玉康広，中川聖一，“複数の大語彙連続音声認識モデルの出力の共通部分を用いた信頼度の性能分析，” 信学技報，SP2001-128, 2002.

[18]

渡邉友裕，山本博史，小窪浩明，菊井玄一郎，西崎博光，
小玉康広，宇津呂武仁，中川聖一，“機械学習を用いた複数の大語彙連続音声認識モデルの出力の混合 — 旅行会話
音声における評価，” 日本音響学会 2003 年春季研究発表
会講演論文集，vol.I, 2003.

[19]

小玉

康広

2001 豊橋技科大・工・情報工学卒．2003
同大大学院工学研究科修士課程情報工学専

攻了．現在，ソニー株式会社インテリジェ
ント・ダイナミクス研究所インテリジェン
スグループに勤務．在学中は，音声言語情報処理に関する研究に従事．

中川

聖一 （正員）1976 京大大学院工学研究科博士課程了．
同年京都大学工学部情報工学科助手．1980

豊橋技術科学大学工学部情報工学系講師．
1990 同教授．1985〜1986 カーネギーメロ

ン大学客員研究員．音声言語情報処理，自F. Wessel, K. Macherey, and H. Ney, “A compari-

然言語処理，人工知能の研究に従事．工博．

son of word graph and N-best list based conﬁdence

1977 電子通信学会論文賞，1998 年度 IETE 最優秀論文賞，

measures,” Proc. 6th Eurospeech, pp.315–318, 1999.

（平成 14 年 8 月 19 日受付，15 年 1 月 31 日再受付）

2001 本会論文賞受賞．著書「確率モデルによる音声認識」（電

子情報通信学会編），「音声・聴覚と神経回路網モデル」（共著，
オーム社），「情報理論の基礎と応用」（近代科学社），「パターン
情報処理」（丸善）など．

宇津呂武仁
1989 京大・工・電気工学第二卒．1994

同大大学院工学研究科博士課程電気工学第二専攻了．京都大学博士（工学）．同年，奈良先端科学技術大学院大学情報科学研究科
助手．1999∼2000 米国ジョンズ・ホプキン
ス大学計算機科学科客員研究員．2000 豊
橋技術科学大学工学部情報工学系講師，2003 京都大学大学院
情報学研究科知能情報学専攻講師，現在に至る．自然言語処理，
音声言語情報処理の研究に従事．情報処理学会，人工知能学会，
日本ソフトウェア科学会，言語処理学会，日本音響学会，ACL
各会員．

西崎

博光 （正員）1998 豊橋技科大・工・情報工学卒．2000

同大大学院工学研究科修士課程情報工学専
攻了．2003 同大学院工学研究科博士後期課程電子・情報工学専攻了．博士（工学）．
2003 山梨大学大学院医学工学総合研究部

助手，現在に至る．音声言語情報処理に関する研究に従事．情報処理学会，日本音響学会各会員．

987