情報処理学会 音声言語情報処理研究会 研究報告
99-SLP-27-2, Vol.99, No.64, July 1999.

音 声 言 語 情 報 処 理 27–2
（１９９９． ７． ２３）

自然発話中の言い淀み箇所のリアルタイム検出システム
後藤 真孝

伊藤 克亘

速水 悟

電子技術総合研究所{goto, kito, hayamizu}@etl.go.jp
あらまし

本稿では，代表的な言い淀み現象である有声休止 (音節の引き延ばしも含む) を自動的に検出する手法を提案する．有声休止は音声対話において発話権の保持等の大切な役割を果たしており，その検出は音声対話システムを実現する上で重要である．従来，連続音声認識やワード スポッティングの枠組みで有声休止に対処する研究事例はあったが，言い淀み現象として個々に検出しておらず，その役割を把握して適切に扱うことはできなかった．本手法は，有声休止中は調音器官の変化が小さいことを仮定し，基本周波数の変動とスペクトル包絡の変形が小さい箇所を有声休止として検出する．
日本語の音声対話コーパスを用いた実験の結果，再現率 84.9 ％，適合率 91.5 ％の精度で検出できることが確認された．

A Real-time System Detecting Filled Pauses
in Spontaneous Speech
Masataka Goto

Katunobu Itou

Satoru Hayamizu

Electrotechnical Laboratory
1-1-4 Umezono, Tsukuba, Ibaraki 305-8568 Japan
Abstract

This paper describes a method for detecting ﬁlled pauses (including word lengthening), which are

one of the hesitation phenomena. This detection is important in speech dialogue systems because they play valuableroles in oral communication. Although there have been a few previous speech recognition systems handling ﬁlled
pauses, they have not detected them individually and consequently could not consider their roles. Our method can
detect ﬁlled pauses by ﬁnding small fundamental frequency transition and small spectral envelope deformation under
the assumption that articulator parameters do not change during ﬁlled pauses. Experimental results for a Japanese
spoken dialogue corpus show that our system yielded a recall rate of 84.9% and a precision rate of 91.5%.

1

はじめに

声対話において，これらが共通して，発話権の保持や心的状態・思考状態の表出といった大切な役割を果た

本研究の最終的な目標は，計算機の音声理解能力

しているからである．音声対話システムの性能を向を向上させ，人間と計算機との間で自然なマルチモー上させるには，言い淀み現象を冗長語や不用語等とダル対話を実現することである．そのためには，話者みなして単に無視するのではなく，言い淀みが起きてがその場で内容を考えながら自発的に発話した音声いることを的確に認識し ，それらの役割を把握してを，計算機が理解できる必要がある．そのような自活用することが重要であると我々は考えている．
典型的な音声認識システムは，言い淀み現象を含然な発話には，有声休止，無声休止，音節の引き延ばし，言い直しといった，書き言葉には通常現れない，まない，書き言葉を読み上げたような朗読音声を前提

話し言葉特有の言い淀み現象が頻繁に現れる 1),2) ．ことしてきたため，自然な発話を認識することは一般にのような自然で不可避な現象を扱うための第一段階困難である．例えば，HMM に基づく音韻モデルを，として，本稿では，有声休止 (ﬁlled pause) と音節の有声休止や音節の引き延ばしを伴う音声に適用する

引き延ばし (word lengthening) の二つの言い淀み現と，音韻の継続時間が突然大きく延びることがある象を対象に議論する．この二つを取り上げたのは，音ため，有効に機能しなくなる．また，言語モデルに関−9−

しても，有声休止はほとんど 任意の単語間に入りう

ドとは必ずしも一致しない．そこで，思考スピードのるため，それを網羅的に記述したような文法は，制約方が遅い場合 (そもそも思考対象が何かわからない場

としては弱くなってしまい効果的でない．そこでこれ合等も含む)，思考プロセスの結果である次の発話内までに，このように誤認識の原因となる有声休止を，容が発話プロセスに届くまでの間，話者は時間を稼

サブワード 単位に基づく連続音声認識やワード スポッ

ぐために有声休止や無声休止を用いる．

ティングの枠組みで部分的に扱う手法が提案されてき音響信号中の有声休止の区間を検出することは，大た 3)∼6) ．例えば，10 個のつなぎ語☆1を語彙に追加登

別して二つの意義を持つ．一つは音声認識に対する録することによって連続音声認識システムで扱える

貢献で，例えば ，検出した有声休止の区間を除いてようにする手法 4) や，つなぎ語を未知語とみなして，から認識処理をおこなうことで，自然発話に対するサブワード 系列照合に基づく未知語処理で対処する

音声認識システムの性能を向上させられることが期

手法 5),6) 等が既に提案されている．しかしこれらは，待できる．これについては，6 章で改めて議論する．

言い淀み現象を個々に検出し，その役割まで把握しな

もう一つは音声対話に対する貢献で，有声休止の役

がら適切に扱うようなアプローチではなかった．

割を考慮した音声対話システムを実現することが可

そこで本研究では，有声休止と音節の引き延ばし能になる．有声休止は，文献 1),9),10) 等でも述べらの箇所を，ボトムアップな音響分析によって個々に検れているように，対話において，少なくとも次の二つ出するアプローチをとる．音響分析による検出の実現の大切な役割を担っていると考えられる．

可能性については，つなぎ語の韻律的特徴に関する従来研究 7),8) において既に示唆されている．特に，文• 発話権の保持，場つなぎの機能

献 8) は，人間は馴染みのない外国語に対しても，韻音声対話では，その進行に伴い，話者間で発話律的な手がかりから言い淀みが検出できることを指権が移動していく．話者の立場からは，次の発摘し，ボトムアップに韻律的特徴を分析するアプロー

話が準備できていないにも関わらず発話権を持チを支持している．しかし，これらの研究は韻律的特

ち続けたいとき (あるいはとりあえず何か発話し徴の調査に留まっており，自動的に有声休止を検出す

なければならない状況のとき)，発話を準備しなるシステムはまだ構築されていなかった．

がら有声休止をおこなうことで，聴取者に次の

本稿では，自然な発話による音響信号に対して，有発話を待って欲しいと伝えることができる．逆

声休止と音節の引き延ばしの二つの言い淀み現象をに聴取者の立場からは，有声休止を聞くと，割検出する手法を提案する．両者の言い淀み現象は同様

り込んで発話権を奪うのを控え，話者の次の発な音響的特徴を持っており，音声対話の観点からは同話を待った方がよい等と判断できる．

じ機能を果たしていると考えられるため，本稿では以• 話者の心的状態・思考状態を表す機能

下，「 有声休止」を両者を指す用語として用いる．以

円滑な対話を進めるために，話者は自分の心的下の章では，まず，有声休止の役割を考察し，提案手状態・思考状態を，無意識のうちに聴取者と共有法のアルゴリズムを説明する．次に，その手法に基づする行動をとる．話者の立場からは，有声休止

いて有声休止をリアルタイムに検出するシステムのの方法 (音韻やイントネーション，発声法等) に実装について述べ，それを用いた実験結果を示す．最

よって，発話内容に対する自信のなさ，不安，躊後に，音声認識の枠組みに本手法を導入することで，

躇，謙遜といった心的状態を表現できる．また，認識率を向上できる可能性があることを検討する．

そのつなぎ 語の種類等によって，何かを思い出そうとしているのか，あるいは聴取者にとって

2

有声休止の重要性

適切な表現を探しているのかといった，異なる

本研究では，有声休止が自然な発話において本質的に不可避なのは，それが，思考プロセスが発話プロ
セスに追い付かない場合に表れる現象であるからだと考える．その場で内容を思考しながら発話する場
合，発話スピード とその内容を準備する思考スピー☆1 多くの論文では，言い淀む際に用いる「えーと」や「あのー」等の語を間投詞と呼んでいるが，場つなぎ的な役割をより明確に表すために，本稿ではつなぎ語 (ﬁller) という用語を用いる．

−10−

思考状態を表現することができる (例えば「ええと」と「あのー」の使い分け等が文献 1) で議論されている)．逆に聴取者の立場からは，有声休止を解釈することで，話者の現在の心的状態・思考状態を推測することができ，それを言語情報以外の付加情報 (別のモダリティ) として利用できる．さらに，次の発話内容をある程度予測することも，場合によっては可能となる．その際には，前述のように話者の発話を待つだけでなく，

音声音響信号

話者の手助けとなるような発話をおこなうこと

瞬時周波数の算出もある．

周波数成分の抽出

我々は特に，有声休止を積極的に活用した音声対基本周波数の推定話システムを構築することを目指している．その第スペクトル包絡の推定一段階として，例えば，ユーザが有声休止をしていることを音声対話システム側が検出したとき，システ

有声休止音の二つの特徴の抽出
基本周波数の変動量 スペクトル包絡の変形量

ムに次のような対応をとらせることを検討している．

• 検出した有声休止の区間では，ユーザの思考を

有声休止らしさの評価

妨げないように，システム側は相槌を打ったり

有声休止らしさ
有声休止区間確認発話をしたりせずに次の発話を待つ．

• 有声休止を検出した時点で，システム側がユー

図 1: 有声休止検出手法の処理の流れ

ザの次の発話を予測できれば，その予測内容を提示してユーザの発話の手助けをする．そのためには，次の発話の予測を常におこなうようなれる「えー」「うー (ん ) 」
「あー」
「まー」
「んー」
「あ

仕組みを導入する必要がある．スロットを埋め

のー」
「そのー」
「このー」等や，音節中の母音の引きるようなタスクの場合には，スロットに入りう

延ばし 箇所には，このような有声休止音が含まれてる候補を提示するのもよい．

おり，これが妥当な仮定であることがわかる．

• 文献 11) で提案された，休止を区切りとした対話処理において，提案時には無声休止しか言及さ以上から本手法では，有声休止音が持つ次の二つの特徴に基づいて，有声休止を検出する．

1. 基本周波数の変動が小さい．

れていなかったが，有声休止 (特に，音節の引き
延ばし ) 箇所も区切りの候補として利用する．こ調音器官の状態が一定であれば，声帯の緊張条れを間接的に支持する知見として，対話でなく件は変化せず，声の基本周波数はほぼ一定のま

講演調の話し 言葉に対する分析ではあるが，つまとなる．

なぎ 語の箇所が知覚的な区切りとなることが報

2. スペクト ル包絡の変形が小さい．

告されている 12) ．

調音器官の位置が一定であれば，声道形状は変

逆に，システム側の発話に関しても，前述の機能を効化せず，フォルマントを反映したスペクトル包絡

果的に使う目的で，有声休止を導入していく予定ではほぼ一定のままとなる．ただし，有声休止中である．

3

も肺からの呼気量は変化するため，その AM 変
調成分を取り除いて，スペクトル包絡の変形量

有声休止検出手法を評価する必要がある．

本手法では，音声音響信号中の有声休止の音響的特

我々の提案する有声休止検出手法の処理の流れを

徴を，ボトムアップな周波数解析によって検出する．

図 1 に示す．まず，入力音響信号に対して瞬時周波数

2 章で述べたように，発話プロセスが思考プロセスから次の発話内容が届くのを待っている間に，有声休を計算し，瞬時周波数に関連した尺度に基づいて周波止が発声されるのであれば，話者は調音器官 (喉頭を結果に基づいてスペクトル包絡を推定する．その際，含む) の位置・状態を有声休止中は変化させることが背景雑音や背景音楽を伴う入力に対してもロバストできない．調音器官をど う動かすかを決めるはずのに機能するように，LPC 等の単一音源を前提とした数成分を抽出する．次に，基本周波数を推定し，その次の発話内容が，まだ準備されていないからである．

分析はおこなわず，最も優勢な高調波構造に基づく推そこで本手法では，有声休止は，調音器官がほぼ一定

定をおこなう．そして，前述した有声休止音の二つののまま (声道形状がほとんど 変化しない状態で) 声帯

特徴を定量的に捉え，それらを統合して，有声休止でが振動し続けるときの音声，つまり，音韻的に変化があると判定する信頼度「有声休止らしさ」を評価す

少ない持続した有声音 (以下，有声休止音) を伴ってる．最後に，有声休止らしさとそれに基づいて決定しいると仮定する．実際に，有声休止で典型的に用いらた有声休止区間を出力する．

−11−

瞬時周波数の算出

3.1

単独の音声だけでなく，背景雑音や背景音楽を伴うよ

本手法では，まず，フィルタバンクの各出力信号にうな，実世界の音響信号中の話者の音声にも適用で対し，位相の時間微分である瞬時周波数 13),14) を計算

きるようにすべきである．そこで，非周期的な雑音する．ここでは，Flanagan の手法 13) を用い，短時間に加え，高調波構造を持つ弱い雑音も含まれる場合

フーリエ変換 (STFT) の出力をフィルタバンク出力と解釈して，効率良く瞬時周波数を計算する．入力音響
信号 x(t) に対する窓関数 h(t) の STFT が ∞X(ω, t) =x(τ )h(τ − t)e−jωτ dτい) 高調波構造の基本周波数を，音声の基本周波数として抽出する．そのために，コムフィルタの考え方に基づいたフィルタを用いて，時刻 t において周波数

(1)

−∞

= a + jbを考慮して，入力信号中で最も優勢な (パワーの大き(2)F が基本周波数となる可能性 PF 0 (F, t) を評価する．
なお，本稿では以下，対数スケールの周波数を centの単位 (本来は音高差 (音程) を表す尺度) で表し，Hzで定義されるとき，瞬時周波数 λ(ω, t) は次式で求めで表された周波数 fHz を，次のように cent で表されることができる．

た周波数 fcent に変換する．

a ∂b − b ∂a∂tλ(ω, t) = ω + ∂t2
a + b2(3)

fHz
fcent = 1200 log2 REF
HzREFHz = 440 × 2

現在の実装では，音響信号を標本化周波数 16 kHz，
量子化ビット 数 16 bit で A/D 変換し ，窓関数 h(t)として窓幅 1024 点のハニング 窓を用いた STFT を，
高速フーリエ変換 (FFT) によって計算する．その際，

(6)

3
12 −5

(7)

基本周波数の可能性 PF 0 (F, t) は，次式のように定義する．

FFT のフレームを 160 点ずつシフトするため，フレー
ムシフト時間 (1 フレームシフト ) は 10 msec となる．

 ∞PF 0 (F, t) =−∞p(x; F ) Ψp (x, t) dx(8)

このフレームシフトを，すべての処理の時間単位とここで，周波数を表す x と F の単位は cent とし ，する．

p(x; F ) は基本周波数が F の高調波成分だけを通過させるフィルタ関数，Ψp (x, t) は，周波数軸が cent で3.2

周波数成分の抽出表されていることを除けば Ψp (ω, t) (式 (5)) と同じパフィルタの中心周波数からその瞬時周波数への写像に基づいて，周波数成分を抽出する

15)∼17)．ある

ワー分布関数であるとする．フィルタ関数 p(x; F ) は
次式のように与える (図 2)．

STFT フィルタの中心周波数 ω からその出力の瞬時
周波数 λ(ω, t) への写像を考える．すると，もし周波p(x; F ) =c(h) G(x; F + 1200 log2 h, Wf ) (9)h=1数 ψ の周波数成分があるときには，ψ がこの写像の

2
1
exp − (x−m)
G(x; m, σ) = √2πσ22σ 2

不動点に位置し ，その周辺の瞬時周波数の値はほぼ
17)

N


(10)

．つまり，全周波数成分の瞬時周波数

ここで，N (現在の実装では 8) は考慮する高調波成分

Ψf (t) は，次式によって抽出することができる 18) ．

の数 (基本周波数成分も数える)，Wf (20 cent) はガ

Ψf (t) = { ψ | λ(ψ, t) − ψ = 0,∂(λ(ψ, t) − ψ) < 0}∂ψウス分布 G(x; m, σ) の標準偏差を表す．c(h) は，第

一定となる

(4)

h 次高調波成分の通過量を決める関数で，本研究ではc(h) = Hh(h−1) (H = 0.9849) とする．

これらの周波数成分のパワーは，Ψf (t) の各周波数における STFT パワースペクトルの値として得られる

0.02

ため，周波数成分のパワー分布関数 Ψp (ω, t) を次の0.015

ように定義できる．


0.01

Ψp (ω, t) =| X(ω, t) | if ω ∈ Ψf (t)0otherwise

(5)

0.005
0

3.3

基本周波数の推定抽出した周波数成分に基づいて，話者の音声の基
本周波数を推定する．その際，実験環境における話者

3000

3500

4000

4500
5000
5500
frequency [cent]

6000

6500

図 2: 基本周波数 F の高調波成分だけを通過させるフィル
タ関数 p(x; F )−12−(F = 3000 cent の場合を図示)

こうして求めた PF 0 (F, t) は，各高調波構造が相対的にどれくらい優勢かを表しているため，話者の音bF 0 は，aF 0 と bF 0 をパラメータとして次式を最小化することで得られる．

声の基本周波数 FF 0 (t) は，PF 0 (F, t) を最大にする

errF 0 2 =

周波数として求めることができる．

PeriodF0 −1


FF 0 (t − τ ) − (aF 0 + bF 0 τ )

2

τ =0

FF 0 (t) = argmax PF 0 (F, t)
F

3.4

(15)

(11)

ここで，PeriodF0 (5 フレームシフト ) は直線近似する期間である．

スペクト ル包絡の推定

実環境でロバストにスペクトル包絡を推定するために，得られた基本周波数 FF 0 (t) の高調波構造上にある，局所的な情報だけを利用する．まず，FF 0 (t) の第 k 次高調波成分のパワー P ow(k, t; FF 0 (t)) を，基
本周波数の整数倍の周波数を中心とするガウス分布

一方，スペクトル包絡の変形量 As (t) は，スペク
トル包絡 Env(n, t) の対数スケールのパワーの過去
一定期間の変化を，最小自乗法で直線近似した際の直線の傾き bs (n) と誤差 errs (n) を用いて，次式のように定義する．

で重み付けしながら，その近傍の最大パワーを検出

As (t) =することで求める．

N
max


1
Nmax

bs (n)2



1

N
max


Nmax

n=1

errs (n)2



n=1

(16)
bs (n) と errs (n) は，as (n) と bs (n) をパラメータとP ow(k, t; FF 0 (t)) =max G(x; FF 0 (t) + 1200 log2 k, Ws ) Ψp (x, t)

して次式を最小化することで得られる．

x(12)
ここで，Ws (35 cent) はガウス分布の標準偏差を表す．

Periods −1

P ow(k, t; FF 0 (t)) の間を直線補間して，スペクトル10 log10 Env(n, t − τ ) −2(17)(as (n) + bs (n)τ )包絡を求める．この包絡の計算は，日本語の母音の第ここで，Periods (10 フレームシフト ) は直線近似する

一，第二フォルマントを捉えられるような上限周波数期間である．

(3200 Hz) を設けておこなう．有声休止音の特徴としては，包絡の大局的な変形を捉えた方が良いため，直3.6

2

errs (n) =次に ，線形スケールの 周波数軸上で ，隣接する

τ =0線補間した包絡を粗い周波数分解能 ξ (200 Hz) でリ
サンプリングし，低い方から n (1 ≤ n ≤ Nmax (15))

有声休止らしさの評価

有声休止らしさ Pf p (t) (0 ≤ Pf p (t) ≤ 1) は，こうして得た二つの特徴 Ai (t) (i = f, s) の短時間平均

点目の周波数 nξ におけるスペクトル包絡 Env(n, t)

Periodfp −1を求める．最後に，肺からの呼気による AM 変調の1
Si (t) = Period
fp

影響を除去するために，条件Nmax

Ai (t − τ )(i = f, s) (18)

τ =0に基づいて，

Env(n, t) = 1

(13)

n=1

を満たすように Env(n, t) を正規化する．

3.5



有声休止音の二つの特徴の抽出 (R S (t) + (1 − R) S (t))2 fs
Pf p (t) = exp −W2(19)のように定義する．ここで，Periodfp (10 フレームシ
フト ) は平均する期間であり，R (0.034) は二つの特

有声休止音の二つの特徴として，基本周波数の変徴に対する重み付けを決める定数，W (0.575) は主

動量 Af (t) とスペクトル包絡の変形量 As (t) を求めに考慮する変動・変形の範囲を決める定数である．

る．前者は，基本周波数の変動がどれくらい大きいか

本手法では，有声休止らしさが一定期間十分高い値を表し，後者は，スペクトル包絡の変形がどれくらいのときに，話者が有声休止をおこなったと判定する．

大きく，一様でないかを表す．

そのために，条件 Pf p (t) > e−1 を満たし続ける限り

基本周波数の変動量 Af (t) は，対数スケールの基本周波数 FF 0 (t) の過去一定期間の変化を，最小自乗

Pf p (t) を累積加算して，合計値 Sumf p (t) を求める．
満たさない場合には Sumf p (t) = 0 にリセットする．

法で直線近似した直線の傾き bF 0 を用いて，次式のそして，Sumf p (t) が一定の閾値 Thfp (7e−1 ) より大ように定義する．

きいとき，現在の時刻 t が有声休止区間内であるとAf (t) =  bF 0 

(14)

判定する．

−13−

図 3: システムの画面表示例: 男性の自由発話の一部である「一階にー」/iqkaini-/ を入力し終わった時点での，基本周波数等の中間結果と最終出力 (左側) および対応するスペクトル包絡 (右側)4システムの実装

5

実験結果

音声音響信号を入力し ，有声休止らしさとそれに日本語の音声対話コーパスから 100 発話を抜粋した基づく有声休止区間の判定結果をリアルタイムに出

評価用音声データを用意し ，それを対象に実験をお力するシステムを，提案した手法に基づいて構築しこなった．使用したコーパスは，Wizard of Oz 方式

た．出力形式として，視覚化のためのコンピュータグを用いて収録した自由発声音声の対話コーパス 20) でラフィックス，聴覚化のための音響信号，音声認識・あり，渋谷のレストラン，デパートなどの道案内をタ

対話システム等で使用するための連続的に変化する

スクとするものである．100 発話は，10 名の話者 (成数値 (タイムスタンプ付き) の三種類に対応した．コ人男性 5 名，成人女性 5 名) の発話から，有声休止をンピュータグラフィックスの出力では，中間結果や出最低一つ含む発話だけを，各話者につき 10 発話抜粋

力が確認できるよう，時間周波数平面上をスクローして構成した．ここでの発話は，無音で区切られた音

ルする基本周波数と高調波構造の軌跡を表示するウィ

声区間を意味し，300 ms 以上の無音区間を自動検出

ンドウ，スペクトル包絡を 3 次元表示するウィンドウ，して切り出された．

基本周波数の変動量，スペクトル包絡の変形量，有声休止らしさ，有声休止区間の判定結果を表示する

本実験では，再現率 (recall rate) と適合率 (precision rate) の観点から評価をおこなった．以下にこれ

ウィンド ウなどが表示される．出力音響信号は，推らの定義を示す．
正しく検出した有声休止の数
有声休止の総数
正しく検出した有声休止の数
適合率 =有声休止として検出した数

定した高調波構造が適切かど うかを確認できるよう，

再現率 =P ow(k, t; FF 0 (t)) に基づいて，正弦波重畳モデルで合成される．
我々は本システムを分散環境で実装し ，音響信号

(20)
(21)

実験の結果，再現率は 84.9 ％ (107 / 126)，適合率はの入出力，3 章で提案した手法の計算，中間結果や91.5 ％ (107 / 117) であった．ここでは，システムが出力の視覚化といったシステムを構成する各機能を，有声休止として検出した区間が実際の有声休止区間

LAN (Ethernet) 上に分散した異なるプロセスとしてに含まれているとき，正しく検出したと判定した．正実行できるようにした．その際，システムの拡張やし く検出した例の書き起こしテキストを以下に示す．

音声認識・対話システム等との接続を容易にするたシステムが検出した箇所の後に “@” マークをつけた．

めに，RACP (Remote Audio Control Protocol) を設「えー@っと」計し，それに基づいて実装した．RACP は，RMCP「 うんとー@ 」(Remote Music Control Protocol)19) を音響信号の伝送用に拡張したネットワークプロトコルである．現在「はい，ではー@ 」の実装では，提案手法の計算はパーソナルコンピュータ (Pentium MMX 200 MHz CPU, Linux 2.0) 上で実行され，音響信号の入出力や視覚化の処理はワーク
ステーション (SGI Octane R10000 250 MHz CPU,

Irix 6.4) 上で実行される．

「あのー@，道を曲がる前にー@ 」「えー@と，西武Ａ<e->館を知っていますか」「あー@んと，パルコパート１ <ichi>ごぞんじですか^ 」「ルームとしか言ってー@，ないんでお店の名前忘れちゃったんですけど 」「いや，ちょっとわからないんですけどー@，もう一度説明していただけません^ 」−14−

図 4: 有声休止区間の検出例: 男性の自由発話「一階にー，ありますね」/iqkaini-#arimasune/ に対して，人間が手作業でラベリングした音素系列 (上段) とシステムが検出した有声休止区間 (下段)

図 5: 音素系列のアラインメントの改善例: 元のアラインメントの結果 (上段) と検出した有声休止区間を用いることで改善されたアラインメントの結果 (下段)

システムの出力例を図 3 に示す．これは，男性の6

自由発話の一部である「 一階にー 」/iqkaini-/ を入

音声認識の性能向上へ向けた予
備実験

力し 終わった時点での画面表示である．左側のグラ
フが，基本周波数 (F0) FF 0 (t)，基本周波数の変動量提案した有声休止検出手法を音声認識の枠組みで

Af (t)，スペクトル包絡の変形量 As (t)，有声休止ら活用する第一段階として，検出した有声休止区間をしさ (possibility of ﬁlled pauses) Pf p (t)，有声休止区

用いることで，音素系列のアライン メントが改善さ

間 (“FILLED PAUSE” と書かれた濃い領域のある区

れ うるかを調査する予備実験をおこなった．本実験間) を表し，右側のグラフが，対応するスペクトル包

では，入力に対応した正解の音素系列は与えるもの

絡 Env(n, t) を表す．ここでは，/ni-/の有声休止がとし，その系列に合わせて連結した音素 HMM と，入適切に検出できている．実際にはこれらの表示はス

力とのマッチングをおこなった．標本化周波数は 16クロールしており，リアルタイムに確認可能である．

kHz，フレームシフト時間は 10 msec とし，音響特徴

次に，音素系列と検出した有声休止区間の対応を調べ量としては，16 次の LPC メルケプストラム係数とそた例を図 4 に示す．図中上段が，男性の自由発話「一の時間方向の変化量の計 32 次元を用いた．一般に，有階にー，ありますね」/iqkaini-#arimasune/ に対し

声休止は，ビタービ (Viterbi) アルゴ リズムによってて，人間が音を聞きながら手作業でアライン メント

決定される音素系列のアラインメントに対して，悪影を調節した音素系列を表す．図中下段のシステムが検響を与える．このアラインメントを改善するために，出した有声休止 (音節の引き延ばし ) 区間が，適切でここでは，状態継続時間長を動的に制御することをあることがわかる．

試みた．具体的には，検出した有声休止区間におい検出誤りの原因を分析した結果を以下にまとめる．
まず，再現率における誤り (検出もれ , miss) では，有て，ある母音の音素から次の音素への状態遷移を抑制した．

声休止音の持続時間が短すぎたり (短い「えー」/e-/

こうして音素系列のアライン メントが改善されたなど )，基本周波数の変化が通常より大きすぎたり，声例を図 5 に示す．図中上段が，図 4 と同一の発話に対がしわがれて高調波成分が乱れたりしたのが主な原する元のアラインメントの結果を表し，下段が，有声因であった．特に，ある特定の男性話者に関しては，

休止区間を用いた場合のアライン メントの結果を表

再現率が 53.8 ％と，例外的に低かった．これは，そす．実際に，有声休止が含まれる/ni-/の箇所で，アの話者がほとんどの発話を低いしわがれた声で話すたライン メントが改善されていることがわかる．このめであった．一方，適合率における誤り (誤検出, false

ような結果から，有声休止を含む発話に関しては，有alarm) の多くは，平坦な基本周波数で発声された，変化の少ない持続した有声音の箇所で起きていた．そう

声休止検出手法を用いることで，音声認識システムの性能を向上できる可能性があることがわかる．

した有声音は，音韻のなまけ現象 (target undershoot)によって生じやすかった．ただし，通常は単語中では
基本周波数の変動が十分大きいため，たとえ似た母

7

本稿では，音韻的に変化が少ない持続した有声音音が連続することがあっても，そのほとんどは有声休
止ではないと正しく判断されていた．

おわりにを見つけることで，有声休止 (音節の引き延ばしも含−15−む) の箇所を検出する手法について述べた．本手法では，二つの音響的な特徴量 (基本周波数の変動とスペクトル包絡の変形) が共に小さい箇所をボトムアップに検出することで，音韻やつなぎ 語の種類を問わずに有声休止を検出することを可能にした．その際，実世界の音響信号中の話者の音声に対しても本手法を適用できるように，入力音響信号中の最も優勢な高調波構造に基づいて，これらの音響的な特徴量を推定した．本手法を実装したシステムを用いて，日本
語の音声対話コーパスに対して実験した結果，再現率 84.9 ％，適合率 91.5 ％の高い精度で，リアルタイ
ムに有声休止を検出できることが確認された．
今後は，他の特徴の利用も考慮しながら，有声休止の検出精度を向上させていく予定である．例えば，
音楽音響信号を対象としたビートトラッキングの研究 21)∼24) 等を応用して話速を捉え，それを特徴として利用した検出の可能性も検討していく．また，音声認識システムで本手法を利用する際に，6 章では有声
休止区間のみを用いていたが，今後は有声休止らしさを用いることも考慮していく．さらに，対話において大切な役割を持つ有声休止を積極的に活用した音声対話システムの構築もおこなっていく予定である．

謝 辞
本研究は，通商産業省 RWC プロジェクトの一環として
電子技術総合研究所 RWI センターで実施した．同プロジェ
クト，同センターで研究推進に当たられた方々に感謝する．

参考文献[1] 田窪行則: 音声言語の言語学的モデルをめざして — 音
声対話管理標識を中心に —, 情報処理学会誌, Vol. 36,
No. 11, pp. 1020–1026 (1995).
[2] 伊藤克亘: 音声対話システム, 自然言語処理 — 基礎と応用 —, 電子情報通信学会, pp. 302–322 (1999).
[3] Ward, W.: Understanding Spontaneous Speech:
The Phoenix System, Proc. of ICASSP 91 , pp. 365–367 (1991).
[4] 中川聖一, 小林聡: 自然な音声対話における間投詞・
ポーズ・言い直しの出現パターンと音響的性質, 日本
音響学会誌, Vol. 51, No. 3, pp. 202–210 (1995).
[5] Kai, A. and Nakagawa, S.: Investigation on unknown word processing and strategies for spontaneous speech understanding, Proc. of Eurospeech’95 , pp. 2095–2098 (1995).
[6] 甲斐充彦, 中川聖一: 冗長語・言い直し等を含む発話のための未知語処理を用いた音声認識システムの比較
評価, 電子情報通信学会論文誌 D-II, Vol. J80-D-II,
No. 10, pp. 2615–2625 (1997).
[7] O’Shaughnessy, D.: Recognition of hesitations inspontaneous speech, Proc. of ICASSP 92 , pp. I–
521–524 (1992).

[8] Quimbo, F. C. M., Kawahara, T. and Doshita,
S.: Prosodic analysis of ﬁllers and self-repair inJapanese speech, Proc. of ICSLP 98 (1998).
[9] 田中敏: 「休止」の意味論, 言語, Vol. 22, No. 8, pp.
20–27 (1993).
[10] Rose, R. L.: The communicative value of ﬁlled pauses in spontaneous speech, PhD Thesis, University ofBirmingham (1998).
[11] 伊藤克亘, 秋葉友良, 上條俊一, 田中和世: 休止を区切りとした対話処理, 情処研報音声言語情報処理 95SLP-7-21, pp. 135–138 (1995).
[12] 峯松信明, 片岡嘉孝, 中川聖一: 講演調の話し言葉に対する分析, 情処研報音声言語情報処理 95-SLP-8-7,
pp. 39–46 (1995).
[13] Flanagan, J. L. and Golden, R. M.: Phase Vocoder,
The Bell System Technical J., Vol. 45, pp. 1493–
1509 (1966).
[14] Boashash, B.: Estimating and Interpreting The
Instantaneous Frequency of a Signal, Proc. of theIEEE , Vol. 80, No. 4, pp. 520–568 (1992).
[15] Charpentier, F. J.: Pitch detection using the shortterm phase spectrum, Proc. of ICASSP 86 , pp.
113–116 (1986).
[16] 阿部敏彦, 小林隆夫, 今井聖: 瞬時周波数に基づく雑音
環境下でのピッチ推定, 電子情報通信学会論文誌 D-II,
Vol. J79-D-II, No. 11, pp. 1771–1781 (1996).
[17] 河原英紀, 片寄晴弘, Patterson, R. D., de Cheveigné,A.: 瞬時周波数を用いた基本周波数の高精度の抽出について, 日本音響学会音楽音響研究会 H-98-116, pp.
31–38 (1998).
[18] Abe, T., Kobayashi, T. and Imai, S.: The IF spectrogram: a new spectral representation, Proc. of
ASVA 97 , pp. 423–430 (1997).
[19] 後藤真孝, 根山亮, 村岡洋一: RMCP: 遠隔音楽制御用
プロトコルを中心とした音楽情報処理, 情報処理学会
論文誌, Vol. 40, No. 3, pp. 1335–1345 (1999).
[20] Itou, K., Akiba, T., Hasegawa, O., Hayamizu, S.
and Tanaka, K.: A Japanese spontaneous speech
corpus collected using automatically inferencing
Wizard of OZ system, J. Acoust. Soc. Jpn. (E),Vol. 20, No. 3 (1999).
[21] 後藤真孝, 村岡洋一: ビートトラッキングシステムの並列計算機への実装 — AP1000 によるリアルタイム音楽情報処理 —, 情報処理学会論文誌, Vol. 37, No. 7,
pp. 1460–1468 (1996).
[22] 後藤真孝, 村岡洋一: 音響信号を対象としたリアルタイ
ムビートトラッキングシステム— コード変化検出による打楽器音を含まない音楽への対応 —, 電子情報通信学会論文誌 D-II, Vol. J81-D-II, No. 2, pp. 227–237(1998).
[23] Goto, M. and Muraoka, Y.: Real-time Beat Tracking for Drumless Audio Signals: Chord Change Detection for Musical Decisions, Speech Communication, Vol. 27, No. 3–4, pp. 311–335 (1999).
[24] 後藤真孝: 音楽音響信号を対象としたリアルタイム
ビートトラッキングに関する研究, 博士論文, 早稲田
大学 理工学部 (1998).

−16−