社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

統計的手法に基づくリアルタイム声質変換処理の DSP 上への実装
森口拓人†

戸田 智基†

佐野 元明††

宏††佐藤

サクリアニ・サクティ†

中村

グラム・ニュービッグ†

哲†† 奈良先端科学技術大学院大学情報科学研究科，生駒市†† フォスター電機株式会社
E-mail: †{takuto-m,tomoki,neubig,ssakti,s-nakamura}@is.naist.jp
あらまし

肉伝導音声を用いたサイレント音声コミュニケーションや，無喉頭音声による代用発声において，統計的手法に基づくリアルタイム声質変換処理を用いた音声強調技術が研究されている．これまでは，主にノート PC な
どの十分な計算リソースが得られる環境下での動作が確認されているが，本技術を実環境で用いるには，より傾向性に優れたデバイスの使用が望まれる．本報告では，サイレント音声コミュニケーションのための非可聴つぶやき（Non-Audible Murmur: NAM）からささやき声への変換処理を，小型で低消費電力なデバイスである DSP 上へと実装する．DSP 上でのリアルタイム変換処理を実現するために，変換精度を保ちつつ，演算量を削減する手法を提案す
る．実験的評価結果から，本手法の有効性を示す．
キーワード

統計的声質変換 非可聴つぶやき

リアルタイム処理

DSP

演算量削減

Implementation of real-time statistical voice conversion on a DSP
Takuto MORIGUCHI† , Tomoki TODA† , Motoaki SANO†† , Hiroshi SANO†† , Graham NEUBIG† ,Sakriani SAKTI† , and Satoshi NAKAMURA†† Graduate School of Information Science, Nara Institute of Science and Technology, 8916-5 Takayama-cho,Ikoma-shi, 630–0101, Japan†† Foster Electric Company, Limited
E-mail: †{takuto-m,tomoki,neubig,ssakti,s-nakamura}@is.naist.jp
Abstract Real-time statistical voice conversion is one of promising approach to developing technology for body–
conducted speech in silent speech communication and alaryngeal speech produced by alternative speaking methods
for laryngectomees. Although it has been successfully implemented on devices with sufficient computational resources such as laptop PCs, an implementation in enviromments with limited resources such as portable devices
would greatly contribute its practical use. In this report, we implement real-time voice conversion from non-audible murmur into whisper on a DSP for silent speech interfaces. To achieve real-time processing, we propose somemethods for reducing computational cost while keeping conversion accuracy high. We conduct an experimental
evaluations, which shows effectiveness of the proposed methods.
Key words statistical voice conversion, non-audible murmur, real-time processing, DSP, reduction of computational cost

1. ま え が きる際には秘匿性の高い内容を発声するのに躊躇する，身体的な障害により発声機能が失われると音声を発声すること自体がで音声は基本的なコミュニケーション手段の 1 つであり，携帯きなくなる，といった音声コミュニケーションに内在する問題

電話などの普及により，その利便性はさらに改善され，いつでが浮き彫りとなっている．これらの解決を目指し，新たな収音もどこでも使用することが容易となった．一方で，静かな環境

デバイスや音声強調処理を用いた技術がいくつか研究されてい下で音声を発声すると周囲の人に迷惑をかける，周囲に人がいる [1] [2]．

—1—

ケーションへと応用するために，リアルタイム変換処理が提案されており，ノート PC など十分な計算リソースが得られる環
境において，その動作が確認されている [5]．本技術をさらに発展し，歩行しながらの利用や長時間の利用など実環境での使用を可能とするためには，より傾向性に優れたデバイス上への実装が望まれる．
本報告では，携行性の高いデバイスとして，小型で低消費電力の DSP（図 2）に着目し，NAM からささやき声へのリアル
タイム変換処理を実装する．DSP の演算能力は，ノート PC と比較すると限定される．そこで，変換精度を保ちつつ演算量を図 1 Setting position of NAM microphone

削減する手法を提案することで，DSP 上でのリアルタイム動作を実現する．実験的評価により，DSP による変換処理においても，従来のオフライン変換処理と同等の品質の変換音声が得られることを示す．
以下，2 節でリアルタイム肉伝導音声変換処理について述べ，3 節で演算量削減について述べる．4 節で実験的評価について述べ，最後に 5 節で本報告の結論と今後の課題について述べる．

2. NAM からささやき声へのリアルタイム変換
処理
図 2 DSP used in this report

統計的手法に基づく声質変換に基づき，NAM からささやき

秘匿性が高く，周囲に迷惑をかけない発声を可能とするサイ

声への変換 [4] を行う．予め収録された NAM とささやき声のレント音声インタフェース [1] の一つとして，体内伝導音声の同一文発話データ（パラレルデータ）を用いて，変換モデルを

非可聴つぶやき（Non-Audible Murmur: NAM）が提案され事前に学習することで，任意の発話に対する NAM からささやている [3]．NAM は，「声帯振動ではなく気道の乱流雑音を音源

き声へのリアルタイム変換処理 [5] が可能となる．図 3 に，分析とする無声呼気音が, 発話器官の運動による音響的フィルタ特窓長を 25 ms，分析フレームシフト長を 5 ms とした際の NAM

性変化により調音されて, 人体頭部の主に軟部組織を伝導したからささやき声へのリアルタイム変換処理を示す．各フレームもの」と定義される．気導音としては周囲の人が聞き取ることにおいて，特徴量抽出処理，特徴量変換処理，波形合成処理がが困難なほど小さな無声音のつぶやきであるが，専用の収音機行われる．リアルタイム動作を実現するためには，これら一連器である NAM マイクロフォンを図 1 に示すように耳介後方にの処理を，分析フレームシフト長の時間内で終わらせる必要が圧着することで，体内を通じて体表から直接収録可能である．

ある．以下では，変換モデルの学習処理およびリアルタイム変NAM マイクロフォンは，骨伝導マイクロフォンなどの他の体換処理について述べる．

内伝導マイクロフォンと比較して，比較的高い品質の体内伝導

2. 1 学 習 処 理

音声を収録することができ，空気伝導マイクロフォンでは周囲時間フレーム t における NAM のスペクトルセグメント特徴の雑音に埋もれて収録が困難となる NAM のようなわずかな音量（D (X) 次元ベクトル）を X t とし，前後 C フレームの情報

声も収録可能といった特徴を持つ．一方で，NAM は体内を通ローパス特性の影響により，空気伝導の音声と比較してその周を用いて，次式により抽出する．
!
"!
!
!
X t = E x!
+ft−C , · · · , xt , · · · , xt+C

波数特性は大きく異なる．その結果，自然性および明瞭性は大表し，本報告ではメルケプストラムを用いる．メルケプストラ

きく劣化する．

ムの計算には，精度は低いが高速に動作する分析処理（FFT 分

じて収録されるため，口唇での放射特性の欠如や肉伝導による(1)

ここで xt は時間フレーム t におけるスペクトルパラメータをNAM の音質および明瞭性を改善する手法として，統計的声析，対数変換，一次の全域通過フィルタによる周波数軸変換）

質変換に基づく NAM から自然な音声への変換法が研究されてを用いる．また，E および f は各々変換行列およびバイアスベ

いる [4]．自然な音声として通常音声への変換が究極的な目標

クトルを表し，学習データに対する主成分分析により求める．

ではあるものの，無声音声である NAM から基本周波数の推定! は転置を表す．一方で，ささやき声のスペクトル特徴量とし#$! !
て，Y t = y !
を用いる．スペクトルパラメータ y t の
t , ∆y t

を必要とする通常音声への変換処理は極めて困難であり，十分な変換精度が得られていない．そこで，基本周波数の推定を必要としない手法として，自然な無声音声であるささやき声への抽出には，高精度な分析手法として最尤推定に基づくメルケプ
ストラム分析 [6] を用い，動的特徴量 ∆y t は ∆y t = y t − y t−1変換が提案されており，自然性および明瞭性を大幅に改善出来により計算する．

ることが確認されている．さらに，本技術を人対人のコミュニ

パラレルデータに対して動的時間伸縮を行い，入力特徴量 X t#$! !
と出力特徴量 Y t の対応付けを行った結合ベクトル X !
t ,Y t—2—

Frame shift = 5 ms
Input
waveform
Featureextractions

Speechparameters xt − 3 xt − 2 xt − 1

xt

Sourcefeatures

Xt

X

t−3

X

X

t−2

t−1

xt + 2 Window length

xt + 1= 25 ms

Recursive update of state parameters

Selectedm̂t − 3 m̂t − 2 m̂t − 1 m̂t
mixturecomponentsm̂tPParameterin state space

Conversion

P

(t−3)

P

(t−2)

P

(t−1)

P

Synthesis(GV )!(t−1)P (t)ŷ !(t−1)ŷ (t)P(t)ŷ (t−3) ŷ (t−2) ŷ (t−1) ŷ (t)Converted
speechparameters(t−1)

ŷ (t−1)(GV )ŷ (t−3) ŷ (t−2)(GV )Excitation(White noise)
Converted
waveformŷ (t−2)

Max delay = 35 ms

図 3 Frame-by-frame processing in real-time voice conversion (C = 2, L = 2)を用いて，次式に示すとおり，結合確率密度関数を混合正規分
布モデル (Gaussian mixture model: GMM) でモデル化する．
%&
P X t , Y t |λ(X,Y )
(!
)
M
"!
'
!
(X,Y )(X,Y )=
αm N X !
,
Y
;
µ
,
Σ
(2)
t
t
m
m

*m=1 +
ここで，N ·; µ, Σ は平均ベクトル µ，および共分散行列 Σを持つ正規分布である．混合数 M の GMM のモデルパラメー
タセット λ(X,Y ) は，各分布 m の混合重み αm ，平均ベクトル(X,Y ))µ(X,Yおよび共分散行列 Σmmで構成される．m 番目の分布(X,Y ))
において，平均ベクトル µ(X,Yおよび共分散行列 Σmm

次式で表される．
,
µ(X)
m
)
µ(X,Y
=
m
)
µ(Y
m

)
Σ(X,Y
=
m

,

(XX)

Σm

(Y X)

Σm

は

(3)

(XY )

Σm

(Y Y )

Σm

-

(4)

(XX)

(Y Y )

，Σm

m̂t

=
=

%
&
argmax P m|X t , λ(X,Y )m%&argmax N X t ; m, λ(X,Y )

(XY )

，Σm

(Y X)

および Σmは

入力特徴量および出力特徴量の共分散行列，相互共分散行列を(6)m

そして，式 (5) の最大化処理に対して，現在の時間フレーム tまでの準最適な分布系列とカルマンフィルタによる近似を導入することで，L フレーム前における変換静的特徴量 ŷ t−L （本報告では L = 3 程度）を決定する [7]．X t が与えられた際のY t に対する条件付き確率密度関数と各フレームの m 番目の混
合要素は正規分布によりモデル化され，その平均ベクトルと共分散行列はそれぞれ次式で与えられる．
%&(Y |X))(Y X) (XX)−1µm,t = µ(YΣm
X t − µ(X)m + Σmm|X)
Y)X) (XX)
Σ(Y
= Σ(Y
− Σ(Y
Σm
m
m
m
(Y |X)

共分散行列 Σm(Y )ここで µ(X)m および µm は入力特徴量および出力特徴量の平均ベクトルを表し，Σmを次式で決定する．

−1

)
Σ(XY
m

(7)

(8)

の対角要素のみを用いるため，ŷ t−L は次

元毎に独立に求める．(L + 1) × (L + 1) 次元の状態共分散行列
(0)

(0)

P d と (L + 1) 次元の状態ベクトル ŷ d をそれぞれ零行列と零ベクトルに初期化する．そして，それらを各時間フレームごとに次式で再帰的に更新を行う．

表す．

2. 2 リアルタイム変換処理
時 間 フ レ ー ム 1 か ら T ま で の NAM お よ び さ さ や き#$! !
声 の 特 徴 量 系 列 を そ れ ぞ れ X = X!
,Y =1 , · · · , XT
# !
$
! !
Y 1 ,··· ,Y T
とおく．このとき，変換後の静的特徴量系#$! !
列 ŷ = ŷ !
,
·
·
·
,
ŷ
は次式で計算される．
1T%&ŷ = argmax P Y |X, λ(X,Y ) subject to Y = W y (5)y

ここで，W は静的特徴量系列 y を静的・動的特徴量系列 Y に

(t−1)

P !d

$(t−1)

ŷ d

!
"
(y|X)
J!
L + diag 01×L , Σmt ,d

(9)

!
"!
(y|X)
+ 01×L , µmt ,t,d

(10)

(t−1)

= J LP d(t−1)= J L ŷ d

%
&
(t)
(t)
$(t−1)
P d = I − kd w L P d(t)$(t−1)ŷ d = ŷ d

(t)

+ kd

写像する変換行列を表す [6]．リアルタイム変換処理では，短遅

%

(11)

$(t−1)(∆y|X)µmt ,t,d − wL ŷ d
(t)

&

(12)

延変換法 [7] を導入することで，式 (5) を近似的に解く．まず，

ここで (L + 1) 次元のベクトル kd はカルマンゲインを表し，

各時間フレームにおいて準最適な分布系列 m̂ = {m̂1 , · · · , m̂T }次式で計算される．

—3—

(t)

(t−1)

kd = P d%&−1(∆y|X)(t−1) !
w!
+ wL P dwLt Σmt ,d(13)

そして (L + 1) 次元の行ベクトル wL および (L + 1) × (L + 1)次元の行列の J L はそれぞれ次式で与えられる．

!

"

wL = 01×(L−1) , −1, 1 , J L =

,

0
0

I L×L
01×L

-

(14)

(∆y|X)と Σm,dは，式 (13)に示すカルマンゲインの最適化と式 (11)，(12) に示す状態共分
散行列と状態ベクトルの更新を行うために用いられる．更新さ(t)

れた状態ベクトル ŷ d の一次元目の要素が，フレーム t − L における変換静的特徴量の d 次元目の要素 ŷt−L,d として出力される．結果，フレーム遅延量は，式 (1) における先読みフレー
ム数 C と合わせて，L + C となる．
また，変換音声の品質を向上させるために，系列内変動（Global Variance: GV）[8] を考慮したポストフィルタ処理 [5]
!
"!
(y)
(y)
を導入する．GV ベクトル v (y) = v1 , . . . , vD(y)は，ささやき声の静的特徴量系列に対して，各発話ごとに次式で計算さ
れる．
(y)

vd

=

%
& %
&
(XX)
(Y |X)|X)
αm N X t ; µ̂(X)N Y t ; µm,t , Σ(Ymm , Σ̂m

M'(17)

ここで，A および b は CMLLR の変換パラメータである．入力
特徴量に対する確率密度関数に対して共分散行列の対角化が行(XX)われており，その平均ベクトル µ̂(X)m および共分散行列 Σ̂mは次式にて表される"−1 (X )µ̂(X)−A−1 bm = A µm
"

(XX)

(18)

"

X ) −!
= A−1Λ(X
A
m

Σ̂m

(19)
(XX)

各混合要素に依存する全共分散行列 Σ̂mは，各混合要素に(X " X " )依存する対角共分散行列 Λmと全混合要素で共通の変換行

列 A で表される．CMLLR の変換パラメータ {A, b} と各混合
(X " X " )要素に依存するパラメータ {Λm

"

)
, µ(X
m } は，学習データを用いて最尤推定により最適化される．なお，その際に用いる十分統計量は，元の全共分散行列を持つ結合 GMM と学習データ
中の結合ベクトルを用いて計算する．
リアルタイム変換処理では，全混合要素に対して共通の CM-

=

T %
'

T
'

1
1
yt,d −yτ,dT t=1
T τ =1&(15)

ここで yt,d はフレーム t のささやき声の静的特徴量ベクト
ル y t の d 次元目の要素である．事前に学習データから，ささやき声の特徴量系列に対する GV の平均ベクトル µ(v) =
!
"!
(v)
(v)
µ1 , · · · , µ Dを求めておく．また，学習データ中の NAMに対して，短遅延変換処理を行うことで変換特徴量系列を求め，それに対するバイアスの平均ベクトル $ŷ% = [$yˆ1 %, · · · , $ŷD %]!
!
"!
(v)
(v)
および GV の平均ベクトル µ̂(v) = µ̂1 , · · · , µ̂Dを予め計算しておく．リアルタイム変換処理では，これらの平均ベクトルの値を用いて，d 次元目の変換静的特徴量 ŷt,d をフレームごとに次式にて強調する．
(GV )

ŷt,d

習 [7] の枠組みを応用して，共分散行列の対角化を行う．対角m=1

散行列と状態ベクトルを予測するのに用いられる．また，それ(∆y|X)

Likelihood Linear Regression: CMLLR）に基づく話者適応学化が行われた際の結合確率密度関数は次式で与えられる．
%&
P X t , Y t |λ(X,Y ) , A, b

(Y |X)
平均ベクトル µm,t における d 次元目の静的特徴量に対する(y|X)(Y |X)
要素 µm,t,d と，共分散行列 Σmにおける d 次元目の静的特(y|X)
徴量に対する対角要素 Σm,d が，式 (9)，(10) に示す状態共分

らの動的特徴量に対する要素 µm,t,d

本報告では，制約付き最尤線形回帰（Constrained Maximum

1
(v) 2

= µd

−1
(v) 2

µ̂d

(ŷt,d − $ŷd %) + $ŷd %LLR 変換パラメータを，モデルパラメータに対してではなく，
特徴量ベクトルに対して適用する．

X $t = AX t + b(20)

この計算を行うために，CMLLR の変換パラメータを，式 (1)で使用するパラメータ E と f に対して，次式のように事前に適用しておくE $ = AE(21)

f $ = Af + b(22)

また，式 (7) で表される条件付き確率密度関数の平均ベクトルの計算においても，変換特徴量ベクトル X $t に対応させるため，(16)

次式のようにパラメータを事前に変形しておく．
"

3. 演算量削減
NAM からささやき声へのリアルタイム変換処理を DSP 上へと実装する．リアルタイム動作を実現するために，変換音声の品質劣化を最小限に抑えつつ，演算量の削減を行う．

X )
X) !
Σ(Y
= Σ(Y
A
m
m
"

(23)

"

X )
Σ(X
= AΣ(XX)
A!
m
m

(24)

"

)
µ(X
= Aµ(X)
m
m +b

(25)

3. 1 共分散行列の対角化による演算量削減

これにより，変換時における式 (1) と式 (7) に関する演算量はNAM からささやき声への変換処理では，全共分散行列が使一切増加しない．一方で，変換特徴量ベクトル X $ および対角(X " X " )用されるため，式 (6) に示す分布選択処理における演算量は多化処理において最適化されたモデルパラメータ Λ̂い．変換精度の劣化を抑えつつ，演算量を削減する手法として，ることで，式 (6) は次式にて表せる．
%&.
"(X " X " ))m̂t = argmax αm |A|2 N X $t ; µ̂(Xm , Λ̂m

肉伝導有声音声に対する変換処理でその有効性が確認されている最尤基準に基づく共分散行列の対角化 [5] を導入する

を用い

(26)

m

—4—

(XX)

計算オーダーは，全共分散行列 Σm""

2を用いた場合の O(D(X) )(X X )と比較し，対角共分散行列 Λ̂mの使用により O(D (X) ) となる．

3. 2 プログラムの高速化
DSP 上でのリアルタイム動作を実現するために，プログラ
ムの高速化（除算から乗算への置き換え，ビットシフト演算処理への置き換え，FFT における回転因子のテーブル化）を行う．また，DSP 用コンパイラの組み込み関数を使用することで高速化を行う．これらの処理は，基本的に変換精度に一切影響を与えない．
さらなる高速化を行うために，演算量の多い指数計算や対数計算に対しては，区分線形関数による近似計算を導入する．また，ケプストラムからメルケプストラムへの変換を行う一次の全域通過フィルタ演算においては，高次のケプストラム係数を0 で近似することで，演算量を削減する．これらの処理は，変換精度に影響を与える可能性がある．これについては，次節の実験的評価において調査する．

3. 3 分析フレームシフト長の変更
リアルタイム変換処理では，特徴量抽出処理，変換処理，波形合成処理を分析フレームシフト長の時間内で終わらせる必要があるため，分析フレームシフト長を長くすることで，必要な演算量を大幅に削減することができる．例として，分析フレー
ムシフト長を 5 ms から 10 ms に変更した際には，特徴量抽
出部と変換部については，処理回数は変わらないため，リアル
タイムファクタ（処理時間／分析フレームシフト長の時間）は半減する．一方で，合成部に関しては，分析フレームシフト長に相当する変換音声波形をフィルタリング処理で生成するため，本処理のリアルタイムファクタは変化しない．なお，分析
フレームシフト長の変更が変換精度に与える影響については，
次節の実験的評価において調査する．

4. 実験的評価

用いる．浮動小数点版の DSP として，TI 社の TMS320C6748（375 MHz）を用いる．
以下のシステムに対して，DSP 上での処理時間および変換精度を評価する．

•

Offline：オフライン変換処理（GV を考慮した系列単位•

Baseline：2.2 節で述べた従来のリアルタイム変換シス•

Diag：Baseline に対して 3. 1 節で述べた共分散行列の対•Fast：Baseline に対して，3. 2 節で述べたプログラムの•

10ms：Baseline において，分析フレームシフト長を 10 ms•

Diag+Fast：Diag に対して 3. 2 節で述べたプログラム•

Diag+Fast+10ms：Diag+Fast において，分析フレーム•

DSP：Diag+Fast+10ms を DSP 上で動作させたシスのバッチ変換処理）を用いるシステム [4]テム（分析フレームシフトは 5 ms）[5]角化を導入したシステム
高速化を導入したシステムとしたシステムの高速化を導入したシステム
シフト長を 10 ms としたシステム
テム
なお，DSP 上で変換処理を動作させる際には，NAM データのライン入力を行う．本稿で用いる DSP の音声入力システムの特性として，高域が減衰する傾向がある．そのため，事前に音声入力システムのインパルス応答を測定しておき，それを学習
データの NAM に畳み込むことで，入力特性を加味した NAM
データを作成する．得られた NAM データを用いて GMM を学習することで，入力特性による変換音声の品質劣化を解消する．
客観評価実験として，個々のシステムにおいて，各フレーム
における処理時間と分析フレームシフト長の時間比から計算されるリアルタイムファクタを計算する．また，スペクトル変換精度を評価するために，変換特徴量と目標特徴量間のメルケ
プストラムひずみを計算する．主観評価実験では，各システム

DSP 上に実装した NAM からささやき声へのリアルタイム
変換処理の有効性を検証するために，客観評価実験及び主観評
価実験を行う．

4. 1 実 験 条 件
同一話者に対して，NAM マイクロフォンによる NAM 収録と，空気伝導マイクによるささやき声収録を行う．話者は男性 2名，女性 1 名であり，各話者において，学習データとして ATR（Diag+Fast は除く）による変換音声の聞き取りやすさに関して，オピニオン評価を行う．オピニオンスコアは 5 段階（1：非常に悪い〜5：非常に良い）に設定する．被験者は男性 10 名であり，1 人あたり各システムにつき 15 サンプル，計 105 サン
プルを受聴する．提示するサンプルについては，評価データの中から被験者毎にランダムに選択する．

4. 2 リアルタイム性能に関する客観評価結果

音素バランス文セット中の約 50 文，評価データとして新聞記事各システムにおいて，特徴量抽出処理，変換処理，波形合成

約 150 文を用いる．サンプリング周波数は 16 kHz とする．ス

処理に要する時間（リアルタイムファクタ：処理時間／分析フ

ペクトル特徴量として 0 次から 24 次のメルケプストラム係数を用いる．スペクトル分析は NAM に対しては FFT 分析を用い，ささやき声に対してはメルケプストラム分析 [9] を用いる．
分析フレームシフトは 5 ms および 10 ms とする．5 ms シフトの際には，スペクトルセグメント特徴量抽出には前後 4 フレーム（C=4）を使用し，短遅延変換処理における遅延フレーム数
は 3（D=3）とする．一方で，10 ms シフトの際には，C=2，

D=2 とする．GMM の混合数は 32 とし，特定話者モデルをレームシフト長）を，図 4 に示す．共分散行列の対角化（Diag）
を用いることで変換処理時間が大幅に減少し，さらにプログラ
ムの高速化（Diag ＋ Fast）を導入することで特徴量抽出処理
時間が大幅に減少する．しかしながら，リアルタイムで動作するまでには至らない．さらに，分析フレームシフト長を 10 msにすることで，リアルタイム動作を実現出来ることが分かる．

4. 3 変換精度に関する客観評価結果
オフライン変換システム（Offline）と比較して，カルマン

—5—

5

Synthesis
Conversion
Feature extraction

6

Real-time factor

5
4
3
2

Mean Opinion Score (MOS)74.5

95% confidence interval

4
3.5
3
2.5
2
1.5

1

1 Offline Baseline0Baseline

Diag

Diag+Fast

Diag+Fast+10ms

Conversion systems
図 4Real-time factor calculated as (processing time)/(shift
length) in each system

Male B

Average

5.4

Mel-cepstral distortion [dB]Diag

10ms Diag+Fast+10ms
Conversion systems

DSP

図 6 Result of opinion test in each system

リアルタイム声質変換の他の応用例として，無喉頭音声から通常音声への変換に基づく喉頭摘出者のための発声補助 [10] がMale A

Female A

Fast

ある．NAM からささやき声への変換処理と比較し，通常音声への変換処理では，より多くの演算量を必要とする．今後，通5.2

常音声へのリアルタイム変換処理を DSP 上へ実装する予定で5ある．さらに，これらのリアルタイム変換システムの実環境下4.8への適用を目指す．

4.6

謝辞 本研究の一部は，科研費補助金若手研究（Ａ）により4.4実施したものである．

4.2

文

4
3.8
3.6

Offline Baseline

Fast

Diag

10ms

Conversion systems
図5

Diag+Fast+10ms

Mel-cepstral distortion in each system

フィルタや GV のポストフィルタリング処理を導入したオンラ
イン変換システム（Baseline）は，平均的にほぼ同等の変換精度が得られることが分かる．オンライン変換システムにおいて，プログラムの高速化（Fast）が変換精度に与える影響は極めて小さい．一方で，共分散行列の対角化（Diag）と分析フレーム
シフト長の拡大（10ms）に関しては，若干変換精度を劣化させる傾向がある．ただし，DSP 上でリアルタイム動作するシステ
ム（Diag+Fast+10ms）と比較すると，これら二つの要因は加算的に変換精度劣化をもたらすものではなく，個々の要因のみを導入した際とほぼ同等の変換精度が得られることが分かる．

4. 4 主観評価結果
図 6 に主観評価実験の結果を示す．個々のシステムにおいて，変換音声の聞き取りやすさには大きな差がないことが分かる．
結果，オフラインシステムと同等の品質を保ったまま，DSP 上
でリアルタイム変換が可能であることが分かる．

5. 結

び

本報告では，非可聴つぶやき（Non-audible murmur: NAM）
からささやき声へのリアルタイム変換処理に対して，演算量削減処理を導入し，DSP 上への実装を行った．客観評価実験と主
観評価実験の結果，変換精度劣化を最低限に抑えつつ，DSP 上

献[1] B. Denby, T. Schultz, K. Honda, T. Hueber, J. M. Gilbert,
and J. S. Brumberg. “Silent speech interfaces.” Speech Commun. 52, pp. 270–287, Apr. 2010.
[2] A. Subramanya, Z. Zhang, Z. Liu, and A. Acero. “Multisensory processing for speech enhancement and magnitudenormalized spectra for speech modeling.” Speech Communication, Vol. 50, No. 3, pp. 228–243, 2008.
[3] 中島淑貴, 柏岡秀紀, ニックキャンベル, 鹿野清宏, “非可聴つぶや
き認識 , 信学論, Vol. J87-D-II, No.9, pp. 1757–1764, 2004.
[4] T. Toda, M. Nakagiri, K. Shikano. “Statistical voice conversion techniques for body-conducted unvoiced speech enhancement.” IEEE Transactions on Audio, Speech and Language Processing, Vol. 20, No. 9, pp. 2505–2517, Sep. 2012.
[5] T. Toda, T. Muramatsu, H. Banno. “Implementation ofcomputationally efficient real-time voice conversion.”, Proc.
INTERSPEECH, Portland, USA, Sep. 2012.
[6] K. Tokuda, T. Yoshimura, T. Masuko, T. Kobayashi, T.
Kitamura, “Speech parameter generation algorithms for
HMM-based speech synthesis”, Proc. ICASSP, pp.1315–
1318, Jun. 2000.
[7] T. Muramatsu, Y. Ohtani, T. Toda, H. Saruwatari, K.
Shikano. “Low-delay voice conversion based on maximum
likelihood estimation of spectral parameter trajectory.”,
Proc. INTERSPEECH, pp. 1076–1079, Brisbane, Australia,
Sep. 2008.
[8] T. Toda, K. Tokuda. “A Speech parameter generation algorithm considering global variance for HMM-based speechsynthesis.” IEICE Transactions on Information and Systems, Vol. E90-D, No. 5, pp. 816–824, May. 2007.
[9] 徳田恵一, 小林隆夫, 深田俊明, 斎藤博徳, 今井 聖, “メルケプス
トラムをパラメータとする音声のスペクトル推定, 信学論, Vol.
J74-A, No. 8, pp. 1240–1248, 1991.
[10] K. Nakamura, T. Toda, H. Saruwatari, K. Shikano.
“Speaking-aid systems using GMM-based voice conversion
for electrolaryngeal speech.” Speech Communication, Vol.
54, No. 1, pp. 134–146, Jan. 2012.

でリアルタイム動作する変換処理を実現できることが分かった．

—6—