話し方の識別における有効な特徴量の検討に関する事例分析
A Case Study Analysis on Effective Features for Classifying Speaking Styles
0312017083 菅原 琴絵
指導教員：伊藤慶明 小嶋和徳 眞田尚久
DNN での学習時に学習条件の組み合わせごとに

1. はじめに常日頃から，話し方の印象・スタイルが重要とモデルの保存を行う．

なる機会は多く存在する．例えば，接客業ではマ

学習時に特徴量を DNN に入力する際，全結合ニュアルの音読でないような話し方が求められ層の層数，エポック数，学習率の種類ごとにモデる．そのため，話す印象・スタイルを自動で評価ルを構築し，開発データを用いて話し方クラスをする機能の需要は高いと考える．

2 値分類で識別する．識別結果から各学習条件のこの機能を実現するためには，様々な印象・ス

モ デ ル に つ い て Precision ・ Recall ， F 値 ，タイルを自動で識別可能にする必要がある．先行EER(Equal

研究 1)では，その過程として CSJ(日本語話し言Operating Characteristic) 曲 線 の AUC(Area葉コーパス)に収録されている印象評定データのUnder Curve) を 算 出 す る ． 各 学 習 条 件 で の「流暢な」と「たどたどしい」にそれぞれ分類さPrecision・Recall カーブの目視，F 値の最大値，れた音声に対して有効な特徴量を分析した．一方，EER の最小値，AUC の最大値を比較し，最も識他の印象・スタイルに分類された音声に対する同別精度が高いモデルを決定する．テストデータを様の研究は見られない．

用いて Precision・Recall カーブで評価した後 3

本論文では，CSJ の印象評定データに収録されErrorRate) ， ROC(Receiverつの評価指標で評価を行うことで有効な特徴量ている「その場で考えて話している」と「原稿をおよび結果の安定性の評価を行う．

読み上げている」に分類された音声に対して，「そ3. 実験の場で考えて話しているか否か」を識別する際に3.1. 実験条件有効な特徴量を検討する．先行研究の表1

Precision・Recall カーブの目視に加え，3 つの評

話し方クラス

価指標を新たに導入する．それぞれ最も識別精度

その場で考えて話しているどちらでもない原稿を読み上げている
合計1)が高いモデルを求め，Precision・Recall カーブの結果を基に 3 つの評価指標で評価を行い，結果の安定性を評価する．DNN(Deep Neural Network)の学習では学習条件の組み合わせごとにモデルを構築することで有効な特徴量の検討を行う．

2. 提案手法
2.1. 話し方クラス
CSJ の印象評定データは，10 人の評価者が各講演音声に対して発話スタイル・速度などの印象を 1～7 の間の数値で評価している．本論文では，その数値の平均を求め(Mean Opinion Score：MOS)，印象・スタイルを 3 通りに分類し，分類された各々のクラスを話し方クラスと呼ぶことにする．先行研究 1)でも同様の処理が行われた．
2.2. 提案手法

表2

データセットの内訳
講演データ数

音声セグ
メント数

MOS

305

1,221

4.7～6.4

134517

3.2～4.6

116431

1.4～3.1

555

2,169

1.4～6.4

非流暢特徴量と韻律特徴量の内訳

非流暢特徴量フィラーの数/モーラ数
語断片の数/モーラ数
フィラーモーラの数/
モーラ数
語断片モーラの数/モーラ数

韻律特徴量
話速
ポーズの数/モーラ数
無音率

データセットは CSJ の印象評定で評価された
555 講演を使用した．各講演音声は書き起こされたテキストが付いている．それらは発話ごとに分割されており，それぞれを音声セグメント 1 つとして使用した．データセットの内訳を表 1 に示

有効な特徴量を客観的かつ正確に検討するた

す．それらを学習データ：開発データ：テストデめに，本論文では 3 つの評価指標の導入およびータ＝8：1：1 に分割し，音声セグメントごとに特徴量を抽出した．非流暢特徴量，韻律特徴量は

表3
全結合層の数
バッチサイズ
エポック数
学習率
損失関数
活性化関数
最適化関数
ドロップアウト

DNN の学習条件{4, 5, 6}32{10, 20, 30, ……, 1500}{0.0001, 0.00001,0.000001, 0.0000001}
バイナリクロスエントロピー
tanh
Adam
0.3

図 2

テキストから抽出した．その詳細を表 2 に示す．

Precision・Recall カーブ

音響特徴量は特徴量ごとに最大値，最小値，平均値，標準偏差，分散を音声から求めた．その詳細な内訳は，RMS，ZCR，発話確率，F0，ジッター
ローカル，ジッターddp，シマーローカル，HNRの 8 個である．有効な特徴量を効率的に検討するために，関連がある特徴量をグループ化し，以下5 グループに分類した．①非流暢特徴量，②韻律
特徴量，③RMS と ZCR と発話確率と F0，④ジッターローカルとジッターddp とシマーローカ
ル(表現の簡略化のため，以降ジッター/シマーと呼ぶ)，⑤HNR，である．全特徴量を入力した場合と 4 つのグループの特徴量を入力した場合との識別精度の比較を行った後，有効な特徴量を含む組み合わせで比較を行うことで「その場で考え

図 3

F 値，EER，ROC 曲線の AUC

表 4

全ての評価指標における結論(◎：必須の特徴量，○：2 つの特徴量を入力，△：1 つ以上の特徴量を入力，×：不要)て話しているか否か」について識別した．DNN
Precision・Recall カーブの目視F値
EER
ROC 曲線の AUCのモデルを図 1，学習条件を表 4 に示す．
3.2. 実験結果有効であると推察した特徴量の組み合わせのPrecision・Recall カーブを図 2，F 値，EER，AUCを図 3 に示す．また，3.1 節でグループ分けした特徴量の番号を基に結論を表 4 に示す．全ての評
価指標において③RMS，ZCR，発話確率，F0 と④ジッター/シマーが必須となり，①，②，⑤の順に重要性が高くなる傾向が見られ，結果の安定性が確認できた．Precision・Recall カーブの目視
では③，④に①非流暢特徴量，②韻律特徴量，⑤③④

①②⑤◎

◎

○○○

◎ ◎ ◎ × ×
◎ ◎ △ △ ×◎ ◎ ◎ △ △全ての特徴量の組み合わせにおいて有意差が見られなかった．しかし，③，④，⑤を入力した場合，全特徴量と比べて 5.7pt 以上差が出るため，
表 4 では例外として×を記入している．ROC 曲
線の AUC では，③，④，①に②か⑤を加えた場合，全特徴量と同程度の結果が得られた．

4. おわりにHNR の 2 つの特徴量グループを加えた場合，全本論文では，「その場で考えて話しているか否特徴量と同程度となる結果が見られた．F 値ではか」を DNN で識別する際の有効な特徴量の検討③，④に①を加えた場合，全特徴量と有意差が見を行った．実験の結果，RMS，ZCR，発話確率，られない結果となった．EER では図 3 に挙げた

F0 とジッター/シマーが必須であると結論づけた．今後は特徴量グループを細分化しての入力や音声認識結果を使用しての実験を行っていく．

参考文献
1)

図 1

DNN のモデル図(()内の数字は次元数を示す)

H. Deng et al., ”Integrating Disfluency-based and Prosodic
Features with Acoustics in Automatic Fluency Evaluation ofSpontaneous Speech”, in Proc. 12th LREC, 2020, pp.64296437.