1-4-10
宇都宮大学パラ言語情報研究向け音声対話データベースの構築∗○森

1

大毅 (宇都宮大), 粕谷 英樹 (国際医療福祉大／宇都宮大), △中村 真 (宇都宮大)

はじめに音声言語に付随して伝達されるパラ言語情報は音声対話において核心的な役割を担っており、その運用、構造および効果を明らかにすることは、基礎研究のみならず音声合成・音声言語理解などの応用のためにも重要である。しかし、このような研究を主眼に置いて設計・構築された共通の音声コーパスはこれまで存在しなかった。
こうした背景から、宇都宮大学では自然で表情豊かな対話音声に含まれるパラ言語情報に関する研究への利用に適した音声対話データベー
ス (以下、UU データベース) を構築してきた。今回、UU データベースを広く音声・言語研究者の利用に供すべく公開する。本稿では、UU データベースの設計と収録、パラ言語情報の評定方法およびその統計情報について述べる。

できる。1 編の 4 コマまんがに対応する一連の対話をセッションと呼んでいる。各ペアが遂行した対話数は 3 から 7 セッションで、データベース全体では 27 セッション、約 130 分である。各話者の発話は、スラッシュ単位と間休止単位に基づく発話単位 [1] で切り出され、データベース全体では 4737 発話となっている。

3

パラ言語情報ラベルの付与作業

UU データベース最大の特徴の 1 つは、音声から知覚される話者の感情状態を記述したパラ言語情報ラベルが付与されていることである。本節では、パラ言語情報ラベリングの方法および作業の実際について述べる。
自由な会話においては、「怒り」「悲しみ」のような狭い意味での感情を含む音声はむしろ稀であり、伝統的な感情カテゴリを用いたラベリングは困難である。これまでの研究で、著者らは
2 設計と収録「快-不快」「覚醒-睡眠」「支配-服従」「信頼-不信」
UU データベースは、大学生 7 ペア (女性 12「関心-無関心」「肯定的-否定的」の 6 抽象次元に名、男性 2 名) による自然な対話における音声か基づき、発話から知覚される話者の感情状態をら成る。対話参加者は宇都宮大学に在籍する学部記述することを試みてきた。[2] では、UU デー生 (大半は文系学部) であり、音声収録にあたっタベース中の 2 セッションについて、多数評定者た第 1 著者の印象では概して快活である。対話によるラベリングの諸性質を詳細に検討してい参加者の募集は同学年の友人同士のペアを単位る。その意味で、この 2 セッションは性質がよくとして行い、普段いわゆる「ため口」で会話できわかっている「コア」サブセットである。
る間柄であることを条件とした。また、上記 7 ペ
データベース全体に対するパラ言語情報ラベアに含まれない男性 2 ペアについては、収録しリングは、[2] の知見を基に 2006 年度に遂行された対話が感情の起伏に乏しいと判断されたためた。[2] におけるラベラは、音声の研究室に在籍除外した。このような構成としたのは、音声が伝する学生が主体であったが、データベース全体に達する情報に占めるパラ言語情報の比重が、親対する作業は長期に及ぶため、学生では負担が近性の高さと関連すると予想されるからである。
大きすぎると考えられた。
対話参加者には、「4 コマまんが並べ換え課題」
そこで、人材派遣会社を通じて 6 名のラベラと呼ぶ、ばらばらにされた 4 コマまんがの 2 コマ候補者を募るとともに、「コア」に対するラベリ分をそれぞれ持ち、対話により元の順番を推定すング作業を実施し、スクリーニングを行った。スる課題を遂行させた。この課題では、納得の行くクリーニングは以下の基準で行った。
ストーリーを想像するプロセスや、女子学生が好むキャラクターを取り入れるなどの課題に没入
基準 1 一貫性させるための工夫により、極めて自発性が高く、 基準 2 平均評定値との類似性
言語的にも音声学的にも多様な対話音声が収録
基準 3 評定項目の独立性∗

Utsunomiya University Spoken Dialogue Database for Paralinguistic Information Studies. by
MORI, Hiroki (Utsunomiya University), KASUYA, Hideki (IUHW/Utsunomiya University),
NAKAMURA, Makoto (Utsunomiya University)

日本音響学会講演論文集- 311 -

2007年9月

5

0.2 0.4 0.6 0.8 1 1.2
standard deviation

01.4 1.6

20#26

0.2 0.4 0.6 0.8 1 1.2
standard deviation

10
5

0.2 0.4 0.6 0.8 1 1.2
standard deviation

1.4 1.60

0.2 0.4 0.6 0.8 1 1.2
standard deviation

4

#28
3

10
5

0

0.2 0.4 0.6 0.8 1 1.2
standard deviation

1.4 1.606

1.4 1.6

15

10
50020

#27

7

50

1.4 1.615
frequency

frequency

15

10
50

frequency

20

010
50

#25

15

← sleepy

frequency

frequency

10020

#24

15

aroused →

20

#23

15

frequency

200

0.2 0.4 0.6 0.8 1 1.2
standard deviation

1.4 1.621123← unpleasant456
7
pleasant →Fig. 1 同一発話に対する評定値の標準偏差分布
Fig. 2

UU データベースの平均評定値分布

Table 1 平均評定値との相関係数
快-不快
覚醒-睡眠
支配-服従
信頼-不信
関心-無関心肯定的-否定的

#23

#24

ラベラ
#25
#26

#27

#28

0.76
0.75
0.63
0.63
0.66
0.61

0.74
0.74
0.55
0.64
0.60
0.60

0.69
0.73
0.60
0.65
0.57
0.62

0.69
0.81
0.56
0.57
0.55
0.63

0.68
0.66
0.66
0.600.41
0.50

0.48
0.65
0.64
0.56
0.68
0.49

4

評定値分布と評定の一致率

パラ言語情報を記述する抽象次元の中でも、「快-不快」「覚醒-睡眠」の 2 次元は、話者自身の感情状態の最も一般的な指標であるとされている。Fig. 2 は、UU データベースに含まれる 4737
発話に対して、選出した 3 名のラベラが評定し基準 1 は、同一発話に対して同一のラベリングた「快-不快」および「覚醒-睡眠」の平均値の分ができているかを見るためのもので、順序をラ布である。図中、円の面積は発話数に比例していンダム化した「コア」中に混入させた 8 個の同一る。
「快-不快」「覚醒-睡眠」の間には正の相関が発話 (12 種類) の評定値のばらつきで判定する。
あり (r = 0.53)、Fig. 2 でも対角線付近のデータ
Fig. 1 に 6 名のラベラ候補者 (#23 から#28) のが多い。しかしながら、不快かつ覚醒 (左上の領標準偏差の分布を示す。#24, #25 は標準偏差が域) と知覚される発話も相当数含んでおり、全体0.8 を超えるばらつきの大きい発話が多い。それとして見れば、多様な感情状態での発話を含ん以外のラベラの標準偏差の分布は、[2] におけるだデータベースとなっていると言える。
大部分のラベラの標準偏差と比べて大きいもの
3 名のラベラによる評定値の一致率は、完ではなかった。なお、#26 は一見すると非常に安全一致 (3 名とも同じ) が 22.09% (偶然水準定したラベラのように見えるが、これは#26 の2.04%)、部分一致 (2 名が同じ) が 83.92%(偶然評定が保守的 (レンジが狭い) であるためである。
水準 38.78%) となっている。
基準 2 は、大多数のラベラと類似した評定ができているかを見るためのもので、過去 [2] に5 おわりに収集した 22 名による評定値の平均との相関係数UU デ ー タ ベ ー ス は 、国 立 情 報 学 研 究 所・(Table 1) で判定する。6 名のラベラ候補者の中音声資源コンソーシアムを通じて配布する予には、特に問題は見出されなかった。
定 で あ る 。UU デ ー タ ベ ー ス の 最 新 情 報 は 、基準 3 は、ラベリング結果を観察して事後的にhttp://uudb.speech-lab.org/より入手できる。
設けた基準である。#24 は、全発話のうち 30%以上について、6 次元の評定項目全てに対して同じラベルを付与していた。ほかのラベラの場合には数%程度であるから、#24 は集中力あるいは評定項目の理解が不足していたと考えられる。
以上の結果、基準 1 および基準 3 で問題があった#24 および#25、および作業継続が不可能となった#28 を除外した残りの 3 名をラベラとして選出し、全セッションに対するラベリングを遂行させた。

日本音響学会講演論文集

謝辞実験協力者の佐竹智幸さんに感謝します。この研究は科研費 (17700172) の支援を受けている。

参考文献[1] 森大毅: “対話音声のパラ言語情報研究用デー
タベースの分析単位,” 人工知能学会研究会資料,
SIG-SLUD-A603, pp. 9–14, 2007.
[2] 森大毅, 相澤宏, 粕谷英樹: “対話音声のパラ言語情報ラベリングの安定性,” 日本音響学会誌, 61(12),690–697, 2005.

- 312 -

2007年9月