2モーラ語「ええ」に対するパラ言
語情報の認知におけるF0の影響

高見 和之†○小林 聡‡†島根大学 総合理工学部‡島根大学 総合情報処理センター

1

目的
パラ言語情報のチャンネルは多様F0の高さと変化に注目
どのようなパラ言語情報が受け取られるか?
24個の印象語を用いて影響を調査!
関連研究は報告書参照
いくつか、より新しいもの有2

本研究におけるパラ言語の定義
藤崎による定義
パラ言語

本研究の仮定パラ言語(制御が容易)(意識的に制御可能)(対話中の動的変化が容易)

意図、態度、グループ特有のスタイル

態度、意図、スタイル
感情等心理的状態

非言語

非言語(意識的に制御不可能)
個人的特徴、身体的状態、感情等心理的状態(制御が困難)(対話中の動的変化が困難)≒ 心的状態≒ 肉体的状態

個人的特徴、身体的特徴、体調

3音声試料1/3
2モーラ語「ええ」
語義的に多義的!
2種類の合成音声➔多義的とは?
➔無意味語、信号音(?)は適切か?

評価対象音声…前と後のF0を変えた「ええ」（同じ高さの場合もある）
基準音声…F0=120Hzの「ええ」

基準音声×3+評価対象音声×1を1セットフォルマント合成方式のklattの合声器で作成

4

音声試料2/3
前の「え」

164.8Hz ミ：
88.3Hz ファ

後の「え」
ソ 197.0Hz：
ファ 174.6Hz：
1オクターブファ：
3度
レ 73.4Hz
5音声試料3/3
変化率ごとに3種類ずつ、計75パターン
声の高さが上がる
声の高さが下がるファ ファ♯ ソ ソ♯ ラ ラ♯ シ ド ド♯ レ レ♯ ミ
ファ ファ♯ ソ ソ♯ ラ ラ♯ シ ド ド♯ レ レ♯ ミ
5.9% ファ♯ソ ソ♯ ラ ラ♯ シ ド ド♯ レ レ♯ ミ ファ
-5.9% ミ ファ ファ♯ソ ソ♯ ラ ラ♯ シ ド ド♯ レ レ♯
12.2% ソ ソ♯ ラ ラ♯ シ ド ド♯ レ レ♯ ミ ファ ファ♯ -12.2% レ♯ ミ ファ ファ♯ソ ソ♯ ラ ラ♯ シ ド ド♯ レ
18.9% ソ♯ ラ ラ♯ シ ド ド♯ レ レ♯ ミ ファ ファ♯ソ
-18.9% レ レ♯ ミ ファ ファ♯ソ ソ♯ ラ ラ♯ シ ド ド♯
26.0% ラ ラ♯ シ ド ド♯ レ レ♯ ミ ファ ファ♯ソ
-26.0%レ レ♯ ミ ファ ファ♯ソ ソ♯ ラ ラ♯ シ ド
33.5% ラ♯ シ ド ド♯ レ レ♯ ミ ファ ファ♯ソ
-33.5%レ レ♯ ミ ファ ファ♯ソ ソ♯ ラ ラ♯ シ
41.4% シ ド ド♯ レ レ♯ ミ ファ ファ♯ソ
-41.4%レ レ♯ ミ ファ ファ♯ソ ソ♯ ラ ラ♯
49.8% ド ド♯ レ レ♯ ミ ファ ファ♯ソ
-49.8%レ レ♯ ミ ファ ファ♯ソ ソ♯ ラ
58.7% ド♯ レ レ♯ ミ ファ ファ♯ソ
-58.7%レ レ♯ ミ ファ ファ♯ソ ソ♯
68.2% レ レ♯ ミ ファ ファ♯ソ-68.2%
レ レ♯ ミ ファ ファ♯ソ
78.2% レ♯ ミ ファ ファ♯ソ-78.2%
レ レ♯ ミ ファ ファ♯
88.8% ミ ファ ファ♯ソ
-88.8%レ レ♯ ミ ファ
100% ファ ファ♯ソ-100%
レ レ♯ ミ
声の高さが同じ
ファ ファ♯ ソ ソ♯ ラ ラ♯ シ ド ド♯ レ レ♯ ミ
0.0% ファ ファ♯ソ ソ♯ ラ ラ♯ シ ド ド♯ レ レ♯ ミ
…作成した音声後の「え」のF0
変化率＝（ 前の「え」のF0 －1）×100 [%]

6

聴取実験
75セットを5つの再生リストに振り分け
1人の被験者は3つの再生リスト
計45セット聴取評価
1セットごとに基準音声に対する評価対象音声
印象語: 24個
各々5段階で評価
悲しみ 驚き 安堵 中立 冷静 嫌悪
無関心 恐れ 慎み 高揚 同情 不安
不満
落胆 怒り 満足 喜び 強調
信頼
感心 好意 疑問 軽蔑 肯定

被験者は25名
7変化率による傾向1/5「驚き」、「疑問」、「高揚」、「強調」、「感心」の変化率ごとの平均値の変化8変化率による傾向2/5「悲しみ」、「無関心」、「落胆」、「冷静」、「肯定」の変化率ごとの平均値の変化9変化率による傾向3/5➔評価の上下のパターンの印象➔評価対象音声のF0の高低の組「不満」、「不安」、「軽蔑」、「嫌悪」、「怒り」の変化率ごとの平均値の変化!

10変化率による傾向4/5「満足」、「喜び」、「好意」、「信頼」、「安堵」の変化率ごとの平均値の変化11変化率による傾向5/5「恐れ」、「中立」、「慎み」、「同情」の変化率ごとの平均値の変化

12高さによる傾向1/5「感心」、「満足」、「喜び」、「信頼」、「好意」の評価
13

高さによる傾向2/5「不満」、「無関心」、「落胆」、「軽蔑」、「嫌悪」、「怒り」の評価
14

高さによる傾向3/5「驚き」、「疑問」、「高揚」、「強調」の評価
15

高さによる傾向4/5「悲しみ」、「冷静」、「不安」の評価
(雑多?)

16

高さによる傾向5/5「恐れ」、「中立」、「慎み」、「同情」、「安堵」、「肯定」の評価(肯定は高いF0かつ変化率<0で評価が高くなる傾向有)17

F0の高さとその変化の影響
印象語

F0の変化率驚き(1,3)、疑問(1,3)、高揚(1,3)、強調(1,3)
悲しみ*(2,4)、無関心(2,2)、 落胆(2,2)
肯定(2,5)
感心(1,1)、満足(4,1)、喜び(4,1)、好意(4,1)、信頼(4,1)
不満(3,2)、軽蔑(3,2)、嫌悪(3,2)、怒り(3,2)、不安**(3,4)
冷静***(2,4)、安堵(4,5)、同情(5,5)、恐れ(5,5)、中立(5,5)、慎み(5,5)

F0の平均

評価

変化率が負

変化率が正正―

高

高

負低―

中負

高―

中―

高

高低～中―

低

低

中～高―

―――
(原則低)

x(a,b): 印象語(変化率でのグループ，絶対値でのグループ)*「悲しみ」：変化率<0で「中程度」。F0の平均では、低いF0かつ変化率<0：「中程度」。高いF0：全体的に「低」。
**「不安」：変化率では全体的に「中程度」。
F0の平均では、低いF0かつ変化率<0：「中程度」。変化率>0：全体的に「中程度」***「冷静」：変化率<0で「中程度」。F0の平均では傾向は見られない。

18

評価得点Top5
評価トップ5の分布180

平均 F0 [Hz]170160150140130120110
100

安堵
同情

90
80
-100-500
変化率 [%]

50100

19定量的分析

デンドログラム

20定性的分析と定量的分析の対応
クラスター分析クラスター1 ○驚き、○疑問
クラスター2 ④感心、○強調、○高揚

定性的分類
グループ1 ○驚き、○疑問、⇔○高揚、○強調クラスター3 ○冷静、③肯定、②悲しみ、○同情、○慎み、○中立

グループ6 ○冷静、④安堵、⇔○同情、④恐れ、○中立、○慎み

クラスター4 ⑥恐れ、⑤怒り、○喜び、
グループ4 ②感心、○満足、○信頼、○好意、安堵、 ⇔○喜び、○好意、○満足○信頼
クラスター6 ○不安、○軽蔑、○嫌悪、○無関心、○落胆
クラスター5 ⑤不満

グループ2 ③悲しみ、○無関心、○落胆⇔
グループ5 ⑤不満、○軽蔑、○嫌悪、④怒り、○不安
グループ3 ③肯定21

まとめ
パラ言語情報におけるF0の高さおよびその変化の影響を調査
24個の印象語を対象
定性的分析および定量的分析
F0の高さおよびその変化が、受け取られるパラ言語に与える影響について知見を得た➔継続長の刻み
今後：➔組合せの数「あいづち」など、印象語を若干増やしての実験
F0と、モーラ継続長およびその変化による影響!
より自然な合成音の使用など

22

関連研究
石井ら（音講論（秋），pp.233-234，2005）「え」の基本周波数の変化や発話時間に注目
渋谷ら（音講論（秋），pp.271-272，2005）「ん」の基本周波数パターンに注目
宮城（島根大学卒業論文，2006）「ええ」の基本周波数の変化に注目
戸山ら（音講論（春），pp.223-224，2007）「ん」のイントネーションに注目し、学習者の意図を把握
吉川ら（音講論（秋），pp.243-246，2007）「うん、ふん、はい、うーん」の基本周波数やパワーなどに注目し、意図を機械で自動識別
23

F0の高さと変化の影響
F0の平均

印象語

F0の変化率

驚き、疑問、高揚、強調
悲しみ、無関心、落胆

正―高高

負低―

中

肯定

負高―

中―

高

高低～中―

低

低

中～高―

―

―

―

感心、満足、喜び、好意、信頼
不満、軽蔑、嫌悪、怒り、不安
冷静、安堵、同情、恐れ、中立、慎み

変化率が負 変化率が正評価

24