2 モーラ語「ええ」に対するパラ言語情報の認知における F0 の影響
高見 和之†

小林聡††† 〒 690-8504 島根県 松江市 西川津町 1060 島根大学 総合理工学部†† 〒 690-8504 島根県 松江市 西川津町 1060 島根大学 総合情報処理センター
E-mail: ††skoba@ipc.shimane-u.ac.jp
あらましF0 の高さおよび変化により，聞き手がどのようなパラ言語情報を受け取るかについて，多義的な 2 モーラ語「ええ」を対象として，各モーラの F0 を変えた合声音声を 75 種類作成し ，その聴取実験を行なった．聴取実験では，各被験者は 45 種類の音声を聴取し ，それぞれの聴取において 24 個の印象語の各々に対して得点を付けた．その結果に基づき，F0 の高さや変化により，どのようなパラ言語情報が受け取られるかについて検討した．定性的分析による分類において，F0 の高さおよび変化に基づき，印象語を 6 つのグループに分類した．また，クラスター分析による定量的分析による分類においても，概ね同様のクラスター群を得た．
キーワード

パラ言語，F0 ，感情，意図，態度

Influence of F0 on Paralinguistic Information Recognition
for 2 morae word /ee/Kazuyuki TAKAMI† and Satoshi KOBAYASHI††† Interdisciplinary Faculty of Science and Engneering, Shimane University, Nishikawatsu 1060, Matsue,Shimane, 690–8504 Japan†† General Information Processing Center, Shimane University, Nishikawatsu 1060, Matsue, Shimane,690–8504 Japan
E-mail: ††skoba@ipc.shimane-u.ac.jp
Abstract To investigate how paralinguistic information are carried by F0 characteristics in 2 morae word /ee/which has polysemy, we synthsied 75 speeches those had different F0 in each mora. We made a listening experimentwith the synthesized speeches. In the experiment, each subject evaluated 45 speeches. And subjects gave scoresfor 24 impression words in each speech. Based on the result of the experiment, we investigated what kind of paralinguistic information was carried by F0 characteristics. As the result, we got 6 groups of impression words in aqualitative classification based on F0 characteristics. We made cluster analysis as a quantitative classification. We
got similer groups and clusters those we got in qualitative classification and quantitative classification generally.
Key words Paralanguage, F0 , Emotion, Intention, Attitude

1. は じ め にに応じて，対話中に音声の何らかの特徴が容易に制御されると考え，感情もパラ言語情報に含むものとする．

我々は日常，コミュニケーションの手段として，音声を使用

パラ言語に関しては様々な研究が行なわれて来たが，どのよしている．音声では，発話の言語的な意味にとど まらず，態度うなパラ言語的特徴が，どのようなパラ言語情報を伝達するのや感情など 様々な情報が伝達されている．これらは言語情報にか，その詳細が明らかになりつつある．

対して，パラ言語情報，非言語情報などと呼ばれている．

これまでに，石井らは「え」の基本周波数の変化や発話時間藤崎は，意識的に制御可能か否かという視点から，パラ言語に注目し ，意図との関係を報告している [2]．そこで，肯定は情報と非言語情報の分類を行なったが [1]，本研究では，対話中発話時間が短く声が下がる，聞き返しは発話時間が短く声が上に容易かつ動的に制御可能か否かという視点で，図 1 のように，がる，否定は発話時間が長いとし，音響的特徴は意図の識別にパラ言語と非言語情報を分類する．感情においても，その強弱有効であることを示している．渋谷らは一語発話「ん」の基本

—1—

2. 準

備

本研究では，語彙として 2 モーラ語「ええ 」を用いた．
「ええ」を用いたのは，多義的であるためである．ここで多義的とは，字面自体からは発話に込められた意図・態度・感情などを推し量ることができない，あるいは推し量ることが困難なことを意味する．このような語彙を用いたのは，語彙そのものが持つ印象や意味の影響を避けるためである．
合成音声の作成には klatt の合声器を用いた [12], [13]．klattの合声器への入力となる 40 のパラメータの内，声の高さに関図 1 本研究でのパラ言語の位置付け

Fig. 1 Definition of paralanguage in this paper.

周波数パターンに注目し ，印象評価実験を行なった [3]．結果，基本周波数が大きく上昇するパターンは疑念や否定，悪印象と係して F0 ，F1 ，F2 を，声の大きさに関係して avp を可変とし，それ以外は全て固定値としている．固定値としたパラメータの値は，klatt の合声器のサンプルを参考とした．また，F1 と F2の周波数は，小林による/e/における F0 からの F1 と F2 の回帰式 [14] を参考に，以下の式により求めた．

いった印象を与え，緩やかに下降するパターンは確信や肯定，大きく下降もしくは上昇した後下降するパターンでは確信や肯F1 = −0.564948 × F0 + 580.2

定，好印象といった印象を与えることを示した．宮城は，実際

F2 = 0.732157 × F0 + 1712.56の発話ではない合成音声において，「 ええ」の基本周波数の変化率に注目し，パラ言語情報との関係を探っている [4], [5]．

この「ええ」という 2 モーラ語の，前半の 1 モーラに対し後また，音響的特徴から，伝達されているパラ言語情報の推定

半の 1 モーラの F0 を変えた合成音声と，120Hz のまま一定でを試みる研究として，戸山らは e ラーニング・システムにおいF0 を変化させない合成音声を作成し 実験に使用した．これらて，学習者の心的状態を把握するため，「 ん」の句末イントネーションに注目し，「 疑問」「，困惑」「，理解」では句末のイントネーションが異なることを示した [6]．吉川らは「 うん，ふん，はい，うーん」の基本周波数やパワー，発話時間などに注目し，機械による意図 (肯定，否定，相槌) の自動識別を試みた [7]．結果，「 うん 」の意図の識別では f 値で 8 割，「 うん 」の音響的特徴から「ふん，はい，うーん」の識別では f 値で 5-7 割程度の精度を得ている．
また，実際に話者が意図や感情を込めた発話の音響的特徴の分析や，話者の意図などが聞き手に伝わるか否かを調べる研究も行なわれている．の合成音声をそれぞれ評価対象音声，基準音声と呼ぶ．この基準音声の 3 回の繰り返しと，それに続く 1 回の評価対象音声を1 セットとして実験に用いた．なお，基準音声の 120Hz は，一般男性の基本周波数である [15]．

1 セットの音声ファイル再生時間は 4.1 秒となっている．1 つの「ええ」の継続長は 0.4 秒である．
「 ええ」と「ええ」の間のポーズ長は 0.8 秒である．これらは，宮城 [4], [5] が用いた音声と同一条件としている．また，「 ええ」の発声の始まりと終わり，およびモーラ境界において音量の調整を行ない，聞き易さ，およびモーラ境界の識別を行ない易くしている．加えて，モーラ境界においては，F0 ，F1 ，F2 の渡りも考慮している．

鶴らは，アナウンサーが怒りの感情を込めた音声の分析を行

評価対象音声の F0 は，前半 1 モーラは 120Hz を中心としたない，怒りの感情には最高基本周波数と最低基本周波数が関係1 オクターブ 幅，後半 1 モーラは 1 オクターブ 半幅内である．

していることを示した [8]．外田らは，怒り，喜び，悲しみの感情を込めた狂言師による発話の分析を行ない，怒りと喜びの程度が強くなると最高基本周波数と最大パワーが高くなること，怒りは話者が込めた感情と聞き手の受け取った感情の一致が低いことを報告している [9]．河津らは，演劇経験者が怒りの感情を込めた音声の分析を行ない，怒りの程度が強くなると発話時間が長くなるとしている [10]．
外田らの研究に見られるように，話し手が特定のパラ言語情報を伝えようとしても，そのまま伝わるとは限らない．そこで，
本研究では音響的特徴の制御が容易な合成音声を用い，聴取側が受け取るパラ言語情報に関して実験を行なった．特に，宮城が注目した「ええ」の F0 の変化率に加え，F0 の高さにも注目

特に，後半 1 モーラは，前半の 1 モーラに対して，最大で上下各々1 オクターブの範囲内で変化させた．詳細を表 1 に示す．
なお表中の音名には，同じ音名のものが存在するため，便宜的に数字を付けて区別している．それらの可能な組合せの中から75 個の組合せを抜き出し，実験に用いた．その 75 個を図 2 に示す．
また，F0 の変化の程度を変化率と呼び ，以下のように定義する．
変化率 =



評価対象音声の後半 1 モーラの F0
評価対象音声の前半 1 モーラの F0− 1 × 100[%]

3. 実 験 方 法

した聴取実験を行ない，合声音声を聴取する被験者が F0 の高さ試料の聴取にあたっては，75 セットを，各々15 セットからおよび変化によってどのような印象を受けるかを調査した [11]．

なる，5 つの再生リストにランダムに振り分けた．被験者は 3つの再生リスト，計 45 セットの試料に対して，聴取実験を行—2—表2 印

表 1 F0 の範囲 [Hz]前半 1 モーラの範囲

象語

Table 2 A list of impression words.

Table 1 Ranges of F0 .
後半 1 モーラの範囲

悲しみ

無関心

不満

信頼

驚き

恐れ

ソ1

196.0

落胆

感心

安堵

慎み

怒り

好意

フィ1

185.0

中立

高揚

満足

疑問

冷静

同情

ファ1

174.6

喜び

軽蔑

嫌悪

不安

強調

肯定

ミ1

164.8

ミ1

164.8

リ1

155.5

リ1

155.5

レ 1

146.8

レ 1

146.8

デ 1

138.5

デ 1

138.5

ド 1

130.8

ド 1

130.8

シ0

123.4

シ0

123.4

チ0

116.5

チ0

116.5

ラ0

110.0

ラ0

110.0

サ0

103.8

サ0

103.8

ソ0

97.9

ソ0

97.9

フィ0

92.4

フィ0

92.4

ファ0

87.3

ファ0

87.3

ミ0

82.4

リ0

77.7

レ 0

73.4

図 3 「驚き，疑問，高揚，強調，感心」に対する変化率ごとの評価

Fig. 3 Scores for ”surprise, question, elevation, emphasis,be impressed” in change rates.

図 4 「 悲し み，無関心，落胆，冷静，肯定」に対する変化率ごとの評価
Fig. 4 Scores for ”sadness, indifference, discouragement,calm, affirmation” in change rates.

図 2 実験に用いた F0 の組み合わせ

Fig. 2 Combinations of F0 .

4. 分析なった．ただし ，被験者ごとに聴取する再生リストの組合せ，および再生リストそのものの使用順序は変えている．
被験者は 1 セットごとに，基準音声に対して評価対象音声を聴取したときに受ける印象を，先行研究 [16]〜[19] を元に定めた，24 個の印象語について各々5 段階で評価した．用いた印象語を表 2 に示す．
なお，今回の実験の被験者は 20 歳前後の大学生 25 名 (男:21名，女:4 名) である．

4. 1 変化率による分析
まず，「 驚き」，「 疑問」，「 高揚」，「 強調」，「 感心」に対する，変化率ごとの評価結果の平均値 (以下，「 評価」) を図 3 に示す．
これらの印象語は変化率が正のときに，評価が高くなっている．
特に，変化率が正の場合，相関係数が 0.8 以上の強い正の相関となっている．また，変化率が負の場合，どの印象語も評価は概ね 2.0 以下で，ほぼ 横ば いである．相関係数も，「 驚き」と「感心」は −0.4 程度ではあるが，変化率が正の場合ほど強い相関は見られない．
「悲しみ」「， 無関心」「， 落胆」「， 冷静」「， 肯定」に対する，変化率ごとの評価を図 4 に示す．これらの印象語は変化率が正の—3—

図 5 「不満，不安，軽蔑，嫌悪，怒り」に対する変化率ごとの評価図 7 「恐れ，中立，慎み，同情」に対する変化率ごとの評価

Fig. 5 Scores for ”dissatisfaction, anxiety, comtempt, ha-Fig. 7 Scores for ”fear, neutrality, discretion, sympathy”

tred, anger” in change rates.

in change rates.

図 8 「感心，満足，喜び，信頼，好意」に対する平均 F0 での評価

Fig. 8 Scores for ”be impressed, satisfaction, joy, confidence, favour” in average F0 .
図 6 「満足，喜び，好意，信頼，安堵」に対する変化率ごとの評価

Fig. 6 Scores for ”satisfaction, joy, favour, confidence, relief” in change rates.

ときに比べ，変化率が負のときに評価が相対的に高くなっている．また，変化率が正のときには，変化率が大きくなるにつれて評価も低くなっている．相関係数は，「 悲しみ」，「 無関心」，「落胆」，「 冷静」「， 肯定」は変化率が負の場合は絶対値が最大のものでも −0.3 程度である．変化率が正の場合では，「 肯定」を除くと −0.7 を超える強い負の相関がある．
「不満」「， 不安」「， 軽蔑」「， 嫌悪」「， 怒り」に対する，変化率

図 9 「不満，無関心，落胆，軽蔑，嫌悪，怒り」に対する平均 F0 でごとの評価を図 5 に示す．これらの印象語は変化率が正負ど ちの評価
Fig. 9 Scores for ”dissatisfaction, indifference, discour-らかのときに評価が高くなるということはない．ただし，これ

agement, comtempt, hatred, anger” in average F0 .

らの印象語は，その評価が変化率 −41.4%〜−12.2% で特異な形をしている．これは，その間の変化率において，F0 が高い音

4. 2 平均 F0 による分析

声を多く含むものと，F0 が低い音声を多く含むものとが交互

まず，「 感心」，「 満足」，「 喜び 」，「 信頼」，「 好意」に対する，に並んだために起こったと考えられる．
「満足」「， 喜び 」「， 好意」「， 信頼」「， 安堵」に対する，変化率ごとの評価を図 6 に示す．また，「 恐れ 」，「 中立」，「 慎み」，「同情」に対する，変化率ごとの評価の図 7 に示す．これらの印象

変化率が −12.2%，12.2% における評価を図 8 に示す．これらの印象語は，変化率の正負に関わらず，平均 F0 が高くなると，評価が高くなる傾向が見える．
「不満」「， 無関心」「， 落胆」「， 軽蔑」「， 嫌悪」「， 怒り」に対す語では，変化率の差で評価に大きな違いはない．また，評価のる，変化率が −18.9%，26.0% における評価を図 9 に示す．こ

平均値が 2.5 を超える変化率もないため，24 個の印象語の中でれらの印象語は，変化率の正負に関わらず，平均 F0 が低くなは，印象を受けにくい印象語群であると言える．

ると，評価が高くなる傾向が見える．

—4—

表 3 印象語の定性的分類

Table 3 Groups of impression word in qualitative classification.
#1)

印象語
驚き ，疑問 ，高揚 ，

F0 の変化率

F0 の平均

評価

変化率が負

変化率が正

正―

高高

負低―

中強調

2)

悲しみ，無関心，落胆

図 10 「驚き，疑問，高揚，強調」に対する平均 F0 での評価

3)

肯定負高―中4)

感心 ，満足 ，喜び ，―

高

高

低〜中―低

低

中〜高――――

好意，信頼5)

Fig. 10 Scores for ”surprise, question, elevation, emphasis” in average F0 .

不満 ，軽蔑 ，嫌悪 ，怒り，不安6)

冷静 ，安堵 ，同情 ，恐れ，中立，慎み

4. 3 定性的分類
これまで，評価対象音声の変化率，おおび平均 F0 に注目し，各印象語の評価の傾向を見てきた．その結果，24 個の印象語は，表 3 に示すように，大まかに 6 つのグループに分類できる．
「驚き」「， 疑問」「， 高揚」「， 強調」は，変化率に関しては，正のとき，さらに変化の幅が大きくなると評価も高くなる．声の高さに関しては，変化率が正のときに F0 が高くなると評価も図 11 「悲しみ，冷静，不安」に対する平均 F0 での評価

Fig. 11 Scores for ”sadness, calm, anxiety” in average F0 .

高くなる．
「悲しみ」，「 無関心」，「 落胆」は，変化率に関しては，負のときに相対的に評価が高い．声の高さに関しては，変化率が負のときに F0 が低くなると評価も相対的に高くなる．変化率が正のときにも，F0 が低くなると評価が相対的に高くなる傾向が多少見られた．
「肯定」は，変化率が負のときに相対的に評価が高い．声の高さに関しては，変化率が負のときに 0.6 以上の正の相関が見られ，F0 が高くなると評価も相対的に高くなる．
「 感心」，「 信頼」，「 好意」，「 満足」，
「 喜び 」は，変化率に関しては，大きな違いは見られない．声の高さに関しては，変化に関係なく，平均 F0 において，0.4 以上の正の相関が見られ，

図 12 「恐れ，中立，慎み，同情，安堵，肯定」に対する平均 F0 での評価
Fig. 12 Scores for ”fear, neutrality, discretion, sympathy,relief, affirmation” in average F0 .

「驚き」
「疑問」
，
「高揚」
，
「強調」
，に対する，変化率が −78.2%，49.8% における評価を図 10 に示す．これらの印象語は，変化率が正で，かつ平均 F0 が高い場合に，評価が高くなる傾向が見える．
「 悲しみ」，「 冷静」，「 不安」に対する，変化率が −88.8%，5.9% における評価を図 11 に示す．これらの印象語は，変化率が負で，かつ平均 F0 が低い場合に，評価が高くなる傾向が見える．
「恐れ」「， 中立」「， 慎み」「， 同情」「， 安堵」「， 肯定」に対する，変化率が −58.7%，33.5% における評価を図 12 に示す．これらの印象語では，変化率が正負ど ちらのときでも特徴的な傾向は見られなかった．

F0 が高くなると評価も相対的に高くなる．
「 不満」，「 軽蔑」，「 嫌悪」，
「 怒り」，「 不安」は，変化率に関しては，大きな違いは見られない．声の高さに関しては，変化率が負のときには，平均 F0 において，−0.6 以上の負の相関がみられ，F0 が低くなると評価も相対的に高くなる．特に，「不満」「，軽蔑」「，嫌悪」「，怒り」は，変化率が正のときにも，−0.5を越える負の相関が見られた．
「 不安」に関しては，平均 F0 では相関は見られなかったが，2 モーラ中の高い方の F0 との相関に関しては，相関係数が −0.66 となりやはり負の相関が見られた．
「冷静」「， 安堵」「， 同情」「， 恐れ 」「， 中立」「， 慎み」は上記の5 グループのどれにも属さず，大きな特徴が見えなかった印象語群である．

4. 4 定量的分類
前節では，主に，先に示したグラフの形状などに基づく定性的な分類を行なったが ，本節では定量的な分類としてクラス—5—

調査・分析を行なった．その結果，聞き手が受け取るパラ言語情報に対して F0 がどのような影響を与えるか，F0 の高低および変化に基づいて行なった定性的/定量的分析による 24 個の印象語の分類により，一定の知見を得た．
今後は，「 相槌」など ，印象語を若干増やすとともに，2 モーラ語「ええ」の各モーラの継続長を制御し，F0 およびその変化に加え，モーラ長およびその変化によって，どのようなパラ言語情報が受け取られるかについて研究を行なう予定である．また，声の大きさによる影響に関する研究，および本研究とは異なる語彙を用いての研究を行なう予定である．
文

図 13 クラスター分析結果

Fig. 13 A result of cluster analysis.
表4クラスターを構成する印象語

Table 4 Clusters of impression words.
クラスター 1

「驚き」，
「 疑問」

クラスター 2

「感心」，
「 強調」，「 高揚」

クラスター 3

「冷静」，「 肯定」，
「 悲しみ」，「 同情」，「 慎み」，「 中立」

クラスター 4

「恐れ 」，「 怒り」「喜び 」，「 信頼」，「 好意」，「 安堵」，「 満足」

クラスター 5「不満」

クラスター 6

「不安」，「 軽蔑」，「 嫌悪」「無関心」，「 落胆」

ター分析を用いて印象語の分類を試みる．
図 13 に 75 種類の音声の各印象語に対する評価の平均値を元に，クラスター分析を行なったデンド ログラムを示す．ここで，印象語間の距離はユークリッド 距離を，クラスターを形成する際の距離の計算には最長距離法を用いている．なお，図 13 内の印象語の横に，定性的に求めた分類を示す記号を添えている．
図 13 を，距離 6.5 付近で分割すると，表 4 に示す，6 つのクラスターを得る．表 3 に示した結果と表 4 に示した結果とでは，部分的に異なっているが，概ね類似した結果となっている．このことは，図 13 内の印象語の左に添えてある標のまとまり具合により分かる．例えば，表 4 中のクラスター 1 および2 と表 3 中のグループ 1，クラスター 3 とグループ 6，クラス
ター 4 とグループ 4，クラスター 6 とグループ 2 および 5 など
は，共通する印象語が多い．このように，定量的な分類によっても，先の定性的な分類結果と概ね対応する結果が得られた．

5. ま と め

献[1] Fujisaki,H., Prosody, models, and spontaneous speech. InSagisaka, Y. etal.(ed.), Computing Prosody: Computational Models for Processing Spontaneous Speech, Springer,
1997.
[2] 石井カルロス寿憲，石黒浩，萩田紀博，韻律と声質に 関連する音響パラメータを用いたパラ言語情報の抽出，音講論 (秋)，pp.271-272，2005．
[3] 渋谷渚，グ リーンバーグ陽子，匂坂芳典，基本周波数特性に基づく一語発話「ん」の分類について，音講論 (秋)，pp.233-234，
2005．
[4] 宮城加奈，小林聡，パラ言語情報の認知における基本周波数の変化の影響，音講論 (春)，pp.413-414，2006．
[5] 宮城加奈，パラ言語の認知における声の高さの変化の影響，島根大学卒業論文，2006．
[6] 戸上雅夫，飯田仁，e ラーニング・システムにおける学習者発声の音響的な特徴分析，音講論 (春)，pp.223-224，2007．
[7] 吉川哲夫，柏岡秀紀，Nick Campbell，発話「 うん 」の音響的特徴に基づく意図の自動識別，音講論 (秋)，pp.243-246，2007.
[8] 鶴真紀子，武田昌一，アナウンサーが発声した「怒り」感情音声の韻律的特徴と聴覚的印象の主成分分析を用いた比較，音講論(春)，pp.237-238，2007.
[9] 外田万紀子，桐生昭吾，武田昌一，村岡輝雄，狂言における「怒り」，「 喜び 」，「 悲し み」を表現する音声の程度に応じ た韻律的特徴―サンプル数を増やし た場合について―，音講論 (秋)，pp.175-176，2006.
[10] 河津宏美，大野澄雄，程度の異なる感情音声に対する韻律的特徴の分析，音講論 (春)，pp.233-234，2007.
[11] 高見和之，小林聡，「 ええ」に対するパラ言語の認知における F0の影響，音講論 (春)，pp. 601-602，2008.
[12] Klatt,D.H., Software for a cascade/parallel formant synthesizer, Journal of the Acoustic Society of America, vol. 67,
no. 3, pp. 971–995, 1980.
[13] Klatt,D.H., Klatt, L.C., Analysis, synthesis and perceptionof voice quality variations among female and male talkers.,
Journal of the Acoustical Society of America, vol. 87, no. 2,
pp. 820–857, 1990.
[14] 小林聡，日本語の自然対話音声におけるパラ言語的特徴に関する研究，静岡大学博士論文，2000.
[15] レイ・D・ケント，チャールズ・リード，荒井隆行 訳，菅原勉 監訳，音声の音響分析，海文堂出版，1996.
[16] マジョリー・Ｆ・ヴァーガス，石丸正 訳， 非言語コミュニケー
ション，新潮選書，pp104，1987.
[17] 大野澄雄，韻律的特徴の総合的なモデル化と、感情の表現・伝達過程，特定領域研究 「韻律と音声処理」 研究成果報告書，2005.
[18] 前川喜久雄，パラ言語情報の作成と知覚，特定領域研究 「韻律に着目した音声情報処理の高度化」 研究成果報告書，東京大学
大学院情報理工学系研究科，pp.111-118,2005.
[19] O. Mizutani and N. Mizutani, Aural ComprehensionPractice in Japanese. The Japan Times , 1979.

多義的な 2 モーラ語「ええ」について，合声音声を用い，F0やその変化から人間がど のようなパラ言語情報を受け取るか，—6—