# 音声合成のための韻律制御コマンド作成方法の検討
## 水野 理 $\dagger \cdot$ 阿部 匡伸††

音声合成をより使いやすくかつ表現力豊かにするために，我々は階層型音声合成記述言語 MSCL を開発した．MSCL は記述という方法によりニュアンスや心情, 感情などを合成音声に付加することが可能である， MSCL は $\mathrm{S}$ 層, I 層, $\mathrm{P}$ 層の 3 つの階層を有し, 初学者から音声学的知識を有する者まで対応可能にする。一方，MSCL の $\mathrm{S}$ 層が提供する新たなコマンドの作成手法そして I 層に備わる韻律制御コマンドによって生じる聴感上の効果（印象）の検討は MSCL における課題となっていた。 そこで，本研究は MSCL の課題である韻律制御と印象の関係について実験を通じて見出した，8つの制御規則を提案し，それぞれの主な印象について連想法を通じて分析した。また, 制御規則を組み合わせて得られる印象の変化についても分析を行った。さらに，韻律制御コマンドを利用する上での留意点について言及する。音声合成での韻律制御を行うための 1 つのアプローチを提案する.

キーワード：音声合成，階層型記述言語，韻律制御

## Study for Prosodic Control Command Generation of Synthetic Speech

\author{
Osamu Mizuno ${ }^{\dagger}$ and Masanobu $\mathrm{Abe}^{\dagger \dagger}$
}

The Multi-layered Speech/Sound Synthesis Control Language (MSCL) proposed herein facilitates the synthesizing of several speech modes such as nuance, mental state and emotion, and allows speech to be synchronized to other media easily. MSCL is a multi-layered linguistic system and encompasses three layers: and semantic level layer (The S-layer), interpretation level layer (The I-layer), and parameter level layer (The P-layer). This multi-level description system is convenient for both laymen and professional users. Furthermore, research was conducted into mental state tendencies using a test that examined the perceptions of the subject's sensibility to the control of synthetic speech prosody. The results showed the relationships between prosodic control rules and non-verbal expressions. These relationships are of use for constructing semantic prosody control. This paper describes these functions and the effective prosodic feature controls possible with MSCL.

Key Words: Speech Synthesis, Multi-layered Linguistic System, Prosodic Feature Control, Control Language


## 1 はじめに

近年の音声合成技術の進歩により合成音声によるカーナビのガイダンスやパソコンによるテキストの読み上げなど様々な場面で合成音声が聞かれるようになった. また, Webを読み上げるための取り組みが進められており, Webコンテンツを音声に変換するための議論がなされている (総務省報告資料 2007; 翠, 河原他 2007; Sasajima, Yano, and Kono 1999). 音声合成の分野においては従来から TTS (Text-to-Speech) (Allen, Hunnicutt, and Klatt 1987; Klatt 1987)により電子化されたテキストを音声に変換する試みがなされてきた. メール, 電子図書, Webペー ジに至るまで様々なテキストを合成音声によって流暢に朗読する仕組みが検討されている．そして近年では，テキストに制御タグを挿入して音声合成の韻律パラメータを制御するアプロー チ (VoiceXML; Raman and Gries 1997; SSML) がなされている. 韻律パラメータの制御により,従来の朗読調をべースとした合成音声をより表情豊かな音声に変えられることが分かっている.合成音声を音声対話など様々な分野で利用するためには音声に含まれる表現力を高めることが重要であり，そのために韻律パラメータの制御を行うための仕組みづくりが重要になってきている. 我々は，韻律パラメータの制御を行うための記述言語 MSCL (Multi-layered Speech/Sound Synthesis Control Language) (Mizuno and Nakajima 1998)を開発し，記述による柔軟な韻律制御を実現した．読み上げ用の電子テキストに直接韻律制御コマンドを記述することで韻律制御が可能となった．本研究では，MSCL をより効果的に利用するための韻律制御コマンドの作成方法について述べ，専門的な知識がなくとも新たな韻律制御規則を作成可能にするアプローチについて1つの方向性を提案する.

## 1.1 記述言語による韻律制御

PML (Ramming 1998) から発展した VoiceXML (VoiceXML) は記述というスタイルにより,音声対話システムの制御を行うフレームワークであり，音声合成から音声認識に至るまでの制御を一元的に行うことで, 電話の音声ガイダンスや自動応答を可能にしている. VoiceXML のように制御タグにより音声合成の制御を行うことの利点は, テキスト処理の範疇で編集作業や情報の伝送が可能になることである。また, Webコンテンツなどの豊富な電子テキスト情報に制御コマンドを付与し読み上げを行うことが容易になる．インターネット上の豊富なテキスト情報を取り込み，テキスト処理と制御タグの挿入により柔軟な音声ガイダンスシステムが可能になる。しかし, 従来の音声合成の記述言語では音声合成で用いる韻律パラメータの制御（以下，韻律制御）をするための制御夕グを新たに定義することはできず，利用できる夕グの数も限られている。例えば，SSMLなどでは

<voice gender="female">天気は晴れですく/voice>

<prosody rate="-10\%">そうです</prosody>

のように, 声質の変更 (gender) や話速 (rate) などのパラメータの変更を行うことは可能であるが，複数のパラメータを同時に変更する場合は，夕グの記述が膨大になり可読性が損なわれる可能性もある．韻律パラメータを直接指定する制御タグが主体であるために夕グの名称から韻律制御によって期待しうる効果（印象）を予測することができない。このように，従来法ではきめ細かな韻律制御や直感的な制御ができないといった問題があった．MSCL はきめ細かな韻律制御を行うコマンド群の層と直感的な韻律制御が可能になるコマンド群の層に分離し，韻律制御の自由度や使いやすさを高めている。次節において MSCL について述べる。

## 1.2 MSCL によるアプローチ

利用者が簡単に制作を行えるインタフェースの原則として以下の 3 点 (西本, 志田, 小林, 白井 1996)にまとめられている.

ア. 初心者保護の原則：レポートとは何か

イ. 熟練者優遇の原則：レポートの必要十分条件

ウ. 上級利用移行支援の原則：利用者に対して特化手段を用意し利用を促進する枠組み

MSCL は, 音声合成で必要となるピッチやパワーなどの韻律パラメータ群である P 層と, その韻律パラメータを制御するためのコマンド群である I層と韻律パラメータに 1 つの解釈を与えるコマンド群である $\mathrm{S}$ 層の 3 つの階層（図 1）がある．I層のコマンドは韻律パラメータを直接指定可能であるため, 熟練者はより詳細な音声合成の韻律制御が可能になる． $\mathrm{S}$ 層のコマンドは効果を直感的に理解した上での韻律制御が可能になり，初学者でも利用可能になる.

MSCLの利点をまとめると以下の通りである.
- 記述というスタイルで合成音声に様々な表現力を与える
- 階層構造の記述体系を持つことで, 初学者から専門的知識を持つ利用者までの様々なレベルへの対応が可能になる

図 1 MSCL の階層構造

・ 新たなコマンドを定義し，利用者独自の韻律制御方法を生み出せる

図 1 中の韻律制御のための記述がそのまま制御コマンド名になっている. 特に $\mathrm{S}$ 層コマンドであれば直感的な利用が可能となり, I 層のコマンドの組み合わせにより利用者が定義した新たな制御コマンドを作成することが可能になる。例えば，以下のように記述できる。

1 行目は, I 層コマンド“〜 \”により最終母音「い」のピッチを $20 \mathrm{~Hz}$ 降下させており, さらに，“duration”より継続時間長を 0.8 倍して話速を上げている。この韻律制御をまとめて，「相槌」という $\mathrm{S}$ 層のコマンド名に置き換えているのが 2 行目である。そして， 3 行目からは「相槌」 というコマンド名を使うことで韻律制御可能となる。これらの利点により，MSCL はロボットを使った対話システム (Yamato, Shinozawa, Naya, and Kogure 2001), メール読み上げシステム (中山, 町野, 北岸, 岩城, 奥平 2005), など多種多様な音声表現が必要な場面で利用されている.

## 1.3 MSCL における課題

これらの利点に対し MSCL の課題は, 新たな韻律制御コマンドの作成が容易ではないことにある。韻律制御という営みは, Sesign (阿部他 2001) が示すように韻律パラメータの操作により合成音声の音程を上げたり，継続時間長を伸縮させたりすることである．例えば “疑問”であれば，最終母音のイントネーションを上昇パターンにさせることは良く知られている。また，文中のある単語について“目立たせる” 合成音声を生成するためには, 対象となる単語のピッチパターンのダイナミックレンジを広くすることが1つの方法 (白井, 岩田 1987) とされる. このように Sesign では合成音声から目的とする印象を想起できるようになるまで韻律パラメータの操作を繰り返した後に韻律制御方法が決定されるため, 利用者が効率的に編集作業を行うには韻律制御による効果を習熟する必要がある．MSCLにおいても韻律制御を行うには，韻律パラメータをどのように制御すれば良いか予め知る必要がある。韻律制御と印象の変化に関する知識を容易に獲得できれば編集の時間を短縮することが可能になる．特に制御コマンド名として効果が表現されていれば便利である。これまで韻律制御と印象の関連性については，感情音声と呼ばれる喜怒哀楽をイメージしながらサンプルテキストを読み上げた音声と平常時に読み上げた音声との韻律パラメータの違いを比較するものが多い (広瀬, 高橋, 藤崎, 大野 1994; 有本, 大野, 飯田 2007). しかし, 韻律制御を行った合成音声に対しどのような印象が得られるかを検討した報告はあまりない。そこで，合成音声の韻律制御によって音声の印象がどのように変化するかを調べ，MSCLのS 層のコマンドとして利用者に提供する。本研究では，韻律制御方法の提案と韻律制御と印象との関係を明らかにするとともに，効果的に韻律制御を行うための方法について述べる.

## 1.4 本研究のアプローチ

本研究は, 韻律制御と印象との関係について明らかにすることで, 音声学的な知識をあまり有さない利用者でも MSCL のコマンド作成が可能になるための 1 つの方向性を与えるものである。音声合成のための韻律制御という観点で言えば，大きく 2 つアプローチが考えられる.

ア.コーパスベースのアプローチ：コーパス毎に韻律パターンを保持し，適切なパターンを選択する (水野 2005)

イ. 韻律生成規則ベースのアプローチ：朗読調の韻律生成規則をべースに，新たな規則を加えることで物理パラメータを制御する

ア.はプリミティブな韻律制御規則を組み合わせて新たな制御コマンドを作るという MSCL のアプローチに適用することが困難である。イ.は物理パラメータの制御規則を制御コマンドとして置き換えることで，値の変更や組み合わせが可能になる，従って，ここではイ.のアプロー チで進めていくことにする。まず，従来の音声合成の韻律生成規則によって生成された韻律パラメータに対し，一定の変化を与える制御規則を規定することで新たな韻律制御規則を作成する. 次に韻律制御と印象の関係について聴取実験を行う．韻律パラメータを変化させることによって, 聴取者が合成音声に対しどのような印象を持つかを連想法により分析する。また，韻律制御と言葉の意味の影響により印象がどのように変化するかを調べる.

## 2 韻律制御に基づく印象の抽出

## 2.1 韻律制御規則

音声合成の韻律生成規則をべースにしてさらに韻律制御を行うための制御規則を決める。ベー スとなる合成音声の韻律生成規則は Fluet (箱田, 佐藤 1980; 箱田, 塚田, 吉田, 広川, 水野 1996) で利用されているものである。このモデルでは, 話調成分, アクセント情報, 音調結合情報などが考慮されており, 藤崎モデル (成澤, 峯松, 広瀬, 藤崎 2007) などのモデルとの共通点がある.これに対し, 図 2 に示す 8 つの韻律制御規則を提案する.
- Pattern1：最終母音のピッチパターンを上昇
- Pattern2：最終母音のピッチパターンを降下
- Pattern3：音声全体の継続時間長を一律に伸長
- Pattern4：音声全体の継続時間長を一律に縮小
- Pattern5：ピッチパターンの振幅値を収縮
- Pattern6：ピッチパターンの振幅値を拡大
- Pattern7：ピークまでのピッチパターンを下に凸に変形
- Pattern8：ピークまでのピッチパターンを上に凸に変形

図 28 つ韻律制御規則

ここでは，文節を制御範囲（スコープ）とした制御方法を検討した。対話ロボットの音声や電話での応答を合成音声によって実現する場合, 「そうです!」「本当？」などのワンフレーズで返す場面が多いことと, このようなワンフレーズでの音声の韻律パターンは多様に変化することによるためである。そこで，文節を制御単位とした韻律制御を行うこととした．対象とする韻律パラメータはピッチと継続時間長のみである。 パワーについては, 合成方式が音声素片接続型を用いているため, 大声小声のための制御というよりは制御結果が音量の大小として聴取されることから用いていない. ピッチパターンの韻律制御については, ピッチパターンのピー ク位置から最終母音の始点までの変形を行うとアクセント位置がずれたように聞こえることがあり，異なった言語情報として聴取される可能性が高い。つまり，「雨」が「飴」として聞こえてしまうようにアクセント型が変化したように聴取されることがある。そこで，この区間を除いて適用できる制御規則を用いた。始端からピーク位置の区間，最終母音の区間，全体の抑揚の強さ，の制御についてはパターンを変化させてもアクセント型が変化しないことから，この区間を対象とした 6 つの韻律制御規則を選択した。特に Pattern1 は疑問文，Pattern5 は単語の強調に関係するといわれており，Patetern7，8について印象になんらかの変化を与える(川上 1956) との報告がある。継続時間長については音韻毎の伸縮も考えられるが, ここでは話速に関係する Pattern3，4 を用いている。この 8 つのパターンは MSCL のI 層のコマンドに相当する.これらのコマンドを用いて合成音声を作成し，その音声から感じ取れる印象を抽出する.

## 2.2 連想法による印象の抽出

韻律制御と印象の関係を調べるには，事前に対象にしたい言葉を選択しておき，その中から適切なものを被験者に選択させる方法がよく使われている。例えば，感性工学においては SD 法

(Semantic Differential Method) が多く利用されている。相対する意味の言葉の対（明るい一暗い，暑い一寒い，等）を事前に用意しておき，被験者が印象に近いものを選択するという方法であり，効率的に統計的なデータを導くことができる。しかし，まず事前の知識（タスク，対象分野，条件などの情報）に基づき言葉の対がどの種類の言葉であるかを予測しておく必要があり，さらにはいくつかの言葉の候補から統計的に絞り込むという作業を繰り返さなくてはならない．本研究では事前の知識が用意されないため, SD 法で調査を実施するには無数の実験を繰り返さなくてはならない。そこで，最初に連想法を用いて韻律制御と印象の関係を導くことにした。連想法を使えば被験者が自由に想起した印象を述べることができる。その想起された言葉の傾向を分析し，事前の知識とすることで，どのような印象が最も適するかを調べることが可能である．今回の実験では，提案した 8 つのパターンにより韻律制御した合成音声を刺激音とし，被験者に想起する印象（連想表現）を全て述べさせた。そこから得られた連想表現の頻度を求めクラスター分析によりパターンを最も要約する印象を求めた.

## 2.3 連想法による実験

Fluet の生成する韻律パラメータをべースに 8 つのパターンにより韻律制御したものを音声資料とした．被験者はへッドフォンによって音声資料を聴取した．合成音声はサンプリング周波数 $12 \mathrm{kHz}$, 男性音声を用いている。被験者は関東圈内に在住する 25 歳から 35 歳までの男性 3 名, 女性 2 名の計 5 名である。音声資料が数百 $\mathrm{msec}$ といった短いものでありこれを聞き取り判断しなくてはならないため, 音声ラベリング作業などに従事し合成音声に慣れた者を被験者とした．音声合成を行う際の入力テキストは“本当（1 型アクセント）”“大丈夫（0 型アクセント)”“分からない (2 型アクセント)”の 3 単語を用いた。

最初に Fluet により生成された朗読調の合成音声を基準音として被験者に聴取させた上で，韻律パラメータを変化させた音声資料を聴取し，連想する言葉やシチユエーションなどを述べさせた．実験中，音声資料は何度聞いても良く，回答のための制限時間も設けなかった．実験中の様子は録音され，試験終了後に被験者の回答を全て書き起こした．被験者あたりの実験の平均時間は約 61 分となった. 書き起こした被験者の回答の中には, 名詞句, 形容詞句, 擬態語,固有名詞（○○さん風など）, 長文などがあった. これらの回答から韻律制御を最もよく表す連想表現を調べるために次の処理を行った。
- 長文など複数の印象を示す表現が含まれる回答は, 印象を的確に表すと考えられる表現ごとに分割を行う

・同義語などは，国語辞典などを参考に 1 つの単語に統一する

この処理の結果，各被験者が 1 つの音声資料を聴取した場合に回答された連想表現の数は,異なり語数として平均で約 6.5 語となった. 8 つのパターンから想起される印象の傾向については，上記の連想表現の出現頻度を求めることで可能である。しかし，3つの単語に共通に得ら

れる印象を調べるためにクラスター分析 (Hartigan 1983) を用いた. クラスター分析を行うにあたり，3つの単語“本当”“大丈夫”“分からない”のそれぞれの単語に出現した連想表現の出現頻度を用い，分析の項目として実験で現れた連想表現を用いた. クラスター間の距離計算はウォード法を用いた。

Pattern1 の実験結果を図 3 に示す。樹状図の下の葉の部分が連想表現とその出現頻度である.実験では 5 名が 3 つの単語に対しそれぞれ印象を述べるため，連想表現の出現頻度の最大値は 15 となる。また，分析対象とする最小頻度は 3 とした。例えば，連想表現「問いかけ」については 14 回の回答があったことになり最大值に近い結果が得られた.「意外」については，被験者が連想した回数が少なく 3 回となっている。葉から延びた線の高さがクラスター分析による連想表現間の距離を示しており，仮に出現頻度が同じでも出現する単語に偏りがあれば，連想表現間の距離は遠くなるため, 高さが異なったり枝分かれすることがある. さらに，高い位置で分岐している連想表現がそのクラスターを要約するものであるといえる．図 3 では，「問いかけ」が連想表現としての出現頻度が高く，3つの単語に共通に現れた連想表現であった。樹状図においても最も高い位置で分岐しており, これらのことから Pattern1 の与える印象の 1 つであるといえる．図の右側「驚き」「意外」「疑問」「確認」については，“本当”の連想表現として多く出現した。“本当”という真実を表す言葉と共に情報がうまく処理できていないことを表していると考えられる。「気遣う」は“大丈夫”の連想表現として多く出現した。“大丈夫”という状態がしっかりしている様を表す言葉と共に状態が安定していないということを表していると考えられる。「軽い」も“大丈夫”の連想表現として現れたが，落ち着いた状態でないこと

Pattern1

図 3 Pattern1 の連想表現のクラスター分析結果
Pattern2

図 4 Pattern2 の連想表現のクラスター分析結果

を表していることに関係していると考えられる。そして頻度の高かった「問いかけ」により， Pattern1 の韻律制御によって, 情報の信頼性やシチュエーションに対して不安定な状況にあることを伝える効果を持つことが分かる.

Pattern2 の結果を図 4 に示す.「了解」が連想表現としての出現頻度も高く, Pattern2 の与える印象の 1 つであるといえる。中央「相槌」「冷静」は“本当” の連想表現として多く出現しており，落ち着いた状態を示していることが分かる．「答える」は“大丈夫”の連想表現として多く出現し，右側の「納得」は“分からない”の連想表現として多く出現したが，何れも落ち着いている状態を示しているといえる。そして頻度の高かった「了解」により，Pattern2 の韻律制御によって，真意をみとめた落ち着いた状態を示す効果を持つことが分かる.

Pattern3の結果を図 5 に示す.「ゆっくり」が連想表現としての出現頻度も高く, Pattern3の与える印象の1つであるといえる. 右側の「考えている」「内容を整理する」は出現頻度が少ないが 3 つの単語に対して共通に得られた印象であった。中央の「思い返す」「確かめる」は“本当”の連想表現として多く出現した。左側「念を押す」は“大丈夫”“本当”の連想表現として多く出現した。そして頻度の高かった「ゆっくり」により, Pattern3 の韻律制御によって，情報処理や動作について時間を要すること・要していることを示す効果を持つことが分かる.

Pattern4の結果を図 6 に示す。「せかす」そして「早口」が連想表現としての出現頻度が高く， Pattern4の与える印象の1つであるといえる。右側の「軽い」「テンポ良く」「遮る」は“本当” の連想表現として多く出現した。左側「大丈夫」は“大丈夫”の意味そのままに連想表現として出現した。そして頻度の高かった「せかす」により, Pattern4 の韻律制御によって, 情報処

## Pattern3

図 5 Pattern3 の連想表現のクラスター分析結果
Pattern4

図 6 Pattern4 の連想表現のクラスター分析結果
理や動作について短い時間で対応することを示す効果を持つことが分かる.

Pattern5 の結果を図 7 に示す.「消極的」「沈んでいる」が連想表現としての出現頻度も高く,

Pattern5 の与える印象の 1 つであるといえる. 右側「冷静」は出現頻度が少ないが 3 つの単語に対して共通に得られた印象であった．中央「我慢」は“大丈夫” の連想表現として多く出現した. 左側「考え込む」「困る」は“分からない”の連想表現として多く出現した。そして頻度の高かった「消極的」「沈んでいる」により, Pattern5 の韻律制御によって，興奮を抑えた状態 (沈静) を示す効果を持つことが分かる.

Pattern6 の結果を図 8 に示す.「テンションの高い」が連想表現としての出現頻度も高く, Pattern6 の与える印象の1つであるといえる。中央の「驚き」は“本当”の連想表現として多く出現した. 左側「怒り」「いらいら」は“大丈夫”“分からない”の連想表現として多く出現した。右側「うれしそう」は“本当”の連想表現として多く出現した。そして頻度の高かった 「テンションの高い」により, Pattern6の韻律制御によって, 気持ちの高ぶっている様子を示す効果を持つことが分かる.

Pattern7 の結果を図 9 に示す.「様子を伺う」が連想表現としての出現頻度も高く, Pattern7 の与える印象の1つであるといえる。右側「低く構える」「心のこもらない」は“本当”の連想表現として多く出現した．中央の「冷静」は “本当” “大丈夫”の連想表現として多く出現した. 左側の「威圧的」「困惑」は“分からない”の連想表現として多く出現した。そして頻度の高かった「様子を伺う」により，Pattern7 の韻律制御によって相手に慎重な態度を示す効果を持つことが分かる.

## Pattern5

図 7 Pattern5 の連想表現のクラスター分析結果

## Pattern6

図 8 Pattern6 の連想表現のクラスター分析結果

Pattern7

図 9 Pattern7 の連想表現のクラスター分析結果

## Pattern8

図 10 Pattern8 の連想表現のクラスター分析結果

表 1 制御パターン毎の主要な連想表現とその頻度

Pattern8 の結果を図 10 に示す.「あきれる」と「緊張感の無い」が連想表現として出現頻度が高く, Pattern8の与える印象の1つであるといえる。左側の「なだめる」は“大丈夫”に多く出現した。右側の「弱々しい」は“分からない”に多く出現した。そして頻度の高かった「あきれる」と「緊張感の無い」により，Pattern8の韻律制御によって相手に対し緊張感が無いことを示す効果を持つことが分かる。

以上より，単語の意味の影響を受けながらも韻律制御によって与える印象について傾向があることがわかった，表 1 には，最も頻度の高かった印象（連想表現）をまとめている．各印象を MSCL の S 層のコマンド名として付与することで韻律制御の結果のイメージがつき易くなり作業が格段に早くなるものと考えられる。但し，Pattern6の「うれしそう」と「怒り」（図 8）のように同一の韻律制御規則の中でも対照的な印象が現れる場合もある.「うれしそう」と
「怒り」は共に興奮している状態に起因していると考えられるが，様々な情報をそぎ落として1 つの印象でコマンド名を表現する場合には十分な注意が必要であることが分かる。さらには， Pattern6 と Pattern1 においては異なる制御方法であるにも関わらず「驚き」という連想表現が表れている． 3 章でも述べるが韻律制御と印象の関係が多対多の関係になる場合がある。しかし, 記述言語というフレームワークにおいて 1 つのコマンド名に対し複数の効果のうちどれかを選択する方法を提供することは記述をより複雑にする可能性があり， $\mathrm{S}$ 層のコマンドの持つ容易さを失うことになる．多対多の関係ではなく，一対多の関係であることが望ましい。このため，MSCLでは「驚き」に対して，「驚愕」や「びっくり」等の同義語や「驚き $1 」 「$ 驚き 2$\rfloor$ などの番号を付与し, その中で利用者が適した「驚き」を選択する，という方法で一対多の関係を維持することとした．コマンド名は，韻律制御のための1つのヒントを与えるものであるといえる.しかし，本実験により平易な言葉でコマンド名を付与していくということについては限界があることが分かった。より専門的な表現を使ったり，ユニークな番号を付与したりすることで対応可能であるが，初学者に対してはコマンドが持つ効果を解説する必要がある．今回の実験のように概念を構造化する手法などを用いて, 利用者に分かりやすく説明する仕組みが必要であると考える。さらには，韻律制御において音声合成をしたいテキストに含まれる意味なども考慮しなくてはならないことがわかる.

## 3 韻律制御に基づく印象の変化の実験

次に表 1 の連想表現を印象語として用いて多数の被験者を対象に聴取評価実験を行う。被験者は前回と同様に 8 パターンによる韻律制御を行った合成音声を聴取し， 8 種類の印象語すべてに対して ““1. あてはまらない”, “2. どちらでもない”, “3. あてはまる”\} の 3 件法で回答を行う．被験者は関東圈内に在住する 25 歳から 35 歳までの男性 6 名, 女性 9 名の計 15 名である. 最初に基準音として朗読調の合成音声を聞き, 次に韻律制御を行った合成音声を一定間隔で 6 回提示する。その間に8つの項目全てを対象に印象として適切であるか回答を行う。前回と同様に音声合成には“本当”“大丈夫”“分からない”の 3 つの単語を用いている.

表 2 は評価結果の平均値を混同対照表 (Confusion Matrix)によって表したものである. 左側に表1の8パターンの韻律制御によって期待される連想表現を列記しており，それぞれがコマンド名に相当すると考えられる．上段には評価に用いた全ての印象語を記している．高い値を示している連想表現がより適切な合成音声に対する印象を表していることになる。例えば Pattern1 によって生成された「問いかけ」の合成音声については, 印象語「問いかけ」の評価が 2.9 となっており最も高い値となっている. その他の印象語については 2 を下回る値となっている. このことから, Pattern1によって生成された音声は「問いかけ」以外の 7 つの印象とは混同しにくいことが分かる．表の左上から右下にかけての値が全て高い值を示していることから，表
表 2 聴取実験結果の混同対照表

 &  &  & あきれた \\

&$\quad($ Pattern 3$)\end{aligned}$ & 2.5 & 2.2 & 2.8 & 1.0 & 2.7 & 1.2 & 2.6 & 1.5 \\

1 で得られた結果が概ね良好であることが分かる，但し，Pattern7によって生成された「様子を伺う」の合成音声については，「問いかけ」の印象が最も強く，その次に「様子を伺う」についての評価が高いという結果となった. Pattern7によって相手に慎重な態度を表すことを示したが，単一の言葉で表したときは「様子を伺う」に加えてさらに「問いかけ」という表現が受け入れやすいことが分かった.

次に表 2 の結果を箱ヒゲ図で用いて表したのが図 11 である。図の下に書かれた印象語に対し，評価値の分布がどのようになるかを示したものである．箱の中の太実線が平均値であり， コマンドに対する全印象語の評価平均を示す。例えば, 「問いかけ」については, 約 1.6 が平均値となっている。また, 箱の両端が標準偏差を示している。図中の黒丸はコマンドが表す印象語の評価值であり, 表 2 より 2.9 であることが分かる. 各評価値の分布に対し, 黒丸の位置は箱の上端より外に位置していることが分かる。この結果から, MSCL で表 1 の 8 つのコマンドを設定した場合, 他の 7 つのコマンドに対して生成される合成音声の印象の違いを利用者が受け入れやすいものと考えられる。但し, 表 2 の結果にもあるように Pattern7 が「問いかけ」と 「様子を伺う」の両方の印象として感じられる可能性が高いと考えられる．また，黒丸の平均値が 2 付近にあることから，コマンド名としてさらに適切なものも存在する可能性があると考えられる。

図 11 箱ヒゲ図による回答の分布 (3単語)

## 4 言葉の意味による影響

2 章で述べたように, 音声合成を行う単語などの持つ意味によって印象が変わる可能性がある。そこで，単語の意味による印象の変化について調べた。ここでは，“問いかけ”に着目し，問いかけ時に使われる単語 “もしもし”“どうする”を用いて 3 章と同様の実験を行った. 被験者は 3 章と同じ 15 名であり，2つの単語について 8 パターンの韻律制御を行った合成音声を生成し聴取させた。但し, 問いかけ時に使う言葉ではあるが，デフォルトの韻律生成規則に対し最終母音が上昇パターンになる指定は行っていない. 図 12 が実験結果である。黒丸の位置は全て分布の上端に来ていることから，8つの連想表現の中でそれぞれ韻律規則と関連の深いものが「あてはまる」と回答されやすいことを示している.

図 11 とは異なり，“問いかけ” の平均値が 2 を超えている。“了解”全体の分布は 1.5 を下回っている。また，“様子を伺う”の平均値が 2 を超えている，つまり，“問いかけ”“様子を伺う” は全ての制御規則において当該の印象を感じやすくなっており，逆に“了解” の印象を感じにくくしていることが分かる。この結果から, 韻律制御がもたらす印象の傾向はあるものの, 言葉の意味が印象に影響を与えることも分かった．MSCLにおける韻律制御においては，韻律制御規則とその主な印象，そして音声合成する言葉の意味の 3 つを考慮して行うことが必要であることがわかった。

図 12 単語の意味による評価結果の変化

## 5 制御規則の組み合わせによる印象の強調

これまでの結果から，“様子を伺う”は連想法では強い傾向が得られたものの，聴取実験ではコンテクストなどを排除した単体の言葉による被験者の解釈によって, 傾向として弱められた結果となった。つまり，2 章の連想法での被験者の回答は，緊張した面持ちで相手を注視するようなイメージに基づいた “様子を伺う”であった。しかし，連想表現としてまとめあげた段階で“様子を伺う”に関する語幹に多様性が生まれ, 例えば“問いかけ”よりもスコアが低くなってしまったものと考えられる。そこで, 連想法で得られた結果のように, “様子を伺う”について評価値を上げる方法を検討した. これまでの先行研究（白井, 岩田 1987 ; 有本, 大野, 飯田 2007）では，1つの印象を表現するためにいくつかの韻律制御を組み合わせることを行っている．継続時間長，抑揚，文末最終母音のピッチパターンなどのそれぞれの特徴的な傾向を複合的に用いることで，1つの印象を表現している。言い換えれば，韻律制御を因子とした線形結合で表されていると考えることができる。そこで我々は，“様子を伺う”について印象を補い合う（因子負荷が正となる）韻律制御を組み合わせて，評価値を上げることができるか実験を行った. 図 13 は， 3 章で得られた評価値と各項目の関係についてクラスター分析を行った結果である。図に示すように8つの韻律制御をパラメータとして用いた場合“様子を伺う”は“問いかけ”と近いクラスに属することが分かった。そこで，“問いかけ”で最も高い評価値を持つ Pattern1を用いて, Pattern7 と Pattern1を組み合わせた時の“様子を伺う”の評価値を調べる.評価は, より詳細に印象の強さを調べるために「非常に含んでいる $(+3) 」$ から「非常に含んでいない $(-3)$ までの 7 件法 (大山他 1973) を用いた. 被験者は関東圈内に在住する 25 歳から 35 歳までの女性 6 名である。音声は “本当”の合成音声を用いている。“本当”の音声を選択し

表 3 制御規則の組み合わせによる“様子を伺う”の評価結果

図 13 クラスター分析による類似度の分析

た理由は 3 章の実験を行った際に，例えば Pattern7 の評価値が “様子を伺う”で 2.5 ，“問いかけ”で 2.3 と連想表現と韻律制御が 2 章で行った連想法の実験に比較的似ていることが分かったためである。表 2 に結果を示す.

Pattern7 のみの場合では評価の平均値が 1.67 (「やや含んでいる」と「かなり含んでいる」の中間）であった。これに対し 2 つの規則を組み合わせることで被験者の平均が 3.0 (「非常に含んでいる」）になった。この結果, Pattern7+Pattern1という組み合わせにより， $\mathrm{S}$ 層の新たなコマンドである，“（より強い印象を与える）様子を伺う”が定義できることが分かった．本実験は組み合わせることの効果の一例ではあるが，このようにいくつかの組み合わせの手法を導き，それらを記述によって表現できる仕組みを検討していく予定である.

## 6 まとめ

本研究は MSCL を様々な利用者が利用するための韻律制御の 1 つの考え方やコマンドの作成方法について述べた。文節という制御単位ではあるが韻律制御規則の規定を行い，韻律制御規則と印象の関係を導くことで利用者がより直感的に編集可能になった。また, 留意点としては,制御規則と印象が 1 対 1 の関係ではなく 1 対多の関係にあり，1つの制御規則に対して得られる印象をいくつか知っておく必要がある．MSCL で編集作業を行う際は, 制御規則, 印象, 言葉の意味をセットで考慮することで，より高い効果での韻律制御が可能であることが分かった。 さらには，MSCLの特徵である制御規則を組み合わせることで印象を強めることが可能であることが分かった．MSCLを利用する上で重要な要素のいくつかを確認できたが，より便利に使うためには，文節単位以上に，文単位あるいは文章単位での制御を可能にする制御規則が必要になってくると考えられる。また，8つの時系列変化パターンだけでなく, 韻律制御規則を増や

し, 様々な印象が表現できるコマンドを用意していく必要がある. さらには, 利用者が MSCL で編集作業を行うためのノウハウを体系的にまとめていきたいと考えている。その1つとして，韻律制御による効果をクラスター分析などにより構造化し，効果的に説明することを課題としている，今回は，物理パラメータの制御と印象の関係について分析を行ったが，被験者の所在地や年齢の範囲が限定的であるため，地域差や年齢差等による影響についても検討が必要であると考える。また，このレベルの検討を行いながら新たな制御規則を創出することは一般の利用者が行うことは難しいと考える，その労力を軽减するために，今回の韻律制御規則をテンプレートとして, 実音声の韻律パターンを抽象化し, 新しい制御規則の手がかりにする方法などがあり，これらが今後の課題であるといえる。

## 参考文献

阿部匡伸他 (2001). 音声デザインツール Sesign. 信学会論文誌 D-II, J84-D-II (6), pp. 927-935. Allen, J., Hunnicutt, M., and Klatt, D. (1987). From text to speech: The MITalk system. Cambridge University Press.

有本, 大野, 飯田 (2007).「怒り」の発話を対象とした話者の感情の程度推定法. 自然言語処理, 14 (3), pp. 149-163.

箱田, 佐藤 (1980). 文音声合成における音調規則. 信学会論文誌 D-II, J63-D (9), pp. 715-722.箱田, 塚田, 吉田, 広川, 水野 (1996). 波形合成法を用いたテキスト音声合成ソフトウェア (FLUET). 信学会 IS ソサイエティ大会.

Hartigan, J. A. (1983). クラスター分析. マイクロソフトウェア株式会社.

広瀬, 高橋, 藤崎, 大野 (1994). 音声の基本周波数パターンにおける話者の意図・感情の表現.

テクニカル・レポート, 信学技法 HC94-41, pp. 33-40.

川上秦 (1956). 文頭のイントネーション.テクニカル・レポート, 国語学, 24, pp. 21-30.

Klatt, D. (1987). "Reaview of text-to-speech conversion for English." J. Acoust. Soc. Am, 82 (3), pp. 737-793.

水野秀之 (2005). コーパスベース音声合成における音声合成単位とコーパスの設計方法. 信学技報, SP2005 (10), pp. 25-30.

Mizuno, O. and Nakajima, S. (1998). "Synthetic Speech/Sound Control Language: MSCL." In Third ESCA/COCOSDA Workshop on Speech Synthesis, pp. 21-26.

中山, 町野, 北岸, 岩城, 奥平 (2005). 音を用いたモーションメディアコンテンツ流通方式の提案とそのネットワークコミュニケーションサービスへの応用. 日本ロボット学会誌, $2 \mathbf{2 3}(5)$, pp. 602-611.

成澤, 峯松, 広瀬, 藤崎 (2007). 音声の基本周波数パターン生成過程モデルのパラメータ自動
抽出法の評価. テクニカル・レポート, 信学技法, SP2002-27.

西本, 志田, 小林, 白井 (1996). マルチモーダル入力環境下における音声の協調的利用一音声

作図システム S-tgif の設計と評価. 信学会論文誌 D-II, J79-D-II (12), pp. 2176-2183.

大山他 (1973). 心理学研究法 4 実験 III. 東京大学出版.

Raman, T. V. and Gries, D. (1997). "Audio formatting? Making spoken text and math comprehensible." International Journal of Speech Technology, 2 (1), pp. 21-31.

Ramming, J. C. (1998). "PML: A Language Interface to Networked Voice Response Units." In Workshop on Internet Programming Languages, ICCL '98.

Sasajima, M., Yano, T., and Kono, Y. (1999). "EUROPA: A Generic Framework for Developing Spoken Dialogue Systems." In EUROSPEECH99, pp. 1163-1166.

白井克彦, 岩田和彦 (1987). 音声合成のための単語の強調表現の規則化. 信学論文誌, J70-A (5), pp. 816-821.

総務省報告資料 (2007). 電気通信アクセシビリティガイドラインの国際標準化. テクニカル・レポート, 総務省.

SSML. "SSML." http://www.w3.org/TR/2007/WD-speech-synthesis11-20070110/.

翠, 河原他 (2007). 質問応答・情報推薦機能を備えた音声による情報案内システム. 情報処理学会, 48 (12), pp. 3602-3611.

VoiceXML. "VoiceXML." http://www.voicexml.org/.

Yamato, J., Shinozawa, K., Naya, F., and Kogure, K. (2001). "Effects of Conversational Agent and Robot on User Decision." Tech. rep., IJCAI-01 Workshop.

## 略歴

水野理：1994 年早大理工電気工学科大学院修了. 同年日本電信電話株式会社入社. NTT サイバースペース研究所勤務. 言語処理学会, 日本音響学会各会員.

阿部匡伸：1982 年早大 - 理工・電気卒. 1984 年同大大学院修了. 博士 (工学).同年日本電信電話公社入社. 1987 年から 1991 年まで ATR 自動翻訳電話研究所出向. 1989 年 MIT 滞在研究員. 1991 年日本音響学会第 8 回粟屋潔学術奨励賞, 1996 年日本音響学会第 36 回佐藤論文賞各章受賞. 現在, NTT サイバー ソリューション研究所勤務主幹研究員. 著書「Recent progress in Japanese Speech Syn thesis」.日本音響学会, 電子情報通信学会, IEEE 各会員.
水野, 阿部音声合成のための韻律制御コマンド作成方法の検討

(2009 年 2 月 17 日受付)

(2009 年 5 月 12 日再受付)

(2010 年 2 月 15 日再々受付)

(2010 年 3 月 15 日採録)