社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

DNN に基づく話し言葉音声合成における追加コンテキストの効果
山下

優樹†

郡山

知樹††

齋藤

佑樹††

増村

亮††† 猿渡高道慎之介††

井島

勇祐†††

洋††

† 東京大学工学部 〒113–8656 東京都文京区本郷 7 丁目 3–1†† 東京大学大学院情報理工学系研究科 〒113–8656 東京都文京区本郷 7 丁目 3–1††† NTT メディアインテリジェンス研究所 〒239–0847 神奈川県横須賀市光の丘 1–1
E-mail: †yukiyama913@g.ecc.u-tokyo.ac.jp, ††tomoki_koriyama@ipc.i.u-tokyo.ac.jp
あらまし ディープニューラルネットワーク (DNN) に基づく音声合成では, パラ言語, 非言語情報を追加することで,読み上げ音声よりも自発性の高い音声を再現できる. 本稿では, 日本語話し言葉コーパス (CSJ) に付与されている豊富なアノテーションを利用して, DNN に基づく話し言葉音声合成におけるパラ言語的, 非言語的特徴量の効果を評価する. 実験では, パラ言語的情報を付加することで, より高い再現性で話し言葉音声を合成できることを示す.
キーワード 音声合成, コンテキスト, 話し言葉音声, アノテーション, ディープニューラルネットワーク

The Eﬀectiveness of Additional Context in DNN-based Spontaneous Speech
Synthesis
Yuki YAMASHITA† , Tomoki KORIYAMA†† , Yuki SAITO†† , Shinnosuke TAKAMICHI†† , Yusuke
IJIMA††† , Ryo MASUMURA††† , and Hiroshi SARUWATARI††† Faculty of Engineering, The University of Tokyo 7–3–1 Hongo, Bunkyo-ku, Tokyo, 113–8656 Japan†† Graduate School of Information Science and Technology, The University of Tokyo 7–3–1 Hongo,
Bunkyo-ku, Tokyo, 113–8656 Japan††† NTT Media Intelligence Laboratories, NTT Corporation 1–1 Hikarinooka, Yokosuka-shi, Kanagawa,
239–0847 Japan
E-mail: †yukiyama913@g.ecc.u-tokyo.ac.jp, ††tomoki_koriyama@ipc.i.u-tokyo.ac.jp
Abstract In DNN-based speech synthesis, contexts, which are input features of DNN, can be used not only forthe representation of linguistic information but also for that of para- and non- linguistic information. Althoughspontaneous speech synthesis requires the use of various contexts to express the diversity of prosody in spontaneous
speech, it is not clear what features are important. In this study, we utilize the rich tags annotated in Corpus of
Spontaneous Japanese (CSJ), and use them as the additional contexts. Experimental evaluation results show thatboth frequently- and infrequently- observed tags are eﬀective for synthesizing spontaneous speech.
Key words speech synthesis, context, spontaneous speech, annotation, deep neural network

1. ま え が き
音声合成はスマートフォンや対話ロボットにおける音声対話

統計モデルに基づく音声合成では, 入力されたテキストから音声波形を直接予測することは一般的に困難であるため, テキストから得られるコンテキストと波形生成のための音声特徴量

システムだけでなく, 公共交通機関での案内放送や映像作品のとの関係を統計的にモデル化するパイプラインモデルが用いら

ボイスオーバーなど, 様々な場面に応用が広がっている. また,れる. 近年ではテキストの文字列や音素列のみを直接入力とす

この応用場面の拡大に伴い, 与えられたテキストに対応する音る end-to-end 音声合成を行う研究も広く行われている [1], [2]

声を生成するだけでなく, 多様な感情・発話意図を表現可能なが, アクセントが重要な日本語 end-to-end 音声合成ではアクセ

音声合成システムへの期待が高まっている.

ント情報をコンテキストとして加えることで性能が向上するこ—1—

とが報告され [3], コンテキストが依然として重要であるといえる.

3. 日本語話し言葉コーパス (CSJ)

本研究では, 統計モデルにおける音声合成の中でも, 深層

日本語話し言葉コーパス (CSJ) [10] は, 現代日本語の自発音

ニューラルネットワーク (deep neural network: DNN) を用い

声を豊富なアノテーションとともに大量に格納したデータベー

た音声合成 [4] におけるコンテキストに着目する. 代表的なコスである. CSJ の一部であるコアデータには, 137 人の男女にンテキストは, 前後の音素情報を示すトライフォンや単語や句よる 201 講演が収録されており, 手作業によるものを含め特にに付随する韻律の種類や句の長さなどであり, 読上げ調の DNN

集中的にアノテーションが付加されている.

音声合成システムではこのような基本的なコンテキストを用い

CSJ の XML ファイルは, 図 1 のように詳細なタグにより構ることで高品質な音声を合成することが可能である. 一方で, コ成されている [13]. コアデータの XML の階層構造は以下のよ

ンテキストは自由度が高く様々な情報を付加することが可能でうになっている.

あり, 例えば, 文献 [5], [6] では発話者を表すベクトルをコンテ<Talk>

キストとして加えることで多話者音声合成システムを実現して<IPU>

いる. また, 文献 [7], [8] では感情表現の表出度合いをコンテキストとして使用し, DNN 音声合成において感情表現の制御が可

<LUW>
<SUW>

能であることを示している. さらに, 強調表現のような局所的<TransSUW

な情報もコンテキストによって表現できることが報告されてい<Mora> or <NonLinguisticSound>

る [9].

<Phoneme>

以上のことから, コンテキストを加えることによって, より多<Phone>様な音声を合成できることが期待できる. そこで, 講演や対話な<XJToBILabelTone>

どの自発性の高い発話（話し言葉）が収録されている日本語話<XJToBILabelWord>

し言葉コーパス（Corpus of Spontaneous Japanese: CSJ）[10]<XJToBILabelBreak>を用いて, 話し言葉音声合成におけるコンテキストの有効性を<XJToBILabelPrm>

検討する. CSJ のうちコアデータと呼ばれる一部の音声データ<XJToBILabelMisc>には, 自発音声特有の発話の非流暢性, 音素の引き延ばし, 句末

XML の要素を用いてコンテキストを形成する方法について

音調の韻律情報などを記述するためのタグが大量に付与されて述べる.

おり, 本稿ではこれらのタグを DNN 音声合成のための追加コ

講演 (Talk): CSJ の音声データは, 講演ごとにファイル化されンテキストとして使用する. このとき, 合成音声の自然音声にている. 講演のカテゴリ (学会講演, 模擬講演, 朗読, 対話) や話

対する再現性を主観評価実験により比較し, 話し言葉音声合成

者の情報はこのタグから得られる.

に有効なコンテキストを調査する.

発話 (IPU): 読み上げ音声においては, 一般に文が発話単位と2. 関連研究：HMM 音声合成におけるコンテキストの検討
本研究では DNN に基づく話し言葉音声合成におけるコンテされる. 一方, 話し言葉音声においては, 必ずしも文末を発声しないので, 文を単位とするのは適切ではない. IPU(inter-pauseunit) は, 話し言葉音声における発話単位であり, 200ms 以上のポーズによって区切られる.

キストの検討を行うが, 隠れマルコフモデル（hidden Markov

長単位 (LUW), 短単位 (SUW): 膠着語である日本語においmodel: HMM）に基づく話し言葉音声合成 [11] でも同様の研ては, 単語の定義の自由度は高い [14]. それゆえ, CSJ では究が行われている [12]. HMM に基づく音声合成ではコンテキ

LUW(long-unit word) と SUW(short-unit word) の 2 種類のストが決定木の分割要素として用いられるため, この研究では,

単語単位を使用する. 単語の品詞, 活用型, 活用形などの情報は,CSJ のタグが決定木分割に与える影響を調査している. 実験結

これらのタグから得られる.

果から, 詳細な韻律を与えるトーンラベルおよび音素の引き延

転記短単位 (TransSUW): 転記短単位は, 短単位に非流暢性のばしをコンテキストとして用いることで, 自然性が向上するこ

情報を付加したものである. 非流暢性の情報と, 一部の単語情とが示されているが, 効果の見られないタグも多く存在した. こ報はこのタグから得られる.

の理由として, 決定木は上位の分割基準の影響が大きいことや,モーラ (Mora): このタグには, かな情報が付与されている. 句

条件の排他的論理和が決定木で表現できないことが挙げられる.

や節のモーラ数を数えるときや, 句や節の中での位置を数える

本研究で検討する DNN 音声合成では, コンテキスト同士の複ときにこのタグの情報が使われる.

雑な関係を自動的にモデル化できる手法であることから, HMM

NonLinguisticSound: このタグはモーラと同じ階層にあり, 息に基づく話し言葉音声合成と比較して, より多様なタグに対しや笑い声などの非言語的情報のラベルが付与されている.

て有効性が確認できると考えられる. また, DNN 音声合成では

音素 (Phoneme), 分節音 (Phone): <Phone>タグには, 分節音

複数話者の同時モデル化が容易に実現可能であるため, 大量のの始端, 終端時刻, 分節音の種類, 無声化母音についての情報が音声による自然性の高い合成音声による評価を行うことができ付与されている. 本研究では 59 種の分節音を使用する. 音素はると考えられる.

分節音が 1 つ以上連結したもので, 本研究では<Phoneme>タグ—2—

図 1 CSJ の XML の例

Fig. 1 Example of XML in CSJ.

は使用しない.

のカテゴリの情報を加えてベースラインコンテキストとする.

XJToBILABEL*: これらのタグは, 日本語話し言葉の韻律ラ

4. 2 話し言葉音声合成の追加コンテキスト

ベリングスキーム X-JToBI [15] により付与された韻律情報

話し言葉音声合成の追加コンテキストとして, HMM に基づである. <XJToBILabelTone>タグには, 句頭境界音調, 句末境

く音声合成ではトーンラベル, 単語単位, 節, 音素引き延ばし,

界音調などの情報が付与されている. <XJToBILabelWord>タ

発話スタイル, 非流暢性, 音素付加情報が検討された [12]. 本稿

グには, 語に対するイントネーション情報が付与されており,では, CSJ の XML ファイルに含まれる下記のタグ情報を，追知覚されたアクセント核の位置情報はこのタグから得られる.

加コンテキストとして使用することを提案する.

<XJToBILabelBreak>タグには, 韻律特徴により発話を階層的

4. 2. 1 トーンラベルに構造を表現する BI(break index) 層の情報が付与されてい話し言葉音声における音調は読み上げ音声に比べてる. 階層の深度が語境界, アクセント句境界, イントネーショ

非 常 に 複 雑 な の で, ア ク セ ン ト 情 報 の み か ら モ デ ル 化 す

ン句境界を表すが, このタグに付与されているポーズや非流

る の は 困 難 で あ る.

下 降 調, 上 昇 調, 上 昇 下 降 調, 下 降

暢性に関する情報を利用することで, 話し言葉音声におけるこ上 昇 調, 上 昇 下 降 上 昇 調 の 句 末 境 界 音 調 や ，ピ ッ チ の 上

れらの境界を柔軟に修正できる. この階層は, 4. 2 章の XML

昇・下 降 の 位 置 を 表 す ポ イ ン タ は<XJToBILabelTone>タ グの階層構造とは別のものである. <XJToBILabelPrm>タグは,に 付 与 さ れ て い る.

<XJToBILabelTone>, <XJToBILabelBreak>タグで解釈できな

調 で 表 現 で き な い ピ ッ チ 変 動 を 表 す<XJToBILabelPrm>タい日本語のイントネーションに対して, 補助的にラベル付けさ

グ, 句 境 界 情 報 を 表 す<XJToBILabelBreak>タ グ, 注 釈 を 表れる. <XJToBILabelMisc>タグは, 極めて多様な話し言葉音声

す<XJToBILabelMisc>タグの情報を追加コンテキストとして用の韻律に対して, XJToBI で対応できない場合に注釈として付

いる.

与される.

4. コンテキスト

4. 2. 2 単

こ れ 以 外 に も ，ア ク セ ン ト や 句 末 音

語4. 1 章で述べる読み上げ音声合成においては, 単語単位の特徴量は重要ではない [17] のでコンテキストから外されている.

4. 1 日本語読み上げ音声合成のコンテキスト

本研究では, 単語単位の特徴量が話し言葉音声において有効か

読み上げ音声合成のコンテキストの例として, HMM-DNN 音

どうかを調査する. 品詞, 活用型, 活用形, 音便などの情報は,

声合成システム (HTS) [16] のデモを取り上げる. 日本語のコ
ンテキストでは発話, イントネーション句, アクセント句, モー<LUW>, <SUW>タグから得られる.
4. 2. 3 節

ラ, 音素の 5 つの階層的な音声単位を用いる. 隣接する単位の文末が明示的に現れないことの多い話し言葉音声において影響を考慮するため, 現在の単位の情報だけでなく直前およびIPU 単位は便利であるが, 連続的な情報をモデル化するには直後の単位の情報をコンテキストに加える. これらのコンテキ

短すぎることがある. 文に関連した文法的単位として, CSJ

ストに発話者のメタ情報（話者 ID，性別，出生地）と収録講演

では転記テキストから自動決定された節情報が<SUW>タグの—3—

ClauseBoundaryLabel に付与されている. 本研究では，節情報

表 1 出現頻度の高いコンテキストについて, ベースラインコンテキス

における境界の強さと境界の種類をコンテキストとして用いる.

トのみの場合とコンテキストを追加した場合を比較した XAB テ

また, CSJ のコアデータでは人手による節情報の修正が<SUW>タ

スト結果
Table 1 XAB test results for additional contexts.

グの CU_OperationSign に付与されているので, コンテキスト

コンテキスト

選択率p値

ベースライン vs トーンラベル

45.7 % vs 54.3 %0.022

4. 2. 4 重 要 文

ベースライン vs 単語

45.0 % vs 55.0 %0.014

話し言葉では要旨となる重要な部分とそうでない部

ベースライン vs 節

44.7 % vs 55.3 % < 0.01として用いる.

分 で 発 声 に 差 が あ る.

CSJ の コ ア デ ー タ で は, 学 会

ベースライン vs 重要文

46.7 % vs 53.3 %0.10

講 演, 模 擬 講 演 の う ち 177 講 演 に 対 し て, <SUW>タ グ の

SE_{Subject1|Subject2|Subject3}_{10p|50p}によって, 講演内

主観評価用において, 多くの IPU は発話継続長が短いため,

容に重要な上位 10%, 50% の部分に 3 人の作業者により独立に

IPU を音声サンプルとして用いると聴取者が評価しにくいこと

節単位でラベル付けされている.

が考えられる. そこで本研究では, 主観評価実験の音声サンプ

4. 2. 5 音素引き延ばしルとして, 約 5 秒間の連続する IPU を連結したものを 100 個非話者が考えているとき, 驚いた時, 強調している時, 通常よ復元抽出した. 学習用のデータには評価用のデータは含まれなり長く音素を発音することがある. この引き延ばしは字句にいようにした.

は表れないので, 別途アノテーションする必要がある. 音素引

5. 2 主観評価実験

き延ばしの情報は母音, 子音それぞれ<Mora>タグの TagVLong,

合成音声によるオリジナル音声の再現性を評価するために,

TagCLong から得られる.

XAB テストに基づく主観評価実験を実施した. クラウドソー

4. 2. 6 発話スタイル
話 者 が 笑 い な が ら 発 声 し た り,

シングサービス上で被験者を募集し, 被験者はまずオリジナル
囁いたりすると

音声 X を聞き, 2 種類のコンテキストで合成された A, B のうき, 音 声 波 形 は 発 話 ス タ イ ル に 依 存 し て 変 化 す る.

ちどちらが X に近いか選択した. 各実験で被験者数は 30 とし,

こ の 情 報 は<Mora>タ グ 及 び<NonLinguisticSound>タ グ の各被験者は主観評価用データから無作為に 5 つ抽出したものにTag{Whisper|Laughing|Uncertain|...}から得られる.

ついて, A, B の順序入れ替えを含めて計 10 個評価した.

4. 2. 7 非 流 暢 性

5. 2. 1 実験 1：出現頻度の高い追加コンテキストの効果

話 し 言 葉 音 声 に は さ ま ざ ま な 非 流 暢 な 発 声 が 含 ま れ る.

出現頻度の高いタグから得られるコンテキストについて, ベー

語断片, 言い直し, フィラー, 発音エラーの情報が, それぞスラインコンテキストのみの場合と, トーンラベル, 単語, 節おれ<TransSUW>タグの Tag{Disﬂuency|Disﬂuency2|Filler| Incor-

よび重要文のコンテキストをそれぞれ追加した場合を比較して,

rect|...}から得られる.

その効果を評価した. 本実験では, 主観評価用のデータは CSJ

5. 実

験

のコアデータから無作為に抽出した. 表 1 は, ベースラインコ
ンテキストのみの場合とコンテキストを追加した場合を比較し5. 1 実 験 条 件た結果である. 重要文を除いて, 各追加コンテキストではベー

CSJ のコアデータに属する 201 講演を使用した. IPU 数はスラインコンテキストより有意に高い選択率となっている.

60424, 音声は 128120 秒（約 35.6 時間）となった. 講演を IPU

5. 2. 2 実験 2：コンテキストを複数追加する効果

単位に分割し, CSJ の XML ファイルによって各 IPU にコンテ

5. 2. 1 で有効性が示された追加コンテキストについて, コン

キストラベルを付与した.

テキストを 1 つだけ追加した場合と複数追加した場合を比較し

DNN は, 一般的なフィードフォワード型ニューラルネットて, その効果を評価した. 本実験では, 主観評価用のデータはワークとした. 隠れ層数は 5 層, 各層のノード数 1024 個で, 活

CSJ のコアデータから無作為に抽出した. 表 2 は, コンテキス

性化関数に ReLU, 勾配法に Adam を使用し, 学習率は 0.001

トを 1 つだけ追加した場合と複数追加した場合を比較した結果とした. 過学習を防ぐため, 重み減衰係数を 10−6 , ドロップア

である. コンテキストを 1 つだけ追加した場合よりも, 複数追ウト率 0.5 とした. ミニバッチサイズは 1024 とし, 20 エポッ

加した場合の方が高い選択率になっている. 特に, 単語または節ク学習した.

のコンテキストを追加すると, 有意に高い選択率となっている.

サンプリング周波数 16 kHz の音声波形に対して WORLD5. 2. 3 実験 3：出現頻度の低い追加コンテキストの効果[18] による音声分析・合成を行った. 音声分析により得られた

出現頻度の低い音素引き延ばし, 発話スタイル, 非流暢性のタスペクトル, 非周期性指標, fo から, 0–59 次のメルケプストラ

グから得られるコンテキストについて, ベースラインコンテキ

ム, 対数 fo , 1 次元の非周期性指標を抽出した. これらの 1 次おストのみの場合とコンテキストを追加した場合を比較して, そ

よび 2 次動的特徴量と有声・無声フラグを合わせた 187 次元のの効果を評価した. 本実験で使用する追加コンテキストは, CSJ

ベクトルを音響特徴量とした. 入力ベクトルであるコンテキスのコアデータ中でごくわずかしかラベル付けされていない. コ

トベクトルは, ベースラインコンテキストのみを用いた場合に,ンテキストを追加することによる, 追加コンテキストのラベル

それぞれ音素継続長モデルでは 336 次元, 音響特徴量モデルで付けがされている発話への効果とラベル付けがされていない発は 340 次元とした.

—4—

表 2 コンテキストを 1 つだけ追加した場合と複数追加した場合を比較した XAB テスト結果
Table 2 XAB test results for the combinations of additional con-[4]

texts.
コンテキスト選択率

トーンラベル vs トーンラベル + 単語
単語 vs トーンラベル + 単語

p値

41.0 % vs 59.0 % < 10−5
46.3 % vs 53.7 %0.073

41.0 % vs 59.0 % < 10−5

トーンラベル vs トーンラベル + 節
節 vs トーンラベル + 節[5]

43.7 % vs 56.3 %[6]< 0.01

単語 vs 単語 + 節

41.0 % vs 59.0 % < 10−5

節 vs 単語 + 節

42.0 % vs 58.0 % < 10−4

表 3 出現頻度の低いコンテキストの XAB テスト結果

[7]

[8]

Table 3 XAB test results for infrequently-observed additional
contexts.
コンテキスト

選択率p値

ベースライン vs 音素引き延ばし

45.0 % vs 55.0 %0.014

ベースライン vs 発話スタイル

44.3 % vs 55.7 % < 0.01

ベースライン vs 非流暢性

43.3 % vs 56.7 % < 0.01

話への効果を同時に評価するため, 主観評価用データには追加

[9]

[10]

コンテキストのラベル付けがされている発話とラベル付けがされていない発話が同数含まれるようにした. 表 3 は, ベースラ

[11]

インコンテキストのみの場合とコンテキストを追加した場合を比較した結果である. 各追加コンテキストではベースラインコ
ンテキストより有意に高い選択率となっている.

[12]

6. む す び
本研究では話し言葉音声合成において, 自発音声のように多[13]様な韻律を持つ発話を生成することを目的として, 日本語話し
言葉コーパス (CSJ) に付与されているタグを, DNN 音声合成

[14]のコンテキストとして用いることの有効性を検討した. 主観評
価実験結果より, トーンラベルや節といった出現頻度の高いコ
ンテキストだけでなく, 音素引き延ばしや非流暢性といった出[15]

現頻度の低いコンテキストに対しても, 原音声に近い話し言葉
音声の合成に有効であることを示した. また, コンテキストを複数追加した場合でも追加コンテキストの組合せは有効であ[16]り, さらに, HMM 音声合成における検討 [12] では効果の見られなかった単語や節, 非流暢性といったコンテキストに対しても, DNN 音声合成においては有効でであることを示した.

[17]

今後は，さらにコンテキストを加えたときの合成音声の変化
や，不要なコンテキストの検討など，詳細な検討を行う予定で

[18]

ある．
文

献

[1] J. Sotelo, S. Mehri, K. Kumar, J.F. Santos, K. Kastner, A.
Courville, and Y. Bengio, “Char2wav: End-to-end speechsynthesis,” 2017.
[2] Y. Wang, R. Skerry-Ryan, D. Stanton, Y. Wu, R.J. Weiss,
N. Jaitly, Z. Yang, Y. Xiao, Z. Chen, S. Bengio, Q.
Le, Y. Agiomyrgiannakis, R. Clark, and R.A. Saurous,“Tacotron: Towards end-to-end speech synthesis,” Proc. INTERSPEECH, pp.4006–4010, 2017.
[3] Y. Yasuda, X. Wang, S. Takaki, and J. Yamagishi, “Investigation of enhanced Tacotron text-to-speech synthesis sys-

tems with self-attention for pitch accent language,” Proc.
ICASSP, pp.6905–6909, 2019.
H. Zen, A. Senior, and M. Schuster, “Statistical parametric speech synthesis using deep neural networks,” Proc.
ICASSP, pp.7962–7966, 2013.
Z. Wu, P. Swietojanski, C. Veaux, S. Renals, and S. King,“A study of speaker adaptation for DNN-based speech synthesis,” Proc. INTERSPEECH, pp.879–883, 2015.
N. Hojo, Y. Ijima, and H. Mizuno, “DNN-based speech synthesis using speaker codes,” IEICE Transactions on Information and Systems, vol.E101.D, no.2, pp.462–472, 2018.
S. An, Z. Ling, and L. Dai, “Emotional statistical parametric speech synthesis using LSTM-RNNs,” Proc. APSIPA
ASC, pp.1613–1616, 2017.
J. Lorenzo-Trueba, G.E. Henter, S. Takaki, J. Yamagishi,
Y. Morino, and Y. Ochiai, “Investigating diﬀerent representations for modeling and controlling multiple emotions
in DNN-based speech synthesis,” Speech Commun., vol.99,
pp.135–143, 2018.
M. Wang, Z. Wu, X. Wu, H. Meng, S. Kang, J. Jia, and
L. Cai, “Emphatic speech synthesis and control based on
characteristic transferring in end-to-end speech synthesis,”
2018 First Asian Conference on Aﬀective Computing andIntelligent Interaction (ACII Asia), pp.1–6, 2018.
K. Maekawa, H. Koiso, S. Furui, and H. Isahara, “Spontaneous speech corpus of japanese.,” Proc. LREC, pp.947–952,
2000.
T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi, andT. Kitamura, “Simultaneous modeling of spectrum, pitchand duration in HMM-based speech synthesis,” Proc. EUROSPEECH, pp.2347–2350, 1999.
T. Koriyama, T. Nose, and T. Kobayashi, “On the use of extended context for HMM-based spontaneous conversational
speech synthesis,” Proc. INTERSPEECH, pp.2657–2660,
2011.
K. Maekawa, H. Kikuchi, and W. Tsukahara, “Corpus of
spontaneous Japanese : Design, annotation, and XML representation,” 2004.
K. Maekawa, M. Yamazaki, T. Ogiso, T. Maruyama, H.
Ogura, W. Kashino, H. Koiso, M. Yamaguchi, M. Tanaka,
and Y. Den, “Balanced corpus of contemporary written
Japanese,” Lang. Resour. Eval., vol.48, no.2, pp.345–371,
2014.
K. Maekawa, H. Kikuchi, Y. Igarashi, and J. Venditti, “XJToBI: an extended J-ToBI for spontaneous speech,” Proc.
7th ICSLP, pp.1545–1548, 2002.
H. Zen, T. Nose, J. Yamagishi, S. Sako, T. Masuko, A.W.
Black, and K. Tokuda, “The HMM-based speech synthesis
system (HTS) version 2.0,” Proc. 6th ISCA Workshop on
speech synthesis (SSW6), pp.294–299, 2007.
S. Yokomizo, T. Nose, and T. Kobayashi, “Evaluation of
prosodic contextual factors for hmm-based speech synthesis,” Proc. INTERSPEECH, pp.430–433, 2010.
M. Morise, F. Yokomori, and K. Ozawa, “WORLD: A
vocoder-based high-quality speech synthesis system for realtime applications,” IEICE Trans. Inf. & Syst., vol.E99.D,
no.7, pp.1877–1884, 2016.

付

録

1. 本稿で使用されているタグと属性
本研究で使用したタグの一覧を表 A· 1 および 表 A· 2 に記載する. 実験では, 表中のカテゴリごとに, コンテキストを追加
した.

—5—

表 A· 1 タグと属性 (Talk から TransSUW まで).

Table A· 1 Tags and attributes (Talk to TransSUW).
タグ・属性

カテゴリ

<Talk>
TalkID

ベースライン

SpeakerID

ベースライン

SpeakerSex

ベースライン

SpeakerBirthGeneration ベースライン
SpeakerBirthPlace

ベースライン

<IPU>

ベースライン

IPUStartTime

ベースライン

IPUEndTime

ベースライン<LUW>LUWPOS単語

LUWConjugateForm単語

LUWConjugateType

単語

LUWMiscPOSInfo1

単語

LUWMiscPOSInfo2

単語

LUWMiscPOSInfo3

単語

<SUW>
SUWPOS

単語

SUWConjugateForm

単語

SUWConjugateType

単語

SUWMiscPOSInfo1

単語

SUWMiscPOSInfo2

単語

SUWMiscPOSInfo3

単語

ClauseBoundaryLabel

節

CU_OperationSign

節

SE_Subject1_10p

重要文

SE_Subject2_10p

重要文

SE_Subject3_10p

重要文

SE_Subject1_50p

重要文

SE_Subject2_50p

重要文

SE_Subject3_50p

重要文<TransSUW>
TagAlphabetStart

単語

TagAlphabetEnd

単語

TagAlphabetMidst

単語

TagDisﬂuencyStart

非流暢性

TagDisﬂuencyEnd

非流暢性

TagDisﬂuency2Start

非流暢性

TagDisﬂuency2End

非流暢性

TagFillerStart

非流暢性

TagFillerEnd

非流暢性

TagFillerMidst

非流暢性

TagIncorrectStart

非流暢性

TagIncorrectEnd

非流暢性

表 A· 2 タグと属性 (Mora から XJToBILabel*まで).

Table A· 2 Tags and attributes (Mora to XJToBILabel*).
タグ・属性

カテゴリ

<Mora>MoraID

ベースライン

TagVLong

音素引き延ばし

TagCLong

音素引き延ばし

TagWhisperStart

発話スタイル

TagWhisperEnd

発話スタイル

TagWhisperMidst

発話スタイル

TagLaughingStart

発話スタイル

TagLaughingEnd

発話スタイル

TagLaughingMidst

発話スタイル

TagUncertainStart

発話スタイル

TagUncertainEnd

発話スタイル

TagUncertainMidst

発話スタイル<NonLinguisticSound>
MoraID

ベースライン

TagBreath

発話スタイル

TagLaugh

発話スタイル

TagVN

発話スタイル

TagWhisperStart

発話スタイル

TagWhisperEnd

発話スタイル

TagWhisperMidst

発話スタイル

TagLaughingStart

発話スタイル

TagLaughingEnd

発話スタイル

TagLaughingMidst

発話スタイル

TagUncertainStart

発話スタイル

TagUncertainEnd

発話スタイル

TagUncertainMidst

発話スタイル<Phone>PhoneEntity

ベースラインDevoiced

ベースライン

PhoneStartTime

ベースライン

PhoneEndTime

ベースライン

<XJToBILabelTone>

トーンラベル

ToneClass

トーンラベルDivided

トーンラベル<XJToBILabelWord>
PerceivedAccPos

ベースライン

非流暢性<XJToBILabelBreak>

ベースライン単語<XJToBILabelPrm>

トーンラベル

TagMaskEnd

単語<XJToBILabelMisc>

トーンラベル

TagMaskMidst

単語

TagForeignStart

単語

TagForeignEnd

単語

TagForeignMidst

単語

TagQuoteStart

単語

TagQuoteEnd

単語

TagQuoteMidst

単語

TagIncorrectMidst
TagMaskStart—6—