Vol.2021-MUS-131 No.31
Vol.2021-SLP-137 No.31
2021/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

ITA コーパス：パブリックドメインの音素バランス文からなる日本語テキストコーパスの構築と基礎評価
小口 純矢1,a)

金井 郁也1,b)

小田 恭央2,c)齊藤 剛史3,d)

森勢 将雅1,e)

概要：音素バランスを考慮したパブリックドメインの日本語テキストコーパスである ITA コーパスを構築した．無償で利用できる従来のコーパスは「継承」を条件に公開されていることが多い．そのため，二次著作物を同じライセンスのもとで公開しなければならず，商用利用や公開範囲を制限したい場合に不便である．また，限られた文数のなかで音素バランスを考慮した結果，読みにくい文章が多くなり，話者の負担となってしまう．ITA コーパスは著作権の消滅した文献あるいはオリジナルの文章・単語から文セットを構築することでパブリックドメインで公開される．100 文と 324 文のサブセットからなり，それぞれが日本語における可能なモノフォン・ダイフォンを豊富に含んでいる．また，音素バランスだけでなく読みやすさも考慮されており，用途・分野を問わず幅広い応用が可能である．実際の応用事例として，感情音声コーパスおよび読唇データベースを構築した例も紹介する．
キーワード：コーパス，データベース, 音素バランス, マルチモーダル，音声合成

1. はじめにの高いコーパスであるが，有償で提供されており，新たに収録した読み上げ音声を公開することができない．また，統計的音声合成の研究において利用されるコーパスの設

声優統計コーパス [2] や JSUT [3] は無償で利用できるもの

計は，そのコーパスを用いて訓練された合成器の性能に大の，「継承」がライセンス条項に含まれており二次著作物きく影響を与える．一般に，統計的生成モデルは学習デーを同様のライセンスのもとで頒布しなければならない．そタに含まれない音韻の合成は困難である．そのため，日本のためコーパスの利用者は，作成した音声合成システム・語において出現する音韻をなるべく多様に含むように設計

音声コーパスを同じライセンスのもとで公開しなければな

された音素バランス *1 文の存在は欠かせないものとなってらず，商用利用や利用範囲を制限することができない．まいる．また，既存の音声コーパスをカバー・改変し自らのた，既存の音素バランス文は限られた文数で音素バランス声でパラレルコーパスを収録し，新たなデータベースとしのみに基づいた文選択を行っている．そのため，読み慣れて公開する試みも盛んに行われており，豊富な音声資源をない単語や長い文が多く含まれる傾向にあり，アマチュア利用して音声研究はますます活性化していくと思われる．の話者にとって正しく発話することが難しい場合がある．

一方で，既存の音素バランス文セットは，誰もが自由にこれらの問題を解決と，音声分野のみならず関連研究の利用可能というわけではない．ATR 音素バランス文 [1] はさらなる活性化を目的に「分野横断的研究を加速させる」

エントロピーに基づく文選択など綿密に設計された信頼性コーパスとして Inter-ﬁeld Task Accelerating; ITA コーパスを構築した．本コーパスは以下の特徴がある．

123a)b)c)d)e)*1

明治大学, Meĳi University, Nakano, Tokyo, 164–8525, Japan
SSS 合同会社, SSS LLC., Sendai, Miyagi, 983–0831, Japan
九州工業大学, Kyushu Institute of Technology, Izuka, Fukuoka 820–8502, Japan
cs202027@meĳi.ac.jp
cs202003@meĳi.ac.jp
oda@zunko.jp
saitoh@ai.kyutech.ac.jp
mmorise@meĳi.ac.jp
ここでいう音素バランスとは，「音素・音素連鎖がなるべく多種類・等確率で含まれる」ことを指し，「この世界の日本語文章全てを母集団とした音素の出現確率の分布に近い」という意味ではないことに注意されたい．

ⓒ 2021 Information Processing Society of Japan

パブリックドメイン: 著作権切れの作品をもとに作成されているため，完全に著作権フリーで公開される．
これにより，利用者は商用・非商用問わず二次著作物の頒布を自由に行うことができる．
音素バランス: 日本語において可能なモノフォン・ダイフォンを全て，トライフォンをできるだけ豊富に含むように設計されている．
読みやすさ: 読みやすさを考慮して文の選定・改変を

1

Vol.2021-MUS-131 No.31
Vol.2021-SLP-137 No.31
2021/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

行っており，収録時の話者の負担を低減するように設計されている．
以降では，ITA コーパスの設計と分析結果，およびそのTable 1: 各コーパスに含まれるトライフォンの種類数．
（モノフォン：39 種類，ダイフォン：459 種類は共通）．
CorpusTriphone [種類]応用事例である感情音声コーパスと読唇用マルチモーダル

ATR5032976

データベースについて報告する．

声優統計

2096

ITA-emo

1686

ITA-recit

2839

ITA-full3155

2. コーパスの設計
2.1 構成ITA コーパスは 424 文の日本語文章からなる音素バランス文セットである．モノフォン・ダイフォンを考慮した100 文からなる Emotion セットと， モノフォン・ダイフォンに加えてトライフォンを豊富に含むように作られた 324
文からなる Recitation セットの 2 つから構成される．これにより，複数話者によるパラレルデータや感情音声の収録には文数の少ない Emotion セットを利用し，比較的収録時間に余裕がある場合には Recitation セットも合わせて用いるなど，サブセット毎に独立して音素バランスが担保されているため，目的に合わせて使い分けることができる．

2.2 コーパス文の選定
青空文庫 [4] に収蔵されている著作権切れの文学作品，およびパブリック・ドメインの日英対訳コーパスである田中
コーパス [5] から，担保すべき音素連鎖を含む文章をランダムに選択した．その後，読みやすさと公序良俗に照らして以下の項目に該当する文について削除・改変を行った．

• ITA-recit: ITA コーパス Recitation セット（324 文）.
• ITA-full: ITA コーパス全体（424 文）.
3.1 音素連鎖の種類
まず，各コーパスに含まれるトライフォンの種類数を計算した．Table 1 はその結果である．ITA-full が最も多くの種類のトライフォンを含んでいるという結果が得られた．
これは ATR503 がエントロピーを基準に文を選択しており，ITA コーパスは種類数を基準に選択していることが原因と考えられる．
続 い て ，ITA-emo・ITA-recit に つ い て 子 音-母 音（Consonant–Vowel; CV）連鎖の出現数を計算した．それぞれの計算結果を Table 2・Table 3 に示す．どの CV 連鎖も全体として 2 つ以上含まれていることが分かる．

3.2 エントロピー
次に，各音素連鎖の出現頻度が一様であるかを示す指標• 馴染みのない外来語・地名など読みにくい単語を含むとして，以下によって定義される拡張エントロピーを計算• 商品・サービス・社名を含む

した [6]．

• 差別的・性的・暴力的な表現を含む
以下は，読みやすさを考慮して文の改変を行った例である．

𝑆=𝑀∑

𝑤𝑚 𝑆 𝑚 ,𝑚=1𝑆𝑚 = −𝑁𝑚∑𝑝 𝑚𝑛 log2 𝑝 𝑚𝑛(1)𝑛=1

ここで， 𝑀 は音素連鎖の数であり，モノフォンは 1 ，ダ
修正前：「六月二十日に民衆をテュルリー宮殿に走らしたイフォンは 2，トライフォンは 3 を表す．𝑆 𝑚 と 𝑁 𝑚 はそ

肉屋のレジャンドルも、王を廃するということは夢にれぞれ 𝑚 番目の音素連鎖とその総数である． 𝑝 𝑚𝑛 は音素も考えなかった。」

連鎖 𝑛 がコーパス内で現れる確率である．𝑤𝑚 は各音素連修正後：「レジャンドルは民衆をテュルリー宮殿に招いた。
」

鎖に対する重みであり，本研究ではいずれも 1.0 に設定し修正前の文は，外国の人名・地名が含まれているだけでなた．拡張エントロピーは各音素連鎖が同じ割合で含まれる

く，文が長いため言い淀みやすい．一方，改変後の文は必ほど大きな値をとる性質を持つため，コーパスの音素バラ要な音素連鎖を含みつつ文が短くなっており読みやすくンスを定量的に表すことができる．計算結果を Table 4 になっている．

示す．全体の傾向として文数が増えるほどエントロピーも増大することが読み取れる．一方で，声優統計の方が同じ

3. コーパスの分析
ITA コーパスの音素バランスについて，既存の音素バラ文数である ITA-emo よりも大きな値を取っている．これは読みやすさを考慮して文を修正したことに起因すると考えンス文と比較しながら分析を行った．分析対象とするのはられる．

以下の 5 セットである．

4. 応用例• ATR503: ATR 音素バランス文（503 文） [1]．
• 声優統計: 声優統計コーパス（100 文） [2].
• ITA-emo: ITA コーパス Emotion セット（100 文）.

ⓒ 2021 Information Processing Society of Japan

本章では，ITA コーパスの利用事例として，感情音声コーパスおよび読唇用マルチモーダルデータベースを構築した例を紹介する．

2

Vol.2021-MUS-131 No.31
Vol.2021-SLP-137 No.31
2021/6/18

情報処理学会研究報告
IPSJ SIG Technical Report

Table 2: Emotion セットにおける CV 連鎖の出現頻度

Table 3: Recitation セットにおける CV 連鎖の出現頻度（空欄 – は日本語において不可能な連鎖）（空欄 – は日本語において不可能な連鎖）

bbychddyfggyhhyjkkym
mynnyppyr
rys
sht
tstyv
w
yz

Vowelaiueo

13
1
2
30
1262
1
17
1
3
96
1
42
1
62
2
6
1
42
1
19
6
102
2
1
2
99
764—
31
4—
26—
16—
25
40—
20—
62—
2—
29—
184
41—
11—
114
1
1
14
1142—126931022546712648
132
31—
101291144—
11214112711221113139
1171681—111544230
1310412515518364106
1527618
1098
1111242

4.1 感情音声コーパス
100 文セットを感情音声， 324 文セットを通常の読み上げ音声としてそれぞれ利用し，感情音声コーパスを構築した．既存の感情音声コーパスには，怒り・悲しみ・喜びといった典型的な感情音声が収録されていることが多いが，本音声コーパスはキャラクターボイスとしての用途を想定

ConsonantConsonantVowelbbychddyfggyhhy
jkkymmynnyppyrryssht
tstyv
w
yzaiueo

32
2
1678
1
12156
669
126214
13116
1154
10
27
2111
18426271
3
1
3227
40
14

10—
55
5—
914—
48
—
44
104
—
56
—
184
—
13—
75
—
1229
14
2
—
1
4—
1

27
2
23
1
4
67
25
8—
4
13
179
23
27
2
1212
22
3
186
9156
30
3
113
5
1
—
28
32

16
1
3
134
—
926
1
18
1
2
51
142
1
27
1
10
187
1
61
5
147
2
—
4
4
1
12

147
2248
1
3
24
17
35
15
25
123
3887
6268
3
26
8
31
2351
52229
11
3
750
9

Table 4: 各コーパスの拡張エントロピー．
CorpusExtended entropy [bit]

ATR503

22.49

声優統計

22.27

ITA-emo

21.85

ITA-recit

22.34

ITA-full

22.38

し，あまあま（甘えた声）・セクシー（大人っぽい声）・ツンツン（いわゆるツンデレ声）の 3 感情を収録した．加えこうした背景から，我々は上の感情音声コーパスに収録中て，それぞれに対してプロのアノテータによって付与されの口唇の動きを記録した動画像データを付録させて読唇用た音素境界の時間アライメントに基づくフルコンテキストデータベースの公開を予定している．

ラベルを付属する予定である．

4.3 さらなる応用可能性
4.2 読唇マルチモーダルデータベース

ITA コーパスは，その読み上げ音声を音声認識・合成シ音声に加えて動画像を補助特徴量として用いることで精ステムの学習データとして利用したり，新たなデータベー度向上を目指す試みが古くからなされている．特に深層学スの構築に活用するなど，典型的な用途だけでも幅広い応習によるアプローチは大量のデータが必要であるため，異用を考えることができる．

なるドメインのメディアを収録したマルチモーダルデータ

また，ITA コーパスに含まれる音素環境の豊富さから，ベースには需要が見込まれる．例えば，口唇の動画像からその読みやすさを前後の音韻の関係から多角的に分析する

音声認識・合成を行うタスクは，聴覚・発話障害者のコミュことができ，speech error（言い間違い）や speakability（発ニケーションを支援する上で重要な技術であることから，話しやすさ）に関する研究への応用が期待できる．

技術研究のみならずデータベースの整備も盛んである [7]．
ⓒ 2021 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2021-MUS-131 No.31
Vol.2021-SLP-137 No.31
2021/6/18

5. おわりに
本研究は, パブリックドメインの音素バランス文セットである ITA コーパスを構築した．3 音素連鎖だけでなく読みやすさを考慮しており，幅広い用途で利用可能である．
音素バランス・エントロピーに基づく評価において ITAコーパスの有効性が示された．また，感情音声コーパスや読唇マルチモーダルデータベースといった応用事例を紹介した．これらは研究用データベースとして公開を予定している．今後は読みやすさについての評価や音声合成に利用した場合の性能比較を行っていくことを考えている．
謝辞

本研究は，科研費 JP21H04900 の支援を受けた．

また，文章の選定にご協力いただいた細田計さんに感謝の意を示す．
参考文献
[1]
[2]
[3]

[4]
[5]
[6]

[7]

磯 健一, 渡辺 隆夫, and 桑原 尚夫, “音声データベース用文セットの設計,” 1988, pp. 89–90.
y benjo and MagnesiumRibbon, “声優統計コーパス,” http://voice-statistics.github.io.
R. Sonobe, S. Takamichi, and H. Saruwatari, “JSUT corpus:
free large-scale Japanese speech corpus for end-to-end speechsynthesis,” abs/1711.00354, Nov. 2017.
“青空文庫,” https://www.aozora.gr.jp/.
田中康仁, “田中コーパス（パブリック・ドメイン版）.”
T. Nose, Y. Arao, T. Kobayashi, K. Sugiura, and Y. Shiga,“Sentence selection based on extended entropy using phonetic
and prosodic contexts for statistical parametric speech synthesis,” IEEE/ACM Transactions on Audio, Speech, and Language
Processing, vol. 25, no. 5, pp. 1107–1116, 2017.
T. Afouras, J. S. Chung, and A. Zisserman, “The conversation:
Deep audio-visual speech enhancement,” in Proc. Interspeech,
2018, pp. 3244–3248.

ⓒ 2021 Information Processing Society of Japan

4