社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

人間 GAN：人間による知覚評価に基づく敵対的生成ネットワークと生成
音声の自然性評価藤井一貴†,†† 齋藤佑樹†

高道慎之介†

馬場

雪乃††† 猿渡洋††† 徳山工業高等専門学校 〒745–8585 山口県周南市学園台 3538
† 東京大学 〒113–8656 東京都文京区本郷 7–3–1††† 筑波大学 〒305-8577 茨城県つくば市天王台 1–1–1
E-mail: †i14fujii@tokuyama.kosen-ac.jp, †††shinnosuke_takamichi@ipc.i.u-tokyo.ac.jp
あらまし

人間による知覚評価を用いて生成モデルを学習する敵対的生成ネットワーク (generative adversarial

network; GAN) を提案する．通常の GAN は，実在データの分布と生成モデルの分布を一致させるように学習されるため，実在データ分布を逸脱した領域を生成することは，例え膨大な実在データを使用したとしても不可能である．
一方で，人間の知覚はデータの逸脱に関してある程度の許容範囲を持つため，人間の許容できるデータ範囲（知覚分布）は，実在データの分布よりも広い．本研究では，通常の GAN の識別モデルを人間による知覚評価に置換することで，人間の知覚分布を表現可能な生成モデルを学習する．生成モデルのパラメータは，人間による知覚評価を用いた backpropagation により推定される．音声の自然性（すなわち，人間らしさ）に関する主観的評価により，人間の知覚分布が通常の GAN で表現可能な分布よりも広い範囲をカバーしていることを示し，本研究の枠組みの必要性を示す．また，提案法により，人間の知覚分布を表現する生成モデルを学習できることを示す．
キーワード 敵対的生成ネットワーク, ヒューマンコンピュテーション, クラウドソーシング, 音声知覚

Kazuki FUJII†,†† , Yuki SAITO† , Shinnosuke TAKAMICHI† , Yukino BABA††† , and Hiroshi
SARUWATARI††† National Institute of Technology, Tokuyama College. 3538 Gakuendai, Shunan, Yamaguchi, 745–8585,
Japan† The University of Tokyo, 7–3–1 Hongo, Bunkyo-ku, Tokyo 113–8656, Japan††† University of Tsukuba, 1–1–1 Tennodai, Tsukuba, Ibaraki 305–8577, Japan
E-mail: †i14fujii@tokuyama.kosen-ac.jp, †††shinnosuke_takamichi@ipc.i.u-tokyo.ac.jp

1. は じ め に
機械学習における生成モデルは，メディア処理に関連するることができる．この枠組みは，画像 [2]，音声 [3]，言語 [4] な
ど，多様な分野においてその適応成功例が報告されており，今後も多様なメディアに対する効果が期待される．

研究に強く貢献している．特に，深層ニューラルネットワー

しかしながら，通常の GAN は実在するデータ（すなわち，ク (deep neural network; DNN) に基づく生成モデル（深層学習データ）の分布しか表現することができない（注 1）．一方で，生成モデル）は，DNN の強力な非線形変換の恩恵を受けて複人間の知覚は実在するメディアからの逸脱に対してある程度の雑なデータ分布をモデル化できる．敵対的生成ネットワーク

許容範囲を持つ．例えば，人間の自然音声を加工して創り出さ(generative adversarial network; GAN) [1] は深層生成モデル

れた非実在の音声に対して，我々は人格・キャラクタ性を認めの代表例である．GAN の枠組みでは，生成モデルと別に識別ることができる．本研究では，当該メディアにおいて人間が許モデルも利用する．生成モデルは識別モデルを詐称するように容できる範囲を知覚分布 (perception distribution) と呼び，こ学習され，識別モデルは実在データと生成データを識別するよ
うに学習される．これらを繰り返すことで，最終的に生成モデ
ルは実在データ分布に従うデータをランダムにサンプリングす（注 1）：本論文は GAN を扱うためこの文の主題を GAN としたが，この文で言及する問題は生成モデルで共通する．

—1—

の知覚分布を表現できる GAN を検討する．前述した音声の例のように，知覚分布が実在データ分布よりも広い領域をカバーすると仮定した場合，膨大な実在データを使用したとしても，識別モデルを詐称して学習を行う通常の GAN では，知覚分布を表現することは不可能である．
そこで，本研究では人間の知覚分布を表現することを目標として，人間の知覚評価を詐称して生成モデルを学習する GAN

GANTraining
Generator Discriminator
Natural
Prior
Generateddistr.
data
Train to fool computer-based
discriminator.
Generation（人間 GAN）を提案する．人間 GAN では，人間を「生成デー
タに対して事後確率（すなわち，生成データに対する許容度）

Distr. of training data

Distr. of human perceptionの差分を出力する black-box システム」とみなし，人間による知覚評価を利用して生成モデルを学習する．Fig. 1 に，通常

図 1 通常の GAN と提案する人間 GAN の比較の GAN と提案する人間 GAN の違いを示す．通常の GAN で

Fig. 1 Comparison of GAN and HumanGAN.

Crowdworkers

は，DNN で記述される識別モデルを詐称するのに対して，提案する人間 GAN では，クラウドソーシングサービスの人的リソースから得られる知覚評価を詐称する．本稿では，音声の自然性（すなわち，人間が当該音声を人間の音声としてどの程度

Perturbation2

許容できるか）における実験的評価を行い，(1) 実在データ分
布と知覚分布が異なること，また，(2) 提案する人間 GAN は，Worker’s answer to “to what degree
are two samples different?”

通常の GAN では表現できない知覚分布を適切に表現できることを示す．

Backpropagation using
approximated

2. 通常の GAN
通常の GAN の目的は，生成モデルの表現する分布を学

図 2 人間 GAN における生成モデルの学習習に用いられた実在データの分布に一致させることである．

Fig. 2 Generator training in HumanGAN.

そのため，通常の GAN は，データを生成する生成モデル

G (·) と ，実 在 デ ー タ と 生 成 デ ー タ を 識 別 す る 識 別 モ デ ル
D (·) を用いる．G (·) と D (·) は DNN で記述される．ここで，N 個の実在データを x = [x1 , · · · , xn , · · · , xN ] とする．
生成モデル G (·) は，既知の確率分布（例えば，一様分布）に[times]2. 2 識別モデルの学習
一方で，識別モデル D (·) は，Eq. (1) を −1 倍した関数を最小化するように学習される．D (·) のモデルパラメータを θD とすると，θD は次式で推定される．

従う N 個の乱数 z = [z 1 , · · · , z n , · · · , z N ] を，生成データx̂ = [x̂1 , · · · , x̂n , · · · , x̂N ] に写像する．識別モデル D (·) は，

θD = argmin −V (G, D)

(3)

θD

実在データ xn もしくは生成データ x̂n を入力とし，当該入力が実在データである事後確率を出力する．学習時の目的関数

2. 3 問 題 点

V (·) は次式となる．

生成モデルが適切に学習された場合，生成モデルは実在デー
タの分布に従うデータをランダムに生成できる．しかしながら，

V (G, D) =N∑

log D (xn ) +

n=1

N
∑

後述する Section 4. 2 のように，人間の知覚分布が実在デー

log (1 − D (G (z n ))) (1)タの分布よりも広い領域をカバーする場合，通常の GAN で学習される生成モデルはその領域を表現できない．

n=1

2. 1 生成モデルの学習生成モデル G (·) は，Eq. (1) を最小化するように学習される．G (·) のモデルパラメータを θG とすると，θG は次式で推3. 人間 GAN
人間の知覚分布を表現するために，本節では人間 GAN を提案する．人間 GAN は，Fig. 2 に示すように，通常の GAN の定される．

識別モデルを人間の知覚評価で置換した手法である．生成モデ

θG = argmin
θGN∑ル G (·) が DNN で記述され，既知の確率分布に従う乱数を入log (1 − D (G (z n )))

(2)

n=1

力とすることは，通常の GAN と人間 GAN で共通する．一方
で，通常の GAN では DNN で記述された識別モデルを詐称しすなわち，G (·) は，D (·) が生成データを実在データとしてて生成モデルを学習するのに対し，人間 GAN では人間による識別するように学習される．一般的に，この計算過程は微分可知覚評価を詐称して生成モデルを学習する．ここで，D (·) を人

能であるため，θG は逆誤差伝播法 (backpropagation) を用い間による評価を表す知覚モデルとして再定義する．この D (·)て反復的に更新される．

は，G (·) から生成されたデータ x̂n を入力とし，当該入力が—2—

「知覚的にどの程度許容できるか」を 0 から 1 の値で事後確率として出力する．学習時の目的関数 V (·) は次式となる．

V (G, D) =N∑

D (G (z n ))0.8

2nd principal component

6
4
2
0
-2
-4
-6
-8
-10

(4)

n=1

この式が示すように，人間 GAN では実在データを使用して学習しないことに注意する．

3. 1 生成モデルの学習

Real data

0.6
0.4
0.2

-4 -2 0 2 4 6 8 10
1st principal component

0.0

G (·) のモデルパラメータ θG は，Eq. (4) を最大化するよう

図 3 主成分空間の事後確率を表すカラーマップに学習される．ここで，勾配法による反復的学習法を考える．

Fig. 3 Color map representing posterior probabilities of principal
component space.

すなわち，θG は次式で反復的に更新される．

ここで，生成モデルの学習に係る人間への問い合わせ回数を整∂V (G, D)(new)θG= θG + α∂θG理する．学習の各反復における各生成データに対して R 回の(5)摂動を加えるため，最終的な問い合わせ回数は，勾配法の反復

ここで，α は学習係数である．第 2 項の ∂V (G, D) /∂θG は，

回数・生成データ数 N ・摂動回数 R の積となる．

∂V (G, D) /∂ x̂ と ∂ x̂/∂θG の積となる．通常の GAN では，

3. 2 考G (·) と D (·) の両方の計算過程が微分可能であるため，この式

本研究は，「コンピュータによって解くことが困難な課題

は backpropagation を用いて実行することができる．しかしなを，人間の処理能力を利用して解決すること」であるヒューマ

がら，人間 GAN では，D (·) が微分不可能であり，∂V (G, D) /∂ x̂

ンコンピュテーション [6] を利用したものであり，人間参加型を推定できないため， backpropagation による学習は不可能で（human-in-the-loop）の機械学習技術とみなされる．人間を何ある．そこで，人間を「生成データに対して事後確率分布を出らかの機械学習的システムとみなして DNN 学習に組み込む人

力する black-box システム」とみなした black-box 最適化手法

間参加型技術がいくつか存在する． Sakata らは，人間を特徴に基づいて ∂V (G, D) /∂ x̂ を推定する．本研究では， 摂動を量抽出システムとみなして多クラス識別性能を向上させてい用いて勾配を近似する Natural Evolution Strategies (NES) [5]

る [7]．また，Jaques らは，人間を補助的な画像識別システムを用いた学習アルゴリズムを提案する．手法の概要図を Fig.

とみなして，生成モデルの表現性能を向上させている [8]．この2 に示す．

ような観点から見ると，本研究は人間を「事後確率差分を出力()

まず，生成データ x̂n に対し，多変量正規分布 N 0, σ 2 I から(r)

ランダムに生成した摂動 ∆xn を付与する．ここで，σ は定数の標準偏差，r は摂動のインデックス（{
1 ≤ r ≤ R）
，I は単位行列で
}
(r)

(r)

察

するシステム」とみなして，人間の知覚分布を表現する手法とみなされる．
人間の許容範囲を探索する観点から，本研究は Koyama らある．次に，摂動後の 2 つのデータ x̂n + ∆xn , x̂n − ∆xnの研究 [9] に近い．ただし，この研究の目的と本研究の目的はを人間に提示し，それらのデータの事後確率の差分異なる．Koyama らは，2 つのデータに対する知覚スコア（例

(

)
(r)

∆D(x̂(r)n ) ≡ D x̂n + ∆xn

(

)
(r)

− D x̂n − ∆xn

えば、生成画像の美しさなど）の差異を人間に回答させ，それ(6)を補間することで，許容範囲を可視化することを目的としてい(r)を回答させる．∆D(x̂n ) は −1 から 1 までの値をとる．例え(r)ば，2 つのデータのうち x̂n + ∆xn の事後確率が非常に高い(r)(r)
場合に人間は ∆D(x̂n ) = 1 を返し，x̂n − ∆xn の事後確率(r)が非常に高い場合に人間は ∆D(x̂n ) = −1 を返すものとする．

る．一方で本研究は，摂動を加えた 2 つのデータの知覚評価の

この摂動・評価を，ある生成データ x̂n に対して R 回繰り返

自然言語による画像生成・操作 [10], [11] が提案されている．しす．最終的には，N 個の生成データに対して上記の過程を繰りかしながら，これらの手法は実在データに含まれるような，自返す．

然言語で記述された条件に対応する条件付き分布を推定するこBackpropagation に用いる勾配 ∂V (G, D) /∂ x̂ は，次式で∂V (G, D)=∂ x̂

目的としている．
人間の意図に対応するデータ分布を推定する類似研究として，とに留まる．一方で，本研究は実在データ分布より広い範囲の知覚分布の推定を目的とする．

近似される [5]．

[差異から勾配を計算することで，生成モデルを学習することを∂V (G, D)∂V (G, D)∂V (G, D),··· ,,··· ,
∂ x̂1
∂ x̂n
∂ x̂N
(7)

∂V (G, D)
1 ∑(r)=∆D(x̂(r)n ) · ∆xn
∂ x̂n
2σ 2 R]

通常の GAN は計算機のみ，提案する人間 GAN は人間のみ
を識別器として利用する．本研究の展望として，計算機と人間の共創，すなわち計算機と人間の両方を識別器とした生成モ
デル学習が考えられる．関連研究として，通常の GAN の学習
を能動学習 (active learning) に利用する方法が提案されていR(8)

る [12], [13]．これらの研究は，実在データ分布に関するもので

r=1

—3—

Initial parameter

1st update

2nd update

3rd update

4th update

図 4 白い点で示されているものが各学習で生成されたデータ．

Fig. 4 Generated data (white point) at each training iteration.

あるが，知覚分布の表現への応用可能性を持つ．

デルパラメータの初期化のために，音声コーパスを利用する．

学習データの偏り (data imbalance) は，通常の GAN に限使用するコーパスは，身体情報付き男・女・子どもの母音音声らず学習データを用いる機械学習一般の課題である．提案する

データベース (JVPD) [15] に含まれる女性 199 名の音声であ

人間 GAN は，学習データに依存しないためこの課題を緩和でる．特徴量抽出前に音量の正規化と，16 kHz へのダウンサン

きる可能性がある．

プリングを行う．抽出する音声特徴量は，音声分析システム

3. 3 課題

ここでは，人間 GAN の実装にあたり，実験的に明らかになった課題を整理する．

WORLD [16], [17] を用いて，5 ms 毎に抽出される 513 次元の対数スペクトル包絡である．Julius [18] による音素アライメン
トを行い，全時刻の音声特徴量のうち，日本語母音/a/の音声a ) 生成モデルの初期化

特徴量を用いる．最後に，199 名の女性の/a/の対数スペクト

Eq. (4) に示すように，人間 GAN の生成モデルは事後確率を

ル包絡に対して主成分分析を施して 2 次元の主成分を得る．本

最大化するように学習される．故に，初期の生成モデルから生研究では，多人数話者の実在データの分布は，2 次元の標準正成されるデータが知覚分布の mode 近傍のみに分布する場合，

規分布に従うと仮定し，通常の GAN と人間 GAN では，その学習を進めると mode collapse の問題 [14] が発生してしまう．

第 1 主成分と第 2 主成分のそれぞれを平均 0，分散 1 に正規化

また，生成されるデータが知覚分布から大きく離れた領域のみした空間を扱う．人間による知覚評価の際には，生成された特に分布する場合，通常の GAN と同様に gradient vanishing に

徴量から音声波形を再合成する．まず，正規化済みの第 1, 2 主よりモデルパラメータが更新されない問題も発生する．これら成分を生成モデルから生成し，逆正規化を行う．第 3 主成分以の問題を緩和するために，後述する実験的評価では，知覚分布

降と，対数スペクトル包絡以外の音声特徴量（基本周波数，非の領域を別途荒く推定し，その領域をカバーするような生成モ

周期性指標）については，平均声話者（すなわち，第 1, 2 主成

デルパラメータを初期値としている．

分の値が最も 0 に近い話者）の実発話の 1 フレームの特徴量をb ) 摂動の標準偏差 σ への敏感性使用する．これらの特徴量は 5 ms（1 フレーム）分の音声特徴

σ の値の大きさに応じて，生成データに加えられる摂動の大量に相当する．その後，人間による評価を容易にするために，

きさが変化する．過度に小さな値の σ を用いると，人間 GAN

この特徴量を 200 フレームだけコピーして得られた 1 秒分の音の識別器では知覚的な差異が発生せずに勾配が消失する．一方

声特徴量から，WORLD を用いて音声波形を生成する．

で，過度に大きな値の σ を用いると，正確な勾配推定が行われない．後述する実験的評価では，複数の σ の値を用いて評価を行い，最終的に単一の値を使用している．

4. 2 実在データ分布と知覚分布の違いの確認
まず，人間 GAN の必要性を実験的に確認するために，実在
データ分布と知覚分布が異なることを示す．2 次元の空間を 1.0c ) 人間への問い合わせ回数

毎にグリッド分割し，各グリッドにおける自然性の許容度（すSection 3. 1 で述べたように，人間への問い合わせ回数は学

なわち，自然性の事後確率）を評価する．評価時には，クラウ

習反復回数・生成データ数・摂動回数の積になる．この問い合

ドソーシングサービス上で「人間らしくない音声であれば (1)

わせ回数の増加は，人間による知覚評価に係る金銭的・時間的を，人間らしい音声であれば (5) を選択してください．
」というコストを爆発させる．後述する実験的評価では，問い合わせ回

インストラクションを示し，人間に 1 つの音声の許容度を 5 段

数を限定するために単純な生成モデル，少量の生成データ，低階で回答させる．ここで得られた回答の 1 から 5 のそれぞれの次元の特徴量を使用している．

値を，事後確率 D (x̂n ) の 0.00, 0.25, 0.50, 0.75, 1.00 に対応さ

4. 実験的評価
4. 1 実 験 条 件

せる．各グリッドの事後確率の値は，複数の評価値の平均とする．評価者の数は，96 人である．

Fig. 3 に結果を示す．Section 4. 1 において述べたように，

実験的評価では，提案する人間 GAN が音声の自然性の知覚

実在データは平均 0，分散 1 に正規化されている．通常の GAN

分布を表現できるかを調査する．すなわち，人間が当該音声で表現できる分布は，この範囲に収まる．一方で，Fig. 3 に示

を人間の音声として許容できる音声特徴量の知覚分布を表現

すように，知覚分布はこの範囲に留まらず，より広い領域に対する．本来，人間 GAN は実在データを利用しないが，この評応することがわかる．この広い領域は，通常の GAN では表現

価では，通常の GAN との比較，データの次元数削減，生成モ

することが出来ないため，人間 GAN の枠組みによる知覚分布—4—

の表現が必要である．
ClosedOpen

4. 3 生成モデル学習による生成データの変化
次に，生成モデル学習の様子を定性的に確認するために，学習の各反復における生成データをプロットする．生成モデルに入力する乱数は，2 次元の一様分布 U (−1, 1) に従うものとする．この乱数は，学習のはじめにランダムに生成され，学習中は固定される．生成モデルは，2 ユニットの入力層，2 × 4
ユニットの sigmoid 隠れ層，2 ユニットの線形出力層を持つ

Feed-Forward neural network である．初期の生成モデルパラ
メータはランダムに決定する．ただし，Fig. 3 における事後確率の高い領域をカバーするような初期生成データが得られるまで，初期モデルパラメータのランダム生成を繰り返す．最適化
アルゴリズムとして学習率 α = 0.0015 の確率的勾配降下法をN用いる．生成モデルの実装には，Chainer [19] を使用する．生図 5 各学習回数における事後確率

成する音声特徴量数 N は 100，摂動回数 R は 5，学習の反復

Fig. 5 Posterior probability at each iteration step.

回数は 4 とする．NES の標準偏差 σ は 1.0 とする．人間による評価には，クラウドソーシングサービス Lancers [20] を使用する．評価時には，クラウドソーシングサービス上で「2 つの音声を聴いて，1 個目の方が人間らしいほど (1) を，2 個目の方が人間らしいほど (5) を選択してください．両方同程度なら(3) を選択してください．」というインストラクションを示し，
人間に 2 つの音声の許容度の差異を 5 段階で回答させる．ここで得られた回答の 1 から 5 の値を，それぞれ事後確率の差分(r)∆D(x̂n ) の 1.0, 0.5, 0.0, −0.5, −1.0 に対応させる．
Fig. 4 に学習の様子を示す．各点は生成データである．可視化のため，Fig. 3 の事後確率を重ねて表示しているが，学習そのものに Fig. 3 の結果は使用していないことに注意する．
これらの図より，学習の反復により，生成データは事後確率の高い領域に遷移していることがわかる．故に，人間 GAN は，知覚分布を表現するような生成モデル学習を可能にすることが定性的に確認できる．

4. 4 生成モデル学習による事後確率の増加
最後に，学習の反復により事後確率が増加することを定量的に確認する．ここでは，学習に用いた乱数とは別の乱数を発生させ，新たな特徴量を生成する．以降では，学習に使用した乱数で生成した特徴量を closed データ，学習に使用していない乱数で生成した特徴量を open データと呼ぶ．Open データに対する事後確率は，Section 4. 2 と同様に，クラウドソーシン
グサービス上で人間に評価させる．

Fig. 5 に，各反復における事後確率の箱ひげ図を示す．この図から，学習の反復により，closed データのみならず，open
データに対しても事後確率の増加が見られる．故に，人間 GANにより学習された生成モデルが知覚分布を表現しうることを定
量的に確認できる．

5. ま と め
本研究では，人間の許容できるデータの範囲（知覚分布）を表
現可能な生成モデル学習のために，人間による知覚評価を詐称する敵対的生成ネットワークを提案した．その有効性を示すた
めに音声の自然性に関する実験的評価を行い，提案法が知覚分布を表現する生成モデルを学習することを示した．今後は，人間と計算機の共創に基づく敵対的生成ネットワークを検討する．

Acknowledgement: 本研究の一部は，セコム科学技術振興財団の支援を受けて実施した．また，本研究開発は総務省

SCOPE(受付番号 182103104) の委託を受けた．
文

献[1] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu,
D. WardeFarley, S. Ozair, A. Courville, and Y. Bengio,“Generative adversarial nets,” in Proc. NIPS, Montreal,
Canada, Dec. 2014, pp. 2672–2680.
[2] M. Mirza and S. Osindero, “Conditional generative adversarial nets,” arXiv:1411.1784, 2015.
[3] Y. Saito, S. Takamichi, and H. Saruwatari, “Statistical parametric speech synthesis incorporating generative adversarial networks,” IEEE/ACM Transactions on Audio, Speech,
and Language Processing, vol. 26, no. 1, pp. 84–96, Jan.
2018.
[4] L. Yu, W. Zhang, J. Wang, and Y. Yu, “SeqGAN: Sequence
generative adversarial nets with policy gradient,” in Proc.
AAAI, San Francisco, U.S.A., Feb. 2017.
[5] A. Ilyas, L. Engstrom, A. Athalye, and J. Lin, “Black-box
adversarial attacks with limited queries and information,”in Proc. ICML, vol. 2, Stockholm, Sweden, Jul. 2018, pp.
2137–2146.
[6] A. J. Quinn and B. Bederson, “Human computation: a survey and taxonomy of a growing ﬁeld,” in CHI ’11 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Vancouver, Canada, May 2011, pp. 1403–
1402.
[7] Y. Sakata, Y. Baba, and H. Kashima, “CrowNN: Humanin-the-loop network with crowd-generated inputs,” in Proc.
ICASSP, Brighton, U.K., May 2019, pp. 7555–7559.
[8] N. Jaques, J. McCleary, J. Engel, D. Ha, F. Bertsch, R. Picard, and D. Eck, “Learning via social awareness: Improving
a deep generative sketching model with facial feedback,” inarXiv preprint arXiv:1802.04877, 2018.
[9] Y. Koyama, D. Sakamoto, and T. Igarashi, “Crowd-poweredparameter analysis for visual design exploration,” in Proc.
UIST, New York, U.S.A., Oct. 2014, pp. 65–74.
[10] E. Mansimov, E. Parisotto, J. Ba, and R. Salakhutdinov,“Generating images from captions with attention,” in Proc.
ICLR, San Juan, Puerto Rico, May 2016.
[11] S. Shinagawa, K. Yoshino, S. Sakriani, Y. Suzuki, and
S. Nakamura, “Image manipulation system with natural

—5—

[12]
[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

language instruction,” IEICE Transactions on Informationand Systems, vol. J102-D, no. 8, pp. 514–529, Aug. 2019 (inJapanese).
J.-J. Zhu and J. Bento, “Generative adversarial active learning,” in arXiv preprint arXiv:1702.07956, 2017.
Y. Deng, K. Chen, Y. Shen, and H. Jin, “Adversarial active
learning for sequences labeling and generation,” in Proc.
IJCAI, Stockholm, Sweden, Jul. 2018, pp. 4012–4018.
I. Goodfellow, “NIPS 2016 tutorial: Generative adversarial
networks,” in Proc. NIPS, Barcelona, Spain, Dec. 2016.
[Online]. Available: https://arxiv.org/abs/1701.00160“Vowel database: Five Japanese vowels of males, females,
and children along with relevant physical data (JVPD),”
http://research.nii.ac.jp/src/en/JVPD.html.
M. Morise, F. Yokomori, and K. Ozawa, “WORLD: avocoder-based high-quality speech synthesis system for realtime applications,” IEICE transactions on information andsystems, vol. E99-D, no. 7, pp. 1877–1884, Jul. 2016.
M. Morise, “D4C, a band-aperiodicity estimator for highquality speech synthesis,” Speech Communication, vol. 84,
pp. 57–65, Nov. 2016.
A. Lee, T. Kawahara, and K. Shikano, “Julius — an open
source real-time large vocabulary recognition engine,” inProc. EUROSPEECH, Aalborg, Denmark, Sep. 2001, pp.
1691–1694.
S. Tokui, R. Okuta, T. Akiba, Y. Niitani, T. Ogawa,
S. Saito, S. Suzuki, K. Uenishi, B. Vogel, and H. Y. Vincent,“Chainer: A deep learning framework for accelerating the
research cycle,” in KDD ’19 Proceedings of the 25th ACM
SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage, AK, U.S.A., Aug. 2019, pp.
2002–2011.
“Lancers,” https://www.lancers.jp/.

—6—