(57)【要約】【課題】所望の属性のデータに変換することができる。【解決手段】学習部３２は、変換器の学習規準の値を最小化するように、変換器を学習し、統合識別器の学習規準の値を最小化するように、統合識別器を学習する。【選択図】図１
2020126308.tif 000002
【特許請求の範囲】
【請求項１】
属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習する学習部であって、
任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、
前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、
を用いて表される学習規準の値を最小化するように、前記変換器を学習し、
任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、
変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、
を用いて表される学習規準の値を最小化するように、前記統合識別器を学習する学習部
を含むデータ変換学習装置。
【請求項２】
前記変換器の学習規準は、更に、
前記変換元のデータの属性コードを入力として前記変換器によって変換された前記データと、前記変換元のデータとの距離とを用いて表される請求項１記載のデータ変換学習装置。
【請求項３】
前記データは、音声信号の音響特徴量系列である請求項１又は請求項２記載のデータ変換学習装置。
【請求項４】
データ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を用いて、入力された変換元のデータ、及び目標のデータの属性を示す属性コードから、目標のデータを推定するデータ変換部
を含み、
前記変換器は、
属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、
任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、
前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、
を用いて表される学習規準の値を最小化するように予め学習されたものであり、
前記統合識別器は、
任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、
変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、
を用いて表される学習規準の値を最小化するように予め学習されたものであるデータ変換装置。
【請求項５】
学習部が、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習することであって、
任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、
前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、
を用いて表される学習規準の値を最小化するように、前記変換器を学習し、
任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、
変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、
を用いて表される学習規準の値を最小化するように、前記統合識別器を学習することを含む
データ変換学習方法。
【請求項６】
コンピュータに、
属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習することであって、
任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、
前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、
を用いて表される学習規準の値を最小化するように、前記変換器を学習し、
任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、
変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、
を用いて表される学習規準の値を最小化するように、前記統合識別器を学習すること
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ変換学習装置、データ変換装置、方法、及びプログラムに係り、特に、データを変換するためのデータ変換学習装置、データ変換装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
Star Generative Adversarial Network(StarGAN)は、画像や音声などのデータに対し、コンテンツ（内容）を保ったまま異なる属性（スタイル）への変換を行うことを目的としたニューラルネットワークモデルおよびその学習方式で、unpairedデータでの学習が可能である点と一つのモデルで多種の属性間の相互変換が可能である点が大きな特長である。
【０００３】
StarGANでは、入力データ（例えば画像）xとターゲット属性ラベルを入力として属性クラスkのデータyを出力する変換器Gをニューラルネットワークでモデル化し、各属性の学習データ
2020126308.tif 000003
を用いて変換器Gを学習する。このとき、変換データ
2020126308.tif 000004
を実データらしく、かつ属性kらしくすることが目標であり、実データか合成データかを識別する識別器Dと、属性を識別する属性識別器Cを用いて変換器Gを学習する。まず、クロスエントロピー規準を用いた場合の識別器Dの損失関数は
【０００４】
【数１】
2020126308.tif 000005
（１）
と書ける。式(1)は識別器Dがyを実データと識別し、
2020126308.tif 000006
を合成データと正しく識別できている場合に小さい値をとる規準となっているため、これを小さくすることが識別器Dの目標となる。一方、変換器Gの第一の目的は
2020126308.tif 000007
を識別器Dに合成データと見破られないような品質のデータを生成することであるため、これを大きくすることが変換器Gの目標となる。変換器Gの二つ目の目標は、
2020126308.tif 000008
が属性kらしいデータとなるようにxを変換することである。これを実現するための規準として
【０００５】
【数２】
2020126308.tif 000009
（２）
【０００６】
【数３】
2020126308.tif 000010
（３）
【０００７】
のような損失関数を導入する。式(2)は属性kの実データを属性識別器Cが正しく属性kと識別できている場合に小さい値をとる規準となっているため、これを小さくすることが属性識別器Cの目標となる。一方、変換器Gの第二の目的は
2020126308.tif 000011
を属性識別器Cに属性kと識別されるようにすることであるため、式(3)を小さくすることが変換器Gの目標となる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】「声の雰囲気や聞き取りやすさを変換する」、NTTコミュニケーション科学研究所オープンハウス2018 の配布冊子P37
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上の規準のみで変換器Gを学習する場合、xと
2020126308.tif 000012
が同一コンテンツ（音声の場合は発話内容）をもつデータとなることが保証されない。そこで上述の規準に加え、循環無矛盾規準と呼ぶ損失関数
【００１０】
【数４】
2020126308.tif 000013
（４）
【００１１】
を導入する。
【００１２】
2020126308.tif 000014
は、属性k′のサンプルxを属性kとなるように変換した
2020126308.tif 000015
をさらに属性k′なるように再変換したものを表し、式(4)は
2020126308.tif 000016
が変換元のxと近くなるほど小さい値をとる規準となっている。これを小さくすることが変換器Gの第三の目標となる。以上をまとめると、変換器G、識別器D、属性識別器Cの学習規準はそれぞれ
【００１３】
【数５】
2020126308.tif 000017
（５）
【００１４】
【数６】
2020126308.tif 000018
（６）
【００１５】
【数７】
2020126308.tif 000019
（７）
【００１６】
となり、これらを小さくするように変換器G、識別器D、属性識別器Cを学習する方法がStarGANである。
【００１７】
この方式は、コンテンツが必ずしも同一でないunpairedデータでの学習が可能である点と一つのモデルで多種の属性間の相互変換が可能である点を特長にもつ。一方で、変換されたデータがターゲットの属性のデータ分布に従うように変換器が学習される保証はなく、変換器が指定の属性への適切な変換を行えるようになるかどうかはネットワークアーキテクチャ設計に依存する方法となっていた。
【００１８】
本発明は、上記問題点を解決するために成されたものであり、所望の属性のデータに変換することができる変換器を学習できるデータ変換学習装置、方法、及びプログラムを提供することを目的とする。
【００１９】
また、所望の属性のデータに変換することができるデータ変換装置を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記目的を達成するために、第一の態様に係るデータ変換学習装置は、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習する学習部であって、任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、を用いて表される学習規準の値を最小化するように、前記変換器を学習し、任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、を用いて表される学習規準の値を最小化するように、前記統合識別器を学習する学習部を含んで構成されている。
【００２１】
また、第二の態様に係るデータ変換学習方法は、学習部が、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習することであって、任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、を用いて表される学習規準の値を最小化するように、前記変換器を学習し、任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、を用いて表される学習規準の値を最小化するように、前記統合識別器を学習することを含む。
【００２２】
また、第三の態様に係るデータ変換装置は、データ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を用いて、入力された変換元のデータ、及び目標のデータの属性を示す属性コードから、目標のデータを推定するデータ変換部を含み、前記変換器は、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、を用いて表される学習規準の値を最小化するように予め学習されたものであり、前記統合識別器は、任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、を用いて表される学習規準の値を最小化するように予め学習されたものである。
【００２３】
また、第四の態様に係るプログラムは、コンピュータに、属性が異なる変換元のデータの各々、及び前記変換元のデータの各々の属性を示す属性コードに基づいて、変換元のデータ及び属性コードを入力として前記属性コードが示す属性のデータに変換する変換器を学習することであって、任意の属性コードを入力として前記変換器によって変換されたデータについて、実データらしくかつ属性コードらしさと、変換されたデータらしさとを識別する統合識別器によって識別される、前記任意の属性コードらしさ及び前記変換されたデータらしさと、前記変換元のデータの属性コードとは異なる属性コードを入力として前記変換器によって変換されたデータについて、変換元のデータの属性コードを入力として前記変換器によって再変換されたデータと、変換元のデータとの誤差と、を用いて表される学習規準の値を最小化するように、前記変換器を学習し、任意の属性コードを入力として前記変換器によって変換されたデータについて、前記統合識別器によって識別される、前記変換されたデータらしさと、変換元のデータについて、前記統合識別器によって識別される、前記変換元のデータの属性コードらしさと、を用いて表される学習規準の値を最小化するように、前記統合識別器を学習することを実行させるためのプログラムである。
【発明の効果】
【００２４】
本発明の一態様に係るデータ変換学習装置、方法、及びプログラムによれば、所望の属性のデータに変換することができる変換器を学習できる、という効果が得られる。
【００２５】
本発明の一態様に係るデータ変換装置によれば、所望の属性のデータに変換することができる、という効果が得られる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態に係るデータ変換学習装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係るデータ変換装置の構成を示すブロック図である。
【図３】データ変換学習装置又はデータ変換装置として機能するコンピュータの一例の概略ブロック図である。
【図４】本発明の実施の形態に係るデータ変換学習装置におけるデータ変換学習処理ルーチンを示すフローチャートである。
【図５】本発明の実施の形態に係るデータ変換装置におけるデータ変換処理ルーチンを示すフローチャートである。
【図６】変換器のネットワーク構成を示す図である。
【図７】統合識別器のネットワーク構成を示す図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２８】
＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。
【００２９】
本発明の実施の形態におけるStar Generative Adversarial Network(StarGAN)は、画像や音声などのデータに対し、コンテンツ（内容）を保ったまま異なる属性（スタイル）への変換を行うことを目的としたニューラルネットワークモデルおよびその学習方式で、unpairedデータでの学習が可能である点と一つのモデルで多種の属性間の相互変換が可能である点が大きな特長である。一方で、変換されたデータがターゲットの属性のデータ分布に従うように変換器が学習される保証はなく、変換器が適切な変換を行えるようになるかどうかはネットワークアーキテクチャ設計によるところが大きかった。本実施の形態で提案するModified Star Generative Adversarial Networks(mStarGAN)は、この点を改良し、変換されたデータがターゲットの属性のデータ分布に従うように変換器を学習する手法である。
【００３０】
本実施の形態で提案するModified Star Generative Adversarial Networks (mStarGAN) は、以下の１．〜３．を特長とする。
【００３１】
1. 偽データ識別器と属性識別器を統合し、合成データかどうかを属性の一つと見なした多クラス分類器（以下、統合識別器D）を偽データ識別器と属性識別器の代わりに用いる。
【００３２】
2. 変換器Gの出力
2020126308.tif 000020
が統合識別器に正しくターゲット属性kと識別され、かつ合成データと見破られないように変換器Gを学習する
【００３３】
3. 属性kの実データが正しく属性kと識別され、かつ
2020126308.tif 000021
が正しく合成データと識別されるように統合識別器Dを学習するようにStarGANを改良することにより、変換されたデータがターゲットの属性のデータ分布に従うように変換器を学習することを可能にする。
【００３４】
＜本発明の実施の形態の原理＞
＜本発明の実施の形態の定式化＞
2020126308.tif 000022
を任意属性の実データとする。各実データは属性クラスk=1,...,Kのいずれかに属し、属性クラスk=K+1を、偽データである合成データを表す属性とする。属性クラスを表すone-hotベクトルを属性コードと呼び、cと表記する。統合識別器Dの目的は、変換器Gの出力
2020126308.tif 000023
を偽クラス、属性k∈｛1,...,K｝の実データ
2020126308.tif 000024
をクラスkと正しく識別することであるので、例えば
【００３５】
【数８】
2020126308.tif 000025
（８）
【００３６】
を統合識別器Dの学習規準とすることができる。ただし、統合識別器Dの出力
2020126308.tif 000026
は、入力yがクラスkに属する確率を表す。式(8)の第一項は属性kの実データに対し統合識別器Dが属性kに高い確率を割り当てている場合、すなわち、正しく属性kと識別できている場合に、小さい値をとる規準、第二項はいかなる属性に変換されたデータも統合識別器Dが偽クラスと識別できている場合に小さい値をとる規準となっている。
【００３７】
一方、変換器Gの目的は、
2020126308.tif 000027
が統合識別器Dにターゲット属性kと正しく識別され、かつ偽データと識別されないようにすることであるため、例えば
【００３８】
【数９】
2020126308.tif 000028
（９）
【００３９】
を変換器Gの学習規準とすることができる。式(9)の第一項は
2020126308.tif 000029
が統合識別器Dに属性kと識別される場合に小さい値をとり、第二項は
2020126308.tif 000030
が統合識別器Dに偽クラスK+1と識別されてしまう場合に大きい値をとる規準となっている。
【００４０】
上述の規準に加え、本発明の実施の形態に係る方法ではStarGANと同様、循環無矛盾規準
【００４１】
【数１０】
2020126308.tif 000031
（１０）
【００４２】
を変換器Gの学習規準に含める。これに加えてさらに、属性kの実データ
2020126308.tif 000032
に対し、同じ属性kをターゲット属性として変換したデータG(x,k)が変換元のxと近いほど小さい値をとる恒等写像規準
【００４３】
【数１１】
2020126308.tif 000033
（１１）
【００４４】
を含めることもできる。以上をまとめると、変換器G、統合識別器Dの学習規準はそれぞれ
【００４５】
【数１２】
2020126308.tif 000034
（１２）
【００４６】
【数１３】
2020126308.tif 000035
（１３）
【００４７】
となり、これらを小さくするように変換器G及び統合識別器Dを学習する方法が本発明の実施の形態に係る方法のmStarGANである。
【００４８】
＜学習問題の最適解＞
以下で、式(12)において
2020126308.tif 000036
のとき、以上の学習問題の最適解が
2020126308.tif 000037
の分布と
2020126308.tif 000038
が一致している場合に相当することを示す。まず、所与の変換器Gにおいて式(13)を最小にする統合識別器Dの解を求める。
【００４９】
2020126308.tif 000039
と変数変換すると、式(8)は
【００５０】
【数１４】
2020126308.tif 000040
（１４）
【００５１】
と書き直せるので、
2020126308.tif 000041
という制約のもとで式(14)を最小にする
2020126308.tif 000042
はLagrange未定乗数法を用いて
【００５２】
【数１５】
2020126308.tif 000043
（１５）
【００５３】
【数１６】
2020126308.tif 000044
（１６）
【００５４】
と求まる。次に、式(15)、(16)を式(9)に代入すると
【００５５】
【数１７】
2020126308.tif 000045
2020126308.tif 000046
（１７）
【００５６】
となり、最適な統合識別器DのもとでのI(G)は
2020126308.tif 000047
と
2020126308.tif 000048
のKullback-Leiblerダイバージェンスに一致することが分かる。このことから、以上の統合識別器Dと変換器Gの学習方法は分布フィッティングとしての解釈が可能である。
【００５７】
＜本発明の実施の形態に係るデータ変換学習装置の構成＞
次に、本発明の実施の形態に係るデータ変換学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係るデータ変換学習装置１００は、ＣＰＵと、ＲＡＭと、後述するデータ変換学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このデータ変換学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００５８】
入力部１０は、属性が異なる変換元の音声信号の各々、及び変換元の音声信号の各々の属性を示す属性コードを受け付ける。なお、変換元の音声信号の属性を示す属性コードは、人手で与えておけばよい。また、音声信号の属性とは、例えば、性別、大人／子供、話者ＩＤ、母語話者か否か（出身）、発話ムードの種類（怒り、悲しみなど）、発話モード（講演風、自由発話風など）などである。
【００５９】
演算部２０は、音響特徴抽出部３０と、学習部３２を含んで構成されている。
【００６０】
音響特徴抽出部３０は、入力された変換元の音声信号の各々から、音響特徴量系列を抽出する。
【００６１】
学習部３２は、変換元の音声信号の各々における音響特徴量系列と、変換元の音声信号の各々の属性を示す属性コードに基づいて、音響特徴量系列及び属性コードを入力として当該属性コードが示す属性の音声信号の音響特徴量系列に変換する変換器を学習する。
【００６２】
具体的には、学習部３２は、上記（１２）式に示す学習規準の値を最小化するように、変換器を学習する。この学習規準は、任意の属性コードを入力として変換器によって変換された音響特徴量系列について、実音声らしくかつ属性コードらしさと、変換された音声らしさとを識別する統合識別器によって識別される、任意の属性コードらしさ及び変換された音声らしさと、変換元の音声信号の音響特徴量系列の属性コードとは異なる属性コードを入力として変換器によって変換された音響特徴量系列について、変換元の音声信号の音響特徴量系列の属性コードを入力として変換器によって再変換された音響特徴量系列と、変換元の音声信号の音響特徴量系列との誤差と、変換元の音声信号の音響特徴量系列の属性コードを入力として変換器によって変換された音声信号の音響特徴量系列と、変換元の音声信号の音響特徴量系列との距離とを用いて表される。
【００６３】
また、学習部３２は、上記（１３）式に示す学習規準の値を最小化するように、統合識別器を学習する。この学習規準は、任意の属性コードを入力として変換器によって変換された音響特徴量系列について、統合識別器によって識別される、変換された音声らしさと、変換元の音声信号の音響特徴量系列について、統合識別器によって識別される、変換元の音声信号の音響特徴量系列の属性コードらしさと、を用いて表される。
【００６４】
学習部３２は、予め定められた終了条件を満たすまで、上記の変換器の学習と、統合識別器の学習とを交互に繰り返し、最終的に得られた変換器を出力部５０により出力する。ここで、変換器及び統合識別器の各々は、畳み込みネットワーク又は再帰型ネットワークを用いて構成される。
【００６５】
＜本発明の実施の形態に係るデータ変換装置の構成＞
次に、本発明の実施の形態に係るデータ変換装置の構成について説明する。図２に示すように、本発明の実施の形態に係るデータ変換装置１５０は、ＣＰＵと、ＲＡＭと、後述するデータ変換処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このデータ変換装置１５０は、機能的には図２に示すように入力部６０と、演算部７０と、出力部９０とを備えている。
【００６６】
入力部６０は、変換元の音声信号と、目標の音声信号の属性を示す属性コードとを、入力として受け付ける。なお、目標の音声信号の属性を示す属性コードは人手で与えればよい。
【００６７】
演算部７０は、音響特徴抽出部７２と、データ変換部７４と、変換音声生成部７８とを含んで構成されている。
【００６８】
音響特徴抽出部７２は、入力された変換元の音声信号から、音響特徴量系列を抽出する。
【００６９】
データ変換部７４は、データ変換学習装置１００により学習された変換器を用いて、音響特徴抽出部７２により抽出された音響特徴量系列及び入力部６０で受け付けた属性コードから、目標の音声信号の音響特徴量系列を推定する。
【００７０】
変換音声生成部７８は、推定された目標の音声信号の音響特徴量系列から、時間領域信号を生成し、目標の音声信号として出力部９０により出力する。
【００７１】
データ変換学習装置１００及びデータ変換装置１５０の各々は、一例として、図３に示すコンピュータ８４によって実現される。コンピュータ８４は、ＣＰＵ８６、メモリ８８、プログラム８２を記憶した記憶部９２、モニタを含む表示部９４、及びキーボードやマウスを含む入力部９６を含んでいる。ＣＰＵ８６、メモリ８８、記憶部９２、表示部９４、及び入力部９６はバス９８を介して互いに接続されている。
【００７２】
記憶部９２はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現される。記憶部９２には、コンピュータ８４をデータ変換学習装置１００又はデータ変換装置１５０として機能させるためのプログラム８２が記憶されている。ＣＰＵ８６は、プログラム８２を記憶部９２から読み出してメモリ８８に展開し、プログラム８２を実行する。なお、プログラム８２をコンピュータ可読媒体に格納して提供してもよい。
【００７３】
＜本発明の実施の形態に係るデータ変換学習装置の作用＞
次に、本発明の実施の形態に係るデータ変換学習装置１００の作用について説明する。入力部１０により、属性が異なる変換元の音声信号の各々、及び変換元の音声信号の各々の属性を示す属性コードを受け付けると、データ変換学習装置１００は、図４に示すデータ変換学習処理ルーチンを実行する。
【００７４】
まず、ステップＳ１００では、入力された変換元の音声信号の各々から、音響特徴量系列を抽出する。
【００７５】
次に、ステップＳ１０２では、変換元の音声信号の各々における音響特徴量系列と、変換元の音声信号の各々の属性を示す属性コードに基づいて、変換器及び統合識別器を学習し、学習結果を出力部５０により出力して、データ変換学習処理ルーチンを終了する。
【００７６】
＜本発明の実施の形態に係るデータ変換装置の作用＞
次に、本発明の実施の形態に係るデータ変換装置１５０の作用について説明する。入力部６０により、データ変換学習装置１００による学習結果を受け付ける。また、入力部６０により、変換元の音声信号と、目標の音声信号の属性を示す属性コードとを受け付けると、データ変換装置１５０は、図５に示すデータ変換処理ルーチンを実行する。
【００７７】
まず、ステップＳ１５０では、入力された変換元の音声信号から、音響特徴量系列を抽出する。
【００７８】
次に、ステップＳ１５２では、データ変換学習装置１００により学習された変換器を用いて、音響特徴抽出部７２により抽出された音響特徴量系列及び入力部６０で受け付けた属性コードから、目標の音声信号の音響特徴量系列を推定する。
【００７９】
ステップＳ１５６では、推定された目標の音声信号の音響特徴量系列から、時間領域信号を生成し、目標の音声信号として出力部９０により出力して、データ変換処理ルーチンを終了する。
【００８０】
＜実験結果＞
本発明の実施の形態の手法によるデータ変換効果を確認するため、Voice Conversion Challenge(VCC)2018の4話者の音声データ（女性話者VCC2SF1、男性話者VCC2SM1、女性話者VCC2SF2、男性話者VCC2SM2）を用いて話者性変換実験を行った。ここでは属性コードを、話者IDに対応する4次元のone-hotベクトルとした。各話者につき81文を学習データ、35文をテストデータとし、全音声信号のサンプリング周波数は16000Hzとした。各発話に対し、WORLD分析によりスペクトル包絡、基本周波数(F0)、非周期性指標の抽出を行い、抽出したスペクトル包絡系列に対し35次のメルケプストラム分析を行った。F0に関しては、変換目標音声の学習データから有声区間における対数F0の平均msrcと標準偏差σsrc、変換元音声の学習データから有声区間における対数F0の平均mtrgと標準偏差σsrcを算出した。また、入力音声の対数F0パターンy(0),...,y(N-1)を
【００８１】
【数１８】
2020126308.tif 000049
（１８）
【００８２】
のように変換した。本実験では本発明の実施の形態の方法を用い、変換器のネットワーク構成を図６のとおりとし、統合識別器のネットワーク構成を図７のとおりとした。これとほぼ同等のネットワーク構成を用いた従来のStarGANによる音声変換結果と比較したところ、本発明の実施の形態の方法の方が高い品質と変換効果が得られることを聴取確認した。
【００８３】
ここで、上記図６、図７において、"c", "h", "w" はそれぞれ、変換器の入出力および統合識別器の入出力を画像と見なしたときのチャネル、高さ、幅を表す。"Conv", "Batch norm", "GLU", "Deconv", "Softmax"はぞれぞれ畳み込み層、バッチ正規化層、ゲート付き線形ユニット、転置畳み込み層、ソフトマックス層を表す。畳み込み層または転置畳み込み層における"k", "c", "s" はそれぞれカーネルサイズ、出力チャネル数、ストライド幅を表す。
【００８４】
以上説明したように、本発明の実施の形態に係るデータ変換学習装置は、任意の属性コードを入力として変換器によって変換されたデータについて、実音声らしくかつ属性コードらしさと、変換された音声らしさとを識別する統合識別器によって識別される、任意の属性コードらしさ及び変換された音声らしさと、変換元の音声信号の属性コードとは異なる属性コードを入力として変換器によって変換された音声信号について、変換元の音声信号の属性コードを入力として変換器によって再変換された音声信号と、変換元の音声信号との誤差と、を用いて表される学習規準の値を最小化するように、変換器を学習する。また、データ変換学習装置は、任意の属性コードを入力として変換器によって変換された音声信号について、統合識別器によって識別される、変換された音声らしさと、変換元の音声信号について、統合識別器によって識別される、変換元の音声信号の属性コードらしさと、を用いて表される学習規準の値を最小化するように、統合識別器を学習する。これにより、所望の属性の音声信号に変換することができる変換器を学習できる。
【００８５】
また、本発明の実施の形態に係るデータ変換装置は、属性が異なる変換元の音声信号の各々、及び前記変換元の音声信号の各々の属性を示す属性コードに基づいて、任意の属性コードを入力として変換器によって変換された音声信号について、実音声らしくかつ属性コードらしさと、変換された音声らしさとを識別する統合識別器によって識別される、任意の属性コードらしさ及び変換された音声らしさと、変換元の音声信号の属性コードとは異なる属性コードを入力として変換器によって変換された音声信号について、変換元の音声信号の属性コードを入力として変換器によって再変換された音声信号と、変換元の音声信号との誤差と、を用いて表される学習規準の値を最小化するように予め学習された変換器を用いて音声信号を変換する。これにより、所望の属性の音声信号に変換することができる。
【００８６】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８７】
例えば、上述した実施の形態では、データ変換学習装置及びデータ変換装置を別々の装置として構成しているが、一つの装置として構成してもよい。
【００８８】
また、変換対象となるデータが、音声信号の音響特徴量系列である場合を例に説明したが、これに限定されるものではなく、画像や、映像、テキストなどの特徴量又は特徴量系列を対象としてもよい。
【００８９】
また、上述のデータ変換学習装置、データ変換装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００９０】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００９１】
１０、６０    入力部
２０、７０    演算部
３０   音響特徴抽出部
３２   学習部
５０、９０    出力部
７２   音響特徴抽出部
７４   データ変換部
７８   変換音声生成部
８２   プログラム
８４   コンピュータ
１００ データ変換学習装置
１５０ データ変換装置
【図１】
2020126308.tif 000050
【図２】
2020126308.tif 000051
【図３】
2020126308.tif 000052
【図４】
2020126308.tif 000053
【図５】
2020126308.tif 000054
【図６】
2020126308.tif 000055
【図７】
2020126308.tif 000056