(57)【要約】【課題】変換データの過剰な平滑化を緩和することができるようにする。【解決手段】特徴抽出部２２０が、変換対象のデータを変換する変換器によって変換された変換データと、当該変換対象のデータを変換したときの変換データの目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出し、距離測定部２４０が、当該特徴抽出部によって抽出された当該変換データの特徴量と、当該目標データの特徴量との距離を測定する。【選択図】図８
2019035902.tif 000002
【特許請求の範囲】
【請求項１】
変換対象のデータを変換する変換器によって変換された変換データと、前記変換対象のデータを変換したときの変換データの目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出する特徴抽出部と、
前記特徴抽出部によって抽出された前記変換データの特徴量と、前記目標データの特徴量との距離を測定する距離測定部と
を含む距離測定装置。
【請求項２】
前記変換器としてのニューラルネットワーク、又は前記目標データを生成するための生成器としてのニューラルネットワークと、入力されたデータが前記目標データであるか否かを識別する識別器としてのニューラルネットワークとを、前記変換器としてのニューラルネットワーク、又は前記目標データを生成するための生成器としてのニューラルネットワークと、前記識別器としてのニューラルネットワークとが互いに競合する最適化条件によって学習することにより得られた前記識別器としてのニューラルネットワークに応じて、前記特徴量を抽出するためのニューラルネットワークが定められる
請求項１に記載の距離測定装置。
【請求項３】
前記変換器としてのニューラルネットワークと、入力されたデータを認識する認識器としてのニューラルネットワークとを、前記変換器としてのニューラルネットワークにより変換したデータ、又は学習用データを用いて学習することにより得られた前記認識器としてのニューラルネットワークに応じて、前記特徴量を抽出するためのニューラルネットワークが定められる
請求項１又は２に記載の距離測定装置。
【請求項４】
前記特徴量を抽出するためのニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）である請求項１乃至請求項３の何れか１項記載の距離測定装置。
【請求項５】
前記ＣＮＮは、ＧＬＵ（Ｇｅｔｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）を用いる請求項４記載の距離測定装置。
【請求項６】
請求項１〜請求項５の何れか１項記載の距離測定装置によって測定された距離を最小化するように前記変換器を学習する学習部と、
変換対象のデータを入力する入力部と、
前記学習部によって学習された変換器を用いて、前記入力された前記変換対象のデータを変換する変換部と
を含むデータ変換装置。
【請求項７】
特徴抽出部が、変換対象のデータを変換する変換器によって変換された変換データと、前記変換対象のデータを変換したときの変換データの目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出し、
距離測定部が、前記特徴抽出部によって抽出された前記変換データの特徴量と、前記目標データの特徴量との距離を測定する
距離測定方法。
【請求項８】
コンピュータを、請求項１乃至請求項５の何れか１項記載の距離測定装置、又は請求項６のデータ変換装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離測定装置、データ変換装置、距離測定方法、及びプログラムに関し、特に、データを変換するための距離測定装置、データ変換装置、距離測定方法、及びプログラムに関する。
【背景技術】
【０００２】
テキストを音声信号に自動変換する技術を音声合成、音声信号Ａを音声信号Ｂに自動変換する技術を音声変換と呼ぶが（図１参照）、これらは二つのデータ間の対応関係を表す関数を学習する一種の回帰（機械学習）問題である。
【０００３】
このような関数をデータドリブンに学習するためには、変換データ
2019035902.tif 000003
（変換元データ
2019035902.tif 000004
を変換器Ｃによって変換したデータ）と目標データ
2019035902.tif 000005
（教師データ）との対応関係に対して適切な距離基準を設定し学習することが必要になる。
【０００４】
音声合成、音声変換の主要な手法としては、データ分布に対してガウシアン分布を仮定するＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）を用いた手法（非特許文献１）や、ＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）を用いた手法（非特許文献２）がある。
【０００５】
また、近年、二つのデータ間の複雑な対応関係を表す手法として、ニューラルネットワーク（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ＮＮ）を用いた手法が、音声変換及び音声合成でそれぞれ提案されている（非特許文献３及び４）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−９１０５１号公報
【非特許文献】
【０００７】
【非特許文献１】Takayoshi Yoshimura, Keiichi Tokuda, Takashi Masuko, Takao Kobayashi, Tadashi Kitamura, "Si- multaneous modeling of spectrum, pitch and duration in HMM-based speech synthesis," 1999.
【非特許文献２】Tomoki Toda, Alan W Black, Keiichi Tokuda, "Voice conversion based on maximum-likelihood estimation of spectral parameter trajectory," 2007.
【非特許文献３】Seyed Hamidreza Mohammadi, Alexander Kain, "Voice conversion using deep neural networks with speaker-independent pre-training," 2014.
【非特許文献４】Heiga Zen, Andrew Senior, Mike Schuster, "Statistical paramet- ric speech synthesis using deep neural networks," 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の従来技術では、データ空間またはローレベルな（ハンドクラフトな）特徴量空間で変換データと教師データの距離（二乗距離、ＫＬダイバージェンスなど）を測定し、その距離が最小となるように最適化しているため統計的な平均化の影響を受けやすく、過剰に平滑化された音声が生成されやすい、という問題があった。
【０００９】
例えば、非特許文献１及び２の手法では、いずれもデータ分布に対して陽に分布形状を仮定しているため、統計的な平均化が生じ、過剰に平滑化された音を生成しやすい、という問題があった。
【００１０】
また、非特許文献３及び４の手法では、いずれも学習する際に、データ空間内での距離（二乗距離など）を測定して最適化が行われており、先と同様に、統計的な平均化が生じ、過剰に平滑化された音を生成しやすい、という問題があった。
【００１１】
本発明はこの課題に鑑みてなされたものであり、過剰な平滑化を抑制したデータに変換するための距離を測定することができる距離測定装置、距離測定方法、及びプログラムを提供することを目的とする。
【００１２】
また、過剰な平滑化を抑制したデータに変換することができるデータ変換装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る距離測定装置は、変換対象のデータを変換する変換器によって変換された変換データと、前記変換対象のデータを変換したときの変換データの目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出する特徴抽出部と、前記特徴抽出部によって抽出された前記変換データの特徴量と、前記目標データの特徴量との距離を測定する距離測定部とを含んで構成されている。
【００１４】
本発明に係る距離測定方法は、特徴抽出部が、変換対象のデータを変換する変換器によって変換された変換データと、前記変換対象のデータを変換したときの変換データの目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出し、距離測定部が、前記特徴抽出部によって抽出された前記変換データの特徴量と、前記目標データの特徴量との距離を測定する。
【００１５】
本発明に係る距離測定装置及び距離測定方法によれば、特徴抽出部が、変換対象のデータを変換する変換器によって変換された変換データと、前記変換対象のデータを変換したときの変換データの目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出し、距離測定部が、前記特徴抽出部によって抽出された前記変換データの特徴量と、前記目標データの特徴量との距離を測定する。
【００１６】
このように、変換データと目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出し、抽出された変換データの特徴量と、目標データの特徴量との距離を測定することにより、過剰な平滑化を抑制したデータに変換するための距離を測定することができる。
【００１７】
また、本発明に係る距離測定装置は、前記変換器としてのニューラルネットワーク、又は前記目標データを生成するための生成器としてのニューラルネットワークと、入力されたデータが前記目標データであるか否かを識別する識別器としてのニューラルネットワークとを、前記変換器としてのニューラルネットワーク、又は前記目標データを生成するための生成器としてのニューラルネットワークと、前記識別器としてのニューラルネットワークとが互いに競合する最適化条件によって学習することにより得られた前記識別器としてのニューラルネットワークに応じて、前記特徴量を抽出するためのニューラルネットワークが定められるように構成することができる。
【００１８】
また、本発明に係る距離測定装置は、前記変換器としてのニューラルネットワークと、入力されたデータを認識する認識器としてのニューラルネットワークとを、前記変換器としてのニューラルネットワークにより変換したデータ、又は学習用データを用いて学習することにより得られた前記認識器としてのニューラルネットワークに応じて、前記特徴量を抽出するためのニューラルネットワークが定められるように構成することができる。
【００１９】
また、本発明に係る距離測定装置は、前記特徴量を抽出するためのニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）であるように構成することができる。
【００２０】
また、本発明に係る距離測定装置は、前記ＣＮＮは、ＧＬＵ（Ｇｅｔｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）を用いるように構成することができる。
【００２１】
本発明に係るデータ変換装置は、上記の距離測定装置によって測定された距離を最小化するように前記変換器を学習する学習部と、変換対象のデータを入力する入力部と、前記学習部によって学習された変換器を用いて、前記入力された前記変換対象のデータを変換する変換部とを含んで構成される。
【００２２】
本発明に係るデータ変換装置によれば、学習部が、上記の距離測定装置によって測定された距離を最小化するように前記変換器を学習し、入力部が、変換対象のデータを入力し、変換部が、前記学習部によって学習された変換器を用いて、前記入力された前記変換対象のデータを変換する。
【００２３】
このように、距離測定装置によって測定された距離を最小化するように変換器を学習し、入力された変換対象のデータを学習された変換器を用いて変換することにより、過剰な平滑化を抑制したデータに変換することができる。
【００２４】
本発明に係るプログラムは、上記の距離測定装置又はデータ変換装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２５】
本発明の距離測定装置、距離測定方法、及びプログラムによれば、過剰な平滑化を抑制したデータに変換するための距離を測定することができる。
【００２６】
また、本発明のデータ変換装置及びプログラムによれば、過剰な平滑化を抑制したデータに変換することができる。
【図面の簡単な説明】
【００２７】
【図１】従来の学習手法の例を表す図である。
【図２】既存手法と本実施形態の差異を表すイメージ図である。
【図３】ＧＡＮ、音声認識ネットワークを用いた場合のイメージ図である。
【図４】従来手法（フレームごとに変換）と本発明の実施の形態（シークエンスごとに変換）との差異について示したイメージ図である。
【図５】本発明の実施の形態におけるＧＡＮのネットワーク構成を示した図である。
【図６】本発明の実施の形態におけるＣＮＮのネットワーク構成を示した図である。
【図７】本発明の実施の形態におけるＧＬＵのネットワーク構成を示した図である。
【図８】本発明の実施の形態に係るデータ変換装置の構成を示す概略図である。
【図９】本発明の実施の形態に係るデータ変換装置の学習処理フローを示すフローチャートである。
【図１０】本発明の実施の形態に係るデータ変換装置の変換処理フローを示すフローチャートである。
【図１１】本発明の実施の形態に係る実験結果を示す図である。
【図１２】本発明の実施の形態に係る主観的評価結果を示す図である。
【図１３】本発明の実施の形態に係る主観的評価結果を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態について図面を用いて説明する。
【００２９】
＜本発明の実施の形態に係るデータ変換装置の原理＞
まず、本発明の実施の形態に係るデータ変換装置の原理について説明する。
【００３０】
＜＜ニューラルネットワークの特徴量空間で距離を測定＞＞
従来技術では、データ空間またはローレベルな（ハンドクラフトな）特徴量空間で変換データ
2019035902.tif 000006
と目標データ
2019035902.tif 000007
の距離を測定していた（図２（ａ））が、本実施形態ではＮＮの特徴量空間
2019035902.tif 000008
（
2019035902.tif 000009
はＮＮの層のインデックス）（図２（ｂ））で距離の測定を行う。
【００３１】
ＮＮではあるタスクに対して有用な特徴量空間を自動的に学習することが可能であり、この特徴量空間では、入力データに対してよりハイレベルな（セマンティックな）構造を表現することが可能である。
【００３２】
この性質を利用することにより、音声信号に対してよりハイレベルな（セマンティックな）構造を考慮して変換データ
2019035902.tif 000010
と目標データ
2019035902.tif 000011
の対応関係をみることができる。
【００３３】
これにより、データ空間で生じていた過剰な平滑化の問題を緩和することが可能である。
【００３４】
特に上記ＮＮが識別的なＮＮの場合、あるタスクに対して識別的な性質を持った特徴量空間が学習される。
【００３５】
そのため、このＮＮの特徴量空間で学習基準を設定した場合、そのタスクに識別的な特徴を考慮して、変換データ
2019035902.tif 000012
と目標データ
2019035902.tif 000013
の対応関係を表現することができる。
【００３６】
具体的には、上記識別的なＮＮが敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ；ＧＡＮ）の場合（図３（ａ））、リアリティがあるかないかということに対して識別的な性質を持った特徴量空間が学習される。
【００３７】
そのため、ＧＡＮの特徴量空間で学習基準を設定した場合、リアリティがあるかないかということに対して識別的な特徴を考慮して、変換データ
2019035902.tif 000014
と目標データ
2019035902.tif 000015
の対応関係を表現することができる。
【００３８】
また、上記識別的なＮＮが音声認識を行うＮＮの場合（図３（ｂ））、音素クラスに対して識別的な性質を持った特徴量空間が学習される。
【００３９】
そのため、音声認識のＮＮの特徴量空間で学習基準を設定した場合、音素クラスに対して識別的な特徴を考慮して、変換データ
2019035902.tif 000016
と目標データ
2019035902.tif 000017
の対応関係を表現することができる。
【００４０】
＜＜Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）による時間的な構造のモデル化＞＞
本実施形態では、学習をする際にＣＮＮを用いることで、音声信号に含まれる時間的な構造を考慮してモデル化を行う。
【００４１】
図４に従来手法（フレームごとに変換）と本実施形態（シークエンスごとに変換）との差異について示す。
【００４２】
従来手法（図４（ａ）Ｃｏｎｖｅｎｔｉｏｎａｌ  Ｆｒａｍｅ−ｂｙ−Ｆｒａｍｅ  Ｖｏｉｃｅ  Ｃｏｎｖｅｒｓｉｏｎ）では、変換データ
2019035902.tif 000018
と目標データ
2019035902.tif 000019
の対応関係をみる際にフレーム（Ｆｒａｍｅ）同士の関係に限定されていたため、時間的な整合性を考慮することが難しかった。
【００４３】
すなわち、学習する際にフレームごとに対応関係を学習するため、音声信号に含まれる時間的な構造を考慮できなかった。特に、音声変換の場合は、前処理としてＤｙｎａｍｉｃ  Ｔｉｍｅ  Ｗｒａｐｐｉｎｇ（ＤＴＷ）などを用いて変換元データ
2019035902.tif 000020
と目標データ
2019035902.tif 000021
のアライメントをとることが一般的であるが、フレームごとにのみ着目し対応関係を学習した場合、このアライメントのミスの影響を受けやすい。
【００４４】
本実施形態（図４（ｂ）Ｐｒｏｐｏｓｅｄ  Ｓｅｑｕｅｎｃｅ−ｔｏ−Ｓｅｑｕｅｎｃｅ  Ｖｏｉｃｅ  Ｃｏｎｖｅｒｓｉｏｎ）では、シークエンス（Ｓｅｑｕｅｎｃｅ：複数フレームの連なり）に対して対応関係をみるため時間的に整合性のある音声が得ることが可能である。
【００４５】
特に、音声変換の場合は、あるフレームにおいてアライメントのミスが生じていたとしても、隣接するフレームの情報を補完的に用いることによって影響を緩和することが可能である。
【００４６】
特に、上記ＣＮＮをＦｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ（ＦＣＮ）で構成した場合、任意の長さのデータを入力として受け取ることが可能である。
【００４７】
一般に音声の長さは可変であるが、ＦＣＮのこの性質により様々な長さの音声データに対して繋ぎ目なく変換することが可能である。
【００４８】
本実施の形態では、音声変換の場合について説明するが、音声合成の場合でも同様の方式が適応可能である。音声合成と音声変換は、前者は入力がテキストで出力が音声、後者は入力が音声で出力が音声と入出力が異なるが、いずれも二つの時系列データ間の対応関係をみる問題であり、同様の枠組みとして捉えることが可能である。
【００４９】
＜＜基本方式＞＞
従来手法（図２（ａ））ではフレームごとに対応関係を見ていたため時間的に整合性がとれた変換を行うことが難しかった。
【００５０】
これに対して、本実施形態（図２（ｂ））ではシークエンスごとに対応関係を見ており、これにより時間的に整合性のとれた変換が可能である。
【００５１】
フレーム数Ｔに対して、入力データ系列を
2019035902.tif 000022
、出力データ系列を
2019035902.tif 000023
とすると、この二つの対応関係を表す最適な関数Ｃを得るためには、下記の式（１）の目的関数を最小化すれば良い。
【００５２】
【数１】
2019035902.tif 000024
【００５３】
ここで、
2019035902.tif 000025
は、二つのデータ間の類似性を表す関数である。
【００５４】
従来手法では、下記の式（２）にあるように、データ空間に対して最小二乗誤差を用いていたが、この基準は、データ間の微小なずれに対して敏感な誤差基準であり、統計的に平均化され過剰に平滑化され、バジー感のある音声を生成しやすいという課題があった。
【００５５】
【数２】
2019035902.tif 000026
【００５６】
この課題を解決するために、本実施形態では、二つのデータ間の類似性をデータ空間内で直接測るのではなく、距離を測るためのＮＮを導入し、その特徴量空間内で距離を測ることを提案する。
【００５７】
ＮＮ内では、入力データに対してよりハイレベルな（セマンティックな）構造を表現することが可能であり、この性質を利用することによって、音声信号に対してよりハイレベルな（セマンティックな）構造を考慮して、二つのデータの対応関係を見ることができる。
【００５８】
＜＜ＧＡＮを用いた距離関数の学習＞＞
ＮＮの形式に捉われないものであるが、ここでは、ＮＮの中でも識別的なタスクのためのＮＮ、特に、真のデータか生成されたデータかを識別するＧＡＮに対して適用した場合について説明する。
【００５９】
同様の手法は、音声認識のネットワークに対しても適用することが可能であり、ＧＡＮと音声認識のネットワークを組み合わせたりすることも可能である。ＧＡＮと音声認識ののネットワークを組み合わせた場合、本物か偽物かの識別（２クラス識別）と、音声認識（音素クラス識別）の２つのタスクを同時に最適化することができる。
【００６０】
ＧＡＮは、乱数
2019035902.tif 000027
からデータを生成する生成器
2019035902.tif 000028
と、真のデータ
2019035902.tif 000029
が与えられた時は確率
2019035902.tif 000030
を出力し、生成された（偽の）データ
2019035902.tif 000031
が与えられた時は、確率
2019035902.tif 000032
を出力する識別器
2019035902.tif 000033
との二つのネットワークから構成される。
【００６１】
つまり、識別器では
2019035902.tif 000034
と
2019035902.tif 000035
に対して真のデータが生成されたデータかの識別を行う。
【００６２】
目的関数は下記の式（３）で表せられる。
【００６３】
【数３】
2019035902.tif 000036
【００６４】
式（３）の目的関数を識別器については最大化、生成器に対しては最小化するという敵対的な（Ｍｉｎ−Ｍａｘ）の条件で最適化を行うことにより、生成器は識別器を騙せるようなデータを生成できるように最適化され、識別器は生成器に騙されないように最適化される。
【００６５】
この結果、生成データの分布
2019035902.tif 000037
を真のデータ分布
2019035902.tif 000038
に近づけることが可能である。
【００６６】
本発明の実施の形態では、ＧＡＮの識別器中の特徴量空間内で、二つのデータ間の距離を測定することを提案する。
【００６７】
図５に、本発明の実施の形態におけるＧＡＮのネットワークの構成、入出力関係を表す。
【００６８】
図５において、
2019035902.tif 000039
が生成器、
2019035902.tif 000040
が識別器、
2019035902.tif 000041
が変換器、
2019035902.tif 000042
が真のデータ（図５のＲｅａｌ  Ｄａｔａ）である。
【００６９】
識別器中の特徴量空間内で、距離を測定した場合、式（１）は、下記の式（４）で表される。
【００７０】
【数４】
2019035902.tif 000043
【００７１】
ここで、
2019035902.tif 000044
は識別器の
2019035902.tif 000045
番目の層の特徴量空間で距離を測ることを指す。
【００７２】
ここでは、ある一層で距離を測ることを示しているが、複数の層で同時に距離を測っても良い。
【００７３】
式（３）及び式（４）は別々に最適化を行うことも可能であるが、同時に最適化することも可能であり、その場合、全体の目的関数は、下記の式（５）で表される。
【００７４】
【数５】
2019035902.tif 000046
【００７５】
また、ＧＡＮの目的関数である式（３）については、識別器Ｄに対する偽のデータとして生成器Ｇの生成データだけではなく、変換器Ｃの変換データも合わせて使うことができ、その場合は、目的関数は、下記の式（６）のようになる。
【００７６】
【数６】
2019035902.tif 000047
【００７７】
なお、生成器Ｇの生成データ、または、変換器Ｃの変換データのいずれかを偽のデータとして用いても良い。
【００７８】
また、式（４）では、距離尺度として二乗距離を用いる例を示したが、これは絶対値距離、ＫＬダイバージェンスなど任意の距離尺度を用いてもよい。
【００７９】
また、ＤＮＮのある層内の特徴量に対して直接距離をとるのではなく、統計量（例えば、ＣＮＮの場合、あるチャンネル内の値の平均や分散など）に対して、距離をとってもよい。
【００８０】
＜＜ＣＮＮを用いた時系列のモデル化＞＞
本発明の実施の形態では、音声に含まれる時間的な構造を表現するために、ＣＮＮを用いてモデル化を行う。
【００８１】
具体的なネットワーク構成を図６に示す。
【００８２】
特に、変換器Ｃについては、ネットワーク全体がＣｏｎｖｏｌｕｔｉｏｎ層で構成されたＦＣＮを用いることで、任意長さの入力に対しても対応できるようにする。
【００８３】
一般的に、音声データの長さは可変であるため、この性質は切れ目のない変換を行うために重要である。
【００８４】
さらに、ＣＮＮの中でも、データ内の構造の多様性に対して対応を行うため、ＧａｔｅｄＣＮＮを用いる。
【００８５】
ＧａｔｅｄＣＮＮはＧＬＵ（Ｇａｔｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔｓ）と呼ばれる活性化関数を用いており、ネットワーク構成は図７のようになっている。
【００８６】
また、ＧＬＵの処理を式で表すと下記の式（７）のようになる。
【００８７】
【数７】
2019035902.tif 000048
【００８８】
ここで、
2019035902.tif 000049
は、シグモイド関数、
2019035902.tif 000050
は、行列の要素の積を意味する演算子である。また、Ｗｌ−１、Ｖｌ−１、ｂｌ−１、及びｃｌ−１はモデルのパラメータである。
【００８９】
ＧＬＵでは、入力データの値に応じて活性化関数を制御することができ、これにより、ＮＮの層を重ねて行った時に変換（または、生成、識別）する際に時系列的に重要な情報を選択的に伝播することが可能である。
【００９０】
＜本発明の第１の実施の形態の概要＞
次に、本発明の第１の実施の形態について説明する。本実施形態では、識別的なニューラルネットワークが敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ；ＧＡＮ）の場合（図３（ａ））の場合について説明する。
【００９１】
＜本発明の第１の実施の形態に係るデータ変換装置の構成＞
本発明の第１の実施の形態に係るデータ変換装置の構成について説明する。なお、本発明の第１の実施の形態においては、データ変換装置内に距離測定装置を含む構成を例として説明する。
【００９２】
図８に示すように、本実施形態に係るデータ変換装置１０は、ＣＰＵと、ＲＡＭと、後述する距離測定処理ルーチン及びを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。
【００９３】
図８に示すように、データ変換装置１０は、機能的には、入力部１００と、制御部２００と、出力部３００とを含んで構成される。
【００９４】
入力部１００は、既知のキーボード、マイク、記憶装置などの入力器により実現される。また、入力部１００は、インターネット等のネットワークを介してデータを入力するネットワークインターフェースでも良い。
【００９５】
出力部３００は、ディスプレイ、スピーカー、プリンタ、磁気ディスクなどで実現される。
【００９６】
入力部１００は、変換対象のデータと、変換対象のデータを変換したときの変換データの目標データとを受け付ける。
【００９７】
具体的には、入力部１００は、変換対象のデータ
2019035902.tif 000051
と、変換対象のデータを変換したときの変換データの目標データ
2019035902.tif 000052
とを受け付ける。例えば、変換器により音声合成を行う場合には、変換対象のデータは、テキストデータであり、目標データは、音声を録音した音声データである。変換器により音声合成を行う場合には、変換対象のデータは、変換元の音声データであり、目標データは、変換先の音声データである。
【００９８】
制御部２００は、変換部２１０と、特徴抽出部２２０と、ニューラルネットワーク記憶部２３０と、距離測定部２４０と、生成部２５０と、学習部２６０と、変換部２７０とを含んで構成される。
【００９９】
変換部２１０は、入力された変換対象のデータを、変換器Ｃによって変換データに変換する。
【０１００】
具体的には、変換部２１０は、変換対象のデータ
2019035902.tif 000053
を、ニューラルネットワーク記憶部２３０に記憶された変換器Ｃのニューラルネットワークによって変換データ
2019035902.tif 000054
に変換する。
【０１０１】
特徴抽出部２２０は、変換部２１０によって得られた変換データと、目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出する。
【０１０２】
具体的には、特徴抽出部２２０は、ニューラルネットワーク記憶部２３０に記憶されている特徴量を抽出するためのニューラルネットワークを用いて、特徴量空間における変換データ
2019035902.tif 000055
の特徴量
2019035902.tif 000056
、目標データ
2019035902.tif 000057
の特徴量
2019035902.tif 000058
を抽出する。
【０１０３】
例えば、変換器Ｃが、変換対象のデータである音声データを、変換データとして音声データ
2019035902.tif 000059
に変換し、特徴抽出部２２０は、当該音声認識結果と、変換データの目標データとしての音声データ
2019035902.tif 000060
との各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量
2019035902.tif 000061
及び
2019035902.tif 000062
を抽出する。
【０１０４】
距離測定部２４０は、特徴抽出部２２０によって抽出された変換データの特徴量と、目標データの特徴量との距離を測定する。
【０１０５】
具体的には、距離測定部２４０は、式（４）を用いて、変換データ
2019035902.tif 000063
の特徴量
2019035902.tif 000064
と、目標データ
2019035902.tif 000065
の特徴量
2019035902.tif 000066
との距離である
2019035902.tif 000067
を測定する。ここで、
2019035902.tif 000068
は、識別器Ｄとしてのニューラルネットワークの
2019035902.tif 000069
番目の層を意味する。
【０１０６】
そして、距離測定部２４０は、変換データ
2019035902.tif 000070
、目標データ
2019035902.tif 000071
、及び距離の測定結果を学習部２６０に渡す。
【０１０７】
生成部２５０は、乱数
2019035902.tif 000072
から、目標データを生成するための生成器Ｇによって生成データ
2019035902.tif 000073
を生成する。
【０１０８】
そして、生成部２５０は、
2019035902.tif 000074
を学習部２６０に渡す。
【０１０９】
ニューラルネットワーク記憶部２３０は、変換器としてのニューラルネットワークと、識別器としてのニューラルネットワークと、生成器としてのニューラルネットワークを記憶している。
【０１１０】
また、ニューラルネットワーク記憶部２３０は、識別器としてのニューラルネットワークに応じて定められる、特徴量を抽出するためのニューラルネットワークを記憶している。
【０１１１】
変換器としてのニューラルネットワークと、識別器としてのニューラルネットワークと、生成器としてのニューラルネットワークと、特徴量を抽出するためのニューラルネットワークの各々は、例えばＣＮＮである。また、ＣＮＮは、ＧＬＵを用いるＣＮＮであってもよい。
【０１１２】
学習部２６０は、距離測定部２４０によって測定された距離を用いた目的関数を最小化するように、特徴量を抽出するためのニューラルネットワークと、変換器としてのニューラルネットワークと、入力されたデータが目標データであるか否かを識別する識別器としてのニューラルネットワークと、目標データを生成するための生成器としてのニューラルネットワークとを学習する。
【０１１３】
具体的には、学習部２６０は、距離測定部２４０によって測定された変換データ
2019035902.tif 000075
の特徴量
2019035902.tif 000076
と、目標データ
2019035902.tif 000077
の特徴量
2019035902.tif 000078
の距離を示す目的関数
2019035902.tif 000079
（式（４））を最適化するように、特徴量を抽出するためのニューラルネットワークを学習する。
【０１１４】
そして、学習部２６０は、目的関数
2019035902.tif 000080
（式（６））を用いて、変換器Ｃとしてのニューラルネットワーク、又は目標データを生成するための生成器Ｇとしてのニューラルネットワークと、識別器Ｄとしてのニューラルネットワークとを、変換器Ｃとしてのニューラルネットワーク、又は生成器Ｇとしてのニューラルネットワークと、識別器Ｄとしてのニューラルネットワークとが互いに競合する最適化条件によって学習する。
【０１１５】
そして、学習部２６０は、学習された識別器としてのニューラルネットワークに応じて、特徴量を抽出するためのニューラルネットワークを定める。
【０１１６】
なお、上記では、目的関数
2019035902.tif 000081
を最適化する学習と、目的関数
2019035902.tif 000082
を最適化する学習とを行う場合を例に説明したが、これに限定されるものではなく、
2019035902.tif 000083
と
2019035902.tif 000084
との和で表される目的関数
2019035902.tif 000085
（式（５））を最適化するように、特徴量を抽出するためのニューラルネットワークと、変換器Ｃとしてのニューラルネットワークと、識別器Ｄとしてのニューラルネットワークと、生成器Ｇとしてのニューラルネットワークとをまとめて学習するようにしても良い。
【０１１７】
また、特徴量を抽出するためのニューラルネットワークと、識別器Ｄとしてのニューラルネットワークと、生成器Ｇとしてのニューラルネットワークとが学習済みである場合には、距離を示す目的関数
2019035902.tif 000086
（式（４））のみを最適化するようにして、変換器Ｃとしてのニューラルネットワークを学習しても良い。
【０１１８】
また、生成器Ｇとしてのニューラルネットワークの代わりに、変換器Ｃとしてのニューラルネットワークを用いても良い。この場合、
2019035902.tif 000087
（式（６））は、第一項と第三項とを足し合わせたものを用いることになる。
【０１１９】
そして、学習部２６０は、学習結果をニューラルネットワーク記憶部２３０に渡す。
【０１２０】
変換部２７０は、学習部２６０によって学習された変換器を用いて、入力された変換対象のデータを変換する。
【０１２１】
具体的には、変換部２７０は、変換器Ｃとしてのニューラルネットワークを、ニューラルネットワーク記憶部２３０から取得する。そして、変換部２７０は、変換器Ｃのニューラルネットワークを用いて、変換対象のデータである音声データ
2019035902.tif 000088
を変換データである音声データ
2019035902.tif 000089
に変換する。
【０１２２】
出力部３００は、変換部２７０が変換した変換結果である変換データ
2019035902.tif 000090
を出力する。
【０１２３】
＜本発明の第１の実施の形態に係るデータ変換装置の作用＞
図９は、本発明の第１の実施の形態に係る学習処理フローを示すフローチャートである。
【０１２４】
入力部１００に変換対象のデータ
2019035902.tif 000091
と、変換対象のデータ
2019035902.tif 000092
を変換したときの変換データ
2019035902.tif 000093
の目標データ
2019035902.tif 000094
とが入力されると、データ変換装置１０において、図９に示す距離測定処理フローが実行される。
【０１２５】
まず、ステップＳ１００において、特徴抽出部２２０は、入力部１００から、入力された変換対象のデータ
2019035902.tif 000095
、及び目標データ
2019035902.tif 000096
を取得する。
【０１２６】
ステップＳ１１０において、変換部２１０は、
2019035902.tif 000097
を
2019035902.tif 000098
に変換する。
【０１２７】
ステップＳ１２０において、特徴抽出部２２０は、ニューラルネットワーク記憶部２３０から、特徴量を抽出するためのニューラルネットワークを取得する。
【０１２８】
ステップＳ１３０において、特徴抽出部２２０は、変換データ
2019035902.tif 000099
と、目標データ
2019035902.tif 000100
との各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量
2019035902.tif 000101
及び
2019035902.tif 000102
を抽出する。
【０１２９】
ステップＳ１４０において、距離測定部２４０は、特徴抽出部２２０によって抽出された変換データ
2019035902.tif 000103
の特徴量
2019035902.tif 000104
と、目標データ
2019035902.tif 000105
の特徴量
2019035902.tif 000106
との距離を測定する。
【０１３０】
ステップＳ１５０において、生成部２５０は、乱数
2019035902.tif 000107
から、変換データを生成するための生成器Ｇによって生成データ
2019035902.tif 000108
を生成する。
【０１３１】
ステップＳ１６０において、学習部２６０は、変換データ
2019035902.tif 000109
の特徴量
2019035902.tif 000110
と、目標データ
2019035902.tif 000111
の特徴量
2019035902.tif 000112
の距離を示す目的関数
2019035902.tif 000113
（式（４））を最適化するように、変換器Ｃとしてのニューラルネットワークを学習し、ニューラルネットワーク記憶部２３０に記憶されている、変換器Ｃとしてのニューラルネットワークのパラメータを更新する。
【０１３２】
そして、学習部２６０は、目的関数
2019035902.tif 000114
（式（６））を用いて、変換器Ｃとしてのニューラルネットワークと、識別器Ｄとしてのニューラルネットワークと、生成器Ｇとしてのニューラルネットワークとを、変換器Ｃとしてのニューラルネットワークと、識別器Ｄとしてのニューラルネットワークと、生成器Ｇとしてのニューラルネットワークと、が互いに競合する最適化条件によって学習し、ニューラルネットワーク記憶部２３０に記憶されている特徴量を抽出するためのニューラルネットワークと、識別器Ｄとしてのニューラルネットワークと、生成器Ｇとしてのニューラルネットワークの各々のパラメータを更新する。
【０１３３】
ステップＳ１７０において、全てのデータについて終了したか否かを判断する。
【０１３４】
全てのデータについて終了していない場合（ステップＳ１７０のＮＯ）、ステップＳ１００に戻り、再度ステップＳ１００〜Ｓ１６０の処理を行う。
【０１３５】
一方、全てのデータについて終了している場合（ステップＳ１７０のＹＥＳ）、処理を終了する。
【０１３６】
図１０は、本発明の第１の実施の形態に係るデータ変換処理フローを示すフローチャートである。
【０１３７】
入力部１００に変換対象のデータ
2019035902.tif 000115
が入力されると、データ変換装置１０において、図１０に示すデータ変換処理フローが実行される。
【０１３８】
ステップＳ２００において、変換部２７０は、入力部１００から、入力された変換対象のデータ
2019035902.tif 000116
を取得する。
【０１３９】
ステップＳ２１０において、変換部２７０は、ニューラルネットワーク記憶部２３０から、学習部２６０によって学習された変換器Ｃのニューラルネットワークを取得する。
【０１４０】
ステップＳ２２０において、変換部２７０は、変換器Ｃを用いて、入力された変換対象のデータ
2019035902.tif 000117
を
2019035902.tif 000118
に変換する。
【０１４１】
ステップＳ２３０において、出力部３００は、変換部２７０によってデータ
2019035902.tif 000119
が変換された変換データ
2019035902.tif 000120
を出力する。
【０１４２】
＜実験結果＞
本実施形態に係るデータ変換装置による音声データの変換の実験結果を、図１１に示す。図１１において、上段がメルケプストラム、下段がＳＴＦＴスペクトログラムを表す。
【０１４３】
図１１において、左から、（ａ）入力音声（ＳＲＣ）、（ｂ）変換音声（ＤＴＷによるアライメント処理後）、（ｃ）従来手法（ＦＶＣ：フレーム変換、データ空間内での最小二乗誤差）、（ｄ）提案手法（ＭＳＥ：シークエンス変換、データ空間内での最小二乗誤差）、及び（ｅ）本実施形態の手法（ＬＳＭ：シークエンス変換、識別器の特徴量空間内での最小二乗誤差）における実験結果であることを表す。
【０１４４】
なお、本実験では、予め８４２対の変換対象データである入力音声と、変換対象のデータを変換したときの変換データの目標データである変換音声とによって、（ｃ）〜（ｅ）における各手法の変換器を学習している。
【０１４５】
図１１から、従来手法（ｃ）では（ａ）、（ｂ）と比べて過剰な平滑化が生じているのに対し、本実施形態の手法（ｅ）では（ａ）、（ｂ）に匹敵するテクスチャを持った音声が得られていることが分かる。
【０１４６】
また、主観評価実験の結果を図１２及び図１３に示す。図１２及び図１３は、前者（Ｆｏｒｍｅｒ）を（ｃ）従来手法（ＦＶＣ）又は（ｄ）提案手法（ＭＳＥ）とした場合と、後者（Ｌａｔｔｅｒ）を（ｅ）本実施形態の手法（ＬＳＭ）とした場合とにおいて、どちらが自然な音声かをＡＢテストによって選択してもらった結果である。被験者は、どちらも同じくらいである場合は、中立（Ｎｅｕｔｒａｌ）を選択する。
【０１４７】
図１２及び図１３によれば、いずれの結果も後者（Ｌａｔｔｅｒ）であるＬＳＭのスコアが高くなっている。
【０１４８】
この結果より本実施形態の手法を用いることによって、自然性と明瞭性という点において従来手法を上回っていることが分かる。そして、変換データの過剰な平滑化を緩和することができたことが分かる。
【０１４９】
以上説明したように、本発明の第１の実施の形態に係るデータ変換装置によれば、変換データと目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出し、抽出された変換データの特徴量と、目標データの特徴量との距離を測定することにより、変換データの過剰な平滑化を緩和することができる。
【０１５０】
また、本発明の第１の実施の形態に係るデータ変換装置によれば、距離測定装置によって測定された距離を最小化するように変換器を学習し、入力された変換対象のデータを学習された変換器を用いて変換することにより、変換データの過剰な平滑化を緩和することができる。
【０１５１】
＜本発明の第２の実施の形態の概要＞
次に、本発明の第２の実施の形態について説明する。本実施形態では、識別器としてのニューラルネットワークの代わりに、音声認識器としてのニューラルネットワークを用いる場合（図３（ｂ））について説明する。
【０１５２】
本実施形態では、入力される変換対象のデータ
2019035902.tif 000121
は、音声データである。また、第１の実施の形態では、識別器Ｄを用いたが、本実施形態では、入力された音声データに対して音声認識を行う認識器Ｄｐｈｏｎｅｍｅを用いる。
【０１５３】
そして、認識器Ｄｐｈｏｎｅｍｅに応じて定まる、特徴量を抽出するためのニューラルネットワークを用いて、音素クラスに対して識別的な性質を持った特徴量空間に、変換データや目標データを変換して、変換器が学習される。そのため、認識器のニューラルネットワークに応じた特徴量空間で学習基準を設定した場合、音素クラスに対して識別的な特徴を考慮して、変換データ
2019035902.tif 000122
と目標データ
2019035902.tif 000123
との対応関係を表現することができる。
【０１５４】
ここで、認識器Ｄｐｈｏｎｅｍｅとしてのニューラルネットワークの目的関数は、下記の式（８）で表される。
【０１５５】
【数８】
2019035902.tif 000124
【０１５６】
式（８）は、ｃｒｏｓｓ  ｅｎｔｒｏｐｙ損失関数であり、Ｋはクラス数、
2019035902.tif 000125
が正解ラベルである。
【０１５７】
また、
2019035902.tif 000126
がクラスｋについての認識器としてのニューラルネットワークであり、認識器Ｄｐｈｏｎｅｍｅは、
2019035902.tif 000127
の集合体である。すなわち、
2019035902.tif 000128
で表すことができる。認識器Ｄｐｈｏｎｅｍｅを学習する場合には、式（８）の最小化を行うことになる。
【０１５８】
そこで、本実施の形態では、変換器Ｃによる音声変換後の音声データ
2019035902.tif 000129
又は学習用データも用いて、認識器Ｄｐｈｏｎｅｍｅとしてのニューラルネットワークを学習する際に（式（６）を用いた学習に相当）、下記の式（９）で表される目的関数を用いる。
【０１５９】
【数９】
2019035902.tif 000130
【０１６０】
ここで、
2019035902.tif 000131
は、変換対象のデータ
2019035902.tif 000132
に対する音素クラスの正解ラベルである。
【０１６１】
＜本発明の第２の実施の形態の構成＞
図８を参照して、本発明の第２の実施の形態に係るデータ変換装置の構成について説明する。なお、第１の実施の形態に係るデータ変換装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【０１６２】
また、本実施形態では、変換器Ｃによる音声変換後の音声データ
2019035902.tif 000133
を用いる構成について説明する。なお、学習用データを用いる場合、入力部１００から変換対象のデータ
2019035902.tif 000134
と目標データ
2019035902.tif 000135
とからなる組を複数含む学習用データが入力される。
【０１６３】
距離測定部２４５は、特徴抽出部２２０によって抽出された変換データの特徴量と、目標データの特徴量との距離を測定する。
【０１６４】
具体的には、距離測定部２４５は、式（４）を用いて、変換データ
2019035902.tif 000136
の特徴量
2019035902.tif 000137
と、目標データ
2019035902.tif 000138
の特徴量
2019035902.tif 000139
との距離である
2019035902.tif 000140
を測定する。ここで、
2019035902.tif 000141
は、認識器Ｄｐｈｏｎｅｍｅとしてのニューラルネットワークの
2019035902.tif 000142
番目の層を意味する。
【０１６５】
そして、距離測定部２４０は、変換データ
2019035902.tif 000143
、目標データ
2019035902.tif 000144
、及び距離の測定結果を学習部２６０に渡す。
【０１６６】
ニューラルネットワーク記憶部２３５は、変換器としてのニューラルネットワークと、認識器としてのニューラルネットワークとを記憶している。
【０１６７】
また、ニューラルネットワーク記憶部２３５は、認識器としてのニューラルネットワークに応じて定められる、特徴量を抽出するためのニューラルネットワークを記憶している。
【０１６８】
学習部２６５は、距離測定部２４５によって測定された距離を用いた目的関数を最小化するように、特徴量を抽出するためのニューラルネットワークと、変換器としてのニューラルネットワークと、入力されたデータを認識する認識器としてのニューラルネットワークとを学習する。
【０１６９】
具体的には、学習部２６５は、距離測定部２４５によって測定された変換データ
2019035902.tif 000145
の特徴量
2019035902.tif 000146
と、目標データ
2019035902.tif 000147
の特徴量
2019035902.tif 000148
の距離を示す目的関数
2019035902.tif 000149
（式（４））を最適化するように、特徴量を抽出するためのニューラルネットワークを学習する。
【０１７０】
そして、学習部２６５は、目的関数
2019035902.tif 000150
（式（９））を用いて、認識器Ｄｐｈｏｎｅｍｅとしてのニューラルネットワークを学習する。
【０１７１】
そして、学習部２６５は、学習された識別器としてのニューラルネットワークに応じて、特徴量を抽出するためのニューラルネットワークを定める。
【０１７２】
なお、上記では、目的関数
2019035902.tif 000151
を最適化する学習と、目的関数
2019035902.tif 000152
を最適化する学習とを行う場合を例に説明したが、これに限定されるものではなく、
2019035902.tif 000153
と
2019035902.tif 000154
との和で表される目的関数を最適化するように、特徴量を抽出するためのニューラルネットワークと、変換器Ｃとしてのニューラルネットワークと、認識器Ｄｐｈｏｎｅｍｅとしてのニューラルネットワークとをまとめて学習するようにしても良い。
【０１７３】
また、認識器Ｄｐｈｏｎｅｍｅとしてのニューラルネットワークが学習済みである場合には、距離を示す目的関数
2019035902.tif 000155
（式（４））のみを最適化するようにして、変換器Ｃとしてのニューラルネットワークとを学習しても良い。
【０１７４】
そして、学習部２６５は、学習結果をニューラルネットワーク記憶部２３５に渡す。
【０１７５】
なお、第２の実施の形態に係るデータ変換装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１７６】
以上説明したように、本発明の第２の実施の形態に係るデータ変換装置によれば、変換データと目標データとの各々について、特徴量を抽出するためのニューラルネットワークを用いて特徴量を抽出し、抽出された変換データの特徴量と、目標データの特徴量との距離を測定することにより、変換データの過剰な平滑化を緩和することができる。
【０１７７】
また、本発明の第２の実施の形態に係るデータ変換装置によれば、距離測定装置によって測定された距離を最小化するように変換器を学習し、入力された変換対象のデータを学習された変換器を用いて変換することにより、変換データの過剰な平滑化を緩和することができる。
【０１７８】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１７９】
上述の実施形態では、距離測定装置をデータ変換装置に含む構成を例として説明したが、別装置として構成してもよい。
【０１８０】
第１の実施形態では、音声変換の場合について説明したが、音声合成の場合でも同様の方式が適応可能である。
【０１８１】
また、第１の実施形態では、音声データを対象に説明したが、本発明のポイントの１つとして、二つの時系列データがあった場合に、その時系列データの新たな距離の測定方法、時系列的な構造の新たな表現の方法を提案したところにあり、任意の時系列データ（例えば、センサデータ、言語データなど）にも自然に拡張が可能である。
【０１８２】
また、時間方向だけではなく、空間方向に構造があるようなデータに対しても構造を捉えた距離測定をすることが可能であり、任意の多次元データ（画像データ、動画データなど）にも自然に拡張が可能である。
【０１８３】
また、第２の実施形態では、音声認識のニューラルネットワークを用いる場合を説明したが、任意の認識タスク（話者認識、有声・無声区間の認識など）を対象にしたニューラルネットワークを用いることも可能である。
【０１８４】
また、第１の実施の形態における識別器としてのニューラルネットワークを、第２の実施の形態における音声認識器としてのニューラルネットワークとを組み合わせてもよい。この場合の目的関数は、例えば、式（６）と式（８）とを足し合わせた式によって表すことができる。
【０１８５】
この場合、本物か偽物かの識別（２クラス識別）と、音声認識（音素クラス識別）の２つのタスクを同時に最適化することができる。なお、他の組み合わせ方、例えば、クラスごとに本物か偽物かを識別する構成とすることも可能である。
【０１８６】
また、第１の実施の形態と同様の学習を行った後に、第２の実施の形態と同様の学習を行うようにしても良い。また、これらの学習を交互に繰り返すようにしても良い。
【０１８７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１８８】
１０   データ変換装置
１００ 入力部
２００ 制御部
２１０ 変換部
２２０ 特徴抽出部
２３０ ニューラルネットワーク記憶部
２３５ ニューラルネットワーク記憶部
２４０ 距離測定部
２４５ 距離測定部
２５０ 生成部
２６０ 学習部
２６５ 学習部
２７０ 変換部
３００ 出力部
【図１】
2019035902.tif 000156
【図２】
2019035902.tif 000157
【図３】
2019035902.tif 000158
【図４】
2019035902.tif 000159
【図５】
2019035902.tif 000160
【図６】
2019035902.tif 000161
【図７】
2019035902.tif 000162
【図８】
2019035902.tif 000163
【図９】
2019035902.tif 000164
【図１０】
2019035902.tif 000165
【図１１】
2019035902.tif 000166
【図１２】
2019035902.tif 000167
【図１３】
2019035902.tif 000168