(57)【要約】【課題】データ拡張により得られる学習データのバリエーションを増加させ、モデルの精度を向上させること。【解決手段】拡張装置１０は、ラベルからデータを生成する生成モデルに、ラベルが付与された第１のデータ及び第２のデータを学習させる。また、拡張装置１０は、第１のデータ及び第２のデータを学習した生成モデルを用いて、第１のデータに付与されたラベルから拡張用のデータを生成する。また、拡張装置１０は、第１のデータ及び拡張用のデータを統合した拡張済みデータに、第１のデータに付与されたラベルを付与する。【選択図】図１
2020034998.tif 000002
【特許請求の範囲】
【請求項１】
ラベルからデータを生成する生成モデルに、ラベルが付与された第１のデータ及び第２のデータを学習させる学習部と、
前記第１のデータ及び前記第２のデータを学習した前記生成モデルを用いて、前記第１のデータに付与されたラベルから拡張用のデータを生成する生成部と、
前記第１のデータ及び前記拡張用のデータを統合した拡張済みデータに、前記第１のデータに付与されたラベルを付与する付与部と、
を有することを特徴とする拡張装置。
【請求項２】
前記学習部は、前記生成モデルの生成器が、前記第１のデータ及び前記第２のデータに近いデータを生成できるように、かつ、前記生成モデルの識別器が、前記生成器が生成したデータと前記第１のデータ及び前記第２のデータとの違いを識別できるように学習を行い、
前記生成部は、前記生成器を用いて拡張用のデータを生成することを特徴とする請求項１に記載の拡張装置。
【請求項３】
前記付与部によってラベルを付与された拡張済みデータを、目的モデルに学習させる目的モデル学習部をさらに有することを特徴とする請求項１又は２に記載の拡張装置。
【請求項４】
コンピュータが実行する拡張方法であって、
ラベルからデータを生成する生成モデルに、ラベルが付与された第１のデータ及び第２のデータを学習させる学習工程と、
前記第１のデータ及び前記第２のデータを学習した前記生成モデルを用いて、前記第１のデータに付与されたラベルから拡張用のデータを生成する生成工程と、
前記第１のデータ及び前記拡張用のデータを統合した拡張済みデータに、前記第１のデータに付与されたラベルを付与する付与工程と、
を含むことを特徴とする拡張方法。
【請求項５】
コンピュータを、請求項１から３のいずれか１項に記載の拡張装置として機能させるための拡張プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張装置、拡張方法及び拡張プログラムに関する。
【背景技術】
【０００２】
深層学習モデルにおける学習データの整備は、大きなコストを要する。学習データの整備には、学習データの収集だけでなく、学習データへのラベル等のアノテーションの付加が含まれる。
【０００３】
従来、学習データの整備のコストを軽減するための技術として、ルールベースのデータ拡張（Data  Augmentation）が知られている。例えば、学習データとして用いられる画像に、反転、拡大縮小、ノイズ付加、回転等の特定のルールにしたがった変更を加えることで、別の学習データを生成する方法が知られている（例えば、非特許文献１又は２を参照）。また、学習データが音声やテキストである場合にも、同様のルールベースのデータ拡張が行われることがある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Patrice  Y.  Simard,  Dave  Steinkraus,  and  John  C.  Platt.  Best  practices  for  convolutional  neural  networks  applied  to  visual  document  analysis.  In  Proceedings  of  the  Seventh  International  Conference  on  Document  Analysis  and  Recognition  -  Volume  2,  ICDAR  '03,  pp.958-,  Washington,  DC,  USA,  2003.  IEEE  Computer  Society.
【非特許文献２】Alex  Krizhevsky,  Ilya  Sutskever,  and  Geoffrey  E.  Hinton.  Imagenet  classification  with  deep  convolutional  neural  net-works.  In  Proceedings  of  the  25th  International  Conference  on  Neural  Information  Processing  Systems  -  Volume  1,  NIPS'12,  pp.  1097-1105,  USA,  2012.  Curran  Associates  Inc.
【非特許文献３】C.  Szegedy,  Wei  Liu,  Yangqing  Jia,  P.  Sermanet,  S.  Reed,  D.  Anguelov,  D.  Erhan,  V.  Vanhoucke,  and  A.  Rabinovich.  Going  deeper  with  convolutions.  In  2015  IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition  (CVPR),pp.  1-9,  June  2015.
【非特許文献４】Tom  Ko,  Vijayaditya  Peddinti,  Daniel  Povey,  and  Sanjeev  Khudanpur.  Audio  augmentation  for  speech  recognition.  In  INTERSPEECH,  pp.  3586-3589.  ISCA,  2015.
【非特許文献５】Z.  Xie,  S.  I.  Wang,  J.  Li,  D.  Levy,  A.  Nie,  D.  Jurafsky,  and  A.  Y.  Ng.  Data  noising  as  smoothing  in  neural  network  language  models.  In  International  Conference  on  Learning  Representations  (ICLR),  2017.
【非特許文献６】Mehdi  Mirza,  Simon  Osindero:Conditional  Generative  Adversarial  Nets.  CoRR  abs/1411.1784  (2014)
【非特許文献７】D.  Cheng,  Y.  Gong,  S.  Zhou,  J.  Wang  and  N.  Zheng,  "Person  Re-identification  by  Multi-Channel  Parts-Based  CNN  with  Improved  Triplet  Loss  Function,"  2016  IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition  (CVPR),  Las  Vegas,  NV,  2016,  pp.  1335-1344.doi:  10.1109/CVPR.2016.149
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術には、データ拡張により得られる学習データのバリエーションが少なく、モデルの精度を向上させられない場合があるという問題がある。具体的には、従来のルールベースのデータ拡張では、学習データの属性のバリエーションを増加させることが難しく、そのことがモデルの精度向上に限界を生じさせている。例えば、非特許文献１及び２に記載のルールベースのデータ拡張では、窓際にいる正面を向いた猫の画像の「窓際」、「猫」及び「正面」をいった属性を変更した画像を生成することは困難である。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、拡張装置は、ラベルからデータを生成する生成モデルに、ラベルが付与された第１のデータ及び第２のデータを学習させる学習部と、前記第１のデータ及び前記第２のデータを学習した前記生成モデルを用いて、前記第１のデータに付与されたラベルから拡張用のデータを生成する生成部と、前記第１のデータ及び前記拡張用のデータを統合した拡張済みデータに、前記第１のデータに付与されたラベルを付与する付与部と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、データ拡張により得られる学習データのバリエーションを増加させ、モデルの精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態に係る拡張装置の構成の一例を示す図である。
【図２】図２は、第１の実施形態に係る生成モデルの一例を示す図である。
【図３】図３は、第１の実施形態に係る生成モデルの学習処理を説明するための図である。
【図４】図４は、第１の実施形態に係る拡張画像の生成処理を説明するための図である。
【図５】図５は、第１の実施形態に係る付与処理を説明するための図である。
【図６】図６は、第１の実施形態に係る目的モデルの学習処理を説明するための図である。
【図７】図７は、第１の実施形態に係る拡張装置によって生成される拡張済みデータセットの一例を示す図である。
【図８】図８は、第１の実施形態に係る拡張装置の処理の流れを示すフローチャートである。
【図９】図９は、第１の実施形態の効果を示す図である。
【図１０】図１０は、拡張プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本願に係る拡張装置、拡張方法及び拡張プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
【００１０】
［第１の実施形態の構成］
まず、図１を用いて、第１の実施形態に係る拡張装置の構成について説明する。図１は、第１の実施形態に係る拡張装置の構成の一例を示す図である。図１に示すように、学習システム１は、拡張装置１０及び学習装置２０を有する。
【００１１】
拡張装置１０は、外部データセット４０を用いて、目的データセット３０のデータ拡張を行い、拡張済みデータセット５０を出力する。また、学習装置２０は、拡張済みデータセット５０を用いて目的モデル２１の学習を行う。目的モデル２１は、機械学習を行う既知のモデルであってよい。例えば、目的モデル２１は、非特許文献７に記載のMCCNN  with  Triplet  lossである。
【００１２】
また、図１の各データセットは、目的モデル２１で用いられるラベル付きのデータである。つまり、各データセットは、データとラベルの組み合わせである。例えば、目的モデル２１が画像認識のためのモデルである場合、各データセットは、画像データとラベルの組み合わせである。また、目的モデル２１は、音声認識モデルであってもよいし、自然言語認識モデルであってもよい。その場合、各データセットは、ラベル付きの音声データやラベル付きのテキストデータである。
【００１３】
ここでは、主に、各データセットが画像データとラベルの組み合わせである場合の例を説明する。また、以降の説明では、画像をコンピュータで処理可能な形式で表したデータを、画像データ又は単に画像と呼ぶ。
【００１４】
図１に示すように、拡張装置１０は、入出力部１１、記憶部１２及び制御部１３を有する。入出力部１１は、入力部１１１及び出力部１１２を有する。入力部１１１は、ユーザからのデータの入力を受け付ける。入力部１１１は、例えば、マウスやキーボード等の入力装置である。出力部１１２は、画面の表示等により、データを出力する。出力部１１２は、例えば、ディスプレイ等の表示装置である。また、入出力部１１は、通信によりデータの入出力を行うＮＩＣ（Network  Interface  Card）等の通信インタフェースであってもよい。
【００１５】
記憶部１２は、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、光ディスク等の記憶装置である。なお、記憶部１２は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non  Volatile  Static  Random  Access  Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１２は、拡張装置１０で実行されるＯＳ（Operating  System）や各種プログラムを記憶する。さらに、記憶部１２は、プログラムの実行で用いられる各種情報を記憶する。また、記憶部１２は、生成モデル１２１を記憶する。
【００１６】
具体的には、記憶部１２は、生成モデル１２１による各処理で用いられるパラメータを記憶する。本実施形態では、生成モデル１２１は、非特許文献６に記載のＣＧＡＮ（Conditional  Generative  Adversarial  Networks）であるものとする。ここで、図２を用いて、生成モデル１２１について説明する。図２は、第１の実施形態に係る生成モデルの一例を示す図である。
【００１７】
図２に示すように、生成モデル１２１は、生成器１２１ａ及び識別器１２１ｂを有する。例えば、生成器１２１ａ及び識別器１２１ｂは、いずれもニューラルネットワークである。ここで、生成モデル１２１には、正解データセットが入力される。正解データセットは、正解データと、正解データに付与された正解ラベルの組み合わせである。例えば、正解データが特定の人物の画像である場合、正解ラベルは当該人物を識別するＩＤである。
【００１８】
生成器１２１ａは、所定のノイズとともに入力された正解ラベルから、生成データを生成する。また、識別器１２１ｂは、２値判定誤差として、生成データと正解データとの間の乖離の度合いを計算する。そして、生成モデル１２１の学習においては、生成器１２１ａのパラメータは誤差が小さくなる方向に更新される。一方、識別器１２１ｂのパラメータは誤差が大きくなる方向に更新される。なお、学習における各パラメータの更新は、誤差逆伝播法（Backpropagation）によって行われる。
【００１９】
つまり、生成器１２１ａは、学習により、識別器１２１ｂによって正解データと同じものと識別されるような生成データを生成できるようになっていく。一方、識別器１２１ｂは、学習により、生成データを生成データと認識し、正解データを正解データと認識できるようになっていく。
【００２０】
制御部１３は、拡張装置１０全体を制御する。制御部１３は、例えば、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）等の電子回路や、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路である。また、制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部１３は、学習部１３１、生成部１３２及び付与部１３３を有する。
【００２１】
学習部１３１は、ラベルからデータを生成する生成モデル１２１に、ラベルが付与された第１のデータ及び第２のデータを学習させる。目的データセット３０は、第１のデータ及び第１のデータに付与されたラベルの組み合わせの一例である。また、外部データセット４０は、第２のデータ及び第２のデータに付与されたラベルの組み合わせの一例である。
【００２２】
ここで、目的データセット３０は、目的データと目的データに付与された目的ラベルとの組み合わせであるものとする。また、外部データセット４０は、外部データと外部データに付与された外部ラベルとの組み合わせであるものとする。
【００２３】
目的ラベルは、目的モデル２１の学習の対象のラベルである。例えば、目的モデル２１が画像中の人物を認識するためのモデルである場合、目的ラベルは、目的データの画像に映っている人物を識別するＩＤである。また、例えば、目的モデル２１が音声からテキストを認識するモデルである場合、目的ラベルは、目的データの音声を書き起こしたテキストである。
【００２４】
外部データセット４０は、目的データセット３０を拡張するためのデータセットである。外部データセット４０は、目的データセット３０と異なるドメインのデータセットであってもよい。ここで、ドメインとは、データセットに固有の特徴であって、データ、ラベル及び生成分布によって表される。例えば、データがＸ０、ラベルがＹ０であるデータセットのドメインは、（Ｘ０，Ｙ０，Ｐ（Ｘ０，Ｙ０））のように表される。
【００２５】
ここで、例として、目的モデル２１が画像認識モデルであって、学習装置２０は、画像からＩＤが「０００２」である人物の画像を認識できるように目的モデル２１の学習を行うものとする。この場合、目的データセット３０は、ラベル「ＩＤ：０００２」と、当該人物が映っていることが既知の画像との組み合わせである。また、外部データセット４０は、「０００２」以外のＩＤを示すラベルと、当該ＩＤに対応する人物が映っていることが既知の画像との組み合わせである。
【００２６】
また、外部データセット４０は、必ずしも正確なラベルを有していなくてもよい。つまり、外部データセット４０のラベルは、目的データセット３０のラベルとの区別が付くものであればよく、例えば、未設定を意味するものであってもよい。
【００２７】
拡張装置１０は、目的データセット３０のデータが有しない属性を外部データセット４０から取り入れた拡張済みデータセット５０を出力する。これにより、目的データセット３０からだけでは得ることができなかったバリエーションのデータを得ることができる。例えば、拡張装置１０によれば、目的データセット３０に、ある人物の背面が映った画像のみが含まれている場合であっても、当該人物の正面が映った画像を得ることが可能になる。
【００２８】
図３を用いて、学習部１３１による学習処理について説明する。図３は、第１の実施形態に係る生成モデルの学習処理を説明するための図である。図３に示すように、データセットＳｔａｒｇｅｔは、目的データセット３０である。また、Ｘｔａｒｇｅｔ及びＹｔａｒｇｅｔは、それぞれデータセットＳｔａｒｇｅｔのデータ及びラベルである。また、データセットＳｏｕｔｅｒは、外部データセット４０である。また、Ｘｏｕｔｅｒ及びＹｏｕｔｅｒは、それぞれデータセットＳｏｕｔｅｒのデータ及びラベルである。
【００２９】
このとき、目的データセット３０のドメインは、（Ｘｔａｒｇｅｔ，Ｙｔａｒｇｅｔ，Ｐ（Ｘｔａｒｇｅｔ，Ｙｔａｒｇｅｔ））のように表される。また、外部データセット４０のドメインは、（Ｘｏｕｔｅｒ，Ｙｏｕｔｅｒ，Ｐ（Ｘｏｕｔｅｒ，Ｙｏｕｔｅｒ））のように表される。
【００３０】
学習部１３１は、まず、各データに前処理を施す。例えば、学習部１３１は、前処理として、画像のサイズを一律の大きさ（例えば、１２８×１２８ｐｉｘｅｌ）に変更する。そして、学習部１３１は、データセットＳｔａｒｇｅｔ及びＳｏｕｔｅｒを結合し、データセットＳｔ＋ｏを生成する。例えば、Ｓｔ＋ｏは、各データセットのデータ及びラベルを、それぞれ同じ配列に格納したものである。
【００３１】
そして、学習部１３１は、生成したデータセットＳｔ＋ｏを正解データセットとして生成モデル１２１に学習させる。具体的な学習方法は前述の通りである。つまり、学習部１３１は、生成モデル１２１の生成器１２１ａが、第１のデータ及び第２のデータに近いデータを生成できるように、かつ、生成モデル１２１の識別器１２１ｂが、生成器１２１ａが生成したデータと第１のデータ及び第２のデータとの違いを識別できるように学習を行う。
【００３２】
また、図３のＸ´は、データセットＳｔ＋ｏのラベルから生成器１２１ａが生成する生成データである。学習部１３１は、画像Ｘ´を基に、誤差逆伝播法により生成モデル１２１のパラメータを更新する。
【００３３】
生成部１３２は、第１のデータ及び第２のデータを学習した生成モデル１２１を用いて、第１のデータに付与されたラベルから拡張用のデータを生成する。Ｙｔａｒｇｅｔは、第１のデータに付与されたラベルの一例である。
【００３４】
図４を用いて、生成部１３２による生成処理について説明する。図４は、第１の実施形態に係る拡張画像の生成処理を説明するための図である。図４に示すように、生成部１３２は、ラベルＹｔａｒｇｅｔをノイズＺとともに生成モデル１２１に入力し、生成データＸｇｅｎを生成する。ここで、生成データＸｇｅｎは、生成器１２１ａによって生成される。また、生成部１３２は、あらかじめ設定された分布に従ってノイズＺをランダムに発生させ、複数の生成データＸｇｅｎを生成することができる。ここでは、ノイズＺの分布はＮ（０，１）の正規分布であるとする。
【００３５】
付与部１３３は、第１のデータ及び拡張用のデータを統合した拡張済みデータに、第１のデータに付与されたラベルを付与する。付与部１３３は、生成部１３２によって生成された生成データＸｇｅｎにラベルを付与することで、学習装置２０で利用可能なデータセットＳ´ｔａｒｇｅｔを生成する。また、Ｓ´ｔａｒｇｅｔは、拡張済みデータセット５０の一例である。
【００３６】
図５を用いて、付与部１３３による付与処理について説明する。図５に示すように、付与部１３３は、ＸｔａｒｇｅｔとＸｇｅｎを統合したデータに、ラベルとしてＹｔａｒｇｅｔを付与する。このとき、目的データセット３０のドメインは、（Ｘｔａｒｇｅｔ＋Ｘｇｅｎ，Ｙｔａｒｇｅｔ，Ｐ（Ｘｔａｒｇｅｔ＋Ｘｇｅｎ，Ｙｔａｒｇｅｔ））のように表される。
【００３７】
その後、図６に示すように、学習装置２０は、データセットＳ´ｔａｒｇｅｔを用いて目的モデル２１の学習を行う。図６は、第１の実施形態に係る目的モデルの学習処理を説明するための図である。
【００３８】
図７を用いて、拡張済みデータセット５０の具体的な例について説明する。図７は、第１の実施形態に係る拡張装置によって生成される拡張済みデータセットの一例を示す図である。
【００３９】
図７に示すように、目的データセット３０ａは、画像３０１ａ及び「ＩＤ：０００２」というラベルを含む。また、外部データセット４０ａは、画像４０１ａ及び「ＩＤ：００５０」というラベルを含む。ここで、ラベルに含まれるＩＤは、画像中の人物を識別するものである。また、目的データセット３０ａ及び外部データセット４０ａには、図示のもの以外の画像が含まれていてもよい。
【００４０】
画像３０１ａには、黒髪で、赤Ｔシャツ及び短Ｇパンを着用し、背面を向いた黄色人種の人物が映っているものとする。このとき、画像３０１ａには、「背面」、「黒髪」、「赤Ｔシャツ」、「黄色人種」、「短Ｇパン」といった属性が含まれる。
【００４１】
画像４０１ａには、バッグを肩にかけ、白Ｔシャツ、黒短パン及び靴を着用し、正面を向いた人物が映っているものとする。このとき、画像４０１ａには、「正面」、「バッグ」、「白Ｔシャツ」、「黒短パン」、「靴」といった属性が含まれる。
【００４２】
なお、ここでの属性とは、目的モデル２１が画像認識の際に利用する情報である。ただし、これらの属性は説明のために例として定義したものであり、画像認識処理においては、必ずしも明示的に個別の情報として扱われているわけではない。そのため、目的データセット３０ａ及び外部データセット４０ａは、どのような属性が含まれるかが未知のものであってもよい。
【００４３】
拡張装置１０は、目的データセット３０ａ及び外部データセット４０ａを入力とし、拡張済みデータセット５０ａを出力する。拡張用画像５０１ａは、拡張装置１０が生成した画像の１つである。拡張済みデータセット５０ａは、目的データセット３０ａと、ラベル「ＩＤ：０００２」が付与された拡張用画像５０１ａを統合したデータセットである。
【００４４】
拡張用画像５０１ａには、黒髪で、赤Ｔシャツ及び短Ｇパンを着用し、正面を向いた黄色人種の人物が映っているものとする。このとき、拡張用画像５０１ａには、「正面」、「黒髪」、「赤Ｔシャツ」、「黄色人種」、「短Ｇパン」といった属性が含まれる。
【００４５】
ここで、「正面」という属性は、目的データセット３０ａからのみでは得ることができなかった属性である。このように、拡張装置１０は、外部データセット４０ａから得られた属性を、目的データセット３０ａの属性と組み合わせた画像を生成することができる。
【００４６】
［第１の実施形態の処理］
図８を用いて、拡張装置１０の処理の流れについて説明する。図８は、第１の実施形態に係る拡張装置の処理の流れを示すフローチャートである。ここでは、目的モデル２１は画像認識を行うモデルであり、各データセットに含まれるデータは画像であるものとする。
【００４７】
図８に示すように、まず、拡張装置１０は、目的データセット３０及び外部データセット４０の入力を受け付ける（ステップＳ１０１）。次に、拡張装置１０は、生成モデル１２１を用いて、目的データセット３０及び外部データセット４０から画像を生成する（ステップＳ１０２）。そして、拡張装置１０は、生成した画像を基に生成モデル１２１のパラメータを更新する（ステップＳ１０３）。つまり、拡張装置１０は、ステップＳ１０２及びステップＳ１０３により、生成モデル１２１の学習を行う。また、拡張装置１０は、所定の条件が満たされるまで、ステップＳ１０２及びステップＳ１０３を繰り返し実行してもよい。
【００４８】
ここで、拡張装置１０は、生成モデル１２１に、目的データセット３０のラベルを指定し（ステップＳ１０４）、指定したラベルを基に拡張用画像を生成する（ステップＳ１０５）。次に、拡張装置１０は、目的データセット３０の画像と拡張用画像を統合し、統合したデータに目的データセット３０のラベルを付与する（ステップＳ１０６）。
【００４９】
拡張装置１０は、ステップＳ１０６でラベルを付与したデータを拡張済みデータセット５０として出力する（ステップＳ１０７）。学習装置２０は、拡張済みデータセット５０を用いて目的モデル２１の学習を行う。
【００５０】
［第１の実施形態の効果］
これまで説明してきたように、拡張装置１０は、ラベルからデータを生成する生成モデルに、ラベルが付与された第１のデータ及び第２のデータを学習させる。また、拡張装置１０は、第１のデータ及び第２のデータを学習した生成モデルを用いて、第１のデータに付与されたラベルから拡張用のデータを生成する。また、拡張装置１０は、第１のデータ及び拡張用のデータを統合した拡張済みデータに、第１のデータに付与されたラベルを付与する。このように、本実施形態の拡張装置１０は、データ拡張により、目的データセットに含まれない属性を持った学習データを生成することができる。このため、本実施形態によれば、データ拡張により得られる学習データのバリエーションを増加させ、モデルの精度を向上させることができる。
【００５１】
拡張装置１０は、生成モデルの生成器が、第１のデータ及び第２のデータに近いデータを生成できるように、かつ、生成モデルの識別器が、生成器が生成したデータと第１のデータ及び第２のデータとの違いを識別できるように学習を行う。これにより、生成モデルを用いて生成するデータを、目的データと似せることが可能になる。
【００５２】
［実験結果］
ここで、従来の技術と実施形態を比較するために行った実験について説明する。実験において、目的モデル２１は、画像認識により画像から特定の人物を探すタスクを行うMCCNN  with  Triplet  lossである。また、各手法の比較は、拡張前のデータ、すなわち目的データセット３０を目的モデル２１に入力した場合の認識精度により行った。生成モデル１２１は、ＣＧＡＮである。
【００５３】
また、目的データセット３０は、人物再照合用のデータセットである「Ｍａｒｋｅｔ−１５０１」である。また、外部データセット４０は、同じく人物再照合用のデータセットである「ＣＨＵＫ０３」である。また、拡張するデータの量は、元データ量の３倍である。
【００５４】
実験の結果を図９に示す。図９は、第１の実施形態の効果を示す図である。横軸は、目的データセット３０のサイズを割合で示したものである。また、縦軸は、精度を示している。図９に示すように、また、各折れ線は、データ拡張をしなかった場合、実施形態の手法でデータ拡張を行った場合、及び従来のルールベースのデータ拡張を行った場合の結果を示している。
【００５５】
図９に示すように、データサイズにかかわらず、実施形態の手法でデータ拡張を行った場合に最も精度が高くなった。特に、データサイズが２０％程度の場合、実施形態の手法の精度は、従来の手法の精度と比べて２０％程度向上した。また、データサイズが３３％程度の場合、実施形態の手法の精度が、データサイズが１００％の場合の従来の手法の精度と同等であった。また、データサイズが１００％であっても、実施形態の手法の精度は、従来の手法の精度と比べて１０％程度向上した。これより、本実施形態によるデータ拡張は、従来の手法と比べて目的モデル２１の認識精度をより向上させているといえる。
【００５６】
［その他の実施形態］
上記の実施形態では、目的モデル２１の学習機能は、拡張装置１０とは異なる学習装置２０に備えられていた。一方で、拡張装置１０に、拡張済みデータセット５０を目的モデル２１に学習させる目的モデル学習部が備えられていてもよい。これにより、拡張装置１０は、装置間のデータ転送によるリソースの消費を抑え、データ拡張及び目的モデルの学習を、一連の処理として効率良く実行することができる。
【００５７】
［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５８】
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５９】
［プログラム］
一実施形態として、拡張装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記のデータ拡張を実行する拡張プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の拡張プログラムを情報処理装置に実行させることにより、情報処理装置を拡張装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal  Handyphone  System）等の移動体通信端末、さらには、ＰＤＡ（Personal  Digital  Assistant）等のスレート端末等がその範疇に含まれる。
【００６０】
また、拡張装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記のデータ拡張に関するサービスを提供する拡張サーバ装置として実装することもできる。例えば、拡張サーバ装置は、目的データを入力とし、拡張済みデータを出力とする拡張サービスを提供するサーバ装置として実装される。この場合、拡張サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記のデータ拡張に関するサービスを提供するクラウドとして実装することとしてもかまわない。
【００６１】
図１０は、拡張プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
【００６２】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
【００６３】
ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、拡張装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、拡張装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤにより代替されてもよい。
【００６４】
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。
【００６５】
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【符号の説明】
【００６６】
１０  拡張装置
１１  入出力部
１２  記憶部
１３  制御部
２０  学習装置
２１  目的モデル
３０、３０ａ  目的データセット
４０、４０ａ  外部データセット
５０、５０ａ  拡張済みデータセット
１１１  入力部
１１２  出力部
１２１  生成モデル
１２１ａ  生成器
１２１ｂ  識別器
１３１  学習部
１３２  生成部
１３３  付与部
３０１ａ、４０１ａ  画像
５０１ａ  拡張用画像
【図１】
2020034998.tif 000003
【図２】
2020034998.tif 000004
【図３】
2020034998.tif 000005
【図４】
2020034998.tif 000006
【図５】
2020034998.tif 000007
【図６】
2020034998.tif 000008
【図７】
2020034998.tif 000009
【図８】
2020034998.tif 000010
【図９】
2020034998.tif 000011
【図１０】
2020034998.tif 000012