(57)【要約】【課題】モデルの精度を大きく改善するような高品質な学習データを、データ拡張により効率良く得ること。【解決手段】拡張装置は、目的データセットと外部データセットとの間の類似度と、外部データセットの画一性の度合いとから計算されるメトリクスに基づき、外部データセットの中から所定のデータセットを選択する。拡張装置は、生成器に目的クラスが指定された際に、生成器が、識別器によって本物であると識別されやすく、分類器によって複数の外部クラスに属する確率が０でなくかつ均等になるように計算されるデータを生成するように、生成モデルの学習を行う。拡張装置は、学習が行われた生成モデルの生成器に、目的クラスを指定しデータを生成する。拡張装置は、生成されたデータから、識別器によって偽物と識別されるデータを、拡張用データとして抽出する。拡張装置は、抽出された拡張用データに目的ラベルを付与する。【選択図】図１
2020135485.tif 000002
【特許請求の範囲】
【請求項１】
第１のクラスに属するデータの集合である第１のデータセット及び第２のクラスに属するデータの集合である第２のデータセットとの間の類似度と、前記第２のデータセットに含まれるデータの画一性の度合いとから計算されるメトリクスに基づき、前記第２のデータセットの中から、第３のクラスに属する第３のデータセットを選択する選択部と、
指定されたクラスを基にデータを生成する生成器に前記第１のクラスが指定された際に、前記生成器が、識別器によって前記第１のデータセットのデータであると識別されやすく、分類器によって複数の前記第３のクラスに属する確率が０でなくかつ均等になるように計算されるデータを生成するように、前記生成器、前記識別器及び前記分類器を含む生成モデルの学習を行う学習部と、
前記学習部による学習が行われた前記生成モデルの前記生成器に、前記第１のクラスを指定することでデータを生成する生成部と、
前記生成部によって生成されたデータから、前記識別器によって前記第１のデータセットのデータであると識別されるデータを、拡張用データとして抽出する抽出部と、
前記抽出部によって抽出された前記拡張用データに前記第１のクラスに属することを示すラベルを付与する付与部と、
を有することを特徴とする拡張装置。
【請求項２】
前記選択部は、各データセットに含まれる画像データの輝度値の統計量を用いて計算された前記類似度と前記画一性の度合いとから計算されるメトリクスに基づき、前記第２のデータセットの中から前記第３のデータセットを選択することを特徴とする請求項１に記載の拡張装置。
【請求項３】
前記学習部は、
前記分類器が、前記第１のデータセットのデータについては、前記第３のクラスのそれぞれに属する確率が、前記第３のクラスに含まれるクラス数の逆数になるように計算を行い、前記第３のデータセットのデータについては、当該データが属するクラスに属する確率が１になるように計算を行う、
ように前記生成モデルの学習を行うことを特徴とする請求項１に記載の拡張装置。
【請求項４】
前記抽出部は、さらに、前記拡張用データから、前記第１のデータセットからのユークリッド距離が所定値以上であるデータを除外することを特徴とする請求項１に記載の拡張装置。
【請求項５】
コンピュータによって実行される拡張方法であって、
第１のクラスに属するデータの集合である第１のデータセット及び第２のクラスに属するデータの集合である第２のデータセットとの間の類似度と、前記第２のデータセットに含まれるデータの画一性の度合いとから計算されるメトリクスに基づき、前記第２のデータセットの中から、第３のクラスに属する第３のデータセットを選択する選択工程と、
指定されたクラスを基にデータを生成する生成器に前記第１のクラスが指定された際に、前記生成器が、識別器によって前記第１のデータセットのデータであると識別されやすく、分類器によって複数の前記第３のクラスに属する確率が０でなくかつ均等になるように計算されるデータを生成するように、前記生成器、前記識別器及び前記分類器を含む生成モデルの学習を行う学習工程と、
前記学習工程による学習が行われた前記生成モデルの前記生成器に、前記第１のクラスを指定することでデータを生成する生成工程と、
前記生成工程によって生成されたデータから、前記識別器によって前記第１のデータセットのデータであると識別されるデータを、拡張用データとして抽出する抽出工程と、
前記抽出工程によって抽出された前記拡張用データに前記第１のクラスに属することを示すラベルを付与する付与工程と、
を含むことを特徴とする拡張方法。
【請求項６】
コンピュータを、請求項１から４のいずれか１項に記載の拡張装置として機能させるための拡張プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張装置、拡張方法及び拡張プログラムに関する。
【背景技術】
【０００２】
深層学習モデルにおける学習データの整備は、大きなコストを要する。学習データの整備には、学習データの収集だけでなく、学習データへのラベル等のアノテーションの付加が含まれる。
【０００３】
従来、学習データの整備のコストを軽減するための技術として、ルールベースのデータ拡張（Data  Augmentation）が知られている。例えば、学習データとして用いられる画像に、反転、拡大縮小、ノイズ付加、回転等の特定のルールにしたがった変更を加えることで、別の学習データを生成する方法が知られている（例えば、非特許文献１又は２を参照）。また、学習データが音声やテキストである場合にも、同様のルールベースのデータ拡張が行われることがある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Patrice  Y.  Simard,  Dave  Steinkraus,  and  John  C.  Platt.  Best  practices  for  convolutional  neural  networks  applied  to  visual  document  analysis.  In  Proceedings  of  the  Seventh  International  Conference  on  Document  Analysis  and  Recognition  -  Volume  2,  ICDAR  '03,  pp.958,  Washington,  DC,  USA,  2003.  IEEE  Computer  Society.
【非特許文献２】Alex  Krizhevsky,  Ilya  Sutskever,  and  Geoffrey  E.  Hinton.  Imagenet  classification  with  deep  convolutional  neural  networks.  In  Proceedings  of  the  25th  International  Conference  on  Neural  Information  Processing  Systems  -  Volume  1,  NIPS'12,  pp.  1097-1105,  USA,  2012.  Curran  Associates  Inc.
【非特許文献３】C.  Szegedy,  Wei  Liu,  Yangqing  Jia,  P.  Sermanet,  S.  Reed,  D.  Anguelov,  D.  Erhan,  V.  Vanhoucke,  and  A.  Rabinovich.  Going  deeper  with  convolutions.  In  2015  IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition  (CVPR),pp.  1-9,  June  2015.
【非特許文献４】Tom  Ko,  Vijayaditya  Peddinti,  Daniel  Povey,  and  Sanjeev  Khudanpur.  Audio  augmentation  for  speech  recognition.  In  INTERSPEECH,  pp.  3586-3589.  ISCA,  2015.
【非特許文献５】Z.  Xie,  S.  I.  Wang,  J.  Li,  D.  Levy,  A.  Nie,  D.  Jurafsky,  and  A.  Y.  Ng.  Data  noising  as  smoothing  in  neural  network  language  models.  In  International  Conference  on  Learning  Representations  (ICLR),  2017.
【非特許文献６】Goodfellow,  Ian,  et  al.  "Generative  adversarial  nets."  Advances  in  neural  information  processing  systems.  2014.
【非特許文献７】Yaxing  Wang,  Chenshen  Wu,  Luis  Herranz,  Joost  van  de  Weijer,  Abel  Gonzalez-Garcia,  and  Bogdan  Raducanu.Transferring  gans:  generating  images  from  limited  data.  arXiv  preprint  arXiv:1805.01677,  2018.
【非特許文献８】Xiaofeng  Zhang,  Zhangyang  Wang,  Dong  Liu,  and  Qing  Ling.  Dada:  Deep  adversarial  data  augmentation  for  extremely  low  data  regime  classication.  arXiv  preprint  arXiv:1809.00981,  2018.
【非特許文献９】Martin  Heusel,  Hubert  Ramsauer,  Thomas  Unterthiner,  Bernhard  Nessler,  and  Sepp  Hochreiter.  Gans  trained  by  a  two  time-scale  update  rule  converge  to  a  local  nash  equilibrium.  In  Advances  in  Neural  Information  Processing  Systems
【非特許文献１０】Zhou  Wang,  Eero  P  Simoncelli,  and  Alan  C  Bovik.  Multiscale  structural  similarity  for  image  quality  assessment.  In  The  Thrity-Seventh  Asilomar  Conference  on  Signals,  Systems  &  Computers,  2003,  Vol.  2,  pp.  1398-1402.  Ieee,2003.
【非特許文献１１】Brock,  Andrew,  Jeff  Donahue,  and  Karen  Simonyan.  "Large  scale  gan  training  for  high  fidelity  natural  image  synthesis."  arXiv  preprint  arXiv:1809.11096  (2018).
【非特許文献１２】Zhedong  Zheng,  Liang  Zheng,  and  Yi  Yang.  Unlabeled  samples  generated  by  gan  improve  the  person  re-identification  baseline  in  vitro.  In  Proceedings  of  the  IEEE  International  Conference  on  Computer  Vision,  2017.
【非特許文献１３】Samaneh  Azadi,  Catherine  Olsson,  Trevor  Darrell,  Ian  Goodfellow,  and  Augustus  Odena.  Discriminator  rejection  sampling.  arXiv  preprint  arXiv:1810.06758,  2018.
【非特許文献１４】Ishaan  Gulrajani,  Faruk  Ahmed,  Martin  Arjovsky,  Vincent  Dumoulin,  and  Aaron  C  Courville.  Improved  training  of  wasserstein  gans.  In  Advances  in  Neural  Information  Processing  Systems,  pp.  5767-5777,  2017.
【非特許文献１５】Kaiming  He,  Xiangyu  Zhang,  Shaoqing  Ren,  and  Jian  Sun.  Deep  residual  learning  for  image  recognition.  In  Proceedings  of  the  IEEE  conference  on  computer  vision  and  pattern  recognition,  pp.  770-778,  2016.
【非特許文献１６】D.  Cheng,  Y.  Gong,  S.  Zhou,  J.  Wang  and  N.  Zheng,  "Person  Re-identification  by  Multi-Channel  Parts-Based  CNN  with  Improved  Triplet  Loss  Function,"  2016  IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition  (CVPR),  Las  Vegas,  NV,  2016.
【非特許文献１７】Augustus  Odena,  Christopher  Olah,  and  Jonathon  Shlens.  Conditional  image  synthesis  with  auxiliary  classier  gans.  arXiv  preprint  arXiv:1610.09585,  2016.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術には、モデルの精度を大きく改善するような高品質な学習データを、データ拡張により効率良く得ることが困難な場合があるという問題がある。具体的には、従来のルールベースのデータ拡張では、学習データの属性のバリエーションを増加させることが難しく、そのことがモデルの精度向上に限界を生じさせている。例えば、非特許文献１及び２に記載のルールベースのデータ拡張では、窓際にいる正面を向いた猫の画像の「窓際」、「猫」及び「正面」をいった属性を変更した画像を生成することは困難である。
【０００６】
拡張の基になる目的データを大量に用意することは難しい場合が多い。一方で、限られた量の目的データから、なるべくモデルの精度向上に大きく貢献するようなデータを得られることが望ましいが、そのような方法は知られていない。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、拡張装置は、第１のクラスに属するデータの集合である第１のデータセット及び第２のクラスに属するデータの集合である第２のデータセットとの間の類似度と、前記第２のデータセットに含まれるデータの画一性の度合いとから計算されるメトリクスに基づき、前記第２のデータセットの中から、第３のクラスに属する第３のデータセットを選択する選択部と、指定されたクラスを基にデータを生成する生成器に前記第１のクラスが指定された際に、前記生成器が、識別器によって前記第１のデータセットのデータであると識別されやすく、分類器によって複数の前記第３のクラスに属する確率が０でなくかつ均等になるように計算されるデータを生成するように、前記生成器、前記識別器及び前記分類器を含む生成モデルの学習を行う学習部と、前記学習部による学習が行われた前記生成モデルの前記生成器に、前記第１のクラスを指定することでデータを生成する生成部と、前記生成部によって生成されたデータから、前記識別器によって前記第１のデータセットのデータであると識別されるデータを、拡張用データとして抽出する抽出部と、前記抽出部によって抽出された前記拡張用データに前記第１のクラスに属することを示すラベルを付与する付与部と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、モデルの精度を大きく改善するような高品質な学習データを、データ拡張により効率良く得ることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１の実施形態に係る学習システムについて説明するための図である。
【図２】図２は、第１の実施形態に係る拡張装置の構成例を示す図である。
【図３】図３は、分類器としての機能を併せ持つ識別器について説明するための図である。
【図４】図４は、外部データに対する学習処理を説明するための図である。
【図５】図５は、目的データに対する学習処理を説明するための図である。
【図６】図６は、拡張用データの抽出について説明するための図である。
【図７】図７は、拡張済みデータセットについて説明するための図である。
【図８】図８は、第１の実施形態に係る拡張装置の処理の流れを示すフローチャートである。
【図９】図９は、第１の実施形態に係る拡張装置のパラメータの更新処理の流れを示すフローチャートである。
【図１０】図１０は、実験に使用したデータを示す図である。
【図１１】図１１は、実験の結果を示す図である。
【図１２】図１２は、実験の結果を示す図である。
【図１３】図１３は、実験の結果を示す図である。
【図１４】図１４は、追加実験の条件を示す図である。
【図１５】図１５は、追加実験の結果を示す図である。
【図１６】図１６は、拡張プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本願に係る拡張装置、拡張方法及び拡張プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
【００１１】
［第１の実施形態の構成］
まず、図１を用いて、学習システムについて説明する。図１は、第１の実施形態に係る学習システムについて説明するための図である。図１に示すように、学習システム１は、拡張装置１０及び学習装置２０を有する。
【００１２】
拡張装置１０は、外部データセットＳＯを用いて、目的データセットＳＴのデータ拡張を行い、拡張済みデータセットＳ´ｇｅｎを出力する。また、学習装置２０は、拡張済みデータセットＳ´ｇｅｎを用いて目的モデル２１の学習を行う。目的モデル２１は、機械学習を行う既知のモデルであってよい。例えば、目的モデル２１は、Ｒｅｓｎｅｔ−１５２等のクラス分類器である。
【００１３】
また、図１の各データセットは、目的モデル２１で用いられるラベル付きのデータである。つまり、各データセットは、データとデータが属するクラスを示すラベルとの組み合わせである。例えば、目的モデル２１が画像認識のためのモデルである場合、各データセットは、画像データとラベルの組み合わせである。また、目的モデル２１は、音声認識モデルであってもよいし、自然言語認識モデルであってもよい。その場合、各データセットは、ラベル付きの音声データやラベル付きのテキストデータである。
【００１４】
ここで、目的データセットＳＴは、目的データＸＴと目的データＸＴに付与された目的ラベルｙＴとの組み合わせであるものとする。また、外部データセットＳＯは、外部データＸＯと外部データＸＯに付与された外部ラベルｙＯとの組み合わせであるものとする。
【００１５】
目的ラベルｙＴは、目的モデル２１の学習の対象のラベルである。例えば、目的モデル２１が画像中の人物を認識するためのモデルである場合、目的ラベルｙＴは、目的データの画像に映っている人物を識別するＩＤである。また、例えば、目的モデル２１が音声からテキストを認識するモデルである場合、目的ラベルｙＴは、目的データの音声を書き起こしたテキストである。
【００１６】
外部データセットＳＯは、目的データセットＳＴを拡張するためのデータセットである。外部データセットＳＯは、目的データセットＳＴと異なるドメインのデータセットであってもよい。ここで、ドメインとは、データセットに固有の特徴であって、データ、ラベル及び生成分布によって表される。例えば、データがＸ０、ラベルがｙ０であるデータセットのドメインは、（Ｘ０，ｙ０，Ｐ（Ｘ０，ｙ０））のように表される。
【００１７】
ここで、例として、目的モデル２１が画像認識モデルであって、学習装置２０は、画像からＩＤが「０００２」である人物の画像を認識できるように目的モデル２１の学習を行うものとする。この場合、目的データセットＳＴは、ラベル「ＩＤ：０００２」と、当該人物が映っていることが既知の画像との組み合わせである。また、外部データセットＳＯは、「０００２」以外のＩＤを示すラベルと、当該ＩＤに対応する人物が映っていることが既知の画像との組み合わせである。
【００１８】
拡張装置１０は、目的データセットＳＴのデータが有しない属性を外部データセットＳＯから取り入れた拡張済みデータセットＳ´ｇｅｎを出力する。これにより、目的データセットＳＴからだけでは得ることができなかったバリエーションのデータを得ることができる。例えば、拡張装置１０によれば、目的データセットＳＴに、ある人物の背面が映った画像のみが含まれている場合であっても、当該人物の正面が映った画像を得ることが可能になる。
【００１９】
以降、各データセットが画像データとラベルの組み合わせである場合の例を説明する。また、以降の説明では、画像をコンピュータで処理可能な形式で表したデータを、画像データ又は単に画像と呼ぶ。
【００２０】
生成モデル１２１は、ＧＡＮ（Generative  Adversarial  Networks）に基づくモデルである。例えば、生成器Ｇ及び識別器Ｄは、いずれもニューラルネットワークである。生成器Ｇは、目的クラスのラベルｙＴ又は外部クラスのラベルｙＯがノイズｚとともに指定されると、指定されたラベルに基づいて画像を生成する。目的クラスは、目的データＸＴが属するクラスである。また、外部クラスは、外部データセットＸＯが属するクラスである。
【００２１】
また、識別器Ｄは、生成器Ｇによって生成された画像が、本物（Real）であるか偽物（Fake）であるかを識別する。例えば、識別器Ｄには、生成器Ｇによって生成された画像Ｘｇｅｎと目的データセット及び外部データの画像ＸＴ＋Ｏが入力され、２つの画像のうちどちらがＸｇｅｎ（偽物：Fake）であるか、及びどちらがＸＴ＋Ｏ（本物：Real）であるかを識別する。
【００２２】
なお、拡張装置１０には、それぞれラベルが異なる複数の外部データセットが入力されてもよい。すなわち、拡張装置１０には、外部データＸｋＯとラベルｙｋＯを組み合わせた外部データセットＳｋＯ（ただし、ｋＯ＝１，２，…，ＫＯ）が入力されてもよい。
【００２３】
さらに、第１の実施形態では、識別器Ｄは分類器としての機能を併せ持つものとする。つまり、識別器Ｄは、画像が各クラスに属する確率を計算することができる。識別器Ｄの分類器としての機能の詳細については後述する。
【００２４】
拡張装置１０は、外部データセットＳＯの中から選択した所定のデータセットを用いて生成モデル１２１の学習を行う。また、拡張装置１０は、識別器Ｄが画像が本物であるか偽物であるかを識別する際の誤差（Adversarial  Loss）及び、分類器としての機能に関する誤差（OLSR  Loss）が小さくなるように、識別器Ｄのパラメータを更新することで学習を行う。なお、学習における各パラメータの更新は、例えば誤差逆伝播法（Backpropagation）によって行われる。
【００２５】
さらに、拡張装置１０は、実際に拡張済みデータセットＳ´ｇｅｎを出力する際には、目的データセットＳＴのラベルｙＴに基づいて生成器Ｇが生成した生成データＸｇｅｎではなく、生成データＸｇｅｎから抽出したＸ´ｇｅｎを拡張済みデータセットＳ´ｇｅｎに含める。
【００２６】
図２を用いて、拡張装置１０の構成を説明する。図２は、第１の実施形態に係る拡張装置の構成例を示す図である。図２に示すように、拡張装置１０は、入出力部１１、記憶部１２及び制御部１３を有する。入出力部１１は、データの入力の受け付け及びデータの出力を行うためのインタフェースである。また、入出力部１１は、外部の装置とデータの通信を行う通信モジュールであってもよい。
【００２７】
記憶部１２は、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、光ディスク等の記憶装置である。なお、記憶部１２は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non  Volatile  Static  Random  Access  Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１２は、拡張装置１０で実行されるＯＳ（Operating  System）や各種プログラムを記憶する。さらに、記憶部１２は、プログラムの実行で用いられる各種情報を記憶する。また、記憶部１２は、生成モデル１２１を記憶する。具体的には、記憶部１２は、生成モデル１２１による各処理で用いられるパラメータを記憶する。
【００２８】
制御部１３は、拡張装置１０全体を制御する。制御部１３は、例えば、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）等の電子回路や、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路である。また、制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部１３は、選択部１３１、学習部１３２、生成部１３３、抽出部１３４及び付与部１３５を有する。
【００２９】
選択部１３１は、目的クラスに属するデータの集合である目的データセット及び外部クラスに属するデータの集合である外部データセットとの間の類似度と、外部データセットに含まれるデータの画一性の度合いとから計算されるメトリクスに基づき、外部データセットの中から、所定のデータセットを選択する。なお、選択部１３１によって選択されたデータセットは第３のデータセットの一例である。また、選択部１３１によって選択されたデータセットのラベルは、第３のラベルの一例である。
【００３０】
選択部１３１は、各データセットに含まれる画像データの輝度値の統計量を用いて計算された類似度と画一性の度合いとから計算されるメトリクスに基づき、外部データセットの中から選択済み外部データセットを選択することができる。例えば、選択部１３１は、（１）式によりメトリクスＭを計算する。このとき、選択部１３１は、計算したメトリクスＭが閾値以上であるデータセットを選択する。
【００３１】
【数１】
2020135485.tif 000003
【００３２】
また、（１）式のＦＩＤは、類似度であり、（２）式により表される（参考：非特許文献９）。μＸＴ及びμＸＯは、目的データセットに含まれる画像と外部データセットに含まれる画像の輝度値の平均値である。また、ΣＸＴ及びΣＸＴは、目的データセットの画像と外部データセットの画像の輝度値を表す行列である。ＦＩＤは、目的データセットと外部データセットとの類似度が大きいほど小さくなる。
【００３３】
【数２】
2020135485.tif 000004
【００３４】
また、（１）式のＭＳ-ＳＳＩＭは画一性の度合いであり、（３）式により表される（参考：非特許文献１０）。ＩＭ（ｘ１，ｘ２）は、画像ｘ１と画像ｘ２の明るさの差が大きいほど大きくなる関数である。ｃＭ（ｘ１，ｘ２）は、画像ｘ１と画像ｘ２のコントラストの差が大きいほど大きくなる関数である。ｓＭ（ｘ１，ｘ２）は、画像ｘ１と画像ｘ２の構造の違いが大きいほど大きくなる関数である。
【００３５】
【数３】
2020135485.tif 000005
【００３６】
次に、学習部１３２について説明する。なお、学習部１３２の説明における外部データセット及び外部ラベルは、選択部１３１によって選択された外部データセット及び当該外部データのラベルを意味するものとする。
【００３７】
学習部１３２は、指定されたクラスを基にデータを生成する生成器Ｇに目的クラスが指定された際に、生成器Ｇが、識別器Ｄによって目的データセットのデータであると識別されやすくなるように学習を行う。
【００３８】
ここで、前述の通り、図３に示すように、識別器Ｄは、分類器としての機能を併せ持つ（参考：非特許文献１７）。図３は、分類器としての機能を併せ持つ識別器について説明するための図である。以降の説明では、識別器Ｄが分類器として機能している場合、識別器Ｄを分類器Ｃと呼ぶ場合がある。図３のＬＡｄｖ．は、識別器Ｄの識別結果の誤差である。一方、図３のＬＯＬＳＲは、分類器Ｃの分類結果の誤差である。なお、ＯＬＳＲは、Outer  Label  Smoothing  Regularizationの略称である。
【００３９】
学習部１３２は、分類器Ｃによって複数の外部クラスに属する確率が０でなくかつ均等になるように計算されるデータを生成するように、生成器Ｇ、識別器Ｄ及び分類器Ｃを含む生成モデルの学習を行う。
【００４０】
図４及び５を用いて、学習部１３２による学習処理について説明する。図４は、外部データに対する学習処理を説明するための図である。また、図５は、目的データに対する学習処理を説明するための図である。
【００４１】
まず、外部データセットに対する学習処理を説明する。図４に示すように、生成器Ｇは、外部ラベルｙＯがノイズｚとともに指定されると、画像データＸｇｅｎを生成する。また、外部データセットＳＯには、画像データＸＯが含まれる。識別器Ｄは、画像データＸｇｅｎ及び画像データＸＯについて、本物であるか偽物であるかの識別を行う。そして、学習部１３２は、本物であるか偽物であるかの二値識別誤差が小さくなるように識別器Ｄのパラメータを更新し、逆に二値識別誤差が大きくなるように生成器Ｇのパラメータを更新する。
【００４２】
また、分類器Ｃは、外部ラベルｙＯに含まれる各ラベルｙｋＯ（ｋＯ＝１，２，…，ＫＯ）ごとに、外部データＸＯが属している確率を計算する。このとき、学習部１３２は、（４）式のＺを０とおいた式により誤差を計算する。
【００４３】
【数４】
2020135485.tif 000006
【００４４】
例えば、図４の例では、ｋＯ＝１がRetrieverクラスを表し、ｋＯ＝２がDachshundクラスを表し、ｋＯ＝ＫＯがTerrierクラスを表すものとする。また、画像ＸＯは、Terrierクラス（ｋＯ＝ＫＯ）の画像であるものとする。このとき、分類器Ｃは、画像ＸＯがRetrieverクラス（ｋＯ＝１）である確率を０．１１、画像ＸＯがDachshundクラス（ｋＯ＝２）である確率を０．０５、画像ＸＯがTerrierクラス（ｋＯ＝ＫＯ）である確率を０．７０と計算している。そして、学習部１３２は、例えば、次回画像ＸＯが入力されたときに、Terrierクラス（ｋＯ＝ＫＯ）である確率がより大きく計算されるように、生成器Ｇを含めた生成モデル１２１全体のパラメータを更新する。つまり、学習部１３２による学習処理によれば、分類器Ｃが、外部データセットのデータについては、当該データが属するクラスに属する確率が１になるように計算を行うようになる。
【００４５】
次に、目的データセットに対する学習処理を説明する。図５に示すように、生成器Ｇは、目的ラベルｙＴがノイズｚとともに指定されると、画像データＸｇｅｎを生成する。また、目的データセットＳＴには、画像データＸＴが含まれる。識別器Ｄは、画像データＸｇｅｎ及び画像データＸＴについて、本物であるか偽物であるかの識別を行う。そして、学習部１３２は、本物であるか偽物であるかの二値識別誤差が小さくなるように識別器Ｄのパラメータを更新し、逆に二値識別誤差が大きくなるように生成器Ｇを更新する。
【００４６】
また、分類器Ｃは、外部ラベルｙＯに含まれる各ラベルｙｋＯ（ｋＯ＝１，２，…，ＫＯ）ごとに、外部データＸＴが属している確率を計算する。このとき、学習部１３２は、（４）式のＺを１とおいた式により誤差を計算する。
【００４７】
例えば、図５の例では、ｋＯ＝１がRetrieverクラスを表し、ｋＯ＝２がDachshundクラスを表し、ｋＯ＝ＫＯがTerrierクラスを表すものとする。また、画像ＸＴは、ｋＯ＝１からＫＯまでのいずれのクラスにも属さないものとする。このとき、分類器Ｃは、画像ＸＴがRetrieverクラス（ｋＯ＝１）である確率を０．２、画像ＸＴがDachshundクラス（ｋＯ＝２）である確率を０．１４、画像ＸＴがTerrierクラス（ｋＯ＝ＫＯ）である確率を０．１１と計算している。
【００４８】
ここで、画像ＸＴは、ｋＯ＝１からＫＯまでのいずれのクラスにも属さないため、一般的な分類器では、計算される確率が０になるように学習が行われると考えられる。これに対し、学習部１３２は、例えば、次回画像ＸＴが入力されたときに、ｋＯ＝１からＫＯまでの各クラスである確率がいずれも１／ＫＯと計算されるように、生成器Ｇを含めた生成モデル１２１全体のパラメータを更新する。つまり、学習部１３２による学習処理によれば、分類器Ｃが、目的データセットのデータについては、外部クラスのそれぞれに属する確率が、外部クラスに含まれるクラス数の逆数になるように計算を行うようになる。
【００４９】
ここで、生成器Ｇに指定されるラベルは各クラスの固有表現である。一方、ノイズはクラスに共通する共通表現である。例えば、ラベルが動物の種類を表す場合、画像に写る動物の種類はラベルによって決定され、画像の背景及び姿勢等はノイズにより決定されることが考えられる。このため、例えば、「犬」を表すラベル指定場合と「猫」を表すラベルを指定した場合とで、ノイズが共通であれば、それぞれの場合に生成器Ｇは、犬の画像と、当該犬の画像と背景及び姿勢が共通する猫の画像を生成することが考えられる。
【００５０】
しかしながら、実際には、生成器Ｇは、ノイズが共通であっても、例えば「屋外で左を向いて座っている犬の画像」と「屋内で左を向いて座っている猫の画像」とを生成する場合がある。これは、画像の背景が屋外であるか屋内であるかを決定する情報が、ノイズだけでなく、ラベルそのものにも含まれているためである。そこで、学習部１３２は、目的ラベルと異なるラベルからも、生成するデータの品質を上げるための有益な情報を得るために、上記のように分類器Ｃの学習を行う。
【００５１】
これにより、ノイズを変化させつつラベル「犬」を指定した場合に、生成器Ｇが、従来は生成できなかった「屋内で左を向いて座っている犬の画像」を生成できるようになることが考えられる。これにより、生成器Ｇは多様なデータを生成できるようになるため、拡張用データの品質が向上する。
【００５２】
生成部１３３は、学習部１３２による学習が行われた生成モデルの生成器Ｇに、目的クラスを指定することでデータを生成する。このとき、生成部１３３は、目的クラスとともにノイズを指定する。例えば、ノイズは、Ｎ（０，１）の正規分布にしたがって生成される値であってもよい。
【００５３】
図６に示すように、抽出部１３４は、生成部１３３によって生成されたデータから、識別器Ｄによって目的データセットのデータ（Good）であると識別されるデータを、拡張用データＸ´ｇｅｎとして抽出する。図６は、拡張用データの抽出について説明するための図である。生成器Ｇは、学習済みであったとしても、識別器Ｄによって偽物である（Bad）と識別されるデータを生成することが考えられる。そこで、抽出部１３４は、例えばＤＲＳ（Discriminator  Rejection  Sampling）を使って拡張用データを抽出する（参考：非特許文献１３）。
【００５４】
さらに、抽出部１３４は、さらに、拡張用データから、目的データセットからのユークリッド距離が所定値以上であるデータを除外する。例えば、抽出部１３４は、抽出した拡張用データの画像の特徴ベクトルと目的データセットの画像の特徴ベクトルとのユークリッド距離が閾値以上である場合に、当該拡張用データを除外する。
【００５５】
付与部１３５は、抽出部１３４によって抽出された拡張用データに目的クラスに属することを示すラベルを付与する。図７は、拡張済みデータセットについて説明するための図である。図７に示すように、拡張済みデータセットＳ´Ｔは、目的データＸＴと拡張用データＸ´ｇｅｎに目的ラベルｙＴを付したものである。
【００５６】
［第１の実施形態の処理］
図８を用いて、拡張装置１０の処理の流れについて説明する。図８は、第１の実施形態に係る拡張装置の処理の流れを示すフローチャートである。図８に示すように、まず、拡張装置１０は、目的データセット及び外部データセットの入力を受け付ける（ステップＳ１１）。次に、拡張装置１０は、データセット間の類似度と外部データセット内の画一性の度合いとに基づくメトリクスによって、外部データセットを評価し所定のデータセットを選択する（ステップＳ１２）。
【００５７】
そして、拡張装置１０は、生成モデルを用いて、目的データセット及び外部データセットから画像を生成する（ステップＳ１３）。このとき、拡張装置１０は、目的ラベルと外部ラベルをノイズとともに生成モデルに指定する。ここで、拡張装置１０は、生成した画像を基に生成モデルのパラメータを更新する（ステップＳ１４）。ステップＳ１４のパラメータ更新処理（学習処理）については、後に図９を用いて説明する。
【００５８】
その後、拡張装置１０は、生成モデルに目的データセットのラベルを指定し（ステップＳ１５）、指定したラベルを基に画像を生成する（ステップＳ１６）。拡張装置１０は、生成した画像から拡張用の画像を抽出する（ステップＳ１７）。このとき、拡張装置１０は、生成モデルの識別器の識別基準にしたがって拡張用の画像を抽出することができる。
【００５９】
そして、拡張装置１０は、目的データセットの画像と拡張用画像を統合し、目的データセットのラベルを付与する（ステップＳ１８）。さらに、拡張装置１０は、目的ラベルを付与した拡張済みデータセットを出力し（ステップＳ１９）、学習装置２０に受け渡す。
【００６０】
図９を用いて、ステップ１４のパラメータの更新処理を説明する。図９は、第１の実施形態に係る拡張装置のパラメータの更新処理の流れを示すフローチャートである。図９に示すように、まず、拡張装置１０は、二値判定誤差を基に生成モデル１２１のパラメータを更新する（ステップＳ１４１）。
【００６１】
次に、拡張装置１０は、未選択のラベルを選択する（ステップＳ１４２）。拡張装置１０は、選択したラベルが目的ラベルである場合（ステップＳ１４３、目的ラベル）、ラベルが平滑化されるようにパラメータを更新する（ステップＳ１４４）。つまり、拡張装置１０は、分類器Ｃによって計算される確率であって、目的データが各外部クラスに分類される確率が、いずれも１／Ｋ（Ｋは外部クラス数）となるように生成モデル１２１のパラメータを更新する（ステップＳ１４４）。
【００６２】
一方、選択したラベルが外部ラベルである場合（ステップＳ１４３、外部ラベル）、外部クラスを正しく分類するように生成モデル１２１のパラメータを更新する（ステップＳ１４５）。
【００６３】
未選択のラベルがある場合（ステップＳ１４６、Ｙｅｓ）、拡張装置１０は、ステップＳ１４２に戻り処理を繰り返す。一方、未選択のラベルがない場合（ステップＳ１４６、Ｎｏ）、拡張装置１０はパラメータ更新処理を終了する。
【００６４】
［第１の実施形態の効果］
これまで説明してきたように、拡張装置１０は、目的クラスに属するデータの集合である目的データセット及び外部クラスに属するデータの集合である外部データセットとの間の類似度と、外部データセットに含まれるデータの画一性の度合いとから計算されるメトリクスに基づき、外部データセットの中から、所定のデータセットを選択する。拡張装置１０は、指定されたクラスを基にデータを生成する生成器Ｇに目的クラスが指定された際に、生成器Ｇが、識別器Ｄによって目的データセットのデータであると識別されやすく、分類器Ｃによって複数の選択済み外部クラスに属する確率が０でなくかつ均等になるように計算されるデータを生成するように、生成器Ｇ、識別器Ｄ及び分類器Ｃを含む生成モデルの学習を行う。拡張装置１０は、学習が行われた生成モデルの生成器Ｇに、目的クラスを指定することでデータを生成する。拡張装置１０は、生成されたデータから、識別器Ｄによって目的データセットのデータであると識別されるデータを、拡張用データとして抽出する。拡張装置１０は、抽出された拡張用データに目的クラスに属することを示すラベルを付与する。このように、拡張装置１０は、入力される外部データセットを所定の基準であらかじめ選択し、外部データセットから得られる有益な情報が失われないように学習を行い、生成したデータを識別器の基準で抽出する。このため、第１の実施形態によれば、モデルの精度を大きく改善するような高品質な学習データを、データ拡張により効率良く得ることができる。
【００６５】
拡張装置１０は、各データセットに含まれる画像データの輝度値の統計量を用いて計算された類似度と画一性の度合いとから計算されるメトリクスに基づき、外部データセットの中から選択済み外部データセットを選択する。これにより、学習データの品質向上に寄与しないデータをあらかじめ除外し、学習用データの品質を向上させることができる。
【００６６】
拡張装置１０は、分類器Ｃが、目的データセットのデータについては、選択した外部データセットの外部クラスのそれぞれに属する確率が、選択済み外部クラスに含まれるクラス数の逆数になるように計算を行い、外部データセットのデータについては、当該データが属するクラスに属する確率が１になるように計算を行う。これにより、ラベルに含まれる有益な情報を持つ学習データの生成が可能になる。
【００６７】
拡張装置１０は、さらに、拡張用データから、目的データセットからのユークリッド距離が所定値以上であるデータを除外する。これにより、拡張用データから外れ値を除外することができ、学習用データの品質を向上させることができる。
【００６８】
［実験結果］
ここで、従来の技術と実施形態を比較するために行った実験について説明する。実験では、外部データセットとして、図１０に示すデータセットのそれぞれから５０００点ずつデータを取得したものを使用した。図１０は、実験に使用したデータを示す図である。そして、選択部１３１が外部データセットを選択するメトリクスの閾値を変化させて、目的モデル２１の精度（Top-1  Accuracy）と拡張済みデータセットのＦＩＤを比較した。
【００６９】
その結果、図１１に示すように、横軸に示すメトリクスの閾値を大きくするにしたがい、拡張済みデータセットのＦＩＤは小さくなった。図１１は、実験の結果を示す図である。つまり、メトリクスの閾値が大きくなるにしたがい、拡張済みデータセットと目的データセットとの類似度が大きくなった。このため、メトリクスによるデータの選択が学習用データの品質を向上させているといえる。
【００７０】
また、図１２に示すように、横軸に示すメトリクスの閾値を大きくするにしたがい、目的モデル２１の精度（Ａｃｃ．）が大きくなった。図１２は、実験の結果を示す図である。このため、メトリクスによるデータの選択が、学習用データの品質を向上させ、その結果目的モデル２１の精度を向上させているといえる。
【００７１】
また、図１３に示すように、学習部１３２による、分類器Ｃが計算する各外部クラスに属する確率の平滑化（ＯＬＳＲ）、及び抽出部１３４による識別器Ｄの基準を利用したデータ抽出（ＤＲＳ）を取り入れるにしたがい、目的モデル２１の精度と拡張済みデータセットのＦＩＤは良くなっていった。図１３は、実験の結果を示す図である。なお、Baselineは従来のルールベースのデータ拡張手法である。
【００７２】
また、追加実験として、目的データを１／１０に削減してBaseline及び第１の実施形態の手法を適用した場合と、目的データを削減せずに従来手法を適用した場合の比較を行った。図１４は、追加実験の条件を示す図である。
【００７３】
また、図１５は、追加実験の結果を示す図である。図１５に示すように、第１の実施形態の手法では、目的データを１／１０に削減したとしても、目的データを削減しなかった場合の従来の手法に近い精度が得られた。
【００７４】
［その他の実施形態］
上記の実施形態では、目的モデル２１の学習機能は、拡張装置１０とは異なる学習装置２０に備えられていた。一方で、拡張装置１０に、拡張済みデータセットＳ´ｇｅｎを目的モデル２１に学習させる目的モデル学習部が備えられていてもよい。これにより、拡張装置１０は、装置間のデータ転送によるリソースの消費を抑え、データ拡張及び目的モデルの学習を、一連の処理として効率良く実行することができる。
【００７５】
［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００７６】
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００７７】
［プログラム］
一実施形態として、拡張装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記のデータ拡張を実行する拡張プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の拡張プログラムを情報処理装置に実行させることにより、情報処理装置を拡張装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal  Handyphone  System）等の移動体通信端末、さらには、ＰＤＡ（Personal  Digital  Assistant）等のスレート端末等がその範疇に含まれる。
【００７８】
また、拡張装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記のデータ拡張に関するサービスを提供する拡張サーバ装置として実装することもできる。例えば、拡張サーバ装置は、目的データを入力とし、拡張済みデータを出力とする拡張サービスを提供するサーバ装置として実装される。この場合、拡張サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記のデータ拡張に関するサービスを提供するクラウドとして実装することとしてもかまわない。
【００７９】
図１６は、拡張プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
【００８０】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
【００８１】
ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、拡張装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、拡張装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤにより代替されてもよい。
【００８２】
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。
【００８３】
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【符号の説明】
【００８４】
１０  拡張装置
１１  入出力部
１２  記憶部
１３  制御部
２０  学習装置
２１  目的モデル
１２１  生成モデル
１３１  選択部
１３２  学習部
１３３  生成部
１３４  抽出部
１３５  付与部
【図１】
2020135485.tif 000007
【図２】
2020135485.tif 000008
【図３】
2020135485.tif 000009
【図４】
2020135485.tif 000010
【図５】
2020135485.tif 000011
【図６】
2020135485.tif 000012
【図７】
2020135485.tif 000013
【図８】
2020135485.tif 000014
【図９】
2020135485.tif 000015
【図１０】
2020135485.tif 000016
【図１１】
2020135485.tif 000017
【図１２】
2020135485.tif 000018
【図１３】
2020135485.tif 000019
【図１４】
2020135485.tif 000020
【図１５】
2020135485.tif 000021
【図１６】
2020135485.tif 000022