(57)【要約】【課題】細部までも正確な画像を生成することができる画像生成モデルを学習することができる。【解決手段】分割部２２は、学習用画像Ｉ０及びセマンティックレイアウト画像Ｓ０に分割処理をＬ回行う毎に、分割した複数の領域に応じた画像データを出力する。縮小部２６は、セマンティックレイアウト画像Ｓ０及び複数の領域の画像を所定サイズに縮小する。学習部２８は、Ｌ−ｌ回（０≦ｌ＜Ｌ）の分割処理によりセマンティックレイアウト画像Ｓ０を分割した複数の領域の各々を縮小した画像を１番目の生成器Ｇ２に入力したときにｌ＋１番目の生成器Ｇｌ＋１が、Ｌ−ｌ回の分割処理により学習用画像Ｉ０を分割した複数の領域の各々に対応する画像を生成し、セマンティックレイアウト画像Ｓ０を縮小した画像を１番目の生成器Ｇ２に入力したときにＬ＋１番目の生成器ＧＬ＋１が、学習用画像I０に対応する画像を生成するように画像生成モデル３２の学習を行う。【選択図】図１
2020098490.tif 000002
【特許請求の範囲】
【請求項１】
セマンティックレイアウト画像から、リアルな画像を生成する画像生成モデルを学習するためのモデル学習装置であって、
学習用画像を表す画像データと、前記学習用画像に応じたセマンティックレイアウト画像を表す画像データとのペアが教師データとして入力される入力部と、
入力された前記学習用画像の画像データが表す前記学習用画像、及び前記セマンティックレイアウト画像の画像データが表す前記セマンティックレイアウト画像の各々に対して複数の領域に分割する分割処理をＬ回行い、分割処理を行う毎に、分割した複数の領域に応じた画像データを出力する分割部と、
前記入力部に入力された前記セマンティックレイアウト画像、及び前記複数の領域の画像のサイズを、所定サイズに縮小する縮小部と、
入力画像に対して順番に適用する、アップサンプリングした画像を生成するＬ＋１個の生成器であって、１番目の生成器の入力サイズが前記所定サイズである生成器を備えた画像生成モデルについて、
Ｌ−ｌ回（０≦ｌ＜Ｌ）の分割処理により前記セマンティックレイアウト画像を分割した複数の領域の各々を前記所定サイズに縮小した画像を１番目の生成器に入力したときにｌ＋１番目の生成器が、Ｌ−ｌ回の分割処理により前記学習用画像を分割した複数の領域の各々に対応する画像を生成し、
前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が、前記学習用画像に対応する画像を生成するように、前記画像生成モデルの学習を行う学習部と、
を備えたモデル学習装置。
【請求項２】
前記学習部は、
Ｌ−ｌ回（０≦ｌ＜Ｌ）の分割処理により前記セマンティックレイアウト画像を分割した複数の領域の各々を前記所定サイズに縮小した画像を１番目の生成器に入力したときにｌ＋１番目の生成器が生成した画像と、Ｌ−ｌ回の分割処理により前記学習用画像を分割した複数の領域の各々との誤差、及び前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が生成した画像と、前記学習用画像との誤差を含む損失関数を導出する損失関数導出部を含み、
前記損失関数の値を最適化するように、前記画像生成モデルのＭ＋１個の生成器を学習する、
請求項１に記載のモデル学習装置。
【請求項３】
前記学習部は、生成器が生成した画像であるか否かを識別する識別器に対して、前記学習用画像について前記生成器が生成した画像でないと識別し、前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が生成した画像について前記生成器が生成した画像であると識別するように学習すると共に、
前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が生成した画像について前記生成器が生成した画像でないと前記識別器が識別するように前記画像生成モデルの学習を行う、
請求項１または請求項２に記載のモデル学習装置。
【請求項４】
前記分割部は、１回の分割処理で、縦方向に２等分し、かつ、横方向に２等分するように画像を分割する、
請求項１から請求項３のいずれか１項に記載のモデル学習装置。
【請求項５】
セマンティックレイアウト画像から、リアルな画像を生成する画像生成モデルを学習するためのモデル学習方法であって、
入力部に、学習用画像を表す画像データと、前記学習用画像に応じたセマンティックレイアウト画像を表す画像データとのペアが教師データとして入力されるステップと、
分割部により、入力された前記学習用画像の画像データが表す前記学習用画像、及び前記セマンティックレイアウト画像の画像データが表す前記セマンティックレイアウト画像の各々に対して複数の領域に分割する分割処理をＬ回行い、分割処理を行う毎に、分割した複数の領域に応じた画像データを出力するステップと、
縮小部により、前記入力部に入力された前記セマンティックレイアウト画像、及び前記複数の領域の画像のサイズを、所定サイズに縮小するステップと、
学習部により、入力画像に対して順番に適用する、アップサンプリングした画像を生成するＬ＋１個の生成器であって、１番目の生成器の入力サイズが前記所定サイズである生成器を備えた画像生成モデルについて、
Ｌ−ｌ回（０≦ｌ＜Ｌ）の分割処理により前記セマンティックレイアウト画像を分割した複数の領域の各々を前記所定サイズに縮小した画像を１番目の生成器に入力したときにｌ＋１番目の生成器が、Ｌ−ｌ回の分割処理により前記学習用画像を分割した複数の領域の各々に対応する画像を生成し、
前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が、前記学習用画像に対応する画像を生成するように、前記画像生成モデルの学習を行うステップと、
を含むモデル学習方法。
【請求項６】
コンピュータを、請求項１から請求項４のいずれか１項に記載のモデル学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、モデル学習装置、モデル学習方法、及びプログラムに関する。
【背景技術】
【０００２】
物体認識、物体検出、及びセマンティックセグメンテーション等、画像処理に関する機械学習において、学習に要する画像と教師データのペアは膨大な量となっている。特にセマンティックセグメンテーションでは、画像のピクセル毎に認識したいラベルを付与する必要があり、物体認識や物体検出に比べて、学習に十分な量の教師データを用意するのは非常にコストが高い。
【０００３】
そこで既存、もしくは任意に作成した簡易的なセマンティックセグメンテーションの教師データ（以下、「セマンティックレイアウト」という）から実際の画像に近いリアルな画像を生成する技術がある（非特許文献１）。当該技術によれば、単一のセマンティックレイアウトから多様な画像を生成することにより、前述の教師データに要するコストを削減することが可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Qifeng Chen et al., "Photographic Image Synthesis with Cascaded Refinement Networks", インターネット検索＜ＵＲＬ：hhttps://arxiv.org/pdf/1707.09405.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記非特許文献１に代表される先行技術では、画像全体を見た主観的な評価では良好な画像が生成され得る一方で、生成された画像の細部においては、歪みが発生する場合やオブジェクトの輪郭が非連続的になる場合があるという課題がある。
【０００６】
これにより生成された画像を学習データとして用いた場合に、学習されたモデルの精度が低下する。
【０００７】
本開示は、上記の点に鑑みてなされたものであり、細部までも正確な画像を生成する画像生成モデルを学習することができる、モデル学習装置、モデル学習方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本開示の第１の態様のモデル学習装置は、セマンティックレイアウト画像から、リアルな画像を生成する画像生成モデルを学習するためのモデル学習装置であって、学習用画像を表す画像データと、前記学習用画像に応じたセマンティックレイアウト画像を表す画像データとのペアが教師データとして入力される入力部と、入力された前記学習用画像の画像データが表す前記学習用画像、及び前記セマンティックレイアウト画像の画像データが表す前記セマンティックレイアウト画像の各々に対して複数の領域に分割する分割処理をＬ回行い、分割処理を行う毎に、分割した複数の領域に応じた画像データを出力する分割部と、前記入力部に入力された前記セマンティックレイアウト画像、及び前記複数の領域の画像のサイズを、所定サイズに縮小する縮小部と、入力画像に対して順番に適用する、アップサンプリングした画像を生成するＬ＋１個の生成器であって、１番目の生成器の入力サイズが前記所定サイズである生成器を備えた画像生成モデルについて、Ｌ−ｌ回（０≦ｌ＜Ｌ）の分割処理により前記セマンティックレイアウト画像を分割した複数の領域の各々を前記所定サイズに縮小した画像を１番目の生成器に入力したときにｌ＋１番目の生成器が、Ｌ−ｌ回の分割処理により前記学習用画像を分割した複数の領域の各々に対応する画像を生成し、前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が、前記学習用画像に対応する画像を生成するように、前記画像生成モデルの学習を行う学習部と、を備える。
【０００９】
本開示の第２の態様のモデル学習装置は、第１の態様のモデル学習装置において、前記学習部は、Ｌ−ｌ回（０≦ｌ＜Ｌ）の分割処理により前記セマンティックレイアウト画像を分割した複数の領域の各々を前記所定サイズに縮小した画像を１番目の生成器に入力したときにｌ＋１番目の生成器が生成した画像と、Ｌ−ｌ回の分割処理により前記学習用画像を分割した複数の領域の各々との誤差、及び前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が生成した画像と、前記学習用画像との誤差を含む損失関数を導出する損失関数導出部を含み、前記損失関数の値を最適化するように、前記画像生成モデルのＭ＋１個の生成器を学習する。
【００１０】
本開示の第３の態様のモデル学習装置は、第１の態様または第２の態様のモデル学習装置において、前記学習部は、生成器が生成した画像であるか否かを識別する識別器に対して、前記学習用画像について前記生成器が生成した画像でないと識別し、前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が生成した画像について前記生成器が生成した画像であると識別するように学習すると共に、前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が生成した画像について前記生成器が生成した画像でないと前記識別器が識別するように前記画像生成モデルの学習を行う。
【００１１】
本開示の第４の態様のモデル学習装置は、第１の態様から第３の態様のいずれか１態様のモデル学習装置において、前記分割部は、１回の分割処理で、縦方向に２等分し、かつ、横方向に２等分するように画像を分割する。
【００１２】
上記目的を達成するために、本開示の第５の態様のモデル学習方法は、セマンティックレイアウト画像から、リアルな画像を生成する画像生成モデルを学習するためのモデル学習方法であって、入力部に、学習用画像を表す画像データと、前記学習用画像に応じたセマンティックレイアウト画像を表す画像データとのペアが教師データとして入力されるステップと、分割部により、入力された前記学習用画像の画像データが表す前記学習用画像、及び前記セマンティックレイアウト画像の画像データが表す前記セマンティックレイアウト画像の各々に対して複数の領域に分割する分割処理をＬ回行い、分割処理を行う毎に、分割した複数の領域に応じた画像データを出力するステップと、縮小部により、前記入力部に入力された前記セマンティックレイアウト画像、及び前記複数の領域の画像のサイズを、所定サイズに縮小するステップと、学習部により、入力画像に対して順番に適用する、アップサンプリングした画像を生成するＬ＋１個の生成器であって、１番目の生成器の入力サイズが前記所定サイズである生成器を備えた画像生成モデルについて、Ｌ−ｌ回（０≦ｌ＜Ｌ）の分割処理により前記セマンティックレイアウト画像を分割した複数の領域の各々を前記所定サイズに縮小した画像を１番目の生成器に入力したときにｌ＋１番目の生成器が、Ｌ−ｌ回の分割処理により前記学習用画像を分割した複数の領域の各々に対応する画像を生成し、前記セマンティックレイアウト画像を前記所定サイズに縮小した画像を１番目の生成器に入力したときにＬ＋１番目の生成器が、前記学習用画像に対応する画像を生成するように、前記画像生成モデルの学習を行うステップと、を含む。
【００１３】
上記目的を達成するために、本開示の第６態様のプログラムは、コンピュータを、第１の態様から第４の態様のいずれか１態様に記載のモデル学習装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１４】
本開示によれば、細部までも正確な画像を生成する画像生成モデルを学習することができる、という効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】実施形態のモデル学習装置の一例の構成を示すブロック図である。
【図２】実施形態の画像生成モデルの一例を示す図である。
【図３】識別器を備えた画像生成モデルの一例を示す図である。
【図４】実施形態のモデル学習装置におけるモデル学習処理ルーチンの一例を示すフローチャートである。
【図５】その他の画像分割方法の一例を説明する図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本開示の実施形態を詳細に説明する。一例として、本実施形態では、学習用の画像（以下、「学習用画像」という）のサイズ、及びセマンティックレイアウトが示された画像（以下、「セマンティックレイアウト画像」という）のサイズが、縦横それぞれ１２８ピクセルの場合について説明する。なお、各画像のサイズ及びアスペクト比は、後述のネットワーク構成を変更することで任意の値に対応が可能である。
【００１７】
＜本実施形態のモデル学習装置の構成＞
図１は、本実施形態のモデル学習装置１０の一例の構成を示すブロック図である。図１に示すように、本実施形態のモデル学習装置１０は、入力部２０、分割部２２、画像データ記憶部２４、縮小部２６、学習部２８、及び出力部３０を備える。
【００１８】
一例として、本実施形態のモデル学習装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述するモデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭ（Read Only Memory）と、を含むコンピュータで構成することができる。具体的には、上記プログラムを実行したＣＰＵが、図１に示したモデル学習装置１０の入力部２０、分割部２２、縮小部２６、学習部２８、及び出力部３０として機能する。
【００１９】
図１に示すように、入力部２０には、教師データ１が入力される。本実施形態では、教師データ１として、リアルな画像である学習用画像Ｉ０と、学習用画像Ｉ０に対してセマンティックセグメンテーションを行った結果得られたセマンティックレイアウトを表すセマンティックレイアウト画像Ｓ０とのペア（組み合わせ）を用意する。なお、本実施形態では、説明の簡略化のため、教師データ１のペアが１つ、すなわち、学習用画像Ｉ０とセマンティックレイアウト画像Ｓ０とが一つだけの場合について説明するが、実際にはペアが複数ある場合にも容易に適用可能である。なお、以下では、教師データ１であるセマンティックレイアウト画像Ｓ０、及びセマンティックレイアウト画像Ｓ０より生成されたセマンティックレイアウト画像Ｓ１１〜Ｓ４１（詳細後述）等、複数種類のセマンティックレイアウト画像が挙げられるが、個々を区別せずに総称する場合は、「Ｓ」の添え字を省略し、単に「セマンティックレイアウト画像Ｓ」という。また、学習用画像Ｉ０等についても同様に、個々を区別せずに総称する場合は、「Ｉ」の添え字を省略し、単に「学習用画像Ｉ」という。
【００２０】
具体的には、入力部２０には、学習用画像Ｉ０を表す画像データと、セマンティックレイアウト画像Ｓ０を表す画像データとが教師データ１として入力される。入力部２０に入力された学習用画像Ｉ０を表す画像データと、セマンティックレイアウト画像Ｓ０を表す画像データとは、分割部２２に出力される。
【００２１】
分割部２２には、学習用画像Ｉ０を表す画像データと、セマンティックレイアウト画像Ｓ０を表す画像データとが入力され、学習用画像Ｉ０及びセマンティックレイアウト画像Ｓ０の各々を、縦横それぞれ等分に、複数の領域に分割する分割処理をＬ回（Ｌは１以上の整数。）行うことで、教師データを疑似的に増加させる。
【００２２】
一例として、本実施形態の分割部２２は、学習用画像Ｉ０及びセマンティックレイアウト画像Ｓ０を参考文献１のようにピラミッド型に分割する。
【００２３】
［参考文献１］Svetlana Lazebnik et al., "Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories", インターネット検索＜ＵＲＬ：http://mplab.ucsd.edu/~marni/Igert/Lazebnik_06.pdf＞
【００２４】
一例として本実施形態では、Ｌ＝２とし、分割部２２が２回の分割処理を行う場合について説明する。当該分割処理は、ネットワーク構成を変更することで、分割後のサイズが縦横２ピクセル（２ピクセル×２ピクセル）になるまで実施可能である。なお、分割処理を行うほど、画像生成モデル３２により生成される生成画像の細部の正確さが向上する。
【００２５】
まず分割部２２は、縦横１２８ピクセル（１２８ピクセル×１２８ピクセル）のセマンティックレイアウト画像Ｓ０に対して分割処理を１回行い、画像のサイズが縦横６４ピクセル（６４ピクセル×６４ピクセル）のセマンティックレイアウト画像を４つ（セマンティックレイアウト画像Ｓ１１〜Ｓ４１、図２参照）生成する。生成されたセマンティックレイアウト画像Ｓ１１〜Ｓ４１の各々を表す画像データは分割部２２から出力され、画像データ記憶部２４に記憶される。
【００２６】
なお、セマンティックレイアウト画像を示す「Ｓ」の添え字のうち、上付き文字は分割処理の回数を示す。また、下付き文字は、分割により同時に得られた一群のセマンティックレイアウト画像Ｓにおけるインデックスを示している。
【００２７】
さらに、本実施形態の分割部２２は、セマンティックレイアウト画像Ｓ１１〜Ｓ４１の各々に対して上記と同様に分割処理を行い、画像のサイズが縦横３２ピクセル（３２ピクセル×３２ピクセル）のセマンティックレイアウト画像を１６個（セマンティックレイアウト画像Ｓ１２〜Ｓ１６２、図２参照）生成する。生成されたセマンティックレイアウト画像Ｓ１２〜Ｓ１６２の各々を表す画像データは分割部２２から出力され、画像データ記憶部２４に記憶される。
【００２８】
分割部２２は、上記と同様の分割処理を学習用画像Ｉ０に対しても行い、学習用画像I１１〜I４１、及び学習用画像I１２〜I１６２（図２参照）を生成する。学習用画像I１１〜I４１、及び学習用画像I１２〜I１６２の各々を表す画像データは分割部２２から出力され、画像データ記憶部２４に記憶される。
【００２９】
なお、本実施形態のモデル学習装置１０では、分割部２２からは学習用画像Ｉ０を表す画像データ、及びセマンティックレイアウト画像Ｓ０を表す画像データも出力され、各々画像データ記憶部２４に記憶される。
【００３０】
縮小部２６には、画像データ記憶部２４から、セマンティックレイアウト画像Ｓ０、Ｓ１１〜Ｓ４１、Ｓ１２〜Ｓ１６２各々の画像データが入力される。縮小部２６は、セマンティックレイアウト画像Ｓ０、Ｓ１１〜Ｓ４１、Ｓ１２〜Ｓ１６２各々のサイズを縮小する。なお、縮小サイズは任意であるが、分割部２２のＬ回の分割処理により分割したセマンティックレイアウト画像Ｓのサイズの縦横が半分の大きさ、換言すると１／４の大きさ（面積）を目安とする。上述したように、本実施形態では、セマンティックレイアウト画像Ｓ１２〜Ｓ１６２のサイズ３２ピクセル×３２ピクセルが最小サイズであるため、縦横１６ピクセル（１６ピクセル×１６ピクセル）のサイズに、全てのセマンティックレイアウト画像Ｓを縮小する。
【００３１】
学習部２８には、縮小部２６から、縮小されたセマンティックレイアウト画像Ｓ０、Ｓ１１〜Ｓ４１、Ｓ１２〜Ｓ１６２各々の画像データが入力され、画像データ記憶部２４から、学習用画像I１１〜I４１、及び学習用画像I１２〜I１６２の各々を表す画像データが入力される。学習部２８は、画像生成モデル３２及び損失関数導出部３４を含む。
【００３２】
学習部２８は、各セマンティックレイアウト画像Ｓｎｌから対応する学習用画像Ｉｎｌを生成するよう画像生成モデル３２の学習を行う。なお、セマンティックレイアウト画像Ｓの「Ｓ」、学習用画像Ｉの「Ｉ」における添え字の「ｌ」は、分割処理の回数（本実施形態では、０〜２）を示し、「ｎ」は、分割した領域のインデックス（本実施形態では、１〜１６）を示している。
【００３３】
画像生成モデル３２は、入力画像に対して順番に適用する、アップサンプリングした画像を生成するＬ＋１個の生成器であって、１番目の生成器の入力サイズが所定サイズである生成器を備える。例えば、Ｌ＝２とし、図２に示すように、本実施形態の画像生成モデル３２は、３つの生成器Ｇ（Ｇ２、Ｇ１、Ｇ０）を含む。１番目の生成器Ｇ２には、縮小部２６から、セマンティックレイアウト画像Ｓ０、Ｓ１１〜Ｓ４１、Ｓ１２〜Ｓ１６２各々のサイズを縮小した画像データが入力される。
【００３４】
１番目の生成器Ｇ２は、入力された画像データが表すセマンティックレイアウト画像Ｓ０、Ｓ１１〜Ｓ４１、Ｓ１２〜Ｓ１６２各々のサイズを縮小したものの縦横を二倍、換言するとサイズを４倍にアップサンプリングしながら、セマンティックレイアウト画像Ｓから学習用画像Ｉに相当する画像を生成し、生成した画像を表す画像データを出力Ｇ２（Ｓｎｌ）として生成器Ｇ１に出力する。
【００３５】
２番目の生成器Ｇ１には、１番目の生成器Ｇ２の出力Ｇ２（Ｓｎｌ）が入力される。２番目の生成器Ｇ１は、出力Ｇ２（Ｓｎｌ）の各々が表す画像の縦横を二倍、換言するとサイズを４倍にアップサンプリングした画像を生成し、生成した画像を表す画像データを出力Ｇ１（Ｇ２（Ｓｎｌ））として３番目の生成器Ｇ１に出力する。
【００３６】
３番目の生成器Ｇ０には、２番目の生成器Ｇ１の出力Ｇ１（Ｇ２（Ｓｎｌ））が入力される。３番目の生成器Ｇ０は、出力Ｇ１（Ｇ２（Ｓｎｌ））の各々が表す画像の縦横を二倍、換言するとサイズを４倍にアップサンプリングした画像を生成し、生成した画像を表す画像データを出力Ｇ０（Ｇ１（Ｇ２（Ｓｎｌ）））として出力する。最終的に３番目の生成器Ｇ０から出力される出力Ｇ０（Ｇ１（Ｇ２（Ｓｎｌ）））が表す画像は、学習用画像Ｉ０と同サイズ（１２８ピクセル×１２８ピクセル）の画像となる。
【００３７】
なお、生成器Ｇｌ（図２では、Ｇ２、Ｇ１、Ｇ０）は、任意のアップサンプリングを行うレイヤー群である。例えば非特許文献１に示されるように、３ピクセル×３ピクセルの畳込み層−正規化層−ＬＲｅＬＵ層−バイリニアアップサンプリング層としてもよいし、逆畳み込み層を用いてアップサンプリングしてもよい。
【００３８】
一方、損失関数導出部３４は、画像生成モデル３２における損失関数を導出する。損失関数について説明する。
【００３９】
各生成器Ｇ１の出力について、対応する学習用画像Ｉｎｌとの再構成誤差を用いてセマンティックレイアウト画像からリアルな画像への変換を促す。再構成誤差は二つの画像のピクセル毎の一致度を計算し、一致しない場合すなわち正確に画像を生成できなかった場合に損失が高くなる損失関数を導出する。
【００４０】
具体的には、２回の分割処理によりセマンティックレイアウト画像Ｓを分割した複数の領域の各々を所定サイズに縮小した画像を１番目の生成器に入力したときに３番目の生成器Ｇ０が生成した画像と、２回の分割処理により学習用画像Ｉを分割した複数の領域の各々との再構成誤差を含む１番目の生成器Ｇ２に関する損失関数、１回の分割処理によりセマンティックレイアウト画像Ｓを分割した複数の領域の各々を所定サイズに縮小した画像を１番目の生成器Ｇ２に入力したときに２番目の生成器Ｇ１が生成した画像と、１回の分割処理により学習用画像Iを分割した複数の領域の各々との再構成誤差を含む２番目の生成器Ｇ１に関する損失関数、及びセマンティックレイアウト画像Ｓを所定サイズに縮小した画像を１番目の生成器Ｇ２に入力したときに３番目の生成器Ｇ０が生成した画像と、学習用画像Ｉとの再構成誤差を含む３番目の生成器Ｇ０に関する損失関数を含む最終的な損失関数を導出する。これにより、より正確に画像を生成するようにネットワークパラメータが更新される。
【００４１】
例えば、１番目の生成器Ｇ２に関する損失関数Ｌｏｓｓｌ＝２は下記（１）式で定義される。
【数１】
2020098490.tif 000003
【００４２】
上記（１）式におけるＮ２は、二回の分割処理を行った際に分割の結果得られる画像の数、すなわちここではＮ２＝１６となる。また損失関数Ｌｏｓｓｌ＝２は、分割処理の回数が二回のセマンティックレイアウト画像Ｓｎ２を表す画像データ入力された時のみ算出し、分割処理の回数が異なるセマンティックレイアウト画像Ｓを表す画像データが入力された際は算出を行わない。
【００４３】
また、２番目の生成器Ｇ１に関する損失関数Ｌｏｓｓｌ＝１は下記（２）式で定義される。
【数２】
2020098490.tif 000004
【００４４】
上記（２）式におけるＮ１は、一回の分割処理を行った際に分割の結果得られる画像の数、すなわちここではＮ１＝４となる。また損失関数Ｌｏｓｓｌ＝１は、分割処理の回数が一回のセマンティックレイアウト画像Ｓｎ１を表す画像データが入力された時のみ算出し、分割処理の回数が異なるセマンティックレイアウト画像Ｓを表す画像データが入力された再は算出を行わない。
【００４５】
また、３番目の生成器Ｇ０に関する損失関数Ｌｏｓｓｌ＝０は下記（３）式で定義される。
【００４６】
【数３】
2020098490.tif 000005
【００４７】
従って、図２に示した画像生成モデル３２の最終的な損失関数Ｌｏｓｓｇｅｎｅｒａｔｏｒは下記（４）式で定義される。損失関数Ｌｏｓｓｇｅｎｅｒａｔｏｒが、画像生成モデル３２全体の損失関数である。
【数４】
2020098490.tif 000006
【００４８】
上記（４）式において、α、β、γの各々は、各損失関数の重みであり、任意に設定することができる。例えば、上記の参考文献１に示されるように、分割処理の回数に応じた重みとすればよく、分割処理の最大回数をＬとすると、各損失関数の重みを１／２Ｌ−ｌとすればよい。
【００４９】
損失関数導出部３４は、上記（１）式〜（４）式に基づいて導出した損失関数Ｌｏｓｓｇｅｎｅｒａｔｏｒを出力する。
【００５０】
学習部２８は、損失関数導出部３４が出力した損失関数Ｌｏｓｓｇｅｎｅｒａｔｏｒを最適化するように、画像生成モデル３２の学習を行う。これにより、セマンティックレイアウト画像Ｓ０から画像生成モデルにより生成される画像が、学習用画像Ｉ０に近付く。
【００５１】
なお、図３に示すような識別器Ｄを追加し、参考文献２に示されるように、画像生成モデル３２と識別器Ｄの敵対的学習を行ってもよい。ここまで説明した画像生成モデル３２は、分割した領域毎の最適化と、分割前の画像全体の最適化を同時に行っているが、領域最適化が過剰に行われた場合、領域間のつなぎ目に不自然さが現れる場合がある。そこで敵対的学習により、画像全体が自然に見えるような制約を用いて学習を行うことで前述の不自然さを改善できる。
【００５２】
識別器Ｄは、セマンティックレイアウト画像Ｓ１０に関する生成器Ｇ０の出力Ｇ０（Ｇ１（Ｇ２（Ｓ１０）））、及び学習用画像Ｉ１０を表す画像データを入力として、各々が生成器Ｇが生成した画像であるか否かを識別する。
【００５３】
学習部２８は、識別器Ｄに対して、学習用画像Ｉ０について生成器Ｇが生成した画像でないと識別し、セマンティックレイアウト画像Ｓ０を縮小部２６により縮小した画像を１番目の生成器Ｇ１に入力したときに３番目の生成器Ｇ０が生成した画像について生成器Ｇが生成した画像であると識別するように学習する。具体的には、識別器Ｄの損失関数を最適化するように識別器Ｄを学習する。
【００５４】
例えば、識別器Ｄの損失関数は下記（５）式で定義される。
【数５】
2020098490.tif 000007
【００５５】
また、学習部２８は、セマンティックレイアウト画像Ｓ０を縮小部２６により縮小した画像を１番目の生成器Ｇ２に入力したときに３番目の生成器Ｇ０が生成した画像について生成器Ｇが生成した画像でないと識別器Ｄが識別するように画像生成モデル３２の学習を行う。
【００５６】
例えば、生成器Ｇの損失関数は下記（６）式で定義される。
【数６】
2020098490.tif 000008
【００５７】
［参考文献２］Ian J. Goodfellow et al., "Generative Adversarial Nets", インターネット検索＜ＵＲＬ：http://datascienceassn.org/sites/default/files/Generative%20Adversarial%20Nets.pdf＞
【００５８】
出力部３０からは、学習部２８により学習済みの画像生成モデル３２がモデル学習装置１０の外部に出力される。学習済みの画像生成モデル３２を用いた画像生成装置では、セマンティックレイアウト画像Ｓが縮小された画像を表す画像データが入力されると、学習済みの画像生成モデル３２により、リアルな画像が生成され、当該画像を表すが画像データが出力される。図２に示した具体例では、セマンティックレイアウト画像Ｓ０が１６ピクセル×１６ピクセルに縮小された画像の画像データが入力されると、学習用画像Ｉ０と同等の画像を表す画像データが出力される。
【００５９】
＜本実施形態のモデル学習装置の作用＞
次に、本実施形態のモデル学習装置１０の作用について図面を参照して説明する。図４は、本実施形態のモデル学習装置１０において実行されるモデル学習処理ルーチンの一例を示すフローチャートである。
【００６０】
図４に示したモデル学習処理ルーチンは、例えば、教師データ１が入力部２０に入力されたタイミングや、モデル学習装置１０の外部からモデル学習処理ルーチンの実行指示を受け付けたタイミング等、任意のタイミングで実行される。
【００６１】
図４のステップＳ１００で分割部２２は、上述したように、学習用画像Ｉ０を表す画像データと、セマンティックレイアウト画像Ｓ０を表す画像データとの各々を、縦横それぞれ等分に、複数の領域に分割する分割処理を行うことで、教師データを疑似的に増加させる。分割処理毎に、生成されるセマンティックレイアウト画像Ｓｎｌを表す画像データ、及び学習用画像Ｉｎｌを表す画像データが、画像データ記憶部２４に記憶される。
【００６２】
次のステップＳ１０２で縮小部２６は、上述したように、画像データ記憶部２４から、セマンティックレイアウト画像Ｓ０、Ｓ１１〜Ｓ４１、Ｓ１２〜Ｓ１６２各々の画像データが入力される。縮小部２６は、セマンティックレイアウト画像Ｓ０、Ｓ１１〜Ｓ４１、Ｓ１２〜Ｓ１６２各々のサイズを縮小する。
【００６３】
次のステップＳ１０４で学習部２８は、上述したように、画像生成モデル３２の学習を行う。学習部２８は、縮小部２６から入力された縮小されたセマンティックレイアウト画像Ｓｎｌの各々を表す画像データを、生成器Ｇ２に入力させる。そして、損失関数導出部３４が、その出力を順次、生成器Ｇ１及び生成器Ｇ０に入力させて各生成器Ｇ２、Ｇ１、Ｇ０で画像を生成した際の損失関数Ｌｏｓｓｌを統合させて、画像生成モデル３２全体の損失関数Ｌｏｓｓｇｅｎｅｒａｔｏｒを導出する。学習部２８は、損失関数Ｌｏｓｓｇｅｎｅｒａｔｏｒを最適化するように、画像生成モデル３２の学習を行う。学習済みの画像生成モデル３２は、出力部３０からモデル学習装置１０の外部に出力され、本モデル学習処理ルーチンを終了する。
【００６４】
以上説明したように、本実施形態のモデル学習装置１０は、セマンティックレイアウト画像Ｓから、リアルな画像を生成する画像生成モデル３２を学習するためのモデル学習装置である。モデル学習装置１０は、入力部２０、分割部２２、縮小部２６、及び学習部２８を備える。入力部２０には、学習用画像Ｉ０を表す画像データと、学習用画像Ｉ０に応じたセマンティックレイアウト画像Ｓ０を表す画像データとのペアが教師データ１として入力される。分割部２２は、入力された学習用画像Ｉ０の画像データが表す学習用画像Ｉ０、及びセマンティックレイアウト画像Ｓ０の画像データが表すセマンティックレイアウト画像Ｓ０の各々に対して複数の領域に分割する分割処理をＬ回行い、分割処理を行う毎に、分割した複数の領域に応じた画像データを出力する。縮小部２６は、入力部２０に入力されたセマンティックレイアウト画像Ｓ０、及び複数の領域の画像のサイズを、所定サイズに縮小する。学習部２８は、入力画像に対して順番に適用する、アップサンプリングした画像を生成するＬ＋１個の生成器Ｇであって、１番目の生成器Ｇ２の入力サイズが所定サイズである生成器Ｇを備えた画像生成モデル３２について、Ｌ−ｌ回（０≦ｌ＜Ｌ）の分割処理によりセマンティックレイアウト画像Ｓ０を分割した複数の領域の各々を所定サイズに縮小した画像を１番目の生成器Ｇ２に入力したときにｌ＋１番目の生成器Ｇｌ＋１が、Ｌ−ｌ回の分割処理により学習用画像Ｉ０を分割した複数の領域の各々に対応する画像を生成し、セマンティックレイアウト画像Ｓ０を前記所定サイズに縮小した画像を１番目の生成器Ｇ２に入力したときにＬ＋１番目の生成器ＧＬ＋１が、学習用画像I０に対応する画像を生成するように、画像生成モデル３２の学習を行う。
【００６５】
上記構成により、本実施形態のモデル学習装置１０は、入力されたセマンティックレイアウト画像Ｓを分割して得られた領域毎に、分割処理の回数Ｌに応じた生成器Ｇにより生成される画像の最適化を図る。従って、本実施形態のモデル学習装置１０によれば、細部までも正確な画像を生成することができる画像生成モデル３２を学習することができる。
【００６６】
なお、本実施形態では、セマンティックレイアウト画像Ｓ０を分割する方法について、ピラミッド型に分割する形態について説明したが、セマンティックレイアウト画像Ｓ０の分割方法は、当該形態に限定されない。ピラミッド型の分割では一部オブジェクトをまたがるように領域が設定される場合も多く、その場合にオブジェクトの一貫性が保証されない。そこで例えば、ピラミッド型の分割に加え、オブジェクトに留意した分割方法を加えてもよく、この場合、上記問題を改善することが可能となる。
【００６７】
図５はオブジェクトに留意した画像分割法の模式図である。
【００６８】
セマンティックレイアウト画像Ｓ０に対して、ピラミッド型分割と同様のサイズの候補領域をランダムに設定する（図内実線枠）。先の例に倣って６４ピクセル×６４ピクセルの候補領域、３２ピクセル×３２ピクセルの候補領域とした。また各ラベルの真の領域についても設定する（図内点線枠）。
【００６９】
次に、この候補領域それぞれについて、ラベル毎にＩｏＵ（Intersection of Union）を計算し、ＩｏＵが閾値を超える候補領域を学習に用いることで、オブジェクトの一貫性を持ちながら画像を生成することが可能となる。ＩｏＵは、真の領域と候補領域の積集合のピクセル数を、真の領域と候補領域の和集合のピクセル数で除した値と定義される。
【００７０】
なお、本開示は、上記実施形態に限定されるものではなく、この本開示の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７１】
また、本実施形態では、上記プログラムが予めインストールされている形態について説明したが、当該プログラムを、コンピュータが読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００７２】
１  教師データ
１０  モデル学習装置
２０  入力部
２２  分割部
２６  縮小部
２８  学習部
３２  画像生成モデル
３４  損失関数導出部
Ｄ  識別器
Ｇ０、Ｇ１、Ｇ２  生成器
Ｉ、Ｉ０、Ｉｎｌ  学習用画像
Ｓ、Ｓ０、Ｓｎｌ  セマンティックレイアウト画像
【図１】
2020098490.tif 000009
【図２】
2020098490.tif 000010
【図３】
2020098490.tif 000011
【図４】
2020098490.tif 000012
【図５】
2020098490.tif 000013