(57)【要約】【課題】ＧＡＮやセマンティックセグメンテーションなどのディープラーニング（Deep Learning）において、それぞれの機械学習モデルの学習に用いる学習データを、容易に多数生成が可能な学習データ生成システムを提供することを目的とする。【解決手段】本発明の学習データ生成システムは、所定の入力画像に対して予め定められたルールによる変更を加えて変更画像を生成する機械学習モデルの学習に使用する学習用入力画像及び学習用変更画像からなる学習データを生成する学習データ生成システムであり、画像の構成要素となるパーツ画像が記憶された複数の画像データベースと、画像データベースの各々からパーツ画像を選択する選択部と、選択部が選択したパーツ画像を組み合わせた複合画像を生成し、学習用入力画像とする複合画像生成部と、選択部が選択したパーツ画像における特定のパーツ画像からなる学習用変更画像を生成する変更画像生成部とを備える。【選択図】図１
2020102041.tif 000002
【特許請求の範囲】
【請求項１】
所定の入力画像に対して予め定められたルールによる変更を加えて変更画像を生成する機械学習モデルの学習に使用する学習用入力画像及び学習用変更画像からなる学習データを生成する学習データ生成システムであり、
画像の構成要素となるパーツ画像が記憶された複数の画像データベースと、
前記画像データベースの各々から前記パーツ画像を選択する選択部と、
前記選択部が選択したパーツ画像を組み合わせた複合画像を生成し、前記学習用入力画像とする複合画像生成部と、
前記選択部が選択したパーツ画像における特定のパーツ画像からなる前記学習用変更画像を生成する変更画像生成部と
を備えることを特徴とする学習データ生成システム。
【請求項２】
前記画像データベースが、
前記学習用入力画像に対する視覚印象を観察した際に与える象徴的なパーツ画像である象徴パーツ画像が蓄積された象徴図形データベースと、
前記象徴パーツ画像の象徴性を補う、それ自体に象徴性を有さない一般的なパーツ画像である一般パーツ画像が蓄積された一般図形データベースと
を含むことを特徴とする請求項１に記載の学習データ生成システム。
【請求項３】
前記画像データベースが、
文字を示すパーツ画像である文字パーツ画像が蓄積された文字図形データベース
を含むことを特徴とする請求項２に記載の学習データ生成システム。
【請求項４】
前記学習用入力画像が、前記象徴パーツ画像に加えて、前記一般パーツ画像及び前記文字パーツ画像のいずれか、あるいは双方とから構成され、
前記学習用変更画像が、前記学習用入力画像における前記象徴パーツ画像のみが配置されている
ことを特徴とする請求項３に記載の学習データ生成システム。
【請求項５】
前記パーツ画像の各々の形状を変形する形状拡張部
をさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の学習データ生成システム。
【請求項６】
前記学習データ生成システムは、生成器と識別機とを備え、
前記生成器は、前記学習用入力画像から所定の要素を抽出して学習用生成画像を生成する機械学習モデルからなり、
前記識別機は、前記学習用入力画像及び前記学習用変更画像からなる学習データ、または、前記学習用入力画像及び前記学習用生成画像からなる学習データの評価を行う機械学習モデルからなる、
ことを特徴とする請求項１から請求項５のいずれか一項に記載の学習データ生成システム。
【請求項７】
前記機械学習モデルがセマンティックセグメンテーションであり、
前記学習用変更画像が前記学習用入力画像における前記パーツ画像の各々の種類が選別され、当該種類を示すラベルを付与する変更が行われている
ことを特徴とする請求項１に記載の学習データ生成システム。
【請求項８】
所定の入力画像に対して予め定められたルールによる変更を加えて変更画像を生成する機械学習モデルの学習に使用する学習用入力画像及び学習用変更画像からなる学習データを生成する学習データ生成方法であり、
画像の構成要素となるパーツ画像が記憶された複数の画像データベースの各々から前記パーツ画像を選択する選択過程と、
前記選択過程において選択されたパーツ画像を組み合わせた複合画像を生成し、前記学習用入力画像とする複合画像生成過程と、
前記選択過程において選択されたパーツ画像における特定のパーツ画像からなる前記学習用変更画像を生成する変更画像生成過程と
を含むことを特徴とする学習データ生成方法。
【請求項９】
所定の入力画像に対して予め定められたルールによる変更を加えて変更画像を生成する機械学習モデルの学習方法であり、
画像の構成要素となるパーツ画像が記憶された複数の画像データベースの各々から、前記所定の入力画像の学習用データである学習用入力画像の生成に用いる前記パーツ画像を選択する選択過程と、
前記選択過程において選択された前記パーツ画像を組み合わせた複合画像を生成し、前記学習用入力画像とする複合画像生成過程と、
前記選択過程において選択されたパーツ画像における特定のパーツ画像からなる学習用変更画像を生成する変更画像生成過程と、
前記学習用入力画像を入力することにより、前記学習用変更画像が出力される前記機械学習モデルを学習させる学習過程と
を含むことを特徴とする機械学習モデルの学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習モデルの学習に用いる学習データを生成する学習データ生成システム、学習データ生成方法、機械学習モデルの学習方法に関する。
【背景技術】
【０００２】
従来、複数の種類のパーツ画像からなるイラスト画像（入力画像）を対象に類似画像検索を行なう場合、イラスト画像及び比較対象の比較画像の各々のパーツ画像の図形における局所特徴である注目点をそれぞれ検出している。
そして、イラスト画像及び比較画像の各々において検出された注目点のそれぞれの一致度合いを求め、この一致度合いにより類似性の判定が行なわれる。
例えば、イラスト画像における、外郭形状、骨格形状、構成要素、配置の特徴を抽出し、これらに対して個別に重み付けをすることで、イラスト画像の全体を特徴付ける要素を決定することが開示されている（例えば、特許文献１）。
【０００３】
ところで、この類似性の判定には、識別用の機械学習モデル（識別用機械学習モデル）が用いられることがあり、この識別用の機械学習モデルを学習させるため、大量の学習データが必要となる。
しかし、上述した注目点の比較を行なう判定方法の場合、イラスト画像の真に比較したい、すなわち真に注目したいパーツ画像以外の注目点が検出される虞があり、真に注目したいパーツ画像（象徴パーツ画像）の類似性を判定することが困難である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−２６８９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、機械学習モデルを用いた類似画像の検索の場合、他の一般的な多角形や円状の図形あるいは文字が象徴パーツ画像に重なって形成されたイラスト画像もあり、象徴パーツ画像と他の画像とを完全に分離することが困難である。
すなわち、機械学習モデルを用いて、一般的な多角形や円状の図形あるいは文字を分離あるいは除去しようとする場合、モデルの学習に必要な学習データを多数準備することは非常に手間がかかり、また他の図形が重なった部分については象徴パーツ画像からの分離あるいは除去が不完全になることがある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、ディープラーニング（Deep Learning）などを用いた機械学習において、それぞれの機械学習モデルの学習に用いる学習データを、容易に多数生成することが可能な学習データ生成システム、学習データ生成方法、機械学習モデルの学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明は上述した課題を解決するためになされたもので、本発明の学習データ生成システムは、所定の入力画像に対して予め定められたルールによる変更を加えて変更画像を生成する機械学習モデルの学習に使用する学習用入力画像及び学習用変更画像からなる学習データを生成する学習データ生成システムであり、画像の構成要素となるパーツ画像が記憶された複数の画像データベースと、前記画像データベースの各々から前記パーツ画像を選択する選択部と、前記選択部が選択したパーツ画像を組み合わせた複合画像を生成し、前記学習用入力画像とする複合画像生成部と、前記選択部が選択したパーツ画像における特定のパーツ画像からなる前記学習用変更画像を生成する変更画像生成部とを備えることを特徴とする。
【０００８】
本発明の学習データ生成システムは、前記画像データベースが、前記学習用入力画像に対する視覚印象を観察した際に与える象徴的なパーツ画像である象徴パーツ画像が蓄積された象徴図形データベースと、前記象徴パーツ画像の象徴性を補う、それ自体に象徴性を有さない一般的なパーツ画像である一般パーツ画像が蓄積された一般図形データベースとを含むことを特徴とする。
【０００９】
本発明の学習データ生成システムは、前記画像データベースが、文字を示すパーツ画像である文字パーツ画像が蓄積された文字図形データベースを含むことを特徴とする。
【００１０】
本発明の学習データ生成システムは、前記学習用入力画像が、前記象徴パーツ画像に加えて、前記一般パーツ画像及び前記文字パーツ画像のいずれか、あるいは双方とから構成され、前記学習用変更画像が、前記学習用入力画像における前記象徴パーツ画像のみが配置されていることを特徴とする。
【００１１】
本発明の学習データ生成システムは、前記パーツ画像の各々の形状を変形する形状拡張部をさらに備えることを特徴とする。
【００１２】
本発明の学習データ生成システムは、前記学習データ生成システムが生成器と識別機とを備え、前記生成器は、前記学習用入力画像から所定の要素を抽出して学習用生成画像を生成する機械学習モデルからなり、前記識別機は、前記学習用入力画像及び前記学習用変更画像からなる学習データ、または、前記学習用入力画像及び前記学習用生成画像からなる学習データの評価を行う機械学習モデルからなる、ことを特徴とする。
【００１３】
本発明の学習データ生成システムは、前記機械学習モデルがセマンティックセグメンテーションであり、前記学習用変更画像が前記学習用入力画像における前記パーツ画像の各々の種類が選別され、当該種類を示すラベルを付与する変更が行われていることを特徴とする。
【００１４】
本発明の学習データ生成方法は、所定の入力画像に対して予め定められたルールによる変更を加えて変更画像を生成する機械学習モデルの学習に使用する学習用入力画像及び学習用変更画像からなる学習データを生成する学習データ生成方法であり、画像の構成要素となるパーツ画像が記憶された複数の画像データベースの各々から前記パーツ画像を選択する選択過程と、前記選択過程において選択されたパーツ画像を組み合わせた複合画像を生成し、前記学習用入力画像とする複合画像生成過程と、前記選択過程において選択されたパーツ画像における特定のパーツ画像からなる前記学習用変更画像を生成する変更画像生成過程とを含むことを特徴とする。
【００１５】
本発明の機械学習モデルの学習方法は、所定の入力画像に対して予め定められたルールによる変更を加えて変更画像を生成する機械学習モデルの学習方法であり、画像の構成要素となるパーツ画像が記憶された複数の画像データベースの各々から、前記所定の入力画像の学習用データである学習用入力画像の生成に用いる前記パーツ画像を選択する選択過程と、前記選択過程において選択された前記パーツ画像を組み合わせた複合画像を生成し、前記学習用入力画像とする複合画像生成過程と、前記選択過程において選択されたパーツ画像における特定のパーツ画像からなる学習用変更画像を生成する変更画像生成過程と、前記学習用入力画像を入力することにより、前記学習用変更画像が出力される前記機械学習モデルを学習させる学習過程とを含むことを特徴とする。
【発明の効果】
【００１６】
この発明によれば、ディープラーニング（Deep Learning）等を用いた機械学習において、それぞれの機械学習モデルの学習に用いる学習データを、容易に多数生成することが可能な学習データ生成システム、学習データ生成方法、機械学習モデルの学習方法を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の第１の実施形態による学習データ生成システムの構成例を示す図である。
【図２】本実施形態の学習データ生成システムにおける学習用データの生成の流れを説明する概念図である。
【図３】学習用画像データ記憶部２０に記憶されている学習用データの例を示す図である。
【図４】ＧＡＮの学習に用いる学習用データの生成の動作例を示すフローチャートである。
【図５】機械学習モデルである識別器の初期学習を説明する概念図である。
【図６】学習データを用いてＧＡＮの生成器と識別器との学習を説明する概念図である。
【図７】本発明の第２の実施形態による学習データ生成システムの構成例を示す図である。
【図８】本実施形態の学習データ生成システムにおける学習用データの生成の流れを説明する概念図である。
【図９】入力される入力画像におけるパーツ画像の種別を判定し、それぞれのパーツ画像におけるピクセルの各々にラベルを付与する機械学習モデルの学習例を説明する概念図である。
【発明を実施するための形態】
【００１８】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による学習データ生成システムについて説明する。図１は、本発明の第１の実施形態による学習データ生成システムの構成例を示す図である。本実施形態においては、ＧＡＮ（Generative Adversarial Network）の学習用データの生成を例として説明する。
図１において、本実施形態における学習データ生成システム１は、制御部１１、パーツ画像選択部１２、文字列生成部１３、形状拡張部１４、複合画像生成部１５、画像表示部１６、象徴図形データベース１７、一般図形データベース１８、文字図形データベース１９及び学習用画像データ記憶部２０の各々を備えている。また、学習データ生成システム１は、後述する識別機５０１及び生成器５０２（図５、図６参照）を含む構成としても良い。
【００１９】
制御部１１は、図示しない入力手段（キーボード、マウスによる画面選択）から入力される制御信号を、この制御信号の示す制御内容に対応させて、パーツ画像選択部１２、文字列生成部１３、形状拡張部１４、複合画像生成部１５及び画像表示部１６のそれぞれに出力する。また、制御部１１は、外部から供給される象徴パーツ画像、一般パーツ画像及び文字パーツ画像の各々を、象徴図形データベース１７、一般図形データベース１８、文字図形データベース１９それぞれに対して書き込んで記憶させる。
【００２０】
パーツ画像選択部１２は、画像表示部１６の表示画面に対して、パーツ画像選択画面を表示する。ここで、パーツ画像は、本実施形態において、組み合わせて一つの複合画像とされた、学習用データにおける学習用入力画像の生成に用いる画像である。本実施形態においては、学習用データは、学習用入力画像及び学習用変更画像の各々の画像データの組として構成されている。
【００２１】
図２は、本実施形態の学習データ生成システムにおける学習用データの生成の流れを説明する概念図である。図２（ａ）は、画像表示部１６の表示画面における学習用データの画像領域１６Ｓを示している。また、図２（ａ）は、パーツ画像が何も表示されておらず、画像領域１６Ｓのみが表示されている。この画像領域１６Ｓは、縦及び横の各々の所定のピクセル数により、領域の高さと幅を指定することでサイズが特定される。
図２（ｂ）は、象徴パーツ画像１０１が作業者により選択され、画像表示部１６の表示画面における画像領域１６Ｓの所定の位置に、選択された象徴パーツ画像１０１が配置された状態を示している。ここで、象徴パーツ画像は、任意の画像を観察した際、観察者が特徴と感じる視覚的印象を与える象徴的な図形の画像データであり、一般パーツ画像に比較して相対的に複雑な形状をした画像である。本実施形態では、複数の象徴パーツ画像が、象徴図形データベース１７に予め書き込まれて記憶されている。
【００２２】
次に、図２（ｃ）は、一般パーツ画像１０２が作業者により選択され、画像表示部１６の表示画面における画像領域１６Ｓの所定の位置に、選択された一般パーツ画像１０２が象徴パーツ画像１０１とともに配置された状態を示している。ここで、一般パーツ画像は、複合画像として学習用入力画像を生成する際、上述した象徴パーツ画像と組み合わせる、観察者が一般的と感じる視覚的印象を与える図形、例えば直線状、曲線状、多角形状や円状の図形の画像データであり、象徴パーツ画像に比較して相対的に単純な形状をした画像である。すなわち、一般パーツ画像は、象徴パーツ画像の象徴性を補う、それ自体に象徴性を有さない一般的な画像である。本実施形態では、複数の一般パーツ画像が、一般図形データベース１８に予め書き込まれて記憶されている。
【００２３】
そして、図２（ｄ）は、文字パーツ画像１０３が作業者により選択され、画像表示部１６の表示画面における画像領域１６Ｓの所定の位置に、選択された文字パーツ画像１０３が文字列画像として象徴パーツ画像１０１及び一般パーツ画像１０２とともに配置された状態を示している。ここで、文字パーツ画像は、漢字、ひらがな、カタカナ、アルファベット、数字などの一文字の画像であり、複合画像として学習用入力画像を生成する際、上述した象徴パーツ画像と組み合わせられる。また、文字パーツ画像１０３は、単数あるいは複数により、意味のある単語を示す文字列とされて用いられが、これに限らず意味の無い文字列であってもよい。本実施形態では、所定の文字コード（テキスト形式）に基づき、フォントや色などの文字飾りを指定して生成された文字パーツ画像が、文字図形データベースに予め書き込まれて記憶されている。
【００２４】
本実施形態においては、図２（ｂ）（すなわち、図２（ｅ））が学習用変更画像として用いられ、図２（ｄ）が学習用入力画像として用いられる。すなわち、図２（ｄ）に示す学習用入力画像と、図２（ｅ）に示す学習用変更画像との組により、学習用データ１００が構成されている。
【００２５】
図１に戻り、文字列生成部１３は、作業者が文字コードの各々を配列する順に文字列画像を生成する。例えば、図２（ｄ）における「ニゴニゴハウス」の文字列画像は、「ニ」、「ゴ」、「ニ」、「ゴ」、「ハ」、「ウ」、「ス」のそれぞれの文字パーツ画像が順番に配列されて形成される。なお、文字列として配列させる際、この文字列に配列させる文字コードをランダムに指定してもよく、この場合は意味の無い文字列画像が形成される。
また、「ニ」、「ゴ」、「ニ」、「ゴ」、「ハ」、「ウ」、「ス」のそれぞれの文字パーツ画像は、パーツ画像選択部１２により作業者の設定により選択される。なお、画像領域１６Ｓにおいて、文字飾りの配置をランダムに指定してもよく、この場合は指定した数の一の文字列から、複数の文字列画像が文字飾りとして形成される。
【００２６】
形状拡張部１４は、配置された象徴パーツ画像、一般パーツ画像及び文字パーツ画像の各々の図形の形状を変化させる処理を、作業者の入力する条件に対応して行なう。なお、形状拡張部１４は、上述した図形の形状を変化させる処理をランダムに行っても良い。
例えば、象徴パーツ画像であれば、拡大、縮小、縦横比、図形を形成する線分の太さなどを変化させる。また、一般パーツ画像においても、拡大、縮小、縦横比、図形を形成する線分の太さなどを変化させる。文字パーツ画像においては、拡大、縮小、縦横比、図形を形成する線分の太さ、フォント、色などを変化させる。なお、形状拡張部１４は、上述し文字パーツ画像の形状を変化させる処理を、文字飾りの文字列における文字パーツ画像毎にランダムに行っても良い。
【００２７】
形状拡張部１４は、画像領域１６Ｓ内に配置された象徴パーツ画像、一般パーツ画像及び文字パーツ画像の各々の図形の位置を変化させる処理を、作業者が入力する条件に対応して行う。なお、この象徴パーツ画像、一般パーツ画像及び文字パーツ画像の各々の図形の位置を変化させる処理は、ランダムに行っても良い。また、図形の位置を変化させる処理をランダムに行う場合、画像領域１６Ｓを複数の区画に分割し、象徴パーツ画像、一般パーツ画像及び文字パーツ画像のいずれかの一の画像が配置された区画とは異なる区画に対し、一の画像と異なる他の画像を配置することで、象徴パーツ画像、一般パーツ画像及び文字パーツ画像の各々の重なりを避けるように配置してもよい。
【００２８】
複合画像生成部１５は、画像領域１６Ｓ内に配置された、パーツ画像選択部１２が選択した象徴パーツ画像、一般パーツ画像及び文字パーツ画像の各々を合成して複合画像を生成し、この複合画像を学習用入力画像とする。
そして、複合画像生成部１５は、画像領域１６Ｓに対して象徴画像のみが配置された画像を学習用変更画像とし、上記学習用入力画像とともに学習用データを構成し、学習用画像データ記憶部２０に対して書き込んで記憶させる。
画像表示部１６は、画像表示装置であり、例えば、カラーの液晶パネルである。
【００２９】
象徴図形データベース１７は、象徴パーツ画像の種類に分類される図形の画像が蓄積されているデータベースである。
一般図形データベース１８は、一般パーツ画像の種類に分類される図形の画像が蓄積されているデータベースである。
文字図形データベース１９は、文字パーツ画像の種類に分類される図形の画像が蓄積されているデータベースである。これら象徴パーツ画像、一般パーツ画像及び文字パーツ画像は、学習用入力画像を構成する際の構成要素として用いられる。
【００３０】
学習用画像データ記憶部２０は、複合画像生成部１５により学習用データが書き込まれて記憶されている。
図３は、学習用画像データ記憶部２０に記憶されている学習用データの例を示す図である。図３（ａ）が学習用入力画像２０１ａと学習用変更画像２０１ｂとで学習用データ２０１が形成されている。図３（ｂ）が学習用入力画像２０２ａと学習用変更画像２０２ｂとで学習用データ２０２が形成されている。図３（ｃ）が学習用入力画像２０３ａと学習用変更画像２０３ｂとで学習用データ２０３が形成されている。図３（ｄ）が学習用入力画像２０４ａと学習用変更画像２０４ｂとで学習用データ２０４が形成されている。
【００３１】
図３（ａ）及び図３（ｂ）の各々の学習用入力画像は、象徴パーツ画像、一般パーツ画像及び文字パーツ画像の各々を用いて形成されている。ただし、図３（ａ）は、文字列が横方向に配列された文字パーツ画像から形成されている。一方、図３（ｂ）は、文字列が縦方向に配列された文字パーツ画像から形成されている。
図３（ｃ）の学習用入力画像は、象徴パーツ画像と変形された一般パーツ画像とから構成され、文字パーツ画像を含んでいない。
また、図３（ｄ）の学習用入力画像は、象徴パーツ画像と文字パーツ画像が配列して形成された文字列（「山小屋ホテル」の文字列）とから構成され、一般パーツ画像を含んでいない。
【００３２】
上述したように、学習用入力画像は、象徴図形データベース１７に記憶されている象徴パーツ画像を核の画像として、一般図形データベース１８に記憶されている一般パーツ画像、文字図形データベース１９に記憶されている文字パーツ画像のいずれか、あるいは双方を配置した複合画像として形成される。
一方、学習用変更画像は、象徴パーツ画像のみが配置された画像として形成される。
【００３３】
ＧＡＮにおいては、機械学習モデルとして、生成器（図６における生成器５０２）及び識別器（図５及び図６における識別器５０１）の各々の２種類があり、生成器の機械学習モデルは、入力される学習用入力画像の象徴部分のみを抽出した学習用生成画像として出力する機能（所定のルール）を有する。そして、制御部１１は、上記生成器（生成器５０２）の機械学習モデルから得た学習用生成画像もまた、上記学習用入力画像とともに学習用データを構成し、学習用画像データ記憶部２０に対して書き込んで記憶させる。
【００３４】
また、識別機（識別器５０１）の機械学習モデルは、学習用入力画像と学習用変更画像とからなる学習用データ、または、学習用入力画像と学習用生成画像とからなる学習用データを入力する。そして、上記識別器５０１は、上記学習用データを入力した際、入力された学習用データが、学習用変更画像（すなわち象徴図形データベース１７に格納された象徴パーツ画像のみからなる画像）を含む場合には「本物」と判定し、一方、学習用生成画像（すなわち生成器５０２により生成された画像）を含む場合には「偽物」と判定する機能を有する。
【００３５】
そして、上記機械学習モデル全体（識別器５０１及び生成器５０２）としては、学習過程において、既知である学習用画像の「本物」または「偽物」の別（区別）と、識別機５０１が判定した「本物」または「偽物」の度合とを比較する。識別機５０１が判定した「偽物」らしさの度合に応じて、識別器５０１を欺いて判定結果が「本物」となる学習用生成画像を生成器５０２に生成させるため、識別器５０１の判定結果の出力値（後述する評価値）が生成器５０２に対してフィードバックされる。
換言すると、識別機５０１が「偽物」を「偽物」らしいと判定した場合とは、生成器５０２が生成した学習用生成画像（学習用入力画像から特徴部と思しき箇所を抽出した画像）の精度が低く、学習用変更画像（最終的に抽出したい特徴部の画像）と異なることを識別機５０１が容易に識別できる場合、と評価できるため、生成器５０２の抽出精度を向上させるべく、出力値のフィードバックを行うのである。
【００３６】
さらに、生成器５０２の学習が進む（識別器５０１を欺いて判定結果が「本物」となる学習用生成画像を生成できるようになる）につれて、生成器５０２が生成した学習用生成画像は、学習用変更画像に徐々に近似していく。この段階に至ると、識別機５０１は、入力された学習用データの「本物」と「偽物」の別を正しく判定できなくなり、判定を誤る状況となる。
換言すると、識別機５０１が「偽物」を「本物」と誤って判定した場合とは、生成器５０２が生成した学習用生成画像の精度が高く、学習用変更画像と異なることが識別機５０１にとって定かでない場合、と評価できる。このように、識別機５０１が「偽物」を「本物」と誤って判定する学習用生成画像を生成器５０２が生成することこそ、生成器５０２の学習の完了を意味する。
【００３７】
そして、上述のように機械学習モデルを機械学習させた学習済モデルである生成器５０２を用いて、画像の類似性を判定するシステムを構成すれば、未知の一般画像に対して、精度よく画像の特徴部（例えば、抽象パーツ画像に類する抽象的な画像部分）を抽出することが可能となる。
【００３８】
図４は、ＧＡＮの学習に用いる学習用データの生成の動作例を示すフローチャートである。
ステップＳ１０１：パーツ画像選択部１２は、象徴図形データベース１７に記憶されている象徴パーツ画像を読み出し、画像表示部１６の表示画面における画像領域１６Ｓの近傍の領域に、読み出した象徴パーツ画像の各々を表示する。
【００３９】
ステップＳ１０２：作業者は、画像表示部１６の表示画面に表示された象徴パーツ画像の各々を観察し、これらの象徴パーツ画像のなかから、学習用データの生成に使用する象徴パーツ画像を選択する。
そして、作業者は、選択した象徴パーツ画像を、画像領域１６Ｓの所定の位置に移動させて配置する。
【００４０】
ステップＳ１０３：次に、パーツ画像選択部１２は、画像表示部１６の表示画面に対して、一般パーツ画像の選択を行なうか否かを選択する通知の表示を行なう。
すなわち、パーツ画像選択部１２は、学習用入力画像に対して、象徴パーツ画像とともに一般パーツ画像を含めるか否かの判定を、作業者に対して促す。
このとき、作業者は、学習用入力画像に一般パーツ画像を含ませないと判断した場合、一般パーツ画像の選択を行なわないことを示す入力を行なう。一方、作業者は、学習用入力画像に一般パーツ画像を含ませると判断した場合、一般パーツ画像の選択を行なうことを示す入力を行なう。
【００４１】
そして、パーツ画像選択部１２は、作業者が一般パーツ画像を学習用入力画像に配置することを選択した場合、処理をステップＳ１０４へ進める。
一方、パーツ画像選択部１２は、作業者が一般パーツ画像を学習用入力画像に配置しないことを選択した場合、処理をステップＳ１０６へ進める。
【００４２】
ステップＳ１０４：パーツ画像選択部１２は、一般図形データベース１８に記憶されている一般パーツ画像を読み出し、画像表示部１６の表示画面における画像領域１６Ｓの近傍の領域に、読み出した一般パーツ画像の各々を表示する。
【００４３】
ステップＳ１０５：作業者は、画像表示部１６の表示画面に表示された一般パーツ画像の各々を観察し、これらの一般パーツ画像のなかから、学習用データの生成に使用する一般パーツ画像を選択する。
そして、作業者は、画像領域１６Ｓにおいてすでに配置されている象徴パーツ画像の位置に対応させて、選択した一般パーツ画像を画像領域１６Ｓの所定の位置に移動させて配置する。
【００４４】
ステップＳ１０６：パーツ画像選択部１２は、画像表示部１６の表示画面に対して、文字パーツ画像の選択を行なうか否かを選択する通知の表示を行なう。
すなわち、パーツ画像選択部１２は、学習用入力画像に対して、象徴パーツ画像とともに文字パーツ画像を含めるか否かの判定を、作業者に対して促す。
このとき、作業者は、学習用入力画像に文字パーツ画像を含まないと判断した場合、文字パーツ画像の選択を行なわないことを示す入力を行なう。一方、作業者は、学習用入力画像に文字パーツ画像を含ませると判断した場合、文字パーツ画像の選択を行なうことを示す入力を行なう。
【００４５】
そして、パーツ画像選択部１２は、作業者が文字パーツ画像を学習用入力画像に配置することを選択した場合、処理をステップＳ１０７へ進める。
一方、パーツ画像選択部１２は、作業者が文字パーツ画像を学習用入力画像に配置しないことを選択した場合、処理をステップＳ１０９へ進める。
【００４６】
ステップＳ１０７：パーツ画像選択部１２は、文字図形データベース１９に記憶されている文字パーツ画像を読み出し、画像表示部１６の表示画面における画像領域１６Ｓの近傍の領域に、読み出した文字パーツ画像の各々を表示する。
【００４７】
ステップＳ１０８：作業者は、画像表示部１６の表示画面に表示された文字パーツ画像の各々を観察し、これらの文字パーツ画像のなかから、学習用データの生成に使用する文字パーツ画像を単数あるいは複数個選択する。
そして、文字列生成部１３は、作業者が、画像領域１６Ｓにおいてすでに配置されている象徴パーツ画像の位置に対応させて、選択した文字パーツ画像の各々を画像領域１６Ｓの所定の位置に移動させる処理に対応させた文字列（単数で選択した際、一文字の文字列となる）を一つの文字列画像として生成する。
【００４８】
ステップＳ１０９：複合画像生成部１５は、画像表示部１６の表示画面における画像領域１６Ｓ内の画像を合成して複合画像を生成し、この複合画像を学習用入力画像とする。
また、複合画像生成部１５は、ステップＳ１０２における象徴パーツ画像が配置された画像領域１６Ｓを、学習用変更画像として象徴パーツ画像のみの画像を生成する。
そして、複合画像生成部１５は、生成した学習用入力画像及び学習用変更画像の各々を組み合わせて、学習用データとして学習用画像データ記憶部２０に対して書き込んで記憶させる。
【００４９】
また、ここで、複合画像生成部１５は、象徴パーツ画像、一般パーツ画像及び文字列画像の各々を組み合わせた配置において、画像領域１６Ｓ内の上下左右の配置位置、それぞれのパーツ画像の重なり具合などのレイアウトパターンの各々を表示し、ユーザが選択したレイアウトパターンに従って、象徴パーツ画像、一般パーツ画像、文字列画像のそれぞれを配置させる構成としても良い。なお、象徴パーツ画像に対して同様の処理を行っても良い。
【００５０】
ステップＳ１１０：次に、形状拡張部１４は、画像表示部１６の表示画面における画像領域１６Ｓ内の画像を変形する形状拡張処理を行なうか否かの判定を促す通知画像を、画像表示部１６の表示画面に表示する。
すなわち、形状拡張部１４は、画像領域１６Ｓ内の画像に対して、例えば一般パーツ画像の変形、文字列画像の変形、一般パーツ画像の画像領域１６Ｓ内における配置位置の移動、文字列画像の画像領域１６Ｓ内における配置位置の移動、象徴パーツ画像の画像領域１６Ｓ内における配置位置の移動などの形状拡張処理を実行するか否かの判定を、作業者に対して促す。なお、象徴パーツ画像に対しても同様に、上述した形状拡張処理を行っても良い。
【００５１】
そして、形状拡張部１４は、作業者が画像領域１６Ｓ内の画像に対して形状拡張処理を実行することを選択した場合、処理をステップＳ１１１へ進める。
一方、パーツ画像選択部１２は、作業者が画像領域１６Ｓ内の画像に対して形状拡張処理を実行しないことを選択した場合、処理をステップＳ１１２へ進める。
【００５２】
ステップＳ１１１：次に、形状拡張部１４は、作業者の操作に対応して、画像領域１６Ｓに配置された一般パーツ画像及び文字パーツ画像の各々のいずれかあるいは双方との図形を変形させるデータ拡張処理を行なう。
ここで、データ拡張処理としては、すでに述べたように、一般パーツ画像の変形、文字列画像の変形、一般パーツ画像の画像領域１６Ｓ内における配置位置の移動、文字列画像の画像領域１６Ｓ内における配置位置の移動、象徴パーツ画像の画像領域１６Ｓ内における配置位置の移動などである。
【００５３】
一般パーツ画像の変形は、例えば、直線の太さや長さを変えたり（拡大や縮小も含む）、破線、波線、一点鎖線などの線種を変更したり、色を変更したり、あるいは多角形であれば形状を変化させたり、象徴パーツ画像に対する相対位置を変化させたり、反転あるいは回転させたりなどの処理、あるいはこれらの処理の組合せが含まれる。
文字列画像の変形は、例えば、文字パーツ画像の各々のフォントを変えたり、文字列画像を屈曲させたり、文字列における文字パーツ画像を削除したり、文字列における文字パーツ画像の各々の拡大縮小を行なったり、象徴パーツ画像に対する相対位置を変化させたり、反転あるいは回転させたり、文字パーツ画像の間隔の調整などの処理、あるいはこれらの処理の組合せが含まれる。
【００５４】
また、象徴パーツ画像の変形は、拡大、縮小、反転あるいは回転させたり、画像領域１６Ｓ内における配置位置の移動、図形を描画する線種の変更などの処理、あるいはこれらの処理の組合せが含まれる。
上述したデータ拡張処理により、一回配置した画像領域１６Ｓ内の画像から、多数の変形された学習用入力画像が生成されるため、これを学習用変更画像と組み合わせることで、容易に多数の学習データを生成することができる。
【００５５】
ステップＳ１１２：複合画像生成部１５は、学習データの生成を終了するか否かの判定を促す通知画像を、画像表示部１６の表示画面に表示する。
そして、形状拡張部１４は、作業者が学習データの生成を終了することを選択した場合、処理を終了する。
一方、パーツ画像選択部１２は、作業者が学習データの生成を終了しないことを選択した場合、処理をステップＳ１０１へ進める。
【００５６】
次に、ＧＡＮにおける機械学習モデルの学習としては、上述した処理で生成した学習用データを用いて識別器の学習を行なわせる。
図５は、機械学習モデルである識別器の初期学習を説明する概念図である。図５において、識別器５０１に対して、学習用データ２０１の学習用入力画像２０１ａと学習用変更画像２０１ｂ（本物）とを入力し、本物なので識別情報（評価値）を「１」として学習を行なわせる。同様に、識別器５０１に対して、学習用データ２０２の学習用入力画像２０２ａと学習用変更画像２０２ｂ（本物）とを入力し、本物なので識別情報（評価値）を「１」として学習を行なわせる。また、識別器５０１に対して、学習用データ２０５として、学習用入力画像２０５ａと、予め準備した学習用生成画像２０５ｂ（偽物）と入力し、偽物なので識別情報（評価値）を「０」として学習を行なわせる。
この識別器５０１に対する学習の処理を、学習用画像データ記憶部２０に蓄積された多くの学習用データにより行い、初期学習を行なう。
【００５７】
図６は、学習データを用いてＧＡＮの生成器と識別器との学習を説明する概念図である。図６において、生成器５０２は識別器５０１と同様に機械学習モデルであるが、識別器５０１と真贋判定を行なうのではなく、画像生成を行なう機械学習モデルである。すなわち、本実施形態においては、入力画像から象徴パーツ画像を抜き出し、学習用生成画像に変更する、言い換えると入力画像から一般パーツ画像及び文字パーツ画像の各々を除去する機械学習モデルである。ここで、識別器５０１は、すでに述べた初期学習が済んでいることを前提としている。
【００５８】
ＧＡＮの学習としては、学習用データ２０１における学習用入力画像２０１ａを生成器５０２へ入力する。これにより、生成器５０２は、学習用入力画像２０１ａに対して何らかの変更を行ない、変更画像として学習用生成画像２０１ａ’を出力する。
そして、識別器５０１に対して、学習用入力画像２０１ａと学習用変更画像２０１ｂとの組からなる学習データ、または学習用入力画像２０１ａと学習用生成画像２０１ａ’との組からなる学習データを供給する。
識別器５０１は、入力（供給）された学習用データが、学習用変更画像（すなわち象徴図形データベース１７に格納された象徴パーツ画像のみからなる画像）を含む場合には「本物」と判定して「１」に近い値を評価値として出力し、学習用生成画像（すなわち生成器５０２により生成された画像）を含む場合には「偽物」と判定して「０」に近い値を評価値として出力する。識別器５０１は、判定結果の評価値を、生成器５０２に対して出力する。
【００５９】
生成器５０２の学習の目的は、識別器５０１を欺くよう学習用生成画像を、生成器５０２が作成することであるため、識別器５０１による学習用生成画像の出力する評価値が「１」となることが望ましい。
そこで、生成器５０１の学習においては、「本物」を示す「１」と、識別器５０１の出力した評価値との差分であるロスが小さくなるよう、生成器５０２のパラメータ（例えば、機械学習モデルにおける関数のパラメータ）の更新を行う。
この学習において、学習用データは、学習用画像データ記憶部２０に格納されている学習用データ（学習用入力画像及び学習用生成画像の組）を用いて行なわれる。
【００６０】
これにより、上述したＧＡＮの学習により、生成器５０２は、徐々に、入力される学習用入力画像から象徴パーツ画像のみを抽出した学習用生成画像を生成するように学習される。
一方、識別器５０１は、徐々に入力される学習用入力画像と学習用生成画像との比較において、学習用生成画像を偽物と判定できる確率が低下していく。
したがって、理論的には、学習済みのＧＡＮにおいては、識別器５０１が、学習用入力画像と、生成器５０２が生成した学習用生成画像との真贋判定で５０％の割合で、学習用生成画像を本物あるいは偽物と判定する状態まで、識別器５０１及び生成器５０２の各々が学習される。なお、実際には、システムの出力値と期待する値との差をロスと呼び、学習回数を繰り返してこのロスを減少させるよう学習を行い、識別機５０１のロスと生成器５０２のロスとの、双方の減少幅が収束する状態まで学習を繰り返す。また、識別機５０１及び生成器５０２の学習は、学習用生成画像の生成と、生成された学習用生成画像の評価値のフィードバックの繰り返しを所定回数実行した段階で終了するものとしてもよい。
【００６１】
上述したように、本実施形態によれば、象徴図形データベース１７、一般図形データベース１８及び文字図形データベース１９の各々から、象徴パーツ画像、一般パーツ画像、文字パーツ画像それぞれを選択し、画像表示部１６の表示画面における画像領域１６Ｓに配置する処理により、学習用入力画像と学習用変更画像とを組とした学習用データを生成することができるため、ＧＡＮにおける識別器５０１及び生成器５０２の機械学習モデルの学習に用いる学習データを容易に大量に生成することができる。
【００６２】
また、本実施形態によれば、画像表示部１６の表示画面における画像領域１６Ｓに象徴パーツ画像、一般パーツ画像及び文字パーツ画像の各々を配置して一つの学習用データを作成した後、この配置のレイアウトの変更、あるいは象徴パーツ画像、一般パーツ画像、文字パーツ画像のそれぞれのデータ拡張処理を行なうことにより、作成した学習用データの変形バージョンを生成することにより、学習用データのバリエーションを容易に増加させ、容易に大量の学習用データを得ることができる。
【００６３】
なお、本実施形態においては、各々のパーツ画像の選択（ステップＳ１０１、Ｓ１０４、Ｓ１０７）を作業者が行うものとしたが、システム化する（学習データ生成システム１に対して、パーツ画像の選択を予め設定された選択ルールに基づいて行なう機能のアプリケーションを加える）ことで機械的に行ってもよい。この場合、上記選択ルールとしては、例えば、象徴図形データベース１７、一般図形データベース１８、文字図形データベース１８に格納された各々の画像を、順番に選択したり、ランダムに選択したりするものとすればよい。
【００６４】
また、本実施形態においては、画像領域１６Ｓにおける各々のパーツ画像の配置（ステップＳ１０２、Ｓ１０５、Ｓ１０８）を作業者が行うものとしたが、システム化する（学習データ生成システム１に対して、パーツ画像の配置を予め設定された配置ルールに基づいて行なう機能のアプリケーションを加える）ことで機械的に行ってもよい。この場合、上記配置ルールとしては、例えば、画像領域１６Ｓを仮想的に複数の区画に分割し、各々のパーツ画像をそれぞれの区画に順番に配置したり、ランダムに配置したりするものとすればよい。
【００６５】
また、本実施形態においては、一般パーツ画像の使用、文字パーツ画像の使用の判断（ステップＳ１０３、Ｓ１０６）を作業者が行うものとしたが、システム化する（学習データ生成システム１に対して、上記使用の判断を予め設定された使用判断ルールに基づいて行なう機能のアプリケーションを加える）ことで機械的に行ってもよい。この場合、上記使用判断ルールとしては、例えば、各々のパーツ画像を使用するか否かの判断を、ランダムに行うものとすればよい。
【００６６】
また、本実施形態においては、一般パーツ画像の使用、文字パーツ画像の使用、データ拡張処理の実施の判断（ステップＳ１０３、Ｓ１０６、Ｓ１１０）を作業者が行うものとしたが、システム化する（学習データ生成システム１に対して、上記実施の判断を予め設定された実施判断ルールに基づいて行なう機能のアプリケーションを加える）ことで機械的に行ってもよい。この場合、上記実施判断ルールとしては、例えば、一般パーツ画像の使用、文字パーツ画像の使用、データ拡張処理の実施の各々の判断を、ランダムに行うものとすればよい。
【００６７】
また、本実施形態においては、画像領域１６Ｓのサイズの特定を所定のピクセル数により高さと幅を指定して行なうものとしたが、システム化する（学習データ生成システム１に対して、上記画像領域１６Ｓのサイズを所定のピクセル数により高さと幅を指定する予め設定されたサイズ指定ルールに基づいて行なう機能のアプリケーションを加える）ことで機械的に行ってもよい。この場合、上記サイズ指定ルールとしては、例えば、高さと幅の各々のピクセル数の値を、ランダムに行うものとすればよい。
【００６８】
＜第２の実施形態＞
本発明の第２の実施形態による学習データ生成システムについて説明する。図７は、本発明の第２の実施形態による学習データ生成システムの構成例を示す図である。本実施形態においては、セマンティックセグメンテーションの学習用データの生成を例として説明する。
また、機械学習モデルの一つとして、入力される入力画像から所定の種類の物体の画像を検出するセマンティックセグメンテーション（Semantic Segmentation）がある。セマンティックセグメンテーションは、入力画像の全体や、入力画像画像の一部の検出ではなく、入力画像における画素（あるいはピクセル）の一つ一つに対して、その画素（あるいはピクセル）が示す意味をラベル付けして、入力画像における各物体の画像であるパーツ画像の検出を行なう。
このため、セマンティックセグメンテーションの場合、学習データとしては検出したいパーツ画像に対してラベル付け、すなわちパーツ画像における画素（あるいはピクセル）の各々に、物体の種類を示すラベル付けを行なった学習データを準備する必要がある。
図７において、本実施形態における学習データ生成システム１０は、制御部１１１、パーツ画像選択部１１２、ラベル付与部１１３、形状拡張部１１４、複合画像生成部１１５、画像表示部１１６、動物図形データベース１１７、建物図形データベース１１８、道路図形データベース１１９及び学習用画像データ記憶部１２０の各々を備えている。
【００６９】
制御部１１１は、図示しない入力手段（キーボード、マウスによる画面選択）から入力される制御信号を、この制御信号の示す制御内容に対応させて、パーツ画像選択部１１２、ラベル付与部１１３、形状拡張部１１４、複合画像生成部１１５及び画像表示部１１６のそれぞれに出力する。また、制御部１１は、外部から供給される動物パーツ画像、建物パーツ画像及び道路パーツ画像の各々を、動物図形データベース１１７、建物図形データベース１１８、道路図形データベース１１９それぞれに対して書き込んで記憶させる。本実施形態においては、動物パーツ画像、建物パーツ画像及び道路パーツ画像の各々を組合せて、学習用データを生成する説明を行なっているが、動物パーツ画像、建物パーツ画像、道路パーツ画像のそれぞれは図形の一例であり、学習用データを生成する際の組み合わせる図形はどのような種類を用いてもかまわない。
【００７０】
パーツ画像選択部１１２は、画像表示部１１６の表示画面に対して、パーツ画像選択画面を表示する。ここで、パーツ画像は、本実施形態において、一例として動物パーツ画像、建物パーツ画像、道路パーツ画像などであり、各々組み合わせて一つの複合画像とする、学習用データにおける学習用入力画像の生成に用いる画像である。本実施形態においては、第１の実施形態と同様に、学習用データは、学習用入力画像及び学習用変更画像の各々の画像データの組として構成されている。
【００７１】
図８は、本実施形態の学習データ生成システムにおける学習用データの生成の流れを説明する概念図である。図８（ａ）は、画像表示部１１６の表示画面における学習用データの画像領域１１６Ｓを示している。また、図８（ａ）は、パーツ画像が何も表示されておらず、画像領域１１６Ｓのみが表示されている。
図８（ｂ）は、動物パーツ画像４０１が作業者により選択され、画像表示部１１６の表示画面における画像領域１１６Ｓの所定の位置に、選択された動物パーツ画像４０１が配置された状態を示している。ここで、動物パーツ画像は、複合画像として生成される学習用入力画像を生成するためのパーツ画像の一種であり、人間、犬、猫などの動物の図形の画像データである。
【００７２】
次に、図８（ｃ）は、建物パーツ画像４０２が作業者により選択され、画像表示部１１６の表示画面における画像領域１１６Ｓの所定の位置に、選択された建物パーツ画像４０２が動物パーツ画像４０１とともに配置された状態を示している。ここで、建物パーツ画像は、複合画像として学習用入力画像を生成するためのパーツ画像の一種であり、上述した動物パーツ画像と組み合わせる、住宅、工場、スーパーマーケット、ビルディングなどの図形の画像データである。
【００７３】
そして、図８（ｄ）は、道路パーツ画像４０３が作業者により選択され、画像表示部１１６の表示画面における画像領域１１６Ｓの所定の位置に、選択された道路パーツ画像４０３が動物パーツ画像４０１及び建物パーツ画像４０２とともに配置された状態を示している。ここで、道路パーツ画像は、高速道路、農道、歩道、横断歩道、一般道路（複数の車線種類有り）などの図形の画像データである。本実施形態においては、図８（ｄ）が学習用入力画像として用いられる。であり、この学習用入力画像の各パーツにラベルを付加したデータが学習用変更画像として用いられる。
【００７４】
図８（ｅ）は、図８（ｄ）の各パーツ画像を構成するピクセルそれぞれにラベルを付与した画像である。図８（ｅ）においては、ラベルとして各ピクセルの色を付与しており、動物パーツ画像のピクセルを赤色、建物パーツ画像のピクセルを青色、道路パーツ画像のピクセルを黄色としている。
このように、学習用入力画像の各パーツ、すなわち動物パーツ画像の各々のピクセルには動物であることを示すラベル、建物パーツ画像の各々のピクセルには建物であることを示すラベル、道路パーツ画像の各々のピクセルには道路であることを示すラベルを付与する。
本実施形態においては、図８（ｅ）が学習用変更画像であり、この学習用入力画像の各パーツのピクセルそれぞれにラベルを付与した画像データである。
【００７５】
ラベル付与部１１３は、作業者が選択したパーツ画像（動物パーツ画像、建物パーツ画像、道路パーツ画像）の各々のピクセルに対し、パーツ画像の種別を示すラベルとして、作業者が設定した色を付与する。
【００７６】
複合画像生成部１１５は、作業者が画像表示部１１６の表示画面における画像領域１１６Ｓに配置した動物パーツ画像、建物パーツ画像及び道路パーツ画像の各々を合成して、学習用入力画像を生成する。
また、複合画像生成部１１５は、作業者が画像表示部１１６の表示画面における画像領域１１６Ｓに配置した、ラベルを付与した動物パーツ画像、建物パーツ画像及び道路パーツ画像の各々を合成して、学習用変更画像を生成する。
そして、複合画像生成部１１５は、第１の実施形態と同様に、生成した学習用入力画像及び学習用変更画像を組合わせて、学習用データとして学習用画像データ記憶部１２０に対して書き込んで記憶させる。
【００７７】
形状拡張部１１４は、第１の実施形態と同様に、画像領域１１６Ｓに配置された動物パーツ画像、建物パーツ画像及び道路パーツ画像の各々のデータ拡張処理を、作業者の入力にしたがって行なう。
ここで、複合画像生成部１１５は、形状拡張部１１４がデータ拡張処理をした画像領域１１６Ｓに配置された動物パーツ画像、建物パーツ画像及び道路パーツ画像の各々を合成して、学習用データを形成して学習用データとして学習用画像データ記憶部１２０に対して書き込んで記憶させる。
【００７８】
動物図形データベース１１７は、動物パーツ画像の種類に分類される図形の画像が蓄積されているデータベースである。
建物図形データベース１１８は、建物パーツ画像の種類に分類される図形の画像が蓄積されているデータベースである。
道路図形データベース１１９は、道路パーツ画像の種類に分類される図形の画像が蓄積されているデータベースである。
学習用画像データ記憶部１２０は、学習用入力画像及び学習用変更画像の組である学習用データが書き込まれて記憶されている。
【００７９】
図９は、入力される入力画像におけるパーツ画像の種別を判定し、それぞれのパーツ画像におけるピクセルの各々にラベルを付与する機械学習モデルの学習例を説明する概念図である。生成器５５１は、セマンティックセグメンテーションの機械学習モデルであり、入力される入力画像におけるパーツ画像の種別を判定し、それぞれの判定した種別のパーツ画像におけるピクセルの各々に対してラベルを付与する（所定のルール）。
学習用画像データ記憶部１２０から順次学習用データを読み出し、学習用入力画像４２１を生成器５５１に対して入力し、出力として学習用変更画像４２２が生成されるように学習を行なう。
【００８０】
すなわち、学習用入力画像４２１における動物パーツ画像４０１の各々のピクセルが赤色として出力され、建物パーツ画像４０２の各々のピクセルが青色として出力され、道路パーツ画像４０３の各々のピクセルが黄色として出力されるように、作成した学習用データを用いて生成器５５１を学習させる。
これにより、入力画像における画像の種別を判定し、その画像の種別に対応するラベルを、画像を構成するピクセルの各々に付与する生成器５５１を学習させることができる。
【００８１】
上述したように、本実施形態によれば、動物図形データベース１１７、建物図形データベース１１８及び道路図形データベース１１９の各々から、動物パーツ画像、建物パーツ画像、道路パーツ画像それぞれを選択し、画像表示部１１６の表示画面における画像領域１１６Ｓに配置する処理により、学習用入力画像と学習用変更画像とを組とした学習用データを生成することができるため、セマンティックセグメンテーションにおける生成器５５１の機械学習モデルの学習に用いる学習データを容易に大量に生成することができる。
【００８２】
また、本実施形態によれば、パーツ画像（動物パーツ画像、建物パーツ画像、道路パーツ画像）の各々の種別が判っており、パーツ画像のピクセルに対して一括して色などのラベルを付与することにより、従来のようにピクセル毎にラベルを付与する手間がかかる作業を行なう必要が無く、パーツ画像のピクセルの各々に種別を示すラベルを付与することが容易に行える。
【００８３】
また、本実施形態によれば、画像表示部１１６の表示画面における画像領域１１６Ｓに動物パーツ画像、建物パーツ画像及び道路パーツ画像の各々を配置して一つの学習用データを作成した後、この配置のレイアウトの変更、あるいは動物パーツ画像、建物パーツ画像、道路パーツ画像のそれぞれのデータ拡張処理を行なうことにより、作成した学習用データの変形バージョンを生成することにより、学習用データのバリエーションを容易に増加させ、容易に大量の学習用データを得ることができる。
【００８４】
また、図１に示す学習データ生成システム１及び図７に示す学習データ生成システム１０の各々の学習用入力画像及び学習用変更画像からなる学習データの生成の処理を行なう機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、インフラ設備の不良の発生の予測値の算出及び各指標値による点検の優先度の算出の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８５】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８６】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８７】
１，１０…学習データ生成システム
１１，１１１…制御部
１２，１１２…パーツ画像選択部
１３…文字列生成部
１４，１１４…形状拡張部
１５，１１５…複合画像生成部
１６，１１６…画像表示部
１６Ｓ，１１６Ｓ…画像領域
１７…象徴図形データベース
１８…一般図形データベース
１９…文字図形データベース
２０，１２０…学習用画像データ記憶部
１１７…動物図形データベース
１１８…建物図形データベース
１１９…道路図形データベース
【図１】
2020102041.tif 000003
【図２】
2020102041.tif 000004
【図３】
2020102041.tif 000005
【図４】
2020102041.tif 000006
【図５】
2020102041.tif 000007
【図６】
2020102041.tif 000008
【図７】
2020102041.tif 000009
【図８】
2020102041.tif 000010
【図９】
2020102041.tif 000011