(57)【要約】【課題】特徴量抽出器を含み、生成器を含まず、入力される画像の認識処理を行う情報変換器である画像認識器の半教師あり学習を、学習同士の競合の可能性をより低減しつつ行うことを目的とする。【解決手段】  特徴量抽出器を含み、生成器を含まない画像認識器の学習に用いられる学習データを取得し、取得された学習データに含まれるラベル付きの画像を用いた教師あり学習に用いられる第１の指標と、学習データに含まれる画像に基づいて取得される２以上の画像それぞれが特徴量抽出器に入力された場合に出力される特徴量データ同士の関係に関し、教師なし学習に用いられる第２の指標と、を用いて、学習データに含まれる画像に基づいて取得される２以上の画像それぞれが画像認識器に入力された場合に出力される出力データ同士の関係に関し、教師なし学習に用いられる第３の指標を用いずに、画像認識器を学習する。【選択図】図４
2019207561.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像に基づいて前記入力された画像の特徴量を抽出する情報変換器である特徴量抽出器を含み、画像を出力する情報変換器である生成器を含まず、前記特徴量抽出器により出力される特徴量に基づいて前記画像の特性を示す出力データを出力する情報変換器である画像認識器の学習に用いられる画像である学習データを取得する取得手段と、
前記取得手段により取得された前記学習データに含まれるラベル付きの画像を用いた前記画像認識器の教師あり学習に用いられる第１の指標と、前記学習データに含まれる画像に基づいて取得される２以上の画像それぞれが前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量同士の関係に関し、前記画像認識器の教師なし学習に用いられる第２の指標と、を用いて、前記学習データに含まれる画像に基づいて取得される２以上の画像それぞれが前記画像認識器に入力された場合に前記画像認識器から出力される出力データ同士の関係に関し、前記画像認識器の教師なし学習に用いられる第３の指標を用いずに、前記画像認識器を学習する学習手段と、
を有する情報処理装置。
【請求項２】
前記第２の指標は、前記取得手段により取得された前記学習データに含まれる画像と、前記画像に摂動が加えられた画像である摂動画像と、のそれぞれが前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量同士の差に関する指標を含む請求項１記載の情報処理装置。
【請求項３】
前記第２の指標は、前記取得手段により取得された前記学習データに含まれるクラスの異なる複数の画像それぞれが前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量同士の関係に関する指標を含む請求項１又は２記載の情報処理装置。
【請求項４】
前記第２の指標は、前記取得手段により取得された前記学習データに含まれるクラスの異なる複数の画像それぞれが前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量が示すベクトル同士のなす角度に関する指標を含む請求項３記載の情報処理装置。
【請求項５】
前記第２の指標は、前記取得手段により取得された前記学習データに含まれる１つの画像を元画像として、前記元画像に基づいて取得された複数の画像に含まれる画像である基準画像が前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量である基準特徴量と、前記複数の画像に含まれる前記基準画像と異なる他の画像が前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量と、の差に関する指標を含み、
前記複数の画像それぞれは、領域集合群に含まれる領域集合ごとに、前記元画像における前記領域集合に含まれる領域が前記元画像と異なる他の画像に変更された画像であり、
前記基準画像は、前記複数の画像に含まれる画像との間での類似の度合の比較の基準となる画像であり、
前記領域集合群に含まれる領域集合それぞれは、前記元画像に定められた領域の集合であり、包含関係によって順序付けられている請求項１乃至４何れか１項記載の情報処理装置。
【請求項６】
前記第２の指標は、前記基準特徴量と、前記複数の画像に含まれる前記基準画像と異なる他の画像が前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量と、の差と、前記基準特徴量と、前記複数の画像に含まれる前記基準画像とも前記他の画像とも異なる画像が前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量と、の差と、の関係に関する指標を含む請求項５記載の情報処理装置。
【請求項７】
前記領域集合群に含まれる領域集合それぞれは、前記元画像における予め定められた複数の領域それぞれの前記元画像から抽出される前記元画像の特性を示す特性量に対する影響の度合を示す指標である領域感度に基づいて、前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている請求項５又は６記載の情報処理装置。
【請求項８】
前記領域集合群に含まれる領域集合それぞれは、前記特性量を示すスカラー値の関数が前記元画像に関して１回、微分されることで求まる前記領域感度に基づいて、前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている請求項７記載の情報処理装置。
【請求項９】
前記画像認識器は、前記特徴量抽出器により抽出された特徴量を他のデータに変換する情報変換器である識別器を更に含み、入力された画像から前記特徴量抽出器により抽出された特徴量が前記識別器により変換されたデータを識別量として、前記識別量に基づいて、前記入力された画像が予め定められた複数のクラスの何れに属するかを示す事後確率分布を、出力データとして出力する情報変換器であり、
前記特性量は、前記識別量の要素のうち値が最大のもの、又は、前記事後確率分布に含まれる事後確率のうち値が最大のものである請求項７又は８記載の情報処理装置。
【請求項１０】
前記画像認識器は、前記特徴量抽出器により抽出された特徴量を他のデータに変換する情報変換器である識別器を更に含み、入力された画像から前記特徴量抽出器により抽出された特徴量が前記識別器により変換されたデータを識別量として、前記識別量を、出力データとして出力する情報変換器であり、
前記特性量は、前記識別量のノルムの２乗である請求項７又は８記載の情報処理装置。
【請求項１１】
前記第２の指標は、前記基準特徴量と、前記複数の画像に含まれる前記基準画像と異なる他の画像が前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量と、の差と、前記他の画像が前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量と、前記複数の画像に含まれ、前記他の画像とも前記基準画像とも異なり、前記他の画像と同様の領域が前記元画像と異なる画像が前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量と、の差と、の関係に関する指標を含む請求項５乃至１０何れか１項記載の情報処理装置。
【請求項１２】
前記第１の指標は、前記取得手段により取得された前記学習データに含まれるラベル付きのデータが前記画像認識器に入力された場合に前記画像認識器から出力される出力データに関する指標を含む請求項１乃至１１何れか１項記載の情報処理装置。
【請求項１３】
前記第１の指標は、前記取得手段により取得された前記学習データに含まれるラベルデータが前記画像認識器に入力された場合に前記画像認識器から出力される出力データと、前記ラベルデータのラベルに対応するデータと、の関係に関する指標を含む請求項１２記載の情報処理装置。
【請求項１４】
前記画像認識器は、入力された画像が、複数のクラスのうちの何れのクラスに属するかを示す出力データを出力する情報変換器である請求項１乃至１３何れか１項記載の情報処理装置。
【請求項１５】
前記画像認識器は、入力された画像が、複数のクラスのうちのそれぞれのクラスに属する確率を示す出力データを出力する情報変換器であり、
前記学習手段は、前記第１の指標と、前記第２の指標と、前記取得手段により取得された前記学習データに含まれるラベルなしのデータがそれぞれ単独で前記画像認識器に入力された場合に前記画像認識器から出力される出力データが示す単独の事後確率分布に関し、前記画像認識器の教師なし学習に用いられる第４の指標と、を用いて、前記第３の指標を用いずに、前記画像認識器を学習する請求項１４記載の情報処理装置。
【請求項１６】
前記特徴量抽出器は、ニューラルネットワークであり、
前記画像認識器は、ニューラルネットワークである請求項１乃至１５何れか１項記載の情報処理装置。
【請求項１７】
情報処理装置が実行する情報処理方法であって、
入力された画像に基づいて前記入力された画像の特徴量を抽出する情報変換器である特徴量抽出器を含み、画像を出力する情報変換器である生成器を含まず、前記特徴量抽出器により出力される特徴量に基づいて前記画像の特性を示す出力データを出力する情報変換器である画像認識器の学習に用いられる画像である学習データを取得する取得ステップと、
前記取得ステップで取得された前記学習データに含まれるラベル付きの画像を用いた前記画像認識器の教師あり学習に用いられる第１の指標と、前記学習データに含まれる画像に基づいて取得される２以上の画像それぞれが前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量同士の関係に関し、前記画像認識器の教師なし学習に用いられる第２の指標と、を用いて、前記学習データに含まれる画像に基づいて取得される２以上の画像それぞれが前記画像認識器に入力された場合に前記画像認識器から出力される出力データ同士の関係に関し、前記画像認識器の教師なし学習に用いられる第３の指標を用いずに、前記画像認識器を学習する学習ステップと、
を含む情報処理方法。
【請求項１８】
コンピュータを、請求項１乃至１６何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
ラベル付きの画像を用いて、情報変換器を学習する教師あり学習が行われている。しかし、ラベル付きの画像は、画像にラベルを付与するという作業があり、収集するのに手間がかかる。対して、ラベルなしの画像は、収集が容易である。そのため、ラベル付きの画像に加えて、ラベルなしの画像も学習に活用して、情報変換器の汎化性能を向上させたいと要望されていた。ラベル付きの画像に加えて、ラベルなしの画像を利用して学習を行う半教師あり学習という手法がある。半教師あり学習は、ラベル付きの学習データを用いて教師あり学習を行い、ラベルの有無に関係なく学習データを利用して教師なし学習を行う手法である。
教師なし学習の手法には、入力された画像と、画像を出力する情報変換器である生成器から出力された画像と、を用いて、その生成器を含む情報変換器を教師なし学習する手法がある。
このような手法には、非特許文献１、非特許文献２に開示されているＧｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ（ＧＡＮ）がある。
ＧＡＮでは、乱数から入力された画像と同じような画像を生成するＧｅｎｅｒａｔｏｒと、入力された画像とＧｅｎｅｒａｔｏｒにより生成された画像とを識別するｄｉｓｃｒｉｍｉｎａｔｏｒと、を、入力された画像とＧｅｎｅｒａｔｏｒにより生成された画像とを用いて併せて学習する。
【０００３】
このような手法においては、入力された画像以外に、生成器から出力された画像を用いることで、入力された画像のみを用いる場合に比べて、学習の精度の向上が期待できる。しかし、学習に用いられる画像を生成する生成器についても学習する必要があるため、生成器について学習しない場合に比べて、学習するパラメータの数が増大したり、学習に効果的な画像をＧｅｎｅｒａｔｏｒに生成させる工夫が必要となったりするため、学習に係る負担が大きくなる。
そこで、画像を生成する生成器を用いずに、入力された画像に基づいて入力された画像と異なる画像を取得し、取得した画像と入力された画像とを用いて、情報変換器を教師なし学習する手法がある。
このような手法により、入力された画像から画像の特徴量を抽出する情報変換器である特徴量抽出器を含み、画像を生成する生成器を含まない情報変換器を教師なし学習することが行われている。
例えば、非特許文献３に開示されているＶｉｒｔｕａｌ  Ａｄｖｅｒｓａｒｉａｌ  Ｔｒａｉｎｉｎｇ（ＶＡＴ）では、以下のようにして情報変換器の教師なし学習が行われる。
【０００４】
ＶＡＴは入力画像をＫ個のクラスのどれかに分類するＫクラス分類問題を扱っており、そのために、識別器からの出力である識別量を、さらに、ソフトマックス関数で変換して、入力画像がＫ個のそれぞれのクラスに属する確率を示す、事後確率分布を情報変換器の最終出力とする。入力画像を単位長のベクトルであるｒの方向に微小な大きさだけ摂動させた画像を摂動画像とする。入力画像が情報変換器に入力された場合に出力される事後確率分布と、摂動画像が情報変換器に入力された場合に出力される事後確率分布と、のクロスエントロピーが最大となる場合のベクトルｒを、ａｄｖｅｒｓａｒｉａｌ  ｄｉｒｅｃｔｉｏｎを向いたベクトルｒadとして求める。そして、入力画像に対する情報変換器の出力である事後確率分布と、入力画像をｒadの方向に微小な大きさだけ摂動させた摂動画像に対する情報変換器の出力である事後確率分布と、のクロスエントロピーを最小化させるように、情報変換器のパラメータを学習する。
即ち、ＶＡＴにおける教師なし学習は、情報変換器が最も間違いやすい入力画像の認識を、間違えないようにするための学習とみなすことができる。このように、ＶＡＴでは、「入力画像とその摂動画像とが情報変換器の最終出力からなる事後確率分布空間の中で近い」という価値観での学習を採用している。即ち、ＶＡＴでは、入力画像と、他の画像である入力画像の摂動画像との、２枚の画像を用いて、情報変換器の教師なし学習を行っている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｔｉｍ  Ｓａｌｉｍａｎｓ，  Ｉａｎ  Ｇｏｏｄｆｅｌｌｏｗ，  Ｗｏｊｃｉｅｃｈ  Ｚａｒｅｍｂａ，  Ｖｉｃｋｉ  Ｃｈｅｕｎｇ，  Ａｌｅｃ  Ｒａｄｆｏｒｄ，  ａｎｄ  Ｘｉ  Ｃｈｅｎ．  Ｉｍｐｒｏｖｅｄ  ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒ  ｔｒａｉｎｉｎｇ  ｇａｎｓ．  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１６０６．０３４９８，  ２０１６．
【非特許文献２】Ｚｉｈａｎｇ  Ｄａｉ，  Ｚｈｉｌｉｎ  Ｙａｎｇ，  Ｆａｎ  Ｙａｎｇ，  Ｗｉｌｌｉａｍ  Ｗ．  Ｃｏｈｅｎ，  ａｎｄ  Ｒｕｓｌａｎ  Ｓａｌａｋｈｕｔｄｉｎｏｖ．  Ｇｏｏｄ  ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ  ｌｅａｒｎｉｎｇ  ｔｈａｔ  ｒｅｑｕｉｒｅｓ  ａ  ｂａｄ  ｇａｎ．  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１７０５．０９７８３ｖ３，  ２０１７．
【非特許文献３】Ｔａｋｅｒｕ  Ｍｉｙａｔｏ，  Ｓｈｉｎ−ｉｃｈｉ  Ｍａｅｄａ，  Ｍａｓａｎｏｒｉ  Ｋｏｙａｍａ，  ａｎｄ  Ｓｈｉｎ  Ｉｓｈｉｉ．  Ｖｉｒｔｕａｌ  ａｄｖｅｒｓａｒｉａｌ  ｔｒａｉｎｉｎｇ：  ａ  ｒｅｇｕｌａｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ  ｆｏｒ  ｓｕｐｅｒｖｉｓｅｄ  ａｎｄ  ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ  ｌｅａｒｎｉｎｇ．  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔａｒＸｉｖ：１７０４．０３９７６，  ２０１７．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特徴量抽出器を含み、画像の生成器を含まない情報変換器に対する半教師あり学習において、ＶＡＴのように、入力された画像と入力された画像に基づいて生成器を用いずに取得された画像とを用いた教師なし学習が行われている。
このような半教師あり学習において、入力された画像と別途生成された画像との、２枚以上の画像を用いた情報変換器の教師なし学習を、複数併せて実行する際に、学習同士が競合する場合がある。
例えば、ＶＡＴの学習に、「異なるクラスに属する画像は似ていない」という価値観による学習、「ラベルの有無には関わらず、画像が有するｆｌａｖｏｒ（特徴）を把握する」という価値観による学習を組み込むことを考える。
「異なるクラスに属する画像は似ていない」という価値観による学習は、サポートベクトルマシン（ＳＶＭ）における「識別領域間の距離に相当するマージン」を広げて汎化性能を強化する学習に対応する。
「画像が有するｆｌａｖｏｒを把握する」という価値観による学習」は、入力された画像の全体的な特徴を把握する学習に相当し、「ラベルなし画像」を最大限に活用することを実現する。例えば、オートエンコーダ等の手法で実現できる学習である。
【０００７】
ＶＡＴの機構の中に、このような学習を組み込むことができれば、情報変換器の学習によって、情報変換器がより高い汎化能力を獲得することが期待できる。しかし、ＶＡＴの機構の中に、これらを組み込むと、以下のような問題が生じる。
「異なるクラスに属する画像は似ていない」という価値観による学習を、情報変換器の事後確率分布空間に組み込むことが考えられる。「異なるクラスに属する画像」であるから、入力画像には「ラベル付き画像」が使用される。したがって、「ラベル付き画像」に対する事後確率分布は、その画像が属するクラスに対する事後確率のみが１となり、他のクラスに属する事後確率が０である事後確率分布に定まっており、２枚の異なるクラスに属する画像間の事後確率分布を離すという概念が定義できない。したがって、「異なるクラスに属する画像は似ていない」という価値観を反映する余地がない。
そのために、「異なるクラスに属する画像は似ていない」という価値観による学習は、事後確率分布空間ではなく、特徴量抽出器の出力である特徴量の空間で構成されることになる。
【０００８】
したがって、ＶＡＴに「異なるクラスに属する画像は似ていない」という価値観による学習を組み込む場合、「入力画像とその摂動画像とが似ている」という価値観での学習（ａｄｖｅｒｓａｒｉａｌ  ｔｒａｉｎｉｎｇ）は、情報変換器の最終出力から構成される事後確率分布空間で実施し、「異なるクラスに属する画像は似ていない」という価値観による学習は、情報変換器の中間の出力である特徴量から構成される特徴量空間で実施することになる。
そのため、ａｄｖｅｒｓａｒｉａｌ  ｔｒａｉｎｉｎｇでは、特徴量抽出器と識別器との両方のパラメータの総合力で、入力画像とその摂動画像とが事後確率分布空間の中で近くなることを実現するように学習が行われることとなる。そのため、ａｄｖｅｒｓａｒｉａｌ  ｔｒａｉｎｉｎｇの結果、入力画像から抽出された特徴量と摂動画像から抽出された特徴量とが近くなることが実現されるとは限らない。例えば、ａｄｖｅｒｓａｒｉａｌ  ｔｒａｉｎｉｎｇで学習されたパラメータを持つ特徴量抽出器に、入力画像とその摂動画像とをそれぞれ入力したとき、特徴量抽出器が出力する特徴量同士の差が、学習される前のパラメータを用いて抽出された前記入力画像とその摂動画像との特徴量同士の差よりも大きくなることが生じ得る。なぜなら、大きくなった前記特徴量同士の差が、識別器の方で調整され、前記入力画像とその摂動画像との事後確率分布同士の差を、減少させることができるので、その結果として、特徴量同士の差は大きいが、事後確率分布同士の差は小さいという現象が起き得る。
【０００９】
対して、「異なるクラスに属する画像は似ていない」という価値観による学習では、特徴量抽出器のパラメータだけを学習対象として、「異なるクラスに属する画像の特徴量同士の差を大きくする」という学習を進める。そのため、ａｄｖｅｒｓａｒｉａｌ  ｔｒａｉｎｉｎｇと、「異なるクラスに属する画像は似ていない」という価値観による学習とは、特徴量空間での画像類似度という観点から、競合が発生する場合がある。ここで、競合とは、学習されたパラメータが、一方の学習にとっては有利になるが、他の学習にとっては不利になることである。
したがって、「異なるクラスに属する画像は似ていない」という価値観による学習による学習結果と、ａｄｖｅｒｓａｒｉａｌ  ｔｒａｉｎｉｎｇによる学習結果と、の間に不整合が発生して、学習効率が低下する可能性がある。
【００１０】
「画像が有するｆｌａｖｏｒ（特徴）を把握する」という価値観による学習は、ラベルなし画像を含めた画像を用いて行うことができる。ラベルの情報を用いることができないため、「画像が有するｆｌａｖｏｒを把握する」という価値観による学習は、特徴量抽出器の出力である特徴量の空間で実現することになる。即ち、「画像が有するｆｌａｖｏｒを把握する」という価値観による学習は、学習データに対する特徴量抽出器の出力である特徴量に基づいて行われる。
したがって、「異なるクラスに属する画像は似ていない」という価値観による学習の場合と同様に、「画像が有するｆｌａｖｏｒを把握する」という価値観による学習をＶＡＴに組み込むと、学習効率が低下する可能性がある。
以上のように、「異なるクラスに属する画像は似ていない」という価値観による学習、あるいは、「画像が有するｆｌａｖｏｒを把握する」という価値観による学習を、ＶＡＴと組み合わせて同時実行した場合には、学習同士が競合する可能性がある。
そこで、本発明は、特徴量抽出器を含み、生成器を含まず、入力される画像の認識処理を行う情報変換器である画像認識器の半教師あり学習を、学習同士の競合の可能性をより低減しつつ行うことを目的とする。
【課題を解決するための手段】
【００１１】
そこで、本発明の情報処理装置は、入力された画像に基づいて前記入力された画像の特徴量を抽出する情報変換器である特徴量抽出器を含み、画像を出力する情報変換器である生成器を含まず、前記特徴量抽出器により出力される特徴量に基づいて前記画像の特性を示す出力データを出力する情報変換器である画像認識器の学習に用いられる画像である学習データを取得する取得手段と、前記取得手段により取得された前記学習データに含まれるラベル付きの画像を用いた前記画像認識器の教師あり学習に用いられる第１の指標と、前記学習データに含まれる画像に基づいて取得される２以上の画像それぞれが前記特徴量抽出器に入力された場合に前記特徴量抽出器から出力される特徴量同士の関係に関し、前記画像認識器の教師なし学習に用いられる第２の指標と、を用いて、前記学習データに含まれる画像に基づいて取得される２以上の画像それぞれが前記画像認識器に入力された場合に前記画像認識器から出力される出力データ同士の関係に関し、前記画像認識器の教師なし学習に用いられる第３の指標を用いずに、前記画像認識器を学習する学習手段と、を有する。
【発明の効果】
【００１２】
本発明によれば、特徴量抽出器を含み、生成器を含まず、入力される画像の認識処理を行う情報変換器である画像認識器の半教師あり学習を、学習同士の競合の可能性をより低減しつつ行うことができる。
【図面の簡単な説明】
【００１３】
【図１Ａ】図１Ａは、画像認識器の一例を説明する図である。
【図１Ｂ】図１Ｂは、画像認識器の一例を説明する図である。
【図２】図２は、情報処理装置のハードウェア構成の一例を示す図である。
【図３】図３は、情報処理装置の機能構成の一例を示す図である。
【図４】図４は、情報処理装置の処理の一例を示すフローチャートである。
【図５】図５は、領域のパターンの一例を示す図である。
【図６】図６は、生成された学習データの一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面に基づいて説明する。
＜実施形態１＞
（本実施形態の処理の概要）
本実施形態では、入力された画像から画像の特徴量を抽出する情報変換器である特徴量抽出器を含み、画像を出力する情報変換器である生成器を含まない情報変換器に対して半教師あり学習を行う処理であって、学習データ内の画像とその画像から生成された画像とのそれぞれに対する特徴量抽出器の出力に関する指標に基づいて教師なし学習を行う処理について説明する。情報変換器は、データの変換に用いられるパラメータを有し、そのパラメータに基づいて入力されたデータを他のデータに変換する。情報変換器の学習とは、定められた指標に基づいて、情報変換器のパラメータを更新することである。
半教師あり学習とは、ラベル付き画像とラベルなし画像とを含む学習データを用いて、教師あり学習と併せて教師なし学習を行う手法のことである。また、教師なし学習とは、学習データが入力された際に学習対象の情報変換器が出力すべきデータ（ラベル）を用いずに行われる学習である。また、教師あり学習とは、学習データが入力された際に学習対象の情報変換器が出力すべきデータ（ラベル）が与えられた状況で、与えられたそのデータ（ラベル）を用いて行われる情報変換器の学習である。
【００１５】
（学習対象の情報変換器）
図１Ａは、本実施形態での学習対象となる、Ｋクラス分類問題に適用する情報変換器の一例を説明する図である。以下では、画像の入力を受付け、受け付けた画像の特性を示す特性量を出力する情報変換器を、画像認識器とする。
本実施形態で学習対象は、図１Ａに示す画像認識器１００であるとする。以下では、画像認識器１００が出力する特性量のデータを、出力データとする。また、本実施形態では、画像認識器１００の学習処理を行う主体は、図２で後述する情報処理装置２００であるとする。画像認識器１００は、入力された画像ｘが予め定められたＫ個のクラスそれぞれに属する事後確率を示す事後確率分布を出力する情報変換器であり、情報処理装置２００の機能として実現される。Ｋの値は、予め定められているとする。本実施形態では、画像認識器１００は、ニューラルネットワークである。画像認識器１００は、特徴量抽出器１０１と識別器１０２とを含む。特徴量抽出器１０１は、入力された画像ｘから特徴量を抽出する情報変換器であり、本実施形態では、ニューラルネットワークである。識別器１０２は、特徴量を分類に必要なＫ次元の識別量に変換する情報変換器であり、本実施形態では、ニューラルネットワークである。識別量とは、特徴量抽出器１０１により抽出された特徴量が識別器１０２により変換されたデータであり、画像の特性を示す特性量の一例である。画像認識器１００は、特徴量抽出器を含み、画像を生成する情報変換器である生成器を含まない情報変換器の一例である。特徴量抽出器１０１のパラメータをθ、識別器１０２のパラメータをθfcとする。画像認識器１００は、パラメータθfcの識別器１０２において、パラメータθの特徴量抽出器１０１により出力されたｘの特徴量（以下では、ｆ（ｘ；θ）とする）を、Ｋ次元の識別量ｇ（ｘ；θ、θfc）に変換する。識別量ｇ（ｘ；θ、θfc）のｊ番目の要素ｇj（ｘ；θ、θfc）は、その値が大きい程、画像ｘがクラスｊに属する度合いが高いことを示す、実数量（負の値も取り得る）である。そして、画像認識器１００は、ソフトマックス関数を用いて、識別量ｇ（ｘ；θ、θfc）をＫ次元の事後確率分布ｇsm（ｘ；θ、θfc）に変換する。
【００１６】
本実施形態で画像認識器１００に入力される画像ｘは、Ｎｒ×Ｎｃ×Ｎｄ次元のベクトルとして表されることとする。Ｎｒ×Ｎｃは、画像ｘのサイズであり、例えば、６４０×４８０等である。Ｎｄは、画像ｘのチャネル数であり、本実施形態では、３であるとするが、１、２、４、５等他の値であってもよい。画像ｘのベクトルの要素それぞれは、画像ｘのチャネルごとの各ピクセルのピクセル値を示す。
本実施形態では、画像認識器１００は、入力された画像ｘが予め定められたＫ個のクラスそれぞれに属する事後確率を示す事後確率分布を出力する情報変換器であるとするが、入力された画像ｘのＫ次元の特性量を出力する情報変換器であるとしてもよい。その場合、画像認識器１００は、図１Ｂに示すような情報変換器であり、識別量ｇ（ｘ；θ、θfc）を最終的な出力として出力することとなる。即ち、この場合、画像認識器１００は、ｇ（ｘ；θ、θfc）にソフトマックス関数を用いた処理を施さないこととなる。
【００１７】
（情報処理装置２００の詳細）
図２は、情報処理装置２００のハードウェア構成の一例を示す図である。情報処理装置２００は、画像認識器１００の学習処理を行うパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置、デバイスに組み込まれたコンピュータ等の情報処理装置である。
情報処理装置２００は、ＣＰＵ２０１、主記憶装置２０２、補助記憶装置２０３、入力Ｉ／Ｆ２０４、出力Ｉ／Ｆ２０５、ネットワークＩ／Ｆ２０６を含む。各要素は、システムバス２０７を介して相互に通信可能に接続されている。
ＣＰＵ２０１は、情報処理装置２００を制御する中央演算装置である。主記憶装置２０２は、ＣＰＵ２０１のワークエリアやデータの一時的な記憶場所として機能するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。主記憶装置２０２は、記憶媒体の一例である。補助記憶装置２０３は、各種設定情報、各種プログラム、画像認識器１００のパラメータ（特徴量抽出器１０１のパラメータと識別器１０２のパラメータとを含む）の情報、画像認識器１００の学習に用いられる学習データ等を記憶する記憶装置である。補助記憶装置２０３は、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等である。補助記憶装置２０３は、記憶媒体の一例である。
【００１８】
入力Ｉ／Ｆ２０４は、マウス、キーボード、タッチパネル、タッチパッド等の入力装置との接続に用いられるインターフェースである。ＣＰＵ２０１は、入力Ｉ／Ｆ２０４を介して、入力装置からの情報の入力を受付ける。出力Ｉ／Ｆ２０５は、モニタ、スピーカ、タッチパネルの表示部等の出力装置との接続に用いられるインターフェースである。ＣＰＵ２０１は、出力Ｉ／Ｆ２０４を介して、出力装置に情報を出力する。ネットワークＩ／Ｆ２０６は、インターネットやＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）等のネットワークを介した外部の装置との間の通信に用いられるインターフェースである。ＣＰＵ２０１は、ネットワークＩ／Ｆ２０６を介して、外部の装置との間で通信を行う。
ＣＰＵ２０１が、補助記憶装置２０３等に記憶されたプログラムにしたがって処理を実行することで、図３で後述する機能、画像認識器１００の機能等の情報処理装置２００の機能、図４のフローチャートで後述する処理等の情報処理装置２００の処理が実現される。
【００１９】
図３は、情報処理装置２００の機能構成の一例である。情報処理装置２００は、画像生成部３０１、ミニバッチ生成部３０２、学習部３０３を含む。
画像生成部３０１は、ミニバッチ生成部３０２から入力された画像と、領域集合と、に基づいて、入力された画像に対して、入力された画像内の入力された領域集合に含まれる領域を、各ピクセルが乱数となる画像に変更する処理を行うことで、ＡＳＬによる画像認識器１００の学習に用いられる学習データとなる画像を生成する。画像生成部３０１は、学習により更新されるパラメータを用いずに予め定められた一定の手順で、入力された画像から他の画像を生成する機能構成要素であって、学習により更新されるパラメータを用いて入力された画像から他の画像を生成する情報変換器である生成器とは異なる。ここで、ＡＳＬとは、画像が有するｆｌａｖｏｒを把握するために使用される教師なし学習法のことで、その詳細は、（Ａｕｔｏ―Ｓｉｍｉｌａｒｉｔｙ  Ｌｅａｒｎｉｎｇの詳細）で後述する。また、画像生成部３０１は、ミニバッチ生成部３０２から入力された画像に摂動を加えた摂動画像を生成する。この摂動画像は、入力された画像に基づいて取得される画像の一例である。
ミニバッチ生成部３０２は、予め用意されたｋチャネルのラベル付き画像の集合から、予め定められた数Ｎ(label)minibatch個の画像｛ｘ(label)i；１＜＝ｉ＜＝Ｎ(label)minibatch｝を抽出する。以下では、Ｎ(label)minibatch個の画像｛ｘ(label)i；１＜＝ｉ＜＝Ｎ(label)minibatch｝を、画像ｘ(label)と総称する。本実施形態では、ｋは、３とするが、２以下でもよいし、４以上でもよい。
また、ミニバッチ生成部３０２は、予め用意されたｋチャネルのラベルなし画像の集合から、予め定められた数Ｎ(nolabel)minibatch個の画像｛ｘ(nolabel)i；１＜＝ｉ＜＝Ｎ(nolabel)minibatch｝を抽出する。以下では、Ｎ(nolabel)minibatch個の画像｛ｘ(nolabel)i；１＜＝ｉ＜＝Ｎ(nolabel)minibatch｝を、画像ｘ(nolabel)と総称する。
Ｎ(label)minibatchとＮ(nolabel)minibatchとの和を、Ｎminibatchとする。また、以下では、画像ｘ(label)と画像ｘ(nolabel)とを、画像ｘ(ld)と総称する。本実施形態では、ｘ(ld)i（１＜＝ｉ＜＝Ｎ(label)minibatch）＝ｘ(label)i（１＜＝ｉ＜＝Ｎ(label)minibatch）とする。また、ｘ(ld)i（Ｎ(label)minibatch＋１＜＝ｉ＜＝Ｎminibatch）＝ｘ(nolabel)j（ｊ＝ｉ−Ｎ(label)minibatch）とする。
ミニバッチ生成部３０２は、抽出したｘiに基づいて、画像生成部３０１を介して、画像認識器１００の学習に用いられる学習データの集合であるミニバッチを生成する。
学習部３０３は、ミニバッチ生成部３０２により生成されたミニバッチを用いて、画像認識器１００の学習を行う。
【００２０】
（Ａｕｔｏ―Ｓｉｍｉｌａｒｉｔｙ  Ｌｅａｒｎｉｎｇの詳細）
ここで、本実施形態で画像認識器１００の学習に用いる学習手法の１つであるＡｕｔｏ―Ｓｉｍｉｌａｒｉｔｙ  Ｌｅａｒｎｉｎｇ（以下では、ＡＳＬとする）について説明する。
学習データである画像中に存在する領域の集合である複数の領域集合｛Ω1、Ω2、・・・、ΩP-1、ΩP｝が、Ωp⊂Ωp+1  ＆  Ωp≠Ωp+1（１＜＝ｐ＜＝Ｐ−１）を満たすよう定められているとする。以下では、｛Ω1、Ω2、・・・、ΩP-1、ΩP｝を、領域集合群Ωとする。そのため、領域集合群Ωに含まれる領域集合は、それぞれが異なる領域集合であり、Ω1⊂Ω2⊂Ω3⊂・・・⊂ΩP-1⊂ΩPのように、包含関係により順位づけられていることとなる。即ち、領域集合群Ωに含まれる領域集合それぞれは、異なる領域集合であり、領域集合群Ωに含まれる領域集合のうち、含まれる全領域の面積が自身以下である領域集合を全て含むこととなる。
【００２１】
本実施形態では、Ω1は、空集合であるとする。また、ΩPは、入力画像の全領域を含む集合であるとする。しかし、Ω1は、空集合でないとしてもよいし、ΩPは、入力画像の全部でなく一部の領域を含む集合であるとしてもよい。
複数の領域集合群Ωに含まれる領域集合Ωp（１＜＝ｐ＜＝Ｐ）それぞれについて、以下の処理が行われるとする。即ち、入力画像ｘに対して、領域集合Ωpに含まれる領域の部分について入力画像と異なる画像に変更する処理である。以下では、入力画像ｘに対して領域集合Ωpに含まれる領域を変更する処理が施された画像を、画像ｘ（Ωp）とする。また、この場合、画像ｘは、画像ｘ（Ωp）の生成に用いられる画像であり、画像ｘ（Ωp）の元画像とする。画像ｘ（Ωp）は、入力された画像に基づいて取得される画像の一例である。これにより、入力画像１つにつき、入力画像内の領域集合Ωp（１＜＝ｐ＜＝Ｐ）それぞれに含まれる領域が変更された画像ｘ（Ω1）〜画像ｘ（ΩP）を取得できる。
【００２２】
Ωp⊂Ωp+1  ＆  Ωp≠Ωp+1（１＜＝ｐ＜＝Ｐ−１）なので、画像ｘ（Ω1）と画像ｘ（Ω2）とで共通する入力画像ｘのままである部分は、画像ｘ（Ω１）と画像ｘ（Ω3）とで共通する入力画像ｘのままである部分の全てを含み、画像ｘ（Ω1）と画像ｘ（Ω3）とで共通する入力画像ｘのままである部分よりも広い。そのため、画像ｘ（Ω2）は、画像ｘ（Ω3）よりも画像ｘ（Ω1）と類似すると仮定できる。また、同様に、画像ｘ（Ω3）は、画像ｘ（Ω4）よりも画像ｘ（Ω1）と類似すると仮定できる。このように、画像ｘ（Ωp）（２＜＝ｐ＜＝Ｐ−１）は、画像ｘ（Ωp+1）よりも画像ｘ（Ω1）と類似すると仮定できる。画像ｘ（Ω1）を基準画像とすると、情報処理装置２００は、基準画像との類似の度合いが順序付けられた画像ｘ（Ω2）〜画像ｘ（ΩP）（以下では、他の画像とする）を取得することができたこととなる。この一群の画像に含まれる他の画像と基準画像との類似の度合いが大きい程、特徴量抽出器１０１が基準画像、この他の画像それぞれから、より近い値の特徴量を抽出し、この他の画像と基準画像との類似の度合いが小さい程、より遠い値の特徴量を抽出することが望まれる。以下では、基準画像と比較される対象となる画像を、比較画像とする。
画像から抽出される特徴量が画像の特徴をより正確に捉える特徴量である程、その特徴量は、次のような性質があると仮定できる。即ち、複数の画像の類似の度合いが高い程、その複数の画像それぞれから抽出されるその特徴量それぞれは、互いに近い値となり、複数の画像の類似の度合いが低い程、その複数の画像それぞれから抽出されるその特徴量それぞれは、互いに遠い値となるという性質である。
【００２３】
ＡＳＬとは、このようにして取得される基準画像との間での類似度が順序付けられた複数の画像（画像ｘ（Ω1）〜画像ｘ（ΩP））を用いて、この複数の画像それぞれが特徴量を抽出する特徴量抽出器（本実施形態では特徴量抽出器１０１）に入力された場合に出力される特徴量データそれぞれの相互関係に関する指標（例えば、予め定められた評価関数）に基づいて、この特徴量抽出器を学習する手法である。即ち、ＡＳＬは、本実施形態では、画像認識器１００における特徴量抽出器１０１のパラメータの部分を学習する手法とみなすことができる。
ＡＳＬでは、特徴量抽出器１０１のパラメータを、複数の画像の類似の度合いが高い程、その複数の画像それぞれから抽出される特徴量それぞれが近い値となり、複数の画像の類似の度合いが低い程、その複数の画像それぞれから抽出される特徴量それぞれが遠い値となるように学習される。
ＡＳＬは、「画像が有するｆｌａｖｏｒ（特徴）を把握する」という価値観による学習の一例である。
ＡＳＬは、ラベルなし学習データとラベル付き学習データとの両方を使用して、それらの学習データのｆｌａｖｏｒを示す適切な特徴量を抽出するように、特徴量抽出器１０１の学習を進める手法である。ＡＳＬでは、特徴量抽出器１０１により学習データのｆｌａｖｏｒを適切に示すような特徴量が抽出できていない状態では、特徴量から識別器１０２を通して得られる識別量の識別精度も、事後確率分布の精度も十分な値とはならない。したがって、情報処理装置２００は、ラベル付き学習データを使用する教師あり学習を行うのに併せて、十分な量のラベルなし学習データを使用して、ＡＳＬによる学習データからｆｌａｖｏｒを適切に示すような特徴量を抽出できるようにする学習（以下では、ｆｌａｖｏｒ学習とする）を併せて実行することで、画像認識器１００の汎化性能をより向上させることができる。
【００２４】
しかし、ｆｌａｖｏｒ学習の目標と特定の画像を認識する目標とは異なる学習目標である。そのため、ＡＳＬと教師あり学習とを併せて実行するとき、学習の後半では、ＡＳＬが教師あり学習を阻害しないようにしなければならない。
ＡＳＬでは、領域集合群Ω＝｛Ω1、Ω2、・・・、ΩP-1、ΩP｝の構成と、画像ｘ（Ω1）〜画像ｘ（ΩP）それぞれの特徴量間の類似度学習と、の２つの処理が行われる。そこで、識別量や事後確率分布を活用して、画像ｘに含まれる複数の領域の画像の特性量に対する影響の度合いを示す指標（以下では、領域感度とする）を求め、領域感度の大きさに応じた確率で領域を選択して領域集合群Ωを生成することで、学習の後半において、ＡＳＬが教師あり学習を阻害しないようにすることができる。
ここで、「画像が有するｆｌａｖｏｒを把握する」という価値観による学習として、ＡＳＬではなくオートエンコーダを採用した場合を考える。オートエンコーダでは、入力画像と出力画像との差の２乗ノルムができるだけ小さくなるように学習するだけなので、学習の後半では、オートエンコーダが教師あり学習を阻害する。また、オートエンコーダでは、特徴量抽出器１０１以外に、特徴量から入力画像を再生するデコーダ部分のパラメータも学習するので、デコーダの表現能力が過剰である場合には、特徴量抽出器１０１だけを学習するＡＳＬに比較して、誤った学習（過学習）に陥る可能性がある。
【００２５】
（学習処理の詳細）
図４は、学習処理の一例を示すフローチャートである。図４を用いて、情報処理装置２００が学習データとなる画像を生成し、生成した学習データに基づいて、特徴量抽出器１０１を含む画像認識器１００を学習する処理を説明する。
Ｓ４０１において、ミニバッチ生成部３０２は、補助記憶装置２０３に予め記憶されているｋチャネルの画像の集合から、Ｎminibatch個の画像ｘ(ld)（Ｎ(label)minibatch個の画像ｘ(label)と、Ｎ(nolabel)minibatch個の画像ｘ(nolabel)と）を取得する。
Ｓ４０２において、ミニバッチ生成部３０２は、Ｓ４０１で抽出した画像ｘ(ld)から１つを選択する。以下では、Ｓ４０２で選択された画像を画像ｘ(ld)i（１＜＝ｉ＜＝Ｎminibatch）とする。
【００２６】
Ｓ４０３において、ミニバッチ生成部３０２は、Ｓ４０２で選択された画像ｘ(ld)i中の領域の集合である領域集合の集まりであり、Ωp⊂Ωp+1  ＆  Ωp≠Ωp+1（１＜＝ｐ＜＝Ｐ−１）を満たすような領域集合群Ωを生成する。
ここで、熊の画像かどうかを認識するタスクを考える。ＡＳＬに用いられる複数の画像を生成する際に、ピクセル値を元の画像と異なる画像に置換する対象となる領域集合群Ωが、ランダムに選択されたとする。入力画像ｘには、熊が写っているとする。この際、Ωp+1に含まれる領域のうち熊に関する全ての領域が、Ωpに含まれる熊に関する全ての領域と共通する場合がある。即ち、Ωp+1に含まれ、Ωpに含まれない領域が、熊と異なる背景等の領域となる場合である。この場合、画像ｘ（Ωp+1）が、画像ｘ（Ωp）に比べて、入力画像ｘ中の特徴のない領域のみが置換された画像となる。このような場合でも、画像ｘ（Ωp+1）の特徴量が、画像ｘ（Ωp）の特徴量と離れるように特徴量抽出器が学習される。このように、領域集合群Ωそれぞれに含まれる領域がランダムに選択された場合、生成される学習データが不適切なデータとなる場合がある。
そこで、本実施形態では、ミニバッチ生成部３０２は、以下のようにして領域集合群Ωを生成する。
領域集合群Ωは、ＡＬＳによる学習に用いられるデータを生成するために用いられる。ミニバッチ生成部３０２は、例えば、画像ｘ(ld)i中に予め定められた複数の領域（画像ｘ(ld)i中の各ピクセル）それぞれについて、特性量に対する影響の度合いを示す領域感度を決定する。領域感度が、値が大きい程、影響が大きいことを示す指標である場合、ある領域は、領域感度が大きい程、その画像の特徴を示し、認識対象に関する領域の可能性が高い領域となる。
ミニバッチ生成部３０２は、複数の領域それぞれについて求めた領域感度の値に基づいて、領域集合Ωに含ませる領域を、この複数の領域から選択することとなる。これにより、ミニバッチ生成部３０２は、領域集合Ωj+1に含まれ、領域集合Ωjに含まれない領域が、領域感度が他の領域に比べて相対的に高い、認識対象を含む可能性が相対的に高い領域となる可能性を向上できる。
【００２７】
ミニバッチ生成部３０２は、画像ｘ(ld)iの各ピクセルについて、領域感度を求める。本実施形態では、ミニバッチ生成部３０２は、画像ｘ(ld)iを画像ｘとし、画像ｘから特徴量抽出器１０１により抽出される特徴量を画像ｘの特性量として、以下の式（１）を用いて、画像ｘの各ピクセルの画像ｘの特性量に対する影響の度合である領域感度を示すベクトルであるｒmask（ｘ）を求める。ここで、画像ｘのサイズを、Ｎｒ×Ｎｃであるとする。また、画像ｘのチャネル数を、Ｎｄであるとする。ここで、ｘは、各要素が画像ｘのチャネルごとの各ピクセル値を示すＮｒ×Ｎｃ×Ｎｄ次元のベクトルとする。ｒmask（ｘ）は、Ｎｒ×Ｎｃ×Ｎｄ次元のベクトルであり、ｒmask（ｘ）の各要素は、画像ｘのチャネルごとの各ピクセルにおける領域感度を示す。また、以下では、ｋチャネルの座標（ａ、ｂ）を、座標（ａ、ｂ、ｋ）として表す。また、画像ｘが入力された場合に特徴量抽出器１０１から出力される特徴量を、ｆ（ｘ）として表す。また、特徴量抽出器１０１のパラメータがθである場合の特徴量ｆ（ｘ）は、ｆ（ｘ；θ）とも表すこととする。
【００２８】
【数１】
2019207561.tif 000003
【００２９】
式（１）は、正規化されたｘに関する特徴量の２乗ノルムの勾配ベクトルを、特徴量のピクセル変化率として求める式である。この勾配ベクトルは、画像ｘ中の座標（ａ、ｂ、ｋ）のピクセルのピクセル値を微小変動させた場合の特徴量ｆ（ｘ）の大きさが変化する度合を示す。式（１）中のｒは、Ｎr×Ｎc×Ｎd次元のベクトルであり、各要素が画像ｘのチャネルごとの各ピクセルにおけるピクセル値の変動量を示す。式（１）において、ベクトルの（ａ、ｂ、ｋ）要素とは、そのベクトルの要素のうち、画像ｘの座標（ａ、ｂ、ｋ）に対応する要素を示す。
【００３０】
また、ミニバッチ生成部３０２は、画像ｘ(ld)iを画像ｘとして、以下の式（２）〜（３）を用いて、ｒmask（ｘ）を求めることとしてもよい。式（２）〜（３）を用いて、変数ｒmask（ｘ）を求める方法について説明する。
【００３１】
【数２】
2019207561.tif 000004
【００３２】
特徴量ｆ（ｘ）は、１以上のｆdim次元のベクトルとして表される。そこで、特徴量ｆ（ｘ）のｊ番目の要素を、ｆj（ｘ）とする。定められた１以上の整数Ｆを用いて、｛｜ｆj（ｘ）｜（ｊ＝１、２、・・・、ｆdim）｝の中から、値の大きな順にＦ個の特徴量要素を取り出し、それらを、｛ｆj*（ｘ）（ｊ＝１、２、・・・、Ｆ）｝と表記する。これらの特徴量要素は、画像ｘの特徴量として主要な要素であると考えることができる。
そして、ミニバッチ生成部３０２は、取得した特徴量要素｛ｆj*（ｘ）（ｊ＝１、２、・・・、Ｆ）｝と、式（２）と、を用いて、画像ｘのピクセル（ａ、ｂ、ｋ）のピクセル値を変動させた場合に、特徴量要素ｆj*（ｘ）（ｊ＝１、２、・・・、Ｆ）の値の変化する度合の２乗和（特徴量ｆ（ｘ）の変化の度合の一例）を示すｒ〜mask（ｘ）（数式中では、「〜」記号は、ｒの真上に配置されている）を取得する。ｒ〜mask（ｘ）は、１つ以上のスカラー値の関数であるｆj*（ｘ）を画像ｘについて１回微分することで求まる。ミニバッチ生成部３０２は、取得したｒ〜mask（ｘ）を、式（３）を用いて正規化することで、ｒmask（ｘ）を取得する。
【００３３】
ミニバッチ生成部３０２は、求めたｒmask（ｘ）に基づいて、以下の式（４）を用いて、画像ｘの各ピクセルの、領域集合Ωへの選択されやすさを示す指標として、Ｍc（ｒmask（ｘ））を取得する。Ｍc（ｒmask（ｘ））は、Ｎr×Ｎc次元のベクトルであり、各要素が画像ｘの各ピクセル（本実施形態における画像ｘ中に定められた複数の領域）の、領域集合Ωへの選択されやすさを示す値である。
本実施形態では、ミニバッチ生成部３０２は、画像ｘ中のピクセルそれぞれについて、画像ｘから特徴量抽出器１０１により抽出される特徴量を、画像ｘの特性量として、この特性量に対する影響の度合いを示す領域感度を決定することとする。しかし、ミニバッチ生成部３０２は、画像ｘ中のピクセルそれぞれについて、画像ｘから特徴量抽出器１０１により抽出される特徴量以外の画像ｘの特性量に対する影響の度合いを示す領域感度を決定することとしてもよい。例えば、ミニバッチ生成部３０２は、画像ｘ中のピクセルそれぞれについて、識別器１０２から出力される識別量のデータを画像ｘの特性量として、識別器１０２からの出力に対する影響の度合いを示す領域感度を決定することとしてもよい。また、例えば、ミニバッチ生成部３０２は、画像ｘ中のピクセルそれぞれについて、ソフトマックス関数からの出力を画像ｘの特性量として、ソフトマックス関数からの出力に対する影響の度合いを示す領域感度を決定することとしてもよい。
【００３４】
【数３】
2019207561.tif 000005
【００３５】
そして、ミニバッチ生成部３０２は、例えば、以下のようにして、画像ｘについて、画像ｘ中の領域の集合を複数生成し、領域集合群Ωを生成する。
ミニバッチ生成部３０２は、例えば、０＝ｎ0＜＝（予め定められた０以上の整数（例えば、０等））＝ｎ1＜ｎ2＜ｎ3＜・・・＜ｎP（Ｐは、予め定められた３以上の自然数）なる関係を持つ整数の集合｛ｎp（ｐ＝０、１、２、・・・、Ｐ）｝を決定する。本実施形態では、ｎ1＝０とする。領域集合Ωpは、画像ｘの領域に予め定められた複数の領域（本実施形態では、画像中の各ピクセルの領域）から選択されたｎp個の領域の集合であるとする。領域集合Ω0は、空集合となる。また、本実施形態では、ｎ1＝０であるため、領域集合Ω１は、空集合となる。
【００３６】
画像ｘの領域に予め定められた複数の領域を、領域集合Ωimage（本実施形態では、画像ｘ中の各ピクセルの領域）とする。ミニバッチ生成部３０２は、Ωimage＝｛座標（ａ、ｂ）｜ａ＝１、２、・・・、Ｎｒ；ｂ＝１、２、・・・、Ｎｃ｝−Ω0（空集合）の領域から、Ｍc（ｒmask（ｘ））に応じた確率で、ｎ1−ｎ0個の領域（ピクセル）を非復元抽出する。そして、ミニバッチ生成部３０２は、抽出した領域の集合を、Ω1として取得する。本実施形態では、ｎ1−ｎ0が０なので、Ω1は、空集合となる。
次に、ミニバッチ生成部３０２は、Ωimage−Ω1から、Ｍc（ｒmask（ｘ））に応じた確率で、ｎ2−ｎ1個の領域（ピクセル）を非復元抽出する。そして、ミニバッチ生成部３０２は、抽出した領域と、Ω1に含まれる領域（本実施形態では、Ω1は空集合なのでなし）と、の和集合である領域集合Ω2を取得する。
【００３７】
次に、ミニバッチ生成部３０２は、Ωimage−Ω2の領域から、Ｍc（ｒmask（ｘ））に応じた確率で、（ｎ3−ｎ2）個の領域を非復元抽出し、抽出した領域とΩ2に含まれる領域との和集合を、領域集合Ω3として取得する。
更に、ミニバッチ生成部３０２は、Ωimage−Ω3の領域から、Ｍc（ｒmask（ｘ））に応じた確率で、（ｎ4−ｎ3）個の領域を非復元抽出し、抽出した領域とΩ3に含まれる領域との和集合を、領域集合Ω4として取得する。
ミニバッチ生成部３０２は、以下同様にして、Ωimage−Ωp-1の領域から、（ｎp−ｎp-1）個のピクセルを、Ｍc（ｒmask（ｘ））に応じた確率で、非復元抽出し、抽出した領域とΩp-1に含まれる領域との和集合を、Ωpとして取得する。
例えば、ミニバッチ生成部３０２は、以下の式（５）を用いて、画像ｘの各ピクセルについての選択される確率の分布を求める。そして、ミニバッチ生成部３０２は、求めた確率分布に基づいて、Ωimage−Ωp-1の領域から（ｎp−ｎp-1）個のピクセルを抽出する。式（５）で、ｒmask（ｘ）（ａ、ｂ）は、ｒmask（ｘ）の要素のうち、画像ｘの座標（ａ、ｂ）のピクセルに対応する要素（画像ｘの座標（ａ、ｂ）のピクセルの、領域集合Ωへの選択されやすさを示す指標）である。
【００３８】
【数４】
2019207561.tif 000006
【００３９】
ミニバッチ生成部３０２は、以上の処理を、ΩPを取得するまで繰り返す。これにより、ミニバッチ生成部３０２は、領域集合群Ω｛Ω1、Ω2、Ω3、・・・、ΩP｝を生成できる。このように、ミニバッチ生成部３０２は、Ｍc（ｒmask（ｘ））に応じた確率で、Ωpに含まれる領域を抽出した。これにより、ミニバッチ生成部３０２は、Ωpに含ませΩｐ−１に含ませない領域として、特徴量への影響が他の領域よりも相対的に大きな領域を抽出される可能性を向上できる。これにより、ミニバッチ生成部３０２は、ｘ（Ωp）を、ｘ（Ωp-1）に比べて、画像ｘの特徴量への影響が無視できない領域が他の画像に置換された画像となる可能性を向上できる。
また、ミニバッチ生成部３０２は、Ωpを取得する際に、以下のようにしてもよい。即ち、ミニバッチ生成部３０２は、Ωimage−Ωp-1の領域から、Ｍc（ｒmask（ｘ））の要素のうち値が大きいものから順に（ｎp−ｎp-1）個の要素を特定し、特定した要素に対応する座標のピクセルの領域を抽出して、抽出した領域とΩp-1の領域とを合わせて、Ωpとして取得することとしてもよい。
【００４０】
また、ミニバッチ生成部３０２は、以下のようにして、領域集合群Ωを生成することとしてもよい。
ミニバッチ生成部３０２は、例えば、Ωimageの領域から、Ｍc（ｒmask（ｘ））に応じた確率で、予め定められた個数の領域を抽出して、抽出した領域をΩ1とする。Ω1は、空集合であるとしてもよい。
そして、ミニバッチ生成部３０２は、Ωimage−Ω1の領域から、Ｍc（ｒmask（ｘ））に応じた確率で、予め定められた個数の領域を抽出して、抽出した領域とΩ1に含まれる領域との和集合をΩ2として取得する。以上の処理を、ミニバッチ生成部３０２は、Ωimageの領域を全部抽出するまで、繰り返すことで、領域集合群Ω｛Ω1、Ω2、Ω3、・・・、ΩP｝を生成してもよい。その場合、Ｐは、Ωimageの領域を全部抽出するまでに生成した領域集合の個数となる。
また、ミニバッチ生成部３０２は、生成した領域集合群Ω＝｛Ω1、Ω2、Ω3、・・・、ΩP｝に含まれるΩp（１＜＝ｐ＜＝Ｐ）に、Ωimageの領域のうち、対応するＭc（ｒmask（ｘ））の値が予め定められた閾値以上の領域が全て含まれる場合、｛Ωp+1、Ωp+2、・・・、ΩP｝については、領域集合群Ωから除外してもよい。画像ｘ（Ωp+1）、ｘ（Ωp+2）、・・・、ｘ（ΩP）については、画像内に対応するＭc（ｒmask（ｘ））の値が予め定められた閾値以上となる領域が含まれず、認識対象の特徴が含まれている可能性がより小さい画像となり、特徴量としてはどれも近しい値になるべき画像であり、学習に対する寄与が微細であるためである。ミニバッチ生成部３０２は、このような画像を除外することで、学習に係る処理の負担を軽減し、より精度よく特徴量抽出器１０１を含む画像認識器１００を学習することができる。この場合、ミニバッチ生成部３０２は、Ｐの値を、ｐの値に更新する。
【００４１】
また、ミニバッチ生成部３０２は、領域集合Ωp（１＜＝ｐ＜＝Ｐ）を取得する際に、以下のようにしてもよい。ミニバッチ生成部３０２は、（ｎp−ｎp-1）個の領域を抽出し、抽出した領域それぞれについて、領域を拡張する処理を行うこととしてもよい。ミニバッチ生成部３０２は、例えば、抽出したある領域について、その領域とその領域の周囲に設定された領域とを合わせた領域を、領域集合Ωpに含ませる領域として決定することとしてもよい。その領域の周囲に設定された領域のパターンは、例えば、図５に示す領域のパターンである。
ミニバッチ生成部３０２は、例えば、領域集合Ωp（１＜＝ｐ＜＝Ｐ）を取得する際に、抽出した領域を、図５の８通りのパターンからランダムに選択したパターンのようにその領域の周囲の領域を特定する。そして、ミニバッチ生成部３０２は、抽出した領域と、特定した領域と、を併せた領域を、領域集合Ωpに含ませる。その場合、例えば、領域集合Ωpの取得の際に抽出された領域と拡張された領域（例えば、図５の８パターン）とが、領域集合Ωp-1に含まれる全ての領域を合わせた領域に含まれてしまうことがある。即ち、Ωp＝Ωp-1となる場合がある。それによって、学習データを適切に生成できない場合がある。
そこで、ミニバッチ生成部３０２は、以下のような処理を行うこととしてもよい。例えば図５の例では、抽出された領域は、広さが７倍になるように拡張されている。即ち拡張率が７倍である。その場合、ミニバッチ生成部３０２は、以下のように決定されたｎ｛ｎ1、ｎ2、・・・、ｎP｝を用いることとしてもよい。即ち、ミニバッチ生成部３０２は、ｎp×抽出された領域の拡張率（図５の例では７）＜ｎp+1となるように決定されたｎを用いることとしてもよい。これにより、Ωp（１＜＝ｐ＜＝Ｐ）に含まれる全ての領域を合せた領域は、Ωp+1に含まれる全ての領域を合わせた領域よりも必ず狭くなる。即ち、Ω1⊂Ω2⊂・・・⊂ΩPが必ず成立することとなる。
ミニバッチ生成部３０２は、以上のような処理で、画像ｘ(ld)iについて、領域集合群Ωを生成する。以下では、画像ｘ(ld)iについて生成された領域集合群Ωを、Ω(i)とする。
【００４２】
Ｓ４０４において、ミニバッチ生成部３０２は、Ｓ４０２で選択した画像ｘ(ld)iと、Ｓ４０３で生成した領域集合群Ω(i)と、を画像生成部３０１に入力する。画像生成部３０１は、入力された領域集合群Ω(i)に含まれる領域集合それぞれについて、入力された画像ｘ(ld)i中の領域集合に含まれる領域を各ピクセルのピクセル値が乱数となる画像に変更することで、画像認識器１００の学習に用いられる学習データとなる画像ｘi（Ω(i)1）、ｘi（Ω(i)2）、・・・、ｘi（Ω(i)P-1）、ｘi（Ω(i)P）を生成する。
画像ｘi（Ω(i)p）は、画像ｘ(ld)iにおけるΩ(i)pが示す領域が各ピクセルのピクセル値が乱数となる画像に変更された画像である。以下では、｛画像ｘi（Ω(i)1）、ｘi（Ω(i)2）、・・・、ｘi（Ω(i)P-1）、ｘi（Ω(i)P）｝を、画像群ｘi（Ω(i)）とする。画像群ｘi（Ω(i)）は、基準画像である画像ｘi（Ω(i)1）との類似の度合いが順序付けられる画像群となる。また、以下では、ｘ1（Ω(1)）、ｘ2（Ω(2)）、・・・、ｘNminibatch-1（Ω(Nminibatch-1)）、ｘNminibatch（Ω(Nminibatch-1)）を、ｘ（Ω）と総称する。
また、画像生成部３０１は、入力された領域集合群Ω(i)に含まれる領域集合それぞれについて、入力された画像ｘ(ld)i中の領域集合が示す領域を予め定められた画像（例えば、ピクセル値が１２８の画像）に変更することで、画像認識器１００の学習に用いられる学習データとなる画像を生成してもよい。しかし、例えば、画像ｘ(ld)i中の変更対象の領域（Ω(i)それぞれが示す領域）が、この予め定められた画像に類似する場合、変更後の画像が元の画像と類似することとなるため、元の画像と特徴の異なる画像を生成することができない場合がある。そのため、画像生成部３０１は、画像ｘ(ld)i中の変更対象の領域を、各ピクセルのピクセル値が乱数となる画像に変更することで、元の画像と特徴の異なる画像を生成する可能性を向上させることができる。
【００４３】
また、画像認識器１００の学習に用いられる画像は、実行したい画像認識タスクに現れる画像とある程度以上に類似する方が望ましい。似ていない異なる画像同士を識別するよりも、似ているが異なる画像同士を識別する方が有用な場合があるためである。そこで、画像ｘ(ld)iが、実行したい画像認識タスクに現れる画像とある程度の関連性のある画像である場合であっても、領域集合群Ω(i)に含まれる領域集合が示す領域が変更された画像が、画像との関連性が学習に不適切な程に低下した画像となる場合がある。
そこで、画像生成部３０１は、画像ｘ(ld)i中の変更対象の領域全てにおける各ピクセルを、ピクセル値が乱数であり、変更対象の領域全てにおけるピクセル値の平均値が画像ｘ(ld)iの全領域におけるピクセル値の平均値であり、変更対象の領域全てにおけるピクセル値の分散値が画像ｘ(ld)iの全領域におけるピクセル値の分散値であるように変更することとしてもよい。このように、画像生成部３０１は、画像ｘ(ld)i中の変更対象の領域を、元の画像のピクセル値の特徴を維持したまま、変更することで、変更対象の領域が変更された画像が、実行したい画像認識タスクに現れる画像との関連性が学習に不適切な程に低下した画像となる可能性を低減できる。
【００４４】
図６は、画像生成部３０１により生成された学習データの一例を示す図である。図６を用いて、Ｐが３であり、Ω(i)1が空集合であり、Ω(i)2が画像ｘ(ld)iに予め定められた複数の領域（各ピクセルの領域）のうちの４個の領域を含む集合であり、Ω(i)3がΩ(i)2に含まれる領域を全て含み、画像ｘ(ld)iに予め定められた複数の領域（各ピクセルの領域）のうちの８個の領域である場合に、画像生成部３０１により生成される画像の一例を説明する。
画像６００は、画像生成部３０１により、画像ｘ(ld)iの領域のうち、Ω(i)1が示す領域を、各ピクセルのピクセル値が乱数となる画像に変更された画像である。Ω(i)1が空集合であるため、画像６００は、元の画像（画像ｘ(ld)i）そのままとなっている。
画像６０１は、画像生成部３０１により、画像ｘ(ld)iの領域のうち、Ω(i)2が示す領域を、各ピクセルのピクセル値が乱数となる画像に変更された画像である。４個の領域（領域６１１〜６１４）が、ピクセル値が乱数の画像に変更されていることが分かる。
画像６０２は、画像生成部３０１により、画像ｘ(ld)iの領域のうち、Ω(i)3が示す領域を、各ピクセルのピクセル値が乱数となる画像に変更された画像である。８個の領域（領域６１１〜６１４、及び領域６２１〜６２４）が、ピクセル値が乱数の画像に変更されていることが分かる。
【００４５】
認識対象が人であるとする。画像６００には、人の画像が写っている。領域６１１〜６１４、領域６２１〜６２４それぞれは、認識対象である人の領域上に存在する領域である。
画像６００と画像６０１とで共通する入力画像ｘ(ld)iのままである部分は、画像６００と画像６０２とで共通する入力画像ｘ(ld)iのままである部分の全てを含み、画像６００と画像６０２とで共通する入力画像ｘ(ld)iのままである部分よりも広い。そのため、画像６０１は、画像６０２よりも画像６００と類似すると仮定できる。このように、画像６０１、画像６０２の順に、画像６００と類似すると仮定できる。
本実施形態では、画像ｘ(ld)iは、ｋチャネル画像である。そのため、画像生成部３０１は、各チャネルの画像それぞれについて、領域集合群Ω(i)に含まれる領域集合が示す領域が各ピクセルのピクセル値が乱数となる画像に変更された画像を生成することとなる。図６の例では、画像６００〜６０２と同様に、画像中の領域集合群Ω(i)に含まれる領域集合それぞれが示す領域が変更された画像が、チャネルごとに合計３つ生成されることとなる。
【００４６】
Ｓ４０５において、ミニバッチ生成部３０２は、画像生成部３０１を介して、Ｓ４０２で選択した画像ｘ(ld)iに摂動を加えた画像である摂動画像を、入力画像とその摂動画像のそれぞれを特徴量抽出器１０１に入力したときに出力される特徴量同士の差の２乗ノルムが一番敏感に変動する画像として生成する。一方で、ＶＡＴでは、入力画像とその摂動画像のそれぞれを画像認識器１００に入力したときに出力される事後確率分布同士のクロスエントロピー（事後確率分布同士の差を定量化している）が一番敏感に変動する画像として、摂動画像を生成していた。本実施形態では、摂動画像の生成基準を、事後確率分布同士のクロスエントロピーの感度から特徴量同士の差の２乗ノルムの感度に変更している。
画像ｘ(ld)iを示すベクトルをｘとして、画像ｘに加えられる摂動を示すベクトルをｒとして、現在の特徴量抽出器１０１のパラメータをθkとすると、以下の式（６）が成り立つ。
【００４７】
【数５】
2019207561.tif 000007
【００４８】
そのため、｜｜ｆ（ｘ＋ｒ；θk）−ｆ（ｘ；θk）｜｜2に対する影響が最も大きくなる場合のｒを、ｒad（ｘ）とすると、ｒad（ｘ）の向きは、Ｈｅｓｓｉａｎ行列Ｈ（ｘ；θk）の最大固有値に対する固有ベクトルｕmaxの方向である。
ｕmaxの値は、例えば、べき乗法によって求めることができる。以下の式（７）に示す反復計算を繰り返すことで、ｄqの値がｕmaxの値に収束する。そこで、ミニバッチ生成部３０２は、例えば、式（７）の反復計算を、予め定められた回数繰り返し行うことで、ｕmaxの値を取得する。ミニバッチ生成部３０２は、ｄの初期値であるｄ0として、単位長さのランダムベクトルを用いる。そして、ミニバッチ生成部３０２は、求めたｕmaxをｒad（ｘ）とする。
【００４９】
【数６】
2019207561.tif 000008
【００５０】
しかし、式（７）の反復計算を正確に、複数回反復するのは、計算量が膨大となる。そこで、ミニバッチ生成部３０２は、非特許文献３に記載されている方法から類推することのできる方法で、ｒad（ｘ）を求めることとしてもよい。まず、以下の式（８）が成立する。式（８）中のξは、あらかじめ定められた実数のパラメータである。
【００５１】
【数７】
2019207561.tif 000009
【００５２】
そして、ミニバッチ生成部３０２は、式（８）が成り立つことを前提として、以下のアルゴリズムの処理（１．〜４．の処理）を行うことで、ｒadを求めてもよい。
１．単位長さのランダムベクトルｄの生成。絶対値が微小な（例えば、予め定められた閾値よりも小さな）実数ξの設定。
２．ｆ（ｘ；θk）を求める。
３．ｆ（ｘ＋ξｄ；θk）を求める。
４．以下の式（９）を用いてｒad（ｘ）を求める。なお、式（９）の分子にある勾配ベクトルは、ニューラルネットワークに対する通常のバックプロパゲーション計算によって効率的に求めることができる。
【００５３】
【数８】
2019207561.tif 000010
【００５４】
そして、ミニバッチ生成部３０２は、求めたｒad（ｘ）と、画像ｘと、予め定められた値の正数パラメータεと、を用いて、画像ｘの摂動画像を、ｘ＋ε｜｜ｘ｜｜ｒad（ｘ）として、生成する。
【００５５】
Ｓ４０６において、ミニバッチ生成部３０２は、Ｓ４０１で抽出した画像全てについて、Ｓ４０３〜Ｓ４０５の処理が完了したか否かを判定する。ミニバッチ生成部３０２は、Ｓ４０１で抽出した画像全てについて、Ｓ４０３〜Ｓ４０５の処理が完了したと判定した場合、Ｓ４０７の処理に進む。ミニバッチ生成部３０２は、Ｓ４０１で抽出した画像の中に、Ｓ４０３〜Ｓ４０５の処理が完了していない画像があると判定した場合、Ｓ４０２の処理に進む。
Ｓ４０７において、ミニバッチ生成部３０２は、Ｓ４０１で抽出した画像、Ｓ４０４、Ｓ４０５で生成した画像を画像認識器１００に対する学習に用いられる学習データの塊であるミニバッチとして決定し、ミニバッチの情報を主記憶装置２０２等に記憶する。
【００５６】
Ｓ４０８において、学習部３０３は、Ｓ４０７で決定されたミニバッチと、予め定められた複数の評価関数と、に基づいて、特徴量抽出器１０１と識別器１０２とを含む画像認識器１００を学習する。
Ｓ４０８の処理の詳細を説明する。学習部３０３は、補助記憶装置２０３から画像認識器１００のパラメータの情報を取得する。また、学習部３０３は、補助記憶装置２０３から予め定められた複数の評価関数の情報を取得する。
本実施形態では、情報処理装置２００は、画像認識器１００の学習に用いる指標として、４つの評価関数の重み付き総和である評価関数を用いる。画像認識器１００は、この４つの評価関数からなる評価関数の値を最適化（例えば、最小化、最大化等）するように、画像認識器１００のパラメータを更新していくこととなる。
この４つの評価関数について、説明する。この４つの評価関数を、それぞれＬADT、ＬRT、ＬASL、ＬCEとおく。ＬADT、ＬRT、ＬASLは、画像認識器１００に対する教師なし学習に関する評価関数である。ＬCEは、画像認識器１００に対する教師あり学習に関する評価関数である。ＬCEは、学習データに含まれるラベル付きの画像を用いた画像認識器１００の教師あり学習に用いられる第１の指標の一例である。これらの評価関数について説明する。
【００５７】
ＬADTは、「入力画像とＳ４０５で生成されたその摂動画像とが特徴量抽出器１０１の出力空間（特徴量空間）の中で近い」という価値観による学習に用いられる評価関数である。即ち、ＬADTは、入力画像に対する特徴量抽出器１０１の出力と、その摂動画像に対する特徴量抽出器１０１の出力と、の差が小さい程に、最適化されるような関数である。
本実施形態では、ＬADTは、以下の式（１０）であらわされる関数であるとする。学習部３０３は、ミニバッチに含まれるｘ(ld)1〜ｘ(ld)Nminibatchを、それぞれ、ｘ1〜ｘNminibatchとして、ミニバッチに含まれるｘ(ld)1〜ｘ(ld)Nminibatchそれぞれに対応する摂動画像を、ｘ1＋ε｜｜ｘ1｜｜ｒad（ｘ1）〜ｘNminibatch＋ε｜｜ｘNminibatch｜｜ｒad（ｘNminibatch）として、式（１０）を用いて、ＬADTの値を求める。ＬADTは、画像ｘと、画像ｘに摂動が加えられた画像と、のそれぞれが特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量データ同士の差の二乗ノルムを、ｘが特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量データの二乗ノルムで除した値を示す。ＬADTは、画像ｘと、画像ｘに摂動が加えられた画像と、のそれぞれが特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量データ同士の差に関する指標の一例である。
【００５８】
【数９】
2019207561.tif 000011
【００５９】
ＬASLは、画像認識器１００に対する（Ａｕｔｏ―Ｓｉｍｉｌａｒｉｔｙ  Ｌｅａｒｎｉｎｇの詳細）で説明した学習に用いられる評価関数である。この学習は、「画像が有するｆｌａｖｏｒを把握する」という価値観による学習の一例である。
本実施形態では、ＬASLは、以下の式（１１）で表される関数である。学習部３０３は、ミニバッチに含まれるｘ(ld)1〜ｘ(ld)Nminibatchを、それぞれ、ｘ1〜ｘNminibatchとして、ミニバッチに含まれるｘ(ld)1〜ｘ(ld)NminibatchそれぞれについてＳ４０４で生成された画像群をｘ1（Ω(1)）〜ｘNminibatch（Ω(Nminibatch)）として、式（１１）を用いて、ＬASLの値を求める。ＬASLは、画像ｘiと、画像ｘiとの類似度が順序付けられた画像群に含まれる画像と、のそれぞれが特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量データ同士の差の２乗ノルムを、画像ｘiと、画像ｘiとの類似度が順序付けられた画像に含まれる別の画像と、のそれぞれが特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量データ同士の差の２乗ノルムで除した値を示す。ＬASLは、基準画像が特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量データ（基準特徴量データとする）と、基準画像と異なる比較画像が特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量データと、の差に関する指標の一例である。
【００６０】
【数１０】
2019207561.tif 000012
【００６１】
即ち、本実施形態では、画像ｘi（Ω(i)）に含まれる一群の画像（ｘi（Ω(i)1）〜ｘi（Ω(i)P））のうち、類似の度合いの比較の対象となる画像をｘ（Ω(i)1）とする。即ち、評価関数ＬASLは、「ｆ（ｘi（Ω(i)1））とｆ（ｘi（Ω(i)p-1））とのユークリッド距離  ＜  ｆ（ｘi（Ω(i)1））とｆ（ｘi（Ω(i)p））とのユークリッド距離      （３＜＝ｐ＜＝Ｐ）」という大小関係が強化される程、小さくなるような関数である。大小関係の強化とは、大小関係を有する２つの対象のうち、大きい方がより大きく、小さい方がより小さくなることである。このような大小関係が強化されるということは、特徴量抽出器１０１が、ある画像と別の画像との類似の度合いが大きい程、これらの画像それぞれから、より近い値の特徴量を抽出するようになるということである。学習部３０３は、このような評価関数ＬASLを含む評価関数の値を最適化（本実施形態では、最小化）するように、特徴量抽出器１０１の各パラメータを学習する。
【００６２】
ＬRTは、「異なるクラスに属する画像は似ていない」という価値観による学習に用いられる評価関数である。即ち、ＬRTは、ラベル付きの入力画像に対する特徴量抽出器１０１の出力と、その画像とクラスの異なる他のラベル付きの入力画像に対する特徴量抽出器１０１の出力と、の差が大きい程に、最適化されるような関数である。本実施形態では、ラベル付きの画像には、その画像がどのクラスに属するかを示すデータ、その画像が画像認識器１００に入力された場合に出力されるべきデータ等がラベルデータとして付与されているとする。また、本実施形態では、ＬRTは、ラベル付きの入力画像に対する特徴量抽出器１０１の出力と、その画像と同じクラスのラベル付きの入力画像に対する特徴量抽出器１０１の出力と、の差が小さい程に、最適化されるような関数ではない。学習データ同士が、同じクラスに属するが、特徴量抽出器１０１の出力空間では、別々のクラスタに属する場合があるためである。
本実施形態では、ＬRTは、以下の式（１２）で表される関数のうちの何れか（ｃｏｓ（ｘ、ｙ）、ｃｏｓ2（ｘ、ｙ）の何れか）であるとする。学習部３０３は、ミニバッチに含まれるラベル付きの画像群であるｘ(label)から、互いにクラスの異なる２つの画像の組を、すべて抽出して、抽出した画像の組の集合をΡ(label)minibatchとして、式（１２）を用いて、ＬRTの値を求める。ＬRTは、クラスの異なる画像から抽出された特徴量を示すベクトル同士の角度差を示す。ＬRTは、クラスの異なる複数の画像それぞれが特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量データ同士の関係に関する指標の一例である。
【００６３】
【数１１】
2019207561.tif 000013
【００６４】
ＬCEは、画像認識器１００の教師あり学習に用いられる評価関数である。本実施形態では、ＬCEは、以下の式（１３）で表される関数である。画像認識器１００に画像が入力された場合に画像認識器１００から出力される事後確率分布データと、入力された画像のラベルとして与えられた画像認識器１００が出力すべき事後確率分布データと、の誤差を示す関数である。式（１３）中の関数ｇsmは、ｘ(label)ｉが画像認識器１００に入力された場合に画像認識器１００が出力する事後確率分布データを示す。式（１３）中の関数ｔは、ｘ(label)ｉが画像認識器１００に入力された場合に画像認識器１００が出力すべき事後確率分布（正解データ）を示す。ＬCEは、関数ｇsmが示す確率分布と、関数ｔが示す確率分布と、のクロスエントロピーを示す。ＬCEは、ラベル付きの画像を用いた画像認識器１００の教師あり学習に用いられる第１の指標の一例である。学習部３０３は、ミニバッチに含まれるｘ(label)と、ｘ(label)それぞれに付与されたラベルのデータ（事後確率分布データ）と、に基づいて、式（１３）を用いて、ＬCEの値を求める。
【００６５】
【数１２】
2019207561.tif 000014
【００６６】
学習部３０３は、この４種類の評価関数に対応する学習を、学習同士が競合する可能性をより低減させつつ実行することとなる。
より具体的には、学習部３０３は、求めたＬADT、ＬASL、ＬRT、ＬCEに基づいて、以下の式（１４）で表される総合的な評価関数Ｌの値を求める。式（１４）中のρRT、ρASL、ρADTそれぞれは、０以上の予め定められた値をとるチューニングパラメータである。
Ｌ＝ＬCE＋ρRTＬRT＋ρASLＬASL＋ρADTＬADT      （１４）
ＬADT、ＬRT、ＬASLのそれぞれは、学習データに含まれる画像に基づいて取得される２以上の画像それぞれが特徴量抽出器１０１に入力された場合に出力される特徴量同士の関係に関し、画像認識器１００の教師なし学習に用いられる第２の指標の一例である。また、ＬADT、ＬRT、ＬASLのうちの少なくとも２以上の組み合わせ（例えば、ＬADT、ＬRT、ＬASLのうちの少なくとも２以上が足し合わせ、重み付足し合わせ、掛け合わせ等されたもの）についても、第２の指標の一例となる。そのため、評価関数ＬのρRTＬRT＋ρASLＬASL＋ρADTＬADTの成分は、第２の指標の一例である。
【００６７】
そして、学習部３０３は、Ｌの値を最小化するように、画像認識器１００のパラメータを学習する。より具体的には、学習部３０３は、ミニバッチに含まれる画像と、画像認識器１００のパラメータと、Ｌと、に基づいて、確率勾配降下法（ＳＧＤ、Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ）、Ａｄａｍ等の最適化手法を用いて、画像認識器１００の各パラメータを学習する。これにより、学習部３０３は、画像認識器１００に対する教師あり学習（ＬCEに対応する学習）と、教師なし学習（ＬRT、ＬASL、ＬADTに対応する学習）と、を同時に実行することができる。
また、Ｌは、特徴量抽出器１０１により抽出される特徴量のサイズに関する制約を示す項を含むこととしてもよい。例えば、Ｌは、以下の式（１５）で表される項を含むこととしてもよい。
【００６８】
【数１３】
2019207561.tif 000015
【００６９】
式（１５）の項は、特徴量の集合｛ｆ（ｘi（Ω(i)p））  （１＜＝ｉ＜＝Ｎminibatch、  １＜＝ｐ＜＝Ｐ）｝に含まれる特徴量が示すベクトルの長さの重み付き平均値が指定された定数からは外れる程、大きくなる。式（１５）の項により、学習部３０３は、指定されたオーダのサイズの特徴量を抽出できるように、特徴量抽出器１０１を含む画像認識器１００を学習できる。
「ｆ（ｘi）とｆ（ｘi（Ω(i)p））とのユークリッド距離  ＜  ｆ（ｘi）とｆ（ｘi（Ω(i)p+1））とのユークリッド距離  （２＜＝ｐ＜＝Ｐ−１）」という大小関係がどのオーダのユークリッド距離で成立するのかが不定であるため学習が安定しない場合もある。そこで、学習部３０３は、（１５）の項を含む評価関数Ｌを用いることで、画像認識器１００の各パラメータをより安定して学習することができる。
式（１５）の項は、特徴量抽出器１０１に入力される画像それぞれが特徴量抽出器１０１に入力される場合に抽出される特徴量のサイズの制約に関する項の一例である。
【００７０】
ＬADT、ＬASL、ＬRTは、特徴量抽出器１０１の出力に関する関数であり、ＬCEは、画像認識器１００の出力に関する関数である。そのため、ＬCEに対応する学習と、ＬADT、ＬASL、ＬRTの何れかに対応する学習と、の間で学習の競合が生じる懸念が考えられる。しかし、ＬCEは、与えられた教師データ（入力画像のラベルとして与えられた事後確率分布（既知の確定値））と、入力画像に対する画像認識器１００の出力である事後確率分布（ｓｏｆｔｍａｘ関数からの出力値）と、の誤差に基づく評価関数である。即ち、ＬCEは、入力された１枚の画像から定まる１個の特性量（ｓｏｆｔｍａｘ関数の出力値）に関する関数である。
一方、ＬADT、ＬASL、ＬRTは、全て、２個以上の画像から定まる２個以上の特性量の相互関係（類似度）に関する関数である。そのため、ＬCEに対応する学習と、ＬADT、ＬASL、ＬRTに対応する学習と、の間では、競合は生じにくい。
【００７１】
ＬADTは、画像ｘの特徴量と画像ｘの摂動画像の特徴量との差ベクトルの大きさが、小さくなることを強制するための評価関数である。即ち、ＬADTは、入力空間  →  特徴量空間の写像ｆにおける近傍不変性を学習するための評価関数である。近傍不変性とは、似た画像同士は、特徴量空間においても近しい位置に存在する性質である。
ＬASLとＬRTとは、複数の画像同士の類似度が低い程、それらの画像の特徴量同士がお互いに離れていることを強制するための評価関数である。即ち、ＬASLとＬRTとは、写像ｆにおける分離保存性を学習するための評価関数である。したがって、ＬADTを用いた学習と、ＬASL、ＬRTを用いた学習と、の間では競合が発生しにくい。
ＬRTは、異なるクラスに属する２つのリアル画像の特徴量ベクトルが成す角度が大きくなるように強制するための評価関数である。即ち、ＬRTを用いた学習は、「２つの画像に関する特徴量の角度方向の学習」である。一方で、ＬASLは、入力される画像ｘと、画像｛ｘ（Ωp）  （ｐ＝１、２、・・・、Ｐ）｝の特徴量の差ベクトルの大きさを基準とした学習で、差ベクトルの角度成分と動径成分の両方を活用する学習である。したがって、ＬRTを用いた学習と、ＬASLを用いた学習と、の間では、競合が発生しにくい。
【００７２】
本実施形態では、学習部３０３は、式（１４）の評価関数Ｌを用いて、画像認識器１００を学習することとした。しかし、学習部３０３は、Ｌの代わりに、Ｌにおける各項の逆数を含む評価関数を用いて学習を行うこととしてもよい。その場合、学習部３０３は、その評価関数を最大化するように画像認識器１００を学習することとなる。
本実施形態では、学習部３０３は、教師なし学習に関する評価関数として、ＬADT、ＬASL、ＬRTを用いることとした。しかし、学習部３０３は、ＬADT、ＬASL、ＬRTのうちの一部のみを用いて、画像認識器１００を学習することとしてもよい。また、学習部３０３は、教師なし学習に用いる評価関数として、複数の画像が特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量同士の関係に関するＬADT、ＬASL、ＬRT以外の指標を用いることとしてもよい。
【００７３】
（効果）
以上、本実施形態では、情報処理装置２００は、学習データに含まれる画像と、その画像に基づいて取得される画像と、を用いて行われる画像認識器１００の教師なし学習を以下のようにして行うこととした。即ち、情報処理装置２００は、学習データに含まれる画像と、その画像に基づいて取得される画像と、が特徴量抽出器１０１に入力された場合に特徴量抽出器１０１から出力される特徴量同士の関係に関する評価関数を用いて行い、これらの画像が画像認識器１００に入力された場合に画像認識器１００から出力される出力データ同士の関係に関する評価関数を用いずに行うこととした。これらの画像が画像認識器１００に入力された場合に画像認識器１００から出力される出力データ同士の関係に関する評価関数は、学習データに含まれる画像に基づいて取得される２以上の画像それぞれが画像認識器１００に入力された場合に出力される出力データ同士の関係に関し、画像認識器１００の教師なし学習に用いられる第３の指標の一例である。
このように、情報処理装置２００は、学習データに含まれる画像と、その画像に基づいて取得される画像と、を用いて行う教師なし学習を、特徴量抽出器１０１の出力空間（特徴量空間）のみについて行う。これにより、情報処理装置２００は、ＶＡＴに比べて、学習同士の競合が発生する可能性を低減できる。
【００７４】
＜実施形態２＞
実施形態１では、情報処理装置２００は、評価関数ＬASLとして、式（１１）に表される関数を用いることとした。情報処理装置２００は、ＬASLを含むＬの値が小さくなるように、画像認識器１００のパラメータを更新していくこととなる。即ち、情報処理装置２００は、基準画像（ｘi（Ω(i)1）＝ｘi）の特徴量と比較画像（ｘi（Ω(i)2）〜ｘi（Ω(i)P））それぞれの特徴量との間で、｜｜ｆ（ｘi（Ω(i)2））−ｆ（ｘi）｜｜  ＜  ｜｜ｆ（ｘi（Ω(i)3））−ｆ（ｘi）｜｜＜・・・＜｜｜ｆ（ｘi（Ω(i)P））−ｆ（ｘi）｜｜なる関係を強化するように、画像認識器１００の学習を行った。
｜｜ｆ（ｘi（Ω(i)2））−ｆ（ｘi）｜｜  ＜  ｜｜ｆ（ｘi（Ω(i)3））−ｆ（ｘi）｜｜＜・・・＜｜｜ｆ（ｘi（Ω(i)P））−ｆ（ｘi）｜｜なる関係は、以下の２つの解釈ができる。
（ａ）画像列（ｘi（Ω(i)2）〜ｘi（Ω(i)P））は、画像ｘiの特徴量の削除量が増大していく画像列であるという解釈。
（ｂ）画像列（ｘi（Ω(i)2）〜ｘi（Ω(i)P））は、画像ｘiにおける他の画像に置換された領域の特徴量が増大していく画像列であるという解釈。
【００７５】
ここでは、画像ｘiの特徴量を適切に抽出できるように画像認識器１００（に含まれる特徴量抽出器１０１）を学習することが要望されているので、画像ｘiにおける他の画像に置換された領域の特徴量の抽出ではなく、画像ｘiに係る特徴量を抽出できるように画像認識器１００を学習すべきである。しかし、実施形態１では、情報処理装置２００が画像ｘiにおける他の画像に置換された領域の特徴量を抽出するように、認識器を学習する可能性があった。
また、情報処理装置２００は、式（１１）の第１項を小さくするために、式（１１）でｆ（ｘi（Ω(i)2））−ｆ（ｘi）の値が０となるように、認識器のパラメータを更新する可能性がある。しかし、画像ｘi（Ω(i)2）は、画像ｘiにおける特徴量に対する影響が相対的に大きい領域が他の画像に置換された画像である。そのため、画像ｘi（Ω(i)2）の特徴量は、画像ｘiの特徴量と異なるようになるように、画像認識器１００を学習すべきである。しかし、実施形態１では、情報処理装置２００が画像ｘi（Ω(i)2）の特徴量と画像ｘiの特徴量とが近くなるように画像認識器１００を学習する可能性があった。
【００７６】
そこで、本実施形態では、情報処理装置２００は、このような可能性を低減しつつ、特徴量抽出器１０１を含む画像認識器１００を学習する処理について説明する。
本実施形態の情報処理装置２００のハードウェア構成、機能構成は、実施形態１と同様である。
本実施形態の処理は、実施形態１と比べて、Ｓ４０４、Ｓ４０８の処理が異なる。実施形態１との違いを中心に本実施形態の処理を説明する。
【００７７】
Ｓ４０４において、ミニバッチ生成部３０２は、Ｓ４０２で選択した画像ｘiと、Ｓ４０３で生成した領域集合群Ω（ｉ）と、を画像生成部３０１に入力する。画像生成部３０１は、入力された領域集合群Ω（ｉ）に含まれる領域集合それぞれについて、入力された画像ｘi中の領域集合に含まれる領域を各ピクセルのピクセル値が乱数となる画像に変更することで、特徴量抽出器１０１の学習に用いられる学習データとなる画像ｘi（Ω(i)1）、ｘi（Ω(i)2）、・・・、ｘi（Ω(i)P-1）、ｘi（Ω(i)P）を生成する。画像ｘi（Ω(i)p）は、画像ｘiにおけるΩ(i)pが示す領域が各ピクセルのピクセル値が乱数となる画像に変更された画像である。
ここで、生成された画像ｘi（Ω(i)1）、ｘi（Ω(i)2）、・・・、ｘi（Ω(i)P-1）、ｘi（Ω(i)P）を、画像ｘi（Ω(i)1、ｎ１）、ｘi（Ω(i)2、ｎ１）、・・・、ｘi（Ω(i)P-1、ｎ１）、ｘi（Ω(i)P、ｎ１）とおき、ｘi（Ω(i)、ｎ１）と総称する。
【００７８】
また、ミニバッチ生成部３０２は、画像ｘiにおけるΩ(i)pが示す領域が各ピクセルのピクセル値が乱数となる画像に変更された画像列を、改めて生成する。生成された画像ｘi（Ω(i)1）、ｘi（Ω(i)2）、・・・、ｘi（Ω(i)P-1）、ｘi（Ω(i)P）を、画像ｘi（Ω(i)1、ｎ２）、ｘi（Ω(i)2、ｎ２）、・・・、ｘi（Ω(i)P-1、ｎ２）、ｘi（Ω(i)P、ｎ２）とおき、ｘi（Ω(i)、ｎ２）と総称する。
ここで、ｘi（Ω(i)p、ｎ１）とｘi（Ω(i)p、ｎ２）とは、それぞれ独立にΩ(i)pに含まれる領域が各ピクセルのピクセル値が乱数となる画像に置換された画像であり、Ω(i)pに含まれる領域の各ピクセルのピクセル値（乱数）が偶然同じ値となる場合を除いて、異なる画像となる。
即ち、本実施形態では、ミニバッチ生成部３０２は、Ｓ４０４で、基準画像との間での類似度が順序付けられた画像列を２つ生成することとする。
また、ミニバッチ生成部３０２は、画像ｘiにおけるΩ(i)pが示す領域を、予め定められた画像に変更された画像列を、ｘi（Ω(i)、ｎ２）として生成してもよい。
【００７９】
Ｓ４０８において、学習部３０３は、Ｓ４０７で決定されたミニバッチと、評価関数Ｌと、に基づいて、画像認識器１００を学習する。学習部３０３は、補助記憶装置２０３から画像認識器１００のパラメータの情報を取得する。また、学習部３０３は、補助記憶装置２０３から評価関数Ｌの情報を取得する。
本実施形態では、ＬASLは、以下の式（１６）で表される関数である。
【００８０】
【数１４】
2019207561.tif 000016
【００８１】
式（１６）中のρgapは、予め定められた０以上のチューニングパラメータである。式（１６）中の記号のうち式（１１）と共通する記号は、式（１１）と同様の記号である。式（１６）は、第２項を含む点で式（１１）と異なる。
本実施形態では、例えば、画像ｘi（Ω(i)、ｎ１）に含まれる一群の画像（ｘi（Ω(i)1、ｎ１）〜ｘi（Ω(i)P、ｎ１））のうち、類似の度合いの比較の対象となる基準画像をｘi（Ω(i)1、ｎ１）とする。本実施形態では、ｘi（Ω(i)1、ｎ１）は画像ｘiに一致する。
式（１６）のＬASLの第１項は、式（１１）のＬASLの第１項と同様の性質を有する項であり、ＬASLの第１項におけるｘi（Ω(i)p）、ｘi（Ω(i)p+1）が、ｘi（Ω(i)p、ｎ１）、ｘi（Ω(i)p+1、ｎ１）に変更された項である。式（１６）のＬASLの第１項は、「ｆ（ｘi（Ω(i)1）、ｎ１）とｆ（ｘi（Ω(i)p-1）、ｎ１）とのユークリッド距離  ＜  ｆ（ｘi（Ω(i)1、ｎ１））とｆ（ｘi（Ω(i)p、ｎ１））とのユークリッド距離  （３＜＝ｐ＜＝Ｐ）」という大小関係が強化される程、小さくなるような項である。
【００８２】
式（１６）のＬASLの第２項は、画像ｘi（Ω(i)p、ｎ１）と画像ｘi（Ω(i)p、ｎ２）と（２＜＝ｐ＜＝Ｐ）の特徴量の差分のユークリッド距離の２乗と、画像ｘiと画像ｘi（Ω(i)p、ｎ１）との特徴量の差分のユークリッド距離の２乗と、の比率の合計を示す関数である。式（１６）のＬASLの第２項は、「ｆ（ｘi（Ω(i)p、ｎ１））とｆ（ｘi（Ω(i)p、ｎ２））とのユークリッド距離  ＜  ｆ（ｘi（Ω(i)p、ｎ１））とｆ（ｘi（Ω(i)1、ｎ１））とのユークリッド距離  （２＜＝ｐ＜＝Ｐ）」という大小関係が強化される程、小さくなるような項である。
式（１６）のＬASLのの第２項の意義について説明する。画像ｘi（Ω(i)p、ｎ１）と画像ｘi（Ω(i)p、ｎ２）とにおける画像ｘiのままである部分は、共通している。また、画像ｘi（Ω(i)p、ｎ１）と画像ｘi（Ω(i)p、ｎ２）とにおける画像ｘiと異なる部分は、各ピクセルのピクセル値が互いに独立な乱数となる画像となっている。そのため、画像ｘi（Ω(i)p、ｎ１）と画像ｘi（Ω(i)p、ｎ２）とのそれぞれから特徴量抽出器１０１により抽出される画像ｘiに関する特徴量は、近しい値となるべきである。
【００８３】
また、画像ｘi（Ω(i)p、ｎ１）は、画像ｘiと比べて、画像ｘiのままである部分は少ない。そのため、画像ｘi（Ω(i)p、ｎ１）から特徴量抽出器１０１により抽出される画像ｘiに関する特徴量は、画像ｘiから特徴量抽出器１０１により抽出される画像ｘiに関する特徴量とは、より離れた値となるべきである。
そこで、学習部３０３は、式（１６）のＬASLを含む評価関数Ｌのように、画像ｘi（Ω(i)p、ｎ１）と画像ｘi（Ω(i）p、ｎ２）との特徴量が近しい値になり、画像ｘi（Ω(i)p、ｎ１）と画像ｘiとの特徴量が離れた値になる程、小さくなる評価関数の値を小さくなるように、特徴量抽出器１０１を含む画像認識器１００を学習することで、より適切に、画像ｘiに関する特徴量を抽出できるように画像認識器１００を学習できることとなる。
学習部３０３は、式（１６）のＬASLを含む評価関数Ｌの値を最小化するように、特徴量抽出器１０１を含む画像認識器１００を学習する。
更に、ｆ（ｘi（Ω(i)2））−ｆ（ｘi）のユークリッド距離の２乗が、評価関数ＬASLの第２項の分母に入っている。このために、ｆ（ｘi（Ω(i)2））−ｆ（ｘi）のユークリッド距離の２乗を０に近づけるように、特徴量抽出器１０１のパラメータを更新する可能性が低減される。
【００８４】
以上、本実施形態の処理により、情報処理装置２００は、より適切に特徴量抽出器１０１を含む画像認識器１００を学習することができる。
【００８５】
＜実施形態３＞
画像認識器１００が入力された画像について、複数のクラスそれぞれに属する事後確率分布を示す出力データを出力する認識器である場合、以下のような知見が得られる場合がある。即ち、画像認識器１００の学習に用いられるラベルなしの学習データについて、各学習データが属するクラスは不明であるが、各学習データが必ずこの複数のクラスの何れかに属することが分かっているという知見である。
本実施形態では、このような知見が得られた場合において、情報処理装置２００が、この知見に基づいて、より適切に画像認識器１００を学習する処理について説明する。
本実施形態の情報処理装置２００のハードウェア構成、機能構成は、実施形態１と同様である。
本実施形態の処理は、実施形態１と比べて、Ｓ４０８の処理で用いられる評価関数Ｌが異なる。実施形態１との違いを中心に本実施形態の処理を説明する。
【００８６】
本実施形態のＬは、以下の式（１７）で表される評価関数ＬEPを含む。
【００８７】
【数１５】
2019207561.tif 000017
【００８８】
評価関数ＬEP中の関数ｇsm＿j（ｘ(nolabel)i）は、画像ｘ(nolabel)iが、クラスｊに属する事後確率（０以上１以下の何れかの値）を示す関数である。ＬEPは、画像ｘ(nolabel)iが入力された場合に画像認識器１００から出力される事後確率分布が、１つのクラスに属する確率が１で他のクラスに属する確率が０となる分布に近い程、最小値である０に近づく関数である。ＬEPは、画像ｘ(nolabel)iが入力された場合に画像認識器１００から出力される確率分布同士の関係に関する指標の一例である。ＬEPは、学習データに含まれるラベルなしのデータがそれぞれ単独で画像認識器１００に入力された場合に出力される出力データが示す単独の事後確率分布に関し、画像認識器１００の教師なし学習に用いられる第４の指標の一例である。
本実施形態のＬは、以下の式（１８）で表される。式（１８）中のρRT、ρASL、ρADT、ρEPそれぞれは、０以上の予め定められた値をとるチューニングパラメータである。
Ｌ＝ＬCE＋ρRTＬRT＋ρASLＬASL＋ρADTＬADT＋ρEPＬEP    （１８）
学習部３０３は、式（１８）の評価関数Ｌを用いて、画像認識器１００を学習する。
評価関数ＬEPは、「ラベルなし画像ｘ(nolabel)i）」から定まる１個の特性量（ｓｏｆｔｍａｘ出力値）から計算される量である。一方で、評価関数ＬADT、ＬASL、ＬRTは、２個以上の画像から定まる２個以上の特性量の相互関係（類似度）に基づいた評価関数である。したがって、「ＬEPを使用した学習」と「評価関数ＬADT、ＬASL、ＬRTを使用した学習」との間では、競合は発生しにくい。また、ＬEPとＬCEとは、類似する意味合いの評価関数なので、「ＬEPを使用した学習」と「ＬCEを使用した学習」との間では、競合は発生しにくい。
【００８９】
以上、本実施形態の処理により、情報処理装置２００は、より適切に特徴量抽出器１０１を含む画像認識器１００を学習することができる。
【００９０】
＜実施形態４＞
実施形態１では、情報処理装置２００は、ＡＳＬに用いられる画像群の生成に用いられる領域集合群Ωを、特徴量抽出器１０１により抽出された特性量に対する画像ｘ内の複数の領域（各ピクセル）それぞれの影響の度合（領域感度）に基づいて、生成することとした。本実施形態では、情報処理装置２００が他の方法で領域集合群Ωを生成する処理について説明する。その他の処理については、実施形態１と同様である。
本実施形態の情報処理装置２００のハードウェア構成、機能構成は、実施形態１と同様である。
【００９１】
画像認識器１００に画像ｘが入力された場合、識別器１０２は、特徴量抽出器１０１から出力された特徴量ｆ（ｘ）を入力として受け付け、Ｋ次元の識別量ｇ（ｘ）を出力する。識別器１０２にも、特徴量抽出器１０１と同様に、学習対象となるパラメータが含まれる。
画像認識器１００に対する半教師あり学習における教師なし学習においては、ラベルなし学習データとラベル付き学習データとの両方を使用して、それらの学習データのｆｌａｖｏｒを、適切な特徴量として抽出するように、特徴量抽出器１０１の学習が行われる。このとき、特徴量抽出器１０１により抽出された特徴量が、学習データのｆｌａｖｏｒを適切に示していない場合、識別器１０２がその特徴量から出力する識別量の識別精度も適切ではない。そのため、特徴量抽出器１０１が大量の学習データを用いた教師なし学習されることで、適切な特徴量が抽出され、識別器１０２からより適切な識別量が出力されることとなる。
【００９２】
しかし、特徴量抽出器１０１を入力された画像のｆｌａｖｏｒを適切に示す特徴量を抽出できるようにするための学習と、画像認識器１００を特定の画像認識をできるようにするための学習と、は異なる目標となる。より具体的には、特徴量抽出器１０１を入力された画像のｆｌａｖｏｒを適切に示す特徴量を抽出できるようにするという目標と、入力された画像に対して適切な画像認識処理を行うことができるようにするという目標と、は必ずしも一致するわけではない。そのため、教師なし学習だけを先行して単独実行して特徴抽出の最適パラメータを求めた場合には、教師なし学習が特定の画像認識には不必要な学習に時間を浪費する可能性がある。
そこで、教師なし学習が教師あり学習を阻害しないようにできれば、教師なし学習とラベル付き学習データを使用する教師あり学習とを併せて実行することで、特定の画像認識に対する汎化性能のより高い認識器を、効率的に構築できる可能性がある。
そこで、本実施形態では、情報処理装置２００は、ＡＳＬに用いられる領域集合の決定に用いられるｒmask（ｘ）を、式（１）を用いずに、以下のようにして求めることで、ＡＳＬと教師あり学習との間で競合が生じる可能性をより低減する。
【００９３】
画像認識器１００が行う画像認識処理（特定の画像認識）が、入力された画像ｘをＫ種類のカテゴリーに分類する処理である場合、識別器１０２は、Ｋ次元の識別量ｇ（ｘ）を出力する。また、画像認識器１００は、全体として、識別器１０２の出力のソフトマックス関数値であるＫ次元の事後確率分布ｇsm（ｘ）を出力する。
この場合、ミニバッチ生成部３０２は、例えば、式（１）ではなく、式（１９）を用いて、ｒmask（ｘ）を求める。ミニバッチ生成部３０２は、式（１９）を用いることで、識別関数ｇ（ｘ）の要素のうち最大のものを、画像ｘの特性量として、その特性量に対する画像ｘの各ピクセルの影響の度合いを示す領域感度を求める。そして、ミニバッチ生成部３０２は、求めたｒmask（ｘ）を用いて領域集合群Ωを生成し、ＡＳＬでの学習に用いられる画像群を生成する。
【００９４】
【数１６】
2019207561.tif 000018
【００９５】
Ｋ次元の識別量ｇ（ｘ）のｊ番目の要素ｇj（ｘ）は、その値が大きい程、画像ｘがクラスｊに属する度合いが高いことを示す実数量（負の値も取り得る）である。したがって、識別量ｇ（ｘ）のＫ個の要素の中の最大値であるｇ*（ｘ）は、現在の画像認識器１００が最も確からしいと推定する画像ｘが属するクラス（以下では、最良推定クラスとする）に画像ｘが属する度合いを示している。
よって、式（１９）を用いて計算されたｒmask（ｘ）の（ａ、ｂ、ｋ）要素は、画像ｘが最良推定クラスに属する度合いに対するピクセル（ａ、ｂ、ｋ）のピクセル値の影響の度合（感度）を示している。即ち、ミニバッチ生成部３０２は、式（１９）を用いることで、識別器１０２の出力データの要素のうちの最大のもの（ｇ*（ｘ））を、画像ｘの特性量として、この特性量に対する各ピクセルの影響の度合（領域感度）を求めることとなる。
これにより、式（１９）を用いて計算されたｒmask（ｘ）に基づいて構成された領域集合群は、画像ｘが最良推定クラスに属することを判定するために重要な領域を、包含関係を持って取り出すことになる。ここで、画像認識器１００の目的が熊の画像かどうかを認識する場合を考える。入力画像ｘには、熊が写っているとすると、半教師あり学習の後半では、画像ｘの最良推定クラスは熊になっている可能性が、他のものになっている可能性よりも高い。したがって、画像ｘ（Ωp+1）は画像ｘ（Ωp）に比べて、熊と認識するために重要となるより広くの領域において、その領域に含まれるピクセルのピクセル値が乱数に置換された画像となっている可能性が高い。その結果、画像ｘ（Ωp+1）が特徴量抽出器１０１に入力されたときに特徴量抽出器１０１が出力する特徴量と画像ｘ（Ωp）が特徴量抽出器１０１に入力されたときに特徴量抽出器１０１が出力する特徴量と、が離れるように、ＡＳＬが特徴量抽出器１０１を学習することは、教師あり学習の目標（入力された画像がラベルの示すクラスに属する確率を高くするように画像認識器１００を学習するという目標）に、矛盾しない目標となる。そのため、ＡＳＬでの学習において、教師あり学習を阻害するような学習が行われる可能性が低減されることとなる。
【００９６】
また、ミニバッチ生成部３０２は、例えば、式（２０）を用いて、ｒmask（ｘ）を求めることとしてもよい。ミニバッチ生成部３０２は、式（２０）を用いることで、事後確率分布ｇsm（ｘ）の要素のうち最大のものを、画像ｘの特性量として、その特性量に対する画像ｘの各ピクセルの影響の度合いを示す領域感度を求める。そして、ミニバッチ生成部３０２は、求めたｒmask（ｘ）を用いて領域集合群Ωを生成し、ＡＳＬでの学習に用いられる画像群を生成する。
【００９７】
【数１７】
2019207561.tif 000019
【００９８】
Ｋ次元の事後確率分布ｇsm（ｘ）のｊ番目の要素である事後確率分布ｇsm＿j（ｘ）は、画像ｘがクラスｊに属する事後確率である。したがって、ｇsm（ｘ）のＫ個の要素の中の最大値であるｇsm*（ｘ）は、現在の画像認識器１００が出力する最良推定クラスに画像ｘが属する事後確率を示している。
よって、式（２０）を用いて計算されたｒmask（ｘ）の（ａ、ｂ、ｋ）要素は、画像ｘが最良推定クラスに属する事後確率に対するピクセル（ａ、ｂ、ｋ）のピクセル値の影響の度合（感度）を示している。即ち、ミニバッチ生成部３０２は、式（２０）を用いることで、画像認識器１００の出力データの要素のうちの最大のもの（ｇsm*（ｘ））を、画像ｘの特性量として、この特性量に対する各ピクセルの影響の度合（領域感度）を求めることとなる。
これにより、式（２０）を用いて計算されたｒmask（ｘ）に基づいて構成された領域集合群は、画像ｘが最良推定クラスに属することを判定するために重要な領域を、包含関係を持って取り出すことになる。ここで、画像認識器１００の目的が熊の画像かどうかを認識する場合を考える。入力画像ｘには、熊が写っているとすると、半教師あり学習の後半では、画像ｘの最良推定クラスは熊になっている可能性が、他のものになっている可能性よりも高い。したがって、画像ｘ（Ωp+1）は画像ｘ（Ωp）に比べて、熊と認識するために重要となるより広くの領域において、その領域に含まれるピクセルのピクセル値が乱数に置換された画像となっている可能性が高い。その結果、画像ｘ（Ωp+1）が特徴量抽出器１０１に入力されたときに特徴量抽出器１０１が出力する特徴量と画像ｘ（Ωp）が特徴量抽出器１０１に入力されたときに特徴量抽出器１０１が出力する特徴量と、が離れるように、ＡＳＬが特徴量抽出器１０１を学習することは、教師あり学習の目標（入力された画像がラベルの示すクラスに属する事後確率を高くするように画像認識器１００を学習するという目標）に、矛盾しない目標となる。そのため、ＡＳＬでの学習において、教師あり学習を阻害するような学習が行われる可能性が低減されることとなる。
【００９９】
画像認識器１００が画像ｘに関するＫ次元の特性量（例えば、アナログ値等）を求める問題の場合（例えば、傷の位置の座標等）、画像認識器１００は、Ｋ次元の識別量ｇ（ｘ）を出力する。識別器１０２の出力が画像認識器１００の最終的な出力となる。即ち、画像認識器１００は、図１Ｂに示すような情報変換器となる。
この場合、ミニバッチ生成部３０２は、例えば、式（１）ではなく、式（２１）を用いて、ｒmask（ｘ）を求める。ミニバッチ生成部３０２は、式（２１）を用いることで、識別関数ｇ（ｘ）のノルムの２乗を、画像ｘの特性量として、その特性量に対する画像ｘの各ピクセルの影響の度合いを示す領域感度を求める。そして、ミニバッチ生成部３０２は、求めたｒmask（ｘ）を用いて領域集合群Ωを生成し、ＡＳＬでの学習に用いられる画像群を生成する。
【０１００】
【数１８】
2019207561.tif 000020
【０１０１】
Ｋ次元の識別量ｇ（ｘ）は、現在の画像認識器１００が最も確からしいと推定するＫ次元の特性量（以下では、最良推定特性量とする）である。よって、式（２１）を用いて求められたｒmask（ｘ）の（ａ、ｂ、ｋ）要素は、画像ｘに対する最も確からしいと推定する最良推定特性量の２乗ノルムに対するピクセル（ａ、ｂ、ｋ）のピクセル値の影響の度合（感度）を示している。
これにより、式（２１）を用いて計算されたｒmask（ｘ）に基づいて構成された領域集合群は、最良推定特性量を推定するために重要な領域を、包含関係を持って取り出すことになる。半教師あり学習の後半では、画像ｘの最良推定特性量は正しい特性量の近似値なっている可能性が誤った特性量の近似値になっている可能性よりも高い。したがって、画像ｘ（Ωp+1）は画像ｘ（Ωp）に比べて、正しい特性量を推定するために重要となるより広くの領域において、その領域に含まれるピクセルのピクセル値が乱数に置換された画像となっている可能性が高い。その結果、画像ｘ（Ωp+1）が特徴量抽出器１０１に入力されたときに特徴量抽出器１０１が出力する特徴量と画像ｘ（Ωp）が特徴量抽出器１０１に入力されたときに特徴量抽出器１０１が出力する特徴量とが離れるように、ＡＳＬが特徴量抽出器１０１を学習することは、教師あり学習の目標（入力された画像から、ラベルが示す特性量を出力するように画像認識器１００を学習するという目標）と矛盾しない目標となる。そのため、ＡＳＬでの学習において、教師あり学習を阻害するような学習が行われる可能性が低減されることとなる。
本実施形態では、ミニバッチ生成部３０２は、式（１９）〜（２１）の何れかを用いて、画像ｘの特性量を示すスカラー値の関数に対して、画像（ｘ）について１回、微分することで、領域感度を示すｒmask（ｘ）を生成した。
【０１０２】
以上、本実施形態の処理により、特徴量抽出器１０１が入力された画像から適切な特徴量を抽出できるようになる学習の後半において、画像認識器１００が行う画像認識において、より重要な画像領域が優先的に領域集合に含まれる可能性が、実施形態１よりも高まる。その結果、学習の後半で、評価関数ＬASLは、特徴量抽出器１０１のパラメータを更新しなくとも十分に小さな値となる可能性が向上する。現在の特徴量抽出器１０１の各パラメータの値が示す点における、評価関数ＬASLの特徴量抽出器１０１のパラメータに関する勾配ベクトルの大きさも小さくなり、ＡＳＬは教師あり学習を阻害する可能性が低くなる。このように、情報処理装置２００は、ＡＳＬでの学習が教師あり学習を阻害する可能性を低減できる。
【０１０３】
＜その他の実施形態＞
実施形態１〜４では、情報処理装置２００は、単体の情報処理装置であるとした。しかし、情報処理装置２００は、ネットワーク（ＬＡＮやインターネット）を介して相互に通信可能に接続された複数の情報処理装置を含むシステムとして構成されることとしてもよい。その場合、情報処理装置２００に含まれる複数の情報処理装置それぞれのＣＰＵが、それぞれの情報処理装置の補助記憶装置に記憶されたプログラムに基づき処理を連携して実行することで、図３の機能及び図４のフローチャートの処理等が実現される。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した情報処理装置２００の機能構成の一部又は全てをハードウェアとして情報処理装置２００に実装してもよい。
【符号の説明】
【０１０４】
２００  情報処理装置
２０１  ＣＰＵ
【図１Ａ】
2019207561.tif 000021
【図１Ｂ】
2019207561.tif 000022
【図２】
2019207561.tif 000023
【図３】
2019207561.tif 000024
【図４】
2019207561.tif 000025
【図５】
2019207561.tif 000026
【図６】
2019207561.tif 000027