(57)【要約】【課題】学習に係る負担をより軽減しつつ、より適切に特徴量抽出器を学習することを目的とする。【解決手段】領域集合群に含まれる領域集合ごとに、入力画像における前記領域集合に含まれる領域が前記入力画像と異なる他の画像に変更された画像を、画像から特徴量を抽出する情報変換器である特徴量抽出器の学習に用いられる学習画像として取得し、領域集合群に含まれる領域集合ごとに取得された学習画像と、入力される画像が類似する程に値が近い特徴量を抽出する特徴量抽出器の学習に用いられる予め定められた評価関数と、に基づいて、特徴量抽出器を学習し、領域集合群に含まれる領域集合それぞれは、入力画像における予め定められた複数の領域それぞれの入力画像の特徴量に対する影響の度合である領域感度に基づいて、複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている。【選択図】図４
2019207560.tif 000002
【特許請求の範囲】
【請求項１】
領域集合群に含まれる領域集合ごとに、入力画像における前記領域集合に含まれる領域が前記入力画像と異なる他の画像に変更された画像を、画像から特徴量を抽出する情報変換器である特徴量抽出器の学習に用いられる学習画像として取得する取得手段と、
前記取得手段により前記領域集合群に含まれる領域集合ごとに取得された学習画像と、入力される画像が類似する程に値が近い特徴量を抽出する特徴量抽出器の学習に用いられる予め定められた指標と、に基づいて、前記特徴量抽出器を学習する学習手段と、
を有し、
前記領域集合群に含まれる領域集合それぞれは、前記入力画像における予め定められた複数の領域それぞれの前記入力画像の特徴量に対する影響の度合である領域感度に基づいて、前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている情報処理装置。
【請求項２】
前記領域集合群に含まれる領域集合それぞれは、前記複数の領域それぞれについての前記領域感度に基づいて決定された前記複数の領域それぞれが選択される確率にしたがって前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている請求項１記載の情報処理装置。
【請求項３】
前記領域集合群に含まれる領域集合それぞれは、前記入力画像における前記複数の領域それぞれに予め定められた変動が与えられた場合に前記入力画像から前記特徴量抽出器により抽出される特徴量の変動の度合である前記複数の領域それぞれについての前記領域感度に基づいて、前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている請求項１又は２記載の情報処理装置。
【請求項４】
前記領域集合群に含まれる領域集合それぞれは、前記入力画像における前記複数の領域それぞれに予め定められた変動が与えられた場合に前記入力画像から前記特徴量抽出器により抽出される特徴量のノルムの２乗が変動する度合である前記複数の領域それぞれについての前記領域感度に基づいて、前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている請求項３記載の情報処理装置。
【請求項５】
前記領域集合群に含まれる領域集合それぞれは、前記入力画像から前記特徴量抽出器により抽出される特徴量に基づいて定まる１つ以上のスカラー値の関数のそれぞれが前記入力画像に関して１回微分されることで求まる複数の値から定まる、前記複数の領域それぞれについての前記領域感度に基づいて、前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている請求項１又は２記載の情報処理装置。
【請求項６】
前記領域集合群に含まれる領域集合それぞれは、前記入力画像から前記特徴量抽出器により抽出される特徴量の要素から選択された１つ以上の要素の前記入力画像に関する１回微分を２乗和することで求まる前記複数の領域それぞれについての前記領域感度に基づいて、前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている請求項５記載の情報処理装置。
【請求項７】
前記領域集合群に含まれる領域集合それぞれは、前記入力画像における予め定められた複数の領域それぞれの前記入力画像の特徴量に対する影響の度合である領域感度に基づいて前記複数の領域から選択された領域と、前記領域の周囲に決定された領域と、を含む領域の集合であり、包含関係によって順序付けられている請求項１乃至６何れか１項記載の情報処理装置。
【請求項８】
前記取得手段は、前記領域集合群に含まれる領域集合ごとに、前記入力画像における前記領域集合に含まれる領域が前記入力画像と異なる他の画像であり、各ピクセルがランダムな値となる画像に変更された画像を前記学習画像として取得する請求項１乃至７何れか１項記載の情報処理装置。
【請求項９】
前記指標は、前記取得手段により取得された前記学習画像に含まれる類似の度合いの比較の基準となる画像である基準画像から前記特徴量抽出器により抽出される特徴量と、前記学習画像に含まれる前記基準画像と異なる画像から前記特徴量抽出器により抽出される特徴量と、に関する指標である請求項１乃至８何れか１項記載の情報処理装置。
【請求項１０】
前記取得手段は、前記領域集合群に含まれる領域集合ごとに、前記入力画像における前記領域集合に含まれる領域が前記入力画像と異なる他の画像に変更された画像と、前記入力画像における前記領域集合に含まれる領域が前記入力画像とも前記画像とも異なる他の画像に変更された画像と、を前記学習画像として取得し、
前記指標は、前記取得手段により取得された前記学習画像に含まれる前記基準画像から前記特徴量抽出器により抽出される特徴量と、前記学習画像に含まれる前記基準画像と異なる画像から前記特徴量抽出器により抽出される特徴量と、の差分と、前記画像から前記特徴量抽出器により抽出される特徴量と、前記基準画像とも前記画像とも異なり、前記画像と同じ領域が前記入力画像と異なる前記学習画像に含まれる画像から前記特徴量抽出器により抽出される特徴量と、の差分と、に関する指標である請求項９記載の情報処理装置。
【請求項１１】
前記取得手段は、前記領域集合群に含まれる領域集合ごとに、前記入力画像における前記領域集合に含まれる領域が前記入力画像と異なる各ピクセルのピクセル値がランダムな値となる他の画像に変更された画像と、前記入力画像における前記領域集合に含まれる領域が前記入力画像とも前記画像とも異なる各ピクセルのピクセル値がランダムな値となる他の画像に変更された画像と、を前記学習画像として取得する請求項１０記載の情報処理装置。
【請求項１２】
前記取得手段は、前記領域集合群に含まれる領域集合ごとに、前記入力画像における前記領域集合に含まれる領域が前記入力画像と異なる各ピクセルのピクセル値がランダムな値となり、ピクセル値の平均値が前記入力画像のピクセル値の平均値となり、ピクセル値の分散値が前記入力画像のピクセル値の分散値となる他の画像に変更された画像と、前記入力画像における前記領域集合に含まれる領域が前記入力画像とも前記画像とも異なる各ピクセルのピクセル値がランダムな値となり、ピクセル値の平均値が前記入力画像のピクセル値の平均値となり、ピクセル値の分散値が前記入力画像のピクセル値の分散値となる他の画像に変更された画像と、を前記学習画像として取得する請求項１１記載の情報処理装置。
【請求項１３】
情報処理装置が実行する情報処理方法であって、
領域集合群に含まれる領域集合ごとに、入力画像における前記領域集合に含まれる領域が前記入力画像と異なる他の画像に変更された画像を、画像から特徴量を抽出する情報変換器である特徴量抽出器の学習に用いられる学習画像として取得する取得ステップと、
前記取得ステップで前記領域集合群に含まれる領域集合ごとに取得された学習画像と、入力される画像が類似する程に値が近い特徴量を抽出する特徴量抽出器の学習に用いられる予め定められた指標と、に基づいて、前記特徴量抽出器を学習する学習ステップと、
を含み、
前記領域集合群に含まれる領域集合それぞれは、前記入力画像における予め定められた複数の領域それぞれの前記入力画像の特徴量に対する影響の度合である領域感度に基づいて、前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている情報処理方法。
【請求項１４】
コンピュータを、請求項１乃至１２何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像認識において、入力画像をニューラルネットワーク等の特徴量の抽出を行う情報変換器である特徴量抽出器に入力して、特徴量を抽出し、抽出された特徴量に基づいて、画像認識を行うことが行われている。特徴量抽出器により、入力画像の特徴をより適切に捉えた特徴量が抽出されれば、認識精度をより向上させることができる。
そこで、より適切に画像の特徴を捉えた特徴量を抽出可能な特徴量抽出器を学習することが望まれている。特徴量抽出器を学習する方法には、ラベル付きの学習データを利用した教師あり学習がある。しかし、ラベル付きの学習データを十分な量、用意するのには、非常に手間がかかる。そこで、特徴量抽出器を、ラベルなし学習データを利用して教師なし学習する方法が提案されている。
学習データを利用した特徴量抽出器の教師なし学習の方法には、オートエンコーダがある。オートエンコーダは、入力画像から特徴量を抽出するエンコーダ部分と、抽出された特徴量から入力画像を復元するためのエンコーダ部分を反転させたデコーダ部分と、を用意し、デコーダ部分の出力と、入力画像と、の誤差を最小化するように、エンコーダ部分とデコーダ部分とのパラメータを学習する方法である。オートエンコーダで学習されたエンコーダ部分を、特徴量抽出器として利用することができる。元の入力画像を復元できるように抽出された特徴量は、入力画像の特徴を十分に捉えている特徴量であると期待できる。非特許文献１には、エンコーダ部分とデコーダ部分との双方がＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ、畳み込みニューラルネットワーク）である畳み込みオートエンコーダ（ＣＡＥ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ａｕｔｏ−Ｅｎｃｏｄｅｒ）が開示されている。
【０００３】
また、学習データを利用した特徴量抽出器の教師なし学習の方法には、非特許文献２に開示されているｓｉａｍｅｓｅアーキテクチャ（同一アーキテクチャで同一値のパラメータを有する２本の特徴量抽出用ニューラルネットワークＮＮ１、ＮＮ２が並列するニューラルネットワーク）を利用した類似度学習法がある。類似度学習法は、以下のような方法である。入力データである「ラベルが付与されていない画像データ」に対して、何らかの事前知識を活用して、各画像に対して「似ている画像」を選定し、それ以外の画像は「似ていない画像」として、（画像Ｉ、  画像Ｊ、  似ている  ｏｒ  似ていない）という学習データを作る。この事前知識は、例えば、ＮＮ１に入力される画像Ｉと、ＮＮ２に入力される画像Ｊと、の入力空間でのユークリッド距離が小さければ「似ている」として、大きければ「似ていない」とするというような知識である。
そして、画像ＩをＮＮ１に入力して特徴量ベクトルｆ（Ｉ）を計算し、画像ＪをＮＮ２に入力して特徴量ベクトルｆ（Ｊ）を計算する。画像Ｉと画像Ｊが「似ている」場合にはｆ（Ｉ）とｆ（Ｊ）との特徴量空間でのユークリッド距離が小さくなるように学習し、画像ＩとＪが「似ていない」場合にはｆ（Ｉ）とｆ（Ｊ）との特徴量空間でのユークリッド距離が大きくなるように学習する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｖ．  Ｔｕｒｃｈｅｎｋｏ、  Ｅ．  Ｃｈａｌｍｅｒｓ、  ＱＡ．  Ｌｕｃｚａｋ：  Ａ  ｄｅｅｐ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ａｕｔｏ−ｅｎｃｏｄｅｒ  ｗｉｔｈ  ｐｏｏｌｉｎｇ−ｕｎｐｏｏｌｉｎｇ  ｌａｙｅｒｓ  ｉｎ  Ｃａｆｆｅ．  ａｒＸｉｖ：１７０１．０４９４９  （２０１７）．
【非特許文献２】Ｒ．  Ｈａｄｓｅｌｌ、Ｓ．  Ｃｈｏｐｒａ、Ｙ．  ＬｅＣｕｎ：  Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  ｒｅｄｕｃｔｉｏｎ  ｂｙ  ｌｅａｒｎｉｎｇ  ａｎ  ｉｎｖａｒｉａｎｔ  ｍａｐｐｉｎｇ．  Ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ  ａｎｄ  ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ、  ２００６  ＩＥＥＥ  ｃｏｍｐｕｔｅｒ  ｓｏｃｉｅｔｙ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ．  ｖｏｌ．  ２、  ｐｐ．  １７３５−１７４２  （２００６）．
【非特許文献３】Ｉ．  Ｇｏｏｄｆｅｌｌｏｗ、  Ｙ．  Ｂｅｎｇｉｏ、  Ａ．  Ｃｏｕｒｖｉｌｌｅ：  Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ、  Ｔｈｅ  ＭＩＴ  Ｐｒｅｓｓ、  ２０１６．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
オートエンコーダでは、入力画像から特徴量を抽出するエンコーダ部分に加え、エンコーダ部分により抽出された特徴量から入力画像を復元するデコーダ部分についても、パラメータを学習する必要があり、学習に係る処理の負担が増大するという問題があった。
また、オートエンコーダでは、画像認識タスクが高度なタスクである程、特徴量抽出用ニューラルネットワーク、即ち、エンコーダが複雑になり、したがって、エンコーダと対称構造であるデコーダも複雑になる。その結果、デコーダ部分の表現能力が高くなり、エンコーダが出力する特徴量ベクトルとデコーダの表現能力が協調してＣＡＥの学習が進み、画像認識タスクに適正な特徴量ベクトルが抽出できない場合がある。例えば、非特許文献３の１４．１節に記載されているように、特徴量ベクトルが１次元の場合をイメージする。このとき、デコーダの表現能力が高い場合に、入力画像ｘ（ｉ）をＣＡＥに入力した場合、特徴量ベクトルとしてはｉを求め、デコーダで「特徴量ベクトルがｉならば、画像ｘ（ｉ）を出力する」という学習が進む可能性が増加する。このように、ＣＡＥでは、余分なデコーダ部分の追加が必要となる限り、特徴量ベクトルが不適切になる可能性が増加してしまう。結果として、オートエンコーダでは、特徴量抽出器を適切に学習できない可能性が増加するという問題があった。
【０００６】
類似度学習法では、入力画像Ｉと入力画像Ｊとの入力空間でのユークリッド距離がどれくらいの時に「似ている」とするかの基準がないため、適切に２つの画像が似ているか否かを決定できない場合があるという問題があった。たとえば、物体における傷の検出を行うタスク（傷検出タスク）の場合には、傷のある物体の画像と、傷のない物体の画像と、が良く似ている場合には、画像間の入力空間でのユークリッド距離はどれも似たような小さな値になる。そのため、効果的な（画像Ｉ、  画像Ｊ、  似ている  ｏｒ  似ていな）データを生成できない場合がある。また、逆に、画像内の傷以外の画像が大きく異なる場合には、画像間の入力空間でのユークリッド距離はどれも似たような大きな値になり、効果的な（画像Ｉ、  画像Ｊ、  似ている  ｏｒ  似ていない）データを生成できない場合がある。そのため、適切に特徴量の抽出を行う特徴量抽出器を学習できない可能性が増大するという問題がある。
【課題を解決するための手段】
【０００７】
そこで、本発明の情報処理装置は、領域集合群に含まれる領域集合ごとに、入力画像における前記領域集合に含まれる領域が前記入力画像と異なる他の画像に変更された画像を、画像から特徴量を抽出する情報変換器である特徴量抽出器の学習に用いられる学習画像として取得する取得手段と、前記取得手段により前記領域集合群に含まれる領域集合ごとに取得された学習画像と、入力される画像が類似する程に値が近い特徴量を抽出する特徴量抽出器の学習に用いられる予め定められた評価関数と、に基づいて、前記特徴量抽出器を学習する学習手段と、を有し、前記領域集合群に含まれる領域集合それぞれは、前記入力画像における予め定められた複数の領域それぞれの前記入力画像の特徴量に対する影響の度合である領域感度に基づいて、前記複数の領域から選択された領域に応じた領域の集合であり、包含関係によって順序付けられている。
【発明の効果】
【０００８】
本発明によれば、学習に係る負担をより軽減しつつ、より適切に特徴量抽出器を学習することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、情報処理装置のハードウェア構成の一例を示す図である。
【図２】図２は、情報処理装置の機能構成の一例を示す図である。
【図３】図３は、領域のパターンの一例を示す図である。
【図４】図４は、学習処理の一例を示すフローチャートである。
【図５】図５は、生成された学習データの一例を示す図である。
【図６】図６は、学習処理の一例を説明する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
＜実施形態１＞
（本実施形態の処理の概要）
本実施形態では、図１で後述する情報処理装置１００が以下に説明する処理を実行することで、入力される画像データから特徴量を抽出する情報変換器である特徴量抽出器を学習する。本実施形態では、特徴量を抽出する特徴量抽出器は、ニューラルネットワーク（以下では、ＮＮとする）であるとする。情報変換器は、データの変換に用いられるパラメータを有し、そのパラメータに基づいて入力されたデータを他のデータに変換する。情報変換器の学習とは、定められた指標に基づいて、情報変換器のパラメータを更新することである。以下では、画像から特徴量を抽出するＮＮを、特徴量抽出用ＮＮとする。特徴量抽出用ＮＮは、画像から特徴量を抽出する特徴量抽出器の一例である。本実施形態では、特徴量抽出用ＮＮは、畳み込みニューラルネットワーク（ＣＮＮ）であるとする。また、特徴量抽出用ＮＮは、画像データに対する認識を行う情報変換器に含まれていることとしてもよい。その場合、その情報変換器に画像データが入力されると、特徴量抽出用ＮＮによって入力された画像データから特徴量が抽出される。そして、その情報変換器は、抽出された特徴量に基づいて、認識処理を行い、認識結果を示す出力データを出力することとなる。
本実施形態では、情報処理装置１００は、画像Ｊ中の複数の領域それぞれにおけるその領域の画像Ｊの特徴量に対する影響の度合いに基づいて、画像Ｊ中の領域の集合である複数の領域集合（Ω1、Ω2、・・・、ΩP-1、ΩP）を、Ωp⊂Ωp+1  ＆  Ωp≠Ωp+1（１＜＝ｐ＜＝Ｐ−１）を満たすように生成する。以下では、｛Ω1、Ω2、・・・、ΩP-1、ΩP｝を、領域集合群Ωとする。そのため、領域集合群Ωに含まれる領域集合は、それぞれが異なる領域集合であり、Ω1⊂Ω2⊂Ω3⊂・・・⊂ΩP-1⊂ΩPのように、包含関係により順位づけられていることとなる。即ち、領域集合群Ωに含まれる領域集合それぞれは、異なる領域集合であり、領域集合群Ωに含まれる領域集合のうち、含まれる全領域の面積が自身以下である領域集合を全て含むこととなる。
本実施形態では、Ω1は、空集合であるとする。また、ΩPは、入力画像の全領域を含む集合であるとする。しかし、Ω1は、空集合でないとしてもよいし、ΩPは、入力画像の全部でなく一部の領域を含む集合であるとしてもよい。
そして、情報処理装置１００は、複数の領域集合群Ωに含まれる領域集合Ωj（１＜＝ｉ＜＝Ｐ）それぞれについて、以下の処理を行う。即ち、情報処理装置１００は、入力画像Ｊに対して、領域集合Ωjに含まれる領域の部分について入力画像と異なる画像に変更する処理を行う。以下では、入力画像Ｊに対して領域集合Ωjに含まれる領域を変更する処理が施された画像を、画像Ｊ（Ωj）とする。これにより、情報処理装置１００は、入力画像１つにつき、入力画像内の領域集合Ωjに含まれる領域が変更された画像Ｊ（Ω1）〜画像Ｊ（ΩP）を取得する。
【００１１】
Ωj⊂Ωj+1  ＆  Ωj≠Ωj+1（１＜＝ｊ＜＝Ｐ−１）なので、画像Ｊ（Ω1）と画像Ｊ（Ω2）とで共通する入力画像Ｊのままである部分は、画像Ｊ（Ω1）と画像Ｊ（Ω3）とで共通する入力画像Ｊのままである部分の全てを含み、画像Ｊ（Ω1）と画像Ｊ（Ω3）とで共通する入力画像Ｊのままである部分よりも広い。そのため、画像Ｊ（Ω2）は、画像Ｊ（Ω3）よりも画像Ｊ（Ω1）と類似すると仮定できる。また、同様に、画像Ｊ（Ω3）は、画像Ｊ（Ω4）よりも画像Ｊ（Ω1）と類似すると仮定できる。このように、画像Ｊ（Ωj）（２＜＝ｉ＜＝Ｐ−１）は、画像Ｊ（Ωj+1）よりも画像Ｊ（Ω1）と類似すると仮定できる。画像Ｊ（Ω1）を基準画像とすると、情報処理装置１００は、基準画像との類似の度合いが順序付けられた画像Ｊ（Ω2）〜画像Ｊ（ΩP）を取得することができたこととなる。以下では、基準画像と比較される対象となる画像を、比較画像とする。
画像から抽出される特徴量が画像の特徴をより正確に捉える特徴量である程、その特徴量は、次のような性質があると仮定できる。即ち、複数の画像の類似の度合いが高い程、その複数の画像それぞれから抽出されるその特徴量それぞれは、互いに近い値となり、複数の画像の類似の度合いが低い程、その複数の画像それぞれから抽出されるその特徴量それぞれは、互いに遠い値となるという性質である。
【００１２】
教師なし学習で活用するラベルなし学習データは、ある目的で収集されたデータである。例えば、車の自動運転への活用を考えた場合には、車、バイク、自転車、通行人、信号機、道路、横断歩道等が含まれた画像のはずである。人のＸ線ＣＴ画像や天体画像等のような、無関係な画像は含まれないと仮定できる。したがって、対象とするラベルなし学習データも、画像としてのｆｌａｖｏｒを共有する画像群である。
よって、教師なし学習が進み，画像のｆｌａｖｏｒ抽出に成功した段階では、画像Ｊの全ての領域が重要なのではなく、ｆｌａｖｏｒ抽出に重要な領域と重要でない領域とが分離してくる。
例えば、ラベルなし学習データとして、風景の中に動物が含まれている画像が収集されている場合には、それらの画像群には、画像としての何らかのｆｌａｖｏｒ（特徴）がある。この際、領域集合Ωj+1に含まれ、領域集合Ωjに含まれない領域が、認識対象である動物が写っている領域と異なる領域である場合、画像Ｊ（Ωj+1）は、画像Ｊ（Ωj）に比べて、動物が写っている領域以外の領域が他の画像に置換された画像となり、認識対象である動物が写っている領域においては同一であるため、画像Ｊ（Ωj+1）と画像Ｊ（Ω1）との特徴量も近しい値とすべきである。画像Ｊ（Ωj+1）と画像Ｊ（Ω1）との類似の度合いは、画像Ｊ（Ωj）と画像Ｊ（Ω1）との類似の度合よりも低くなるが、画像Ｊ（Ωj+1）から抽出される特徴量を、画像Ｊ（Ωj）から抽出される特徴量よりも、画像Ｊ（Ω1）から抽出される特徴量から遠くするようにすべきではない。
そのため、領域集合Ωj+1には、領域集合Ωjに含まれない，認識対象が写っている領域を含ませることが望ましい。
【００１３】
そこで、本実施形態では、情報処理装置１００は、領域集合群Ωを、以下のように決定する。情報処理装置１００は、まず、認識対象の画像中に予め定められた複数の領域それぞれについて、その画像の特徴量に対する影響の度合いがどの程度であるかを決定する。より具体的には、情報処理装置１００は、画像Ｊ中に予め定められた複数の領域それぞれについて、その画像の特徴量に対する影響の度合いを示す指標として予め定められた指標を求める。以下では、この指標を、領域感度とする。領域感度が、値が大きい程、影響が大きいことを示す指標である場合、ある領域は、領域感度が大きい程、その画像の特徴を示し、認識対象に関する領域の可能性が高い領域となる。
そして、情報処理装置１００は、複数の領域それぞれについて求めた領域感度の値に基づいて、領域集合Ωに含ませる領域を、この複数の領域から選択する。これにより、情報処理装置１００は、領域集合Ωj+1に含まれ、領域集合Ωjに含まれない領域が、領域感度が他の領域に比べて相対的に高く、認識対象の領域の可能性が相対的に高い領域となる可能性を向上できる。
【００１４】
情報処理装置１００は、取得した画像Ｊ（Ω1）〜画像Ｊ（ΩP）と、予め定められた情報変換器の評価の指標である評価関数と、に基づいて、画像から特徴量を抽出する特徴量抽出用ＮＮを以下のように学習する。即ち、情報処理装置１００は、特徴量抽出用ＮＮを、複数の画像の類似の度合いが高い程、その複数の画像それぞれから抽出する特徴量それぞれが近い値となり、複数の画像の類似の度合いが低い程、その複数の画像それぞれから抽出する特徴量それぞれが遠い値となるように学習する。また、情報処理装置１００は、特徴量抽出用ＮＮを含む情報変換器全体について、学習を行うことで、特徴量抽出用ＮＮを学習することとしてもよい。
これにより、情報処理装置１００は、オートエンコーダのようにデコーダ部分のパラメータを学習する必要がなく、より軽負担に、特徴量抽出用ＮＮの各パラメータを学習できる。また、情報処理装置１００は、オートエンコーダのようにデコーダ部分のパラメータを利用しないため、オートエンコーダに比べて表現力が増加するわけでなく、誤った学習を行う可能性を低減させ、より適切に、特徴量抽出用ＮＮの各パラメータを学習できる。また、情報処理装置１００は、類似度学習法と異なり、２つの画像が似ているか否かを不確実な基準を基に決定する必要がないため、類似度学習法に比べて、より適切に特徴量抽出用ＮＮの各パラメータを学習できる。
【００１５】
（情報処理装置のハードウェア構成）
図１は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、特徴量抽出用ＮＮを学習するパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。情報処理装置１００は、ＣＰＵ１０１、主記憶装置１０２、補助記憶装置１０３、入力Ｉ／Ｆ１０４、出力Ｉ／Ｆ１０５、ネットワークＩ／Ｆ１０６を含む。各要素は、システムバス１０７を介して、相互に通信可能に接続されている。
ＣＰＵ１０１は、情報処理装置１００を制御する中央演算装置である。主記憶装置１０２は、ＣＰＵ１０１のワークエリアやデータの一時的な記憶場所として機能する記憶装置である。主記憶装置１０２は、例えば、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記録媒体を用いて実装される。補助記憶装置１０３は、各種プログラム、各種設定情報、各種画像データ、各種ＮＮのパラメータの初期値の情報等を記憶する記憶装置である。補助記憶装置１０３は、例えば、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等の記録媒体を用いて実装される。
入力Ｉ／Ｆ１０４は、マウス、キーボード、タッチパネルの操作部等の入力装置との接続に利用されるインターフェースである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０４を介して、入力Ｉ／Ｆ１０４に接続された入力装置からの入力を受付ける。出力Ｉ／Ｆ１０５は、モニタ、スピーカ、タッチパネルの表示部等の出力装置との接続に利用されるインターフェースである。ネットワークＩ／Ｆ１０６は、外部のサーバや装置等とのネットワーク（例えば、インターネットやＬＡＮ等）を介した通信に利用されるインターフェースである。
ＣＰＵ１０１が、補助記憶装置１０３に記憶されたプログラムに基づき処理を実行することによって、図２で後述する情報処理装置１００の機能及び、図４で後述するフローチャートの処理等が実現される。
【００１６】
（情報処理装置の機能構成）
図２は、情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は、画像生成部２０１、ミニバッチ生成部２０２、学習部２０３を含む。
画像生成部２０１は、ミニバッチ生成部２０２から入力された画像と、領域集合と、に基づいて、入力された画像に対して、入力された画像内の入力された領域集合に含まれる領域を、各ピクセルが乱数となる画像に変更する処理を行うことで、特徴量抽出用ＮＮの学習に用いられる学習データとなる画像を生成する。
ミニバッチ生成部２０２は、予め用意されたｋチャネルの画像の集合Ｉから、予め定められた数Ｎminibatch（例えば、３２等）個の画像（Ｊ(1)、Ｊ(2)、・・・Ｊ(Nminibatch-1)、Ｊ(Nminibatch)）を抽出する。以下では、このＪ(1)、Ｊ(2)、・・・Ｊ(Nminibatch-1)、Ｊ(Nminibatch)の画像を、画像Ｊと総称する。本実施形態では、ｋは、３とするが、２以下でもよいし、４以上でもよい。ミニバッチ生成部２０２は、例えば、集合Ｉからランダムな復元抽出を行うことで、Ｎminibatch個の画像を抽出する。また、ミニバッチ生成部２０２は、集合Ｉからランダムな非復元抽出を行うことで、Ｎminibatch個の画像を抽出することとしてもよい。
【００１７】
そして、ミニバッチ生成部２０２は、抽出した画像Ｊそれぞれについて、以下の処理を行う。即ち、ミニバッチ生成部２０２は、画像Ｊに含まれる画像Ｊ(i)（ｉは１以上Ｎminibatch以下の任意の整数）中に予め定められた複数の領域それぞれについて、その画像の特徴量に対する影響の度合いがどの程度であるかを決定する。本実施形態では、この複数の領域は、画像内の各ピクセルの領域であるとする。そのため、例えば、２５６×２５６の画像では、この複数の領域は、６５５３６個の単一のピクセルの大きさの領域である。
ミニバッチ生成部２０２は、画像Ｊ(i)の各ピクセルについて、領域感度を求める。本実施形態では、ミニバッチ生成部２０２は、画像Ｊ(i)を画像ｘとして、以下の式（１）を用いて、画像ｘの各ピクセルの領域感度を示すｒmaskを求める。ここで、画像ｘのサイズを、Ｎr×Ｎcであるとする。また、画像ｘのチャネル数を、Ｎdであるとする。ここで、ｘは、各要素が画像ｘのチャネルごとの各ピクセル値を示すＮr×Ｎc×Ｎd次元のベクトルとする。ｒmask（ｘ）は、Ｎr×Ｎc×Ｎd次元のベクトルであり、ｒmask（ｘ）の各要素は、画像ｘのチャネルごとの各ピクセルにおける領域感度を示す。また、以下では、ｋチャネルの座標（ａ、ｂ）を、座標（ａ、ｂ、ｋ）として表す。また、以下では、画像ｘが入力された場合に特徴量抽出用ＮＮから出力される特徴量を、ｆ（ｘ）として表す。また、特徴量抽出用ＮＮのパラメータがθである場合の特徴量ｆ（ｘ）を、ｆ（ｘ；θ）として表す。
【００１８】
【数１】
2019207560.tif 000003
【００１９】
式（１）は、正規化されたｘに関する特徴量の２乗ノルムの勾配ベクトルを、特徴量のピクセル変化率として求める式である。この勾配ベクトルは、画像ｘ中の座標（ａ、ｂ、ｋ）のピクセルのピクセル値を微小変動させた場合の特徴量ｆ（ｘ）の大きさが変化する度合を示す。式（１）中のｒは、Ｎr×Ｎc×Ｎd次元のベクトルであり、各要素が画像ｘのチャネルごとの各ピクセルにおけるピクセル値の変動量を示す。式（１）において、ベクトルの（ａ、ｂ、ｋ）要素とは、そのベクトルの要素のうち、画像ｘの座標（ａ、ｂ、ｋ）に対応する要素を示す。
また、ミニバッチ生成部２０２は、画像Ｊ(i)を画像ｘとして、以下の式（２）〜（３）を用いて、ｒmask（ｘ）を求めることとしてもよい。式（２）〜（３）を用いて、変数ｒmask（ｘ）を求める方法について説明する。
【００２０】
【数２】
2019207560.tif 000004
【００２１】
特徴量ｆ（ｘ）は、１以上のｆdim次元のベクトルとして表される。そこで、特徴量ｆ（ｘ）のｊ番目の要素を、ｆj（ｘ）とする。定められた１以上の整数Ｆを用いて、｛｜ｆj（ｘ）｜（ｊ＝１、２、・・・、ｆdim）｝の中から、値の大きな順にＦ個の特徴量要素を取り出し、それらを、｛ｆj*（ｘ）（ｊ＝１、２、・・・、Ｆ）｝と表記する。これらの特徴量要素は、画像ｘの特徴量として主要な要素であると考えることができる。
そして、ミニバッチ生成部２０２は、取得した特徴量要素｛ｆj*（ｘ）（ｊ＝１、２、・・・、Ｆ）｝と、式（２）と、を用いて、画像ｘのピクセル（ａ、ｂ、ｋ）のピクセル値を微小変動させた場合に、特徴量要素ｆj*（ｘ）（ｊ＝１、２、・・・、Ｆ）の値の変化する度合の２乗和（特徴量ｆ（ｘ）の変化の度合の一例）を示すｒ〜mask（ｘ）（数式中では、「〜」記号は、ｒの真上に配置されている）を取得する。ｒ〜mask（ｘ）は、１つ以上のスカラー値の関数であるｆj*（ｘ）それぞれを画像ｘについて１回微分することで求まる。ミニバッチ生成部２０２は、取得したｒ〜mask（ｘ）を、式（３）を用いて正規化することで、ｒmask（ｘ）を取得する。
【００２２】
ミニバッチ生成部２０２は、求めたｒmask（ｘ）に基づいて、以下の式（４）を用いて、画像ｘの各ピクセルの選択されやすさを示す指標として、Ｍc（ｒmask（ｘ））を取得する。Ｍc（ｒmask（ｘ））は、Ｎr×Ｎc次元のベクトルであり、各要素が画像ｘの各ピクセル（本実施形態における画像ｘ中に定められた複数の領域）の選択されやすさを示す値である。
【００２３】
【数３】
2019207560.tif 000005
【００２４】
そして、ミニバッチ生成部２０２は、抽出したＮminibatch個のｋチャネルの画像｛画像Ｊ(i)（１＜＝ｉ＜＝Ｎminibatch）｝それぞれ（画像ｘ）について、以下の処理を行う。即ち、ミニバッチ生成部２０２は、画像ｘについて、画像ｘ中の領域の集合を複数生成し、領域集合群Ωを生成する。
ミニバッチ生成部２０２は、例えば、０＝ｎ0＜＝（予め定められた０以上の整数（例えば、０等））＝ｎ1＜ｎ2＜ｎ3＜・・・＜ｎP（Ｐは、予め定められた３以上の自然数）なる関係を持つ整数の集合｛ｎp（ｐ＝０、１、２、・・・、Ｐ）｝を決定する。本実施形態では、ｎ1＝０とする。領域集合Ωpは、画像ｘの領域に予め定められた複数の領域（本実施形態では、画像中の各ピクセルの領域）から選択されたｎp個の領域の集合であるとする。領域集合Ω0は、空集合となる。また、本実施形態では、ｎ1＝０であるため、領域集合Ω1は、空集合となる。
入力される画像の領域に予め定められた複数の領域を、領域集合Ωimage＝｛座標（ａ、ｂ）のピクセルの領域｜ａ＝１、２、・・・、Ｎｒ；ｂ＝１、２、・・・、Ｎｃ｝とする。ミニバッチ生成部２０２は、Ωimage−Ω0から、Ｍc（ｒmask（ｘ））に応じた確率で、ｎ1−ｎ0個の領域（ピクセル）を非復元抽出する。そして、ミニバッチ生成部２０２は、抽出した領域の集合を、Ω1として取得する。本実施形態では、ｎ1−ｎ0は０なので、Ω1は、空集合である。
次に、ミニバッチ生成部２０２は、Ωimage−Ω1から、Ｍc（ｒmask（ｘ））に応じた確率で、ｎ2−ｎ1個の領域（ピクセル）を非復元抽出する。そして、ミニバッチ生成部２０２は、抽出した領域と、Ω1に含まれる領域（本実施形態では、Ω1は空集合なのでなし）と、の和集合である領域集合Ω２を取得する。
【００２５】
次に、ミニバッチ生成部２０２は、Ωimage−Ω2の領域から、Ｍc（ｒmask（ｘ））に応じた確率で、（ｎ3−ｎ2）個の領域を非復元抽出し、抽出した領域とΩ2に含まれる領域との和集合を、領域集合Ω3として取得する。
更に、ミニバッチ生成部２０２は、Ωimage−Ω3の領域から、Ｍc（ｒmask（ｘ））に応じた確率で、（ｎ4−ｎ3）個の領域を非復元抽出し、抽出した領域とΩ3に含まれる領域との和集合を、領域集合Ω4として取得する。
ミニバッチ生成部２０２は、以下同様にして、Ωimage−Ωp-1の領域から、（ｎp−ｎp-1）個のピクセルを、Ｍc（ｒmask（ｘ））に応じた確率で、非復元抽出し、抽出した領域とΩp-1に含まれる領域との和集合を、Ωpとして取得する。
例えば、ミニバッチ生成部２０２は、以下の式（５）を用いて、画像ｘの各ピクセルについての選択される確率の分布を求める。そして、ミニバッチ生成部２０２は、求めた確率分布に基づいて、Ωimage−Ωp-1の領域から（ｎp−ｎp-1）個のピクセルを非復元抽出する。
【００２６】
【数４】
2019207560.tif 000006
【００２７】
ミニバッチ生成部２０２は、以上の処理を、ΩPを取得するまで繰り返す。これにより、ミニバッチ生成部２０２は、領域集合群Ω＝｛Ω1、Ω2、Ω3、・・・、ΩP｝を生成できる。このように、ミニバッチ生成部２０２は、Ｍc（ｒmask（ｘ））に応じた確率で、Ωpに含まれる領域を抽出した。これにより、ミニバッチ生成部２０２は、Ωpに含ませΩp-1に含ませない領域として、特徴量への影響が他の領域よりも相対的に大きな領域が抽出される可能性を向上できる。これにより、ミニバッチ生成部２０２は、ｘ（Ωp）を、ｘ（Ωp-1）に比べて、画像ｘの特徴量への影響が無視できない領域が他の画像に置換された画像となる可能性を向上できる。
また、ミニバッチ生成部２０２は、Ωpを取得する際に、以下のようにしてもよい。即ち、ミニバッチ生成部２０２は、Ｍc（ｒmask（ｘ））の要素のうち値が大きいものから順に（ｎp−ｎp-1）個の要素を特定し、特定した要素に対応する座標のピクセルの領域を抽出して、抽出した領域とΩp-1の領域とを合わせて、Ωpとして取得することとしてもよい。
【００２８】
また、ミニバッチ生成部２０２は、以下のようにして、領域集合群Ωを生成することとしてもよい。
ミニバッチ生成部２０２は、例えば、Ωimageの領域から、Ｍc（ｒmask（ｘ））に応じた確率で、予め定められた個数の領域を抽出して、抽出した領域をΩ1とする。Ω1は、空集合であるとしてもよい。
そして、ミニバッチ生成部２０２は、Ωimage−Ω1の領域から、Ｍc（ｒmask（ｘ））に応じた確率で、予め定められた個数の領域を抽出して、抽出した領域とΩ1に含まれる領域との和集合をΩ2として取得する。以上の処理を、ミニバッチ生成部２０２は、Ωimageの領域を全部抽出するまで、繰り返すことで、領域集合群Ω＝｛Ω1、Ω2、Ω3、・・・、ΩP｝を生成してもよい。その場合、Ｐは、Ωimageの領域を全部抽出するまでに生成した領域集合の個数となる。
また、ミニバッチ生成部２０２は、生成した領域集合群Ω＝｛Ω1、Ω2、Ω3、・・・、ΩP｝に含まれるΩp（１＜＝ｐ＜＝Ｐ）に、Ωimageの領域のうち、対応するＭc（ｒmask（ｘ））の値が予め定められた閾値以上の領域が全て含まれる場合、｛Ωp+1、Ωp+2、・・・、ΩP｝については、領域集合群Ωから除外してもよい。その場合、ミニバッチ生成部２０２は、Ｐの値を、ｐに更新する。画像ｘ（Ωp+1）、ｘ（Ωp+2）、・・・、ｘ（ΩP）については、画像内に対応するＭc（ｒmask（ｘ））の値が予め定められた閾値以上となる領域が含まれず、認識対象の特徴が含まれている可能性が小さな画像となり、特徴量としてはどれも近しい値になるべき画像であり、学習に対する寄与が微小であるためである。ミニバッチ生成部２０２は、このような画像を除外することで、学習に係る処理の負担を軽減し、より精度よく特徴量抽出用ＮＮを学習することができる。
【００２９】
また、ミニバッチ生成部２０２は、領域集合Ωp（１＜＝ｐ＜＝Ｐ）を取得する際に、以下のようにしてもよい。ミニバッチ生成部２０２は、（ｎp−ｎp-1）個の領域を抽出し、抽出した領域それぞれについて、領域を拡張する処理を行うこととしてもよい。ミニバッチ生成部２０２は、例えば、抽出したある領域について、その領域とその領域の周囲に設定された領域とを合わせた領域を、領域集合Ωpに含ませる領域として決定することとしてもよい。その領域の周囲に設定された領域のパターンは、例えば、図３に示す領域のパターンである。図３の各パターンにおいて、斜線部分は、抽出された領域を示す。また、点状背景の部分は、のピクセルは、その領域の周囲に設定された領域を示す。
ミニバッチ生成部２０２は、例えば、領域集合Ωp（１＜＝ｐ＜＝Ｐ）を取得する際に、抽出した領域を、図３の８通りのパターンからランダムに選択したパターンのようにその領域の周囲の領域を特定する。そして、ミニバッチ生成部２０２は、抽出した領域と、特定した領域と、を併せた領域を、領域集合Ωpに含ませる。その場合、例えば、領域集合Ωpの取得の際に抽出された領域と拡張された領域（例えば、図３の８パターン）とが、領域集合Ωp-1に含まれる全ての領域を合わせた領域に含まれてしまうことがある。即ち、Ω1⊆Ω2⊆・・・⊆ΩPは成立することとなるが、この関係で等号が成立する場合がある。即ち、Ωp＝Ωp-1となる場合がある。それによって、学習データを適切に生成できない場合がある。
そこで、ミニバッチ生成部２０２は、以下のような処理を行うこととしてもよい。例えば図３の例では、抽出された領域は、広さが７倍になるように拡張されている。即ち拡張率が７倍である。その場合、ミニバッチ生成部２０２は、以下のように決定されたｎ｛ｎ1、ｎ2、・・・、ｎP｝を用いることとしてもよい。即ち、ミニバッチ生成部２０２は、ｎp×抽出された領域の拡張率（図３の例では７）＜ｎp+1となるように決定されたｎを用いることとしてもよい。これにより、Ωp（１＜＝ｐ＜＝Ｐ）に含まれる全ての領域を合せた領域は、Ωp+1に含まれる全ての領域を合わせた領域よりも必ず狭くなる。即ち、Ω1⊂Ω2⊂・・・⊂ΩPが必ず成立することとなる。
【００３０】
ミニバッチ生成部２０２は、以上のような処理で、画像Ｊに含まれる画像それぞれについて、領域集合群Ωを生成する。以下では、画像Ｊ(i)について生成された領域集合群Ωを、Ω(i)とする。そして、ミニバッチ生成部２０２は、画像Ｊ(i)と、領域集合群Ω(i)と、を画像生成部２０１に入力し、学習データの生成を指示する。そして、ミニバッチ生成部２０２は、画像Ｊそれぞれについて画像生成部２０１を介して生成した画像の集合を、特徴量抽出用ＮＮの学習に用いられる学習データの塊であるミニバッチとして決定し、ミニバッチの情報を、主記憶装置１０２、補助記憶装置１０３等に記憶する。
学習部２０３は、ミニバッチ生成部２０２により主記憶装置１０２、補助記憶装置１０３等に記憶されたミニバッチの情報と、予め定められた評価関数と、に基づいて、特徴量抽出用ＮＮのパラメータを学習する。
【００３１】
（学習処理の詳細）
図４は、学習処理の一例を示すフローチャートである。図４を用いて、情報処理装置１００が学習データとなる画像を生成し、生成した学習データに基づいて、特徴量抽出用ＮＮを学習する処理を説明する。
Ｓ４０１において、ミニバッチ生成部２０２は、補助記憶装置１０３に予め記憶されているｋチャネルの画像の集合Ｉから、予め定められた数Ｎminibatch個の画像Ｊ（Ｊ(1)、Ｊ(2)、・・・Ｊ(Nminibatch-1)、Ｊ(Nminibatch)）を抽出する。
Ｓ４０２において、ミニバッチ生成部２０２は、Ｓ４０１で抽出した画像Ｊから１つを選択する。以下では、Ｓ４０２で選択された画像を画像Ｊ(i)とする。
【００３２】
Ｓ４０３において、ミニバッチ生成部２０２は、Ｓ４０２で選択された画像Ｊ(i)中の領域の集合である領域集合の集まりである領域集合群Ωを生成する。ミニバッチ生成部２０２は、例えば、画像Ｊ(i)中に予め定められた複数の領域（画像Ｊ(i)中の各ピクセル）それぞれについて、領域感度を決定する。ミニバッチ生成部２０２は、画像Ｊ(i)を画像ｘとして、式（１）を用いて、画像ｘの各ピクセルの領域感度を示すｒmaskを求める。画像ｘのサイズを、Ｎr×Ｎcであるとする。また、画像ｘのチャネル数を、Ｎd（＝ｋ）であるとする。
そして、ミニバッチ生成部２０２は、求めたｒmask（ｘ）に基づいて、式（４）を用いて、Ｍc（ｒmask（ｘ））を求める。そして、ミニバッチ生成部２０２は、例えば、Ｍc（ｒmask（ｘ））と、式（５）と、に基づいて定まる確率分布に基づいて、Ωp（１＜＝ｐ＜＝Ｐ）に含まれる領域を決定することで、画像Ｊ(i)に対応する領域集合群Ω(i)＝｛Ω(i)1、Ω(i)2、Ω(i)3、・・・、Ω(i)P｝を生成する。
【００３３】
Ｓ４０４において、ミニバッチ生成部２０２は、Ｓ４０２で選択した画像Ｊ(i)と、Ｓ４０３で生成した領域集合群Ω(i)と、を画像生成部２０１に入力する。画像生成部２０１は、入力された領域集合群Ω(i)に含まれる領域集合それぞれについて、入力された画像Ｊ(i)中の領域集合に含まれる領域を各ピクセルのピクセル値が乱数となる画像に変更することで、特徴量抽出用ＮＮの学習に用いられる学習データとなる画像Ｊ(i)（Ω(i)1）、Ｊ(i)（Ω(i)2）、・・・、Ｊ(i)（Ω(i)P-1）、Ｊ(i)（Ω(i)P）を生成する。画像Ｊ(i)（Ω(i)p）は、画像Ｊ(i)におけるΩ(i)pが示す領域が各ピクセルのピクセル値が乱数となる画像に変更された画像である。以下では、｛画像Ｊ(i)（Ω(i)1）、Ｊ(i)（Ω(i)2）、・・・、Ｊ(i)（Ω(i)P-1）、Ｊ(i)（Ω(i)P）｝を、画像群Ｊ(i)（Ω(i)）とする。画像群Ｊ(i)（Ω(i)）は、基準画像である画像Ｊ(i)（Ω(i)1）との類似の度合いが順序付けられる画像群となる。また、以下では、Ｊ(1)（Ω(1)）、Ｊ(2)（Ω(2)）、・・・、Ｊ(Nminibatch-1)（Ω(Nminibatch-1)）、Ｊ(Nminibatch)（Ω(Nminibatch)）を、Ｊ（Ω）と総称する。
また、画像生成部２０１は、入力された領域集合群Ω(i)に含まれる領域集合それぞれについて、入力された画像Ｊ(i)中の領域集合が示す領域を予め定められた画像（例えば、ピクセル値が１２８の画像）に変更することで、特徴量抽出用ＮＮの学習に用いられる学習データとなる画像を生成してもよい。しかし、例えば、画像Ｊ(i)中の変更対象の領域（Ω(i)それぞれが示す領域）が、この予め定められた画像に類似する場合、変更後の画像が元の画像と類似することとなるため、元の画像と特徴の異なる画像を生成することができない場合がある。そのため、画像生成部２０１は、画像Ｊ(i)中の変更対象の領域を、各ピクセルのピクセル値が乱数となる画像に変更することで、元の画像と特徴の異なる画像を生成する可能性を向上させることができる。
【００３４】
また、特徴量抽出用ＮＮの学習に用いられる画像は、実行したい画像認識タスクに現れる画像データとある程度以上に類似する方が望ましい。全く異なる画像同士を識別するよりも、似ているが異なる画像同士を識別する方が有用な場合があるためである。そこで、画像Ｊ(i)が、実行したい画像認識タスクに現れる画像データとある程度の関連性のある画像である場合であっても、領域集合群Ωに含まれる領域集合が示す領域が変更された画像が、画像データとの関連性が学習に不適切な程に低下した画像となる場合がある。そこで、画像生成部２０１は、画像Ｊ(i)中の変更対象の領域全てにおける各ピクセルを、ピクセル値が乱数であり、変更対象の領域全てにおけるピクセル値の平均値が画像Ｊ(i)の全領域におけるピクセル値の平均値であり、変更対象の領域全てにおけるピクセル値の分散値が画像Ｊ(i)の全領域におけるピクセル値の分散値であるように変更することとしてもよい。このように、画像生成部２０１は、画像Ｊ(i)中の変更対象の領域を、元の画像のピクセル値の特徴を維持したまま、変更することで、変更対象の領域が変更された画像が、実行したい画像認識タスクに現れる画像データとの関連性が学習に不適切な程に低下した画像となる可能性を低減できる。
【００３５】
図５は、画像生成部２０１により生成された学習データの一例を示す図である。図５を用いて、Ｐが３であり、Ω(i)1が空集合であり、Ω(i)2が画像Ｊ(i)に予め定められた複数の領域（各ピクセルの領域）のうちの４個の領域を含む集合であり、Ω(i)3がΩ(i)2に含まれる領域を全て含み、画像Ｊ(i)に予め定められた複数の領域（各ピクセルの領域）のうちの８個の領域である場合に、画像生成部２０１により生成される画像の一例を説明する。
画像６００は、画像生成部２０１により、画像Ｊ(i)の領域のうち、Ω(i)1が示す領域を、各ピクセルのピクセル値が乱数となる画像に変更された画像である。Ω(i)1が空集合であるため、画像６００は、元の画像（画像Ｊ(i)）そのままとなっている。
画像６０１は、画像生成部２０１により、画像Ｊ(i)の領域のうち、Ω(i)2が示す領域を、各ピクセルのピクセル値が乱数となる画像に変更された画像である。４個の領域（領域６１１〜６１４）が、ピクセル値が乱数の画像に変更されていることが分かる。
画像６０２は、画像生成部２０１により、画像Ｊ(i)の領域のうち、Ω(i)3が示す領域を、各ピクセルのピクセル値が乱数となる画像に変更された画像である。８個の領域（領域６１１〜６１４、及び領域６２１〜６２４）が、ピクセル値が乱数の画像に変更されていることが分かる。
【００３６】
認識対象が人であるとする。画像６００には、人の画像が写っている。領域６１１〜６１４、領域６２１〜６２４それぞれは、認識対象である人の領域上に存在する領域である。
画像６００と画像６０１とで共通する入力画像Ｊ(i)のままである部分は、画像６００と画像６０２とで共通する入力画像Ｊ(i)のままである部分の全てを含み、画像６００と画像６０２とで共通する入力画像Ｊ(i)のままである部分よりも広い。そのため、画像６０１は、画像６０２よりも画像６００と類似すると仮定できる。このように、画像６０１、画像６０２の順に、画像６００と類似すると仮定できる。
本実施形態では、画像Ｊは、ｋチャネル画像である。そのため、画像生成部２０１は、各チャネルの画像それぞれについて、領域集合群Ω(i)に含まれる領域集合が示す領域が各ピクセルのピクセル値が乱数となる画像に変更された画像を生成することとなる。図５の例では、画像６００〜６０２と同様に、画像中の領域集合群Ω(i)に含まれる領域集合それぞれが示す領域が変更された画像が、チャネルごとに３つ生成されることとなる。
【００３７】
Ｓ４０５において、ミニバッチ生成部２０２は、Ｓ４０１で抽出した画像全てについて、Ｓ４０３〜Ｓ４０４の処理が完了したか否かを判定する。ミニバッチ生成部２０２は、Ｓ４０１で抽出した画像全てについて、Ｓ４０３〜Ｓ４０４の処理が完了したと判定した場合、Ｓ４０６の処理に進む。ミニバッチ生成部２０２は、Ｓ４０１で抽出した画像の中に、Ｓ４０３〜Ｓ４０４の処理が完了していない画像があると判定した場合、Ｓ４０２の処理に進む。
Ｓ４０６において、ミニバッチ生成部２０２は、Ｓ４０４で生成した画像全てを特徴量抽出用ＮＮの学習に用いられる学習データの塊であるミニバッチとして決定する。
このように、Ｓ４０１〜Ｓ４０６の処理により、情報処理装置１００は、複数の画像であって、その複数の画像に含まれるある画像と他の画像それぞれの類似の度合いが順序付けられた複数の画像を、学習データとして生成できる。
【００３８】
Ｓ４０７において、学習部２０３は、Ｓ４０６で決定されたミニバッチと、予め定められた評価関数Ｌと、に基づいて、特徴量抽出用ＮＮを学習する。図６に、情報処理装置１００が行う学習処理の概要を示す。図６には、ミニバッチに含まれる画像Ｊ(i)（Ω(i)p）（１＜＝ｐ＜＝Ｐ）がそれぞれ、特徴量抽出用ＮＮ（特徴量抽出用ＮＮ1〜特徴量抽出用ＮＮP）に入力されることで、特徴量ｆ（Ｊ(i)（Ω(i)p））（１＜＝ｐ＜＝Ｐ）が取得され、学習部２０３に入力される様子が示されている。以下では、特徴量抽出用ＮＮが、任意のｋチャネルの画像Ｘから、抽出した特徴量を、ｆ（Ｘ）とする。特徴量抽出用ＮＮ1〜特徴量抽出用ＮＮPは、ｓｉａｍｅｓｅアーキテクチャと同様に、全て同一のＮＮである。即ち、同一のアーキテクチャで、かつ、含まれるパラメータの値も同一である。学習部２０３は、この入力された特徴量ｆ（Ｊ(i)（Ω(i)p））（１＜＝ｉ＜＝Ｎminibatch、  １＜＝ｐ＜＝Ｐ）と、予め定められた評価関数Ｌと、に基づいて、特徴量抽出用ＮＮのパラメータを学習する。
Ｓ４０７の処理の詳細を説明する。学習部２０３は、補助記憶装置１０３から特徴量抽出用ＮＮの初期パラメータの情報を取得する。また、学習部２０３は、補助記憶装置１０３から予め定められた評価関数Ｌの情報を取得する。
【００３９】
画像Ｊ(i)（Ω(i)）に含まれる一群の画像（Ｊ(i)（Ω(i)1）〜Ｊ(i)（Ω(i)P））のうち、類似の度合いの比較の対象となる画像を基準画像とする。この一群の画像に含まれる他の画像と基準画像との類似の度合いが大きい程、特徴量抽出用ＮＮが基準画像、この他の画像それぞれから、より近い値の特徴量を抽出し、この他の画像と基準画像との類似の度合いが小さい程、より遠い値の特徴量を抽出することが望まれる。
そこで、本実施形態では、例えば、画像Ｊ(i)（Ω(i)）に含まれる一群の画像（Ｊ(i)（Ω(i)1）〜Ｊ(i)（Ω(i)P））のうち、類似の度合いの比較の対象となる画像をＪ(i)（Ω(i)1）とすると、以下のような評価関数Ｌを用いることとする。即ち、評価関数Ｌとして、「ｆ（Ｊ(i)（Ω(i)1））とｆ（Ｊ(i)（Ω(i)p-1））とのユークリッド距離  ＜  ｆ（Ｊ(i)（Ω(i)1））とｆ（Ｊ(i)（Ω(i)p））とのユークリッド距離      （３＜＝ｐ＜＝Ｐ）」という大小関係が強化される程、小さくなるような関数を用いることとする。大小関係の強化とは、大小関係を有する２つの対象のうち、大きい方がより大きく、小さい方がより小さくなることである。このような大小関係が強化されるということは、特徴量抽出用ＮＮが、ある画像と別の画像との類似の度合いが大きい程、これらの画像それぞれから、より近い値の特徴量を抽出するようになるということである。学習部２０３は、このような評価関数Ｌの値を最適化（本実施形態では、最小化）するように、特徴量抽出用ＮＮの各パラメータを学習する。
【００４０】
また、評価関数Ｌとして、「ｆ（Ｊ(i)（Ω(i)1））とｆ（Ｊ(i)（Ω(i)p-1））とのユークリッド距離  ＜  ｆ（Ｊ(i)（Ω(i)1））とｆ（Ｊ(i)（Ω(i)p））とのユークリッド距離      （３＜＝ｐ＜＝Ｐ）」という大小関係が強化される程、大きくなるような関数を用いることとしてもよい。その場合、学習部２０３は、このような評価関数Ｌの値を最大化するように、特徴量抽出用ＮＮの各パラメータを学習することとなる。
また、評価関数は、更に、基準画像として、Ｊ(i)（Ω(i)1）に加えて、Ｊ(i)（Ω(i)P）を用いることとしてもよい。その場合、評価関数Ｌとして、「ｆ（Ｊ(i)（Ω(i)P））とｆ（Ｊ(i)（Ω(i)p+1））とのユークリッド距離  ＜  ｆ（Ｊ(i)（Ω(i)P））とｆ（Ｊ(i)（Ω(i)p））とのユークリッド距離      （１＜＝ｐ＜＝Ｐ−２）」という大小関係が強化される程、小さくなるような関数を用いることとなる。
本実施形態では、評価関数Ｌは、以下の式（６）で表される関数である。
【００４１】
【数５】
2019207560.tif 000007
【００４２】
式（６）におけるＮminibatchは、予め用意されたｋチャネルの画像の集合Ｉから、画像生成部２０１により選択された画像（Ｊ(1)、Ｊ(2)、・・・Ｊ(Nminibatch-1)、Ｊ(Nminibatch)）の数である。ｉは、同一の画像から画像生成部２０１により生成されたミニバッチに含まれる一群の画像群を識別するインデックスである。Ｐは、領域集合群Ωに含まれる領域集合の数である。ｐは、領域集合群Ωに含まれる領域集合を識別するインデックスである。ρaverageとρp（ｐ＝１、２、・・・、Ｐ）は、予め定められたチューニングパラメータである。
式（６）の評価関数Ｌの第１項は、「ｆ（Ｊ(i)）とｆ（Ｊ(i)（Ω(i)p））とのユークリッド距離  ＜  ｆ（Ｊ(i)）とｆ（Ｊ(i)（Ω(i)p+1））とのユークリッド距離      （２＜＝ｐ＜＝Ｐ−１）」という大小関係を強化するための制約を示す項である。
評価関数Ｌの第１項は、画像Ｊ(i)（Ω(i)）における基準画像である画像Ｊ(i)と画像Ｊ(i)（Ω(i)p+1）（２＜＝ｐ＜＝Ｐ−１）との特徴量の差分のユークリッド距離の２乗と、画像Ｊ(i)と画像Ｊ(i)（Ω(i)p+1）よりも画像Ｊ(i)に類似する画像Ｊ(i)（Ω(i)p）との特徴量の差分のユークリッド距離の２乗と、の比率の合計を示す関数である。特徴量の差分のユークリッド距離の２乗は、特徴量の相違の度合いを示す指標の一例である。
この第１項を含む関数Ｌは、基準画像を画像Ｊ(i)として、その他の画像（画像Ｊ(i)（Ω(i)2））〜画像Ｊ(i)（Ω(i)P）））を複数の比較画像とした場合の、基準画像から特徴量抽出用ＮＮにより抽出される特徴量と、複数の比較画像それぞれから特徴量抽出用ＮＮにより抽出される特徴量と、に関する関数の一例である。
【００４３】
また、Ｌの第１項は、基準画像と画像（１）との特徴量の差分のユークリッド距離の２乗を、基準画像と画像（１）よりも基準画像に類似の度合いが高い画像（２）との特徴量の差分のユークリッド距離の２乗で除した値の合計を示す関数としてもよい。その場合、基準画像と画像（１）との特徴量の差分のユークリッド距離の２乗がより大きくなり、基準画像と画像（２）との特徴量の差分のユークリッド距離の２乗がより小さくなると、Ｌの第１項はより大きくなる。したがって、学習部２０３は、Ｌを最大化するように、特徴量抽出用ＮＮの各パラメータを学習することで、基準画像と画像（１）と画像（２）との間の画像類似度の相対的関係を、適切に反映する特徴量を抽出するような特徴量抽出用ＮＮを決定できる。
また、画像Ｊ(i)（Ω(i)p））  （１＜＝ｐ＜＝Ｐ）のうち、画像Ｊ(i)（Ω(i)1））以外の画像を、基準画像としてもよい。例えば、画像Ｊ(i)（Ω(i)2）を基準画像としてもよい。また、例えば、画像Ｊ(i)（Ω(i)P）を基準画像としてもよい。また、情報処理装置１００は、基準画像を複数用意して、複数の基準画像毎に、Ｌと同様の評価関数を用いて、学習することとしてもよい。
【００４４】
Ｌの第２項は、特徴量抽出用ＮＮにより抽出される特徴量のサイズに関する制約を示す項である。本実施形態では、Ｌの第２項は、特徴量の集合｛ｆ（Ｊ(i)（Ω(i)p））  （１＜＝ｉ＜＝Ｎminibatch、  １＜＝ｐ＜＝Ｐ）｝に含まれる特徴量が示すベクトルの長さの重み付き平均値が指定された定数からは外れる程、大きくなる。Ｌの第２項により、学習部２０３は、指定されたオーダのサイズの特徴量を抽出できるように、特徴量抽出用ＮＮを学習できる。
「ｆ（Ｊ(i)）とｆ（Ｊ(i)（Ω(i)p））とのユークリッド距離  ＜  ｆ（Ｊ(i)）とｆ（Ｊ(i)（Ω(i)p+1））とのユークリッド距離  （２＜＝ｐ＜＝Ｐ−１）」という大小関係がどのオーダのユークリッド距離で成立するのかが不定であるため学習が安定しない場合もある。そこで、学習部２０３は、Ｌの第２項を用いることで、特徴量抽出用ＮＮの各パラメータをより安定して学習することができる。
このＬの第２項は、特徴量抽出用ＮＮに入力される画像それぞれが特徴量抽出用ＮＮに入力される際に抽出される特徴量のサイズの制約に関する項の一例である。
【００４５】
そして、学習部２０３は、ミニバッチに含まれる画像と、取得した特徴量抽出用ＮＮのパラメータと、Ｌと、に基づいて、確率勾配降下法（ＳＧＤ、Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ）、Ａｄａｍ等の最適化手法を用いて、特徴量抽出用ＮＮの各パラメータを学習する。
Ｌを、ミニバッチに含まれる各画像（Ｊ(i)（Ω(i)p）  （１＜＝ｉ＜＝Ｎminibatch、  １＜＝ｐ＜＝Ｐ））が定数であり、特徴量抽出用ＮＮの各パラメータが変数である関数として、学習部２０３は、以下の処理を行う。即ち、学習部２０３は、Ｌを特徴量抽出用ＮＮの各パラメータで偏微分することで、現在の特徴量抽出用ＮＮの各パラメータの値が示す点における勾配ベクトルを求める。そして、学習部２０３は、求めた勾配ベクトルの逆方向に予め定められた値だけ、特徴量抽出用ＮＮの各パラメータを変動させることで、特徴量抽出用ＮＮの各パラメータを更新する。Ｌを最大化する場合には、勾配ベクトルの方向に予め定められた値だけ、特徴量抽出用ＮＮの各パラメータを変動させることで、特徴量抽出用ＮＮの各パラメータを更新する。
学習部２０３は、Ｌの値が収束するまで、又は、｛ｆ（Ｊ(i)（Ω(i)p））  （１＜＝ｉ＜＝Ｎminibatch  ）｝が特徴量空間内でｐ毎に分離されたと判断されるまで、又は、ある一定の反復回数になるまで、以上の処理を繰り返し、最終的に更新された特徴量抽出用ＮＮのパラメータを、最終的な学習結果の特徴量抽出用ＮＮのパラメータとして決定する。
【００４６】
（効果）
以上、本実施形態では、情報処理装置１００は、画像Ｊ（Ｊ(1)〜Ｊ(Nminibatch)）それぞれについて、画像Ｊ(i)中に定められた複数の領域である各ピクセルの領域それぞれについて、領域感度を求めた。そして、情報処理装置１００は、領域感度に基づいてこの複数の領域それぞれが選択される確率を求めて、求めた確率にしたがって、領域を選択することで、Ｐ個の領域集合Ω(i)1、Ω(i)2、・・・、Ω(i)P-1、Ω(i)Pを、領域集合群Ω(i)として、Ω(i)p⊂Ω(i)p+1  ＆  Ω(i)p≠Ω(i)p+1（１＜＝ｐ＜＝Ｐ−１）を満たすように生成した。また、情報処理装置１００は、領域感度に基づいて決定された確率にしたがって各領域集合に含まれる領域を選択することで、Ω(i)p+1にΩ(i)pには含まれない認識対象に関する領域が含まれる可能性を向上させることができる。即ち、情報処理装置１００は、Ω(i)p+1の領域のうち、Ω(i)pに含まれない領域が認識対象と異なる背景等の領域のみとなる可能性を低減できる。これにより、情報処理装置１００は、より適切な学習データを生成できる。これにより、情報処理装置１００は、特徴量抽出用ＮＮが認識対象と異なる背景等の領域が異なるだけの画像同士から離れた値の特徴量を抽出してしまうように学習する可能性を低減し、より適切に特徴量抽出用ＮＮを学習できることとなる。
そして、情報処理装置１００は、画像Ｊ(i)それぞれについて、画像Ｊ(i)内の領域集合群Ω(i)に含まれる領域集合が示す領域が、各ピクセルのピクセル値が乱数である画像に変更された画像Ｊ(i)（Ω(i)）を生成した。画像Ｊ(i)（Ω(i)p）（２＜＝ｐ＜＝Ｐ）それぞれは、画像Ｊ(i)（Ω(i)1）（＝画像Ｊ(i)）との類似の度合いが、順序づいた画像とみなすことができる。
【００４７】
そして、情報処理装置１００は、生成したＪ(i)（Ω(i)）と、式（６）に示す評価関数Ｌと、に基づいて、Ｌを最小化するように、特徴量抽出用ＮＮの各パラメータを学習することとした。
これにより、学習部２０３は、「ｆ（Ｊ(i)）とｆ（Ｊ(i)（Ω(i)p-1））とのユークリッド距離  ＜  ｆ（Ｊ(i)）とｆ（Ｊ(i)（Ω(i)p））とのユークリッド距離  （３＜＝ｐ＜＝Ｐ）」という大小関係を強化するように、特徴量抽出用ＮＮの各パラメータを学習した。
画像から抽出される特徴量が画像の特徴をより正確に捉える特徴量である程、その特徴量は、次のような性質があると仮定できる。即ち、複数の画像の認識対象の領域における類似の度合いが高い程、その複数の画像それぞれから抽出されるその特徴量それぞれは、互いに近い値となり、複数の画像の認識対象の領域における類似の度合いが低い程、その複数の画像それぞれから抽出されるその特徴量それぞれは、互いに遠い値となるという性質である。本実施形態では、情報処理装置１００は、このような性質を満たすように、特徴量抽出用ＮＮを学習したこととなる。これにより、情報処理装置１００は、より適切に特徴量抽出用ＮＮを学習することができる。
【００４８】
また、本実施形態の処理では、情報処理装置１００は、特徴量抽出用ＮＮのパラメータのみを学習するので、オートエンコーダのように、特徴量抽出用ＮＮに加えて更にデコーダ部分のパラメータを学習する必要がない。そのため、デコーダ部分のパラメータを学習する場合に比べてより軽負担に、特徴量抽出用ＮＮのパラメータを学習できる。
また、情報処理装置１００は、オートエンコーダのように、デコーダ部分のパラメータを追加しないため、表現能力を増加させることがなく、オートエンコーダに比べて、誤った学習を行う可能性を低減でき、より適切に特徴量抽出用ＮＮの各パラメータを学習できる。
また、情報処理装置１００は、類似度学習法と異なり、２つの画像が似ているか否かを不確実な基準を基に決定する必要がないため、類似度学習法に比べて、より適切に特徴量抽出用ＮＮの各パラメータを学習できる。
また、類似度学習法には、学習画像のラベルとして「似ている」と「似ていない」の２値の基準しかないため、数千次元の特徴量ベクトルを抽出する目的には、粗すぎるという問題がある。対して、本実施形態の情報処理装置１００は、２値の基準でなく、Ｐ個の段階で分けられた基準画像との類似の度合いを用いるため、数千次元の特徴量ベクトルを抽出しなければならないタスクで使用される特徴量抽出用ＮＮの各パラメータを、より正確に教師なし学習できる。
【００４９】
本実施形態では、情報処理装置１００は、特徴量抽出用ＮＮに対する教師なし学習を行った。情報処理装置１００は、特徴量抽出用ＮＮに対する半教師あり学習における教師なし学習として、本実施形態の学習処理を行うこととしてもよい。情報処理装置１００は、領域感度に基づいて決定された確率にしたがって各領域集合に含まれる領域を選択することで、Ω(i)p+1の領域のうち、Ω(i)pに含まれない領域が認識対象と異なる背景等の領域のみとなる可能性を低減している。そのため、情報処理装置１００は、特徴量抽出器を、認識対象と異なる背景等の領域が異なるだけの画像同士から離れた値の特徴量を抽出してしまうように学習する可能性を低減している。これにより、情報処理装置１００は、半教師あり学習における教師あり学習との間で、学習の競合が起こる可能性を低減できる。
また、本実施形態では、情報処理装置１００は、画像に定められた複数の領域として、画像内の各ピクセルの領域を用いることとして、この複数の領域から、領域集合Ωjに含ませる領域を選択することとした。しかし、情報処理装置１００は、画像に定められた複数の領域として、画像内の各ピクセルの領域以外の領域を用いることとしてもよい。例えば、情報処理装置１００は、画像に定められた複数の領域として、画像を４ピクセル×４ピクセルの領域に分割して、分割された４ピクセル×４ピクセルの各領域を用いることとしてもよい。その場合、情報処理装置１００は、この複数の領域それぞれについて、領域感度を求める。例えば、情報処理装置１００は、式（４）を用いてＭc（ｒmask（ｘ））を求め、しかる後に、４ピクセル×４ピクセルの領域毎に、領域に含まれるピクセルにおけるＭc（ｒmask（ｘ））の１６個の要素の統計値（例えば、合計、平均、最大値等）を計算し、その値を領域感度とする。そして、情報処理装置１００は、この複数の領域それぞれについての領域感度に基づいて、この複数の領域から、領域集合Ωjに含ませる領域を選択することとなる。
【００５０】
＜実施形態２＞
実施形態１では、情報処理装置１００は、特徴量抽出用ＮＮに対する学習に式（６）に示す評価関数Ｌを用いることとした。情報処理装置１００は、式（６）の値が小さくなるように、特徴量抽出用ＮＮのパラメータを更新していくこととなる。即ち、情報処理装置１００は、基準画像（Ｊ(i)）の特徴量と比較画像（Ｊ(i)（Ω(i)2）〜Ｊ(i)（Ω(i)P））それぞれの特徴量との間で、｜｜ｆ（Ｊ(i)（Ω(i)2））−ｆ（Ｊ(i)）｜｜  ＜  ｜｜ｆ（Ｊ(i)（Ω(i)3））−ｆ（Ｊ(i)）｜｜＜・・・＜｜｜ｆ（Ｊ(i)（Ω(i)P））−ｆ（Ｊ(i)）｜｜なる関係を強化するように、特徴量抽出用ＮＮの学習を行った。
｜｜ｆ（Ｊ(i)（Ω(i)2））−ｆ（Ｊ(i)）｜｜  ＜  ｜｜ｆ（Ｊ(i)（Ω(i)3））−ｆ（Ｊ(i)）｜｜＜・・・＜｜｜ｆ（Ｊ(i)（Ω(i)P））−ｆ（Ｊ(i)）｜｜なる関係は、以下の２つの解釈ができる。
（ａ）画像列（Ｊ(i)（Ω(i)2）〜Ｊ(i)（Ω(i)P））は、画像Ｊ(i)の特徴量の削除量が増大していく画像列であるという解釈。
（ｂ）画像列（Ｊ(i)（Ω(i)2）〜Ｊ(i)（Ω(i)P））は、画像Ｊ(i)における他の画像に置換された領域の特徴量が増大していく画像列であるという解釈。
【００５１】
ここでは、画像Ｊ(i)の特徴量を適切に抽出できるように特徴量抽出用ＮＮを学習することが要望されているので、画像Ｊ(i)における他の画像に置換された領域の特徴量の抽出ではなく、画像Ｊ(i)に係る特徴量を抽出できるように特徴量抽出用ＮＮを学習すべきである。しかし、実施形態１では、情報処理装置１００が画像Ｊ(i)における他の画像に置換された領域の特徴量を抽出するように、特徴量抽出用ＮＮを学習する可能性があった。
また、情報処理装置１００は、式（６）の第１項を小さくするために、式（６）中のｆ（Ｊ(i)（Ω(i)2））−ｆ（Ｊ(i)）のユークリッド距離の２乗が０となるように、特徴量抽出用ＮＮのパラメータを更新する可能性がある。しかし、画像Ｊ(i)（Ω(i)2）は、画像Ｊ(i)における特徴量に対する影響が相対的に大きい領域が他の画像に置換された画像である。そのため、画像Ｊ(i)（Ω(i)2）の特徴量は、画像Ｊ(i))の特徴量と異なるようになるように、特徴量抽出用ＮＮのパラメータを学習すべきである。しかし、実施形態１では、情報処理装置１００が画像Ｊ(i)（Ω(i)2）の特徴量と画像Ｊ(i))の特徴量とが微細な差異しかないほど近いように特徴量抽出用ＮＮを学習する可能性があった。
【００５２】
そこで、本実施形態では、情報処理装置１００は、このような可能性を低減しつつ、特徴量抽出用ＮＮを学習する処理について説明する。
本実施形態の情報処理装置１００のハードウェア構成、機能構成は、実施形態１と同様である。
本実施形態の処理は、実施形態１と比べて、Ｓ４０４、Ｓ４０７の処理が異なる。実施形態１との違いを中心に本実施形態の処理を説明する。
【００５３】
Ｓ４０４において、ミニバッチ生成部２０２は、Ｓ４０２で選択した画像Ｊ(i)と、Ｓ４０３で生成した領域集合群Ω(i)と、を画像生成部２０１に入力する。画像生成部２０１は、入力された領域集合群Ω(i)に含まれる領域集合それぞれについて、入力された画像Ｊ(i)中の領域集合に含まれる領域を各ピクセルのピクセル値が乱数となる画像に変更することで、特徴量抽出用ＮＮの学習に用いられる学習データとなる画像Ｊ(i)（Ω(i)1）、Ｊ(i)（Ω(i)2）、・・・、Ｊ(i)（Ω(i)P-1）、Ｊ(i)（Ω(i)P）を生成する。画像Ｊ(i)（Ω(i)p）は、画像Ｊ(i)におけるΩ(i)pが示す領域が各ピクセルのピクセル値が乱数となる画像に変更された画像である。
ここで、生成された画像Ｊ(i)（Ω(i)1）、Ｊ(i)（Ω(i)2）、・・・、Ｊ(i)（Ω(i)P-1）、Ｊ(i)（Ω(i)P）を、画像Ｊ(i)（Ω(i)1、ｎ1）、Ｊ(i)（Ω(i)2、ｎ1）、・・・、Ｊ(i)（Ω(i)P-1、ｎ1）、Ｊ(i)（Ω(i)P、ｎ1）とおき、Ｊ(i)（Ω(i)、ｎ1）と総称する。
【００５４】
また、ミニバッチ生成部２０２は、画像Ｊ(i)におけるΩ(i)pが示す領域が各ピクセルのピクセル値が乱数となる画像に変更された画像列を、改めて生成する。生成された画像Ｊ(i)（Ω(i)1）、Ｊ(i)（Ω(i)2）、・・・、Ｊ(i)（Ω(i)P-1）、Ｊ(i)（Ω(i)P）を、画像Ｊ(i)（Ω(i)1、ｎ2）、Ｊ(i)（Ω(i)2、ｎ2）、・・・、Ｊ(i)（Ω(i)P-1、ｎ2）、Ｊ(i)（Ω(i)P、ｎ2）とおき、Ｊ(i)（Ω(i)、ｎ2）と総称する。
ここで、Ｊ(i)（Ω(i)p、ｎ1）とＪ(i)（Ω(i)p、ｎ2）とは、それぞれ独立にΩ(i)pに含まれる領域が各ピクセルのピクセル値が乱数となる画像に置換された画像であり、Ω(i)pに含まれる領域の各ピクセルのピクセル値（乱数）が偶然同じ値となる場合を除いて、異なる画像となる。
即ち、本実施形態では、ミニバッチ生成部２０２は、Ｓ４０４で、基準画像との間での類似度が順序付けられた画像列を２つ生成することとする。
また、ミニバッチ生成部２０２は、画像Ｊ(i)におけるΩ(i)pが示す領域を、予め定められた画像に変更された画像列を、Ｊ(i)（Ω(i)、ｎ2）として生成してもよい。
【００５５】
Ｓ４０７において、学習部２０３は、Ｓ４０６で決定されたミニバッチと、以下の式（７）に示す評価関数Ｌ２と、に基づいて、特徴量抽出用ＮＮを学習する。学習部２０３は、補助記憶装置１０３から特徴量抽出用ＮＮのパラメータの情報を取得する。また、学習部２０３は、補助記憶装置１０３から評価関数Ｌ２の情報を取得する。
【００５６】
【数６】
2019207560.tif 000008
【００５７】
式（７）中のρgapは、予め定められたチューニングパラメータである。式（７）中の記号のうち式（６）と共通する記号は、式（６）と同様の記号である。Ｌ２は、Ｌ２の第２項を含む点でＬと異なる。
本実施形態では、例えば、画像Ｊ(i)（Ω(i)、ｎ1）に含まれる一群の画像（Ｊ(i)（Ω(i)1、ｎ1）〜Ｊ(i)（Ω(i)P、ｎ1））のうち、類似の度合いの比較の対象となる基準画像をＪ(i)（Ω(i)1、ｎ1）＝Ｊ(i)とする。
Ｌ２の第１項は、Ｌの第１項と同様の性質を有する項であり、Ｌの第１項におけるＪ(i)（Ω(i)p）、Ｊ(i)（Ω(i)p+1）が、Ｊ(i)（Ω(i)p、ｎ1）、Ｊ(i)（Ω(i)p+1、ｎ1）に変更された項である。Ｌ２の第１項は、「ｆ（Ｊ(i)（Ω(i)1）、ｎ1）とｆ（Ｊ(i)（Ω(i)p-1）、ｎ1）とのユークリッド距離  ＜  ｆ（Ｊ(i)（Ω(i)1、ｎ1））とｆ（Ｊ(i)（Ω(i)p、ｎ1））とのユークリッド距離  （３＜＝ｐ＜＝Ｐ）」という大小関係が強化される程、小さくなるような項である。
【００５８】
Ｌ２の第２項は、画像Ｊ(i)（Ω(i)p、ｎ1）と画像Ｊ(i)（Ω(i)p、ｎ2）と（２＜＝ｐ＜＝Ｐ）の特徴量の差分のユークリッド距離の２乗と、画像Ｊ(i)と画像Ｊ(i)（Ω(i)p、ｎ1）との特徴量の差分のユークリッド距離の２乗と、の比率の合計を示す関数である。Ｌ２の第２項は、「ｆ（Ｊ(i)（Ω(i)p、ｎ1））とｆ（Ｊ(i)（Ω(i)p、ｎ2））とのユークリッド距離  ＜  ｆ（Ｊ(i)（Ω(i)p、ｎ1））とｆ（Ｊ(i)）とのユークリッド距離  （２＜＝ｐ＜＝Ｐ）」という大小関係が強化される程、小さくなるような項である。
Ｌ２の第２項の意義について説明する。画像Ｊ(i)（Ω(i)p、ｎ1）と画像Ｊ(i)（Ω(i)p、ｎ2）とにおける画像Ｊ(i)のままである部分は、共通している。また、画像Ｊ(i)（Ω(i)p、ｎ1）と画像Ｊ(i)（Ω(i)p、ｎ2）とにおける画像Ｊ(i)と異なる部分は、各ピクセルのピクセル値が互いに独立な乱数となる画像となっている。そのため、画像Ｊ(i)（Ω(i)p、ｎ1）と画像Ｊ(i)（Ω(i)p、ｎ2）とのそれぞれから特徴量抽出用ＮＮにより抽出される画像Ｊ(i)に関する特徴量は、近しい値となるべきである。
【００５９】
また、画像Ｊ(i)（Ω(i)p、ｎ1）は、画像Ｊ(i)と比べて、画像Ｊ(i)のままである部分は少ない。そのため、画像Ｊ(i)（Ω(i)p、ｎ1）から特徴量抽出用ＮＮにより抽出される画像Ｊ(i)に関する特徴量は、画像Ｊ(i)から特徴量抽出用ＮＮにより抽出される画像Ｊ(i)に関する特徴量とは、より離れた値となるべきである。
そこで、学習部２０３は、この第２項を含むＬ２のように、画像Ｊ(i)（Ω(i)p、ｎ1）と画像Ｊ(i)（Ω(i)p、ｎ2）との特徴量が近しい値になり、画像Ｊ(i)（Ω(i)p、ｎ1）と画像Ｊ(i)との特徴量が離れた値になる程、小さくなる評価関数の値を小さくなるように、特徴量抽出用ＮＮを学習することで、より適切に画像Ｊ(i)の特徴量を抽出できるように特徴量抽出用ＮＮを学習できることとなる。
また、Ｌ２の第３項は、Ｌの第２項と同様の性質を有する項であり、Ｌの第２項におけるＪ(i)（Ω(i)p）がＪ(i)（Ω(i)p、ｎ1）に変更された項である。
更に、ｆ（Ｊ(i)（Ω(i)2、ｎ1））−ｆ（Ｊ(i)）のユークリッド距離の２乗が、評価関数Ｌ２の第２項の分母に入っている。このために、ｆ（Ｊ(i)（Ω(i)2））−ｆ（Ｊ(i)）のユークリッド距離の２乗が０となるように、特徴量抽出用ＮＮのパラメータを更新する可能性が低減される。
【００６０】
学習部２０３は、Ｌ２の値を最小化するように、特徴量抽出用ＮＮを学習する。
また、学習部２０３は、Ｌ２の代わりに、Ｌ２における各項の逆数を含む評価関数を用いて学習を行うこととしてもよい。その場合、学習部２０３は、その評価関数を最大化するように学習を行うこととなる。
【００６１】
以上、本実施形態の処理により、情報処理装置１００は、より適切に特徴量抽出用ＮＮを学習することができる。
【００６２】
＜その他の実施形態＞
実施形態１、２では、情報処理装置１００は、単体の情報処理装置であるとした。しかし、情報処理装置１００は、ネットワーク（ＬＡＮやインターネット）を介して相互に通信可能に接続された複数の情報処理装置を含むシステムとして構成されることとしてもよい。その場合、情報処理装置１００に含まれる複数の情報処理装置それぞれのＣＰＵが、それぞれの情報処理装置の補助記憶装置に記憶されたプログラムに基づき処理を連携して実行することで、図２の機能及び図４のフローチャートの処理等が実現される。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した情報処理装置１００の機能構成の一部又は全てをハードウェアとして情報処理装置１００に実装してもよい。
【符号の説明】
【００６３】
１００  情報処理装置
１０１  ＣＰＵ
【図１】
2019207560.tif 000009
【図２】
2019207560.tif 000010
【図３】
2019207560.tif 000011
【図４】
2019207560.tif 000012
【図５】
2019207560.tif 000013
【図６】
2019207560.tif 000014