(57)【要約】【課題】ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができるようにする。【解決手段】判定部１８０が、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、正例ラベルに対応する特徴ベクトルの分布に基づいて、ラベルが付与されていない画素の各々について当該画素の正例らしさを示す尤度に基づいてラベルを所定数付与することを繰り返す。【選択図】図１
2020047055.tif 000002
【特許請求の範囲】
【請求項１】
正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、前記正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及び前記負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、前記画素の特徴ベクトルを抽出するための特徴表現モデルを学習する表現学習部と、
前記表現学習部により学習された前記特徴表現モデルに基づいて、前記画像に含まれる複数の画素の各々について、前記画素の特徴ベクトルを抽出する特徴量抽出部と、
前記特徴量抽出部により抽出された前記正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定する正例分布推定部と、
前記正例分布推定部により推定された前記分布に基づいて、前記ラベルが付与されていない画素の各々について、前記画素の正例らしさを示す尤度を算出し、前記尤度の高い順に、予め定めた第１サンプル数の前記画素に対して、前記正例ラベルを付与し、前記尤度の低い順に、予め定めた第２サンプル数の前記画素に対して、前記負例ラベルを付与する擬似ラベル付与部と、
前記画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、前記表現学習部による学習、前記特徴量抽出部による特徴ベクトルの抽出、前記正例分布推定部による推定、及び前記擬似ラベル付与部によるラベルの付与を繰り返させる判定部と、
を含む画像認識器学習装置。
【請求項２】
前記目的関数は、同一のラベルが付与された画素の各々についての特徴ベクトル同士の距離と、異なるラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を更に含んで表される
請求項１記載の画像認識器学習装置。
【請求項３】
表現学習部が、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、前記正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及び前記負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、前記画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、
特徴量抽出部が、前記表現学習部により学習された前記特徴表現モデルに基づいて、前記画像に含まれる複数の画素の各々について、前記画素の特徴ベクトルを抽出し、
正例分布推定部が、前記特徴量抽出部により抽出された前記正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定し、
擬似ラベル付与部が、前記正例分布推定部により推定された前記分布に基づいて、前記ラベルが付与されていない画素の各々について、前記画素の正例らしさを示す尤度を算出し、前記尤度の高い順に、予め定めた第１サンプル数の前記画素に対して、前記正例ラベルを付与し、前記尤度の低い順に、予め定めた第２サンプル数の前記画素に対して、前記負例ラベルを付与し、
判定部が、前記画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、前記表現学習部による学習、前記特徴量抽出部による特徴ベクトルの抽出、前記正例分布推定部による推定、及び前記擬似ラベル付与部によるラベルの付与を繰り返させる
画像認識器学習方法。
【請求項４】
コンピュータを、請求項１又は２記載の画像認識器学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識器学習装置、画像認識器学習方法、及びプログラムに係り、特に、画像認識器を効率的に学習するための画像認識器学習装置、画像認識器学習方法、及びプログラムに関する。
【背景技術】
【０００２】
深層学習等の機械学習手法を用いて十分な学習用データがあれば、精度よく画像から対象領域の抽出を行えるような認識手法が多数提案されている。
【０００３】
一方で、十分な学習データが得られていない場合には、一部のデータに過学習を起こしてしまい、認識精度が高まらないという問題がある。例えば、非特許文献１では、学習に用いられるラベルが画像の一部の画素にのみ与えられている画像集合に対して、ラベル不明の画素についてラベルを擬似的に推定することで、高精度な領域抽出器を学習する手法を提案している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Lin et al., ”ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation”, CVPR 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１の手法では、画像内の輪郭情報と、一部のラベルから学習された認識器のスコアに基づいて、ラベルが与えられている画素周辺のラベル不明画素に対してラベルを伝播させるアプローチを取っているが、このアプローチでは、周辺に同一のラベルが付与されている領域に対してのみ適切な擬似ラベルの付与が可能となるため、例えば全くラベルが与えられていない画像を擬似ラベリングの対象として扱うことができない、という問題があった。
【０００６】
また、一部のラベルから学習する認識器は少ないサンプルから学習を行うために過学習の危険性が高い、という問題があった。
【０００７】
本発明は上記の点に鑑みてなされたものであり、ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができる画像認識器学習装置、画像認識器学習方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像認識器学習装置は、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、前記正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及び前記負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、前記画素の特徴ベクトルを抽出するための特徴表現モデルを学習する表現学習部と、前記表現学習部により学習された前記特徴表現モデルに基づいて、前記画像に含まれる複数の画素の各々について、前記画素の特徴ベクトルを抽出する特徴量抽出部と、前記特徴量抽出部により抽出された前記正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定する正例分布推定部と、前記正例分布推定部により推定された前記分布に基づいて、前記ラベルが付与されていない画素の各々について、前記画素の正例らしさを示す尤度を算出し、前記尤度の高い順に、予め定めた第１サンプル数の前記画素に対して、前記正例ラベルを付与し、前記尤度の低い順に、予め定めた第２サンプル数の前記画素に対して、前記負例ラベルを付与する擬似ラベル付与部と、前記画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、前記表現学習部による学習、前記特徴量抽出部による特徴ベクトルの抽出、前記正例分布推定部による推定、及び前記擬似ラベル付与部によるラベルの付与を繰り返させる判定部と、を備えて構成される。
【０００９】
また、本発明に係る画像認識器学習方法は、表現学習部が、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、前記正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、前記正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、前記正例ラベルが付与された画素及び前記負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、前記画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、特徴量抽出部が、前記表現学習部により学習された前記特徴表現モデルに基づいて、前記画像に含まれる複数の画素の各々について、前記画素の特徴ベクトルを抽出し、正例分布推定部が、前記特徴量抽出部により抽出された前記正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定し、擬似ラベル付与部が、前記正例分布推定部により推定された前記分布に基づいて、前記ラベルが付与されていない画素の各々について、前記画素の正例らしさを示す尤度を算出し、前記尤度の高い順に、予め定めた第１サンプル数の前記画素に対して、前記正例ラベルを付与し、前記尤度の低い順に、予め定めた第２サンプル数の前記画素に対して、前記負例ラベルを付与し、判定部が、前記画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、前記表現学習部による学習、前記特徴量抽出部による特徴ベクトルの抽出、前記正例分布推定部による推定、及び前記擬似ラベル付与部によるラベルの付与を繰り返させる。
【００１０】
本発明に係る画像認識器学習装置及び画像認識器学習方法によれば、表現学習部が、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習する。
【００１１】
特徴量抽出部が、表現学習部により学習された特徴表現モデルに基づいて、画像に含まれる複数の画素の各々について、当該画素の特徴ベクトルを抽出し、正例分布推定部が、特徴量抽出部により抽出された正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定し、擬似ラベル付与部が、正例分布推定部により推定された分布に基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与する。
【００１２】
そして、判定部が、画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、表現学習部による学習、特徴量抽出部による特徴ベクトルの抽出、正例分布推定部による推定、及び擬似ラベル付与部によるラベルの付与を繰り返させる。
【００１３】
このように、画像の画素のうち、ラベルが付与されていない画素がある場合、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、画像に含まれる複数の画素の各々について抽出した正例ラベルが付与された画素の各々についての特徴ベクトルの分布に基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与することを繰り返させることにより、ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができる。
【００１４】
また、本発明に係る画像認識器学習装置の前記目的関数は、同一のラベルが付与された画素の各々についての特徴ベクトル同士の距離と、異なるラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を更に含んで表されることができる。
【００１５】
本発明に係るプログラムは、上記の画像認識器学習装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１６】
本発明の画像認識器学習装置、画像認識器学習方法、およびプログラムによれば、ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る画像認識器学習装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像集合の一例を示すイメージ図である。
【図３】本発明の実施の形態に係る画像認識器学習装置の画像認識器学習処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を用いて説明する。
【００１９】
＜本発明の実施の形態に係る画像認識器学習装置の概要＞
まず、本発明の実施の形態の概要について説明する。
【００２０】
本発明の実施の形態では、画像の一部の画素にのみラベルが付与された学習データに基づいて精度良く対象領域を抽出する画像認識器を学習する手法を実現する。特に、学習データとして全くラベルが付与されていない画像を含む場合においてもそれらを効率的に活用する手法を実現する。
【００２１】
上述の課題を解決するためには、ラベル付けされていない画素を学習に活用するため、擬似的なラベル付けを行う必要がある。
【００２２】
本発明の実施の形態では、ラベル不明の画素について各ラベルに属する尤度を算出し、信頼度の高い画素から徐々に擬似ラベルを与える。尤度算出のため、同一ラベルの画素同士で距離が近くなるような特徴表現を求める表現学習を行う。
【００２３】
表現学習において適切な特徴表現を得るため、ラベル不明の画素についても学習サンプルとして取り入れた目的関数を導入する。これによって学習サンプルの多様性を確保でき、過学習を抑えることができる。
【００２４】
そして、学習された表現に基づいて、各ラベルが属する分布を推定し、ラベル不明の画素について各ラベルに属する尤度を算出する。算出された尤度が高い画素を選択し、対応する擬似ラベルを与える。
【００２５】
このようにして、表現学習による特徴表現の最適化と特徴表現に基づく擬似ラベル付けを繰り返すことでラベル不明の画素に対して逐次的にラベルを付与する。
【００２６】
最終的に得られる全ての画素にラベルが付与された学習データに基づいて認識器を学習することで、対象領域を抽出する画像認識器を得ることができる。
【００２７】
このような構成により、対象領域のラベル情報を持たない学習データを効率的に用いた画像認識器の学習が可能となる。
【００２８】
例えば、インフラ設備を撮影した画像から劣化箇所を検知する課題において、撮影画像は大量に存在していても、劣化箇所の詳細な形状を画素毎にラベル付けすることは難しい場合が多い。また、ラベル付けにおいて見落としが発生する可能性もある。
【００２９】
そうした場合に、一部の信頼できるラベル情報を基にして他のラベル付けされていないデータについても擬似的なラベルを与えることで、高精度な画像認識器を学習することができる。
【００３０】
＜本発明の実施の形態に係る画像認識器学習装置の構成＞
図１を参照して、本発明の実施の形態に係る画像認識器学習装置１０の構成について説明する。図１は、本発明の実施の形態に係る画像認識器学習装置１０の構成を示すブロック図である。
【００３１】
画像認識器学習装置１０は、ＣＰＵと、ＲＡＭと、後述する画像認識器学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００３２】
図１に示すように、本実施形態に係る画像認識器学習装置１０は、画像集合記憶部１００と、表現学習部１１０と、特徴抽出モデル記憶部１２０と、特徴量抽出部１３０と、特徴ベクトルセット記憶部１４０と、正例分布推定部１５０と、正例分布記憶部１６０と、擬似ラベル付与部１７０と、判定部１８０とを備えて構成される。
【００３３】
画像集合記憶部１００には、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合が格納されており、画像集合の画像の各々について、当該画像の各画素に正例ラベル、負例ラベル、又は不明（ラベル付け無し）の３種類のラベルデータが対応付けられている。
【００３４】
本実施形態では、簡単のため、問題設定を画像からある１つの対象領域を抜き出す問題とし、与えられるラベルについては正例（対象領域に属する）・負例（対象領域に属さない）のいずれかとする。
【００３５】
図２は、画像集合の一例を示すイメージ図である。この例では、画像から馬の領域を抽出する問題において、馬領域の一部の画素及び馬領域でない一部の画素がラベル付けされている画像（図２上段の左・中）、及び何もラベル付けされていない画像（図２上段の右）を用いて、馬領域を精度よく抽出する認識器を学習する。
【００３６】
具体的には、画像集合記憶部１００は、図２上段の画像集合の各画像の各画素に正例ラベル、負例ラベル、又は不明（ラベル付け無し）の３種類のラベルデータを対応付けて、画像集合を格納している。
【００３７】
表現学習部１１０は、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習する。
【００３８】
当該目的関数は、同一のラベルが付与された画素の各々についての特徴ベクトル同士の距離と、異なるラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を更に含んで表される。
【００３９】
具体的には、表現学習部１１０は、まず、画像集合記憶部１００から、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合を取得する。また、表現学習部１１０は、特徴抽出モデル記憶部１２０に格納されている特徴表現モデルを取得する。
【００４０】
次に、表現学習部１１０は、画像集合の画像の各々について、当該画像に含まれる各画素に対応付けらえた正例・負例・不明の３種のラベルデータを用いて正例と負例との間の距離が離れるような特徴抽出モデルの学習を行う。
【００４１】
ここで、本実施の形態では、学習する特徴抽出モデルとして畳み込みニューラルネットワークを用いることを想定するが、目的関数に対して適切な学習が可能なモデルであればいずれでも良い。
【００４２】
＜＜目的関数の設定＞＞
学習した特徴抽出モデルによって得られる画素ｘの特徴ベクトルをｆ（ｘ）とすると、表現学習部１１０による学習では、正例画素Ｐ＝｛ｐ１，ｐ２，…｝と負例画素Ｎ＝｛ｎ１，ｎ２，…｝に対してｆ（ｐｉ）とｆ（ｐｊ）の距離が小さく、ｆ（ｐｉ）とｆ（ｎｊ）の距離が大きくなるように特徴抽出モデルを学習する。
【００４３】
この最適化を行うための目的関数は参考文献１においてＴｒｉｐｌｅｔ  Ｌｏｓｓとして提案されており、下記式（１）のような数式によって表される。
［参考文献１］Hoffer and Ailon, "Deep metric learning using triplet network",InternationalWorkshop on Similarity-Based Pattern Recognition 2015.
【００４４】
【数１】
2020047055.tif 000003
【００４５】
ここで、αは予め定められる超パラメータであり、正例と負例との距離をどれだけ離すべきかをコントロールする値である。
【００４６】
上記式（１）において距離比較の中心となっているｐａをアンカーと呼び、アンカーに対して同一クラスの特徴ベクトルが近くに、異なるクラスの特徴ベクトルが遠くになるよう学習が進む。
【００４７】
この目的関数を全てのサンプルについて算出する必要があり、それらをまとめた目的関数ＬＰＮは、下記式（３）のようになる。
【００４８】
【数２】
2020047055.tif 000004
【００４９】
ここで、
2020047055.tif 000005
は該当する全要素における平均値を示す。正例サンプルはどれもアンカーになり得るため、全ての正例サンプルをアンカーとした際の全ての正例・負例の組み合わせに対するＬｔｒｉの平均値が、最小化すべき目的関数となるまた、Ｌｔｒｉ（ａ，ｐ，ｎ）は、同一のラベルが付与された画素の各々についての特徴ベクトル同士の距離と、異なるラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値の一例である。
【００５０】
本実施の形態では、このＴｒｉｐｌｅｔ  Ｌｏｓｓにおいてラベルが不明の画素を考慮した場合の目的関数を設定する。
【００５１】
ここで、ラベル不明の画素は真には正例・負例のどちらかに属する画素であると仮定する。また、ラベル不明画素に含まれる正例の割合をθｐ、負例の割合をθｎとおき、ラベル不明画素の集合をＵで示す。この割合は、対象領域の種類毎に予め定められるものであり、例えば、当該種類を表す画像から統計的に求められる値を用いる。
【００５２】
また、ラベル不明画素に含まれる正例及び負例画素の特徴は、ラベルが付与されている正例・負例画素と同じ分布からランダムに得られているものと仮定する。
【００５３】
この時、既知の正例である集合ＰをアンカーとしてＵとの距離を最大化するＴｒｉｐｌｅｔ  Ｌｏｓｓを考えると下記式（４）のようになる。
【００５４】
【数３】
2020047055.tif 000006
【００５５】
ここで、上記式（４）において、Ｕに含まれる正例画素をＵＰ、負例画素をＵＮで示している。ＰとＵＰとが同じ分布から得られることを想定しているため、アンカーからのそれぞれの距離を比較するＬｔｒｉ（ａ，ｐ，ｐ´）の平均値はαとなり、Ｌｔｒｉ（ａ，ｐ，ｎ´）の平均値は本来の目的関数であるＬＰＮと同じとなる。また、Ｌｔｒｉ（ａ，ｐ，ｕ）は、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値の一例である。
【００５６】
同様にして、既知の正例である集合ＰをアンカーとしてＵとの距離を近づけ、Ｎとの距離を離すようなＴｒｉｐｌｅｔ  Ｌｏｓｓを考えると下記式（５）のようになる。
【００５７】
【数４】
2020047055.tif 000007
【００５８】
また、Ｌｔｒｉ（ａ，ｕ，ｎ）は、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値の一例である。
【００５９】
上記式（４）及び式（５）を足し合わせると、下記式（６）が導き出される。
【００６０】
【数５】
2020047055.tif 000008
【００６１】
すなわち、データＵに対する仮定が成り立つ場合においては、求めるべき目的関数ＬＰＮがラベル不明画素に基づくＬＰＵとＬＵＮから求められることがわかる。すなわち、全てのラベルが既知である場合の直接的な目的関数であるＬＰＮを、ラベル不明画素に基づくＬＰＵ及びＬＵＮにより表現することができる。
【００６２】
これは、ラベルが付与されたデータＰ及びデータＮに比べて十分に多いラベル不明データＵが得られる場合に有効な手法となる。
【００６３】
本実施の形態においては、直接的な目的関数であるＬＰＮと、学習サンプル数を増やすことができる上記式（６）（
2020047055.tif 000009
）とを組み合わせて用いる。
【００６４】
最終的に表現学習部１１０において最小化される目的関数は、下記式（７）のようになる。
【００６５】
【数６】
2020047055.tif 000010
【００６６】
ここで、γは、予め定められる値（０＜γ＜１）であり、直接的な目的関数であるＬＰＮと、学習サンプル数を増やすことができる上記式（６）（
2020047055.tif 000011
）とを調整するためのパラメータである。すなわち、本来全てのラベルが既知である場合の目的関数ＬＰＮと、ラベル不明画素に基づくＬＰＵ及びＬＵＮにより表現することができる目的関数ＬＰＮとの重み付き和である、上記式（７）の目的関数を用いることにより、ラベル情報を持たない学習データを画像認識器の学習に用いることができる。
【００６７】
表現学習部１１０は、上記式（７）を目的関数として、確率的勾配降下法等を用いて誤差逆伝播によって特徴抽出モデルを学習する。
【００６８】
そして、表現学習部１１０は、学習した特徴抽出モデルを特徴抽出モデル記憶部１２０に格納し、特徴量抽出部１３０に当該特徴抽出モデルを渡す。
【００６９】
特徴抽出モデル記憶部１２０には、表現学習部１１０により学習された特徴表現モデルが格納される。
【００７０】
特徴量抽出部１３０は、表現学習部１１０により学習された特徴表現モデルに基づいて、画像に含まれる複数の画素の各々について、当該画素の特徴ベクトルを抽出する。
【００７１】
具体的には、特徴量抽出部１３０は、画像の各画素に、学習された特徴抽出モデルを適用させることにより、当該画像に含まれる複数の画素の各々について、当該画素の特徴ベクトルを抽出する。
【００７２】
そして、特徴量抽出部１３０は、抽出した画像に含まれる複数の画素の各々についての特徴ベクトルを、特徴ベクトルセット記憶部１４０に格納し、正例分布推定部１５０に渡す。
【００７３】
特徴ベクトルセット記憶部１４０には、特徴量抽出部１３０により抽出された画素の各々についての特徴ベクトルが格納される。
【００７４】
正例分布推定部１５０は、特徴量抽出部１３０により抽出された正例ラベルが付与された画素の各々についての特徴ベクトルの分布を推定する。
【００７５】
具体的には、正例分布推定部１５０は、特徴量抽出部１３０により抽出された正例ラベルが付与された画素の各々についての特徴ベクトルをまとめ、正規分布のフィッティングを行う。
【００７６】
正例分布推定部１５０は、正例ラベルに紐づけられた特徴ベクトルの平均値μＰ及び共分散行列ΣＰを求め、当該正規分布を推定する。
【００７７】
そして、正例分布推定部１５０は、推定した平均値μＰ及び共分散行列ΣＰを、正例分布記憶部１６０に格納し、擬似ラベル付与部１７０に渡す。
【００７８】
正例分布記憶部１６０には、正例分布推定部１５０により推定された正規分布（平均値μＰ及び共分散行列ΣＰ）が格納される。
【００７９】
擬似ラベル付与部１７０は、正例分布推定部１５０により推定された正規分布（平均値μＰ及び共分散行列ΣＰ）と、ラベルが付与されていない画素の各々についての特徴ベクトルとに基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与する。
【００８０】
具体的には、擬似ラベル付与部１７０は、推定された正規分布に基づいて、ラベルが付与されていない画素の特徴ベクトルｕに対して、下記式（８）のように尤度を算出し、尤度の高いサンプルから正例ラベルを、尤度の低いサンプルから負例ラベルを付与する。
【００８１】
【数７】
2020047055.tif 000012
【００８２】
ここで、ｄは、特徴ベクトルの次元数である。
【００８３】
新たにラベル付与するサンプルの数については、あらかじめ２つの超パラメータを設定する。１回の更新でラベル付与するサンプル数をβとし、そのサンプル数βに含まれる正例・負例の比率をθＰ，θＮとして設定する。すなわち、正例ラベルが付与されるサンプルの数である第１サンプル数は、β×θＰであり、負例ラベルが付与されるサンプルの数である第２サンプル数は、β×θＮである。
【００８４】
そして、擬似ラベル付与部１７０は、画像集合記憶部１００に格納されているラベルが付与されていない画素の各々についてのラベルを更新する。
【００８５】
また、擬似ラベル付与部１７０は、ラベルを付与した旨を、判定部１８０に通知する。
【００８６】
判定部１８０は、画像の画素のうち、ラベルが付与されていない画素があるか否かを判定し、ラベルが付与されていない画素がある場合、表現学習部１１０による学習、特徴量抽出部１３０による特徴ベクトルの抽出、正例分布推定部１５０による推定、及び擬似ラベル付与部１７０によるラベルの付与を繰り返させる。
【００８７】
具体的には、判定部１８０は、画像集合記憶部１００に格納されている画像の画素のうち、ラベルが付与されていない画素があるか否かを判定する。
【００８８】
ラベルが付与されていない画素がある場合、表現学習部１１０に対し、再度学習を行うように通知し、表現学習部１１０により新たなラベルを用いてさらに学習が行われ、特徴量抽出部１３０による特徴ベクトルの抽出、正例分布推定部１５０による推定、及び擬似ラベル付与部１７０によるラベルの付与が繰り返される。全ての画素についてラベルが付与されるまでこれを繰り返すことで、ラベルが全画素に付与されたラベルセットを得ることができる。
【００８９】
一方、ラベルが付与されていない画素がない場合、処理を終了する。
【００９０】
処理を終了した場合、例えば、図２下段に示すように画像に含まれるすべての画素に正例ラベル又は負例ラベルが付与される。このため、当該画像の正例ラベルが付与された画素により、画像認識器による画像認識の対象領域を抽出することができる。また、すべての画素に正例ラベル又は負例ラベルが付与されるまで繰り返し学習した結果から、特徴抽出モデル、及び正例ラベルが付与された画素の特徴ベクトルの分布が、画像認識器として得られる。
【００９１】
他の画像に対してラベル推定をする場合には、画像集合記憶部１００に格納されているすべての画素についてラベルが付与された画像のラベルセットを用いて画像認識器を学習し直しても良いし、学習済みの特徴抽出モデル、及び正例が付与された画素の特徴ベクトルの分布に対する尤度を用いて、各画素のラベルを識別しても良い。
【００９２】
例えば、図２上段の右に示すようなラベルが付与されていない画像の場合、まず、学習済みの特徴抽出モデル記憶部１２０に格納された特徴抽出モデルを用いて、特徴量抽出部１３０による特徴ベクトルの抽出を行い、擬似ラベル付与部１７０によるラベルの付与を行うことにより、当該画像に含まれるすべての画素にラベルを付与し、対象領域を抽出してもよい。
【００９３】
＜本発明の実施の形態に係る画像認識器学習装置の作用＞
図３は、本発明の実施の形態に係る画像認識器学習処理ルーチンを示すフローチャートである。
【００９４】
画像認識器学習装置１０において、図３に示す画像認識器学習処理ルーチンが実行される。
【００９５】
まず、ステップＳ１００において、画像集合記憶部１００から、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合を取得する。
【００９６】
次に、ステップＳ１１０において、表現学習部１１０は、特徴抽出モデル記憶部１２０に格納されている特徴表現モデルを取得する。
【００９７】
ステップＳ１２０において、表現学習部１１０は、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される、上記式（７）の目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習する。
【００９８】
ステップＳ１３０において、表現学習部１１０は、学習した特徴抽出モデルを特徴抽出モデル記憶部１２０に格納する。
【００９９】
ステップＳ１４０において、特徴量抽出部１３０は、上記ステップＳ１２０により学習された特徴表現モデルに基づいて、画像集合の各画像に含まれる複数の画素の各々について、当該画素の特徴ベクトルを抽出する。
【０１００】
ステップＳ１５０において、特徴量抽出部１３０は、抽出した画像に含まれる複数の画素の各々についての特徴ベクトルを、特徴ベクトルセット記憶部１４０に格納する。
【０１０１】
ステップＳ１６０において、正例分布推定部１５０は、上記ステップＳ１４０により抽出された正例ラベルが付与された画素の各々についての特徴ベクトルの正規分布を推定する。
【０１０２】
ステップＳ１７０において、正例分布推定部１５０は、推定した平均値μＰ及び共分散行列ΣＰを、正例分布記憶部１６０に格納する。
【０１０３】
ステップＳ１８０において、擬似ラベル付与部１７０は、上記ステップＳ１６０により推定された正規分布に基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与する。
【０１０４】
ステップＳ１９０において、擬似ラベル付与部１７０は、画像集合記憶部１００に格納されているラベルが付与されていない画素の各々についてのラベルを更新する。
【０１０５】
ステップＳ２００において、判定部１８０は、画像集合の各画像の画素のうち、ラベルが付与されていない画素があるか否かを判定する。
【０１０６】
ラベルが付与されていない画素がある場合（上記ステップＳ２００のＹＥＳ）、ステップＳ１１０に戻り、上記ステップＳ１１０〜Ｓ２００の処理を繰り返す。
【０１０７】
一方、ラベルが付与されていない画素がない場合（上記ステップＳ２００のＮＯ）、処理を終了する。
【０１０８】
以上説明したように、本発明の実施形態に係る画像認識器学習装置によれば、画像の画素のうち、ラベルが付与されていない画素がある場合、正例ラベル又は負例ラベルが付与された画素を含む画像と、ラベルが付与されていない画素を含む画像とを含む画像集合に基づいて、正例ラベルが付与された画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離との差に基づく値、並びに、正例ラベルが付与された画素及びラベルが付与されていない画素の各々についての特徴ベクトル同士の距離と、正例ラベルが付与された画素及び負例ラベルが付与された画素の各々についての特徴ベクトル同士の距離との差に基づく値を含んで表される目的関数が最小になるように、当該画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、画像に含まれる複数の画素の各々について抽出した正例ラベルが付与された画素の各々についての特徴ベクトルの分布に基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、正例ラベルを付与し、当該尤度の低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与することを繰り返させることにより、ラベル情報を持たない学習データを効率的に用いて画像認識器を学習することができる。
【０１０９】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１１０】
＜多クラス問題への拡張＞
上述の実施の形態は、正例と負例のみが現れる２クラスの問題設定であったが、３以上の多クラスの問題についても同様のアプローチを適用することができる。
【０１１１】
例えば、多数の正例クラスと１つの負例クラス（まとまった意味を持たないようなその他クラス）を識別する問題について適用方法を示す。
【０１１２】
この場合、各正例クラスはそれぞれアンカーとなり得るため、各正例クラスについて上述の目的関数ＬＰＮを最小化する必要がある。ｉ番目の正例クラスの画素集合をＰｉで示し、Ａをアンカーの集合、Ｐを正例の集合、Ｎを負例の集合とするＴｒｉｐｌｅｔ  ｌｏｓｓの目的関数をＬ（Ａ，Ｐ，Ｎ）で示すとすると、多クラス問題の目的関数は下記式（９）のように表される。
【０１１３】
【数８】
2020047055.tif 000013
【０１１４】
ここで、Ｃｐは正例クラスのクラス数を示す。
【０１１５】
ラベル不明画素を考慮する場合、各クラスについて２クラスの場合と同様の式が成り立つため、下記式（１０）のように表される。
【０１１６】
【数９】
2020047055.tif 000014
【０１１７】
これに基づいて２クラスの場合と同様にγで重み付けされた目的関数は下記式（１１）のようになる。
【０１１８】
【数１０】
2020047055.tif 000015
【０１１９】
ただし、この式変形はラベル不明画素Ｕがラベル付き画素と同じ分布から得られていることを仮定しているため、各クラスにおけるラベル付けされた画素数の比率とラベル不明画素Ｕに含まれる各クラスに属する画素数の比率を揃える必要がある。
【０１２０】
ラベル不明画素Ｕに含まれる各クラスのラベル比率を何らかの方法で推定もしくは仮定し、その比率に合うようラベル付き画素の数を調整しながら擬似ラベルを付与していくことが望ましい。
【０１２１】
上述したように、多クラス問題へ拡張する場合には、表現学習部１１０は、上記式（１１）に示す目的関数が最小になるように、画素の特徴ベクトルを抽出するための特徴表現モデルを学習する。
【０１２２】
また、正例分布推定部１５０は、各正例クラスについて、特徴量抽出部１３０により抽出された当該正例クラスの正例ラベルが付与された画素の各々についての特徴ベクトルの正規分布を推定する。
【０１２３】
また、擬似ラベル付与部１７０は、各正例クラスについて、正例分布推定部１５０により推定された当該正例クラスの正規分布と、ラベルが付与されていない画素の各々についての特徴ベクトルとに基づいて、ラベルが付与されていない画素の各々について、当該画素の正例らしさを示す尤度を算出し、当該尤度の高い順に、予め定めた第１サンプル数の画素に対して、当該正例クラスの正例ラベルを付与する。また、各正例クラスの尤度の総和が低い順に、予め定めた第２サンプル数の画素に対して、負例ラベルを付与する。
【０１２４】
画像認識器学習装置１０の他の構成については、２クラス問題の場合と同様である。
【０１２５】
＜多モーダル問題への拡張＞
また、入力データが同一のラベルに対して複数存在しているような多モーダルのデータに対しても本発明を適用することができる。
【０１２６】
この場合、表現学習部１１０による学習では、モーダル毎に、上記式（７）に示す目的関数が最小になるように、画素の特徴ベクトルを抽出するための特徴表現モデルを学習し、モーダル毎に、当該モーダルの特徴表現モデルを用いて特徴ベクトルを得て、モーダル間で結合し、正例分布推定部１５０の特徴ベクトルを結合した結合ベクトルを用いて、結合ベクトルの正規分布を推定し、擬似ラベル付与部１７０では、ラベルが付与されていない画素の各々についての結合ベクトルを用いて、正例ラベルや負例ラベルを付与すればよい。
【０１２７】
＜画像領域抽出以外の問題への拡張＞
また、上述の実施の形態では、画像領域抽出問題について説明したが、これに限定されるものではなく、画像識別や異変検知などの入力データに対して離散的なラベルを推定する問題一般に対して適用することができる。
【０１２８】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１２９】
１０   画像認識器学習装置
１００ 画像集合記憶部
１１０ 表現学習部
１２０ 特徴抽出モデル記憶部
１３０ 特徴量抽出部
１４０ 特徴ベクトルセット記憶部
１５０ 正例分布推定部
１６０ 正例分布記憶部
１７０ 擬似ラベル付与部
１８０ 判定部
【図１】
2020047055.tif 000016
【図２】
2020047055.tif 000017
【図３】
2020047055.tif 000018