(57)【要約】【課題】本発明は、分類モデルを訓練する装置及び方法を提供する。【解決手段】かかる装置は、訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、サンプル画像の第一分類確率及び第一分類損失を取得するユニット；サンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力し、第二画像の第二分類確率及び第二分類損失を取得するユニット；第一分類確率と第二分類確率との間の類似度に関する類似度損失を計算するユニット；訓練集合中のすべてのサンプル画像について、各サンプル画像に対して計算を行うことにより得られた前記類似度損失と、第一分類損失と、第二分類損失との和を総損失として計算するユニット；及び、総損失を最適化する方式で第一機械学習アーキテクチャ及び第二機械学習アーキテクチャのパラメータを調整し、訓練済み分類モデルを取得するユニットを含む。【選択図】図１
2020119543.tif 000002
【特許請求の範囲】
【請求項１】
分類モデルを訓練する装置であって、
訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、前記サンプル画像の第一分類確率及び第一分類損失を取得する第一取得ユニット；
前記サンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力し、前記第二画像の第二分類確率及び第二分類損失を取得する第二取得ユニットであって、前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャの構造が同じであり、且つ同じパラメータをシェアする第二取得ユニット；
前記第一分類確率と前記第二分類確率との間の類似度に関する類似度損失を計算する類似度損失計算ユニット；
前記訓練集合中のすべてのサンプル画像について、各サンプル画像に対して計算を行うことにより得られた前記類似度損失と、前記第一分類損失と、前記第二分類損失との和を総損失として計算する総損失計算ユニット；及び
前記総損失を最適化する方式で前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャのパラメータを調整し、訓練済み分類モデルを取得する訓練ユニットを含む、装置。
【請求項２】
請求項1に記載の分類モデルを訓練する装置であって、
前記第一分類確率と前記第二分類確率との間の類似度が高いほど、前記類似度損失が小さく、
前記第一分類確率と前記第二分類確率との間の類似度が低いほど、前記類似度損失が大きい、装置。
【請求項３】
請求項1に記載の分類モデルを訓練する装置であって、
前記サンプル画像は、遮蔽されない画像であり、前記第二画像は、前記サンプル画像に対して所定処理を行うことで取得される画像である、装置。
【請求項４】
請求項3に記載の分類モデルを訓練する装置であって、
前記サンプル画像は、人間の顔画像であり、前記第二画像は、前記サンプル画像に対して所定処理を行うことで取得される、目を含む画像であり；又は
前記サンプル画像は、人間の顔の正面の画像であり、前記第二画像は、前記サンプル画像の属する人物の異なる姿勢の画像に対して前処理を行うことで取得される画像である、装置。
【請求項５】
請求項4に記載の分類モデルを訓練する装置であって、
前記第二画像は、前記サンプル画像中の前髪を遮蔽することで取得される遮蔽画像であり、又は、前記第二画像は、前記サンプル画像中のメガネを除去することで取得される画像である、装置。
【請求項６】
請求項3に記載の分類モデルを訓練する装置であって、
前記第二画像は、前記サンプル画像に対してランダムなボケ化処理を行うことで取得される画像である、装置。
【請求項７】
請求項1に記載の分類モデルを訓練する装置であって、
前記第一分類確率と前記第二分類確率との間の遷移損失関数を用いて前記類似度損失を計算し、前記遷移損失関数は、交差エントロピー関数、KLダイバージェンス関数及び最大平均差関数のうちの１つを含む、装置。
【請求項８】
請求項1に記載の分類モデルを訓練する装置であって、
前記第一分類確率と前記第二分類確率との間の類似度に関する類似度損失を計算する前に、異なるクラス間の情報を保留させるための軟化（soften）パラメータをそれぞれ前記第一分類確率及び前記第二分類確率に適用することで前記第一分類確率及び前記第二分類確率を軟化する、装置。
【請求項９】
分類モデルを訓練する方法であって、
訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、前記サンプル画像の第一分類確率及び第一分類損失を取得する第一取得ステップ；
前記サンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力し、前記第二画像の第二分類確率及び第二分類損失を取得する第二取得ステップであって、前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャの構造が同じであり、且つ同じパラメータをシェアする第二取得ステップ；
前記第一分類確率と前記第二分類確率との間の類似度に関する類似度損失を計算する類似度損失計算ステップ；
前記訓練集合中のすべてのサンプル画像について、各サンプル画像に対して計算を行うことにより得られた前記類似度損失と、前記第一分類損失と、前記第二分類損失との和を総損失として計算する総損失計算ステップ；及び
前記総損失を最適化する方式で前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャのパラメータを調整し、訓練済み分類モデルを取得する訓練ステップを含む、方法。
【請求項１０】
請求項1〜8のうちの任意の1項に記載の、分類モデルを訓練する装置により得られた前記訓練済み分類モデルを用いて、分類を行う分類装置であって、
分類待ち画像を前記第一機械学習アーキテクチャに入力して前記分類待ち画像に対して分類を行う分類ユニットを含む、分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョン及び画像認識分野に関し、特に、分類モデルを訓練する装置及び方法、並びに、分類モデルを訓練する装置により得られた訓練済み分類モデルを用いて分類を行う装置及び方法に関する。
【背景技術】
【０００２】
近年、大規模の画像データの収集及び機械学習ネットワークの応用により、画像認識が学術界や産業業界で大きく進展し且つ広く用いられている。しかし、応用場面において、画像が遮蔽され、画像が異なる姿勢にあり、画像がぼんやりしており、解像度が低く、画像品質が悪いなどが生じるときに、画像認識のパフォーマンスが明らかに低下することがある。例えば、画像が人間の顔画像の場合、人間の顔が遮蔽され、人間の顔の姿勢の変化が大きく、人間の顔がぼんやりしており、解像度が低く、品質が悪いなどが出現するときに、人間の顔の認識のパフォーマンスが明らかに低下することがある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述の問題に鑑み、本発明の目的は、従来技術中の１つ又は複数の欠点を解決し得る、分類モデルを訓練する装置及び方法、並びに、分類モデルを訓練する装置により得られた訓練済み分類モデルを用いて分類を行う装置及び方法を提供することにある。
【課題を解決するための手段】
【０００４】
本発明の一側面によれば、分類モデルを訓練する装置が提供され、それは、
第一取得ユニットであって、訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、前記サンプル画像の第一分類確率及び第一分類損失を取得するもの；
前記サンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力し、前記第二画像の第二分類確率及び第二分類損失を取得する第二取得ユニットであって、前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャの構造が同じであり且つ同じパラメータをシェアするもの；
類似度損失計算ユニットであって、前記第一分類確率と前記第二分類確率との間の類似度に関する類似度損失を計算するもの；
総損失計算ユニットであって、前記訓練集合中のすべてのサンプル画像について、各サンプル画像に対して計算を行うことにより得られた前記類似度損失、前記第一分類損失及び前記第二分類損失の和を総損失として計算するもの；及び
訓練ユニットであって、前記総損失を最適化する方式で前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャのパラメータを調節し、訓練済み分類モデルを取得するものを含む。
【０００５】
本発明の他の方面によれば、分類モデルを訓練する方法が提供され、それは、
第一取得ステップであって、訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、前記サンプル画像の第一分類確率及び第一分類損失を取得するもの；
前記サンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力し、前記第二画像の第二分類確率及び第二分類損失を取得する第二取得ステップであって、前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャの構造が同じであり且つ同じパラメータをシェアするもの；
類似度損失計算ステップであって、前記第一分類確率と前記第二分類確率との間の類似度に関する類似度損失を計算するもの；
総損失計算ステップであって、前記訓練集合中のすべてのサンプル画像について、各サンプル画像に対して計算を行うことにより得られた前記類似度損失、前記第一分類損失及び前記第二分類損失の和を総損失として計算するもの；及び
訓練ステップであって、前記総損失を最適化する方式で前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャのパラメータを調節し、訓練済み分類モデルを取得するものを含む。
【０００６】
本発明の他の側面によれば、分類モデルを訓練する装置により得られた前記訓練済み分類モデルを用いて分類を行う装置が提供され、それは、分類待ち画像を前記第一機械学習アーキテクチャに入力して前記分類待ち画像に対して分類を行う分類ユニットを含む。
【０００７】
本発明の他の側面によれば、本発明による方法を実現するためのコンピュータプログラムコード和コンピュータプログラムプロダクトも提供される。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例において分類モデルを訓練する装置100の機能ブロック図である。
【図２】本発明の実施例において分類モデルを訓練する装置100の例示的な実現方式を示す図である。
【図３】本発明の実施例において分類モデルを訓練する方法の例示的なフローチャートである。
【図４】本発明の実施例において採用され得る汎用コンピュータの例示的な構成ブロック図である。
【発明を実施するための形態】
【０００９】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１０】
まず、図1を参照して、本発明の実施例において分類モデルを訓練する装置100の機能ブロック図を説明する。図1は、本発明の実施例において分類モデルを訓練する装置100の例示的な機能ブロック図である。図1に示すように、本発明の実施例において分類モデルを訓練する装置100は、第一取得ユニット102、第二取得ユニット104、類似度損失計算ユニット106、総損失計算ユニット108、及び訓練ユニット110を含む。
【００１１】
第一取得ユニット102は、訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、サンプル画像の第一分類確率及び第一分類損失を得ることができる。
【００１２】
具体的には、第一取得ユニット102は、訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、各サンプル画像の特徴を得る。その後、第一取得ユニット102は、サンプル画像の特徴に基づいて、該サンプル画像の第一分類確率及び第一分類損失を計算する。
【００１３】
一例として、第一機械学習アーキテクチャは、第一分類確率計算層を含んでも良く、それは、サンプル画像の特徴に基づいて、サンプル画像の第一分類確率を計算するために用いられる。
【００１４】
例えば、第一機械学習アーキテクチャは、ニューラルネットワークアーキテクチャであっても良いが、これに限定されない。当業者が理解すべきは、第一機械学習アーキテクチャは、ニューラルネットワークアーキテクチャ以外のアーキテクチャであっても良いとうことである。なお、ここでは、その詳しい説明を省略する。
【００１５】
図2は、本発明の実施例において分類モデルを訓練する装置100の例示的な実現方式を示す図である。図2では、便宜のため、第一機械学習アーキテクチャが第一畳み込みニューラルネットワークF-CNNであるケースを例として説明を行う。
【００１６】
図2に示すように、サンプル画像を第一畳み込みニューラルネットワークF-CNNに入力し、サンプル画像の特徴を取得することができる。
【００１７】
例えば、該第一畳み込みニューラルネットワークF-CNNは、畳み込み層及び全結合層を含んでも良いが、これに限られない。第一畳み込みニューラルネットワークF-CNNは、さらに、第一分類確率計算層を含んでも良く、それは、サンプル画像の第一分類確率を得るために用いられる。第一分類確率計算層が第一畳み込みニューラルネットワークF-CNNに含まれるが、分かりやすくするために、図2では、第一分類確率計算層が第一畳み込みニューラルネットワークF-CNNの後に示されている。例えば、第一分類確率計算層は、画像の特徴に基づいて、softmax関数により第一分類確率を計算しても良いが、これに限定されない。もちろん、当業者が第一分類確率計算層の他の実現方式を想到することもできるが、ここでは、その詳しい説明を省略する。以下、第一分類確率計算層がsoftmax関数を用いて第一分類確率を計算するケースを例として説明を行う。第一畳み込みニューラルネットワークF-CNNの第一分類確率計算層の出力値、即ち、第一分類確率PFが以下のように表されるとする。
【数１】
2020119543.tif 000003
【００１８】
公式(1)では、aFは、第一畳み込みニューラルネットワークF-CNNの第一分類確率計算層に入力されるベクトルであり、第一畳み込みニューラルネットワークF-CNNがシングルネットワーク構造の場合、aFは、第一畳み込みニューラルネットワークF-CNN中の第一分類確率計算層の直前の層の出力ベクトル（例えば、サンプル画像の特徴ベクトルであるが、これに限定されない）であり、第一畳み込みニューラルネットワークF-CNNがマルチネットワーク構造の場合、aFは、複数のネットワークのうちの各ネットワーク中の第一分類確率計算層の直前の層の出力ベクトルに対して例えば算術又は幾何平均を求めることにより得られても良い。
【００１９】
また、図2に示すように、サンプル画像の特徴を用いてサンプル画像の第一分類損失を計算しても良い。
【００２０】
一例として、softmax損失関数によりサンプル画像の第一分類損失を計算することができる。もちろん、当業者が他の方式でサンプル画像の第一分類損失を計算しても良いが、ここでは、その詳しい説明を省略する。
【００２１】
第二取得ユニット104は、サンプル画像の属する実体（entity）の第二画像を第二機械学習アーキテクチャに入力し、第二画像の第二分類確率及び第二分類損失を得ることができ、そのうち、第一機械学習アーキテクチャ及び第二機械学習アーキテクチャの構造は、同じであり且つ同じパラメータをシェアする。
【００２２】
一例として、サンプル画像が車のナンバープレート画像の場合、該サンプル画像の属する実体がナンバープレートであり、この場合、サンプル画像の属する実体の第二画像も、該ナンバープレートの画像であり、即ち、サンプル画像及び第二画像は、同一のナンバープレートの画像であり；サンプル画像が人間の顔画像の場合、該サンプル画像の属する実体が人間の顔であり、この場合、サンプル画像の属する実体の第二画像も、該人間顔の画像であり、即ち、サンプル画像及び第二画像は、同一の人間の顔の画像であり；サンプル画像が文字画像の場合、該サンプル画像の属する実体が文字であり、この場合、サンプル画像の属する実体の第二画像も、該文字の画像であり、即ち、サンプル画像及び第二画像は、同一の文字の画像である。もちろん、当業者がサンプル画像及びその対応する第二画像の他の例を想到することもできるが、ここでは、その詳しい説明を省略する。
【００２３】
例えば、第二画像は、その対応のサンプル画像の一部が遮蔽された後に生成された画像であっても良く、第二画像は、その対応するサンプル画像とは異なる姿勢にある画像であっても良く、第二画像は、その対応するサンプル画像のぼんやりしている画像であっても良く、又は、第二画像は、その対応するサンプル画像よりも解像度が低く又は画像品質が悪い画像であっても良いが、これに限定されない。
【００２４】
具体的には、第二取得ユニット104は、第一機械学習アーキテクチャに入力されるサンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力し、第二画像の特徴を取得する。その後、第二取得ユニット104は、第二画像の特徴に基づいて、該第二画像の第二分類確率及び第二分類損失を計算する。
【００２５】
一例として、第二機械学習アーキテクチャは、第二分類確率計算層を含んでも良く、それは、第二画像の特徴に基づいて、第二画像の第二分類確率を計算するために用いられる。
【００２６】
例えば、第二機械学習アーキテクチャは、ニューラルネットワークアーキテクチャであっても良いが、これに限られない。当業者が理解すべきは、第二機械学習アーキテクチャは、ニューラルネットワークアーキテクチャ以外のアーキテクチャであっても良いということである。なお、ここでは、その詳しい説明を省略する。
【００２７】
図2では、第一機械学習アーキテクチャが畳み込みニューラルネットワークであるケースを例として説明を行い、また、第一機械学習アーキテクチャ及び第二機械学習アーキテクチャの構造が同じであり且つ同じパラメータをシェアする。よって、図2では、第二機械学習アーキテクチャも、畳み込みニューラルネットワークである。具体的には、図2では、第二機械学習アーキテクチャは、第二畳み込みニューラルネットワークR-CNNである。第二畳み込みニューラルネットワークR-CNN及び第一畳み込みニューラルネットワークF-CNNは、同じネットワーク層を含み、且つ同じネットワークパラメータをシェアする。
【００２８】
図2に示すように、サンプル画像に対応する第二画像を第二畳み込みニューラルネットワークR-CNNに入力し、第二画像の特徴を取得する。
【００２９】
例えば、該第二畳み込みニューラルネットワークR-CNNは、畳み込み層及び全結合層を含んでも良いが、これに限定されない。第二畳み込みニューラルネットワークR-CNNは、さらに、第二分類確率計算層を、第二画像の第二分類確率を得るために含んでも良い。なお、第二分類確率計算層が第二畳み込みニューラルネットワークR-CNNに含まれるが、分かりやすくするために、図2では、第二分類確率計算層が第二畳み込みニューラルネットワークR-CNNの後に示されている。例えば、第二分類確率計算層は、画像の特徴に基づいて、softmax関数により第二分類確率を計算することができるが、これに限定されない。もちろん、当業者が第二分類確率計算層の他の実現方式を想到することもできるが、ここでは、その詳しい説明を省略する。以下、第二分類確率計算層がsoftmax関数を用いて第二分類確率を計算するケースを例として説明を行う。第二畳み込みニューラルネットワークR-CNNの第二分類確率計算層の出力値、即ち、第二分類確率PRが次のように表されるとする。
【数２】
2020119543.tif 000004
【００３０】
公式(2)では、aRは、第二畳み込みニューラルネットワークR-CNNの第二分類確率計算層に入力されるベクトルであり、第二畳み込みニューラルネットワークR-CNNがシングルネットワーク構造の場合、aRは、第二畳み込みニューラルネットワークR-CNNネットワーク中の第二分類確率計算層の直前の層の出力ベクトル（例えば、サンプル画像の特徴ベクトルであるが、これに限られない）であり、第二畳み込みニューラルネットワークR-CNNがマルチネットワーク構造の場合、aRは、複数のネットワークのうちの各ネットワーク中の第二分類確率計算層の直前の層の出力ベクトルに対して例えば算術又は幾何平均を求めることにより計算されても良い。
【００３１】
また、図2に示すように、第二画像の特徴を用いて第二画像の第二分類損失を計算しても良い。
【００３２】
一例として、softmax損失関数を用いて第二画像の第二分類損失を計算することができる。もちろん、当業者が他の方式で第二画像の第二分類損失を計算しても良いが、ここでは、その詳しい説明を省略する。
【００３３】
類似度損失計算ユニット106は、第一分類確率と第二分類確率との間の類似度に関する類似度損失を計算することができる。
【００３４】
上述のように、サンプル画像及びその対応する第二画像は、同一の実体の画像であり、第二画像は、その対応するサンプル画像の一部が遮蔽された後に生成された画像であっても良く、第二画像は、その対応するサンプル画像とは異なる姿勢にある画像であっても良く、第二画像は、その対応するサンプル画像のぼんやりしている画像であっても良く、第二画像は、その対応するサンプル画像よりも解像度が低く又は画像品質が悪い画像であっても良い。第二画像に対する認識のパフォーマンスが、できるだけ、第二画像に対応するサンプル画像に対する認識のパフォーマンスに近づくようにさせるため、本発明では、第一機械学習アーキテクチャにより取得される第一分類確率と、第二機械学習アーキテクチャにより取得される第二分類確率との間の類似度に関する類似度損失を定義し、これにより、第一機械学習アーキテクチャの分類結果を用いて、第二機械学習アーキテクチャに対して教師あり訓練を行うことができる。
【００３５】
好ましくは、第一分類確率と第二分類確率との間の類似度が高いほど、類似度損失が小さく、第一分類確率と第二分類確率との間の類似度が低いほど、類似度損失が大きい。
【００３６】
具体的には、例えば、遷移損失関数を用いて類似度損失を計算し、そして、類似度損失に基づいてバックプロパゲーションを行うことで、第一機械学習アーキテクチャ及び第二機械学習アーキテクチャの重みパラメータを更新し、これにより、第二画像の第二分類確率が、できるだけ、第二画像に対応するサンプル画像の第一分類確率に近づくようにさせ、そして、第二画像に対する認識のパフォーマンスが、できるだけ、第二画像に対応するサンプル画像に対する認識のパフォーマンスに近づくようにさせることができる。遷移損失関数は、例えば、以下に説明する交差エントロピー関数、KLダイバージェンス関数、最大平均差（maximum  mean  discrepancy）関数などであっても良い。
【００３７】
図2に示すように、第一分類確率計算層から出力される第一分類確率及び第二分類確率計算層から出力される第二分類確率に基づいて、類似度損失を取得することができる。
【００３８】
総損失計算ユニット108は、訓練集合中のすべてのサンプル画像について、各サンプル画像に対して計算を行うことにより得られた類似度損失、第一分類損失及び第二分類損失の和を総損失として計算することができる。
【００３９】
訓練集合中のすべてのサンプル画像の第一分類損失の和がLFと表され、すべての第二画像の第二分類損失の和がLRと表され、及びすべてのサンプル画像とその対応する第二画像との間の類似度損失の和がLSと表されるとする。
【００４０】
この場合、総損失Lは、以下のように表することができる。
L=LF+LR+λLS    (3)
【００４１】
公式(3)では、λは、調整可能なパラメータであり、それは、分類損失（第一分類損失及び第二分類損失を含む）及び類似度損失のバランスを取るために用いられる。例えば、当業者は経験に基づいてλを設定しても良いが、これに限定されない。
【００４２】
上述のように、遷移損失関数を用いて類似度損失LSを計算することができ、遷移損失関数は、例えば、交差エントロピー関数、KLダイバージェンス関数、最大平均差関数などであっても良い。以下、それぞれ、第一分類確率と第二分類確率との間の交差エントロピー、KLダイバージェンス、最大平均差の具体的な表し形式を示す。
【００４３】
第一分類確率PFと第二分類確率PRとの間の交差エントロピーH(PF,PR)は、以下のように表されても良い。
H(PF,PR)=-ΣPF*log(PR)    (4)
【００４４】
公式(4)では、Σは、訓練集合中のすべてのサンプル画像について、各サンプル画像と該サンプル画像に対応する第二画像とに対しての計算により得られたPF*log(PR)の和を求めることを表す。
【００４５】
相対エントロピーがKLダイバージェンスとも称され、確率分布PFとPRとの間の距離を評価するために用いられ、以下のように表われても良い。
DKL(PF||PR)=ΣPF*log(PF/PR)  (5)
【００４６】
公式(5)では、Σは、訓練集合中のすべてのサンプル画像について、各サンプル画像と該サンプル画像に対応する第二画像とに対しての計算により得られたPF*log(PF/PR)の和を求めることを表す。
【００４７】
相対エントロピーは、非対称な距離であり、即ち、DKL(PF||PR)≠DKL(PR||PF)である。
【００４８】
最大平均差（MMD）が遷移学習中で使用される頻度がとても高い。それは、RKHS（Reproducing  Kernel  Hilbert  Space）における２つの分布の距離を評価するものであり、カーネル学習法であり、MMDの平方距離が以下のように表されても良い。
MMD2(PF,PR)=|ΣΦ(PF)-ΣΦ(PR)|2    (6)
【００４９】
公式(6)では、Φ()は、マッピング関数であり、それぞれPF及びPRをRKHS（Reproducing  Kernel  Hilbert  Space）にマッピングするために用いられ、Σは、訓練集合中のすべてのサンプル画像に対して処理を行うことを表す。
【００５０】
好ましくは、第一分類確率と第二分類確率との間の類似度に関する類似度損失を計算する前に、異なるクラス間の情報を保留（残す）させるためのパラメータをそれぞれ第一分類確率及び第二分類確率に適用することで、第一分類確率及び第二分類確率を和らげる（軟化（soften）ともいう）ことができる。
【００５１】
一例として、第一分類確率のベクトルの表し形式において、サンプル画像のラベルの類別に対応する確率値が非常に大きいが、他の類別に対応する確率値が非常に小さいから、異なる類別間の関係が比較的弱くなる。よって、軟化パラメータτを導入することで第一分類確率に対して軟化を行うことにより、できるだけ、異なるクラス間の情報を保留するようにさせることができる。また、さらに軟化パラメータτを用いて第二分類確率に対して軟化を行うことにより、できるだけ、異なるクラス間の情報を保留するようにさせる。同様の軟化パラメータτを採用した後に、第一畳み込みニューラルネットワークF-CNNの第一計算分類確率層及び第二畳み込みニューラルネットワークR-CNNの第二計算分類確率層により出力される第一分類確率及び第二分類確率は、それぞれ、以下のように表すことができる。
【数３】
2020119543.tif 000005
【００５２】
公式(7)、(8)に基づく計算によって得られた第一分類確率及び第二分類確率で公式(4)乃至(6)中のPR及びPFを置換することにより、それぞれ、第一分類確率PτFと第二分類確率PτRとの間の交差エントロピー、KLダイバージェンス、及び最大平均差を計算することができる。
【００５３】
訓練ユニット110は、総損失を最適化する方式で、第一機械学習アーキテクチャ及び第二機械学習アーキテクチャのパラメータを調節し、訓練済み分類モデルを取得することができる。
【００５４】
一例として、訓練ユニット110は、総損失を最適化する方式で、バックプロパゲーションを反復して行うことで、第一機械学習アーキテクチャ及び第二機械学習アーキテクチャの重みパラメータを更新しても良い。総損失を最適化する方式とは、第二画像の第二分類確率が、できるだけ、第二画像に対応するサンプル画像の第一分類確率に近づき、且つ第二画像の分類結果が、できるだけ、サンプル画像の真のラベルに近づくようにさせることで、第二画像に対する認識のパフォーマンスが、できるだけ、第二画像に対応するサンプル画像に対する認識のパフォーマンスに近づくようにさせることを指す。所定条件が満足されるときに反復が終了し、訓練済み分類モデルを取得することができる。前記所定条件は、反復の所定回数、総損失が所定値よりも小さいことなどであっても良い。
【００５５】
好ましくは、サンプル画像は、遮蔽なし（遮蔽されない）画像であり、第二画像は、サンプル画像に対して所定処理を行うことにより取得される画像である。一例として、サンプル画像は、遮蔽なしのナンバープレート画像、遮蔽なしの人間の顔画像、遮蔽なしの文字画像などであっても良い。例えば、前記所定処理は、サンプル画像に対しての遮蔽処理、サンプル画像に対してのランダムなボケ化処理などを含む。
【００５６】
好ましくは、サンプル画像は、人間の顔画像であり、第二画像は、サンプル画像に対して所定処理を行うことで取得される、目を含む画像である。
【００５７】
サンプル画像が人間の顔画像の場合、目の画像は、人間の顔の認識に非常に重要な役割を果たす。第二画像に目を含めることで、第二画像に対しての認識のパフォーマンスを向上させることができる。
【００５８】
一例として、人間顔キーポイント検出アルゴリズムにより、サンプル画像中の人間の顔の5つのキーポイントの位置（２つの目、鼻、及び２つの口元の位置）を検出することができる。その後、5つのキーポイントに基づいて、サンプル画像中の人間の顔に対してランダムに部分的に遮蔽することで、第二画像を得ることができる。
【００５９】
好ましくは、第二画像は、サンプル画像中の前髪を遮蔽することで取得される遮蔽画像である。図2に示すように、図2中の第二画像は、サンプル画像中の前髪を遮蔽すること取得されたものである。
【００６０】
一例として、5つのキーポイントに基づいて、サンプル画像中の人間の顔の前髪の部分を遮蔽することで、第二画像を取得しても良い。
【００６１】
好ましくは、第二画像は、サンプル画像中のメガネを除去することで取得される画像である。
【００６２】
好ましくは、第二画像は、サンプル画像に対してランダムにボケ化処理を行うことで取得される画像である。
【００６３】
好ましくは、サンプル画像は、人間の顔の正面の画像であり、第二画像は、サンプル画像の属する人物の異なる姿勢の画像に対して前処理を行うことにより取得されるものである。
【００６４】
好ましくは、第二画像は、前記異なる姿勢の画像に対してアフィン変換を行うことにより取得されるものである。
【００６５】
以上のことから、本発明の実施例において分類モデルを訓練する装置100によれば、第二画像の第二分類確率が、できるだけ、第二画像に対応するサンプル画像の第一分類確率に近づき、且つ第二画像の分類結果が、できるだけ、サンプル画像の真のラベルに近づくようにさせることで、第二画像に対しての認識のパフォーマンスが、できるだけ、サンプル画像に対しての認識のパフォーマンスに近づくようにさせ、これにより、ロバストネスが高い訓練モデルを得ることができる。一例として、応用場面において、画像が遮蔽され（例えば、顔画像が前髪により遮蔽されるなど）、画像が異なる姿勢にあり、画像がぼんやりしており、画像の解像度が低く、画像品質が悪いなどが生じるときに、本発明の実施例において分類モデルを訓練する装置100により得られた訓練済み分類モデルを用いて、これらの画像に対して認識を行うことにより、これらの画像に対しての認識のパフォーマンスを向上させることでき、そして、これらの画像の分類の正確度を向上させることができる。
【００６６】
また、分類モデルを訓練する装置の上述の実施例に対応して、本発明は、さらに、分類モデルを訓練する方法の実施例を以下のように提供する。
【００６７】
図3は、本発明の実施例において分類モデルを訓練する方法300の例示的なフローチャートである。
【００６８】
図3に示すように、本発明の実施例において分類モデルを訓練する方法300は、第一取得ステップS302、第二取得ステップS304、類似度損失計算ステップS306、総損失計算ステップS308、及び訓練ステップS310を含む。
【００６９】
第一取得ステップS302では、訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、サンプル画像の第一分類確率及び第一分類損失を得ることができる。
【００７０】
具体的には、第一取得ステップS302では、訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力することで、各サンプル画像の特徴を得る。その後、サンプル画像の特徴に基づいて、該サンプル画像の第一分類確率及び第一分類損失を計算する。
【００７１】
一例として、第一機械学習アーキテクチャは、第一分類確率計算層を含み、それは、サンプル画像の特徴に基づいて、サンプル画像の第一分類確率を計算するために用いられる。
【００７２】
例えば、第一機械学習アーキテクチャは、ニューラルネットワークアーキテクチャであっても良いが、これに限定されない。当業者が理解すべきは、第一機械学習アーキテクチャは、ニューラルネットワークアーキテクチャ以外のアーキテクチャであっても良いということであるが、ここでは、その詳しい説明を省略する。
【００７３】
一例として、softmax損失関数を採用してサンプル画像の第一分類損失を計算することができる。もちろん、当業者が他の方式でサンプル画像の第一分類損失を計算することもできるが、ここでは、その詳しい説明を省略する。
【００７４】
第二取得ステップS304では、サンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力し、第二画像の第二分類確率及び第二分類損失を得ることができ、そのうち、第一機械学習アーキテクチャ及び第二機械学習アーキテクチャの構造が同じであり且つ同じパラメータをシェアする。
【００７５】
一例として、サンプル画像がナンバープレート画像の場合、該サンプル画像の属する実体がナンバープレートであり、この場合、サンプル画像の属する実体の第二画像も、該ナンバープレートの画像であり、即ち、サンプル画像及び第二画像は、同一のナンバープレートの画像であり；サンプル画像が人間の顔の画像の場合、該サンプル画像の属する実体が人間の顔であり、この場合、サンプル画像の属する実体の第二画像も、該人間の顔の画像であり、即ち、サンプル画像及び第二画像は、同一の人間の顔の画像であり；サンプル画像が文字画像の場合、該サンプル画像の属する実体が文字であり、この場合、サンプル画像の属する実体の第二画像も、該文字の画像であり、即ち、サンプル画像及び第二画像は、同一の文字の画像である。もちろん、当業者がサンプル画像及びその対応する第二画像の他の例を想到することもできるが、ここでは、その詳しい説明を省略する。
【００７６】
例えば、第二画像は、その対応するサンプル画像の一部が遮蔽された後に生成される画像であっても良く、第二画像は、その対応するサンプル画像とは異なる姿勢にある画像であっても良く、第二画像は、その対応するサンプル画像のぼんやりしている画像であっても良く、第二画像は、その対応するサンプル画像よりも解像度が低く又は画像品質が悪い画像であっても良い。
【００７７】
具体的には、第二取得ステップS304では、第一機械学習アーキテクチャに入力されるサンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力することで、第二画像の特徴を取得する。その後、第二画像の特徴に基づいて該第二画像の第二分類確率及び第二分類損失を計算する。
【００７８】
一例として、第二機械学習アーキテクチャは、第二分類確率計算層を含み、それは、第二画像の特徴に基づいて第二画像の第二分類確率を計算する。
【００７９】
例えば、第二機械学習アーキテクチャは、ニューラルネットワークアーキテクチャであっても良いが、これに限定されない。もちろん、当業者が理解すべきは、第二機械学習アーキテクチャは、ニューラルネットワークアーキテクチャ以外のアーキテクチャであっても良いが、ここでは、その詳しい説明を省略する。
【００８０】
一例として、softmax損失関数を用いて第二画像の第二分類損失を計算することができる。もちろん、当業者は、他の方式で第二画像の第二分類損失を計算しても良いが、ここでは、その詳しい説明を省略する。
【００８１】
類似度損失計算ステップS306では、第一分類確率と第二分類確率との間の類似度に関する類似度損失を計算することができる。
【００８２】
第一分類確率と第二分類確率との間の類似度に関する類似度損失を反映することで、第一機械学習アーキテクチャの分類結果を用いて、第二機械学習アーキテクチャに対して教師あり訓練を行うことができる。
【００８３】
好ましくは、第一分類確率と第二分類確率との間の類似度が高いほど、類似度損失が小さく、第一分類確率と第二分類確率との間の類似度が低いほど、類似度損失が大きい。
【００８４】
具体的には、例えば、遷移損失関数を用いて類似度損失を計算し、そして、類似度損失に基づいてバックプロパゲーションを行うことで、第一機械学習アーキテクチャ及び第二機械学習アーキテクチャの重みパラメータを更新し、これにより、第二画像の第二分類確率が、できるだけ、第二画像に対応するサンプル画像の第一分類確率に近づくようにさせ、そして、第二画像に対しての認識のパフォーマンスが、できるだけ、第二画像に対応するサンプル画像に対しての認識のパフォーマンスに近づくようにさせることができる。遷移損失関数は、例えば、交差エントロピー関数、KLダイバージェンス関数、最大平均差関数などである。
【００８５】
総損失計算ステップS308では、訓練集合中のすべてのサンプル画像について、各サンプル画像に対して計算を行うことにより得られた類似度損失、第一分類損失及び第二分類損失の和を総損失として計算する。
【００８６】
訓練ステップS310では、総損失を最適化する方式で第一機械学習アーキテクチャ及び第二機械学習アーキテクチャのパラメータを調節し、訓練済み分類モデルを取得する。
【００８７】
一例として、訓練ステップS310では、総損失を最適化する方式でバックプロパゲーションを反復して行うことで、第一機械学習アーキテクチャ及び第二機械学習アーキテクチャの重みパラメータを更新し、これにより、第二画像の第二分類確率が、できるだけ、第二画像に対応するサンプル画像の第一分類確率に近づき、且つ第二画像の分類結果が、できるだけ、サンプル画像の真のラベルに近づくようにさせ、そして、第二画像に対しての認識のパフォーマンスが、できるだけ、第二画像に対応するサンプル画像に対しての認識のパフォーマンスに近づくようにさせる。所定条件が満足されるときに反復が終了し、訓練済み分類モデルを取得する。前記所定条件は、反復の所定回数、総損失が所定値よりも小さいことなどであっても良い。
【００８８】
好ましくは、サンプル画像は、遮蔽なし画像であっても良く、第二画像は、サンプル画像に対して所定処理を行うことで取得される画像である。一例として、サンプル画像は、遮蔽なしのナンバープレート画像、遮蔽なしの人間の顔画像、遮蔽なしの文字画像などである。例えば、前記所定処理は、サンプル画像に対しての遮蔽処理、サンプル画像に対してのランダムなボケ化処理などを含んでも良い。
【００８９】
好ましくは、サンプル画像は、人間の顔画像であり、第二画像は、サンプル画像に対して所定処理を行うことで取得される、目を含む画像である。
【００９０】
サンプル画像が人間の顔画像の場合、目の画像は、人間の顔の認識に非常に重要な役割を果たす。第二画像に目を含めることで、第二画像に対しての認識のパフォーマンスを向上させることができる。
【００９１】
好ましくは、第二画像は、サンプル画像中の前髪を遮蔽することで取得される遮蔽画像である。
【００９２】
好ましくは、第二画像は、サンプル画像中のメガネを除去することで取得される画像である。
【００９３】
好ましくは、第二画像は、サンプル画像に対してランダムなボケ化処理を行うことで取得される画像である。
【００９４】
好ましくは、サンプル画像は、人間の顔の正面の画像であり、第二画像は、サンプル画像の属する人の異なる姿勢の画像に対して前処理を行うことで取得されるものである。
【００９５】
好ましくは、第二画像は、前記異なる姿勢の画像に対してアフィン変換を行うことで取得されるものである。
【００９６】
以上のことから、本発明の実施例における分類モデルを訓練する方法300によれば、第二画像の第二分類確率が、できるだけ、第二画像に対応するサンプル画像の第一分類確率に近づき、且つ第二画像の分類結果が、できるだけ、サンプル画像の真のラベルに近づくようにさせることで、第二画像に対しての認識のパフォーマンスが、できるだけ、サンプル画像に対しての認識のパフォーマンスに近づくようにさせ、これにより、ロバストネスが高い訓練モデルを得ることができる。一例として、応用場面において、画像が遮蔽され（例えば、顔画像が前髪により遮蔽されるなど）、画像が異なる姿勢にあり、画像がぼんやりしており、画像解像度が低く、画像品質が悪いなどが生じるときに、本発明の実施例における分類モデルを訓練する方法300により得られた訓練済み分類モデルは、これらの画像に対して認識を行うことで、これらの画像の認識のパフォーマンスを向上させ、そして、これらの画像の分類の正確度を向上させることができる。
【００９７】
本発明は、さらに、分類モデルを訓練する装置100により得られた訓練済み分類モデルを用いて分類を行う装置を提供し、該装置は、分類ユニットを含み、それは、分類待ち画像を第一機械学習アーキテクチャ又は第二機械学習アーキテクチャに入力して分類待ち画像に対して分類を行う。
【００９８】
分類モデルを訓練する装置100についての説明に記載のように、第一機械学習アーキテクチャ及び第二機械学習アーキテクチャの構造が同じであり且つ同じパラメータをシェアする。よって、分類ユニットでは、分類待ち画像を訓練済み第一機械学習アーキテクチャ又は第二機械学習アーキテクチャに入力するだけで、分類待ち画像に対して分類を行うことができる。
【００９９】
一例として、第一機械学習アーキテクチャ又は第二機械学習アーキテクチャが畳み込みニューラルネットワークの場合、分類待ち画像を訓練済みの該畳み込みニューラルネットワークに入力することで、分類待ち画像に対して分類を行うことができる。
【０１００】
訓練済みの訓練モデルのロバストネスが高いので、一例として、応用場面において、画像が遮蔽され（例えば、顔画像が前髪により遮蔽されるなど）、画像が異なる姿勢にあり、画像がぼんやりしており、画像解像度が低く、画像品質が悪いなどが生じるときに、上述の訓練済みの分類モデルを用いて、これらの画像に対して認識を行うことで、これらの画像に対しての認識のパフォーマンスを向上させ、そして、これらの画像の分類の正確度を向上させることができる。
【０１０１】
また、上述の訓練済み分類モデルを用いて分類を行う装置の実施例に対応して、本発明は、さらに、訓練済み分類モデルを用いて分類を行う方法の実施例を以下のように提供する。該方法は、分類ステップを含み、該分類ステップでは、分類待ち画像を第一機械学習アーキテクチャ又は第二機械学習アーキテクチャに入力して分類待ち画像に対して分類を行う。
【０１０２】
一例として、第一機械学習アーキテクチャ又は第二機械学習アーキテクチャが畳み込みニューラルネットワークの場合、分類待ち画像を訓練済みの該畳み込みニューラルネットワークに入力して分類待ち画像を分類することができる。
【０１０３】
訓練済みの訓練モデルのロバストネスが高いため、一例として、応用場面において、画像が遮蔽され（例えば、顔画像が前髪により遮蔽されるなど）、画像が異なる姿勢にあり、画像がぼんやりしており、画像解像度が低く、画像品質が悪いなどが生じるときに、上述の訓練済み分類モデルを基づいてこれらの画像を認識することで、これらの画像の認識のパフォーマンスを向上させ、そして、これらの画像の分類の正確度を向上させることができる。
【０１０４】
なお、以上、本発明の実施例における分類モデルを訓練する装置及び方法、及び訓練済み分類モデルを用いて分類を行う装置及び方法の機能構成及び操作を説明したが、本発明は、これに限定されず、当業者は、本発明の原理に基づいて上述の実施例に対して変更などを行っても良く、例えば、各実施例における機能ブロック及び操作に対して増減や組み合わせを行っても良いが、これらは、すべて、本発明の範囲に属する。
【０１０５】
また、上述の一連の処理及び装置は、ソフトウェア及び／又はファームウェアにより実現されても良い。ソフトウェア及び／又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェア構造を有するコンピュータ、例えば、図4に示す汎用コンピュータ400に、該ソフトウェアを構成するプログラムをインストールし、該コンピュータは、各種のプログラムがインストールされているときに、各種の機能などを実行することができる。
【０１０６】
図4は、本発明の実施例による装置や方法を実現し得る汎用機器400の構成図である。汎用機器400は、例えば、コンピュータシステムであっても良い。なお、汎用機器400は、例示に過ぎず、本発明による方法及び装置の使用範囲又は機能について限定しない。また、汎用機器400は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせに依存しない。
【０１０７】
図4では、中央処理装置（CPU）401は、ROM  402に記憶されているプログラム又は記憶部408からRAM  403にロッドされているプログラムに基づいて各種の処理を行う。RAM  403では、ニーズに応じて、CPU  401が各種の処理を行うときに必要なデータなどを記憶することもできる。CPU  401、ROM  402及びRAM  403は、バズ404を経由して互いに接続される。入力／出力インターフェース405もバス404に接続される。
【０１０８】
また、入力／出力インターフェース405には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部406、液晶表示器（LCD）などのような表示器及びスピーカーなどを含む出力部407、ハードディスクなどを含む記憶部408、ネットワークインターフェースカード、例えば、LANカード、モデムなどを含む通信部409である。通信部409は、例えば、インターネット、LANなどのネットワークを経由して通信処理を行う。
【０１０９】
ドライブ410は、ニーズに応じて、入力／出力インターフェース405に接続されても良い。取り外し可能な媒体411、例えば、半導体メモリなどは、必要に応じて、ドライブ410にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部408にインストールすることができる。
【０１１０】
また、本発明は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（carry）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。
【０１１１】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【０１１２】
また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
【０１１３】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【０１１４】
（付記1）
分類モデルを訓練する装置であって、
訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、前記サンプル画像の第一分類確率及び第一分類損失を取得する第一取得ユニット；
前記サンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力し、前記第二画像の第二分類確率及び第二分類損失を取得する第二取得ユニットであって、前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャの構造が同じであり且つ同じパラメータをシェアする第二取得ユニット；
前記第一分類確率と前記第二分類確率との間の類似度に関する類似度損失を計算する類似度損失計算ユニット；
前記訓練集合中のすべてのサンプル画像について、各サンプル画像に対して計算を行うことにより得られた前記類似度損失、前記第一分類損失及び前記第二分類損失の和を総損失として計算する総損失計算ユニット；及び
前記総損失を最適化する方式で前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャのパラメータを調節し、訓練済み分類モデルを取得する訓練ユニットを含む、装置。
【０１１５】
（付記2）
付記1に記載の分類モデルを訓練する装置であって、
前記第一分類確率と前記第二分類確率との間の類似度が高いほど、前記類似度損失が小さく、前記第一分類確率と前記第二分類確率との間の類似度が低いほど、前記類似度損失が大きい、装置。
【０１１６】
（付記3）
付記1に記載の分類モデルを訓練する装置であって、
前記サンプル画像は、遮蔽なしの画像であり、前記第二画像は、前記サンプル画像に対して所定処理を行うことで取得される画像である、装置。
【０１１７】
（付記4）
付記3に記載の分類モデルを訓練する装置であって、
前記サンプル画像は、人間の顔画像であり、前記第二画像は、前記サンプル画像に対して所定処理を行うことで取得される、目を含む画像である、装置。
【０１１８】
（付記5）
付記4に記載の分類モデルを訓練する装置であって、
前記第二画像は、前記サンプル画像中の前髪を遮蔽することで取得される遮蔽画像であり、又は、前記第二画像は、前記サンプル画像中のメガネを除去することで取得される画像である、装置。
【０１１９】
（付記6）
付記3に記載の分類モデルを訓練する装置であって、
前記第二画像は、前記サンプル画像に対してランダムなボケ化処理を行うことで取得される画像である、装置。
【０１２０】
（付記7）
付記1に記載の分類モデルを訓練する装置であって、
前記サンプル画像は、人間の顔の正面の画像であり、前記第二画像は、前記サンプル画像の属する人物の異なる姿勢の画像に対して前処理を行うことで取得される画像である、装置。
【０１２１】
（付記8）
付記7に記載の分類モデルを訓練する装置であって、
前記第二画像は、前記異なる姿勢の画像に対してアフィン変換を行うことで取得される画像である、装置。
【０１２２】
（付記9）
付記1に記載の分類モデルを訓練する装置であって、
前記第一分類確率と前記第二分類確率との間の遷移損失関数を用いて前記類似度損失を計算し、前記遷移損失関数は、交差エントロピー関数、KLダイバージェンス関数及び最大平均差関数のうちの１つを含む、装置。
【０１２３】
（付記10）
付記1に記載の分類モデルを訓練する装置であって、
前記第一分類確率と前記第二分類確率との間の類似度に関する類似度損失を計算する前に、異なるクラス間の情報を保留させるための軟化パラメータをそれぞれ前記第一分類確率及び前記第二分類確率に適用することで前記第一分類確率及び前記第二分類確率を軟化する、装置。
【０１２４】
（付記11）
分類モデルを訓練する方法であって、
訓練集合中の各サンプル画像を第一機械学習アーキテクチャに入力し、前記サンプル画像の第一分類確率及び第一分類損失を取得する第一取得ステップ；
前記サンプル画像の属する実体の第二画像を第二機械学習アーキテクチャに入力し、前記第二画像の第二分類確率及び第二分類損失を取得する第二取得ステップであって、前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャの構造が同じであり且つ同じパラメータをシェアする第二取得ステップ；
前記第一分類確率と前記第二分類確率との間の類似度に関する類似度損失を計算する類似度損失計算ステップ；
前記訓練集合中のすべてのサンプル画像について、各サンプル画像に対して計算を行うことにより得られた前記類似度損失、前記第一分類損失及び前記第二分類損失の和を総損失として計算する総損失計算ステップ；及び
前記総損失を最適化する方式で前記第一機械学習アーキテクチャ及び前記第二機械学習アーキテクチャのパラメータを調節し、訓練済み分類モデルを取得する訓練ステップを含む、方法。
【０１２５】
（付記12）
付記11に記載の分類モデルを訓練する方法であって、
前記第一分類確率と前記第二分類確率との間の類似度が高いほど、前記類似度損失が小さく、前記第一分類確率と前記第二分類確率との間の類似度が低いほど、前記類似度損失が大きい、方法。
【０１２６】
（付記13）
付記11に記載の分類モデルを訓練する方法であって、
前記サンプル画像は、遮蔽なしの画像であり、前記第二画像は、前記サンプル画像に対して所定処理を行うことで取得される画像である、方法。
【０１２７】
（付記14）
付記13に記載の分類モデルを訓練する方法であって、
前記サンプル画像は、人間の顔画像であり、前記第二画像は、前記サンプル画像に対して所定処理を行うことで取得される、目を含む画像である、方法。
【０１２８】
（付記15）
付記14に記載の分類モデルを訓練する方法であって、
前記第二画像は、前記サンプル画像中の前髪を遮蔽することで取得される遮蔽画像であり、又は、前記第二画像は、前記サンプル画像中のメガネを除去することで取得される画像である、方法。
【０１２９】
（付記16）
付記13に記載の分類モデルを訓練する方法であって、
前記第二画像は、前記サンプル画像に対してランダムなボケ化処理を行うことで取得される画像である、方法。
【０１３０】
（付記17）
付記11に記載の分類モデルを訓練する装置であって、
前記サンプル画像は、人間の顔の正面の画像であり、前記第二画像は、前記サンプル画像の属する人の異なる姿勢の画像に対して前処理を行うことで取得される画像である、方法。
【０１３１】
（付記18）
付記17に記載の分類モデルを訓練する方法であって、
前記第二画像は、前記異なる姿勢の画像に対してアフィン変換を行うことで取得される画像である、方法。
【０１３２】
（付記19）
付記11に記載の分類モデルを訓練する方法であって、
前記第一分類確率と前記第二分類確率との間の遷移損失関数を用いて前記類似度損失を計算し、前記遷移損失関数は、交差エントロピー関数、KLダイバージェンス関数及び最大平均差関数のうちの１つを含む、方法。
【０１３３】
（付記20）
付記1-10のうちの任意の1項に記載の、分類モデルを訓練する装置により得られた前記訓練済み分類モデルを用いて、分類を行う装置であって、
分類待ち画像を前記第一機械学習アーキテクチャに入力して前記分類待ち画像に対して分類を行う分類ユニットを含む、装置。
【０１３４】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図１】
2020119543.tif 000006
【図２】
2020119543.tif 000007
【図３】
2020119543.tif 000008
【図４】
2020119543.tif 000009