(57)【要約】【課題】分類モデルの訓練装置及び方法、並びに分類モデルを用いる分類装置を提供する。【解決手段】分類モデルの訓練装置は、サンプル画像の大域領域の一部である所定局所領域を取得する局所領域取得部と、各サンプル画像について、大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定し、大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する特徴抽出部であって、大域領域及び所定数の所定局所領域は、大域領域及び各所定局所領域についてそれぞれ設定された特徴抽出層のうちの少なくとも１つの層を共有し、共有された少なくとも１つの層において大域特徴と各局所特徴とを結合する、特徴抽出部と、損失決定層を用いて、各サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、損失関数に基づいて分類モデルを訓練する損失決定部と、を含む。【選択図】図１
2020135859.tif 000002
【特許請求の範囲】
【請求項１】
分類モデルの訓練装置であって、
訓練セットにおける各サンプル画像について、該サンプル画像の所定数の所定局所領域を取得する局所領域取得部であって、各所定局所領域は前記サンプル画像の大域領域の一部である、局所領域取得部と、
各サンプル画像について、前記大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定し、前記大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する特徴抽出部であって、前記大域領域及び前記所定数の所定局所領域は、前記大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された前記少なくとも１つの層において前記大域特徴と各局所特徴とを結合する、特徴抽出部と、
損失決定層を用いて、各サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、前記損失関数に基づいて前記分類モデルを訓練する損失決定部と、を含む、分類モデルの訓練装置。
【請求項２】
前記訓練セットは複数の訓練セットを含み、前記複数の訓練セットのうちの少なくとも２つの訓練セットは少なくとも部分的に重複し、
前記損失決定層は、前記複数の訓練セットにそれぞれ対応する複数の損失決定層を含み、
前記損失決定部は、前記複数の訓練セットからの各サンプル画像について、該サンプル画像が属する訓練セットに対応する損失決定層を用いて、該サンプル画像の損失関数を計算する、請求項１に記載の分類モデルの訓練装置。
【請求項３】
前記複数の訓練セットは、各訓練セットにおけるサンプル画像の前記大域領域について設定された特徴抽出層のうちの少なくとも１つの層を共有する、請求項２に記載の分類モデルの訓練装置。
【請求項４】
前記複数の訓練セットは、各訓練セットにおけるサンプル画像の前記所定数の所定局所領域のうちの少なくとも１つの所定局所領域について設定された特徴抽出層のうちの少なくとも１つの層をさらに共有する、請求項３に記載の分類モデルの訓練装置。
【請求項５】
前記所定数の所定局所領域は、前記大域領域に関する相補的情報を有する、請求項１に記載の分類モデルの訓練装置。
【請求項６】
前記特徴抽出層は、畳み込みニューラルネットワークの畳み込み層である、請求項１に記載の分類モデルの訓練装置。
【請求項７】
分類モデルの訓練方法であって、
訓練セットにおける各サンプル画像について、該サンプル画像の所定数の所定局所領域を取得する局所領域取得ステップであって、各所定局所領域は前記サンプル画像の大域領域の一部である、局所領域取得ステップと、
各サンプル画像について、前記大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定し、前記大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する特徴抽出ステップであって、前記大域領域及び前記所定数の所定局所領域は、前記大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された前記少なくとも１つの層において前記大域特徴と各局所特徴とを結合する、特徴抽出ステップと、
損失決定層を用いて、各サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、前記損失関数に基づいて前記分類モデルを訓練する損失決定ステップと、を含む、分類モデルの訓練方法。
【請求項８】
前記訓練セットは複数の訓練セットを含み、前記複数の訓練セットのうちの少なくとも２つの訓練セットは少なくとも部分的に重複し、
前記損失決定層は、前記複数の訓練セットにそれぞれ対応する複数の損失決定層を含み、
前記損失決定ステップにおいて、前記複数の訓練セットからの各サンプル画像について、該サンプル画像が属する訓練セットに対応する損失決定層を用いて、該サンプル画像の損失関数を計算する、請求項７に記載の分類モデルの訓練方法。
【請求項９】
前記複数の訓練セットは、各訓練セットにおけるサンプル画像の前記大域領域について設定された特徴抽出層のうちの少なくとも１つの層を共有する、請求項８に記載の分類モデルの訓練方法。
【請求項１０】
分類モデルを用いる分類装置であって、
分類すべき画像の所定数の所定局所領域を取得する第２局所領域取得部であって、各所定局所領域は前記分類すべき画像の大域領域の一部である、第２局所領域取得部と、
前記分類モデルにおける前記大域領域及び各所定局所領域について設定された対応する数の特徴抽出層を用いて、前記大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する第２特徴抽出部であって、前記分類モデルにおいて、前記大域領域及び前記所定数の所定局所領域は、前記大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された前記少なくとも１つの層において前記大域特徴と各局所特徴とを結合する、第２特徴抽出部と、
前記分類モデルにおける損失決定層を用いて、前記分類すべき画像の結合後の特徴に基づいて前記分類すべき画像の損失関数を計算し、前記損失関数に基づいて前記分類すべき画像を分類する第２損失決定部と、を含む、分類モデルを用いる分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理分野に関し、具体的には、分類モデルの訓練装置及び方法、並びに分類モデルを用いる分類装置及び方法に関する。
【背景技術】
【０００２】
近年、大規模な顔データや車両データなどの収集、及び畳み込みニューラルネットワークの適用により、顔認識やナンバープレート認識などの分類技術は、学界及び産業界で大きな進歩を遂げており、幅広く応用されている。現在、顔認識やナンバープレート認識などの分類性能を改善するためのアイデアは、主に分類モデルの性能を向上させることである。しかし、応用シーンに姿勢の大きな変化、低解像度、低品質などの問題がある場合、分類性能は大幅に低下する。一方、分類性能を向上させるためにデータを増加してもよい。しかし、大規模なデータの収集は面倒である。顔データについては、現在、ＶＧＧ２Ｆａｃｅ、Ｍｓ−Ｃｅｌｅｂ−１Ｍ、ＭｅｇａＦａｃｅなどの公開された顔データセットがある。各データセットはそれぞれの長所と短所があり、各データセットを最大限に活用すると、分類性能を効果的に向上させることができる。最も単純な方法として複数のデータセットを直接組み合わせてもよいが、異なるデータセットのデータは交差し、同一のデータは異なるデータセットにおいて異なるラベルが付けられる場合があり、また、複数のデータセットを単純に融合すると、訓練された分類モデルは収束しておらず、或いは性能が悪くなる場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
以下は、本開示の態様を基本的に理解させるために、本開示の簡単な概要を説明する。なお、この簡単な概要は、本開示を網羅的な概要ではなく、本開示のポイント又は重要な部分を意図的に特定するものではなく、本開示の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
【０００４】
上記の問題点を鑑み、本開示は、従来技術の１つ又は複数の欠点を解決することができる分類モデルの訓練装置及び方法、並びに分類モデルを用いる分類装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示の１つの態様では、分類モデルの訓練装置であって、訓練セットにおける各サンプル画像について、該サンプル画像の所定数の所定局所領域を取得する局所領域取得部であって、各所定局所領域は前記サンプル画像の大域領域の一部である、局所領域取得部と、各サンプル画像について、前記大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定し、前記大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する特徴抽出部であって、前記大域領域及び前記所定数の所定局所領域は、前記大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された前記少なくとも１つの層において前記大域特徴と各局所特徴とを結合する、特徴抽出部と、損失決定層を用いて、各サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、前記損失関数に基づいて前記分類モデルを訓練する損失決定部と、を含む、分類モデルの訓練装置を提供する。
【０００６】
本開示のもう１つの態様では、分類モデルの訓練方法であって、訓練セットにおける各サンプル画像について、該サンプル画像の所定数の所定局所領域を取得する局所領域取得ステップであって、各所定局所領域は前記サンプル画像の大域領域の一部である、局所領域取得ステップと、各サンプル画像について、前記大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定し、前記大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する特徴抽出ステップであって、前記大域領域及び前記所定数の所定局所領域は、前記大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された前記少なくとも１つの層において前記大域特徴と各局所特徴とを結合する、特徴抽出ステップと、損失決定層を用いて、各サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、前記損失関数に基づいて前記分類モデルを訓練する損失決定ステップと、を含む、分類モデルの訓練方法を提供する。
【０００７】
本開示の１つの態様では、分類モデルを用いる分類装置であって、分類すべき画像の所定数の所定局所領域を取得する第２局所領域取得部であって、各所定局所領域は前記分類すべき画像の大域領域の一部である、第２局所領域取得部と、前記分類モデルにおける前記大域領域及び各所定局所領域について設定された対応する数の特徴抽出層を用いて、前記大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する第２特徴抽出部であって、前記分類モデルにおいて、前記大域領域及び前記所定数の所定局所領域は、前記大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された前記少なくとも１つの層において前記大域特徴と各局所特徴とを結合する、第２特徴抽出部と、前記分類モデルにおける損失決定層を用いて、前記分類すべき画像の結合後の特徴に基づいて前記分類すべき画像の損失関数を計算し、前記損失関数に基づいて前記分類すべき画像を分類する第２損失決定部と、を含む、分類モデルを用いる分類装置を提供する。
【０００８】
本開示の他の態様では、上記本開示の方法を実現するためのコンピュータプログラムコード及びコンピュータプログラムプロダクトをさらに提供する。
【０００９】
以下は、本開示の実施例の他の態様を説明し、特に本開示の好ましい実施例を詳細に説明するが、本開示はこれらの実施例に限定されない。
【図面の簡単な説明】
【００１０】
本開示の原理及び利点を理解させるために、図面を参照しながら本開示の各実施例を説明する。全ての図面において、同一又は類似の符号で同一又は類似の構成部を示している。ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本開示の範囲を限定するものではない。
【図１】本開示の実施例に係る分類モデルの訓練装置の機能的構成例を示すブロック図である。
【図２】本開示の実施例に係る分類モデルの訓練装置の１つの構成例を示すブロック図である。
【図３】本開示の実施例に係る分類モデルの訓練装置のもう１つの構成例を示すブロック図である。
【図４】本開示の実施例に係る分類モデルの訓練方法の流れの例を示すフローチャートである。
【図５】本開示の実施例に係る予め訓練された分類モデルを用いる分類装置の機能的構成例を示すブロック図である。
【図６】本開示の実施例に係る予め訓練された分類モデルを用いる分類方法の流れの例を示すフローチャートである。
【図７】本開示の実施例に適用可能なパーソナルコンピュータの例示的な構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本開示の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。
【００１２】
なお、本開示を明確にするために、図面には本開示に密に関連する装置の構成要件又は処理のステップのみが示され、本開示と関係のない細部が省略されている。
【００１３】
以下は、図面を参照しながら、本開示の実施例を詳細に説明する。
【００１４】
まず、図１を参照しながら、本開示の実施例に係る分類モデルの訓練装置の機能的構成例を説明する。図１は本開示の実施例に係る分類モデルの訓練装置の機能的構成例を示すブロック図である。図１に示すように、本開示の実施例に係る分類モデルの訓練装置１００は、局所領域取得部１０２、特徴抽出部１０４及び損失決定部１０６を含む。
【００１５】
局所領域取得部１０２は、訓練セットにおける各サンプル画像について、該サンプル画像の所定数の所定局所領域を取得してもよい。ここで、各所定局所領域は、サンプル画像の大域領域の一部である。
【００１６】
一例として、大域領域はサンプル画像の全領域であり、局所領域はサンプル画像の全領域の一部である。
【００１７】
サンプル画像が顔画像である例では、局所領域取得部１０２は、顔の５つのキーポイントの情報（２つの目、鼻、２つの口元の情報）に基づいて顔を所定数の顔画像ブロックに分割し、各サンプル画像の局所領域、例えば目を含む領域、鼻を含む領域、口を含む領域などを取得してもよい。サンプル画像は人間の顔であってもよいし、ナンバープレートであってもよい。局所領域取得部１０２は、顔画像以外の画像（例えばナンバープレート画像）に対しても上記と同様の処理を行ってもよい。
【００１８】
図２は本開示の実施例に係る分類モデルの訓練装置１００の１つの構成例を示すブロック図である。
【００１９】
図２に示すように、１つの訓練セット（ｔｒａｉｎｉｎｇ  ｓｅｔ）がある。該訓練セットにおける顔サンプル画像について、該サンプル画像の目を含む局所領域、並びに鼻及び口を含む局所領域などを取得する。
【００２０】
特徴抽出部１０４は、各サンプル画像について、大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定し、大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出してもよい。ここで、大域領域及び所定数の所定局所領域は、大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された該少なくとも１つの層において該大域特徴と各局所特徴とを結合する。
【００２１】
一例として、特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であってもよい。なお、特徴抽出層は他の構成を有してもよいが、ここでその説明を省略する。
【００２２】
大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定することは、大域領域及び各所定局所領域についてそれぞれ設定された特徴抽出層の数が異なってもよいことを意味する。
【００２３】
好ましくは、大域領域及び所定数の所定局所領域は、大域領域について設定された特徴抽出層のうちの最後の１つの層を共有し、各所定局所領域についてそれぞれ設定された特徴抽出層のうちの最後の１つの層を共有し、最後の１つの層において大域特徴と局所特徴とを結合してもよい。
【００２４】
特徴抽出部１０４は、大域領域について設定された特徴抽出層を用いて大域領域の大域特徴を抽出し、各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層を用いて各所定局所領域の局所特徴をそれぞれ抽出する。図２の矢印１に示すように、大域領域の大域特徴を抽出するために、大域領域について対応する数の特徴抽出層を設定する。図２の矢印２に示すように、目を含む局所領域の局所特徴を抽出するために、該局所領域について対応する数の特徴抽出層を設定する。また、図２の矢印３に示すように、鼻及び口を含む局所領域の局所特徴を抽出するために、該局所領域について対応する数の特徴抽出層を設定する。
【００２５】
図２に示すように、例えば、サンプル画像の大域領域、目を含む局所領域、並びに鼻及び口を含む局所領域などは、大域領域及び各所定局所領域についてそれぞれ設定された特徴抽出層のうちの特徴抽出層ａ及びｂを共有してもよい。また、サンプル画像の大域領域、目を含む局所領域、並びに鼻及び口を含む局所領域などは、特徴抽出層ａ及びｂの何れか１つを共有してもよい。共有された特徴抽出層ａ及びｂにおいて大域特徴と各局所特徴とを結合することで、各局所領域の局所特徴を大域特徴の補完手段として利用し、各サンプル画像の大域特徴と各局所特徴との結合後の特徴によりサンプル画像の特徴を正確に表現することができる。これによって、サンプル画像を正確に分類することができ、より堅牢な分類モデルを取得することができ、また、訓練の速度を向上させることができる。
【００２６】
損失決定部１０６は、損失決定層を用いて、各サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、損失関数に基づいて分類モデルを訓練してもよい。
【００２７】
上述したように、サンプル画像の結合後の特徴は、大域特徴と局所特徴の両方を含むため、サンプル画像の特徴を正確に表現することができる。なお、非ニューラルネットワークのシナリオでは、サンプル画像の結合後の特徴は、大域特徴と局所特徴の両方を含むため、特徴を融合しなくてもよい。一方、ニューラルネットワークのシナリオでは、特徴融合層（例えば、特徴融合層は、畳み込みニューラルネットワークの全結合層であってもよい）を用いてサンプル画像の結合後の特徴をさらに融合し、該サンプル画像の融合後の特徴を取得してもよい。これによって、非ニューラルネットワークのシナリオでは、損失決定部１０６は、各サンプル画像の結合後の特徴を用いて、該サンプル画像の損失関数を計算してもよい。ニューラルネットワークのシナリオでは、損失決定部１０６は、各サンプル画像の上記の融合後の特徴を用いて、該サンプル画像の損失関数を計算してもよい。また、損失決定部１０６では、損失決定層により算出された損失関数の損失値を用いて誤差逆伝播を行うことで、分類モデルを訓練する。一例として、損失関数はｓｏｆｔｍａｘ損失関数であってもよい。なお、損失関数の他の例であってもよいが、ここでその説明を省略する。
【００２８】
従来技術では、顔の複数の画像ブロック（即ち、上記の局所領域）を用いて分類を行う分類モデルでは、各ブロックのために１つの分類モデルを訓練し、Ｍ個の画像ブロックではＭ個の分類モデルを訓練する必要があるため、計算量が大きく、システムのリアルタイム性能に影響を及ぼす。また、応用シーンに姿勢の大きな変化（例えば顔の側面）、低解像度、低品質（例えば、悪い照明条件により顔画像の品質が悪くなること）などの問題がある場合、分類性能は大幅に低下する。
【００２９】
以上の説明から分かるように、本開示の実施例に係る分類モデルの訓練装置１００では、大域領域及び所定数の所定局所領域により共有された少なくとも１つの特徴抽出層において大域特徴と各局所特徴とを結合することで、各サンプル画像の大域特徴と各局所特徴との結合後の特徴によりサンプル画像の特徴を正確に表現することができる。これによって、サンプル画像を正確に分類することができ、より堅牢な分類モデルを取得することができ、応用シーンに姿勢の大きな変化、低解像度、低品質などの問題がある場合であっても、良好な分類性能を得ることができる。また、大域領域及び所定数の所定局所領域は大域領域及び各所定局所領域についてそれぞれ設定された特徴抽出層のうちの少なくとも１つの層を共有するため、計算及び更新が必要な特徴抽出層のパラメータの数を低減することができ、訓練の速度を向上させることができる。
【００３０】
好ましくは、訓練セットは複数の訓練セットを含み、該複数の訓練セットのうちの少なくとも２つの訓練セットは少なくとも部分的に重複し、損失決定層は、複数の訓練セットにそれぞれ対応する複数の損失決定層を含む。損失決定部１０６は、複数の訓練セットからの各サンプル画像について、該サンプル画像が属する訓練セットに対応する損失決定層を用いて、該サンプル画像の損失関数を計算する。
【００３１】
複数の訓練セットのうちの少なくとも２つの訓練セットが少なくとも部分的に重複することは、複数の訓練セットのうちの少なくとも２つの訓練セットに同一のサンプル画像が存在すること、即ち複数の訓練セットのうちの少なくとも２つの訓練セットには交差データが存在することを意味する。複数の訓練セットがある場合、サンプル画像が属する訓練セットについて設定された損失決定層を用いて該サンプル画像の損失関数を計算することで、該サンプル画像を正しく分類することができる。
【００３２】
好ましくは、複数の訓練セットは、各訓練セットにおけるサンプル画像の大域領域について設定された特徴抽出層のうちの少なくとも１つの層を共有する。
【００３３】
好ましくは、複数の訓練セットは、各訓練セットにおけるサンプル画像の所定数の所定局所領域のうちの少なくとも１つの所定局所領域について設定された特徴抽出層のうちの少なくとも１つの層をさらに共有してもよい。
【００３４】
図３は本開示の実施例に係る分類モデルの訓練装置１００のもう１つの構成例を示すブロック図である。
【００３５】
図３に示すように、訓練セット１、…、訓練セットＮがある。サンプル画像の例として、図３に訓練セット１からの男性の顔画像及び訓練セットＮからの女性の顔画像を示している。一例として、以下の方法によりサンプル画像を選択してもよい。異なる訓練セットから顔画像のパッチをランダムに選択し、ここで、顔画像のパッチに含まれる各訓練セットの画像の数は訓練セットの大きさにより決定される。例えば、訓練セット１と訓練セットＮにおけるサンプル画像のデータ量の比率は１：Ｐであると、顔画像のパッチにおける訓練セット１と訓練セットＮの画像数の比率は１：Ｐである。
【００３６】
図３に示すように、各サンプル画像から目を含む局所領域、並びに鼻及び口を含む局所領域などを取得する。そして、大域領域及び各所定局所領域のために対応する数の特徴抽出層をそれぞれ設定する。
【００３７】
限定ではなく説明を簡単にするために、図３には、Ｎ個の訓練セットが各訓練セットにおけるサンプル画像の大域領域及び各局所領域についてそれぞれ設定された特徴抽出層を共有することを示している。一例として、図３における矢印１及び矢印２に示すように、訓練セット１と訓練セットＮにおける大域領域は大域領域について設定された特徴抽出層を共有し、図３における矢印３及び矢印４に示すように、訓練セット１と訓練セットＮにおけるサンプル画像の目を含む局所領域は該局所領域について設定された特徴抽出層を共有し、図３における矢印５及び矢印６に示すように、訓練セット１と訓練セットＮにおけるサンプル画像の鼻及び口を含む局所領域は該局所領域について設定された特徴抽出層を共有する。
【００３８】
顔データを含む訓練セットの例では、複数の訓練セットには同一の顔データが多数ある（即ち訓練セットに交差データがある）場合、従来技術のように複数の訓練セットを単純に１つの訓練セットとすると、異なる訓練セットに存在する同一の顔が異なるラベルデータとして扱われ、訓練モデルが収束し難く、或いはモデル性能が低下する場合がある。
【００３９】
本開示の実施例に係る分類モデルの訓練装置１００では、複数の訓練セットを組み合わせてより大きな訓練セットを形成する際に、複数の訓練セットは各訓練セットにおけるサンプル画像の大域領域について設定された特徴抽出層のうちの少なくとも１つの特徴抽出層を共有することで、異なる訓練セットの交差データを正しく分類することができる。即ち、本開示の実施例に係る分類モデルの訓練装置１００では、複数の訓練セットを組み合わせて訓練を同時に行うことで、異なる訓練セット間の交差データを正しく分類することができる。また、複数の訓練セットは各訓練セットにおけるサンプル画像の所定局所領域のうちの少なくとも１つの所定局所領域について設定された特徴抽出層のうちの少なくとも１つの特徴抽出層をさらに共有することで、異なる訓練セット間の交差データの正しい分類の分類精度を向上させることができる。
【００４０】
また、一例として、図３に示すように、サンプル画像の大域領域、目を含む局所領域、並びに鼻及び口を含む局所領域などは、大域領域及び各所定局所領域についてそれぞれ設定された特徴抽出層のうちの特徴抽出層ａ及びｂを共有する。また、サンプル画像の大域領域、目を含む局所領域、並びに鼻及び口を含む局所領域などは、大域領域及び各所定局所領域についてそれぞれ設定された特徴抽出層のうちの特徴抽出層ａ及びｂの何れか１つを共有してもよい。
【００４１】
さらに、図３にＮ個の訓練セットにそれぞれ対応する損失決定層、即ち損失決定層１、…、損失決定層Ｎを示している。上述したように、サンプル画像を用いて分類モデルを訓練する際に、サンプル画像が属する訓練セットについて設定された損失決定層を用いて該サンプル画像の損失関数を計算することで、該サンプル画像を正しく分類することができる。
【００４２】
好ましくは、所定数の所定局所領域は、大域領域に関する相補的情報を有する。これによって、局所領域の局所特徴により大域特徴をより完全に補完することで、各サンプル画像の大域特徴と各局所特徴との結合後の特徴によりサンプル画像の特徴をより正確に表現することができるため、サンプル画像をより正確に分類することができる。
【００４３】
上記の分類モデルの訓練装置と同様に、本開示は分類モデルの訓練方法の実施例をさらに提供する。
【００４４】
図４は本開示の実施例に係る分類モデルの訓練方法４００の流れの例を示すフローチャートである。
【００４５】
図４に示すように、本開示の実施例に係る分類モデルの訓練方法４００は、局所領域取得ステップＳ４０２、特徴抽出ステップＳ４０４及び損失決定ステップＳ４０６を含む。
【００４６】
局所領域取得ステップＳ４０２において、訓練セットにおける各サンプル画像について、該サンプル画像の所定数の所定局所領域を取得してもよい。ここで、各所定局所領域は、サンプル画像の大域領域の一部である。
【００４７】
一例として、大域領域はサンプル画像の全領域であり、局所領域はサンプル画像の全領域の一部である。
【００４８】
サンプル画像が顔画像である例では、顔の５つのキーポイントの情報（２つの目、鼻、２つの口元の情報）に基づいて顔を所定数の顔画像ブロックに分割し、各サンプル画像の局所領域、例えば目を含む領域、鼻を含む領域、口を含む領域などを取得してもよい。サンプル画像は人間の顔であってもよいし、ナンバープレートであってもよい。局所領域取得ステップＳ４０２において、顔画像以外の画像（例えばナンバープレート画像）に対しても上記と同様の処理を行ってもよい。
【００４９】
特徴抽出ステップＳ４０４は、各サンプル画像について、大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定し、大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出してもよい。ここで、大域領域及び所定数の所定局所領域は、大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された該少なくとも１つの層において該大域特徴と各局所特徴とを結合する。
【００５０】
一例として、特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であってもよい。なお、特徴抽出層は他の構成を有してもよいが、ここでその説明を省略する。
【００５１】
大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定すること及び特徴抽出層の共有の具体的な例は、上記の装置実施例における対応部分、例えば図２に関する説明を参照してもよく、ここでその説明を省略する。
【００５２】
損失決定ステップＳ４０６において、損失決定層を用いて、各サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、損失関数に基づいて分類モデルを訓練してもよい。
【００５３】
上述したように、サンプル画像の結合後の特徴は、大域特徴と局所特徴の両方を含むため、サンプル画像の特徴を正確に表現することができる。なお、非ニューラルネットワークのシナリオでは、サンプル画像の結合後の特徴は、大域特徴と局所特徴の両方を含むため、特徴を融合しなくてもよい。一方、ニューラルネットワークのシナリオでは、特徴融合層（例えば、特徴融合層は、畳み込みニューラルネットワークの全結合層であってもよい）を用いてサンプル画像の結合後の特徴をさらに融合し、該サンプル画像の融合後の特徴を取得してもよい。これによって、非ニューラルネットワークのシナリオでは、損失決定ステップＳ４０６において、各サンプル画像の結合後の特徴を用いて、該サンプル画像の損失関数を計算してもよい。ニューラルネットワークのシナリオでは、各サンプル画像の上記の融合後の特徴を用いて、該サンプル画像の損失関数を計算してもよい。また、損失決定ステップＳ４０６において、損失決定層により算出された損失関数の損失値を用いて誤差逆伝播を行うことで、分類モデルを訓練する。
【００５４】
従来技術では、顔の複数の画像ブロック（即ち、上記の局所領域）を用いて分類を行う分類モデルでは、各ブロックのために１つの分類モデルを訓練し、Ｍ個の画像ブロックではＭ個の分類モデルを訓練する必要があるため、計算量が大きく、システムのリアルタイム性能に影響を及ぼす。また、応用シーンに姿勢の大きな変化、低解像度、低品質などの問題がある場合、分類性能は大幅に低下する。
【００５５】
以上の説明から分かるように、本開示の実施例に係る分類モデルの訓練方法４００では、大域領域及び所定数の所定局所領域により共有された少なくとも１つの特徴抽出層において大域特徴と各局所特徴とを結合することで、各サンプル画像の大域特徴と各局所特徴との結合後の特徴によりサンプル画像の特徴を正確に表現することができる。これによって、サンプル画像を正確に分類することができ、より堅牢な分類モデルを取得することができ、応用シーンに姿勢の大きな変化、低解像度、低品質などの問題がある場合であっても、良好な分類性能を得ることができる。また、大域領域及び所定数の所定局所領域は大域領域及び各所定局所領域についてそれぞれ設定された特徴抽出層のうちの少なくとも１つの層を共有するため、計算及び更新が必要な特徴抽出層のパラメータの数を低減することができ、訓練の速度を向上させることができる。
【００５６】
好ましくは、訓練セットは複数の訓練セットを含み、該複数の訓練セットのうちの少なくとも２つの訓練セットは少なくとも部分的に重複し、損失決定層は、複数の訓練セットにそれぞれ対応する複数の損失決定層を含む。損失決定ステップＳ４０６において、複数の訓練セットからの各サンプル画像について、該サンプル画像が属する訓練セットに対応する損失決定層を用いて、該サンプル画像の損失関数を計算する。
【００５７】
複数の訓練セットのうちの少なくとも２つの訓練セットが少なくとも部分的に重複することは、複数の訓練セットのうちの少なくとも２つの訓練セットに同一のサンプル画像が存在すること、即ち複数の訓練セットのうちの少なくとも２つの訓練セットには交差データが存在することを意味する。複数の訓練セットがある場合、サンプル画像が属する訓練セットについて設定された損失決定層を用いて該サンプル画像の損失関数を計算することで、該サンプル画像を正しく分類することができる。
【００５８】
好ましくは、複数の訓練セットは、各訓練セットにおけるサンプル画像の大域領域について設定された特徴抽出層のうちの少なくとも１つの層を共有する。
【００５９】
好ましくは、複数の訓練セットは、各訓練セットにおけるサンプル画像の所定数の所定局所領域のうちの少なくとも１つの所定局所領域について設定された特徴抽出層のうちの少なくとも１つの層をさらに共有してもよい。
【００６０】
顔データを含む訓練セットの例では、複数の訓練セットには同一の顔データが多数ある（即ち訓練セットに交差データがある）場合、従来技術のように複数の訓練セットを単純に１つの訓練セットとすると、異なる訓練セットに存在する同一の顔が異なるラベルデータとして扱われ、訓練モデルが収束し難く、或いはモデル性能が低下する場合がある。
【００６１】
本開示の実施例に係る分類モデルの訓練方法４００では、複数の訓練セットを組み合わせてより大きな訓練セットを形成する際に、複数の訓練セットは各訓練セットにおけるサンプル画像の大域領域について設定された特徴抽出層のうちの少なくとも１つの特徴抽出層を共有することで、異なる訓練セットの交差データを正しく分類することができる。即ち、本開示の実施例に係る分類モデルの訓練方法４００では、複数の訓練セットを組み合わせて訓練を同時に行うことで、異なる訓練セット間の交差データを正しく分類することができる。また、複数の訓練セットは各訓練セットにおけるサンプル画像の所定局所領域のうちの少なくとも１つの所定局所領域について設定された特徴抽出層のうちの少なくとも１つの特徴抽出層をさらに共有することで、異なる訓練セット間の交差データの正しい分類の分類精度を向上させることができる。
【００６２】
好ましくは、所定数の所定局所領域は、大域領域に関する相補的情報を有する。これによって、局所領域の局所特徴により大域特徴をより完全に補完することで、各サンプル画像の大域特徴と各局所特徴との結合後の特徴によりサンプル画像の特徴をより正確に表現することができるため、サンプル画像をより正確に分類することができる。
【００６３】
本開示は分類モデルを用いる分類装置をさらに提供する。図５は本開示の実施例に係る予め訓練された分類モデルを用いる分類装置５００の機能的構成例を示すブロック図である。図５に示すように、本開示の実施例に係る予め訓練された分類モデルを用いる分類装置５００は、第２局所領域取得部５０２、第２特徴抽出部５０４及び第２損失決定部５０６を含む。予め訓練された分類モデルは、例えば本開示の上記の実施例に係る分類モデルの訓練装置１００又は本開示の上記の実施例に係る分類モデルの訓練方法４００により訓練された分類モデルであってもよい。
【００６４】
第２局所領域取得部５０２は、分類すべき画像の所定数の所定局所領域を取得してもよい。ここで、各所定局所領域は分類すべき画像の大域領域の一部である。
【００６５】
一例として、大域領域はサンプル画像の全領域であり、局所領域はサンプル画像の全領域の一部である。分類すべき画像が顔画像である例では、分類すべき画像の局所領域は、例えば目を含む領域、鼻を含む領域、口を含む領域などを含んでもよい。
【００６６】
一例として、特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であってもよい。なお、特徴抽出層は他の構成を有してもよいが、ここでその説明を省略する。
【００６７】
第２特徴抽出部５０４は、分類モデルにおける大域領域及び各所定局所領域について設定された対応する数の特徴抽出層を用いて、大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出してもよい。ここで、分類モデルにおいて、大域領域及び所定数の所定局所領域は、大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された該少なくとも１つの層において大域特徴と各局所特徴とを結合する。
【００６８】
具体的には、第２特徴抽出部５０４は、分類モデルにおける大域領域について設定された特徴抽出層を用いて大域領域の大域特徴を抽出し、分類モデルにおける各所定局所領域についてそれぞれ設定された特徴抽出層を用いて各所定局所領域の局所特徴をそれぞれ抽出する。
【００６９】
分類モデルでは、大域領域と所定数の予定局所領域により共有された少なくとも１つの層において大域特徴と各局所特徴とを結合することで、各局所領域の局所特徴を大域特徴の補完手段として利用し、分類すべき画像の大域特徴と各局所特徴との結合後の特徴により分類すべき画像の特徴を正確に表現することができるため、分類すべき画像を正確に分類することができ、分類の速度を向上させることができる。
【００７０】
第２損失決定部５０６は、分類モデルにおける損失決定層を用いて、分類すべき画像の結合後の特徴に基づいて分類すべき画像の損失関数を計算し、損失関数に基づいて分類すべき画像を分類してもよい。
【００７１】
上述したように、分類すべき画像の結合後の特徴は大域特徴と局所特徴の両方を含むため、分類すべき画像の特徴を正確に表現することができる。
【００７２】
上述したように、訓練モデルでは大域領域と所定数の予定局所領域により共有された少なくとも１つの層において大域特徴と各局所特徴とを結合することで、各分類すべき画像の大域特徴と各局所特徴との結合後の特徴によりサンプル画像の特徴を正確に表現することができるため、本開示の実施例に係る予め訓練された分類モデルを用いる分類装置５００により、分類すべき画像を正確に分類することができ、分類の速度を向上させることができる。
【００７３】
好ましくは、分類モデルが複数の訓練セットを用いて訓練された場合、分類モデルにおける損失決定層は、複数の訓練セットにそれぞれ対応する複数の損失決定層を含み、複数の訓練セットは、各訓練セットに対応する大域領域について設定された特徴抽出層のうちの少なくとも１つの層を共有する。第２損失決定部５０６は、複数の損失決定層のうちの各損失決定層を用いて、分類すべき画像の結合後の特徴に基づいて分類すべき画像の損失関数をそれぞれ計算し、損失関数に基づいて分類すべき画像を分類する。
【００７４】
一例として、第２損失決定部５０６は、複数の損失決定層により算出された損失関数から最小の損失関数を選択し、該最小の損失関数に対応するクラスを、分類すべき画像の属するクラスとして取得してもよい。
【００７５】
上記の分類モデルを用いる分類装置と同様に、本開示は分類モデルを用いる分類方法の実施例をさらに提供する。
【００７６】
図６は本開示の実施例に係る予め訓練された分類モデルを用いる分類方法６００の流れの例を示すフローチャートである。
【００７７】
図６に示すように、本開示の実施例に係る予め訓練された分類モデルを用いる分類方法６００は、第２局所領域取得ステップＳ６０２、第２特徴抽出ステップＳ６０４及び第２損失決定ステップＳ６０６を含む。予め訓練された分類モデルは、例えば本開示の上記の実施例に係る分類モデルの訓練装置１００又は本開示の上記の実施例に係る分類モデルの訓練方法４００により訓練された分類モデルであってもよい。
【００７８】
第２局所領域取得ステップＳ６０２において、分類すべき画像の所定数の所定局所領域を取得してもよい。ここで、各所定局所領域は分類すべき画像の大域領域の一部である。
【００７９】
一例として、大域領域はサンプル画像の全領域であり、局所領域はサンプル画像の全領域の一部である。分類すべき画像が顔画像である例では、分類すべき画像の局所領域は、例えば目を含む領域、鼻を含む領域、口を含む領域などを含んでもよい。
【００８０】
一例として、特徴抽出層は、畳み込みニューラルネットワークの畳み込み層であってもよい。なお、特徴抽出層は他の構成を有してもよいが、ここでその説明を省略する。
【００８１】
第２特徴抽出ステップＳ６０４において、分類モデルにおける大域領域及び各所定局所領域について設定された対応する数の特徴抽出層を用いて、大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出してもよい。ここで、分類モデルにおいて、大域領域及び所定数の所定局所領域は、大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された該少なくとも１つの層において大域特徴と各局所特徴とを結合する。
【００８２】
具体的には、分類モデルにおける大域領域について設定された特徴抽出層を用いて大域領域の大域特徴を抽出し、分類モデルにおける各所定局所領域についてそれぞれ設定された特徴抽出層を用いて各所定局所領域の局所特徴をそれぞれ抽出する。
【００８３】
分類モデルでは、大域領域と所定数の予定局所領域により共有された少なくとも１つの層において大域特徴と各局所特徴とを結合することで、各局所領域の局所特徴を大域特徴の補完手段として利用し、分類すべき画像の大域特徴と各局所特徴との結合後の特徴により分類すべき画像の特徴を正確に表現することができるため、分類すべき画像を正確に分類することができ、分類の速度を向上させることができる。
【００８４】
第２損失決定ステップＳ６０６において、分類モデルにおける損失決定層を用いて、分類すべき画像の結合後の特徴に基づいて分類すべき画像の損失関数を計算し、損失関数に基づいて分類すべき画像を分類してもよい。
【００８５】
上述したように、分類すべき画像の結合後の特徴は大域特徴と局所特徴の両方を含むため、分類すべき画像の特徴を正確に表現することができる。
【００８６】
上述したように、訓練モデルでは大域領域と所定数の予定局所領域により共有された少なくとも１つの層において大域特徴と各局所特徴とを結合することで、各分類すべき画像の大域特徴と各局所特徴との結合後の特徴によりサンプル画像の特徴を正確に表現することができるため、本開示の実施例に係る予め訓練された分類モデルを用いる分類方法６００により、分類すべき画像を正確に分類することができ、分類の速度を向上させることができる。
【００８７】
好ましくは、分類モデルが複数の訓練セットを用いて訓練された場合、分類モデルにおける損失決定層は、複数の訓練セットにそれぞれ対応する複数の損失決定層を含み、複数の訓練セットは、各訓練セットに対応する大域領域について設定された特徴抽出層のうちの少なくとも１つの層を共有する。第２損失決定ステップＳ６０６において、複数の損失決定層のうちの各損失決定層を用いて、分類すべき画像の結合後の特徴に基づいて分類すべき画像の損失関数をそれぞれ計算し、損失関数に基づいて分類すべき画像を分類する。
【００８８】
一例として、第２損失決定ステップＳ６０６において、複数の損失決定層により算出された損失関数から最小の損失関数を選択し、該最小の損失関数に対応するクラスを、分類すべき画像の属するクラスとして取得してもよい。
【００８９】
なお、以上は本開示の実施例に係る分類モデルの訓練装置及び方法、並びに分類モデルを用いる分類装置及び方法の機能的構成及び動作を説明しているが、該機能的構成及び動作は単なる例示的なものであり、本開示を限定するものではない。当業者は、本開示の原理に従って上記実施例を修正してもよく、例えば各実施例における機能的モジュールを追加、削除又は組み合わせてもよく、これらの修正は本開示の範囲に含まれるものである。
【００９０】
また、ここの装置の実施例は上記方法の実施例に対応するため、装置の実施例に詳細に説明されていない内容は、上記方法実施例の対応説明を参照してもよく、ここでその説明を省略する。
【００９１】
また、本開示は記憶媒体及びプログラムプロダクトをさらに提供する。本開示の実施例に係る記憶媒体及びプログラムプロダクトにおける機器が実行可能な命令は上記方法を実行してもよく、ここで詳細に説明されていない内容は、上記方法の実施例の対応説明を参照してもよく、ここでその説明を省略する。
【００９２】
それに応じて、本開示は、機器が実行可能な命令を含むプログラムプロダクトが記録されている記憶媒体をさらに含む。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含むが、これらに限定されない。
【００９３】
なお、上記処理及び装置はソフトウェア及び／又はファームウェアにより実現されてもよい。ソフトウェア及び／又はファームウェアにより実施されている場合、記憶媒体又はネットワークから専用のハードウェア構成を有するコンピュータ、例えば図７示されている汎用パーソナルコンピュータ７００に上記方法を実施するためのソフトウェアを構成するプログラムをインストールしてもよく、該コンピュータは各種のプログラムがインストールされている場合は各種の機能などを実行できる。
【００９４】
図７において、中央処理部（ＣＰＵ）７０１は、読み出し専用メモリ（ＲＯＭ）７０２に記憶されているプログラム、又は記憶部７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ７０３には、必要に応じて、ＣＰＵ７０１が各種の処理を実行するに必要なデータが記憶されている。
【００９５】
ＣＰＵ７０１、ＲＯＭ７０２、及びＲＡＭ７０３は、バス７０４を介して互いに接続されている。入力／出力インターフェース７０５もバス７０４に接続されている。
【００９６】
入力部７０６（キーボード、マウスなどを含む）、出力部７０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部７０８（例えばハードディスクなどを含む）、通信部７０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース７０５に接続されている。通信部７０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。
【００９７】
必要に応じて、ドライバ７１０は、入力／出力インターフェース７０５に接続されてもよい。取り外し可能な媒体７１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライバ７１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部７０８にインストールされている。
【００９８】
ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体７１１を介してソフトウェアを構成するプログラムをインストールする。
【００９９】
なお、これらの記憶媒体は、図７に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体７１１に限定されない。取り外し可能な媒体７１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ７０２、記憶部７０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。
【０１００】
以上は図面を参照しながら本開示の好ましい実施例を説明しているが、上記実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本開示に対して各種の修正、改良、均等的なものに変更してもよい。これらの修正、改良又は均等的なものに変更することは本開示の保護範囲に含まれるものである。
【０１０１】
例えば、上記実施例の１つのユニットに含まれる機能は別々の装置により実現されてもよい。また、上記実施例の複数のユニットにより実現される複数の機能は別々の装置によりそれぞれ実現されてもよい。さらに、以上の機能の１つは複数のユニットにより実現されてもよい。なお、これらの構成は本開示の範囲内のものである。
【０１０２】
また、本開示の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本開示の技術的な範囲を限定するものではない。
【０１０３】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示するが、これらの付記に限定されない。
（付記１）
分類モデルの訓練装置であって、
訓練セットにおける各サンプル画像について、該サンプル画像の所定数の所定局所領域を取得する局所領域取得部であって、各所定局所領域は前記サンプル画像の大域領域の一部である、局所領域取得部と、
各サンプル画像について、前記大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定し、前記大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する特徴抽出部であって、前記大域領域及び前記所定数の所定局所領域は、前記大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された前記少なくとも１つの層において前記大域特徴と各局所特徴とを結合する、特徴抽出部と、
損失決定層を用いて、各サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、前記損失関数に基づいて前記分類モデルを訓練する損失決定部と、を含む、分類モデルの訓練装置。
（付記２）
前記訓練セットは複数の訓練セットを含み、前記複数の訓練セットのうちの少なくとも２つの訓練セットは少なくとも部分的に重複し、
前記損失決定層は、前記複数の訓練セットにそれぞれ対応する複数の損失決定層を含み、
前記損失決定部は、前記複数の訓練セットからの各サンプル画像について、該サンプル画像が属する訓練セットに対応する損失決定層を用いて、該サンプル画像の損失関数を計算する、付記１に記載の分類モデルの訓練装置。
（付記３）
前記複数の訓練セットは、各訓練セットにおけるサンプル画像の前記大域領域について設定された特徴抽出層のうちの少なくとも１つの層を共有する、付記２に記載の分類モデルの訓練装置。
（付記４）
前記複数の訓練セットは、各訓練セットにおけるサンプル画像の前記所定数の所定局所領域のうちの少なくとも１つの所定局所領域について設定された特徴抽出層のうちの少なくとも１つの層をさらに共有する、付記３に記載の分類モデルの訓練装置。
（付記５）
前記所定数の所定局所領域は、前記大域領域に関する相補的情報を有する、付記１に記載の分類モデルの訓練装置。
（付記６）
前記特徴抽出層は、畳み込みニューラルネットワークの畳み込み層である、付記１に記載の分類モデルの訓練装置。
（付記７）
分類モデルの訓練方法であって、
訓練セットにおける各サンプル画像について、該サンプル画像の所定数の所定局所領域を取得する局所領域取得ステップであって、各所定局所領域は前記サンプル画像の大域領域の一部である、局所領域取得ステップと、
各サンプル画像について、前記大域領域及び各所定局所領域について対応する数の特徴抽出層をそれぞれ設定し、前記大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する特徴抽出ステップであって、前記大域領域及び前記所定数の所定局所領域は、前記大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された前記少なくとも１つの層において前記大域特徴と各局所特徴とを結合する、特徴抽出ステップと、
損失決定層を用いて、各サンプル画像の結合後の特徴に基づいて該サンプル画像の損失関数を計算し、前記損失関数に基づいて前記分類モデルを訓練する損失決定ステップと、を含む、分類モデルの訓練方法。
（付記８）
前記訓練セットは複数の訓練セットを含み、前記複数の訓練セットのうちの少なくとも２つの訓練セットは少なくとも部分的に重複し、
前記損失決定層は、前記複数の訓練セットにそれぞれ対応する複数の損失決定層を含み、
前記損失決定ステップにおいて、前記複数の訓練セットからの各サンプル画像について、該サンプル画像が属する訓練セットに対応する損失決定層を用いて、該サンプル画像の損失関数を計算する、付記７に記載の分類モデルの訓練方法。
（付記９）
前記複数の訓練セットは、各訓練セットにおけるサンプル画像の前記大域領域について設定された特徴抽出層のうちの少なくとも１つの層を共有する、付記８に記載の分類モデルの訓練方法。
（付記１０）
前記複数の訓練セットは、各訓練セットにおけるサンプル画像の前記所定数の所定局所領域のうちの少なくとも１つの所定局所領域について設定された特徴抽出層のうちの少なくとも１つの層をさらに共有する、付記９に記載の分類モデルの訓練方法。
（付記１１）
前記所定数の所定局所領域は、前記大域領域に関する相補的情報を有する、付記７に記載の分類モデルの訓練方法。
（付記１２）
前記特徴抽出層は、畳み込みニューラルネットワークの畳み込み層である、付記７に記載の分類モデルの訓練方法。
（付記１３）
分類モデルを用いる分類装置であって、
分類すべき画像の所定数の所定局所領域を取得する第２局所領域取得部であって、各所定局所領域は前記分類すべき画像の大域領域の一部である、第２局所領域取得部と、
前記分類モデルにおける前記大域領域及び各所定局所領域について設定された対応する数の特徴抽出層を用いて、前記大域領域の大域特徴及び各所定局所領域の局所特徴をそれぞれ抽出する第２特徴抽出部であって、前記分類モデルにおいて、前記大域領域及び前記所定数の所定局所領域は、前記大域領域及び各所定局所領域についてそれぞれ設定された対応する数の特徴抽出層のうちの少なくとも１つの層を共有し、共有された前記少なくとも１つの層において前記大域特徴と各局所特徴とを結合する、第２特徴抽出部と、
前記分類モデルにおける損失決定層を用いて、前記分類すべき画像の結合後の特徴に基づいて前記分類すべき画像の損失関数を計算し、前記損失関数に基づいて前記分類すべき画像を分類する第２損失決定部と、を含む、分類モデルを用いる分類装置。
（付記１４）
前記分類モデルが複数の訓練セットを用いて訓練された場合、前記分類モデルにおける損失決定層は、前記複数の訓練セットにそれぞれ対応する複数の損失決定層を含み、前記複数の訓練セットは、各訓練セットに対応する大域領域について設定された特徴抽出層のうちの少なくとも１つの層を共有し、
前記第２損失決定部は、前記複数の損失決定層のうちの各損失決定層を用いて、前記分類すべき画像の結合後の特徴に基づいて前記分類すべき画像の損失関数をそれぞれ計算し、前記損失関数に基づいて前記分類すべき画像を分類する、付記１３に記載の分類モデルを用いる分類装置。
【図１】
2020135859.tif 000003
【図２】
2020135859.tif 000004
【図３】
2020135859.tif 000005
【図４】
2020135859.tif 000006
【図５】
2020135859.tif 000007
【図６】
2020135859.tif 000008
【図７】
2020135859.tif 000009