(57)【要約】【課題】本発明は、画像認識に用いる深層学習モデル及び該モデルの訓練装置と方法を提供する。【解決手段】該モデルが、特徴マップ中の各特徴が関心対象の所在位置の特徴であるかを確定するための確定層を有し、また、特徴に対して加重合成処理を行うときに関心対象の所在位置の特徴及び他の特徴に異なる重みを与えるので、該モデルが関心のある特徴に焦点を合わせて正確な判断を行うようにさせることで、該モデルのパフォーマンス及び正確度を向上させることができる。【選択図】図１
2020071875.tif 000002
【特許請求の範囲】
【請求項１】
画像認識に用いる深層学習モデルであって、
入力画像に対して特徴抽出を順次行い、サイズが同じである複数の特徴マップを出力するための複数の畳み込み層；
前記入力画像中の関心対象の所在位置に基づいて、前記特徴マップに含まれる、位置に関する各特徴が前記関心対象の所在位置の特徴であるかを確定するための確定層；
前記確定層の出力結果に基づいて、前記複数の畳み込み層により出力される前記複数の特徴マップ中の特徴に対して加重合成処理を行うための合成層であって、前記関心対象の所在位置の特徴の重みが他の特徴の重みとは異なる合成層；及び
前記合成層が加重合成処理を行った後の複数の特徴マップに基づいて、認識結果を出力するための全結合層を含む、深層学習モデル。
【請求項２】
請求項1に記載の深層学習モデルであって、
前記合成層は、前記複数の特徴マップと、前記特徴マップに含まれる、位置に関する各特徴の重みとの乗算を行い、加重合成処理後の複数の特徴マップを得る、深層学習モデル。
【請求項３】
請求項1に記載の深層学習モデルであって、
前記合成層と前記全結合層との間に設置される長期短期記憶層をさらに含み、
前記入力画像は、時間上で連続したフレームシーケンスである、深層学習モデル。
【請求項４】
請求項1-3のうちの任意の1項に記載の深層学習モデルの訓練装置であって、
前記深層学習モデルの前記複数の畳み込み層に訓練画像を入力するための入力ユニット；
前記深層学習モデルの前記確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算するための第一計算ユニット；
前記深層学習モデルの前記全結合層の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算するための第二計算ユニット；及び
前記関心損失及び前記分類損失に基づいてバックプロパゲーションを行い、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整するための調整ユニットを含む、訓練装置。
【請求項５】
請求項4に記載の訓練装置であって、
前記第一計算ユニットは、前記確定層により出力される各特徴の所在位置が関心対象である確率と、前記所在位置が関心対象である真値との差の累計値を計算することで、前記関心損失を取得する、訓練装置。
【請求項６】
請求項4に記載の訓練装置であって、
前記調整ユニットは、前記関心損失と前記分類損失との加重和に基づいてバックプロパゲーションを行うことで、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整する、訓練装置。
【請求項７】
請求項6に記載の訓練装置であって、
前記関心損失及び分類損失のそれぞれの重みを確定するための確定ユニットをさらに含む、訓練装置。
【請求項８】
請求項1-3のうちの任意の1項に記載の深層学習モデルの訓練方法であって、
前記深層学習モデルの前記複数の畳み込み層に訓練画像を入力し；
前記深層学習モデルの前記確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算し；
前記深層学習モデルの前記全結合層の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算し；及び
前記関心損失及び前記分類損失に基づいてバックプロパゲーションを行い、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整することを含む、訓練方法。
【請求項９】
請求項8に記載の訓練方法であって、
前記深層学習モデルの前記確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算することは、
前記確定層により出力される各特徴の所在位置が関心対象である確率と、前記所在位置が関心対象である真値との差の累計値を計算することで、前記関心損失を得ることを含む、訓練方法。
【請求項１０】
請求項8に記載の訓練方法であって、
前記関心損失及び前記分類損失に基づいてバックプロパゲーションを行い、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整することは、
前記関心損失と前記分類損失との加重和に基づいてバックプロパゲーションを行うことで、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整することを含む、訓練方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術分野に関し、特に、画像認識に用いる深層学習モデル及び該モデルの訓練装置と方法に関する。
【背景技術】
【０００２】
近年、深層学習の陰で、コンピュータビジョンの分野における研究が大きく前進するようになる。深層学習とは、階層型ニューラルネットワーク上で各種の機械学習アルゴリズムを用いて、画像、テキストなどの各種の問題を解決するためのアルゴリズム集合を指す。深層学習の核心（コア）は、特徴学習であり、階層型ニューラルネットワークにより階層型特徴情報を取得することにより、特徴を人工的に設計する必要があるという従来の重要な難題を解決するためである。良くある深層学習モデルは、例えば、畳み込みニューラルネットワーク（Convolutional  Neural  Network、CNN）を有し、畳み込みニューラルネットワークは、データ量が膨大な画像特徴に対して次第に次元降下を行うことにより、最終的に、これらの画像特徴が訓練されるようにさせる。
【０００３】
なお、上述の背景技術についての紹介は、本発明の技術案を明確且つ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈すべきではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の発明者が次のようなことを発見した。即ち、畳み込み層により出力される特徴マップに対して可視化を行うときに次のような問題が存在する。例えば、深層学習モデルが正しい判断を行ったとしても、深層学習モデルにより抽出される特徴は、真値と関係がない。該深層学習モデルが訓練過程で誤った情報を学習した場合、訓練過程では、該深層学習モデルは、良好な汎用性を有しない。また、該深層学習モデルが訓練過程で訓練サンプルとしての特徴に対してすべて同じ処理を行うため、該モデルのパフォーマンス及び正確度は制限を受けるようになる。
【０００５】
本発明の実施例は、画像認識に用いる深層学習モデル及び該モデルの訓練装置と方法を提供し、該モデルは、特徴マップ中の各特徴が関心対象の所在位置の特徴であるかを確定するための確定層を有し、また、特徴に対して加重合成処理を行うときに関心対象の所在位置の特徴及び他の特徴に異なる重みを与えるので、該モデルが関心のある特徴に焦点を合わせて正確な判断を行うようにさせることで、該モデルのパフォーマンス及び正確度を向上させることができる。
【課題を解決するための手段】
【０００６】
本発明の実施例の一側面によれば、画像認識に用いる深層学習モデルが提供され、前記モデルは、複数の畳み込み層であって、入力画像に対して特徴抽出を順次行い、サイズが同じである複数の特徴マップを出力するためのもの；確定層であって、前記入力画像中の関心対象の所在位置に基づいて、前記特徴マップに含まれる、位置に関する各特徴が前記関心対象の所在位置の特徴であるかを確定するためのもの；合成層であって、前記確定層の出力結果に基づいて、前記複数の畳み込み層により出力される前記複数の特徴マップ中の特徴に対して加重合成処理を行い、前記関心対象の所在位置の特徴の重みが他の特徴の重みとは異なるもの；及び全結合層であって、前記合成層が加重合成処理を行った後の複数の特徴マップに基づいて、認識結果を出力するものを含む。
【０００７】
また、本発明の実施例の第二側面によれば、本発明の実施例の第一側面に記載の深層学習モデルの訓練装置が提供され、前記装置は、入力ユニットであって、前記深層学習モデルの前記複数の畳み込み層に訓練画像を入力するためのもの；第一計算ユニットであって、前記深層学習モデルの前記確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算するためのもの；第二計算ユニットであって、前記深層学習モデルの前記全結合層の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算するためのもの；及び調整ユニットであって、前記関心損失及び前記分類損失に基づいてバックプロパゲーションを行い、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整するためのものを含む。
【０００８】
本発明の実施例の第三側面によれば、電子機器が提供され、前記電子機器は、本発明の実施例の第二側面に記載の装置を含む。
【０００９】
本発明の実施例の第四側面によれば、本発明の実施例の第一側面に記載の深層学習モデルの訓練方法が提供され、前記方法は、前記深層学習モデルの前記複数の畳み込み層に訓練画像を入力し；前記深層学習モデルの前記確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算し；前記深層学習モデルの前記全結合層の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算し；及び前記関心損失及び前記分類損失に基づいてバックプロパゲーションを行い、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整することを含む。
【００１０】
本発明の有益な効果が次の通りであり、即ち、該モデルが、特徴マップ中の各特徴が関心対象の所在位置の特徴であるかを確定するための確定層を有し、また、特徴に対して加重合成処理を行うときに関心対象の所在位置の特徴及び他の特徴に対して異なる重みを与えるので、該モデルが関心のある特徴に焦点を合わせて正確な判断を行うようにさせることで、該モデルのパフォーマンス及び正確度を向上させることができる。
【００１１】
なお、「含む／有する」のような用語は、本明細書に使用されるときに、特徴、要素、ステップ、又はアセンブルの存在を指すが、１つ又は複数の他の特徴、要素、ステップ、又はアセンブリの存在又は付加を排除しないということも指す。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例1における画像認識に用いる深層学習モデルを示す図である。
【図２】本発明の実施例1における入力画像を示す図である。
【図３】本発明の実施例1における入力画像の複数の特徴マップに対しての加重合成処理を示す図である。
【図４】本発明の実施例2における訓練装置を示す図である。
【図５】本発明の実施例2における関心対象の真値の設定を示す図である。
【図６】本発明の実施例2における訓練過程を示す図である。
【図７】本発明の実施例3における電子機器を示す図である。
【図８】本発明の実施例3における電子機器のシステム構成を示すブロック図である。
【図９】本発明の実施例4における訓練方法を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【実施例１】
【００１４】
本発明の実施例は、画像認識に用いる深層学習モデルを提供する。図1は、本発明の実施例1における画像認識に用いる深層学習モデルを示す図である。図1に示すように、深層学習モデル100は、以下のようなものを含む。
【００１５】
複数の畳み込み層101-1〜101-N：入力画像に対して特徴抽出を順次行い、サイズが同じである複数の特徴マップを出力し；
確定層102：該入力画像中の関心対象の所在位置に基づいて、該特徴マップに含まれる、位置に関する各特徴が該関心対象の所在位置の特徴であるかを確定し；
合成層103：該確定層102の出力結果に基づいて、該複数の畳み込み層により出力される該複数の特徴マップ中の特徴に対して加重合成処理を行い、該関心対象の所在位置の特徴の重みが他の特徴の重みとは異なり；
全結合層104：該合成層103が加重合成処理を行った後の複数の特徴マップに基づいて、認識結果を出力する。
【００１６】
上述の実施例から分かるように、該モデルが、特徴マップ中の各特徴が関心対象の所在位置の特徴であるかを確定するための確定層を有し、また、特徴に対して加重合成処理を行うときに関心対象の所在位置の特徴及び他の特徴に異なる重みを与えるので、該モデルが関心のある特徴に焦点を合わせて正確な判断を行うようにさせることで、該モデルのパフォーマンス及び正確度を向上させることができる。
【００１７】
本実施例では、該複数の畳み込み層101-1〜101-Nは、従来のネットワーク構造を使用しても良く、Nは、2以上の整数であり、該畳み込み層の数は、実際のニーズに応じて設定されても良い。
【００１８】
本実施例では、複数の畳み込み層101-1〜101-Nは、入力画像に対して特徴抽出を順次行い、サイズが同じである複数の特徴マップを出力することができ、該入力画像は、各種の画像、例えば、ビデオの少なくとも１フレームの画像であっても良い。
【００１９】
本実施例では、抽出される特徴は、入力データとしての各種の特徴、例えば、輪郭、テクスチャー、輝度などであっても良い。
【００２０】
本実施例では、複数の畳み込み層101-1〜101-Nは、入力画像に対して特徴抽出を行った後に、サイズが同じである複数の特徴マップを得ることができ、サイズが同じである複数の特徴マップは、例えば、c×m×nと表されても良く、そのうち、cは、特徴マップの数を示し、cは、2以上の整数であり、それは、畳み込み層の畳み込みカーネルの個数によって決定され、m×nは、各特徴マップのサイズを示し、それは、入力画像のサイズ及び畳み込み層の畳み込みステップ長さによって決定され、mは、該特徴マップの長さ方向上のサイズを示し、即ち、長さ方向上では、m個の特徴を有し、nは、該特徴マップの幅方向上のサイズを示し、即ち、幅方向上では、n個の特徴を有する。m及びnは、正の整数であり、mとnは、同じであっても良く、異なっても良い。
【００２１】
複数の畳み込み層101-1〜101-Nが、サイズが同じである複数の特徴マップを出力した後に、確定層102は、該入力画像中の関心対象の所在位置に基づいて、該特徴マップに含まれる、位置に関する各特徴が該関心対象の所在位置の特徴であるかを確定することができる。
【００２２】
本実施例では、該関心対象は、実際のニーズに基づいて予め確定されるものであり、例えば、バスケットボール試合ビデオ画像中の「ショット」動作に対して認識を行う必要があるときに、選手及びバスケットボールを関心対象とすることができる。選手及びバスケットボールの所在位置は、関心対象の所在位置である。計算しやすくするために、選手及びバスケットボールを含む枠（フレーム）の所在領域を関心対象の所在位置としても良い。
【００２３】
図2は、本発明の実施例1における入力画像を示す図である。図2に示すように、選手が所在する枠201及びバスケットボールが所在する枠202の所在領域を関心対象の所在位置とすることができる。
【００２４】
確定層102は、入力画像中の関心対象の所在位置を得た後に、特徴マップ中のどの特徴が該関心対象の所在位置の特徴であるかを確定し、そして、確定結果を出力することができる。このように、合成層103は、該確定層102の出力結果に基づいて、複数の畳み込み層101-1〜101-Nにより出力される複数の特徴マップ中の特徴に対して加重合成処理を行うことができ、該関心対象の所在位置の特徴の重みが他の特徴の重みとは異なる。
【００２５】
本実施例では、該関心対象の所在位置の特徴の重みが他の特徴の重みよりも大きくなるように設定することができる。例えば、該関心対象の所在位置の特徴の重みが1以上であり、他の特徴の重みが0以上であり且つ1よりも小さい数値であるように設定することができる。
【００２６】
また、該関心対象の所在位置の特徴の重みが他の特徴の重みよりも小さくなるように設定しても良い。本実施例では、この２種類の特徴の重みが異なれば、該モデルは、この２種類の特徴を区別して異なる処理を行うことができる。
【００２７】
本実施例では、該合成層103は、該複数の特徴マップと、該特徴マップに含まれる、位置に関する各特徴の重みとの乗算を行うことで、加重合成処理後の複数の特徴マップを得ることができる。
【００２８】
図3は、本発明の実施例1における入力画像の複数の特徴マップに対しての加重合成処理を示す図である。図3に示すように、301は、入力画像を表し、302は、入力画像301から抽出される複数の特徴マップXを示し、特徴マップの数は、cであり、各特徴マップのサイズは、m×mであり、303は、１つの特徴マップ中の各特徴の重みのヒストグラムを表し、そのうち、高さが比較的高い重みは、関心対象の所在位置の特徴の重みであり、高さが比較的低い重みは、他の特徴の重みである。302により表される複数の特徴マップXと、303により表される１つの特徴マップ中の各特徴の重みとの乗算を行うことで、304により表される加重合成処理後の複数の特徴マップ
（外１）
2020071875.tif 000003
を得ることができる。また、305は、関心対象の所在位置の特徴に対してエンハンスメント（即ち、重みを増大すること）を行った後に得られた画像を表す。
【００２９】
本実施例では、合成層103が加重合成処理後に出力する複数の特徴マップを全結合層104に入力することで、認識結果を得ることができる。
【００３０】
本実施例では、該全結合層104は、既存のネットワーク構造を使用しても良い。
【００３１】
該認識結果は、入力画像に対しての認識結果であり、例えば、“ショット”の認識を目的とするモデルの場合、それに図2に示すような入力画像が入力されると、得られた出力結果は、“ショット：0.8；非ショット：0.2”であり、即ち、ショットの確率は、0.8であ、非ショットの確率は、0.2である。
【００３２】
本実施例の深層学習モデル100は、各種の具体的な分野に適用することができる。例えば、該深層学習モデル100は、動作の検出、例えば、上述の例における“ショット”動作の検出のために用いられても良い。
【００３３】
また、例えば、該深層学習モデル100は、さらに、イベントの検出に応用することもでき、例えば、交通事故の検出について、該深層学習モデル100は、シーンの変換に限ることなく、交通事故を直接検出することができ、これに対して、従来の方法では、複雑なルールを人工的に作る必要がある。
【００３４】
イベントの検出のために用いられるときに、入力画像が時間上で連続したフレームシーケンスであることが要され、例えば、監視ビデオの連続したフレームシーケンスである。
【００３５】
また、該深層学習モデル100は、さらに以下のものを含んでも良い。
【００３６】
長期短期記憶（Long  Short-Term  Memory、LSTM）層105：合成層103と全結合層104との間に配置される。
【００３７】
このように、深層学習モデルにLSTM層を設置することで、時間の経過に伴って有用な情報を記憶し、無用な情報を忘れるという特性を利用して、時間上で連続したフレームシーケンスに対して認識を行うことができる。
【００３８】
上述の実施例から分かるように、該モデルが、特徴マップ中の各特徴が関心対象の所在位置の特徴であるかを確定するための確定層を有し、また、特徴に対して加重合成処理を行うときに関心対象の所在位置の特徴及び他の特徴に異なる重みを与えるので、該モデルが関心のある特徴に焦点を合わせて正確の判断を行うようにさせることで、該モデルのパフォーマンス及び正確度を向上させることができる。
【実施例２】
【００３９】
本発明の実施例は、さらに、実施例1に記載のような画像認識に用いる深層学習モデルの訓練装置を提供する。該深層学習モデルの構造は、図1に示す通りであり、該深層学習モデル100は、複数の畳み込み層101-1〜101-N、確定層102、合成層103及び全結合層104を含む。
【００４０】
図4は、本発明の実施例2における訓練装置を示す図である。図4に示すように、訓練装置400は、以下のものを含む。
【００４１】
入力ユニット401：該深層学習モデル100の該複数の畳み込み層101-1〜101-Nに訓練画像を入力し；
第一計算ユニット402：該深層学習モデル100の該確定層102の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算し；
第二計算ユニット403：該深層学習モデル100の該全結合層104の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算し；
調整ユニット404：該関心損失及び該分類損失に基づいてバックプロパゲーションを行い、該深層学習モデル100の該複数の畳み込み層101-1〜101-N及び該確定層102のパラメータを調整する。
【００４２】
このように、関心損失及び分類損失の両方を考慮してバックプロパゲーションを行うことで、深層学習モデル100に対して迅速且つ効率的に訓練を行うことができる。
【００４３】
本実施例では、該訓練画像は、各種の画像であっても良く、その具体的な内容は、深層学習モデルの認識のニーズに応じて確定されても良い。例えば、その認識のニーズが“ショット”動作の検出の場合、バスケットボール試合ビデオの複数のフレームの画像を訓練画像とすることができる。
【００４４】
本実施例では、Caffe（Convolutional  Architecture  for  Fast  Feature  Embedding）上で訓練を行っても良い。
【００４５】
本実施例では、第一計算ユニット402は、該確定層により出力される各特徴の所在位置が関心対象である確率と、該所在位置が関心対象である真値との差の累計値を計算することで、該関心損失を得ることができる。
【００４６】
例えば、第一計算ユニット402は、以下の式（1）により関心損失を計算することができる。
【数１】
2020071875.tif 000004
【００４７】
そのうち、Lossattentionは、関心損失を表し、li，jは、確定層102により出力される特徴（i，j）が関心対象の所在位置の特徴である確率を表し、
（外２）
2020071875.tif 000005
は、該特徴（i，j）が関心対象の所在位置の特徴である真値を示し、mは、特徴マップの長さ及び幅のサイズを表し、i，j，mは、すべて、正の整数である。
【００４８】
図5は、本発明の実施例2における関心対象の真値の設定を示す図である。図5に示すように、入力画像501中の関心対象の所在位置の真値に対してラベル付けを行うことで、関心対象の位置真値マップ502を取得し、そのうち、ラベル“1”は、該位置が関心対象の所在位置であることを示し、ラベル“0”は、該位置が関心対象の所在位置でないことを示す。入力画像の特徴が畳み込み層を経た後に次元降下されているので、該位置真値マップ502に対して対応する次元降下を行い、次元降下後の位置真値マップ503を得る必要があり、そのサイズは、特徴マップと同じであり、ともに、m×mである。
【００４９】
本実施例では、第二計算ユニット403は、該全結合層104の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算することができる。分類損失の計算の具体的な方法は、従来技術を参照することができる。
【００５０】
例えば、図2に示すような画像を訓練画像として入力すると、得られた出力結果は、“ショット：0.7；非ショット：0.3”であり、即ち、ショットの確率は、0.7である。該訓練画像について、その予め設定される分類の真値が“1”であれば、分類損失は、1-0.7=0.3である。
【００５１】
本実施例では、調整ユニット404は、該関心損失及び該分類損失に基づいてバックプロパゲーションを行うことで、該複数の畳み込み層101-1〜101-N及び該確定層102のパラメータを調整することができる。
【００５２】
例えば、該調整ユニット404は、該関心損失及び該分類損失の加重和に基づいてバックプロパゲーションを行うことにより、該複数の畳み込み層101-1〜101-N及び該確定層102のパラメータを調整しても良い。
【００５３】
例えば、以下の式（2）に基づいて、該関心損失及び該分類損失の加重和を計算することができる。
【００５４】
Loss=λ1Lossattention+λ2Lossclassification  (2)
そのうち、Lossattentionは、関心損失を表し、Lossclassificationは、分類損失を表し、Lossは、該関心損失及び該分類損失の加重和を表し、λ1及びλ2は、それぞれ、関心損失及び分類損失の重みを表す。
【００５５】
本実施例では、該調整ユニット404がバックプロパゲーションを行って該複数の畳み込み層101-1〜101-N及び該確定層102のパラメータを調整する方法は、従来技術を参照することができる。例えば、該関心損失及び該分類損失の加重和の、ウェイトパラメータ及びオフセットパラメータに対しての偏導関数に基づいて、各層のウェイトパラメータ及びオフセットパラメータを調整することができる。
【００５６】
本実施例では、該訓練装置400は、さらに、以下のものを含んでも良い。
【００５７】
確定ユニット405：該関心損失及び分類損失の各自の重みを確定するために用いられる。
【００５８】
例えば、確定ユニット405は、実際のニーズに応じてその各自の重みを確定することができる。
【００５９】
図6は、本発明の実施例2における訓練過程を示す図である。図6に示すように、入力ユニット401は、訓練画像を出力し、訓練画像は、訓練待ちの深層学習モデルに入力され、また、該訓練画像に基づいて関心対象の位置の真値及び分類の真値を確定し、第一計算ユニット402は、該位置の真値及び確定層102の出力結果に基づいて関心損失を計算し、第二計算ユニット403は、該分類の真値及び全結合層104の出力結果に基づいて分類損失を計算し、調整ユニット404は、該関心損失及び該分類損失の加重和に基づいてバックプロパゲーションを行うことで、該複数の畳み込み層101-1〜101-N及び該確定層102のパラメータを調整し、そのうち、点線矢印を用いてこれらの層のパラメータに対しての調整を示す。該関心損失及び該分類損失の加重和が収斂（収束）するときに、訓練終了と見なすことができる。
【００６０】
上述の実施例から分かるように、関心損失及び分類損失の両方に基づいてバックプロパゲーションを行うことにより、実施例1に記載の深層学習モデルを訓練により迅速且つ効率的に得ることができる。
【実施例３】
【００６１】
本発明の実施例は、さらに、電子機器を提供する。図7は、本発明の実施例3における電子機器を示す図である。図7に示すように、電子機器700は、訓練装置701を含み、該訓練装置701は、実施例1に記載のような深層学習モデルに対して訓練を行うために用いられ、該訓練装置701の構成及び機能は、実施例2中の記載内容と同じであるため、ここでは、その詳しい説明を省略する。
【００６２】
図8は、本発明の実施例3における電子機器のシステム構成を示すブロック図である。図8に示すように、電子機器800は、中央処理装置801及び記憶器802を含んでも良く、該記憶器802は、該中央処理装置801に接続される。なお、該図は、例示に過ぎず、さらに、該構造に対して他の構造を以て補充又は代替を行うことで、電気通信機能又は他の機能を実現することもできる。
【００６３】
図8に示すように、該電子機器800は、さらに、入力ユニット803、表示器804、及び電源805を含む。
【００６４】
１つの実施方式では、実施例2に記載の訓練装置の機能は、該中央処理装置801に統合することができる。そのうち、該中央処理装置801は、次のように構成されても良く、即ち、該深層学習モデルの該複数の畳み込み層に訓練画像を入力し；該深層学習モデルの該確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算し；該深層学習モデルの該全結合層の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算し；及び、該関心損失及び該分類損失に基づいてバックプロパゲーションを行うことで、該深層学習モデルの該複数の畳み込み層及び該確定層のパラメータを調整する。
【００６５】
例えば、該深層学習モデルの該確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算することは、該確定層出力の各特徴の所在位置が関心対象である確率と、該位置が関心対象である真値との差の累計値を計算して該関心損失を得ることを含む。
【００６６】
例えば、該関心損失及び該分類損失に基づいてバックプロパゲーションを行うことで、該深層学習モデルの該複数の畳み込み層及び該確定層のパラメータを調整することは、該関心損失及び該分類損失の加重和に基づいてバックプロパゲーションを行うことで、該深層学習モデルの該複数の畳み込み層及び該確定層のパラメータを調整することを含む。
【００６７】
例えば、該中央処理装置801は、さらに、次のように構成されても良く、即ち、該関心損失及び分類損失の各自の重みを確定する。
【００６８】
もう１つの実施方式では、実施例2に記載の訓練装置は、中央処理装置801と別々で構成されても良く、例えば、該訓練装置を、該中央処理装置801に接続されるチップとして構成し、該中央処理装置801の制御により該訓練装置の機能を実現することができる。
【００６９】
なお、本実施例では、該電子機器800は、図8に示すすべての部品を含む必要がない。
【００７０】
図8に示すように、該中央処理装置801は、制御器又は操作コントローラと称される場合があり、マイクロプロセッサ、他の処理器装置及び／又は論理装置を含んでも良く、該中央処理装置801は、入力を受信することで、該電子機器800の各部品の操作を制御することができる。
【００７１】
該記憶器802は、例えば、バッファ、フレッシュメモリ、ＨＤＤ、移動可能な媒体、揮発性記憶器、非揮発性記憶器、又は他の適切な装置のうちの１つ又は複数であっても良い。また、該中央処理装置801は、該記憶器802に記憶の該プログラムを実行することで、情報の記憶、処理などを実現することができる。なお、他の部品の機能は、従来と同様であるため、ここでは、その詳細な説明を省略する。また、該電子機器800の各部品は、専用ハードウェア、ファームウェア、ソフトウェア、又はその組み合わせにより実現することもできるが、これらのすべては、本発明の範囲に属する。
【００７２】
上述の実施例から分かるように、関心損失及び分類損失の両方に基づいてバックプロパゲーションを行うことで、実施例1に記載の深層学習モデルを訓練により迅速且つ効率的に得ることができる。
【実施例４】
【００７３】
本発明の実施例は、さらに、実施例1に記載のような、画像認識に用いる深層学習モデルの訓練方法を提供する。該訓練方法は、実施例2の訓練装置に対応する。図9は、本発明の実施例4における訓練方法を示す図である。図9に示すように、該方法は、以下のステップを含む。
【００７４】
ステップ901：該深層学習モデルの該複数の畳み込み層に訓練画像を入力し；
ステップ902：該深層学習モデルの該確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づて、関心損失を計算し；
ステップ903：該深層学習モデルの該全結合層の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算し；
ステップ904：該関心損失及び該分類損失に基づいてバックプロパゲーションを行うことで、該深層学習モデルの該複数の畳み込み層及び該確定層のパラメータを調整する。
【００７５】
本実施例では、ステップ902及びステップ903は、前後して実行されても良く、例えば、ステップ902を行ってからステップ903を実行し、或いは、ステップ903を実行してからステップ902を行うことができる。また、ステップ902及びステップ903を同時に実行しても良い。なお、本発明の実施例は、ステップ902及びステップ903の実行順序について限定しない。
【００７６】
本実施例では、上述の各ステップの具体的な実現方法は、実施例2中の記載内容と同じであるから、ここでは、その詳しい説明を省略する。
【００７７】
上述の実施例から分かるように、関心損失及び分類損失の両方を考慮してバックプロパゲーションを行うことで、実施例1に記載の深層学習モデルを訓練により迅速且つ効率的に得ることができる。
【００７８】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、深層学習モデルの訓練装置又は電子機器中で前記プログラムを実行するときに、前記プログラムは、コンピュータに、前記深層学習モデルの訓練装置又は電子機器中で実施例4に記載の深層学習モデルの訓練方法を実行させる。
【００７９】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、コンピュータに、深層学習モデルの訓練装置又は電子機器中で実施例4に記載の深層学習モデルの訓練方法を実行させる。
【００８０】
本発明の実施例で説明した前記深層学習モデルの訓練装置又は電子機器中での深層学習モデルの訓練方法は、直接、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図4に示す機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図9に示する各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable  gate  array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
【００８１】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【００８２】
また、以上の実施例などに関し、さらに以下のように付記を開示する。
【００８３】
（付記1）
画像認識に用いる深層学習モデルであって、
入力画像に対して特徴抽出を順次行い、サイズが同じである複数の特徴マップを出力するための複数の畳み込み層；
前記入力画像中の関心対象の所在位置に基づいて、前記特徴マップに含まれる、位置に関する各特徴が前記関心対象の所在位置の特徴であるかを確定するための確定層；
前記確定層の出力結果に基づいて、前記複数の畳み込み層により出力される前記複数の特徴マップ中の特徴に対して加重合成処理を行うための合成層であって、前記関心対象の所在位置の特徴の重みが他の特徴の重みとは異なる合成層；及び
前記合成層が加重合成処理を行った後の複数の特徴マップに基づいて、認識結果を出力するための全結合層を含む、深層学習モデル。
【００８４】
（付記2）
付記1に記載の深層学習モデルであって、
前記合成層は、前記複数の特徴マップと、前記特徴マップに含まれる、位置に関する各特徴の重みとの乗算を行い、加重合成処理後の複数の特徴マップを得る、深層学習モデル。
【００８５】
（付記3）
付記1に記載の深層学習モデルであって、
前記合成層と前記全結合層との間に設置される長期短期記憶層をさらに含み、
前記入力画像は、時間上で連続したフレームシーケンスである、深層学習モデル。
【００８６】
（付記4）
付記1-3のうちの任意の一項に記載の深層学習モデルの訓練装置であって、
前記深層学習モデルの前記複数の畳み込み層に訓練画像を入力するための入力ユニット；
前記深層学習モデルの前記確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算するための第一計算ユニット；
前記深層学習モデルの前記全結合層の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算するための第二計算ユニット；及び
前記関心損失及び前記分類損失に基づいてバックプロパゲーションを行い、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整するための調整ユニットを含む、装置。
【００８７】
（付記5）
付記4に記載の装置であって、
前記第一計算ユニットは、前記確定層により出力される各特徴の所在位置が関心対象である確率と、前記位置が関心対象である真値との差の累計値を計算することで、前記関心損失を得る、装置。
【００８８】
（付記6）
付記4に記載の装置であって、
前記調整ユニットは、前記関心損失及び前記分類損失の加重和に基づいてバックプロパゲーションを行うことで、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整する、装置。
【００８９】
（付記7）
付記6に記載の装置であって、
前記関心損失及び前記分類損失の各自の重みを確定するための確定ユニットをさらに含む、装置。
【００９０】
（付記8）
付記4-7のうちの任意の一項に記載の装置を含む、電子機器。
【００９１】
（付記9）
付記1-3のうちの任意の一項に記載の深層学習モデルの訓練方法であって、
前記深層学習モデルの前記複数の畳み込み層に訓練画像を入力し；
前記深層学習モデルの前記確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算し；
前記深層学習モデルの前記全結合層の出力結果及び予め設定される分類の真値に基づいて、分類損失を計算し；及び
前記関心損失及び前記分類損失に基づいてバックプロパゲーションを行い、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整することを含む、方法。
【００９２】
（付記10）
付記9に記載の方法であって、
前記深層学習モデルの前記確定層の出力結果及び予め設定される関心対象の所在位置の真値に基づいて、関心損失を計算することは、
前記確定層により出力される各特徴の所在位置が関心対象である確率と、前記位置が関心対象である真値との差の累計値を計算することで、前記関心損失を得ることを含む、方法。
【００９３】
（付記11）
付記9に記載の方法であって、
前記関心損失及び前記分類損失に基づいてバックプロパゲーションを行い、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整することは、
前記関心損失及び前記分類損失の加重和に基づいてバックプロパゲーションを行うことで、前記深層学習モデルの前記複数の畳み込み層及び前記確定層のパラメータを調整することを含む、方法。
【００９４】
（付記12）
付記11に記載の方法であって、
前記関心損失及び分類損失の各自の重みを確定することをさらに含む、方法。
【００９５】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2020071875.tif 000006
【図２】
2020071875.tif 000007
【図３】
2020071875.tif 000008
【図４】
2020071875.tif 000009
【図５】
2020071875.tif 000010
【図６】
2020071875.tif 000011
【図７】
2020071875.tif 000012
【図８】
2020071875.tif 000013
【図９】
2020071875.tif 000014