(57)【要約】【課題】本発明は、画像処理装置及び該画像処理装置を訓練するための訓練装置と訓練方法を提供する。【解決手段】該訓練装置は、サポート画像及びクエリ画像の特徴マップを抽出する特徴マップ抽出ユニット；各サポート画像について、特徴マップに基づいてマッチング特徴ベクトルを確定する具現化ユニット；及び、訓練画像をクエリ画像として用いてジョイント訓練を行うことで、新しいクエリ画像についてマッチングサポート画像及びマッチング位置を確定し得るようにさせるジョイント訓練ユニットを含む。訓練画像は、特定のサポート画像にマッチしている。【選択図】図１
2020177647.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置を訓練するための訓練装置であって、
前記画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定し、且つ前記クエリ画像と前記マッチングサポート画像とのマッチング位置を確定するために用いられ、
前記訓練装置は、
前記複数のサポート画像のうちの各々の特徴マップ及び前記クエリ画像の特徴マップを抽出する特徴マップ抽出ユニット；
各サポート画像について、前記サポート画像及び前記クエリ画像の特徴マップに基づいて、N回の反復計算により、前記サポート画像と前記クエリ画像との間のマッチング程度及びマッチング位置を示すマッチング特徴ベクトルを確定する具現化ユニットであって、Nが2以上の自然数である具現化ユニット；及び
複数の訓練画像のうちの各々を前記クエリ画像として用いて、マッチング特徴ベクトルに基づいて、前記特徴マップ抽出ユニットのパラメータ及び前記具現化ユニットのパラメータに対してジョイント訓練を行うことで、前記画像処理装置が新しいクエリ画像について前記マッチングサポート画像及び前記マッチング位置を確定し得るようにさせるジョイント訓練ユニットであって、前記複数の訓練画像のうちの各々が前記複数のサポート画像のうちの特定のサポート画像とマッチしているジョイント訓練ユニットを含む、訓練装置。
【請求項２】
請求項1に記載の訓練装置であって、
前記特徴マップ抽出ユニットが畳み込みニューラルネットワークにより実現される、訓練装置。
【請求項３】
請求項1に記載の訓練装置であって、
前記具現化ユニットは、
前記サポート画像及び前記クエリ画像の特徴マップに基づいて、前記サポート画像及び前記クエリ画像の特徴ベクトルを抽出する特徴ベクトル抽出サブユニット；
前記サポート画像の特徴ベクトルと前記クエリ画像の特徴ベクトルとの間の類似度を計算する類似度計算サブユニット；及び
前記サポート画像及び前記クエリ画像の特徴ベクトル、並びに前記類似度に基づいて、前記マッチング特徴ベクトルを計算する繰り返し更新サブユニットを含む、訓練装置。
【請求項４】
請求項3に記載の訓練装置であって、
前記特徴ベクトル抽出サブユニットは、さらに、
第1回反復計算について、前記サポート画像及び前記クエリ画像の特徴マップに基づいて、グローバル平均プーリングにより、前記サポート画像及び前記クエリ画像の特徴ベクトルを抽出し；及び
第n回反復計算について、前記サポート画像及び前記クエリ画像の特徴マップ、並びに第n-1回反復計算により得られたマッチング特徴ベクトルに基づいて、グローバル平均プーリングにより、前記サポート画像及び前記クエリ画像の特徴ベクトルを抽出するように構成され、
ここで、nは、1よりも大きく且つN以下の自然数である、訓練装置。
【請求項５】
請求項3に記載の訓練装置であって、
前記類似度計算サブユニットが多層パーセプトロンにより実現される、訓練装置。
【請求項６】
請求項3に記載の訓練装置であって、
前記繰り返し更新サブユニットは、さらに、
第1回反復計算について、前記サポート画像及び前記クエリ画像の特徴ベクトル、並びに前記類似度に基づいて、前記マッチング特徴ベクトルを計算し；及び
第n回反復計算について、前記サポート画像及び前記クエリ画像の特徴ベクトル、前記類似度、並びに第n-1回反復計算により得られたマッチング特徴ベクトルに基づいて、前記マッチング特徴ベクトルを計算するように構成され、
ここで、nは、1よりも大きく且つN以下の自然数である、訓練装置。
【請求項７】
請求項3に記載の訓練装置であって、
前記繰り返し更新サブユニットが、出力ゲートの演算を簡略化した長短期記憶モデルにより実現される、訓練装置。
【請求項８】
請求項1乃至7のうちの何れか１項に記載の訓練装置であって、
前記ジョイント訓練ユニットは、さらに、
前記特徴マップ抽出ユニットを実現する畳み込みニューラルネットワーク、前記類似度計算サブユニットを実現する多層パーセプトロン、及び前記繰り返し更新サブユニットを実現する簡略化した長短期記憶モデルのパラメータに対してジョイント訓練を行うように構成される、訓練装置。
【請求項９】
画像処理装置を訓練するための訓練方法であって、
前記画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定し、且つ前記クエリ画像と前記マッチングサポート画像とのマッチング位置を確定するために用いられ、
前記訓練方法は、
前記複数のサポート画像のうちの各々の特徴マップ及び前記クエリ画像の特徴マップを抽出する特徴マップ抽出ステップ；
各サポート画像について、前記サポート画像及び前記クエリ画像の特徴マップに基づいて、N回の反復計算により、前記サポート画像と前記クエリ画像との間のマッチング程度及びマッチング位置を示すマッチング特徴ベクトルを確定する具現化ステップであって、Nが2以上の自然数である具現化ステップ；及び
複数の訓練画像のうちの各々を前記クエリ画像として用いて、マッチング特徴ベクトルに基づいて、前記特徴マップ抽出ステップを実現する特徴マップ抽出ユニットのパラメータ及び前記具現化ステップを実現する具現化ユニットのパラメータに対してジョイント訓練を行うことで、前記画像処理装置が新しいクエリ画像について前記マッチングサポート画像及び前記マッチング位置を確定し得るようにさせるジョイント訓練ステップであって、前記複数の訓練画像のうちの各々が前記複数のサポート画像のうちの特定のサポート画像とマッチしているジョイント訓練ステップを含む、訓練方法。
【請求項１０】
それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定し、且つ前記クエリ画像と前記マッチングサポート画像とのマッチング位置を確定するための画像処理装置であって、
前記画像処理装置は、請求項1乃至8のうちの何れか1項に記載の訓練装置により訓練することで得られ、
前記画像処理装置は、
前記特徴マップ抽出ユニット；
前記具現化ユニット；及び
前記マッチング特徴ベクトルと前記サポート画像の特徴マップとの畳み込み演算、及び、前記マッチング特徴ベクトルと前記クエリ画像との畳み込み演算を行う畳み込みユニットを含む、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の技術分野に関し、特に、画像処理装置を訓練するための訓練装置及び訓練方法、並びに前記訓練装置及び訓練方法により訓練される画像処理装置に関する。
【背景技術】
【０００２】
今のところ、サンプルデータ集合の収集及びラベル付けが大量の時間と手間を要するため、数少ないサンプルを用いて正確に分類し得る方法、例えば、One-short  Learning方法が既に広く研究されており、これにより、機械学習システムが少量のサンプルデータから分類知識を迅速に学習し得るようにさせることができる。
【０００３】
しかし、上述のような分類方法を画像分類分野に適用するときに、画像レベルの情報のみを分類のために用いるので、得られた分類結果は、画像間の類似性だけを示すことができるが、画像間の類似対象の具体的情報を特定することができない。例えば、サポート画像（ラベル有りデータ）及びクエリ（Query）画像（ラベル無しデータ）に表示の対象がすべてオレンジであるとすると、数少ないサンプルを用いて正確に分類し得る従来の方法を用いた画像分類技術は、この２つの画像が類似するかを判断することができるが、この２つの画像間の類似対象がオレンジであることを示すことができず、この２つの画像中の類似対象、即ち、オレンジの画像中の具体的位置を特定することもできない。換言すると、従来の画像分類技術は、対象レベルの類似性に関する情報を与えることができない。
【０００４】
上述のような問題を解決するために、分類器をクエリ画像の特徴マップの各位置に適用する方法が提案されており、これにより、画像の対象レベルの情報を得ることができ、且つこれに基づいて画像分類処理を行うことができる。しかし、クエリ画像中の対象がサポート画像集合における何れの対象とマッチしない場合、上述のような方法は、該新しい対象に対しての分類器が無いので、分類失敗の問題が生じる可能性がある。
【０００５】
よって、それぞれ異なる類別（クラス）に属する複数のサポート画像のうちの、クエリ画像とマッチしたサポート画像（「マッチングサポート画像」ともいう）を確定することができ、クエリ画像とマッチングサポート画像とのマッチング位置を特定することができ、また、クエリ画像と何れのサポート画像とがマッチしないときの処理を行うこともできる画像処理技術が望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術に存在する問題を解決するために、本発明は、画像処理装置を訓練するための新しい訓練技術を提供する。該訓練技術は、サポート画像及びクエリ画像の特徴マップを抽出することで、サポート画像とクエリ画像との間のマッチング程度及びマッチング位置を示すマッチング特徴ベクトルを確定し、そして、特定のサポート画像とマッチした訓練画像をクエリ画像として用いて、マッチング特徴ベクトルに基づいて画像処理装置に対して訓練を行うことができる。
【０００７】
本発明の目的の１つは、画像処理装置のための訓練装置及び訓練方法を提供することにある。本発明による訓練装置及び訓練方法で訓練された画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定することができ、且つクエリ画像とマッチングサポート画像とのマッチング位置を特定することができる。さらに、該訓練技術により訓練された画像処理装置は、クエリ画像が何れのサポート画像とマッチしない場合における処理を行うこともできる。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、本発明の１つの側面によれば、画像処理装置を訓練するための訓練装置が提供される。該画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定し、且つクエリ画像とマッチングサポート画像とのマッチング位置を特定するために用いられる。該訓練装置は、以下のものを含んでも良い。
【０００９】
特徴マップ抽出ユニット：複数のサポート画像のうちの各々の特徴マップ及びクエリ画像の特徴マップを抽出し；
具現化ユニット：各サポート画像について、サポート画像及びクエリ画像の特徴マップに基づいて、N回の反復計算により、サポート画像とクエリ画像との間のマッチング程度及びマッチング位置を示すマッチング特徴ベクトルを確定し、そのうち、Nは、2よりも大きい自然数であり；及び
ジョイント訓練ユニット：複数の訓練画像のうちの各々をクエリ画像として用いて、マッチング特徴ベクトルに基づいて、特徴マップ抽出ユニットのパラメータ及び具現化ユニットのパラメータに対してジョイント訓練を行うことで、画像処理装置が新しいクエリ画像についてマッチングサポート画像及びマッチング位置を確定し得るようにさせ、そのうち、複数の訓練画像のうちの各々は、複数のサポート画像のうちの特定のサポート画像とマッチしている。
【００１０】
本発明のもう１つの側面によれば、画像処理装置を訓練するための訓練方法が提供される。該画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定し、且つクエリ画像とマッチングサポート画像とのマッチング位置を特定するために用いられる。該訓練方法は、以下のステップを含んでも良い。
【００１１】
特徴マップ抽出ステップ：複数のサポート画像のうちの各々の特徴マップ及びクエリ画像の特徴マップを抽出し；
具現化ステップ：各サポート画像について、サポート画像及びクエリ画像の特徴マップに基づいて、N回の反復計算により、サポート画像とクエリ画像との間のマッチング程度及びマッチング位置を示すマッチング特徴ベクトルを確定し、そのうち、Nは、2よりも大きい自然数であり；及び
ジョイント訓練ステップ：複数の訓練画像のうちの各々をクエリ画像として用いて、マッチング特徴ベクトルに基づいて、上記特徴マップ抽出ユニットのパラメータ及び上記具現化ユニットのパラメータに対してジョイント訓練を行うことで、画像処理装置が新しいクエリ画像についてマッチングサポート画像及びマッチング位置を確定し得るようにさせ、そのうち、複数の訓練画像のうちの各々は、複数のサポート画像のうちの特定のサポート画像とマッチしている。
【００１２】
本発明の他の側面によれば、画像処理装置が提供され、それは、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定し、且つクエリ画像とマッチングサポート画像とのマッチング位置を特定するために用いられる。該画像処理装置は、本発明の上述の側面に記載の訓練装置の上記特徴マップ抽出ユニット、上記具現化ユニット、及び畳み込みユニットを含んでも良い。
【００１３】
本発明の他の側面によれば、上述の訓練方法を実現し得るコンピュータプログラムが提供される。また、少なくともコンピュータ可読媒体の形式を有するコンピュータプログラムプロダクトも提供され、その中には、上述の訓練方法を実現し得るコンピュータプログラムコードが含まれている。
【００１４】
本発明に開示の技術により訓練された画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定することができ、且つクエリ画像とマッチングサポート画像とのマッチング位置を特定することができる。さらに、該訓練技術により訓練された画像処理装置は、クエリ画像が何れのサポート画像とマッチしない場合における処理を行うこともできる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例において画像処理装置を訓練するための訓練装置のブロック図である。
【図２】本発明の実施例における具現化ユニットのブロック図である。
【図３】本発明の実施例における具現化ユニットを示す図である。
【図４Ａ】特徴ベクトル抽出サブユニットが第1回反復計算において実行する処理を示す図である。
【図４Ｂ】特徴ベクトル抽出サブユニットが第n回反復計算において実行する処理を示す図である。
【図５Ａ】代表的なLSTMユニットを示す図である。
【図５Ｂ】本発明の実施例における簡略化LSTMユニットを示す図である。
【図６】本発明の実施例における画像処理装置のブロック図である。
【図７】本発明の実施例における画像処理装置の処理例を示す図である。
【図８】本発明の実施例において画像処理装置を訓練するための訓練方法のフローチャートである。
【図９】本発明の実施例における訓練装置及び訓練方法を実現し得る汎用マシンの構成図である。
【発明を実施するための形態】
【００１６】
以下、添付した図面を参照しながら、本開示を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本開示を限定するものでない。
【００１７】
なお、ここで、用語“サポート画像”及び“訓練画像”とは、ラベル付き画像データを指し、即ち、画像に表示の対象のクラスが既知であり、そのうち、サポート画像は、特定の対象を表示する画像の集合を表しても良く、即ち、特定のクラスの画像集合における代表的画像であり、訓練画像は、特定の対象を表示する画像の集合における任意の画像を表しても良い。
【００１８】
以下に記載の実施例では、説明の便宜のため、複数のクラスの画像の各クラスについて、該クラスの画像のうちの１つのみの画像を、該クラスの代表的画像を表すサポート画像として選択する。なお、当業者が理解すべきは、各クラスの画像データ集合が１つ又は複数のサポート画像を有しても良いということである。
【００１９】
また、ここで、用語“クエリ画像”とは、ラベルが付かない画像データを指し、即ち、画像に表示の対象のクラスが未知である。本発明の目的は、画像処理装置を訓練するための訓練技術を提供することにある。該訓練技術により訓練された画像処理装置は、どのサポート画像がクエリ画像とマッチしたかを確定することができ、即ち、マッチングサポート画像を確定することができ、また、マッチングサポート画像の属するクラスに対応する対象のクエリ画像中の位置を特定することもできる。
【００２０】
本発明に開示の技術のコアな思想は、サポート画像及びクエリ画像を反映し得る高次特徴の特徴マップを用いて、サポート画像とクエリ画像との間のマッチング程度及びマッチング位置を表すマッチング特徴ベクトルを取得し、そして、該マッチング特徴ベクトルにより、クエリ画像とマッチしたサポート画像、即ち、クエリ画像のクラスを確定することができ、また、該クラスに対応する対象のクエリ画像及びサポート画像中の位置を特定することもできる。
【００２１】
以下、図面を参照しながら、本発明の各実施例において画像処理装置を訓練するための訓練装置及び訓練方法を詳細に説明する。
【００２２】
図1は、本発明の実施例において画像処理装置を訓練するための訓練装置100のブロック図である。
【００２３】
図1に示すように、訓練装置100は、特徴マップ抽出ユニット101、具現化ユニット102及びジョイント訓練ユニット103を含んでも良い。
【００２４】
本発明の実施例により、特徴マップ抽出ユニット101は、複数のサポート画像のうちの各々の特徴マップ及びクエリ画像の特徴マップを抽出し、そして、得られた特徴マップを具現化ユニット102に提供することができる。
【００２５】
幾つかの実施例では、特徴マップ抽出ユニット101は、畳み込みニューラルネットワーク（CNN）により実現されても良い。
【００２６】
CNNは、フィードフォワード人工ニューラルネットワークであり、画像及び語音処理分野に広く応用されている。CNNは、３つの重要な特徴、即ち、受容野、重み共有及びプーリングに基づいている。
【００２７】
CNNは、各ニューロンが隣接領域におけるニューロンのみと結合関係を有し、且つ互いに影響を与えると仮定する。受容野は、該隣接領域の大小（サイズ）を表す。また、CNNは、ある領域のニューロン間の結合重みがすべての他の領域にも適用され得ること、即ち、重み共有とのことも仮定する。CNNのプーリングとは、CNNを分類問題の解決に用いるときに統計情報に基づいて次元削減操作を行うことを指す。
【００２８】
それ相応に、CNNは、入力層、出力層及びその間の複数の隠れ層を含み、隠れ層は、畳み込み層、プーリング層、活性化層及び全結合層を含んでも良い。各畳み込み層では、画像データが３次元の形式で存在し、それは、複数の２次元画像のスタック層と見なすことができ、即ち、特徴マップである。該特徴マップは、入力画像の高次特徴を反映することができる。通常、入力画像の特徴を十分に残すために、特徴マップの各層のサイズが5×5以上である。
【００２９】
CNNの処理により、複数のサポート画像のうちの各々の特徴マップ及びクエリ画像の特徴マップを得ることができる。
【００３０】
CNNにより画像の特徴マップを抽出する処理は、当業者既知の技術であるため、ここでは、その詳しい説明を省略する。
【００３１】
本発明の実施例により、具現化ユニット102は、各サポート画像について、特徴マップ抽出ユニット101が提供したサポート画像及びクエリ画像の特徴マップに基づいて、N回の反復計算により、サポート画像とクエリ画像との間のマッチング程度及びマッチング位置を示すマッチング特徴ベクトルを確定することができ、そのうち、Nは、2よりも大きい自然数である。図2は、本発明の実施例における具現化ユニット102のブロック図である。
【００３２】
幾つかの実施例では、図2に示すように、具現化ユニット102は、特徴ベクトル抽出サブユニット1021、類似度計算サブユニット1022及び繰り返し更新サブユニット1023を含んでも良い。
【００３３】
図3は、本発明の実施例における具現化ユニット102を示す図である。
【００３４】
幾つかの実施例では、特徴ベクトル抽出サブユニット1021は、サポート画像及びクエリ画像の特徴マップに基づいて、サポート画像及びクエリ画像の特徴ベクトルを抽出することができる。類似度計算サブユニット1022は、サポート画像の特徴ベクトルと、クエリ画像の特徴ベクトルとの間の類似度を計算することができる。繰り返し更新サブユニット1023は、サポート画像及びクエリ画像の特徴ベクトル、並びに類似度に基づいて、マッチング特徴ベクトルを計算することができる。
【００３５】
幾つかの実施例では、図3に示すように、具現化ユニット102では、特徴ベクトル抽出サブユニット1021は、特徴マップ抽出ユニット101が提供したサポート画像の特徴マップ及びクエリ画像の特徴マップ、及び、繰り返し更新サブユニット1023がフィードバックした、前回の反復計算の結果としてのマッチング特徴ベクトルに基づいて、サポート画像の特徴ベクトル及びクエリ画像の特徴ベクトルを生成することができる。
【００３６】
例えば、サポート画像の特徴ベクトルがfsで表され、クエリ画像の特徴ベクトルがfqで表されても良い。
【００３７】
幾つかの実施例では、N回の反復計算のうちの第1回の反復計算について、前回（直前）の反復計算の結果が存在しないため、特徴ベクトル抽出サブユニット1021は、サポート画像の特徴マップ及びクエリ画像の特徴マップのみに基づいて、グローバル平均プーリング（Global  Average  Pooling）により、サポート画像及びクエリ画像の特徴ベクトルfs1及びfp1を抽出する。
【００３８】
図4Aは、特徴ベクトル抽出サブユニット1021が第1回反復計算において実行する処理を示す図である。図4Aに示すように、３次元の形式を有する特徴マップは、CNNのプーリング層においてグローバル平均プーリングを行うことで対応する特徴ベクトルに次元削減され得る。CNNのプーリング処理は、当業者既知の技術であるため、ここでは、その詳しい説明を省略する。
【００３９】
幾つかの実施例では、N回の反復計算のうちの第n回の反復計算について、そのうち、nは、1よりも大きく且つN以下の自然数であり、特徴ベクトル抽出サブユニット1021は、サポート画像及びクエリ画像の特徴マップ、並びに第n-1回の反復計算により得られたマッチング特徴ベクトルに基づいて、グローバル平均プーリングにより、サポート画像及びクエリ画像の特徴ベクトルfsn及びfpnを抽出することができる。
【００４０】
図4Bは、特徴ベクトル抽出サブユニットが第n回反復計算において実行する処理を示す図である。
【００４１】
図4Bに示すように、具現化ユニット102の前回の反復計算の結果、即ち、マッチング特徴ベクトルがfmn-1で表されても良い。本発明の実施例により、サポート画像の特徴マップを例とすれば、現在の反復計算の周期において、特徴ベクトル抽出サブユニット1021は、前回の反復計算の結果としてのマッチング特徴ベクトルfmn-1及びサポート画像の特徴マップに対して畳み込み演算を行い、得られた結果がAttentionマスクと称されても良い。該Attentionマスクは、物理的には、サポート画像中の特定対象の所在する領域を示すものであると理解されても良く、それは、図4Bにおいて高輝度領域で示されている。
【００４２】
その後、特徴ベクトル抽出サブユニット1021は、得られたAttentionマスクと、サポート画像の特徴マップとのドット積計算を行い、また、グローバル平均プーリング処理を行うことで、サポート画像の特徴ベクトルfsを得ることができる。
【００４３】
なお、図4Bに基づいて、サポート画像の特徴マップを例として説明した上述のような処理を同様にクエリ画像に適用することで、クエリ画像の特徴ベクトルfqを得ることもできる。
【００４４】
図3に示すように、特徴ベクトル抽出サブユニット1021は、得られたサポート画像の特徴ベクトルfs及びクエリ画像の特徴ベクトルfqを類似度計算サブユニット1022に入力し、類似度計算サブユニット1022は、サポート画像の特徴ベクトルfsと、クエリ画像の特徴ベクトルfqとの間の類似度aを計算する。
【００４５】
複数の方式で特徴ベクトルfsと特徴ベクトルfqとの間の類似度を計算することができる。幾つかの実施例では、類似度計算サブユニット1022は、多層全結合ニューラルネットワークモデルとしての多層パーセプトロン（MLP）により実現されても良い。MLPにより２つのベクトル間の類似度を計算する処理は、当業者既知の技術であるため、ここでは、その詳しい説明を省略する。
【００４６】
上述のように、繰り返し更新サブユニット1023は、類似度計算サブユニット1022が計算した、特徴ベクトルfsと特徴ベクトルfqとの間の類似度a、並びにサポート画像の特徴ベクトルfs及びクエリ画像の特徴ベクトルfqに基づいて、マッチング特徴ベクトルwを計算することができる。
【００４７】
具体的には、幾つかの実施例では、繰り返し更新サブユニット1023は、出力ゲートの演算を簡略化した簡略化LSTM（Long  short-term  memory）モデルにより実現されても良い。図5Aは、代表的なLSTMユニットを示す図であり、図5Bは、本発明の実施例における簡略化LSTMユニットを示す図である。
【００４８】
LSTMモデルは、その記憶ユニットにより長時間範囲の依存関係を学習することができ、それは、通常、４つのユニット、即ち、入力ゲートit、出力ゲートot、忘却ゲートft及び記憶状態Ctを含み、そのうち、tは、現在のステップを表す。記憶状態Ctは、前回（直前）のステップの状態に基づいて、他のユニットの現在の状態に影響を与える。忘却ゲートftは、消去すべき情報を確定するために用いられる。このようなプロセスは、以下の式で表することができる。
【数１】
2020177647.tif 000003
【００４９】
そのうち、σは、sigmoid関数を示し、xtは、現在のステップtの入力を示し、htは、現在のステップtの中間状態を示し、otは、現在のステップtの出力を示す。結合重み行列Wf、Wi、WC、Wo及びバイアスベクトルbi、bf、bC、boは、訓練待ちパラメータである。
【００５０】
上述のようなLSTMを用いて繰り返し更新サブユニット1023を実現するときに、図5Bに示すように、本発明の実施例において使用する簡略化LSTMユニットでは、中間状態htの計算が省略される。このようにして、簡略化LSTMユニットの入力端には、直前のステップt-1のベクトルCt-1及び入力ベクトルxtのみが入力される。分かりやすくするために、図5Bでは、符号WによりCを置換している。
【００５１】
入力ベクトルxtは、xt=[wt-1,ctxt-1]であり、直前のステップのベクトルwt-1と、ベクトルctxt-1とを結合したベクトルを表す。
【００５２】
図5Bに示すように、本発明の実施例により、ベクトルwt-1=fs+afqであり、そのうち、αは、類似度計算サブユニット1022が計算した類似度であり、αの値が小さいほど、特徴ベクトルfsと特徴ベクトルfqとの間の類似度が小さい。本発明の実施例で使用する簡略化LSTMユニットの現在の出力wtは、現在に計算するマッチング特徴ベクトルであると理解されても良く、それは、クエリ画像においてサポート画像と同じ表示対象が存在するか、及び該対象の位置を示すことができる。wtベクトルは、物理的には、サポート画像にそれぞれ対応する各分類器の重みであると理解されても良い。
【００５３】
また、本発明の実施例により、ベクトル
【数２】
2020177647.tif 000004
である。そのうち、
【数３】
2020177647.tif 000005
である。ここで、bijは、物理的には、ベクトルwにおける各重みと、他の重みとの間の関係であると理解されても良い。
【００５４】
幾つかの実施例では、N回の反復計算のうちの第1回の反復計算について、前回の反復計算の結果が存在しないので、繰り返し更新サブユニット1023は、特徴ベクトル抽出サブユニット1021が抽出したサポート画像及びクエリ画像の特徴ベクトル、並びに類似度計算サブユニット1022が計算した類似度のみに基づいて、マッチング特徴ベクトルを計算する。N回の反復計算のうちの第n回の反復計算について、そのうち、nは、1よりも大きく且つN以下の自然数であり、繰り返し更新サブユニット1023は、特徴ベクトル抽出サブユニット1021が第n-1回の反復計算により得られたマッチング特徴ベクトルに基づいて抽出したサポート画像及びクエリ画像の特徴ベクトル、特徴ベクトル抽出サブユニット1022が計算した類似度、並びに第n-1回の反復計算により得られたマッチング特徴ベクトルに基づいて、現在のマッチング特徴ベクトルを計算する。
【００５５】
幾つかの実施例では、具現化ユニット102の反復回数Nは、経験に基づいて確定されても良く、実際の応用環境に応じて確定されても良い。Nは、通常、2以上である。
【００５６】
上述のように、ジョイント訓練ユニット103は、複数の訓練画像のうちの各々をクエリ画像として用いて、マッチング特徴ベクトルに基づいて、特徴マップ抽出ユニットのパラメータ及び具現化ユニットのパラメータに対してジョイント訓練を行うことができ、そのうち、複数の訓練画像のうちの各々は、複数のサポート画像のうちの特定のサポート画像とマッチしている。
【００５７】
幾つかの実施例では、ジョイント訓練ユニット103は、特徴マップ抽出ユニット101を実現するCNN、類似度計算サブユニット1022を実現するMLP、及び繰り返し更新サブユニット1023を実現する簡略化LSTMのパラメータに対してジョイント訓練を行うことができる。該ジョイント訓練の目的は、マッチング特徴ベクトルとクエリ画像の特徴ベクトルとの間のsoftmax分類誤差を最小化することにある。複数の方法で、訓練装置100の損失関数を構築し、そして、これに基づいて、訓練画像を用いて勾配降下法によりジョイント訓練を行っても良い。勾配降下法を用いてジョイント訓練を行う技術は、当業者既知のものであるから、ここでは、その詳しい説明を省略する。
【００５８】
それ相応に、本発明は、さらに、画像処理装置を提供し、それは、上述のような訓練装置100により訓練することができる。
【００５９】
図6は、本発明の実施例における画像処理装置600のブロック図であり、図7は、本発明の実施例における画像処理装置600の処理例を示す図である。
【００６０】
図6に示すように、画像処理装置600は、特徴マップ抽出ユニット601、具現化ユニット602及び畳み込みユニット603を含んでも良い。特徴マップ抽出ユニット601は、上述のような特徴マップ抽出ユニット101と同じ構成を有し、且つ上述のような訓練装置100により訓練されても良い。また、具現化ユニット602は、上述のような具現化ユニット601と同じ構成を有し、且つ上述のような訓練装置100により訓練されても良い。
【００６１】
例えば、図7に示すように、５つのクラスの画像データ集合が存在するとし、そのうち、表示の対象が異なり、また、この５つのクラスの画像データ集合は、それぞれ、各自の代表的画像としてのサポート画像を有する。
【００６２】
ラベル無しクエリ画像を画像処理装置600に入力した場合、画像処理装置600の特徴マップ抽出ユニット601は、クエリ画像の特徴マップ及び各サポート画像の特徴マップを抽出する。その後、クエリ画像の特徴マップと、各サポート画像の特徴マップとをそれぞれ対（ペア）にして具現化ユニット602に入力することで、クエリ画像と、対応するサポート画像とのマッチング程度及びマッチング位置を表すマッチング特徴ベクトルを取得する。
【００６３】
本発明の実施例により、畳み込みユニット603は、マッチング特徴ベクトルと、サポート画像の特徴マップ及びクエリ画像の特徴マップのそれぞれとに対して畳み込み演算を行うことで、サポート画像とクエリ画像との間のマッチング程度及びマッチング位置を確定することができる。
【００６４】
例えば、図7に示すように、クエリ画像及び第1個目のサポート画像には、オレンジが表示されている。画像処理装置600は、この２つの画像において共通の対象、即ち、オレンジが表示されていることを認識することができ、且つ高輝度の方式で前記対象のクエリ画像及び第1個目のサポート画像中の位置を表している。
【００６５】
これで分かるように、本発明の実施例による画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定することができ、且つクエリ画像とマッチングサポート画像とのマッチング位置を特定することができる。
【００６６】
また、クエリ画像とマッチしない他のサポート画像について、画像処理装置600は、他のサポート画像中の対応する対象が高輝度で表されるようにすることしかできない。クエリ画像において他のサポート画像中の対象とマッチした対象が存在しないので、クエリ画像の処理結果は、全黒色の画像である。
【００６７】
これで分かるように、入力されたクエリ画像が何れのサポート画像とマッチしないとしても、本発明の実施例における画像処理装置により、依然として、それ相応の処理結果を得ることができ、例えば、畳み込みユニット603のクエリ画像に対しての畳み込み演算の結果が、すべて、全黒色の画像である。よって、本発明の実施例における画像処理装置は、クエリ画像が何れのサポート画像とマッチしない場合における処理を行うこともできる。
【００６８】
また、図7では、説明の便宜のため、画像データのクラスの数に対応する具現化ユニットの数が示されている。しかし、当業者が理解すべきは、具現化ユニットの数についての制限がなく、１つの具現化ユニットをすべてのクラスの画像データに適用し、時分割多重化の方式でクエリ画像とサポート画像とに対して逐次対比を行っても良いということである。また、分類の速度を上げるために、複数の具現化ユニットを使用しても良く、各具現化ユニットは、１つ又は複数のクラスの画像データに対応する。
【００６９】
それ相応に、本発明は、さらに、画像処理装置を訓練するための訓練方法を提供する。
【００７０】
図8は、本発明の実施例において画像処理装置を訓練するための訓練方法800のフローチャートである。
【００７１】
訓練方法800は、ステップS801でスタートする。その後、ステップS802では、複数のサポート画像のうちの各々の特徴マップ及びクエリ画像の特徴マップを抽出する。幾つかの実施例では、ステップS802の処理は、図1乃至図5を基に説明した特徴マップ抽出ユニット101により実現することができる。
【００７２】
その後、ステップS803では、各サポート画像について、サポート画像及びクエリ画像の特徴マップに基づいて、N回の反復計算により、サポート画像とクエリ画像との間のマッチング程度及びマッチング位置を示すマッチング特徴ベクトルを確定し、そのうち、Nは、2以上の自然数である。幾つかの実施例では、ステップS803の処理は、図1乃至図5を基に説明した具現化ユニット102により実現することができる。
【００７３】
その後、ステップS804では、複数の訓練画像のうちの各々をクエリ画像として用いて、マッチング特徴ベクトルに基づいて、特徴マップ抽出ユニットのパラメータ及び具現化ユニットのパラメータに対してジョイント訓練を行い、そのうち、複数の訓練画像のうちの各々は、複数のサポート画像のうちの特定のサポート画像とマッチしている。幾つかの実施例では、ステップS804の処理は、図1乃至図5に基づいて説明したジョイント訓練ユニット103により実現され得る。
【００７４】
最後に、訓練方法800は、ステップS905でエンドする。
【００７５】
上述のような訓練方法により訓練された画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定することができ、且つ前記クエリ画像と前記マッチングサポート画像とのマッチング位置を特定することができる。さらに、該画像処理装置は、クエリ画像が何れのサポート画像とマッチしない場合における処理を行うこともできる。
【００７６】
なお、以上、画像データを例として本発明の実施例を紹介したが、当業者が理解すべきは、本発明の実施例を同様に、数少ないサンプルを用いて正確に分類し得る他の分野、例えば、語音データ、テキストデータなどにも適用することができるということである。
【００７７】
図9は、本発明の実施例による装置及び方法を実現し得る汎用マシン900の構成図である。汎用マシン900は、例えば、コンピュータシステムであっても良い。なお、汎用マシン900は、例示に過ぎず、本発明による方法及び装置の使用範囲又は機能について限定しない。また、汎用マシン900は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせに依存しない。
【００７８】
図9では、中央処理装置（CPU）901は、ROM  902に記憶されているプログラム又は記憶部908からRAM  903にロッドされているプログラムに基づいて各種の処理を行う。RAM  903では、ニーズに応じて、CPU  901が各種の処理を行うときに必要なデータなどを記憶することもできる。CPU  901、ROM  902及びRAM  903は、バス904経由して互いに接続される。入力／出力インターフェース905もバス904に接続される。
【００７９】
また、入力／出力インターフェース905には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部906、液晶表示器（LCD）などのような表示器及びスピーカーなどを含む出力部907、ハードディスクなどを含む記憶部908、ネットワークインターフェースカード、例えば、LANカード、モデムなどを含む通信部909である。通信部909は、例えば、インターネット、LANなどのネットワークを経由して通信処理を行う。
【００８０】
ドライブ910は、ニーズに応じて、入力／出力インターフェース905に接続されても良い。取り外し可能な媒体711、例えば、半導体メモリなどは、必要に応じて、ドライブ910にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部908にインストールすることができる。
【００８１】
また、本発明は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本開示の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（carry）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本開示に含まれる。
【００８２】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【００８３】
また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
【００８４】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【００８５】
（付記1）
画像処理装置を訓練するための訓練装置であって、
前記画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定し、且つ前記クエリ画像と前記マッチングサポート画像とのマッチング位置を確定するために用いられ、
前記訓練装置は、
前記複数のサポート画像のうちの各々の特徴マップ及び前記クエリ画像の特徴マップを抽出する特徴マップ抽出ユニット；
各サポート画像について、前記サポート画像及び前記クエリ画像の特徴マップに基づいて、N回の反復計算により、前記サポート画像と前記クエリ画像との間のマッチング程度及びマッチング位置を示すマッチング特徴ベクトルを確定し、Nが2以上の自然数である具現化ユニット；及び
複数の訓練画像のうちの各々を前記クエリ画像として用いて、マッチング特徴ベクトルに基づいて、前記特徴マップ抽出ユニットのパラメータ及び前記具現化ユニットのパラメータに対してジョイント訓練を行うことで、前記画像処理装置が新しいクエリ画像について前記マッチングサポート画像及び前記マッチング位置を確定し得るようにさせ、前記複数の訓練画像のうちの各々が前記複数のサポート画像のうちの特定のサポート画像とマッチしているジョイント訓練ユニットを含む、訓練装置。
【００８６】
（付記2）
付記1に記載の訓練装置であって、
前記複数のサポート画像の各クラスが１つ又は複数のサポート画像を有する、訓練装置。
【００８７】
（付記3）
付記1又は2に記載の訓練装置であって、
前記特徴マップ抽出ユニットが畳み込みニューラルネットワークにより実現される、訓練装置。
【００８８】
（付記4）
付記1乃至3のうちの何れか１つに記載の訓練装置であって、
前記具現化ユニットは、
前記サポート画像及び前記クエリ画像の特徴マップに基づいて前記サポート画像及び前記クエリ画像の特徴ベクトルを抽出する特徴ベクトル抽出サブユニット；
前記サポート画像の特徴ベクトルと前記クエリ画像の特徴ベクトルとの間の類似度を計算する類似度計算サブユニット；及び
前記サポート画像及び前記クエリ画像の特徴ベクトル、並びに前記類似度に基づいて、前記マッチング特徴ベクトルを計算する繰り返し更新サブユニットを含む、訓練装置。
【００８９】
（付記5）
付記4に記載の訓練装置であって、
前記特徴ベクトル抽出サブユニットは、さらに、
第1回反復計算について、前記サポート画像及び前記クエリ画像の特徴マップに基づいて、グローバル平均プーリングにより、前記サポート画像及び前記クエリ画像の特徴ベクトルを抽出し；及び
第n回反復計算について、前記サポート画像及び前記クエリ画像の特徴マップ、並びに第n-1回反復計算により得られたマッチング特徴ベクトルに基づいて、グローバル平均プーリングにより、前記サポート画像及び前記クエリ画像の特徴ベクトルを抽出し、そのうち、nは、1よりも大きく且つN以下の自然数である、訓練装置。
【００９０】
（付記6）
付記4に記載の訓練装置であって、
前記類似度計算サブユニットが多層パーセプトロンにより実現される、訓練装置。
【００９１】
（付記7）
付記4に記載の訓練装置であって、
前記繰り返し更新サブユニットは、さらに、
第1回反復計算について、前記サポート画像及び前記クエリ画像の特徴ベクトル、並びに前記類似度に基づいて、前記マッチング特徴ベクトルを計算し；及び
第n回反復計算について、前記サポート画像及び前記クエリ画像の特徴ベクトル、前記類似度、並びに第n-1回反復計算により得られたマッチング特徴ベクトルに基づいて、前記マッチング特徴ベクトルを計算し、そのうち、nは、1よりも大きく且つN以下の自然数である、訓練装置。
【００９２】
（付記8）
付記4に記載の訓練装置であって、
前記繰り返し更新サブユニットが、出力ゲートの演算を簡略化した長短期記憶モデルにより実現される、訓練装置。
【００９３】
（付記9）
付記1乃至8のうちの何れか１つに記載の訓練装置であって、
前記ジョイント訓練ユニットは、さらに、前記特徴マップ抽出ユニットを実現する畳み込みニューラルネットワーク、前記類似度計算サブユニットを実現する多層パーセプトロン、及び前記繰り返し更新サブユニットを実現する簡略化した長短期記憶モデルのパラメータに対してジョイント訓練を行う、訓練装置。
【００９４】
（付記10）
画像処理装置を訓練するための訓練方法であって、
前記画像処理装置は、それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定し、且つ前記クエリ画像と前記マッチングサポート画像とのマッチング位置を確定するために用いられ、
前記訓練方法は、
前記複数のサポート画像のうちの各々の特徴マップ及び前記クエリ画像の特徴マップを抽出し；
各サポート画像について、前記サポート画像及び前記クエリ画像の特徴マップに基づいて、N回の反復計算により、前記サポート画像と前記クエリ画像との間のマッチング程度及びマッチング位置を示すマッチング特徴ベクトルを確定し、Nは、2以上の自然数であり；及び
複数の訓練画像のうちの各々を前記クエリ画像として用いて、マッチング特徴ベクトルに基づいて、前記特徴マップ抽出ユニットのパラメータ及び前記循環具現化ユニットのパラメータに対してジョイント訓練を行うことで、前記画像処理装置が新しいクエリ画像について前記マッチングサポート画像及び前記マッチング位置を確定し得るようにさせ、前記複数の訓練画像のうちの各々が前記複数のサポート画像のうちの特定のサポート画像とマッチしているステップを含む、訓練方法。
【００９５】
（付記11）
付記10に記載の訓練方法であって、
前記複数のサポート画像の各クラスが１つ又は複数のサポート画像を有する、訓練方法。
【００９６】
（付記12）
付記10又は11に記載の訓練方法であって、
前記特徴マップを抽出するステップが畳み込みニューラルネットワークにより実現される、訓練方法。
【００９７】
（付記13）
付記10乃至12のうちの何れか１つに記載の訓練方法であって、
前記マッチング特徴ベクトルを確定するステップは、さらに、
前記サポート画像及び前記クエリ画像の特徴マップに基づいて、前記サポート画像及び前記クエリ画像の特徴ベクトルを抽出し；
前記サポート画像の特徴ベクトルと前記クエリ画像の特徴ベクトルとの間の類似度を計算し；及び
前記サポート画像及び前記クエリ画像の特徴ベクトル、並びに前記類似度に基づいて、前記マッチング特徴ベクトルを計算することを含む、訓練方法。
【００９８】
（付記14）
付記13に記載の訓練方法であって、
前記特徴ベクトルを抽出するステップは、さらに、
第1回反復計算について、前記サポート画像及び前記クエリ画像の特徴マップに基づいて、グローバル平均プーリングにより、前記サポート画像及び前記クエリ画像の特徴ベクトルを抽出し；及び
第n回反復計算について、前記サポート画像及び前記クエリ画像の特徴マップ、並びに第n-1回反復計算により得られたマッチング特徴ベクトルに基づいて、グローバル平均プーリングにより、前記サポート画像及び前記クエリ画像の特徴ベクトルを抽出し、nが1よりも大きく且つN以下の自然数であることを含む、訓練方法。
【００９９】
（付記15）
付記13に記載の訓練方法であって、
前記類似度を計算するステップが多層パーセプトロンにより実現される、訓練方法。
【０１００】
（付記16）
付記13に記載の訓練方法であって、
前記マッチング特徴ベクトルを計算するステップが、さらに、
第1回反復計算について、前記サポート画像及び前記クエリ画像の特徴ベクトル、並びに前記類似度に基づいて、前記マッチング特徴ベクトルを計算し；及び
第n回反復計算について、前記サポート画像及び前記クエリ画像の特徴ベクトル、前記類似度、並びに第n-1回反復計算により得られたマッチング特徴ベクトルに基づいて、前記マッチング特徴ベクトルを計算し、nが1よりも大きく且つN以下の自然数であることを含む、訓練方法。
【０１０１】
（付記17）
付記13に記載の訓練方法であって、
前記マッチング特徴ベクトルを計算するステップが、出力ゲートの演算を簡略化した長短期記憶モデルにより実現される、訓練方法。
【０１０２】
（付記18）
付記10乃至17のうちの何れか１つに記載の訓練方法であって、
前記ジョイント訓練を行うステップは、さらに、前記特徴マップを抽出するステップを実現する畳み込みニューラルネットワーク、前記類似度を計算するステップを実現する多層パーセプトロン、及び前記マッチング特徴ベクトルを計算するステップを実現する簡略化した長短期記憶モデルのパラメータに対してジョイント訓練を行うことを含む、訓練方法。
【０１０３】
（付記19）
それぞれ異なるクラスに属する複数のサポート画像のうちの、クエリ画像とマッチしたマッチングサポート画像を確定し、且つ前記クエリ画像と前記マッチングサポート画像とのマッチング位置を確定するための画像処理装置であって、
前記画像処理装置は、付記1乃至8に記載の訓練装置により訓練することで得られるものであり、前記画像処理装置は、
前記特徴マップ抽出ユニット；
前記具現化ユニット；及び
畳み込みユニットであって、前記マッチング特徴ベクトルと前記サポート画像の特徴マップとの畳み込み演算、及び、前記マッチング特徴ベクトルと前記クエリ画像との畳み込み演算を行うものを含む、画像処理装置。
【０１０４】
（付記20）
コンピュータ可読記憶媒体であって、
その中には、コンピュータプログラムが記憶されてり、前記コンピュータプログラムは、実行されるときに、コンピュータに、付記10に記載の方法を実現させる、記憶媒体。
【０１０５】
以上、本開示の好ましい実施形態を説明したが、本開示はこの実施形態に限定されず、本開示の趣旨を離脱しない限り、本開示に対するあらゆる変更は、本開示の技術的範囲に属する。
【図１】
2020177647.tif 000006
【図２】
2020177647.tif 000007
【図３】
2020177647.tif 000008
【図４Ａ】
2020177647.tif 000009
【図４Ｂ】
2020177647.tif 000010
【図５Ａ】
2020177647.tif 000011
【図５Ｂ】
2020177647.tif 000012
【図６】
2020177647.tif 000013
【図７】
2020177647.tif 000014
【図８】
2020177647.tif 000015
【図９】
2020177647.tif 000016