(57)【要約】  この技術的解決策は、概して、生体モデルに基づくコンピューティング・システムを参照し、具体的には、ペアワイズ類似度の分布に基づく深層ニューラル・ネットワークを訓練する方法を参照する。ペアワイズ類似度の分布に基づく深層ニューラル・ネットワークを訓練する方法は、マークされた学習サンプルを生成し、学習サンプルの各要素が、属するクラスのマークを有し；深層ニューラル・ネットワークのために入力データ学習サンプルの非交差ランダム・サブセットのセットを、それらが結合されると学習サンプルを表すように形成し；学習サンプルのそれぞれの形成されたサブセットを深層ニューラル・ネットワークの入力に送信して、学習サンプルのこのサブセットの深層表現をもたらし；前段階において取得された各サブセットの要素の深層表現間の全てのペアワイズ類似度を判断し；類似のクラスのマークを有する要素間の、前段階において判断された類似度が、ポジティブ・ペアの類似度と呼ばれ、異なるクラスのマークを有する要素間の類似度が、ネガティブ・ペアの尺度と呼ばれ；ヒストグラムの使用を通して、ポジティブ・ペアについての類似度およびネガティブ・ペアについての類似度の確率分布を判断し；前段階において判断されたポジティブ・ペアおよびネガティブ・ペアについての類似度の確率分布に基づいて、損失関数を形成し；ＢＰＥ技術を用いて、損失の前段階において形成された関数を最小化する。技術的結果は、学習精度の向上、および入力データの深層表現の訓練パラメータを設定するための時間の減少である。【選択図】図１
2020504891.tif 000002
【特許請求の範囲】
【請求項１】
ペアワイズ類似度の分布に基づく深層ニューラル・ネットワークを教示する方法であって、
マークされた学習サンプルが取得される段階であって、前記学習サンプルの各要素が、属するクラスのマークを有する、段階と；
入力データ学習サンプルの非交差ランダム・サブセットのセットが、結合されると学習サンプルを表すように、深層ニューラル・ネットワークのために形成される段階と；
前記学習サンプルのそれぞれの形成されたサブセットが前記深層ニューラル・ネットワークの入力に与えられ、前記学習サンプルのサブセットの深層表現をもたらす段階と；
前段階において取得された各サブセットの要素の深層表現間の全てのペアワイズ類似度が判断される段階と；
前段階において判断される、同一クラス・マークを有する要素間の類似度が、ポジティブ・ペアの前記類似度と呼ばれ、異なるクラス・マークを有する要素間の前記類似度が、ネガティブ・ペアの前記類似度と呼ばれる段階と；
ポジティブ・ペアについての類似度の確率分布およびネガティブ・ペアについての類似度の確率分布が、ヒストグラムを用いて判断される段階と；
前記損失関数が、前段階において判断されたポジティブ・ペアおよびネガティブ・ペアについての類似度の確率分布に基づいて形成される段階と；
前段階において形成された前記損失関数が、ＢＰＥ技術を用いて最小化される段階と、
を含む、方法。
【請求項２】
マークされた学習サンプルがデータ・ウェアハウスから取得されることを特徴とする、請求項１に記載の方法。
【請求項３】
クラス・マークが、数字または記号であることを特徴とする、請求項１に記載の方法。
【請求項４】
前記学習サンプルのそれぞれの形成されたサブセットが、直列または並列で深層ニューラル・ネットワークの前記入力に送信されることを特徴とする、請求項１に記載の方法。
【請求項５】
前記サブセットの深層表現が、実数ベクトルのセットであり、それぞれが前記サブセットの要素に対応することを特徴とする、請求項１に記載の方法。
【請求項６】
前記学習サンプルの各サブセットの深層表現を取得する前に、前記深層ニューラル・ネットワークの最後のレイヤのＬ２正規化が実行されることを特徴とする、請求項１に記載の方法。
【請求項７】
各サブセットの要素の深層表現間の前記類似度を判断するときに、コサイン類似度が使用されることを特徴とする、請求項１に記載の方法。
【請求項８】
類似度の前記確率分布が、ヒストグラム・ビン値の線形補間を用いてノンパラメトリックにポジティブ・ペアおよびネガティブ・ペアの両方について判断されることを特徴とする、請求項１に記載の方法。
【請求項９】
ペアワイズ類似性に関して微分可能である前記損失関数が形成されることを特徴とする、請求項１に記載の方法。
【請求項１０】
前記損失関数の値が減少を止めるまで、前記損失関数が、前記ＢＰＥ技術を用いてヒストグラムに基づいて最小化されることを特徴とする、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術的解決策は、概して、生体モデルに基づくコンピューティング・システムを参照し、具体的には、ペアワイズ類似度の分布に基づく深層ニューラル・ネットワークを教示する方法を参照する。
【背景技術】
【０００２】
深層学習の概念は、認知タスクを参照し、いわゆる深層構造を教示するための手法を意味し、複数レベルのニューラル・ネットワークが参照され得る。パターン認識分野からの単なる例として、他の抽象特徴に関してますます多くの抽象特徴を区別するように、即ち、顔全体、目および口の表情、ならびに最終的には、それに基づいて例えば、人の性別、年齢、または彼もしくは彼女が別の人物にどのくらい似ているかを判断することが可能な、数学的には着色画素の累積などの抽象的な性質（特徴）間の依存関係を判断するように、コンピューティング・システムに教示することが必要である。
【０００３】
古典的な機械学習と比較すると、深層学習は、一段と進歩し、初期段階において専門家の知識を公式化する必要をなくしている。重要な規則性は全て、（それが、例えばニューラル・ネットワークにおける場合のように）入力されたデータに基づいて、システム自体によって判断される。
【０００４】
先行技術から、Ｓ．Ｃｈｏｐｒａ、Ｒ．Ｈａｄｓｅｌｌ、およびＹ．ＬｅＣｕｎによって書かれた記事、Ｌｅａｒｎｉｎｇ  ａ  ｓｉｍｉｌａｒｉｔｙ  ｍｅｔｒｉｃ  ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ，ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｆａｃｅ  ｖｅｒｉｆｉｃａｔｉｏｎ．２００５  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ  ２００５）、（米）カリフォルニア州サン・ディエゴ、２００５年６月２０〜２６日、５３９〜５４６頁、２００５について我々は知っている。
【０００５】
この技術的解決策は、深層学習における訓練データからの例のペアに対して損失関数を使用し、それを独立して計算する。１つの、および同一クラスに割り当てられる訓練例のペア（ポジティブ・ペア）については、それらの深層表現のベクトル間のユークリッド距離が最小化され、異なるクラスの例のペア（ネガティブ例）については、ポジティブ例間の距離がネガティブ例間の距離よりもマージン値だけ小さくなるまで、最大化される。
【０００６】
このような手法は、再訓練の問題を引き起こし得る。さらに、距離値の分布は、学習プロセスの間に大規模な変化を経験するため、マージン値の選択は、簡単な作業ではない。
【０００７】
Ｗｅｉｎｂｅｒｇｅｒ、Ｋｉｌｉａｎ  Ｑ．、およびＬａｗｒｅｎｃｅ  К．Ｓａｕｌによって書かれた周知の記事、“Ｄｉｓｔａｎｃｅ  ｍｅｔｒｉｃ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｌａｒｇｅ  ｍａｒｇｉｎ  ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ．”、Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ、２００９年２月１０日、２０７〜２４４頁も存在する。
【０００８】
この技術は、深層学習における訓練データからの例のトリプレットに対して損失関数を使用し、それを独立して計算する。トリプレットは、例の２つのペアで構成され、その１つはポジティブ（例が両方とも同一クラスに属する）であり、もう１つがネガティブ（例が異なるクラスに属する）である。このように、我々は、ポジティブ・ペアおよびネガティブ・ペア内の例の間の適当な相対距離を取得可能な表現を探している。ポジティブ・ペアは、より小さな値を有するべきである。しかしながら、この技術は、ポジティブ・ペアおよびネガティブ・ペアにおいても同様に距離間のマージン値を設定すべきであると仮定する。一方、この技術は、例についてのポジティブ・ペアおよびネガティブ・ペア内部の距離間の特定の差が、その空間的表現の位置に依存して変化し得るため、きわめて柔軟である。
【０００９】
しかしながら、それも、再訓練の理由であり得る。さらに、トリプレットを選択することは、大規模な計算リソースを必要とすることがあり、簡単な作業ではない。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Ｓ．Ｃｈｏｐｒａ、Ｒ．Ｈａｄｓｅｌｌ、およびＹ．ＬｅＣｕｎ、Ｌｅａｒｎｉｎｇ  ａ  ｓｉｍｉｌａｒｉｔｙ  ｍｅｔｒｉｃ  ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ，ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｆａｃｅ  ｖｅｒｉｆｉｃａｔｉｏｎ．２００５  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ  ２００５）、（米）カリフォルニア州サン・ディエゴ、２００５年６月２０〜２６日、５３９〜５４６頁、２００５
【非特許文献２】Ｗｅｉｎｂｅｒｇｅｒ、Ｋｉｌｉａｎ  Ｑ．、およびＬａｗｒｅｎｃｅ  К．Ｓａｕｌ、“Ｄｉｓｔａｎｃｅ  ｍｅｔｒｉｃ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｌａｒｇｅ  ｍａｒｇｉｎ  ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ．”、Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ、２００９年２月１０日、２０７〜２４４頁
【非特許文献３】Ｒｕｍｅｌｈａｒｔ  Ｄ．ｅ．，Ｈｉｎｔｏｎ  ｇ．ｅ．，Ｗｉｌｌｉａｍｓ  Ｒ．Ｊ．，Ｌｅａｒｎｉｎｇ  Ｉｎｔｅｒｎａｌ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｂｙ  Ｅｒｒｏｒ  Ｐｒｏｐａｇａｔｉｏｎ．Ｉｎ：Ｐａｒａｌｌｅｌ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１，ｐｐ．３１８−３６２、Ｃａｍｂｒｉｄｇｅ、ＭＡ、ＭＩＴ  Ｐｒｅｓｓ  １９８６
【非特許文献４】Ｙｉ、  Ｄｏｎｇ，Ｚｈｅｎ  Ｌｅｉ，およびＳｔａｎ  ｚ．Ｌｉ．“Ｄｅｅｐ  ｍｅｔｒｉｃ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｐｒａｃｔｉｃａｌ  ｐｅｒｓｏｎ  ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ．”  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１４０７．４９７９  （２０１４）
【非特許文献５】Ｈ．Ｏ．Ｓｏｎｇ，Ｙ．Ｘｉａｎｇ，ｓ．Ｊｅｇｅｌｋａ，およびｓ．Ｓａｖａｒｅｓｅ  Ｄｅｅｐ  ｍｅｔｒｉｃ  ｌｅａｒｎｉｎｇ  ｖｉａ  ｌｉｆｔｅｄ  ｓｔｒｕｃｔｕｒｅｄ  ｆｅａｔｕｒｅ  ｅｍｂｅｄｄｉｎｇ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），２０１６
【非特許文献６】Ｃ．Ｗａｈ，ｓ．Ｂｒａｎｓｏｎ，Ｐ．Ｗｅｌｉｎｄｅｒ，Ｐ．Ｐｅｒｏｎａ，ａｎｄ  ｓ．Ｂｅｌｏｎｇｉｅ．Ｔｈｅ  Ｃａｌｔｅｃｈ−ＵＣＳＤ  Ｂｉｒｄｓ−２００−２０１１  Ｄａｔａｓｅｔ．（ＣＮＳ−ＴＲ−２０１１−００１），２０１１．
【非特許文献７】Ｗ．Ｌｉ，Ｒ．Ｚｈａｏ，Ｔ．Ｘｉａｏ，およびＸ．Ｗａｎｇ．Ｄｅｅｐｒｅｉｄ：Ｄｅｅｐ  ｆｉｌｔｅｒ  ｐａｉｒｉｎｇ  ＮＥＵＲＡＬ  ｎｅｔｗｏｒｋ  ｆｏｒ  ｐｅｒｓｏｎ  ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ．２０１４  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ  ２０１４，Ｃｏｌｕｍｂｕｓ，ＯＨ，ＵＳＡ，Ｊｕｎｅ  ２３−２８，２０１４，ｐｐ．１５２−１５９，２０１４
【非特許文献８】Ｌ．Ｚｈｅｎｇ，Ｌ．Ｓｈｅｎ，Ｌ．Ｔｉａｎ，ｓ．Ｗａｎｇ，Ｊ．Ｗａｎｇ，およびＱ．Ｔｉａｎ．Ｓｃａｌａｂｌｅ  ｐｅｒｓｏｎ  ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ：ａ  ｂｅｎｃｈｍａｒｋ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，２０１５
【非特許文献９】Ｓ．Ｃｈｏｐｒａ，Ｒ．Ｈａｄｓｅｌｌ，およびＹ．ＬｅＣｕｎ，Ｌｅａｒｎｉｎｇ  ａ  ｓｉｍｉｌａｒｉｔｙ  ｍｅｔｒｉｃ  ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ，ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｆａｃｅ  ｖｅｒｉｆｉｃａｔｉｏｎ．２００５  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ  ２００５），２０−２６  Ｊｕｎｅ  ２００５，Ｓａｎ  Ｄｉｅｇｏ，ＣＡ，ＵＳＡ，ｐｐ．５３９−５４６，２００５
【非特許文献１０】Ｗｅｉｎｂｅｒｇｅｒ，Ｋｉｌｉａｎ  Ｑ．，およびＬａｗｒｅｎｃｅ  Ｋ．Ｓａｕｌ．”Ｄｉｓｔａｎｃｅ  ｍｅｔｒｉｃ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｌａｒｇｅ  ｍａｒｇｉｎ  ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ．”  Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ  １０．Ｆｅｂ  （２００９）：２０７−２４４．
【発明の概要】
【発明が解決しようとする課題】
【００１１】
この技術的解決策は、先行技術から既知の解決策において固有の欠点を除去するように設計される。
【００１２】
この技術的解決策において解決される技術的問題は、深層ニューラル・ネットワーク・モデルの教示である。
【００１３】
上記問題を解決するときに現れる技術的結果は、教示精度の向上、および入力データ深層表現の教示のためのパラメータ設定に必要な時間の減少である。
【課題を解決するための手段】
【００１４】
上記技術的結果は、ペアワイズ類似度の分布に基づく深層ニューラル・ネットワークの教示技術の実施を通して達成され、それは、マークされた学習サンプルを生成し、学習サンプルの各要素が、属するクラスのマークを有し；深層ニューラル・ネットワークのために入力データ学習サンプルの非交差ランダム・サブセットのセットを、それらが結合されると学習サンプルを表すように形成し；学習サンプルのそれぞれの形成されたサブセットを深層ニューラル・ネットワークの入力に送信して、学習サンプルのこのサブセットの深層表現をもたらし；前段階において取得された各サブセットの要素の深層表現間の全てのペアワイズ類似度を判断し；類似のクラスのマークを有する要素間の、前段階において判断された類似度が、ポジティブ・ペアの類似度と呼ばれ、異なるクラスのマークを有する要素間の類似度が、ネガティブ・ペアの類似度と呼ばれ；ヒストグラムの使用を通して、ポジティブ・ペアについて、およびネガティブ・ペアについての類似度の値の確率分布を判断し；前段階において判断されたポジティブ・ペアおよびネガティブ・ペアについての類似度の確率分布に基づいて、損失関数を形成し；ＢＰＥ技術を用いて、損失の前段階において形成された関数を最小化する。
【００１５】
いくつかの実施形態では、マークされた学習サンプルが、データ・ウェアハウスから取得される。
【００１６】
いくつかの実施形態では、クラスのマークは、数字または記号である。
【００１７】
いくつかの実施形態では、学習サンプルのそれぞれの形成されたサブセットが、直列または並列で深層ニューラル・ネットワークの入力に送信される。
【００１８】
いくつかの実施形態では、サブセットの深層表現は、実数ベクトルのセットであり、そのそれぞれが、サブセット要素に対応する。
【００１９】
いくつかの実施形態では、学習サンプルの各サブセットの深層表現を取得する前に、深層ニューラル・ネットワークの最後のレイヤのＬ２正規化が実行される。
【００２０】
いくつかの実施形態では、各サブセット要素の深層表現間の類似度を判断するときに、コサイン類似度が使用される。
【００２１】
いくつかの実施形態では、類似度値の確率分布が、ヒストグラム・ビン値の線形補間を用いてノンパラメトリックにポジティブ・ペアおよびネガティブ・ペアの両方について判断される。
【００２２】
いくつかの実施形態では、類似性ペアに関して微分可能である損失関数が、形成される。
【００２３】
いくつかの実施形態では、損失関数の値が減少を止めるまで、損失関数が、ＢＰＥ技術を用いてヒストグラムに基づいて最小化される。
【００２４】
この技術的解決策の特徴および恩恵が、以下の詳細な説明および添付図面から明らかとなる。
【図面の簡単な説明】
【００２５】
【図１】ヒストグラムに基づいて損失関数を計算する方法の例を示す。
【図２】ＣＵＢ−２００−２０１１に基づく異なる方法のランクКの完全性を示す。
【図３】オンライン製品に基づく異なる方法のランクКの完全性を示す。
【図４】ＣＵＨＫ０３に基づく異なる方法のランクКの完全性を示す。
【図５】Ｍａｒｋｅｔ−１５０１に基づく異なる方法のランクКの完全性を示す。
【図６】提案される損失関数において異なるヒストグラム・ビン・サイズを使用するときの、ＣＵＢ−２０１１−２００に基づく異なる方法のランクКの完全性を示す。
【図７】異なる損失関数を使用するときの、ポジティブ・ペア（白）およびネガティブ・ペア（グレー）の類似性の分布を含むヒストグラムを示す。    （ａ）提案される損失関数を使用するときの分布のヒストグラムを示す。    （ｂ）構造類似性を用いた二項分布逸脱を使用するときの分布のヒストグラムを示す。    （ｃ）構造類似性を使用するときの分布のヒストグラムを示す。
【発明を実施するための形態】
【００２６】
実施されるべき技術的解決策の詳細な開示に必要な用語および定義が、以下で説明される。
【００２７】
技術的解決策は、分散型コンピュータ・システムとして実施され得る。
【００２８】
システムは、この解決策において、コンピュータ・システム、コンピュータ（電子データ処理機械）、ＣＮＣ（コンピュータ化された数値制御）、ＰＬＣ（プログラマブル・ロジック・コントローラ）、コンピュータ化された制御システム、および所定の明確に定義された動作（アクション、命令）シーケンスを実行可能な任意の他のデバイスのことである。
【００２９】
命令処理ユニットは、機械命令（プログラム）を実行する電子ユニットまたは集積回路（マイクロプロセッサ）を意味する。
【００３０】
命令処理ユニットは、１つまたは複数のデータ記憶デバイスから機械命令（プログラム）を読み出し、実行する。データ記憶デバイスは、ハード・ディスク・ドライブ（ＨＤＤ）、フラッシュ・メモリ、ＲＯＭ（読み出し専用メモリ）、ソリッド・ステート・ドライブ（ＳＳＤ）、光学媒体（ＣＤ、ＤＶＤなど）を含み得るが、これらに限定されない。
【００３１】
プログラムは、コンピュータ・コントローラ・デバイスまたは命令処理ユニットによって実行されるべき命令シーケンスである。
【００３２】
深層学習は、複数の非線形変換で構成されるアーキテクチャを用いて、データ内の高レベルの抽象概念をシミュレートすることを試みる、機械学習アルゴリズムのセットである。
【００３３】
言い換えると、深層学習は、機械学習技術のより幅広い群の一部であり、属性のベクトルが複数レベル上に同時に配列される表現を通して学習する。これらの属性は、自動的に判断され、互いにリンク付けされて出力データを形成する。各レベルは、前のレベルのものに基づく抽象属性を表す。よって、より深くに進むにつれて、抽象レベルが高くなる。ニューラル・ネットワークにおいて、複数のレイヤは、属性のベクトルが出力データを生成する複数のレベルを表す。
【００３４】
サンプルは、実験（観測、調査）によって包含される要素の一般的なセットの一部である。
【００３５】
深層表現は、プライマリ・データがその入力に与えられるときに深層ニューラル・ネットワークの訓練モデルから生じる、ある空間内のプライマリ・データの表現である。
【００３６】
類似度は、実数値であり、対象が、例えば同一の意味クラスに属するなど、互いにどの程度類似しているかを示す。
【００３７】
確率分布は、ランダムな値の範囲およびその結果（外観）の確率を説明する法則である。
【００３８】
ヒストグラムは、表形式データのグラフィカル表現方法である。
【００３９】
損失関数は、観測されたデータに基づいて誤った意思決定を行う場合に、統計解の理論における損失を特性化する関数である。
【００４０】
マージンは、ある点から解の境界までの距離であり、例えば、サポート・ベクタ・マシンにおいて使用される。それは、同一クラスの表現間の距離と、異なるクラス表現間の距離との差でもあり得る。
【００４１】
閾値は、パラメトリックに損失関数を定義することを可能にする、いくつかの基準値である。
【００４２】
畳み込みニューラル・ネットワーク（ＣＮＮ）は、Ｊａｎ  Ｌｅｋｕｎによって提案された人工ニューラル・ネットワークの特別なアーキテクチャであり、学習済みのスケールのパラメータを有する畳み込みフィルタを用いて画像の空間的相関を考慮することによって、有効な画像認識を目的とし、深層学習技術の一部である。
【００４３】
コサイン類似度は、前ヒルベルト空間の２つのベクトル間の類似度であり、それは、それらの間のコサイン角度を測定するために使用される。
【００４４】
２つの属性ベクトルＡおよびＢが与えられる場合、コサイン類似度ｃｏｓ（θ）は、スカラ積およびノルムを使用して表され得る。
【００４５】
【数１】
2020504891.tif 000003
【００４６】
ペアワイズ類似度の分布に基づく深層ニューラル・ネットワークの教示方法が、以下のように、いくつかの実施形態において実施され得る。
【００４７】
段階１０１：マークされた学習サンプルが取得され、学習サンプルの各要素が、属するクラスのマークを有する。
【００４８】
クラスは、対象（例えば、Ｐｅｔｙａの顔または犬の写真）の意味クラスとして定義される。サンプルからの各要素は、人間によって実行される分類後、それ自体のクラス・マークを有する。クラス・マークは、数字および記号の両方であり得る。例えば、対象が犬および猫の場合、シンボリック人工知能では、これらは、互いに何の関係性もない２つの異なる記号である。
【００４９】
学習サンプルは、予備的に形成され、この技術がデータ・ウェアハウスから実行される、データ処理デバイスに移送される。
【００５０】
段階１０２：入力学習サンプルの非交差ランダム・サブセットのセットが、結合されると学習サンプルを表すように、深層ニューラル・ネットワークのために形成される。
【００５１】
この段階において、学習サンプル全体が、ランダムなサブセットに分割される。入力データ学習サンプルの非交差ランダム・サブセットのセットはＸ＝｛ｘ１，ｘ２．．．ｘｎ｝、深層ニューラル・ネットワークはｆ（・，θ）と表され得る。ここで、θは、学習済みニューラル・ネットワーク・パラメータであり、そのスキームが図１において与えられる。いくつかの文献において、学習サンプルのサブセットは、バッチと呼ばれる。
【００５２】
段階１０３：学習サンプルのそれぞれの形成されたサブセットが、深層ニューラル・ネットワークの入力に与えられ、学習サンプルのこのサブセットの深層表現をもたらす。
【００５３】
いくつかの実施形態において、学習サンプルのサブセットは、直列および並列の両方で送信され得る。
【００５４】
サブセットの深層表現の例は、実数ベクトルのセットであり、そのそれぞれが、サブセット要素に対応する。
【００５５】
深層ニューラル・ネットワーク内の出力レイヤは、分類結果を生成しないが、深層表現のｎ次元ベクトルをもたらす。ここで、ｎは、深層ニューラル・ネットワーク・モデルの出力におけるニューロンの数である。いくつかの実施形態において、深層ニューラル・ネットワークの最後のレイヤ出力のＬ２正規化が実行される。Ｌ２正規化（または正則化）は、モデルの再訓練の次数を減少させるため、および深層表現値のスケール・パラメータをなくすために実行される。したがって、表現間の距離が制限され、ヒストグラムは、ただ１つのパラメータ、例えば、範囲の幅を使用して設定され得る。Ｌ２正規化は、深層表現のベクトルをそのＬ２ノルム（数２）に分割することによって実行される。Ｌ２ノルムは、多次元空間内の２点間の幾何学距離であり、例えば、２次元空間内においてピタゴラスの定理を用いて計算される。いくつかの実施形態は、別の正規化を使用してもよく、それは、微分され得る。
【００５６】
【数２】
2020504891.tif 000004
【００５７】
段階１０４：全てのペアワイズ類似度が、前の段階において取得された各サブセットの要素の深層表現の間で判断される。
【００５８】
ｆ１，ｆ２，．．．，ｆｎが、取得された深層表現である場合、ペアワイズ類似度ｄｉ，ｊは、ｄｉ，ｊ＝Ｄ（ｆｉ，ｆｊ）（ｉおよびｊは、０からＮの任意の値をとり得る）と判断される。ここで、Ｄ（ｆｉ，ｆｊ）は、２つのベクトル間の類似度（例えば、コサイン類似度）である。次元ｎの空間における点ｘ＝（ｘ１，ｘ２，．．．，ｘｎ）とｙ＝（ｙ１，ｙ２，．．．，ｙｎ）との間のコサイン類似度Ｄ（ｘ，ｙ）は、数３と判断される。
【００５９】
【数３】
2020504891.tif 000005
【００６０】
ペアが、１つの、および同一のクラスに割り当てられる場合、そのペアはポジティブであるが、ペアが異なるクラスに属する場合、そのペアはネガティブである。
【００６１】
段階１０５：前段階において判断される、同一クラス・マークを有する要素間の類似度が、ポジティブ・ペアの類似度と呼ばれ、異なるクラス・マークを有する要素間の類似度が、ネガティブ・ペアの類似度と呼ばれる。
【００６２】
例えば、「犬」および「猫」画像の意味クラスを用いて動作するとき、２つの犬または２つの猫の画像の深層表現の類似度は、ポジティブ・ペアと呼ばれ、１つの犬および１つの猫の画像の深層表現の類似度は、ネガティブ・ペアと呼ばれる。
【００６３】
段階１０６：ポジティブ・ペアの類似度値の確率分布およびネガティブ・ペアの類似度値の確率分布が、ヒストグラムを用いて判断される。
この段階において、類似度の２つの１次元確率分布は、それらの深層表現の空間における例の間で判断され、そのうちの１つが、同一マークを有する例のペア（ポジティブ・ペア）の類似度と呼ばれ、もう一方が、異なるマークを有する例のペア（ネガティブ・ペア）の類似度の値と呼ばれる。これらの分布は、ヒストグラム・ビン値の線形補間によってノンパラメトリックで計算される。ｘｉおよびｘｊが、同一の対象物である場合（ポジティブ・ペア）、ｍｉｊ＝１と仮定すると、そうでない場合（ネガティブ・ペア）、ｍｉｊ＝−１である。｛ｍｉｊ｝およびニューラル・ネットワーク出力｛ｙｉ＝ｆ（ｘｉ；θ）｝を知っている場合、確率分布ｐ＋およびｐ−を判断することが可能であり、それは、ポジティブ・ペアおよびネガティブ・ペアそれぞれの間の類似度に対応する。特に、値Ｓ＋＝（ｓｉｊ＝（ｘｉ，ｘｊ）｜ｍｉｊ＝＋１）иＳ−＝（ｓｉｊ＝（ｘｉ，ｘｊ）｜ｍｉｊ＝−１）が、これら２つの分布からのサンプルとして考えられ得る。ここで、ｓｉｊ＝（ｘｉ，ｘｊ）は、対象のペアである。
【００６４】
サンプルＳ＋およびＳ−を有する場合、任意の既知の統計的手法を使用して、ｐ＋およびｐ−の値を判断することが可能である。これらの分布の一次元性、および［−１；＋１］の範囲内の値の制限が、この作業を単純化する。
【００６５】
いくつかの実施形態では、［−１；＋１］範囲内でΔ＝２／（Ｒ−１）ステップで均一に離間された、ノットｔ１＝−１，．．．ｔＲ＝−１を有する次元ＲのヒストグラムＨ＋およびＨ−を使用することが可能である。Ｈ＋ヒストグラムの各ノットにおいて、その値（数４）を判断することが可能である。
【００６６】
【数４】
2020504891.tif 000006
【００６７】
【数５】
2020504891.tif 000007
【００６８】
ここで、（ｉ，ｊ）は、学習サンプルのサブセット内の全てのポジティブ例を指定する。スケールδｉ，ｊ，ｒは、以下のように選択される（ここで、ｒは、ヒストグラム・ノットの数である）。
【００６９】
【数６】
2020504891.tif 000008
【００７０】
したがって、線形補間が、各ペアについて使用される。ヒストグラムＨ−の値は、同じやり方で判断される。
【００７１】
分布ｐ＋およびｐ−についての推定を有する場合、以下のように、ランダムなネガティブ・ペアにおける２つの例の間の類似度がランダムなポジティブ・ペアにおける２つの例の間よりも大きい確率（逆確率）を評価する。
【００７２】
【数７】
2020504891.tif 000009
【００７３】
ここで、Φ＋（ｘ）は、ｐ＋（ｘ）からの累積の確率密度である。この積分は、数８と近似され、計算され得る。
【００７４】
【数８】
2020504891.tif 000010
【００７５】
ここで、Ｌは、θネットワーク出力パラメータを用いたサンプルＸのサブセットによって計算されるヒストグラムに基づいて提案された損失関数であり、それによって、損失関数は、逆確率を近似する。
【００７６】
【数９】
2020504891.tif 000011
【００７７】
数９は、Ｈ＋ヒストグラムの累積和である。
【００７８】
段階１０７：損失関数が、前段階において判断されたポジティブ・ペアおよびネガティブ・ペアについての類似度の確率分布に基づいて形成される。
【００７９】
提案される損失関数は、ペアワイズ類似性ｓ  ｅ  Ｓ＋およびｓ  ｅ  Ｓ−に関して微分可能である。
【００８０】
【数１０】
2020504891.tif 000012
【００８１】
【数１１】
2020504891.tif 000013
【００８２】
【数１２】
2020504891.tif 000014
【００８３】
【数１３】
2020504891.tif 000015
2020504891.tif 000016
【００８４】
【数１４】
2020504891.tif 000017
【００８５】
【数１５】
2020504891.tif 000018
【００８６】
段階１０８：前の段階において形成される損失関数は、ＢＰＥ技術［１］を用いたヒストグラムに基づいて最小化される。
【００８７】
ダイレクト・パスを用いて、入力データ学習サンプルＸ＝｛ｘ１，ｘ２，．．．，ｘＮ｝のランダム・サブセットが、深層ニューラル・ネットワーク入力に与えられ、次いで、その連続的変形が、深層ニューラル・ネットワークのレイヤ内で実行され、レイヤは、そのパラメータによって判断される。結果は、サンプル要素に対応するクラスのマークに加えて提案される損失関数の入力に与えられる、プライマリ・データの深層表現のセットである。この入力データは、損失関数の値（誤差）を計算するため、および段階１０７〜１０８において与えられる式に従って、深層ニューラル・ネットワークの出力への誤差のバック・プロパゲーションを実行するために、使用される。次いで、誤差は、そのレイヤを通して深層ニューラル・ネットワークの出力から入力へ戻って波及し、それによって、深層ニューラル・ネットワーク・レイヤのパラメータが、この誤差を最小化するために更新される。その後で、入力データ学習サンプルの次のランダム・サブセットの類似の処理が実行される。プロセスは、誤差（損失関数値）が、減少を止めるまで繰り返される。
【００８８】
この技術的解決策を実施するために、この技術的解決策の提案された損失関数の実験的比較が、二項分布逸脱損失関数［２］、リフテッド構造型類似性ソフトマックス損失［３］、コントラスト損失関数［７］、およびトリプレットに基づく損失関数［８］を用いて、ヒストグラムに基づいて実行された。モデリングは、Ｃａｆｆｅ深層学習ライブラリの助けを借りて行われた。オンライン製品データセットに基づくそれらの画像による類似物の検索のタスク［３］、ＣＵＢ−２００−２０１１に基づく鳥の写真による鳥類の分類［４］、ＣＨＵＮＫ０３に基づく対象の再検出（再識別）［５］、およびＭａｒｋｅｔ−１５０１［６］について、比較が行われた。オンライン製品およびＣＵＢ−２００−２０１１データベースを用いた実験において、ＧｏｏｇＬｅＮｅｔニューラル・ネットワークの同一アーキテクチャが、第５のプーリングレイヤ（プーリングは、前のレイヤ出力の起動の空間多重化）の属性を用いて、使用された。ＣＨＵＮＫ０３およびＭａｒｋｅｔ−１５０１に基づく実験では、人間の画像の下部、中間、および上部についての３つのニューラル・ネットワークからなる、メトリックの深層学習のアーキテクチャが使用された。
【００８９】
この実施形態の例について、より詳細にこの方法の実施を考察する。入力画像は、ｉおよびｊ座標を有する画素がｌｉ，ｊ，１に等しいＲコンポーネントの値を有するように、３次元マトリクスＩの形式のＲＧＢフォーマットで来る。Ｇコンポーネントの値は、Ｉｉ，ｊ，２に等しく、Ｂ−Ｉｉ，ｊ，２の値、即ち、このマトリクスの最初の２次元が幾何学座標を担当し、３つめが色座標を担当する。幾何学座標によるバイリニア補間を用いて、このマトリクスは、高さ１２８画素および幅４８画素の大きさまで減少される。新たなマトリクスが４８画素に等しい同一の高さおよび幅を有するように、３つのサブマトリクスが、取得されたマトリクスから抽出され、取得されたマトリクスの上限境界の垂直座標が、１、４１、および８１にそれぞれ等しい。取得されたサブマトリクスのそれぞれが、この部分（各部分が、学習用のそれ自体のニューラル・ネットワークを有する）についての深層ニューラル・ネットワークの第１のレイヤの入力に与えられる。それによって、レイヤが畳み込みであり、サイズが７×７×６４の畳み込みコアを有し、したがって、サブマトリクス毎に、サイズが４８×４８×６４の属性のマップ（３次元マトリクス）が出力において生成される。次に、各深層ニューラル・ネットワークにおいて起こることを見る。取得された属性のマップについて、空間プーリングが、２画素に等しいステップを用いて実行され、結果が、サイズ２４×２４×６４の属性のマップである。属性マップの非線形変換が実行され、それは、全ての負の値をゼロにリセットする。取得された結果は、サイズが５×５×６４の畳み込みコアを用いて、深層ニューラル・ネットワークの畳み込みレイヤの入力に適用され、結果は、サイズ２４×２４×６４の属性マップ、および２のステップを有するプーリングである。これは、サイズが１２×１２×６４の属性マップを結果としてもたらす。したがって、各ニューラル・ネットワークから３つの属性マップを取得した。これらのマップは、完全接続されたレイヤを用いて５００要素の長さを有する元の画像の深層表現の単一ベクトルに結合される。そこにおいて、出力ベクトルの各要素は、各部分の属性マップの各要素にリンク付けされる。その後、Ｌ２正規化が実行される。クラスのマークととともに入力画像の取得された深層表現が、深層表現間のコサイン類似度の計算を通して、全ての可能性のあるペアについて類似度を判断するために使用される。次いで、ポジティブ・ペアおよびネガティブ・ペアの類似度の確率分布が、ヒストグラムを用いてクラスのマークに基づいて形成される。取得された分布は、提案された損失関数を計算するために使用され、次いで、導出された損失のバック・プロパゲーションが、ニューラル・ネットワーク・パラメータを調整するために実行される。全てのベースにおいて深層ニューラル・ネットワーク学習のプロセスが、選択された損失関数によってのみ異なっていた。二項損失関数を用いた学習が、ネガティブ・ペア：ｃ＝１０およびｃ＝２５についての２つの損失の値を用いて実行された。
【００９０】
ランクК（Ｒｅｃａｌｌ＠Ｋ）の完全性係数の結果が、ベースＣＵＢ−２００−２０１１についての図２、ベースオンライン製品についての図３、ベースＣＨＵＮＫ０３についての図４、およびベースＭａｒｋｅｔ−１５０１についての図５において与えられる。ベースＣＵＢ−２００−２０１１およびオンライン製品についての図から、提案された損失関数は、二項分布逸脱に基づく損失関数よりもわずかに劣っているが、他の損失関数よりは優れている。ベースＣＨＵＮＫ０３およびＭａｒｋｅｔ−１５０１の場合、提案された損失関数によって、最良の結果を達成することが可能となる。ベースＣＵＢ−２００−２１１の場合、実験は、最終精度に対するヒストグラム・ビン値の影響を評価するために行われ、その結果が図６に示されている。この図から、提案された損失関数におけるヒストグラム・ビン・サイズの選択は、取得されたモデルの精度に対していかなる影響も及ぼさないことが分かる。図５は、ヒストグラムに基づく提案された損失関数（位置１）、二項分布逸脱（位置２）、および構造類似性（位置３）を使用した際の、ベースＣＨＵＮＫ０３を用いたポジティブ・ペア（白）およびネガティブ・ペア（グレー）の類似性の分布のヒストグラムを示す。これらの図から、提案された損失関数が、ポジティブ・ペアおよびネガティブ・ペアの類似性の分布の間に最小交差をもたらすことが分かり、それは、宣言された技術的結果が達成されたことを明らかに示している。
【００９１】
参考文献の一覧
１．Ｒｕｍｅｌｈａｒｔ  Ｄ．ｅ．，Ｈｉｎｔｏｎ  ｇ．ｅ．，Ｗｉｌｌｉａｍｓ  Ｒ．Ｊ．，Ｌｅａｒｎｉｎｇ  Ｉｎｔｅｒｎａｌ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｂｙ  Ｅｒｒｏｒ  Ｐｒｏｐａｇａｔｉｏｎ．Ｉｎ：Ｐａｒａｌｌｅｌ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１，ｐｐ．３１８−３６２、Ｃａｍｂｒｉｄｇｅ、ＭＡ、ＭＩＴ  Ｐｒｅｓｓ  １９８６
２．Ｙｉ、  Ｄｏｎｇ，Ｚｈｅｎ  Ｌｅｉ，およびＳｔａｎ  ｚ．Ｌｉ．“Ｄｅｅｐ  ｍｅｔｒｉｃ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｐｒａｃｔｉｃａｌ  ｐｅｒｓｏｎ  ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ．”  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１４０７．４９７９  （２０１４）
３．Ｈ．Ｏ．Ｓｏｎｇ，Ｙ．Ｘｉａｎｇ，ｓ．Ｊｅｇｅｌｋａ，およびｓ．Ｓａｖａｒｅｓｅ  Ｄｅｅｐ  ｍｅｔｒｉｃ  ｌｅａｒｎｉｎｇ  ｖｉａ  ｌｉｆｔｅｄ  ｓｔｒｕｃｔｕｒｅｄ  ｆｅａｔｕｒｅ  ｅｍｂｅｄｄｉｎｇ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），２０１６
４．Ｃ．Ｗａｈ，ｓ．Ｂｒａｎｓｏｎ，Ｐ．Ｗｅｌｉｎｄｅｒ，Ｐ．Ｐｅｒｏｎａ，ａｎｄ  ｓ．Ｂｅｌｏｎｇｉｅ．Ｔｈｅ  Ｃａｌｔｅｃｈ−ＵＣＳＤ  Ｂｉｒｄｓ−２００−２０１１  Ｄａｔａｓｅｔ．（ＣＮＳ−ＴＲ−２０１１−００１），２０１１．
５．Ｗ．Ｌｉ，Ｒ．Ｚｈａｏ，Ｔ．Ｘｉａｏ，およびＸ．Ｗａｎｇ．Ｄｅｅｐｒｅｉｄ：Ｄｅｅｐ  ｆｉｌｔｅｒ  ｐａｉｒｉｎｇ  ＮＥＵＲＡＬ  ｎｅｔｗｏｒｋ  ｆｏｒ  ｐｅｒｓｏｎ  ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ．２０１４  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ  ２０１４，Ｃｏｌｕｍｂｕｓ，ＯＨ，ＵＳＡ，Ｊｕｎｅ  ２３−２８，２０１４，ｐｐ．１５２−１５９，２０１４
６．Ｌ．Ｚｈｅｎｇ，Ｌ．Ｓｈｅｎ，Ｌ．Ｔｉａｎ，ｓ．Ｗａｎｇ，Ｊ．Ｗａｎｇ，およびＱ．Ｔｉａｎ．Ｓｃａｌａｂｌｅ  ｐｅｒｓｏｎ  ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ：ａ  ｂｅｎｃｈｍａｒｋ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，２０１５
７．Ｓ．Ｃｈｏｐｒａ，Ｒ．Ｈａｄｓｅｌｌ，およびＹ．ＬｅＣｕｎ，Ｌｅａｒｎｉｎｇ  ａ  ｓｉｍｉｌａｒｉｔｙ  ｍｅｔｒｉｃ  ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ，ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｆａｃｅ  ｖｅｒｉｆｉｃａｔｉｏｎ．２００５  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ  ２００５），２０−２６  Ｊｕｎｅ  ２００５，Ｓａｎ  Ｄｉｅｇｏ，ＣＡ，ＵＳＡ，ｐｐ．５３９−５４６，２００５
８．Ｗｅｉｎｂｅｒｇｅｒ，Ｋｉｌｉａｎ  Ｑ．，およびＬａｗｒｅｎｃｅ  Ｋ．Ｓａｕｌ．”Ｄｉｓｔａｎｃｅ  ｍｅｔｒｉｃ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｌａｒｇｅ  ｍａｒｇｉｎ  ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ．”  Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ  １０．Ｆｅｂ  （２００９）：２０７−２４４．
【図１】
2020504891.tif 000019
【図２】
2020504891.tif 000020
【図３】
2020504891.tif 000021
【図４】
2020504891.tif 000022
【図５】
2020504891.tif 000023
【図６】
2020504891.tif 000024
【図７】
2020504891.tif 000025
【国際調査報告】
2020504891.tif 000026
2020504891.tif 000027