(57)【特許請求の範囲】
【請求項１】
物体の画像を深層学習及び分類するための方法であって、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、を含み、
粗タイプｊの各グラフは、２値関連性行列
【数１】
0006600009.tif 000021
における２部構造の符号化を含み、ｉ番目のファイングレインラベルが粗ラベルｃｊと結合される場合、その要素は、
【数２】
0006600009.tif 000022
である、方法。
【請求項２】
物体の画像を深層学習及び分類するための方法であって、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、
ｋ個のファイングレインクラスのスコア
【数３】
0006600009.tif 000023
を作成することと、
タイプｊのｋｊ個の粗クラスのスコア
【数４】
0006600009.tif 000024
を作成することと、
最終段の全結合層Ｗを、ｍ個の追加変数
【数５】
0006600009.tif 000025
で増加させることと、
ｉ番目の詳細クラスの入力画像ｘを用いて、ｍ個の粗ラベル
【数６】
0006600009.tif 000026
と共に、ＢＧＬの結合確率を
【数７】
0006600009.tif 000027
としてモデル化することと、を含み、
ｚは、
【数８】
0006600009.tif 000028
で計算される分配関数である、方法。
【請求項３】
物体の画像を深層学習及び分類するための方法であって、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、
バックプロパゲーションをミニ・バッチ確率的勾配降下法と共に用いて、前記ＢＧＬを最適化することと、
各パラメータの勾配を閉形式で決定することと、を含む、方法。
【請求項４】
物体の画像を深層学習及び分類するための方法であって、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、
条件付き確率場（ＣＲＦ）において２部グラフ構造をモデル化することと、
ＣＮＮにおいて下位レベルの特徴と上位レベルの接続とを最適化することと、を含む、方法。
【請求項５】
物体の画像を深層学習及び分類するための方法であって、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、
前記ＣＮＮにおいて、ファイングレイン物体認識のための２部グラフラベルを生成することと、
条件付き確率場（ＣＲＦ）において２部グラフ構造をモデル化することと、
ＣＮＮにおいて、下位レベルの特徴と上位レベルの接続とを最適化することと、を含む、方法。
【請求項６】
階層様式で前記ファイングレインラベルと属性との関係をモデル化することを含む、請求項１から５のいずれか１項に記載の方法。
【請求項７】
予め定義された粗クラスを伴うファイングレインクラスのモデル化に、ＢＧＬを適用することを含む、請求項１から５のいずれか１項に記載の方法。
【請求項８】
ファイングレインクラスを粗クラスとしてグループ化することを含む、請求項７に記載の方法。
【請求項９】
各タイプｊがｋｊ個の粗クラスを含む、ｍ個の粗クラスタイプを備え、ＢＧＬは、それらとｋ個のファイングレインクラスの関係を、星型構造でグループ化されるｍ個の２部グラフとしてモデル化する、請求項１から５のいずれか１項に記載の方法。
【請求項１０】
前記物体が完成品を含み、２部グラフにおいて、ファイングレインラベルと前記完成品の材料との間のラベル構造をモデル化することをさらに含む、請求項１から５のいずれか１項に記載の方法。
【請求項１１】
前記完成品に食品を含む、請求項１０に記載の方法。
【請求項１２】
食品タイプ及びレストランの情報源を分類することを含む、請求項１から５のいずれか１項に記載の方法。
【請求項１３】
物体の画像を深層学習及び分類するためのシステムであって、
プロセッサと、
前記物体の画像を取り込む、前記プロセッサに接続された画像センサと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化する、ソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）と、
前記ＣＮＮに接続されたコンピュータで読み取り可能なモジュールと、
を有し、
前記コンピュータで読み取り可能なモジュールは、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、
を行うためのものであり、
粗タイプｊの各グラフは、２値関連性行列
【数９】
0006600009.tif 000029
における２部構造の符号化を含み、ｉ番目のファイングレインラベルが粗ラベルｃｊと結合される場合、その要素は、
【数１０】
0006600009.tif 000030
である、システム。
【請求項１４】
物体の画像を深層学習及び分類するためのシステムであって、
プロセッサと、
前記物体の画像を取り込む、前記プロセッサに接続された画像センサと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化する、ソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）と、
前記ＣＮＮに接続されたコンピュータで読み取り可能なモジュールと、
を有し、
前記コンピュータで読み取り可能なモジュールは、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、
ｋ個のファイングレインクラスのスコア
【数１１】
0006600009.tif 000031
を作成することと、
タイプｊのｋｊ個の粗クラスのスコア
【数１２】
0006600009.tif 000032
を作成することと、
最終段の全結合層Ｗを、ｍ個の追加変数
【数１３】
0006600009.tif 000033
で増加させることと、
ｉ番目の詳細クラスの入力画像ｘを用いて、ｍ個の粗ラベル
【数１４】
0006600009.tif 000034
と共に、ＢＧＬの結合確率を
【数１５】
0006600009.tif 000035
としてモデル化することと、
を行うためのものであり、
ｚは、
【数１６】
0006600009.tif 000036
で計算される分配関数である、システム。
【請求項１５】
物体の画像を深層学習及び分類するためのシステムであって、
プロセッサと、
前記物体の画像を取り込む、前記プロセッサに接続された画像センサと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化する、ソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）と、
前記ＣＮＮに接続されたコンピュータで読み取り可能なモジュールと、
を有し、
前記コンピュータで読み取り可能なモジュールは、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、
バックプロパゲーションをミニ・バッチ確率的勾配降下法と共に用いて、前記ＢＧＬを最適化することと、
各パラメータの勾配を閉形式で決定することと、
を行うためのものである、システム。
【請求項１６】
物体の画像を深層学習及び分類するためのシステムであって、
プロセッサと、
前記物体の画像を取り込む、前記プロセッサに接続された画像センサと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化する、ソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）と、
前記ＣＮＮに接続されたコンピュータで読み取り可能なモジュールと、
を有し、
前記コンピュータで読み取り可能なモジュールは、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、
条件付き確率場（ＣＲＦ）において２部グラフ構造をモデル化することと、
ＣＮＮにおいて下位レベルの特徴と上位レベルの接続とを最適化することと、
を行うためのものである、システム。
【請求項１７】
物体の画像を深層学習及び分類するためのシステムであって、
プロセッサと、
前記物体の画像を取り込む、前記プロセッサに接続された画像センサと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化する、ソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）と、
前記ＣＮＮに接続されたコンピュータで読み取り可能なモジュールと、
を有し、
前記コンピュータで読み取り可能なモジュールは、
前記物体の画像を訓練または前記物体の分類のために受信することと、
前記物体のファイングレインラベルを生成することと、
２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供することと、
前記ＣＮＮをグローバルバックプロパゲーションで最適化することと、
前記ＣＮＮにおいて、ファイングレイン物体認識のための２部グラフラベルを生成することと、
条件付き確率場（ＣＲＦ）において、２部グラフ構造をモデル化することと、
前記ＣＮＮにおいて、下位レベルの特徴と上位レベルの接続とを最適化することと、を行うためのものである、システム。
【請求項１８】
前記コンピュータで読み取り可能なモジュールは、
階層様式で前記ファイングレインラベルと属性との関係をモデル化することをさらに行うためものである、請求項１３から１７のいずれか１項に記載のシステム。
【請求項１９】
前記コンピュータで読み取り可能なモジュールは、
ＢＧＬを適用して、予め定義された粗クラスを伴うファイングレインクラスをモデル化することをさらに行うためものである、請求項１３から１７のいずれか１項に記載のシステム。
【請求項２０】
前記コンピュータで読み取り可能なモジュールは、
ｋ個のファイングレインクラスのスコア
【数１７】
0006600009.tif 000037
を作成することと、
タイプｊのｋｊ個の粗クラスのスコア
【数１８】
0006600009.tif 000038
を作成することと、
最終段の全結合層Ｗを、ｍ個の追加変数
【数１９】
0006600009.tif 000039
で増加させることと、
ｉ番目の詳細クラスの入力画像ｘを用いて、ｍ個の粗ラベル
【数２０】
0006600009.tif 000040
と共に、ＢＧＬの結合確率を
【数２１】
0006600009.tif 000041
としてモデル化することと、をさらに行うためものである、請求項１３から１７のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１５年４月１７日に出願された米国特許仮出願第６２／１４８７８８号及び２０１５年１１月５日に出願された米国特許仮出願第６２／２５１４２５号を基礎とし、その開示の全てをここに取り込む。
【０００２】
本システムは実在する物理的な物体（object）のファイングレイン（fine-grained）画像分類に関する。
【背景技術】
【０００３】
実在する画像からの物体の認識は、スマートカー、セキュリティ、物理的な構造物及び商品に関する学習等、多くのアプリケーションで用いる重要なタスクである。ファイングレイン画像分類は、類似するクラスのわずかな差異を識別する必要がある。したがって、既存のアプローチの多くは、ファイングレイン領域において、特徴的な物体の部位（parts）をローカライズして、記述することに重点的に取り組んできている。例えば、鳥類の認識には、２Ｄまたは３Ｄ幾何学と組み合わせた、様々なポーズ正規化プーリング（pose normalization pooling）法が選ばれている。これらのアプローチの主な難点は、画像ラベル（image labels）よりも部分注釈（part annotations）を収集するのがより困難であるということである。その代わりに、教師なし（unsupervised）または半教師あり（semi-supervised）法において、物体の部位を見出すことを目的とする様々な方法が開発されている。
【０００４】
認識のための望ましい特徴をもたらすため、別の著名な目標は、初期ステップとして検出及びセグメンテーション方法（detection and segmentation methods）を採用し、バックグラウンドにおいてノイズ及びクラッタを除去することである。しかしながら、セグメンテーションは計算コストが高いことが多いため、セグメンテーションを介した望ましい特徴は、常に計算上のコストを伴うことになる。
【０００５】
既存の多くの研究は、シングルラベル分類問題（single-label classification problem）に重点的に取り組んでいるが、実在する画像はタグまたは属性のような多数のラベルで記述する方がより自然である。ラベル構造を前提とすると、構造的なラベル学習に関する従来の研究は、相対的または階層的な属性の２値の学習として、大まかに分類できる。
【０００６】
多くの先行する研究では、画像内に特定の特徴が存在するか否かを示す２値属性の学習に重点的に取り組んできている。例えば、先の研究では、顔認証、テクスチャ認識、衣類検索及びゼロショット学習のために、２値属性を学習することの有益性を示している。しかしながら、２値属性は、特定の物体特性の記述が、連続的または不明瞭であるときに限界がある。
【０００７】
２値属性の限界に対処するために、近年、属性を比較することに注目が集まっている。相対的−属性アプローチは、各属性についてグローバル線形ランキング関数を学習し、物体を記述及び比較するために、意味論的（semantically）に豊富な手法を提供する。これは前途有望ではあるが、属性のグローバルランキングは、ファイングレイン画像の比較に直面したときに失敗する傾向がある。ある既存のシステムは、比較をデータの近隣の統計値に合わせるローカル関数の学習を提供する。ベイズ戦略は、画像が与えられた属性を区別できないときに推測できる。
【発明の概要】
【０００８】
一態様において、物体の画像を訓練または該物体の分類のために受信し、該物体のファイングレインラベルを生成し、２部グラフラベル（ＢＧＬ）を明示的にモデル化するため、物体画像をソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に提供し、該ＣＮＮをグローバルバックプロパゲーションで最適化することで、物体の画像を深層学習及び分類するためのシステム及び方法が開示される。
【０００９】
本システムの利点は、以下の１つまたは複数を含む。本方法は、多くのベンチマークデータセットにおいて、最高水準の精度を達成した。本方法は、超大規模データセットに対処できるほどに効率的である。重要な違いは、ラベルの２部構造を用いることである。本システムは、以下の３つのメリットを有する。（１）より正確なモデルを学習するためにラベルどうしに本来備わっている下部構造を活用する。（２）ＣＮＮにおける過学習（overfitting）問題を抑制するために学習プロセスを正則化する。（３）２部構造のおかげで、推論において計算効率が良好である。様々な試験において、本システムは、人でも認識することが困難な、自動車（例えば、ホンダアコード２０１２）及び食品（特定のレストランで作られた麻婆豆腐等）のインスタンスレベルの下位（sub-ordinate）のカテゴリを、実在する画像から予測できる。ラベル構造の調査に関する異なる目標に着目すると、本発明者らの方法は性能をさらに改善するために他の方法と組み合わされる可能性がある。
【図面の簡単な説明】
【００１０】
【図１】図１は、３つの超ファイングレインクラスを図示している。
【図２】図２は、出力層の比較例を示し、同図（ａ）はソフトマックス（ＳＭ）を示し、同図（ｂ）は１つの特徴を有するＢＧＬ（ＢＧＬｌ）を示し、同図（ｃ）は複数の特徴を有するＢＧＬ（ＢＧＬｍ）を示している。
【図３】図３は、特定の供給元レストランの食品を検出するシステムの一例を示している。
【図４】図４は、２部グラフラベルを用いたＣＮＮの一例を示している。
【図５Ａ】図５Ａは、異なるベースラインを用いた好ましいＢＧＬシステムの比較例を示している。
【図５Ｂ】図５Ｂは、異なるベースラインを用いた好ましいＢＧＬシステムの比較例を示している。
【図５Ｃ】図５Ｃは、異なるベースラインを用いた好ましいＢＧＬシステムの比較例を示している。
【図５Ｄ】図５Ｄは、異なるベースラインを用いた好ましいＢＧＬシステムの比較例を示している。
【図５Ｅ】図５Ｅは、異なるベースラインを用いた好ましいＢＧＬシステムの比較例を示している。
【図５Ｆ】図５Ｆは、異なるベースラインを用いた好ましいＢＧＬシステムの比較例を示している。
【図６】図６は、２部グラフラベルを用いたＣＮＮを実行するシステムの一例を示している
【発明を実施するための形態】
【００１１】
図１．３つの超ファイングレインクラス（真ん中）、レストランＡの麻婆豆腐、レストランＢのソルトペッパー豆腐及びレストランＢの麻婆豆腐の図。これらの関係は、ファイングレインクラス対一般的な料理（左）及びファイングレインクラス対２つの材料（右）を含む、３つの２部グラフでモデル化できる。本システムは、認識精度を向上させるため、豊富な２部グラフラベル（ＢＧＬ）を畳み込みニューラルネットワークの訓練に組み込む。好ましいＢＧＬ法は、例えばＡｌｅｘＮｅｔ，ＧｏｏｇＬｅＮｅｔ、ＶＧＧＮｅｔのような、有名なほとんどのアーキテクチャと互換性があるコモンマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）フレームワークで用いられる。本アプローチは、ＢＧＬを明示的（explicitly）にモデル化するために、それらのソフトマックス層及び最終段の全結合層（fully connected layer）を修正する。結果として生じたＣＮＮは、グローバルバックプロパゲーション（global back propagation）によって最適化される。
【００１２】
以下において、太字の大文字は行列Ｘを表し、太字の小文字は列ベクトルｘを表す。太字でない文字は全てスカラーを表す。ｘｉは、行列Ｘのｉ番目の列を表す。ｘｉｊは、行列Ｘのｉ番目の行及びｊ番目の列のスカラーを意味する。ｌ［ｉ＝ｊ］は、指示関数（indicator function）であり、その値は、ｉ＝ｊである場合は１であり、そうでない場合は０である。本システムは、訓練のためにｎ個の画像Ｘ＝｛（ｘ，ｙ），…｝のセットを受信する。各画像ｘには、ｋ個のファイングレインラベル、ｙ＝１，…，ｋのうちの１つを用いて注釈が施される。一実施態様において、ｘ∈Ｒｄは、最終段の全結合層の入力特徴を表し、それは、パラメータＷ∈Ｒｄ×ｋで定義される線形関数ｆ＝ＷＴｘを用いてｋ個のスコアｆ∈Ｒｋを生成する。すなわち、ＣＮＮの最終層は、全ての訓練データにおける負の対数尤度を最小化するものである。
【００１３】
【数１】
0006600009.tif 000002
【００１４】
ここで、ソフトマックススコア
【００１５】
【数２】
0006600009.tif 000003
【００１６】
は、ファイングレインクラスとして分類された画像の事後確率（posterior probability）をエンコード（encode）する。
【００１７】
ここ数年、ベースクラス認識では大きな改善が達成されたにもかかわらず、図１で例示するような超ファイングラニュラリティ（ultra-fine granularity）において物体のクラスを認識することは、主として２つの理由から依然として難易度が高い。第一に、一般的な認識タスクと違って、超ファイングラニュラリティのラベル量は限られていることが多い。そのため、大容量ＣＮＮモデルの訓練は、過学習をとなる傾向が大きい。第二に、大きなクラス内差異の存在下において、類似するファイングレインクラスを識別する特有の特徴を学習することは難しい。
【００１８】
これらの問題を解決するため、本発明者らは、ファイングレインクラスを予め定義された粗（coarse）クラスと共にモデル化するために、２部グラフラベル（ＢＧＬ）を用いる。一般的に言えば、粗クラスの選択は、ファイングレインクラスの任意のグルーピングとなり得る。典型的な例では、より大きなクラス、属性またはタグが含まれる。例えば、図１は、豆腐料理（真ん中）のファイングレイン上で定義された３つの粗クラスのタイプを示している。第１のケース（図１のグラフ１）では、粗クラスは、レストランタグを無視した２つの一般的な豆腐食品クラスである。第２及び第３のケース（図１のグラフ２及び３）では、粗クラスは、料理における一部の材料の存在に応じた２値属性である。ファイングレインラベル上でのみに定義されたオリジナルのソフトマックス損失（式３．１）と比較すると、ＢＧＬに粗クラスを導入することは、３つの利点を有する。（１）新しい粗クラスは、同じ粗クラスに接続されるファイングレインクラスと互いに訓練データを共有できるような、追加の教師あり情報をもたらす。（２）全てのファイングレインクラスは、粗クラスとの接続に応じて暗黙にランク付けされる。例えば、トヨタカムリ２０１４とトヨタカムリ２０１５は、ホンダアコード２０１５と比較してより類似している。この階層ランキング（hierarchical ranking）は、ファイングレインクラスどうしの微妙な差異を捉えるため、より多くの特有の特徴を学習するためのＣＮＮ訓練を導く。（３）獲得するのにコストが高い画像レベルのラベル（画像属性、境界ボックス、セグメンテーションマスク）と比較すると、ファイングレインラベル全体に粗クラスを定義する方が比較的安価であり、より自然である。この事実は、現実のシナリオにおいてボード適用性（board applicability）をＢＧＬに与える。
【００１９】
各タイプｊがｋｊ個の粗クラスを含む、ｍ個のタイプの粗クラスが与えられると、ＢＧＬは、ｋ個のファイングレインクラスの関係を、星型構造でグループ化されたｍ個の２部グラフとしてモデル化する。図１で示す例では、３タイプの粗クラスが、ファイングレインの豆腐料理で個別の３つの２部グラフを形成し、３タイプの粗クラスどうしでは直接結合が存在しない。粗タイプｊの各グラフに関し、本発明者らは２値関連性行列（binary association matrix）
【００２０】
【数３】
0006600009.tif 000004
【００２１】
において、その２部構造を符号化する。その要素は、ｉ番目の詳細ラベルが粗ラベルｃｊと結合される場合、
【００２２】
【数４】
0006600009.tif 000005
【００２３】
である。後で明らかになるように、この２部グラフの星型構成は、他の一般的なラベルグラフを用いることとは対照的に、ＢＧＬの正確な推論の実施を可能にする。
【００２４】
タイプｊの粗クラスのスコア
ｆｊ＝ＷｊＴｘ∈Ｒｋｊ
を作成するため、本発明者らは最終段の全結合層をｍ個の追加変数｛Ｗｊ｝ｊで増加させる。ここで、
Ｗｊ∈Ｒｄ×ｋｊ
である。ｉ番目のファイングレインクラスの入力画像をｘとすると、ＢＧＬの結合確率を、任意のｍ個の粗ラベル｛ｃｊ｝ｊと共に
【００２５】
【数５】
0006600009.tif 000006
【００２６】
としてモデル化する。ここで、ｚは、
【００２７】
【数６】
0006600009.tif 000007
【００２８】
で計算される分配関数である。
【００２９】
一見したところ、ｚを計算するのは、実際には実行不可能である。しかしながら、ラベルグラフの２部構造により、本発明者らは、Ｇｊのｉ番目の行の非ゼロ要素を
【００３０】
【数７】
0006600009.tif 000008
【００３１】
で表すことができた。ここで、
【００３２】
【数８】
0006600009.tif 000009
【００３３】
である。この補助関数を用いると、ｚの計算は、
【００３４】
【数９】
0006600009.tif 000010
【００３５】
で簡略化できる。
【００３６】
ｚが与えられると、ファイングレインラベル及び粗ラベル全体の周辺事後確率（marginal posterior probability）は、
【００３７】
【数１０】
0006600009.tif 000011
【００３８】
で計算できる。
【００３９】
前述したように、ＣＮＮの訓練の難しさの１つは、過学習になる可能性である。１つの一般的な解決策は、ガウスプライア（Gaussian prior）からＷ列をサンプル抽出することに等しい、ｌ２重み減衰項（weight decay term）を追加することである。ファイングレインクラスと粗クラスとの接続が与えられると、ＢＧＬは、重み
【００４０】
【数１１】
0006600009.tif 000012
【００４１】
をサンプル抽出するための他の自然な階層プライア（hierarchical prior）を提供する。
【００４２】
このプライアでは、ｉ番目のファイングレインラベルがタイプｊの粗クラスｃｊに接続されるとき、ｗｉと
【００４３】
【数１２】
0006600009.tif 000013
【００４４】
がわずかな距離（small distance）を有すると見込まれる。ＢＧＬは、多属性（multiple attribute）等の一般的な粗ラベルを取り扱うことができる。
【００４５】
要約すれば、訓練データＸ及び｛Ｇｊ｝ｊで定義されるグラフラベルを与えられると、ＢＧＬを伴うＣＮＮの最終段の層は、重み全体の適切な正則化と共に結合負対数尤度（joint negative log-likelihood）の最小化
【００４６】
【数１３】
0006600009.tif 000014
【００４７】
を目指す。
【００４８】
図２ａ〜２ｃは、（ａ）ソフトマックス（ＳＭ）、（ｂ）１つの特徴を備えたＢＧＬ（ＢＧＬ）、（ｃ）複数の特徴を備えたＢＧＬ（ＢＧＬ）等の出力層の様々な比較例を示している。一実装形態において、本発明者らは、標準バックプロパゲーション（standard back-propagation）と共にミニ・バッチ確率的勾配降下法（mini-batch stochastic gradient descent）を用いてＢＧＬを最適化した。各パラメータの勾配は、全て閉形式
【００４９】
【数１４】
0006600009.tif 000015
【００５０】
で計算できる。
【００５１】
本システムは、一実装形態において以下を実装する。（１）ｐｉ及び
【００５２】
【数１５】
0006600009.tif 000016
【００５３】
を独立して求めることで
【００５４】
【数１６】
0006600009.tif 000017
【００５５】
を計算することは、
【００５６】
【数１７】
0006600009.tif 000018
【００５７】
が非常に小さい場合があるため、数値的に安定しない。最初に２つの項を同時に正規化するのがよい。（２）式３．３を直接計算することは、粗クラスの数について２次の複雑性（quadratic complexity）を有する。しかしながら、ほとんどの計算は冗長であるため、それは１次（linear）に低減できる。（３）本発明者らは、同じ特徴ｘをファイングレインｆ＝ＷＴｘ及び粗スコア
【００５８】
【数１８】
0006600009.tif 000019
【００５９】
の両方の計算に用いると見なす。実際、ＢＧＬは、図２ｃで示すように、複数のＣＮＮを組み合わせることができる。これは、モデルに、粗ラベル
【００６０】
【数１９】
0006600009.tif 000020
【００６１】
が異なる下位レベルの特徴ｘｊを学習できるようにする。
【００６２】
図３は、特定のレストランの情報源から食品を検出するシステムの一例を示している。本システムは、訓練または物体の分類のために該物体の画像を受信し、該物体のファイングレインラベルを生成し、２部グラフラベル（ＢＧＬ）を明示的にモデル化するために、ソフトマックス層及び最終段に全結合層を有するマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に物体画像を提供し、ＣＮＮをグローバルバックプロパゲーションで最適化する、物体の画像を深層学習及び分類するのに適している。一実施態様において、本システムは、ＣＮＮにおいてファイングレイン物体認識のための２部グラフラベルを生成し、条件付き確率場（conditional random fields:ＣＲＦ）において２部グラフ構造をモデル化し、ＣＮＮにおいて下位レベルの特徴と上位レベルの接続とを最適化することを含む。
【００６３】
図４は、市販のＣａｆｆｅプラットフォームを備えるＢＧＬの一実施例を示している。本システムは、３つの有名なＣＮＮフレームワークである、ＡｌｅｘＮｅｔ（ＡＮ）、ＧｏｏｇＬｅＮｅｔ（ＧＮ）及びＶＧＧＮｅｔ（ＶＧＧ）上で試験される。それらに関して、本発明者らは、従来のソフトマックス損失を伴うＳＭ、好ましいＢＧＬアプローチとしてソフトマックス層及び最終段の全結合層を修正したＢＧＬｌ、並びにファイングレインクラス及び粗クラスについて異なる特徴を生成する多数のネットワークを組み合わせたＢＧＬｍ、の３つの設定をそれぞれ比較した。
【００６４】
要するに、好ましいＢＧＬは、非常に難易度が高い超ファイングレインタスクにおいて豊かなクラス関係性を利用する。ＢＧＬは、２部グラフラベルを介してファイングレインラベルを粗ラベルと共にモデル化することで従来のソフトマックスロスを改善する。特別な２部構造を用いることは、推論においてＢＧＬが効率的になることを可能にする。本発明者らは、超ファイングレイン食品認識ベンチマークデータセット、Ｆｏｏｄ−９７５にも貢献する。本発明者らは、好ましいＢＧＬアプローチが、様々なデータセットに関して従来の研究よりも改善することを示す。
【００６５】
本発明者らのモデルは、単一のＮＶＩＤＩＡ  Ｋ４０  ＧＰＵ上で１００エポック訓練された。本発明者らは、Ｃａｆｆｅで用いるようなデフォルトのハイパーパラメータを採用した。全ての実験において、本発明者らは、予め訓練されたＩｍａｇｅＮｅｔモデルから微調整した。本発明者らは、訓練中、画像を固定の２５６×２５６の解像度にダウンサンプリング（down-sample）し、そこから訓練のために２２４×２２４のパッチをランダムにクロップ（crop）した。本発明者らは、また、さらなるデータ増大のために画像の水平反射（horizontal reflection）を行った。試験中、本発明者らは、（１）試験画像の中央２２４×２２４パッチをクロップするシングルビュー（ＳＶ）、並びに（２）中央、四隅及びそれらの左右反転バージョン（mirrored version）を平均化するマルチビュー（ＭＶ）の２つのクロップ法を用いて、Ｔｏｐ−１  Ａｃｃｕｒａｃｙを評価した。最初の３つのデータセットにおいて、本発明者らは、訓練及び試験の両方にて物体をクロップアウトするための、グラウンドトゥルース境界ボックスを使用しない（ｗ／ｏ．  ＢＢｏｘ）及び使用する（ｗ／．  ＢＢｏｘ）の２つのプロトコルを用いて、本発明者らの方法を評価した。
【００６６】
第１の実験は、１９６種の自動車カテゴリの１６１８５枚の画像を含むスタンフォード自動車データセットに関して、本発明者らのアプローチを検証する。本発明者らは、８１４４枚の画像を訓練用とし、残りを試験用にデータを分ける、５０対５０分割を採用した。各カテゴリは、通常、アウディＡ５クーペ１２のように、製造業者、モデル及び年のレベルにある。本発明者らは、各ファイングレインラベルを９つの粗ボディタイプのうちの１つに手作業で割り当てた。本発明者らのＶＧＧ−ＢＧＬｍ法は、教師なし法において、部分情報を活用した１つを除く、従来の全ての研究よりも勝っている。ＢＧＬは、粗ラベルを予測することの利点を有する。例えば、ＧＮ−ＢＧＬｍは、自動車画像のタイプ予測において９５．７％の成功を収めた。
【００６７】
第２の実験では、本発明者らは、ファイングレイン認識において最も競合するデータセットであると一般的に考えられる、ＣＵＢ−２００−２０１１にて本発明者らの方法を試験した。ＣＵＢ−２００−２０１１は、２００種の鳥類の１１７８８枚の画像を含む。本発明者らは、与えられた訓練／試験分割を用いて、分類の精度について結果を報告した。ラベルの階層を得るため、本発明者らは、データセットと関連付けられた、注釈付きの３１２の視覚的属性を採用した。これらの属性は、２８のグループに分割され、それぞれが約１０の選択肢を有する。与えられた確信度スコア（confidence score）に従って、本発明者らは、各鳥類について最も確信が持てる選択肢を各属性グループに割り当てた。実験より、本発明者らは、ＢＧＬモジュールを用いることが、ＡＮ−ＳＭ、ＧＮ−ＳＭ及びＧＧ−ＳＭを確実に改善することを観察した。姿勢を整列させるどのような手順がなくても、本発明者らの方法であるＧＮ−ＢＧＬｍは、境界ボックスを使用せずに７６．９％の成功を取得し、近年のｐａｒｔ−ｂａｓｅｄ法を３％改善した。さらに、ＧＮ−ＢＧＬｍは、羽の色及び形状の属性の予測に関して、８９．３％及び９３．３％の精度を達成した。しかしながら、本発明者らの方法は、鳥類認識のために部分情報を調査することで著しい優位性を示す最新の方法よりは依然として性能が低い。ＢＧＬでは属性学習のために最終段の全結合層及びロス層を改善する一方、他のシステムでは物体の部分情報を畳み込み層に統合することに重点を置いている。したがって、全体の性能をさらに改善するには、これら直交する２つの成果を組み合わせることが考えられる。
【００６８】
第３の実験において、本発明者らは、１５７０２３枚の訓練画像及び７８４０枚の試験画像を含むＣａｒ−３３３データセットに関して、本発明者らの方法を試験した。Ｃａｒ−３３３の画像は、エンドユーザの写真であるため、スタンフォード自動車データセットと比べて、より自然に撮影されている。この３３３画像のラベルは、製造業者、モデル及び年範囲でそれぞれ構成される。同じモデルではあるが異なる年範囲に製造された２つの自動車は、異なるクラスと見なされる。ＢＧＬを試験するため、本発明者らは、各自動車モデルの幾何学的な形状に従って手作業で定義した１０「タイプ」の粗ラベルと、年範囲ラベルを集計することで得られる１４０モデルの粗ラベルと、の２セットの粗ラベルを作成した。各画像の境界ボックスは、最新の物体検出法であるＲｅｇｉｏｎｌｅｔｓによって生成した。
【００６９】
本発明者らは、モデルまたはタイプのいずれか一方を用いる、並びにモデル及びタイプの両方を用いる、粗ラベルの３つの組み合わせにおいて、ＢＧＬを試験した。特に、ＢＧＬは、１０のタイプラベルよりも１４０のモデル粗ラベルを用いることで、より大きな改善が得られる。これは、同じ「モデル」の自動車の画像が同じ「タイプ」の自動車の画像よりも類似しており、そのことがファイングレインクラス間のより豊かな関係を定義するからである。そうは言うものの、ＢＧＬは、３レベルのラベル階層を形成するために、「タイプ」ラベルを「モデル」ラベルの上に置くことから、依然として利益を得ることができる。最後に、ＧＮ−ＢＧＬｍは、境界ボックスを用いることなく、ＧＮ−ＳＭの性能を７９．８％から８６．４％へと著しく改善した。ＡＮ及びＶＧＧに関する成果については、補足資料を参照されたい。
【００７０】
ＧＮ−ＢＧＬは、ＧＮ−ＳＭと比較して、ロス関数層において正確な推論を実施するために非常にわずかな追加計算を必要とするだけである。これは、２部グラフにおけるモデリングラベル依存性（modeling label dependency）の効率の良さを示している。最終段の全結合（ＦＣ）層について、ＢＧＬは、フォワードパスではＧＮと全く同じ計算を実行するが、バックワードパスでは勾配（式３．３及び式３．３）を更新するための追加コストを必要とする。ロス層及び最終段のＦＣ層の両方は、パイプライン全体の非常に小さな部位のみを占めるため、本発明者らは、ＢＧＬとＧＮの合計時間の差が少ないことを発見した。
【００７１】
図５Ａ〜５Ｆは、Ｆｏｏｄ−９７５データセットに関する性能の一例を示している。図５Ａは、ファイングレイン（上）、料理（真ん中）及び材料（下）カテゴリに関する訓練画像の分布の一例をそれぞれ示している。図５Ｂは、試験画像の一例を示している。図５Ｃは、ＧＮ−ＢＧＬｍで予測された材料の一例を示している。図５Ｄは、ＧＮ−ＳＭ（上）及び好ましいＧＮ−ＢＧＬｍ（下）でそれぞれ作成された予測トップ５の一例を示している。図５Ｅは、入力特徴ｘによる類似する訓練事例を示している。図５Ｆは、食品認識の精度を示す図である。レストランから食品画像が提供されると、本システムは「どのレストランのどの料理か？」という質問に回答できる。これは、超ファイングレイン画像認識問題であり、非常に難易度が高い。そのような超ファイングラニュラリティは、クラス間の豊かな関係をもたらす。特に、異なるレストランでは、異なる材料で類似する料理を調理する場合がある。
【００７２】
本発明者らは、高品質の食品データセットを収集した。本発明者らは、６人のデータ収集者を６つのレストランに派遣した。データ収集者は、それぞれ１つのレストランを担当し、１〜２ヶ月の期間を通して担当するレストランが調理したほぼ全ての料理の写真を撮影した。最終的に、本発明者らは、訓練のために６つのレストランから９７５のメニュー品目の３２１３５枚の高解像度の食品の写真を撮影した。本発明者らは、２つの設定状態において本発明者らの方法を評価した。管理された設定状態で試験を実施するため、本発明者らは、異なる日に追加の４９５１枚の写真を撮影した。自然でリアルな状態を再現するため、本発明者らは、ｙｅｌｐ．ｃｏｍから同じレストランを訪問した客が投稿した３５１枚の画像をダウンロードした。クラス関係をモデル化するため、本発明者らは、３レベルの階層を作り出した。第１のレベルでは、本発明者らは、９７５のファイングレインラベルを有し、中間レベルでは、本発明者らは、レストランタグを集めることで７８１種の異なる料理を作りだし、最後に、本発明者らは、食品成分を正確に記述する５１の材料属性の詳しいリストを完成した。
【００７３】
与えられた食品画像について、ファイングレイン物体認識エンジンは、その食品が「どのレストランのどの料理」であるかを回答できるか？そのような超ファイングレイン画像認識は、画像によって検索するような多くの用途において重要ではあるが、訓練データの不足に対処しながらクラス間の微妙な差異を見分ける必要があるために非常に難易度が高い。幸い、超ファイングラニュラリティは、物体のクラス間の豊かな関係を自然にもたらす。本システムでは、２部グラフラベル（ＢＧＬ）を用いた豊かな関係を利用する。ＢＧＬは、畳み込みニューラルネットワーク全体においてモデル化され、結果として生じるシステムは、バックプロパゲーションを通して最適化される。本システムは、２部構造のおかげで、推論において計算効率が良好である。研究を促進するため、本発明者らは、６つのレストラン及び合計で９７５のメニューから収集した３７８８５枚の食品画像からなる新しい食品ベンチマークデータセットを構築する。この新しい食品及び他の３つのデータセットの実験結果は、ＢＧＬがファイングレイン物体認識において従来の研究を進展させることを示している。図５Ａ〜５Ｆでは、好ましいＢＧＬアプローチを異なるベースラインを用いて比較している。図５Ｅでは、管理された設定状態及び自然な設定状態の両方において、ＡＮ−ＳＭ、ＧＮ−ＳＭ及びＶＧＧ−ＳＭと本発明者らの方法とを比較している。ＢＧＬアプローチは、両方の設定状態において、ＡＮ及びＧＮよりも着実に優れていた。これは、超ファイングレイン食品認識において、ラベル依存の調査の有効性を示している。興味深いことに、料理及び材料ラベルの両方を用いることで、ＢＧＬは、それらの一方のみを用いる場合よりも非常に大きな改善が得られる。これは、料理ラベルと材料ラベルとの接続が非常に有用な情報であることを示唆している。全体的に見て、ラベル依存を調査することで、好ましいＢＧＬアプローチは、様々な訓練設定において、ＧＮベースラインから６〜８％の改善を着実に達成した。
【００７４】
超ファイングレイン画像認識に関して、本システムはさらに多くのクラスを取り扱うことができる。例えば、本発明者らは、超ファイングレイン食品クラス数を数十万にまで増大できる、数千のレストランからの大きな食品データセットを構築している。本発明者らは、超ファイングレイン画像認識（ほぼインスタンスレベルで画像を認識する）におけるリサーチが、しばしばサーチ・バイ・イメージ（search by image）と呼ばれる、情報を検索する媒体として画像を用いるための鍵を保持すると考えている。ラベル構造は、手作業で定義してもよく、訓練中に学習してもよい。ここではＢＧＬの離散したラベルについて議論しているが、本システムは連続したラベル（例えば、回帰またはランキング）を適用してもよい。クラスレベルのみで動作させるのではなく、画像レベルのラベルに対応するためにＢＧＬを一般化してもよい。このことは、属性ラベルがファイングレインクラスに関して曖昧である場合に、ＢＧＬの性能をよりロバストにできる。
【００７５】
本原理を適用できる処理システム１００の一例を示す図６には、訓練または物体の分類のために物体の画像を受信し、物体のファイングレインラベルを生成し、２部グラフラベル（ＢＧＬ）を明示的にモデル化するために、ソフトマックス層及び最終段に全結合層を備えたマルチクラス畳み込みニューラルネットワーク（ＣＮＮ）に物体画像を提供し、ＣＮＮをグローバルバックプロパゲーションで最適化することで、物体の画像を深層学習及び分類するための、本原理の実施例の図が示されている。
【００７６】
処理システム１００は、システムバス１０２を介して他のコンポーネントと動作可能に接続された、少なくとも１つのプロセッサ（ＣＰＵ）１０４を含む。システムバス１０２には、キャッシュ１０６、ロードオンリーメモリ（ＲＯＭ）１０８、ランダムアクセスメモリ（ＲＡＭ）１１０、入力／出力（Ｉ／Ｏ）アダプタ１２０、サウンドアダプタ１３０、ネットワークアダプタ１４０、ユーザインターフェースアダプタ１５０及びディスプレイアダプタ１６０が動作可能に接続されている。
【００７７】
第１の記憶装置１２２及び第２の記憶装置１２４は、Ｉ／Ｏアダプタ１２０によってシステムバス１０２に動作可能に接続されている。記憶装置１２２及び１２４は、ディスク記憶装置（例えば、磁気または光学ディスク記憶装置）、固体式磁気装置等のいずれかであってもよい。記憶装置１２２及び１２４は、同じタイプの記憶装置であってもよく、異なるタイプの記憶装置であってもよい。
【００７８】
スピーカ１３２は、サウンドアダプタ１３０によってシステムバス１０２に動作可能に接続されている。トランシーバ１４２は、ネットワークアダプタ１４０によってシステムバス１０２に動作可能に接続されている。ディスプレイ装置１６２は、ディスプレイアダプタ１６０によってシステムバス１０２に動作可能に接続されている。
【００７９】
第１のユーザ入力装置１５２、第２のユーザ入力装置１５４及び第３のユーザ入力装置１５６は、ユーザインターフェースアダプタ１５０によってシステムバス１０２に動作可能に接続されている。ユーザ入力装置１５２、１５４及び１５６は、キーボード、マウス、キーパッド、イメージキャプチャ装置、モーション感知装置、マイクロフォン、あるいはこれらの装置のうちの少なくとも２つの装置の機能を組み込んだ装置等のいずれであってもよい。もちろん、本原理の趣旨を維持する限りにおいて、他のタイプの入力装置を使用することも可能である。ユーザ入力装置１５２、１５４及び１５６は、同じタイプのユーザ入力装置であってもよく、異なるタイプのユーザ入力装置であってもよい。ユーザ入力装置１５２、１５４及び１５６は、システム１００に情報を入力し、システム１００から情報を出力するために使用される。
【００８０】
もちろん、処理システム１００は、当業者であれば容易に思いつくような他の要素（図示せず）を含んでもよく、特定の要素を省略することも可能である。例えば、処理システム１００には、当業者であれば容易に理解できるが、その詳細な実装に応じて、他の様々な入力装置及び／または出力装置を含むことができる。例えば、無線及び／または有線による種々の入力装置及び／または出力装置を使用できる。さらに、当業者であれば容易に理解できるが、様々な構成の追加プロセッサ、コントローラ、メモリ等を使用することも可能である。処理システム６００の上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
【００８１】
機械読み取り可能な記録媒体は、実施態様において、単一の媒体として示されているが、用語「機械読み取り可能な記録媒体」は、１つまたは複数の命令のセットを格納する、単一の媒体または複数の媒体（例えば、集中または分散データベース、及び／または関連するキャッシュ及びサーバ）を含むと理解されるべきである。また、用語「機械読み取り可能な記録媒体」は、機械で実行するための命令のセットを格納または符号化可能であり、本発明の任意の１つまたは複数の方法を機械に実行させるための、いかなる媒体を含むと理解されるべきである。用語「機械読み取り可能な記録媒体」は、固体メモリ、並びに光学及び磁気媒体を含むが、これらに限定されないと理解されるべきである。
【００８２】
上述した説明は、例示的なものであり、制限的なものではないと理解されたい。多くの他の実施形態は、上記の説明を読み、理解することで当業者にとっては明白である。本発明は、具体的な実施形態を参照して説明されているが、本発明は記載された実施態様に限定されるものではなく、添付の特許請求の範囲の主旨及び範囲内で、様々な修正及び変更を実施してもよいと理解されるべきである。したがって、本明細書及び図面は、制限的な意味ではなく、例示的な意味としてみなされる。したがって、本発明の範囲は、添付の特許請求の範囲から決定されるべきである。
【図１】
0006600009.tif 000042
【図２】
0006600009.tif 000043
【図３】
0006600009.tif 000044
【図４】
0006600009.tif 000045
【図５Ａ】
0006600009.tif 000046
【図５Ｂ】
0006600009.tif 000047
【図５Ｃ】
0006600009.tif 000048
【図５Ｄ】
0006600009.tif 000049
【図５Ｅ】
0006600009.tif 000050
【図５Ｆ】
0006600009.tif 000051
【図６】
0006600009.tif 000052