(57)【要約】      （修正有）【課題】特定のオブジェクトが描写されている可能性が高い、候補デジタル画像を見つける方法を提供する。【解決手段】方法は、特定のオブジェクトを描写したオブジェクトデジタル画像２０５を受信することと、畳み込みニューラルネットワーク２１０の分類サブネット２２０を用いて、描写された特定のオブジェクトのクラスを特定することと、特定されたクラスに基づいて、複数の特徴ベクトル生成サブネット２３０ａ、２３０ｂ、２３０ｃから特徴ベクトル生成サブネットを選択することと、選択された特徴ベクトル生成サブネットによって、特定のオブジェクトの特徴ベクトルを特定することと、特定された特徴ベクトルと、データベース２４０ａ〜２４０ｃに登録された特徴ベクトル２４２ａ〜２４２ｃとを比較し、登録された特徴ベクトルに関連付けられ、描写された特定のオブジェクトである可能性が高い１つまたは複数の候補デジタル画像を突き止めること、を含む。【選択図】図４
2019079494.tif 000002
【特許請求の範囲】
【請求項１】
特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を見つける方法であって、
前記特定のオブジェクトを描写するオブジェクトデジタル画像（２０５）を受信すること（Ｓ１０２）と、
畳み込みニューラルネットワーク（２１０）のベースニューラルネットワーク（２５０）における畳み込み層を通じて前記オブジェクトデジタル画像を処理し、これによって、前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトに関するアクティベーションマップ（２５０）をポピュレートすること（Ｓ１０４）と、
前記畳み込みニューラルネットワーク（２１０）の分類サブネット（２２０）を用いて、複数の所定のクラスの中から、前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトのためのクラスを特定すること（Ｓ１０６）であって、前記分類サブネット（２２０）は、前記ベースニューラルネットワーク（２５０）内のアクティベーションマップ（２５０）に結合されている、特定することと、
前記オブジェクトデジタル画像において描写された前記特定のオブジェクトのための特定されたクラスに基づいて、前記畳み込みニューラルネットワーク（２１０）の複数の特徴ベクトル生成サブネット（２３０ａ、２３０ｂ、２３０ｃ）から特徴ベクトル生成サブネット（２３０ａ）を選択すること（Ｓ１０８）であって、前記複数の特徴ベクトル生成サブネット（２３０ａ、２３０ｂ、２３０ｃ）の各々は、前記複数の所定のクラスのうちの少なくとも１つにリンクされる、選択することと、
選択された特徴ベクトル生成サブネット（２３０ａ）によって、前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトの特徴ベクトル（２３２ａ）を特定すること（Ｓ１１０）と、
前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトの特定された特徴ベクトル（２３２ａ）と、オブジェクトの登録された特徴ベクトル（２４２）を含むデータベース（２４０）に登録された特徴ベクトル（２４２）との間の１つまたは複数のマッチを見つけることによって、前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を見つけること（Ｓ１１０）であって、各登録された特徴ベクトル（２４２）は、デジタル画像に関連付けられている、見つけることと、
を含む、方法。
【請求項２】
前記分類サブネット（２２０）は、前記ベースニューラルネットワーク（２５０）においてアクティベーションマップ（２５２）に結合された１つまたは複数の全結合層（２２２）を含む、請求項１に記載の方法。
【請求項３】
前記分類サブネット（２２０）は、前記１つまたは複数の全結合層（２２２）に結合されたソフトマックス層（２２４）を更に含む、請求項２に記載の方法。
【請求項４】
前記複数の特徴ベクトル生成サブネット（２３０ａ、２３０ｂ、２３０ｃ）のうちの１つまたは複数が、前記ベースニューラルネットワーク（２１０）内のアクティベーションマップ（２５２）に結合された１つまたは複数の全結合層（２３４ａ、２３４ｂ、２３４ｃ）を含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記複数の特徴ベクトル生成サブネット（２３０ａ、２３０ｂ、２３０ｃ）のうちの１つまたは複数が、前記アクティベーションマップ（２５２）からのデータを正規化ベクトル構造にマッピングし、特定された特徴ベクトル（２３２ａ）を生成するようになっている埋め込み正規化層（２３６ａ、２３６ｂ、２３６ｃ）を更に含む、請求項４に記載の方法。
【請求項６】
前記特定された特徴ベクトル（２３２ａ）は、正規化層からの値を含むベクトルである、請求項５に記載の方法。
【請求項７】
前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトの前記特定された特徴ベクトル（２３２ａ）と、前記データベース（２４０）に登録された前記特徴ベクトル（２４２）との間の１つまたは複数のマッチを見つける動作は、
前記データベース（２４０）に登録された特徴ベクトル（２４２）と、前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトの前記特定された特徴ベクトル（２３２ａ）との間の距離を計算すること（Ｓ１１０ｂ）を含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記計算される距離はユークリッド距離である、請求項７に記載の方法。
【請求項９】
前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトの前記特定された特徴ベクトル（２３２ａ）と、前記データベース（２４０）に登録された特徴ベクトル（２４２）とを比較することによって、前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を見つける前記動作（Ｓ１１０）は、
ソートされた類似度リストを作成すること（Ｓ１１０ｃ）であって、各特徴ベクトルは、その対応する計算された距離に従ってソートされる、作成することを更に含む、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記マッチは、前記特徴ベクトルのうち、
前記特定された特徴ベクトル（２３２ａ）への計算された距離であって、他の残りの計算された距離よりも小さいものと、
前記特定された特徴ベクトル（２３２ａ）への計算された距離であって、閾値よりも小さいものと
前記データベースに登録された前記特徴ベクトルのうち、前記特定された特徴ベクトルに対し最小の距離を有する固定数の特定の特徴ベクトルと、
のリストからの少なくとも１つを有する１つまたは複数の特定の特徴ベクトルである、請求項１から８のいずれか一項に記載の方法。
【請求項１１】
前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトの前記特定された特徴ベクトル（２３２ａ）を前記データベース（２４０）に記憶し、前記特定された特徴ベクトル（２３２ａ）を前記オブジェクトデジタル画像（２０５）と関連付けること（Ｓ１１２）を更に含む、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
前記データベース（２４０）は複数のクラスデータベース（２４０ａ、２４０ｂ、２４０ｃ）に分割され、各クラスデータベースは、前記クラスに属するオブジェクトの登録された特徴ベクトル（２４２ａ、２４２ｂ、２４２ｃ）を含み、
前記方法は、前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトのための前記特定されたクラスに基づいて、前記複数のクラスデータベース（２４０ａ、２４０ｂ、２４０ｃ）から特定のクラスデータベース（２４０ａ）を選択すること（Ｓ１０９）を更に含む、請求項１から１１のいずれか一項に記載の方法（１００）。
【請求項１３】
前記オブジェクトデジタル画像（２０５）において描写された前記特定のオブジェクトの前記特定された特徴ベクトル（２３２ａ）を前記特定のクラスデータベース（２４０ａ）に記憶し、前記特定された特徴ベクトル（２３２ａ）を前記オブジェクトデジタル画像（２０５）と関連付けることを更に含む、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を突き止める方法に関する。
【背景技術】
【０００２】
いくつかの用途において、特定のデジタル画像において描写されるような特定のオブジェクトを描写するデジタル画像を識別する必要性がある。基準画像において描写された特定のオブジェクトが、登録番号プレートを有する自動車である場合、これは例えばＯＣＲ技法を用いると、達成するのが比較的簡単である場合があるが、同じことを人間または猫等について達成することは、はるかに困難であり、歴史的に、そのような作業は手動での実行に委ねられている。
【０００３】
そのような方法が関心対象である１つの特別な分野は、カメラ監視システムに関するものである。デジタル画像が人物を示す場合、この方法を用いて、その人物である可能性が高いオブジェクトを示す１つまたは複数の画像を突き止めることができる。カメラ監視システムの場合、そのような方法は、例えば、特定のオブジェクトの存在が以前に検出されたか否かを見出すために適用可能であり得る。例えば、犯罪が行われ、容疑者がデジタル画像において描写されている場合、カメラ監視システムのオペレータは、記憶されたビデオストリームを見ているときに、容疑者を示すオブジェクト上をクリックすることができる。次に、例えば、容疑者を描写している可能性が高いものを示す１組の候補デジタル画像を突き止めるために、クエリを出すことができる。加えて、候補デジタル画像に関するメタデータが提示され得る。そのようなメタデータは、例えば、候補デジタル画像が取得された時刻、日付および場所とすることができる。このデータから、容疑者が犯罪エリアを事前に調査しているのが見つかったか否かおよび／またはカメラ監視システムによってカバーされている別のエリアにおいて以前に見られていたか否かを見出すことが可能であり得る。
【０００４】
そのような方法を達成する１つの方式は、畳み込みニューラルネットワーク（ＣＮＮ）を用いた深層学習アルゴリズムを利用して、コンピュータアルゴリズムにオブジェクトアイデンティティをどのように特定するかを教えることである。しかしながら、そのような最新技術の方法は、多くの場合に、非常に計算集約的であり、したがって、多くの場合に、ＣＮＮが事前にトレーニングされたオブジェクトの特別なクラス（人物、自動車、猫、木等）に限定される。多くの場合に、同じデジタル画像を用いて異なるクラス内のオブジェクトを突き止めることができることが関心対象である。このため、当該技術分野において、より高速でより正確な識別を提供し、特に、オブジェクトの複数のクラス内での識別を達成するように構成された改善された方法が必要とされている。
【発明の概要】
【課題を解決するための手段】
【０００５】
特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を見つける方法が提示される。本方法は、
特定のオブジェクトを描写するオブジェクトデジタル画像を受信することと、
畳み込みニューラルネットワークの分類サブネットを用いて、オブジェクトデジタル画像において描写された特定のオブジェクトのためのクラスを特定することと、
オブジェクトデジタル画像において描写された特定のオブジェクトのための特定されたクラスに基づいて、畳み込みニューラルネットワークの複数の特徴ベクトル生成サブネットから特徴ベクトル生成サブネットを選択することと、
選択された特徴ベクトル生成サブネットによって、オブジェクトデジタル画像において描写された特定のオブジェクトの特徴ベクトルを特定することと、
オブジェクトデジタル画像において描写された特定のオブジェクトの特定された特徴ベクトルと、オブジェクトの登録された特徴ベクトルを含むデータベースに登録された特徴ベクトルとを比較することによって、オブジェクトデジタル画像において描写された特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を突き止めることであって、各登録された特徴ベクトルは、デジタル画像に関連付けられている、突き止めることと、
を含む。
【０００６】
本方法は、例えば監視カメラによって捕捉されたオブジェクトの再識別に有用であり得る。しかしながら、本方法は、例えば、例としてインターネットベースのデータベース等の大きなデータベースにおける画像認識および分類等の他の用途にも有用であり得る。本方法は、例えば、特別な画像に関連するかまたは類似する画像をサジェストするための、インターネット上での画像検索に関連した用途にも有用であり得る。オブジェクトデジタル画像は、例えば、人物、自動車、犬等の写真であり得る。オブジェクトデジタル画像は、２つ以上のオブジェクトを含むことができる。このため、本方法を用いて、２つ以上のオブジェクトのための候補デジタル画像を突き止めることができる。
【０００７】
本方法は、以前に行われた計算を効率的に再利用することにより、大きな１組の異なるクラス（例えば、人物、車両、猫、バッグ、フルーツ等）のためにこのタイプの識別を同時に効率的に扱う方式を提供するため有利であり得る。このため、本方法は、限られた計算能力しか利用可能でないカメラ監視システム等のシステムにおいて容易に実施することができる。本方法は、カメラ上で実行されることが許可される場合、元の圧縮されていないビデオストリームにアクセスすることができる。人物を識別し、以前に見られたアイデンティティが再度現れる場所を識別できることは、Ａｘｉｓ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ＡＢの独自の圧縮アルゴリズムであるＺｉｐｓｔｒｅａｍ等の関心対象領域ベースの（ＲＯＩベースの）圧縮アルゴリズムにとって非常に重要な情報であり得るため、これらの領域の圧縮は、他のより関心の薄い画像エリアのための高い圧縮率を依然として可能にしながら、最小限にすることができる。
【０００８】
本方法は、畳み込みニューラルネットワークを用いてデジタル画像を処理することを含む。このため、本方法は、畳み込みニューラルネットワークのベースニューラルネットワークにおける畳み込み層を通じてオブジェクトデジタル画像を処理し、これによって、オブジェクトデジタル画像において描写されたオブジェクトに関するアクティベーションマップをポピュレートすることを更に含むことが理解される。ここで、分類サブネットは、ベースニューラルネットワーク内のアクティベーションマップに結合される。分類マップは、オブジェクトデジタル画像内の色および幾何学形状に関する情報を含むことができる。これは、デジタル画像内のオブジェクトの、改善されたより効率的な識別を可能にすることができるため、有利であり得る。特に、本方法は、所定のクラスに属するオブジェクト間の検索のための識別プロセスを加速することを可能にすることができる。そのようなクラスは、例えば、人物、猫、家等とすることができる。
【０００９】
畳み込みニューラルネットワークのベースニューラルネットワークは、特定の幾何学形状を識別するためにトレーニングすることができる。しかしながら、ベースニューラルネットワークは、多くの異なる種類のオブジェクトに適用可能な普遍的形状を認識するようにトレーニングされてもよい。これは、ベースニューラルネットワークが、オブジェクトクラスと独立し得ることを暗に意味する。このため、ベース層は、デジタル画像において描写される全ての種類のオブジェクトに適用可能とすることができる。
【００１０】
オブジェクトの分類のために、分類サブネットを代わりに適用することができる。分類サブネットは、ベースニューラルネットワークから出力されたアクティベーションマップを読み出すことにより特定のクラスを認識するように構成される。換言すれば、デジタル画像がベースニューラルネットワークによって処理され、エッジおよび曲線等のその低レベルの特徴、ならびに画像内のより複雑な概念等のその高レベルの特徴が推測されると、ベースニューラルネットワークから出力されたアクティベーションマップを、分類サブネットによって分類することができる。アクティベーションマップは、高レベルの特徴のみを含んでもよいが、代替的にまたはこれに加えて、低レベルの特徴を含んでもよい。分類サブネットは、ベースニューラルネットワーク内のアクティベーションマップに結合された１つまたは複数の全結合層を含むことができる。２つ以上の全結合層が存在する場合、その全てがベースニューラルネットワークに結合される必要はない。分類サブネットは、１つまたは複数の全結合層に結合されたソフトマックス層を更に含むことができる。分類サブネットは、畳み込み層を更に含むことができる。分類サブネットは、オブジェクトの特定のクラスを認識するためにトレーニングすることができるが、個々の単位でオブジェクトを識別する必要はない。このため、分類サブネットは、オブジェクトが近所の猫であることではなく、オブジェクトが猫であることを特定することで十分であり得る。
【００１１】
デジタル画像において描写されたオブジェクトについて特定されたクラスに依拠して、デジタル画像において描写されたオブジェクトの特徴ベクトルを特定するために特徴ベクトル生成サブネットを選択することができる。選択された特徴ベクトル生成サブネットは、畳み込みネットワークの複数の特徴ベクトル生成サブネットからの１つである。複数の特徴ベクトル生成サブネットのうちの、１つもしくは複数の特徴ベクトル生成サブネット、または更には、各特徴ベクトル生成サブネットは、アクティベーションマップに結合された１つまたは複数の全結合層またはベースニューラルネットワークにおける全結合層を含むことができる。
【００１２】
複数の特徴ベクトル生成サブネットのうちの、１つまたは複数の特徴ベクトル生成サブネット、または更には、各特徴ベクトル生成サブネットは、アクティベーションマップからのデータを正規化ベクトル構造にマッピングし、例えば特定された特徴ベクトルを生成するようになっている埋め込み正規化層を更に含むことができる。
【００１３】
特定された特徴ベクトルは、正規化層からの値を含むベクトルとすることができる。
【００１４】
特徴ベクトルが特定されると、オブジェクトデジタル画像において描写された特定のオブジェクトの特定された特徴ベクトルと、オブジェクトの登録された特徴ベクトルを含むデータベースに登録された特徴ベクトルとを比較することによって、オブジェクトデジタル画像において描写された特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を突き止めることができる。ここで、各登録された特徴ベクトルはデジタル画像に関連付けられている。
【００１５】
オブジェクトデジタル画像において描写された特定のオブジェクトの特定された特徴ベクトルと、データベースに登録された特徴ベクトルとを比較することによって、オブジェクトデジタル画像において描写された特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を突き止める動作は、
データベースに登録された特徴ベクトルと、オブジェクトデジタル画像において描写された特定のオブジェクトの特定された特徴ベクトルとの間の１つまたは複数のマッチを見つけることを含むことができる。
【００１６】
データベースに登録された特徴ベクトルと、オブジェクトデジタル画像において描写された特定のオブジェクトの特定された特徴ベクトルとの間の１つまたは複数のマッチを見つける動作は、
データベースに登録された特徴ベクトルと、オブジェクトデジタル画像において描写された特定のオブジェクトの特定された特徴ベクトルとの間の距離を計算することを含むことができる。例えば、計算される距離は、ユークリッド距離とすることができる。
【００１７】
比較は、結果を様々な形で編纂および／または提示することを含むことができる。例えば、ソートされた類似度リストを作成することができ、ここで、ソートされた類似度リストにおける各特徴ベクトルは、その対応する計算された距離に従ってソートされる。換言すれば、オブジェクトデジタル画像において描写された特定のオブジェクトの特定された特徴ベクトルと、データベースに登録された特徴ベクトルとを比較することによって、オブジェクトデジタル画像において描写された特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を突き止める動作は、ソートされた類似度リストを作成することを更に含むことができ、ここで、各特徴ベクトルは、その対応する計算された距離に従ってソートされる。
【００１８】
代替的に、またはこれに加えて、マッチは、特徴ベクトルのうち、残りの計算された距離よりも小さい特定された特徴ベクトルへの計算された距離と、閾値よりも小さい特定された特徴ベクトルへの計算された距離と、データベースに登録された特徴ベクトルのうち、特定された特徴ベクトルに対し最小の距離を有する固定数の特定の特徴ベクトルと、のリストからの少なくとも１つを有する１つまたは複数の特定の特徴ベクトルであり得る。
【００１９】
本方法は、オブジェクトデジタル画像において描写された特定のオブジェクトの特定された特徴ベクトルをデータベース記憶し、特定された特徴ベクトルをオブジェクトデジタル画像と関連付けることを更に含むことができる。これは、特徴ベクトルを比較する動作中に画像を容易に取り出すことを可能にするため有利であり得る。
【００２０】
上記において、全ての以前に特定された特徴ベクトルは単一のデータベースに記憶されることが想定された。しかしながら、以前に特定された特徴ベクトルは、代替的に、そのオブジェクト分類に従って別個のデータベースに記憶されてもよい。このため、分類サブネットによって猫を示すとみなされたデジタル画像から導出された全ての特徴ベクトルは、「猫データベース」に入ることになり、分類サブネットによって犬を示すとみなされたデジタル画像から導出された全ての特徴ベクトルは、「犬データベース」に入ることになり、以下同様である。２つ以上のデータベースを用いることによって、各データベースに記憶される特徴ベクトルの数は、全ての特徴ベクトルが単一の共通データベースに記憶される場合と比較して少なくなる。これは、特定の特徴ベクトルをデータベースの特徴ベクトルと比較する動作を更に加速することができるため、有利であり得る。このため、新たな特徴ベクトルは、同じクラスの特徴ベクトルと比較されるのみである。複数のクラスデータベースは、別個のデータベースとすることができる。これは、複数のクラスデータベースが、別個の物理的ロケーションに記憶され得ることを暗に意味する。代替的に、複数のクラスデータベースは、例えばメタデータインデックス付けを用いて、ポストをそのクラスに従って分離しておくように構成された同じデータベースであってもよい。
【００２１】
データベースは、複数のクラスデータベースに分割することができ、各クラスデータベースは、クラスに属するオブジェクトの登録された特徴ベクトルを含み、本方法は、オブジェクトデジタル画像において描写されたオブジェクトの特定されたクラスに基づいて、複数のクラスデータベースから特定のクラスデータベースを選択することを更に含む。このため、本方法は、オブジェクトデジタル画像において描写された特定のオブジェクトの特定された特徴ベクトルを特定のクラスデータベースに記憶し、特定された特徴ベクトルをオブジェクトデジタル画像と関連付けることを更に含むことができる。
【００２２】
本方法の更なる適用可能範囲は、以下に与える詳細な説明から明らかとなるであろう。しかしながら、詳細な説明および特定の例は、本発明の好ましい実施形態を示すものの、例示としてのみ与えられることが理解されるべきである。なぜなら、本発明の範囲内の様々な変形および変更がこの詳細な説明から当業者に明らかとなるためである。
【００２３】
このため、本発明は、説明されるデバイスの特別な構成部分または説明される方法のステップに限定されるものではないことが理解されたい。なぜなら、そのようなデバイスおよび方法は変化する場合があるためである。また、本明細書において用いられる用語は、特別な実施形態を説明する目的のみであり、限定することを意図したものではないことも理解されたい。明細書および添付の特許請求の範囲で用いられる際、冠詞「１つの」、「その」および「前記」（"a," "an," "the," and "said"）は、文脈により別段の明確な指示がない限り、１つまたは複数の要素が存在することを意味することが意図されることに留意しなくてはならない。このため、例えば、「１つのユニット」（"a unit"）または「そのユニット」（"the unit"）への言及がいくつかのデバイスを含み得ること等がある。更に、「含む」、「備える」、「含有する」（"comprising", "including", "containing"）および類似の言い回しは、他の要素またはステップを除外するものではない。
【００２４】
ここで、本発明の現時点で好ましい実施形態が示される添付の図面を参照して、以下に本発明をより完全に説明する。しかしながら、本発明は多くの異なる形態で具現化することができ、本明細書に示される実施形態に限定されるものと解釈されるべきでない。むしろ、これらの実施形態は、徹底し完全にするために提供され、本発明の範囲を当業者に完全に伝達する。
【図面の簡単な説明】
【００２５】
【図１】特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を見つける方法のブロック図である。
【図２】特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を見つける方法を実行するように構成されたシステムの概略図である。
【図３】図１の方法における見つける動作Ｓ１１０のブロック図である。
【図４】特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を見つける方法を実行するように構成された代替システムの概略図である。
【発明を実施するための形態】
【００２６】
ここで、図１および図２を参照して方法１００を説明する。方法１００は、特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を突き止めることを意図している。方法１００は、例えば監視カメラによって捕捉されたオブジェクトの再識別に有用であり得る。しかしながら、本方法は、例えばデータベースにおける分類および画像認識等の他の用途にも有用であり得る。
【００２７】
図１は、特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を見つける方法のブロック図であり、図２は、図１の方法１００を実行するように構成されたシステム２００を示す。
【００２８】
方法１００は、特定のオブジェクトを描写するオブジェクトデジタル画像を受信する動作Ｓ１０２を含む。オブジェクトデジタル画像２０５は、例えば、人物、自動車、犬等の写真とすることができる。オブジェクトデジタル画像２０５は、２つ以上のオブジェクトを含む場合がある。
【００２９】
方法１００は、畳み込みニューラルネットワーク２１０（ＣＮＮ）のベースニューラルネットワーク２５０における畳み込み層を通じてオブジェクトデジタル画像２０５を処理する動作Ｓ１０４を更に含む。処理の結果、オブジェクトデジタル画像２０５において描写された特定のオブジェクトに関するアクティベーションマップ２５２がポピュレートされる。畳み込みニューラルネットワーク２１０のベースニューラルネットワーク２５０は、畳み込みニューラルネットワーク２１０の後続のサブネットへの入力を与えるようにトレーニングされる。例えば、畳み込みニューラルネットワーク２１０のベースニューラルネットワーク２５０は、特定の幾何学形状を識別することができる。このため、ベースニューラルネットワーク２５０は、オブジェクトデジタル画像２０５上に描写された全ての種類のオブジェクトに適用可能であり得る。ベースニューラルネットワーク２５０は、オブジェクトデジタル画像２０５を複数の層において連続的に処理する。このため、ベースニューラルネットワーク２５０は、畳み込み層、プーリング層、正規化線形ユニット（ＲｅＬＵ）層等を含む複数の層を含むことができる。本明細書において更に詳述するように、ベースニューラルネットワーク２５０等の畳み込みネットワークを何度もトレーニングする結果として、アクティベーション層が、画像内の構造および形に関する情報を含むことになる。いくつかの層は、エッジおよび曲線等の低レベル特徴に関する情報を含むことができ、いくつかの層は、オブジェクトデジタル画像２０５におけるより複雑な概念等の高レベルの特徴に関する情報を含むことができる。
【００３０】
本方法は、畳み込みニューラルネットワーク２１０の分類サブネット２２０を用いて、オブジェクトデジタル画像２０５において描写された特定のオブジェクトのためのクラスを特定する動作Ｓ１０６を更に含む。分類サブネット２２０は、ベースニューラルネットワーク２５０から出力されるアクティベーションマップ２５２を読み出すことにより特定のクラスを認識するように構成される。換言すれば、オブジェクトデジタル画像２０５がベースニューラルネットワーク２５０によって処理されると、ベースニューラルネットワーク２５０から出力されたアクティベーションマップ２５２を分類サブネット２２０によって分類することができる。アクティベーションマップ２５２は、高レベルの特徴のみを含んでもよい。しかしながら、アクティベーションマップ２５２は、代替的にまたはこれに加えて、低レベルの特徴を含んでもよい。高レベルの特徴とは、ベースニューラルネットワーク２５０の後期の層によって特定される特徴を意味し、低レベルの特徴とは、ベースニューラルネットワーク２５０の早期の層によって特定される特徴を意味する。分類サブネット２２０は、ベースニューラルネットワーク２５０内のアクティベーションマップ２５２に結合された、全結合層２２２を含むことができる。分類サブネット２２０は、１つまたは複数の全結合層に結合されたソフトマックス層２２４を更に含むことができる。分類サブネット２２０は、畳み込み層を更に含むことができる。分類サブネット２２０は、オブジェクトの特定のクラスを認識するためにトレーニングすることができるが、個々の単位でオブジェクトを識別する必要はない。このため、分類サブネット２２０は、オブジェクトが近所の猫であることではなく、オブジェクトが猫であることを特定することで十分であり得る。
【００３１】
本方法は、オブジェクトデジタル画像２０５において描写された特定のオブジェクトについて特定されたクラスに基づいて、畳み込みニューラルネットワーク２１０の複数の特徴ベクトル生成サブネット２３０ａ、２３０ｂ、２３０ｃから１つの特徴ベクトル生成サブネットを選択する動作Ｓ１０８を更に含む。この選択は、図２において、選択モジュール２６０によって示されている。図２に示される例示的な実施形態において、複数の特徴ベクトル生成サブネットは、第１の特徴ベクトル生成サブネット２３０ａと、第２の特徴ベクトル生成サブネット２３０ｂと、第３の特徴ベクトル生成サブネット２３０ｃとを含む。複数の特徴ベクトル生成サブネット２３０ａ、２３０ｂ、２３０ｃからの、各特徴ベクトル生成サブネットは、ベースニューラルネットワーク２５０におけるアクティベーションマップ２５２に結合された１つまたは複数の全結合層２３４ａ、２３４ｂ、２３４ｃを含む。複数の特徴ベクトル生成サブネット２３０ａ、２３０ｂ、２３０ｃのうちの１つまたは複数は、畳み込み層を更に含むことができる。更に、複数の特徴ベクトル生成サブネット２３０ａ、２３０ｂ、２３０ｃのうちの１つまたは複数は、アクティベーションマップ２５２からのデータを正規化ベクトル構造にマッピングし、特定された特徴ベクトルを生成するようになっている埋め込み正規化層２３６ａ、２３６ｂ、２３６ｃを更に含むことができる。特定された特徴ベクトル（この例では、第１の特徴ベクトル２３０ａ）は、正規化層からの値を含むベクトルとすることができる。選択は、分類サブネット２２０によって制御される選択モジュール２６０によって図２に示されている。方法１００の実施は、処理ユニット上で実行されるソフトウェアコードによる選択機能を達成することができる。代替的に、選択モジュール２６０は、専用回路部を用いて実施されてもよい。更に代替的に、選択モジュール２６０は、専用回路部と、処理ユニット上で実行されるソフトウェアコードとの双方を含んでもよい。
【００３２】
方法１００は、オブジェクトデジタル画像２０５において描写された特定のオブジェクトの特定された特徴ベクトル２３２ａと、オブジェクトの登録された特徴ベクトル２４２を含むデータベース２４０に登録された特徴ベクトル２４２とを比較することによって、オブジェクトデジタル画像２０５において描写された特定のオブジェクトを描写するための候補である可能性が高い１つまたは複数の候補デジタル画像を突き止める動作Ｓ１１０を更に含む。ここで、各登録された特徴ベクトル２４２はデジタル画像に関連付けられている。
【００３３】
１つまたは複数の候補画像を突き止める動作Ｓ１１０について、図３を参照して更に論考する。突き止める動作Ｓ１１０は、データベース２４０に登録された特徴ベクトル２４２と、オブジェクトデジタル画像２０５において描写された特定のオブジェクトの特定された特徴ベクトル２３２ａとの間の１つまたは複数のマッチを見つける動作Ｓ１１０ａを含むことができる。突き止める動作Ｓ１１０は、データベース１４０に登録された特徴ベクトル１４２ａと、オブジェクトデジタル画像２０５において描写された特定のオブジェクトの特定された特徴ベクトル１３２ａとの間の距離を計算することＳ１１０ｂを更に含むことができる。計算される距離は、ユークリッド距離とすることができる。しかしながら、当業者に既に知られているように、２つのベクトル間の距離は、他の既知の方式においても計算されてもよい。突き止める動作Ｓ１１０は、ソートされた類似度リストを作成する動作Ｓ１１０ｃを更に含むことができ、各特徴ベクトルは、その対応する計算された距離に従ってソートされる。
【００３４】
マッチは、特徴ベクトル２４２ａのうち、他の残りの計算された距離よりも小さい特定された特徴ベクトル２３２ａへの計算された距離を有する特定の特徴ベクトルとすることができる。マッチは、特徴ベクトル２４２ａのうち、閾値よりも小さい特定された特徴ベクトル２３２ａへの計算された距離を有する１つまたは複数の特定の特徴ベクトルとすることができる。マッチは、固定数の候補画像とすることができる。この固定数の候補画像は、特定された特徴ベクトルに対し最小の距離を有する特徴ベクトルと関連付けられた候補画像となるように選択される。
【００３５】
データベース２４０に登録された特徴ベクトル２４２と、オブジェクトデジタル画像２０５において描写された特定のオブジェクトの特定された特徴ベクトル２３２ａとの間のマッチを見つけた後、候補画像を、システムのオペレータに提示することができる。候補画像から、１つまたは複数の特定の画像を手作業で選択することができる。候補画像は、ソートされた類似度リストに従ってオペレータに提示することができる。
【００３６】
方法１００は、オブジェクトデジタル画像２０５において描写された特定のオブジェクトの特定された特徴ベクトル２３２ａをデータベース２４０ａに記憶し、特定された特徴ベクトル２３２ａをオブジェクトデジタル画像２０５と関連付ける代替的な動作Ｓ１１２を更に含むことができる。
【００３７】
方法１００は、２つ以上のデータベースを用いて動作するように適合されてもよい。これは、図１のフローチャートの右側の選択肢分岐に示されている。このように用いられる方法を更に説明するために、システム３００が図４に示されている。システム３００はシステム２００に類似しているが、データベースは複数のクラスデータベース２４０ａ、２４０ｂ、２４０ｃに分割されており、各クラスデータベースは、各クラスに属するオブジェクトの登録された特徴ベクトル２４２ａ、２４２ｂ、２４２ｃを含む。このため、方法１００は、オブジェクトデジタル画像２０５において描写された特定のオブジェクトのための特定されたクラスに基づいて、複数のクラスデータベース２４０ａ、２４０ｂ、２４０ｃから特定のクラスデータベース（この例では、第１のクラスデータベース２４０ａ）を選択することＳ１０９を更に含むことができる。突き止める動作Ｓ１１０’は、本明細書において上記で突き止める動作Ｓ２１０について開示したものに類似しているが、単一のデータベース内に記憶された特徴ベクトルと比較する代わりに、比較は選択されたクラスデータベースの特徴ベクトル間でのみ行われる。選択は、図４において、分類サブネット２２０によって制御される更なる選択モジュール２７０によって示されている。選択モジュール２６０の実施は、処理ユニット上で実行されるソフトウェアコードによって行うことができる。代替的に、選択モジュール２６０は、専用回路部を用いて実施されてもよい。更に代替的に、選択モジュール２６０は、専用回路部と、処理ユニット上で実行されるソフトウェアコードとの双方を含んでもよい。
【００３８】
方法１００は、オブジェクトデジタル画像２０５において描写された特定のオブジェクトの特定された特徴ベクトル２３２ａを特定のクラスデータベース２４０ａに記憶し、特定された特徴ベクトル２３２ａをオブジェクトデジタル画像２０５と関連付ける代替的な動作Ｓ１１２’を更に含むことができる。
【００３９】
畳み込みネットワークは、適切に動作するために、既知の入力を用いてトレーニングされなくてはならない。畳み込みニューラルネットワークのトレーニングは以下のようにセットアップすることができる。例えば３つの画像の組が畳み込みネットワークに入力される。画像のうちの２つは同じオブジェクトを描写しており、第３の画像は同じクラスであるが別のオブジェクトを描写している場合がある。全てのサブネットについて、すなわち、分類サブネット２２０および特徴ベクトル生成サブネット２３０ａ、２３０ｂ、２３０ｃについて損失ベクトルが特定される。損失値は、正しい答えを予測する各サブネットの能力に関する。分類エラーおよびクラス内再識別エラーの双方の最小化を同時に受ける損失関数が構築される。これは例えば、損失関数におけるこれらのエラーの加算により行われる。このため、結果として得られる分類および結果として得られる特徴ベクトルの双方が評価され、畳み込みネットワークのパラメータが、双方の結果に従って調整されることになる。
【００４０】
当業者であれば、本発明は、上記で説明した好ましい実施形態に決して限定されるものではないことを認識する。それどころか、添付の特許請求の範囲の範囲内で多くの変更および変形が可能である。
【００４１】
例えば、本発明による畳み込みネットワークをトレーニングする際、３つではなく２つのネットワークパスによるシャム（Siamese）セットアップを用い、画像の対が同じオブジェクトを描写している場合、それらの画像の対間の距離を最小にし、異なるオブジェクトを描写している画像の対間の距離を最大にすることを試行し得る。交互に、分類サブネットを用いてベースニューラルネットワークをトレーニングし、次に再識別サブネットを用いてベースニューラルネットワークをトレーニングし、２つの間の切り替え方式で多数回繰り返す等の異なるトレーニング方式も有し得る。
【００４２】
加えて、開示された実施形態に対する変形形態は、当業者によって、特許請求される本発明を実施する際に、図面、本開示、および添付の特許請求の範囲を検討することにより、理解し、実施することができる。
【図１】
2019079494.tif 000003
【図２】
2019079494.tif 000004
【図３】
2019079494.tif 000005
【図４】
2019079494.tif 000006
【外国語明細書】
2019079494000001.pdf
2019079494000002.pdf
2019079494000003.pdf
2019079494000004.pdf