(57)【要約】本願の実施例は、車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイスを提供する。前記車両外観特徴識別方法は、識別待ち画像から目標車両の複数の領域分割結果を取得するステップと、前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するステップと、前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するステップと、を含む。本願の実施例によれば、より正確に車両の外観を表すことができる。また、本実施例で識別して得られた車両外観特徴によって異なる車両画像中の車両外観特徴を直接比較でき、異なる車両画像間の異なる領域を比較できない問題を解決する。
2020520512.tif 000002
【特許請求の範囲】
【請求項１】
識別待ち画像から目標車両の複数の領域分割結果を取得するステップと、
前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するステップと、
前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するステップと、を含むことを特徴とする車両外観特徴識別方法。
【請求項２】
前記複数の領域分割結果はそれぞれ、前記目標車両の異なる方位の領域に対応することを特徴とする請求項１に記載の方法。
【請求項３】
前記複数の領域分割結果は、前記目標車両の前側、後側、左側及び右側の分割結果を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記識別待ち画像から目標車両の複数の領域分割結果を取得するステップは、
領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップを含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記第１のニューラルネットワークは、第１の特徴抽出層と、前記第１の特徴抽出層の端部に接続される第１の計算層とを有し、
領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップは、
前記第１の特徴抽出層によって前記識別待ち画像に対して特徴抽出を行い、前記目標車両の複数のキーポイントを取得するステップと、
前記第１の計算層によって前記複数のキーポイントを分類し、複数のキーポイントクラスタを取得し、且つ複数の前記キーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数の前記キーポイントクラスタに対応する領域分割結果を取得するステップと、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、
前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するステップを含むことを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記第２のニューラルネットワークは、第１の処理サブネットと、前記第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、
前記第１の処理サブネットは、第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、前記第２の処理サブネットは、前記第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有することを特徴とする請求項６に記載の方法。
【請求項８】
前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、
前記第２の特徴抽出層によって前記識別待ち画像に対して畳み込み演算及びプーリング操作を行い、前記目標車両のグローバル特徴マップを取得するステップと、
前記第１の起動モジュールによって前記グローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、前記目標車両の第１の特徴マップ集合を取得するステップと、
前記第１のプーリング層によって前記第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、前記目標車両のグローバル特徴ベクトルを取得するステップと、を含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、
前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行い、前記複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するステップと、
前記第２の起動モジュールによって複数の前記領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の前記領域分割結果に対応する第２の特徴マップ集合を取得するステップと、
前記第２のプーリング層によって複数の前記領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の前記領域分割結果に対応する第１の領域特徴ベクトルを取得するステップと、を更に含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行う前に、前記方法は、更に
前記第２の計算層によって前記複数の領域分割結果のそれぞれを前記グローバル特徴マップのサイズと同じサイズまでスケーリングするステップを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記グローバル特徴データと複数の前記領域特徴データとを融合する前記ステップは、
特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップを含むことを特徴とする請求項１〜１０のいずれか１項に記載の方法。
【請求項１２】
前記第３のニューラルネットワークは、前記第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有し、
前記特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップは、
前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得するステップと、
前記第３の計算層によって前記重み値に基づいて複数の前記第１の領域特徴ベクトルに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するステップと、
前記第２の完全接続層によって複数の前記第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、前記目標車両の外観特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得する前記ステップは、
複数の前記第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得するステップと、
前記第１の完全接続層によって前記ステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の前記第１の領域特徴ベクトルに対応するスカラーの集合を取得するステップと、
前記集合中のスカラーに対して正規化操作を行い、複数の前記第１の領域特徴ベクトルの重み値を取得するステップと、を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記第１の特徴抽出層は砂時計型ネットワーク構造であることを特徴とする請求項５に記載の方法。
【請求項１５】
請求項１〜１４のいずれか１項に記載の方法によって検索待ち画像中の目標車両の外観特徴データを取得するステップと、
選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するステップと、を含むことを特徴とする車両検索方法。
【請求項１６】
選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索する前記ステップは、
前記目標車両の外観特徴ベクトルのそれぞれと前記選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定するステップと、
前記コサイン距離に基づいて前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記検索待ち画像の撮影時間及び／又は撮影位置、及び前記複数の前記選択待ち車両画像の撮影時間及び／又は撮影位置を取得するステップと、
前記撮影時間及び／又は前記撮影位置によって前記目標車両と前記複数の前記選択待ち車両画像中の車両との時空間距離を決定するステップと、
前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を更に含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定する前記ステップは、
前記コサイン距離に基づいて前記選択待ち車両画像ライブラリの中から複数の前記選択待ち車両画像を取得するステップと、
それぞれ前記選択待ち車両画像の撮影時間及び撮影位置に基づいて、前記選択待ち車両画像と前記目標車両との時空間マッチイング確率を決定するステップと、
前記コサイン距離及び前記時空間マッチイング確率に基づいて、前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
識別待ち画像から目標車両の複数の領域分割結果を取得するための第１の取得モジュールと、
前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するための抽出モジュールと、
前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するための融合モジュールと、を含むことを特徴とする車両外観特徴識別装置。
【請求項２０】
前記複数の領域分割結果は、それぞれ前記目標車両の異なる方位の領域に対応することを特徴とする請求項１９に記載の装置。
【請求項２１】
前記複数の領域分割結果は、前記目標車両の前側、後側、左側及び右側の分割結果を含むことを特徴とする請求項２０に記載の装置。
【請求項２２】
前記第１の取得モジュールは、
領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するための取得サブモジュールを含むことを特徴とする請求項１９〜２１のいずれか１項に記載の装置。
【請求項２３】
前記第１のニューラルネットワークは、第１の特徴抽出層と、前記第１の特徴抽出層の端部に接続される第１の計算層とを有し、
前記取得サブモジュールは、
前記第１の特徴抽出層によって前記識別待ち画像に対して特徴抽出を行い、前記目標車両の複数のキーポイントを取得し、
前記第１の計算層によって、前記複数のキーポイントを分類して複数のキーポイントクラスタを取得し、複数の前記キーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数の前記キーポイントクラスタに対応する領域分割結果を取得するために用いられることを特徴とする請求項２２に記載の装置。
【請求項２４】
前記抽出モジュールは、
前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するための抽出サブモジュールを含むことを特徴とする請求項１９〜２３のいずれか１項に記載の装置。
【請求項２５】
前記第２のニューラルネットワークは、第１の処理サブネットと、前記第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、
前記第１の処理サブネットは、第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、前記第２の処理サブネットは、前記第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有することを特徴とする請求項２４に記載の装置。
【請求項２６】
前記抽出サブモジュールは、
前記第２の特徴抽出層によって前記識別待ち画像に対して畳み込み演算及びプーリング操作を行い、前記目標車両のグローバル特徴マップを取得するための第１の特徴抽出ユニットと、
前記第１の起動モジュールによって前記グローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、前記目標車両の第１の特徴マップ集合を取得するための第２の特徴抽出ユニットと、
前記第１のプーリング層によって前記第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、前記目標車両のグローバル特徴ベクトルを取得するための第１のプーリングユニットと、を含むことを特徴とする請求項２５に記載の装置。
【請求項２７】
前記抽出サブモジュールは、
前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行い、前記複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するための第１の計算ユニットと、
前記第２の起動モジュールによって複数の前記領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の前記領域分割結果に対応する第２の特徴マップ集合を取得するための第３の特徴抽出ユニットと、
前記第２のプーリング層によって複数の前記領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の前記領域分割結果に対応する第１の領域特徴ベクトルを取得するための第２のプーリングユニットと、を更に含むことを特徴とする請求項２６に記載の装置。
【請求項２８】
前記抽出サブモジュールは、
前記第２の計算層によって前記複数の領域分割結果のそれぞれを前記グローバル特徴マップのサイズと同じサイズまでスケーリングするための第２の計算ユニットを更に含むことを特徴とする請求項２７に記載の装置。
【請求項２９】
前記融合モジュールは、
特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するための融合サブモジュールを含むことを特徴とする請求項１９〜２８のいずれか１項に記載の装置。
【請求項３０】
前記第３のニューラルネットワークは、前記第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有し、
前記融合サブモジュールは、
前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得する第１の取得ユニットと、
前記第３の計算層によって前記重み値に基づいて複数の前記第１の領域特徴ベクトルに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するための第３の計算ユニットと、
前記第２の完全接続層によって複数の前記第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、前記目標車両の外観特徴ベクトルを取得するためのマッピングユニットと、を含むことを特徴とする請求項２９に記載の装置。
【請求項３１】
前記第１の取得ユニットは、
複数の前記第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得し、
前記第１の完全接続層によって前記ステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の前記第１の領域特徴ベクトルに対応するスカラーの集合を取得し、
前記集合中の複数のスカラーに対して正規化操作を行い、複数の前記第１の領域特徴ベクトルの重み値を取得するために用いられることを特徴とする請求項３０に記載の装置。
【請求項３２】
前記第１の特徴抽出層は砂時計型ネットワーク構造であることを特徴とする請求項２３に記載の装置。
【請求項３３】
請求項１９〜３２のいずれか１項に記載の装置によって検索待ち画像中の目標車両の外観特徴データを取得するための第２の取得モジュールと、
選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するための検索モジュールと、を含むことを特徴とする車両検索装置。
【請求項３４】
前記検索モジュールは、
前記目標車両の外観特徴ベクトルのそれぞれと前記選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定し、
前記コサイン距離に基づいて前記目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられることを特徴とする請求項３３に記載の装置。
【請求項３５】
前記検索待ち画像の撮影時間及び／又は撮影位置、及び前記複数の前記選択待ち車両画像の撮影時間及び／又は撮影位置を取得するための第３の取得モジュールと、
前記撮影時間及び／又は前記撮影位置によって前記目標車両と前記複数の前記選択待ち車両画像中の車両との時空間距離を決定するための第１の決定モジュールと、
前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定するための第２の決定モジュールと、を更に含むことを特徴とする請求項３４に記載の装置。
【請求項３６】
前記第２の決定モジュールは、
前記コサイン距離に基づいて前記選択待ち車両画像ライブラリの中から複数の前記選択待ち車両画像を取得し、
それぞれ前記選択待ち車両画像の撮影時間及び撮影位置に基づいて、前記選択待ち車両画像と前記目標車両との時空間マッチイング確率を決定し、
前記コサイン距離及び前記時空間マッチイング確率に基づいて、前記目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられることを特徴とする請求項３５に記載の装置。
【請求項３７】
コンピュータプログラムコマンドが記憶され、プロセッサーによって前記プログラムコマンドを実行する時に請求項１〜１４のいずれか１項に記載の車両外観特徴識別方法のステップを実現するコンピュータ可読記憶媒体。
【請求項３８】
コンピュータプログラムコマンドが記憶され、プロセッサーによって前記プログラムコマンドを実行する時に請求項１５〜１８のいずれか１項に記載の車両検索方法のステップを実現するコンピュータ可読記憶媒体。
【請求項３９】
第１のプロセッサーと、第１のメモリと、第１の通信デバイスと、第１の通信バスとを含み、前記第１のプロセッサー、前記第１のメモリ及び前記第１の通信デバイスは前記第１の通信バスを介して相互に通信を行い、
前記第１のメモリは少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第１のプロセッサーに請求項１〜１４のいずれか１項に記載の車両外観特徴識別方法のステップを実行させる電子デバイス。
【請求項４０】
第２のプロセッサーと、第２のメモリと、第２の通信デバイスと、第２の通信バスを含み、前記第２のプロセッサー、前記第２のメモリ及び前記第２の通信デバイスは前記第２の通信バスを介して相互に通信を行い、
前記第２のメモリは少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第２のプロセッサーに請求項１５〜１８のいずれか１項に記載の車両検索方法のステップを実行させる電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１７年６月２８日に中国特許局に提出された、出願番号ＣＮ２０１７１０５０７７７８．５、発明の名称「車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願の実施例は、人工知能技術に関し、特に、車両外観特徴識別方法、装置、記憶媒体及び電子デバイス、ならびに車両検索方法、装置、記憶媒体及び電子デバイスに関する。
【背景技術】
【０００３】
車両の検索タスクとは、検索待ちの車両の画像を提示すると、大規模の車両画像データベースから車両画像中の車両の全ての画像を検索することを指している。
【発明の概要】
【０００４】
本願の実施例の目的は、車両の外観特徴を識別するための技術手段及び車両を検索するための技術手段を提供することである。
【０００５】
本願の実施例の第１の態様によれば、識別待ち画像から目標車両の複数の領域分割結果を取得するステップと、前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するステップと、前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するステップと、を含む車両外観特徴識別方法を提供する。
【０００６】
また、前記複数の領域分割結果はそれぞれ、前記目標車両の異なる方位の領域に対応してもよい。
【０００７】
また、前記複数の領域分割結果は、前記目標車両の前側、後側、左側及び右側の分割結果を含んでもよい。
【０００８】
また、前記識別待ち画像から目標車両の複数の領域分割結果を取得するステップは、領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップを含んでもよい。
【０００９】
また、前記第１のニューラルネットワークは、第１の特徴抽出層と、前記第１の特徴抽出層の端部に接続される第１の計算層とを有し、その内に、領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップは、前記第１の特徴抽出層によって前記識別待ち画像に対して特徴抽出を行い、前記目標車両の複数のキーポイントを取得するステップと、前記第１の計算層によって、前記複数のキーポイントを分類して複数のキーポイントクラスタを取得し、複数の前記キーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数の前記キーポイントクラスタに対応する領域分割結果を取得するステップとを含んでもよい。
【００１０】
また、前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するステップを含んでもよい。
【００１１】
また、前記第２のニューラルネットワークは、第１の処理サブネットと、前記第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、その内に、前記第１の処理サブネットは、第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、前記第２の処理サブネットは、前記第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有する。
【００１２】
また、前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、前記第２の特徴抽出層によって前記識別待ち画像に対して畳み込み演算及びプーリング操作を行い、前記目標車両のグローバル特徴マップを取得するステップと、前記第１の起動モジュールによって前記グローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、前記目標車両の第１の特徴マップ集合を取得するステップと、前記第１のプーリング層によって前記第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、前記目標車両のグローバル特徴ベクトルを取得するステップと、を含んでもよい。
【００１３】
また、前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行い、前記複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するステップと、前記第２の起動モジュールによって複数の前記領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の前記領域分割結果に対応する第２の特徴マップ集合を取得するステップと、前記第２のプーリング層によって複数の前記領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の前記領域分割結果に対応する第１の領域特徴ベクトルを取得するステップと、を更に含んでもよい。
【００１４】
また、前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行う前に、前記方法は、前記第２の計算層によって前記複数の領域分割結果のそれぞれを前記グローバル特徴マップのサイズと同じサイズまでスケーリングするステップを更に含んでもよい。
【００１５】
また、前記グローバル特徴データと複数の前記領域特徴データとを融合する前記ステップは、特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップを含んでもよい。
【００１６】
また、前記第３のニューラルネットワークは、前記第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有し、その内に、前記特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップは、前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得するステップと、前記第３の計算層によって前記重み値に基づいて複数の前記第１の領域特徴ベクトルに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するステップと、前記第２の完全接続層によって複数の前記第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、前記目標車両の外観特徴ベクトルを取得するステップと、を含んでもよい。
【００１７】
また、前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得する前記ステップは、複数の前記第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得するステップと、前記第１の完全接続層によって前記ステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の前記第１の領域特徴ベクトルに対応するスカラーの集合を取得するステップと、前記集合中のスカラーに対して正規化操作を行い、複数の前記第１の領域特徴ベクトルの重み値を取得するステップと、を含んでもよい。
【００１８】
また、前記第１の特徴抽出層は砂時計型ネットワーク構造であってもよい。
【００１９】
本願の実施例の第２の態様によれば、車両検索方法を提供する。前記方法は、本願の実施例の第１の態様に記載の方法によって検索待ち画像中の目標車両の外観特徴データを取得するステップと、選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するステップと、を含む。
【００２０】
また、前記選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するステップは、前記目標車両の外観特徴ベクトルと前記選択待ち車両画像ライブラリの中の複数の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離をそれぞれ決定するステップと、前記コサイン距離に基づいて前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含んでもよい。
【００２１】
また、前記方法は、前記検索待ち画像の撮影時間及び／又は撮影位置、及び前記複数の前記選択待ち車両画像の撮影時間及び／又は撮影位置を取得するステップと、前記撮影時間及び／又は前記撮影位置によって前記目標車両と前記複数の前記選択待ち車両画像中の車両との時空間距離を決定するステップと、前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を更に含んでもよい。
【００２２】
また、前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定する前記ステップは、前記コサイン距離に基づいて前記選択待ち車両画像ライブラリの中から複数の前記選択待ち車両画像を取得するステップと、それぞれ前記選択待ち車両画像の撮影時間及び撮影位置に基づいて、前記選択待ち車両画像と前記目標車両との時空間マッチイング確率を決定するステップと、前記コサイン距離及び前記時空間マッチイング確率に基づいて、前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含んでもよい。
【００２３】
本願の実施例の第３の態様によれば、車両外観特徴識別装置を提供する。前記装置は、識別待ち画像から目標車両の複数の領域分割結果を取得するための第１の取得モジュールと、前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するための抽出モジュールと、前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するための融合モジュールと、を備える。
【００２４】
また、前記複数の領域分割結果はそれぞれ、前記目標車両の異なる方位の領域に対応してもよい。
【００２５】
また、前記複数の領域分割結果は、前記目標車両の前側、後側、左側及び右側の分割結果を含んでもよい。
【００２６】
また、前記第１の取得モジュールは、領域抽出用の第１のニューラルネットワークによって、前記識別待ち画像から前記目標車両の複数の領域分割結果を取得するための取得サブモジュールを含んでもよい。
【００２７】
また、前記第１のニューラルネットワークは、第１の特徴抽出層と、前記第１の特徴抽出層の端部に接続される第１の計算層とを有し、その内に、前記取得サブモジュールは、前記第１の特徴抽出層によって前記識別待ち画像に対して特徴抽出を行い、前記目標車両の複数のキーポイントを取得し、前記第１の計算層によって、前記複数のキーポイントを分類して複数のキーポイントクラスタを取得し、複数の前記キーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数の前記キーポイントクラスタに対応する領域分割結果を取得するために用いられてもよい。
【００２８】
また、前記抽出モジュールは、前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するための抽出サブモジュールを含んでもよい。
【００２９】
また、前記第２のニューラルネットワークは、第１の処理サブネットと、前記第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、その内に、前記第１の処理サブネットは、第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、前記第２の処理サブネットは、前記第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有してもよい。
【００３０】
また、前記抽出サブモジュールは、前記第２の特徴抽出層によって前記識別待ち画像に対して畳み込み演算及びプーリング操作を行い、前記目標車両のグローバル特徴マップを取得するための第１の特徴抽出ユニットと、前記第１の起動モジュールによって前記グローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、前記目標車両の第１の特徴マップ集合を取得するための第２の特徴抽出ユニットと、前記第１のプーリング層によって前記第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、前記目標車両のグローバル特徴ベクトルを取得するための第１のプーリングユニットと、を含んでもよい。
【００３１】
また、前記抽出サブモジュールは、前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行い、前記複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するための第１の計算ユニットと、前記第２の起動モジュールによって複数の前記領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の前記領域分割結果に対応する第２の特徴マップ集合を取得するための第３の特徴抽出ユニットと、前記第２のプーリング層によって複数の前記領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の前記領域分割結果に対応する第１の領域特徴ベクトルを取得するための第２のプーリングユニットと、を更に含んでもよい。
【００３２】
また、前記抽出サブモジュールは、前記第２の計算層によって前記複数の領域分割結果のそれぞれを前記グローバル特徴マップのサイズと同じサイズまでスケーリングするための第２の計算ユニットを更に含んでもよい。
【００３３】
また、前記融合モジュールは、特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するための融合サブモジュールを含んでもよい。
【００３４】
また、前記第３のニューラルネットワークは、前記第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有し、その内に、前記融合サブモジュールは、前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得するための第１の取得ユニットと、前記第３の計算層によって前記重み値に基づいて複数の前記第１の領域特徴ベクトルに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するための第３の計算ユニットと、前記第２の完全接続層によって複数の前記第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、前記目標車両の外観特徴ベクトルを取得するためのマッピングユニットと、を含んでもよい。
【００３５】
また、前記第１の取得ユニットは、複数の前記第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得し、前記第１の完全接続層によって前記ステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の前記第１の領域特徴ベクトルに対応するスカラーの集合を取得し、前記集合中の複数のスカラーに対して正規化操作を行い、複数の前記第１の領域特徴ベクトルの重み値を取得するために用いられてもよい。
【００３６】
また、前記第１の特徴抽出層は砂時計型ネットワーク構造であってもよい。
【００３７】
本願の実施例の第４の態様によれば、車両検索装置を提供する。前記装置は、本願の実施例の第３の態様に記載の装置を用いて検索待ち画像中の目標車両の外観特徴データを取得するための第２の取得モジュールと、選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するための検索モジュールと、を含む。
【００３８】
また、前記検索モジュールは、前記目標車両の外観特徴ベクトルのそれぞれと前記選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定し、前記コサイン距離に基づいて前記目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられてもよい。
【００３９】
また、前記装置は、前記検索待ち画像の撮影時間及び／又は撮影位置、及び前記複数の前記選択待ち車両画像の撮影時間及び／又は撮影位置を取得するための第３の取得モジュールと、前記撮影時間及び／又は前記撮影位置によって前記目標車両と前記複数の前記選択待ち車両画像中の車両との時空間距離を決定するための第１の決定モジュールと、前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定するための第２の決定モジュールと、を更に含んでもよい。
【００４０】
また、前記第２の決定モジュールは、前記コサイン距離に基づいて前記選択待ち車両画像ライブラリの中から複数の前記選択待ち車両画像を取得し、それぞれ前記選択待ち車両画像の撮影時間及び撮影位置に基づいて、前記選択待ち車両画像と前記目標車両との時空間マッチイング確率を決定し、前記コサイン距離及び前記時空間マッチイング確率に基づいて、前記目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられてもよい。
【００４１】
本願の実施例の第５の態様によれば、コンピュータプログラムコマンドが記憶され、前記プログラムコマンドをプロセッサーで実行する時に本願の実施例の第１の態様に記載の車両外観特徴識別方法を実現するコンピュータ可読記憶媒体を提供する。
【００４２】
本願の実施例の第６の態様によれば、コンピュータプログラムコマンドが記憶され、前記プログラムコマンドをプロセッサーで実行する時に本願の実施例の第２の態様に記載の車両検索方法を実現するコンピュータ可読記憶媒体を提供する。
【００４３】
本願の実施例の第７の態様によれば、第１のプロセッサーと、第１のメモリと、第１の通信デバイスと第１の通信バスとを備え、前記第１のプロセッサー、前記第１のメモリ及び前記第１の通信デバイスが前記第１の通信バスを介して互いに通信し、前記第１のメモリが少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第１のプロセッサーに本願の実施例の第１の態様に記載の車両外観特徴識別方法を実行させる電子デバイスを提供する。
【００４４】
本願の実施例の第８の態様によれば、第２のプロセッサーと、第２のメモリと、第２の通信デバイスと第２の通信バスとを備え、前記第２のプロセッサー、前記第２のメモリ及び前記第２の通信デバイスが前記第２の通信バスを介して互いに通信し、前記第２のメモリが少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第２のプロセッサーに本願の実施例の第２の態様に記載の車両検索方法を実行させる電子デバイスを提供する。
【００４５】
本願の実施例の車両外観特徴識別方法によれば、識別待ち画像から目標車両の複数の領域分割結果を取得し、そして前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出して、前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するものであり、本願の実施例の車両外観特徴識別方法は、従来技術における車両外観特徴の取得方法に比べて、本願の実施例で識別して得られた車両外観特徴にはグローバル特徴に加えて更に車両外観のローカル領域の特徴を含み得るので、ローカル領域特徴によって目標車両の細部情報を表し、より正確に車両の外観を表すことができる。また、本願の実施例で識別して得られた車両外観特徴によって異なる車両画像中の車両外観特徴を直接比較することができ、異なる車両画像間の異なる領域を比較できない問題を解決する。
【００４６】
以下、図面及び実施例を通じて本願の技術手段をさらに詳しく説明する。
【図面の簡単な説明】
【００４７】
【図１】本願の車両外観特徴識別方法による一実施例のフローチャートである。
【図２】本願の車両外観特徴識別方法による別の実施例のフローチャートである。
【図３】図２の方法実施例を実施する車両キーポイントの分布の模式図である。
【図４】図２の方法実施例を実施するネットワークフレームの模式図である。
【図５】図２の方法実施例を実施する車両領域分割結果の模式図である。
【図６】図２の方法実施例を実施する車両領域の重み値の模式図である。
【図７】本願の車両検索方法による一実施例のフローチャートである。
【図８】本願の車両検索方法による別の実施例のフローチャートである。
【図９】図８の方法実施例を実施する車両の類似距離の模式図である。
【図１０】本願の車両外観特徴識別装置による一実施例の構造模式図である。
【図１１】本願の車両外観特徴識別装置による別の実施例の構造模式図である。
【図１２】本願の車両検索装置による一実施例の構造模式図である。
【図１３】本願の車両検索装置による別の実施例の構造模式図である。
【図１４】本願の実施例の端末機器またはサーバを実現するのに適した電子デバイスの一実施例の構造模式図である。
【図１５】本願の実施例の端末機器またはサーバを実現するのに適した電子デバイスの別の実施例の構造模式図である。
【発明を実施するための形態】
【００４８】
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
【００４９】
図面を参照して、以下の詳細な説明からより明確に本願を理解することができる。
【００５０】
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材およびステップの相対的配置、数式および値は本願の範囲を限定するものではないことに注意すべきである。
【００５１】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００５２】
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願およびその適用または使用へのなんらの制限にもならない。
【００５３】
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。
【００５４】
なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００５５】
本願の実施例は端末機器、コンピュータシステム、サーバなどの電子デバイスに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末機器、コンピュータシステム、サーバなどの電子デバイスとの併用に適する公知の端末機器、計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサーに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび前記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【００５６】
端末機器、コンピュータシステム、サーバなどの電子デバイスはコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記載できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでもよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。
【００５７】
図１は本願の車両外観特徴識別方法による一実施例のフローチャートである。
【００５８】
図１を参照して、ステップＳ１０１では、識別待ち画像から目標車両の複数の領域分割結果を取得する。
【００５９】
本実施例では、画像に含まれる内容から見て、識別待ち画像は目標車両の一部を含む画像であっても、目標車両全体を含む画像等であってもよい。画像の種類から見て、識別待ち画像は撮影された静止画像、ビデオフレームシーケンス中のビデオ画像、合成画像等であってもよい。複数領域分割結果は、それぞれ、目標車両の異なる方位の領域に対応する。また、複数の領域分割結果は、目標車両の前側、後側、左側及び右側の分割結果を含むが、これらに限定されない。勿論、本願の実施例では、複数の領域分割結果は、目標車両の前側、後側、左側及び右側の４つの領域の分割結果を含むのに限定されない。例えば、複数の領域分割結果は、目標車両の前側、後側、左側、右側、上面及び下面の６つの領域の分割結果を含んでも良く、複数の領域分割結果は、目標車両の正前、正後、正左、正右、左前、右前、左後及び右後の８つの領域の分割結果を含んでもよい。その内に、領域分割結果は単一チャンネルのウェイトマップであり、領域分割結果中の値の大きさは、識別待ち画像中の対応位置の重要度を示し、即ち、領域分割結果中の値が大きいほど識別待ち画像中の対応位置の重要度が高く、領域分割結果中の値が小さいほど識別待ち画像中の対応位置の重要度が低いことを示す。
【００６０】
任意選択的な一例では、該ステップＳ１０１は、メモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、またはプロセッサーによって実現される第１の取得モジュール５０１によって実行されてもよい。
【００６１】
ステップＳ１０２では、複数の領域分割結果に基づき、識別待ち画像からグローバル特徴データと複数の領域特徴データを抽出する。
【００６２】
その内に、グローバル特徴データと複数の領域特徴データは、目標車両のグローバル特徴データ及び複数の領域特徴データであり、グローバル特徴データはベクトルによって表されるグローバル特徴であり得、領域特徴データはベクトルによって表される領域特徴であり得る。
【００６３】
任意選択的な一例では、該ステップＳ１０２はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される抽出モジュール５０２によって実行されてもよい。
【００６４】
ステップＳ１０３では、グローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得する。
【００６５】
その内に、グローバル特徴データと領域特徴データの両方がベクトルによって表される場合に、グローバル特徴ベクトルの次元は領域特徴ベクトルの次元と同じである。目標車両の外観特徴データは、目標車両の複数のローカル領域の特徴と目標車両のグローバル領域の特徴とを含む。
【００６６】
任意選択的な一例では、該ステップＳ１０３はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される融合モジュール５０３によって実行されてもよい。
【００６７】
本実施例の車両外観特徴識別方法によれば、識別待ち画像から目標車両の複数の領域分割結果を取得し、そして前記複数の領域分割結果に基づいて、識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出して、前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するものであり、本実施例の車両外観特徴識別方法は、従来技術における車両外観特徴の取得方法に比べて、本実施例で識別して得られた車両外観特徴にはグローバル特徴に加えて更に車両外観のローカル領域の特徴を含み得るので、ローカル領域特徴によって目標車両の細部情報を表し、より正確に車両の外観を表すことができる。また、本実施例で識別して得られた車両外観特徴によって異なる車両画像中の車両外観特徴を直接比較することができ、異なる車両画像間の異なる領域を比較できない問題を解決する。
【００６８】
本実施例の車両外観特徴識別方法はデータ処理能力を有する任意の適切な機器、例えば端末機器やサーバ等よって実行されてもよいが、ここに限定されない。
【００６９】
図２は本願の車両外観特徴識別方法による別の実施例のフローチャートである。
【００７０】
図２を参照して、ステップＳ２０１では、領域抽出用の第１のニューラルネットワークによって、識別待ち画像から目標車両の複数の領域分割結果を取得する。
【００７１】
任意選択的な一例では、該ステップＳ２０１はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される取得サブモジュール６０１１によって実行されてもよい。
【００７２】
その内に、第１のニューラルネットワークは領域抽出または目標対象識別を実現可能な任意の適切なニューラルネットワークであれば良く、例えば畳み込みニューラルネットワーク、強化学習ニューラルネットワーク、アンチニューラルネットワーク中の生成ネットワーク等を含むが、これらに限定されない。ニューラルネットワークにおける構造の設置は、畳み込み層の層数、畳み込みカーネルのサイズ、チャンネル数などの実際の必要性に従って当業者によって適切に設定することができ、これは本願の実施例に限定されない。本願の実施例では、第１のニューラルネットワークは、第１の特徴抽出層と、第１の特徴抽出層の端部に接続される第１の計算層とを有する。
【００７３】
また、該ステップＳ２０１は、第１の特徴抽出層によって識別待ち画像に対して特徴抽出を行い、目標車両の複数のキーポイントを取得するステップと、第１の計算層によって複数のキーポイントを分類し、複数のキーポイントクラスタを取得し、かつ複数のキーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数のキーポイントクラスタに対応する領域分割結果を取得するステップと、を含む。
【００７４】
車両は単色であり、いくつかの車両のクロマトグラムは非常に類似しているので、車両の色から区別することは困難である。本実施例は、車両のキーポイントに基づき車両の領域特徴を抽出する。このようにして、車両の細部の特徴の多くは領域特徴によって良く表されることができる。本実施例中の車両キーポイントは、車両の境界点またはコーナー点ではなく、車両上の著しく異なる位置または車輪、照明器具、ロゴ、リアミラー、ナンバープレートなどの車両の主要構成部品である。図３は図２の方法実施例を実施する車両キーポイントの分布の模式図である。図３に示すように、本実施例中の車両キーポイントは、車両の左前輪１、左後輪２、右前輪３、右後輪４、右防曇灯５、左防曇灯６、右フロントヘッドライト７、左フロントヘッドライト８、フロントカーロゴ９、フロントナンバープレート１０、左リアミラー１１、右リアミラー１２、ルーフの右前角１３、ルーフの左前角１４、ルーフの左後角１５、ルーフの右後角１６、左テールライト１７、右テールライト１８、後部カーロゴ１９、及び後部ナンバープレート２０を含む。これにより、車両の細部の特徴は領域特徴によって表され、より正確に車両の外観を表すことができる。
【００７５】
任意選択的な実施形態では、第１の特徴抽出層は、入力した車両画像中の２０個の車両キーポイントのうちの車両キーポイントに対して特徴抽出を行い、複数の車両キーポイントの応答特徴マップを取得する。その内に、第１の特徴抽出層は砂時計型ネットワーク構造であり得る。該ステップを実行する前に、該第１の特徴抽出層をトレーニングする必要がある。第１の特徴抽出層のトレーニング過程は、マークされた車両キーポイントの目標応答特徴マップをマークされたキーポイント位置の周囲のガウスカーネルとして設計し、次にマークされた車両キーポイントを含む車両画像を第１の特徴抽出層に入力し、第１の特徴抽出層の予測結果が目標ガウスカーネルに近いかどうかを判定し、目標ガウスカーネルに近づかない場合に、予測結果と目標ガウスカーネルの相違に応じて第１の特徴抽出層のパラメータを調整し、反復学習を繰り返すことである。その内に、第１の特徴抽出層によりマークの車両キーポイントに対する予測結果はマークされた車両キーポイントの応答特徴マップに対応するガウスカーネルであり、予測結果と目標ガウスカーネルの相違はクロスエントロピーであり得る。図４は図２の方法実施例を実施するネットワークフレームの模式図である。図４に示すように、第１のニューラルネットワーク（ａ）中のマーカー回帰機器は第１の特徴抽出層の表現形式である。
【００７６】
本実施例では、特定の角度で撮影された車両画像中の車両にいくつかの見えない領域がよくある。目に見えない車両キーポイントの問題を対処するために、車両キーポイント間の幾何学的関係を十分に利用して、２０個の車両キーポイントを４つのクラスタ、例えば、Ｃ１＝［５、６、７、８、９、１０、１３、１４］、Ｃ２＝［１５、１６、１７、１８、１９、２０］、Ｃ３＝［１、２、６、８、１１、１４、１５、１７］及びＣ４＝［３、４、５、７、１２、１３、１６、１８］に割り当て、図４の（ａ）に示すように、４つのクラスタ中の車両キーポイントは、それぞれ車両の正面、背面、左側及び右側に対応し、そして複数のクラスタ中のキーポイントの特徴マップを融合し、車両の正面分割結果、背面分割結果、左側分割結果及び右側分割結果を取得する。
【００７７】
図５は図２の方法実施例を実施する車両領域分割結果の模式図である。図５に示すように、左側が順に３つの車両画像であり、右側が順にそれぞれの車両画像の正面分割結果、背面分割結果、左側分割結果及び右側分割結果であり、図から分かるように、一般に車両画像中の車両不可視領域の分割結果よりも車両可視領域の分割結果がより高い応答を有し、これは、第１の特徴抽出層が車両キーポイントを予測できるだけでなく、不可視車両キーポイントから可視車両キーポイントを分けられる。
【００７８】
ステップＳ２０２では、複数の領域分割結果に基づき、特徴抽出用の第２のニューラルネットワークによって識別待ち画像中から目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する。
【００７９】
任意選択的な一例では、該ステップＳ２０２はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される抽出サブモジュール６０２１によって実行されてもよい。
【００８０】
その内に、第２のニューラルネットワークは特徴抽出または目標対象識別を実現できる任意の適切なニューラルネットワークであれば良く、例えば畳み込みニューラルネットワーク、強化学習ニューラルネットワーク、アンチニューラルネットワーク中の生成ネットワーク等を含むが、これらに限定されない。ニューラルネットワークにおける構造の設置は、畳み込み層の層数、畳み込みカーネルのサイズ、チャンネル数などの実際の必要性に従って当業者によって適切に設定することができ、これは本願の実施例に限定されない。本実施例では、第２のニューラルネットワークは、第１の処理サブネットと、それぞれ第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、その内に、第１の処理サブネットは第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、第２の処理サブネットは第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有する。その内に、第２の特徴抽出層は３つの畳み込み層と２つの起動モジュール（Ｉｎｃｅｐｔｉｏｎ  Ｍｏｄｕｌｅ）を有し、起動モジュールは畳み込み演算及びプーリング操作を実行することができる。
【００８１】
また、該ステップＳ２０２は、第２の特徴抽出層によって識別待ち画像に対して畳み込み演算及びプーリング操作を行い、目標車両のグローバル特徴マップを取得するステップと、第１の起動モジュールによってグローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、目標車両の第１の特徴マップ集合を取得するステップと、第１のプーリング層によって第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、目標車両のグローバル特徴ベクトルを取得するステップと、を含む。
【００８２】
任意選択的な実施形態では、まず識別待ち画像のサイズが１９２＊１９２になるように識別待ち画像をスケーリングし、その後スケーリングした画像を３つの畳み込み層と２つの起動モジュールからなる第２の特徴抽出層に入力し、第２の特徴抽出層によってスケーリングした画像に対して畳み込み演算及びプーリング操作を行い、空間サイズが１２＊１２であるグローバル特徴マップを取得する。そして、第１の起動モジュールによってグローバル特徴マップに対して再度畳み込み演算及びプーリング操作を行い、空間サイズが６＊６である特徴マップの集合を取得する。最後に、第１のプーリング層によって集合中の特徴マップに対してグローバル平均プーリング操作を行い、１５３６次元のグローバル特徴ベクトルを取得する。
【００８３】
また、該ステップＳ２０２は、第２の計算層によって複数の領域分割結果のそれぞれとグローバル特徴マップとを点乗算を行い、複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するステップと、第２の起動モジュールによって複数の領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の領域分割結果に対応する第２の特徴マップ集合を取得するステップと、第２のプーリング層によって複数の領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の領域分割結果に対応する第１の領域特徴ベクトルを取得するステップと、を更に含む。
【００８４】
また、第２の計算層によって複数の領域分割結果のそれぞれとグローバル特徴マップとを点乗算を行う前に、方法は、第２の計算層によって複数の領域分割結果のそれぞれをグローバル特徴マップのサイズと同じサイズまでスケーリングするステップを更に含む。これにより、最後に取得した領域特徴ベクトルの次元とグローバル特徴ベクトルの次元とが同じであることを確保できる。
【００８５】
任意選択的な実施形態では、まず車両の正面分割結果、背面分割結果、左側分割結果及び右側分割結果のそれぞれをグローバル特徴マップのサイズと同じサイズ、即ち１２＊１２のサイズまでスケーリングする。その後、スケーリングした正面分割結果、背面分割結果、左側分割結果及び右側分割結果のそれぞれとグローバル特徴マップとを点乗算を行い、車両の正面特徴マップ、背面特徴マップ、左側特徴マップ及び右側特徴マップを取得する。また、その後第２の起動モジュールによって車両の正面特徴マップ、背面特徴マップ、左側特徴マップ及び右側特徴マップのそれぞれに対して畳み込み演算及びプーリング操作を行い、ローカル特徴マップのそれぞれに対応する特徴マップ集合を取得し、該特徴マップ集合中の特徴マップの空間サイズが６＊６である。最後に、第２のプーリング層によって複数のローカル特徴マップに対応する特徴マップ集合中の特徴マップのそれぞれに対してグローバル最大プーリング操作を行い、車両の正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルを取得し、且つローカル領域の特徴ベクトルの次元がすべて１５３６次元である。複数のローカル特徴マップに対応する特徴マップ集合中の特徴マップのそれぞれに対してグローバル最大プーリング操作を行うのは、最大応答が１つのローカル領域から特徴を抽出するのにより適しているからである。
【００８６】
図４の（ｂ）部分に示すように、第２のニューラルネットワークを２段階に分けられ、グローバル特徴とローカル特徴はトランク及びブランチ形式でそれぞれ抽出されて得るものである。その内に、第１の段階は、識別待ち画像に対して畳み込み演算及びプーリング操作を行い、識別待ち画像のグローバル特徴マップを取得する。第２の段階は、５つのブランチ、１つのグローバルブランチと４つのローカル領域ブランチを含む。その内に、グローバルブランチは、グローバル特徴マップに対して上記の実施例のような処理を行い、グローバル特徴ベクトルを取得し、ローカル領域ブランチは、グローバル特徴マップを参照して指定された領域分割結果に対してそれぞれ上記の実施例のような処理を行い、対応するローカル特徴ベクトルを取得する。
【００８７】
ステップＳ２０３では、特徴融合用の第３のニューラルネットワークによって目標車両のグローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得する。
【００８８】
任意選択的な一例では、該ステップＳ２０３はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される融合サブモジュール６０３１によって実行されてもよい。
【００８９】
その内に、第３のニューラルネットワークは特徴融合を実現可能な任意の適切なニューラルネットワークであれば良く、例えば畳み込みニューラルネットワーク、強化学習ニューラルネットワーク、アンチニューラルネットワーク中の生成ネットワーク等を含むが、これらに限定されない。ニューラルネットワークにおける構造の設置は、畳み込み層の層数、畳み込みカーネルのサイズ、チャンネル数などの実際の必要性に従って当業者によって適切に設定することができ、これは本願の実施例に限定されない。本実施例では、第３のニューラルネットワークは第２のニューラルネットワークの複数の出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有する。
【００９０】
また、該ステップＳ２０３は、第１の完全接続層によって複数の第１の領域特徴ベクトルの重み値を取得するステップと、第３の計算層によって重み値に基づき、複数の第１の領域特徴ベクトルのそれぞれを重み付け、対応する複数の第２の領域特徴ベクトルを取得するステップと、第２の完全接続層によって複数の第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、目標車両の外観特徴ベクトルを取得するステップと、を含む。
【００９１】
また、第１の完全接続層によって複数の第１の領域特徴ベクトルの重み値を取得するステップは、複数の第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得するステップと、第１の完全接続層によってステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、第１の領域特徴ベクトルに対応するスカラーの集合を取得するステップと、集合中の少なくとも１つのスカラーに対して正規化操作を行い、第１の領域特徴ベクトルの重み値を取得するステップと、を含む。
【００９２】
任意選択的な実施形態では、以下の操作を含む。
【００９３】
車両の正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルに対してステッチ操作を行い、その後ステッチされた正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルを第１の完全接続層に入力し、第１の完全接続層によってこれらの４つの特徴ベクトルに対してマッピング操作を行い、スカラー集合を取得する。
【００９４】
Ｓｏｆｔｍａｘ関数によってスカラー集合中のスカラーに対して正規化操作を行い、正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルの重み値をそれぞれ取得する。
【００９５】
対応する重み値に基づいて正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルのそれぞれに対して重み付けを行い、重み付けられた正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルを取得する。
【００９６】
重み付けられた正面特徴ベクトル、背面特徴ベクトル、左側特徴ベクトル及び右側特徴ベクトルとグローバル特徴ベクトルに対してステッチ操作を行う。
【００９７】
第２の完全接続層によってステッチされた重み付けローカル特徴ベクトルとグローバル特徴ベクトルに対してマッピング操作を行い、図４の（ｃ）部分に示すように、２５６次元の車両外観特徴ベクトルを取得する。
【００９８】
特徴の融合過程中に、第３のニューラルネットワークは学習により異なる車両領域の特徴ベクトルの重み値を取得する。異なる車両領域の特徴は異なる重要度を有し、車両画像中の車両可視領域の特徴はより大きな重みが保持されるか与えられ得るが、車両画像中の車両不可視領域の特徴は競合過程中において排除されるか小さな重みが与えられる。例えば、車両画像中の車両の向きは左前方であり、車両の左側及び前側が見えるので、これら２つの面の特徴は相対的に重要であり、対応する特徴ベクトルの重み値は相対的に大きく、該車両の後側及び右側が見えないので、これらの２つの面の特徴を抽出できるが、この２の面の特徴ベクトルの重み値が相対的に小さい。このようにして、車両画像中の車両可視領域の車両キーポイントは最後の車両外観特徴ベクトル対する貢献がより高く、車両画像中の車両不可視領域の車両キーポイントは相対的に小さな重み値により最後の車両外観特徴ベクトルに対する影響が低減される。これにより、より正確に車両の外観を表すことができる。
【００９９】
図６は図２の方法実施例を実施する車両領域の重み値の模式図である。図６に示すように、（ａ）部分は入力された１つの車両の３つ異なる角度で撮影された画像、及びそれぞれの角度で撮影された画像中の車両正面、車両背面、車両左側および車両右側の重み値を示し、（ｂ）部分は集合中から選択された車両画像の車両外観特徴の２次元空間での試験投影結果を示し、（ｃ）部分は入力されたもう１つの車両の３つの異なる角度で撮影された画像、及びそれぞれの角度で撮影された画像中の車両正面、車両背面、車両左側および車両右側の重み値を示す。図から分かるように、車両画像の撮影角度を問わず、同じ車両の外観特徴を集計することができる。従って、本実施例で識別して得られた車両外観特徴は識別する車両画像の撮影角度とは関係なく、異なる車両画像中の車両外観特徴を直接比較することができ、異なる車両画像間の異なる領域を比較できない問題を解決する。また、図の（ａ）部分と（ｃ）部分に入力された車両画像と対応する２つのクラスタの学習重みを示し、これらの学習重みに基づき車両外観のローカル領域特徴を融合し、車両画像中の車両不可視面の重み値よりも車両可視面の重み値がやや高いことが分かる。
【０１００】
尚、選択可能なトレーニング戦略を採用して第２のニューラルネットワークと第３のニューラルネットワークをトレーニングすることができ、該トレーニング戦略は、以下の４つのステップを含む。（ｉ）第２のニューラルネットワークの第１の段階のトランクネットワークと第２の段階のグローバルブランチはランダム初期化からトレーニングされ、すべての画像領域のグローバル特徴によって監視される。（ｉｉ）第１の段階のトランクネットワークのトレーニングが完了した後、第２の段階のグローバルブランチとローカルブランチとが同じ構造を有するので、第２の段階のグローバルブランチの初期化パラメータを使用して第２の段階の４つのローカルブランチをトレーニングすることができる。また、４つのローカルブランチのトレーニングは所与の分類ラベルによって別々に監視される。（ｉｉｉ）第１の段階のトランクネットワーク及び第２の段階のブランチのトレーニングが完了した後、第３のニューラルネットワークをトレーニングする。（ｉｖ）上記のステップを通じて学習されたパラメータを有するニューラルネットワークを初期化し、且つパラメータを組み合わせて微調整する。第２のニューラルネットワーク及び第３のニューラルネットワークをトレーニングする時に、既存の車両データベース及びＳｏｆｔｍａｘ分類損失を使用することができる。
【０１０１】
任意の選択可能な応用では、本実施例で識別して得られた車両外観特徴は、車両を表すためだけでなく、例えば粗分化車型、細分化車型、車両の色などの車両属性を分析するためにも用いられ、また本実施例で識別して得られた車両外観特徴を利用して車両の分類、識別及び検索を行うことができる。
【０１０２】
本実施例の車両外観特徴識別方法によれば、領域抽出用の第１のニューラルネットワークによって、識別待ち画像から目標車両の複数の領域分割結果を取得し、その後複数の領域分割結果に基づき、特徴抽出用の第２のニューラルネットワークによって識別待ち画像から目標車両のグローバル特徴データ及び複数の領域特徴データを抽出し、また特徴融合用の第３のニューラルネットワークによって目標車両のグローバル特徴データと複数の領域特徴データを融合して、目標車両の外観特徴データを取得するので、本実施例の車両外観特徴識別方法は、従来技術における車両外観特徴の取得方法に比べて、本実施例で識別して得られた車両外観特徴はグローバル特徴に加えて車両外観のローカル領域の特徴を含み、ローカル領域特徴によって目標車両の細部情報を示し、より正確に車両の外観を表すことができる。また、本実施例で識別して得られた車両外観特徴によって、異なる車両画像中の車両外観特徴を直接比較でき、異なる車両画像間の異なる領域を比較できない問題を解決する。
【０１０３】
本実施例の車両外観特徴識別方法はデータ処理能力を有する任意の適切な機器、例えば端末機器やサーバ等よって実行されてもよいが、ここに限定されない。
【０１０４】
図７は本願の車両検索方法による一実施例のフローチャートである。
【０１０５】
図７を参照して、ステップＳ３０１では、車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得する。
【０１０６】
本実施例では、上記の実施例１または上記の実施例２で提供された車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得することができる。その内に、外観特徴データはベクトルによって示されたデータであり得る。画像に含まれる内容から見て、検索待ち画像は目標車両の一部を含む画像であっても良く、目標車両全体を含む画像等であってもよい。画像の種類から見て、検索待ち画像は撮影された静止画像、ビデオフレームシーケンス中のビデオ画像、または合成画像等であってもよい。
【０１０７】
任意選択的な一例では、該ステップＳ３０１はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される第２の取得モジュール７０１によって実行されてもよい。
【０１０８】
ステップＳ３０２では、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索する。
【０１０９】
任意選択的な一例では、該ステップＳ３０２はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される検索モジュール７０２によって実行されてもよい。
【０１１０】
任意選択的な実施形態では、上記の実施例１または上記の実施例２で提供された車両外観特徴識別方法によって選択待ち車両画像ライブラリ中の複数の選択待ち車両画像中の車両の外観特徴データを取得し、目標車両の外観特徴データのそれぞれを選択待ち車両画像中の車両の外観特徴データと比較して、目標車両の外観特徴データにマッチイングする目標選択待ち車両画像を取得することができる。
【０１１１】
本願の例示的な実施例の目的は、上記の実施例１または上記の実施例２で提供された車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索することによって、車両検索の精度を向上させる車両検索方法を提供することである。
【０１１２】
本実施例の車両検索方法はデータ処理能力を有する任意の適切な機器、例えば端末機器やサーバ等よって実行されてもよいが、ここに限定されない。
【０１１３】
図８は本願の車両検索方法による別の実施例のフローチャートである。
【０１１４】
図８を参照して、ステップＳ４０１では、車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得する。
【０１１５】
任意選択的な一例では、該ステップＳ４０１はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される第２の取得モジュール８０４によって実行されてもよい。
【０１１６】
該ステップＳ４０１は、上記のステップＳ３０１と同じであるため、ここで詳細な説明は繰り返さない。
【０１１７】
ステップＳ４０２では、目標車両の外観特徴ベクトルのそれぞれと選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定する。
【０１１８】
任意選択的な一例では、該ステップＳ４０２はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される検索モジュール８０５によって実行されてもよい。
【０１１９】
本実施例では、当業者は、既存のコサイン距離計算式に従って目標車両の外観特徴ベクトルのそれぞれと選択待ち車両画像中の車両の外観特徴ベクトルとのコサイン距離を算出することができる。
【０１２０】
ステップＳ４０３では、コサイン距離に基づき目標車両にマッチイングする目標選択待ち車両画像を決定する。
【０１２１】
任意選択的な一例では、該ステップＳ４０３はメモリに記憶した対応するコマンドを呼び出すプロセッサーによって実行されてもよく、プロセッサーによって実現される検索モジュール８０５によって実行されてもよい。
【０１２２】
任意選択的な実施形態では、目標車両の外観特徴ベクトルと選択待ち車両画像中の車両の外観特徴ベクトルとのコサイン距離が第１の予設閾値以上である時に、該選択待ち車両画像を目標車両にマッチイングする目標選択待ち車両画像として決定することができる。その内に、当業者は試験によって第１の予設閾値を得ることができる。勿論、本願の実施例はこれに限定されない。
【０１２３】
また、方法は、検索待ち画像の撮影時間及び／又は撮影位置及び複数の選択待ち車両画像の撮影時間及び／又は撮影位置を取得するステップと、撮影時間及び／又は撮影位置に基づいて目標車両と複数の選択待ち車両画像中の車両との時空間距離を決定するステップと、コサイン距離及び時空間距離に基づいて選択待ち車両画像ライブラリ中の目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を更に含む。これにより、車両検索の精度をさらに向上させることができる。
【０１２４】
また、コサイン距離及び時空間距離に基づいて選択待ち車両画像ライブラリ中の目標車両にマッチイングする目標選択待ち車両画像を決定するステップは、コサイン距離に基づいて選択待ち車両画像ライブラリ中から複数の選択待ち車両画像を取得するステップと、選択待ち車両画像の撮影時間及び撮影位置を基づいて、選択待ち車両画像と目標車両の時空間マッチイング確率をそれぞれ決定するステップと、コサイン距離及び時空間マッチイング確率に基づいて、目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含む。
【０１２５】
その内に、車両画像の時空間情報は、車両検索の再現率を大幅に向上させることができる。検索する車両画像の撮影時間と撮影位置が分かっていれば、統計的モデル化により、車両画像における別の時間及び別の場所における車両の出現確率を求めることができる。これは検索タスクに非常に効果的である。その内に、時空間マッチイング確率は、選択待ち車両画像と目標車両画像の撮影時間及び撮影位置とによって決定される。要するに、時空間マッチイング確率とは、選択待ち車両画像の撮影時間及び撮影位置における目標車両の出現確率であり、それは車両画像の撮影時間及び撮影位置に応じて統計的モデル化されたものである。また、時空間マッチイング確率とは、２つのカメラ間の車両遷移時間間隔の条件付き確率であり、以下の式１によって算出することができる。
【０１２６】
実際の応用シーンでは、特に外観が個人用の装飾なしで同じ外装を有する場合、車両の外観特徴は他の車両から車両を区別するのに十分でないかもしれない。しかしながら、モニタリング応用では、車両画像の撮影時間及び撮影位置は容易に入手可能である。この２つのカメラ間の車両遷移時間間隔を分析することによって、本願の発明者は、少なくとも１対のカメラについて、車両遷移時間間隔が確率分布を満たすランダム変数としてシミュレートすることができることを見だした。車両遷移時間間隔のガウス様及びロングテール特性のために、対数正規分布を使用してこのランダム変数をシミュレートすることができる。車両がカメラから離れることを
2020520512.tif 000003
とし、車両がカメラに入ることを
2020520512.tif 000004
とすると、
2020520512.tif 000005
と
2020520512.tif 000006
間の車両遷移時間間隔
2020520512.tif 000007
の条件付き確率が以下の式１によって算出される。
【０１２７】
2020520512.tif 000008
式１
ただし、
2020520512.tif 000009
は各カメラ対
2020520512.tif 000010
の推定パラメータをそれぞれ示し、車両遷移時間間隔
2020520512.tif 000011
は２つの車両画像の撮影時間の絶対値であり、推定パラメータは以下の対数尤度関数を最大化して算出される。
2020520512.tif 000012
ただし、
2020520512.tif 000013
はトレーニング集合からサンプリングされた各カメラ対
2020520512.tif 000014
の２つのカメラ間の車両遷移時間間隔を示し、
2020520512.tif 000015
はトレーニング集合中の２つのカメラ間の車両遷移時間間隔のサンプルを含む。
【０１２８】
2020520512.tif 000016
と
2020520512.tif 000017
間の車両遷移時間間隔
2020520512.tif 000018
の条件付き確率を得た後、以下の式２によって２つの車両画像間の車両の時空間距離を算出することができる。
【０１２９】
2020520512.tif 000019
式２
ただし、条件付き確率が高いほど、２つの車両画像間の車両の時空間距離が小さくなる。
【０１３０】
最後に、以下の式３によって２つの車両画像間の類似距離を算出することができる。
2020520512.tif 000020
式３
ただし、Ｄａは２つの車両画像間の車両外観特徴ベクトルのコサイン距離を示し、Ｄｓは２つの車両画像間の車両の時空間距離を示し、Ｄは２つの車両画像間の車両の類似距離を示し、αのサイズは２であり、βのサイズは０．１である。その内に、２つの車両画像間の車両の類似距離が小さいほど、２つの車両画像間の車両が類似している。
【０１３１】
目標車両と選択待ち車両画像中の車両の類似距離が第２の予設閾値以下である時に、該選択待ち車両画像を目標車両にマッチイングする目標選択待ち車両画像として決定することができる。その内に、当業者は試験によって第２の予設閾値を得ることができる。勿論、本願の実施例はこれに限定されない。
【０１３２】
図９は図８の方法実施例を実施する車両の類似距離の模式図である。図９に示すように、上方の第１段のボックス中の画像は、コサイン距離に応じてソートされた上から５段目の選択待ち車両画像であり、上方の第１段の最も左の画像は目標車両の画像であり、下方の一段の画像は選択待ち車両画像と目標車両画像の時空間距離に基づき並べ替えて得られた結果である。また、式１によって、目標車両画像と選択待ち車両画像の撮影時間値及び目標車両画像と選択待ち車両画像の撮影カメラの番号に従って車両遷移時間間隔の条件付き確率を算出する。その後、式２によって車両遷移時間間隔の条件付き確率に基づき目標車両画像と選択待ち車両画像間の車両の時空間距離を算出し、さらに式３によって既知のコサイン距離及び算出された時空間距離に基づいて目標車両画像と選択待ち車両画像間の車両の類似距離を算出する。最後に、目標車両画像と選択待ち車両画像間の車両の類似距離に基づき選択待ち車両画像のソート結果を並べ替え、選択待ち車両画像の並べ替え結果を取得する。
【０１３３】
本願の例示的な実施例の目的は、上記の実施例１または上記の実施例２で提供された車両外観特徴識別方法によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索することによって、車両検索の精度を向上させることができる車両検索方法を提出することである。
【０１３４】
本実施例の車両検索方法は、データ処理能力を有する任意の適切な機器、例えば端末機器やサーバ等よって実行されてもよいが、ここに限定されない。あるいは、本願の実施例によって提供される任意の方法は、プロセッサーで実行され、例えばプロセッサーによってメモリに記憶した対応のコマンドを呼び出し本願の実施例で提供される任意の方法を実行することができる。以下で詳細な説明は繰り返さない。
【０１３５】
当業者であれば、上記の方法実施例を実現するステップの全部または一部をプログラムコマンドに関連するハードウェアを使用して実施することがきることを理解すべきであり、プログラムがコンピュータ可読記憶媒体中に記憶され得、該プログラムを実行する時に、上記方法実施例を含むステップを実行し、前記の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能な各種媒体を含む。
【０１３６】
同様の技術的思想に基づいて、図１０は本願の車両外観特徴識別装置による一実施例の構造模式図である。実施例１のような車両外観特徴識別方法のフローを実施するために用いられる。
【０１３７】
図１０を参照して、該車両外観特徴識別装置は第１の取得モジュール５０１、抽出モジュール５０２、及び融合モジュール５０３を含む。
【０１３８】
第１の取得モジュール５０１は、識別待ち画像から目標車両の複数の領域分割結果を取得するために用いられる。
【０１３９】
抽出モジュール５０２は、複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出するために用いられる。
【０１４０】
融合モジュール５０３は、グローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得するために用いられる。
【０１４１】
本実施例で提供される車両外観特徴識別装置によって、目標車両を含む識別待ち画像中から、目標車両の複数の領域分割結果を取得し、その後複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出し、グローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得し、本実施例で識別して得られた車両外観特徴は車両外観のローカル領域の特徴を含むので、より正確に車両の外観を表すことができる。また、本実施例で識別して得られた車両外観特徴によって異なる車両画像中の車両外観特徴を直接比較でき、異なる車両画像間の異なる領域を比較できない問題を解決する。
【０１４２】
同様の技術的思想に基づいて、図１１は本願の車両外観特徴識別装置による別の実施例の構造模式図である。実施例２のような車両外観特徴識別方法のフローを実施することに用いられる。
【０１４３】
図１１を参照して、該車両外観特徴識別装置は、第１の取得モジュール６０１、抽出モジュール６０２、及び融合モジュール６０３を含む。その内に、第１の取得モジュール６０１は、識別待ち画像から目標車両の複数の領域分割結果を取得するために用いられ、抽出モジュール６０２は、複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出するために用いられ、融合モジュール６０３は、グローバル特徴データと複数の領域特徴データを融合し、目標車両の外観特徴データを取得するために用いられる。
【０１４４】
また、複数の領域分割結果はそれぞれ目標車両の異なる方位の領域に対応してもよい。
【０１４５】
また、複数の領域分割結果は目標車両の前側、後側、左側及び右側の分割結果を含んでもよい。
【０１４６】
また、第１の取得モジュール６０１は、領域抽出用の第１のニューラルネットワークによって識別待ち画像中から目標車両の複数の領域分割結果を取得するための取得サブモジュール６０１１を含んでもよい。
【０１４７】
また、第１のニューラルネットワークは、第１の特徴抽出層と、第１の特徴抽出層の端部に接続される第１の計算層を有し、その内に、取得サブモジュール６０１１は、第１の特徴抽出層によって識別待ち画像に対して特徴抽出を行い、目標車両の複数のキーポイントを取得し、第１の計算層によって複数のキーポイントを分類し、複数のキーポイントクラスタを取得し、そして複数のキーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数のキーポイントクラスタに対応する領域分割結果を取得するために用いられてもよい。
【０１４８】
また、抽出モジュール６０２は、複数の領域分割結果に基づき、特徴抽出用の第２のニューラルネットワークによって識別待ち画像中から目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するための抽出サブモジュール６０２１を含んでもよい。
【０１４９】
また、第２のニューラルネットワークは、第１の処理サブネットと、第１の処理サブネットの出力端にそれぞれ接続される複数の第２の処理サブネットを有し、その内に、第１の処理サブネットは第２の特徴抽出層、第１の起動モジュール、及び第１のプーリング層を有し、第２の処理サブネットは、第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール、及び第２のプーリング層を有しても良い。
【０１５０】
また、抽出サブモジュール６０２１は、第２の特徴抽出層によって識別待ち画像に対して畳み込み演算及びプーリング操作を行い、目標車両のグローバル特徴マップを取得するための第１の特徴抽出ユニット６０２２と、第１の起動モジュールによってグローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、目標車両の第１の特徴マップ集合を取得するための第２の特徴抽出ユニット６０２３と、第１のプーリング層によって第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、目標車両のグローバル特徴ベクトルを取得するための第１のプーリングユニット６０２４と、を含んでもよい。
【０１５１】
また、抽出サブモジュール６０２１は、第２の計算層によって複数の領域分割結果とそれぞれグローバル特徴マップとを点乗算を行い、複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するための第１の計算ユニット６０２６と、第２の起動モジュールによって複数の領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の領域分割結果に対応する第２の特徴マップ集合を取得するための第３の特徴抽出ユニット６０２７と、第２のプーリング層によって複数の領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の領域分割結果に対応する第１の領域特徴ベクトルを取得するための第２のプーリングユニット６０２８と、を更に含んでもよい。
【０１５２】
また、抽出サブモジュール６０２１は、第２の計算層によって複数の領域分割結果のそれぞれをグローバル特徴マップのサイズと同じサイズまでスケーリングするための第２の計算ユニット６０２５を更に含んでもよい。
【０１５３】
また、融合モジュール６０３は、特徴融合用の第３のニューラルネットワークによって目標車両のグローバル特徴データと複数の領域特徴データを融合するための融合サブモジュール６０３１を含んでもよい。
【０１５４】
また、第３のニューラルネットワークは、第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層、及び第２の完全接続層を有し、その内に、融合サブモジュール６０３１は、第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得するための第１の取得ユニット６０３２と、第３の計算層によって重み値に基づいて複数の第１の領域特徴ベクトルのそれぞれに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するための第３の計算ユニット６０３３と、第２の完全接続層によって複数の第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、目標車両の外観特徴ベクトルを取得するためのマッピングユニット６０３４と、を含んでもよい。
【０１５５】
また、第１の取得ユニット６０３２は、複数の第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得し、第１の完全接続層によってステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の第１の領域特徴ベクトルに対応するスカラーの集合を取得し、集合中の複数のスカラーに対して正規化操作を行い、複数の第１の領域特徴ベクトルの重み値を取得するために用いられてもよい。
【０１５６】
また、第１の特徴抽出層は砂時計型ネットワーク構造であってもよい。
【０１５７】
なお、本願の実施例によって提供される車両外観特徴識別装置の具体的な内容については、本願の実施例によって提供される車両外観特徴識別方法において詳細に説明したので、ここでは説明を省略する。
【０１５８】
同様の技術的思想に基づいて、図１２は本願の車両検索装置による一実施例の構造模式図である。実施例３のような車両検索方法のフローを実施するために用いられる。
【０１５９】
図１２を参照して、該車両検索装置は、第２の取得モジュール７０１と、検索モジュール７０２とを含む。
【０１６０】
第２の取得モジュール７０１は、実施例５または実施例６の装置を使用して検索待ち画像中から目標車両の外観特徴データを取得するために用いられる。
【０１６１】
検索モジュール７０２は、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索するために用いられる。
【０１６２】
本願の例示的な実施例の目的は、上記の実施例５または上記の実施例６で提供される車両外観特徴識別装置によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索することによって、車両検索の精度を向上させることができる車両検索装置を提出することである。
【０１６３】
同様の技術的思想に基づいて、図１３は本願の車両検索装置による別の実施例の構造模式図である。実施例４のような車両検索方法のフローを実施するために用いられる。
【０１６４】
図１３を参照して、該車両検索装置は、第２の取得モジュール８０４と検索モジュール８０５とを含む。第２の取得モジュール８０４は、実施例５または実施例６の装置によって検索待ち画像中の目標車両の外観特徴データを取得するために用いられ、検索モジュール８０５は、選択待ち車両画像ライブラリ中から外観特徴データにマッチイングする目標選択待ち車両画像を検索するために用いられる。
【０１６５】
また、検索モジュール８０５は、目標車両の外観特徴ベクトルのそれぞれと選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定し、コサイン距離に基づき目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられてもよい。
【０１６６】
また、本実施例装置は、検索待ち画像の撮影時間及び／又は撮影位置及び複数の選択待ち車両画像の撮影時間及び／又は撮影位置を取得するための第３の取得モジュール８０１と、撮影時間及び／又は撮影位置に基づき目標車両と複数の選択待ち車両画像中の車両との時空間距離を決定するための第１の決定モジュール８０２と、コサイン距離及び時空間距離に基づき選択待ち車両画像ライブラリ中の目標車両にマッチイングする目標選択待ち車両画像を決定するための第２の決定モジュール８０３と、を更に含んでもよい。
【０１６７】
また、第２の決定モジュール８０３は、コサイン距離に基づき、選択待ち車両画像ライブラリ中から複数の選択待ち車両画像を取得し、それぞれ選択待ち車両画像の撮影時間及び撮影位置に基づき、選択待ち車両画像と目標車両の時空間マッチイング確率を決定し、コサイン距離及び時空間マッチイング確率に基づいて、目標車両にマッチイングする目標選択待ち車両画像を決定するために用いられてもよい。
【０１６８】
なお、本願の実施例により提供される車両検索装置の具体的な内容については、本願の実施例によって提供される車両検索方法において詳細に説明したので、ここでは説明は繰り返されない。
【０１６９】
本願の実施例は、電子デバイス、例えば携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバ等を更に提供する。以下、図１４を参照して、それは本願の実施例の端末機器またはサーバを実現するのに適する電子デバイス９００の一実施例の構造模式図である。図１４に示すように、電子デバイス９００は、１つまたは複数の第１のプロセッサーと、第１の通信デバイス等を含み、１つまたは複数の第１のプロセッサーは例えば１つまたは複数の中央処理ユニット（ＣＰＵ）９０１、及び／又は１つまたは複数の画像プロセッサー（ＧＰＵ）９１３等であり、第１のプロセッサーは、読み取り専用メモリ（ＲＯＭ）９０２に記憶した実行可能コマンドまたは記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされた実行可能コマンドを実行することによって、各種の適当な動作及び処理を実行することができる。本実施例では、読み取り専用メモリ９０２とランダムアクセスメモリ９０３とをまとめて第１のメモリと呼ぶ。第１の通信デバイスは、通信アセンブル９１２及び／又は通信インタフェース９０９を含む。その内に、通信アセンブル９１２は、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むネットワークカードを含むが、これに限定されなく、通信インタフェース９０９は、ＬＡＮカード、モデムなどのようなネットワークインタフェースカードを含む通信インタフェースであり、通信インタフェース９０９はインターネットのようなネットワークを介して通信処理を行う。
【０１７０】
第１のプロセッサーは、読み取り専用メモリ９０２及び／又はランダムアクセスメモリ９０３と通信して実行可能コマンドを実行し、第１の通信バス９０４を介して通信アセンブル９１２と接続され、通信アセンブル９１２を介して他のターゲットデバイスと通信し得、本願の実施例によって提供されるいずれかの車両外観特徴識別方法に対応する操作を行い、例えば、識別待ち画像から目標車両の複数の領域分割結果を取得し、複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出し、グローバル特徴データと複数の領域特徴データを融合して、目標車両の外観特徴データを取得する。
【０１７１】
また、ＲＡＭ９０３には、装置の動作に必要な各種プログラムやデータを格納することができる。ＣＰＵ９０１またはＧＰＵ９１３、ＲＯＭ９０２及びＲＡＭ９０３は、第１の通信バス９０４を介して相互に接続される。ＲＡＭ９０３を有する場合に、ＲＯＭ９０２は任意選択のモジュールである。ＲＡＭ９０３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ９０２に書き込み、実行可能コマンドによって第１のプロセッサーに上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース９０５も第１の通信バス９０４に接続される。通信アセンブル９１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
【０１７２】
キーボード、マウス等を含む入力部９０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）等及びスピーカ等を含む出力部９０７と、ハードディスク等を含む記憶部９０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信インタフェース９０９などがＩ／Ｏインタフェース９０５に接続されている。ドライブ９１０も必要に応じてＩ／Ｏインタフェース９０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体９１１は、必要に応じてドライブ９１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部９０８にインストールする。
【０１７３】
なお、図１４に示す構造は任意選択的な一実施例に過ぎず、具体的な実践では、実際の必要に応じて上記の図１４の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置の実施例を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信デバイスは分離設置してもよく、またＣＰＵまたはＧＰＵに統合してもよいことである。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
【０１７４】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法を実行するステップに対応するコマンド、例えば識別待ち画像から目標車両の複数の領域分割結果を取得し、複数の領域分割結果に基づき、識別待ち画像中からグローバル特徴データ及び複数の領域特徴データを抽出し、グローバル特徴データと複数の領域特徴データを融合して、目標車両の外観特徴データを取得する。このような実施例では、該コンピュータプログラムは通信デバイスを介してネットワークからダウンロード及びでき、及び／又はリムーバブル媒体９１１からインストールできる。第１のプロセッサーは該コンピュータプログラムを実行する時、本願の実施例の方法に特定された上記機能を実行する。
【０１７５】
本願の実施例はさらに、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどの電子デバイスを提供する。以下、図１５を参照して、それは本願の実施例の端末機器またはサーバを実現するのに適する電子デバイス１０００の別の実施例の構造模式図である。図１５に示すように、電子デバイス１０００は、１つまたは複数の第２のプロセッサー、第２の通信デバイス等を含み、前記１つまたは複数の第２のプロセッサーは、例えば１つまたは複数の中央処理ユニット（ＣＰＵ）１００１、及び／又は１つまたは複数の画像プロセッサー（ＧＰＵ）１０１３等であり、第２のプロセッサーは読み取り専用メモリ（ＲＯＭ）１００２に記憶した実行可能コマンドまたは記憶部１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードした実行可能コマンドによって各種の適当な動作及び処理を実行することができる。本実施例では、第２の読み取り専用メモリ１００２とランダムアクセスメモリ１００３とをまとめて第２のメモリと呼ぶ。第２の通信デバイスは通信アセンブル１０１２及び／又は通信インタフェース１００９を含む。その内に、通信アセンブル１０１２はＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むネットワークカードを含むが、これに限定されなく、通信インタフェース１００９はＬＡＮカード、モデム等のネットワークインタフェースカードを含む通信インタフェースであり、通信インタフェース１００９はインターネットのようなネットワークを介して通信処理を行う。
【０１７６】
第２のプロセッサーは、読み取り専用メモリ１００２及び／又はランダムアクセスメモリ１００３と通信して実行可能コマンドを実行し、第２の通信バス１００４を介して通信アセンブル１０１２と接続され、通信アセンブル１０１２を介して他のターゲットデバイスと通信し得、本願の実施例によって提供されるいずれかの車両検索方法に対応する操作を行い、例えば、上記の実施例１または実施例２に記載の方法によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索する。
【０１７７】
また、ＲＡＭ１００３には、装置の動作に必要な各種プログラムやデータを格納することができる。ＣＰＵ１００１またはＧＰＵ１０１３、ＲＯＭ１００２及びＲＡＭ１００３は、第２の通信バス１００４を介して相互に接続される。ＲＡＭ１００３を有する場合に、ＲＯＭ１００２は任意選択のモジュールである。ＲＡＭ１００３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ１００２に書き込み、実行可能コマンドによって第２のプロセッサーに上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース１００５も第２の通信バス１００４に接続される。通信アセンブル１０１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
【０１７８】
キーボード、マウス等を含む入力部１００６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）等及びスピーカ等を含む出力部１００７と、ハードディスク等を含む記憶部１００８と、ＬＡＮカード、モデム等のネットワークインタフェースカードを含む通信インタフェース１００９などがＩ／Ｏインタフェース１００５に接続されている。ドライブ１０１０も必要に応じてＩ／Ｏインタフェース１００５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体１０１１は、必要に応じてドライブ１０１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部１００８にインストールする。
【０１７９】
なお、図１５に示す構造は任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記の図１５の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置の実施例を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信デバイスは分離設置してもよく、またＣＰＵまたはＧＰＵに統合してもよいことである。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。
【０１８０】
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法を実行するステップに対応するコマンド、例えば、上記の実施例１または実施例２に記載の方法によって検索待ち画像中の目標車両の外観特徴データを取得し、選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索する。このような実施例では、該コンピュータプログラムは通信デバイスを介してネットワークからダウンロード及びでき、及び／又はリムーバブル媒体１０１１からインストールできる。第２のプロセッサーは該コンピュータプログラムを実行する時、本願の実施例の方法に特定された上記機能を実行する。
【０１８１】
なお、本願の実施例の目的を実現するために、実施の必要に応じて、本願に記載の各部材／ステップをより多くの部件／ステップに分割しても良く、２つ以上の部材／ステップまたは部材／ステップの一部操作を新しい部材／ステップに組合わせてもよい。
【０１８２】
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明を参照すればよい。
【０１８３】
本願の方法および装置は、いくつかの方法で実施することができる。例えば、本願の方法および装置は、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせで実現できる。前記方法のステップの上記順序は説明のためのものであり、本願の方法のステップは特に明記しない限り、上記で具体的に説明された順序に限定されない。さらに、いくつの実施例では、本願は記録媒体に記録されたプログラムとして実施され得、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムを記録した記録媒体も包含する。
【０１８４】
本願の説明は、全部ではなく、一部の例示及び説明のために提示されたものであり、本願はこれらに限定されない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者は本願を理解して特定用途に適した各種修正を加えた各種実施例を設計可能にするように選択され説明されたものである。
【図１】
2020520512.tif 000021
【図２】
2020520512.tif 000022
【図３】
2020520512.tif 000023
【図４】
2020520512.tif 000024
【図５】
2020520512.tif 000025
【図６】
2020520512.tif 000026
【図７】
2020520512.tif 000027
【図８】
2020520512.tif 000028
【図９】
2020520512.tif 000029
【図１０】
2020520512.tif 000030
【図１１】
2020520512.tif 000031
【図１２】
2020520512.tif 000032
【図１３】
2020520512.tif 000033
【図１４】
2020520512.tif 000034
【図１５】
2020520512.tif 000035
【手続補正書】
【提出日】令和1年11月11日(2019.11.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
識別待ち画像から目標車両の複数の領域分割結果を取得するステップと、
前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するステップと、
前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するステップと、を含むことを特徴とする車両外観特徴識別方法。
【請求項２】
前記複数の領域分割結果はそれぞれ、前記目標車両の異なる方位の領域に対応することを特徴とする請求項１に記載の方法。
【請求項３】
前記複数の領域分割結果は、前記目標車両の前側、後側、左側及び右側の分割結果を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記識別待ち画像から目標車両の複数の領域分割結果を取得するステップは、
領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップを含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記第１のニューラルネットワークは、第１の特徴抽出層と、前記第１の特徴抽出層の端部に接続される第１の計算層とを有し、
領域抽出用の第１のニューラルネットワークによって、識別待ち画像から前記目標車両の複数の領域分割結果を取得するステップは、
前記第１の特徴抽出層によって前記識別待ち画像に対して特徴抽出を行い、前記目標車両の複数のキーポイントを取得するステップと、
前記第１の計算層によって前記複数のキーポイントを分類し、複数のキーポイントクラスタを取得し、且つ複数の前記キーポイントクラスタ中のキーポイントの特徴マップをそれぞれ融合し、複数の前記キーポイントクラスタに対応する領域分割結果を取得するステップと、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、
前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出するステップを含むことを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記第２のニューラルネットワークは、第１の処理サブネットと、前記第１の処理サブネットの出力端に接続される複数の第２の処理サブネットとを有し、
前記第１の処理サブネットは、第２の特徴抽出層、第１の起動モジュール及び第１のプーリング層を有し、前記第２の処理サブネットは、前記第１の処理サブネットの出力端に接続される第２の計算層、第２の起動モジュール及び第２のプーリング層を有することを特徴とする請求項６に記載の方法。
【請求項８】
前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、
前記第２の特徴抽出層によって前記識別待ち画像に対して畳み込み演算及びプーリング操作を行い、前記目標車両のグローバル特徴マップを取得するステップと、
前記第１の起動モジュールによって前記グローバル特徴マップに対して畳み込み演算及びプーリング操作を行い、前記目標車両の第１の特徴マップ集合を取得するステップと、
前記第１のプーリング層によって前記第１の特徴マップ集合中の特徴マップに対してプーリング操作を行い、前記目標車両のグローバル特徴ベクトルを取得するステップと、を含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記複数の領域分割結果に基づいて、特徴抽出用の第２のニューラルネットワークによって、前記識別待ち画像から前記目標車両のグローバル特徴データ及び複数の領域特徴データを抽出する前記ステップは、
前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行い、前記複数の領域分割結果のそれぞれに対応するローカル特徴マップを取得するステップと、
前記第２の起動モジュールによって複数の前記領域分割結果のローカル特徴マップに対して畳み込み演算及びプーリング操作を行い、複数の前記領域分割結果に対応する第２の特徴マップ集合を取得するステップと、
前記第２のプーリング層によって複数の前記領域分割結果の第２の特徴マップ集合に対してプーリング操作を行い、複数の前記領域分割結果に対応する第１の領域特徴ベクトルを取得するステップと、を更に含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記第２の計算層によって前記複数の領域分割結果のそれぞれと前記グローバル特徴マップとを点乗算を行う前に、前記方法は、更に
前記第２の計算層によって前記複数の領域分割結果のそれぞれを前記グローバル特徴マップのサイズと同じサイズまでスケーリングするステップを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記グローバル特徴データと複数の前記領域特徴データとを融合する前記ステップは、
特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップを含むことを特徴とする請求項１〜１０のいずれか１項に記載の方法。
【請求項１２】
前記第３のニューラルネットワークは、前記第２のニューラルネットワークの出力端に接続される第１の完全接続層、第３の計算層及び第２の完全接続層を有し、
前記特徴融合用の第３のニューラルネットワークによって前記目標車両のグローバル特徴データと複数の前記領域特徴データとを融合するステップは、
前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得するステップと、
前記第３の計算層によって前記重み値に基づいて複数の前記第１の領域特徴ベクトルに対して重み付けを行い、対応する複数の第２の領域特徴ベクトルを取得するステップと、
前記第２の完全接続層によって複数の前記第２の領域特徴ベクトル及びグローバル特徴ベクトルに対してマッピング操作を行い、前記目標車両の外観特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記第１の完全接続層によって第１の領域特徴ベクトルの重み値を取得する前記ステップは、
複数の前記第１の領域特徴ベクトルに対してステッチ操作を行い、ステッチされた第１の領域特徴ベクトルを取得するステップと、
前記第１の完全接続層によって前記ステッチされた第１の領域特徴ベクトルに対してマッピング操作を行い、複数の前記第１の領域特徴ベクトルに対応するスカラーの集合を取得するステップと、
前記集合中のスカラーに対して正規化操作を行い、複数の前記第１の領域特徴ベクトルの重み値を取得するステップと、を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記第１の特徴抽出層は砂時計型ネットワーク構造であることを特徴とする請求項５に記載の方法。
【請求項１５】
請求項１〜１４のいずれか１項に記載の方法によって検索待ち画像中の目標車両の外観特徴データを取得するステップと、
選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するステップと、を含むことを特徴とする車両検索方法。
【請求項１６】
選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索する前記ステップは、
前記目標車両の外観特徴ベクトルのそれぞれと前記選択待ち車両画像ライブラリ中の選択待ち車両画像の車両の外観特徴ベクトルとのコサイン距離を決定するステップと、
前記コサイン距離に基づいて前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記検索待ち画像の撮影時間及び／又は撮影位置、及び前記複数の前記選択待ち車両画像の撮影時間及び／又は撮影位置を取得するステップと、
前記撮影時間及び／又は前記撮影位置によって前記目標車両と前記複数の前記選択待ち車両画像中の車両との時空間距離を決定するステップと、
前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を更に含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記コサイン距離と前記時空間距離に基づいて前記選択待ち車両画像ライブラリ中の前記目標車両にマッチイングする目標選択待ち車両画像を決定する前記ステップは、
前記コサイン距離に基づいて前記選択待ち車両画像ライブラリの中から複数の前記選択待ち車両画像を取得するステップと、
それぞれ前記選択待ち車両画像の撮影時間及び撮影位置に基づいて、前記選択待ち車両画像と前記目標車両との時空間マッチイング確率を決定するステップと、
前記コサイン距離及び前記時空間マッチイング確率に基づいて、前記目標車両にマッチイングする目標選択待ち車両画像を決定するステップと、を含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
識別待ち画像から目標車両の複数の領域分割結果を取得するための第１の取得モジュールと、
前記複数の領域分割結果に基づいて、前記識別待ち画像からグローバル特徴データ及び複数の領域特徴データを抽出するための抽出モジュールと、
前記グローバル特徴データと複数の前記領域特徴データとを融合して前記目標車両の外観特徴データを取得するための融合モジュールと、を含むことを特徴とする車両外観特徴識別装置。
【請求項２０】
請求項１９に記載の装置によって検索待ち画像中の目標車両の外観特徴データを取得するための第２の取得モジュールと、
選択待ち車両画像ライブラリの中から、前記外観特徴データにマッチイングする目標選択待ち車両画像を検索するための検索モジュールと、を含むことを特徴とする車両検索装置。
【請求項２１】
コンピュータプログラムコマンドが記憶され、プロセッサーによって前記プログラムコマンドを実行する時に請求項１〜１４のいずれか１項に記載の車両外観特徴識別方法のステップを実現するコンピュータ可読記憶媒体。
【請求項２２】
コンピュータプログラムコマンドが記憶され、プロセッサーによって前記プログラムコマンドを実行する時に請求項１５〜１８のいずれか１項に記載の車両検索方法のステップを実現するコンピュータ可読記憶媒体。
【請求項２３】
第１のプロセッサーと、第１のメモリと、第１の通信デバイスと、第１の通信バスとを含み、前記第１のプロセッサー、前記第１のメモリ及び前記第１の通信デバイスは前記第１の通信バスを介して相互に通信を行い、
前記第１のメモリは少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第１のプロセッサーに請求項１〜１４のいずれか１項に記載の車両外観特徴識別方法のステップを実行させる電子デバイス。
【請求項２４】
第２のプロセッサーと、第２のメモリと、第２の通信デバイスと、第２の通信バスを含み、前記第２のプロセッサー、前記第２のメモリ及び前記第２の通信デバイスは前記第２の通信バスを介して相互に通信を行い、
前記第２のメモリは少なくとも１つの実行可能コマンドを記憶し、前記実行可能コマンドによって前記第２のプロセッサーに請求項１５〜１８のいずれか１項に記載の車両検索方法のステップを実行させる電子デバイス。
【国際調査報告】
2020520512.tif 000036
2020520512.tif 000037
2020520512.tif 000038
2020520512.tif 000039
2020520512.tif 000040