(57)【特許請求の範囲】
【請求項１】
マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するステップと、
前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを決定するステップと、
前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップと、を含むことを特徴とするターゲットのマッチング方法。
【請求項２】
検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップには、
第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの後に、
第１のサブニューラルネットワークの第１の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するステップを更に含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップには、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップと、
前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップには、
前記第２のサブニューラルネットワークの第２の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するステップと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記検索画像シーケンスの全体的特徴ベクトルを取得するステップと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するステップには、
前記第２のサブニューラルネットワークの第２の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記候補画像シーケンスの全体的特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップには、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第１の相関重みを取得するステップと、
前記検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項５に記載の方法。
【請求項８】
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップには、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第１の相関重みを取得するステップと、
前記候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記第１の相関重みは、前記第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含むことを特徴とする請求項７又は８に記載の方法。
【請求項１０】
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するステップには、
前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項３〜９のいずれか一項に記載の方法。
【請求項１１】
前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、
前記第３のサブニューラルネットワークの第３の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するステップと、
前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含み、
前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、
前記第３のサブニューラルネットワークの第３の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第２の相関重みを取得するステップと、
前記検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第２の相関重みを取得するステップと、
前記候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１１に記載の方法。
【請求項１４】
前記第２の相関重みは、前記第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含むことを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップには、
前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得するステップと、
前記候補画像シーケンスの自己表現特徴ベクトルと前記検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得するステップと、
前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップと、を含むことを特徴とする請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップには、
前記第１の差分ベクトルと前記第２の差分ベクトルの和を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するか、又は、
前記第１の差分ベクトルと前記第２の差分ベクトルとの対応位置の要素の積を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップには、
前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するステップと、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップと、を含むことを特徴とする請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するステップの後に、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するステップを更に含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
検索画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの前に、
検索映像を複数の検索画像シーケンスに分割するステップと、
候補映像を複数の候補画像シーケンスに分割するステップと、を更に含み、
前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップの後に、
前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップを更に含むことを特徴とする請求項１〜１８のいずれか一項に記載の方法。
【請求項２０】
検索映像を複数の検索画像シーケンスに分割するステップには、
所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するステップを含み、前記検索画像シーケンス長が前記所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しく、
候補映像を複数の候補画像シーケンスに分割するステップには、
所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するステップを含み、前記候補画像シーケンス長が前記所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しいことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップには、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアを決定するステップと、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、前記検索映像と前記候補映像のマッチングスコアを取得し、Ｎが正整数であるステップと、
前記検索映像と前記候補映像のマッチングスコアに基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップと、を含むことを特徴とする請求項１９又は２０に記載の方法。
【請求項２２】
ターゲットのマッチング装置であって、
前記ターゲットのマッチング装置内のモジュールが、請求項１〜２１のいずれか一項に記載の方法を実行するように構成される、
ことを特徴とするターゲットのマッチング装置。
【請求項２３】
請求項１〜２１のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
プロセッサでの実行可能コマンドを記憶するためのメモリと、を含むことを特徴とする電子機器。
【請求項２４】
コンピュータプログラムコマンドを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１〜２１のいずれか一項に記載の方法が実現されることを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１８年６月１５日に中国特許局に提出された、出願番号が２０１８１０６２１９５９．５であり、出願の名称が「ターゲットのマッチング方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本開示は、コンピュータビジョン技術に関し、特に、ターゲットのマッチング方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
ターゲットのマッチングとは、検索映像又は検索画像と同じターゲットを有するデータベース内の映像又は画像を返すことを指す。ターゲットのマッチング技術は、空港、駅、学校及びスーパーマーケット等の場所のセキュリティ監視システムに広く用いられている。関連技術において、ターゲットのマッチングの正確性が低い。
【発明の概要】
【０００４】
本開示は、ターゲットのマッチングの技術的手段を提供する。
【０００５】
本開示の一態様によれば、
マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するステップと、
前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを決定するステップと、
前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップと、を含むターゲットのマッチング方法を提供する。
【０００６】
可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップには、
第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップを含む。
【０００７】
可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの後に、前記方法は、
第１のサブニューラルネットワークの第１の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するステップを更に含む。
【０００８】
可能な一実施形態では、前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップには、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップと、
前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含む。
【０００９】
可能な一実施形態では、前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップには、
前記第２のサブニューラルネットワークの第２の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するステップと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記検索画像シーケンスの全体的特徴ベクトルを取得するステップと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含む。
【００１０】
可能な一実施形態では、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するステップには、
前記第２のサブニューラルネットワークの第２の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記候補画像シーケンスの全体的特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップと、を含む。
【００１１】
可能な一実施形態では、前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するステップには、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第１の相関重みを取得するステップと、
前記検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含む。
【００１２】
可能な一実施形態では、前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するステップには、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第１の相関重みを取得するステップと、
前記候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含む。
【００１３】
可能な一実施形態では、前記第１の相関重みは、前記第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。
【００１４】
可能な一実施形態では、前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するステップには、
前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。
【００１５】
可能な一実施形態では、前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、
前記第３のサブニューラルネットワークの第３の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するステップと、
前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含み、
前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、
前記第３のサブニューラルネットワークの第３の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するステップと、
前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。
【００１６】
可能な一実施形態では、前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第２の相関重みを取得するステップと、
前記検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。
【００１７】
可能な一実施形態では、前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第２の相関重みを取得するステップと、
前記候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。
【００１８】
可能な一実施形態では、前記第２の相関重みは、前記第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。
【００１９】
可能な一実施形態では、前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップには、
前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得するステップと、
前記候補画像シーケンスの自己表現特徴ベクトルと前記検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得するステップと、
前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップと、を含む。
【００２０】
可能な一実施形態では、前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップには、
前記第１の差分ベクトルと前記第２の差分ベクトルの和を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するか、又は、
前記第１の差分ベクトルと前記第２の差分ベクトルとの対応位置の要素の積を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するステップを含む。
【００２１】
可能な一実施形態では、前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップには、
前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するステップと、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップと、を含む。
【００２２】
可能な一実施形態では、前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するステップの後に、前記方法は、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するステップを更に含む。
【００２３】
可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの前に、前記方法は、
検索映像を複数の検索画像シーケンスに分割するステップと、
候補映像を複数の候補画像シーケンスに分割するステップと、を更に含み、
前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するステップの後に、前記方法は、
前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップを更に含む。
【００２４】
可能な一実施形態では、検索映像を複数の検索画像シーケンスに分割するステップには、
所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するステップを含み、前記検索画像シーケンス長が前記所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しく、
候補映像を複数の候補画像シーケンスに分割するステップには、
所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するステップを含み、前記候補画像シーケンス長が前記所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しい。
【００２５】
可能な一実施形態では、前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップには、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアを決定するステップと、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、前記検索映像と前記候補映像のマッチングスコアを取得し、Ｎが正整数であるステップと、
前記検索映像と前記候補映像のマッチングスコアに基づいて、前記検索映像と前記候補映像のマッチング結果を決定するステップと、を含む。
【００２６】
本開示の一態様によれば、
マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するための抽出モジュールと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルのそれぞれに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定モジュールと、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを決定し、前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを決定するための第２の決定モジュールと、
前記検索画像シーケンスの自己表現特徴ベクトル、前記検索画像シーケンスの協同表現特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスの協同表現特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを決定するための第３の決定モジュールと、
前記類似度特徴ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するための第４の決定モジュールと、を含むターゲットのマッチング装置を提供する。
【００２７】
可能な一実施形態では、前記抽出モジュールは、
第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するために用いられる。
【００２８】
可能な一実施形態では、前記装置は、
第１のサブニューラルネットワークの第１の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するための次元削減モジュールを更に含む。
【００２９】
可能な一実施形態では、前記第１の決定モジュールは、
前記検索画像シーケンスにおける各フレームの特徴ベクトルと前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記検索画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定サブモジュールと、
前記候補画像シーケンスにおける各フレームの特徴ベクトルと前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、前記候補画像シーケンスの自己表現特徴ベクトルを決定するための第２の決定サブモジュールと、を含む。
【００３０】
可能な一実施形態では、前記第１の決定サブモジュールは、
前記第２のサブニューラルネットワークの第２の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するための第１の次元削減ユニットと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記検索画像シーケンスの全体的特徴ベクトルを取得するための第１の平均プーリングユニットと、
前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記検索画像シーケンスの全体的特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定ユニットと、を含む。
【００３１】
可能な一実施形態では、前記第２の決定サブモジュールは、
前記第２のサブニューラルネットワークの第２の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するための第２の次元削減ユニットと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、前記候補画像シーケンスの全体的特徴ベクトルを取得するための第２の平均プーリングユニットと、
前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、前記候補画像シーケンスの全体的特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの自己表現特徴ベクトルを決定するための第２の決定ユニットと、を含む。
【００３２】
可能な一実施形態では、前記第１の決定ユニットは、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第１の相関重みを取得するための第１の計算サブユニットと、
前記検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの自己表現特徴ベクトルを取得するための第１の重み付けサブユニットと、を含む。
【００３３】
可能な一実施形態では、前記第２の決定ユニットは、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと前記候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第１の相関重みを取得するための第２の計算サブユニットと、
前記候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの自己表現特徴ベクトルを取得するための第２の重み付けサブユニットと、を含む。
【００３４】
可能な一実施形態では、前記第１の相関重みは、前記第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。
【００３５】
可能な一実施形態では、前記第２の決定モジュールは、
前記検索画像シーケンスにおける各フレームの特徴ベクトル、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の決定サブモジュールと、
前記候補画像シーケンスにおける各フレームの特徴ベクトル、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び前記検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の決定サブモジュールと、を含む。
【００３６】
可能な一実施形態では、前記第３の決定サブモジュールは、
前記第３のサブニューラルネットワークの第３の全結合層によって前記検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するための第３の次元削減ユニットと、
前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記候補画像シーケンスの自己表現特徴ベクトル及び前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の決定ユニットと、を含み、
前記第４の決定サブモジュールは、
前記第３のサブニューラルネットワークの第３の全結合層によって前記候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するための第４の次元削減ユニットと、
前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、前記検索画像シーケンスの自己表現特徴ベクトル及び前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、前記候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の決定ユニットと、を含む。
【００３７】
可能な一実施形態では、前記第３の決定ユニットは、
パラメータレス相関関数によって前記検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記検索画像シーケンスにおける各フレームの第２の相関重みを取得するための第３の計算サブユニットと、
前記検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の重み付けサブユニットと、を含む。
【００３８】
可能な一実施形態では、前記第４の決定ユニットは、
パラメータレス相関関数によって前記候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと前記検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、前記候補画像シーケンスにおける各フレームの第２の相関重みを取得するための第４の計算サブユニットと、
前記候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、前記候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、前記候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の重み付けサブユニットと、を含む。
【００３９】
可能な一実施形態では、前記第２の相関重みは、前記第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。
【００４０】
可能な一実施形態では、前記第３の決定モジュールは、
前記検索画像シーケンスの自己表現特徴ベクトルと前記候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得するための第１の計算サブモジュールと、
前記候補画像シーケンスの自己表現特徴ベクトルと前記検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得するための第２の計算サブモジュールと、
前記第１の差分ベクトルと前記第２の差分ベクトルに基づいて、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するための第５の決定サブモジュールと、を含む。
【００４１】
可能な一実施形態では、前記第５の決定サブモジュールは、
前記第１の差分ベクトルと前記第２の差分ベクトルの和を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するための第１の計算ユニット、又は、
前記第１の差分ベクトルと前記第２の差分ベクトルとの対応位置の要素の積を計算して、前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを取得するための第２の計算ユニットを含む。
【００４２】
可能な一実施形態では、前記第４の決定モジュールは、
前記検索画像シーケンスと前記候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアを取得するための第６の決定サブモジュールと、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、前記検索画像シーケンスと前記候補画像シーケンスのマッチング結果を決定するための第７の決定サブモジュールと、を含む。
【００４３】
可能な一実施形態では、前記装置は、
前記検索画像シーケンスと前記候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するための最適化モジュールを更に含む。
【００４４】
可能な一実施形態では、前記装置は、
検索映像を複数の検索画像シーケンスに分割するための第１の分割モジュールと、
候補映像を複数の候補画像シーケンスに分割するための第２の分割モジュールと、
前記検索映像の検索画像シーケンスと前記候補映像の候補画像シーケンスのマッチング結果に基づいて、前記検索映像と前記候補映像のマッチング結果を決定するための第５の決定モジュールと、を更に含む。
【００４５】
可能な一実施形態では、前記第１の分割モジュールは、
所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するために用いられ、前記検索画像シーケンス長が前記所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しく、
前記第２の分割モジュールは、
所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するために用いられ、前記候補画像シーケンス長が前記所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が前記所定シーケンス長と前記所定ステップ長の差分に等しい。
【００４６】
可能な一実施形態では、前記第５の決定モジュールは、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアを決定するための第８の決定サブモジュールと、
前記検索映像の各検索画像シーケンスと前記候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、前記検索映像と前記候補映像のマッチングスコアを取得するために用いられ、Ｎが正整数である第３の計算サブモジュールと、
前記検索映像と前記候補映像のマッチングスコアに基づいて、前記検索映像と前記候補映像のマッチング結果を決定するための第９の決定サブモジュールと、を含む。
【００４７】
本開示の一態様によれば、
上記ターゲットのマッチング方法を実行するように構成されるプロセッサと、
プロセッサでの実行可能コマンドを記憶するためのメモリと、を含む電子機器を提供する。
【００４８】
本開示の一態様によれば、コンピュータプログラムコマンドを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に上記ターゲットのマッチング方法が実現されるコンピュータ可読記憶媒体を提供する。
【００４９】
本開示の実施例では、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定し、類似度特徴ベクトルに基づいて検索画像シーケンスと候補画像シーケンスのマッチング結果を決定することによって、ターゲットのマッチングの正確性を高めることができる。
【００５０】
以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴及び態様は明瞭になる。
【図面の簡単な説明】
【００５１】
明細書に含まれ且つ明細書の一部を構成する図面は明細書と共に本開示の例示的な実施例、特徴及び態様を示し、更に本開示の原理を解釈するために用いられる。
【図１】本開示の実施例に係るターゲットのマッチング方法のフローチャートを示す。
【図２】本開示の実施例に係るターゲットのマッチング方法のステップＳ１２の例示的なフローチャートを示す。
【図３】本開示の実施例に係るターゲットのマッチング方法のステップＳ１２１の例示的なフローチャートを示す。
【図４】本開示の実施例に係るターゲットのマッチング方法のステップＳ１２２の例示的なフローチャートを示す。
【図５】本開示の実施例に係るターゲットのマッチング方法のステップＳ１２１３の例示的なフローチャートを示す。
【図６】本開示の実施例に係るターゲットのマッチング方法のステップＳ１２２３の例示的なフローチャートを示す。
【図７】本開示の実施例に係るターゲットのマッチング方法のステップＳ１３の例示的なフローチャートを示す。
【図８】本開示の実施例に係るターゲットのマッチング方法のステップＳ１３１の例示的なフローチャートを示す。
【図９】本開示の実施例に係るターゲットのマッチング方法のステップＳ１３２の例示的なフローチャートを示す。
【図１０】本開示の実施例に係るターゲットのマッチング方法のステップＳ１３１２の例示的なフローチャートを示す。
【図１１】本開示の実施例に係るターゲットのマッチング方法のステップＳ１３２２の例示的なフローチャートを示す。
【図１２】本開示の実施例に係るターゲットのマッチング方法のステップＳ１４の例示的なフローチャートを示す。
【図１３】本開示の実施例に係るターゲットのマッチング方法のステップＳ１５の例示的なフローチャートを示す。
【図１４】本開示の実施例に係るターゲットのマッチング方法の例示的なフローチャートを示す。
【図１５】本開示の実施例に係るターゲットのマッチング方法のステップＳ２８の例示的なフローチャートを示す。
【図１６】本開示の実施例に係るターゲットのマッチング装置のブロック図を示す。
【図１７】本開示の実施例に係るターゲットのマッチング装置の例示的なブロック図を示す。
【図１８】例示的な一実施例に基づいて示される電子機器８００のブロック図である。
【図１９】例示的な一実施例に基づいて示される電子機器１９００のブロック図である。
【発明を実施するための形態】
【００５２】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。
【００５３】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。
【００５４】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。
【００５５】
図１は本開示の実施例に係るターゲットのマッチング方法のフローチャートを示す。本開示の実施例は、映像の知能的解析又はセキュリティ監視等の分野に用いることができる。例えば、本開示の実施例は、通行人検出、通行人追跡等の技術と組み合わせて、空港や駅、学校、スーパーマーケット等の場所のセキュリティ監視システムに用いることができる。図１に示すように、該方法は、ステップＳ１１〜ステップＳ１５を含む。
【００５６】
ステップＳ１１では、マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出する。
【００５７】
本開示の実施例では、検索画像シーケンスは、ターゲットのマッチングを行おうとする画像シーケンスを指してよい。候補画像シーケンスは、データベースにおける画像シーケンスを指してよい。データベースは複数の候補画像シーケンスを含んでよく、例えば、データベースは大規模の候補画像シーケンスを含んでよい。本開示の実施例では、検索画像シーケンスは１つのマッチング待ちターゲットのみを含んでもよく、複数のマッチング待ちターゲットを含んでもよい。本開示の実施例における画像シーケンスは映像、ビデオクリップ又は他の画像シーケンスであってよい。
【００５８】
本開示の実施例では、検索画像シーケンスと候補画像シーケンスのフレーム数は異なっていてもよく、同じであってもよい。例えば、検索画像シーケンスは、Ｔフレーム（即ち、Ｔ個の画像）を含み、候補画像シーケンスはＲフレーム（即ち、Ｒ個の画像）を含み、ここで、ＴとＲがいずれも正整数である。
【００５９】
本開示の実施例では、検索画像シーケンスにおける各フレームの特徴ベクトルを抽出して、
0006883710.tif 000002
を取得し、ここで、
0006883710.tif 000003
は検索画像シーケンスにおけるｔ番目のフレームの特徴ベクトルを表し、
0006883710.tif 000004
であり、候補画像シーケンスにおける各フレームの特徴ベクトルを抽出して、
0006883710.tif 000005
を取得し、ここで、
0006883710.tif 000006
は候補画像シーケンスにおけるｒ番目のフレームの特徴ベクトルを表し、
0006883710.tif 000007
である。
【００６０】
可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するステップには、第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップを含む。例えば、第１のサブニューラルネットワークはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）であってよい。該実施形態では、同じパラメータの畳み込みニューラルネットワークを用いて検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出することができる。
【００６１】
可能な一実施形態では、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するステップの後に、該方法は、第１のサブニューラルネットワークの第１の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するステップを更に含む。例えば、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルは
0006883710.tif 000008
で表してよく、ここで、
0006883710.tif 000009
は検索画像シーケンスにおけるｔ番目のフレームの第１の次元削減特徴ベクトルを表し、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルは
0006883710.tif 000010
で表してよく、ここで、
0006883710.tif 000011
は候補画像シーケンスにおけるｒ番目のフレームの第１の次元削減特徴ベクトルを表す。例えば、検索画像シーケンスにおける各フレームの特徴ベクトルの次元数が２０４８次元であり、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルの次元数が１２８次元であり、候補画像シーケンスにおける各フレームの特徴ベクトルの次元数が２０４８次元であり、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルの次元数が１２８次元である。例えば、第１の全結合層はｆｃ−０で表してよい。
【００６２】
ステップＳ１２では、それぞれ検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルを決定する。
【００６３】
本開示の実施例では、検索画像シーケンスにおける各フレームの特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルを決定し、候補画像シーケンスにおける各フレームの特徴ベクトルに基づいて、候補画像シーケンスの自己表現特徴ベクトルを決定するようにしてよい。本開示の実施例では、検索画像シーケンスの自己表現特徴ベクトルは検索画像シーケンスの表現のみによって決定される特徴ベクトルを表してよく、即ち、検索画像シーケンスの自己表現特徴ベクトルは検索画像シーケンスの表現のみによって決定され、候補画像シーケンスの表現と無関係であり、また、候補画像シーケンスの自己表現特徴ベクトルは候補画像シーケンスの表現のみよって決定される特徴ベクトルを表してよく、即ち、候補画像シーケンスの自己表現特徴ベクトルは候補画像シーケンスの表現のみによって決定され、検索画像シーケンスの表現と無関係である。
【００６４】
ステップＳ１３では、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを決定し、候補画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを決定する。
【００６５】
本開示の実施例では、検索画像シーケンスの協同表現特徴ベクトルは検索画像シーケンスの表現と候補画像シーケンスの表現の両方によって決定される特徴ベクトルを表してよく、即ち、検索画像シーケンスの協同表現特徴ベクトルは検索画像シーケンスの表現と関係があるだけでなく、候補画像シーケンスの表現とも関係があり、また、候補画像シーケンスの協同表現特徴ベクトルは候補画像シーケンスの表現と検索画像シーケンスの表現の両方によって決定される特徴ベクトルを表してよく、即ち、候補画像シーケンスの協同表現特徴ベクトルは候補画像シーケンスの表現と関係があるだけでなく、検索画像シーケンスの表現とも関係がある。
【００６６】
ステップＳ１４では、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定する。
【００６７】
本開示の実施例では、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルは検索画像シーケンスと候補画像シーケンスの類似度を決定することに利用可能であり、それによって検索画像シーケンスと候補画像シーケンスがマッチング可能であるか否かを判断することに利用可能になる。
【００６８】
ステップＳ１５では、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定する。
【００６９】
本開示の実施例ではマッチング可能な２つの画像シーケンスは、異なる撮影視角で撮影された同一な人物の画像シーケンスであってもよく、同一な撮影視角で撮影された同一な人物の画像シーケンスであってもよい。
【００７０】
本開示の実施例は、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定し、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定することによって、ターゲットのマッチングの正確性を高めることができる。
【００７１】
図２は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２の例示的なフローチャートを示す。図２に示すように、ステップＳ１２にはステップＳ１２１とステップＳ１２２を含んでよい。
【００７２】
ステップＳ１２１では、検索画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、検索画像シーケンスの自己表現特徴ベクトルを決定する。
【００７３】
例えば、第２のサブニューラルネットワークはＳＡＮ（Ｓｅｌｆ  Ａｔｔｅｎｔｉｏｎ  Ｓｕｂｎｅｔｗｏｒｋ、注意機構に基づく自己表現サブニューラルネットワーク）であってよい。
【００７４】
例えば、検索画像シーケンスにおける各フレームの特徴ベクトル
0006883710.tif 000012
と検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル
0006883710.tif 000013
を第２のサブニューラルネットワークに入力して、検索画像シーケンスの自己表現特徴ベクトル
0006883710.tif 000014
を決定するようしてよい。
【００７５】
ステップＳ１２２では、候補画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、候補画像シーケンスの自己表現特徴ベクトルを決定する。
【００７６】
例えば、候補画像シーケンスにおける各フレームの特徴ベクトル
0006883710.tif 000015
と候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル
0006883710.tif 000016
を第２のサブニューラルネットワークに入力して、候補画像シーケンスの自己表現特徴ベクトル
0006883710.tif 000017
を決定するようしてよい。
【００７７】
図３は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２１の例示的なフローチャートを示す。図３に示すように、ステップＳ１２１にはステップＳ１２１１〜ステップＳ１２１３を含んでよい。
【００７８】
ステップＳ１２１１では、第２のサブニューラルネットワークの第２の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得する。
【００７９】
例えば、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルは
0006883710.tif 000018
で表してよく、ここで、
0006883710.tif 000019
は検索画像シーケンスにおけるｔ番目のフレームの第２の次元削減特徴ベクトルを表す。
【００８０】
例えば、第２の全結合層はｆｃ−１で表してよい。
【００８１】
例えば、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルの次元数が１２８次元である。
【００８２】
ステップＳ１２１２では、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、検索画像シーケンスの全体的特徴ベクトルを取得する。
【００８３】
例えば、検索画像シーケンスの全体的特徴ベクトルは
0006883710.tif 000020
で表してよい。
【００８４】
ステップＳ１２１３では、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、検索画像シーケンスの全体的特徴ベクトル及び検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルを決定する。
【００８５】
図４は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２２の例示的なフローチャートを示す。図４に示すように、ステップＳ１２２にはステップＳ１２２１〜ステップＳ１２２３を含んでよい。
【００８６】
ステップＳ１２２１では、第２のサブニューラルネットワークの第２の全結合層によって候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得する。
【００８７】
例えば、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルの次元数が１２８次元である。
【００８８】
ステップＳ１２２２では、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、候補画像シーケンスの全体的特徴ベクトルを取得する。
【００８９】
例えば、候補画像シーケンスの全体的特徴ベクトルは
0006883710.tif 000021
で表してよい。
【００９０】
ステップＳ１２２３では、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、候補画像シーケンスの全体的特徴ベクトル及び候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、候補画像シーケンスの自己表現特徴ベクトルを決定する。
【００９１】
図５は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２１３の例示的なフローチャートを示す。図５に示すように、ステップＳ１２１３にはステップＳ１２１３１とステップＳ１２１３２を含んでよい。
【００９２】
ステップＳ１２１３１では、パラメータレス相関関数によって検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第１の相関重みを取得する。
【００９３】
例えば、パラメータレス相関関数
0006883710.tif 000022
によって検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第１の相関重み
0006883710.tif 000023
を取得するようしてよい。
【００９４】
可能な一実施形態では、パラメータレス相関関数
0006883710.tif 000024
はドット積の方式で
0006883710.tif 000025
と
0006883710.tif 000026
との相関度を計算することができる。
【００９５】
本開示の実施例は自己表現機構に基づいて、検索画像シーケンス自身の表現によって検索画像シーケンスにおける各フレームに対して相関重み付けを施す。
【００９６】
ステップＳ１２１３２では、検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの自己表現特徴ベクトルを取得する。
【００９７】
例えば、検索画像シーケンスの自己表現特徴ベクトルは
0006883710.tif 000027
で表してもよく、ここで、
0006883710.tif 000028
は検索画像シーケンスにおけるｔ番目のフレームの第２の次元削減特徴ベクトルを表し、
0006883710.tif 000029
は検索画像シーケンスの全体的特徴ベクトルを表し、
0006883710.tif 000030
は検索画像シーケンスにおけるｔ番目のフレームの第１の次元削減特徴ベクトルを表す。
【００９８】
可能な一実施形態では、第１の相関重みは、第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。該実施形態では、検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの自己表現特徴ベクトルを取得するステップには、検索画像シーケンスにおける各フレームの第１の相関重みに対して正規化処理を行って、検索画像シーケンスにおける各フレームの第１の正規化相関重みを取得するステップと、検索画像シーケンスにおける各フレームの第１の正規化相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含む。該実施形態では、ｓｏｆｔｍａｘを用いて検索画像シーケンスにおける各フレームの第１の相関重みに対して正規化処理を行って、検索画像シーケンスにおける各フレームの第１の正規化相関重みを取得するようにしてよい。
【００９９】
図６は本開示の実施例に係るターゲットのマッチング方法のステップＳ１２２３の例示的なフローチャートを示す。図６に示すように、ステップＳ１２２３にはステップＳ１２２３１とステップＳ１２２３２を含んでよい。
【０１００】
ステップＳ１２２３１では、パラメータレス相関関数によって候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第１の相関重みを取得する。
【０１０１】
例えば、パラメータレス相関関数
0006883710.tif 000031
によって候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第１の相関重み
0006883710.tif 000032
を取得するようにしてよい。
【０１０２】
可能な一実施形態では、パラメータレス相関関数
0006883710.tif 000033
はドット積の方式を用いて
0006883710.tif 000034
と
0006883710.tif 000035
との相関度を計算することができる。
【０１０３】
本開示の実施例は自己表現機構に基づいて、候補画像シーケンス自身の表現によって候補画像シーケンスにおける各フレームに対して相関重み付けを施す。
【０１０４】
ステップＳ１２２３２では、候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの自己表現特徴ベクトルを取得する。
【０１０５】
例えば、候補画像シーケンスの自己表現特徴ベクトルは
0006883710.tif 000036
で表してよく、ここで、
0006883710.tif 000037
は候補画像シーケンスにおけるｒ番目のフレームの第２の次元削減特徴ベクトルを表し、
0006883710.tif 000038
は候補画像シーケンスの全体的特徴ベクトルを表し、
0006883710.tif 000039
は候補画像シーケンスにおけるｒ番目のフレームの第１の次元削減特徴ベクトルを表す。
【０１０６】
可能な一実施形態では、第１の相関重みは、第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。該実施形態では、候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの自己表現特徴ベクトルを取得するステップには、候補画像シーケンスにおける各フレームの第１の相関重みに対して正規化処理を行って、候補画像シーケンスにおける各フレームの第１の正規化相関重みを取得するステップと、候補画像シーケンスにおける各フレームの第１の正規化相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの自己表現特徴ベクトルを取得するステップと、を含む。該実施形態では、ｓｏｆｔｍａｘを用いて候補画像シーケンスにおける各フレームの第１の相関重みに対して正規化処理を行って、候補画像シーケンスにおける各フレームの第１の正規化相関重みを取得するようにしてよい。
【０１０７】
図７は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３の例示的なフローチャートを示す。図７に示すように、ステップＳ１３にはステップＳ１３１とステップＳ１３２を含んでよい。
【０１０８】
ステップＳ１３１では、検索画像シーケンスにおける各フレームの特徴ベクトル、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、検索画像シーケンスの協同表現特徴ベクトルを取得する。
【０１０９】
例えば、第３のサブニューラルネットワークはＣＡＮ（Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ａｔｔｅｎｔｉｏｎ  Ｓｕｂｎｅｔｗｏｒｋ、注意機構に基づく協同表現サブニューラルネットワーク）であってよい。
【０１１０】
例えば、検索画像シーケンスにおける各フレームの特徴ベクトル
0006883710.tif 000040
、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル
0006883710.tif 000041
及び候補画像シーケンスの自己表現特徴ベクトル
0006883710.tif 000042
を第３のサブニューラルネットワークに入力して、検索画像シーケンスの協同表現特徴ベクトル
0006883710.tif 000043
を取得するようにしてよい。
【０１１１】
ステップＳ１３２では、候補画像シーケンスにおける各フレームの特徴ベクトル、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、候補画像シーケンスの協同表現特徴ベクトルを取得する。
【０１１２】
例えば、候補画像シーケンスにおける各フレームの特徴ベクトル
0006883710.tif 000044
、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル
0006883710.tif 000045
及び検索画像シーケンスの自己表現特徴ベクトル
0006883710.tif 000046
を第３のサブニューラルネットワークに入力して、候補画像シーケンスの協同表現特徴ベクトル
0006883710.tif 000047
を取得するようにしてよい。
【０１１３】
図８は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３１の例示的なフローチャートを示す。図８に示すように、ステップＳ１３１にはステップＳ１３１１とステップＳ１３１２を含んでよい。
【０１１４】
ステップＳ１３１１では、第３のサブニューラルネットワークの第３の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得する。
【０１１５】
例えば、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルは
0006883710.tif 000048
で表してよく、ここで、
0006883710.tif 000049
は検索画像シーケンスにおけるｔ番目のフレームの第３の次元削減特徴ベクトルを表す。例えば、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルの次元数が１２８次元である。
【０１１６】
例えば、第３の全結合層はｆｃ−２で表してよい。
【０１１７】
ステップＳ１３１２では、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを取得する。
【０１１８】
図９は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３２の例示的なフローチャートを示す。図９に示すように、ステップＳ１３２にはステップＳ１３２１とステップＳ１３２２を含んでよい。
【０１１９】
ステップＳ１３２１では、第３のサブニューラルネットワークの第３の全結合層によって候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得する。
【０１２０】
例えば、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルは
0006883710.tif 000050
で表してよく、ここで、
0006883710.tif 000051
は候補画像シーケンスにおけるｒ番目のフレームの第３の次元削減特徴ベクトルを表す。例えば、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルの次元数が１２８次元である。
【０１２１】
ステップＳ１３２２では、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、検索画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを取得する。
【０１２２】
図１０は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３１２の例示的なフローチャートを示す。図１０に示すように、ステップＳ１３１２にはステップＳ１３１２１とステップＳ１３１２２を含んでよい。
【０１２３】
ステップＳ１３１２１では、パラメータレス相関関数によって検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第２の相関重みを取得する。
【０１２４】
例えば、検索画像シーケンスにおけるｔ番目のフレームの第２の相関重みは
0006883710.tif 000052
で表してよい。
【０１２５】
本開示の実施例は協同表現機構に基づいて、候補画像シーケンスの表現と検索画像シーケンス自身の表現によって検索画像シーケンスにおける各フレームに対して相関重み付けを施す。
【０１２６】
ステップＳ１３１２２では、検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの協同表現特徴ベクトルを取得する。
【０１２７】
例えば、検索画像シーケンスの協同表現特徴ベクトルは
0006883710.tif 000053
で表してよい。
【０１２８】
可能な一実施形態では、第２の相関重みは、第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。該実施形態では、検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの協同表現特徴ベクトルを取得するステップには、検索画像シーケンスにおける各フレームの第２の相関重みに対して正規化処理を行って、検索画像シーケンスにおける各フレームの第２の正規化相関重みを取得するステップと、検索画像シーケンスにおける各フレームの第２の正規化相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。
【０１２９】
図１１は本開示の実施例に係るターゲットのマッチング方法のステップＳ１３２２の例示的なフローチャートを示す。図１１に示すように、ステップＳ１３２２にはステップＳ１３２２１とステップＳ１３２２２を含んでよい。
【０１３０】
ステップＳ１３２２１では、パラメータレス相関関数によって候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第２の相関重みを取得する。
【０１３１】
例えば、候補画像シーケンスにおけるｒ番目のフレームの第２の相関重みは
0006883710.tif 000054
で表してよい。
【０１３２】
本開示の実施例は協同表現機構に基づいて、検索画像シーケンスの表現と候補画像シーケンス自身の表現によって候補画像シーケンスにおける各フレームに対して相関重み付けを施す。
【０１３３】
ステップＳ１３２２２では、候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの協同表現特徴ベクトルを取得する。
【０１３４】
例えば、候補画像シーケンスの協同表現特徴ベクトルは
0006883710.tif 000055
で表してよい。
【０１３５】
可能な一実施形態では、第２の相関重みは、第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。該実施形態では、候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの協同表現特徴ベクトルを取得するステップには、候補画像シーケンスにおける各フレームの第２の相関重みに対して正規化処理を行って、候補画像シーケンスにおける各フレームの第２の正規化相関重みを取得するステップと、候補画像シーケンスにおける各フレームの第２の正規化相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの協同表現特徴ベクトルを取得するステップと、を含む。
【０１３６】
本開示の実施例では、第２のサブニューラルネットワークと第３のサブニューラルネットワークは自己表現機構と協同表現機構に基づいて、検索画像シーケンスの表現と候補画像シーケンスの表現によって検索画像シーケンスにおける各フレームと候補画像シーケンスにおける各フレームに対して相関重み付けを施す。第２のサブニューラルネットワークと第３のサブニューラルネットワークはこのようなパラメータレス自己表現と協同表現によって、検索画像シーケンスと候補画像シーケンスのフレームを暗黙的に揃わせて、より判別的なフレームを選択して２つの画像シーケンスを表現する。第２のサブニューラルネットワークと第３のサブニューラルネットワークがパラメータレスのものであるので、検索画像シーケンスと候補画像シーケンスが異なる長さを有することが許容され、従って、本開示の実施例で提供されるターゲットのマッチング方法は、広範に活用可能である。
【０１３７】
図１２は本開示の実施例に係るターゲットのマッチング方法のステップＳ１４の例示的なフローチャートを示す。図１２に示すように、ステップＳ１４にはステップＳ１４１〜ステップＳ１４３を含んでよい。
【０１３８】
ステップＳ１４１では、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得する。
【０１３９】
例えば、第１の差分ベクトルは
0006883710.tif 000056
である。
【０１４０】
ステップＳ１４２では、候補画像シーケンスの自己表現特徴ベクトルと検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得する。
【０１４１】
例えば、第２の差分ベクトルは
0006883710.tif 000057
である。
【０１４２】
ステップＳ１４３では、第１の差分ベクトルと第２の差分ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得する。
【０１４３】
可能な一実施形態では、第１の差分ベクトルと第２の差分ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するステップには、第１の差分ベクトルと第２の差分ベクトルの和を計算して、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するステップを含む。例えば、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルは
0006883710.tif 000058
である。
【０１４４】
別の可能な実施形態では、第１の差分ベクトルと第２の差分ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するステップには、第１の差分ベクトルと第２の差分ベクトルとの対応位置の要素の積を計算して、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するステップを含む。
【０１４５】
図１３は本開示の実施例に係るターゲットのマッチング方法のステップＳ１５の例示的なフローチャートを示す。図１３に示すように、ステップＳ１５にはステップＳ１５１とステップＳ１５２を含んでよい。
【０１４６】
ステップＳ１５１では、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、検索画像シーケンスと候補画像シーケンスのマッチングスコアを取得する。
【０１４７】
例えば、第４の全結合層はｆｃ−３で表してよい。
【０１４８】
本開示の実施例では異なる全結合層のパラメータが異なってもよいことを説明する必要がある。第１の全結合層、第２の全結合層、第３の全結合層及び第４の全結合層は、説明の便宜上、「第１の」、「第２の」、「第３の」及び「第４の」として記載され、これらの４つの全結合層が異なる全結合層であってよいことを示す。「第１の」、「第２の」、「第３の」及び「第４の」は全結合層の結合順序を限定するためのものではない。
【０１４９】
ステップＳ１５２では、検索画像シーケンスと候補画像シーケンスのマッチングスコアに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定する。
【０１５０】
例えば、検索画像シーケンスと候補画像シーケンスのマッチングスコアがスコア閾値より大きい場合に、検索画像シーケンスと候補画像シーケンスのマッチング結果として検索画像シーケンスと候補画像シーケンスがマッチング可能であると決定することができ、検索画像シーケンスと候補画像シーケンスのマッチングスコアがスコア閾値以下である場合に、検索画像シーケンスと候補画像シーケンスのマッチング結果として検索画像シーケンスと候補画像シーケンスがマッチング不可能であると決定することができる。
【０１５１】
可能な一実施形態では、検索画像シーケンスと候補画像シーケンスのマッチングスコアを取得するステップの後に、該方法は、検索画像シーケンスと候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するステップを更に含む。
【０１５２】
該実施形態の例示的な一例として、
0006883710.tif 000059
を用いてネットワークパラメータを最適化することができる。ただし、Ｎはトレーニング集合における検索画像シーケンス候補画像シーケンスペアの数量を表し、
0006883710.tif 000060
は
0006883710.tif 000061
番目のペアのマッチングスコアを表し、
0006883710.tif 000062
番目の検索画像シーケンス候補画像シーケンスペアが同一な人物に属すれば、
0006883710.tif 000063
であり、反対に
0006883710.tif 000064
である。
【０１５３】
本開示の実施例では、トレーニングプロセスにおいて、トレーニング画像シーケンスを分割して、豊富な検索画像シーケンス候補画像シーケンスペアを生成することができ、それによって最適化効率を効果的に高め、更にネットワークモデルのロバスト性を高めてマッチング精度を高めることができる。
【０１５４】
図１４は本開示の実施例に係るターゲットのマッチング方法の例示的なフローチャートを示す。図１４に示すように、該方法は、ステップＳ２１〜ステップＳ２８を含んでよい。
【０１５５】
ステップＳ２１では、検索映像を複数の検索画像シーケンスに分割する。
【０１５６】
可能な一実施形態では、検索映像を複数の検索画像シーケンスに分割するステップには、所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するステップを含み、ここで、検索画像シーケンス長が所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が所定シーケンス長と所定ステップ長の差分に等しい。
【０１５７】
ステップＳ２２では、候補映像を複数の候補画像シーケンスに分割する。
【０１５８】
可能な一実施形態では、候補映像を複数の候補画像シーケンスに分割するステップには、所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するステップを含み、ここで、候補画像シーケンス長が所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が所定シーケンス長と所定ステップ長の差分に等しい。
【０１５９】
ステップＳ２３では、マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出する。
【０１６０】
ここで、ステップＳ２３については、以上のステップＳ１１の説明を参照する。
【０１６１】
ステップＳ２４では、それぞれ検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルを決定する。
【０１６２】
ここで、ステップＳ２４については、以上のステップＳ１２の説明を参照する。
【０１６３】
ステップＳ２５では、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを決定し、候補画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを決定する。
【０１６４】
ここで、ステップＳ２５については、以上のステップＳ１３の説明を参照する。
【０１６５】
ステップＳ２６では、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定する。
【０１６６】
ここで、ステップＳ２６については、以上のステップＳ１４の説明を参照する。
【０１６７】
ステップＳ２７では、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定する。
【０１６８】
ここで、ステップＳ２７については、以上のステップＳ１５の説明を参照する。
【０１６９】
ステップＳ２８では、検索映像の検索画像シーケンスと候補映像の候補画像シーケンスのマッチング結果に基づいて、検索映像と候補映像のマッチング結果を決定する。
【０１７０】
図１５は本開示の実施例に係るターゲットのマッチング方法のステップＳ２８の例示的なフローチャートを示す。図１５に示すように、ステップＳ２８にはステップＳ２８１〜ステップＳ２８３を含んでよい。
【０１７１】
ステップＳ２８１では、検索映像の各検索画像シーケンスと候補映像の各候補画像シーケンスのマッチングスコアを決定する。
【０１７２】
ステップＳ２８２では、検索映像の各検索画像シーケンスと候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、検索映像と候補映像のマッチングスコアを取得し、Ｎが正整数である。
【０１７３】
ステップＳ２８３では、検索映像と候補映像のマッチングスコアに基づいて、検索映像と候補映像のマッチング結果を決定する。
【０１７４】
可能な一実施形態では、検索映像と候補映像のマッチングスコアがスコア閾値より大きい場合に、検索映像と候補映像のマッチング結果として検索映像と候補映像がマッチング可能であると決定することができ、検索映像と候補映像のマッチングスコアがスコア閾値以下である場合に、検索映像と候補映像のマッチング結果として検索映像と候補映像がマッチング不可能であると決定することができる。
【０１７５】
本開示の実施例で提供されるターゲットのマッチング方法は、画像シーケンスにおける判別性がより高いキーフレームを選び出し、複数のキーフレームを用いて画像シーケンスを表現することができ、それによって判別能力を高めることができ、本開示の実施例は、より効果的な時間領域モデル化方法を提供して、連続フレームの動的変化情報を捕獲して、モデルの表現能力を高めることができ、本開示の実施例は、より効果的な距離測定方法を提供して、同じ人物の特徴表現間の距離を低減し、異なる人物の特徴表現間の距離を増大することができた。本開示の実施例で提供されるターゲットのマッチング方法は、光照射条件が悪く、遮蔽度が高く、視角が悪く、又は背景障害がひどい場合にも、正確なターゲットのマッチング結果を取得することができる。本開示の実施例を利用すれば、通行人検出及び／又は通行人追跡の効果の改善に貢献することができる。本開示の実施例を利用すれば、インテリジェントビデオ監視で特定の通行人（例えば、犯罪容疑者、迷子等）を複数のカメラにわたってより望ましく捜索したり、追跡することができる。
【０１７６】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組合せ後の実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。
【０１７７】
また、本開示はターゲットのマッチング装置、電子機器、コンピュータ可読記憶媒体及びプログラムを更に提供し、それらはいずれも本開示で提供されるいずれか１種のターゲットのマッチング方法を実現するために利用可能であり、それに対応する技術手段及び説明については方法部分に対応する記載を参照してよく、ここで省略する。
【０１７８】
図１６は本開示の実施例に係るターゲットのマッチング装置のブロック図を示す。図１６に示すように、該装置は、マッチング待ちターゲットを含む検索画像シーケンスにおける各フレームの特徴ベクトルと、候補画像シーケンスにおける各フレームの特徴ベクトルをそれぞれ抽出するための抽出モジュール３１と、それぞれ検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定モジュール３２と、検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを決定し、候補画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを決定するための第２の決定モジュール３３と、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定するための第３の決定モジュール３４と、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定するための第４の決定モジュール３５と、を含む。
【０１７９】
可能な一実施形態では、抽出モジュール３１は、第１のサブニューラルネットワークによって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルを抽出するために用いられる。
【０１８０】
図１７は本開示の実施例に係るターゲットのマッチング装置の例示的なブロック図を示す。図１７に示すように、
可能な一実施形態では、該装置は、第１のサブニューラルネットワークの第１の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルと候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを取得するための次元削減モジュール３６を更に含む。
【０１８１】
可能な一実施形態では、第１の決定モジュール３２は、検索画像シーケンスにおける各フレームの特徴ベクトルと検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、検索画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定サブモジュール３２１と、候補画像シーケンスにおける各フレームの特徴ベクトルと候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルを第２のサブニューラルネットワークに入力して、候補画像シーケンスの自己表現特徴ベクトルを決定するための第２の決定サブモジュール３２２と、を含む。
【０１８２】
可能な一実施形態では、第１の決定サブモジュール３２１は、第２のサブニューラルネットワークの第２の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するための第１の次元削減ユニットと、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、検索画像シーケンスの全体的特徴ベクトルを取得するための第１の平均プーリングユニットと、検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、検索画像シーケンスの全体的特徴ベクトル及び検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、検索画像シーケンスの自己表現特徴ベクトルを決定するための第１の決定ユニットと、を含む。
【０１８３】
可能な一実施形態では、第２の決定サブモジュール３２２は、第２のサブニューラルネットワークの第２の全結合層によって候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルを取得するための第２の次元削減ユニットと、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルに対して時間次元の平均プーリング処理を行って、候補画像シーケンスの全体的特徴ベクトルを取得するための第２の平均プーリングユニットと、候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトル、候補画像シーケンスの全体的特徴ベクトル及び候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、候補画像シーケンスの自己表現特徴ベクトルを決定するための第２の決定ユニットと、を含む。
【０１８４】
可能な一実施形態では、第１の決定ユニットは、パラメータレス相関関数によって検索画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと検索画像シーケンスの全体的特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第１の相関重みを取得するための第１の計算サブユニットと、検索画像シーケンスにおける各フレームの第１の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの自己表現特徴ベクトルを取得するための第１の重み付けサブユニットと、を含む。
【０１８５】
可能な一実施形態では、第２の決定ユニットは、パラメータレス相関関数によって候補画像シーケンスにおける各フレームの第２の次元削減特徴ベクトルと候補画像シーケンスの全体的特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第１の相関重みを取得するための第２の計算サブユニットと、候補画像シーケンスにおける各フレームの第１の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの自己表現特徴ベクトルを取得するための第２の重み付けサブユニットと、を含む。
【０１８６】
可能な一実施形態では、第１の相関重みは、第１の相関重みに対して正規化処理を行って得られた第１の正規化相関重みを含む。
【０１８７】
可能な一実施形態では、第２の決定モジュール３３は、検索画像シーケンスにおける各フレームの特徴ベクトル、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び候補画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の決定サブモジュール３３１と、候補画像シーケンスにおける各フレームの特徴ベクトル、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトル及び検索画像シーケンスの自己表現特徴ベクトルを第３のサブニューラルネットワークに入力して、候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の決定サブモジュール３３２と、を含む。
【０１８８】
可能な一実施形態では、第３の決定サブモジュール３３１は、第３のサブニューラルネットワークの第３の全結合層によって検索画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するための第３の次元削減ユニットと、検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の決定ユニットと、を含み、第４の決定サブモジュール３３２は、第３のサブニューラルネットワークの第３の全結合層によって候補画像シーケンスにおける各フレームの特徴ベクトルに対して次元削減処理を行って、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルを取得するための第４の次元削減ユニットと、候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトル、検索画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに基づいて、候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の決定ユニットと、を含む。
【０１８９】
可能な一実施形態では、第３の決定ユニットは、パラメータレス相関関数によって検索画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと候補画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、検索画像シーケンスにおける各フレームの第２の相関重みを取得するための第３の計算サブユニットと、検索画像シーケンスにおける各フレームの第２の相関重みに基づいて、検索画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、検索画像シーケンスの協同表現特徴ベクトルを取得するための第３の重み付けサブユニットと、を含む。
【０１９０】
可能な一実施形態では、第４の決定ユニットは、パラメータレス相関関数によって候補画像シーケンスにおける各フレームの第３の次元削減特徴ベクトルと検索画像シーケンスの自己表現特徴ベクトルとの相関度を計算して、候補画像シーケンスにおける各フレームの第２の相関重みを取得するための第４の計算サブユニットと、候補画像シーケンスにおける各フレームの第２の相関重みに基づいて、候補画像シーケンスにおける各フレームの第１の次元削減特徴ベクトルに対して重み付けを施して、候補画像シーケンスの協同表現特徴ベクトルを取得するための第４の重み付けサブユニットと、を含む。
【０１９１】
可能な一実施形態では、第２の相関重みは、第２の相関重みに対して正規化処理を行って得られた第２の正規化相関重みを含む。
【０１９２】
可能な一実施形態では、第３の決定モジュール３４は、検索画像シーケンスの自己表現特徴ベクトルと候補画像シーケンスの協同表現特徴ベクトルの差分を計算して、第１の差分ベクトルを取得するための第１の計算サブモジュール３４１と、候補画像シーケンスの自己表現特徴ベクトルと検索画像シーケンスの協同表現特徴ベクトルの差分を計算して、第２の差分ベクトルを取得するための第２の計算サブモジュール３４２と、第１の差分ベクトルと第２の差分ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するための第５の決定サブモジュール３４３と、を含む。
【０１９３】
可能な一実施形態では、第５の決定サブモジュール３４３は、第１の差分ベクトルと第２の差分ベクトルの和を計算して、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するための第１の計算ユニット、又は、第１の差分ベクトルと第２の差分ベクトルとの対応位置の要素の積を計算して、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを取得するための第２の計算ユニットを含む。
【０１９４】
可能な一実施形態では、第４の決定モジュール３５は、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを第４の全結合層に入力して、検索画像シーケンスと候補画像シーケンスのマッチングスコアを取得するための第６の決定サブモジュール３５１と、検索画像シーケンスと候補画像シーケンスのマッチングスコアに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定するための第７の決定サブモジュール３５２と、を含む。
【０１９５】
可能な一実施形態では、該装置は、検索画像シーケンスと候補画像シーケンスのマッチングスコアに基づいて、同一対のラベリングデータとバイナリ交差エントロピー損失関数を用いて、ネットワークパラメータを最適化するための最適化モジュール３７を更に含む。
【０１９６】
可能な一実施形態では、該装置は、検索映像を複数の検索画像シーケンスに分割するための第１の分割モジュール３８と、候補映像を複数の候補画像シーケンスに分割するための第２の分割モジュール３９と、検索映像の検索画像シーケンスと候補映像の候補画像シーケンスのマッチング結果に基づいて、検索映像と候補映像のマッチング結果を決定するための第５の決定モジュール３０と、を更に含む。
【０１９７】
可能な一実施形態では、第１の分割モジュール３８は、所定シーケンス長及び所定ステップ長により、検索映像を複数の検索画像シーケンスに分割するために用いられ、ここで、検索画像シーケンス長が所定シーケンス長に等しく、隣接する検索画像シーケンスの間の重畳画像数が所定シーケンス長と所定ステップ長の差分に等しく、第２の分割モジュール３９は、所定シーケンス長及び所定ステップ長により、候補映像を複数の候補画像シーケンスに分割するために用いられ、ここで、候補画像シーケンス長が所定シーケンス長に等しく、隣接する候補画像シーケンスの間の重畳画像数が所定シーケンス長と所定ステップ長の差分に等しい。
【０１９８】
可能な一実施形態では、第５の決定モジュール３０は、検索映像の各検索画像シーケンスと候補映像の各候補画像シーケンスのマッチングスコアを決定するための第８の決定サブモジュール３０１と、検索映像の各検索画像シーケンスと候補映像の各候補画像シーケンスのマッチングスコアのうちの最高のＮ個のマッチングスコアの平均値を計算して、検索映像と候補映像のマッチングスコアを取得するために用いられ、Ｎが正整数である第３の計算サブモジュール３０２と、検索映像と候補映像のマッチングスコアに基づいて、検索映像と候補映像のマッチング結果を決定するための第９の決定サブモジュール３０３と、を含む。
【０１９９】
本開示の実施例は、検索画像シーケンスの自己表現特徴ベクトル、検索画像シーケンスの協同表現特徴ベクトル、候補画像シーケンスの自己表現特徴ベクトル及び候補画像シーケンスの協同表現特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスの類似度特徴ベクトルを決定し、類似度特徴ベクトルに基づいて、検索画像シーケンスと候補画像シーケンスのマッチング結果を決定することによって、ターゲットのマッチングの正確性を高めることができる。
【０２００】
本開示の実施例は、コンピュータプログラムコマンドを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に上記方法が実現されるコンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は非揮発性コンピュータ可読記憶媒体であってよい。
【０２０１】
本開示の実施例は、上記方法を実行するように構成されるプロセッサと、プロセッサでの実行可能コマンドを記憶するためのメモリと、を含む電子機器を更に提供する。
【０２０２】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【０２０３】
図１８は例示的な一実施例に基づいて示される電子機器８００のブロック図である。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタント等の端末であってよい。
【０２０４】
図１８を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェイス８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。
【０２０５】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。
【０２０６】
メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。
【０２０７】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。
【０２０８】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インターフェイスを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。
【０２０９】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【０２１０】
Ｉ／Ｏインターフェイス８１２は処理コンポーネント８０２と周辺インターフェイスモジュールとの間でインターフェイスを提供し、上記周辺インターフェイスモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。
【０２１１】
センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳ又はＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。
【０２１２】
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【０２１３】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。
【０２１４】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。
【０２１５】
図１９は一例示的実施例により示された電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供できる。図１９を参照すると、電子機器１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する一つ以上のモジュールを含むことができる。また、処理コンポーネント１９２２は命令を実行し、それによって上記方法を実行するように構成される。
【０２１６】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークにアクセスするように構成された有線または無線ネットワークインターフェイス１９５０、および入出力（Ｉ／Ｏ）インターフェイス１９５８を含むことができる。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【０２１７】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行して上記方法を完了することができる。
【０２１８】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。
【０２１９】
コンピュータ読み取り可能記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０２２０】
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインターフェイスはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。
【０２２１】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。
【０２２２】
なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【０２２３】
これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。
【０２２４】
コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０２２５】
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
【０２２６】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図１】
0006883710.tif 000065
【図２】
0006883710.tif 000066
【図３】
0006883710.tif 000067
【図４】
0006883710.tif 000068
【図５】
0006883710.tif 000069
【図６】
0006883710.tif 000070
【図７】
0006883710.tif 000071
【図８】
0006883710.tif 000072
【図９】
0006883710.tif 000073
【図１０】
0006883710.tif 000074
【図１１】
0006883710.tif 000075
【図１２】
0006883710.tif 000076
【図１３】
0006883710.tif 000077
【図１４】
0006883710.tif 000078
【図１５】
0006883710.tif 000079
【図１６】
0006883710.tif 000080
【図１７】
0006883710.tif 000081
【図１８】
0006883710.tif 000082
【図１９】
0006883710.tif 000083