(57)【要約】  本開示は、画像検索方法及び装置に関する。該方法は、検索画像と少なくとも１つの候補画像を含む画像群を取得すること（Ｓ１１）と、画像群内の任意の２枚の画像間の中間類似度を計算すること（Ｓ１２）と、任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、検索画像と各候補画像との最終的な類似度を得ること（Ｓ１３）と、最終的な類似度により各候補画像から検索画像に対応する目標画像を特定すること（Ｓ１４）と、を含む。本開示は、上記の手段により画像検索の精度やロバスト性を高めることができる。【選択図】図１
2021508899.tif 000002
【特許請求の範囲】
【請求項１】
検索画像と少なくとも１つの候補画像を含む画像群を取得することと、
前記画像群内の任意の２枚の画像間の中間類似度を計算することと、
前記任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、前記検索画像と各候補画像との最終的な類似度を得ることと、
前記最終的な類似度により前記各候補画像から前記検索画像に対応する目標画像を特定することと、を含むことを特徴とする画像検索方法。
【請求項２】
前記画像群内の任意の２枚の画像間の中間類似度を計算することは、
前記画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得ることと、
前記マルチスケール特徴ベクトルにより前記画像群内の任意の２枚の画像間の中間類似度を計算することと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得ることは、
前記画像毎に予め設定された数のマルチスケール特徴マップを抽出することと、
各前記マルチスケール特徴マップを予め設定された次元の特徴ベクトルに標準化することと、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記マルチスケール特徴ベクトルにより前記画像群内の任意の２枚の画像間の中間類似度を計算することは、
任意の２枚の画像に対応するマルチスケール特徴ベクトルに対してビット毎に差分演算を行い、２つのマルチスケール特徴ベクトルの差分ベクトルを得ることと、
前記差分ベクトルに対してビット毎に平方演算を行い、前記差分ベクトルの平方ベクトルを得ることと、
前記平方ベクトルに対して正規化処理を行い、正規化ベクトルを得ることと、
前記正規化ベクトルに対して次元削減処理を行い、前記正規化ベクトルに対応する２次元ベクトルを得ることと、
前記２次元ベクトルに対して正規化処理を行い、前記任意の２枚の画像間の中間類似度を得ることと、を含むことを特徴とする請求項２に記載の方法。
【請求項５】
前記平方ベクトルに対して正規化処理を行い、正規化ベクトルを得ることは、
前記平方ベクトルの平均値と分散をそれぞれ計算することと、
ビット毎に前記平方ベクトルから前記平均値を差し引いた値を前記分散で割り、前記正規化ベクトルを得ることと、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記正規化ベクトルに対して次元削減処理を行い、前記正規化ベクトルに対応する２次元ベクトルを得ることは、
前記正規化ベクトルと予め設定された係数行列の積を計算し、前記積を前記正規化ベクトルに対応する２次元ベクトルとすることを含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記中間類似度によりマルチスケール特徴融合を行い、前記検索画像と各候補画像との最終的な類似度を得ることは、
前記中間類似度により最終的な類似度を制約し、収束した最終的な類似度推定を得ることと、
前記収束した最終的な類似度推定に対して正規化処理を行い、最終的な類似度を得ることと、を含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記中間類似度により最終的な類似度を制約する前に、
前記中間類似度により最終的な類似度推定を初期化することを更に含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記中間類似度により最終的な類似度を制約し、収束した最終的な類似度推定を得ることは、
前記検索画像と前記候補画像内の第１の画像との第１の中間類似度を計算することと、
前記第１の画像と前記候補画像内の第２の画像との第２の中間類似度を計算することと、
前記検索画像と前記第２の画像との最終的な類似度推定を計算することと、
前記第２の中間類似度と前記最終的な類似度推定の積を計算することと、
前記第１の中間類似度と前記積の重み付け重ね合わせ結果を計算することと、
前記検索画像と前記第１の画像との最終的な類似度推定が収束するまでに、前記重み付け重ね合わせ結果により前記検索画像と前記第１の画像との最終的な類似度推定を更新し、前記検索画像と前記第１の画像との収束した最終的な類似度推定を得ることと、を含むことを特徴とする請求項７に記載の方法。
【請求項１０】
前記最終的な類似度により前記各候補画像から前記検索画像に対応する目標画像を特定することは、
前記最終的な類似度が予め設定された閾値より大きい候補画像を前記検索画像に対応する目標画像とすることを含むことを特徴とする請求項１に記載の方法。
【請求項１１】
検索画像と少なくとも１つの候補画像を含む画像群を取得するための取得モジュールと、
前記画像群内の任意の２枚の画像間の中間類似度を計算するための計算モジュールと、
前記任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、前記検索画像と各候補画像との最終的な類似度を得るための融合モジュールと、
前記最終的な類似度により前記各候補画像から前記検索画像に対応する目標画像を特定するための特定モジュールと、を含むことを特徴とする画像検索装置。
【請求項１２】
前記計算モジュールは、
前記画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得るための抽出サブモジュールと、
前記マルチスケール特徴ベクトルにより前記画像群内の任意の２枚の画像間の中間類似度を計算するための計算サブモジュールと、を含むことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記抽出サブモジュールは、
前記画像毎に予め設定された数のマルチスケール特徴マップを抽出するための抽出ユニットと、
各前記マルチスケール特徴マップを予め設定された次元の特徴ベクトルに標準化するための標準化ユニットと、を含むことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記計算サブモジュールは、
任意の２枚の画像に対応するマルチスケール特徴ベクトルに対してビット毎に差分演算を行い、２つのマルチスケール特徴ベクトルの差分ベクトルを得るための差分演算ユニットと、
前記差分ベクトルに対してビット毎に平方演算を行い、前記差分ベクトルの平方ベクトルを得るための平方演算ユニットと、
前記平方ベクトルに対して正規化処理を行い、正規化ベクトルを得るための第１の正規化ユニットと、
前記正規化ベクトルに対して次元削減処理を行い、前記正規化ベクトルに対応する２次元ベクトルを得るための次元削減ユニットと、
前記２次元ベクトルに対して正規化処理を行い、前記任意の２枚の画像間の中間類似度を得るための第２の正規化ユニットと、を含むことを特徴とする請求項１２に記載の装置。
【請求項１５】
前記第１の正規化ユニットは、
前記平方ベクトルの平均値と分散をそれぞれ計算するための計算サブユニットと、
ビット毎に前記平方ベクトルから前記平均値を差し引いた値を前記分散で割り、前記正規化ベクトルを得るための正規化サブユニットと、を含むことを特徴とする請求項１４に記載の装置。
【請求項１６】
前記次元削減ユニットは、
前記正規化ベクトルと予め設定された係数行列の積を計算し、前記積を前記正規化ベクトルに対応する２次元ベクトルとするために用いられることを特徴とする請求項１４に記載の装置。
【請求項１７】
前記融合モジュールは、
前記中間類似度により最終的な類似度を制約し、収束した最終的な類似度推定を得るための制約サブモジュールと、
前記収束した最終的な類似度推定に対して正規化処理を行い、最終的な類似度を得るための正規化サブモジュールと、を含むことを特徴とする請求項１１に記載の装置。
【請求項１８】
前記融合モジュールは、
前記中間類似度により最終的な類似度推定を初期化するための初期化サブモジュールを更に含むことを特徴とする請求項１７に記載の装置。
【請求項１９】
前記制約サブモジュールは、
前記検索画像と前記候補画像内の第１の画像との第１の中間類似度を計算するための第１の計算ユニットと、
前記第１の画像と前記候補画像内の第２の画像との第２の中間類似度を計算するための第２の計算ユニットと、
前記検索画像と前記第２の画像との最終的な類似度推定を計算するための第３の計算ユニットと、
前記第２の中間類似度と前記最終的な類似度推定の積を計算するための第４の計算ユニットと、
前記第１の中間類似度と前記積の重み付け重ね合わせ結果を計算するための第５の計算ユニットと、
前記検索画像と前記第１の画像との最終的な類似度推定が収束するまでに、前記重み付け重ね合わせ結果により前記検索画像と前記第１の画像との最終的な類似度推定を更新し、前記検索画像と前記第１の画像との収束した最終的な類似度推定を得るための特定ユニットと、を含むことを特徴とする請求項１７に記載の装置。
【請求項２０】
前記特定モジュールは、
前記最終的な類似度が予め設定された閾値より大きい候補画像を前記検索画像に対応する目標画像とするために用いられることを特徴とする請求項１１に記載の装置。
【請求項２１】
請求項１〜１０のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含むことを特徴とする電子機器。
【請求項２２】
コンピュータプログラムコマンドを記憶したコンピュータ読み取り可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、請求項１〜１０のいずれか一項に記載の方法が実現されることを特徴とするコンピュータ読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンピュータビジョン技術に関し、特に、画像検索方法及び画像検索装置に関する。
【背景技術】
【０００２】
内容に基づく画像検索（ＣＢＩＲ；Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ  Ｉｍａｇｅ  Ｒｅｔｒｉｅｖａｌ）は、コンピュータビジョン分野において、大規模デジタル画像内容検索に注目している研究課題である。内容に基づく画像検索は、ユーザから入力される１枚のキー画像を基に同様又は類似的な内容を有する他の画像を検索することが可能である。
【０００３】
関連技術において、画像検索モデルをトレーニングする時に、一般的にはペアワイズ損失関数（ｐａｉｒｗｉｓｅ  ｌｏｓｓ）、トリプレット損失関数（ｔｒｉｐｌｅｔ  ｌｏｓｓ）又はクアドラプレット損失関数（ｑｕａｄｒｕｐｌｅｔ  ｌｏｓｓ）等の損失関数が用いられる。これらの損失関数は、いずれも中間類似度（即ち、ペアワイズ内、トリプレット内又はクアドラプレット内の類似度）のみを制約するものである。このようにトレーニングされた画像検索モデルは、画像検索の精度やロバスト性が低い。
【発明の概要】
【０００４】
これに鑑みて、本開示は、画像検索方法及び装置を提供する。
【０００５】
本開示の一方面によれば、検索画像と少なくとも１つの候補画像を含む画像群を取得することと、前記画像群内の任意の２枚の画像間の中間類似度を計算することと、前記任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、前記検索画像と各候補画像との最終的な類似度を得ることと、前記最終的な類似度により前記各候補画像から前記検索画像に対応する目標画像を特定することと、を含む画像検索方法を提供する。
【０００６】
可能な一実現形態では、前記画像群内の任意の２枚の画像間の中間類似度を計算することは、前記画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得ることと、前記マルチスケール特徴ベクトルにより前記画像群内の任意の２枚の画像間の中間類似度を計算することと、を含む。
【０００７】
可能な一実現形態では、前記画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得ることは、前記画像毎に予め設定された数のマルチスケール特徴マップを抽出することと、各前記マルチスケール特徴マップを予め設定された次元の特徴ベクトルに標準化することと、を含む。
【０００８】
可能な一実現形態では、前記マルチスケール特徴ベクトルにより前記画像群内の任意の２枚の画像間の中間類似度を計算することは、任意の２枚の画像に対応するマルチスケール特徴ベクトルに対してビット毎に差分演算を行い、２つのマルチスケール特徴ベクトルの差分ベクトルを得ることと、前記差分ベクトルに対してビット毎に平方演算を行い、前記差分ベクトルの平方ベクトルを得ることと、前記平方ベクトルに対して正規化処理を行い、正規化ベクトルを得ることと、前記正規化ベクトルに対して次元削減処理を行い、前記正規化ベクトルに対応する２次元ベクトルを得ることと、前記２次元ベクトルに対して正規化処理を行い、前記任意の２枚の画像間の中間類似度を得ることと、を含む。
【０００９】
可能な一実現形態では、前記平方ベクトルに対して正規化処理を行い、正規化ベクトルを得ることは、前記平方ベクトルの平均値と分散をそれぞれ計算することと、ビット毎に前記平方ベクトルから前記平均値を差し引いた値を前記分散で割り、前記正規化ベクトルを得ることと、を含む。
【００１０】
可能な一実現形態では、前記正規化ベクトルに対して次元削減処理を行い、前記正規化ベクトルに対応する２次元ベクトルを得ることは、前記正規化ベクトルと予め設定された係数行列の積を計算し、前記積を前記正規化ベクトルに対応する２次元ベクトルとすることを含む。
【００１１】
可能な一実現形態では、前記中間類似度によりマルチスケール特徴融合を行い、前記検索画像と各候補画像との最終的な類似度を得ることは、前記中間類似度により最終的な類似度を制約し、収束した最終的な類似度推定を得ることと、前記収束した最終的な類似度推定に対して正規化処理を行い、最終的な類似度を得ることと、を含む。
【００１２】
可能な一実現形態では、前記中間類似度により最終的な類似度を制約する前に、前記中間類似度により最終的な類似度推定を初期化することを更に含む。
【００１３】
可能な一実現形態では、前記中間類似度により最終的な類似度を制約することは、前記検索画像と前記候補画像内の第１の画像との第１の中間類似度を計算することと、前記第１の画像と前記候補画像内の第２の画像との第２の中間類似度を計算することと、前記検索画像と前記第２の画像との最終的な類似度推定を計算することと、前記第２の中間類似度と前記最終的な類似度推定の積を計算することと、前記第１の中間類似度と前記積の重み付け重ね合わせ結果を計算することと、前記検索画像と前記第１の画像との最終的な類似度推定が収束するまでに、前記重み付け重ね合わせ結果により前記検索画像と前記第１の画像との最終的な類似度推定を更新し、前記検索画像と前記第１の画像との収束した最終的な類似度推定を得ることと、を含む。
【００１４】
可能な一実現形態では、前記最終的な類似度により前記各候補画像から前記検索画像に対応する目標画像を特定することは、前記最終的な類似度が予め設定された閾値より大きい候補画像を前記検索画像に対応する目標画像とすることを含む。
【００１５】
本開示の別の方面によれば、検索画像と少なくとも１つの候補画像を含む画像群を得るための取得モジュールと、前記画像群内の任意の２枚の画像間の中間類似度を計算するための計算モジュールと、前記任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、前記検索画像と各候補画像との最終的な類似度を得るための融合モジュールと、前記最終的な類似度により前記各候補画像から前記検索画像に対応する目標画像を特定するための特定モジュールと、を含む画像検索装置を提供する。
【００１６】
可能な一実現形態では、前記計算モジュールは、前記画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得るための抽出サブモジュールと、前記マルチスケール特徴ベクトルにより前記画像群内の任意の２枚の画像間の中間類似度を計算するための計算サブモジュールと、を含む。
【００１７】
可能な一実現形態では、前記抽出サブモジュールは、前記画像毎に予め設定された数のマルチスケール特徴マップを抽出するための抽出ユニットと、各前記マルチスケール特徴マップを予め設定された次元の特徴ベクトルに標準化するための標準化ユニットと、を含む。
【００１８】
可能な一実現形態では、前記計算サブモジュールは、任意の２枚の画像に対応するマルチスケール特徴ベクトルに対してビット毎に差分演算を行い、２つのマルチスケール特徴ベクトルの差分ベクトルを得るための差分演算ユニットと、前記差分ベクトルに対してビット毎に平方演算を行い、前記差分ベクトルの平方ベクトルを得るための平方演算ユニットと、前記平方ベクトルに対して正規化処理を行い、正規化ベクトルを得るための第１の正規化ユニットと、前記正規化ベクトルに対して次元削減処理を行い、前記正規化ベクトルに対応する２次元ベクトルを得るための次元削減ユニットと、前記２次元ベクトルに対して正規化処理を行い、前記任意の２枚の画像間の中間類似度を得るための第２の正規化ユニットと、を含む。
【００１９】
可能な一実現形態では、前記第１の正規化ユニットは、前記平方ベクトルの平均値と分散をそれぞれ計算するための計算サブユニットと、ビット毎に前記平方ベクトルから前記平均値を差し引いた値を前記分散で割り、前記正規化ベクトルを得るための正規化サブユニットと、を含む。
【００２０】
可能な一実現形態では、前記次元削減ユニットは、前記正規化ベクトルと予め設定された係数行列の積を計算し、前記積を前記正規化ベクトルに対応する２次元ベクトルとするために用いられる。
【００２１】
可能な一実現形態では、前記融合モジュールは、前記中間類似度により最終的な類似度を制約し、収束した最終的な類似度推定を得るための制約サブモジュールと、前記収束した最終的な類似度推定に対して正規化処理を行い、最終的な類似度を得るための正規化サブモジュールと、を含む。
【００２２】
可能な一実現形態では、前記融合モジュールは、前記中間類似度により最終的な類似度推定を初期化するための初期化サブモジュールを更に含む。
【００２３】
可能な一実現形態では、前記制約サブモジュールは、前記検索画像と前記候補画像内の第１の画像との第１の中間類似度を計算するための第１の計算ユニットと、前記第１の画像と前記候補画像内の第２の画像との第２の中間類似度を計算するための第２の計算ユニットと、前記検索画像と前記第２の画像との最終的な類似度推定を計算するための第３の計算ユニットと、前記第２の中間類似度と前記最終的な類似度推定の積を計算するための第４の計算ユニットと、前記第１の中間類似度と前記積の重み付け重ね合わせ結果を計算するための第５の計算ユニットと、前記検索画像と前記第１の画像との最終的な類似度推定が収束するまでに、前記重み付け重ね合わせ結果により前記検索画像と前記第１の画像との最終的な類似度推定を更新し、前記検索画像と前記第１の画像との収束した最終的な類似度推定を得るための特定ユニットと、を含む。
【００２４】
可能な一実現形態では、前記特定モジュールは、前記最終的な類似度が予め設定された閾値より大きい候補画像を前記検索画像に対応する目標画像とするために用いられる。
【００２５】
本開示の別の方面によれば、上記方法を実行するように構成されるプロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含む電子機器を提供する。
【００２６】
本開示の別の方面によれば、コンピュータプログラムコマンドを記憶したコンピュータ読み取り可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、上記方法が実現されるコンピュータ読み取り可能な記憶媒体を提供する。
【００２７】
本開示の各方面の画像検索方法及び装置によれば、検索画像と少なくとも１つの候補画像を含む画像群を取得し、画像群中の任意の２枚の画像間の中間類似度を計算し、任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、検索画像と各候補画像との最終的な類似度を得て、最終的な類似度により各候補画像から検索画像に対応する目標画像を特定することによって、画像検索の精度やロバスト性を高めることができる。
【００２８】
以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴及び方面は明瞭になる。
【図面の簡単な説明】
【００２９】
明細書に含まれ且つ明細書の一部を構成する図面は明細書と共に本開示の例示的な実施例、特徴及び方面を示し、更に本開示の原理を解釈するために用いられる。
【図１】本開示の一実施例に係る画像検索方法のフローチャートを示す。
【図２】本開示の一実施例に係る画像検索方法のステップＳ１２の例示的フローチャートを示す。
【図３】本開示の一実施例に係る画像検索方法のステップＳ１２１の例示的フローチャートを示す。
【図４】本開示の一実施例に係る画像検索方法のステップＳ１２２の例示的フローチャートを示す。
【図５】は本開示の一実施例に係る画像検索方法のステップＳ１２２３の例示的フローチャートを示す。
【図６】本開示の一実施例に係る画像検索方法のステップＳ１３の例示的フローチャートを示す。
【図７】本開示の一実施例に係る画像検索方法のステップＳ１３１の例示的フローチャートを示す。
【図８】本開示の一実施例に係る画像検索装置のブロック図を示す。
【図９】本開示の一実施例に係る画像検索装置の例示的ブロック図を示す。
【図１０】例示的実施例に示す画像検索のための装置１９００のブロック図である。
【発明を実施するための形態】
【００３０】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を作る必要がない。
【００３１】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。
【００３２】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくても、本開示が実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するように、当業者に既知の方法、手段、要素および回路について、詳細な説明を行わない。
【００３３】
図１は本開示の一実施例に係る画像検索方法のフローチャートを示す。該方法はサーバに利用可能である。図１に示すように、該方法はステップＳ１１〜ステップＳ１４を含む。
【００３４】
ステップＳ１１では、検索画像と少なくとも１つの候補画像を含む画像群を得る。
【００３５】
本実施例で提供される画像検索方法はイメージライブラリから検索画像と同様又は類似的な内容を含む画像を検索することを目的とする。本実施例では、イメージライブラリ内の画像を候補画像とする。本実施例における画像群は、検索画像とイメージライブラリ内の候補画像の少なくとも１つの候補画像を含む。
【００３６】
可能な一実現形態では、該画像検索方法は、人物再同定（Ｐｅｒｓｏｎ  Ｒｅ−Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に適用可能である。該画像検索方法を人物再同定に適用する場合に、検索画像は目標人物を含む画像であってよく、イメージライブラリ内の各候補画像は人物を含む画像であってよい。
【００３７】
本実施例では、検索画像と少なくとも１つの候補画像を含む画像群を取得した後、画像群内の任意の２枚の画像間の中間類似度を計算する前に、画像群のうちの各画像の特徴を抽出することを更に含む。
【００３８】
可能な一実現形態では、特徴抽出ネットワークによって検索画像の特徴と各候補画像の特徴を抽出することができる。該特徴抽出ネットワークは、深層ニューラルネットワークであってよい。例えば、特徴抽出ネットワークはＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１又はＩｎｃｅｐｔｉｏｎ等であってよい。
【００３９】
ステップＳ１２では、画像群内の任意の２枚の画像間の中間類似度を計算する。
【００４０】
ここで、２枚の画像間の中間類似度は、該２枚の画像間の類似度の初期値を示してよい。
【００４１】
本実施例では、まず各画像のマルチスケール特徴ベクトルを算出し、次に該マルチスケール特徴ベクトルにより任意の２枚の画像間の中間類似度を計算するようにしてよい。ここで、マルチスケール特徴ベクトルは複数の異なるスケールの特徴ベクトルであることを示し得、又は１つの特徴ベクトルが複数の異なるスケールに関わることを示し得る。中間類似度の値の取れる範囲は［０，１］であってよい。
【００４２】
他の方式を用いて任意の２枚の画像間の中間類似度を計算できることが勿論であり、ここで限定されない。
【００４３】
可能な一実現形態では、２つの画像間の中間類似度が大きいほど、該２つの画像に同様な内容が含まれる可能性が高いことを示し得る。例えば、人物再同定では、２つの画像間の中間類似度が大きいほど、該２つの画像に同一の人物が含まれる可能性が高いことを示す。
【００４４】
ステップＳ１３では、任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、検索画像と各候補画像との最終的な類似度を得る。
【００４５】
本実施例では、検索画像と候補画像間の最終的な類似度は、検索画像と候補画像との類似度の最終値、即ち、最終的に特定される検索画像と候補画像との類似度を示してよい。
【００４６】
本実施例では、最終的な類似度の値の取れる範囲は［０，１］であってよい。
【００４７】
可能な一実現形態では、２つの画像間の最終的な類似度が大きいほど、該２つの画像に同様な内容が含まれる可能性が高いことを示し得る。例えば、該画像検索方法を人物再同定に適用する場合に、２つの画像間の最終的な類似度が大きいほど、該２つの画像に同一の人物が含まれる可能性が高いことを示し得る。
【００４８】
可能な一実現形態では、検索画像と候補画像との融合後の類似度が収束するまでに、条件付き確率場アルゴリズムを用いて任意の２枚の画像間の中間類似度に対してマルチスケール特徴融合を行い、検索画像と各候補画像との最終的な類似度を得る。
【００４９】
可能な一実現形態では、条件付き確率場アルゴリズムを用いて確率的グラフィカルモデル（Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｇｒａｏｈｉｃａｌ  Ｍｏｄｅｌ）を構築することができる。該確率的グラフィカルモデルは無向グラフであってよい。該実現形態では、検索画像と各候補画像のそれぞれを該確率的グラフィカルモデルのノードとしてよい。検索画像ノードと候補画像ノードとの間の辺の重みは検索画像と候補画像の最終的な類似度推定と等しくてよく、２つの候補画像ノード間の辺の重みは該２つの候補画像間の中間類似度と等しくてよい。ここで、検索画像ノードと候補画像ノードとの間の辺の重みの初期値は検索画像と候補画像との最終的な類似度推定の初期値と等しくてよい。該実現形態では、検索画像と候補画像との関係を条件付き確率場の一次の項と見なし、候補画像と候補画像との関係を条件付き確率場の二次の項と見なしてよい。該実現形態では、検索画像と候補画像との最終的な類似度推定が収束するまでに、ノード間の辺の重みにより情報伝達を行って検索画像と候補画像との最終的な類似度推定を制約することにより、検索画像と各候補画像との最終的な類似度を得ることができる。検索画像と候補画像との最終的な類似度推定が収束するまでに、条件付き確率場アルゴリズムを用いて検索画像と候補画像との最終的な類似度推定を制約することで、検索画像と候補画像との信頼的且つ安定的な最終的な類似度を得ることができる。例えば、画像Ａと画像Ｂに同一の人物が含まれ、画像Ａと画像Ｃにも同一の人物が含まれる場合に、画像Ｂと画像Ｃとの最終的な類似度も高いはずである。ここで、最終的な類似度推定は最終的な類似度の推定値を示してよい。
【００５０】
可能な一実現形態では、毎回最終的な類似度を制約した度に、検索画像と候補画像との最終的な類似度推定に対して正規化処理を行って、検索画像と候補画像との最終的な類似度推定の値を［０，１］の範囲にするようにしてよい。
【００５１】
ステップＳ１４では、最終的な類似度により各候補画像から検索画像に対応する目標画像を特定する。
【００５２】
本実施例では、検索画像に対応する目標画像とは検索画像と同様又は類似的な内容を含む候補画像を指してよい。例えば、人物再同定では、検索画像に対応する目標画像とは、候補画像のうち検索画像と同一の人物を含む画像を指してよい。
【００５３】
可能な一実現形態では、最終的な類似度により各候補画像から検索画像に対応する目標画像を特定することは、最終的な類似度が予めに設定された閾値より大きい候補画像を検索画像に対応する目標画像とすることを含む。
【００５４】
別の可能な実現形態では、最終的な類似度により各候補画像から検索画像に対応する目標画像を特定することは、検索画像との最終的な類似度が大きい方からＮ個の候補画像を検索画像に対応する目標画像と特定することを含み、ここで、Ｎが正整数である。
【００５５】
該実現形態の一例として、検索画像との最終的な類似度が最も大きい候補画像を検索画像に対応する目標画像と特定してよい。この例において、Ｎが１である。
【００５６】
本実施例は、検索画像と少なくとも１つの候補画像を含む画像群を取得し、画像群内の任意の２枚の画像間の中間類似度を計算し、任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、検索画像と各候補画像との最終的な類似度を得て、最終的な類似度により各候補画像から検索画像に対応する目標画像を特定することによって、深層学習と条件付き確率ベクトル場を組み合わせて画像検索の精度やロバスト性を高めた。
【００５７】
可能な一実現形態では、中間類似度の特定、マルチスケール特徴融合及び最終的な類似度の特定を１つの深層学習モデルに統合して、エンドツーエンドのトレーニングを行うようにしてよい。
【００５８】
図２は本開示の一実施例に係る画像検索方法のステップＳ１２の例示的フローチャートを示す。図２に示すように、ステップＳ１２はステップＳ１２１とステップＳ１２２を含んでよい。
【００５９】
ステップＳ１２１では、画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得る。
ここで、マルチスケール特徴抽出は複数のスケールの特徴を抽出することを示してよい。
【００６０】
ステップＳ１２２では、マルチスケール特徴ベクトルにより画像群内の任意の２枚の画像間の中間類似度を計算する。
【００６１】
本実施例は、画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行うことによって、画像の異なるスケールの特徴を十分に得ることができ、画像検索結果の正確性を更に高めることに寄与し、検索された目標画像が各スケール上で検索画像に近接するようにする。
【００６２】
図３は本開示の一実施例に係る画像検索方法のステップＳ１２１の例示的フローチャートを示す。図３に示すように、ステップＳ１２１はステップＳ１２１１とステップＳ１２１２を含んでよい。
【００６３】
ステップＳ１２１１では、画像毎に予め設定された数のマルチスケール特徴マップを抽出する。
ここで、マルチスケール特徴マップは複数のスケールの特徴マップを示してよい。
【００６４】
可能な一実現形態では、特徴抽出ネットワークによって画像群内の各画像毎に、特徴抽出を行って予め設定された数の異なるスケールの特徴マップを得ることができ、本実施例では、予め設定された数が３であってよい。特徴ネットワークとしては、従来の特徴抽出ネットワークの基本的な構成、例えばＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１又はＩｎｃｅｐｔｉｏｎ等が用いられる。
【００６５】
ステップＳ１２１２では、各マルチスケール特徴マップを予め設定された次元の特徴ベクトルに標準化する。
【００６６】
可能な一実現形態では、抽出された各画像の対応する異なるスケールの特徴マップを特徴抽出ネットワークのプーリング層と全結合層を介して処理することにより、各画像の対応する異なるスケールの特徴マップを同一の予め設定された次元の特徴ベクトルに標準化することができ、本実施例では、予め設定された次元が１２８次元であってよい。
【００６７】
本実施例は画像毎に予め設定された数のマルチスケール特徴マップを抽出し、各スケール特徴マップを予め設定された次元の特徴ベクトルに標準化することによって、後の画像間の中間類似度計算に寄与する。
【００６８】
図４は本開示の一実施例に係る画像検索方法のステップＳ１２２の例示的フローチャートを示す。図４に示すように、ステップＳ１２２はステップＳ１２２１〜ステップＳ１２２５を含んでよい。
【００６９】
ステップＳ１２２１では、任意の２枚の画像に対応するマルチスケール特徴ベクトルに対してビット毎に差分演算を行い、２つのマルチスケール特徴ベクトルの差分ベクトルを得る。
【００７０】
本実施例では、同様なスケールの特徴ベクトルに対してビット毎に差分演算を行い、２つのベクトルの差分ベクトルを得る。
【００７１】
ステップＳ１２２２では、差分ベクトルに対してビット毎に平方演算を行い、差分ベクトルの平方ベクトルを得る。
【００７２】
本実施例では、差分ベクトル中の各要素の平方値をビット毎に計算し、差分ベクトルの平方ベクトルを得る。
【００７３】
ステップＳ１２２３では、平方ベクトルに対して正規化処理を行い、正規化ベクトルを得る。
【００７４】
可能な一実現形態では、上記ステップＳ１２２２で得られた平方ベクトルに対してビット毎に標準偏差を計算し、正規化ベクトルを得る。
【００７５】
ステップＳ１２２４では、正規化ベクトルに対して次元削減処理を行い、正規化ベクトルに対応する２次元ベクトルを得る。
【００７６】
可能な一実現形態では、畳み込みニューラルネットワークの全結合層によって正規化ベクトルに対して次元削減処理を行い、正規化ベクトルに対応する２次元ベクトルを得ることができる。具体的なプロセスは、正規化ベクトルと予め設定された係数行列の積を計算し、該積を正規化ベクトルに対応する２次元ベクトルとするようにする。
【００７７】
本実施例では、正規化ベクトルを２次元ベクトルに次元削減することによって、バイナリ分類して、２つの画像に同様な内容が含まれるか否かを特定する（例えば、人物再同定で、２つの画像に同一の人物が含まれるか否かを特定する）ことに寄与する。
【００７８】
ステップＳ１２２５では、２次元ベクトルに対して正規化処理を行い、任意の２枚の画像間の中間類似度を得る。
【００７９】
本実施例では、Ｓｉｇｍｏｉｄ関数を用いて上記２次元ベクトルに対して正規化処理を行い、任意の２枚の画像間の中間類似度を特定することができる。
【００８０】
図５は本開示の一実施例に係る画像検索方法のステップＳ１２２３の例示的フローチャートを示す。図５に示すように、ステップＳ１２２３はステップＳ１２２３１とステップＳ１２２３２を含んでよい。
【００８１】
ステップＳ１２２３１では、平方ベクトルの平均値と分散をそれぞれ計算する。
【００８２】
ステップＳ１２２３２では、ビット毎に平方ベクトルから平均値を差し引いた値を分散で割り、正規化ベクトルを得る。
【００８３】
以上のように図５で平方ベクトルに対する正規化処理の方法を説明したが、当業者であれば、本開示がこれに限定されないことを理解できる。当業者は、実際に適用するシーンの要求及び／又は個人的な好みに応じて平方ベクトルに対する正規化処理の具体的な方法を柔軟的に設置することができ、平方ベクトルを正規化できればよい。
【００８４】
図６は本開示の一実施例に係る画像検索方法のステップＳ１３の例示的フローチャートを示す。図６に示すように、ステップＳ１３はステップＳ１３１とステップＳ１３２を含んでよい。
【００８５】
ステップＳ１３１では、中間類似度により最終的な類似度を制約し、収束した最終的な類似度推定を得る。
【００８６】
実施例では、最終的な類似度を制約することは最終的な類似度推定が収束するようにするプロセスを示し得る。可能な一実現形態では、条件付き確率場アルゴリズムを用いて、中間類似度により最終的な類似度を制約することができる。
【００８７】
ステップＳ１３２では、収束した最終的な類似度推定に対して正規化処理を行い、最終的な類似度を得る。
【００８８】
可能な一実現形態では、中間類似度により最終的な類似度を制約する前に、中間類似度により最終的な類似度推定を初期化することを更に含む。
【００８９】
該実現形態の一例として、中間類似度により最終的な類似度推定を初期化することは、検索画像と候補画像との中間類似度と指定係数の積を検索画像と候補画像との最終的な類似度推定の初期値とすることを含んでよい。
【００９０】
図７は本開示の一実施例に係る画像検索方法のステップＳ１３１の例示的フローチャートを示す。図７に示すように、ステップＳ１３１はステップＳ１３１１〜ステップＳ１３１６を含んでよい。
【００９１】
ステップＳ１３１１では、検索画像と候補画像内の第１の画像との第１の中間類似度を計算する。
【００９２】
本実施例における第１の画像とは候補画像のいずれか一つを指し、ここで、「第１」は説明及び指示を容易にするためのものに過ぎず、本開示の具体的な実現形態で対応する第１の画像が必ず存在するというわけではない。
【００９３】
ここで、検索画像と候補画像内の第１の画像との第１の中間類似度を計算する方法は上述した中間類似度の計算方法と同様であり、ここで詳細な説明は割愛する。
【００９４】
ステップＳ１３１２では、第１の画像と候補画像内の第２の画像との第２の中間類似度を計算する。
【００９５】
本実施例における第２の画像とは候補画像のうちの第１の画像以外の画像のいずれか一つを指し、ここで、「第２」は説明及び指示を容易にするためのものに過ぎず、本開示の具体的な実現形態で対応する第２の画像が必ず存在するというわけではない。
【００９６】
ここで、第１の画像と候補画像内の第２の画像との第２の中間類似度を計算する方法は上述した中間類似度の計算方法と同様であり、ここで詳細な説明は割愛する。
【００９７】
ステップＳ１３１３では、検索画像と第２の画像との最終的な類似度推定を計算する。
【００９８】
本実施例では、第１回の最終的な類似度を制約する場合に、検索画像と第２の画像との最終的な類似度推定は検索画像と第２の画像との最終的な類似度推定の初期値と等しくてよく、ここで、検索画像と第２の画像との最終的な類似度推定の初期値は検索画像と第２の画像との中間類似度と指定係数の積と等しくてよい。第回の最終的な類似度を制約する場合に、検索画像と第２の画像との最終的な類似度推定は第回の最終的な類似度を制約して得られた検索画像と第２の画像との最終的な類似度推定と等しくてよく、ただし、である。
【００９９】
ステップＳ１３１４では、第２の中間類似度と最終的な類似度推定の積を計算する。
【０１００】
ステップＳ１３１５では、第１の中間類似度と該積の重み付け重ね合わせ結果を計算する。
【０１０１】
ステップＳ１３１６では、検索画像と第１の画像との最終的な類似度推定が収束するまでに、重み付け重ね合わせ結果により検索画像と第１の画像との最終的な類似度推定を更新し、検索画像と第１の画像との収束した最終的な類似度推定を得る。
【０１０２】
可能な一実現形態では、式１により第ｌ＋１回の最終的な類似度を制約した後の検索画像ｐと第１の画像ｉとの最終的な類似度推定
【数１】
2021508899.tif 000003
を特定することができる。
【数２】
2021508899.tif 000004
ただし、
【数３】
2021508899.tif 000005
はスケールに対応する第１のパラメータを表し、βはスケールｓに対応する第２のパラメータを表し、ｓはスケールの総数を表し、
【数４】
2021508899.tif 000006
は検索画像ｐと第１の画像ｉのスケールｓでの中間類似度を表し、
【数５】
2021508899.tif 000007
は第１の画像ｉと第２の画像ｊのスケールｓでの中間類似度を表し、
【数６】
2021508899.tif 000008
は第ｌ回の最終的な類似度を制約した後の検索画像ｐと第２の画像ｊのスケールｓでの最終的な類似度推定を表す。
【０１０３】
本実施例では、検索画像と候補画像のいずれか１つとの最終的な類似度推定が収まっていなければ、検索画像と各候補画像との最終的な類似度推定が収束するまでに、最終的な類似度を制約し続けることができる。
【０１０４】
図８は本開示の一実施例に係る画像検索装置のブロック図を示す。図８に示すように、該装置は、検索画像と少なくとも１つの候補画像を含む画像群を得るための取得モジュール８１と、画像群内の任意の２枚の画像間の中間類似度を計算するための計算モジュール８２と、任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、検索画像と各候補画像との最終的な類似度を得るための融合モジュール８３と、最終的な類似度により各候補画像から検索画像に対応する目標画像を特定するための特定モジュール８４と、を含む。
【０１０５】
図９は本開示の一実施例に係る画像検索装置の例示的ブロック図を示す。
【０１０６】
可能な一実現形態では、計算モジュール８２は、画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得るための抽出サブモジュール８２１と、マルチスケール特徴ベクトルにより画像群内の任意の２枚の画像間の中間類似度を計算するための計算サブモジュール８２２と、を含む。
【０１０７】
可能な一実現形態では、抽出サブモジュール８２１は、画像毎に予め設定された数のマルチスケール特徴マップを抽出するための抽出ユニットと、各マルチスケール特徴マップを予め設定された次元の特徴ベクトルに標準化するための標準化ユニットと、を含む。
【０１０８】
可能な一実現形態では、計算サブモジュール８２２は、任意の２枚の画像に対応するマルチスケール特徴ベクトルに対してビット毎に差分演算を行い、２つのマルチスケール特徴ベクトルの差分ベクトルを得るための差分演算ユニットと、差分ベクトルに対してビット毎に平方演算を行い、差分ベクトルの平方ベクトルを得るための平方演算ユニットと、平方ベクトルに対して正規化処理を行い、正規化ベクトルを得るための第１の正規化ユニットと、正規化ベクトルに対して次元削減処理を行い、正規化ベクトルに対応する２次元ベクトルを得るための次元削減ユニットと、２次元ベクトルに対して正規化処理を行い、任意の２枚の画像間の中間類似度を得るための第２の正規化ユニットと、を含む。
【０１０９】
可能な一実現形態では、第１の正規化ユニットは、平方ベクトルの平均値と分散をそれぞれ計算するための計算サブユニットと、ビット毎に平方ベクトルから平均値を差し引いた値を分散で割り、正規化ベクトルを得るための正規化サブユニットと、を含む。
【０１１０】
可能な一実現形態では、次元削減ユニットは、正規化ベクトルと予め設定された係数行列の積を計算し、該積を正規化ベクトルに対応する２次元ベクトルとするために用いられる。
【０１１１】
可能な一実現形態では、融合モジュール８３は、中間類似度により最終的な類似度を制約し、収束した最終的な類似度推定を得るための制約サブモジュール８３１と、収束した最終的な類似度推定に対して正規化処理を行い、最終的な類似度を得るための正規化サブモジュール８３２と、を含む。
【０１１２】
可能な一実現形態では、融合モジュール８３は、中間類似度により最終的な類似度推定を初期化するための初期化サブモジュール８３３を更に含む。
【０１１３】
可能な一実現形態では、制約サブモジュール８３１は、検索画像と候補画像内の第１の画像との第１の中間類似度を計算するための第１の計算ユニットと、第１の画像と候補画像内の第２の画像との第２の中間類似度を計算するための第２の計算ユニットと、検索画像と第２の画像との最終的な類似度推定を計算するための第３の計算ユニットと、第２の中間類似度と最終的な類似度推定の積を計算するための第４の計算ユニットと、第１の中間類似度と該積の重み付け重ね合わせ結果を計算するための第５の計算ユニットと、検索画像と第１の画像との最終的な類似度推定が収束するまでに、重み付け重ね合わせ結果により検索画像と第１の画像との最終的な類似度推定を更新し、検索画像と第１の画像との収束した最終的な類似度推定を得るための特定ユニットと、を含む。
【０１１４】
可能な一実現形態では、特定モジュール８４は、最終的な類似度が予め設定された閾値より大きい候補画像を検索画像に対応する目標画像とするために用いられる。
【０１１５】
本実施例は、検索画像と少なくとも１つの候補画像を含む画像群を取得し、画像群内の任意の２枚の画像間の中間類似度を計算し、任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、検索画像と各候補画像との最終的な類似度を得て、最終的な類似度により各候補画像から検索画像に対応する目標画像を特定することによって、画像検索の精度やロバスト性を高めることができる。
【０１１６】
図１０は一例示的実施例により示された画像検索のための装置１９００のブロック図である。例えば、装置１９００はサーバとして提供できる。図１０を参照すると、装置１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
【０１１７】
装置１９００はさらに、装置１９００の電源管理を実行するように構成された電源コンポーネント１９２６、装置１９００をネットワークに接続するように構成された有線または無線ネットワークインターフェイス１９５０、および入出力（Ｉ／Ｏ）インターフェイス１９５８を含んでもよい。装置１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標）ＳｅｒｖｅｒTM、Ｍａｃ  ＯＳ  ＸTM、ＵｎｉｘTM、ＬｉｎｕｘTM、ＦｒｅｅＢＳＤTMまたは類似するものに基づいて動作できる。
【０１１８】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令が装置１９００の処理コンポーネント１９２２によって実行されると上記方法を実行することができる。
【０１１９】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能プログラム命令を有しているコンピュータ読み取り可能記憶媒体を含んでもよい。
【０１２０】
コンピュータ読み取り可能記憶媒体は命令実行装置により使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０１２１】
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインターフェイスはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶させる。
【０１２２】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能プログラム命令を実行することにより、本開示の各方面を実現できるようにしてもよい。
【０１２３】
なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各方面を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【０１２４】
これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。
【０１２５】
コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータによる実現のプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０１２６】
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は、指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定された機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
【０１２７】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【０１２８】
本願は、２０１８年４月１９日に中国特許局に提出された、出願番号２０１８１０３５５１７９．０、出願の名称「画像検索方法及び装置」の中国特許出願の優先権を出張し、その開示の全てが参照によって本願に組み込まれる。
【図１】
2021508899.tif 000009
【図２】
2021508899.tif 000010
【図３】
2021508899.tif 000011
【図４】
2021508899.tif 000012
【図５】
2021508899.tif 000013
【図６】
2021508899.tif 000014
【図７】
2021508899.tif 000015
【図８】
2021508899.tif 000016
【図９】
2021508899.tif 000017
【図１０】
2021508899.tif 000018
【手続補正書】
【提出日】令和2年6月23日(2020.6.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検索画像と少なくとも１つの候補画像を含む画像群を取得することと、
前記画像群内の任意の２枚の画像間の中間類似度を計算することと、
前記任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、前記検索画像と各候補画像との最終的な類似度を得ることと、
前記最終的な類似度により前記各候補画像から前記検索画像に対応する目標画像を特定することと、を含むことを特徴とする画像検索方法。
【請求項２】
前記画像群内の任意の２枚の画像間の中間類似度を計算することは、
前記画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得ることと、
前記マルチスケール特徴ベクトルにより前記画像群内の任意の２枚の画像間の中間類似度を計算することと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記画像群内の各画像に対してそれぞれマルチスケール特徴抽出を行い、各画像に一対一に対応するマルチスケール特徴ベクトルを得ることは、
前記画像毎に予め設定された数のマルチスケール特徴マップを抽出することと、
各前記マルチスケール特徴マップを予め設定された次元の特徴ベクトルに標準化することと、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記マルチスケール特徴ベクトルにより前記画像群内の任意の２枚の画像間の中間類似度を計算することは、
任意の２枚の画像に対応するマルチスケール特徴ベクトルに対してビット毎に差分演算を行い、２つのマルチスケール特徴ベクトルの差分ベクトルを得ることと、
前記差分ベクトルに対してビット毎に平方演算を行い、前記差分ベクトルの平方ベクトルを得ることと、
前記平方ベクトルに対して正規化処理を行い、正規化ベクトルを得ることと、
前記正規化ベクトルに対して次元削減処理を行い、前記正規化ベクトルに対応する２次元ベクトルを得ることと、
前記２次元ベクトルに対して正規化処理を行い、前記任意の２枚の画像間の中間類似度を得ることと、を含むことを特徴とする請求項２に記載の方法。
【請求項５】
前記平方ベクトルに対して正規化処理を行い、正規化ベクトルを得ることは、
前記平方ベクトルの平均値と分散をそれぞれ計算することと、
ビット毎に前記平方ベクトルから前記平均値を差し引いた値を前記分散で割り、前記正規化ベクトルを得ることと、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記正規化ベクトルに対して次元削減処理を行い、前記正規化ベクトルに対応する２次元ベクトルを得ることは、
前記正規化ベクトルと予め設定された係数行列の積を計算し、前記積を前記正規化ベクトルに対応する２次元ベクトルとすることを含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記中間類似度によりマルチスケール特徴融合を行い、前記検索画像と各候補画像との最終的な類似度を得ることは、
前記中間類似度により最終的な類似度を制約し、収束した最終的な類似度推定を得ることと、
前記収束した最終的な類似度推定に対して正規化処理を行い、最終的な類似度を得ることと、を含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記中間類似度により最終的な類似度を制約する前に、
前記中間類似度により最終的な類似度推定を初期化することを更に含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記中間類似度により最終的な類似度を制約し、収束した最終的な類似度推定を得ることは、
前記検索画像と前記候補画像内の第１の画像との第１の中間類似度を計算することと、
前記第１の画像と前記候補画像内の第２の画像との第２の中間類似度を計算することと、
前記検索画像と前記第２の画像との最終的な類似度推定を計算することと、
前記第２の中間類似度と前記最終的な類似度推定の積を計算することと、
前記第１の中間類似度と前記積の重み付け重ね合わせ結果を計算することと、
前記検索画像と前記第１の画像との最終的な類似度推定が収束するまでに、前記重み付け重ね合わせ結果により前記検索画像と前記第１の画像との最終的な類似度推定を更新し、前記検索画像と前記第１の画像との収束した最終的な類似度推定を得ることと、を含むことを特徴とする請求項７に記載の方法。
【請求項１０】
前記最終的な類似度により前記各候補画像から前記検索画像に対応する目標画像を特定することは、
前記最終的な類似度が予め設定された閾値より大きい候補画像を前記検索画像に対応する目標画像とすることを含むことを特徴とする請求項１に記載の方法。
【請求項１１】
検索画像と少なくとも１つの候補画像を含む画像群を取得するための取得モジュールと、
前記画像群内の任意の２枚の画像間の中間類似度を計算するための計算モジュールと、
前記任意の２枚の画像間の中間類似度によりマルチスケール特徴融合を行い、前記検索画像と各候補画像との最終的な類似度を得るための融合モジュールと、
前記最終的な類似度により前記各候補画像から前記検索画像に対応する目標画像を特定するための特定モジュールと、を含むことを特徴とする画像検索装置。
【請求項１２】
請求項１〜１０のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含むことを特徴とする電子機器。
【請求項１３】
コンピュータプログラムコマンドを記憶したコンピュータ読み取り可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、請求項１〜１０のいずれか一項に記載の方法が実現されることを特徴とするコンピュータ読み取り可能記憶媒体。
【請求項１４】
コンピュータプログラムコマンドを含むコンピュータプログラムであって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、請求項１〜１０のいずれか一項に記載の方法が実現されることを特徴とするコンピュータプログラム。
【国際調査報告】
2021508899.tif 000019
2021508899.tif 000020
2021508899.tif 000021
2021508899.tif 000022