(57)【要約】本開示の実施例は、画像処理方法及び装置、電子機器、並びに記憶媒体を開示し、ここで、前記画像処理方法は、同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得する（Ｓ１０）ことと、各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定する（Ｓ２０）ことと、各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得する（Ｓ３０）こととを含む。本開示の実施例により、融合特徴の精度を向上させることができる。【選択図】図１
2021530047.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得することと、
各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することと、を含む、前記画像処理方法。
【請求項２】
前記各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得することと、
前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、を含む、
請求項１に記載の画像処理方法。
【請求項３】
前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得することは、
正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第１重み行列を取得することを含む、
請求項２に記載の画像処理方法。
【請求項４】
前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
前記第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定すること、または、
前記第１重み行列に対して第１最適化処理を実行し、最適化された第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定することを含む、
請求項２または３に記載の画像処理方法。
【請求項５】
前記第１重み行列に対して第１最適化処理を実行することは、
前記第１重み行列に含まれる各画像特徴の第１重み係数に基づいて、各画像のフィッティング画像特徴を決定することであって、前記フィッティング画像特徴は、前記画像特徴と、対応する第１重み係数との積である、ことと、
各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行して、第１最適化された重み行列を取得することと、
前記第１重み行列と第１最適化された重み行列との間の差が第１条件を満たすことに応答して、前記第１最適化された重み行列を、最適化された前記第１重み行列として決定することと、及び
第１重み行列と第１最適化された重み行列との間の差が第１条件を満たさないことに応答して、前記第１最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたｋ（ｋは１より大きい正の整数である）番目の最適化された重み行列とｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第１最適化処理を繰り返し、ｋ番目の最適化された重み行列を、最適化された第１重み行列として決定することと、を含む、
請求項４に記載の画像処理方法。
【請求項６】
前記各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行することは、
各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第１誤差を取得することと、
各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することと、
各画像の第２重み係数に基づいて前記第１重み行列の第１最適化処理を実行して、前記第１重み行列に対応する第１最適化された重み行列を取得することと、を含む、
請求項５に記載の画像処理方法。
【請求項７】
前記各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することは、
第１方式で、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することを含み、前記第１方式の式は、
【化１０４】
2021530047.tif 000106
で表され、
【化１０５】
2021530047.tif 000107
はｉ番目の画像の第２重み係数であり、
【化１０６】
2021530047.tif 000108
はｉ番目の画像特徴と前記ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差を表し、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、
【化１０７】
2021530047.tif 000109
の標準偏差である、
請求項６に記載の画像処理方法。
【請求項８】
前記各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、をさらに含む、
請求項１ないし７のいずれか一項に記載の画像処理方法。
【請求項９】
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することは、
同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定することと、
各位置の要素の中央値に基づいて、前記中央値特徴行列を取得することと、を含む、
請求項８に記載の画像処理方法。
【請求項１０】
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
各画像特徴と前記中央値特徴行列との間の第２誤差を取得することと、
画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たすことに応答して、前記画像特徴の重み係数を第１重み値として設定し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たさないことに応答して、第２方式で前記画像特徴の重み係数を決定することと、を含む、
請求項８または９に記載の画像処理方法。
【請求項１１】
前記第２方式の式は、
【化１０８】
2021530047.tif 000110
【化１０９】
2021530047.tif 000111
で表され、
【化１１０】
2021530047.tif 000112
は第２方式で決定されるｈ番目の画像の重み係数であり、
【化１１１】
2021530047.tif 000113
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表す、
請求項１０に記載の画像処理方法。
【請求項１２】
前記第２条件は、
【化１１２】
2021530047.tif 000114
【化１１３】
2021530047.tif 000115
であり、
【化１１４】
2021530047.tif 000116
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表し、Ｋは判断閾値であり、ｍｅｄｉａｎは中央値フィルタリング関数を表す、
請求項１０または１１に記載の画像処理方法。
【請求項１３】
前記各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することは、
各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含む、
請求項１ないし１２のいずれか一項に記載の画像処理方法。
【請求項１４】
前記画像処理方法は、
前記融合特徴を利用して、前記同一のオブジェクトの認識操作を実行することをさらに含む、
請求項１ないし１３のいずれか一項に記載の画像処理方法。
【請求項１５】
前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記画像処理方法は、
重み係数の取得モードに対する選択情報を取得することと、
前記選択情報に基づいて前記重み係数の取得モードを決定することと、
決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行することと、をさらに含み、
前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む、
請求項１ないし１４のいずれか一項に記載の画像処理方法。
【請求項１６】
画像処理装置であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュールと、
各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定するように構成される決定モジュールと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュールと、を備える、前記画像処理装置。
【請求項１７】
前記決定モジュールは、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第１確立ユニットと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得するように構成されるフィッティングユニットと、
前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第１決定ユニットと、を備える、
請求項１６に記載の画像処理装置。
【請求項１８】
前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第１重み行列を取得するように構成される、
請求項１７に記載の画像処理装置。
【請求項１９】
前記決定モジュールはさらに、前記第１重み行列に対して第１最適化処理を実行するように構成される最適化ユニットを備え、
前記第１決定ユニットは、さらに、前記第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される、
請求項１７または１８に記載の画像処理装置。
【請求項２０】
前記最適化ユニットは、さらに、前記第１重み行列に含まれる各画像特徴の第１重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行して、第１最適化された重み行列を取得し、前記第１重み行列と第１最適化された重み行列との間の差が第１条件を満たすことに応答して、前記第１最適化された重み行列を、最適化された前記第１重み行列として決定し、及び、第１重み行列と第１最適化された重み行列との間の差が第１条件を満たさないことに応答して、前記第１最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたｋ（ｋは１より大きい正の整数である）番目の最適化された重み行列とｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第１最適化処理を繰り返し、ｋ番目の最適化された重み行列を、最適化された第１重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第１重み係数との積である、
請求項１９に記載の画像処理装置。
【請求項２１】
前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第１誤差を取得し、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得し、各画像の第２重み係数に基づいて前記第１重み行列の第１最適化処理を実行して、前記第１重み行列に対応する第１最適化された重み行列を取得するように構成される、
請求項２０に記載の画像処理装置。
【請求項２２】
前記最適化ユニットは、さらに、第１方式で、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得するように構成され、前記第１方式の式は、
【化１１５】
2021530047.tif 000117
で表され、
【化１１６】
2021530047.tif 000118
はｉ番目の画像の第２重み係数であり、
【化１１７】
2021530047.tif 000119
はｉ番目の画像特徴と前記ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差であり、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、
【化１１８】
2021530047.tif 000120
の標準偏差である、
請求項２１に記載の画像処理装置。
【請求項２３】
前記決定モジュールはさらに、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第２確立ユニットと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第２決定ユニットと、を備える、
請求項１６ないし２２のいずれか一項に記載の画像処理装置。
【請求項２４】
前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される、
請求項２３に記載の画像処理装置。
【請求項２５】
前記第２決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第２誤差を取得し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たすことに応答して、前記画像特徴の重み係数を第１重み値として設定し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たさないことに応答して、第２方式で前記画像特徴の重み係数を決定するように構成される、
請求項２３または２４に記載の画像処理装置。
【請求項２６】
前記第２方式の式は、
【化１１９】
2021530047.tif 000121
【化１２０】
2021530047.tif 000122
で表され、
【化１２１】
2021530047.tif 000123
は第２方式で決定されるｈ番目の画像の重み係数であり、
【化１２２】
2021530047.tif 000124
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表す、
請求項２５に記載の画像処理装置。
【請求項２７】
前記第２条件は、
【化１２３】
2021530047.tif 000125
【化１２４】
2021530047.tif 000126
であり、
【化１２５】
2021530047.tif 000127
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表し、Ｋは判断閾値であり、ｍｅｄｉａｎは中央値フィルタリング関数を表す、
請求項２５または２６に記載の画像処理装置。
【請求項２８】
前記融合モジュールは、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される、
請求項１６ないし２７のいずれか一項に記載の画像処理装置。
【請求項２９】
前記画像処理装置はさらに、
前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える、
請求項１６ないし２８のいずれか一項に記載の画像処理装置。
【請求項３０】
前記画像処理装置はさらに、
重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールを備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含み、
前記決定モジュールは、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される、
請求項１６ないし２９のいずれか一項に記載の画像処理装置。
【請求項３１】
電子機器であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、請求項１ないし１５のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
【請求項３２】
コンピュータプログラム命令が記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、請求項１ないし１５のいずれか一項に記載の方法を実現するように構成される、前記コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、２０１９年０３月２５日に中国特許局に提出された、出願番号が２０１９１０２２８７１６．Ｘである中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
【０００２】
本開示は、コンピュータビジョン技術分野に関し、特に、画像処理方法及び装置、電子機器、並びに記憶媒体に関するものである。
【背景技術】
【０００３】
特徴融合は、コンピュータビジョン及びスマートビデオ監視の分野における重要な問題の１つである。例えば、顔特徴の融合は、顔認識システムへの適用など、多くの分野で重要な用途がある。現在、複数のフレームの特徴の平均値を融合された特徴として直接使用するのが一般的であり、この方法は、簡単であるが、性能、特に異常値に対するロバスト性が比較的低いという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の実施例は、画像処理方法及び装置、電子機器、並びに記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本開示の実施例の第１態様によれば、画像処理方法を提供し、前記方法は、同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得することと、各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することと、各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することとを含む。
【０００６】
いくつかの可能な実施形態では、前記各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することは、各画像の前記画像特徴に基づいて画像特徴行列を形成することと、前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得する、前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することとを含む。
【０００７】
いくつかの可能な実施形態では、前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得することは、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第１重み行列を取得することを含む。
【０００８】
いくつかの可能な実施形態では、前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、前記第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定すること、または、前記第１重み行列に対して第１最適化処理を実行し、最適化された第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定することを含む。
【０００９】
いくつかの可能な実施形態では、前記第１重み行列に対して第１最適化処理を実行することは、前記第１重み行列に含まれる各画像特徴の第１重み係数に基づいて、各画像のフィッティング画像特徴を決定することであって、前記フィッティング画像特徴は、前記画像特徴と、対応する第１重み係数との積であることと、各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行して、第１最適化された重み行列を取得することと、前記第１重み行列と第１最適化された重み行列との間の差が第１条件を満たすことに応答して、前記第１最適化された重み行列を、最適化された前記第１重み行列として決定することと、及び、第１重み行列と第１最適化された重み行列との間の差が第１条件を満たさないことに応答して、前記第１最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたｋ（ｋは１より大きい正の整数である）番目の最適化された重み行列とｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第１最適化処理を繰り返し、ｋ番目の最適化された重み行列を、最適化された第１重み行列として決定することとを含む。
【００１０】
いくつかの可能な実施形態では、前記各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行することは、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第１誤差を取得することと、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することと、各画像の第２重み係数に基づいて前記第１重み行列の第１最適化処理を実行して、前記第１重み行列に対応する第１最適化された重み行列を取得することとを含む。
【００１１】
いくつかの可能な実施形態では、前記各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することは、第１方式で、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することを含み、前記第１方式の式は、
【００１２】
【化１】
2021530047.tif 000003
【００１３】
で表され、
【００１４】
【化２】
2021530047.tif 000004
【００１５】
はｉ番目の画像の第２重み係数であり、
【００１６】
【化３】
2021530047.tif 000005
【００１７】
はｉ番目の画像特徴と当該ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差であり、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、
【００１８】
【化４】
2021530047.tif 000006
【００１９】
であり、
【００２０】
【化５】
2021530047.tif 000007
【００２１】
は誤差
【００２２】
【化６】
2021530047.tif 000008
【００２３】
の標準偏差である。
【００２４】
いくつかの可能な実施形態では、前記各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することは、各画像の前記画像特徴に基づいて画像特徴行列を形成することと、前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することと、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することとを含む。
【００２５】
いくつかの可能な実施形態では、前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することは、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定することと、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得することとを含む。
【００２６】
いくつかの可能な実施形態では、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、各画像特徴と前記中央値特徴行列との間の第２誤差を取得することと、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たすことに応答して、前記画像特徴の重み係数を第１重み値として設定し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たさないことに応答して、第２方式で前記画像特徴の重み係数を決定することとを含む。
【００２７】
いくつかの可能な実施形態では、前記第２方式の式は、
【００２８】
【化７】
2021530047.tif 000009
【００２９】
【化８】
2021530047.tif 000010
【００３０】
で表され、
【００３１】
【化９】
2021530047.tif 000011
【００３２】
は第２方式で決定されたｈ番目の画像の重み係数であり、
【００３３】
【化１０】
2021530047.tif 000012
【００３４】
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表す。
【００３５】
いくつかの可能な実施形態では、前記第２条件は、
【００３６】
【化１１】
2021530047.tif 000013
【００３７】
【化１２】
2021530047.tif 000014
【００３８】
であり、
【００３９】
【化１３】
2021530047.tif 000015
【００４０】
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表し、Ｋは判断閾値であり、ｍｅｄｉａｎは中央値フィルタリング関数を表す。
【００４１】
いくつかの可能な実施形態では、前記各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することは、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含む。
【００４２】
いくつかの可能な実施形態では、前記方法は、前記融合特徴を利用して、前記同一のオブジェクトの認識操作を実行することをさらに含む。
【００４３】
いくつかの可能な実施形態では、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記方法は、重み係数の取得モードに対する選択情報を取得することと、前記選択情報に基づいて前記重み係数の取得モードを決定することと、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行することとをさらに含み、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む。
【００４４】
本開示の実施例の第２態様によれば、画像処理装置を提供し、前記装置は、同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュールと、各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定するように構成される決定モジュールと、各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュールとを備える。
【００４５】
いくつかの可能な実施形態では、前記決定モジュールは、各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第１確立ユニットと、前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得するように構成されるフィッティングユニットと、前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第１決定ユニットとを備える。
【００４６】
いくつかの可能な実施形態では、前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第１重み行列を取得するように構成される。
【００４７】
いくつかの可能な実施形態では、前記決定モジュールさらには、前記第１重み行列に対して第１最適化処理を実行するように構成される最適化ユニットを備え、前記第１決定ユニットは、さらに、前記第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される。
【００４８】
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、前記第１重み行列に含まれる各画像特徴の第１重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行して、第１最適化された重み行列を取得し、前記第１重み行列と第１最適化された重み行列との間の差が第１条件を満たすことに応答して、前記第１最適化された重み行列を、最適化された前記第１重み行列として決定し、及び、第１重み行列と第１最適化された重み行列との間の差が第１条件を満たさないことに応答して、前記第１最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたｋ（ｋは１より大きい正の整数である）番目の最適化された重み行列とｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第１最適化処理を繰り返し、ｋ番目の最適化された重み行列を、最適化された第１重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第１重み係数との積である。
【００４９】
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第１誤差を取得し、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得し、各画像の第２重み係数に基づいて前記第１重み行列の第１最適化処理を実行して、前記第１重み行列に対応する第１最適化された重み行列を取得するように構成される。
【００５０】
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、第１方式で、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得するように構成され、前記第１方式の式は、
【００５１】
【化１４】
2021530047.tif 000016
【００５２】
で表され、
【００５３】
【化１５】
2021530047.tif 000017
【００５４】
はｉ番目の画像の第２重み係数であり、
【００５５】
【化１６】
2021530047.tif 000018
【００５６】
はｉ番目の画像特徴と当該ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差であり、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、
【００５７】
【化１７】
2021530047.tif 000019
【００５８】
であり、
【００５９】
【化１８】
2021530047.tif 000020
【００６０】
は誤差
【００６１】
【化１９】
2021530047.tif 000021
【００６２】
の標準偏差である。
【００６３】
いくつかの可能な実施形態では、前記決定モジュールは、各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第２確立ユニットと、前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第２決定ユニットとをさらに備える。
【００６４】
いくつかの可能な実施形態では、前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される。
【００６５】
いくつかの可能な実施形態では、前記第２決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第２誤差を取得し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たすことに応答して、前記画像特徴の重み係数を第１重み値として設定し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たさないことに応答して、第２方式で前記画像特徴の重み係数を決定するように構成される。
【００６６】
いくつかの可能な実施形態では、前記第２方式の式は、
【００６７】
【化２０】
2021530047.tif 000022
【００６８】
【化２１】
2021530047.tif 000023
【００６９】
で表され、
【００７０】
【化２２】
2021530047.tif 000024
【００７１】
は第２方式で決定されたｈ番目の画像の重み係数であり、
【００７２】
【化２３】
2021530047.tif 000025
【００７３】
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表す。
【００７４】
いくつかの可能な実施形態では、前記第２条件は、
【００７５】
【化２４】
2021530047.tif 000026
【００７６】
【化２５】
2021530047.tif 000027
【００７７】
であり、
【００７８】
【化２６】
2021530047.tif 000028
【００７９】
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表し、Ｋは判断閾値であり、ｍｅｄｉａｎは中央値フィルタリング関数を表す。
【００８０】
いくつかの可能な実施形態では、前記融合モジュールは、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される。
【００８１】
いくつかの可能な実施形態では、前記装置はさらに、前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える。
【００８２】
いくつかの可能な実施形態では、前記装置は、重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールをさらに備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む。
【００８３】
前記決定モジュールは、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される。
【００８４】
本開示の実施例の第３態様によれば、電子機器を提供し、前記電子機器は、第１態様又はその各実施形態における方法を実行するように構成されるプロセッサと、プロセッサ実行可能な命令を記憶するように構成されるメモリとを備える。
【００８５】
本開示の実施例の第４態様によれば、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行される時に、第１態様又はその各実施形態における方法を実現する。
【発明の効果】
【００８６】
本開示の実施例によれば、同一のオブジェクトの異なる特徴を融合することができ、ここで、前記同一のオブジェクトの異なる画像の画像特徴に従って、各画像特徴に対応する重み係数を決定し、前記重み係数に従って、画像特徴の特徴融合を実行することができ、各画像特徴のために異なる重み係数を決定できるため、本開示の実施例の技術的解決策により、特徴融合の精度を向上させることができる。
【００８７】
以上の一般的な説明と以下の詳細な説明は、解釈するための例示的なものに過ぎず、本開示を限定するものではないことを理解すべきである。
【００８８】
以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の実施例の他の特徴および態様は明確になる。
【図面の簡単な説明】
【００８９】
ここでの図面は、本明細書に組み込まれ、本明細書の一部を構成し、これらの図面は、本開示に準拠する実施例を示し、本明細書とともに本開示の技術的解決策を説明するために使用される。
【図１】本開示の実施例による画像処理方法を示すフローチャートである。
【図２】本開示の実施例による画像処理方法において、重み係数を決定する方式示すフローチャートである。
【図３】本開示の実施例による画像処理方法におけるステップＳ２０を示すフローチャートである。
【図４】本開示の実施例による画像処理方法において、第１最適化処理の実行を示すフローチャートである。
【図５】本開示の実施例による画像処理方法におけるステップＳ２３２を示すフローチャートである。
【図６】本開示の実施例による画像処理方法におけるステップＳ２０を示すフローチャートである。
【図７】本開示の実施例による画像処理方法におけるステップＳ２０３を示すフローチャートである。
【図８】本開示の実施例による画像処理装置を示すブロック図である。
【図９】本開示の実施例による電子機器８００を示すブロック図である。
【図１０】本開示の実施例による電子機器１９００を示すブロック図である。
【発明を実施するための形態】
【００９０】
以下、図面を参照しながら本開示の様々な例示的な実施例、特徴、および態様を詳細に説明する。図面における同じ参照符号は、同じまたは類似の機能を有する要素を表す。実施例の様々な態様が図面に示されているが、特に明記しない限り、必ずしも縮尺通りに図面を作る必要はない。
【００９１】
本明細書で使用される「例示的」という用語は、「例、実施例として用いられるもの、または説明的なもの」であること意味する。本明細書で「例示的」として説明される任意の実施例は、他の実施例より優れるまたは良好なものと解釈すべきではない。
【００９２】
本明細書における「および／または」という用語は、関連するオブジェクトを説明する単なる関連付け関係であり、３つの関係が存在できることを示し、例えば、Ａおよび／またはＢは、Ａが単独で存在する、ＡとＢが同時に存在する、Ｂが単独で存在するという３つのケースを示すことができる。また、本明細書における「少なくとも１つ」という用語は、複数のうちのいずれか１つまたは複数のうちの少なくとも２つの任意の組み合わせを意味し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、ＢおよびＣからなるセットから選択されるいずれか１つまたは複数の要素を含むことを意味することができる。
【００９３】
また、本開示をより効果的に説明するために、以下の具体的な実施形態では、多くの具体的な詳細を提供する。当業者なら自明であるが、いくつかの特定の詳細がなくても、本開示の実施例を実施することができる。いくつかの実施例において、本開示の要旨を強調するために、当業者に既知の方法、手段、要素、および回路に対する詳細な説明を省略する。
【００９４】
本開示の実施例は、画像処理方法を提供し、当該画像処理方法は、複数の画像の特徴融合処理を実行することができ、任意の電子機器またはサーバに適用されることができる。例えば、前記電子機器は、ユーザ機器（ＵＥ：Ｕｓｅｒ  Ｅｑｕｉｐｍｅｎｔ）、モバイル機器、携帯電話、コードレス電話、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、計算機器、車載機器、ウェアラブル機器などを含み得る。サーバは、ローカルサーバまたはクラウドサーバを含むことができる。いくつかの可能な実施形態では、当該画像処理方法は、プロセッサによってメモリに記憶されたコンピュータ可読命令を呼び出すことで実現することができる。前述したものは、機器の例示的な説明に過ぎず、本開示を具体的に限定するものではない。他の実施例では、画像処理を実行できる他の機器によって実現することもできる。
【００９５】
図１は、本開示の実施例による画像処理方法を示すフローチャートである。前記画像処理方法は、以下のステップを含み得る。
【００９６】
Ｓ１０において、同一のオブジェクトに対する複数の画像の画像特徴を取得する。
【００９７】
本開示の実施例では、同一のオブジェクトの異なる画像の特徴に対して特徴融合処理を実行できる。ここで、オブジェクトのタイプは、任意のタイプであり得、例えば、人、動物、植物、車両、漫画のキャラクタなどであり得、本開示の実施例はこれを特に限定しない。同一のオブジェクトの異なる画像は、同じシナリオで撮影された異なる画像、または異なるシナリオで撮影された画像であり得、本開示の実施例は、画像を取得するための時間を特に限定せず、各画像を取得するための時間は、同じでもよいし、異なってもよい。
【００９８】
本開示の実施例によれば、最初に、前記同一のオブジェクトの複数の画像を取得することができる。ここで、複数の画像を取得する方式は、カメラ機器で複数の画像収集すること、または他の機器との通信により、他の機器によって伝送される複数の画像を受信すること、またはローカルまたは特定のネットワークアドレスに記憶された複数の画像を読み取ることなどを含み得る。前述したものは単なる例示的な説明に過ぎず、他の実施例では、他の方式で同一のオブジェクトの複数の画像を取得することもできる。
【００９９】
複数の画像を取得した後、各画像の画像特徴をそれぞれ抽出することができる。いくつかの可能な実施形態では、特徴抽出アルゴリズムにより画像特徴を抽出することができ、特徴抽出アルゴリズムは、例えば、顔特徴抽出アルゴリズム、エッジ特徴抽出アルゴリズムなどであり得、または他の特徴抽出アルゴリズムによりオブジェクトの関連特徴を抽出することもできる。あるいは、本開示の実施例では、特徴抽出機能を備えたニューラルネットワークにより、各画像の画像特徴を抽出することもできる。ここで、画像特徴は、対応する画像の特徴情報、または画像内のオブジェクトの特徴情報を反映することができる。例示的に、画像特徴は、画像内の各画素点のグレースケール値であり得る。
【０１００】
本開示の実施例では、画像に含まれるオブジェクトが人物である場合、取得された画像特徴は、前記オブジェクトの顔特徴であり得る。例えば、顔特徴抽出アルゴリズムにより各画像を処理することにより、画像内の顔特徴を抽出することができる。あるいは、各画像を、画像内の顔特徴を取得できるニューラルネットワークに入力し、ニューラルネットワークを介して各画像の顔特徴を取得することができる。ここで、前記ニューラルネットワークは、画像の画像特徴を取得し、画像内のオブジェクトを認識できるトレーニング済みのニューラルネットワークであり得、ニューラルネットワークの最後の畳み込み層によって処理された（分類識別前に得られた特徴）結果を本開示の実施例の画像特徴として使用でき、ニューラルネットワークは、畳み込みニューラルネットワークであり得る。あるいは、他のタイプのオブジェクトの場合、対応する特徴抽出アルゴリズムまたはニューラルネットワーク介して対応する画像特徴を取得することもでき、本開示の実施例はこれを特に限定しない。
【０１０１】
本開示の実施例では、画像特徴は、特徴ベクトルの形であり得、例えば、ｉ番目の画像の画像特徴（顔特徴など）は、
【０１０２】
【化２７】
2021530047.tif 000029
【０１０３】
で表されることができ、ここで、Ｄは画像特徴の次元を表し、ｉは１からＮまでの整数であり、Ｎは画像の数を表す。
【０１０４】
Ｓ２０において、各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定する。
【０１０５】
本開示の実施例によれば、各画像の画像特徴内の特徴パラメータに従って、各画像特徴の重み係数を決定でき、当該重み係数は、［０，１］にある値、または他の値であり得、本開示の実施例はこれを特に限定しない。各画像特徴のために異なる重み係数を設定することにより、より精度の高い画像特徴を強調表示できるため、特徴融合処理で得られた融合特徴の精度を向上させることができる。
【０１０６】
Ｓ３０において、各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得する。
【０１０７】
本開示の実施例では、特徴融合処理を実行する方式は、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含み得る。例えば、下記式により各画像特徴の融合特徴を取得すできる。
【０１０８】
【化２８】
2021530047.tif 000030
【０１０９】
ここで、Ｇは生成された融合特徴を表し、ｉは１からＮまでの整数値であり、Ｎは画像の数を表し、
【０１１０】
【化２９】
2021530047.tif 000031
【０１１１】
はｉ番目の画像の画像特徴
【０１１２】
【化３０】
2021530047.tif 000032
【０１１３】
の重み係数を表す。
【０１１４】
つまり、本開示の実施例では、画像特徴と対応する重み係数を乗算し、その後、各乗算処理によって得られた乗算結果を加算処理することにより、本開示の実施例の融合特徴を取得することができる。
【０１１５】
本開示の実施例によれば、単に各画像特徴の平均値を融合特徴として直接取得するのではなく、画像特徴内の特徴パラメータに従って、各画像特徴の重み係数を決定し、重み係数に従って各画像の融合特徴を取得できるため、操作が簡単で便利である特徴に加えて、融合特徴が向上する。
【０１１６】
以下、添付の図面を参照して本開示の実施例の各プロセスを詳細に説明する。
【０１１７】
本開示の実施例では、同一のオブジェクトの各異なる画像の画像特徴を取得した後、各画像特徴の重み係数を決定できる。いくつかの可能な実施形態では、特徴フィッティング方式で各重み係数を取得でき、別のいくつかの可能な実施形態では、中央値フィルタリング方式で各重み係数を取得でき、または他の実施形態では、平均値または他の処理によって各重み係数を取得することもでき、本開示の実施例はこれを特に限定しない。
【０１１８】
本開示の実施例では、ステップＳ２０を実行して各重み係数を取得する前に、特徴フィッティング方式または中央値フィルタリング方式など、各重み係数を取得する方式を先に決定することができる。図２は、本開示の実施例による画像処理方法において、重み係数を決定する方式示すフローチャートである。前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記方法は、以下のステップをさらに含む。
【０１１９】
Ｓ４１において、重み係数の取得モードに対する選択情報を取得する。
【０１２０】
ここで、前記選択情報は、重み係数を取得する操作を実行するためのモードの選択情報であり、例えば、選択情報は、第１モード（特徴フィッティング方式など）を利用して前記重み係数を取得するための第１選択情報であってもよいし、第２モード（中央値フィルタリング方式など）を利用して前記重み係数を取得するための第２選択情報であってもよい。あるいは、前記選択情報は、他のモードを使用して重み係数を取得するための選択情報を含んでもよく、本開示の実施例はこれを特に限定しない。
【０１２１】
ここで、前記選択情報を取得する方式は、入力コンポーネントによって受信された入力情報を受信し、当該入力情報に基づいて前記選択情報を決定することを含み得る。本開示の実施例では、入力コンポーネントは、スイッチ、キーボード、マウス、オーディオ受信インターフェース、タッチパネル、タッチスクリーン、通信インターフェースなどを含み得、本開示の実施例はこれを特に限定しなく、選択情報を受信できれば、本開示の実施例として使用することができる。
【０１２２】
Ｓ４２において、前記選択情報に基づいて前記重み係数の取得モードを決定する。
【０１２３】
選択情報に重み情報の取得モードに関する関連情報が含まれているため、受信された選択情報に従って、対応するモード情報を取得することができる。例えば、選択情報が第１選択情報を含む場合、第１モード（特徴フィッティング方式）を利用して重み係数の取得を実行すると決定でき、選択情報が第２選択情報を含む場合、第２モード（中央値フィルタリング方式）を利用して重み係数の取得を実行すると決定できる。同様に、選択情報が他の選択情報を含む場合、それに応じて、選択情報に対応する重み係数を取得する方式を決定することができる。
【０１２４】
いくつかの可能な実施形態では、異なる重み係数の取得モードの精度または演算量、演算速度のうちの少なくとも１つが異なる場合がある。例えば、第１モードの精度は、第２モードの精度より高くてもよく、第１モードの演算速度は、第２モードの演算速度より遅くてもよいが、本開示の実施例はこれに限定されるものではない。したがって、本開示の実施例では、ユーザは、異なる需要に応じて適切なモードを選択して、重みパラメータの取得を実行することができる。
【０１２５】
Ｓ４３において、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って、各前記画像特徴に対応する重み係数の決定を実行し、ここで、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む。
【０１２６】
選択情報に基づいて重み係数の取得モードを決定した後、決定したモードに従って重み情報の取得操作を実行することができる。
【０１２７】
本開示の実施例では、上記の方式により重み係数の取得モードの選択を実現でき、異なる需要に応じて、異なるモードを使用して重み係数の取得を実行できるため、より良い適用性がある。
【０１２８】
以下、本開示の実施例における、重み係数を取得する方式について詳細に説明する。図３は、本開示の実施例による画像処理方法におけるステップＳ２０を示すフローチャートであり、ここで、前記各画像の画像特徴に従って、各前記画像特徴に対応する重み係数を決定する（ステップＳ２０）ことは、以下のステップを含み得る。
【０１２９】
Ｓ２１において、各画像の前記画像特徴に基づいて画像特徴行列を形成する。
【０１３０】
本開示の実施例では、各画像の画像特徴は、特徴ベクトルの形で表すことができる。例えば、ｉ番目の画像の画像特徴は
【０１３１】
【化３１】
2021530047.tif 000033
【０１３２】
で表されることができ、ここで、Ｄは画像特徴の次元を表し、ｉは１からＮまでの整数であり、Ｎは画像の数を表す。さらに、本開示の実施例では、各画像の画像特徴の次元は同じであり、全てＤである。
【０１３３】
各画像の画像特徴に従って形成された画像特徴行列Ｘは、下記式で表すことができる。
【０１３４】
【化３２】
2021530047.tif 000034
【０１３５】
上記の式（２）に基づいて、各画像特徴からなる画像特徴行列を取得することができる。上記の方式により、画像特徴行列の各行の要素を、一画像の画像特徴として使用でき、各行に対応する画像特徴は、異なる画像の画像特徴である。他の実施形態では、画像特徴行列の各列の要素を、一画像の画像特徴として使用することもでき、各列に対応する画像特徴は、異なる画像の画像特徴であり、本開示の実施例は、画像特徴行列の配列方式を特に限定するものではない。
【０１３６】
Ｓ２２において、前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得する。
【０１３７】
各画像特徴に対応する画像特徴行列を取得した後、画像特徴行列の特徴フィッティング処理を実行でき、本開示の実施例では、正則化された線形最小二乗推定アルゴリズム（ｒｅｇｕｌａｒｉｚｅｄ  ｌｅａｓｔ−ｓｑｕａｒｅ  ｌｉｎｅａｒ  ｒｅｇｒｅｓｓｉｏｎ）を利用して、前記特徴フィッティング処理を実行できる。例えば、プリセット目標関数を設定でき、当該プリセット目標関数は、重み係数に関連する関数であり、当該プリセット目標関数が最小値をとる場合に、各重み係数に対応する第１重み行列を決定し、当該第１重み行列の次元は、画像特徴の数と同じであり、第１重み行列の各要素に従って最終の重み係数を決定できる。
【０１３８】
いくつかの可能な実施形態では、プリセット目標関数は下記式で表されることができる。
【０１３９】
【化３３】
2021530047.tif 000035
【０１４０】
ここで、Ｘは画像特徴行列を表し、
【０１４１】
【化３４】
2021530047.tif 000036
【０１４２】
は推定される第１重み行列を表し、Ｙは観測行列を表し、当該観測行列はＸと同じであり、
【０１４３】
【化３５】
2021530047.tif 000037
【０１４４】
はＸの転置行列を表し、
【０１４５】
【化３６】
2021530047.tif 000038
【０１４６】
は正則化パラメータを表し、
【０１４７】
【化３７】
2021530047.tif 000039
【０１４８】
パラメータのＬ２ｎｏｒｍ（標準）正則化項を表す。
【０１４９】
いくつかの可能な実施形態では、画像特徴が行ベクトルである場合、生成された第１重み行列は列ベクトルであり、逆に、画像特徴が列ベクトルである場合、生成された第１重み行列は行ベクトルである。さらに、第１重み行列の次元は、画像特徴または画像の数と同じである。
【０１５０】
本開示の実施例は、上記の目標関数が最小値である場合、第１重み行列ｂの値を決定することができる。この場合、最終の第１重み行列を取得でき、当該第１重み行列は下記式で表されることができる。
【０１５１】
【化３８】
2021530047.tif 000040
【０１５２】
前述した実施例により、特徴フィッティング処理によって得られた第１重み行列を取得することができる。本開示の他の実施形態では、他の特徴フィッティング方式で画像特徴行列の特徴フィッティング処理を実行して、対応する第１重み行列を取得することもでき、または異なるプリセット目標関数を設定して、特徴フィッティング処理を実行することもでき、本開示の実施例はこれを特に限定しない。
【０１５３】
Ｓ２３において、前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定する。
【０１５４】
第１重み行列を取得した後、取得した第１重み行列に従って、画像特徴に対応する重み係数を決定できる。
【０１５５】
ここで、いくつかの可能な実施形態では、第１重み行列に含まれる各要素を重み係数として直接使用でき、つまり、第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する重み係数として決定できる。得られた第１重み行列が
【０１５６】
【化３９】
2021530047.tif 000041
【０１５７】
である場合、ｉ番目の画像の画像特徴
【０１５８】
【化４０】
2021530047.tif 000042
【０１５９】
の重み係数は、
【０１６０】
【化４１】
2021530047.tif 000043
【０１６１】
であり得る。
【０１６２】
本開示の別のいくつかの実施形態では、重み係数の精度をさせるために、第１重み行列に対して最適化処理を実行して、最適化された第１重み行列を取得し、最適化された第１重み行列内の要素を、各画像特徴の重み係数として使用することもできる。つまり、前記第１重み行列に対して第１最適化処理を実行し、最適化された第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定することができる。前記第１最適化処理により、第１重み行列内の異常値を検出し、当該異常値に対して対応する最適化処理を実行できるため、得られた重み行列の精度を向上させることができる。
【０１６３】
図４は、本開示の実施例による画像処理方法において、第１最適化処理の実行を示すフローチャートである。ここで、前記第１重み行列に対して第１最適化処理を実行し、最適化された第１重み行列に含まれる各第１重み係数を各画像特徴に対応する前記重み係数として決定することは、以下のステップを含み得る。
【０１６４】
Ｓ２３１において、前記第１重み行列に含まれる各画像特徴の第１重み係数に基づいて、各画像のフィッティング画像特徴を決定し、前記フィッティング画像特徴は、前記画像特徴と、対応する第１重み係数との積である。
【０１６５】
本開示の実施例では、先ず、決定された第１重み行列に基づいて、各画像特徴のフィッティング画像特徴を取得できる。ここで、第１重み行列に含まれる各画像特徴の第１重み係数と対応する画像特徴を乗算して、当該画像特徴のフィッティング画像特徴を取得できる。例えば、第１重み行列内のｉ番目の画像の画像特徴
【０１６６】
【化４２】
2021530047.tif 000044
【０１６７】
の第１重み係数
【０１６８】
【化４３】
2021530047.tif 000045
【０１６９】
と前記画像特徴
【０１７０】
【化４４】
2021530047.tif 000046
【０１７１】
を乗算して、フィッティング画像特徴
【０１７２】
【化４５】
2021530047.tif 000047
【０１７３】
を取得できる。
【０１７４】
Ｓ２３２において、各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行して、第１最適化された重み行列を取得する。
【０１７５】
フィッティング画像特徴を取得した後、画像特徴とそれに対応するフィッティング画像特徴との間の第１誤差を取得できる。本開示の実施例では、下記式により、画像特徴とフィッティング画像特徴との間の第１誤差を取得できる。
【０１７６】
【化４６】
2021530047.tif 000048
【０１７７】
ここで、
【０１７８】
【化４７】
2021530047.tif 000049
【０１７９】
はｉ番目の画像特徴と当該ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差を表し、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、ｊは１からＤまでの整数であり、Ｄは各画像特徴の次元を表し、
【０１８０】
【化４８】
2021530047.tif 000050
【０１８１】
はｉ番目の画像の画像特徴を表し、
【０１８２】
【化４９】
2021530047.tif 000051
【０１８３】
はｉ番目の画像特徴に対応するフィッティング画像特徴を表す。
【０１８４】
本開示の他の実施形態では、他の方式で画像特徴とフィッティング画像特徴との間の第１誤差を決定することもでき、例えば、フィッティング画像特徴と画像特徴との間の各要素の差の平均値を第１誤差として直接使用でき、本開示の実施例は、第１誤差の決定方式を特に限定するものではない。
【０１８５】
第１誤差を取得した後、前記第１誤差を利用して、第１重み行列の最初の最適化処理プロセスを実行して、第１最適化された重み行列を取得できる。ここで、前記第１最適化された重み行列内の要素は、各画像特徴に対応する最初の最適化された重み係数を表すこともできる。
【０１８６】
Ｓ２３３において、前記第１重み行列と第１最適化された重み行列との間の差が第１条件を満たすか否かを判断し、第１条件を満たした場合、ステップＳ２３４を実行し、第１条件を満たしない場合、ステップＳ２３５を実行する。
【０１８７】
第１誤差に基づいて第１重み行列の第１最適化処理結果（第１最適化された重み行列）を取得した後、前記第１最適化された重み行列と第１重み行列との間の差が第１条件を満たすか否かを判断でき、前記差が第１条件を満たすことは、前記第１最適化された重み行列に対してさらなる最適化を実行する必要がないことを示し、この場合、前記第１最適化された重み行列を、最終の第１最適化処理によって得られた最適化された重み行列として決定できる。前記第１最適化された重み行列と第１重み行列との間の差が第１条件を満たさない場合、前記第１最適化された重み行列に対して最適化処理を実行し続ける必要がある。
【０１８８】
ここで、本開示の実施例における第１条件は、第１最適化された重み行列と第１重み行列との間の差の絶対値が第１閾値未満であることであり得、当該第１閾値は、プリセットされた閾値であり、１未満の値であり得る。本開示の実施例では、第１閾値の値は、需要に応じて設定でき、例えば、０．０１に設定でき、本開示の実施例はこれを特に限定しない。
【０１８９】
上記の実施例に基づいて、第１最適化された重み行列と第１重み行列との間の差が第１条件を満たすか否かを判断し、対応する後続のステップをさらに実行することができる。
【０１９０】
Ｓ２３４において、前記第１最適化された重み行列を、最適化された第１重み行列として決定する。
【０１９１】
上記の実施例で説明したように、前記第１最適化された重み行列と第１重み行列との間の差が第１条件を満たすと判断したことは、前記第１最適化された重み行列に対してさらなる最適化処理を実行する必要がないことを示し、この場合、前記第１最適化された重み行列を、最終の第１最適化処理によって得られた最適化された重み行列として直接決定できる。
【０１９２】
Ｓ２３５において、前記第１最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたｋ（ｋは１より大きい正の整数である）番目の最適化された重み行列とｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第１最適化処理を繰り返し、ｋ番目の最適化された重み行列を、最適化された第１重み行列として決定する。
【０１９３】
いくつかの可能な実施形態では、画像特徴とフィッティング画像特徴との間の第１誤差に基づいて、画像特徴に対して第１最適化処理を実行して得られた第１最適化された重み行列と、第１重み行列との間の差が第１条件を満たさない可能性がある。例えば、前記差が第１閾値を超える場合、第１最適化された重み行列内の重み係数を引き続き利用して、各画像特徴のフィッティング画像特徴を取得し、次に画像特徴とフィッティング画像特徴との間の第１誤差を利用して、２番目の第１最適化処理プロセスをさらに実行して、第２最適化された重み行列を取得できる。
【０１９４】
前記第２最適化された重み行列と第１最適化された重み行列との間の差が第１条件を満たす場合、前記第２最適化された重み行列を、最終の最適化結果、即ち最適化された重み行列として決定できる。前記第２最適化された重み行列と第１最適化された重み行列との間の差が依然として第１条件を満たさない場合、第２最適化された重み行列内の重み係数を引き続き利用して、各画像特徴のフィッティング画像特徴を取得し、当該画像特徴とフィッティング画像特徴との間の第１誤差を利用して、３番目の第１最適化処理プロセスをさらに実行して、第３最適化された重み行列取得する。このように、得られたｋ番目の最適化された重み行列と前記ｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、上記の操作を繰り返す。この場合、ｋ番目の最適化された重み行列を、最適化された前記第１重み行列として決定でき、ここで、ｋは１より大きい正の整数である。
【０１９５】
前述した実施例により、画像特徴とフィッティング画像特徴との間の第１誤差に従って、第１最適化処理を実行して、最適化された第１重み行列を取得するプロセスを完了することができる。本開示の実施例では、第１最適化処理の反復関数は下記式で表されることができる。
【０１９６】
【化５０】
2021530047.tif 000052
【０１９７】
ここで、ｔは反復回数（即ち第１最適化処理の回数）を表し、
【０１９８】
【化５１】
2021530047.tif 000053
【０１９９】
はｔ番目の第１最適化処理によって得られた第１最適化された重み行列を表し、Ｘは画像特徴行列を表し、Ｙは観測行列を表し、当該観測行列はＸと同じであり、
【０２００】
【化５２】
2021530047.tif 000054
【０２０１】
はｔ−１番目の反復により得られた第２重み係数
【０２０２】
【化５３】
2021530047.tif 000055
【０２０３】
の対角行列を表し、Ｉは対角行列であり、
【０２０４】
【化５４】
2021530047.tif 000056
【０２０５】
は正則化パラメータを表す。上記の実施例からわかるように、本開示の実施例では、第１最適化処理を実行するたびに、第２重み係数
【０２０６】
【化５５】
2021530047.tif 000057
【０２０７】
を調整することにより、重み行列に対して最適化処理を実行することができる。
【０２０８】
本開示の実施例では、第１重み行列に対する最初の第１最適化処理のプロセスを参照しながら、第１最適化処理について説明する。図５は、本開示の実施例による画像処理方法におけるステップＳ２３２を示すフローチャートである。前記各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行することは、以下のステップを含み得る。
【０２０９】
Ｓ２３２１において、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第１誤差を取得する。
【０２１０】
上記の実施例で説明したように、画像特徴及び対応するフィッティング画像特徴を取得した後、各画像特徴と対応するフィッティング画像特徴との間の第１誤差を決定でき、第１誤差の決定については、上記の式（５）を参照できる。
【０２１１】
Ｓ２３２２において、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得する。
【０２１２】
各画像特徴とそれに対応するフィッティング画像特徴との間の第１誤差を決定した後、前記第１誤差の値に従って、画像特徴の第２重み係数を決定でき、第２重み係数は、第１最適化処理を実行するために使用される。ここで、第１方式で対応する画像特徴の第２重み係数を決定でき、第１方式は下記式で表されることができる。
【０２１３】
【化５６】
2021530047.tif 000058
【０２１４】
ここで、
【０２１５】
【化５７】
2021530047.tif 000059
【０２１６】
はｉ番目の画像の第２重み係数であり、
【０２１７】
【化５８】
2021530047.tif 000060
【０２１８】
はｉ番目の画像特徴と当該ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差を表し、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、
【０２１９】
【化５９】
2021530047.tif 000061
【０２２０】
であり、
【０２２１】
【化６０】
2021530047.tif 000062
【０２２２】
は誤差の
【０２２３】
【化６１】
2021530047.tif 000063
【０２２４】
標準偏差である。本開示の実施例では、ｋは誤差閾値を表すことができ、当該ｋは、全ての画像特徴とフィッティング画像特徴との間の第１誤差の標準偏差の１．３４８＝５倍であり得る。他の実施形態では、当該ｋの値は、他の値（０．６など）であり得るが、本開示の実施例はこれに限定されるものではない。
【０２２５】
各画像特徴とフィッティング画像特徴との間の第１誤差を取得した後、前記第１誤差と誤差閾値ｋを比較することができ、第１誤差がｋ未満である場合、対応する画像特徴に対応する第２重み係数（１など）を、第１値として決定できる。第１誤差がｋより大きいか等しい場合、第１誤差に従って画像特徴の第２重み係数を決定でき、この場合、第２重み係数は、第２値であり得、ｋと第２誤差の絶対値の比率は
【０２２６】
【化６２】
2021530047.tif 000064
【０２２７】
である。
【０２２８】
Ｓ２３２３において、各画像の第２重み係数に基づいて前記第１重み行列の第１最適化処理を実行して、得到第１最適化された重み行列。
【０２２９】
画像特徴の第２重み係数を取得した後、前記第２重み係数を利用して、第１重み行列の第１最適化処理を実行でき、ここで、反復関数
【０２３０】
【化６３】
2021530047.tif 000065
【０２３１】
を利用して、第１最適化された重み行列を取得できる。
【０２３２】
本開示の実施例では、第１最適化された重み行列と第１重み行列との間の差が第１条件を満たさない場合、第１重み行列内の重み係数を利用して、新しいフィッティング画像特徴を取得した後、前記画像特徴と新しいフィッティング画像特徴との間の第１誤差に従って、各画像特徴の第２重み係数を再決定でき、これにより、新しい第２重み係数に従って上記の関数の反復を実行して、第２最適化された重み行列を取得し、このようにして、ｋ番目の第１最適化処理に対応するｋ番目の最適化された重み行列を取得できる。
【０２３３】
これにより、ｋ番目の第１最適化処理によって得られたｋ番目の最適化された重み行列と、ｋ−１番目の第１最適化処理によって得られたｋ−１番目の最適化された重み行列との間の差が、第１条件
【０２３４】
【化６４】
2021530047.tif 000066
【０２３５】
を満たすことができ、ここで、
【０２３６】
【化６５】
2021530047.tif 000067
【０２３７】
が第１閾値である場合、前記ｋ番目の最適化された重み行列
【０２３８】
【化６６】
2021530047.tif 000068
【０２３９】
を、最適化された第１重み行列として使用できる。
【０２４０】
上記の実施例に基づいて、特徴フィッティング方式で画像特徴の重み係数を取得するプロセスを完了することができ、前記方式で得られた重み係数の精度が高く、重み係数内の異常値に対するロバスト性も高い。
【０２４１】
前述したように、本開示の実施例は、中央値フィルタリング方式で各画像特徴の重み係数を決定する方法をさらに提供する。特徴フィッティング方式と比較して、前記中央値フィルタリング方式の方が演算コストが小さい。
【０２４２】
図６は、本開示の実施例による画像処理方法におけるステップＳ２０を示すフローチャートであり、ここで、前記各画像の画像特徴に従って、各前記画像特徴に対応する重み係数を決定する（ステップＳ２０）ことは、以下のステップをさらに含み得る。
【０２４３】
Ｓ２０１において、各画像の前記画像特徴に基づいて画像特徴行列を形成する。
【０２４４】
ステップＳ２１と同様に、本開示の実施例では、各画像の画像特徴に従って画像特徴行列を形成でき、各画像の画像特徴は、特徴ベクトルの形で表すことができる。例えば、ｉ番目の画像の画像特徴は
【０２４５】
【化６７】
2021530047.tif 000069
【０２４６】
で表されることができ、ここで、Ｄは画像特徴の次元を表し、ｉは１からＮまでの整数であり、Ｎは画像の数を表す。さらに、本開示の実施例では、各画像の画像特徴の次元は同じであり、全てＤである。
【０２４７】
各画像の画像特徴に従って形成された画像特徴行列Ｘは、下記の式（２）で表されることができる。
【０２４８】
【化６８】
2021530047.tif 000070
【０２４９】
上記の式（２）に基づいて、各画像特徴からなる画像特徴行列を取得することができる。上記の方式により、画像特徴行列の各行の要素を、一画像の画像特徴として使用でき、各行に対応する画像特徴は、異なる画像の画像特徴である。他の実施形態では、画像特徴行列の各列の要素を、一画像の画像特徴として使用することもでき、各列に対応する画像特徴は、異なる画像の画像特徴であり、本開示の実施例は、画像特徴行列の配列方式を特に限定するものではない。
【０２５０】
Ｓ２０２において、前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得する。
【０２５１】
本開示の実施例では、画像特徴行列を取得した後、取得した画像特徴行列に対して中央値フィルタリング処理を実行して、前記画像特徴行列に対応する中央値特徴行列を取得できる。ここで、中央値特徴行列内の要素は、画像特徴行列内の対応する要素に対応する画像特徴の中央値である。
【０２５２】
ここで、本開示の実施例では、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得する。
【０２５３】
例えば、本開示の実施例における画像特徴行列は、上記の式（２）：
【０２５４】
【化６９】
2021530047.tif 000071
【０２５５】
で表されることができ、これに応じて、同じ位置ごとの画像特徴の中央値を取得できる。ここでの「位置」とは、各画像特徴の特徴のシーケンス番号に対応する位置を指し、例えば、各画像特徴内の最初の要素は、
【０２５６】
【化７０】
2021530047.tif 000072
【０２５７】
であり得、または、要素位置がｊであるｊ番目の要素は、
【０２５８】
【化７１】
2021530047.tif 000073
【０２５９】
であり得、これにより、同じ位置にある要素を決定できる。本開示の実施例で得られた中央値特徴行列の次元は、画像特徴の次元と同じであり得、中央値特徴行列は、
【０２６０】
【化７２】
2021530047.tif 000074
【０２６１】
で表されることができ、ここで、任意のｊ番目の要素は
【０２６２】
【化７３】
2021530047.tif 000075
【０２６３】
であり得、ｊは１からＤまでの整数値である。ここで、ｍｅｄｉａｎ関数は中央値関数であり、つまり、中央位置の特徴値である
【０２６４】
【化７４】
2021530047.tif 000076
【０２６５】
の値を取得できる。ここで、先ず、
【０２６６】
【化７５】
2021530047.tif 000077
【０２６７】
を降順くで配列し、Ｎが奇数である場合に得られた中央値は、中央位置（（Ｎ＋１）／２番目）の画像特徴値（要素値）であり、Ｎが偶数で場合に得られた中央値は、中央の２つの要素値の平均値である。
【０２６８】
上記に基づいて、画像特徴行列の各画像特徴に対応する中央値特徴行列を取得できる。
【０２６９】
Ｓ２０３において、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定する。
【０２７０】
画像特徴に対応する中央値特徴行列を取得した後、当該中央値を利用して、画像特徴の重み係数を取得できる。
【０２７１】
いくつかの可能な実施形態では、各画像特徴と中央値特徴行列との間の第２誤差を取得し、当該第２誤差に従って、各画像特徴の重み係数を決定できる。
【０２７２】
図７は、本開示の実施例による画像処理方法におけるステップＳ２０３を示すフローチャートである。ここで、前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、以下のステップを含み得る。
【０２７３】
Ｓ２０３１において、各画像特徴と前記中央値特徴行列との間の第２誤差を取得する。
【０２７４】
本開示の実施例では、画像特徴と中央値特徴行列内の対応する要素との間の差の絶対値の合計と、画像特徴と中央値特徴行列との間の第２誤差として使用できる。第２誤差は下記式で表されることができる。
【０２７５】
【化７６】
2021530047.tif 000078
【０２７６】
ここで、
【０２７７】
【化７７】
2021530047.tif 000079
【０２７８】
は、ｈ番目の画像の画像特徴
【０２７９】
【化７８】
2021530047.tif 000080
【０２８０】
と中央値特徴行列との間の第２誤差であり、Ｍは中央値特徴行列を表し、
【０２８１】
【化７９】
2021530047.tif 000081
【０２８２】
はｈ番目の画像の画像特徴を表し、ｈは１からＮまでの整数値である。
【０２８３】
上記の実施例により、各画像特徴と中央値特徴行列との間の第２誤差を取得でき、さらに、前記第２誤差に従って重み係数を決定できる。
【０２８４】
Ｓ２０３２において、前記第２誤差が第２条件を満たすか否かを判断し、前記第２誤差が第２条件を満たす場合、ステップＳ２０３３を実行し、前記第２誤差が第２条件を満たさない場合、ステップＳ２０３４を実行する。
【０２８５】
ここで、本開示の実施例における第２条件は、第２誤差が第２閾値を超えることであり得、当該第２閾値は、プリセットされた閾値であり得るか、または各画像特徴と中央値特徴行列との間の第２誤差に従って決定されたものであり得、本開示の実施例はこれを特に限定しない。いくつかの可能な実施形態では、第２条件は下記式で表されることができる。
【０２８６】
【化８０】
2021530047.tif 000082
【０２８７】
【化８１】
2021530047.tif 000083
【０２８８】
ここで、
【０２８９】
【化８２】
2021530047.tif 000084
【０２９０】
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表し、Ｋは判断閾値であり、前記判断閾値は、プリセットされた値（０．８など）であり得るが、本開示の実施例はこれに限定されるものではなく、ｍｅｄｉａｎは中央値フィルタリング関数を表す。つまり、本開示の実施例における第２閾値は、各画像特徴に対応する第２誤差の平均値と０．６７５の比率と、判断閾値Ｋとの積であり、前記判断閾値は、１未満の正数であり得る。
【０２９１】
設定された第２条件または第２閾値により、画像特徴と中央値特徴行列との間の第２誤差が第２条件満たすか否かを判断でき、判断結果に従って後続の操作を実行できる。
【０２９２】
Ｓ２０３３において、前記画像特徴の重み係数を第１重み値として設定する。
【０２９３】
本開示の実施例では、画像特徴と中央値特徴行列との間の第２誤差が第２条件を満たすこと、例えば、当該第２誤差が第２閾値を超えることは、前記画像特徴が異常である可能性があることを示し、この場合、第１重み値を前記画像特徴の重み係数として決定できる。本開示の実施例における第１重み値は、プリセットされた重み値系数（０など）であり得るか、または他の実施例では、第１重み値を他の値に設定することにより、異常がある画像特徴による融合特徴への影響を低減することができる。
【０２９４】
Ｓ２０３４において、第２方式で前記画像特徴の重み係数を決定する。
【０２９５】
本開示の実施例では、画像特徴と中央値特徴行列との間の第２誤差が第２条件を満たすこと、例えば、前記第２誤差が第２閾値より小さいか等しいことは、当該画像特徴が比較的正確であることを示し、この場合、第２方式で、前記第２誤差に基づいて前記画像特徴の重み係数を決定できる。ここで、前記第２方式は下記式で表されることができる。
【０２９６】
【化８３】
2021530047.tif 000085
【０２９７】
【化８４】
2021530047.tif 000086
【０２９８】
）
ここで、
【０２９９】
【化８５】
2021530047.tif 000087
【０３００】
は第２方式で決定されたｈ番目の画像の重み係数であり、
【０３０１】
【化８６】
2021530047.tif 000088
【０３０２】
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表す。
【０３０３】
画像特徴に対応する第２誤差が第２閾値より小さいか等しい場合、上記の第２方式で前記画像特徴の重み係数
【０３０４】
【化８７】
2021530047.tif 000089
【０３０５】
を取得できる。
【０３０６】
本開示の実施例によれば、中央値フィルタリング方式で各画像特徴の重み係数を取得でき、ここで、中央値フィルタリングに従って重み係数を決定する方式により、演算のオーバーヘッドをさらに低減させることができ、同時に、演算及び処理の複雑さを効果的に低減させながら、得られた融合特徴の精度を向上させることもできる。
【０３０７】
各画像特徴の重み係数を取得した後、特徴融合処理を実行でき、例えば、各画像特徴と、対応する重み係数との積の合計値を使用して、前記融合特徴を取得できる。
【０３０８】
本開示のいくつかの可能な実施形態では、融合特徴を取得した後、融合特徴を利用して、画像内のターゲットオブジェクトの認識操作を実行することもできる。例えば、融合特徴とデータベースに記憶された各オブジェクトの画像を比較することができ、類似度閾値を超える類似度を持つ第１画像が存在する場合、前記ターゲットオブジェクトを、前記第１画像に対応するオブジェクトとして決定でき、このようにして、ＩＤ認識操作とターゲット認識操作を完了できる。本開示の他の実施例では、他のタイプのオブジェクト認識操作を実行することもでき、本開示はこれを特に限定しない。
【０３０９】
本開示の実施例のプロセスをより明確に説明するために、以下は、顔画像を例に挙げて説明する。
【０３１０】
本開示の実施例では、先ず、オブジェクトＡの異なる顔画像を取得でき、例えば、Ｎ枚顔画像を取得でき、Ｎは１を超える正数である。前記Ｎ枚の顔画像を取得した後、顔特徴を抽出できるニューラルネットワークにより、前記Ｎ枚の顔画像内の顔特徴を抽出して、各画像の顔特徴（画像特徴）
【０３１１】
【化８８】
2021530047.tif 000090
【０３１２】
を形成できる。
【０３１３】
各顔画像の顔特徴を取得した後、各顔特徴に対応する重み係数を決定できる。本開示の実施例では、特徴フィッティング方式で前記重み係数を取得してもよいし、中央値フィルタリング方式で前記重み係数を取得してもよい。どの方式を使用するかは、受信された選択情報に従って決定できる。ここで、特徴フィッティング方式を採用する場合、先ず各顔特徴に対応する下記式のような顔特徴行列：
【０３１４】
【化８９】
2021530047.tif 000091
【０３１５】
を取得し、当該画像特徴に対して特徴フィッティングを実行して、第１重み行列を取得でき、その後、第１重み行列に対して第１最適化処理を実行して、最適化された第１重み行列を取得し、前記最適化された第１重み行列内のパラメータに基づいて、各顔特徴の重み係数を決定でき、ここで、前記第１重み行列は、
【０３１６】
【化９０】
2021530047.tif 000092
【０３１７】
で表されることができ、前記第１最適化処理の反復関数は、
【０３１８】
【化９１】
2021530047.tif 000093
【０３１９】
で表されることができる。
【０３２０】
中央値フィルタリング方式で重み係数を取得する場合、同様に、先ず画像特徴行列を取得し、次に同じ位置にある要素の画像特徴列内の各画像特徴の中央値を取得し、取得した中央値に従って中央値特徴行列
【０３２１】
【化９２】
2021530047.tif 000094
【０３２２】
を決定し、その後、各画像特徴と当該中央値特徴行列との間の第２誤差に従って、画像特徴の重み係数を決定できる。
【０３２３】
各画像特徴の重み係数を取得した後、重み係数と画像特徴との積の合計値を利用して、融合特徴を取得できる。同時に、前記融合特徴をさらに利用して、ターゲット検出やターゲット認識などの操作を実行することもできる。前述したものは、本開示の実施例における特徴融合プロセスの例示的な説明に過ぎず、本開示の実施例はこれに限定されるものではない。
【０３２４】
まとめると、本開示の実施例では、同一のオブジェクトの異なる特徴を融合することででき、ここで、同一のオブジェクトの異なる画像の画像特徴に従って、各画像特徴に対応する重み係数を決定し、前記重み係数に従って、画像特徴の特徴融合を実行でき、当該方式により、特徴融合の精度を向上させることができる。
【０３２５】
当業者なら自明であるが、上記の特定の実施形態における方法において、各ステップの記述順序は、厳しい実行順序により実施プロセスを制限するものではなく、各ステップの具体的な実行順序は、その機能と可能な内部ロジックによって決定される必要がある。
【０３２６】
本願で言及される上記の各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組み合わされた実施例を形成できることが理解でき、紙数に限りがあるので、本願では詳細な説明を省略する。
【０３２７】
本開示はまた、画像処理装置、電子機器、コンピュータ可読記憶媒体、およびプログラムを提供し、これらはすべて、本開示で提供される方法のいずれかを実現するために使用されることができ、対応する技術的解決策と説明は、方法の実施例の対応する説明を参照することができ、ここでは繰り返して説明しない。
【０３２８】
図８は、本開示の実施例による処理生成装置を示すブロック図であり、図８に示されるように、前記装置は、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュール１０と、
各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定するように構成される決定モジュール２０と、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュール３０、を備えることができる。
【０３２９】
いくつかの可能な実施形態では、前記決定モジュール２０は、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第１確立ユニットと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得するように構成されるフィッティングユニットと、
前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第１決定ユニットを備えることができる。
【０３３０】
いくつかの可能な実施形態では、前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第１重み行列を取得するように構成される。
【０３３１】
いくつかの可能な実施形態では、前記決定モジュール２０はさらに、前記第１重み行列に対して第１最適化処理を実行するように構成される最適化ユニットを備え、
前記第１決定ユニットは、さらに、前記第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される、
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、前記第１重み行列に含まれる各画像特徴の第１重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行して、第１最適化された重み行列を取得し、前記第１重み行列と第１最適化された重み行列との間の差が第１条件を満たすことに応答して、前記第１最適化された重み行列を、最適化された前記第１重み行列として決定し、及び、第１重み行列と第１最適化された重み行列との間の差が第１条件を満たさないことに応答して、前記第１最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたｋ（ｋは１より大きい正の整数である）番目の最適化された重み行列とｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第１最適化処理を繰り返し、ｋ番目の最適化された重み行列を、最適化された第１重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第１重み係数との積である。
【０３３２】
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第１誤差を取得し、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得し、各画像の第２重み係数に基づいて前記第１重み行列の第１最適化処理を実行して、前記第１重み行列に対応する第１最適化された重み行列を取得するように構成される。
【０３３３】
いくつかの可能な実施形態では、前記最適化ユニットは、さらに、第１方式で、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得するように構成され、前記第１方式の式は、
【０３３４】
【化９３】
2021530047.tif 000095
【０３３５】
で表され、
【０３３６】
【化９４】
2021530047.tif 000096
【０３３７】
はｉ番目の画像の第２重み係数であり、
【０３３８】
【化９５】
2021530047.tif 000097
【０３３９】
はｉ番目の画像特徴と当該ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差を表し、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、
【０３４０】
【化９６】
2021530047.tif 000098
【０３４１】
の標準偏差である。
【０３４２】
いくつかの可能な実施形態では、前記決定モジュール２０は、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第２確立ユニットと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第２決定ユニットと、をさらに備える、
いくつかの可能な実施形態では、前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される。
【０３４３】
いくつかの可能な実施形態では、前記第２決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第２誤差を取得し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たすことに応答して、前記画像特徴の重み係数を第１重み値として設定し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たさないことに応答して、第２方式で前記画像特徴の重み係数を決定するように構成される。
【０３４４】
いくつかの可能な実施形態では、前記第２方式の式は、
【０３４５】
【化９７】
2021530047.tif 000099
【０３４６】
【化９８】
2021530047.tif 000100
【０３４７】
で表され、
【０３４８】
【化９９】
2021530047.tif 000101
【０３４９】
は第２方式で決定されたｈ番目の画像の重み係数であり、
【０３５０】
【化１００】
2021530047.tif 000102
【０３５１】
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表す。
【０３５２】
いくつかの可能な実施形態では、前記第２条件は、
【０３５３】
【化１０１】
2021530047.tif 000103
【０３５４】
【化１０２】
2021530047.tif 000104
【０３５５】
であり、
【０３５６】
【化１０３】
2021530047.tif 000105
【０３５７】
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表し、Ｋは判断閾値であり、ｍｅｄｉａｎは中央値フィルタリング関数を表す。
【０３５８】
いくつかの可能な実施形態では、前記融合モジュール３０は、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される。
【０３５９】
いくつかの可能な実施形態では、前記装置はさらに、前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える。
【０３６０】
いくつかの可能な実施形態では、前記装置は、重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールをさらに備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む。
【０３６１】
前記決定モジュールは２０、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される。
【０３６２】
いくつかの実施例では、本開示の実施例に係る装置に備えられる機能またはモジュールは、上記の方法の実施例で説明された方法を実行するために使用でき、その具体的な実現については、上記の方法の実施例の説明を参照することができ、簡潔にするため、ここでは繰り返して説明しない。
【０３６３】
本開示の実施例は、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体をさらに提案し、前記コンピュータプログラム命令は、プロセッサによって実行されるときに、上記の方法を実現するように構成される。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であってよい。
【０３６４】
本開示の実施例は、上記の方法を実行するように構成されるプロセッサと、プロセッサ実行可能な命令を記憶するように構成されるメモリと、備える電子機器をさらに提案する。
【０３６５】
電子機器は、端末、サーバ、または他の形の機器として提供することができる。
【０３６６】
図９は、本開示の実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。
【０３６７】
図９を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの１つまたは複数を含み得る。
【０３６８】
処理コンポーネント８０２は、通常、電子機器８００の全体的な動作、例えば、表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記の方法のステップの全部または一部を完了するための１つまたは複数のプロセッサ８２０を備えることができる。また、処理コンポーネント８０２は、処理コンポーネント８０２と他のコンポーネントとの間の対話を容易にするための１つまたは複数のモジュールを備えることができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８と処理コンポーネント８０２との間のインタラクションを容易にするためのマルチメディアモジュールを含み得る。
【０３６９】
メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器８００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどが含まれる。メモリ８０４は、任意のタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現でき、当該ストレージデバイスは、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ、Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ、Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどであり得る。
【０３７０】
電源コンポーネント８０６は、電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は、電源管理システム、１つまたは複数の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。
【０３７１】
マルチメディアコンポーネント８０８は、前記電子機器８００とユーザとの間で出力インターフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）およびタッチパネル（ＴＰ：Ｔｏｕｃｈ  Ｐａｎｅｌ）を含み得る。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実現できる。タッチパネルは、タッチ、スワイプ、およびタッチパネルでのジェスチャを検知するための１つまたは複数のタッチセンサを含む。前記タッチセンサは、タッチまたはスワイプ動作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間と圧力も検出する。いくつかの実施例では、マルチメディアコンポーネント８０８は、フロンドカメラおよび／またはリアカメラを備える。電子機器８００が、撮影モードまたは撮像モードなどの動作モードにある場合、フロンドカメラおよび／またはリアカメラは、外部マルチメディアデータを受信することができる。各フロンドカメラおよびリアカメラは、固定光学レンズシステムであってもよく、焦点距離および光学ズーム機能を有するものであってもよい。
【０３７２】
オーディオコンポーネント８１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ、Ｍｉｃｒｏｐｈｏｎｅ）を含む。受信されたオーディオ信号は、メモリ８０４に記憶されてもよいし、通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０は、オーディオ信号を出力するためのスピーカをさらに含む。
【０３７３】
Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間のインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであり得る。これらのボタンは、ホームボタン、音量ボタン、スタートボタン、およびロックボタンなどを含んでもよいが、これらに限定されない。
【０３７４】
センサコンポーネント８１４は、各態様の状態評価を電子機器８００に提供するための１つまたは複数のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態およびコンポーネントの相対的な位置を検出でき、例えば、前記コンポーネントが電子機器８００のディスプレイおよびキーパッドであることを検出でき、センサコンポーネント８１４はまた、電子機器８００または電子機器８００のコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速、および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、物理的接触なしに近くの物体の存在を検出するように構成される近接センサを含み得る。センサコンポーネント８１４は、金属酸化物半導体素子（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）または電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）画像センサなどの画像化用途で使用される光センサを含み得る。いくつかの実施例では、前記センサコンポーネント８１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、または温度センサをさらに含み得る。
【０３７５】
通信コンポーネント８１６は、電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子装置８００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例では、通信コンポーネント８１６は、放送チャネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６は、近距離通信を容易にするための近距離無線通信（ＮＦＣ：Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュールをさらに備える。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ：Ｕｌｔｒａ  ＷｉｄｅＢａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅ  Ｔｏｏｔｈ、登録商標）技術及び他の技術に基づいて実現できる。
【０３７６】
例示的な実施例では、上記の方法を実行するために、電子機器８００は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現されることができる。
【０３７７】
例示的な実施例では、コンピュータプログラム命令を含むメモリ８０４などの不揮発性コンピュータ可読記憶媒体をさらに提供し、前記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されることにより、上記の方法を完了することができる。
【０３７８】
図１０は、本開示の実施例による電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供することができる。図１０を参照すると、電子機器１９００は、１つまたは複数のプロセッサを含む処理コンポーネント１９２２と、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するためのメモリリソースを代表するメモリ１９３２と、を備える。メモリ１９３２に記憶されたアプリケーションプログラムは、それぞれが一セットの命令に対応する１つまたは複数のモジュールを含み得る。また、処理コンポーネント１９２２は、命令を実行することにより、上記の方法を実行するように構成される。
【０３７９】
電子機器１９００は、電子機器１９００の電力管理を実行するように構成される電源コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインターフェース１９５０と、入力／出力（Ｉ／Ｏ）インターフェース１９５８と、をさらに備えてもよい。電子機器１９００は、メモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標）  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【０３８０】
例示的な実施例では、コンピュータプログラム命令を含むメモリ１９３２などの不揮発性コンピュータ可読記憶媒体をさらに提供し、前記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されることにより、上記の方法を完了することができる。
【０３８１】
本開示の実施例は、システム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読プログラム命令が記憶されたコンピュータ可読記憶媒体を含み得、当該コンピュータ可読プログラム命令は、プロセッサに、本願実施例の各態様を実現させるように構成される。
【０３８２】
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持および記憶することができる有形機器であり得る。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非包括的な例）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。本明細書で使用するコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０３８３】
本明細書で説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング／処理機器にダウンロードされるか、インターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークなどのネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含み得る。各計算／処理機器内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、他の計算／処理機器のコンピュータ可読記憶媒体への記憶のために当該コンピュータ可読プログラム命令を転送する。
【０３８４】
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ可読プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。
【０３８５】
ここで、本開示の実施例による方法、装置（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
【０３８６】
これらのコンピュータ可読プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器が、これらの命令に応じて特定の方式で動作することができる。したがって、命令が記憶されたコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／動作を実現する命令を含む製品を備えることができる。
【０３８７】
また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器に一連の動作ステップを実行させることにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器でる命令を実行することで、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／動作を実現することができる。
【０３８８】
図面のフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラムセグメントまたは命令の一部を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部は、指定された論理機能を実現するための１つまたは複数の実行可能な命令を含む。いくつかの代替としての実現では、ブロックでマークされた機能は、図面でマークされた順序とは異なる順序で実行できる。例えば、２つの連続的なブロックは、実際には実質的に同時に実行でき、関連する機能によっては、逆の順序で実行されることもできる。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
【０３８９】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ開示された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書で使用される用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するためのものであるか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図１】
2021530047.tif 000128
【図２】
2021530047.tif 000129
【図３】
2021530047.tif 000130
【図４】
2021530047.tif 000131
【図５】
2021530047.tif 000132
【図６】
2021530047.tif 000133
【図７】
2021530047.tif 000134
【図８】
2021530047.tif 000135
【図９】
2021530047.tif 000136
【図１０】
2021530047.tif 000137
【手続補正書】
【提出日】令和2年12月28日(2020.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像処理方法であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得することと、
各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することと、を含む、前記画像処理方法。
【請求項２】
前記各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得することと、
前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、を含む、
請求項１に記載の画像処理方法。
【請求項３】
前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得することは、
正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第１重み行列を取得することを含み、
前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
前記第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定すること、または、
前記第１重み行列に対して第１最適化処理を実行し、最適化された第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定することを含む、
請求項２に記載の画像処理方法。
【請求項４】
前記第１重み行列に対して第１最適化処理を実行することは、
前記第１重み行列に含まれる各画像特徴の第１重み係数に基づいて、各画像のフィッティング画像特徴を決定することであって、前記フィッティング画像特徴は、前記画像特徴と、対応する第１重み係数との積である、ことと、
各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行して、第１最適化された重み行列を取得することと、
前記第１重み行列と第１最適化された重み行列との間の差が第１条件を満たすことに応答して、前記第１最適化された重み行列を、最適化された前記第１重み行列として決定することと、及び
第１重み行列と第１最適化された重み行列との間の差が第１条件を満たさないことに応答して、前記第１最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたｋ（ｋは１より大きい正の整数である）番目の最適化された重み行列とｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第１最適化処理を繰り返し、ｋ番目の最適化された重み行列を、最適化された第１重み行列として決定することと、を含む、
請求項３に記載の画像処理方法。
【請求項５】
前記各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行することは、
各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第１誤差を取得することと、
各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することと、
各画像の第２重み係数に基づいて前記第１重み行列の第１最適化処理を実行して、前記第１重み行列に対応する第１最適化された重み行列を取得することと、を含む、
請求項４に記載の画像処理方法。
【請求項６】
前記各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することは、
第１方式で、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することを含み、前記第１方式の式は、
【化１０４】
2021530047.tif 000138
で表され、
【化１０５】
2021530047.tif 000139
はｉ番目の画像の第２重み係数であり、
【化１０６】
2021530047.tif 000140
はｉ番目の画像特徴と前記ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差を表し、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、
【化１０７】
2021530047.tif 000141
の標準偏差である、
請求項５に記載の画像処理方法。
【請求項７】
前記各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、をさらに含む、
請求項１ないし６のいずれか一項に記載の画像処理方法。
【請求項８】
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することは、
同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定することと、
各位置の要素の中央値に基づいて、前記中央値特徴行列を取得することと、を含み、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
各画像特徴と前記中央値特徴行列との間の第２誤差を取得することと、
画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たすことに応答して、前記画像特徴の重み係数を第１重み値として設定し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たさないことに応答して、第２方式で前記画像特徴の重み係数を決定することと、を含む、
請求項７に記載の画像処理方法。
【請求項９】
前記第２方式の式は、
【化１０８】
2021530047.tif 000142
【化１０９】
2021530047.tif 000143
で表され、
【化１１０】
2021530047.tif 000144
は第２方式で決定されるｈ番目の画像の重み係数であり、
【化１１１】
2021530047.tif 000145
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表す、
請求項８に記載の画像処理方法。
【請求項１０】
前記第２条件は、
【化１１２】
2021530047.tif 000146
【化１１３】
2021530047.tif 000147
であり、
【化１１４】
2021530047.tif 000148
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表し、Ｋは判断閾値であり、ｍｅｄｉａｎは中央値フィルタリング関数を表す、
請求項８または９に記載の画像処理方法。
【請求項１１】
前記各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することは、
各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含む、
請求項１ないし１０のいずれか一項に記載の画像処理方法。
【請求項１２】
前記画像処理方法は、
前記融合特徴を利用して、前記同一のオブジェクトの認識操作を実行することをさらに含む、
請求項１ないし１１のいずれか一項に記載の画像処理方法。
【請求項１３】
前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記画像処理方法は、
重み係数の取得モードに対する選択情報を取得することと、
前記選択情報に基づいて前記重み係数の取得モードを決定することと、
決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行することと、をさらに含み、
前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む、
請求項１ないし１２のいずれか一項に記載の画像処理方法。
【請求項１４】
画像処理装置であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュールと、
各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定するように構成される決定モジュールと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュールと、を備える、前記画像処理装置。
【請求項１５】
電子機器であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、請求項１ないし１３のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
【請求項１６】
コンピュータプログラム命令が記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、請求項１ないし１３のいずれか一項に記載の方法を実現するように構成される、前記コンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
本開示の実施例の第４態様によれば、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行される時に、第１態様又はその各実施形態における方法を実現する。
例えば、本願は以下の項目を提供する。
（項目１）
画像処理方法であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得することと、
各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することと、を含む、前記画像処理方法。
（項目２）
前記各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得することと、
前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、を含む、
項目１に記載の画像処理方法。
（項目３）
前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得することは、
正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第１重み行列を取得することを含む、
項目２に記載の画像処理方法。
（項目４）
前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
前記第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定すること、または、
前記第１重み行列に対して第１最適化処理を実行し、最適化された第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定することを含む、
項目２または３に記載の画像処理方法。
（項目５）
前記第１重み行列に対して第１最適化処理を実行することは、
前記第１重み行列に含まれる各画像特徴の第１重み係数に基づいて、各画像のフィッティング画像特徴を決定することであって、前記フィッティング画像特徴は、前記画像特徴と、対応する第１重み係数との積である、ことと、
各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行して、第１最適化された重み行列を取得することと、
前記第１重み行列と第１最適化された重み行列との間の差が第１条件を満たすことに応答して、前記第１最適化された重み行列を、最適化された前記第１重み行列として決定することと、及び
第１重み行列と第１最適化された重み行列との間の差が第１条件を満たさないことに応答して、前記第１最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたｋ（ｋは１より大きい正の整数である）番目の最適化された重み行列とｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第１最適化処理を繰り返し、ｋ番目の最適化された重み行列を、最適化された第１重み行列として決定することと、を含む、
項目４に記載の画像処理方法。
（項目６）
前記各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行することは、
各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第１誤差を取得することと、
各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することと、
各画像の第２重み係数に基づいて前記第１重み行列の第１最適化処理を実行して、前記第１重み行列に対応する第１最適化された重み行列を取得することと、を含む、
項目５に記載の画像処理方法。
（項目７）
前記各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することは、
第１方式で、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得することを含み、前記第１方式の式は、
（化１０４）
で表され、
（化１０５）
2021530047.tif 000149
はｉ番目の画像の第２重み係数であり、
（化１０６）
2021530047.tif 000150
はｉ番目の画像特徴と前記ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差を表し、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、
（化１０７）
2021530047.tif 000151
の標準偏差である、
項目６に記載の画像処理方法。
（項目８）
前記各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定することは、
各画像の前記画像特徴に基づいて画像特徴行列を形成することと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することと、をさらに含む、
項目１ないし７のいずれか一項に記載の画像処理方法。
（項目９）
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得することは、
同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定することと、
各位置の要素の中央値に基づいて、前記中央値特徴行列を取得することと、を含む、
項目８に記載の画像処理方法。
（項目１０）
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定することは、
各画像特徴と前記中央値特徴行列との間の第２誤差を取得することと、
画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たすことに応答して、前記画像特徴の重み係数を第１重み値として設定し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たさないことに応答して、第２方式で前記画像特徴の重み係数を決定することと、を含む、
項目８または９に記載の画像処理方法。
（項目１１）
前記第２方式の式は、
（化１０８）
2021530047.tif 000152
（化１０９）
2021530047.tif 000153
で表され、
（化１１０）
2021530047.tif 000154
は第２方式で決定されるｈ番目の画像の重み係数であり、
（化１１１）
2021530047.tif 000155
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表す、
項目１０に記載の画像処理方法。
（項目１２）
前記第２条件は、
（化１１２）
2021530047.tif 000156
（化１１３）
2021530047.tif 000157
であり、
（化１１４）
2021530047.tif 000158
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表し、Ｋは判断閾値であり、ｍｅｄｉａｎは中央値フィルタリング関数を表す、
項目１０または１１に記載の画像処理方法。
（項目１３）
前記各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得することは、
各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得することを含む、
項目１ないし１２のいずれか一項に記載の画像処理方法。
（項目１４）
前記画像処理方法は、
前記融合特徴を利用して、前記同一のオブジェクトの認識操作を実行することをさらに含む、
項目１ないし１３のいずれか一項に記載の画像処理方法。
（項目１５）
前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定する前に、前記画像処理方法は、
重み係数の取得モードに対する選択情報を取得することと、
前記選択情報に基づいて前記重み係数の取得モードを決定することと、
決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行することと、をさらに含み、
前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含む、
項目１ないし１４のいずれか一項に記載の画像処理方法。
（項目１６）
画像処理装置であって、
同一のオブジェクトに対する複数の画像の画像特徴をそれぞれ取得するように構成される取得モジュールと、
各画像の画像特徴に従って、各前記画像特徴に１対１対応する重み係数を決定するように構成される決定モジュールと、
各前記画像特徴の重み係数に基づいて、前記複数の画像の画像特徴に対して特徴融合処理を実行して、前記複数の画像の融合特徴を取得するように構成される融合モジュールと、を備える、前記画像処理装置。
（項目１７）
前記決定モジュールは、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第１確立ユニットと、
前記画像特徴行列に対して特徴フィッティング処理を実行して、第１重み行列を取得するように構成されるフィッティングユニットと、
前記第１重み行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第１決定ユニットと、を備える、
項目１６に記載の画像処理装置。
（項目１８）
前記フィッティングユニットは、さらに、正則化された線形最小二乗推定アルゴリズムを使用して、前記画像特徴行列に対して特徴フィッティング処理を実行し、プリセット目標関数が最小値である場合に、前記第１重み行列を取得するように構成される、
項目１７に記載の画像処理装置。
（項目１９）
前記決定モジュールはさらに、前記第１重み行列に対して第１最適化処理を実行するように構成される最適化ユニットを備え、
前記第１決定ユニットは、さらに、前記第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定し、または最適化された第１重み行列に含まれる各第１重み係数を、各画像特徴に対応する前記重み係数として決定するように構成される、
項目１７または１８に記載の画像処理装置。
（項目２０）
前記最適化ユニットは、さらに、前記第１重み行列に含まれる各画像特徴の第１重み係数に基づいて、各画像のフィッティング画像特徴を決定し、各画像の画像特徴と前記フィッティング画像特徴との間の第１誤差を利用して、前記第１重み行列の第１最適化処理を実行して、第１最適化された重み行列を取得し、前記第１重み行列と第１最適化された重み行列との間の差が第１条件を満たすことに応答して、前記第１最適化された重み行列を、最適化された前記第１重み行列として決定し、及び、第１重み行列と第１最適化された重み行列との間の差が第１条件を満たさないことに応答して、前記第１最適化された重み行列を利用して、新しいフィッティング画像特徴を取得し、取得されたｋ（ｋは１より大きい正の整数である）番目の最適化された重み行列とｋ−１番目の最適化された重み行列との間の差が前記第１条件を満たすまで、前記新しいフィッティング画像特徴に基づいて前記第１最適化処理を繰り返し、ｋ番目の最適化された重み行列を、最適化された第１重み行列として決定するように構成され、前記フィッティング画像特徴は、前記画像特徴と、対応する第１重み係数との積である、
項目１９に記載の画像処理装置。
（項目２１）
前記最適化ユニットは、さらに、各画像特徴と前記フィッティング画像特徴における対応する要素との間の差の二乗和に従って、前記画像特徴と前記フィッティング画像特徴との間の第１誤差を取得し、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得し、各画像の第２重み係数に基づいて前記第１重み行列の第１最適化処理を実行して、前記第１重み行列に対応する第１最適化された重み行列を取得するように構成される、
項目２０に記載の画像処理装置。
（項目２２）
前記最適化ユニットは、さらに、第１方式で、各前記第１誤差に基づいて、各画像特徴の第２重み係数を取得するように構成され、前記第１方式の式は、
（化１１５）
2021530047.tif 000159
で表され、
（化１１６）
2021530047.tif 000160
はｉ番目の画像の第２重み係数であり、
（化１１７）
2021530047.tif 000161
はｉ番目の画像特徴と前記ｉ番目の画像特徴に対応するフィッティング画像特徴との間の第１誤差であり、ｉは１からＮまでの整数であり、Ｎは画像特徴の数であり、
（化１１８）
2021530047.tif 000162
の標準偏差である、
項目２１に記載の画像処理装置。
（項目２３）
前記決定モジュールはさらに、
各画像の前記画像特徴に基づいて画像特徴行列を形成するように構成される第２確立ユニットと、
前記画像特徴行列に対して中央値フィルタリング処理を実行して、中央値特徴行列を取得するように構成されるフィルタリングユニットと、
前記中央値特徴行列に基づいて、各画像特徴に対応する前記重み係数を決定するように構成される第２決定ユニットと、を備える、
項目１６ないし２２のいずれか一項に記載の画像処理装置。
（項目２４）
前記フィルタリングユニットは、さらに、同じ位置にある要素に対する前記画像特徴行列の各前記画像特徴の中央値を決定し、各位置の要素の中央値に基づいて、前記中央値特徴行列を取得するように構成される、
項目２３に記載の画像処理装置。
（項目２５）
前記第２決定ユニットは、さらに、各画像特徴と前記中央値特徴行列との間の第２誤差を取得し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たすことに応答して、前記画像特徴の重み係数を第１重み値として設定し、画像特徴と中央値特徴行列との間の前記第２誤差が第２条件を満たさないことに応答して、第２方式で前記画像特徴の重み係数を決定するように構成される、
項目２３または２４に記載の画像処理装置。
（項目２６）
前記第２方式の式は、
（化１１９）
2021530047.tif 000163
（化１２０）
2021530047.tif 000164
で表され、
（化１２１）
2021530047.tif 000165
は第２方式で決定されるｈ番目の画像の重み係数であり、
（化１２２）
2021530047.tif 000166
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表す、
項目２５に記載の画像処理装置。
（項目２７）
前記第２条件は、
（化１２３）
2021530047.tif 000167
（化１２４）
2021530047.tif 000168
であり、
（化１２５）
2021530047.tif 000169
はｈ番目の画像の画像特徴と中央値特徴行列との間の第２誤差であり、ｈは１からＮまでの整数値であり、Ｎは画像の数を表し、Ｋは判断閾値であり、ｍｅｄｉａｎは中央値フィルタリング関数を表す、
項目２５または２６に記載の画像処理装置。
（項目２８）
前記融合モジュールは、さらに、各画像特徴と、対応する重み係数との積の合計値を利用して、前記融合特徴を取得するように構成される、
項目１６ないし２７のいずれか一項に記載の画像処理装置。
（項目２９）
前記画像処理装置はさらに、
前記融合特徴を利用して前記同一のオブジェクトの認識操作を実行するように構成される認識モジュールを備える、
項目１６ないし２８のいずれか一項に記載の画像処理装置。
（項目３０）
前記画像処理装置はさらに、
重み係数の取得モードに対する選択情報を取得し、前記選択情報に基づいて前記重み係数の取得モードを決定するように構成されるモード決定モジュールを備え、前記重み係数の取得モードは、特徴フィッティング方式で前記重み係数を取得するモード、及び中央値フィルタリング方式で前記重み係数を取得するモードを含み、
前記決定モジュールは、さらに、決定された前記重み係数の取得モードに基づいて、前記各画像の画像特徴に従って各前記画像特徴に対応する重み係数を決定することを実行するように構成される、
項目１６ないし２９のいずれか一項に記載の画像処理装置。
（項目３１）
電子機器であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、項目１ないし１５のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
（項目３２）
コンピュータプログラム命令が記憶された、コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行される時に、項目１ないし１５のいずれか一項に記載の方法を実現するように構成される、前記コンピュータ可読記憶媒体。
【国際調査報告】
2021530047.tif 000170
2021530047.tif 000171
2021530047.tif 000172
2021530047.tif 000173