(57)【要約】  本出願は、画像処理方法、装置、デバイス、および記憶媒体を提案している。前記方法の一例示により、処理すべき画像に対してｎ回の特徴抽出を行うことで、画素特徴認識結果を取得する。ここでは、各々の特徴抽出には、ｐ個のデータノードが含まれ、最後のデータノードを除く各々のデータノード上のデータは、今回の特徴抽出プロセス中の当該データノードよりも前の各データノード上のデータに対してそれぞれ予め設定された特徴抽出方法で処理して得られたデータと、今回の特徴抽出の入力データとによって決定されたものであり、各々の特徴抽出プロセスで使用される特徴抽出方法は、当該回の特徴抽出プロセス中の各データノード上のデータに使用される特徴抽出方法を含み、以上により、各々の特徴抽出プロセスで使用される特徴抽出方法が完全に同じでなくてもよい。その後、画素特徴認識結果により、処理すべき画像を処理することができる。【選択図】図１
2022501707.tif 000002
【特許請求の範囲】
【請求項１】
処理すべき画像を取得するステップと、
前記処理すべき画像に対してｎ回の特徴抽出を行って前記処理すべき画像の画素特徴認識結果を取得するステップと、
前記処理すべき画像の画素特徴認識結果により、前記処理すべき画像を処理するステップと、を含み、
各々の特徴抽出の入力データは、前のｋ回の特徴抽出の出力データによって決定されたものであり、
１番目からｋ番目の特徴抽出の入力データは、前記処理すべき画像を含み、ｋは１以上ｎ未満の整数、ｎは１より大きい整数であり、
各々の特徴抽出プロセスには、ｐ個のデータノードが含まれ、ｐが１より大きい整数であり、
各々の特徴抽出プロセス中の１つのデータノード上のデータは、今回の特徴抽出プロセス中の当該データノードよりも前の各データノード上のデータに対してそれぞれ予め設定された特徴抽出方法で処理して得られたデータと、今回の特徴抽出の入力データとによって決定されたものであり、
各々の特徴抽出プロセスで使用される特徴抽出方法は、当該回の特徴抽出プロセス中の各データノード上のデータに使用される特徴抽出方法を含み、
各々の特徴抽出プロセスの出力データは、今回の特徴抽出プロセス中の最後のデータノード上のデータである
ことを特徴とする画像処理方法。
【請求項２】
前記画像処理方法は、ニューラルネットワークによって実行され、
前記ｎ回の特徴抽出のうちの各々の特徴抽出プロセスは、前記ニューラルネットワーク中の１つの基本セルによって実行される、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記ｎ回の特徴抽出のうちの各々の特徴抽出プロセスについて、
当該回の特徴抽出から任意１つのデータノードと当該データノードよりも後の任意１つのデータノードとを選択して目標データノードペアを構成するステップであって、前記目標データノードペアは、複数の候補特徴抽出方法に関連付けられるステップと、
前記複数の候補特徴抽出方法のそれぞれの重み値を用いて第１接続ベクトルを構成するステップであって、前記候補特徴抽出方法のそれぞれの重み値が任意の値であるステップと、
前記第１接続ベクトルに対して正規化処理を行って第１特徴ベクトルを取得するステップであって、前記第１特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であるステップと、
値が１の要素に対応する候補特徴抽出方法を、前記目標データノードペアと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により前記目標データノードペアのうちの前のデータノード上のデータを処理し、処理して得られたデータを前記目標データノードペアのうちの後のデータノードに転送するステップと、
によって当該回の特徴抽出プロセスで使用される特徴抽出方法を決定することを特徴とする請求項１または２に記載の方法。
【請求項４】
当該回の特徴抽出プロセスで使用される特徴抽出方法を決定する際に、前記方法は、
グラフ畳み込み方法で、当該回の特徴抽出プロセスに隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の前記第１特徴ベクトルを修正するステップと、
修正された各々の前記第１特徴ベクトルに基づいて、当該回の特徴抽出プロセスで使用される特徴抽出方法を決定するステップと、
をさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
グラフ畳み込み方法で、当該回の特徴抽出プロセスに隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の前記第１特徴ベクトルを修正するステップは、
前記隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により構成された行列である第１行列と、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルにより構成された行列である第２行列と、の接続行列を決定するステップと、
前記接続行列と前記第１行列との相関値を決定し、前記相関値を前記第２行列に加えて第３行列を取得するステップと、
前記第３行列により、当該回の特徴抽出プロセス中の修正された各々の前記第１特徴ベクトルを決定するステップと、
を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記処理すべき画像の画素特徴認識結果により、前記処理すべき画像を処理するステップは、
前記処理すべき画像の画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行って前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果を取得するステップと、
前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果により前記処理すべき画像を処理するステップと、
を含むことを特徴とする請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記少なくとも１つのスケールの特徴抽出のそれぞれについて、
当該スケールと関連付けられた複数の候補特徴抽出方法の重み値を用いて第２接続ベクトルを構成するステップであって、前記候補特徴抽出方法のそれぞれの重み値が任意の値であるステップと、
前記第２接続ベクトルに対して正規化処理を行って第２特徴ベクトルを取得するステップであって、前記第２特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であるステップと、
値が１の要素に対応する候補特徴抽出方法を、当該スケールと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により、前記処理すべき画像の画素特徴認識結果に対して当該スケールの特徴抽出を行うステップと、
によって当該スケールの特徴抽出方法を決定することを特徴とする請求項６に記載の方法。
【請求項８】
前記ｎ回の特徴抽出のうちのｉ番目の特徴抽出について、
ｉが１以上ｋ以下の場合、前記処理すべき画像を前記ｉ番目の特徴抽出の入力データとして決定するステップと、
ｉがｋより大きいがｎ以下の場合、前記ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの出力データに基づいて、前記ｉ番目の特徴抽出の入力データを決定するステップであって、前記ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの出力データには、ｉ−ｋ番目の特徴抽出の入力データに対して予め設定された特徴抽出処理を行って得られたｉ−ｋ番目の処理結果、．．．ｉ−１番目の特徴抽出の入力データに対して予め設定された特徴抽出処理を行って得られたｉ−１番目の処理結果が含まれるステップと、
によって前記ｉ番目の特徴抽出の入力データを決定することを特徴とする請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
処理すべき画像を取得するための取得ユニットと、
前記処理すべき画像に対してｎ回の特徴抽出を行って前記処理すべき画像の画素特徴認識結果を取得するための特徴抽出ユニットと、
前記処理すべき画像の画素特徴認識結果により、前記処理すべき画像を処理するための特徴処理ユニットと、を備える
各々の特徴抽出の入力データは、前のｋ回の特徴抽出の出力データによって決定されたものであり、
１番目からｋ番目の特徴抽出の入力データは、前記処理すべき画像を含み、ｋは１以上ｎ未満の整数、ｎは１より大きい整数であり、
各々の特徴抽出プロセスには、ｐ個のデータノードが含まれ、ｐが１より大きい整数であり、
各々の特徴抽出プロセス中の１つのデータノード上のデータは、今回の特徴抽出プロセス中の当該データノードよりも前の各データノード上のデータに対してそれぞれ予め設定された特徴抽出方法で処理して得られたデータと、今回の特徴抽出の入力データとによって決定されたものであり、
各々の特徴抽出プロセスで使用される特徴抽出方法は、当該回の特徴抽出プロセス中の各データノード上のデータに使用される特徴抽出方法を含み、
各々の特徴抽出プロセスの出力データは、今回の特徴抽出プロセス中の最後のデータノード上のデータである、
ことを特徴とする画像処理装置。
【請求項１０】
前記特徴抽出ユニットは、第１基本処理サブユニットを含み、
前記第１基本処理サブユニットは、前記ｎ回の特徴抽出のうちのそれぞれについて、
当該回の特徴抽出から任意１つのデータノードと当該データノードよりも後の任意１つのデータノードとを選択して目標データノードペアを構成し、ここで、前記目標データノードペアは、複数の候補特徴抽出方法に関連付けられ、
前記複数の候補特徴抽出方法のそれぞれの重み値を用いて第１接続ベクトルを構成し、ここで、前記候補特徴抽出方法のそれぞれの重み値が任意の値であり、
前記第１接続ベクトルに対して正規化処理を行って第１特徴ベクトルを取得し、ここで、前記第１特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であり、
値が１の要素に対応する候補特徴抽出方法を、前記目標データノードペアと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により前記目標データノードペアのうちの前のデータノード上のデータを処理し、処理して得られたデータを前記目標データノードペアのうちの後のデータノードに転送する、
ことを特徴とする請求項９に記載の装置。
【請求項１１】
前記特徴抽出ユニットは、第２基本処理サブユニットをさらに含み、
前記第２基本処理サブユニットは、前記ｎ回の特徴抽出のうち１番目の特徴抽出を除く各々の特徴抽出について、グラフ畳み込み方法で、当該回の特徴抽出プロセスに隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルを修正し、
前記第１基本処理サブユニットは、前記修正された各々の第１特徴ベクトルに基づいて、当該回の特徴抽出プロセスで使用される特徴抽出方法を決定する、
ことを特徴とする請求項１０に記載の装置。
【請求項１２】
前記第２基本処理サブユニットは、
前記隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により構成された行列である第１行列と、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルにより構成された行列である第２行列と、の接続行列を決定するための第１基本処理モジュールと、
前記接続行列と前記第１行列との相関値を決定し、前記相関値を前記第２行列に加えて第３行列を取得するための第２基本処理モジュールと、
前記第３行列により、当該回の特徴抽出プロセス中の修正された各々の第１特徴ベクトルを決定するための第３基本処理モジュールと、
を含むことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記特徴処理ユニットは、
前記処理すべき画像の画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行って前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果を取得するための第１特徴処理サブユニットと、
前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果により前記処理すべき画像を処理するための第２特徴処理サブユニットと、
を含むことを特徴とする請求項９乃至１２のいずれか一項に記載の装置。
【請求項１４】
前記第１特徴処理サブユニットは、
前記少なくとも１つのスケールのそれぞれについて、当該スケールと関連付けられた複数の候補特徴抽出方法の重み値を用いて第２接続ベクトルを構成し、ここで、前記候補特徴抽出方法のそれぞれの重み値が任意の値であるための第１特徴処理モジュールと、
前記第２接続ベクトルに対して正規化処理を行って第２特徴ベクトルを取得し、ここで、前記第２特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であるための第２特徴処理モジュールと、
値が１の要素に対応する候補特徴抽出方法を、当該スケールと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により、前記処理すべき画像の画素特徴認識結果に対して当該スケールの特徴抽出を行うための第３特徴処理モジュールと、
を含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記特徴抽出ユニットは、
前記ｎ回の特徴抽出のうちのｉ番目の特徴抽出について、ｉが１以上ｋ以下の場合、処理すべき画像を当該ｉ番目の特徴抽出の入力データとして決定し、
ｉがｋより大きいがｎ以下の場合、当該ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの出力データに基づいて、当該ｉ番目の特徴抽出の入力データを決定するための第３基本処理サブユニットと、
前記第１基本処理サブユニットによって決定された特徴抽出方法によって、前記第３基本処理サブユニットによって決定された入力データを処理して前記ｉ番目の特徴抽出の出力データを取得するための第４基本処理サブユニットと、
をさらに含むことを特徴とする請求項９乃至１４のいずれか一項に記載の装置。
【請求項１６】
画像処理デバイスであって、
プロセッサと、メモリと、コンピュータプログラムと、を備え、
前記コンピュータプログラムは前記メモリによって格納され、前記プロセッサによって実行されることで、請求項１乃至８のいずれか一項に記載の画像処理方法を実現するように構成される、ことを特徴とする画像処理デバイス。
【請求項１７】
コンピュータ可読記憶媒体であって、
コンピュータプログラムが格納され、
プロセッサで前記コンピュータプログラムが実行されることで、請求項１乃至８のいずれか一項に記載の画像処理方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、信号処理の技術分野に関し、特に画像処理方法、装置、デバイス、および記憶媒体に関する。
【背景技術】
【０００２】
深度学習技術の急速な発展に伴い、画像認識は広範に普及され適用されている。画像に対して複数回の特徴抽出処理を行うことで、画像認識結果を取得することができる。その中で、特徴抽出処理方法の多様性と合理性は、画像認識結果の品質を決定する重要な要素である。
【０００３】
例えば、画像に対して特徴抽出処理を行う際に、ニューラルネットワーク検索方法により最適なニューラルネットワークセルを検索し、その後に検索したニューラルネットワークセルを積み重ねてニューラルネットワーク全体を形成することができる。換言すると、ニューラルネットワーク検索方法により最適な特徴抽出方法を決定してから、決定された特徴抽出方法により画像に対して複数回の特徴抽出処理を行って画像の特徴認識結果を取得することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本出願は、従来の画像処理方法に存在する画像コンテンツ認識精度が低い問題を解決するための画像処理方法、装置、デバイス、および記憶媒体を提案している。
【課題を解決するための手段】
【０００５】
本出願の第１態様として、画像処理方法が提案される。前記画像処理方法は、処理すべき画像を取得するステップと、前記処理すべき画像に対してｎ回の特徴抽出を行って前記処理すべき画像の画素特徴認識結果を取得するステップと、前記処理すべき画像の画素特徴認識結果により、前記処理すべき画像を処理するステップと、を含み、ここで、各々の特徴抽出の入力データは、前のｋ回の特徴抽出の出力データによって決定されたものであり、１番目からｋ番目の特徴抽出の入力データは、前記処理すべき画像を含み、ｋは１以上ｎ未満の整数、ｎは１より大きい整数であり、各々の特徴抽出プロセスには、ｐ個のデータノードが含まれ、ｐが１より大きい整数であり、各々の特徴抽出プロセス中の１つのデータノード上のデータは、今回の特徴抽出プロセス中の当該データノードよりも前の各データノード上のデータに対してそれぞれ予め設定された特徴抽出方法で処理して得られたデータと、今回の特徴抽出の入力データとによって決定されたものであり、各々の特徴抽出プロセスで使用される特徴抽出方法は、当該回の特徴抽出プロセス中の各データノード上のデータに使用される特徴抽出方法を含み、各々の特徴抽出プロセスの出力データは、今回の特徴抽出プロセス中の最後のデータノード上のデータである。
【０００６】
本出願の１つ又は複数の実施例により、前記画像処理方法は、ニューラルネットワークによって実行され、前記ｎ回の特徴抽出のうちの各々の特徴抽出プロセスは、前記ニューラルネットワーク中の１つの基本セルによって実行される。
【０００７】
本出願の１つ又は複数の実施例により、前記ｎ回の特徴抽出のうちの各々の特徴抽出プロセスについて、当該回の特徴抽出から任意１つのデータノードと当該データノードよりも後の任意１つのデータノードとを選択して目標データノードペアを構成するステップであって、前記目標データノードペアは、複数の候補特徴抽出方法に関連付けられるステップと、前記複数の候補特徴抽出方法のそれぞれの重み値を用いて第１接続ベクトルを構成するステップであって、前記候補特徴抽出方法のそれぞれの重み値が任意の値であるステップと、前記第１接続ベクトルに対して正規化処理を行って第１特徴ベクトルを取得するステップであって、前記第１特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であるステップと、値が１の要素に対応する候補特徴抽出方法を、前記目標データノードペアと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により前記目標データノードペアのうちの前のデータノード上のデータを処理し、処理して得られたデータを前記目標データノードペアのうちの後のデータノードに転送するステップと、によって当該回の特徴抽出プロセスで使用される特徴抽出方法を決定する。
【０００８】
本出願の１つ又は複数の実施例により、当該回の特徴抽出プロセスで使用される特徴抽出方法を決定する際に、前記方法は、グラフ畳み込み方法で、当該回の特徴抽出プロセスに隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の前記第１特徴ベクトルを修正するステップと、修正された各々の前記第１特徴ベクトルに基づいて、当該回の特徴抽出プロセスで使用される特徴抽出方法を決定するステップと、をさらに含む。
【０００９】
本出願の１つ又は複数の実施例により、グラフ畳み込み方法で、当該回の特徴抽出プロセスに隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の前記第１特徴ベクトルを修正するステップは、前記隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により構成された行列である第１行列と、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルにより構成された行列である第２行列と、の接続行列を決定するステップと、前記接続行列と前記第１行列との相関値を決定し、前記相関値を前記第２行列に加えて第３行列を取得するステップと、前記第３行列により、当該回の特徴抽出プロセス中の修正された各々の前記第１特徴ベクトルを決定するステップと、を含む。
【００１０】
本出願の１つ又は複数の実施例により、前記処理すべき画像の画素特徴認識結果により、前記処理すべき画像を処理するステップは、前記処理すべき画像の画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行って前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果を取得するステップと、前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果により前記処理すべき画像を処理するステップと、を含む。
【００１１】
本出願の１つ又は複数の実施例により、前記少なくとも１つのスケールの特徴抽出のそれぞれについて、当該スケールと関連付けられた複数の候補特徴抽出方法の重み値を用いて第２接続ベクトルを構成するステップであって、前記候補特徴抽出方法のそれぞれの重み値が任意の値であるステップと、前記第２接続ベクトルに対して正規化処理を行って第２特徴ベクトルを取得するステップであって、前記第２特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であるステップと、値が１の要素に対応する候補特徴抽出方法を、当該スケールと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により、前記処理すべき画像の画素特徴認識結果に対して当該スケールの特徴抽出を行うステップと、によって当該スケールの特徴抽出方法を決定する。
【００１２】
本出願の１つ又は複数の実施例により、前記ｎ回の特徴抽出のうちのｉ番目の特徴抽出について、ｉが１以上ｋ以下の場合、前記処理すべき画像を前記ｉ番目の特徴抽出の入力データとして決定するステップと、ｉがｋより大きいがｎ以下の場合、前記ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの出力データに基づいて、前記ｉ番目の特徴抽出の入力データを決定するステップであって、前記ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの出力データには、ｉ−ｋ番目の特徴抽出の入力データに対して予め設定された特徴抽出処理を行って得られたｉ−ｋ番目の処理結果、．．．ｉ−１番目の特徴抽出の入力データに対して予め設定された特徴抽出処理を行って得られたｉ−１番目の処理結果が含まれるステップと、によって前記ｉ番目の特徴抽出の入力データを決定する。
【００１３】
本出願の第２態様として、画像処理装置が提案される。前記画像処理装置は、処理すべき画像を取得するための取得ユニットと、前記処理すべき画像に対してｎ回の特徴抽出を行って前記処理すべき画像の画素特徴認識結果を取得するための特徴抽出ユニットと、前記処理すべき画像の画素特徴認識結果により、前記処理すべき画像を処理するための特徴処理ユニットと、を備え、ここで、各々の特徴抽出の入力データは、前のｋ回の特徴抽出の出力データによって決定されたものであり、１番目からｋ番目の特徴抽出の入力データは、前記処理すべき画像を含み、ｋは１以上ｎ未満の整数、ｎは１より大きい整数であり、各々の特徴抽出プロセスには、ｐ個のデータノードが含まれ、ｐが１より大きい整数であり、各々の特徴抽出プロセス中の１つのデータノード上のデータは、今回の特徴抽出プロセス中の当該データノードよりも前の各データノード上のデータに対してそれぞれ予め設定された特徴抽出方法で処理して得られたデータと、今回の特徴抽出の入力データとによって決定されたものであり、各々の特徴抽出プロセスで使用される特徴抽出方法は、当該回の特徴抽出プロセス中の各データノード上のデータに使用される特徴抽出方法を含み、各々の特徴抽出プロセスの出力データは、今回の特徴抽出プロセス中の最後のデータノード上のデータである。
【００１４】
本出願の１つ又は複数の実施例により、前記特徴抽出ユニットは、第１基本処理サブユニットを含み、前記第１基本処理サブユニットは、前記ｎ回の特徴抽出のうちのそれぞれについて、当該回の特徴抽出から任意１つのデータノードと当該データノードよりも後の任意１つのデータノードとを選択して目標データノードペアを構成し、ここで、前記目標データノードペアは、複数の候補特徴抽出方法に関連付けられ、前記複数の候補特徴抽出方法のそれぞれの重み値を用いて第１接続ベクトルを構成し、ここで、前記候補特徴抽出方法のそれぞれの重み値が任意の値であり、前記第１接続ベクトルに対して正規化処理を行って第１特徴ベクトルを取得し、ここで、前記第１特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であり、値が１の要素に対応する候補特徴抽出方法を、前記目標データノードペアと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により前記目標データノードペアのうちの前のデータノード上のデータを処理し、処理して得られたデータを前記目標データノードペアのうちの後のデータノードに転送する。
【００１５】
本出願の１つ又は複数の実施例により、前記特徴抽出ユニットは、第２基本処理サブユニットをさらに含み、前記第２基本処理サブユニットは、前記ｎ回の特徴抽出のうち１番目の特徴抽出を除く各々の特徴抽出について、グラフ畳み込み方法で、当該回の特徴抽出プロセスに隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルを修正し、前記第１基本処理サブユニットは、前記修正された各々の第１特徴ベクトルに基づいて、当該回の特徴抽出プロセスで使用される特徴抽出方法を決定する。
【００１６】
本出願の１つ又は複数の実施例により、前記第２基本処理サブユニットは、前記隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により構成された行列である第１行列と、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルにより構成された行列である第２行列と、の接続行列を決定するための第１基本処理モジュールと、前記接続行列と前記第１行列との相関値を決定し、前記相関値を前記第２行列に加えて第３行列を取得するための第２基本処理モジュールと、前記第３行列により、当該回の特徴抽出プロセス中の修正された各々の第１特徴ベクトルを決定するための第３基本処理モジュールと、を含む。
【００１７】
本出願の１つ又は複数の実施例により、前記特徴処理ユニットは、前記処理すべき画像の画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行って前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果を取得するための第１特徴処理サブユニットと、前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果により前記処理すべき画像を処理するための第２特徴処理サブユニットと、を含む。
【００１８】
本出願の１つ又は複数の実施例により、前記第１特徴処理サブユニットは、前記少なくとも１つのスケールのそれぞれについて、当該スケールと関連付けられた複数の候補特徴抽出方法の重み値を用いて第２接続ベクトルを構成し、ここで、前記候補特徴抽出方法のそれぞれの重み値が任意の値であるための第１特徴処理モジュールと、前記第２接続ベクトルに対して正規化処理を行って第２特徴ベクトルを取得し、ここで、前記第２特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であるための第２特徴処理モジュールと、値が１の要素に対応する候補特徴抽出方法を、当該スケールと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により、前記処理すべき画像の画素特徴認識結果に対して当該スケールの特徴抽出を行うための第３特徴処理モジュールと、を含む。
【００１９】
本出願の１つ又は複数の実施例により、前記特徴抽出ユニットは、前記ｎ回の特徴抽出のうちのｉ番目の特徴抽出について、ｉが１以上ｋ以下の場合、処理すべき画像を当該ｉ番目の特徴抽出の入力データとして決定し、ｉがｋより大きいがｎ以下の場合、当該ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの出力データに基づいて、当該ｉ番目の特徴抽出の入力データを決定するための第３基本処理サブユニットと、前記第１基本処理サブユニットによって決定された特徴抽出方法によって、前記第３基本処理サブユニットによって決定された入力データを処理して前記ｉ番目の特徴抽出の出力データを取得するための第４基本処理サブユニットと、をさらに含む。
【００２０】
本出願の第３態様として、プロセッサと、メモリと、コンピュータプログラムと、を備え、前記コンピュータプログラムは前記メモリに格納され、前記プロセッサによって実行されることで、以上のいずれか一項に記載の画像処理方法を実現するように構成される、画像処理デバイスが提案される。
【００２１】
本出願の第４態様として、コンピュータ可読記憶媒体であって、コンピュータプログラムが格納されており、プロセッサでコンピュータプログラムが実行されることで、以上のいずれか一項に記載の画像処理方法を実現する、コンピュータ可読記憶媒体が提案される。
【発明の効果】
【００２２】
本出願は、処理すべき画像への複数回の特徴抽出プロセスで使用される特徴抽出方法が完全に同じではなく、より正確かつより細粒度な画素特徴認識結果が効果的に実現でき、画像認識プロセスの認識精度の向上には有利となる画像処理方法、装置、デバイス、および記憶媒体を提案している。
【図面の簡単な説明】
【００２３】
ここでの図面は、明細書に組み入れて本明細書の一部を構成し、本発明に該当する実施例を図示し、明細書とともに本発明の原理を解釈するためのものである。
【００２４】
【図１】本出願の実施例で提案される画像処理方法の流れの概略図である。
【００２５】
【図２】本出願の実施例で提案される別の画像処理方法の流れの概略図である。
【００２６】
【図３】本出願の実施例で提案される基本セル（ｃｅｌｌ）の構造の概略図である。
【００２７】
【図４】本出願の実施例で提案されるデータノード間の処理層が決定された基本セルの構造の概略図である。
【００２８】
【図５】本実施例で提案される特徴セルと最後の基本セルとの接続を示す概略図である。
【００２９】
【図６】本出願の実施例で提案される処理層が決定された特徴セルと最後の基本セルとの接続構造の概略図である。
【００３０】
【図７】本出願の実施例で提案される画像処理装置の構造の概略図である。
【００３１】
【図８】本出願の実施例で提案される別の画像処理装置の構造の概略図である。
【００３２】
【図９】本出願の実施例で提案される画像処理デバイスの構造の概略図である。
【００３３】
以上の図面により本発明の明確な実施例が例示されているが、その一層詳細な説明は後述する。これらの図面及び文字記載は、本発明の趣旨の範囲を限定するためのものではなく、特定の実施例を参照として、当業者に本発明のコンセプトを理解させるためのものである。
【発明を実施するための形態】
【００３４】
ここでは、例示的な実施例について詳しく説明し、その例示は図面に示されている。以下の説明は図面に係るときに、特に説明がない限り、異なる図面中の同じ数字は同じ又は類似の要素を示す。以下の例示的な実施例に説明される実施形態は、本発明と一致する全ての実施形態を代表するものではない。逆に、それらは添付される特許請求の範囲に詳しく説明された本発明の幾つかの態様と一致する装置及び方法の例に過ぎない。
【００３５】
以下、本願に係る用語について簡単に解釈する。
【００３６】
トポロジー構造：ネットワークの様々のノード間の相互接続パターン。
【００３７】
Ｓｏｆｔｍａｘ関数：正規化指数関数とも呼ばれ、有限個の離散確率分布の勾配対数を正規化できるもの。
【００３８】
セマンティック・セグメンテーション（画像セグメンテーションとも呼ばれる）：画像を、ユニークな特性を持つ若干の特定の領域に分割するとともに、関心目標を提出する技術であって、本質的には画像の画素毎にラベルを割り当てるプロセスであるもの。
【００３９】
画像認識：様々なモードでの目標とオブジェクトを識別するために、コンピュータにより画像の処理、分析、及び理解を行う技術。
【００４０】
特徴抽出：コンピュータにより画像情報を抽出するとともに、画像を構成する点が同一の画像特徴に属するか否かを決定するもの。特徴抽出の結果として、画像上の点が異なるサブセットに分割され、これらのサブセットは、孤立した点、連続した曲線、または連続した領域であってもよい。
【００４１】
グラフ畳み込みニューラルネットワーク（ＧＣＮ、Ｇｒａｐｈ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）：グラフデータを深く学習するためのアルゴリズム。
【００４２】
画像特徴：画像の色の特徴、テクスチャの特徴、形状の特徴、空間的関係の特徴などを含むもの。
【００４３】
本出願で提案される画像処理方法、装置、デバイス、および記憶媒体によれば、処理すべき画像への複数回の特徴抽出プロセスで使用される特徴抽出方法が完全に同じではないため、より正確かつより細粒度な画素特徴認識結果を実現して、画像認識プロセスの認識精度を向上させることができる。
【００４４】
図１は、本出願の実施例で提案される画像処理方法の流れの概略図であり、図１に示すように、以下のステップを含む。
【００４５】
ステップ１０１：処理すべき画像を取得する。
【００４６】
本実施例の実行主体は、端末、コントローラ、または本実施例を実行できるその他の装置やデバイスであり得る。例えば、端末にアプリケーションソフトウェアを設定し、その後に、端末がアプリケーションソフトウェアを制御して本実施例で提案される方法を実行させてもよい。
【００４７】
処理すべき画像には異なる対象領域が含まれる可能性はある。例示的には、処理すべき画像には人とオートバイの２つの対象領域が含まれている。この場合、画像認識技術により処理すべき画像から異なる対象領域を分割し、対象領域の境界をマークし、対象領域のコンテンツを認識する必要がある。処理すべき画像のソースとして、撮影デバイスで撮影した画像であってもよいし、ネットワーク画像、スクリーンショット画像、または電子スキャン画像などであってもよい。
【００４８】
ステップ１０２：処理すべき画像に対してｎ回の特徴抽出を行って処理すべき画像の画素特徴認識結果を取得する。ここでは、前記ｎ回の特徴抽出のそれぞれの入力データは、前のｋ回の特徴抽出の出力データによって決定されたものであり、前記ｎ回の特徴抽出のうち、前のｋ回の特徴抽出のそれぞれの入力データは、処理すべき画像を含み、ｋが１以上ｎ未満の整数、ｎが１より大きい整数である。
【００４９】
各々の特徴抽出プロセスにはｐ個のデータノードが含まれ、ｐが１より大きい整数である。各々の特徴抽出プロセス中の各データノード上のデータは、今回の特徴抽出プロセス中の当該データノードよりも前の各データノードから当該データノードに転送されたデータと、今回の特徴抽出の入力データとによって決定されたものであるあるデータノードから後ろに転送されるデータは、予め設定された特徴抽出方法によって当該データノード上のデータを処理して得られるものである。各々の特徴抽出プロセスに使用される特徴抽出方法は、当該回の特徴抽出プロセス中の各データノード上のデータに使用される特徴抽出方法を含み、しかも、各々の特徴抽出プロセスで使用される特徴抽出方法が完全に同じでなくてもよい。各々の特徴抽出プロセスの出力データは、今回の特徴抽出プロセス中の最後のデータノード上のデータである。
【００５０】
本実施例において、ｋ＝１の場合、各々の特徴抽出の入力データは、１回前の特徴抽出の出力データによって決定されたものであり、且つ１番目の特徴抽出の入力データは、処理すべき画像である。ｋ＞１の場合、各々の特徴抽出の入力データは、前の複数回、具体的にはｋ回の特徴抽出の出力データによって決定されたものであり、且つ一回以上の特徴抽出の入力データには、処理すべき画像が含まれる。例示的には、ｋ＝３の場合、１、２、３番目の特徴抽出の入力データは何れも処理すべき画像によって決定されたものであり、４番目の特徴抽出の入力データは、前の３回の特徴抽出、即ち１、２、３番目の特徴抽出の出力データによって決定されたものである。
【００５１】
各々の特徴抽出プロセスにおいて、１番目のデータノードについて、１番目のデータノード上のデータは、今回の特徴抽出の入力データであり、１番目のデータノード上のデータは、それぞれ予め設定された特徴抽出方法によって処理された後、１番目のデータノードよりも後の各データノードに転送される。中間のあるデータノードについて、当該データノード上のデータは、当該データノードより前の各データノードから当該データノードに転送されたデータと、今回の特徴抽出の入力データとによって決定されたものであり、当該データノード上のデータは、それぞれ予め設定された特徴抽出方法によって処理された後、当該データノードよりも後の各データノードに転送される。最後のデータノードについて、当該データノード上のデータは、当該データノードより前の各データノードから当該データノードに転送されたデータと、今回の特徴抽出の入力データとによって決定されたものであり、最後のデータノード上のデータは、今回の特徴抽出の出力データとして、今回の特徴抽出後の１番目からｋ番目の特徴抽出の１番目のデータノードに転送される。各々の特徴抽出プロセスにおいて、最後のデータノードを除く他のデータノード上のデータに対して使用される特徴抽出方法は、互いに独立してもよい。最後のデータノードを除くあるデータノード上のデータに対して予め設定された特徴抽出方法で特徴抽出処理を行う回数は、当該データノードよりも後のデータノードの数によって決定されたものである。
【００５２】
ｐ＝４を例として説明すると、１番目のデータノードについて、１番目のデータノード上のデータは、今回の特徴抽出の入力データであり、１番目のデータノード上のデータは、それぞれ予め設定された特徴抽出方法による３回の特徴抽出処理を受け、当該３回の特徴抽出処理によるデータはそれぞれ２、３、４番目のデータノードに転送され、当該３回の特徴抽出処理に用いられる特徴抽出方法は、互いに独立してもよい。２番目のデータノードについて、２番目のデータノード上のデータは、予め設定された特徴抽出方法によって１番目のデータノード上のデータを処理したデータと、今回の特徴抽出の入力データとによって決定されたものであり、２番目のデータノード上のデータは、それぞれ予め設定された特徴抽出方法による２回の特徴抽出処理を受け、当該２回の特徴抽出処理によるデータはそれぞれ３、４番目のデータノードに転送される。３番目のデータノードについて、３番目のデータノード上のデータは、予め設定された特徴抽出方法によって１、２番目のデータノード上のデータをそれぞれ処理したデータと、今回の特徴抽出の入力データとによって決定されたものであり、３番目のデータノード上のデータは予め設定された特徴抽出方法による１回の特徴抽出処理を受け、当該１回の特徴抽出処理によるデータは４番目のデータノードに転送される。４番目のデータノードについて、４番目のデータノード上のデータは、予め設定された特徴抽出方法によって１、２、３番目のデータノード上のデータをそれぞれ処理したデータと、今回の特徴抽出の入力データとによって決定されたものであり、４番目のデータノード上のデータは今回の特徴抽出プロセスの出力データである。
【００５３】
ステップ１０３：処理すべき画像の画素特徴認識結果により処理すべき画像を処理する。
【００５４】
本実施例では、得られた画素特徴認識結果による処理すべき画像への処理は、処理すべき画像へのコンテンツ認識処理であってもよく、具体的には、画素特徴認識結果により処理すべき画像における画素毎の対象カテゴリを決定し、同一の対象カテゴリに属する画素点を同一の対象領域に分割し、同一の対象領域の画素点に同一の番号を付与することを含むようにしてもよい。このようにすれば、処理すべき画像を互いに交差しない若干の対象領域に分割し、異なる対象領域をマークすることにより、処理すべき画像のコンテンツ認識プロセスが効果的に実現されることとなる。
【００５５】
本実施例では、複数回の特徴抽出プロセスで使用される特徴抽出方法が完全に同じでないため、構造が完全に同じでない複数のニューラルネットワークセルを使用して処理すべき画像の特徴抽出を行うことに相当し、画像に対して画素特徴認識を行う際の多様性が効果的に確保される。また、複数回の特徴抽出プロセスにおける特徴抽出方法が互いに独立するため、様々な特徴抽出方法の独立性が効果的に確保され、より正確かつより細粒度な画素特徴認識結果の実現には有利となる。
【００５６】
図２は、本出願の実施例で提案される別の画像処理方法の流れの概略図であり、当該方法は、図２に示すように、以下のステップを含む。
【００５７】
ステップ２０１：処理すべき画像を取得する。
【００５８】
本ステップについては、図１中のステップ１０１を参照でき、これ以上説明しないこととする。
【００５９】
ステップ２０２：処理すべき画像に対してｎ回の特徴抽出を行って処理すべき画像の画素特徴認識結果を取得する。
【００６０】
当該画像処理方法は、ニューラルネットワークによって実行されてもよく、しかも、各々の特徴抽出プロセスは、ニューラルネットワーク中の１つの基本セルによって実行されてもよい。例えば、ニューラルネットワークは、少なくともｎ個の基本セルから構成され、基本セルのそれぞれがｐ個のデータノードを含み、ここでは、ｎが１より大きい整数で、ｐは１より大きい整数であるようにしてもよい。
【００６１】
ニューラルネットワークにより処理すべき画像に対してｎ回の特徴抽出を行うことは、処理すべき画像をニューラルネットワーク中の１番目の基本セルに入力することと、前記ニューラルネットワーク中のｎ個の基本セルを順次使用して、前記処理すべき画像に基づいて特徴抽出処理を行うことで、前記処理すべき画像の画素特徴認識結果を取得することと、を含む。具体的には、ニューラルネットワーク中のｉ番目の基本セルについて、ｉが１以上ｋ以下の場合、ｉ番目の基本セルを使用して処理すべき画像に対して特徴抽出処理を行い、得られた処理結果をｉ番目の処理結果とする。ｉがｋより大きいがｎ未満の場合、ｉ−ｋ番目の基本セルから出力されるｉ−ｋ番目の処理結果、．．．ｉ−１番目の基本セルから出力されるｉ−１番目の処理結果を含む、ｉ番目の基本セルよりも前のｋ個の基本セルのそれぞれによる処理結果を、ｉ番目の基本セルに入力することで、ｉ番目の基本セルを使用して、前のｋ個の基本セルによる処理結果に対して特徴抽出処理を行ってｉ番目の処理結果を取得する。ｉがｎと等しい場合、ｎ−ｋ番目の基本セルから出力されるｎ−ｋ番目の処理結果、．．．ｎ−１番目の基本セルから出力されるｎ−１番目の処理結果を含む、ｎ番目の基本セルよりも前のｋ個の基本セルのそれぞれによる処理結果を、ｎ番目の基本セルに入力することで、ｎ番目の基本セルを使用して、前のｋ個の基本セルによる処理結果に対して特徴抽出処理を行ってｎ番目の処理結果を処理すべき画像の画素特徴認識結果として取得する。ここでは、１番目乃至ｋ番目の基本セルの入力データは何れも処理すべき画像を含み、ｋが１以上ｎ未満の整数である。
【００６２】
以上より分かるように、ニューラルネットワークの基本セルのそれぞれによる特徴抽出処理を行って処理すべき画像の画素特徴認識結果を取得することが完成するまで、処理すべき画像を、ニューラルネットワーク中の１〜ｋ番目の基本セルのそれぞれに入力して特徴抽出処理を行った後に、ｉ番目の基本セルよりも前のｋ個の基本セルによる処理結果をｉ番目の基本セルに順次入力する（ｉはｋより大きいが、ｎ以下の整数である）。このように、基本セルのそれぞれによる特徴抽出処理操作は、処理すべき画像に対してニューラルネットワーク全体が行う特徴抽出処理操作を構成する。ここでは、基本セルのそれぞれに使用される特徴抽出処理方式は、当該基本セル内の全てのデータノード上のデータに使用される特徴抽出方法を含み、しかも、基本セルのそれぞれに使用される特徴抽出処理方式は互いに独立してもよい。このようにすれば、処理すべき画像への特徴抽出処理方法の多様性が効果的に確保され、画像認識の精度向上には有利となる。
【００６３】
各々の特徴抽出プロセスにおいて、今回の特徴抽出における各データノードから後の任意１つのデータノードへのデータ転送に用いられる特徴抽出方法を決定することは必要となり、具体的には、当該回の特徴抽出から任意１つのデータノードと当該データノードよりも後の任意１つのデータノードとを選択して目標データノードペアを構成し、ここでは、当該目標データノードペアは、複数の候補特徴抽出方法に関連付けられ、即ち、前記複数の候補特徴抽出方法の任意１種の候補特徴抽出方法により当該目標データノードペアのうちの前のデータノード上のデータを処理し、処理して得られたデータを当該目標データノードペアのうちの後のデータノードに転送することと、前記複数の候補特徴抽出方法のそれぞれの重み値を用いて第１接続ベクトルを構成し、ここでは、候補特徴抽出方法のそれぞれの重み値が任意の値であってもよいことと、第１接続ベクトルに対して正規化処理を行って第１特徴ベクトルを取得し、第１特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であることと、第１特徴ベクトルのうち値が１の要素に対応する候補特徴抽出方法を、当該目標データノードペアと関連付けられた目標特徴抽出方法として決定することで、当該候補特徴抽出方法により当該目標データノードペアのうちの前のデータノード上のデータを処理し、処理して得られたデータを当該目標データノードペアのうちの後のデータノードに転送すること、を含むようにしてもよい。
【００６４】
ニューラルネットワークのある基本セルにより特徴抽出処理を行う際に、当該基本セル中の最後のデータノードに達して当該基本セルの画素特徴認識結果が取得されるまで、予め設定された特徴抽出方法によって当該基本セル中の最後のデータノードを除く各データノード上のデータを順次処理し、処理して得られたデータを当該データノードよりも後の各データノードに転送する。最後のデータノードを除く各データノード上のデータに用いられる特徴抽出処理方法は、当該基本セルの特徴抽出方法を構成する。しかも、最後のデータノードを除く各データノード上のデータへの特徴抽出処理操作は、当該基本セルの特徴抽出処理操作を構成する。
【００６５】
異なるデータノードに対して予め設定されたノードシリアル番号で順番付けを行い、ノードシリアル番号の小さい順序（ノードシリアル番号が数字の場合）または前から後ろへの（ノードシリアル番号が数字でないその他のシリアル番号、例えば英語のアルファベットなどの場合）順序でデータノードのソートを行うことができる。図３は、本出願の実施例で提案される基本セルの構造の概略図である。図３に示すように、基本セルは４つのデータノードを含み、４つのデータノードのノードシリアル番号がそれぞれ０、１、２、３である。それに応じて、ノードシリアル番号の小さい順序にデータノードの前から後ろへのソートを行う場合、ノードシリアル番号が０のデータノードは１番目のデータノード、ノードシリアル番号が３のデータノードは最後のデータノードである。ノードシリアル番号リストでは、あるデータノードのノードシリアル番号は、当該データノードよりも後の各データノードのノードシリアル番号よりも前にある。例を挙げて説明すると、ノードシリアル番号リストでは、ノードシリアル番号がｉのデータノード（ｄａｔａ  ｎｏｄｅ  ｏｆ  ｓｅｒｉａｌ  ｎｕｍｂｅｒ  「ｉ」）は、ノードシリアル番号がｉ＋１のデータノードよりも前にあり、以下、ｉ番目のデータノード（ｄａｔａ  ｎｏｄｅ  「ｉ」）はｉ＋１番目のデータノードよりも前にあると記載してもよい。図３に示すように、０番目のデータノードについて、当該データノードよりも後のデータノードは１、２、３番目のデータノードを含み、１番目のデータノードについて、当該データノードよりも後の各データノードは２、３番目のデータノードを含み、２番目のデータノードについて、当該データノードよりも後のデータノードは３番目のデータノードしか含まない。
【００６６】
ニューラルネットワーク中の任意１つの基本セルにより特徴抽出処理を行う際に、当該回の特徴抽出から任意１つのデータノードと当該データノードよりも後の任意１つのデータノードとを選択して目標データノードペアを構成する。当該目標データノードペアと関連付けられた目標特徴抽出方法によって、当該目標データノードペアのうちの前のデータノード上のデータを処理し、処理して得られたデータを当該目標データノードペアのうちの後のデータノードに転送する。目標データノードペアは、例えば畳み込み処理、プーリング（Ｐｏｏｌｉｎｇ）処理、直接置換処理など、少なくとも１種の候補特徴抽出方法と関連付けられることができる。特徴抽出操作は処理層によって実現されることができる。それに応じて、処理層は、畳み込み層、プーリング層、直接置換層などを含むことができ、目標データノードペアのうちの前のデータノード上のデータを処理し、処理結果を目標データノードペアのうちの後のデータノードに転送するために用いられる。例示的には、１、２番目のデータノードから構成される目標データノードペアは、畳み込み処理と、プーリング処理と、直接置換処理と、の３種の候補特徴抽出方法と関連付けられ、ここでは、畳み込み処理は、１番目のデータノード上のデータに対して畳み込み処理を行って、処理結果を２番目のデータノードに転送するものであり、直接置換処理は、１番目のデータノード上のデータに対して何の処理もせずに、そのままで２番目のデータノードに転送するものである。
【００６７】
目標データノードペアと関連付けられた候補特徴抽出方法のそれぞれは、対応する重み値を有し、ここで、重み値は任意の値であってもよい。全ての候補特徴抽出方法の重み値は、第１接続ベクトルを構成する。第１接続ベクトルに対して正規化処理を行うことにより、ｏｎｅ−ｈｏｔ（ワン・ホット）ベクトルが得られ、換言すると、ただ１つの要素の値は１、その他の要素の値は何れも０である第１特徴ベクトルが得られる。第１接続ベクトルに対して正規化処理を行うための方法として、Ｓｏｆｔｍａｘ関数によって実現されることができる。得られた第１特徴ベクトルのうち、値が１の要素に対応する特徴抽出方法は、前のデータノード上のデータに使用しようとする特徴抽出方法である。このように、前のデータノード上のデータは、値が１の要素に対応する特徴抽出方法によって処理され、処理によるデータは、後のデータノードに転送される。
【００６８】
例示的には、図３に示すように、仮に、１、２番目のデータノードから構成される目標データノードペアには、畳み込み処理と、プーリング処理と、直接置換処理と、の３種の候補特徴抽出方法が関連付けられ、換言すると、１番目のデータノードと２番目のデータノードとの間には、畳み込み層と、プーリング層と、直接置換層と、の３種の候補処理層があるとする。３種の候補特徴抽出方法の重み値はそれぞれａ、ｂ、ｃであり、重み値ａ、ｂ、ｃにより第１接続ベクトルＬ＝（ａ，ｂ，ｃ）が構成され、第１接続ベクトルＬ＝（ａ，ｂ，ｃ）に対してＳｏｆｔｍａｘ関数による正規化処理を行うことで、第１特徴ベクトルＺ＝（０，１，０）が得られ、ここで、値が１の要素に対応する特徴抽出方法は１番目のデータノード上のデータに使用しようとする特徴抽出方法であるため、１番目のデータノードと２番目のデータノードとの間の処理層は、プーリング層であり、換言すると、１番目のデータノード上のデータはプーリング処理された後に２番目のデータノードに転送される。任意２つのデータノード間の、前から後ろへのデータ転送用の特徴抽出方法が決定された後に、換言すると、０、１番目のデータノード間、０、２番目のデータノード間、０、３番目のデータノード間、１、２番目のデータノード間、１、３番目のデータノード間、２、３番目のデータノード間に使用される特徴抽出方法が決定された後に、当該基本セルの特徴抽出方法が得られる。１つの基本セルの特徴抽出方法が決定されれば、１つの基本セルの内部構造が決定されるとは思われる。
【００６９】
図４は、本出願の実施例で提案されるデータノード間の処理層が決定された基本セルの構造の概略図であり、図４に示すように、任意２つのデータノード間に使用される、前から後ろへのデータ転送用の特徴抽出方法が決定された後に、データノード間の処理層が全ての処理層種別中の１種である。
【００７０】
前記ｎ回の特徴抽出のうちの、１回目の特徴抽出を除く各々の特徴抽出プロセスに使用される特徴抽出方法を決定する際に、本方法は、グラフ畳み込みの方法により、当該回の特徴抽出プロセスに隣接する１回前（ａｄｊａｃｅｎｔ  ｐｒｅｖｉｏｕｓ）の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルを修正することと、修正された各々の第１特徴ベクトルに基づいて、当該回の特徴抽出プロセスで使用される特徴抽出方法を決定することと、をさらに含むようにしてもよい。具体的には、隣接する１回前の特徴抽出プロセスに使用された特徴抽出方法により構成された行列である第１行列と、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルにより構成された行列である第２行列と、の接続行列を決定し、接続行列と第１行列との相関値を決定し、相関値を第２行列に加えて第３行列を取得し、第３行列に基づいて、修正された各々の第１特徴ベクトルを決定する。
【００７１】
基本セルに対して予め設定されたセルシリアル番号で順番付けを行い、全ての基本セルのセルシリアル番号によりセルシリアル番号リストが構成される。セルシリアル番号リストにおいて、順番が前になればなるほど、それに対応する基本セルのレベルが高くなる。例を挙げて説明すると、セルシリアル番号リスト（０、１、２、…、１０）において、セルシリアル番号が０の基本セルはニューラルネットワークの最初の基本セル、セルシリアル番号が１０の基本セルはニューラルネットワークの最後の基本セルである。
【００７２】
本方法は、基本セル間の通信メカニズムとしてグラフ畳み込みネットワークを使用し、隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法に基づいて、今回の特徴抽出プロセスで使用される特徴抽出方法を決定することにより、画像認識の認識精度及び認識効率を効果的に改善することができる。具体的には、隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法に基づいて、今回の特徴抽出プロセスで使用される特徴抽出方法を決定することは、隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により構成された第１行列と、今回の特徴抽出プロセス中の各々の第１特徴ベクトルにより構成された第２行列との相関値を決定することと、算出した相関値を第２行列に加えて第３行列を取得することと、第３行列に基づいて今回の特徴抽出プロセス中の各々の第１特徴ベクトルを修正し、得られた各々の修正後の第１特徴ベクトルにより今回の特徴抽出プロセスの修正後の特徴抽出方法が構成されることと、を含むようにしてもよい。最初の基本セルを除く全ての基本セルについて修正後の特徴抽出方法が決定されるまでに、上記のステップを繰り返す。それは、最初の基本セルの前に他の基本セルが存在しなく、他の基本セルの特徴抽出方法に基づいてその特徴抽出プロセスを決定できないからである。換言すると、最初の基本セルの特徴抽出方法は、当該基本セルの各データノードの第１特徴ベクトルによって決定されるものである。ニューラルネットワーク中の任意２つの隣接する基本セルのうち、セルシリアル番号が前にある基本セルは上層の基本セル、セルシリアル番号が後ろにある基本セルは下層の基本セルである。
【００７３】
ｎ回の特徴抽出のうち１回目の特徴抽出を除く各々の特徴抽出について、隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により構成された第１行列と、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルにより構成された第２行列との相関値を決定することは、具体的には、行列α（ｎ−１）で第１行列を示し、行列αｎで第２行列を示し、行列Ａｄｊでα（ｎ−１）とαｎの接続行列を示し、中でも、
2022501707.tif 000003
、
2022501707.tif 000004
は第１行列α（ｎ−１）の転置行列（ｔｒａｎｓｐｏｓｅ  ｍａｔｒｉｘ）を示し、接続行列Ａｄｊは２つの行列α（ｎ−１）とαｎとの間の接続関係の記述に用いられ得ること、グラフ畳み込みニューラルネットワークＧＣＮにより相関値Δα＝ＧＣＮ（Ａｄｊ，α（ｎ−１），Ｗ）を算出し、式中、Ｗは予め設定されたパラメータであること、を含むようにしてもよい。
【００７４】
別の一例では、第１行列α（ｎ−１）は全結合層に入力されて線形特徴処理を受け、処理による行列がグラフ畳み込みニューラルネットワークＧＣＮに入力されると、相関値Δαが得られることとなる。
【００７５】
相関値Δαを算出後、相関値Δαを第２行列αｎに加えて第３行列を取得する。第３行列に基づいて、当該回の特徴抽出プロセス中の各データノードの修正された第１特徴ベクトルを決定する。最初の基本セルを除く全ての基本セルの各データノードの修正された第１特徴ベクトルが算出されるまでに、上記のステップを繰り返すことにより、１回目の特徴抽出処理を除く他の全ての特徴抽出プロセスの修正後の特徴抽出処理方法を決定する。
【００７６】
最初の基本セルの各データノードの第１特徴ベクトルに基づいて、最初の基本セルの各データノード間の処理層を決定し、即ち、最初の基本セルのトポロジー構造を決定し、さらに、決定されたトポロジー構造により最初の基本セルを検索することができる。最初の基本セルを除く他の基本セルの各データノードの修正された第１特徴ベクトルに基づいて、他の基本セルの各データノード間の処理層を決定すれば、他の基本セルのトポロジー構造を決定できると思われ、さらに、決定されたトポロジー構造により他の基本セルを検索することができる。このようにすれば、検索方法によりニューラルネットワーク全体を効果的に検索することができる。
【００７７】
各々の特徴抽出プロセスにおいて、任意２つの目標データノードペアのそれぞれと関連付けられた特徴抽出処理方法が互いに独立してもよいため、各々の特徴抽出プロセスで使用される特徴抽出方法が独立性及び多様性を有し、さらにニューラルネットワークによる処理すべき画像への複数回の特徴抽出プロセスが多様性及び広範性を有することとなる。上記の検索方法で得られた基本セル（即ちニューラルネットワークセル）により、画像認識処理を行うためのニューラルネットワークを構成する場合、特徴抽出方法の指数関数的減衰（ｅｘｐｏｎｅｎｔｉａｌ  ｄｅｃａｙ）を効果的に回避することができる。同時に、通信メカニズムとしてグラフ畳み込みネットワークを使用し、隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法に基づいて、今回の特徴抽出プロセスのためのより最適な特徴抽出方法を決定することにより、画像認識の認識精度及び認識効率を効果的に向上させることができる。
【００７８】
ステップ２０３：処理すべき画像の画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行って、処理すべき画像の少なくとも１つのスケールの特徴抽出結果を取得する。
【００７９】
本実施例において、ニューラルネットワークの特徴セルを使用して、処理すべき画像の画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行って、処理すべき画像の異なるスケールの特徴抽出結果を取得するようにしてもよい。
【００８０】
上記の通り、ニューラルネットワークの基本セルは、処理すべき画像に対して単一画素点に基づく特徴抽出処理を行う。ニューラルネットワークの基本セルのそれぞれを使用して処理すべき画像に対して特徴抽出処理を行った後、処理すべき画像の画素特徴認識結果を取得する。ニューラルネットワークの特徴セルは、処理すべき画像の画素特徴認識結果に対してマルチ画素点に基づく特徴抽出を行い、即ち、画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行って、処理すべき画像の少なくとも１つのスケールの特徴抽出結果を取得する。特徴セルには少なくとも１つの特徴データノードが含まれ、特徴データノードのそれぞれは画素特徴認識結果に対して１つのスケールの特徴抽出処理を行い、かつ前記少なくとも１つの特徴データノードに使用される特徴抽出方法は互いに独立してもよく、換言すると、異なる特徴データノードによれば、画素特徴認識結果に対して異なるスケールの特徴抽出処理を行うことができる。その中で、異なるスケールの特徴抽出とは、グローバル特徴抽出または様々な局所的特徴抽出を指す。
【００８１】
本実施例において、特徴セルは少なくとも１つの特徴データノードから構成され、特徴データノードのそれぞれは、例えば畳み込み処理、プーリング処理、直接置換処理など、少なくとも１種の候補特徴抽出方法と関連付けられることができる。具体的には、特徴セル中の各特徴データノードと一番下層の基本セルとの間には、畳み込み層、プーリング層、直接置換層などを含む複数の処理層が存在してもよい。例示的には、図５は、本実施例で提案される特徴セル５０２と一番下層の基本セル５０１との接続の概略図である。図５に示すように、特徴セル５０２は５つの特徴データノードから構成され、各特徴データノードと一番下層の基本セル５０１との間には、幅がそれぞれ６、１０、１２、１８である深度分離可能な畳み込み層、サイズがそれぞれ２、３、５、６、１０であるグローバル平均プーリング層、１ｘ１の畳み込み層、および直接置換層を含む、１２種の候補処理層が存在する。
【００８２】
目標特徴データノードとして任意１つの特徴データノードを選択し、目標特徴データノードと関連付けられた全ての候補特徴抽出方法の重み値を用いて第２接続ベクトルを構成し、ここでは、候補特徴抽出方法のそれぞれの重み値が任意の値である。第２接続ベクトルに対して正規化処理を行うことにより、ｏｎｅ−ｈｏｔベクトルが得られ、換言すると、ただ一つの要素の値は１であり、残りの要素の値は何れも０である第２特徴ベクトルが得られる。第２接続ベクトルに対して正規化処理を行うための方法として、Ｓｏｆｔｍａｘ関数によって実現されることができる。得られた第２特徴ベクトルのうち、値が１の要素に対応する候補特徴抽出方法は、目標特徴データノードによる処理すべき画像の画素特徴認識結果への処理に使用しようとする特徴抽出方法であり、以下、目標特徴データノードと関連付けられた目標特徴抽出方法と呼ばれてもよい。全ての特徴データノードと関連付けられた目標特徴抽出方法が決定後、即ち、全ての特徴データノードと最後の基本セルとの間の処理層の種別が決定されれば、特徴セルのトポロジー構造が決定されると思われる。さらに、決定された特徴セルのトポロジー構造によれば、対応する特徴セルを検索することができる。
【００８３】
図６は、本出願の実施例で提案される処理層が決定された特徴セル６０２と最後の基本セル６０１との接続構造の概略図である。図６に示すように、特徴セル６０２を構成する特徴データノードのそれぞれと最後の基本セル６０１との間の処理層の種別は、決定されたものであり、換言すると、特徴セル６０２を構成する特徴データノードのそれぞれによる、最後の基本セル６０１から出力された画素特徴認識結果への処理に使用される特徴抽出方法は、決定されたものである。
【００８４】
ステップ２０４：処理すべき画像の少なくとも１つのスケールの特徴抽出結果により、処理すべき画像を処理する。
【００８５】
例示的には、処理すべき画像の少なくとも１つのスケールの特徴抽出結果により、処理すべき画像の画素特徴分類を行うようにしてもよい。例えば、処理すべき画像のコンテンツ認識を実現するために、同一の対象カテゴリに属する画素点を同一の画素特徴分類に属するものと決定し、その後に同一の画素特徴分類に属する画素点を同一の対象領域に分割し、同一の対象領域の画素点に同一の番号を付与するようにしてもよい。
【００８６】
本実施例において、各々の特徴抽出プロセス中の任意２つのデータノードペアのそれぞれと関連付けられた目標特徴抽出処理方法が独立性を有するため、基本セルにより処理すべき画像の特徴抽出を行う際の独立性及び多様性が確保され、得られた画素特徴認識結果は、精度が高く、参考価値が大きい。基本セルによるｎ回の特徴抽出のうち１番目の特徴抽出を除く各々の特徴抽出について、通信メカニズムとしてグラフ畳み込みネットワークを使用し、隣接する１回前の特徴抽出で使用された特徴抽出方法に基づいて、当該回の特徴抽出で使用される特徴抽出方法を決定することにより、画素特徴認識結果の認識精度を効果的に確保することが可能となる。ニューラルネットワークを構成する特徴セルの少なくとも１つの特徴データノードのそれぞれと関連付けられた目標特徴抽出方法が独立性を有するため、特徴セルにより処理すべき画像の画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行う際の多様性が確保され、画像認識結果の精度の向上には有利となる。各々の特徴抽出プロセスで使用される特徴抽出方法が完全に同じでなくてもよいため、ニューラルネットワークの処理方法の多様性及び普遍性が効果的に確保され、ニューラルネットワークの画像認識性能が効果的に確保されることができる。
【００８７】
図７は、本出願の実施例で提案される画像認識処理装置の構造の概略図である。図７に示すように、当該装置は、処理すべき画像を取得するための取得ユニット７１０と、処理すべき画像に対してｎ回の特徴抽出を行って処理すべき画像の画素特徴認識結果を取得するための特徴抽出ユニット７２０と、処理すべき画像の画素特徴認識結果により処理すべき画像を処理するための特徴処理ユニット７３０と、を備える。ここでは、ｎ回の特徴抽出中の各々の特徴抽出の入力データは、前のｋ回の特徴抽出の出力データによって決定されたものであり、１番目からｋ番目の特徴抽出の入力データは、処理すべき画像を含み、ｋは１以上ｎ未満の整数、ｎは１より大きい整数であり、各々の特徴抽出プロセスには、ｐ個のデータノードが含まれ、ｐが１より大きい整数であり、各々の特徴抽出プロセス中の１つのデータノード上のデータは、今回の特徴抽出プロセス中の当該データノードよりも前の各データノード上のデータに対してそれぞれ予め設定された特徴抽出方法で処理して得られたデータと、今回の特徴抽出の入力データとによって決定されたものであり、各々の特徴抽出プロセスで使用される特徴抽出方法は、当該回の特徴抽出プロセス中の各データノード上のデータに使用される特徴抽出方法を含み、各々の特徴抽出プロセスの出力データは、今回の特徴抽出プロセス中の最後のデータノード上のデータである。
【００８８】
本実施例において、複数回の特徴抽出プロセスで使用される特徴抽出方法が完全に同じでないため、画像に対して画素特徴認識を行う際の多様性が確保される。また、複数回の特徴抽出プロセスにおける特徴抽出方法が互いに独立するため、様々な特徴抽出方法の独立性が確保され、より正確かつより細粒度な画素特徴認識結果の実現には有利となる。
【００８９】
図８は、本出願の実施例で提案される別の画像認識処理装置の構造の概略図である。図７に示される実施例を基にすると、特徴抽出ユニット７２０は、図８に示すように、前記ｎ回の特徴抽出のそれぞれの特徴抽出方法を決定するための第１基本処理サブユニット７２１を含む。前記第１基本処理サブユニット７２１は、各々の特徴抽出処理について、当該回の特徴抽出から任意１つのデータノードと当該データノードよりも後の任意１つのデータノードとを選択して目標データノードペアを構成し、ここで、目標データノードペアは、複数の候補特徴抽出方法に関連付けられ、複数の候補特徴抽出方法のそれぞれの重み値を用いて第１接続ベクトルを構成し、ここで、候補特徴抽出方法のそれぞれの重み値が任意の値であり、第１接続ベクトルに対して正規化処理を行って第１特徴ベクトルを取得し、ここで、第１特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であり、値が１の要素に対応する候補特徴抽出方法を、当該目標データノードペアと関連付けられた目標特徴抽出方法として決定することで、この候補特徴抽出方法により当該目標データノードペアのうちの前のデータノード上のデータを処理し、処理結果を当該目標データノードペアのうちの後のデータノードに転送する。換言すると、目標データノードペアと関連付けられた目標特徴抽出方法は、当該目標データノードペアのうちの前のデータノードから当該目標データノードペアのうちの後のデータノードへのデータ転送に使用される特徴抽出方法である。
【００９０】
特徴抽出ユニット７２０は、ｎ回の特徴抽出のうち１番目の特徴抽出を除く各々の特徴抽出について、グラフ畳み込み方法で、当該回の特徴抽出プロセスに隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルを修正するための第２基本処理サブユニット７２２をさらに含む。この場合、第１基本処理サブユニット７２１は、第２基本処理サブユニット７２２によって修正された各々の第１特徴ベクトルに基づいて、当該回の特徴抽出プロセスで使用される特徴抽出方法を決定する。
【００９１】
第２基本処理サブユニット７２２は、隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により構成された行列である第１行列と、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルにより構成された行列である第２行列と、の接続行列を決定するための第１基本処理モジュール７２２１と、接続行列と第１行列との相関値を決定し、相関値を第２行列に加えて第３行列を取得するための第２基本処理モジュール７２２２と、第３行列により、当該回の特徴抽出プロセス中の修正された各々の第１特徴ベクトルを決定するための第３基本処理モジュール７２２３と、を含むようにしてもよい。
【００９２】
特徴処理ユニット７３０は、処理すべき画像の画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行って処理すべき画像の少なくとも１つのスケールの特徴抽出結果を取得するための第１特徴処理サブユニット７３１と、処理すべき画像の少なくとも１つのスケールの特徴抽出結果により処理すべき画像を処理するための第２特徴処理サブユニット７３２と、を含むようにしてもよい。
【００９３】
第１特徴処理サブユニット７３１は、前記少なくとも１つのスケールのそれぞれについて、当該スケールと関連付けられた複数の候補特徴抽出方法の重み値を用いて第２接続ベクトルを構成し、ここで、候補特徴抽出方法のそれぞれの重み値が任意の値であるための第１特徴処理モジュール７３１１と、第２接続ベクトルに対して正規化処理を行って第２特徴ベクトルを取得し、ここで、第２特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０である第２特徴処理モジュール７３１２と、値が１の要素に対応する候補特徴抽出方法を、当該スケールと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により、前記処理すべき画像の画素特徴認識結果に対して当該スケールの特徴抽出を行うための第３特徴処理モジュール７３１３と、を含むようにしてもよい。
【００９４】
特徴抽出ユニット７２０は、前記ｎ回の特徴抽出のうちのｉ番目の特徴抽出について、ｉが１以上ｋ以下の場合、被処理対象を当該ｉ番目の特徴抽出の入力データとして決定し、ｉがｋより大きいがｎ以下の場合、当該ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの処理結果に基づいて、当該ｉ番目の特徴抽出の入力データを決定し、ここで、前記ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの出力データには、ｉ−ｋ番の特徴抽出によるｉ−ｋ番目の理結果．．．ｉ−１番目の特徴抽出によるｉ−１番目の処理結果が含まれるための第３基本処理サブユニット７２３と、第１基本処理サブユニット７２１によって決定された特徴抽出方法によって、第３基本処理サブユニット７２３によって決定された入力データを処理してｉ番目の特徴抽出のｉ番目の処理結果を取得するための第４基本処理サブユニット７２４と、をさらに含むようにしてもよい。
【００９５】
本実施例において、ニューラルネットワークの基本セルによる各々の特徴抽出プロセスにおいて、任意２つのデータノードペアのそれぞれと関連付けられた特徴抽出処理方法が互いに独立するため、基本セルのそれぞれにより特徴抽出を行う際の独立性及び多様性が確保され、得られた画素特徴認識結果は、精度が高く、参考価値が大きい。ニューラルネットワークの基本セルによるｎ回の特徴抽出のうち１番目の特徴抽出を除く各々の特徴抽出について、通信メカニズムとしてグラフ畳み込みネットワークを使用し、隣接する１回前の特徴抽出の特徴抽出方法に基づいて、当該回の特徴抽出の特徴抽出方法を決定することにより、画素特徴認識結果の認識精度が効果的に確保されることが可能となる。ニューラルネットワークを構成する特徴セルの少なくとも１つの特徴データノードのそれぞれに使用される特徴抽出方法が互いに独立するため、特徴セルにより画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行う際の多様性が確保され、画像認識結果の精度の向上には有利となる。複数回の特徴抽出プロセスで使用される特徴抽出方法が完全に同じでないため、ニューラルネットワークの処理方法の多様性及び普遍性が効果的に確保され、ニューラルネットワークの画像認識性能が効果的に確保されることが可能となる。
【００９６】
図９は、本出願の実施例で提案される画像処理デバイスの構造の概略図であり、図９に示すように、本出願の実施例では、図１〜図２に示される実施例中の画像処理デバイスの動作またはステップを実行可能な画像処理デバイスが提案される。具体的には、画像処理デバイスは、プロセッサ９０１と、メモリ９０２と、通信インターフェース９０３と、を備える。メモリ９０２は、コンピュータプログラムを格納するためのものである。プロセッサ９０１は、メモリ９０２に格納されるコンピュータプログラムを実行することで、図１〜図２に示される実施例中の画像認識処理デバイスの動作を実現するためのものであり、これ以上説明しないこととする。
【００９７】
候補的には、画像処理デバイスはバス９０４をさらに含んでもよい。ここで、プロセッサ９０１、メモリ９０２、及び通信インターフェース９０３は、バス９０４を介して互いに接続されてもよい。バス９０４は、ペリフェラル・コンポーネント・インターコネクト（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ、略称ＰＣＩ）バス、または拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ  Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ、略称ＥＩＳＡ）バス等であってもよい。上記のバス９０４は、アドレスバス、データバス、制御バスなどに分けられる。バスについて、表示の便宜上、図９では１本の太い線だけで表示されているが、それが１本または１つのタイプしかないことを意味するものではない。
【００９８】
本出願の実施例のうち、上記の各実施例は互いに参照や参考してもよく、同じまたは類似のステップおよび名詞について、１つずつ重複に説明しないこととする。
【００９９】
あるいは、以上の各々のモジュールの一部または全部は、当該画像認識処理デバイスのあるチップに埋め込まれた集積回路の形で実現することもできる。さらに、それらは単独に実現しても、集積してもよい。換言すると、以上のこれらのモジュールは、以上の方法を実施するための１つ以上の集積回路、例えば、１つ以上の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、略称ＡＳＩＣ）、または１つ以上のデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、略称ＤＳＰ）、または１つ以上のフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ、略称ＦＰＧＡ）として構成されていてもよい。
【０１００】
コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、プロセッサでコンピュータプログラムが実行されることで上記の処理方法を実現する、コンピュータ可読記憶媒体。
【０１０１】
上記の実施例の全部又は一部は、ソフトウェア、ハードウェア、ファームウェア又はその任意の組み合わせとして実現されてもよい。ソフトウェアで実現する場合、その全部又は一部は、コンピュータプログラム製品の形態として実現されてもよい。コンピュータプログラム製品は、１つ以上のコンピュータコマンドを含む。コンピュータにコンピュータプログラム・コマンドをロード及び実行する時、その全部又は一部において本願の実施例による流れ又は機能を実現する。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータ・ネットワーク、又はその他のプログラマブル装置であってもよい。コンピュータコマンドは、コンピュータ可読記憶媒体に格納されても、１つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送されてもよく、例えば、コンピュータコマンドは１つのウェブサイト、コンピュータ、画像認識処理デバイス又はデータセンタから有線（例えば同軸ケーブル、光ファイバー、デジタル加入者線（ｄｉｇｉｔａｌ  ｓｕｂｓｃｒｉｂｅｒ  ｌｉｎｅ、ＤＳＬ））又は無線（例えば赤外、ラジオ、マイクロ波など）の方法により別のウェブサイト、コンピュータ、画像認識処理デバイス又はデータセンタに伝送されてもよい。コンピュータ可読記憶媒体は、コンピュータがアクセス可能ないかなる利用可能な媒体又は１つ以上の利用可能な媒体が集積されて含まれる画像認識処理デバイス、データセンタなどのデータ記憶デバイスであってもよい。利用可能な媒体は磁気媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えば、ＤＶＤ）、又は半導体媒体（例えばソリッドステートディスク（ｓｏｌｉｄ  ｓｔａｔｅ  ｄｉｓｋ、ＳＳＤ））などであってもよい。
【０１０２】
上記の１つ以上の例示において、本出願の実施例で説明された機能は、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組み合わせで実現され得ることを、当業者が理解すべきであろう。ソフトウェアで実現する場合、これらの機能をコンピュータ可読媒体に格納しても、コンピュータ可読媒体上の１つ以上のコマンドまたはコードとして転送してもよい。コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体とを含み、その通信媒体には、ある場所から別の場所へコンピュータプログラムを容易に転送するための任意の媒体が含まれる。記憶媒体は、汎用又は専用コンピュータがアクセス可能な任意の利用可能な媒体であってもよい。
【０１０３】
当業者にとっては、明細書及び本文に開示された発明の実施を考慮した上で、本発明の他の実施形態には容易に思い付くことができる。本発明は、本発明に対する任意の変形、用途、または適応的な変化を含むことを意図する          ものであり、このような変形、用途、または適応的な変化は、本発明の一般的な原理に従い、本発明に開示されていない本技術分野中の公知常識、または通常の技術手段を含む。明細書と実施例は、単なる例示的なものに過ぎず、本発明の本当の範囲と精神は、以下の特許請求の範囲によって示されている。
【０１０４】
本発明は、以上に説明され且つ図面で図示された精確な構成に限定されず、その範囲を逸脱しない範囲内の様々な修正と変更を行うことができるとは、理解されるべきであろう。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
【図１】
2022501707.tif 000005
【図２】
2022501707.tif 000006
【図３】
2022501707.tif 000007
【図４】
2022501707.tif 000008
【図５】
2022501707.tif 000009
【図６】
2022501707.tif 000010
【図７】
2022501707.tif 000011
【図８】
2022501707.tif 000012
【図９】
2022501707.tif 000013
【手続補正書】
【提出日】令和3年3月8日(2021.3.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処理すべき画像を取得するステップと、
前記処理すべき画像に対してｎ回の特徴抽出を行って前記処理すべき画像の画素特徴認識結果を取得するステップと、
前記処理すべき画像の画素特徴認識結果により、前記処理すべき画像を処理するステップと、を含み、
各々の特徴抽出の入力データは、前のｋ回の特徴抽出の出力データによって決定されたものであり、
１番目からｋ番目の特徴抽出の入力データは、前記処理すべき画像を含み、ｋは１以上ｎ未満の整数、ｎは１より大きい整数であり、
各々の特徴抽出プロセスには、ｐ個のデータノードが含まれ、ｐが１より大きい整数であり、
各々の特徴抽出プロセス中の１つのデータノード上のデータは、今回の特徴抽出プロセス中の当該データノードよりも前の各データノード上のデータに対してそれぞれ予め設定された特徴抽出方法で処理して得られたデータと、今回の特徴抽出の入力データとによって決定されたものであり、
各々の特徴抽出プロセスで使用される特徴抽出方法は、当該回の特徴抽出プロセス中の各データノード上のデータに使用される特徴抽出方法を含み、
各々の特徴抽出プロセスの出力データは、今回の特徴抽出プロセス中の最後のデータノード上のデータである
ことを特徴とする画像処理方法。
【請求項２】
前記画像処理方法は、ニューラルネットワークによって実行され、
前記ｎ回の特徴抽出のうちの各々の特徴抽出プロセスは、前記ニューラルネットワーク中の１つの基本セルによって実行される、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記ｎ回の特徴抽出のうちの各々の特徴抽出プロセスについて、
当該回の特徴抽出から任意１つのデータノードと当該データノードよりも後の任意１つのデータノードとを選択して目標データノードペアを構成するステップであって、前記目標データノードペアは、複数の候補特徴抽出方法に関連付けられるステップと、
前記複数の候補特徴抽出方法のそれぞれの重み値を用いて第１接続ベクトルを構成するステップであって、前記候補特徴抽出方法のそれぞれの重み値が任意の値であるステップと、
前記第１接続ベクトルに対して正規化処理を行って第１特徴ベクトルを取得するステップであって、前記第１特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であるステップと、
値が１の要素に対応する候補特徴抽出方法を、前記目標データノードペアと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により前記目標データノードペアのうちの前のデータノード上のデータを処理し、処理して得られたデータを前記目標データノードペアのうちの後のデータノードに転送するステップと、
によって当該回の特徴抽出プロセスで使用される特徴抽出方法を決定することを特徴とする請求項１または２に記載の方法。
【請求項４】
当該回の特徴抽出プロセスで使用される特徴抽出方法を決定する際に、前記方法は、
グラフ畳み込み方法で、当該回の特徴抽出プロセスに隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の前記第１特徴ベクトルを修正するステップと、
修正された各々の前記第１特徴ベクトルに基づいて、当該回の特徴抽出プロセスで使用される特徴抽出方法を決定するステップと、
をさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
グラフ畳み込み方法で、当該回の特徴抽出プロセスに隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により、当該回の特徴抽出プロセス中の各々の前記第１特徴ベクトルを修正するステップは、
前記隣接する１回前の特徴抽出プロセスで使用された特徴抽出方法により構成された行列である第１行列と、当該回の特徴抽出プロセス中の各々の第１特徴ベクトルにより構成された行列である第２行列と、の接続行列を決定するステップと、
前記接続行列と前記第１行列との相関値を決定し、前記相関値を前記第２行列に加えて第３行列を取得するステップと、
前記第３行列により、当該回の特徴抽出プロセス中の修正された各々の前記第１特徴ベクトルを決定するステップと、
を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記処理すべき画像の画素特徴認識結果により、前記処理すべき画像を処理するステップは、
前記処理すべき画像の画素特徴認識結果に対して少なくとも１つのスケールの特徴抽出を行って前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果を取得するステップと、
前記処理すべき画像の少なくとも１つのスケールの特徴抽出結果により前記処理すべき画像を処理するステップと、
を含むことを特徴とする請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記少なくとも１つのスケールの特徴抽出のそれぞれについて、
当該スケールと関連付けられた複数の候補特徴抽出方法の重み値を用いて第２接続ベクトルを構成するステップであって、前記候補特徴抽出方法のそれぞれの重み値が任意の値であるステップと、
前記第２接続ベクトルに対して正規化処理を行って第２特徴ベクトルを取得するステップであって、前記第２特徴ベクトルのうち、ただ一つの要素の値は１であり、残りの要素の値は何れも０であるステップと、
値が１の要素に対応する候補特徴抽出方法を、当該スケールと関連付けられた目標特徴抽出方法として決定することで、前記目標特徴抽出方法により、前記処理すべき画像の画素特徴認識結果に対して当該スケールの特徴抽出を行うステップと、
によって当該スケールの特徴抽出方法を決定することを特徴とする請求項６に記載の方法。
【請求項８】
前記ｎ回の特徴抽出のうちのｉ番目の特徴抽出について、
ｉが１以上ｋ以下の場合、前記処理すべき画像を前記ｉ番目の特徴抽出の入力データとして決定するステップと、
ｉがｋより大きいがｎ以下の場合、前記ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの出力データに基づいて、前記ｉ番目の特徴抽出の入力データを決定するステップであって、前記ｉ番目の特徴抽出よりも前のｋ回の特徴抽出のそれぞれの出力データには、ｉ−ｋ番目の特徴抽出の入力データに対して予め設定された特徴抽出処理を行って得られたｉ−ｋ番目の処理結果、．．．ｉ−１番目の特徴抽出の入力データに対して予め設定された特徴抽出処理を行って得られたｉ−１番目の処理結果が含まれるステップと、
によって前記ｉ番目の特徴抽出の入力データを決定することを特徴とする請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
処理すべき画像を取得するための取得ユニットと、
前記処理すべき画像に対してｎ回の特徴抽出を行って前記処理すべき画像の画素特徴認識結果を取得するための特徴抽出ユニットと、
前記処理すべき画像の画素特徴認識結果により、前記処理すべき画像を処理するための特徴処理ユニットと、を備える
各々の特徴抽出の入力データは、前のｋ回の特徴抽出の出力データによって決定されたものであり、
１番目からｋ番目の特徴抽出の入力データは、前記処理すべき画像を含み、ｋは１以上ｎ未満の整数、ｎは１より大きい整数であり、
各々の特徴抽出プロセスには、ｐ個のデータノードが含まれ、ｐが１より大きい整数であり、
各々の特徴抽出プロセス中の１つのデータノード上のデータは、今回の特徴抽出プロセス中の当該データノードよりも前の各データノード上のデータに対してそれぞれ予め設定された特徴抽出方法で処理して得られたデータと、今回の特徴抽出の入力データとによって決定されたものであり、
各々の特徴抽出プロセスで使用される特徴抽出方法は、当該回の特徴抽出プロセス中の各データノード上のデータに使用される特徴抽出方法を含み、
各々の特徴抽出プロセスの出力データは、今回の特徴抽出プロセス中の最後のデータノード上のデータである、
ことを特徴とする画像処理装置。
【請求項１０】
画像処理デバイスであって、
プロセッサと、メモリと、コンピュータプログラムと、を備え、
前記コンピュータプログラムは前記メモリによって格納され、前記プロセッサによって実行されることで、請求項１乃至８のいずれか一項に記載の画像処理方法を実現するように構成される、ことを特徴とする画像処理デバイス。
【請求項１１】
コンピュータ可読記憶媒体であって、
コンピュータプログラムが格納され、
プロセッサで前記コンピュータプログラムが実行されることで、請求項１乃至８のいずれか一項に記載の画像処理方法を実現する、ことを特徴とするコンピュータ可読記憶媒体。
【国際調査報告】
2022501707.tif 000014
2022501707.tif 000015
2022501707.tif 000016
2022501707.tif 000017