(57)【要約】【課題】姿勢の影響、または認識スコア、認識ラベル、または認識IDにおける姿勢を低減できる画像処理装置を提供する。【解決手段】画像処理装置１０は、姿勢確率が組み合わされた与えられた複数の入力画像からサブパッチを抽出する抽出手段１１と、抽出されたサブパッチと姿勢確率をフィルタリングするフィルタリング手段１２と、フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する結合手段１３とを含む。【選択図】図９
2021503139.tif 000002
【特許請求の範囲】
【請求項１】
姿勢確率が組み合わされた与えられた複数の入力画像からサブパッチを抽出する抽出手段と、
抽出されたサブパッチと姿勢確率をフィルタリングするフィルタリング手段と、
フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する結合手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記フィルタリング手段は、前記与えられた複数の入力画像および前記複数の入力画像の特徴から、各IDまたは各ラベルの確率を計算する
請求項１記載の画像処理装置。
【請求項３】
与えられた複数の対象画像の特徴と複数のプローブ画像のサンプルの特徴との類似度を求め、前記類似度が最大であるプローブ画像のサンプルを最終出力として選択する特徴マッチング手段を備える
請求項１または請求項２記載の画像処理装置。
【請求項４】
前記与えられた複数の入力画像の各姿勢確率のヒストグラムを生成する姿勢推定手段を備える
請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記与えられた複数の入力画像における物体の関心領域と、前記物体のクラスまたはラベルとを生成する物体検出手段と、
生成された各領域それぞれから姿勢認識の特徴を取得する姿勢認識特徴抽出手段とを備える
請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
【請求項６】
姿勢を標準姿勢テンプレートに正規化するために、入力された物体の関心領域に変換を適用する姿勢補正手段を備える
請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
【請求項７】
前記姿勢補正手段が変換を適用した後に特徴を再正規化する特徴正規化手段を備える
請求項６記載の画像処理装置。
【請求項８】
１組の対象画像およびプローブ画像と、各画像が同一物体を表示しているか否かを示すラベルとを含む１つ以上の連続した訓練サンプルにおけるサンプルの姿勢を計算するために用いられるモデルを学習する学習手段を備える
請求項１から請求項７のうちのいずれか１項に記載の画像処理装置。
【請求項９】
訓練フェーズの間に学習されたパラメータまたは重みにおける変化を調整する規則化手段を備える
請求項８記載の画像処理装置。
【請求項１０】
学習されたモデルのパラメータを更新し、より古い重みとバイアスを減衰させるパラメータ更新手段を備える
請求項８または請求項９記載の画像処理装置。
【請求項１１】
与えられた関心領域から画像のスケーリングされたサンプルを取得するスケール空間生成手段を備える
請求項１から請求項１０のうちのいずれか１項に記載の画像処理装置。
【請求項１２】
姿勢確率が組み合わされた与えられた複数の入力画像からサブパッチを抽出し、
抽出されたサブパッチと姿勢確率をフィルタリングし、
フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する
ことを特徴とする画像処理方法。
【請求項１３】
コンピュータで実行されるときに、
姿勢確率が組み合わされた与えられた複数の入力画像からサブパッチを抽出し、
抽出されたサブパッチと姿勢確率をフィルタリングし、
フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する
画像処理プログラム
を記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関し、特に、認識目的の物体の姿勢により導かれる特徴を抽出する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
物体認識は、物体が複数の与えられた画像に存在するか否かを判定する処理である。目的は、物体を認識する能力の信頼度を示すラベル、ID、またはスコアを出力することである。このタスクにおける物体として、人間、動物の種類、自動車等があり得る。監視、人間用コンピュータインタフェース、生体認証等、物体認識には多くの用途がある。物体認識は、主に３つの主要なステップで構成される。第１のステップは、物体検出である。複数の画像が与えられると、物体が検出され、サブ領域が選択される。第２のステップは、特徴抽出である。物体または物体を含む複数の領域を含むサブ領域が与えられた場合、サブ領域から特徴が抽出される。第３のステップは、学習された測定基準を使用する測定基準学習である。例えば、複数の特徴間の距離は、学習された測定基準として計算される。この距離を使用して物体に関する決定が行われ、ID、ラベル、またはスコアが出力される。
【０００３】
しかし、物体認識の最も困難な問題の１つは、物体の姿勢である。姿勢は、撮像装置に対する物体の向きとして定義される。物体の姿勢が変化すると特徴も変化するため、同じ物体でも姿勢が異なると異なるスコアが出力される。例えば、人間を認識する場合、人間は、カメラに対して異なる方向に移動できる。よって、人間の姿勢は、前向き、左向き、後ろ向き、右向きのいずれにも変化する。物体が移動することによって姿勢が変化すると、同じ物体から異なる特徴が抽出される。従って、この問題を解決することは重要である。
【０００４】
姿勢の変化は困難な問題であり、依然として解決すべき公開された問題である。多くの技術は、物体がとり得る全ての姿勢の変化を捕捉した多くのデータを追加することによって、認識性能を改善しようとしている。他には、物体における姿勢の変化が最小化されるように、測定基準を改善することに集中している技術もある。しかし、姿勢の変化に堅固な特徴を直接学習する取り組みは、多くなされていない。従って、認識タスクにおける姿勢の変化の問題を解決できる技術が依然として求められている。
【０００５】
物体認識において姿勢を認識するための技術の１つは、特許文献１に記載されている、訓練中に姿勢情報を使用してモデルを生成することである。特許文献１において、姿勢情報は、姿勢推定器を訓練するための真のデータとして供給される。この姿勢推定器は、学習中に入力画像の姿勢を与える。色、高さ、幅等の他の物体の属性と共に姿勢情報を用いて、画像同士の組の類似性が決定される。
【０００６】
堅固な物体認識のための他の技術は、特許文献２に記載されている、複数の測定基準を結び付けることである。特許文献２には、複数の画像から手動で生成された特徴が抽出されることが記載されている。手動で生成された特徴は、特定のタスクに対して最適化された特徴を指す。次に、マハラノビス距離、バタチャリヤ共効率、コサイン類似度等の多くの類似性関数にその特徴が入力される。最後にそれらを組み合わせるために、RankBoostアルゴリズムが用いられる。RankBoostアルゴリズムは、高い精度を与え、多くの測定基準の利点を共に組み合わせるアルゴリズムである。
【０００７】
また、非特許文献１には、ニューラルネットワークが分類器として使用されることが記載されている。ニューラルネットワークへの入力は、画像、姿勢ボックス、および姿勢の信頼度スコアである。姿勢ボックスは、背景が可視化されない、物体の部分の周りの狭い境界ボックスとして定義される。姿勢ボックスの定義には、最初に例えば人の手、脚、顔等の物体の部分を見つけることが含まれる。各部分の境界ボックスを使用して、部分の境界ボックスを共に連結することによって、物体の新たな境界ボックスが生成される。
【０００８】
また、非特許文献２に記載されている方法は、カメラ視点と、カメラが重複しないための異なる対象の優先姿勢とを使用する。様々な自動較正技術を使用して、カメラパラメータ、地面、位置、およびそれらの信頼度スコア等の特徴が抽出される。これらの追加の特徴は、分類器への入力として画像と共に供給される。この付加的な情報は、分類のためのより高い次元の特徴空間を提供し、姿勢の変化の問題を解決する。
【０００９】
また、特許文献３には、撮影された画像を解析することによって、歩行者等の物体を検出する際の精度を向上させる物体検出システムが記載されている。また、特許文献４には、少ない演算処理量で姿勢が変化する入力画像から物体を正確に検出する物体検出装置が記載されている。また、特許文献５に記載されている顔画像認識装置は、顔の向きの変化に対して堅固である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許出願公開第２０１７／０１５４２１２号明細書
【特許文献２】米国特許出願公開第２００７／０２１１９３８号明細書
【特許文献３】特開２０１７−０２７１７６号公報
【特許文献４】特開２０１５−１８７７６９号公報
【特許文献５】特開２００９−１５７７６７号公報
【非特許文献】
【００１１】
【非特許文献１】L. Zheng, Y. Huang, H. Lu, and Y. Yang, "Pose Invariant Embedding for Deep Person Re-identification," arXiv preprint, 2017, arXiv:1701.07732.
【非特許文献２】Y. J. Cho and K. J. Yoon, "Improving Person Re-identification via Pose-aware Multi-shot Matching," 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2016, pages 1354-1362.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
物体認識タスクは、主に２つのステップを含む。１つは入力画像から特徴を抽出するステップであり、もう１つは識別用の測定基準を用いて特徴を一致させるステップである。しかし、複数の画像における物体の姿勢が、１つのフレームから別のフレームにかけて変化する場合が多い。この結果、同一の対象に対して異なる特徴が抽出され、特徴における非常に高い人物の変動がもたらされる。すなわち、これらの特徴は、認識タスクにとって十分に堅固でない。従って、学習処理において早期に堅固な姿勢の特徴を抽出でき、測定基準の学習処理中にも使用可能な技術が求められている。
【００１３】
特許文献１に記載されている方法は、物体を認識するために、衣服、色等の複数の他の属性と共に姿勢情報を使用する。クエリ画像と対象画像との間で属性の５０％以上が一致する限り、特許文献１に記載されているアルゴリズムは、一致という結果をもたらす。しかし、物体が人間ではなく、多くの属性を持たない一般的な物体である場合には、物体認識のための基準等に、特許文献１に記載されている方法を使用できない。
【００１４】
特許文献２に記載されている方法は、手動で生成された特徴を使用して物体をモデル化する。特許文献２に記載されている方法は、タスクに対して特徴が非常に特定的であるという特定のタスクに対してのみ高い性能をもたらす。しかし、一般的な物体認識における特徴は、特許文献２に記載されている方法に適していない可能性がある。エンドツーエンドの処理は、訓練処理中に特徴が自動的に学習されるので、より認識に適している。従って、特許文献２に記載されている方法は、一般的な物体認識には適用されない。
【００１５】
非特許文献１に記載されている方法は、互いに連結された部品ボックスである姿勢ボックスを計算する。この表現は、姿勢の変化および背景に対しても非常に堅固である。しかし、この方法は、やはり一般的な物体認識には適していない。非特許文献１に記載されている方法は、認識対象物が検出可能な程に十分大きな複数の部品で構成されていると仮定する。しかし、自動車等の物体にはその仮定が適さない可能性がある。
【００１６】
非特許文献２に記載されている方法は、自動較正技術を用いて入力される特徴量を増加させて、カメラパラメータ、地面、位置等を取得する。この方法は、実用的でない可能性があるカメラ情報へのアクセスを要する。例えば、監視の場合、この情報を使用することが正当でない可能性がある。すなわち、カメラの幾何学的情報を使用することなく、姿勢の変化を扱うことができる方法が求められている。
【００１７】
従って、物体認識タスクにおける姿勢の影響を低減することが重要である。特許文献３〜特許文献５にも、姿勢の可能性を低減することは記載されていない。
【００１８】
本発明の目的の１つは、姿勢の影響、または認識スコア、認識ラベル、または認識IDにおける姿勢を低減できる画像処理装置、画像処理方法および画像処理プログラムを提供することである。
【課題を解決するための手段】
【００１９】
本発明による画像処理装置は、姿勢確率が組み合わされた与えられた複数の入力画像からサブパッチを抽出する抽出手段と、抽出されたサブパッチと姿勢確率をフィルタリングするフィルタリング手段と、フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する結合手段とを含むことを特徴とする。
【００２０】
本発明による画像処理方法は、姿勢確率が組み合わされた与えられた複数の入力画像からサブパッチを抽出し、抽出されたサブパッチと姿勢確率をフィルタリングし、フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合することを特徴とする。
【００２１】
本発明による画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータで実行されるときに、姿勢確率が組み合わされた与えられた複数の入力画像からサブパッチを抽出し、抽出されたサブパッチと姿勢確率をフィルタリングし、フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する画像処理プログラムを記憶する。
【発明の効果】
【００２２】
本発明によれば、姿勢の影響、または認識スコア、認識ラベル、または認識IDにおける姿勢を低減できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施形態に係る訓練フェーズのステージ１における画像処理装置１００の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る訓練フェーズのステージ２における画像処理装置２００の構成例を示すブロック図である。
【図３】本発明の第１の実施形態に係るテストフェーズにおける画像処理装置３００の構成例を示すブロック図である。
【図４】本発明の第１の実施形態に係る画像処理装置１００、画像処理装置２００、および画像処理装置３００の動作の一例を示すフローチャートである。
【図５】姿勢認識畳み込み処理フェーズにおいて、本発明の第１の実施形態に係る画像処理装置２００および画像処理装置３００の動作の一例を示すフローチャートである。
【図６】本発明の第２の実施形態に係る訓練フェーズのステージ１における画像処理装置１１０の構成例を示すブロック図である。
【図７】本発明の第２の実施形態に係る訓練フェーズのステージ２における画像処理装置２１０の構成例を示すブロック図である。
【図８】本発明の実施形態に係る画像処理装置を実現可能なコンピュータ１０００のハードウェア構成例を示すブロック図である。
【図９】本発明に係る画像処理装置の概要を示すブロック図である。
【発明を実施するための形態】
【００２４】
本発明は、上述したこれらの問題を解決するために設計された発明である。上記のエンティティに加えて、本発明が克服できる他の明白な不利益は、詳細な明細書および図面から明らかに示されるであろう。
【００２５】
上述した技術的問題を解決するための全体的な手法を以下にまとめる。物体認識性能は、特に実際の毎日のシーンにおける姿勢の変化に影響されるので、対処することが求められる。複数の画像中の関心物体の位置が与えられると、多数のスケーリングされたサンプルが生成される。これらのスケーリングされたサンプルから、姿勢認識特徴が抽出される。姿勢認識特徴が計算される際、物体の姿勢が考慮されている。姿勢認識特徴は、姿勢推定器により計算された姿勢確率を用いて計算される。姿勢確率は、学習されたフィルタの助けを借りて特徴に統合される。次いで、抽出された特徴に一致する特徴を用いて複数の画像を比較するためのスコアが取得され、スコアが最も高い画像が正しく一致した画像として選択される。
【００２６】
＜第１の実施形態＞
以下、本発明の第１の実施形態を詳細に説明する。
【００２７】
図１は、本発明の第１の実施形態に係る訓練フェーズのステージ１における画像処理装置１００の構成例を示すブロック図である。図１を参照すると、画像処理装置１００は、入力部１０１と、物体検出部１０２と、特徴抽出部１０３と、分類部１０４と、出力部１０５と、訓練データ記憶部１０６と、学習部１０７と、モデル記憶部１０８と、パラメータ更新部１０９とを含む。
【００２８】
入力部１０１は、学習フェーズにおいて、または学習フェーズの前に、例えば、映像のフレームや静止画等の一連のフレームまたは画像を受信する。以下の説明では、複数のフレーム、および複数のフレームにおける１枚のフレームを、それぞれ“複数の画像”および“画像”と呼ぶことがある。複数の訓練フレーム、および複数の訓練フレームにおける１枚の訓練フレームは、それぞれ“複数の訓練画像”および“訓練画像”と呼ばれる。
【００２９】
物体検出部１０２は、フレーム内の、顔またはいくつかの部分を含む他の１つの物体のような物体が表示された領域である関心領域を検出する。物体検出部１０２は、与えられた画像または複数の画像から物体を検出する。以下の説明において、物体検出部１０２は、フレーム内の人物を検出する。物体検出部１０２は、フレーム内の人物の位置、すなわち、境界ボックスの左上および右下の（ｘ，ｙ）座標を提供する。物体検出部１０２は、境界ボックスの中心、幅、および高さも記憶してもよい。
【００３０】
特徴抽出部１０３は、物体検出部１０２により特徴抽出部１０３に提供された関心領域から特徴を抽出するために使用される。特徴抽出部１０３は、物体検出器の出力である関心領域から特徴を取得する。
【００３１】
物体検出部１０２により提供された位置が使用されて、スケーリングされたサンプルが生成される。これらのサンプルは、同じ座標系に位置するように正規化される。座標は、フレーム内に予め設定された座標系で定義される。最後に、これらのサンプル画像から特徴が抽出される。これらの特徴は、画像サンプルからのエッジ、テクスチャ、色、時間的、空間的、および／または他のより高いレベルの情報または他のより低いレベルの情報の組み合わせであってもよい。
【００３２】
学習部１０７は、１つ以上連続した訓練フレームでモデルを学習する。具体的には、学習部１０７は、訓練フレームから抽出された特徴で、サンプルの姿勢を算出するために用いられるモデルを学習する。学習部１０７は、モデルのパラメータ学習の一部として、サンプルの特徴から平均ベクトルと共分散行列を算出してもよい。また、学習部１０７は、入力画像に対して出力された物体検出器の勾配も算出してもよい。学習部１０７は、学習するモデルのパラメータだけでなく、平均、分散等のデータパラメータ、ネットワーク（またはネットワークの一部）の勾配等の他のパラメータ、またはモデル学習のための他のより高いレベルのパラメータ、または他のより低いレベルのパラメータを含む学習部の組み合わせであってもよい。
【００３３】
モデルは、スケーリングされたサンプルの特徴の分布を本質的に捕捉する。より具体的には、モデルは、物体検出器により出力された特定のラベルに属する画像の画素の尤度を捕捉する。物体検出器は、与えられた入力画像が所望のラベルと一致するように、その出力スコアを最大化する。この場合、モデルは、この入力データから学習され、確率またはスコアを生成すべきである。
【００３４】
分類部１０４は、この確率またはこのスコアを計算するために使用される。しかし、訓練フェーズでは、分類部１０４は、真のデータが与えられて物体クラスまたはラベルスコアを計算するように訓練される。テストフェーズでは、分類部１０４は、いかなる真のデータも使用することなく、この確率情報を抽出できる。
【００３５】
訓練データ記憶部１０６は、分類部１０４、物体検出部１０２、および学習部１０７による訓練に使用される画像、およびそのラベルまたはそれらのIDを記憶する。データは、単一の単位、１組のデータの単位、またはトリプレットのデータの単位の形式で記憶される。単一のデータが単位である場合、画像およびそのラベルまたはそのIDが記憶される。１組のデータまたはトリプレットのデータが単位である場合、１組の画像または３つの画像が、１組の画像またはトリプレット画像の類似性を示すバイナリラベルと共に記憶される。記憶されたバイナリラベルは、例えば類似する複数の画像に対して‘＋１’を、異なる複数の画像に対して‘−１’を示す。
【００３６】
モデル記憶部１０８は、分類部１０４、物体検出部１０２、および学習部１０７等の各種モデルのパラメータを記憶する。パラメータは、訓練フェーズまたは学習フェーズにおける分類部１０４、物体検出部１０２、および学習部１０７等の各種モデルの学習された重みである。これらのパラメータまたは重みは、互いに共有されてもよいし、互いに独立してもよい。
【００３７】
パラメータ更新部１０９は、分類部１０４、物体検出部１０２、および学習部１０７等の各種モデルのパラメータを更新するために求められる方向およびステップサイズを選択する。更新されたパラメータは、損失関数を最小化することによって、訓練フェーズまたは学習フェーズにおいて算出される。ニュートン法、Adagrad、Gradient Descent等のパラメータを更新するために、異なる戦略が使用可能である。
【００３８】
出力部１０５は、最終的な対象画像またはIDを出力する。出力部１０５は、フレームの（ｘ，ｙ）座標で表される所定の位置にIDを表す所定のマークをプロットし、プロットされたマークを有する出力フレームにおける物体の境界ボックスのスケール（幅、高さ）をプロットしてもよい。
【００３９】
次に、第１の実施形態に係る訓練フェーズまたは学習フェーズにおける画像処理装置２００の動作を、図面を参照して詳細に説明する。
【００４０】
図２は、本発明の第１の実施形態に係る訓練フェーズのステージ２における画像処理装置２００の構成例を示すブロック図である。図２を参照すると、画像処理装置２００は、入力部２０１と、物体検出部２０２と、姿勢認識特徴抽出部２０３と、分類部２０４と、出力部２０５と、訓練データ記憶部２０６と、学習部２０７と、モデル記憶部２０８と、パラメータ更新部２０９とを含む。
【００４１】
画像処理装置１００およびその一部は、人物の分類（人物ID）に用いられるが、画像処理装置２００およびその一部は、姿勢の分類（０度、３０度、６０度、９０度等）に用いられる。画像処理装置１００と画像処理装置２００は、設計が同じ（すなわち、どちらもニューラルネットワーク、ロジスティック回帰等である）でもよいが、入力、出力、および目的は、各装置で異なる。
【００４２】
姿勢認識特徴抽出部２０３は、物体検出部２０２により姿勢認識特徴抽出部２０３に提供される関心領域から特徴を抽出するために使用される。特徴抽出部１０３と異なり、姿勢認識特徴抽出部２０３は、物体の姿勢を考慮する。姿勢認識特徴抽出部２０３は、姿勢確率と関心領域とが与えられて物体の特徴を算出する。
【００４３】
学習部２０７の学習されたフィルタの重みを使用して、物体の姿勢が特徴と共に組み込まれる。これらの特徴は、画像サンプルからのエッジ、テクスチャ、色、時間的、空間的、および／または他のより高いレベルの情報または他のより低いレベルの情報に追加的に結合され得る。
【００４４】
分類部２０４は、複数の画像における物体の姿勢の確率を予測し、その姿勢認識特徴が与えられた物体を認識する。
【００４５】
訓練フェーズでは、画像処理装置１００と画像処理装置２００とが独立して動作する。画像処理装置１００は、人物識別器として機能する。すなわち、画像処理装置１００の入力は人物の画像であり、出力は人物のIDである。画像処理装置２００は、姿勢識別器として機能する。すなわち、画像処理装置２００の入力は人物の画像であり、出力は人物が立っている姿勢（０度、３０度、６０度、９０度等）である。テストフェーズでは、画像処理装置１００の特徴と画像処理装置２００の特徴が結合されて、より良い特徴の記述子が得られる。結合された特徴は、例えば、２人の人物から得られた２つの特徴の類似性を測定する距離関数で使用可能である。
【００４６】
次に、第１の実施形態に係るテストフェーズにおける画像処理装置３００の動作を、図面を参照して詳細に説明する。
【００４７】
図３は、本発明の第１の実施形態に係るテストフェーズにおける画像処理装置３００の構成例を示すブロック図である。図３を参照すると、画像処理装置３００は、入力部３０１と、特徴抽出部１０３と、分類部１０４と、姿勢確率部３０２と、姿勢認識特徴抽出部２０３と、分類部２０４と、出力部３０３とを含む。
【００４８】
姿勢確率部３０２は、分類部１０４の出力に基づいて姿勢確率のベクトルを計算するために使用される。姿勢確率は、物体に対する有効な姿勢のヒストグラムになり得る。姿勢確率は、物体のピッチ角、ヨー角、およびロール角を含むことができる。また、姿勢は、物体の個々の部分の姿勢を含むこともできる。
【００４９】
次に、第１の実施形態に係る画像処理装置１００、画像処理装置２００、および画像処理装置３００の動作を、図面を参照して詳細に説明する。
【００５０】
図４は、本発明の第１の実施形態に係る画像処理装置１００、画像処理装置２００、および画像処理装置３００の動作の一例を示すフローチャートである。
【００５１】
本発明の第１の実施形態に係る画像処理装置１００、画像処理装置２００、および画像処理装置３００の動作は、訓練フェーズ（学習フェーズ）と、テストフェーズ（評価フェーズ）とに大別される。この段落では、図４を参照して、実施形態のフローチャートの概要を説明する。
【００５２】
物体の認識は、画像またはフレームにおける物体の検出により開始される。システムへの入力（ステップS101）は、画像のバッチと、処理のための対応するラベルまたはIDと対応付けられた物体の姿勢である。画像は、処理を容易にするためにベクトル形式に平坦化される。すなわち、画像は、ローリングまたは他の任意のベクトル化処理により多次元アレイから単次元アレイに変換される（ステップS102）。
【００５３】
次いで、平坦化された画像とそれらの姿勢とが結合される（ステップS103）。テストフェーズでは、ステップS103において、姿勢確率部３０２から算出されたバッチ内の各画像の姿勢確率が平坦化された画像に結合される。この結合の方法は、本発明の第１の実施形態に係る、姿勢確率と画像とを統合するための１つの方法である。なお、平坦化された画像とそれらの姿勢とを統合する他の方法も容易に使用可能であることは明らかである。
【００５４】
統合された入力は、今度、特徴、具体的には姿勢認識畳み込み特徴を計算するために使用される。次いで、姿勢認識特徴を抽出するための“姿勢認識畳み込み”が実行される（ステップS104）。動作のフェーズがテストフェーズまたは評価フェーズである場合（ステップS105におけるYes）、計算された特徴は、ステップS106で保存される。動作のフェーズが訓練フェーズまたは学習フェーズである場合（ステップS105におけるNo）、バックプロパゲーション（誤差逆伝播）が行われる（ステップS108）。
【００５５】
バックプロパゲーションは、分類器モデル、特徴抽出器等のパラメータの各々の更新を計算することによって、異なるモデルのパラメータを訓練、および学習する方法の１つである。他の方法は、当業者にとって明らかであろう。最後に、全ての対象バッチが処理された場合（ステップS107におけるNo）、処理は終了する。全ての対象バッチが処理されていない場合（ステップS107におけるYes）、次のバッチに対して処理が再開される。
【００５６】
姿勢認識畳み込み処理は、図５に示す図面と共に後で詳細に説明される。以下は、姿勢認識畳み込み部の簡単な説明である。姿勢認識畳み込み部は、画像内の物体の姿勢を用いて入力画像の特徴を計算する。姿勢は、特徴抽出処理を導く。
【００５７】
図５は、姿勢認識畳み込み処理フェーズにおいて、本発明の第１の実施形態に係る画像処理装置２００および画像処理装置３００の動作の一例を示すフローチャートである。図５は、画像処理装置２００および画像処理装置３００の姿勢認識特徴抽出部２０３の動作の一例を示すフローチャートである。
【００５８】
一緒に与えられた、ステップS201で連結された入力画像と姿勢確率は、入力から小さなサブパッチを抽出するために使用される。パッチは、ステップS202において、分類部２０４のモデルの現在の重みまたは学習された重みが用いられてフィルタリングされる。次いで、得られたフィルタリングされた出力パッチに、バイアス項が加算される（ステップS203）。
【００５９】
画像にまだパッチが存在する場合（ステップS204におけるYes）、新たなパッチが取得され、ステップS201、S202、S203で処理される。画像にもうパッチが存在しない場合（ステップS204におけるNo）、次にステップS205で、分類部２０４が姿勢確率をフィルタリングする。次いで、ステップS206で、特徴抽出部１０３から抽出された特徴が用いられて、フィルタリングされた姿勢とフィルタリングされた画像パッチとが結合される。この結合は、それらを一緒に足し合わせるだけの単純な結合でもよいし、より複雑な方法が使用された結合でもよい。
【００６０】
もしまだ画像が存在する場合、各画像に対して姿勢認識畳み込み処理が繰り返される（ステップS207におけるYes）。もう画像が存在しない場合、姿勢認識畳み込み処理が終了する（ステップS207におけるNo）。姿勢認識畳み込みは、以下でより詳細に説明される：
【数１】
2021503139.tif 000003
【００６１】
式（１）において、左辺は、画像の画素値の平均、または平均である。これは、実際の姿勢認識畳み込み特徴抽出手順の前に入力を正規化するために使用される。また、’xi’は、ｉ番目の画素の強度であり、’N’は、画像の画素の総数である。
【数２】
2021503139.tif 000004
【００６２】
式（２）において、’V’は、画像の画素の強度の分散である。これら２つの式を使用して、平均を０、および分散を１にする正規化を入力に行うことができる。正規化は、以下の式を用いて行われる：
【数３】
2021503139.tif 000005
【００６３】
入力が正規化された後、入力は下記の式（４）に従って処理される。
【数４】
2021503139.tif 000006
【００６４】
式（４）は、本発明の第１の実施形態に係る姿勢認識畳み込み特徴抽出処理を具体的に説明する。ここで、’fij’は、入力のｉ番目、ｊ番目の位置からの姿勢認識畳み込み特徴である。学習可能フィルタ’wijc’および’wu’は、画像パッチおよび姿勢確率ベクトル’pu’をフィルタリングするためのパラメータである。画像パッチは、’i0,j0’に入力された’xi0+i,j0+j,c’で与えられる。ここで、’i,j’はフィルタ係数インデックスであり、’c’はチャネルインデックスであり、’u’はポーズインデックスであり、’b’はバイアス項である。
【００６５】
本実施形態の第１の有利な効果は、物体を正確に識別でき、認識スコアにおける姿勢の変化の影響を低減できることである。
【００６６】
本実施形態の他の有利な効果を以下に説明する。本実施形態の利点は、複数の測定基準または統合関数が、この方法で依然として使用可能であることである。本発明の他の有利な効果は、モデルパラメータが手動で生成された特徴を要しないことである。その理由は、アルゴリズムが、画像から開始し、物体ID、ラベル、またはマッチングスコアで終了するように訓練可能なためである。また、潜在サポートベクトルマシンのような重質最適化技術が不要であるため、リアルタイム動作も可能である。また、剛体の形状、および非剛体の形状も認識可能である。さらに、形状、姿勢、および部品における変化のための見本も不要である。
【００６７】
＜第２の実施形態＞
次に、本発明のステージ１の第２の実施形態を図面を参照して詳細に説明する。
【００６８】
図６は、本発明の第２の実施形態に係る訓練フェーズのステージ１における画像処理装置１１０の構成例を示すブロック図である。図６を参照すると、画像処理装置１１０は、物体の領域を検出する物体検出部１０２と、関心領域に基づいて画像から特徴を抽出する特徴抽出部１０３と、入力画像の物体ラベル、ID、マッチングスコア、またはマッチング確率を生成する分類部１０４と、学習フェーズ中のモデルのパラメータまたは重みを更新するために使用されるパラメータ更新部１０９とを含む。オフラインで更新可能なモデルは、一度だけ訓練可能であり、何度も使用可能である。また、オンラインで更新可能なモデルは必要に応じて再度訓練可能である。
【００６９】
次に、本発明のステージ２の第２の実施形態を図面を参照して詳細に説明する。
【００７０】
図７は、本発明の第２の実施形態に係る訓練フェーズのステージ２における画像処理装置２１０の構成例を示すブロック図である。図７を参照すると、画像処理装置２１０は、物体の領域を検出する物体検出部２０２と、関心領域に基づいて画像から姿勢認識特徴を抽出する姿勢認識特徴抽出部２０３と、入力画像の物体ラベル、ID、マッチングスコア、またはマッチング確率を生成する分類部２０４と、学習フェーズ中のモデルのパラメータまたは重みを更新するために使用されるパラメータ更新部２０９とを含む。オフラインで更新可能なモデルは、一度だけ訓練可能であり、何度も使用可能である。また、オンラインで更新可能なモデルは必要に応じて再度訓練可能である。
【００７１】
第２の実施形態は、第１の実施形態の第１の有利な効果と同様の有利な効果を有する。有利な効果が第１の実施形態の第１の有利な効果と同じである理由は、両実施形態の基本原理が同じであるからである。
【００７２】
本発明の目的の１つは、物体を効率的に認識でき、かつ、精度における姿勢の変化の影響を低減できる画像処理装置を提供することである。画像処理装置は、正確かつ堅固な物体認識を実現できる。
【００７３】
本発明の１つの実施態様に係る画像処理装置は、与えられた画像または複数の与えられた画像から物体を検出する物体検出手段と、物体検出器の出力である関心領域から特徴を取得する特徴抽出手段と、複数の画像における物体の姿勢の確率を予測する姿勢分類手段と、物体の姿勢の確率と関心領域とが与えられて物体の特徴を算出する姿勢認識特徴抽出手段と、姿勢認識特徴が与えられて物体を認識する物体分類手段と、与えられた対象画像とプローブ画像との類似度を取得し、類似度スコアが最大である対象を最終出力として選択する特徴マッチング手段とを含む。
【００７４】
本発明の主な利点は、物体認識タスクの類似性スコア、ラベル、またはIDにおける姿勢の変化の影響を低減できることである。これは、入力画像に姿勢確率ベクトルが付加されているため、達成可能である。このベクトルは、姿勢認識特徴の計算を助ける付加的な畳み込みカーネルを学習するために使用される。
【００７５】
本発明の他の有利な効果は、一般的な物体認識に利用可能であること、すなわち、色、サイズ、形状等のような複数の属性の情報を有する特別な物体が求められないことである。特許文献１と異なり、本発明は、他の物体情報の利用可能性に関わらず、任意の物体の姿勢の変化を低減するために利用可能である。
【００７６】
本発明のさらなる有利な効果は、特許文献２と異なり、本発明が手動で生成された特徴の抽出を全く要しないことである。手動で生成された特徴は、技術の適用性を制限し、一般化可能性を減少させる。本発明は、姿勢認識を要する任意の技術に利用可能である。
【００７７】
本発明のさらなる有利な効果は、非特許文献１と異なり、物体が追加の部品を有する必要がないことである。非特許文献１では境界ボックスが計算されるので、物体およびその部品が別々に検出されることを要する。本発明は、いかなる部品情報も想定しない。
【００７８】
本発明の他の有利な効果は、非特許文献２と異なり、カメラ較正および幾何学的情報が求められないことである。物体は、直接的に推定され、補正に使用される。本発明を安価にする、配備のためのいかなる追加情報も必要としない。
【００７９】
本発明の他の有利な効果は、エンドツーエンドモデルであること、すなわち、複数の画像が与えられると、いかなる中間ステップも介することなく直接的に出力を与えることができることである。
【００８０】
また、画像処理装置１００、画像処理装置２００、および画像処理装置３００は、与えられた対象画像とプローブ画像との類似度を求め、類似度スコアが最大である対象画像を最終出力として選択する特徴マッチング手段を含んでもよい。
【００８１】
また、画像処理装置１００、画像処理装置２００、および画像処理装置３００は、姿勢を標準姿勢テンプレートに正規化するために入力された物体の関心領域に変換を適用する姿勢補正手段を含んでもよい。
【００８２】
＜他の実施形態＞
画像処理装置１００、画像処理装置２００、画像処理装置３００、画像処理装置１１０、および画像処理装置２１０は、コンピュータ、コンピュータを制御するプログラム、専用ハードウェア、またはコンピュータとコンピュータおよび専用ハードウェアを制御するプログラムとの組を用いて実現可能である。
【００８３】
図８は、本発明の実施形態に係る画像処理装置を実現可能なコンピュータ１０００のハードウェア構成例を示すブロック図である。図８は、上述した画像処理装置１００、画像処理装置２００、画像処理装置３００、画像処理装置１１０、および画像処理装置２１０を実現可能なコンピュータ１０００のハードウェア構成の一例を示す。
【００８４】
図８を参照すると、コンピュータ１０００は、バス１００６を介して通信可能に接続されたプロセッサ１００１と、メモリ１００２と、記憶装置１００３と、インタフェース１００４とを含む。また、コンピュータ１０００は、記憶媒体１００５にアクセスできる。メモリ１００２および記憶装置１００３各々は、RAM(Random Access Memory) 、ハードディスクドライブ等の記憶装置であってもよい。また、記憶媒体１００５は、RAM 、ハードディスクドライブ等の記憶装置、ROM(Read Only Memory) 、または可搬型記憶媒体であってもよい。また、記憶装置１００３は、記憶媒体１００５として動作してもよい。また、プロセッサ１００１は、メモリ１００２および記憶装置１００３からデータとプログラムを読み出し、メモリ１００２および記憶装置１００３にデータとプログラムを書き込むことができる。
【００８５】
プロセッサ１００１は、プロセッサ１００１のためのフレームを提供するサーバ（図示せず）と、最終的な出力形状を出力する端末（図示せず）等と、インタフェース１００４を介して通信できる。プロセッサ１００１は、記憶媒体１００５にアクセスできる。記憶媒体１００５は、コンピュータ１０００を画像処理装置１００、画像処理装置２００、画像処理装置３００、画像処理装置１１０、または画像処理装置２１０として動作させるプログラムを記憶する。
【００８６】
例えば、プロセッサ１００１は、コンピュータ１０００を画像処理装置１００または画像処理装置１１０として動作させる、記憶媒体１００５に記憶されているプログラムをメモリ１００２にロードする。プロセッサ１００１は、メモリ１００２にロードされたプログラムを実行することによって、画像処理装置１００または画像処理装置１１０として動作する。
【００８７】
入力部１０１、入力部２０１、入力部３０１、物体検出部１０２、物体検出部２０２、特徴抽出部１０３、姿勢認識特徴抽出部２０３、学習部１０７、学習部２０７、分類部１０４、分類部２０４、姿勢確率部３０２、パラメータ更新部１０９、パラメータ更新部２０９、出力部１０５、出力部２０５、出力部３０３は、記憶媒体１００５からメモリ１００２にロードされ、上述した各ユニットを実現可能な専用のプログラムと、専用のプログラムを実行するプロセッサ１００１とで実現可能である。
【００８８】
モデル記憶部１０８およびモデル記憶部２０８、訓練データ記憶部１０６および訓練データ記憶部２０６は、メモリ１００２および／またはハードディスク装置等の記憶装置によって実現可能である。また、入力部１０１、入力部２０１、入力部３０１、物体検出部１０２、物体検出部２０２、特徴抽出部１０３、姿勢認識特徴抽出部２０３、学習部１０７、学習部２０７、分類部１０４、分類部２０４、姿勢確率部３０２、パラメータ更新部１０９、パラメータ更新部２０９、出力部１０５、出力部２０５、出力部３０３の一部または全部は、上述した各ユニットの機能を実現する専用回路で実現可能である。
【００８９】
最後に、本明細書に記載され、図示された処理、技術、および方法がどの特定の装置にも限定されたり、関連したりしないことは明らかであろう。構成要素の組み合わせを使用して実装可能である。また、本明細書に記載されている命令に従って、様々な種類の汎用デバイスが使用されてもよい。本発明はまた、特定の一組の例を使用して記載されている。しかし、これらは単なる例示であり、限定するものではない。例えば、記載されたソフトウェアは、C、C++、Java（登録商標）、Python（登録商標）、およびPerl等の多種多様な言語で実装されてもよい。さらに、本発明の技術の他の実装は、当業者にとって明らかであろう。
【００９０】
本発明の概要を以下に説明する。図９は、本発明に係る画像処理装置の概要を示すブロック図である。本発明に係る画像処理装置１０は、姿勢確率が組み合わされた与えられた複数の入力画像からサブパッチを抽出する抽出手段１１（例えば、姿勢認識特徴抽出部２０３）と、抽出されたサブパッチと姿勢確率をフィルタリングするフィルタリング手段１２（例えば、分類部２０４）と、フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する結合手段１３（例えば、姿勢認識特徴抽出部２０３）とを含む。
【００９１】
そのような構成により、画像処理装置は、認識スコア、認識ラベル、または認識IDにおける姿勢の影響または姿勢を低減できる。
【００９２】
また、フィルタリング手段１２は、与えられた複数の入力画像および複数の入力画像の特徴から、各IDまたは各ラベルの確率を計算してもよい。
【００９３】
そのような構成により、画像処理装置は、入力画像の各IDをより正確に推定できる。
【００９４】
また、画像処理装置１０は、与えられた複数の対象画像の特徴と複数のプローブ画像のサンプルの特徴との類似度を求め、類似度が最大であるプローブ画像のサンプルを最終出力として選択する特徴マッチング手段を含んでもよい。
【００９５】
そのような構成により、画像処理装置は、入力画像の各IDおよび各姿勢を推定できる。
【００９６】
また、画像処理装置１０は、与えられた複数の入力画像の各姿勢確率のヒストグラムを生成する姿勢推定手段（例えば、姿勢確率部３０２）を含んでもよい。
【００９７】
そのような構成により、画像処理装置は、入力画像の各姿勢をより正確に推定できる。
【００９８】
また、画像処理装置１０は、与えられた複数の入力画像における物体の関心領域と、物体のクラスまたはラベルとを生成する物体検出手段（例えば、物体検出部２０２）と、生成された各領域それぞれから姿勢認識の特徴を取得する姿勢認識特徴抽出手段（例えば、姿勢認識特徴抽出部２０３）とを含んでもよい。
【００９９】
そのような構成により、画像処理装置は、入力画像における物体をより正確に認識できる。
【０１００】
また、画像処理装置１０は、姿勢を標準姿勢テンプレートに正規化するために、入力された物体の関心領域に変換を適用する姿勢補正手段を含んでもよい。
【０１０１】
そのような構成により、画像処理装置は、物体認識の処理を高速化できる。
【０１０２】
また、画像処理装置１０は、姿勢補正手段が変換を適用した後に特徴を再正規化する特徴正規化手段（例えば、姿勢認識特徴抽出部２０３）を含んでもよい。
【０１０３】
そのような構成により、画像処理装置は、物体認識の処理を正規化できる。
【０１０４】
また、画像処理装置１０は、１組の対象画像およびプローブ画像と、各画像が同一物体を表示しているか否かを示すラベルとを含む１つ以上の連続した訓練サンプルにおけるサンプルの姿勢を計算するために用いられるモデルを学習する学習手段（例えば、学習部２０７）を含んでもよい。
【０１０５】
また、画像処理装置１０は、訓練フェーズの間に学習されたパラメータまたは重みにおける変化を調整する規則化手段を含んでもよい。
【０１０６】
また、画像処理装置１０は、学習されたモデルのパラメータを更新し、より古い重みとバイアスを減衰させるパラメータ更新手段（例えば、パラメータ更新部２０９）を含んでもよい。
【０１０７】
また、画像処理装置１０は、与えられた関心領域から画像のスケーリングされたサンプルを取得するスケール空間生成手段（例えば、物体検出部１０２）を含んでもよい。
【０１０８】
そのような構成により、画像処理装置は、入力画像の各IDおよび各姿勢をより正確に推定できる。
【０１０９】
本発明は、その実施形態を参照して特に示され説明されてきたが、本発明は、これらの実施形態に限定されない。特許請求の範囲に定義される本発明の主旨および範囲から逸脱することなく、形式および詳細において様々な変更がなされてもよいことは当業者にとって自明であろう。
【符号の説明】
【０１１０】
１０、１００、１１０、２００、２１０、３００  画像処理装置
１１  抽出手段
１２  フィルタリング手段
１３  結合手段
１０１、２０１、３０１  入力部
１０２、２０２  物体検出部
１０３  特徴抽出部
１０４、２０４  分類部
１０５、２０５、３０３  出力部
１０６、２０６  訓練データ記憶部
１０７、２０７  学習部
１０８、２０８  モデル記憶部
１０９、２０９  パラメータ更新部
２０３  姿勢認識特徴抽出部
３０２  姿勢確率部
１０００  コンピュータ
１００１  プロセッサ
１００２  メモリ
１００３  記憶装置
１００４  インタフェース
１００５  記憶媒体
１００６  バス
【図１】
2021503139.tif 000007
【図２】
2021503139.tif 000008
【図３】
2021503139.tif 000009
【図４】
2021503139.tif 000010
【図５】
2021503139.tif 000011
【図６】
2021503139.tif 000012
【図７】
2021503139.tif 000013
【図８】
2021503139.tif 000014
【図９】
2021503139.tif 000015
【手続補正書】
【提出日】令和2年5月14日(2020.5.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
姿勢確率が組み合わされた複数の入力画像からサブパッチを抽出する抽出手段と、
抽出されたサブパッチと姿勢確率をフィルタリングするフィルタリング手段と、
フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する結合手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記フィルタリング手段は、前記複数の入力画像および前記複数の入力画像の特徴から、各IDまたは各ラベルの確率を計算する
請求項１記載の画像処理装置。
【請求項３】
複数の対象画像の特徴と複数のプローブ画像のサンプルの特徴との類似度を求め、前記類似度が最大であるプローブ画像のサンプルを最終出力として選択する特徴マッチング手段を備える
請求項１または請求項２記載の画像処理装置。
【請求項４】
前記複数の入力画像の各姿勢確率のヒストグラムを生成する姿勢推定手段を備える
請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記複数の入力画像における物体の関心領域と、前記物体のクラスまたはラベルとを生成する物体検出手段と、
生成された各領域それぞれから姿勢認識の特徴を取得する姿勢認識特徴抽出手段とを備える
請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
【請求項６】
姿勢を標準姿勢テンプレートに正規化するために、入力された物体の関心領域に変換を適用する姿勢補正手段を備える
請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
【請求項７】
前記姿勢補正手段が変換を適用した後に特徴を再正規化する特徴正規化手段を備える
請求項６記載の画像処理装置。
【請求項８】
１組の対象画像およびプローブ画像と、各画像が同一物体を表示しているか否かを示すラベルとを含む１つ以上の連続した訓練サンプルにおけるサンプルの姿勢を計算するために用いられるモデルを学習する学習手段を備える
請求項１から請求項７のうちのいずれか１項に記載の画像処理装置。
【請求項９】
姿勢確率が組み合わされた複数の入力画像からサブパッチを抽出し、
抽出されたサブパッチと姿勢確率をフィルタリングし、
フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する
ことを特徴とする画像処理方法。
【請求項１０】
コンピュータに、
姿勢確率が組み合わされた複数の入力画像からサブパッチを抽出する抽出処理、
抽出されたサブパッチと姿勢確率をフィルタリングするフィルタリング処理、および
フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する結合処理
を実行させるための画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明による画像処理装置は、姿勢確率が組み合わされた複数の入力画像からサブパッチを抽出する抽出手段と、抽出されたサブパッチと姿勢確率をフィルタリングするフィルタリング手段と、フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する結合手段とを含むことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明による画像処理方法は、姿勢確率が組み合わされた複数の入力画像からサブパッチを抽出し、抽出されたサブパッチと姿勢確率をフィルタリングし、フィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明による画像処理プログラムは、コンピュータに、姿勢確率が組み合わされた複数の入力画像からサブパッチを抽出する抽出処理、抽出されたサブパッチと姿勢確率をフィルタリングするフィルタリング処理、およびフィルタリングされたサブパッチとフィルタリングされた姿勢確率とを結合する結合処理を実行させることを特徴とする。
【国際調査報告】
2021503139.tif 000016