(57)【要約】      （修正有）【課題】検出装置及び方法、画像処理装置及びシステム並びに記憶媒体を提供する。【解決手段】検出装置は、画像から特徴を抽出するように構成されたユニットと、抽出された特徴に基づいて画像内の物体の候補領域の数を決定するように構成されたユニットであって、その候補領域の決定される数は候補領域の位置及び形状によって決められるユニットと、少なくとも抽出された特徴、並びに候補領域の決定された数、位置及び形状に基づいて画像から物体を検出するように構成されたユニットにより構成される。【選択図】図２
2020087463.tif 000002
【特許請求の範囲】
【請求項１】
画像から特徴を抽出する抽出手段と、
前記抽出された特徴に基づいて、前記画像内の物体の候補領域の数を前記候補領域の位置及び形状によって決定する決定手段と、
少なくとも前記抽出された特徴、並びに、前記候補領域の前記決定された数、位置、及び形状に基づいて、前記画像から前記物体を検出する検出手段と、
を備える、検出装置。
【請求項２】
より多くの候補領域が、前記画像内の前記物体の特徴分布において分布がより密である部分へと割り当てられ、
前記特徴分布は前記抽出された特徴に基づいて得られる、請求項１に記載の検出装置。
【請求項３】
前記決定手段が、前記候補領域の位置分布に応じて前記候補領域の前記数を決定し、
前記候補領域の前記位置分布の各位置において、同数の候補領域が存在する、請求項２に記載の検出装置。
【請求項４】
前記候補領域の前記位置分布が、前記特徴分布の特徴量又は前記特徴量の正規化値を所定の閾値と比較することによって得られる、請求項３に記載の検出装置。
【請求項５】
前記決定手段が、前記候補領域の形状分布に応じて前記候補領域の前記数を決定し、
前記候補領域の前記形状分布は、前記特徴分布の特徴量又は前記特徴量の正規化値のそれぞれに対応する位置に存在しうる前記候補領域の数で構成される、請求項２に記載の検出装置。
【請求項６】
前記候補領域の前記決定される数が所定の値以下であり、
前記候補領域の位置分布が、前記所定の値に基づいて得られる、請求項３に記載の検出装置。
【請求項７】
前記候補領域の前記決定される数が所定の値以下であり、
前記候補領域の形状分布が、前記所定の値に基づいて得られる、請求項５に記載の検出装置。
【請求項８】
前記画像内の異なるスケールを有する物体について、前記抽出手段は、前記画像からそれぞれ異なるレベルの特徴を抽出し、
異なるレベルの前記抽出された特徴のうちの各特徴について、前記決定手段及び前記検出手段が、対応する動作を実行する、請求項１に記載の検出装置。
【請求項９】
前記検出手段は、前記抽出された特徴、並びに前記候補領域の前記決定された数、位置、及び形状に基づいて回帰演算を実行することにより、前記画像から前記物体を検出することを特徴とする、請求項１に記載の検出装置。
【請求項１０】
前記検出手段は、前記画像内の前記物体の密度分布に基づいて、前記画像内の部分に異なる所定の閾値を設定し、前記閾値は前記密度分布内の異なる密度分布値にそれぞれ対応し、
前記検出手段は、前記回帰演算及び前記所定の閾値によって得られる物体検出結果に基づいて、最終物体検出結果を決定する、請求項９に記載の検出装置。
【請求項１１】
前記検出手段は、前記画像内の前記物体の密度分布に基づいて、前記画像を、
前記候補領域の前記決定される位置及び形状を出力するための部分であって、前記部分に対応する位置で決定される前記候補領域の位置及び形状を出力するための部分と、
対応する物体が検出される部分であって、前記部分に対応する前記画像から対応する物体を検出するための部分と、
に分割する、請求項１に記載の検出装置。
【請求項１２】
前記抽出手段、前記決定手段及び前記検出手段は、事前生成ニューラルネットワークを用いて対応する動作を実行する、請求項１に記載の検出装置。
【請求項１３】
画像から特徴を抽出する工程と、
前記抽出された特徴に基づいて前記画像内の物体の候補領域の数を前記候補領域の位置及び形状によって決定する工程と、
少なくとも前記抽出された特徴、並びに前記候補領域の前記決定された数、位置、及び形状に基づいて、前記画像から物体を検出する工程と、
を備える、検出方法。
【請求項１４】
より多くの候補領域が、前記画像内の前記物体の特徴分布において分布がより密である部分へと割り当てられ、
前記特徴分布は前記抽出された特徴に基づいて得られる、請求項１３に記載の検出方法。
【請求項１５】
前記候補領域の位置分布に応じて前記候補領域の前記数が決定され、
前記候補領域の前記位置分布の各位置において、同数の候補領域が存在する、請求項１４に記載の検出方法。
【請求項１６】
前記抽出された特徴、並びに前記候補領域の前記決定された数、位置、及び形状に基づいて回帰演算を実行することにより、前記物体が前記画像から検出される、請求項１３に記載の検出方法。
【請求項１７】
対応する動作が、事前生成ニューラルネットワークを用いて実行される、請求項１３に記載の検出方法。
【請求項１８】
画像又は映像を取得する取得デバイスと、
命令を格納する記憶デバイスと、
少なくとも請求項１３に記載の検出方法を実施するように、前記取得された画像又は映像に基づいて前記命令を実行するプロセッサと、
を備える、画像処理装置。
【請求項１９】
画像又は映像を取得する取得装置と、
前記取得された画像又は映像から物体を検出する、請求項１に記載の検出装置と、
前記検出された物体に基づいて後続の画像処理動作を実行する処理装置と、を備え、
前記取得装置、前記検出装置、及び前記処理装置は、ネットワークを介して互いに接続されている、画像処理システム。
【請求項２０】
命令を格納している非一時的コンピュータ可読記憶媒体であって、コンピュータによって実行された時に、請求項１３に記載の検出方法を前記コンピュータに実行させる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は画像処理に関し、特に、例えば、画像中の物体の検出に関する。
【背景技術】
【０００２】
画像処理においては、映像／画像から物体（例えば、人体）を正確に検出することが重要な課題である。例えば、検出された人体は、通常、人物画像検索、人物属性認識、人物行動認識、人物識別検証などのような画像処理に用いられることができる。
【０００３】
最近、ニューラルネットワークは物体検出において大きな進歩を遂げており、例えば、米国特許第９５１４３８９Ｂ１号は、例示的な技術を開示している。その例示的な技術は主に、既定数の候補領域を得るために、画像から抽出された特徴に対応する処理（例えば、線形変換処理）を実行することと、その既定数の候補領域を用いて画像から物体を検出するために、抽出された特徴に対応する処理（例えば、回帰処理）を実行することとを含み、得られた出力は、例えば、物体が各候補領域に含まれるという信頼度スコアを含む。ここで、この既定数は、画像内の各既定位置に割り当てられた候補領域の数によって決められ、及び、各既定位置に割り当てられた候補領域の数は同じである。ここで、この例示的な技術においては、上記各処理が物体検出ニューラルネットワークによって実装される。
【０００４】
上記の例示的な技術から分かるように、既定数の候補領域は主に、画像内の物体の検出を実装するために、対応する回帰処理を実行するために用いられ、及び、この既定数は、画像内の各既定位置に割り当てられた候補領域の数によって決められる。このように、上記の例示的な技術によれば、各既定位置に割り当てられる候補領域の数が、物体検出の検出速度及び検出精度に直接影響を与える。ここで、各既定位置に割り当てられる候補領域の数は、上述のように同じである。しかしながら、物体の分布は、通常、画像において不均一である。画像内の各既定位置に同数（多数）の候補領域が割り当てられている場合、すなわち、多数の候補領域が、画像内の背景部分（実際には、この種の部分にそのように多くの候補領域を割り当てる必要はない）にも割り当てられているであろう場合には、その回帰処理がそのように多数の候補領域を用いて実行されると、物体検出の検出速度が影響を及ぼされうる（例えば、検出時間が増加させられうる）。一方、画像内の各既定位置が同数（少数）の候補領域と共に割り当てられている場合、すなわち、少数の候補領域が、画像中の前景部分、特に物体が密に分布している部分（実際には、この種の部分により多くの候補領域を割り当てる必要がある）にも割り当てられているであろう場合には、その回帰処理がそのように少数の候補領域を用いて実行されると、その画像から可能な限り多くの物体を検出することができず、それによって物体検出の検出精度に影響を及ぼす。
【発明の概要】
【０００５】
本開示は、上記関連技術の記録に鑑みて、上記課題の少なくとも１つを解決することを目的とする。
【０００６】
本開示の一態様によれば、検出装置であって、画像から特徴を抽出する抽出手段と、抽出された特徴に基づいて、画像内の物体の候補領域の数を、その候補領域の位置及び形状によって決定する決定手段と、少なくとも抽出された特徴、並びに、候補領域の決定された数、位置、及び形状に基づいて、画像から物体を検出する検出手段と、を備える、検出装置が提供される。ここで、より多くの候補領域が、その分布が画像内の物体の特徴分布においてより密である部分に割り当てられるべきであり、この特徴分布は、抽出された特徴に基づいて得られる。ここで、抽出手段、決定手段、及び検出手段は、事前生成ニューラルネットワークを用いて、その対応する動作を実行する。
【０００７】
本開示の別の態様によれば、画像から特徴を抽出する工程と、抽出された特徴に基づいて物体の候補領域の数を候補領域の位置及び形状によって決定する工程と、少なくとも抽出された特徴、並びに候補領域の決定された数、位置、及び形状に基づいて、画像から物体を検出する工程と、を備える、検出方法が提供される。ここで、より多くの候補領域が、その分布が画像内の物体の特徴分布においてより密である部分に割り当てられるべきであり、この特徴分布は、抽出された特徴に基づいて得られる。ここで、その検出方法において、対応する動作は、事前生成ニューラルネットワークを用いて実行される。
【０００８】
本開示のさらなる態様によれば、画像又は映像を取得する取得デバイスと、命令を格納する記憶デバイスと、少なくとも上述の検出方法を実施するように、取得された画像又は映像に基づいて命令を実行するプロセッサと、を備える、画像処理装置が提供される。
【０００９】
本開示のさらなる態様によれば、画像又は映像を取得する取得装置と、取得された画像又は映像から物体を検出する、上述の検出装置と、検出された物体に基づいて後続の画像処理動作を実行する処理装置と、を備え、取得装置、検出装置、及び処理装置は、ネットワークを介して互いに接続されている、画像処理システムが提供される。
【００１０】
本開示のさらなる態様によれば、コンピュータによって実行されたときに、コンピュータに上述の検出方法を実行させる命令を格納する非一時的コンピュータ可読記憶媒体が提供される。
【００１１】
本開示は抽出された特徴（特に、物体の特徴分布）を用いることにより、その物体の候補領域の数を決定するので、本開示によれば、その対応する数の候補領域は、画像内のそれぞれ対応する位置に動的に割り当てられることができる。したがって、本発明によれば、一方では、物体検出の検出精度を向上させられるように、特徴分布のうち分布がより密な部分（すなわち、画像中の物体の分布がより密な部分）に、より多くの候補領域が割り当てられることができる。他方では、物体検出の検出速度が向上させられるように、画像中の物体の分布が疎な部分（すなわち、背景に属する確率が高い部分）に、より少ない候補領域が割り当てられることができる。
【００１２】
本開示のさらなる特徴及び利点は、添付の図面を参照して、以下の典型的な実施形態の説明から明らかになるであろう。
【図面の簡単な説明】
【００１３】
本明細書に組み込まれ及びその一部を構成する添付の図面は、本開示の実施形態を示し、並びに、実施形態の説明とともに、本開示の原理を説明する役割を果たす。
【００１４】
【図１】本開示の一実施形態に係る技術を実装可能なハードウェア構成を概略的に示すブロック図である。
【００１５】
【図２】本開示の一実施形態に係る検出装置の構成を示すブロック図である。
【００１６】
【図３】本開示の一実施形態に係る検出方法のフローチャートを概略的に示す図である。
【００１７】
【図４】本開示の一実施形態に係る、図３に示されるような決定ステップＳ３２０の１つのフローチャートを概略的に示す図である。
【００１８】
【図５Ａ】、
【図５Ｂ】物体の特徴分布の例を概略的に示す図であって、図５Ａは抽出された特徴の特徴量によって直接示される特徴分布の一例を示し、及び、図５Ｂは、図５Ａに示されるような特徴量の正規化値によって示される特徴分布の一例を示す図である。
【００１９】
【図６Ａ】、
【図６Ｂ】本開示に係る、図５Ｂに示されるような特徴分布を用いて決定される候補領域の位置分布の例を概略的に示す図である。
【００２０】
【図７】図６Ａ〜６Ｂに示されるような候補領域の位置分布の各位置に割り当て可能な９つの候補領域の例を概略的に示す図である。
【００２１】
【図８】本開示の一実施形態に係る、図３に示されるような決定ステップＳ３２０の別のフローチャートを概略的に示す図である。
【００２２】
【図９】本開示に係る、図５Ｂに示されるような特徴分布を用いて決定される候補領域の形状分布の例を概略的に示す図である。
【００２３】
【図１０Ａ】、
【図１０Ｂ】、
【図１０Ｃ】図９に示されるような候補領域の形状分布に、それぞれ３つの候補領域、６つの候補領域、及び９つの候補領域がある例を概略的に示す図である。
【００２４】
【図１１】本開示の一実施形態に係る、図３に示されるような決定ステップＳ３２０の更なるフローチャートを概略的に示す図である。
【００２５】
【図１２】図５Ａに示されるような特徴量の正規化値に示される特徴分布の別の例を示す図である。
【００２６】
【図１３Ａ】、
【図１３Ｂ】それぞれ、本開示に係る図１２に示されるような特徴分布を用いて決定される候補領域の位置分布及び形状分布の例を概略的に示す。
【００２７】
【図１４】本開示の一実施形態に係る、図３に示されるような検出ステップS３３０の１つのフローチャートを模式的に示す図である。
【００２８】
【図１５Ａ】、
【図１５Ｂ】、
【図１５Ｃ】それぞれ、抽出された特徴の特徴量、密度分布、及び特徴分布に対応する物体の閾値分布によって直接的に示される１つの特徴分布を概略的に示す。
【００２９】
【図１６】物体の密度分布の一例を概略的に示す図である。
【００３０】
【図１７Ａ】、
【図１７Ｂ】本開示に係る物体検出結果の例を概略的に示す図である。
【００３１】
【図１８】本開示の一実施形態において用いられる事前生成ニューラルネットワークの概略構造を概略的に示す図である。
【００３２】
【図１９】本開示の実施形態において用いられるニューラルネットワークを事前生成するための生成方法のフローチャートを概略的に示す図である。
【００３３】
【図２０】本開示に係る例示的なアプリケーション装置の構成を示す図である。
【００３４】
【図２１】本開示に係る例示的なアプリケーションシステムの構成を示す図である。
【発明を実施するための形態】
【００３５】
以下、本開示の例示的な実施形態が、図面を参照して詳細に説明される。以下の説明は本質的に実例的及び例示的なものであり、並びに、本開示、そのアプリケーション、又はその用途を限定することを決して意図しないことに留意されたい。これらの実施形態内で明らかにされるその構成要素及び工程の相対的な配置、数値表現、並びに数値は、特に断られない限り、本開示の範囲を限定するものではない。さらに、当業者によって知られている技術、方法、及びデバイスは詳細には説明されないことがあるが、適切な状況下では本明細書の一部となる。
【００３６】
同様の参照符号及び文字は図面中の同様の項目を指し、したがって、項目が１つの図において定義されると、後続する図において説明されないことがあることに留意されたい。
【００３７】
上述されるように、物体の分布が画像内では通常不均一であることを考慮すると、本発明者らは、物体検出の検出精度又は検出速度を向上させるためには、候補領域を割り当てる際にこの不均一な分布をどのように考慮するかが重要であると考えている。画像から抽出された特徴の特徴量が物体の特徴分布を表し、及びその物体の特徴分布が画像中の物体の分布を具体化できることを考慮して、発明者らは、物体検出の検出精度及び／又は検出速度を向上させるために、画像から抽出された特徴（特に物体の特徴分布）を用いて、画像中の異なる部分にそれぞれ適切な数の候補領域が割り当てられることができると考えている。例えば、本開示においては、特徴分布において分布がより密な部分により多くの候補領域が割り当てられ、及び、特徴分布において分布がより疎な部分により少ない候補領域が割り当てられうる。ここで、物体の特徴分布を用いた候補領域の動的割り当ての実装方法が、添付図面を参照して以下に詳細に説明される。
【００３８】
上述されるように、本開示によれば、一方では、画像内の物体の分布がより密な部分（すなわち、特徴分布において分布がより密な部分）に、より多くの候補領域を割り当てることになるので、物体検出の検出精度が向上させられることができる。他方では、画像内の物体の分布がより疎な部分（すなわち、特徴分布において分布がより疎な部分）に、より少ない候補領域が割り当てられることになるので、物体検出の検出速度が向上させられることができる。
【００３９】
（ハードウェア構成）
【００４０】
まず、図１を参照して、以下に説明される技術を実装可能なハードウェア構成が説明される。
【００４１】
ハードウェア構成１００は例えば、中央処理装置（ＣＰＵ)１１０と、ランダムアクセスメモリ（ＲＡＭ)１２０と、読み取り専用メモリ（ＲＯＭ)１３０と、ハードディスク１４０と、入力デバイス１５０と、出力デバイス１６０と、ネットワークインタフェース１７０と、システムバス１８０とを備える。また、一実施形態においては、ハードウェア構成１００がタブレットコンピュータ、ラップトップ、デスクトップ、又は他の適切な電子デバイスなどのようなコンピュータによって実装されることができる。別の実施形態においては、ハードウェア構成１００がデジタルカメラ、ビデオカメラ、ネットワークカメラ、又は他の適切な電子デバイスなどのようなモニタデバイスによって実装されることができる。ここで、ハードウェア構成１００がモニタデバイスによって実装される場合、ハードウェア構成１００は例えば、光学系１９０をさらに含む。
【００４２】
一実施形態においては、本開示に係る検出装置がハードウェア又はファームウェアによって構成され、及び、ハードウェア構成１００のモジュール又は構成要素として機能する。例えば、図２を参照して以下に詳細に説明されるであろう検出装置２００は、ハードウェア構成１００のモジュール又は構成要素として機能する。別の実施形態において、本発明に係る検出装置は、ＲＯＭ１３０又はハードディスク１４０に格納されたソフトウェアにより構成され、及び、ＣＰＵ１１０により実行される。例えば、図３を参照して以下に詳細に説明されるであろう手順３００は、ＲＯＭ１３０又はハードディスク１４０に格納されたプログラムとして機能する。
【００４３】
ＣＰＵ１１０は、任意の適切なプログラマブル制御デバイス（例えば、プロセッサ）であり、及び、ＲＯＭ１３０又はハードディスク１４０（例えば、メモリ）に格納された様々な種類のアプリケーションプログラムを実行することにより、以下に詳細に説明される様々な種類の機能を実行することができる。ＲＡＭ１２０はＲＯＭ１３０やハードディスク１４０からロードされたプログラムやデータを一時的に格納するためのものであり、並びに、ＣＰＵ１１０が様々な種類の処理（例えば、図３〜図１６、及び図１９を参照して以下に詳細に説明される技術を実装するための処理）、及びその他の利用可能な機能を実行するための空間としても用いられる。ハードディスク１４０はＯＳ(operating System)、様々な種類のアプリケーション、制御プログラム、映像、画像、事前生成ネットワーク（例えば、ニューラルネットワーク）、所定のデータ（例えば、閾値（ＴＨ））、又はそのような多種の情報を格納する。
【００４４】
一実施形態においては、入力デバイス１５０は、ユーザがハードウェア構成１００と対話することを可能にするために用いられる。一例では、このユーザは、入力デバイス１５０を介して画像／映像／データを入力することができる。別の例では、このユーザは、入力デバイス１５０を介して本開示の対応する処理をトリガすることができる。また、入力デバイス１５０は、ボタン、キーボード、又はタッチスクリーン等のような複数種類の形態をとることができる。別の実施形態においては、入力デバイス１５０は、デジタルカメラ、ビデオカメラ、及び／又はネットワークカメラなどの特殊な電子デバイスから出力された画像／映像を受信するために用いられる。さらに、ハードウェア構成１００がモニタデバイスによって実装される場合、ハードウェア構成１００内の光学系１９０は、モニタされた位置の画像／映像を直接撮像する。
【００４５】
一実施形態においては、出力デバイス１６０は、処理結果（例えば、検出された物体）をユーザに表示するために用いられる。さらに、出力デバイス１６０は、ブラウン管（ＣＲＴ)、液晶ディスプレイ、又はそのような様々な種類の形態をとることができる。別の実施形態においては、出力デバイス１６０は、人間の画像検索、人間の属性認識、人間の行動認識、及び人間の識別検証などのような後続の画像処理に処理結果を出力するために用いられる。
【００４６】
ネットワークインタフェース１７０は、ハードウェア構成１００をネットワークに接続するためのインターフェースを提供する。例えば、ハードウェア構成１００は、ネットワークインタフェース１７０を介してネットワークで接続された他の電子機器とデータ通信を行うことができる。代わりに、ハードウェア構成１００は、無線データ通信を行うための無線インターフェースを提供されていてもよい。システムバス１８０は、ＣＰＵ１１０、ＲＡＭ１２０、ＲＯＭ１３０、ハードディスク１４０、入力デバイス１５０、出力デバイス１６０、ネットワークインタフェース１７０、及び光学系１９０等の間で相互にデータを伝送するためのデータ伝送路を提供することができる。システムバス１８０はバスと呼ばれるが、特定のデータ伝送技術に限定されるものではない。
【００４７】
上記のハードウェア構成１００は、実例的なものにすぎず、及び、本開示、そのアプリケーション、又は用途を限定することを意図するものでは決してない。さらに、図１においては、簡略化のため、１つのハードウェア構成のみが示されている。しかし、必要に応じて複数のハードウェア構成が用いられてもよい。
【００４８】
（検出装置及び方法）
【００４９】
次に、図２から図１７を参照して、本開示に係る物体検出が説明される。
【００５０】
図２は、本開示の一実施形態に係る検出装置２００の構成を示すブロック図である。
ここで、図２に示されるモジュールの一部又は全部は、専用のハードウェアによって実装されることができる。図２に示されるように、検出装置２００は、抽出部２１０と、決定部２２０と、検出部２３０とを備える。ここで、検出装置２００は、例えば、映像／画像から物体（例えば、人体）を検出するために用いられることができる。
【００５１】
さらに、図２に示される記憶デバイス２４０は、例えば、異なる形状及びスケールを有する、予め設定された候補領域を少なくとも格納している。一実施形態においては、記憶デバイス２４０は、図１に示されるＲＯＭ１３０又はハードディスク１４０である。別の実施形態においては、記憶デバイス２４０は、ネットワーク（不図示）を介して検出装置２００に接続されたサーバ又は外部記憶デバイスである。
【００５２】
まず、一実施形態においては、図１に示されるハードウェア構成１００が例えばコンピュータによって実装される場合、入力デバイス１５０は専用電子デバイス（例えば、ビデオカメラ、又はそのようなもの）から出力される画像、又はユーザによって入力される画像を受信し、その画像は、専用電子デバイスから出力される又はユーザに入力される映像内の１つのビデオフレームであってもよい。次に、入力デバイス１５０は、受信した画像を、システムバス１８０を介して検出装置２００に転送する。別の実施形態においては、例えば、ハードウェア構成１００がモニタデバイスによって実装される場合、検出装置２００は、光学系１９０によって撮像された画像をそのまま利用する。
【００５３】
そして、抽出部２１０は、図２に示されるように、受信した画像から特徴量を抽出し、この抽出した特徴量は、例えば、画像全体の特徴量である。すなわち、画像に物体が含まれている場合には、その抽出された特徴も同様にその物体の特徴を含む。一実施形態においては、抽出部２１０は、ローカルバイナリパターン（ＬＢＰ）アルゴリズム、高速フーリエ変換（ＦＦＴ）アルゴリズム、ガボールアルゴリズムなどのような既存の特徴抽出アルゴリズムを用いて、画像から特徴を抽出することができる。別の実施形態においては、抽出部２１０は、例えば記憶デバイス２４０に格納された事前生成ニューラルネットワークを用いて、画像から特徴を抽出することができる。ここで、図１８から図１９を参照して、ニューラルネットワークを事前生成する方法が後に詳細に説明される。
【００５４】
決定部２２０は、抽出部２１０によって抽出された特徴量に基づいて、画像中の物体の候補領域の数を決定する。ここで、一方では、決定部２２０は、抽出された特徴に基づいて、画像内の物体の特徴分布を得る。具体的には、物体の特徴分布は、例えば、抽出された特徴の特徴量によって直接示されることができ、又は、例えば、抽出された特徴の特徴量の正規化値によって示されることができる。他方では、決定部２２０は、得られた特徴分布に基づいて、物体の候補領域の数を決定し、その候補領域は、例えばアンカーと見なされることができる。ここで、本開示では、物体検出の精度又は速度を向上させるために、少ない候補領域を合理的に利用するために、特徴分布の分布がより密な部分に、より多くの候補領域が割り当てられるようになっている。例えば、特徴分布の特徴量／正規化値が大よりきい部分には候補領域がより多く割り当てられ、特徴分布の特徴量／正規化値がより小さい部分には候補領域がより少なく割り当てられる。
【００５５】
本開示においては、決定部２２０によって決定される候補領域の数が候補領域の位置及び形状によって決められる。ここで、この候補領域の形状は、例えば、三角形、四角形、多角形、丸み、楕円などとすることができる。しかし、得られうる様々な形状が候補領域の形状として用いられることができるのであるから、本開示はこれに限定されないことは明らかである。一実施形態においては、物体検出の精度を向上させるために、対応する形状及びスケールの候補領域が、物体検出のための画像内の物体の形状及びスケールに応じて決定されることができる。具体的には、例えば、上述のように、記憶デバイス２４０は、物体検出用画像における物体の形状及びスケールに応じて記憶デバイス２４０から適切な候補領域が選択されることができるように、様々な形状及びスケールを有する予め設定された候補領域を格納している。
【００５６】
図２に戻り、検出部２３０は、少なくとも抽出部２１０によって抽出された特徴、並びに決定部２２０によって決定された候補領域の数、位置、及び形状に基づいて、画像から物体を検出し、例えば、その物体が位置する領域の位置、その物体のカテゴリ信頼度等を検出する。
【００５７】
ここで、決定部２２０及び検出部２３０は、抽出部２１０によって抽出された特徴量の異なる部分に基づいて、その対応する動作を実行することができる。例えば、決定部２２０は、抽出された特徴量のうち、画像中の物体の分布を具体化することができる特徴量に基づいて、対応する動作を主に実行する。例えば、検出部２３０は、抽出された特徴量のうち、画像内の物体の意味情報を具体化することができる特徴量に基づいて、対応する動作を主に実行する。また、代わりに、決定部２２０と検出部２３０とで用いられる特徴は、異なる抽出部によって抽出されてもよい。
【００５８】
また、上述のように、抽出部２１０は、例えば記憶デバイス２４０に格納された事前生成ニューラルネットワークを用いて、対応する動作を実行することができる。同様に、物体検出の精度を向上させるために、決定部２２０及び検出部２３０は、例えば記憶デバイス２４０に格納された事前生成ニューラルネットワークを用いて、対応する動作を実行することもできる。ここで、図１８から図１９を参照して、ニューラルネットワークの事前生成方法が後に詳細に説明される。
【００５９】
最後に、検出部２３０は、検出された物体をユーザに表示するか、又は検出結果を、人間画像検索、人間属性認識、人間行動認識、及び人間識別検証などのような後続の画像処理に出力するために、検出された結果（例えば、検出された物体）を、図１に示されるシステムバス１８０を介して出力デバイス１６０に転送する。
【００６０】
図３に示されるフローチャート３００は、図２に示される検出装置２００の対応する手順である。
【００６１】
図３に示されるように、抽出ステップＳ３１０において、抽出部２１０は、受信した画像から特徴を抽出する。
【００６２】
決定ステップＳ３２０において、決定部２２０は、抽出された特徴に基づいて、画像中の物体の候補領域の数を決定する。具体的には、決定部２２０は、抽出された特徴に基づいて、画像中の物体の特徴分布を得て、及び、得られた特徴分布に基づいてその物体の候補領域の数を決定し、この候補領域の決定される数は、候補領域の位置及び形状によって決められる。ここで、上述のように、本開示においては、特徴分布において分布がより密な部分に、より多くの候補領域が割り当てられるようにしている。別の実施形態においては、決定部２２０は、図４を参照して候補領域の数を決定する。
【００６３】
図４に示されるように、ステップＳ３２０１において、決定部２２０は、抽出された特徴に基づいて、物体の特徴分布を得る。上述のように、一実施形態においては、物体の特徴分布は、例えば、抽出された特徴の特徴量（図５Ａに示されるような１つの特徴分布など）によって直接示されることができる。別の実施形態においては、物体の特徴分布は、例えば、抽出された特徴の特徴量の正規化値（図５Ｂに示されるような１つの特徴分布など）によって示されることができ、この対応する正規化動作は、例えば、最大特徴量に基づいて実行されることができる。
【００６４】
ステップＳ３２０２において、決定部２２０は、得られた特徴分布に基づいて、候補領域の位置分布を得る。一実施形態においては、物体検出の速度を向上させるために、決定部２２０は、得られた特徴分布の特徴量又は正規化値を所定の閾値と比較することによって候補領域の位置分布を得て、この所定の閾値の数は、実際の応用例に従って動的に決定されることができる。例えば、その対応する動作は、以下の例示的な関数（１）によって実装されることができる。
【数１】
2020087463.tif 000003
【００６５】
ここで、Ｆｐ（ｓ）は候補領域の位置分布を示し、ｓは得られた特徴分布における特徴量又は正規化値を示し、ＴＨ２は例えば最大特徴量又は最大正規化値であり、ＴＨ１は（０，ＴＨ２）の間の値であり、Ｍ及びＮはこの位置の数を示し、並びに、Ｍ＜Ｎである。ここで、上記関数（１）は、１つの特徴量又は正規化値が例えば［０，ＴＨ１）の間の値であるため、特徴分布の対応する部分に候補領域を割り当てられることができるＭ個の位置があってもよく、１つの特徴量又は正規化値が例えば［ＴＨ１〜ＴＨ２］の間の値であるため、特徴分布の対応する部分に候補領域を割り当てられることができるＮ個の位置があってもよい、ことを示す。したがって、各特徴量又は正規化値が所定の閾値と比較された後に、候補領域全体の位置分布が得られることができる。上記関数（１）において、位置分布は、比較の際の２つの閾値を予め定義することによって得られることができる。しかし、明らかに、本開示はこれに限定されない。実際の応用例に従って、比較の際のより多くの閾値が予め定義されることができ、それによって、より洗練された位置分布を得ることができる。図５Ｂに示される特徴分布を例にとると、ｓは正規化値を示し、及び、上記関数（１）が例示的に以下の関数（２）として設定されるものとする。
【数２】
2020087463.tif 000004
したがって、例えば、特徴分布の正規化値「０．５４」（図５Ｂの灰色部分に示される）については、対応する部分に候補領域が割り当てられることができる４つの位置があってもよい（図６Ａの灰色部分に示されるように）。ここで、図６Ａは得られた候補領域全体の位置分布を例示的に示すものであり、そこにおいて、図６Ａに示される１つの黒点は候補領域を割り当てることができる１つの位置を示しており、及び、候補領域を割り当てられるために用いることのできる位置は合計で８８個ある。
【００６６】
上記実施形態によれば、最終的に得られる候補領域の位置分布が離散的であることがわかる。画像中の物体の密度分布をより正しく表現し及び物体検出の再現率を向上させるために、候補領域の連続的な位置分布を得ることが実装されることができる。したがって、別の実施形態においては、得られた特徴分布における特徴量又は正規化値と、候補領域を割り当てるために利用可能であり、及び各特徴量又は正規化値に対応する部分に存在しうる位置の数の最大値と、に基づいて、決定部２２０が候補領域の位置分布を得る。例えば、その対応する動作は、以下の例示的な関数（３）によって実装されることができる。
Ｆｐ（ｓ）＝ＭａｘＮｕｍｂｅｒ×ｓ  …（３）
ここで、Ｆｐ（ｓ）は候補領域の位置分布を示し、ｓは得られた特徴分布における特徴量又は正規化値を示し、並びに、ＭａｘＮｕｍｂｅｒは、候補領域を割り当てるために利用可能であり及び各特徴量又は正規化値に対応する部分に存在しうる位置の数の最大値を示し、この最大値は所定の数値である。ここで、候補領域を割り当てるために利用可能であり、及び各特徴量又は正規化値に対応する部分に存在しうる位置の数の最大値は、同じであってもよく、又は異なっていてもよい。例えば、物体は通常、画像の辺縁ではなく画像の中央において密に分布しているので、画像の中央の物体の密度分布は画像の辺縁の密度分布の密度分布よりも密である。したがって、異なるＭａｘＮｕｍｂｅｒが、画像の中央に位置する部分及び画像の辺縁に位置する部分についてそれぞれ予め定義されることができ、例えば、画像の中央の部分について予め定義されたＭａｘＮｕｍｂｅｒは、画像の辺縁の部分について予め定義されたＭａｘＮｕｍｂｅｒよりも大きい。ここで、候補領域を割り当てるために利用可能であり及び特徴分布の対応する部分に存在しうる位置の数が、１つの特徴量又は正規化値と所定のＭａｘＮｕｍｂｅｒとの積によって決定されることができ、この位置の数が、例えば、得られた積値を四捨五入するか、又は直接丸めることによって得られることができることを、上記関数（３）は示している。これにより、候補領域全体の位置分布は、各特徴量又は正規化値にＭａｘＮｕｍｂｅｒを掛けた後に得られることができる。上記関数（３）において、位置分布は積アルゴリズムにより得られる。ただし、本開示はこれに限定されるものではなく、及び他の数学的アルゴリズム（例えば、インデックスアルゴリズム）によっても位置分布が得られうることは明らかである。同様に、図５Ｂに示される特徴分布を例にとると、ｓは正規化値を示し、及び、上記関数（３）は、以下の関数（４）のように設定され、このｓは、直接丸め演算によって取得されるものとする。
Ｆｐ（ｓ）＝９×ｓ  …（４）
したがって、例えば、特徴分布の正規化値「０．５４」（図５Ｂの灰色部分に示されるような）については、対応する部分に候補領域が割り当てられることができる４つの位置があってもよい（図６Ｂの黒点に示されるように）。ここで、図６Ｂは得られた候補領域全体の位置分布を例示的に示したものであり、そこにおいて、図６Ｂに示される１つの黒点は候補領域が割り当てられることができる１つの位置を示しており、及び、候補領域が割り当てられることができる位置が合計１３１個ある。
【００６７】
図４に戻り、ステップＳ３２０３において、決定部２２０は、得られた候補領域の位置分布に基づいて、候補領域の数を決定する。一実施形態においては、まず、決定部２２０は、候補領域の位置分布の各位置に割り当て可能な候補領域の数を設定し、この各位置に設定された数は同じである（例えば、すべての位置が９に設定されている）。次いで、決定部２２０は、物体検出のための候補領域全体の数が決定されうるように、設定された数に応じて各位置における適切な候補領域を選択する。上述のように、適切な候補領域は、画像内の物体の形状及びスケールに応じて記憶デバイス２４０から選択されることができる。ここで、各位置に割り当てられた候補領域は、割り当てられた候補領域の数が同じであれば、異なる形状及び異なるスケールを有していてもよい。図６Ａ〜６Ｂに示される候補領域の位置分布を例にとると、各位置に９つの候補領域が割り当てられることができるとし、並びに、各位置に割り当てられた９つの候補領域がスケールの異なる四角形及びスケールの異なる楕円で構成される（図７に示されるように）とすると、図６Ａに示されるように、候補領域の位置分布に応じて決定されるその候補領域の数は「８８×９＝７９２」であり、及び、図６Ｂに示されるように、候補領域の位置分布に応じて決定されるその候補領域の数は「１３１×９＝１１７９」である。
【００６８】
図３に戻り、決定ステップＳ３２０では、図４を参照して候補領域の位置分布に応じてその候補領域の数を決定するとともに、候補領域の形状分布に応じてその候補領域の数が決定されることもできる。したがって、別の実施形態においては、決定部２２０が図８を参照して候補領域の数を決定する。
【００６９】
図８に示されるように、ステップＳ３２１１の動作は、図４に示されるステップＳ３２０１の動作と同様であるため、詳細な説明は省略する。
【００７０】
ステップＳ３２１２において、決定部２２０は、得られた特徴分布に基づいて候補領域の形状分布を得て、この得られた候補領域の形状分布は、得られた特徴分布における各特徴量又は正規化値に対応する位置に存在しうる候補領域の数で構成される。ここで、各位置に存在することができる候補領域の数について、一実施形態においては、物体検出の再現率を向上させるために、決定部２２０は、対応する特徴量又は正規化値を所定の閾値と比較することによって対応する候補領域の数を得て、この所定の閾値の数は、実際の応用例に応じて動的に決定されることができる。例えば、その対応する動作は、以下の例示的な関数（５）によって実装されることができる。
【数３】
2020087463.tif 000005
ここで、Ｆｓ（ｓ）は候補領域の形状分布を示し、ｓは得られた特徴分布における特徴量又は正規化値を示し、ＴＨ５は例えば最大特徴量又は最大正規化値であり、ＴＨ３及びＴＨ４は（０，ＴＨ５）の間の値であり、Ｔ１、Ｔ２及びＴ３は候補領域の数を示し、並びに、Ｔ１＜Ｔ２＜Ｔ３である。上記関数（５）は、１つの特徴量又は正規化値が例えば［０，ＴＨ３］の間の値であるため、特徴分布の対応する部分にＴ１個の候補領域があってもよく、１つの特徴量又は正規化値が例えば［ＴＨ３〜ＴＨ４］の間の値であるため、特徴分布の対応する部分にＴ２個の候補領域があってもよく、１つの特徴量又は正規化値が例えば（ＴＨ４〜ＴＨ５］の間の値であるため、特徴分布の対応する部分にＴ３個の候補領域があってもよい、ことを示す。上記関数（５）では、比較の際の３つの閾値を予め定義することにより、形状分布が得られることができる。しかし、明らかに、本開示はこれに限定されない。実際の応用例に従って、比較の際のより多くの閾値が予め定義されることができ、それによって、より洗練された形状分布を得ることができる。このようにして、候補領域全体の形状分布は、各位置に存在しうる候補領域の数が上記方法に従って決定された後に得られることができる。同様に、図５Ｂに示される特徴分布を例にとると、ｓは正規化値を示し、及び、上記関数（５）が例示的に以下の関数（６）として設定されるとする。
【数４】
2020087463.tif 000006
したがって、例えば、特徴分布の正規化値「０．５４」（図５Ｂの灰色部分に示されるような）については、対応する位置に６つの候補領域があってもよい（図９の灰色部分に示されるように）。ここで、図９は、得られた候補領域全体の形状分布を例示的に示している。
【００７１】
図８に戻り、ステップＳ３２１３において、決定部２２０は、得られた候補領域の形状分布の各位置に存在しうる候補領域の数の和をその候補領域の数として決定する。例えば、図９に示されるように、候補領域の数が形状分布に応じて「２３１」と決定されることができる。また、候補領域の形状分布における各位置の候補領域は、異なる形状及び異なるスケールを有していてもよい。上述のように、適切な候補領域は、画像内の物体の形状及びスケールに応じて記憶デバイス２４０から選択されることができる。例えば、図９に示される候補領域の形状分布について、その候補領域がスケールの異なる四角形とスケールの異なる楕円とで構成されるとすると、こうして、例えば図１０Ａに示される候補領域が、３つの候補領域を有することができる位置に対して選択されることができ、例えば図１０Ｂに示される候補領域が、６つの候補領域を有することができる位置に対して選択されることができ、及び、例えば図１０Ｃに示される候補領域が、９つの候補領域を有することができる位置に対して選択されることができる。
【００７２】
図３に戻り、決定ステップＳ３２０では、図４及び図８に応じて決定された候補領域の数（総数）が固定されていない。すなわち、本開示によって決定される候補領域の総数は、異なる状況に対して異なっていてもよい。また、計算量が制限されている状況においても本開示が用いられるようにするために、候補領域の総数は固定値（所定値）として設定されることも可能である。すなわち、その候補領域の総数は、異なる状況に対して同じである。したがって、物体の特徴分布において分布がより密な部分により多くの候補領域を割り当てるために、候補領域の総数が固定である場合には、決定ステップＳ３２０において、より適切な候補領域の位置分布又は候補領域の形状分布をどのように得るかが主に着目される。したがって、さらなる実施形態においては、決定部２２０は、図１１を参照して候補領域の数を決定する。
【００７３】
図１１に示されるように、ステップＳ３２２１の動作は、図４に示したステップＳ３２０１の動作と同様であるため、詳細な説明は省略する。ここで、抽出された特徴の特徴量の正規化値によって物体の特徴分布が示される場合には、図１２に示される１つの対応する特徴分布のように、例えば、全ての特徴量の和に基づいて、対応する正規化演算が実行されることができる。
【００７４】
候補領域の位置分布がステップＳ３２２２に応じて得られた場合、決定部２２０は、ステップＳ３２２２において、得られた特徴分布における特徴量又は正規化値と、所定の固定値（すなわち、使用可能な候補領域の総数）と、候補領域を割り当てるために利用可能であり、及び各特徴量又は正規化値に対応する部分に存在しうる位置の数の最大値とに基づいて、候補領域の位置分布を得る。例えば、その対応する動作は、以下の例示的な関数（７）によって実装されることができる。
【数５】
2020087463.tif 000007
ここで、Ｆｐ（ｓ）、ｓ、及びＭａｘＮｕｍｂｅｒにより示される物理的意味は、上記関数（３）で示される物理的意味と同様であり、並びに、ＦｉｘＮｕｍｂｅｒは所定の固定値を示す。ここで、候補領域を割り当てるために利用可能であり、及び特徴分布の対応する部分に存在しうる位置の数は、１つの特徴量又は正規化値に所定のＦｉｘＮｕｍｂｅｒを掛けた積と、所定のＭａｘＮｕｍｂｅｒとの比によって決定されることができ、この位置の数は、例えば、得られた数値を四捨五入するか、又は直接丸めることによって得られることができることを、上記関数（７）は示している。本開示はこれに限定されるものではなく、及び他の数学的アルゴリズムによっても位置分布が得られうることは明らかである。例えば、図１２に示される特徴分布を例にとると、ｓは正規化値を示し、及び、上記関数（７）は例示的に以下の関数（８）として設定され、このｓは、直接丸め演算によって取得されるものとする。
【数６】
2020087463.tif 000008
したがって、例えば、特徴分布における正規化値「０．０３」（図１２の灰色部分に示される）については、（図１３Ａの灰色部分に示されるように）対応する部分に候補領域が割り当てられることができる２つの位置があってもよい。ここで、図１３ＡはステップＳ３２２２で得られた候補領域全体の位置分布を例示的に示しており、そこで、図１３Ａに示されるような１つの黒点は候補領域を割り当てることができる１つの位置を示しており、及び、候補領域を割り当てるために用いられることができる位置は合計６２個ある。
【００７５】
ステップＳ３２２２に応じて候補領域の形状分布が得られた場合、決定部２２０は、ステップＳ３２２２において、得られた特徴分布の特徴量又は正規化値と、所定の固定値とに基づいて、候補領域の形状分布を得る。例えば、その対応する動作は、以下の例示的な関数（９）によって実装されることができる。
Ｆｓ（ｓ）＝ＦｉｘＮｕｍｂｅｒ×ｓ  …（９）
ここで、特徴分布の対応する位置に存在しうる候補領域の数が、１つの特徴量又は正規化値に所定のＦｉｘＮｕｍｂｅｒを掛けることによって決定されることができ、この数は、例えば、得られた積の値を四捨五入するか、又は直接丸めることによって得られることができることを、上記関数（９）は示している。本開示はこれに限定されるものではなく、及び他の数学的アルゴリズムによっても位置分布が得られうることは明らかである。同様に、図１２に示される特徴分布を例にとると、ｓは正規化値を示し、及び、上記関数（９）が例示的に以下の関数（１０）として設定されると、値は、
Ｆｓ（ｓ）＝７９２×ｓ  …（１０）
の直接丸め演算を行うことにより取得されるものとされる。したがって、例えば、特徴分布の正規化値「０．０３」（図１２の灰色部分に示される）については、（図１３Ｂの灰色部分に示されるように）対応する位置に２３個の候補領域が存在していてもよい。ここで、図１３Ｂは、ステップＳ３２２２により得られた候補領域全体の形状分布を例示的に示している。
【００７６】
図１１に戻り、ステップＳ３２２２により候補領域の位置分布が得られた場合、ステップＳ３２２３の動作は、図４に示されるステップＳ３２０３の動作と同様であるため、詳細な説明は省略する。ここで、例えば、図１３Ａに示される位置分布では、合計で「６２×９＝５５８」の候補領域が割り当てられている。ステップＳ３２２２により候補領域の形状分布が得られた場合、ステップＳ３２２３の動作は、図８に示されるステップＳ３２１３の動作と同様であるため、詳細な説明は省略する。ここで、例えば、図１３Ｂに示される形状分布では、合計で「７６５」の候補領域が割り当てられている。
【００７７】
ステップＳ３２２４において、決定部２２０は、ステップＳ３２２３を介して決定された候補領域の数が所定の固定値（例えば、上記「７９２」）未満であるか否かを判定する。ｙｅｓの場合、残りの候補領域の数はステップＳ３２２５においてさらに処理され、ｙｅｓではない場合、ステップＳ３２２３を介して決定された候補領域の数が直接出力される。ここで、残りの候補領域の数についてのさらなる処理は、例えば、以下のようないくつかの種類の動作を含む。
（１）あらゆる処理を行わず、すなわち直ちに処理をやめ、同時にステップＳ３２２３を介して決定された候補領域の数がそのまま出力されるか、又は、
（２）物体の特徴分布において分布がより密な部分により多くの候補領域を割り当てるために、位置分布又は形状分布が最も密な位置に、残りの候補領域の数が重ね合わされてもよい。例えば、図１３Ａに示される位置分布については、例えば、２６個の位置が、図１３Ａに示されるように、小さな格子で構成される部分に割り当てられることができるように、残りの「２３４」個の候補領域を２６個の位置に分布させることもできる。例えば、図１３Ｂに示される形状分布では、例えば、残りの「２７」個の候補領域は、図１３Ｂに示されるように、小さな格子で構成される部分に割り当てられることができ、又は、
（３）ステップＳ３２２３を介して決定された候補領域の最終数が所定の固定値に等しくなる若しくは最も近くなるまで、その残りの候補領域の数が上記のＦｉｘＮｕｍｂｅｒとみなされてから、残りの候補領域の数を再び割り当てるためにステップＳ３２２２からＳ３２２４が再び実行される。
【００７８】
図３に戻り、検出ステップＳ３３０において、検出部２３０は、少なくとも抽出ステップＳ３１０で抽出された特徴、並びに決定ステップＳ３２０で決定された候補領域の数、位置、及び形状に基づいて、受信画像から物体を検出する。一実施形態においては、例えば、後続の人物属性認識のために物体を正確に検出する（例えば、物体が位置する領域の正確な位置を得る等）ために、検出部２３０は、抽出された特徴、並びに候補領域の決定された数、位置、及び形状に基づいて回帰演算を実行することによって、受信画像から物体を検出し、この決定された数の候補領域は、例えば、最終的に出力されることができる物体の数を決定するために用いられる。例えば、検出部２３０は、図１４を参照して、物体を検出する。
【００７９】
図１４に示されるように、ステップＳ３３０１において、検出部２３０は、抽出された特徴と、決定された候補領域の位置とに基づいて、画像内の物体が位置する初期領域位置と、その物体が属するカテゴリ信頼度とを決定する。具体的には、１つの初期領域位置及び対応するカテゴリ信頼度は、候補領域の各位置において決定されることができる。
【００８０】
ステップＳ３３０２において、検出部２３０は、候補領域の各位置で決定された１つの初期領域位置について、物体が位置する最終領域位置を得るため、その位置に存在する候補領域の形状に基づいて、その初期領域位置を更新する。ここで、この更新動作は、例えば、スケール変換動作によって実装される。例えば、候補領域の各位置に９つの形状を有する候補領域が割り当てられ、その位置で決定された１つの初期領域位置がそれぞれスケール変換を実行するためにその９つの形状をそれぞれ用いることにより、９つの最終領域位置を得るとする。
【００８１】
ステップＳ３３０３において、検出部２３０は、決定された物体が位置する最終領域位置とその物体が属するカテゴリ信頼度とに基づいて、最終的に出力される物体検出結果を決定し、例えば、物体が位置する領域位置、物体のカテゴリ信頼度などを出力する。一実施形態においては、検出部２３０は、全ての物体検出結果を直接出力することができる。別の実施形態においては、検出部２３０は、物体のカテゴリ信頼度を１つの所定の閾値（例えば、ＴＨ６）と比較し、及び、カテゴリ信頼度がＴＨ６以上である物体検出結果を単に出力することができる。さらなる実施形態においては、検出部２３０は、物体検出の再現率を向上させるため、画像中の物体の分布が濃い部分ほどより多くの物体検出結果を出力できるように、最終的に出力される物体検出結果を以下のように決定することができる。
【００８２】
まず、検出部２３０は、抽出された特徴量に基づいて、画像中の物体の密度分布を決定する。ここで、密度分布は、例えば、分類予測、又は抽出された特徴の特徴量を１つの所定の閾値（例えば、ＴＨ７）と比較することによって得られることができる。抽出された特徴量に応じて得られる特徴分布は、例えば図１５Ａに示され、そこで、その特徴分布はその特徴量によって直接示されるとする。図１５Ａの各特徴量がＴＨ７（０．５であるとする）と比較された後、図１５Ａの灰色部分では物体の分布が密であり、及び１３個の物体があり、並びに、図１５Ａの他の部分では物体の分布が疎であり、及び例えば物体がないとされ、その結果、決定された密度分布は、例えば図１５Ｂに示される。
【００８３】
次いで、検出部２３０は、閾値分布を得るため、決定された密度分布に基づいて、密度分布内の異なる密度分布値にそれぞれ対応している画像内の部分に対して異なる所定の閾値を設定する。ここで、密度分布内の密度分布値（例えば、図１５Ｂの数値「１３」）はより大きく、及び、画像内の対応する部分には、より小さい所定の閾値が与えられる。例えば、図１５Ｂに示される密度分布に基づけば、図１５Ａに示される特徴分布を参照して得られる閾値分布は、図１５Ｃに示されるようになる。例えば、図１５Ｃに示されるように、その中の灰色部分の密度分布値は大きいので、より小さい所定の閾値（例えば０．４）が設定され、及び、より大きい所定の閾値（例えば０．８）は他の部分に設定される。しかし、本開示はこれに限定されるものではなく、実際の状況に応じて適切な閾値分布が得られうることは明らかである。
【００８４】
そして、検出部２３０は、得られた閾値分布とステップＳ３３０２を介して得られた物体検出結果とに基づいて、最終的に出力される物体検出結果を決定する。例えば、１つの物体検出結果について、検出結果におけるカテゴリ信頼度は、閾値分布における対応する閾値（例えば、同じ位置における閾値）と比較され、及び、そのカテゴリ信頼度が対応する閾値以上である場合にのみ、物体検出結果が出力される。
【００８５】
図３に戻り、検出ステップＳ３３０では、図１４に示される回帰演算により、正確な物体検出結果（例えば、物体が位置する正確な領域位置）が得られることができる。しかし、いくつかの後続の処理（例えば、異常検出）又は混雑した状況に対しては、通常、単に物体の大まかな領域位置を得るだけで十分である。したがって、別の実施形態においては、検出部２３０は、画像中の物体の密度分布に基づいてその中の物体に対して異なる検出処理を行い、及び、その主な処理は以下の通りである。
【００８６】
まず、検出部２３０は、画像中の物体の密度分布に基づいて、物体が正確に検出される必要がある部分と、物体が正確に検出される必要がない部分とにその画像を分割する。一方では、検出部２３０は、画像中の物体の密度分布を決定する。ここで、物体の密度分布に関する決定は、図１４のステップＳ３３０３の対応する説明と同様であるため、及び、ここでは詳細な説明は省略する。ここで、決定された物体の密度分布は、例えば図１６に示されているとする。他方では、検出部２３０は、決定された密度分布における密度分布値を、所定の１つの閾値（例えば、ＴＨ８）と比較することにより、画像を分割する。例えば、画像中の密度分布値がＴＨ８より大きい部分に対応する部分は、被写体が正確に検出される必要がない部分として決定され、及び、画像中の密度分布値がＴＨ８以下の部分に対応する部分は、被写体が正確に検出される必要がある部分として決定される。図１６に示される密度分布を例にとると、ＴＨ８が５に等しいと設定されるものとすると、画像中の密度分布値が「３」の部分に対応する部分は、被写体が正確に検出される必要がある部分として決定され、及び、画像中の他の部分（すなわち、画像中の密度分布値が「６及び９」の部分）は、被写体が正確に検出される必要がない部分として決定される。
【００８７】
次いで、物体が正確に検出される必要がない部分については、検出部２３０は、例えば、上記の部分に対応する位置で決定された候補領域の位置及び形状をそのまま出力する。物体が正確に検出される必要がある部分については、検出部２３０は、対応する物体を検出するため、図１４に示されるようなフローを実行する。
【００８８】
最後に、図３に戻ると、検出部２３０は、検出された物体をユーザに表示するため、又は人間画像検索、人間属性認識、人間行動認識、及び人間識別検証などの後続の画像処理に検出結果を出力するため、検出結果（例えば、検出された物体）を、図１に示されるシステムバス１８０を介して出力デバイス１６０に転送する。
【００８９】
また、図２に記載されるように、物体検出の精度を向上させるために、抽出部２１０、決定部２２０、及び検出部２３０の全ては、例えば記憶デバイス２４０に格納された事前生成ニューラルネットワークを用いて、対応する動作を実行する。すなわち、図３に示される抽出ステップＳ３１０、決定ステップＳ３２０、及び検出ステップＳ３３０について、対応する動作は、事前生成ニューラルネットワークを用いて実行されることもできる。さらに、一方では、画像内の異なるスケールを有する物体について、レベルの異なる特徴は、通常、ニューラルネットワークを用いてそれぞれ画像から抽出されうる。他方では、レベルの異なる特徴は、通常、異なる意味論的意味を有するため、レベルの異なる特徴に基づいて得られる特徴分布は異なり、及びさらに、レベルの異なる特徴について決定される候補領域の数も異なる。そこで、本開示が事前生成ニューラルネットワークを用いて対応する動作を実行する場合、抽出部２１０によって抽出されたレベルの異なる特徴のうちのそれぞれの特徴について、図３に示されるフローを参照して、決定部２２０及び検出部２３０が対応する物体をそこから検出することができる。ここで、図３に示される決定ステップＳ３２０では、物体検出精度の向上と物体検出速度の向上とのバランスを保つために、決定部２２０はレベルの異なる特徴について、図４から図１３Ｂに記載された手法から異なる手法をそれぞれ選択することにより、候補領域の数を決定する。ここで、高レベルの特徴（すなわち、スケールの大きい物体）については、例えば、図８に記載されるように、候補領域の形状分布を決定することによって候補領域の数が決定される手法が、用いるために選択されうる。ここで、低レベルの特徴（すなわち、スケールの小さい物体）については、例えば、図４に記載されるように、候補領域の位置分布を決定することによって候補領域の数が決定される手法が、用いるために設定されうる。ここで、中間レベル（すなわち、スケールが中間の物体）について、候補領域の数は、例えば、この手法のうちの任意の１つを用いることを選択することによって決定されることができる。しかし、明らかに、本開示はこれに限定されない。また、レベルの異なる特徴について、決定部２２０は、候補領域の数を決定するために同様の手法を用いることもできる。
【００９０】
上述のように、物体検出に利用可能な候補領域の総数が１つの固定値として設定されているかどうかに関わらず、すなわち、物体検出の計算量が制限されているかどうかに関わらず、本発明によれば、画像内の対応する位置毎に、対応する数の候補領域が動的に割り当てられることができる。したがって、一方では、物体検出の検出精度が向上させられうるように、特徴分布の分布がより密な部分（すなわち、画像中の物体の分布がより密な部分）に、より多くの候補領域が割り当てられることができる。他方では、物体検出の検出速度を向上させるために、画像中の物体の分布がより疎な部分（すなわち、背景に属する確率がより高い部分）に、より少ない候補領域が割り当てられることができる。
【００９１】
例えば、（図１７Ａに示されるような）松葉づえをついて歩いている男性を一例としてとると、本開示の実施形態によって検出される物体の領域は、例えば図１７Ｂの矩形枠によって示され、そこで、実線枠は例えば男性が位置する領域であり、及び、点線枠は例えば松葉づえが位置する領域である。
【００９２】
（ニューラルネットワークの生成）
上述のように、本開示の実施形態においては、対応する動作は、事前生成ニューラルネットワークを用いて実行されることができる。例えば図１８に示されるように、本開示の実施形態において利用可能な事前生成ニューラルネットワークは、例えば、特徴を抽出するための部分と、物体の候補領域を決定するための部分と、物体を検出するための部分とを備えることができる。本開示においては、対応するニューラルネットワークは、物体の領域位置、物体のカテゴリ、物体の候補領域などがラベル付けされている学習サンプルに基づいて、深層学習方法（例えば、ニューラルネットワーク方法）を用いて事前生成されることができる。
【００９３】
一実施形態においては、ニューラルネットワークを生成するのに要する時間を短縮するために、特徴を抽出する部分と、物体の候補領域を決定する部分と、ニューラルネットワーク内の物体を検出する部分とが、逆伝播の手段によって一緒に更新される。図１９は、本開示の実施形態において利用可能なニューラルネットワークを事前生成する生成方法のフローチャート１９００を概略的に示す図である。図１９に示されるフローチャート１９００では、ニューラルネットワーク方法を用いた対応するニューラルネットワークの生成を一例とすることにより、本開示の実施形態において用いられるニューラルネットワークを事前生成する生成方法が説明される。しかし、明らかに、本開示はこれに限定されない。ここで、図１９を参照した生成方法は、図１に示されるハードウェア構成１００によっても実行されることができる。
【００９４】
図１９に示されるように、まず、ＣＰＵ１１０は、図１に示されるように、入力デバイス１５０を介して、予め設定された初期ニュートラルネットワークと、複数の学習サンプルとを取得する。ここで、各学習サンプルは、物体の領域位置及び物体のカテゴリでラベル付けされている。
【００９５】
次に、ステップＳ１９１０において、ＣＰＵ１１０は、一方では、物体の領域位置及び物体のカテゴリを得るため、学習サンプルを現在のニューラルネットワーク（例えば、初期ニューラルネットワーク）に通す。すなわち、ＣＰＵ１１０は、物体の領域位置及び物体のカテゴリを得るため、現在のニューラルネットワークにおいて、特徴を抽出する部分、物体の候補領域を決定する部分、及び物体を検出する部分に学習サンプルを順次通す。他方では、ＣＰＵ１１０は、得られた物体の領域位置について、得られた物体の領域位置とサンプルの領域位置との間の損失（例えば、第１の損失、すなわち、Ｌｏｓｓ１）を決定する。ここで、サンプルの領域位置は、学習サンプルにおいてラベル付けされた物体の領域位置に応じて得られうる。ここで、第１の損失（Ｌｏｓｓ１）は、現在のニューラルネットワークを用いて得られた予測領域位置とサンプルの領域位置（すなわち、実領域位置）との間の誤差を示し、この誤差は、例えば距離によって測定される。例えば、第１の損失（Ｌｏｓｓ１）は、以下の式（１１）及び式（１２）によって得られることができる。
【数７】
2020087463.tif 000009
【数８】
2020087463.tif 000010
ここで、ＳｍｏｏｔｈＬ１（ｘ）は物体の領域位置と実領域位置との間の差分を示し、ｘは物体の領域位置の左上隅における水平座標を示し、ｙは物体の領域位置の左上隅における垂直座標を示し、ｗは物体が位置する領域の幅を示し、ｈは物体が位置する領域の高さを示し、ｔｎｉは物体カテゴリがｎである物体の領域位置を示し、及び、ｖｉは物体カテゴリがｎである物体の実領域位置を示す。
【００９６】
ＣＰＵ１１０は物体の得られたカテゴリについて、その物体の得られたカテゴリとサンプルの物体カテゴリとの間の損失（例えば、第２の損失、すなわち、Ｌｏｓｓ２）を決定する。ここで、サンプルの物体カテゴリは、学習サンプルにおいてラベル付けされた物体のカテゴリに応じて得られることができる。ここで、第２の損失（Ｌｏｓｓ２）は、現在のニューラルネットワークを用いて得られた予測物体カテゴリとサンプルの物体カテゴリ（すなわち、実物体カテゴリ）との間の誤差を示し、この誤差は、例えば距離によって測定される。例えば、第２の損失（Ｌｏｓｓ２）は、以下の式（１３）で得られることができる。
【数９】
2020087463.tif 000011
ここで、ｍは学習サンプル内の物体が属しうる物体カテゴリの数を示し、Ｍは物体カテゴリの最大数を示し、物体カテゴリは学習サンプル内の物体が属する物体カテゴリを示し、ｙｍは物体カテゴリｍ上の物体の実物体カテゴリを示し、及び、ｐｍは物体カテゴリｍ上の物体の予測物体カテゴリを示す。
【００９７】
図１９に戻り、ステップＳ１９２０において、ＣＰＵ１１０は、得られたと決定された全ての損失（第１の損失（Ｌｏｓｓ１）及び第２の損失（Ｌｏｓｓ２））に基づいて、現在のニューラルネットワークが既定の条件を満たすか否かを判定する。例えば、２つの損失の和／重みづけ和が１つの閾値（例えば、ＴＨ９）と比較され、並びに、２つの損失の和／重みづけ和がＴＨ９以下である場合、現在のニューラルネットワークは既定の条件を満たすと判断され、及び、最終的なニューラルネットワークとして（すなわち、事前生成ニューラルネットワークとして）出力され、この最終的なニューラルネットワークは、例えば、図２〜１６に記載されるような物体検出のために、図２に示される記憶デバイス２４０に出力される。２つの損失の和／重み付け和がＴＨ９より大きい場合、現在のニューラルネットワークは既定の条件をまだ満たしていないと判断され、及び、生成処理はステップＳ１９３０に進む。
【００９８】
ステップＳ１９３０において、ＣＰＵ１１０は第１の損失（Ｌｏｓｓ１）及び第２の損失（Ｌｏｓｓ２）に基づいて現在のニューラルネットワークを更新する、すなわち、物体を検出する部分、物体の候補領域を決定する部分、及び現在のニューラルネットワーク内の特徴を抽出する部分の各層のパラメータを順次更新する。ここで、この中の各層のパラメータは、例えば、上述のように、各部分の各畳み込み層における重み付け値である。一例では、各層のパラメータは、例えば、第１の損失（Ｌｏｓｓ１）及び第２の損失（Ｌｏｓｓ２）に基づく確率的勾配降下法を用いて更新される。その後、生成処理はステップＳ１９１０に再び進む。
【００９９】
図１９に示されるフロー１９００では、現在のニューラルネットワークの更新を停止する条件として、２つの損失の和／重みづけ和、すなわち、第１の損失（Ｌｏｓｓ１）及び第２の損失（Ｌｏｓｓ２）が既定の条件を満たすか否かが用いられる。しかし、明らかに、本開示はこれに限定されない。あるいは、例えば、ステップＳ１９２０が省略され、及び、現在のニューラルネットワークの更新回数が既定の回数に達した後に、対応する更新動作が停止させられるようにしてもよい。
【０１００】
（応用例）
また、上述のように、本開示はモニタデバイス（例えば、ネットワークカメラ）によって実装されることができる。そこで、一応用例として、本開示がネットワークカメラによって実装されることを例としてとると、図２０は、本開示に係る画像処理装置２０００の構成例を示している。図２０に示されるように、画像処理装置２０００は、取得デバイス２０１０と、記憶デバイス２０２０と、プロセッサ２０３０とを少なくとも備える。画像処理装置２０００は、不図示の入力デバイス、出力デバイスなどをさらに備えていてもよいのは明らかである。
【０１０１】
図２０に示されるように、まず、取得デバイス２０１０（例えば、ネットワークカメラの光学システム）は、注目位置で画像又は映像を撮像し、及び、撮像された画像又は映像をプロセッサ２０３０に転送する。ここで、上記の注目位置は、例えば、注意が払われる必要がある人物が出現するかどうかをモニタする必要がある地下鉄の入口／出口であってもよい。
【０１０２】
記憶デバイス２０２０は命令を格納し、この格納された命令は、少なくとも、図３〜図１６に記載されるような物体検出方法に対応している命令である。
【０１０３】
プロセッサ２０３０は、このプロセッサが少なくとも図３から図１６に記載されるような物体検出応報を実装し、それによって撮像された画像又は映像内の物体を検出することができるように、撮像された画像又は映像に基づいて格納された命令を実行する。
【０１０４】
また、記憶デバイス２０２０がさらに後続の画像処理指示を格納している場合、例えば、注意が払われる必要がある人物、又はそのような人物が注目位置に出現したか否かを判定する場合には、プロセッサ２０３０は、対応する動作を実装するために、検出された物体に基づいて対応する後続の画像処理指示を実行することもできる。このような場合、外部表示装置が後続の画像処理結果（例えば、出現に注意を払う必要がある人物、注意を払う必要がある人物に関する情報、又はそのようなもの）をユーザに出力しうるように、例えばネットワークを介して、外部表示装置（不図示）が画像処理装置２０００に接続されてもよい。あるいは、上記の後続の画像処理命令は、外部プロセッサ（不図示）を介して実行されることもできる。この場合、上記の後続の画像処理命令は、例えば外部記憶デバイス（不図示）に格納され、及び、画像処理装置２０００、外部記憶デバイス、外部プロセッサ、及び外部表示装置は、例えばネットワークを介して接続される。したがって、外部プロセッサは、画像処理装置２０００によって検出された物体に基づいて、外部記憶デバイスに格納された後続の画像処理命令を実行することができ、及び、外部表示装置は、後続の画像処理結果をユーザに出力することができる。
【０１０５】
また、上述のように、本開示はコンピュータ（例えば、クライアントサーバ）によって実装されることもできる。したがって、一応用例として、本開示がクライアントサーバによって実装されることを例としてとると、図２１は、本開示に係る画像処理システム２１００の構成例を示す。図２１に示されるように、画像処理システム２１００は、取得装置２１１０（例えば、少なくとも１つのネットワークカメラ）と、処理装置２１２０と、図２に示されるような検出装置２００とを備え、この取得装置２１１０と、処理装置２１２０と、検出装置２００とは、ネットワーク２１３０を介して互いに接続されている。ここで、処理装置２１２０と検出装置２００とは、同一のクライアントサーバで実装されてもよいし、及び、異なるクライアントサーバでそれぞれ実装されてもよい。
【０１０６】
図２１に示されるように、まず、取得装置２１１０は注目位置の画像又は映像を撮像し、及び、撮像された画像又は映像をネットワーク２１３０を介して検出装置２００に転送する。ここで、上記の注目位置は、例えば、注意が払われる必要がある人物が出現するかどうかをモニタする必要がある地下鉄の入口／出口であってもよい。
【０１０７】
検出装置２００は、図２から図１６を参照して、撮像された画像又は映像から物体を検出する。
【０１０８】
処理装置２１２０は検出された物体に基づいて、後続の画像処理動作を実行する、例えば、注意を要する人物が注目位置に出現しているか否か、又はそのようなことを判定する。また、対応する画像処理結果（例えば、出現に注意が払われる必要がある人物、注意が払われる必要があるその人物に関する情報、又はそのようなもの）をユーザに出力するために、表示装置又は警告装置は、ネットワーク２１３０を介して接続されていてもよい。上記のユニットはすべて、本開示における処理を実装するための実例的及び／又は好ましいモジュールである。
【０１０９】
これらのユニットは、（フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ、特定用途向け集積回路などのような）ハードウェア・ユニット及び／又は（コンピュータ可読プログラムのような）ソフトウェア・モジュールであってもよい。各ステップを実装するためのユニットは、上記に網羅的に説明されていない。しかしながら、特定の手順を実行するためのステップが存在する場合、同じ手順を実装するための対応する機能モジュール又はユニットが存在してもよい（ハードウェア及び／又はソフトウェアによって実装される）。記載されたステップ及びこれらのステップに対応するユニットによる全ての組み合わせの技術的解決策は、それらによって構成される技術的解決策が完全及び適用可能である限り、本願によって開示される内容に含まれる。
【０１１０】
本開示の方法及び装置は、様々な形態で実装されることができる。例えば、本開示の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の他の組み合わせによって実装されてもよい。本方法のステップの上記の順序は単に実例的なものであり、及び、本開示の方法のステップは、特に断られない限り、上記のそのような順序に限定されない。さらに、いくつかの実施形態においては、本開示は、記録媒体に記録されたプログラムとして実装されてもよく、そのプログラムは、本開示に係る方法を実装するための機械可読命令を含む。したがって、本開示は、本開示に係る方法を実装するためのプログラムを格納する記録媒体も包含する。
【０１１１】
本開示のいくつかの特定の実施形態は、実施例によって詳細に明らかにされたが、当業者には、上記の実施例は実例的なものにすぎず、及び、本開示の範囲を限定しないことは理解されるべきである。加えて、当業者には、上記の実施形態は本開示の範囲及び精神から逸脱することなく修正されうることは理解されるべきである。本開示の範囲は、添付の特許請求の範囲によって制限される。
【図１】
2020087463.tif 000012
【図２】
2020087463.tif 000013
【図３】
2020087463.tif 000014
【図４】
2020087463.tif 000015
【図５Ａ】
2020087463.tif 000016
【図５Ｂ】
2020087463.tif 000017
【図６Ａ】
2020087463.tif 000018
【図６Ｂ】
2020087463.tif 000019
【図７】
2020087463.tif 000020
【図８】
2020087463.tif 000021
【図９】
2020087463.tif 000022
【図１０Ａ】
2020087463.tif 000023
【図１０Ｂ】
2020087463.tif 000024
【図１０Ｃ】
2020087463.tif 000025
【図１１】
2020087463.tif 000026
【図１２】
2020087463.tif 000027
【図１３Ａ】
2020087463.tif 000028
【図１３Ｂ】
2020087463.tif 000029
【図１４】
2020087463.tif 000030
【図１５Ａ】
2020087463.tif 000031
【図１５Ｂ】
2020087463.tif 000032
【図１５Ｃ】
2020087463.tif 000033
【図１６】
2020087463.tif 000034
【図１７Ａ】
2020087463.tif 000035
【図１７Ｂ】
2020087463.tif 000036
【図１８】
2020087463.tif 000037
【図１９】
2020087463.tif 000038
【図２０】
2020087463.tif 000039
【図２１】
2020087463.tif 000040