(57)【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像内において１の物体が占める領域を囲む検出候補枠、前記検出候補枠内で前記１の物体が視認できる領域を含む視認領域、及び前記１の物体の識別クラスを含む検出候補情報を、学習モデルに基づいて物体毎に推論して出力する推論部と、
前記検出候補枠が複数出力されかつ互いに重なる検出候補枠が存在している場合に、当該互いに重なる検出候補枠のうちの一方を他方に統合する統合処理を行う検出候補枠統廃合部と、
前記統合処理後に存在する検出候補枠の各々についての前記検出候補情報を出力する出力部と、
を有し、
前記検出候補枠統廃合部は、前記統合処理において、
前記互いに重なる検出候補枠の一方を前記画像内において相対的に手前側に位置する物体に対応する検出候補枠である前方検出候補枠として特定し、
前記互いに重なる検出候補枠の他方を前記画像内において相対的に奥側に位置する物体に対応する検出候補枠である後方検出候補枠として特定し、
前記後方検出候補枠内の前記視認領域の大きさに基づいて、前記後方検出候補枠における前記物体の存在確率を算出し、
算出された前記存在確率に基づいて、前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定することを特徴とする物体検出装置。
【請求項２】
前記検出候補枠統廃合部は、前記互いに重なる検出候補枠の各々についての前記視認領域の面積に基づいて、前記前方検出候補枠及び前記後方検出候補枠を特定することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記検出候補枠統廃合部は、前記後方検出候補枠について算出された前記存在確率と閾値とを比較し、比較結果に基づいて、前記後方検出候補枠を前記前方検出候補枠に統合するか否かを決定することを特徴とする請求項１又は２に記載の物体検出装置。
【請求項４】
前記検出候補枠統廃合部は、前記後方検出候補枠について算出された前記存在確率が前記閾値よりも低い場合には、前記後方検出候補枠を前記前方検出候補枠に統合し、
前記後方検出候補枠について算出された前記存在確率が前記閾値よりも高い場合には、前記後方検出候補枠と前記前方検出候補枠とを統合しないことを特徴とする請求項３に記載の物体検出装置。
【請求項５】
学習モデルに基づいて画像内の物体を検出する検出装置が実行する物体検出方法であって、
画像を取得するステップと、
前記画像内において１の物体が占める領域を囲む検出候補枠、前記検出候補枠内で前記１の物体が視認できる領域を含む視認領域、及び前記１の物体の識別クラスを含む検出候補情報を、学習モデルに基づいて物体毎に推論して出力するステップと、
前記検出候補枠が複数出力されかつ互いに重なる検出候補枠が存在している場合に、当該互いに重なる検出候補枠のうちの一方を他方に統合する統合処理を行うステップと、
前記統合処理後に存在する検出候補枠の各々についての前記検出候補情報を出力するステップと、
を有し、
前記統合処理を行うステップは、
前記互いに重なる検出候補枠の一方を前記画像内において相対的に手前側に位置する物体に対応する検出候補枠である前方検出候補枠として特定するステップと、
前記互いに重なる検出候補枠の他方を前記画像内において相対的に奥側に位置する物体に対応する検出候補枠である後方検出候補枠として特定するステップと、
前記後方検出候補枠内の前記視認領域の大きさに基づいて、前記後方検出候補枠における前記物体の存在確率を算出するステップと、
算出された前記存在確率に基づいて、前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定するステップと、
を含むことを特徴とする物体検出方法。
【請求項６】
前記前方検出候補枠を特定するステップ及び前記後方検出候補枠を特定するステップでは、前記互いに重なる検出候補枠の各々についての前記視認領域の面積に基づいて、前記前方検出候補枠及び前記後方検出候補枠を特定することを特徴とする請求項５に記載の物体検出方法。
【請求項７】
前記統合処理を行うステップは、前記後方検出候補枠について算出された前記存在確率と閾値とを比較するステップを含み、
前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定するステップでは、前記存在確率と前記閾値との比較結果に基づいて、前記後方検出候補枠を前記前方検出候補枠に統合するか否かを決定することを特徴とする請求項５又は６に記載の物体検出方法。
【請求項８】
前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定するステップでは、前記後方検出候補枠について算出された前記存在確率が前記閾値よりも低い場合には、前記後方検出候補枠を前記前方検出候補枠に統合すると決定し、
前記後方検出候補枠について算出された前記存在確率が前記閾値よりも高い場合には、前記後方検出候補枠と前記前方検出候補枠とを統合しないと決定することを特徴とする請求項７に記載の物体検出方法。
【請求項９】
コンピュータに、
画像を取得するステップと、
前記画像内において１の物体が占める領域を囲む検出候補枠、前記検出候補枠内で前記１の物体が視認できる領域を含む視認領域、及び前記１の物体の識別クラスを含む検出候補情報を、学習モデルに基づいて物体毎に推論して出力するステップと、
前記検出候補枠が複数出力されかつ互いに重なる検出候補枠が存在している場合に、  前記互いに重なる検出候補枠の一方を前記画像内において相対的に手前側に位置する物体に対応する検出候補枠である前方検出候補枠として特定するステップと、
前記互いに重なる検出候補枠の他方を前記画像内において相対的に奥側に位置する物体に対応する検出候補枠である後方検出候補枠として特定するステップと、
前記後方検出候補枠内の前記視認領域の大きさに基づいて、前記後方検出候補枠における前記物体の存在確率を算出するステップと、
算出された前記存在確率に基づいて、前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定するステップと、
前記決定に応じて行われた統合処理後に存在する検出候補枠の各々についての前記検出候補情報を出力するステップと、
を実行させることを特徴とするプログラム。
【請求項１０】
前記前方検出候補枠を特定するステップ及び前記後方検出候補枠を特定するステップでは、前記互いに重なる検出候補枠の各々についての前記視認領域の面積に基づいて、前記前方検出候補枠及び前記後方検出候補枠を特定することを特徴とする請求項９に記載のプログラム。
【請求項１１】
前記後方検出候補枠における前記物体の存在確率を算出するステップにおいて算出された存在確率と閾値とを比較するステップを含み、
前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定するステップでは、前記存在確率と前記閾値との比較結果に基づいて、前記後方検出候補枠を前記前方検出候補枠に統合するか否かを決定することを特徴とする請求項９又は１０に記載のプログラム。
【請求項１２】
前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定するステップでは、前記後方検出候補枠について算出された前記存在確率が前記閾値よりも低い場合には、前記後方検出候補枠を前記前方検出候補枠に統合すると決定し、
前記後方検出候補枠について算出された前記存在確率が前記閾値よりも高い場合には、前記後方検出候補枠と前記前方検出候補枠とを統合しないと決定することを特徴とする請求項１１に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置、物体検出方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
監視カメラ等により撮影された画像から、人や車等の物体を検出してカウントすることが行われている。近年では、ディープラーニングを利用して画像中にある物体の検出と識別とを同時に実行する物体検出方法が多く提案されており、検出の高精度化が図られている。
【０００３】
例えば、非特許文献１では、様々なサイズの特徴マップと矩形の形を変化させるデフォルトボックス（以下、検出候補枠と称する）を用意し、最終層で損失関数を計算することにより、様々なサイズの検出枠の位置と枠サイズの推定と物体の識別クラス（例えば、車、人物、自転車等）とを同時に推論している。検出候補枠は特徴マップの数に比例して準備されるため、推論の際には複数の特徴マップに対応した複数の検出候補枠が発生することになる。
【０００４】
一般的な物体検出でマルチスケールな物体に対応しようとすると、そのサイズに対応した複数の検出候補枠を準備する必要がある。複数の検出候補枠が発生した場合、例えばnon-maximum suppression (nms)の手法を用いて、検出候補枠の中で信頼度（スコア）が極大となる検出候補枠を選択し、最終的な検出枠とすることが行われている。
【０００５】
しかし、nmsの手法では、例えば検出枠を示す矩形同士の重なりが大きい場合、２つの検出枠のうちの一方が選択され、他方は削除される。このため、例えば画像中に複数の物体が重なって表示されている場合、各々の物体についての検出枠を示す矩形の重なりが大きくなるため、それらの矩形が物体の検出枠としてそれぞれ正しい解であったとしても、どちらかが削除されてしまう。したがって、複数の物体間の重なりが大きい場合には、nmsの手法では対応することが難しい。nmsの閾値を調整して、重なりが大きい検出候補枠を削除せずに出力することも考えられるが、その場合、重なりの大きい誤検出を大量に出力するというトレードオフがあるため、nmsの調整だけでは解決が困難である。
【０００６】
そこで、非特許文献２では、検出枠の位置及び物体の識別クラスの学習に加え、重なりのある対象を検出する際に有用となる物体数情報を学習する手法が提案されている。学習した物体数情報は、推論時には検出候補枠毎に物体数として出力される。非特許文献２の手法では、検出候補枠の物体数の和が１となるように検出候補枠の統合処理を行っている。
【先行技術文献】
【特許文献】
【０００７】
【非特許文献１】Wei Liu, et al.,“SSD: Single Shot MultiBox Detector”, ECCV2016
【非特許文献２】鈴木哲明, 渕上弘光, 宮野博義, 「局所的な物体数推定に基づく重なりに頑健な物体検出」, 第２１回画像の認識・理解シンポジウム, ２０１８年６月
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の通り、非特許文献１にnmsを組み合わせた手法では、複数の物体同士が重なっている場合には精度の高い検出を行うことができないという問題があった。
【０００９】
一方、非特許文献２の手法は、物体同士の重なりがある場合には有用であるものの、物体同士の重なりがない場合には検出の精度が低下する可能性がある。例えば、１つの物体につき３つの検出候補枠が発生する場合、枠の統合後の物体数が１になるように、各検出候補枠に紐づけられる物体数はそれぞれ１／３となる。物体数を１つと判定するための閾値を０．８とすると、３つの検出候補枠のうちの１つが物体から外れた位置に発生した場合、残りの２つの検出候補枠の物体数の和である２／３が閾値（０．８）を満たさなくなり、物体は未検出として扱われてしまう。また、このような事態を避けるために閾値を低く設定すると、誤検出が発生してしまうという問題があった。
【００１０】
本発明は上記問題点に鑑みてなされたものであり、物体同士の重なりの有無にかかわらず精度の高い物体検出を行うことが可能な物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る物体検出装置は、画像を取得する画像取得部と、前記画像内において１の物体が占める領域を囲む検出候補枠、前記検出候補枠内で前記１の物体が視認できる領域を含む視認領域、及び前記１の物体の識別クラスを含む検出候補情報を、学習モデルに基づいて物体毎に推論して出力する推論部と、前記検出候補枠が複数出力されかつ互いに重なる検出候補枠が存在している場合に、当該互いに重なる検出候補枠のうちの一方を他方に統合する統合処理を行う検出候補枠統廃合部と、前記統合処理後に存在する検出候補枠の各々についての前記検出候補情報を出力する出力部と、を有し、前記検出候補枠統廃合部は、前記統合処理において、前記互いに重なる検出候補枠の一方を前記画像内において相対的に手前側に位置する物体に対応する検出候補枠である前方検出候補枠として特定し、前記互いに重なる検出候補枠の他方を前記画像内において相対的に奥側に位置する物体に対応する検出候補枠である後方検出候補枠として特定し、前記後方検出候補枠内の前記視認領域の大きさに基づいて、前記後方検出候補枠における前記物体の存在確率を算出し、算出された前記存在確率に基づいて、前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定することを特徴とする。
【００１２】
また、本発明に係る物体検出方法は、学習モデルに基づいて画像内の物体を検出する検出装置が実行する物体検出方法であって、画像を取得するステップと、前記画像内において１の物体が占める領域を囲む検出候補枠、前記検出候補枠内で前記１の物体が視認できる領域を含む視認領域、及び前記１の物体の識別クラスを含む検出候補情報を、学習モデルに基づいて物体毎に推論して出力するステップと、前記検出候補枠が複数出力されかつ互いに重なる検出候補枠が存在している場合に、当該互いに重なる検出候補枠のうちの一方を他方に統合する統合処理を行うステップと、前記統合処理後に存在する検出候補枠の各々についての前記検出候補情報を出力するステップと、を有し、前記統合処理を行うステップは、前記互いに重なる検出候補枠の一方を前記画像内において相対的に手前側に位置する物体に対応する検出候補枠である前方検出候補枠として特定するステップと、前記互いに重なる検出候補枠の他方を前記画像内において相対的に奥側に位置する物体に対応する検出候補枠である後方検出候補枠として特定するステップと、前記後方検出候補枠内の前記視認領域の大きさに基づいて、前記後方検出候補枠における前記物体の存在確率を算出するステップと、算出された前記存在確率に基づいて、前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定するステップと、を含むことを特徴とする。
【００１３】
また、本発明に係るプログラムは、コンピュータに、画像を取得するステップと、前記画像内において１の物体が占める領域を囲む検出候補枠、前記検出候補枠内で前記１の物体が視認できる領域を含む視認領域、及び前記１の物体の識別クラスを含む検出候補情報を、学習モデルに基づいて物体毎に推論して出力するステップと、前記検出候補枠が複数出力されかつ互いに重なる検出候補枠が存在している場合に、前記互いに重なる検出候補枠の一方を前記画像内において相対的に手前側に位置する物体に対応する検出候補枠である前方検出候補枠として特定するステップと、前記互いに重なる検出候補枠の他方を前記画像内において相対的に奥側に位置する物体に対応する検出候補枠である後方検出候補枠として特定するステップと、前記後方検出候補枠内の前記視認領域の大きさに基づいて、前記後方検出候補枠における前記物体の存在確率を算出するステップと、算出された前記存在確率に基づいて、前記前方検出候補枠と前記後方検出候補枠とを統合するか否かを決定するステップと、前記決定に応じて行われた統合処理後に存在する検出候補枠の各々についての前記検出候補情報を出力するステップと、を実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、物体同士の重なりの有無にかかわらず精度の高い物体検出を行うことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例１に係る物体検出装置の構成を示すブロック図である。
【図２】ターゲットの前方に遮蔽物が存在する場合の検出候補枠及び視認領域枠を模式的に示す図である。
【図３】ターゲットが重なって表示されている場合に選択される前方検出候補枠の例を示す図である。
【図４】ターゲットが重なって表示されている場合に算出される後方領域の例を示す図である。
【図５】ターゲットが重なって表示されている場合に算出される後方視認領域の例を示す図である。
【図６】誤検出が生じた際の枠の統合の流れを模式的に示す図である。
【図７】複数のターゲットの前方に遮蔽物が存在する場合を模式的に示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について、図面を参照して説明する。なお、以下の各実施例における説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
【実施例】
【００１７】
図１は、本実施例の物体検出装置１００の構成を示すブロック図である。物体検出装置１００は、畳み込みニューラルネットワークを用いて画像内の物体を検出する検出装置である。物体検出装置１００は、物体学習部１０及び物体推定部２０から構成されている。
【００１８】
物体検出装置１００は、ＳＳＤ（Single Shot Multibox Detector）の手法に基づいて、画像内の物体の検出を行う。ＳＳＤでは、検出する物体のサイズ及びアスペクト比に対応した矩形パターンの検出候補枠（デフォルトボックス）を画像に重畳して表示させ、物体の位置、大きさ及び識別クラス（例えば、車、人物、自転車等）の推論を行う。換言すれば、検出候補枠は、画像内で１の物体が占める領域を囲む矩形パターンの枠である。
【００１９】
また、本実施例では、検出候補枠とは別に、検出候補枠内において物体が視認できる領域を含む領域範囲を「視認領域」として表示させる。例えば、本実施例では、検出対象の物体が遮蔽されることなく視認可能に表示されている領域を含む矩形の領域が視認領域として表示される。以下の説明では、視認領域を示す矩形パターンの枠を視認領域枠と称する。
【００２０】
図２は、検出対象の物体がヒト（人物）であり、物体の前に遮蔽物が存在している場合の検出候補枠ＤＦ及び視認領域枠ＶＦを模式的に示す図である。検出候補枠ＤＦは、遮蔽物ＳＬによって遮蔽されている領域も含めた人物全体の位置及び大きさを示している。一方、視認領域枠ＶＦは、画像内の人物のうち遮蔽物ＳＬによって遮蔽されていない視認領域の位置及び範囲を示している。
【００２１】
再び図１を参照すると、物体学習部１０は、物体検出のための深層学習（ディープラーニング）を行う学習装置であり、データ保管部１１、学習部１２及び学習モデル１３を有する。
【００２２】
データ保管部１１は、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）等の半導体記憶装置から構成されている。データ保管部１１は、学習部１２が学習に用いるデータ（以下、学習データと称する）を保管する。例えば、本実施例では、学習対象としての画像、当該画像内の物体についての検出候補枠の正解を示す物体検出正解枠、物体の識別クラス、視認領域枠等のデータが、学習データとしてデータ保管部１１に保管されている。
【００２３】
学習部１２は、データ保管部１１に保管されている学習データの入力を受け、ＳＳＤの手法に基づく物体検出の深層学習を行い、学習モデル（すなわち、深層学習の手法を用いて構築された数理モデル）を生成する。例えば、学習部１２は識別クラス、物体検出正解枠、視認領域枠の３種のデータを学習に用い、この学習に基づいて、畳み込みニューラルネットワークの重み付け係数等のパラメータが学習モデルとして生成される。
【００２４】
学習モデル記憶部１３は、フラッシュメモリやＨＤＤ等の半導体記憶装置から構成され、学習部１２により生成された学習モデルを記憶する。
【００２５】
物体推定部２０は、ＣＰＵ（Central Processing Unit）等の処理制御部から構成され、物体学習部１０の学習により生成された学習モデルに基づいて、画像内の物体の推定（すなわち、物体検出）を行う。
【００２６】
なお、本実施例の物体推定部２０は、画像内で複数の検出候補枠に重なりが生じており、複数の物体が重なっている可能性がある場合に、検出候補枠の統合処理を行うことによって適切な検出候補枠を出力することが可能に構成されている。
【００２７】
物体推定部２０は、画像取得部２１、推論部２２、検出候補枠統廃合部２３及び出力部２４を有する。これらの機能ブロックは、例えば物体推定部２０が所定のプログラムを実行することにより形成される。
【００２８】
画像取得部２１は、検出対象の物体を含む画像を取得する。画像取得部２１は、カメラ等の撮像装置から構成されていてもよく、他の撮像装置で撮影された画像を外部から取得するように構成されていてもよい。
【００２９】
推論部２２は、学習モデル記憶部１３に記憶されている学習モデルに基づいて、画像取得部２１によって取得された画像内の物体についての検出候補枠、物体の識別クラス、及び視認領域枠を推論する。以下の説明では、１の物体についての検出候補枠、視認領域枠及び識別クラスを「検出候補情報」とも称する。
【００３０】
検出候補枠統廃合部２３は、推論部２２によって推論された複数の検出候補枠の統合処理を行う。なお、本実施例では、重なりがある一対の検出候補枠のうちの一方を廃して他方のみを検出候補枠として残すことを「統合する」と称する。また、検出候補枠統廃合部２３が実行する「統合処理」は、実際に検出候補枠を統合する場合の処理の他、検出候補枠を統合しないと決定して、両方の検出候補枠をそのまま残す場合の処理を含む。
【００３１】
検出候補枠統廃合部２３は、全体重なり選択部２３１、前方候補枠選択部２３２、後方候補枠重なり選択部２３３、後方領域計算部２３４、後方視認領域計算部２３５、物体存在確率計算部２３６、閾値処理部２３７及び枠統合決定部２３８を有する。
【００３２】
全体重なり選択部２３１は、推論部によって推論された全体の検出候補枠から重なっている検出候補枠を選択する。
【００３３】
前方候補枠選択部２３２は、重なっている複数の検出候補枠のうち画像内で相対的に手前側に位置する物体に対応する検出候補枠を「前方検出候補枠」として選択する。
【００３４】
後方候補枠重なり選択部２３３は、全体重なり選択部２３１により選択された検出候補枠（すなわち、重なっている検出候補枠）のうち、前方候補枠選択部２３２により選択された前方検出候補枠以外の検出候補枠を「後方検出候補枠」として選択する。これにより、画像内で相対的に奥側に位置する物体に対応する検出候補枠が後方検出候補枠として選択される。
【００３５】
後方領域計算部２３４は、後方検出候補枠の中の前方検出候補枠と重なっていない領域を「後方領域」として算出する。
【００３６】
後方視認領域計算部２３５は、後方検出候補枠内における物体の視認領域を「後方視認領域」として算出する。
【００３７】
物体存在確率計算部２３６は、後方領域計算部２３４により算出された後方領域と後方視認領域計算部２３５により算出された後方視認領域とに基づいて、後方検出候補枠内における物体の存在確率を算出する。
【００３８】
閾値処理部２３７は、物体存在確率計算部２３６により算出された物体の存在確率と閾値とを比較する処理を行う。
【００３９】
枠統合決定部２３８は、閾値処理部２３７の処理結果に基づいて、重なっている検出候補枠を統合するか否かを決定する。
【００４０】
出力部２４は、検出候補枠統廃合部２３による統合処理後に存在する検出候補枠についての検出候補情報（検出候補枠、視認領域及び物体の識別クラス）を物体推定の結果として出力する。例えば、出力部２４は、画像取得部２１により取得された画像に検出候補枠及び視認領域枠の各々を示す矩形パターンの枠を表示させた画像を出力する。また、出力部２４は、例えば検出候補枠の色に差異を設けることにより、物体の識別クラスの情報を画像に重畳して出力する。
【００４１】
次に、本実施例の物体検出装置１００が実行する物体検出の動作について説明する。なお、ここでは検出対象の物体が人物であり、画像中で２人の人物が重なって表示されている場合を例として説明を行う。
【００４２】
物体推定部２０の推論部２２は、画像取得部２１から画像を取得し、学習モデル記憶部１３に記憶されている学習モデルに基づいて推論を行う。推論部２２は、推論により得られた多数の検出候補枠、視認領域枠、及び物体の識別クラスの情報を検出候補枠統廃合部２３に出力する。
【００４３】
検出候補枠統廃合部２３の全体重なり選択部２３１は、推論部２２から多数の検出候補枠の入力を受け、その中から枠同士の重なりが発生している複数の検出候補枠を選択する。
【００４４】
前方候補枠選択部２３２は、全体重なり選択部２３１により選択された検出候補枠の各々について、検出候補枠に占める視認領域枠の面積の割合（すなわち、視認領域枠の面積／検出候補枠の面積）を視認率として算出する。そして、前方候補枠選択部２３２は、視認率が最も高い検出候補枠を前方検出候補枠として選択する。
【００４５】
後方重なり選択部２３３は、全体重なり選択部２３１により選択された複数の検出候補枠のうち、前方検出候補枠を除外したものを後方検出候補枠として選択する。
【００４６】
図３は、前方候補枠選択部２３２によって選択される前方検出候補枠ＦＦ、及び後方重なり選択部２３３によって選択される後方検出候補枠ＢＦの例を示す図である。なお、ここでは画像中の物体が存在する領域のみを抽出して示している。
【００４７】
画像内で人物Ｐ１が人物Ｐ２よりも前方、すなわち手前側に位置しているため、人物Ｐ１の方が人物Ｐ２よりも視認率が高い。このため、人物Ｐ１の検出候補枠が前方検出候補枠ＦＦ、人物Ｐ２の検出候補枠が後方検出候補枠ＢＦとして選択される。
【００４８】
次に、後方領域計算部２３４は、前方検出候補枠ＦＦ及び後方検出候補枠ＢＦに基づいて、後方の物体の枠領域である後方領域を算出する。例えば、後方検出候補枠ＢＦの領域を第１領域Ａ、前方検出候補枠ＦＦの領域を第２領域Ｂとすると、後方領域は次の数式（１）のように表される。
【００４９】
【数１】
0006891984.tif 000002
【００５０】
図４は、後方領域計算部２３４によって算出される後方領域ＲＡの例を示す図である。斜線で示すように、後方検出候補枠ＢＦのうち前方検出候補枠ＦＦと重なっていない部分の領域が後方領域ＲＡとして算出される。
【００５１】
一方、後方視認領域計算部２３５は、後方検出候補枠ＢＦの視認領域に基づいて、後方の物体の視認領域を後方視認領域として算出する。例えば、後方検出候補枠ＢＦの視認領域をＶAとすると、後方視認領域は次の数式（２）のように表される。
【００５２】
【数２】
0006891984.tif 000003
【００５３】
図５は、後方視認領域計算部２３５によって算出される後方視認領域ＢＶＡの例を示す図である。斜線で示すように、後方の人物Ｐ２の視認領域が後方視認領域ＢＶＡとして算出される。
【００５４】
物体存在確率計算部２３６は、後方領域計算部２３４により算出された後方領域ＲＡと、後方視認領域計算部２３５により算出された後方視認領域ＢＶＡとに基づいて、後方領域ＲＡに占める後方視認領域ＢＶＡの割合を、後方の物体についての物体存在確率として算出する。後方の物体の物体存在確率は、次の数式（３）のように表される。
【００５５】
【数３】
0006891984.tif 000004
【００５６】
例えば、後方視認領域ＢＶＡの割合が大きい場合、後方に物体が存在する蓋然性が高いため、物体存在確率が高くなる。これに対し、後方視認領域ＢＶＡの割合が小さい場合、後方に物体が存在する蓋然性が低いため、物体存在確率が低くなる。
【００５７】
閾値処理部２３７は、物体存在確率計算部により算出された物体存在確率を所定の閾値と比較し、後方の物体の存在確率が閾値以上なのか閾値未満なのかを判定する。
【００５８】
枠統合決定部２３８は、閾値処理部２３７の判定結果に基づいて、検出後方枠の統合を行うか否かを決定する。例えば、後方の物体についての物体存在確率が閾値以上であると判定された場合、後方に物体が存在すると判断して、検出候補枠の統合を行わないと決定する。図３〜図５に示したように、前方の人物Ｐ１と重なる位置に後方の人物Ｐ２が存在している場合、検出候補枠の統合は行われず、前方検出候補枠ＦＦが人物Ｐ１の検出候補枠として、後方検出候補枠ＢＦが人物Ｐ２の検出候補枠として、それぞれ出力される。
【００５９】
一方、後方の物体についての物体存在確率が閾値未満であると判定された場合、枠統合決定部２３８は、後方に物体が存在しないと判断して、検出候補枠の統合を行うと決定する。例えば、物体同士の重なりが存在しないにもかかわらず、後方の物体が存在するかのように検出候補枠が誤検出された場合に、検出候補枠の統合が行われる。
【００６０】
図６は、このような検出候補枠の誤検出が生じた場合における、検出候補枠の統合の流れを模式的に示す図である。ここでは、図中に黒塗りで示す領域が後方の物体の視認領域ＢＶＡとして誤検出され、実線で示すような検出候補枠が後方検出候補枠ＢＦとして誤検出された場合を示している。
【００６１】
前方候補枠選択部２３２は、重なっている検出候補枠のうち視認率が最も高い検出候補枠を前方検出候補枠として選択する。ここでは、前方検出候補枠ＦＦの視認率が高いため、人物Ｐ１が前方に位置する人物として選択される。これにより図中に破線で示すような検出候補枠が前方検出候補枠ＦＦとして選択される。一方、後方候補枠重なり選択部２３３は、実線で示す検出候補枠を後方検出候補枠ＢＦとして選択する（ＳＴＥＰ１）。
【００６２】
後方領域計算部２３４は、後方検出候補枠の中の前方検出候補枠と重なっていない領域、すなわち図中に斜線で示すような領域を後方領域ＲＡとして算出する。また、後方視認領域計算部２３５は、図中に黒塗りで示す領域を後方視認領域ＢＶＡとして算出する（ＳＴＥＰ２）。
【００６３】
物体存在確率計算部２３６は、後方領域ＲＡに占める後方視認領域ＢＶＡの割合を、後方の物体についての物体存在確率として算出する。閾値処理部２３７は、算出された物体存在確率と閾値との比較を行う。例えば、閾値の値が０．６だとすると、図６に示す例において後方視認領域ＢＶＡの面積が後方領域ＲＡの面積に占める割合が０．６に満たないため、物体存在確率は閾値未満であると判定される（ＳＴＥＰ３）。
【００６４】
枠統合決定部２３８は、閾値処理部２３７の処理結果に基づいて、検出候補枠の統合を行うか否かを決定する。ここでは、物体存在確率が閾値未満であるため、検出枠の統合が行われる。具体的には、後方検出候補枠ＢＦＦが廃され、図６に破線で示す前方検出候補枠ＦＦのみが検出候補枠として出力される（ＳＴＥＰ４）。
【００６５】
以上のように、本実施例の物体検出装置１００では、視認率に基づいて後方の物体について物体存在確率を算出し、検出候補枠を統合するか否かを決定する。物体存在確率が高い場合には、画像内で物体同士の重なりが生じている可能性が高いため、検出候補枠の統合を行わない。一方、物体存在確率が低い場合には、後方の物体が存在せず、画像内で物体同士の重なりが生じていない可能性が高いため、後方検出候補枠を廃して前方検出候補枠のみを検出候補枠とする検出候補枠の統合を行う。
【００６６】
したがって、本実施例の物体検出装置１００によれば、マルチスケールに対応した物体検出において検出候補枠が多数発生した場合にも、物体存在確率に応じて検出枠の統合を適宜行うことにより、物体同士の重なり発生時の物体検出の精度劣化を防ぐことができる。また、重なりが発生しない場合の精度も担保することができる。すなわち、本実施例の物体検出装置１００によれば、物体同士の重なりの有無にかかわらず、精度の高い物体検出を行うことが可能となる。
【００６７】
なお、本発明の実施形態は、上記実施例に記載したものに限られない。例えば、上記実施例では、閾値処理部２３７が所定の閾値を用いて処理を行う例について説明したが、閾値の値は動的に変更可能である。
【００６８】
例えば、図７に示すように、人物Ｐ１及び人物Ｐ２の両方を遮蔽するように遮蔽物ＳＬが存在している場合、算出される物体存在確率が小さいため、閾値を高い値（例えば、０．８等）に設定していると、物体存在確率が閾値未満であると判定される。その結果、検出候補枠の統合が行われ、後方の物体として人物Ｐ２が存在しているにもかかわらず、後方検出候補枠ＢＦが出力されなくなってしまう。そこで、例えば前方検出候補枠ＦＦの視認率に応じて閾値の値を変更し、視認率が低い場合には閾値を小さくすることにより、検出候補枠の統合が誤ってなされてしまうことを抑制することができる。
【００６９】
また、上記実施例では、検出対象を人物として、画像中で２人の人物が重なって表示されている場合について説明した。しかし、検出対象は人物に限られず、犬や猫等の人間以外の生物であってもよく、車や自転車等の無生物であってもよい。また、重なっている物体の数が３つ以上の場合にも応用することが可能である。
【００７０】
また、上記実施例では、推論部２２が学習モデルに基づいて視認領域枠の推論を行う例について説明した。しかし、画像中の画素毎に識別クラスを検出するセグメンテーションの手法を用いて、画素単位の視認領域を求めてもよい。
【００７１】
また、上記実施例で説明した一連の処理は、例えばＲＯＭなどの記録媒体に格納されたプログラムに従ったコンピュータ処理により行うことができる。
【符号の説明】
【００７２】
１００  物体検出装置
１０  物体学習部
１１  データ保管部
１２  学習部
１３  学習モデル記憶部
２０  物体推定部
２１  画像取得部
２２  推論部
２４  出力部
２３  検出候補枠統廃合部
２３１  全体重なり選択部
２３２  前方候補枠選択部
２３３  後方候補枠重なり選択部
２３４  後方領域計算部
２３５  後方視認領域計算部
２３６  物体存在確率計算部
２３７  閾値処理部
２３８  枠統合決定部
【要約】
【課題】物体同士の重なりの有無にかかわらず精度の高い物体検出を行うことが可能な物体検出装置を提供する。
【解決手段】画像を取得する画像取得部と、画像内で物体が占める領域を囲む検出候補枠、検出候補枠内で物体が視認できる領域を含む視認領域、及び物体の識別クラスを含む検出候補情報を、学習モデルに基づいて推論して出力する推論部と、検出候補枠が複数出力されかつ互いに重なる場合に、一方を他方に統合する統合処理を行う検出候補枠統廃合部と、統合処理後の検出候補情報を出力する出力部と、を有する。検出候補枠統廃合部は、統合処理において、互いに重なる検出候補枠のうち手前側を前方検出候補枠、奥側を後方検出候補枠として特定し、後方検出候補枠内の視認領域の大きさに基づいて後方検出候補領域における物体の存在確率を算出し、前方検出候補枠と後方検出候補枠とを統合するか否かを決定する。
【選択図】図１【図１】
0006891984.tif 000005
【図２】
0006891984.tif 000006
【図３】
0006891984.tif 000007
【図４】
0006891984.tif 000008
【図５】
0006891984.tif 000009
【図６】
0006891984.tif 000010
【図７】
0006891984.tif 000011