(57)【要約】      （修正有）【課題】物体検出における誤検出低減方法及び装置を提供する。【解決手段】入力動画のフレーム画像から所望の物体の候補を検出候補として検出する検出手段１０１と、フレーム画像中の検出候補に対して、その位置関係をもとに互いに重複する又は近傍に位置する候補を求めてグループ化するグルーピング手段１０２と、グルーピング手段でグループ化した検出候補に対応する異なる時刻の検出出力を求め、更に、求めた異なる時刻の検出出力に対応する検出候補をグループ化した検出候補の中から求めることにより、検出候補が所望の物体であるかどうかを判定する物体判定手段１Ｂを備える。【選択図】図１
2016207106.tif 000002
【特許請求の範囲】
【請求項１】
入力動画のフレーム画像から所定の物体の候補を検出候補として検出する検出手段と、
前記フレーム画像中の検出候補に対して、その位置関係をもとに互いに重複する、または、近傍に位置する候補を求めてグループ化するグルーピング手段と、
前記グルーピング手段でグループ化した検出候補に対応する異なる時刻の検出出力を求め、更に、求めた前記異なる時刻の検出出力に対応する検出候補を前記グループ化した検出候補の中から求めることにより、前記検出候補が前記物体であるかどうかを判定する物体判定手段
を備えることを特徴とする物体検出装置。
【請求項２】
前記物体判定手段は、前記グルーピング手段でグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在する場合に、異なる時刻の検出出力に対応付けられた前記検出候補を第一の対応結果とし、折り返し、前記求めた異なる時刻の検出出力から前記グループ化した検出候補の中に対応する検出候補を求めて対応付けられた検出候補を第二の対応結果とし、前記第一の対応結果と前記第二の対応結果が一致する場合に前記検出候補を前記物体と判定することを特徴とする請求項１に記載の物体検出装置。
前記第一の対応結果を求める際、前記グループ化した物体の検出候補と異なる時刻の検出出力の類似度を計算し、所定の閾値と比較する手段をさらに有することを特徴とする。
【請求項３】
前記物体判定手段は、前記グルーピング手段でグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在しない場合に、前記異なる時刻の検出出力が前記検出候補を包含する位置関係にあるかどうかを判断し、包含する位置関係にある場合に前記検出候補を前記物体でないと判定することを特徴とする請求項1に記載の物体検出装置。
【請求項４】
前記異なる時刻の検出出力は、現在フレーム画像より以前のフレーム画像に物体として確定した検出結果と、現在フレーム画像より未来のフレーム画像に検出した物体の候補を含むことを特徴とする前記請求項１乃至請求項３の何れか一項に記載の物体検出装置。
【請求項５】
入力動画のフレーム画像から所定の物体の候補を検出候補として検出する検出ステップと、
前記フレーム画像中の検出候補に対して、その位置関係をもとに互いに重複する、または、近傍に位置する候補を求めてグループ化するグルーピングステップと、
前記グルーピングステップでグループ化した検出候補に対応する異なる時刻の検出出力を求め、更に、求めた前記異なる時刻の検出出力に対応する検出候補を前記グループ化した検出候補の中から求めることにより、前記検出候補が前記物体であるかどうかを判定する物体判定ステップ
を備えることを特徴とする物体検出方法。
【請求項６】
前記物体判定ステップは、前記グルーピングステップでグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在する場合に、異なる時刻の検出出力に対応付けられた前記検出候補を第一の対応結果とし、折り返し、前記求めた異なる時刻の検出出力から前記グループ化した検出候補の中に対応する検出候補を求めて対応付けられた検出候補を第二の対応結果とし、前記第一の対応結果と前記第二の対応結果が一致する場合に前記検出候補を前記物体と判定することを特徴とする請求項５に記載の物体検出方法。
前記第一の対応結果を求める際、前記グループ化した物体の検出候補と異なる時刻の検出出力の類似度を計算し、所定の閾値と比較するステップをさらに有することを特徴とする。
【請求項７】
前記物体判定ステップは、前記グルーピングステップでグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在しない場合に、前記異なる時刻の検出出力が前記検出候補を包含する位置関係にあるかどうかを判断し、包含する位置関係にある場合に前記検出候補を前記物体でないと判定することを特徴とする請求項５に記載の物体検出方法。
【請求項８】
前記異なる時刻の検出出力は、現在フレーム画像より以前のフレーム画像に物体として確定した検出結果と、現在フレーム画像より未来のフレーム画像に検出した物体の候補を含むことを特徴とする前記請求項５乃至請求項７の何れか一項に記載の物体検出方法。
【請求項９】
入力動画のフレーム画像から所定の物体の候補を検出候補として検出する検出手順と、
前記フレーム画像中の検出候補に対して、その位置関係をもとに互いに重複する、または、近傍に位置する候補を求めてグループ化するグルーピング手順と、
前記グルーピングステップでグループ化した検出候補に対応する異なる時刻の検出出力を求め、更に、求めた前記異なる時刻の検出出力に対応する検出候補を前記グループ化した検出候補の中から求めることにより、前記検出候補が前記物体であるかどうかを判定する物体判定手順
を備えコンピュータに実行させるためのプログラム。
【請求項１０】
前記物体判定手順は、前記グルーピング手段でグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在する場合に、異なる時刻の検出出力に対応付けられた前記検出候補を第一の対応結果とし、折り返し、前記求めた異なる時刻の検出出力から前記グループ化した検出候補の中に対応する検出候補を求めて対応付けられた検出候補を第二の対応結果とし、前記第一の対応結果と前記第二の対応結果が一致する場合に前記検出候補を前記物体と判定することを特徴とする請求項９に記載の物体検出手順と
を備えコンピュータに実行させるためのプログラム。
前記第一の対応結果を求める際、前記グループ化した物体の検出候補と異なる時刻の検出出力の類似度を計算し、所定の閾値と比較する手順をさらに有することを特徴とする。
【請求項１１】
前記物体判定手順は、前記グルーピング手段でグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在しない場合に、前記異なる時刻の検出出力が前記検出候補を包含する位置関係にあるかどうかを判断し、包含する位置関係にある場合に前記検出候補を前記物体でないと判定することを特徴とする請求項９に記載の物体検出手順と
を備えコンピュータに実行させるためのプログラム。
【請求項１２】
前記異なる時刻の検出出力は、現在フレーム画像より以前のフレーム画像に物体として確定した検出結果と、現在フレーム画像より未来のフレーム画像に検出した物体の候補を含むことを特徴とする前記請求項９乃至請求項１１の何れか一項に記載の物体検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔、人体、ペット、車、飛行機、一般物体などの検出において、誤検出を低減する方法または装置に関するものである。特に、人体検出において、足や肩など人体の一部を人体として誤検出した場合、人体の存在連続性を利用してこれらの誤検出を高速に削減する方法または装置に関するものである。
【背景技術】
【０００２】
近年、映像機器のインテリジェント化が普及しつつある。監視カメラに人体検出機能を提供し、人数カウントや、お客様意図分析や、異常動作検知や、危険領域侵入検知などの機能が提案されている。また、デジタルカメラなどの撮影装置から撮影された映像中の人物の位置を特定し追尾することにより、カメラのフォーカス、露出およびカメラのパン、チルト、ズームなどの姿勢を自動制御する機能が注目されている。人物のほかに、犬、猫、花などの一般の物体にも注目して、カメラを自動制御する機能も普及している。
【０００３】
映像機器のインテリジェント化の基盤は機械学習による物体検出技術である。機械学習は大量な物体と非物体の学習画像から、物体と非物体を区別する特徴量を抽出し、判別辞書を作成する。画像から物体を検出する際、原画像のサイズをスケーリングしてピラミッド画像レイヤーを作成する。各ピラミッド画像レイヤーについて、ラスタースキャンを行い、辞書に記述した各特徴量の弱判別器応答を組み合わせることにより、異なるサイズの物体を検出する。
【０００４】
非特許文献1に機械学習を顔検出に実用化した方法を記載してあり、非特許文献２に人体検出によく利用されるHOG特徴量の計算方法を記載してある。非特許文献３に高効率の機械学習方法RealAdaboostを記載してある。
【０００５】
一方、非特許文献４に人体検出における誤検出や検出漏れに対応して、多数フレーム間の検出結果を対応付けて時間の連続性から確定人体を決定する方法も記載してある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｐ．  Ｖｉｏｌａ  ａｎｄ  Ｍ．  Ｊｏｎｅｓ．  “Ｒｏｂｕｓｔ  Ｒｅａｌ−ｔｉｍｅ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ，”  ｉｎ  Ｐｒｏｃ．  ｏｆ  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ＳＣＴＶ，  Ｊｕｌｙ，  ２００１．
【非特許文献２】Ｎ．  Ｄａｌａｌ  ａｎｄ  Ｂ．  Ｔｒｉｇｇｓ．  “Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ  ｆｏｒ  ｈｕｍａｎ  ｄｅｔｅｃｔｉｏｎ，”  Ｃｏｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），  ２００５．
【非特許文献３】Ｒ．  Ｅ．  Ｓｃｈａｐｉｒｅ  ａｎｄ  Ｙ．  Ｓｉｎｇｅｒ，  “Ｉｍｐｒｏｖｅｄ  Ｂｏｏｓｔｉｎｇ  Ａｌｇｏｒｉｔｈｍｓ  Ｕｓｉｎｇ  Ｃｏｎｆｉｄｅｎｃｅ−ｒａｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎｓ”，  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ，  ３７，  １９９９，  ２９７−３３６．
【非特許文献４】ＢＯ  ＷＵ  ａｎｄ  ＲＡＭ  ＮＥＶＡＴＩＡ，  “Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ｍｕｌｔｉｐｌｅ，  Ｐａｒｔｉａｌｌｙ  Ｏｃｃｌｕｄｅｄ  Ｈｕｍａｎｓ  ｂｙ  Ｂａｙｅｓｉａｎ  Ｃｏｍｂｉｎａｔｉｏｎ  ｏｆ  Ｅｄｇｅｌｅｔ  ｂａｓｅｄ  Ｐａｒｔ  Ｄｅｔｅｃｔｏｒｓ，”Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ７５，  ２４７−２６６，  ２００７．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、機械学習を行う際、学習画像がいくら多くても、物体の微細な変化を網羅的に収集することが困難であり、学習画像以外の画像で検出を行うと、誤検出を防ぐことができない。誤検出率と検出率のトレイドオフが避けられないことになる。特に人体検出において、足や肩など人体の一部を人体として誤検出することがしばしばあるように、物体の中や、物体の周辺に誤検出が発生することも多い。
【０００８】
非特許文献４に記載する技術は、確定人体の決定に有効であるが、正しい検出に重なる誤検出に対応できない。また、二つの検出が重なる場合に、検出尤度の高い方を選ぶことが考えられるが、二つとも人体である場合に対応できない。
【０００９】
本発明は、以上の問題に鑑みて成されたものであり、異なる時刻の物体検出の結果から、物体の存在連続性を利用して誤検出を削減する。現在時刻の検出候補が互いに重複する場合や近傍に存在する場合、対応する過去時刻の検出結果を求め、折り返し求めた過去の検出結果から検出候補との関係を求め、現在の検出候補が物体であるかどうかを判定して、誤検出を削減することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、本発明の画像処理装置は以下のように構成される。すなわち、
入力動画のフレーム画像から所望の物体の候補を検出候補として検出する検出手段と、
前記フレーム画像中の検出候補に対して、その位置関係をもとに互いに重複する、または、近傍に位置する候補を求めてグループ化するグルーピング手段と、
前記グルーピング手段でグループ化した検出候補に対応する異なる時刻の検出出力を求め、更に、求めた前記異なる時刻の検出出力に対応する検出候補を前記グループ化した検出候補の中から求めることにより、前記検出候補が前記物体であるかどうかを判定する物体判定手段
を備えることを特徴とする。
【００１１】
前記物体判定手段は、前記グルーピング手段でグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在する場合に、異なる時刻の検出出力に対応付けられた前記検出候補を第一の対応結果とし、折り返し、前記求めた異なる時刻の検出出力から前記グループ化した検出候補の中に対応する検出候補を求めて対応付けられた検出候補を第二の対応結果とし、前記第一の対応結果と前記第二の対応結果が一致する場合に前記検出候補を前記物体と判定することを特徴とする。
【００１２】
前記第一の対応結果を求める際、前記グループ化した物体の検出候補と異なる時刻の検出出力の類似度を所定の閾値と比較する手段をさらに有することを特徴とする。
【００１３】
前記物体判定手段は、前記グルーピング手段でグループ化した検出候補から対応する異なる時刻の検出出力を求めて対応する異なる時刻の検出出力が存在しない場合に、前記異なる時刻の検出出力が前記検出候補を包含する位置関係にあるかどうかを判断し、包含する位置関係にある場合に前記検出候補を前記物体でないと判定することを特徴とする。
【００１４】
前記異なる時刻の検出出力は、現在フレーム画像より以前のフレーム画像に物体として確定した検出結果と、現在フレーム画像より未来のフレーム画像に検出した物体の候補を含むことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、現在フレームに重なっている検出候補や検出位置が近い候補に対し、過去の検出結果または未来の検出候補を利用して、現在フレームの検出候補が物体であるかないかを判定できる。これにより、正しい検出候補を削除することなく、誤った検出候補を削除することができる。
【００１６】
例えば、人体検出において、人物が歩いて姿勢変化により肩または足を人体として誤検出される場合、過去の検出結果に誤検出と対応する人体の検出結果がないため、本誤検出を削除できる。一方、二人が近づく場合は、過去の検出結果に二人の検出結果が共にあるとすると、本発明によりどちらも正しい検出結果と判定される。
【００１７】
以上の工夫により、正検出を維持しながら、現在フレームに重なっている検出候補や検出位置が近い候補に対し誤検出を判別することができる。また、人物以外の一般の物体に対しても同様な効果をもたらすことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第1実施形態における誤検出削減装置１Aのブロック図である。
【図２】本発明の第１実施形態における現在フレーム画像に検出候補のグループ化を示す図である。
【図３】本発明の第１実施形態の処理のフローチャートである。
【図４】本発明の第１の実施形態の物体判定部における各ケースの処理結果を示す図である。
【図５】本発明の第２実施形態における誤検出削減装置２Aのブロック図である。
【図６】本発明の第２実施形態の処理のフローチャートである。
【図７】本発明の第２実施形態の物体判定部におけるケースの処理結果を示す図である。
【図８】本発明の第３実施形態の物体判定部におけるケースの処理結果を示す図である。
【図９】本発明の第３実施形態の処理のフローチャートである。
【図１０】本発明の実施形態を実現するための汎用のコンピュータシステムの制御構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。本発明の特徴となる機能を実現するものも本発明の範囲に含まれる。
【００２０】
［実施形態１］
図１は本発明にかかる物体検出における誤検出低減装置１Aの構成例Ｉを示すブロック図である。
【００２１】
本発明において、物体検出装置は物体検出部１０１と誤検出削減部１Aから構成される。誤検出削減部１Aは、さらに、グルーピング部１０２と、候補から過去検出結果選出部１０３と、過去検出結果から候補判定部１０４と、過去検出結果記憶部１０５と、制御部１１０から構成される。
【００２２】
物体検出部１０１は、現在フレームの入力画像１０から、各スケールのピラミッド画像レイヤーを作成する。各ピラミッド画像レイヤーについて、ラスタースキャンを行い、検出辞書に記述した各特徴量の弱判別器応答を線形組み合わせることにより、異なるサイズの物体を検出する。一つの物体について、複数の検出枠があるので、これらの検出枠を統合して検出候補を誤検出削減部１Aに出力する。
【００２３】
グルーピング部１０２は、物体検出部１０１から現在フレームの検出候補の重複関係、もしくは近傍関係を判断し、重複する検出候補、もしくは近傍関係にある候補を一つのグループとする。一方、重複しない、もしくは、近傍関係にない単一の検出候補も一つのグループとする。図２に示すように、検出候補Aと検出候補Bは重複関係がありグループ１とし、検出候補Cをグループ２とし、検出候補Dと検出候補Dは近傍関係がありグループ３とする。
【００２４】
候補から過去検出結果選出部１０３は、前記分類した各グループのそれぞれの検出候補について、過去フレームｔ-1の検出結果との類似度を計算する。tは現在フレームの番号である。最も小さい類似度に対応する過去フレームｔ-1の検出結果が所定閾値より小さい場合、該過去フレームｔ-1の検出結果を前記グループ内の検出候補と対応付けて選出する。
【００２５】
過去検出結果から候補判定部１０４は、前記選出した過去フレームｔ-1の検出結果から、対応する現在フレームtの検出候補グループに、最も小さい類似度の候補を対応付けて物体と判定し出力する。この処理について、本実施形態のフローチャートを説明する際詳細に説明する。
【００２６】
過去検出結果記憶部１０５は、物体と判定した検出候補を記憶し、次フレームの処理に利用する。
【００２７】
制御部１１０は、１０１から１０５までの動作を制御する。
【００２８】
次に本実施例における処理の流れを図３のフローチャートを用いて説明する。
【００２９】
ステップS１０１において、制御部１１０が画像入力を制御し、ステップS１０２からステップS１１６までの処理を全てのフレーム画像に対し行うようにする。
【００３０】
ステップS１０２において、物体検出部１０１が、入力した現在フレームtの画像について、物体検出を行い、物体と判定した画像上の位置とサイズを検出候補として誤検出削減部１Aに出力する。
【００３１】
ステップS１０３において、誤検出削減部１Aのグルーピング部１０２が、物体検出部１０１から出力した検出候補をグルーピングする。グルーピングは検出候補の重複関係に基づいて行う。
【００３２】
【数１】
2016207106.tif 000003
【００３３】
重複関係の評価値である重複度rは、式(１)に示すように、検出候補Aと検出候補BのAND領域対検出候補Aと検出候補BのOR領域の面積の比率に基づいて計算する。重複度ｒは所定閾値より大きい場合に、検出候補Aと検出候補Bを一つのグループとし、他の場合に、検出候補Aと検出候補Bをそれぞれ別々のグループとする。
【００３４】
ステップS１０４において、制御部１１０がステップS１０３でグループ化した各グループについて、ステップS１０５からステップS１１５までの処理を繰り返し行うように制御する。
【００３５】
ステップS１０５において、候補から過去検出結果選出部１０３が、注目する検出候補のグループについて、そのグループ内の候補数が単一か複数あるかをチェックする。検出候補が単一である場合、ステップS１１４に移り、該検出候補をそのまま物体と判定する。検出候補が複数ある場合、ステップS１０６に移り、検出候補が物体であるか、誤検出であるかを判定する。
【００３６】
ステップS１０６において、制御部１１０が、注目するグループ内のそれぞれの検出候補について、ステップS１０７からステップS１１１までの処理を繰り返し行うように制御する。
【００３７】
ステップS１０７において、候補から過去検出結果選出部１０３が、注目するグループ内の注目する検出候補について、過去フレームｔ-1の全ての検出結果との類似度d2を式(2)より計算する。
【００３８】
【数２】
2016207106.tif 000004
【００３９】
ステップS１０８において、候補から過去検出結果選出部１０３が、ステップS１０７に計算した類似度d2に最も小さい類似度を選出し、最小類似度に対応する過去フレームｔ-1の検出結果を選出する。
【００４０】
ステップS１０９において、過去検出結果から候補判定部１０４が、ステップS１０８に選出した最小類似度は所定の閾値Th１より小さいかどうかを判定する。最小類似度が閾値Th１より大きい場合に、注目する検出候補が対応する過去検出結果がないため、処理がグループ内において次の検出候補に移る。最小類似度が閾値Th１より小さい場合に、ステップS１１０に移り、検出候補が物体であるかないかの判定を続ける。
【００４１】
ステップS１１０において、過去検出結果から候補判定部１０４が、ステップS１０８に選出した最小類似度に対応する過去検出結果にから、折り返し、現在フレームｔのグループ内各検出候補との類似度を式(2)より計算する。
【００４２】
ステップS１１１において、過去検出結果から候補判定部１０４が、ステップS１０８に選出した最小類似度に対応する過去検出結果と、最小類似度となるグループ内の検出候補を選出し、物体と判定する。
【００４３】
ステップS１１２において、制御部１１０が、ステップS１０７からステップS１１１までの処理が複数検出候補を含むグループ内の全ての検出候補に対して行ったかどうかを判断する。全部行った場合、ステップS１１３に移る。そうでない場合、複数検出候補を含むグループ内の次の検出候補についてステップS１０７からステップS１１１までの処理を行う。
【００４４】
ステップS１１３において、過去検出結果から候補判定部１０４が、複数検出候補を含むグループについて、物体と判定した検出候補があるかどうかを判断する。物体と判定した検出候補がある場合、ステップS１１５に移り、物体と判定した検出候補を過去検出結果記憶部１０５に記憶する。グループに物体と判定した検出候補が一つでもない場合、ステップS１１４に移り、本グループ内の全ての検出候補を物体とする。
【００４５】
ステップS１１４において、過去検出結果から候補判定部１０４が、誤削除を防ぐために、前記複数検出候補を含むグループ内の全ての検出候補を物体とする。
【００４６】
ステップS１１５において、過去検出結果記憶部１０５が、単一検出候補のグループの検出候補、または、ステップS１０６からステップS１１２までの処理に物体と判定した検出候補、または、ステップS１１４に物体とした検出候補を記憶する。
【００４７】
ステップS１１６において、制御部１１０が、ステップS１０３でグルーピングした各グループについて、ステップS１０５からステップS１１５の処理を行ったどうかを判断する。全部行った場合、ステップS１１７に移る。そうでない場合、ステップS１０５に移り、次のグループを処理する。
【００４８】
ステップS１１７において、制御部１１０が、誤検出削減部１Aの処理を次のフレーム画像に移るように制御する。
【００４９】
ステップS１０６からステップS１１２までの処理を図４に示す各ケースを用いて、その効果を説明する。
【００５０】
図４のcase1に示すように、現在フレームtに検出候補Aと検出候補Bが一つのグループになり、ステップS１０７からステップS１１１までの処理を行う。まず、検出候補Aから物体を判定する。この場合、検出候補Aとの最小類似度の過去検出結果がaであり、そして、最小類似度が閾値Th１より小さいので、検出結果aから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、検出候補Aが選出され、物体と判定される。次に、検出候補Bから物体を判定する。この場合、検出候補Bとの最小類似度の過去検出結果がaであり、そして、最小類似度が閾値Th１より小さいので、検出結果aから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、同じく検出候補Aが選出され、物体と判定される。最終的に、case１の場合、検出候補Aが物体と判定され、検出候補Bが誤検出と判定される。
【００５１】
図４のcase2の場合、まず、検出候補Aから物体を判定する。この場合、検出候補Aとの最小類似度の過去検出結果がaであり、そして、最小類似度が閾値Th１より小さいので、検出結果aから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、検出候補Aが選出され、物体と判定される。一方、検出候補Bから物体を判定する場合、検出候補Bとの最小類似度の過去検出結果がaであるが、最小類似度が閾値Th１より大きいので、検出候補Bに対応する物体がないと判断しグループ内の次ぎの候補に移り処理を行う。検出候補Bが最終的に削除される。
【００５２】
図４のcase3の場合、まず、検出候補Aから物体を判定する。この場合、検出候補Aとの最小類似度の過去検出結果がaであり、そして、最小類似度が閾値Th１より小さいので、検出結果aから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、検出候補Aが選出され、物体と判定される。次に、検出候補Bから物体を判定する。この場合、検出候補Bとの最小類似度の過去検出結果がbであり、そして、最小類似度が閾値Th１より小さいので、検出結果bから、本グループ内の検出候補との類似度を計算し、最小類似度の検出候補を探し出す。その結果、検出候補Bが選出され、物体と判定される。最終的に、case3の場合、検出候補Aと検出候補Bが共に物体と判定される。
【００５３】
図４のcase3の場合、まず、検出候補Aから物体を判定する。この場合、検出候補Aとの最小類似度の過去検出結果がcであるが、最小類似度が閾値Th１より大きいので、検出候補Aに対応する物体がないと判断しグループ内の次ぎの候補Bに移り処理を行う。次に、検出候補Bとの最小類似度の過去検出結果がcであるが、最小類似度が閾値Th１より大きいので、検出候補Bに対応する物体がないと判断する。本グループと対応する過去フレームｔ-1の検出結果がないため、本グループの各検出候補をそのまま物体と判定し出力する。
【００５４】
以上をまとめると、現在フレームに複数検出候補を含むグループのそれぞれの候補について過去フレームに対応する検出結果を求める。一部または全部の候補に対応する過去の検出結果がある場合に、求めた過去の対応結果から折り返し、現在フレームに対応するグループ内の検出候補を求める。求めた検出候補が一致する場合、該候補を物体と判定する。これに対し、過去の対応結果のない候補、または、一致しない検出候補を誤検出と判定する。
【００５５】
一方、グループ内の全部の候補に対応する過去の検出結果がない場合に、本グループ内の全部の候補を物体と判定する。
【００５６】
本実施形態に、ステップS１０８及びステップS１０９において、各検出候補が過去の検出結果との最小類似度を求めた後、閾値Th１と比較して、対応する過去の検出結果を選出する。その代わりに、ステップS１０７において、注目する検出候補が各過去の検出結果との類似度を計算した後に、閾値Th１と比較して、閾値Th１以下の類似度の最小値を求めってよい。
【００５７】
また、本実施形態に、検出候補と過去検出結果の類似度は式（２）より計算するが、検出候補または過去検出結果の位置とサイズ情報に基づいて他の計算式で求めってよい。例えば、式（１）のAND領域とOR領域の比率で計算してもよい。
【００５８】
グルーピングを行う際、式（２）を用いてもよい。その時は別の閾値を使う。式（２）を用いることにより、物体と近傍関係にある誤検出も正しく削除できるようになる。また、グルーピングは式(1)または式(2)に定義した重複度や類似度を用いて、k-means法やmean-shift法を利用して行ってもよい。
【００５９】
さらに、類似度または重複度は、位置とサイズで求めたが、物体の色など他の特徴量を用いてもよい。
【００６０】
また、本実施形態に、ステップS１１３とステップS１１４において、複数検出候補を含むグループについて、全ての検出候補が物体と判定したものがない場合、逆に、全ての検出候補が物体とする処理を行う。これは、あくまでも、検出候補の誤削除を防ぐためであり、場合によって、これらの検出候補を誤検出とすることもできる。
【００６１】
なお、本実施形態に、現在フレームtの検出候補を物体であるかどうかを判断するため、過去フレームt-1の検出結果に基づいて判断するが、未来フレームt+1の検出候補を利用して、判断することもできる。また、過去フレームt-1の検出結果に基づく判断結果は、未来フレームt+1の検出候補に基づく判断結果とORまたはAND演算を行って、論理演算結果に基づいて物体かどうかを判断してもよい。
【００６２】
図１０は本実施形態におけるコンピュータの制御構成を示すブロック図である。図９において、１００１はＣＰＵであり、本実施形態の画像処理装置における各種制御を実行する。１００２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１００３はＲＡＭであり、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の作業領域を提供する。１００４はキーボード、１００５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００６３】
１００６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等で構成される。ただし、外部記憶装置１００６は、制御プログラムや各種データを全てＲＯＭ１００２に持つようにすれば、必ずしも必要な構成要素ではない。１００７は表示器であり、ディスプレイなどで構成され、結果等をユーザに対して表示する。１００８はネットワークインターフェースでる。１００９はビデオインターフェースであり、撮像部１００４と同軸ケーブルを解したフレーム画像の取り込みを可能とする。また、１０１１は上記の各構成を接続するバスである。
【００６４】
［実施形態２］
本発明の第２の実施形態は、図５に示すように、実施形態１に比べ、確定物体処理部２０６を追加する。本実施形態において、確定物体処理部２０６は、過去フレーム0〜過去フレームｔ-1までの検出結果を利用し、物体存在の連続性から、安定して検出した物体を確定物体として確立する。もし、確定物体の検出はフレーム落ちが生じた場合に、しばらくの間に、持続して検出結果として利用することができる。このため、本実施形態において、過去フレームｔ-1の検出結果のみを利用することではなく、過去フレーム0〜過去フレームｔ-1までの検出結果を利用することになる。
【００６５】
【数３】
2016207106.tif 000005
【００６６】
次に本実施例における処理の流れを図６のフローチャートを用いて説明する。
【００６７】
本実施形態は第1実施形態とほぼ同じであり、灰色のステップのみ異なるので、灰色のステップを詳細に説明する。他のステップは第1実施形態を参照してください。
【００６８】
ステップS２０３において、確定物体処理部２０６が、確定物体を伸長する。過去フレームｔ-1の確定物体Aがあるとすると、現在フレームｔ確定物体Aの位置とサイズを予測し、現在フレームｔの検出結果との重複度を式(１)より算出する。重複度が閾値Th４より大きい検出結果がある場合に、現在フレームｔに確定物体Aに対応する検出結果があると判断し、該検出結果を確定物体Aとする。
【００６９】
【数４】
2016207106.tif 000006
【００７０】
ステップS２２０において、過去検出結果記憶部２０５がステップS２１９で確立した確定物体を記憶する。
【００７１】
なお、本実施形態において、確定物体の確立の一例を説明したが、同様な機能を実現できれば、他の方法も利用できる。
【００７２】
例えば、確定物体の伸長方法について、本実施形態のステップS２０３において、過去フレームｔ-1に確定物体Aの位置とサイズから、現在フレームｔに確定物体Aの位置とサイズを予測し、フレームｔの検出結果との重複度を式(１)より算出する。重複度の代わりに、式(2)より予測結果と検出結果の類似度を算出してもよい。また、予測は線形0次、1次、2次予測のいずれを利用してもよい。
【００７３】
【数５】
2016207106.tif 000007
【００７４】
本実施形態は、最初から二つの重なる物体があり、一方の物体の検出が最初からフレーム落ちが生じた場合にも対応できる。図７に示すように、過去フレームｔ−２に確定物体aとｂのうち、過去フレームｔ−１において、確定物体ｂは検出のフレーム落ちが生じたが、伸長した物体ｂを利用して現在フレームｔに検出した候補Bを物体として判断できる。このように、物体が確定物体として確立したら、誤削除することが生じない。
【００７５】
また、現在フレームtの検出候補が物体かどうかを判断するために、未来フレームｔ＋１から未来フレームｔ＋Tまでの検出候補に基づいて、確定物体を確立し、利用することもできる。さらに、過去フレームｔ−Tから過去フレームt-1までの検出結果と、現在フレームtから未来フレームｔ＋Tまでの検出候補に基づいて、確定物体を確立し、現在フレームtの検出候補が物体かどうかを判断することもできる。
【００７６】
［実施形態３］
本発明の第３の実施形態は、実施形態１に比べ、図８に示すケースに対応する処理を追加する。構成ブロック図は同じく図１もしくは図５に示し、処理のフローチャートは図９に示す。簡単のため、構成ブロック図は図１を用いて説明する。
【００７７】
図８に示すように、現在フレームtの検出結果AとBは過去フレームt-1の検出結果cとの類似度が最小であるが、最小類似度は閾値Th１より大きいので、実施形態１の場合は、検出結果Aと検出結果Bは物体と判定する。本実施形態において、検出結果Aと検出結果Bは現在フレームtにおける位置が過去フレームt-1の検出結果cの位置と重なって、且つ、AまたはBの面積はcの面積より大幅に小さい場合に、AまたはBを誤検出と判断する。すなわち、検出結果Aと検出結果Bは検出結果cに包含される位置関係がある場合に、AとBは誤検出と判断する。
【００７８】
次に本実施例における処理の流れを図９のフローチャートを用いて説明する。
【００７９】
ステップS３０１からステップS３１６までの処理は第1実施形態と同様であり、詳細の説明を省略いたします。
【００８０】
ステップS３５０において、制御部１１０が、現在フレームtにグルーピング部１０２でグルーピングした各グループについて、ステップS３５１〜ステップS３６０の処理を行うように制御する。
【００８１】
ステップS３５１において、物体判定部１Bが、各部ループについて物体と判定した検出候補があるかどうかを判断して、物体と判断した検出候補がある場合にステップS３５９に移り、物体と判断した検出候補を検出結果として記憶する。物体と判断した検出候補がない場合に、ステップS３５２に移り、継続して、図8に示すケース５について検出候補が物体であるかないかの判定処理を行う。
【００８２】
ステップS３５２において、制御部１１０がグループ内の全ての候補について、ステップS３５３〜ステップS３５７の処理を行うように制御する。
ステップS３５３において、候補から過去検出結果選出部が、注目するグループ内の検出候補は、過去フレームt-1の各検出結果と重複度(AND領域/min領域)を式(１)より算出する。
【００８３】
ステップS３５４において、候補から過去検出結果選出部１０３が、ステップS３５３で計算した最大重複度に閾値Th２より大きい過去フレーム t-1があるかないかを判断する。つまり、現在フレームtの検出候補に、過去フレーム t-1の検出結果の内部に入る候補があるかどうかを判断する。最大重複度が閾値Th２より大きい場合にステップS３５５に移る。最大重複度が閾値Th２より小さい場合にステップS３５８に移る。
【００８４】
ステップS３５５において、過去検出結果から候補判定部１０４が、過去フレーム t-1の検出結果から、最大重複度の検出結果を選出する。選出した最大重複度の過去フレーム t-1の検出結果は現在フレームtの注目する検出候補との面積比を計算する。
【００８５】
ステップS３５６において、過去検出結果から候補判定部１０４が、ステップS３５５に計算した面積比を閾値Th３と比較し、大きい場合はステップS３５７に示す。少ない場合はステップS３５８に移り、次の候補を処理する。
【００８６】
ステップS３５７において、過去検出結果から候補判定部１０４が、ステップS３５６に面積比が閾値Th３より大きい場合に、注目する候補が物体ではないと判定し、誤検出として削除する。
【００８７】
ステップS３５８において、制御部１１０が、グループ内全ての候補について処理が終わったかどうかを判断する。全ての候補について処理が終わった場合に、ステップS３５９に移り、そうでない場合に、ステップS３５２に移る。
【００８８】
ステップS３５９において、過去検出結果記憶部１０５が、前述のステップらに物体と判定した現在フレームtの検出候補を記憶する。
【００８９】
ステップS３６０において、制御部１１０が、ステップS３５０に対応し、現在フレームtにすべてのグループについて、ステップS３５１からステップS３５９までの処理が終わったかどうかを判断する。全部終わった場合、ステップS３６１に移り、次のフレーム画像を処理する。
【００９０】
なお、本実施形態において、検出結果Aと検出結果Bは現在フレームtにおける位置が過去フレームt-1の検出結果cの位置と重なって、且つ、AまたはBの面積はcの面積より大幅に小さい場合に、AまたはBを誤検出と判断する。これを拡充し、式（２）より、検出結果Aと検出結果Bは現在フレームtにおける位置が過去フレームt-1の検出結果cの位置と近傍関係を判断して利用してもよい。すなわち、AまたはBはcと近傍関係があり、かつ、AまたはBの面積はcの面積より大幅に小さい場合に、AまたはBを誤検出と判断する。
【００９１】
なお、本実施形態は、第1実施形態と同様に、未来フレームt+1の検出候補を利用して、判断することもできる。さらに、過去フレームt-1の検出結果に基づく判断結果は、未来フレームt+1の検出候補に基づく判断結果とORまたはAND演算を行って、論理演算結果に基づいて判断してもよい。
【００９２】
［その他の実施形態］
前述した実施例の機能を実現するソフトウエアのプログラムコードを記録媒体に記録することができる。本発明の目的は、前記記録媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
【００９４】
また、本発明の目的は、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでない。読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００９５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれることもできる。その後、プログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【符号の説明】
【００９６】
１０  入力画像、２０  検出結果、１０１  第１実施形態の物体検出部、
１０２  第１実施形態のグルーピング部、
１０３  第１実施形態の候補から過去検出結果選出部、
１０４  第１実施形態の過去検出結果から候補判定部、
１０５  第１実施形態の過去検出結果記憶部、１１０  第１実施形態の制御部、
１A  第１実施形態の誤検出削除部、１B  第１実施形態の物体判定部、
２０１  第２実施形態の物体検出部、２０２  第２実施形態のグルーピング部、
２０３  第２実施形態の候補から過去検出結果選出部、
２０４  第２実施形態の過去検出結果から候補判定部、
２０５  第２実施形態の過去検出結果記憶部、２０６  第２実施形態の確定物体処理部、
２１０  第２実施形態の制御部、
１００１  汎用のコンピュータシステムの制御構成におけるＣＰＵ装置、
１００２  汎用のコンピュータシステムの制御構成におけるＲＯＭメモリ、
１００３  汎用のコンピュータシステムの制御構成におけるＲＡＭメモリ、
１００４  汎用のコンピュータシステムの制御構成における外部入力キーボード装置、
１００５  汎用のコンピュータシステムの制御構成における外部入力マウス装置、
１００６  汎用のコンピュータシステムの制御構成における外部記憶装置、
１００７  汎用のコンピュータシステムの制御構成における表示器装置、
１００８  汎用のコンピュータシステムの制御構成におけるネットワークＩ／Ｆ装置、
１００９  汎用のコンピュータシステムの制御構成におけるビデオＩ／Ｆ装置
【図１】
2016207106.tif 000008
【図２】
2016207106.tif 000009
【図３】
2016207106.tif 000010
【図４】
2016207106.tif 000011
【図５】
2016207106.tif 000012
【図６】
2016207106.tif 000013
【図７】
2016207106.tif 000014
【図８】
2016207106.tif 000015
【図９】
2016207106.tif 000016
【図１０】
2016207106.tif 000017