(57)【要約】【課題】  本発明は、映像から特定の物体を効率的に検出することを目的とする。【解決手段】  本発明は、映像から物体を検知する検知部と、前記検知部が検知した物体が移動する移動方向を判定する判定部と、前記検知部が複数の物体を検知した場合、前記判定部が判定した前記複数の物体の移動方向に応じた順序で前記複数の物体が特定の物体であるかの検出を行う検出部とを有する。【選択図】  図５
2012128693.tif 000002
【特許請求の範囲】
【請求項１】
映像から物体を検知する検知手段と、
前記検知手段が検知した物体が移動する移動方向を判定する判定手段と、
前記検知手段が複数の物体を検知した場合、前記判定手段が判定した前記複数の物体の移動方向に応じた順序で前記複数の物体が特定の物体であるかの検出を行う検出手段とを有することを特徴とする映像処理装置。
【請求項２】
前記検出手段は、複数の特定の物体のうちいずれの物体を検出するかを前記検知手段が検知した物体の特徴量に応じて選択して前記検出を行うことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
映像から物体を検知する検知手段と、
前記検知手段が検知した物体が移動する移動方向を判定する判定手段と、
前記検知手段が複数の物体を検知した場合、前記判定手段が判定した前記複数の物体の移動方向に応じた順序で前記複数の物体の特徴量が所定の条件を満たすかを判断する判断手段と、
前記検知手段が検知した物体が特定の物体であるかについての検出を行うか否かを前記判断手段の判断結果に基づいて決定する検出手段とを有することを特徴とする映像処理装置。
【請求項４】
前記特徴量は、前記物体の大きさ、前記物体の移動速度、前記物体の高さと幅の比率、前記物体の面積変化量、前記物体の移動方向のうちの少なくとも１つであることを特徴とする請求項３に記載の映像処理装置。
【請求項５】
検知手段が、映像から物体を検知する検知ステップと、
判定手段が、前記検知ステップにおいて検知した物体が移動する移動方向を判定する判定ステップと、
検出手段が、前記検知ステップにおいて複数の物体を検知した場合、前記判定ステップにおいて判定した前記複数の物体の移動方向に応じた順序で前記複数の物体が特定の物体であるかの検出を行う検出ステップとを有することを特徴とする映像処理方法。
【請求項６】
検知手段が、映像から物体を検知する検知ステップと、
判定手段が、前記検知ステップにおいて検知した物体が移動する移動方向を判定する判定ステップと、
検出手段が、前記検知ステップにおいて複数の物体を検知した場合、前記判定ステップにおいて判定した前記複数の物体の移動方向に応じた順序で前記複数の物体が特定の物体であるかについて検出を行うか否かを決定する検出ステップとを有することを特徴とする映像処理方法。
【請求項７】
コンピュータに、
映像から物体を検知する検知手順と、
前記検知手順において検知した物体が移動する移動方向を判定する判定手順と、
前記検知手順において複数の物体を検知した場合、前記判定手順において判定した前記複数の物体の移動方向に応じた順序で前記複数の物体が特定の物体であるかの検出を行う検出手順と実行させるためのプログラム。
【請求項８】
コンピュータに、
映像から物体を検知する検知手順と、
前記検知手順において検知した物体が移動する移動方向を判定する判定手順と、
前記検知手順において複数の物体を検知した場合、前記判定手順において判定した前記複数の物体の移動方向に応じた順序で前記複数の物体の特徴量が所定の条件を満たすかを判断する判断手順と、
前記検知手順において検知した物体が特定の物体であるかについて検出を行うか否かを前記判断手順における判断結果に基づいて決定する検出手順とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像から目的の物体を検出する映像処理装置、映像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、映像から顔や人体など特定の対象を検出する場合、パターンマッチング処理により対象の検出を行っていた。たとえば、特許文献１では、画像の大きさを変更しながら照合パターンを画像全域に用いて複数の局所パターンを抽出し、それぞれの局所特徴量を算出する。そして、局所特徴量に重み付けを行った結果の総和から人体であるかを判定する。また、特許文献２では、画面を区間に分割し、区間に設定された優先度に従って処理を行うことで効率的に物体検出を行う。また、目的の対象が検出された区間および隣接区間の優先度を高く設定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１１３１１号公報
【特許文献２】特開２００８−２３４１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、照合パターンを画面全域に用いて人体を検出する場合、画面の大きさに応じて処理負荷は大きくなる。また、例えば監視カメラの映像では被写体はあらゆる方向へと移動し、被写体の顔や人体としての特徴が検出しやすい方向に映るとは限らない。特定の照合パターンによる人体の検出では、被写体の映る角度や大きさに応じて検出精度が変化する。また、画面を区間に分割し過去の検出経験に基づいて優先度を設定し、人体の検出処理を行っても、被写体は移動するため、効率的に物体検出結果を得られるとは限らない。一方で、監視カメラではリアルタイム処理実現のため処理の軽量化が求められる。
【０００５】
本発明は上述した問題を解決するためになされたものであり、被写体の角度や大きさによらず効率的に対象の検出を可能とする映像処理装置および映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、映像から物体を検知する検知手段と、前記検知手段が検知した物体が移動する移動方向を判定する判定手段と、前記検知手段が複数の物体を検知した場合、前記判定手段が判定した前記複数の物体の移動方向に応じた順序で前記複数の物体が特定の物体であるかの検出を行う検出手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、映像中の物体のうち特定の物体が検出される可能性が高い物体について検出を実施することができる。従って、映像から特定の物体を検出する検出処理の効率が向上する。
【図面の簡単な説明】
【０００８】
【図１】実施例１に係る映像処理装置の構成例を示す図。
【図２】映像における物体の移動を説明するための図。
【図３】映像における物体の移動方向角を説明するための図。
【図４】優先度テーブルを示す図。
【図５】実施例に係る映像処理装置の動作を説明するためのフローチャート図。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明をその好適な実施例に基づいて詳細に説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜実施例１＞
本実施例の映像処理装置の構成について図１を用いて説明する。図１に示した各構成要素は、物理的に独立なハードウェアとして構成してもよいし、同等の機能を有するソフトウェアの１つ以上のインスタンスとして構成してもよい。
【００１１】
取得部１０１は、処理対象のカメラが撮像した画像を時系列順に取得する。取得部１０１はサーバや外部メモリなどに保存された画像を取得することとしてもよい。
【００１２】
検知部１０２は、取得部１０１が取得した画像から物体を検知する。検知部１０２は複数の物体を検知することが可能である。検知部１０２が検知する物体の情報は、当該物体の画面上における位置と当該物体に外接する矩形と当該物体のサイズとを含む。物体の検知方法として例えば背景差分法を用いることができる。検出方法は背景差分法に限られず、上述の情報を取得できる方法であればよい。
【００１３】
追尾部１０３は、取得部１０１が取得した過去の画像から検知部１０２が検知した物体と、取得部１０１が取得した現在の画像から検知部１０２が検知した物体とを対応付ける。対応付けは、現在の画像から検知した物体に、過去の画像から検知した物体に付与したオブジェクトＩＤを付与することによって行うことができる。また、新規に出現した物体には、新規にオブジェクトＩＤを付与する。
【００１４】
優先度決定部１０４は、検知部１０２が検知した物体の大きさと追尾部１０３の追尾結果とに基づいて、人体検出処理を実施する領域の優先度を決定する。優先度決定部１０４による優先度の決定について図２及び図３を用いて説明する。図２は、ｎフレーム目での物体の移動方向を示す例である。オブジェクトＩＤ１２の物体は、（ｎ−１）フレーム目の位置２０１からｎフレーム目の位置２０２に移動したため、オブジェクトＩＤ１２の移動は位置ベクトル２０３として表現できる。また、オブジェクトＩＤ６の物体は、（ｎ−１）フレーム目の位置２０４からｎフレーム目の位置２０５に移動したため、オブジェクトＩＤ６の移動は位置ベクトル２０６として表現できる。また本実施例では、２フレーム間での位置ベクトルから移動方向角を決定することとしたが、複数フレーム間の位置ベクトルの内積から移動方向角を決定してもよい。また、検知部１０２において動きベクトルにより物体を検知する場合、動きベクトルから物体の移動方向を決定してもよい。このようにして優先度決定部１０４は、検知部１０２が検知した物体が移動する移動方向を判定する。
【００１５】
図３は、物体の移動方向角を示す例である。本実施例では、右方向をｘ軸正の向き、下方向をｙ軸正の向きとする。位置ベクトル３０１の移動方向角３０２は、ｙ軸正の向きを０°として設定する。図３に示して例では、移動方向角３０２はαである。優先度決定部１０４は、移動方向角３０２に応じて、下記の式１から式４のいずれかに従い評価値を決定する。そして、優先度決定部１０４は、評価値が小さい方から順に優先度を高く設定する。移動方向角αが０°以上９０°未満の場合は式１を、９０°以上１８０°未満の場合は式２を、１８０°以上２７０°未満の場合は式３を、２７０°以上３６０°未満の場合は式４を使用する。同一の評価値の場合、オブジェクトＩＤが小さい方から順に優先度を高く設定する。
（式１）  Ｖａｌ  ｄｉｒ＝α
（式２）  Ｖａｌ  ｄｉｒ＝｜α−１８０｜
（式３）  Ｖａｌ  ｄｉｒ＝α−１８０
（式４）  Ｖａｌ  ｄｉｒ＝｜α−３６０｜
【００１６】
このようにして優先度決定部１０４は、画面上下方向に移動する物体の優先度を画面左右方向に移動する物体の優先度より高く設定する。優先度の設定方法は上記に限られない。評価値が大きい方から順に優先度を高く設定すれば、画面左右方向に移動する物体の優先度を画面上下方向に移動する物体の優先度より高く設定することができる。上記の式１乃至式４を用いずに、移動方向角３０２に応じて優先度を設定することとしてもよい。こうして、優先度決定部１０４は、検知部１０２が複数の物体を検知した場合、判定した複数の物体の移動方向に応じて該物体についての優先度を決定する。
【００１７】
次に優先度決定部１０４は、優先度の高い方から順番に検出された物体の大きさの判定を行う。物体の大きさが所定の閾値より小さい場合、優先度決定部１０４は、後述の検出処理を実施しないことを示すスキップフラグを設定する。物体の大きさの閾値は、ユーザ等からの指示に従いあらかじめ設定された値である。優先度およびスキップフラグを設定した結果を示す例を図４に示す。図４に示した情報は不図示の記憶領域に保持される。スキップフラグは、本実施例においては検知部１０２の検知した物体の大きさに基づき設定しているが、前述のものに限定されるものではない。スキップフラグの設定は、移動方向角、物体の高さ、物体の幅、物体の面積変化量、物体の高さと幅の比率である物体形状のアスペクト比、物体の移動速度など、物体を分別できる物体の属性に基づいて設定されるものであれば何でもよい。このようにして、優先度決定部１０４は、検知部１０２が複数の物体を検知した場合、物体の特徴量が所定の条件を満たすかを優先度の高い順に判断するために、物体の優先度を決定する。このようにしてスキップフラグを設定した物体については検出処理を実施しないようにすることにより、検知部１０２が検知した複数の物体から所望の物体を検出するための検出確率を向上させることができる。また、検知部１０２が検知した複数の物体から所望の物体を検出するための処理量を軽減することができる。ただし本発明において、スキップフラグを用いた検出処理は必須の工程ではない。検知部１０２が検知した物体についての優先度を決定した後、スキップフラグを設定せずに後述の検出処理を行ってもよい。
【００１８】
検出部１０５は、検知部１０２が検知した物体の領域にパターンマッチング処理を実施することで人体を検出する。検出方法はパターンマッチング処理を用いる方法に限られない。本実施例において検出部１０５は、優先度決定部１０４が決定した優先度およびスキップフラグが設定されておらず優先度が高い物体から順番に人体の検出を行う。このようにして検出部１０５は、検知部１０２が検知した物体が特定の物体であるかについての検出を行うか否かを優先度決定部１０４で設定されたスキップフラグに基づいて決定する。スキップフラグの設定を行わない場合には、検出部１０５は、優先度が高い物体から順番に人体の検出を行う。このようにして、検出部１０５は、検知部１０２が複数の物体を検知した場合、優先度決定部１０４が決定した優先度に応じた順序で複数の物体が特定の物体であるかの検出を行う。この優先度は、物体の移動方向に応じて決定される。例えば、検出部１０５が撮像画像中の人体を検出する場合、撮影しているカメラに近づいてくる物体を、その他の方向に移動している物体より優先して、人体かどうか判断する。カメラから離れていく物体も、近づいてくる物体と同じ優先度を与えてもよい。カメラに近づいてくるかどうかは、映像中の移動方向、すなわち、映像中の縦方向を基準とした角度で判断する。また、優先度を決定せずに、角度から、検出する順序を直接決定することもできる。例えば、パターンマッチングに用いるパターンとして特定の人の顔画像を用いる場合、上述のようにカメラに近づいてくる物体を優先することで、顔がカメラ方向を向いた物体を他の方向を向いた物体よりも優先してパターンマッチングを行うことができる。このように、物体の特徴がより現れている画像を優先して検出を行うことで、所望の物体を検出する精度を高めることができる。また、所望の物体が検出される確率が高い物体から優先して検出処理を行うので効率的に検出処理を行うことができる。本実施例においては検出対象を人体としているが、検出対象は人体に限定されない。検出対象としては、顔、自動車、動物等、物体等、特定の対象物であればよい。更に、複数種類の特定物体を検出する検出部を設けて、同時に複数の検出処理を実施してもよい。また、物体の大きさ、アスペクト比など、スキップフラグの設定に用いた物体の属性に応じて、複数の特定物体検出処理のうち所定の処理のみを選択し検出処理を実施してもよい。例えば、検出部１０５として人体検出部と車検出部を持つとする。ユーザは、画面上に現れる車両の最小サイズを閾値として予め設定する。そして、検知部１０２が検出した物体の大きさが車両最小サイズより小さい場合、検出部は車検出部での処理は行わず、人体検出部での処理のみ実施する。一方で、物体の大きさが閾値より大きい場合、車検出部での処理を実施する。また、物体の大きさが閾値より大きい場合には、複数の人が集団で行動し一つの物体として検出された可能性もあるため、人体検出部での処理も実施する。このようにして、検出部１０５は、複数の特定の物体のうちいずれの物体を検出するかを検知部１０２が検知した物体の特徴量に応じて選択して検出を行う。これにより、複数の検出対象を効率的に検出することができる。
【００１９】
打切部１０６は、検出部１０５による人体検出処理の打切りを処理経過時間に従って決定する。打切りを決定するための経過時間閾値は、ユーザ等からの指示に従いあらかじめ設定された値である。検出処理打切りの決定は、処理を開始してからの経過時間に基づいて行われるものに限定されない。検出処理打切りの決定は、検出部１０５が検出した人体の数、検出部１０５が人体検出処理を実行した回数などから決定してもよい。出力部１０７は、検知部１０２の検知結果、追尾部１０３の追尾状況、および検出部１０５の検出結果を外部に出力する。
【００２０】
本実施例に係る映像処理装置の動作を図５のフローチャートに示す。映像処理装置がプロセッサ及びメモリを内蔵する形態では、図５の処理フローは、図５に示される手順をこのプロセッサに実行させるためのプログラムを示す。この映像処理装置が内蔵するプロセッサは、コンピュータであり、映像処理装置が内蔵するメモリから読み出したプログラムを実行する。映像処理装置が内蔵するメモリは、このプロセッサが読み出すことができるようにこのプログラムを記録した記録媒体である。
【００２１】
ｆ１において、取得部１０１は画像の取得を継続するか終了するかを決定する（ｆ１）。ステップｆ１の決定は、不図示の入力部から入力されたユーザの指示に基づいて行うことができる。あるいは、所望の物体を検出した時点で画像の取得を終了することとしてもよい。決定方法はこれらに限られず、特に限定しない。検知処理を継続する場合、取得部１０１が外部から画像を取得する（ｆ２）。次に、取得部１０１が取得した画像について検知部１０２が検知処理を行う（ｆ３）。続いて、検知処理結果の判定を行う（ｆ４）。物体を検出していない場合（ｆ４でｎｏの場合）、ｆ１に戻る。物体を検知した場合（ｆ４でｙｅｓの場合）、追尾部１０３が物体の追尾処理を行う（ｆ５）。そして、優先度決定部１０４が検出処理を実施する物体の優先度を決定する（ｆ６）。次に、打切部１０６の決定に従い検出処理を継続するか終了するかを決定する（ｆ７）。例えば打切部１０６は、検知部１０２が画面内に複数の物体を検知した場合、１つ目の物体について検出処理を行った後、２つ目の物体について検出処理を行うか否かについて決定する。打切り部１０６は、検出部１０５が検出した人体の数、検出部１０５が人体検出処理を実行した回数などによって検出処理を継続するか否かを決定することができる。あるいは打切部１０６は、ステップｆ７の決定を不図示の入力部から入力されたユーザの指示に基づいて行うことができる。あるいは、所望の物体を検出した時点で検出処理を終了することとしてもよい。決定方法はこれらに限られず、特に限定しない。検出処理を継続する場合（ｆ７でｙｅｓの場合）、決定された優先度に従い、優先度が高い物体領域から順番に検出部１０５において人体検出処理を行う。検出処理を打切る場合（ｆ８でｎｏの場合）、ｆ１に戻る。
【００２２】
以上の構成により、映像中の物体のうち特定の物体が検出される可能性が高い物体について検出を実施することができる。従って、映像から特定の物体を検出する検出処理の効率が向上する。
【００２３】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２４】
１０２  検知部
１０４  優先度決定部
１０５  検出部
【図１】
2012128693.tif 000003
【図２】
2012128693.tif 000004
【図３】
2012128693.tif 000005
【図４】
2012128693.tif 000006
【図５】
2012128693.tif 000007