(57)【要約】【課題】動画像から少ない処理量で精度良く複数人に分ける領域分割を行う。【解決手段】画像処理装置１０は、内部バス１１と、ＣＰＵ１２と、メモリ１３と、固定ディスク１４と、通信インターフェース１５と、入力装置１６と、出力装置１７とを備える。そして、画像処理装置１０には、撮像装置２１と、出力機器２０とが接続されている。ＣＰＵ１２は、動き検知や、二値化計算等の画像処理や、任意の領域での方向別の度数分布の計算等を行い、当該判断結果を、内部バス１１を介して出力装置１７や出力機器２０に出力する。ＣＰＵ１２は、動き成分の画像に基づいて作成した度数分布の凹みの有無を解析し、解析結果に応じた画像処理を行なう。【選択図】図１
2009122753.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームデータから動き成分の画像を作成する動き成分画像作成手段と、
前記動き成分の画像から縦および横方向の度数分布を作成する度数分布作成手段と、
前記縦および横方向の度数分布の値に基づいて、所定の領域を抽出する領域抽出手段と、
前記抽出された領域の前記横方向の度数分布の凹みの有無を解析する解析手段とを備える画像処理装置。
【請求項２】
前記解析手段が前記凹みがあると解析した場合、さらに、前記度数分布作成手段は、前記凹みの位置に基づいて前記動き成分の領域を分けて複数の横方向の度数分布を作成し、前記領域抽出手段は、前記複数の横方向の度数分布の値に基づいてそれぞれ所定の動き成分を有する領域を抽出する請求項１に記載の画像処理装置。
【請求項３】
前記領域抽出手段は、前記横方向の度数分布の各位置の値を、前記横方向の度数分布の両端から順に第１の閾値と比較し、各最初に検出された前記第１の閾値より大きい位置との間であって、かつ、前記縦方向の度数分布の各位置の値を前記縦方向の度数分布の両端から順に第２の閾値と比較し、各最初に検出された前記第２の閾値とは異なる所定の閾値より大きい位置との間である領域を抽出する、請求項１に記載の画像処理装置。
【請求項４】
前記解析手段は、前記領域抽出手段によって抽出された領域における中間における前記度数分布の値が、前記第１の閾値より小さい場合、前記横方法の度数分布に前記凹みがあるとする、請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
作成された前記動き画像中の動き点を検出する動き点検出手段をさらに備え、
前記領域抽出手段は、前記第１の閾値および第２の閾値を、前記検出された動き点の数に基づいて変化させる、請求項３または４記載の画像処理装置。
【請求項６】
前記領域抽出手段は、前記第１の閾値および第２の閾値を、前記第１の閾値および第２の閾値が減少する方向に変化する場合は、前記複数のフレームデータの所定のフレームデータ分、まってから変化させる、請求項５に記載の画像処理装置。
【請求項７】
前記解析手段によって、前記凹みがないと解析された場合であって、かつ、前記抽出された領域が前記所定の形状であると解析された場合には、前記抽出された領域の位置、大きさの少なくとも一方を出力する出力手段をさらに備える、請求項１に記載の画像処理装置。
【請求項８】
前記解析手段により、前記抽出されたそれぞれの領域が所定の形状であると解析された場合には、前記抽出されたそれぞれの領域の位置、大きさの少なくとも一方を出力する出力手段をさらに備える、請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレームデータからなる動画像から複数人の人物を検知する画像処理装置、画像処理プログラム、記録媒体、および画像処理方法に関するものである。
【背景技術】
【０００２】
従来より、画像処理装置により人物を検知する技術が提案されている。
例えば、特許文献１に記載されているように、２画像の差分をとった場合の変化領域内でパターンマッチングを行い、人物と判断できる情報があれば人物と判断することで、複数の人物を検知する方法がある。
【０００３】
例えば、特許文献２に記載されているように、人物を検知したとき、その人物の位置をラベリングしておき、そのラベリングした人物を追跡することにより、複数の人物を検知する方法がある。
【０００４】
例えば、特許文献３に記載されているように、人物を検知したとき、その人物の移動領域を人体追跡領域として設定して、その領域の位置と大きさを記憶する、即ち領域をラベリングしておき、その領域内で人物を検知することにより、複数の人物を検知する方法がある。
【特許文献１】特開平１１−４１５８９号公報
【特許文献２】特開２００５−１１５９３２号公報
【特許文献３】特開２００６−１７２０２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されている特徴部の抽出にパターンマッチングを用いる方法では、ある程度の精度が必要となり、計算量も増大し、ソフトウェアによって実現させる場合には装置全体のパフォーマンスが低下してしまう。
【０００６】
特許文献２に記載されている方法では画面全体を一つの検知エリアとして考えているために、１人の人物画像が既に画像内にあるとき、異なる人物が画像内に入ってきたとき、それをソフトウェア的に検知するには二次元的に画面全体をスキャンする以外に方法はない。
【０００７】
例えば、画面全体で縦軸方向、横軸方向のそれぞれ動き成分の度数分布を用いて位置を特定する時、複数の動き物が画面内に存在する時はそれぞれの動き物の位置を特定することは出来ない。
【０００８】
特許文献３に記載されているように、検出した人物毎に人体追跡領域を設定する方法であればそれぞれの領域で動き成分の度数分布を用いることでそれぞれの人物の位置を特定することが出来るが、新たな人物が画面内に現われる可能性があるので、結局のところは人体追跡領域で設定していない領域全てを二次元的にスキャンする必要があり、計算量が増加してしまう。
【０００９】
また、特許文献２、特許文献３に記載の発明は、ラベリングを用いて人物または人体追跡領域を記憶しているので、人物が静止をするときや、何か物体の影に隠れてしまった場合は、見失ってしまうこともある。
【００１０】
見失ったり、途中で加わったりすることを対応する処理が必要であるので、どうしてもアルゴリズムが煩雑化し、計算量が増加してしまう。
【００１１】
本発明は上記のような問題点を解決するためになされるものであって、本発明の主たる目的は、動画像から少ない処理量で複数人いるかどうかを判断し、複数人いる場合は人と人との境界を精度良く求め、人が１人だけ存在する領域を求めることにある。
【００１２】
求めた領域の中には１人しか人はいないので、その領域内において、特許文献１、２などの方法を用いれば効率よく人を検知することができる。
【００１３】
例えば特許文献１を利用する場合、その領域内に人が１人しかいないことが予め分かっていれば、パターンマッチングで最初の１人を見つけたところで処理を終了させることができるので処理速度を上げることができる。
【００１４】
例えば特許文献２を利用する場合、異なる人物が画像内に入ってきたとき、人が１人だけ存在する領域を前もって求めることができるので、その領域内でスキャンして、人を検知し、ラベリングを行うことで処理速度を上げることができる。
【課題を解決するための手段】
【００１５】
１つの局面に係る本願発明は、画像処理装置であって、複数のフレームデータから動き成分の画像を作成する動き成分画像作成手段と、動き成分の画像から縦および横方向の度数分布を作成する度数分布作成手段と、縦および横方向の度数分布の値に基づいて、所定の領域を抽出する領域抽出手段と、抽出された領域の横方向の度数分布の凹みの有無を解析する解析手段とを備える。凹みがないと解析された場合には、例えば特許文献１または特許文献２の方法などで、その抽出された領域に人物がいるかどうかを求める。
【００１６】
好ましくは、解析手段が凹みがあると解析した場合、さらに、度数分布作成手段は、凹みの位置に基づいて動き成分の領域を分けて複数の横方向の度数分布を作成し、領域抽出手段は、複数の横方向の度数分布の値に基づいてそれぞれ所定の動き成分を有する領域を抽出する。
【００１７】
好ましくは、領域抽出手段は、横方向の度数分布の各位置の値を、横方向の度数分布の両端から順に第１の閾値と比較し、各最初に検出された第１の閾値より大きい位置との間であって、かつ、縦方向の度数分布の各位置の値を縦方向の度数分布の両端から順に第２の閾値と比較し、各最初に検出された第２の閾値とは異なる所定の閾値より大きい位置との間である領域を抽出する。
【００１８】
好ましくは、解析手段は、領域抽出手段によって抽出された領域における中間における度数分布の値が、第１の閾値より小さい場合、横方法の度数分布に凹みがあるとする。
【００１９】
さらに好ましくは、作成された動き画像中の動き点を検出する動き点検出手段をさらに備え、領域抽出手段は、第１の閾値および第２の閾値を、検出された動き点の数に基づいて変化させる。
【００２０】
さらに好ましくは、領域抽出手段は、第１の閾値および第２の閾値を、第１の閾値および第２の閾値が減少する方向に変化する場合は、複数のフレームデータの所定のフレームデータ分、まってから変化させる。
【００２１】
好ましくは、解析手段によって、凹みがないと解析された場合であって、かつ、抽出された領域が所定の形状であると解析された場合には、抽出された領域の位置、大きさの少なくとも一方を出力する出力手段をさらに備える。
【００２２】
好ましくは、解析手段により、抽出されたそれぞれの領域が所定の形状であると解析された場合には、抽出されたそれぞれの領域の位置、大きさの少なくとも一方を出力する出力手段をさらに備える。
【発明の効果】
【００２３】
本発明は、動き成分の画像に基づいて作成した度数分布の凹みの有無を解析し、解析結果に応じて、画像処理を行なう。したがって、動画像から少ない処理量で精度良く複数人いるかどうかを判断し、複数人いる場合は人と人との境界を求め、人が１人だけ存在する領域を求めることができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について説明する。ただし、本発明は以下で説明する実施の形態に限定されるものではない。
【００２５】
図１は本実施の形態に係る画像処理装置１０のハードウェア構成を示す図である。
まず、本実施の形態に係る画像処理装置１０の全体構成について説明する。本実施の形態に係る画像処理装置１０は、複数のフレームデータからなる動画像の各種画像処理を行うための装置である。画像処理装置１０は、特に動画像符号化技術を使用した、テレビモニター付きインターフォン、監視カメラ、カメラ付き携帯電話、などのように対象画像内に人物が含まれることが想定される画像を処理するための機器に利用されるものである。
【００２６】
画像処理装置１０によって行われる画像処理用の機能は、たとえば、組み込みマイコン、パーソナルコンピュータまたはワークステーションなどのコンピュータ上で実行されるソフトウェアによって実現され得る。
【００２７】
ただし、本実施の形態においては、後述するように、各種の画像処理機能が組み込みマイコンやパーソナルコンピュータまたはワークステーションなどのコンピュータ上で実行されるソフトウェアによって実現される構成としているが、各ブロックの機能や各ステップの処理をソフトウェアによって実現する代わりに、各々を専用のハードウェア回路等によって実現してもよい。
【００２８】
図１に示すように、本実施の形態に係る画像処理装置１０は、内部バス１１と、ＣＰＵ（Central  processing  unit、画像処理プロセッサ）１２と、メモリ（主記憶装置）１３と、固定ディスク（外部記憶装置）１４と、通信インターフェース１５と、入力装置１６と、出力装置１７と、メモリカード駆動装置１８と、ＣＤ／ＤＶＤ−ＲＯＭ（Compact  Disk/Digital  Versatile  Disk-Read  Only  Memory)駆動装置１９と、を備える。そして、画像処理装置１０には、複数のフレームデータから構成される動画像を入力するための撮像装置２１と、当該動画像をユーザ等へ表示するための出力機器２０とが接続されている。
【００２９】
一般的に、前記ソフトウェアはメモリカード２４やＣＤ／ＤＶＤ−ＲＯＭ２５などの記録媒体に格納されて、もしくはネットワークなどを介すことによって流通する。
【００３０】
そして、前記ソフトウェアは、メモリカード駆動装置１８やＣＤ／ＤＶＤ−ＲＯＭ駆動装置１９などによって前記記録媒体から読取られて、もしくは通信インターフェース１５にて受信されて、固定ディスク１４に格納される。そして、固定ディスク１４からメモリ１３に読み出されてから、ＣＰＵ１２により実行される。
【００３１】
つまり、図１に示すような画像処理装置１０のハードウェア自体は、一般的なコンピュータによっても実現可能である。
【００３２】
撮像装置２１は、小型カメラやイメージセンサやＣＣＤ（charge-coupled  device）などの撮像部であって、動画像を形成するフレームデータを画像処理装置１０へと順次入力するものである。たとえば、住宅の玄関に配置されて、住宅への訪問者もしくは不審者を撮像するものがある。
【００３３】
出力機器２０は、液晶パネルやＣＲＴ（cothode-ray  tube）またはＬＥＤ（light-emitting  diode）等で、映像信号や光信号を出力できる装置から構成されるものであって、出力装置１７より出力される値もしくは映像データを表示するものである。また、出力機器２０はプリンター等の印刷機器を接続しても構わないし、録画装置と接続をして、出力された映像データを記録できるようにしても良い。さらに、出力されたデータを音声データに変換してスピーカー等の音声出力機から音声情報を出力しても構わないし、出力装置１７より出力されたデータを更に加工したり解析したりするために、他のコンピュータに出力するようにしても構わない。
【００３４】
ＣＰＵ１２は、画像処理装置１０の各要素を制御するものであって、各種の演算を実施する装置である。また、ＣＰＵ１２は、動き検知や、二値化計算等の画像処理や、任意の領域での方向別の度数分布の計算等を行うものであって、当該判断結果を、内部バス１１を介して出力装置１７や出力機器２０に出力する。なお、ＣＰＵ１２は、各種の画像処理機能を実現することが出来るプログラム処理が実行可能な装置であればよく、たとえば専用の画像エンジン等であってもよい。
【００３５】
入力装置１６は、ユーザから装置を制御するものであればよく、例えば、クリックしたり、スライド入力のできるマウス、キー入力によりユーザから情報を受付けるキーボード、ｏｎ／ｏｆｆだけの簡単なスイッチを組合したようなもの、音声入力信号を電気信号に変換して入力できるもの、赤外線などの各種センサーを用いて、情報を入力ができるようなもの等である。なお、他の制御装置を介して、その制御装置より制御できるようにしても良い。
【００３６】
出力装置１７は、撮像装置２１から入力された入力動画像信号、もしくは画像処理装置１０によって求められた情報、もしくは撮像装置２１から入力された入力画像信号と画像処理装置１０によって求められた情報を合成した情報の、値もしくは映像データを出力するものである。
【００３７】
通信インターフェース１５は、前記ＣＰＵ１２が出力した情報を電気信号へと変換するものであって、ＣＰＵ１２が出力した情報をその他の装置が利用できる信号へと変換する装置である。また、通信インターフェース１５は、本実施の形態に係るコンピュータの外部から入力された情報を受信して、ＣＰＵ１２が利用できる情報に変換する装置でもある。
【００３８】
つまり、ＣＰＵ１２で求めた判断結果を、内部バス１１と通信インターフェース１５とを介して有線または無線で接続されたネットワーク２２に出力し、他のネットワーク機器２３に接続されている外部装置（表示装置）に出力することも可能である。逆に、内部バス１１と直接つながっていない撮像装置が撮像した動画像に関する映像信号を、他のネットワーク機器２３からネットワーク２２を介して受信することによって、通信インターフェース１５と内部バス１１とを介してＣＰＵ１２に入力し、当該映像信号を入力動画像データとして入力可能な構成としてもよい。
【００３９】
なお、本実施の形態に係る画像処理装置１０は、外部の出力機器２０や撮像装置２１にアクセス可能に構成されているが、このような形態に限定するものではない。つまり、前述したように、画像処理装置１０が、出力機器２０等の動画像の表示装置を装備しており、ＣＰＵ１２と出力機器２０とが内部バス１１によって接続される構成であってもよい。また、画像処理装置１０が、撮像装置２１等の動画像の入力装置を装備しており、ＣＰＵ１２と撮像装置２１とが内部バス１１によって接続される構成であってもよい。
【００４０】
図２は画像処理装置１０の機能構成を示す機能ブロック図である。図２に示すように、本実施の形態に係る画像処理装置１０は、ノイズ除去部２００と、動き画像作成部２０１と、フラグ保持部２０２と、度数分布作成部２０３と、動き点検出部２０４と、領域抽出部２０５と、解析部２０６と、出力部２０７とを備える。
【００４１】
ノイズ除去部２００は、撮像装置２１から入力された動画像を構成する複数のフレームデータの各々のノイズを除去処理するものである。ノイズ除去には様々な方法があるが例えば、あるピクセルにおいて、周囲のピクセルの輝度値の平均を取ることによりノイズを低減、除去する方法がある。これにより電気的に発生したノイズを低減、除去させることができる。このようなノイズ除去部２００でのノイズ除去は、たとえば、固定ディスク１４からメモリ１３へと読み出されたプログラムがＣＰＵ１２上で実行されることによって実現される。つまり、固定ディスク１４に記憶されたプログラムが一旦メモリ１３へと読み出されて、ＣＰＵ１２がメモリ１３から前記プログラムを読み出しながら順次実行することによって、以下のノイズ除去処理部機能が実現される。
【００４２】
動き画像作成部２０１は、撮像装置２１からノイズ除去部２００を介して入力された複数のフレームデータに基づき、動き成分の画像を作成する。ここで、「動き成分」とは、その値を調べることにより、画像中の対象物が動いていることが分かるような成分の総称である。例えば、現フレームデータと現フレームデータより１つ以上前のフレームデータとの差異を求めるための演算をおこなう。具体的には、予めこれらの対象となる２枚のフレームデータから必要な色成分もしくは輝度を持つ領域を示す２値画像（２値のフレームデータ）を生成しておき、必要なエリアのみにおいて差異を求める演算を行い、動き成分の画像を作成する。
【００４３】
なお、２値画像を求める際、色成分もしくは輝度の代わりに、エッジ成分を用いても良い。その場合は、Sobelフィルタ等のエッジ抽出フィルタを用いて、エッジがあるところとないところを示す２値画像を作成すればよい。この場合、撮影時に光量の変化があっても、その影響を最小限で、済ますことができる。
【００４４】
なお、本実施の形態では、動き画像作成前に、既にノイズ除去部２００でノイズを除去しているが、動き画像作成部２０１でさらにノイズ除去処理を行ってもよい。この場合は既に２値の画像になっているので、例えば、図３（Ａ)に示したように、例えばあるピクセル（図３（Ａ)（Ｂ)では中央の１）に注目したとき近傍する上下左右４個の点すべてが１のとき１にし、一方、図３（Ｂ)に示したように中央の１に近接する上下左右の４個の点全てが一つでも１でないときはその中央の１の値を０にするようなノイズ除去の方法がある。なお、図３（Ａ)(Ｂ)において、＊印の値は、処理内容に影響しない。つまり、＊印の値が１または０のいずれであっても同様の処理が行なわれる。また、図３（Ａ)(Ｂ)において左の図がノイズ除去前、右図がノイズ除去後を示すものである。さらに、ノイズ除去部２００によらず、動き画像作成部２０１のみで上記のようなノイズ除去してもよい。
【００４５】
フラグ保持部２０２は、１人検知モードの状態か複数人検知モードの状態かを示す状態フラグを保持するものである。この状態フラグは、後述するように、解析部２０６の解析結果に応じて変更される。
【００４６】
度数分布作成部２０３は、動き成分作成部２０１によって作成された各々の動き成分画像に基づいて、その縦方向および横方向の度数分布を作成する。例えば、図４に示すように求める領域内（例えば、サイズはWIDTH×HEIGHT）で縦方向と横方向の動き成分の度数分布を作成する。縦（横）方向の度数分布は、各座標における動き成分を横（縦）方向に積算したものである。また、前記フラグ保持部２０２のフラグが複数人検知モードを示している場合は、更に、動き成分作成部２０１によって作成された各々の動き成分画像を分割して、分割したそれぞれの縦横方向の度数分布を作成する。なお、その場合の分割の方法等については後述する。
【００４７】
動き点検出部２０４は、対象となっている動き画像中の、動き点の数を算出する。動き点とは、動き画像中で動きがあると判断される点のことをいう。具体的には、例えば、動き成分の値が閾値以上である点を動き点とする。
【００４８】
領域抽出部２０５は、度数分布作成部２０３で作成された縦方向および横方向の度数分布に基づいて、所定の動き成分を有する領域を抽出する。具体的には、横方向の度数分布の各位置の値を両端から順に横方向の閾値と比較し、各最初に検出された横方向の閾値より大きい位置との間であって、かつ、縦方向の度数分布の各位置の値を両端から順に縦方向の閾値と比較し、最初に検出された縦方向の閾値より大きい位置との間である領域を抽出する。
【００４９】
例えば、図４または図５に示すように、度数分布作成部で作成された縦方向と横方向の度数分布でそれぞれ設定された縦方向（ｙ方向とする）、横方向（ｘ方向とする）のそれぞれの閾値（それぞれthSum1、thSum2とする）より大きくなる部分を探す。なお、ここで、図４に示されているように原点は左上とした。
【００５０】
そして、横軸方向の場合、X=0からXの値が大きくなる方向に順に調べていき、最初にthSum1を越える時の位置をXminとする。また、X=WIDTHからxの値が小さくなる方向に順に調べていき、最初にthSum1を越える時の位置をXmaxとする。
【００５１】
Y軸方向の場合も同様にして、YmaxとYminを求める。
この方法により、動き成分の存在する領域は(Xmin,Ymin),(Xmax,Ymax)を対角とする矩形の範囲として抽出することができる。
【００５２】
ここで、領域抽出部２０５は、上記それぞれの閾値を、動き点検出部２０４で検出された動き点の数に応じて変化させる。
【００５３】
例えば、全動き点の数をNとしたとき、
0≦N<20  のとき、thSum1=10 thSum2=4     モード１    敏感
20≦N<40 のとき、thSum1=20 thSum2=8     モード２    ↑
40≦N<80 のとき、thSum1=40 thSum2=16    モード３    ↓
80≦N    のとき、thSum1=80 thSum2=32    モード４    鈍感
のようにして閾値を変化させる。
【００５４】
但し、敏感な方から鈍感な方向に変化させる時はフレームを待たずに変化させるが、鈍感なほうから敏感なほうに変化させるときはTフレーム待ってから変化させる（Ｔ：定数）。
【００５５】
これは、動き物の動きが変わる毎にモードが大きく変化しないようにするためである。
画面中に動き物がいない時から急に動き物が現われた場合は、すぐさまその動き物の感度に合わせる必要がある。
【００５６】
また、動き物がいるときでも、その動き物は常に一定の速度で変化をしているわけではないので、（全動き点Nの数は一定ではないので）動き物が画面上に存在する時は、ある時間範囲内での最も速く動いている状態（Nの大きい方、即ち、検知の鈍感の方）に感度を合わす必要がある。
【００５７】
例えば、モード１からモード４に移る場合は、モード２、モード３を飛ばして一気にモード４に移動する。
【００５８】
モード４の時、動き物が全く検知されなくなったとき、急にモード１に移るのではなく、
モード４→(Tフレーム待ち)→モード３→(Tフレーム待ち)→モード２→(Tフレーム待ち)→モード１
と、段階的に徐々に変わる。
【００５９】
ただし、ここで使われている値はある環境の一例であり、全ての環境で最適というわけではない。モードの区分に用いる動き点の数、モードの種類数、各モード間の待ちフレーム数は、適宜変更して構わない。
【００６０】
解析部２０６は、領域抽出部２０５で抽出された領域の横方向の度数分布の凹みの有無を解析する。
【００６１】
また、領域抽出部２０５で抽出された領域に人がいるかを判断する。この判断は、例えば、特許文献１あるいは特許文献２に記載の方法によって行なう。
【００６２】
また、図４または図５に示すようなXmaxとXminの中間値 Xc=(Xmax+Xmin)/2 を求め、その中間値と閾値thSum1を比較することで凹みの有無を判断する機能を有する。
【００６３】
そして、上記の処理により抽出領域が人物であると判断された場合はその位置情報、抽出領域の大きさ等を出力するものである。なお、解析部２０６の機能の詳細については後述する。
【００６４】
出力部２０７は、解析部２０６から出力された位置情報等を出力機器２０に出力するものである。
【００６５】
次に、本実施形態に係る画像処理装置１０の動作について図６を用いて説明する。図６は本領域分割手段を用いての２人までの検出処理を示すフローチャートの一例である。
【００６６】
まず、フラグ保持部２０２のフラグは初期値として、1人検知モードに設定されている（ステップＳ１００）。
【００６７】
ステップＳ１０１において、フラグが1人検知モードか２人検知モードを示しているかが判断され、1人検知モードの場合はステップＳ１０２以下の1人検知モードへ、2人検知モードの場合は、ステップＳ１１２以下の２人検知モードへと進む。
【００６８】
まず、1人検知モードの場合（図６の左）について説明する。
度数分布作成部２０３は、動き画像作成部２０１によって作成された動き画像の全領域(0,0,WIDTH,HEIGHT)で動き検知の横方向（Ｘ軸方向）および縦方向（Ｙ軸方向）の度数分布を作成する（ステップＳ１０２）。つまり、例えば、図４や図５に示したように、対応する動き画像中の動き成分を有する部分４０１、５０１、５０２の度数分布が、他の部分と比べて高い度数を示している度数分布が作成されることになる。
【００６９】
このとき、動き点検出部２０４は、動き点の数を検出するが、動き画像を作成する際に、動き点の数を検出してもよい。
【００７０】
次に、動き点検出部２０４で検出された動き点の数に応じて、横方向および縦方向それぞれの閾値(それぞれthSum1、thSum2とする)が決定される(ステップＳ１０３)。具体的には、上記に説明したとおりである。
【００７１】
次に、動き画像の全領域から、領域抽出部２０５は、図４または図５に示したように、X軸方向とY軸方向それぞれの度数分布の、閾値(thSum1とthSum2)を越えるところの、最小座標(Xmin,Ymin)と最大座標(Xmax,Ymax)をそれぞれ求める(ステップＳ１０４)。
【００７２】
次に、解析部２０６は、ステップＳ１０４で検出された最小座標および最大座標に基づき、検出された物体の高さHと幅Wを求める（ステップＳ１０５）。
【００７３】
なお、ここで、物体が検出されなかった場合、前回の動き画像を処理した際に検出されている場合は、前回検出されたH,Wをそのまま使用する。これは、動き検知を用いて座標を得ているために、対象物が静止をしてしまうと、その対象物の位置を見失ってしまうことによるものであり、静止をしているということは、すなわち、その対象物の位置座標は変化をしていないということなので、H,Wは更新をする必要はないからである。
【００７４】
ただし、物体が検出されなかった時間がある時間より長い場合は、画面上よりその物体が消えてしまっている可能性があるので、H,Wはリセット(H=0,W=0)する。
【００７５】
次に、ステップＳ１０６において、解析部２０６は、求められた物体の高さＨ、幅Ｗが、
条件（１）「Hmin<H≦Hmax かつ W>Wmin 」
を満たすか否かを判断する。ここで、Hmin,Hmax,Wminは定数である。
【００７６】
つまり、検出された物体の高さＨが一定の範囲内の大きさであるか否か、検出された物体の幅Ｗが一定の幅以上であるか否かが判断される。
【００７７】
条件（１）を満たさない場合は（ステップＳ１０６でＮｏ）、ステップＳ１０１に戻り、次の動き画像について上記と同様の処理がされることになる。
【００７８】
これにより、物体の高さＨが一定の範囲内の大きさでなく、物体の幅Ｗが一定の幅以内でなければ人でないと判断し、その後の処理を進めないことで画像処理装置の処理量の削減を図ることができる。
【００７９】
一方、条件（１）を満たす場合は（ステップＳ１０６でＹｅｓ）、次にXmaxとXminの中間値 Xc=(Xmax+Xmin)/2 を求める。(ステップＳ１０７)。
【００８０】
次に、解析部２０６は、検出された物体が、
条件（２）「H≦α・W  かつ  (度数分布のXcの場所の値)＜thSum1  (α:定数)」
を満たすかどうか判断する（ステップＳ１０８)。
【００８１】
つまり、物体の高さＨと幅の比であるアスペクト比が一定の値α以上であり、かつ、Ｘ軸方向の度数分布XmaxとXminの中間値Xcにおける度数がＸ軸方向の閾値thSum1より小さいか否かが判断される。
【００８２】
条件（２）を満たす場合は（ステップＳ１０８でＹｅｓ）、フラグ保持部のフラグを２人検知モードにして（ステップＳ１０９）、ステップＳ１０１へ戻る。これは、例えば、図５に示すように、動き画像中に２つの動き物がある場合であれば、Ｘ軸方向の度数分布XmaxとXminの中間値XcがＸ軸方向の閾値thSum1より小さくなると考えられる一方、図４に示すように、動き画像中に１つの動き物がある場合であれば、Ｘ軸方向の度数分布XmaxとXminの中間値XcがＸ軸方向の閾値thSum1以上になると考えられるからである。
【００８３】
条件（２）を満たさない場合は（ステップＳ１０８でＮｏ）、画像内に0人または１人いると判断し、解析部２０６は、画面全領域内から特許文献1または2などの方法により人物を検出する（ステップＳ１１０）。
【００８４】
ステップＳ１１０で人が検知できなかった場合は、ステップＳ１０１へ戻る。
ステップＳ１１０で人が検出できた場合、検出した人の位置情報、大きさ、１人であること等を出力部２０７に出力し、かつ、ステップＳ１０１へ戻る（ステップＳ１１１）。人が1人いると判断したからである。そして次の動き画像について処理をする。
【００８５】
次に２人検知モードについて説明する。
これは、前述のように、ステップＳ１０１でフラグ保持部２０２のフラグが２人検知モードを示している場合のフローである。
【００８６】
まず、ステップＳ１１２で、度数分布部２０７は、領域(0,0,Xc,Height)(左領域)と領域(Xc,0,WIDTH,HEIGHT)(右領域)の２つの領域で、２つの動き検知の度数分布をつくる。
【００８７】
例えば、図５で示したように、中間値Xcの左右で左領域と右領域に動き画像は分割され、それぞれのＸ軸方向、Ｙ軸方向の縦方向横方向の度数分布が作成される。なお、ここで、XcはステップＳ１０７で求められたXc若しくは、後述するステップＳ１２２で求められたXcである。
【００８８】
また、この場合、図６に示したように人の動き画像は、通常縦長と考えられるため、Ｘ軸方向の度数分布については、ステップＳ１０２で度数分布を作成していた場合、左右の度数分布ともステップＳ１０２で作成していた度数分布を使って求めてもよいが、Ｙ軸方向の場合、ステップＳ１０２で作成していた全体の度数分布では左または右側が右または左側の影響を受けているので、左右別々に度数分布を計算しなおす必要がある。
【００８９】
次に、領域抽出部２０５は、ステップＳ１０４と同様にして、それぞれの領域にてそれぞれの最小座標(Xmin1,Ymin1),(Xmin2,Ymin2)と最大座標(Xmax1,Ymax1),(Xmax2,Ymax2)を求める(ステップＳ１１３）。
【００９０】
次に、解析部２０６は、左右領域それぞれの検出された物体の高さH1,H2と幅W1,W2を求める（ステップＳ１１５）。これもステップＳ１０５と同様である。
【００９１】
なお、ステップＳ１０５と同様、物体が検出されなかった場合であっても、前回物体が検出されているときは、その時のH1,H2,W1,W2の値をそのまま使用する。但し、物体が検出されなかった時間がある時間より長い場合は、画面上よりその物体が消えてしまっている可能性があるので、H,Wはリセット(H1=0,H2=0,W1=0,W2=0)する必要がある。その理由はステップＳ１０５の時と同様である。
【００９２】
次に、解析部２０６は、左領域内に、0人または１人いると判断し、画面左領域内を特許文献1または2などの方法により人物を検出する（ステップＳ１１７）。これもステップＳ１１０と同様である。
【００９３】
ステップＳ１１７で人がいないと判断された場合、後述するＳ１１９へ進む。左領域に人はいないと判断されるためである。
【００９４】
一方、ステップＳ１１７で人がいると検出されたとき、検出した位置情報と抽出領域の大きさの情報を出力部２０７に出力し（ステップＳ１１８）、後述するステップＳ１２１へ進む。
【００９５】
次に、ステップＳ１１９、ステップＳ１２０で、右の領域についても左領域についてと同様の処理を行う。つまり、まず、解析部２０６は、右領域内に、0人または１人いると判断し、画面右領域内から特許文献1または2などの方法により人物を検出する（ステップＳ１１９）。
【００９６】
ステップＳ１１９で人がいると判断された場合は、検出した位置情報および抽出領域の大きさの情報を出力部２０７に出力し（ステップＳ１２０）、後述するステップＳ１２１へ進む。
【００９７】
一方、ステップＳ１１９で人がいないと判断された場合は、後述するステップＳ１２１へ進む。
【００９８】
ステップＳ１２１においては、解析部２０６は、ステップＳ１１７およびステップＳ１１９の両方において人がいると判断されていたかどうか判断し（ステップＳ１２１）、両方において人がいると判断されていたと判断した場合は、XcをXc=(Xmax2+Xｍin1)/2と更新し（ステップＳ１２２）、ステップＳ１０１へ戻る。
【００９９】
人が２人いたと判断した場合にのみＸｃを更新することにより、その後の検出精度を向上することができる。
【０１００】
人が２人いると判断されなかった場合は（ステップＳ１２１でＮｏ）、フラグ検出部２０２のフラグを1人検出モードにして（ステップＳ１２３）、ステップＳ１０１へ戻る。
【０１０１】
なお、本実施の形態では、ステップＳ１１７からステップＳ１２０において、左領域を解析してから右領域を解析する構成としたが、逆であってもよい。
【０１０２】
以上より、本実施の形態に係る画像処理装置１０は、動画像より２人までの人物を検出することができる。
【０１０３】
なお、ある実験においては、上記実施の形態において上記定数αを２/３とし、高さＨの閾値HminをHEIGHT/2とする条件で１人の人が存在する領域を判断することができた。ただし、この条件は撮像機器のズーム機能や、人物と撮像機器の距離により必ずしもこの値が最適とは言えず適宜調整されるべきであることはいうまでもない。
【０１０４】
また、上記実施の形態では、ステップＳ１０８でＨとＷの比、αを用いているが、縦横比を用いなくても、縦の長さから横の長さを引き、その値がある特定の値より大きければ１人の人が存在していると判断する方法がある。そうでない時は、その画像内に人が全くいない、または複数人の人がいると判断することができる。
【０１０５】
また、上記実施の形態においては、２人までの領域を求める場合について説明したが、更に左側領域(0,0)(Xc,HEIGHT)と右側領域(Xc,0)(WIDTH,HEIGHT)のそれぞれ領域において、同様にしてXc1=(Xmax1+Xmin1)/2 , Xc2=(Xmax2+Xmin2)/2 をもとめて、Xc1,Xc2の位置のＸ軸方向の度数分布の値を調べてその部分と閾値(thSum1)を比較することによって、３人以上も求めることができるようにすることも可能である。更に、これを再帰的に繰り返すことにより、更に多くの人数も調べることも可能である。システムの性能や検知する必要な人数に応じて最大人数を設定すればよい。
【０１０６】
また、本実施の形態では、Xmax,Xminの真ん中のみに基づいて動き画像を分割して度数分布を計算し判断するので、例えば、図７のように３人いる場合など間違った判断をしてしまう場合もある。そのようなことを避けるためには、Xc(a,b)=(a・Xmax+b・Xmin)/(a+b)（ここで、a+bは３以上の固定の値）のようにして、比較点を増やすことで解決できる。あるいは、等価だが、Xc(k)=Xmin+k・(Xmax-Xmin)/nとすれば、n個の領域の場合まで求められるできる構成となる。
【０１０７】
しかし、この場合は計算量が増えるので、比較点の数は必要な精度とのトレードオフにより決定すればよい。
【０１０８】
例えば、図７のｎが３の場合について説明すると、比較点はそれぞれXc１=(2Xmin+Xmax)/３、Xc２=(Xmin+2max)/３となる。
【０１０９】
この場合はいうまでもないが、例えば図６についてこれを適用するなら、ステップＳ１０７の中間点が上記に置換されることになり、更に、当該比較点に基づき、図６右の複数人検出人モードは３人検出モードとするため、ステップＳ１１２においては左、真ん中、右の度数分布を作成等し、またその他のステップにおいても、同様の処理をそれぞれの度数分布に対して可能となるようにする必要がある。
【０１１０】
また、人は通常、歩いている時などは縦長い存在であるので、Ｘ軸方向の度数分布の値のみ比較するだけで複数人かどうかを確認するには十分であるとは考えられるが、人が横長に存在する場合も検知できるようにして、更に精度を高めるのなら、Ｙ軸方向の比較点の度数分布の値も比較できるような形態としてもよい。この場合は上記に述べたＸ軸方向についての凹みに基づく構成と同様の構成をＹ軸方向についても行うものとすればよい。
【０１１１】
なお、上記各種の画像処理機能を有したプログラムは、それをコンピュータが読み取り可能な記録媒体、たとえば、フレキシブルディスク、メモリカード、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＭＯディスク（Magneto Optical Disk）、リムーバブルディスクなどに記録して提供したり、配布することが可能である。これにより、上記記録媒体、または、ネットワークを介して、本システムと互換のあるコンピュータや、同等の機能のプロセッサや画像エンジンを持つシステムに、上記本発明に係るコンピュータプログラムをインストールすることによって、上記特徴の本発明に係る機器制御方法の人検出装置を該コンピュータまたは該システム上で実行することができる。
【０１１２】
前記開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内においてのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１１３】
【図１】本実施の形態に係る画像処理装置のハードウェア構成を示す図である。
【図２】画像処理装置の機能構成を示す機能ブロック図である。
【図３】ノイズ除去方法を説明する図である。
【図４】動画像から抽出された１つのフレームデータより、度数分布の略図を加えた概念図である。
【図５】動画像から抽出された１つのフレームデータに２人の人物が入っているときの度数分布の略図を加えた概念図である。
【図６】２人検知を示すフローチャートである。
【図７】動画像から抽出された１つのフレームデータに３人の人物が入っているときの度数分布の略図を加えた概念図である。
【符号の説明】
【０１１４】
１０  画像処理装置、１１  内部バス、１２  ＣＰＵ、１３  メモリ、１４  固定ディスク、１５  通信インターフェース、１６  入力装置、１７  出力装置、１８  メモリカード駆動装置、１９  ＣＤ／ＤＶＤ−ＲＯＭ駆動装置、２０  出力機器、２１  撮像装置、２２  ネットワーク、２３  ネットワーク機器、２００  ノイズ除去部、２０１  動き画像作成部、２０２  フラグ保持部、２０３  度数分布作成部、２０４  動き点検出部、２０５  領域抽出部、２０６  解析部、２０７  出力部。
【図１】
2009122753.tif 000003
【図２】
2009122753.tif 000004
【図３】
2009122753.tif 000005
【図４】
2009122753.tif 000006
【図５】
2009122753.tif 000007
【図６】
2009122753.tif 000008
【図７】
2009122753.tif 000009