(57)【要約】【課題】目標物の検出の際に撮影環境などに不都合が生じても、処理速度および検出精度を低下させることなく当該検出を行う。【解決手段】人体検出装置１に、所定の時間おきに撮影されて得られた画像ＦＧを入力する画像入力部１０１と、互いに異なる方法を用いて、画像ＦＧに写っている人の特徴を検出するプレーン生成部３０１〜３０５と、時系列上で互いに隣り合う画像ＦＧについてそれぞれ異なるプレーン生成部３０１〜３０５によって人の特徴が検出されるようにプレーン生成部３０１〜３０５を制御する特徴量演算制御部１０６と、画像ＦＧに写っている人を、いずれかのプレーン生成部３０１〜３０５によってその画像ＦＧから検出された特徴およびそれ以外のプレーン生成部３０１〜３０５によってその画像ＦＧ以外の画像ＦＧから検出された特徴に基づいて検出する検出処理部１０５と、を設ける。【選択図】図４
2005149143.tif 000002
【特許請求の範囲】
【請求項１】
画像の中から目標の物体を検出する物体検出装置であって、
所定の時間おきに撮影されて得られた撮影画像を入力する画像入力手段と、
互いに異なる方法を用いて、前記撮影画像の特徴を検出する複数の特徴検出手段と、
時系列上で互いに隣り合う前記撮影画像についてそれぞれ異なる前記特徴検出手段によって前記特徴が検出されるように前記各特徴検出手段を制御する制御手段と、
前記撮影画像に写っている前記物体を、いずれかの前記特徴検出手段によって当該撮影画像から検出された前記特徴および当該特徴検出手段以外の特徴検出手段によって当該撮影画像以外の撮影画像から検出された前記特徴に基づいて検出する物体検出手段と、
を有することを特徴とする物体検出装置。
【請求項２】
画像の中から目標の物体を検出する物体検出装置であって、
所定の時間おきに撮影されて得られた撮影画像を入力する画像入力手段と、
互いに異なる方法を用いて、前記撮影画像の画素面を区画した領域ごとに当該撮影画像に写っている前記物体に対する確からしさを求める、複数の確からしさ算出手段と、
時系列上で互いに隣り合う前記撮影画像についてそれぞれ異なる前記確からしさ算出手段によって前記確からしさが求められるように前記各確からしさ算出手段を制御する制御手段と、
前記撮影画像に写っている前記物体を、いずれかの前記確からしさ算出手段によって当該撮影画像から求められた前記確からしさおよび当該確からしさ算出手段以外の確からしさ算出手段によって当該撮影画像以外の撮影画像から求められた前記確からしさに基づいて検出する物体検出手段と、
を有することを特徴とする物体検出装置。
【請求項３】
前記確からしさは数値によって表され、
前記検出手段は、前記撮影画像の前記領域ごとの前記確からしさを表す数値を、同じ位置の前記領域のもの同士で加算し、それらの加算値のピークを調べることによって前記物体を検出する、
請求項２記載の物体検出装置。
【請求項４】
前記物体は人であり、
前記確からしさ算出手段として、半楕円形状のテンプレートとのマッチングの度合いを求めることによって前記各領域の前記確からしさを求める手段、前記撮影画像の前記領域における肌の色らしさを検出することによって当該領域の前記確からしさを求める手段、前記撮影画像の前記領域における髪の色らしさを検出することによって当該領域の前記確からしさを求める手段、または肩形状のテンプレートとのマッチングの度合いを求めることによって前記各領域の前記確からしさを求める手段、を有する、
請求項２または請求項３記載の物体検出装置。
【請求項５】
画像の中から目標の物体を検出する物体検出方法であって、
所定の時間おきに撮影されて得られた撮影画像を入力し、
時系列上で互いに隣り合う前記撮影画像について、それぞれ異なる特徴検出方法で当該撮影画像の特徴を検出し、
前記撮影画像に写っている前記物体を、いずれかの前記特徴検出方法によって当該撮影画像から検出された特徴および当該特徴検出方法以外の特徴検出方法によって当該撮影画像以外の撮影画像から検出された特徴に基づいて検出する、
ことを有することを特徴とする物体検出方法。
【請求項６】
画像の中から目標の物体を検出するコンピュータに用いられるコンピュータプログラムであって、
所定の時間おきに撮影されて得られた撮影画像を入力する処理と、
時系列上で互いに隣り合う前記撮影画像について、それぞれ異なる特徴検出方法で当該物体の特徴を検出する処理と、
前記撮影画像に写っている前記物体を、いずれかの前記特徴検出方法によって当該撮影画像から検出された特徴および当該特徴検出方法以外の特徴検出方法によって当該撮影画像以外の撮影画像の特徴に基づいて検出する処理と、
をコンピュータに実行させるためのコンピュータプログラム。
画像の中から目標の物体を検出する物体検出装置であって、
所定の時間おきに撮影されて得られた撮影画像を入力する画像入力手段と、
互いに異なる方法を用いて、前記撮影画像の画素面を区画した領域ごとに当該撮影画像に写っている前記物体の所定の位置への近さを求める、複数の近さ算出手段と、
時系列上で互いに隣り合う前記撮影画像についてそれぞれ異なる前記近さ算出手段によって前記近さが求められるように前記各近さ算出手段を制御する制御手段と、
前記撮影画像に写っている前記物体を、いずれかの前記近さ算出手段によって当該撮影画像から求められた前記近さおよび当該近さ算出手段以外の近さ算出手段によって当該撮影画像以外の撮影画像から求められた前記近さに基づいて検出する物体検出手段と、
を有することを特徴とする物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の中から目標の物体を検出する物体検出装置または物体検知方法に関する。
【背景技術】
【０００２】
従来より、歩行者や侵入者の検知、個人認証、またはフレーミングなどを目的とした人体検知方法が提案されている。
【０００３】
人体検知方法として、歩行者が通る場所にカメラを設置しておき、そのカメラで撮影して得た画像を解析して歩行者の画像領域を検出することによって、歩行者を検知する方法が知られている。歩行者の画像領域を検出する方法として、例えば、背景差分を用いる方法、動き差分（時間差分）を用いる方法、オプティカルフローを求める方法、肌色領域を検出する方法、頭部の楕円形状を検出する方法、または眼や鼻などの身体の部位を検出する方法などが提案されている。
【０００４】
上記の検出方法では、次のような不都合がある場合に歩行者を上手く検出できないことがある。
【０００５】
例えば、背景画像が肌などの色と近い場合または照明条件の変化によって背景基準画像に誤差が生じた場合は、背景差分が上手く求められないので、背景差分を用いる方法では歩行者を上手く検出ができないことがある。歩行者の移動速度が遅い場合または歩行者が静止している場合は、２枚の画像の差が現れにくいので、動き差分（時間差分）を用いる方法およびオプティカルフローを求める方法では歩行者を上手く検出ができないことがある。
【０００６】
背景領域に肌色が多く含まれている場合は背景領域を人体の領域と誤認識しやすく、歩行者が後ろを振り返っている場合は肌色領域が小さくなるので、肌色領域を検出する方法では、歩行者を上手く検出ができないことがある。歩行者が帽子、眼鏡、サングラス、またはマスクなどを身に付けている場合は、これらの部位が隠れてしまうので、頭部の楕円形状を検出する方法および眼や鼻などの身体の部位を検出する方法では歩行者を上手く検出ができないことがある。
【０００７】
これらの問題点を解決する方法として、特許文献１に記載されるような方法が提案されている。係る方法によると、特性の異なる複数の被写体抽出を行い、各被写体抽出で抽出された被写体を合成する。そして、もしも合成結果が所定の判定基準を満たしていなければ、さらに特性の異なる補助被写体抽出を行い、合成結果と補助被写体抽出による抽出結果とを用いて主要被写体を抽出する。
【０００８】
しかし、係る方法では、合成結果が所定の判定基準を満たしているか否かを常に判別しなければならない。また、最初の複数の被写体抽出の設定が適切でなければ、常に追加処理である補助被写体抽出を行わなければならない。したがって、同時に（つまり１つのフレームに対して）実行する処理数が多くなり、処理速度が非常に遅くなってしまう。
【特許文献１】特開平１１−３１６８４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上記のような問題点に鑑み、目標物の検出を行う際に撮影環境などに不都合が生じても、処理速度および検出精度の低下を抑えつつ当該検出を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る物体検出装置は、画像の中から目標の物体を検出する物体検出装置であって、所定の時間おきに撮影されて得られた撮影画像を入力する画像入力手段と、互いに異なる方法を用いて、前記撮影画像の特徴を検出する複数の特徴検出手段と、時系列上で互いに隣り合う前記撮影画像についてそれぞれ異なる前記特徴検出手段によって前記特徴が検出されるように前記各特徴検出手段を制御する制御手段と、前記撮影画像に写っている前記物体を、いずれかの前記特徴検出手段によって当該撮影画像から検出された前記特徴および当該特徴検出手段以外の特徴検出手段によって当該撮影画像以外の撮影画像から検出された前記特徴に基づいて検出する物体検出手段と、を有することを特徴とする。
【００１１】
または、互いに異なる方法を用いて、前記撮影画像の画素面を区画した領域ごとに当該撮影画像に写っている前記物体に対する確からしさを求める、複数の確からしさ算出手段と、時系列上で互いに隣り合う前記撮影画像についてそれぞれ異なる前記確からしさ算出手段によって前記確からしさが求められるように前記各確からしさ算出手段を制御する制御手段と、前記撮影画像に写っている前記物体を、いずれかの前記確からしさ算出手段によって当該撮影画像から求められた前記確からしさおよび当該確からしさ算出手段以外の確からしさ算出手段によって当該撮影画像以外の撮影画像から求められた前記確からしさに基づいて検出する物体検出手段と、を有することを特徴とする。
【００１２】
前記確からしさを数値によって表し、前記検出手段は、前記撮影画像の前記領域ごとの前記確からしさを表す数値を、同じ位置の前記領域のもの同士で加算し、それらの加算値のピークを調べることによって前記物体を検出するようにしてもよい。
【００１３】
前記物体が人である場合には、前記確からしさ算出手段として、前記撮影画像に対して半楕円形状のテンプレートのテンプレートマッチングを行うことよって前記各領域の前記確からしさを求める手段、前記撮影画像の前記領域における肌の色らしさを検出することによって当該領域の前記確からしさを求める手段、前記撮影画像の前記領域における髪の色らしさを検出することによって当該領域の前記確からしさを求める手段、または前記撮影画像に対して肩形状のテンプレートのテンプレートマッチングを行うことよって前記各領域の前記確からしさを求める手段、を設けることが望ましい。
【００１４】
前記確からしさを、前記物体の所定の位置への近さによって表してもよい。この場合は、前記各領域のうち、前記物体の所定の位置に近いと考えられる領域ほど、確からしさを示す数値が大きくなる。
【発明の効果】
【００１５】
本発明によると、目標物の検出を行う際に撮影環境などに不都合または不具合が生じても、処理速度および検出精度をあまり低下させることなく当該検出を行うことができる。
【発明を実施するための最良の形態】
【００１６】
図１は監視システム１００の全体的な構成の例を示す図、図２はビデオカメラ２の位置姿勢および撮影状況の例を示す図、図３は人体検出装置１のハードウェア構成の例を示す図、図４は人体検出装置１の機能的構成の例を示す図である。
【００１７】
図１に示すように、監視システム１００は、本発明に係る人体検出装置１、ビデオカメラ２、および通信回線３などによって構成される。人体検出装置１とビデオカメラ２とは、通信回線３を介して互いに接続されている。通信回線３として、ＬＡＮ、公衆回線、専用線、またはインターネットなどが用いられる。
【００１８】
ビデオカメラ２は、ＣＣＤなどのイメージセンサ、光学系、外部の装置とデータの送受信を行うためのインタフェース、および制御用回路などを備えており、撮影によって得られた画像を画像データ７０として人体検出装置１に送信する。
【００１９】
このビデオカメラ２は、図２に示すように、店舗、地下街、ビル、またはイベント会場などの施設の通路または出入口などのように、人が通行する場所の天井などに設置される。以下、ビデオカメラ２が施設の通路に設置され、その通路の様子を監視するために使用される場合を例に説明する。また、ビデオカメラ２は、水平画角が６０度くらい、検知対象（被写体）との距離すなわち撮影距離が３〜５ｍくらい、出力する画像の解像度が６４０×４８０画素（いわゆるＶＧＡ）に設定されているものとする。通路の幅は、１〜１．５ｍくらいであるものとする。
【００２０】
人体検出装置１は、図３に示すように、ＣＰＵ１ａ、ＲＡＭ１ｂ、ＲＯＭ１ｃ、磁気記憶装置（ハードディスク）１ｄ、通信インタフェース１ｅ、表示装置１ｆ、およびマウスまたはキーボードなどの入力装置１ｇなどによって構成される。
【００２１】
磁気記憶装置１ｄには、図４に示すような画像入力部１０１、前処理部１０２、特徴量演算部１０３、頭部中心度プレーン生成部１０４、検出処理部１０５、特徴量演算制御部１０６、頭部画像表示部１０７、および頭部画像保存部１０８、特徴度プレーン記憶部１Ｍ１、前フレーム記憶部１Ｍ２、テンプレート記憶部１Ｍ３、および結果プレーン記憶部１Ｍ４などの機能を実現するためのプログラムおよびデータがインストールされている。これらのプログラムおよびデータは必要に応じてＲＡＭ１ｂにロードされ、ＣＰＵ１ａによってプログラムが実行される。
【００２２】
この人体検出装置１は、施設の管理室などに設置されており、警備員が管理室に居ながら通路の様子を監視するために使用される。また、ビデオカメラ２によって撮影された画像に写っている通行人の頭部を検出し、頭部を拡大表示しまたは頭部の画像（映像）を保存しておくことができる。人体検出装置１として、ワークステーションまたはパーソナルコンピュータなどが用いられる。
【００２３】
以下、ビデオカメラ２で撮影された画像から歩行者の頭部の中心の位置（例えば、鼻の先端）を検出する際の、図４に示す人体検出装置１の各部の処理内容などについて説明する。
【００２４】
〔検出対象の画像の入力および前処理〕
図５はビデオカメラ２で撮影された画像ＦＧの例を示す図、図６は色空間変換処理の流れの例を説明するフローチャート、図７は切出画像ＧＣの生成方法の例を説明する図、図８は切出縮小画像ＧＳの生成方法の例を説明する図、図９は画像縮小処理の流れの例を説明するフローチャート、図１０は時間差分プレーンＳＴの生成方法の例を示す図、図１１は時間差分検出処理の流れの例を説明するフローチャート、図１２は空間差分プレーンＳＳの生成方法の例を示す図、図１３は空間差分検出処理の流れの例を説明するフローチャート、図１４は論理積プレーンＡＮの生成方法の例を示す図、図１５は論理積画像生成処理の流れの例を説明するフローチャート、図１６は論理積プレーンＡＮの例を示す図である。
【００２５】
図４の画像入力部１０１は、ビデオカメラ２から送信されてきた画像データ７０の受信処理を行う。これにより、ビデオカメラ２の撮影速度に応じたフレーム数（例えば、毎秒３０フレーム）の、図５に示すような画像ＦＧ（映像）が得られる。
【００２６】
前処理部１０２は、色空間変換部２０１、画像縮小処理部２０２、時間差分算出部２０３、空間差分算出部２０４、および論理積画像生成部２０５などによって構成され、画像ＦＧに写っている歩行者ＨＭＮの頭部の中心位置を求める処理に必要な画像を準備する処理を行う。
【００２７】
色空間変換部２０１は、画像入力部１０１によって入力された画像ＦＧがＲＧＢ色空間の画像である場合に、この画像のデータをＹＵＶ色空間のデータに変換する処理を行う。係る処理は、図６および図７に示す手順で行われる。
【００２８】
画像ＦＧの中から歩行者ＨＭＮの頭部が写っていそうな画像領域を図７のように設定する（図６の＃１０１）。以下、係る画像領域を「注目画像領域ＲＣ」と記載する。注目画像領域ＲＣは、ビデオカメラ２の位置姿勢および人の頭部のサイズなどに基づいて設定される。または、予めビデオカメラ２で撮影しておいた画像を参照して設定してもよい。本実施形態の人体検出装置１では、注目画像領域ＲＣのサイズおよび形状は６４０×１００画素の長方形であると定められている。したがって、注目画像領域ＲＣの開始アドレス（左上隅の画素の座標）だけを設定すればよい。例えば、図７に示すように、開始アドレスの座標（Ｘｓ，Ｙｓ）として（０，２０）を与えるだけで、終了アドレスすなわち右下隅の画素の座標（Ｘｅ，Ｙｅ）が自ずと決まり、注目画像領域ＲＣが設定される。
【００２９】
画像ＦＧについて、座標（Ｘｓ，Ｙｓ）の画素からＸ軸方向（画像の水平方向）に向かって１画素ずつ順番に走査するようにその画素のＲＧＢ値をＹＵＶ値に変換する（＃１０２でＮｏ、＃１０３、＃１０４）。係る変換は、例えば、その画素のＲＧＢ値を次の（１）式に代入することによって行うことができる。
【００３０】
【数１】
2005149143.tif 000003
【００３１】
Ｙ座標がＹｓであるライン上にある画素について変換が終わったら（＃１０２でＹｅｓ）、そのすぐ下のラインつまり「Ｙｓ＋１」のラインに注目し（＃１０５）、そのライン上にある画素について、同様に、１画素ずつ順番にその画素のＲＧＢ値をＹＵＶ値に変換する（＃１０２でＮｏ、＃１０３、＃１０４）。以下、座標（Ｘｅ，Ｙｅ）についての変換が終了するまで、上の処理を繰り返す。
【００３２】
そして、すべての画素についての変換の終了後（＃１０６でＹｅｓ）、ＹＵＶ値に変換された注目画像領域ＲＣの画像を切り出すことによって、切出画像ＧＣを生成する（＃１０７）。なお、先に画像ＦＧから注目画像領域ＲＣを切りだしておいて、その注目画像領域ＲＣの全画素に対して変換処理（＃１０３）を施すようにしてもよい。
【００３３】
ビデオカメラ２から入力された画像ＦＧが最初からＹＵＶ色空間の画像であった場合は、ステップ＃１０２〜＃１０６の変換処理は実行せず、ステップ＃１０１の注目画像領域ＲＣの設定および＃１０７の切出し処理だけを行って切出画像ＧＣを取得する。
【００３４】
図４に戻って、画像縮小処理部２０２は、図８に示すように、切出画像ＧＣを所定の倍率（本実施形態では１／４倍）に縮小し、切出縮小画像ＧＳを生成する処理を行う。係る処理は、図９に示すような手順で行われる。
【００３５】
切出画像ＧＣを、４×４画素の大きさからなるブロックＢＫに区切っておくとともに、開始アドレスの座標（Ｘ，Ｙ）を（０，０）に設定しておく（図９の＃１１１）。切出画像ＧＣの画素のうち、対角線の両端の座標が（４Ｘ，４Ｙ）および（４Ｘ＋３，４Ｙ＋３）となるブロックＢＫに属する画素の画素値（ＹＵＶ値）を次の（２）式に代入する。
【００３６】
【数２】
2005149143.tif 000004
【００３７】
ただし、ｍ＝４Ｘ、ｎ＝４Ｙ、である。Ｑ（Ｘ，Ｙ）は切出縮小画像ＧＳの座標（Ｘ，Ｙ）の画素のＹＵＶ値であり、Ｐ（ｍ，ｎ）は、切出画像ＧＣの座標（ｍ，ｎ）の画素のＹＵＶ値である。
【００３８】
これにより、切出画像ＧＣの左上隅のブロックＢＫのＹＵＶ値の平均（単純平均）が算出される（＃１１３）。算出された値が、切出縮小画像ＧＳの左上隅の画素のＹＵＶ値となる。
【００３９】
そのブロックＢＫの右隣に並ぶ１５９個のブロックＢＫについても同様にＹＵＶ値の平均を算出し（＃１１３、＃１１４）、切出縮小画像ＧＳの水平方向の１ライン目の残りの１５９個の画素のＹＵＶ値を得る。
【００４０】
切出縮小画像ＧＳの２〜１００ライン目のＹＵＶ値も同様に、切出画像ＧＣの２〜２５段目のブロックＢＫの画素のＹＵＶ値の平均を算出することによって取得する（＃１１２〜＃１１６）。そして、切出縮小画像ＧＳの右下隅の画素のＹＵＶ値が求められたら（＃１１６でＹｅｓ）、処理を終了する。
【００４１】
このようにして、切出画像ＧＣを縮小し、切出縮小画像ＧＳを生成する。生成された切出縮小画像ＧＳは、後に説明する肌色度プレーンの生成処理、髪色度プレーンの生成処理、時間差分の算出処理、および空間差分の算出処理のために用いられる。また、生成された切出縮小画像ＧＳは、後に説明するように、必要に応じて前フレーム記憶部１Ｍ２に記憶しておく。
【００４２】
図４に戻って、時間差分算出部２０３は、図１０に示すように、画像縮小処理部２０２によって生成された切出縮小画像ＧＳ（図１０の説明において、「現切出縮小画像ＧＳｃ」と記載する。）の明度とそれより前の時刻（例えば、２フレーム前）の切出縮小画像ＧＳ（図１０の説明において、「前切出縮小画像ＧＳｐ」と記載する。）の明度との時間差分（フレーム差分）を算出し、時間差分プレーンＳＴを生成する。生成された時間差分プレーンＳＴは、現切出縮小画像ＧＳｃと前切出縮小画像ＧＳｐの明度の時間差分画像であると言える。本実施形態では、時間差分プレーンＳＴの各画素の値を二進数の値（二値）で表している。したがって、時間差分プレーンＳＴは、白黒画像として表すことができる。時間差分プレーンＳＴの生成は、図１１に示す手順で行われる。
【００４３】
まず、開始アドレスの座標（Ｘ，Ｙ）を（０，０）に設定しておく（＃１２１）。次の（３）式に基づいて、現切出縮小画像ＧＳｃおよび前切出縮小画像ＧＳｐのそれぞれの（０，０）の画素の明度すなわちＹＵＶ値のＹ成分同士の差（明度差分）を求める。
Ｂｕｆｆｅｒ＝ａｂｓ｜Ｙｃ（ｉ，ｊ）−Ｙｐ（ｉ，ｊ）｜  …  （３）
ただし、Ｙｃ（ｉ、ｊ）、Ｙｐ（ｉ、ｊ）はそれぞれ現切出縮小画像ＧＳｃ、前切出縮小画像ＧＳｐの座標（ｉ、ｊ）の画素のＹＵＶ値のＹ成分である。ａｂｓ｜Ａ｜は、Ａの絶対値である。
【００４４】
得られたＢｕｆｆｅｒを二値化する。例えば、Ｂｕｆｆｅｒが閾値ＴＨｓｔを超えた場合は両画像の明度差分を「１」とし、閾値ＴＨｓｔ以下であった場合は明度差分を「０」とする（＃１２３）。ＹＵＶ値が２５６階調である場合は、閾値ＴＨｓｔとして、例えば「１０」を設定しておく。
【００４５】
以下、同様に、Ｘ軸方向（画像の水平方向）に向かって１画素ずつシフトしながら、互いに対応する画素の明度差分を求める（＃１２３、＃１２４）。右端の画素の明度差分が求められたら（＃１２２でＹｅｓ）、Ｙ軸方向（画像の垂直方向）に１画素シフトし（＃１２５）、同様に、左端から右端に向かって明度差分を求める（＃１２３、＃１２４）。そして、右下隅の画素の明度差分が求められたら（＃１２６でＹｅｓ）、処理を終了する。このようにして、時間差分プレーンＳＴが生成される。
【００４６】
図４に戻って、空間差分算出部２０４は、図１２および図１３に示す手順で、画像縮小処理部２０２によって生成された切出縮小画像ＧＳの空間差分を算出し、空間差分プレーンＳＳ（空間差分画像）を生成する。
【００４７】
切出縮小画像ＧＳの各画素に対して空間差分処理を施す（図１３の＃１３３）。例えば、図１１で説明した時間差分検出処理の場合と同様に、左上隅の画素から順に右下隅の画素まで空間差分処理を施す。
【００４８】
空間差分処理は、図１２に示すように、まず、処理対象の画素およびその周囲にある８つの画素の画素値を次の（４）式および（５）式に代入する。つまり、ＳＯＢＥＬフィルタを掛ける。
【００４９】
【数３】
2005149143.tif 000005
【００５０】
ただし、Ｐ（ｉ，ｊ）は切出縮小画像ＧＳの（ｉ，ｊ）の画素の明度（Ｙ成分）の値であり、Ｑ１（ｉ，ｊ）およびＱ２（ｉ，ｊ）はそれぞれ切出縮小画像ＧＳの（ｉ，ｊ）の画素についての水平エッジ検出用垂直ＳＯＢＥＬフィルタおよび垂直エッジ検出用水平ＳＯＢＥＬフィルタによる出力結果である。また、Ｋ１（ｍ，ｎ）およびＫ２（ｍ，ｎ）は下記に示すような値を持つ水平エッジ検出用垂直ＳＯＢＥＬフィルタおよび垂直エッジ検出用水平ＳＯＢＥＬフィルタである。
【００５１】
【数４】
2005149143.tif 000006
【００５２】
算出されたＱ１（ｉ，ｊ）およびＱ２（ｉ，ｊ）の値を次の（６）式に代入することによって、ＳｏｂｅｌプレーンＳＢを求める（図１２の＃１４１）。
【００５３】
【数５】
2005149143.tif 000007
【００５４】
このＳｏｂｅｌプレーンＳＢを、次の（７）式に示す平滑化フィルタを掛けることによって平滑化する（＃１４２）。
【００５５】
【数６】
2005149143.tif 000008
【００５６】
ただし、ＱＳ（ｉ，ｊ）は平滑化されたＳｏｂｅｌプレーンＳＢの座標（ｉ，ｊ）の画素の明度（Ｙ成分）の値であり、ＫＳ（ｍ，ｎ）は下記に示すような値を持つ平滑化フィルタである。
【００５７】
【数７】
2005149143.tif 000009
【００５８】
そして、次の（８）式に基づいて二値化の処理を行う（＃１４３）。
【００５９】
【数８】
2005149143.tif 000010
【００６０】
ただし、Ｂｕｆｆｅｒ＝ＱＳ（ｉ，ｊ）−Ｓｂｌ（ｉ，ｊ）、である。Ｔｈｓｓは閾値である。ＴＨｓｓとして、例えば「６」が設定される。
【００６１】
このような演算を行うことによって、空間差分プレーンＳＳが生成される。なお、空間差分プレーンＳＳは、白黒画像として表される。
【００６２】
図４に戻って、論理積画像生成部２０５は、図１４および図１５に示すように、時間差分算出部２０３によって算出（生成）された時間差分プレーンＳＴおよび空間差分算出部２０４によって算出された空間差分プレーンＳＳの互いに対応する画素の画素値（二値）の論理積を算出することによって、論理積プレーンＡＮを生成する。
【００６３】
この論理積プレーンＡＮには、図１６に示すように、動いている物体のエッジ（輪郭）だけが表れる。つまり、論理積プレーンＡＮは、動体のエッジ画像（輪郭画像）であると言える。論理積プレーンＡＮを生成する手順は、図１５のフローチャートに示す通りである。なお、図１５のフローチャートでは、左上隅の画素から右下隅の画素まで順に走査するように論理積演算処理（＃１５３）を行うことを説明している。このような順で処理を行う点は、図１１および図１３の場合と同じであるので、詳しい説明は省略する。以下、図１９、図２０、図２５、図２６などについても同様である。
【００６４】
〔特徴度プレーンの生成〕
図１７は４種類の特徴度プレーン８の例を示す図、図１８は肌色度とＹＵＶ空間の画素値のＵ成分の値およびＶ成分の値との関係を示す図、図１９は肌色度プレーン生成処理の流れの例を説明するフローチャート、図２０は髪色度プレーン生成処理の流れの例を説明するフローチャート、図２１はオフセット補正について説明する図、図２２は髪色度とＹＵＶ空間の画素値のＵ成分の値およびＶ成分の値との関係を示す図、図２３はテンプレートＴＰ１、ＴＰ２の例を示す図、図２４はテンプレートＴＰ１、ＴＰ２の作成方法の例を示す図、図２５は中心度プレーン算出処理の流れの例を説明するフローチャート、図２６は投票処理の流れの例を説明するフローチャート、図２７はテンプレートＴＰ１によるテンプレートマッチングの方法の例を説明する図、図２８は特徴度プレーン記憶部１Ｍ１の高齢の例を示す図、図２９は特徴量演算制御部１０６による特徴量演算部１０３の制御方法の例を示す図である。
【００６５】
図４に戻って、特徴量演算部１０３は、肌色度プレーン生成部３０１、半楕円中心度プレーン生成部３０２、髪色度プレーン生成部３０３、および肩中心度プレーン生成部３０４などによって構成され、４種類の特徴度プレーン８（肌色度プレーン８ＦＣ、半楕円中心度プレーン８ＳＥ、髪色度プレーン８ＨＣ、肩中心度プレーン８ＳＨ）を生成するための演算処理を行う。これらの特徴度プレーン８は、図１７に示すように、各画素の値の大きさを濃さで表現した濃淡画像（明度画像）として表される。後に説明する頭部中心度プレーン８４（図３０参照）も同様である。
【００６６】
肌色度プレーン生成部３０１は、画像縮小処理部２０２によって生成された切出縮小画像ＧＳの各画素の肌色度を検出することによって、肌色度プレーン８ＦＣを生成する。「肌色度」とは、肌の色らしさ、を意味する。つまり、肌色に近いまたは類似しているほど肌色度は大きくなる。本実施形態では、画素値（ここでは、ＹＵＶ値）のＵ成分およびＶ成分の値がそれぞれＦＣｕ、ＦＣｖの場合に、肌色度が最大となるように設定している。例えば、ベージュ色を肌の色とする場合は、ＦＣｕおよびＦＣｖとしてそれぞれ「１０７」および「１５７」を設定しておく。肌色度は、次の（９）式に画素値を代入することによって算出される。
【００６７】
【数９】
2005149143.tif 000011
【００６８】
ただし、ａｂｓ｜Ａ｜は、Ａの絶対値である。
【００６９】
なお、（９）式に示す、画素のＵ成分の値およびＶ成分の値と肌色度の大きさとの関係を濃淡で表すと、およそ図１８のように表される。
【００７０】
切出縮小画像ＧＳの各画素の肌色度の検出処理の手順は、図１９のステップ＃１６１〜＃１６６に示す通りである。つまり、切出縮小画像ＧＳの各画素の肌色度を順に求めることによって（＃１６３）、肌色度検出プレーンを生成する。
【００７１】
ところで、ビデオカメラ２で撮影された画像ＦＧ（図５参照）に歩行者ＨＭＮの顔（頭部）が写っていれば、ステップ＃１６１〜＃１６６の処理によって得られる肌色度検出プレーンの中の肌色度の高い画像領域とその歩行者ＨＭＮの頭部の領域とは、ほぼ一致するはずである。したがって、肌色度検出プレーンの中の肌色度のピークがある画素または画像領域に、検索の目標である歩行者ＨＭＮの頭部の中心があると考えられる。
【００７２】
しかし、顔の中はすべてが肌色というわけではなく、眉毛、目、鼻の穴、および唇といった肌色以外の色をした部位が含まれている。また、歩行者ＨＭＮが眼鏡を掛けている場合もあり得るし、元の画像ＦＧそのものにノイズが含まれている場合もあり得る。そこで、本実施形態では、頭部の中心の検出精度を高めるために例えば次のような補正処理を行う。
【００７３】
すなわち、まず、肌色以外の部分およびノイズなどを除去するために、ステップ＃１６１〜＃１６６によって得られた肌色度検出プレーンに対して３×３の輝度（明度）の最大値フィルタを掛けることによってＤｉｌａｔｉｏｎ処理を行う（＃１６７）。そして、先鋭度を高めるために、Ｄｉｌａｔｉｏｎ処理がなされた肌色度検出プレーンに対して３×３の輝度（明度）の最小値フィルタを掛けることによってＥｒｏｓｉｏｎ処理を行い、さらにＥｒｏｓｉｏｎ処理の処理前の肌色度検出プレーンと処理後の肌色度検出プレーンとの平均処理を行う（＃１６８）。ステップ＃１６８の処理は、「（ＨＷ／２）＋１」回繰り返す。「ＨＷ」は、切出縮小画像ＧＳに写っていると想定される検出目標である頭部の幅を示す画素数である。例えば、頭部の幅を示す画素数が「７」であると想定されている場合は、４回または５回繰り返すことになる。
【００７４】
以上のように、切出縮小画像ＧＳの肌色度を検出し（＃１６１〜＃１６６）、検出精度を高めるための補正処理（＃１６７、＃１６８）を実行することによって、図１７（ａ）に示すような肌色度プレーン８ＦＣが生成される。
【００７５】
図４に戻って、髪色度プレーン生成部３０３は、画像縮小処理部２０２によって生成された切出縮小画像ＧＳの各画素の髪色度を検出することによって、図１７（ｃ）に示すような髪色度プレーン８ＨＣを生成する。「髪色度」とは、髪の色らしさ、を意味する。つまり、髪の色に近いまたは類似しているほど髪色度は大きくなる。本実施形態では、画素値のＵ成分およびＶ成分の値がそれぞれＨＣｕ、ＨＣｖの場合に、髪色度が最大であると設定している。例えば、黒色を髪の色とする場合は、ＦＣｕおよびＦＣｖとしてそれぞれ「１１２」および「１４２」を設定しておく。
【００７６】
髪色度プレーン８ＨＣを生成する手順は、肌色度プレーン８ＦＣの生成する手順と基本的に同様である。すなわち、図２０に示すように、切出縮小画像ＧＳの各画素について髪色度を算出し（＃１７１〜＃１７６）、頭部の中心の検出精度を高めるための処理を行う（＃１７７、＃１７８）。ただし、髪色度の検出関数として、（９）式の関数の代わりに、次の（１０）式の関数を用いる。
【００７７】
【数１０】
2005149143.tif 000012
【００７８】
図２１に示すように、高い髪色度が検出される領域は、髪の毛の生えている頭の上部の領域ＲＹｋである。しかし、前に述べたように、本実施形態では、頭部の中心（点Ｐｔｃ）を検出することが目的である。そこで、高い髪色度が検出されると予測される領域の中心（点Ｐｔｋ）と頭部の中心（点Ｐｔｃ）とができるだけ一致するように、（１０）式では、Ｙ軸方向（垂直方向）にずれの調整（オフセット補正）を行っている。（１０）式中の「ｏｆｆｓｅｔ」はオフセット値であり、例えば、ｏｆｆｓｅｔ＝ＨＳ／２、と設定される。「ＨＷ」は、切出縮小画像ＧＳに写っていると想定される検出目標である頭部の頂から顎までの長さを示す画素数である。例えば、長さを示す画素数が「９」であると想定されている場合は、ｏｆｆｓｅｔ＝４．５、となる。
【００７９】
なお、（１０）式に示す画素のＵ成分の値およびＶ成分の値と髪色度の大きさとの関係を濃淡で表すと、図２２のように表される。
【００８０】
図４に戻って、半楕円中心度プレーン生成部３０２は、論理積画像生成部２０５によって生成された論理積プレーンＡＮ（エッジ画像）の各画素の半楕円中心度を検出することによって、図１７（ｂ）に示すような半楕円中心度プレーン８ＳＥを生成する。「半楕円中心度」とは、論理積プレーンＡＮに対して図２３（ａ）の半楕円形のテンプレートＴＰ１を用いたテンプレートマッチングを行った際に、論理積プレーンＡＮの画素がそのテンプレートの中心位置（基準点ＣＴ１）にどれだけ近いか、つまり、中心らしさ、を意味する。テンプレートマッチングの方法として、例えば、後述するＨｏｕｇｈ変換法に基づく方法が用いられる。
【００８１】
テンプレートＴＰ１および後に説明する肩中心度プレーン生成部３０４で使用されるテンプレートＴＰ２は、例えば、次のようにして作成される。
【００８２】
まず、通路の基準位置Ｌ１（図２参照）にモデルとなる人を立たせ、ビデオカメラ２によって撮影を行う。モデルとなる人は、標準的な体型であることが望ましい。図２４（ａ）に示すように、撮影によって得られた画像の中のモデルの輪郭部分に注目する。
【００８３】
図２４（ｂ）に示すように、モデルの輪郭から頭部の上半分を示す１本の開曲線および両肩を示す２本の開曲線をそれぞれエッジＥＧ１、ＥＧ２として抽出する。この際に、エッジＥＧ１、ＥＧ２から離れた所定の位置をそれぞれ基準点ＣＴ１、ＣＴ２として定める。基準点ＣＴ１、ＣＴ２は、それぞれ、テンプレートＴＰ１、ＴＰ２の基準位置（中心位置）を示すものである。なお、基準点ＣＴ１、ＣＴ２をそれぞれエッジＥＧ１、ＥＧ２上の所定の位置に定めてもよい。この基準点ＣＴ１、ＣＴ２もエッジＥＧ１、ＥＧ２とともに抽出する。
【００８４】
すると、図２４（ｂ）（ｃ）に示すようなテンプレート画像が得られる。そして、エッジＥＧ１、ＥＧ２をそれぞれ基準点ＣＴ１、ＣＴ２を中心に半回転（１８０度回転）させる。このようにして、テンプレートＴＰ１、ＴＰ２が作成される。テンプレートＴＰ１、ＴＰ２は、図４のテンプレート記憶部１Ｍ３に記憶（格納）しておく。
【００８５】
または、論理積プレーンＡＮに写る頭部の大きさがそれほど大きくないと想定される（例えば、縦横１０画素前後くらいと想定される場合）は、その想定される大きさの半楕円をＣＧソフトなどで作成し、これをテンプレートＴＰ１として用いてもよい。テンプレートＴＰ２についても同様である。
【００８６】
図２４（ａ）のα１、α２は、テンプレートマッチングの際に位置のずれの調整（オフセット補正）のために用いられるオフセット値である。前に述べたように、本実施形態では頭部の中心を検出することが目的である。したがって、半楕円中心度のピークの位置と頭部の中心位置とができるだけ一致することが望まれるからである。
【００８７】
半楕円中心度プレーン８ＳＥを生成する手順は、図２５に示す通りである。すなわち、まず、論理積プレーンＡＮの画素ごとに１つずつカウンタを用意し、これらのカウンタを「０」にリセットし（＃１８０）、開始アドレスの座標を（０，０）に設定しておく（＃１８１）。論理積プレーンＡＮにおける（０，０）の画素を注目画素として、投票処理を行う（＃１８３）。投票処理は、図２６に示すような手順で行われる。
【００８８】
まず、論理積プレーンＡＮに写っているエッジ（輪郭線）の上にその注目画素があるか否かを判別する（＃１９１）。エッジ上になければ（＃１９１でＮｏ）、その注目画素についての投票処理は終了し、図２５のステップ＃１８４に進む。
【００８９】
図２７（ｂ）に示すように、注目画素が論理積プレーンＡＮのエッジＲＮ上にある場合は（＃１９１でＹｅｓ）、その注目画素とテンプレートＴＰ１の基準点ＣＴ１とが一致するように、論理積プレーンＡＮの上にテンプレートＴＰ１を重ねる（＃１９２）。
【００９０】
テンプレートＴＰ１と重なった論理積プレーンＡＮのｔｘｓｉｚｅ×ｔｙｓｉｚｅの領域（図２７（ｂ）の点線領域）に注目し、ステップ＃１９３〜＃１９８の処理を行う。すなわち、その点線領域の中の、エッジＥＧ１と重なった画素を見つける。そして、図２７（ｄ）に示すように、見つかった画素からオフセット値α１（図２４（ａ）参照）だけ下にシフト（オフセット補正）した画素のカウンタに「１」を加算して１票を投じる。
【００９１】
なお、図２７（ｃ）において、太枠の正方形は論理積プレーンＡＮのエッジＲＮ上の画素を示し、黒く塗りつぶした正方形は注目画素を示し、斜線で塗りつぶした正方形はテンプレートＴＰ１のエッジＥＧ１が重なった画素を示している。
【００９２】
図２５に戻って、論理積プレーンＡＮの他の画素についても同様に、これを注目画素として投票処理を行う（＃１８２〜＃１８６）。以上のように投票を行った結果、各画素のカウンタにカウントされた得票数の分布が、図１７（ｂ）に示す半楕円中心度プレーン８ＳＥとなる。
【００９３】
図４に戻って、肩中心度プレーン生成部３０４は、論理積画像生成部２０５によって生成された論理積プレーンＡＮ（エッジ画像）の各画素の肩中心度を検出することによって、図１７（ｄ）に示すような肩中心度プレーン８ＳＨを生成する。「肩中心度」とは、論理積プレーンＡＮに対して図２３（ｂ）の肩の形状をしたテンプレートＴＰ２によるテンプレートマッチングを行った際に、論理積プレーンＡＮの画素がそのテンプレートの中心位置（基準点ＣＴ２）にどれだけ近いか、つまり、中心らしさ、を意味する。
【００９４】
肩中心度プレーン８ＳＨを生成する手順は、図２５および図２６に示す半楕円中心度プレーン８ＳＥを生成する手順と同様である。ただし、テンプレートマッチングのためのテンプレートＴＰ２（図２３（ｂ）参照）を使用し、オフセット補正のためのオフセット値としてα２（図２４（ａ）参照）を使用する。
【００９５】
特徴度プレーン記憶部１Ｍ１は、図２８に示すように、肌色度プレーン記憶領域ＭＦＣ、半楕円中心度プレーン記憶領域ＭＳＥ、髪色度プレーン記憶領域ＭＨＣ、および肩中心度プレーン記憶領域ＭＳＨなどの記憶領域を有する。これらの記憶領域には、それぞれ、肌色度プレーン生成部３０１、半楕円中心度プレーン生成部３０２、髪色度プレーン生成部３０３、および肩中心度プレーン生成部３０４で生成された最新の肌色度プレーン８ＦＣ、半楕円中心度プレーン８ＳＥ、髪色度プレーン８ＨＣ、および肩中心度プレーン８ＳＨが記憶（格納）される。
【００９６】
特徴量演算制御部１０６は、図２９に示すようなタイミングで、特徴量演算部１０３を構成する各プレーン生成部３０１〜３０４の制御を行う。
【００９７】
まず、画像入力部１０１によって「４ｎ−３」フレーム目（１、５、９、…フレーム目）の画像ＦＧが入力されると、特徴量演算制御部１０６は、その画像ＦＧより画像縮小処理部２０２によって生成される切出縮小画像ＧＳに基づいて肌色度プレーン８ＦＣを生成するように、肌色度プレーン生成部３０１に対して指令を与える（図２９（ａ））。ただし、図２９において「ｎ」は正の整数である。肌色度プレーン記憶領域ＭＦＣでは、それまで格納されていた肌色度プレーン８ＦＣが削除され、今回生成された新しい肌色度プレーン８ＦＣが格納される。つまり、肌色度プレーン８ＦＣが更新（置換）される。
【００９８】
その次の画像ＦＧが入力されると、その画像ＦＧより論理積画像生成部２０５によって生成される論理積プレーンＡＮに基づいて半楕円中心度プレーン８ＳＥを生成するように、半楕円中心度プレーン生成部３０２に対して指令を与える（図２９（ｂ））。半楕円中心度プレーン記憶領域ＭＳＥでは、半楕円中心度プレーン８ＳＥが新しいものに更新される。なお、論理積プレーンＡＮが生成される過程で生成された切出縮小画像ＧＳは、２フレーム後に論理積プレーンＡＮを生成する際に使用するために、前フレーム記憶部１Ｍ２（図４参照）に記憶される。
【００９９】
さらにその次の画像ＦＧが入力されると、その画像ＦＧより生成される切出縮小画像ＧＳに基づいて髪色度プレーン８ＨＣを生成するように、髪色度プレーン生成部３０３に対して指令を与える（図２９（ｃ））。髪色度プレーン記憶領域ＭＨＣでは、髪色度プレーン８ＨＣが新しいものに更新される。
【０１００】
さらにその次の画像ＦＧが入力されると、その画像ＦＧより生成される論理積プレーンＡＮに基づいて肩中心度プレーン８ＳＨを生成するように、肩中心度プレーン生成部３０４に対して指令を与える（図２９（ｄ））。肩中心度プレーン記憶領域ＭＳＨでは、肩中心度プレーン８ＳＨが新しいものに更新される。なお、論理積プレーンＡＮが生成される過程で生成された切出縮小画像ＧＳは、前フレーム記憶部１Ｍ２（図４参照）に記憶される。
【０１０１】
そして、さらにその次の画像ＦＧが入力されると、図２９（ａ）に戻って、肌色度プレーン生成部３０１に対して前述の指令を与える。以下、同様に、図２９（ｂ）以降の指令を繰り返し行う。
【０１０２】
〔頭部の中心の検出〕
図３０は頭部中心度プレーン８４の例を示す図、図３１は頭部中心検出処理の処理の流れの例を説明するフローチャート、図３２は矩形領域ＫＲの抽出の例を示す図、図３３は頭部抽出処理の流れの例を説明するフローチャート、図３４は頭部検出結果プレーンＴＫの生成方法の例を説明する図、図３５は探索領域ＲＴおよび二乗和算出範囲ＮＲの例を示す図、図３６は矩形領域ＫＲ１から抜き出されまたはクリアされる対象となる領域ＴＲ１、ＴＲ２の形状およびサイズの例を説明する図、図３７は前のフレームの頭部検出結果プレーンＴＫを使用して頭部中心の検出を行う方法の例を示す図である。
【０１０３】
図４に戻って、頭部中心度プレーン生成部１０４は、図３０に示すような頭部中心度プレーン８４を生成するための処理を行う。「頭部中心度」とは、頭部の中心らしさ、すなわち、頭部の中心までの近さを示す度合いを意味する。頭部中心度プレーン８４は、図１７に示す４種類の特徴度プレーン８すなわち肌色度プレーン８ＦＣ、半楕円中心度プレーン８ＳＥ、髪色度プレーン８ＨＣ、および肩中心度プレーン８ＳＨに基づいて次のようにして生成される。
【０１０４】
例えば、２１フレーム目の画像ＦＧが入力されたとする。このタイミングにおいては、図２９から分かるように、４種類の特徴度プレーン８のうちの肌色度プレーン８ＦＣだけが生成される。頭部中心度プレーン生成部１０４は、新たに生成されたこの肌色度プレーン８ＦＣを取得するとともに、前に生成された他の３種類の特徴度プレーン８（１８フレーム目の半楕円中心度プレーン８ＳＥ、１９フレーム目の髪色度プレーン８ＨＣ、および２０フレーム目の肩中心度プレーン８ＳＨ）を特徴度プレーン記憶部１Ｍ１より取得する。そして、これら４つの特徴度プレーン８の互いに対応する画素のプレーン値（肌色度、半楕円中心度、髪色度、および肩中心度）を、次の（１１）式に代入する。
ＴＢ（ｉ，ｊ）＝｛Ｍｉｎ（ｆｃ（ｉ，ｊ），ｈｃ（ｉ，ｊ））
＋Ｍｉｎ（ｆｃ（ｉ，ｊ），ｓｅ（ｉ，ｊ））
＋Ｍｉｎ（ｈｃ（ｉ，ｊ），ｓｅ（ｉ，ｊ））
＋Ｍｉｎ（ｆｃ（ｉ，ｊ），ｓｈ（ｉ，ｊ））
＋Ｍｉｎ（ｈｃ（ｉ，ｊ），ｓｈ（ｉ，ｊ））
＋ｓｅ（ｉ，ｊ）＋ｓｈ（ｉ，ｊ）｝／７  …  （１１）
ただし、Ｍｉｎ（Ａ，Ｂ）は、ＡおよびＢのうち小さいほうの値を選択して出力する関数である。ＴＢ（ｉ，ｊ）は、頭部中心度プレーン８４の座標（ｉ，ｊ）の画素の画素値を意味する。ｆｃ（ｉ，ｊ）は、肌色度プレーン８ＦＣの座標（ｉ，ｊ）の画素の画素値（肌色度）を意味する。ｓｅ（ｉ，ｊ）は、半楕円中心度プレーン８ＳＥの座標（ｉ，ｊ）の画素の画素値（半楕円中心度）を意味する。ｈｃ（ｉ，ｊ）は、髪色度プレーン８ＨＣの座標（ｉ，ｊ）の画素の画素値（髪色度）を意味する。ｓｈ（ｉ，ｊ）は、肩中心度プレーン８ＳＨの座標（ｉ，ｊ）の画素の画素値（肩中心度）を意味する。
【０１０５】
このように、１６０×２５個の画素についてＴＢを算出することによって、図３０に示す頭部中心度プレーン８４が生成される。
【０１０６】
検出処理部１０５は、頭部中心度ピーク検出部５０１、検出結果プレーン生成部５０２、および計数処理部５０３などによって構成され、頭部中心度プレーン生成部１０４で生成された頭部中心度プレーン８４に基づいて、画像ＦＧ（図５参照）に写っている歩行者ＨＭＮの頭部の中心を検出する処理を行う。
【０１０７】
頭部中心度ピーク検出部５０１は、検出対象の画像ＦＧに係る頭部中心度プレーン８４の中の、歩行者ＨＭＮの頭部の中心があると予測される位置を１つまたは複数検出する。検出結果プレーン生成部５０２は、頭部中心度ピーク検出部５０１によって検出された位置に基づいて、歩行者ＨＭＮの頭部の中心の位置を最終的に決定し、その結果を示す頭部検出結果プレーンＴＫを生成する。これらの処理は、図３１に示すような手順で行われる。
【０１０８】
まず、頭部中心度プレーン８４の各画素の濃度（頭部中心度）の値に応じて図３２に示すような斜影ヒストグラムを求める（図３１の＃２０１）。水平方向の斜影ヒストグラムに注目し、座標（０，０）から水平方向に向かって順に各画素の値を調べ、閾値ＨＩＳＴ＿ＭＩＮ（例えば、「１０」）以上の度数が連続している範囲を検出する（＃２０２、＃２０３）。何も検出されなかった場合は（＃２０４でＮｏ）、検出対象の画像ＦＧには歩行者が写っていないものとして、この検出処理を終了する。
【０１０９】
検出された場合は（＃２０４でＹｅｓ）、検出されたその水平方向の範囲に属する領域の垂直方向の斜影ヒストグラムに注目し、閾値ＨＩＳＴ＿ＭＩＮ以上の度数が連続している範囲を検出する（＃２０６）。
【０１１０】
連続している範囲が見つからなかった場合は（＃２０７でＮｏ）、ステップ＃２０３に戻って、閾値ＨＩＳＴ＿ＭＩＮ以上の度数が連続している水平方向の範囲がほかにないかどうか調べる。
【０１１１】
見つかった場合は（＃２０７でＹｅｓ）、ステップ＃２０３、＃２０６で見つかった範囲の矩形領域ＫＲ（例えば、図３２のｘａ≦ｘ≦ｘｂ，ｙａ≦ｙ≦ｙｂにある矩形領域ＫＲ１）に対して、次に説明する頭部抽出処理を行う（＃２０８）。
【０１１２】
図３３に示すように、矩形領域ＫＲ（例えば、矩形領域ＫＲ１）の中から画素値（頭部中心度）のピークを検出する（＃２２１）。すると、図３４（ａ）に示すように、ピークの画素（以下、「ピーク画素Ｐｋ」と記載する。）が３つ検出される。
【０１１３】
検出されたピーク画素Ｐｋについて、次に挙げる２つの要件を満たしているか否かを判別することによって、頭部の中心を検出する。
（Ａ）  ピーク画素Ｐｋの画素値（頭部中心度）が閾値ＴＨ＿ＭＡＸを超えていること。
（Ｂ）  微調整後のピーク画素Ｐｋを中心とした二乗和算出範囲の二乗和（最大二乗和）が閾値ＴＨ＿ＳＵＭ２以上になること。
【０１１４】
上記（Ａ）の要件を満たすピーク画素Ｐｋまたはその周辺には頭部の中心が存在する可能性があり、満たさないピーク画素Ｐｋおよびその周辺には頭部の中心が存在する可能性はないものと判別する（＃２２２）。係る判別の結果、ピーク画素Ｐｋ１は上記（Ａ）の要件を満たさず（＃２２２でＮｏ）、ピーク画素Ｐｋ２、Ｐｋ３は上記（Ａ）の要件を満たしたとする（＃２２２でＹｅｓ）。この場合は、以下、ピーク画素Ｐｋ２、Ｐｋ３にのみ注目する。
【０１１５】
ピーク画素Ｐｋ２、Ｐｋ３と検出目標の頭部の中心とがより正確に一致するように、現在のピーク画素Ｐｋ２、Ｐｋ３の位置の微調整（微修正）を次のようにして行う（＃２２３）。
【０１１６】
まず、図３５（ａ）に示すように、現在のピーク画素Ｐｋ２の位置を中心とする横「（ｗ／２）＋１」個の画素、縦「（ｈ／２）＋１」個の画素の領域（以下、「探索領域ＲＴ」と記載する。）に注目する。探索領域ＲＴの中の各画素について、その画素が図３５（ｂ）に示す二乗和算出範囲ＮＲの中心になるようにし、その二乗和算出範囲ＮＲの中の画素値の二乗和を算出する。そして、算出した二乗和が最大となったときの二乗和算出範囲ＮＲの中心の画素を、新たなピーク画素Ｐｋ２とする。これにより、ピーク画素Ｐｋの微調整が完了する。ピーク画素Ｐｋ３についても同様に微調整を行う。
【０１１７】
図３３および図３４に戻って、微調整後のピーク画素Ｐｋ２、Ｐｋ３についてのそれぞれの二乗和が閾値ＴＨ＿ＳＵＭ２以上になるか否かを判別する（図３３の＃２２４）。つまり、上記（Ｂ）の要件を満たすか否かを判別する。係る判別の結果、ピーク画素Ｐｋ２は上記（Ｂ）の要件を満たすが（＃２２４でＹｅｓ）、ピーク画素Ｐｋ３は上記（Ｂ）の要件を満たさなかったとする（＃２２４でＮｏ）。
【０１１８】
この場合は、ピーク画素Ｐｋ２を頭部の中心とみなし、ピーク画素Ｐｋ２およびその周囲の画素を含む領域ＴＲ１を図３４（ｂ）に示すように矩形領域ＫＲ１から抜き出す（＃２２５）。そして、その抜き出した矩形領域ＫＲ１を、頭部検出結果プレーンＴＫとして結果プレーン記憶部１Ｍ４に記憶させておきまたは表示装置１ｆ（図３参照）などに出力する。この頭部検出結果プレーンＴＫが、頭部の中心の位置の最終的な検出結果である。矩形領域ＫＲ１において、領域ＴＲ１が抜き出された部分の画素値は、他の検出に影響を与えないようにするために、すべて消去（クリア）しておく（＃２２６）。
【０１１９】
一方、ピーク画素Ｐｋ３およびその周辺の画素は頭部ではないものとみなし、他の検出に影響を与えないようにするために、ピーク画素Ｐｋ２およびその周囲の画素を含む領域ＴＲ２を図３４（ｄ）に示すように消去（クリア）する（＃２２７）。
【０１２０】
なお、図３４の領域ＴＲ１、ＴＲ２のサイズおよび検出目標の頭部のサイズは、図３６に示すようなテンプレートによって定められている。
【０１２１】
そして、図３１に戻って、ステップ＃２０３、＃２０６の検出処理を繰り返し、ほかにも図３２に示すような矩形領域ＫＲがないかどうか調べる。ある場合は、その矩形領域ＫＲに対して、上に説明した図３３および図３４の処理を行う（＃２０８）。
【０１２２】
なお、頭部検出結果プレーンＴＫを生成する際に、直前のフレームにおける検出結果である頭部検出結果プレーンＴＫｐを使用し、検出精度を高めるようにしてもよい。なぜなら、直前のフレームの頭部検出結果プレーンＴＫｐを示される頭部の中心の位置と今回検出すべき頭部の中心の位置とは、歩行者の動きによって多少のずれはあるものの、ほぼ一致するはずだからである。例えば、図３７に示すような手順で頭部検出結果プレーンＴＫｐを使用する。
【０１２３】
今回のフレームに係る頭部中心度プレーン８４と前のフレームに係る頭部検出結果プレーンＴＫｐとの互いに対応する画素の画素値を平均を求めることによって、頭部中心度プレーン８４’を生成する。そして、検出処理部１０５は、その頭部中心度プレーン８４’に基づいて、前に説明した図３１および図３３などの処理を行い、頭部検出結果プレーンＴＫを生成する。なお、生成された頭部検出結果プレーンＴＫは、次のフレームの頭部検出結果プレーンＴＫを生成するために、結果プレーン記憶部１Ｍ４に保存しておく。
【０１２４】
図４に戻って、計数処理部５０３は、検出結果プレーン生成部５０２によって生成される頭部検出結果プレーンＴＫの個数つまり画像ＦＧから検出された歩行者ＨＭＮの人数を計数する。
【０１２５】
頭部画像表示部１０７は、頭部検出結果プレーンＴＫに示される頭部の中心位置に基づいて、画像ＦＧより歩行者ＨＭＮの頭部の領域を抽出して拡大し、これを拡大画像として表示装置１ｆ（図３参照）に表示する。これにより、監視員は、歩行者ＨＭＮを容易に特定することができる。また、頭部画像保存部１０８は、歩行者ＨＭＮの頭部の拡大画像を磁気記憶装置１ｄまたは外部の記録媒体（ＤＶＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒなど）に保存（録画）する。
【０１２６】
図３８および図３９は人体検出装置１の全体の処理の流れの例を説明するフローチャートである。次に、ビデオカメラ２で撮影される画像から歩行者を検出する際の人体検出装置１の処理の流れを、フローチャートを参照して説明する。
【０１２７】
人体検出装置１は、ビデオカメラ２によって撮影された、ある時刻における画像ＦＧ（フレーム画像）を入力すると（図３８の＃１）、必要に応じて色空間の変換を行い（図６参照）、歩行者の頭部が写っていることが想定される画像領域を切り出し、これを縮小することによって、切出縮小画像ＧＳを生成する（＃２）。切出縮小画像ＧＳの生成の手順は、前に図９で説明した通りである。
【０１２８】
入力された画像ＦＧが１、５、９、…フレーム目の画像つまり「４ｎ−３」フレーム目の画像である場合は（＃３でＹｅｓ、＃４でＹｅｓ）、図１７（ａ）のような肌色度プレーン８ＦＣを生成する処理を行う（＃５）。ただし、図３８において「ｎ」は正の整数である。３、７、１１、…フレーム目の画像つまり「４ｎ−１」フレーム目の画像である場合は（＃３でＹｅｓ、＃４でＮｏ）、図１７（ｃ）のような髪色度プレーン８ＨＣを生成する処理を行う（＃６）。肌色度プレーン８ＦＣの生成の手順および髪色度プレーン８ＨＣの生成の手順は、それぞれ、前に図１９および図２０で説明した通りである。
【０１２９】
入力された画像ＦＧが偶数フレームのものである場合は（＃３でＮｏ）、切出縮小画像ＧＳおよびその２フレーム前の切出縮小画像ＧＳに基づいて論理積プレーンＡＮを生成する（＃７）。そして、入力された画像ＦＧが２、６、１０、…フレーム目の画像つまり「４ｎ−２」フレーム目の画像である場合は（＃８でＹｅｓ）、図１７（ｂ）のような半楕円中心度プレーン８ＳＥを生成する処理を行う（＃９）。４、８、１２、…フレーム目の画像つまり４ｎフレーム目の画像である場合は（＃８でＮｏ）、図１７（ｄ）のような肩中心度プレーン８ＳＨを生成する処理を行う（＃１０）。論理積プレーンＡＮの生成の手順は、前に図１５で説明した通りである。半楕円中心度プレーン８ＳＥおよび肩中心度プレーン８ＳＨの生成の手順は、前に図２５で説明した通りである。
【０１３０】
ステップ＃５、＃６、＃９、または＃１０で生成された最新のプレーンは、図２８に示すように特徴度プレーン記憶部１Ｍ１の所定の領域に格納しておく（＃１１）。
【０１３１】
ステップ＃５、＃６、＃９、または＃１０のうちのいずれかで生成された最新のプレーンおよびその直前の３フレームで生成されたプレーンに基づいて、つまり、最新の肌色度プレーン８ＦＣ、半楕円中心度プレーン８ＳＥ、髪色度プレーン８ＨＣ、および肩中心度プレーン８ＳＨに基づいて、図３０に示すような頭部中心度プレーン８４を生成する（図３９の＃１２）。この際に、図３７で説明したように、前のフレームについての処理の際に生成された頭部検出結果プレーンＴＫを使用してもよい。
【０１３２】
生成された頭部中心度プレーン８４に基づいて、検出目標である歩行者の頭部の位置および中心を検出し（＃１３）、図３４（ｂ）のような最終的な検出結果を示す頭部検出結果プレーンＴＫを生成し、結果プレーン記憶部１Ｍ４に格納しておく（＃１４）。ステップ＃１３の処理は、前に図３１で説明した通りである。
【０１３３】
図３８のステップ＃１から図３９のステップ＃１４までの処理は、ビデオカメラ２で撮影が行われている間、繰り返し行う（＃１５でＮｏ）。
【０１３４】
本実施形態によると、ビデオカメラ２による撮影環境などに不都合が生じても、処理速度を遅くすることなく歩行者を検出することができる。
【０１３５】
例えば、歩行者が帽子をかぶっている場合には、歩行者の頭部の輪郭が撮影画像（フレーム）に表れないので半楕円中心度プレーン８ＳＥ（図１７参照）が上手く得られないが、直前の３フレームから求めた他の３つの特徴度プレーン８でこれを補うことによって、歩行者を上手く検出することができる。歩行者がマスクやサングラスをしている場合には、歩行者の肌色領域が非常に狭くなるので肌色度プレーン８ＦＣが上手く得られないが、やはり、他の３つの特徴度プレーン８でこれを補うことによって、歩行者を上手く検出することができる。
【０１３６】
その他、歩行者が髪の毛を脱色していること、前を歩く他の歩行者と重なるなどして肩領域などにオクルージョンが発生していること、または照明や背景（床や壁）の状況によって肌色または髪色が上手く検出できないことなどが原因で、一部の特徴度プレーン８が上手く得られなくても、他の特徴度プレーン８を用いて歩行者を上手く検出することができる。
【０１３７】
図４０は特徴度プレーン８を生成するタイミングの制御方法の変形例を説明する図である。
【０１３８】
本実施形態では、１フレームの撮影画像（図５の画像ＦＧ）ごとに図１７に示すいずれか１種類の特徴度プレーン８を生成したが、各特徴度プレーン８の生成処理時間に応じて複数の種類の特徴度プレーン８を生成するようにしてもよい。
【０１３９】
例えば、ビデオカメラ２からはＴｆ秒ごとに撮影画像（フレーム）が送信されてくるものとする。また、４種類の特徴Ａ〜Ｄの度合いに基づいて頭部の検出を行うものとする。特徴Ａ〜Ｄの度合いを示す特徴度プレーン（以下、「特徴Ａプレーン」、「特徴Ｂプレーン」、…のように記載する。）を生成するための処理時間が、図４０（ａ）に示すように、それぞれ、時間Ｔａ〜Ｔｄであるとする。ただし、時間Ｔａ〜Ｔｄは、０．５Ｔｆ＜Ｔａ＜Ｔｆ、０＜Ｔｂ＜０．５Ｔｆ、０＜Ｔｃ＜０．５Ｔｆ、０．５Ｔｆ＜Ｔｄ＜Ｔｆ、Ｔａ＋Ｔｂ＞Ｔｆ、Ｔａ＋Ｔｃ＞Ｔｆ、Ｔｂ＋Ｔｄ＞Ｔｆ、Ｔｃ＋Ｔｄ＞Ｔｆ、の関係を満たすものとする。
【０１４０】
あるフレームを取得してからすぐに特徴Ｂプレーンを生成する処理を行ったとする。すると、次のフレームを取得するまで「Ｔｆ−Ｔｂ」秒の時間が残るが、係る時間は上の関係式より０．５秒以上であることが分かる。したがって、特徴Ｂプレーンを生成する処理が終わってすぐに、特徴Ｃプレーンを生成する処理を行うことができる。そこで、図４０（ｂ）に示すように、Ｔｆ秒間に、特徴Ｂプレーンおよび特徴Ｃプレーンの両方を生成する処理を行うようにしてもよい。
【０１４１】
これに対して、特徴Ａプレーンまたは特徴Ｄプレーンを生成する処理を行った場合は、残りの「Ｔｆ−Ｔａ」または「Ｔｆ−Ｔｄ」秒間では、上の関係式より、他のいずれの特徴度プレーンも生成できないことがわかる。よって、特徴Ａプレーンまたは特徴Ｄプレーンを生成する処理の実行後は、次のフレームが取得されるまで、特徴度プレーンの生成を休止する。
【０１４２】
本実施形態では、各画像または各プレーンを構成する各画素に対する処理を、水平方向を主走査方向とするような順番で行ったが、垂直方向を主走査方向とするような順番で行ってもよい。または、右下隅の画素から順に処理を行うなど、処理の順序は適宜変更可能である。
【０１４３】
本実施形態では、特徴度として肌色度、髪色度、半楕円中心度、および肩中心度の４種類の特徴度を求め、これらの特徴度に基づいて人の頭部の中心の検出を行ったが、これ以外の種類の特徴度などを組み合わせて検出を行ってもよい。例えば、オプティカルフロー、眼または口などの部位の形状をしたテンプレートとのマッチングの度合い、背景差分を用いた検出方法による検出結果、またはテクスチャを用いた検出方法による検出結果などに基づいて人の頭部の中心の検出を行ってもよい。
【０１４４】
同じ種類の特徴度を、互いに異なる複数の方法によってそれぞれ算出し、頭部の中心の検出のために用いてもよい。例えば、互いに異なる２つのパラメータＡ、Ｂを設定しておき、４ｎフレーム目ではパラメータＡを用いて肌色度を算出し、４ｎ＋２フレーム目ではパラメータＢを用いて肌色度を算出するようにしてもよい。
【０１４５】
（１）〜（１０）式において使用した係数、定数、閾値、または関数などは、監視システム１００を使用する目的、ビデオカメラ２の設置場所の環境またはスペック、または他の様々な条件に応じて適宜変更可能である。また、特徴度プレーン８の組合せまたは生成の順序もこれらの条件に応じて適宜変更可能である。
【０１４６】
本実施形態では、図５の画像ＦＧから歩行者ＨＭＮの頭部の中心を検出する際に、この画像ＦＧを縮小し、その縮小画像（図８の切出縮小画像ＧＳ）を用いたが、この画像ＦＧを縮小せずにそのまま用いてもよい。肌色度および髪色度を、ＹＵＶ空間値に基づいて求めたが、ＲＧＢ空間など他の色空間の値に基づいて求めてもよい。
【０１４７】
本発明に係る人体検出装置１を使用して、人以外の物体の検出を行うことも可能である。例えば、動物の身体の検出、直方体の検出、または自動車やオートバイなどのナンバープレートの検出に応用することも可能である。
【０１４８】
その他、監視システム１００、人体検出装置１、ビデオカメラ２の全体または各部の構成、特徴度プレーン８の生成方法、中心度の算出方法、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。
【産業上の利用可能性】
【０１４９】
本発明によると、様々な不都合または不具合が生じても、処理速度を落とすことなく目標物を検出することができる。よって、本発明は、特に、撮影環境が変化しやすい施設における歩行者または侵入者の検出のために好適に用いられる。
【図面の簡単な説明】
【０１５０】
【図１】監視システムの全体的な構成の例を示す図である。
【図２】ビデオカメラの位置姿勢および撮影状況の例を示す図である。
【図３】人体検出装置のハードウェア構成の例を示す図である。
【図４】人体検出装置の機能的構成の例を示す図である。
【図５】ビデオカメラで撮影された画像の例を示す図である。
【図６】色空間変換処理の流れの例を説明するフローチャートである。
【図７】切出画像の生成方法の例を説明する図である。
【図８】切出縮小画像の生成方法の例を説明する図である。
【図９】画像縮小処理の流れの例を説明するフローチャートである。
【図１０】時間差分プレーンの生成方法の例を示す図である。
【図１１】時間差分検出処理の流れの例を説明するフローチャートである。
【図１２】空間差分プレーンの生成方法の例を示す図である。
【図１３】空間差分検出処理の流れの例を説明するフローチャートである。
【図１４】論理積プレーンの生成方法の例を示す図である。
【図１５】論理積画像生成処理の流れの例を説明するフローチャートである。
【図１６】論理積プレーンの例を示す図である。
【図１７】４種類の特徴度プレーンの例を示す図である。
【図１８】肌色度とＹＵＶ空間の画素値のＵ成分の値およびＶ成分の値との関係を示す図である。
【図１９】肌色度プレーン生成処理の流れの例を説明するフローチャートである。
【図２０】髪色度プレーン生成処理の流れの例を説明するフローチャートである。
【図２１】オフセット補正について説明する図である。
【図２２】髪色度とＹＵＶ空間の画素値のＵ成分の値およびＶ成分の値との関係を示す図である。
【図２３】テンプレートの例を示す図である。
【図２４】テンプレートの作成方法の例を示す図である。
【図２５】中心度プレーン算出処理の流れの例を説明するフローチャートである。
【図２６】投票処理の流れの例を説明するフローチャートである。
【図２７】テンプレートによるテンプレートマッチングの方法の例を説明する図である。
【図２８】特徴度プレーン記憶部の高齢の例を示す図である。
【図２９】特徴量演算制御部による特徴量演算部の制御方法の例を示す図である。
【図３０】頭部中心度プレーンの例を示す図である。
【図３１】頭部中心検出処理の処理の流れの例を説明するフローチャートである。
【図３２】矩形領域の抽出の例を示す図である。
【図３３】頭部抽出処理の流れの例を説明するフローチャートである。
【図３４】頭部検出結果プレーンの生成方法の例を説明する図である。
【図３５】探索領域および二乗和算出範囲の例を示す図である。
【図３６】矩形領域から抜き出されまたはクリアされる対象となる領域の形状およびサイズの例を説明する図である。
【図３７】前のフレームの頭部検出結果プレーンを使用して頭部中心の検出を行う方法の例を示す図である。
【図３８】人体検出装置の全体の処理の流れの例を説明するフローチャートである。
【図３９】人体検出装置の全体の処理の流れの例を説明するフローチャートである。
【図４０】特徴度プレーンを生成するタイミングの制御方法の変形例を説明する図である。
【符号の説明】
【０１５１】
１  人体検出装置（物体検出装置）
１０１  画像入力部（画像入力手段）
１０５  検出処理部（物体検出手段）
１０６  特徴量演算制御部（制御手段）
３０１  肌色度プレーン生成部（特徴検出手段、近さ算出手段）
３０２  半楕円中心度プレーン生成部（特徴検出手段、近さ算出手段）
３０３  髪色度プレーン生成部（特徴検出手段、近さ算出手段）
３０４  肩中心度プレーン生成部（特徴検出手段、近さ算出手段）
ＦＧ  画像（撮影画像）
ＨＭＮ  歩行者（物体）
【図１】
2005149143.tif 000013
【図２】
2005149143.tif 000014
【図３】
2005149143.tif 000015
【図４】
2005149143.tif 000016
【図５】
2005149143.tif 000017
【図６】
2005149143.tif 000018
【図７】
2005149143.tif 000019
【図８】
2005149143.tif 000020
【図９】
2005149143.tif 000021
【図１０】
2005149143.tif 000022
【図１１】
2005149143.tif 000023
【図１２】
2005149143.tif 000024
【図１３】
2005149143.tif 000025
【図１４】
2005149143.tif 000026
【図１５】
2005149143.tif 000027
【図１６】
2005149143.tif 000028
【図１７】
2005149143.tif 000029
【図１８】
2005149143.tif 000030
【図１９】
2005149143.tif 000031
【図２０】
2005149143.tif 000032
【図２１】
2005149143.tif 000033
【図２２】
2005149143.tif 000034
【図２３】
2005149143.tif 000035
【図２４】
2005149143.tif 000036
【図２５】
2005149143.tif 000037
【図２６】
2005149143.tif 000038
【図２７】
2005149143.tif 000039
【図２８】
2005149143.tif 000040
【図２９】
2005149143.tif 000041
【図３０】
2005149143.tif 000042
【図３１】
2005149143.tif 000043
【図３２】
2005149143.tif 000044
【図３３】
2005149143.tif 000045
【図３４】
2005149143.tif 000046
【図３５】
2005149143.tif 000047
【図３６】
2005149143.tif 000048
【図３７】
2005149143.tif 000049
【図３８】
2005149143.tif 000050
【図３９】
2005149143.tif 000051
【図４０】
2005149143.tif 000052