(57)【要約】【課題】赤外画像に含まれる情報のみを用いて当該赤外画像に含まれる人物の有無の判定を、周囲環境温度にかかわらず、高速かつ高精度に行うことができ、かつ、低コストな人物検出装置を提供する。【解決手段】本発明にかかる人物検出装置は、赤外画像データを入力し、赤外画像を構成する画素の画素値に基づいて画像小領域の境界を検出し、境界の画素を特定する境界情報抽出部と、境界の画素を除く画像小領域に含まれる画素の各々において、境界の画素との最短距離を算定する距離変換部と、境界の画素を除く画像小領域に含まれる画素について、最短距離が所定の条件を満足する画素を抽出する処理部と、最短距離が所定の条件を満足する画素を基準点として画像データと所定のパターンとを比較するパターンマッチングを行い、画像小領域が表す物体が人であるか判定する判定部と、を有する。【選択図】図１
2008286725.tif 000002
【特許請求の範囲】
【請求項１】
赤外画像データを入力し、前記赤外画像を構成する画素の画素値に基づいて画像小領域の境界を検出し、前記境界の画素を特定する境界情報抽出部と、
前記境界の画素を除く前記画像小領域に含まれる画素の各々において、前記境界の画素との最短距離を算定する距離変換部と、
前記境界の画素を除く前記画像小領域に含まれる前記画素について、前記最短距離が所定の条件を満足する画素を抽出する処理部と、
前記最短距離が前記所定の条件を満足する前記画素を基準点として画像データと所定のパターンとを比較するパターンマッチングを行い、前記画像小領域が表す物体が人であるか判定する判定部と、を有する人物検出装置。
【請求項２】
さらに、前記最短距離が前記所定の条件を満足する前記画素について、前記最短距離に基づいて、当該画素を含む前記画像小領域が表す物体の推定サイズ値を算定するサイズ推定部を有し、
前記判定部は、前記パターンマッチングに用いる前記所定のパターンのサイズを前記推定サイズ値に基づいて決定するか、あるいは、パターンまたは画像のサイズを調整した後にパターンマッチングを行う、請求項１に記載の人物検出装置。
【請求項３】
前記所定の条件は、前記画素に関する前記最短距離が１以上所定値以下であること、である請求項２に記載の人物検出装置。
【請求項４】
前記所定の条件は、前記画素に関する前記最短距離が、前記画素に隣接した上下左右の４つの画素あるいは斜めを含む８画素に関する前記最短距離を下回らないこと、である請求項２に記載の人物検出装置。
【請求項５】
さらに、前記赤外画像データから、前記赤外画像データの表す赤外画像の縮小画像を複数の縮小レベルで生成し、複数の縮小画像データとして出力する画像解像度変換部を有し、
前記判定部は、前記推定サイズ値に基づいて、前記パターンマッチングに用いる画像データを、前記赤外画像データもしくは前記赤外画像データと同じ解像度を有し前記赤外画像データに処理を施した画像データ、または、前記複数の縮小画像データもしくはそれに処理を施した画像データから選択し、前記判定を行う、請求項２に記載の人物検出装置。
【請求項６】
赤外画像データ入力可能な処理装置を用いて前記赤外画像データを処理し、前記赤外画像データに含まれる人を検出する人物検出方法であって、
赤外画像データを入力し、前記赤外画像を構成する画素の画素値に基づいて画像小領域の境界を検出し、前記境界の画素を特定する境界情報抽出ステップと、
前記境界の画素を除く前記画像小領域に含まれる画素の各々において、前記境界の画素との最短距離を算定する距離変換ステップと、
前記境界の画素を除く前記画像小領域に含まれる前記画素について、前記最短距離が所定の条件を満足する画素を抽出する抽出処理ステップと、
前記最短距離が前記所定の条件を満足する前記画素を基準点として画像データと所定のパターンとを比較するパターンマッチングを行い、前記画像小領域が表す物体が人であるか判定する判定ステップと、を有する人物検出方法。
【請求項７】
さらに、前記最短距離が前記所定の条件を満足する前記画素について、前記最短距離に基づいて、当該画素を含む前記画像小領域が表す物体の推定サイズ値を算定するサイズ推定ステップを有し、
前記判定ステップは、前記パターンマッチングに用いる前記所定のパターンのサイズを前記推定サイズ値に基づいて決定するか、あるいは、パターンまたは画像のサイズを調整した後にパターンマッチングを行う、請求項６に記載の人物検出方法。
【請求項８】
赤外画像データ入力可能な処理装置で実行可能なプログラムであって、前記処理装置を用いて前記赤外画像データを処理し、前記赤外画像データに含まれる人を検出する人物検出プログラムであって、
赤外画像データを入力し、前記赤外画像を構成する画素の画素値に基づいて画像小領域の境界を検出し、前記境界の画素を特定する境界情報抽出ステップと、
前記境界の画素を除く前記画像小領域に含まれる画素の各々において、前記境界の画素との最短距離を算定する距離変換ステップと、
前記境界の画素を除く前記画像小領域に含まれる前記画素について、前記最短距離が所定の条件を満足する画素を抽出する抽出処理ステップと、
前記最短距離が前記所定の条件を満足する前記画素を基準点として画像データと所定のパターンとを比較するパターンマッチングを行い、前記画像小領域が表す物体が人であるか判定する判定ステップと、を有する人物検出プログラム。
【請求項９】
さらに、前記最短距離が前記所定の条件を満足する前記画素について、前記最短距離に基づいて、当該画素を含む前記画像小領域が表す物体の推定サイズ値を算定するサイズ推定ステップを有し、
前記判定ステップは、前記パターンマッチングに用いる前記所定のパターンのサイズを前記推定サイズ値に基づいて決定するか、あるいは、パターンまたは画像のサイズを調整した後にパターンマッチングを行う、請求項８に記載の人物検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出技術に関し、特に、赤外画像における人物の存在の有無やその位置を認識する装置および方法に関する。
【背景技術】
【０００２】
従来、撮像装置等より得た画像データ等に基づき、当該画像内における特定の物体の有無を認識する技術が研究されている。当該研究の成果に基づき、たとえば、車載用の人物検出装置として実用化されている。そういった人物検出装置においては、撮像装置等として赤外カメラ（、および、その他のセンサ）を用いて取得したデータに基づいて、人物の存在の有無を検出する手法が用いられる。
【０００３】
既に、人物検出手法には数多くの相異なる手法が存在する。だが、これらの手法は、共通に、取得画像内の特定の位置あるいは領域に含まれる画像情報が人物を示すものであるか否かを判定する人物判定工程を有し、当該人物判定工程を、上記特定の位置あるいは領域を変えながら繰り返し実行する。
【０００４】
一般に、取得画像は、画素値情報を備えた数多くの画素によって構成される。そのため、画像全体にわたり隈無く上記人物判定工程を実施すると、多大な計算時間を要することになり、かつ、誤検出が増大する。そこで、取得された画像に対し、前処理を施し、予め上記人物判定工程を実施する領域を取得画像内の特定の領域に限定した上で、上記人物判定程を実行する、という手法が開発された。これら手法には、赤外カメラが撮像した赤外画像に対して前処理を施し、人物の可能性がある領域を抽出して、当該領域に対して人物判定工程を実行するものが存在する。下記特許文献１、２、および、３はその例である。
【０００５】
特許文献１、２、および、３はそれぞれ、人物検出装置、車両周辺監視装置、および、歩行者輪郭抽出装置を開示する。特許文献１、２、および、３に開示された装置は、赤外画像において他の領域よりも相対的に輝度が高い領域を抽出し、当該領域に対して人物有無判定工程を実行する。
【０００６】
また、特許文献４ないし７においては、赤外カメラと、その他のセンサを併用し、人物有無判定工程を実施する赤外画像内領域を限定し、計算時間の短縮および誤検出の防止を図っている。
【０００７】
特許文献４は、動体物検出装置を開示し、特許文献５は、歩行者検出装置を開示する。特許文献４および５に開示された装置は、赤外カメラと、（上記その他のセンサに相当する）電荷結合素子（ＣＣＤ）カメラといった可視光カメラとを用い、歩行者といった物体を検出する。これら装置においては、可視光カメラから取得される情報に基づいて、予め赤外画像内の道路領域を決定し、当該道路領域にて歩行者の検索を行う。そうすることによって、歩行者検索に要する時間の短縮を図っている。
【０００８】
特許文献６および特許文献７はそれぞれ、歩行者検出装置を開示する。特許文献６および７に開示された装置は、赤外カメラと、（上記その他のセンサに相当する）レーダ装置とを用い、歩行者といった物体を検出する。これら装置においては、レーダ装置から取得される情報に基づいて、予め歩行者である可能性のある領域を抽出し、当該領域に対して人物有無判定を行う。そうすることによって、歩行者検索に要する時間の短縮を図っている。
【０００９】
また、特許文献８は、車外監視装置を開示する。特許文献８に開示された装置は、ステレオカメラと、遠赤外センサとを用い、歩行者といった物体を検出する。この装置においては、ステレオカメラから取得される情報に基づいて、３次元的に認識した物体から歩行者候補を抽出し、当該歩行者候補について、遠赤外センサからの情報に基づいて、歩行者であるか否かを判定する。
【特許文献１】特開２００１−１０８７５８号公報
【特許文献２】特開２００４−３０３２１９号公報
【特許文献３】特開２００５−２６７０３０号公報
【特許文献４】特開２００２−０９９９９７号公報
【特許文献５】特開２００２−３６２３０２号公報
【特許文献６】特開２００３−３０２４７０号公報
【特許文献７】特開２００５−１５７７６５号公報
【特許文献８】特開２００５−２３４６９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、赤外カメラからの赤外画像のみを用い、赤外画像の高輝度領域に着目して人物を検索する従来の手法においては、外気温が低下している冬期に較べて夏の日中においてその検出の精度が低下する傾向があった。なぜなら、夏期日中では人物の表面温度と周囲環境の表面温度との差が狭くなり、場合によっては人物と周囲環境との間の輝度の高低関係が逆転する。（例えば、図８参照。）そのため、赤外画像における高輝度領域の境界を人物の輪郭と推定すると、人物を精度よく検出することができなかった。
【００１１】
また、赤外カメラ以外の別のセンサを併用し、別のセンサからの情報に基づいて赤外画像内の人物有無判定を実行する従来の手法においては、当該別のセンサおよびそれに付随する要素を人物検出装置が備える必要があり、コストが増大する不利点が存在した。そのため、人物検出装置の適用用途が限定されるという問題があった。
【００１２】
上記問題点を鑑み、本願発明は、赤外画像に含まれる情報のみを用いて当該赤外画像に含まれる人物の有無の判定を、周囲環境温度にかかわらず、高速かつ高精度に行うことができ、かつ、低コストな人物検出装置を提供すること目的とするものである。
【課題を解決するための手段】
【００１３】
本発明は、その一態様においては、人物検出装置である。人物検出装置は、赤外画像データを入力し、赤外画像を構成する画素の画素値に基づいて画像小領域の境界を検出し、境界の画素を特定する境界情報抽出部と、境界の画素を除く画像小領域に含まれる画素の各々において、境界の画素との最短距離を算定する距離変換部と、境界の画素を除く画像小領域に含まれる画素の中から、最短距離が所定の条件を満足する画素を抽出する処理部と、最短距離が所定の条件を満足する画素を基準点として画像データと所定のパターンとを比較するパターンマッチングを行い、画像小領域が表す物体が人であるか判定する判定部と、を有する。
【００１４】
本発明は、別の一態様においては、赤外画像データ入力可能な処理装置を用いて赤外画像データを処理し、赤外画像データに含まれる人を検出する人物検出方法である。人物検出方法は、赤外画像データを入力し、赤外画像を構成する画素の画素値に基づいて画像小領域の境界を検出し、境界の画素を特定する境界情報抽出ステップと、境界の画素を除く画像小領域に含まれる画素の各々において、境界の画素との最短距離を算定する距離変換ステップと、境界の画素を除く画像小領域に含まれる画素について、最短距離が所定の条件を満足する画素を抽出する抽出処理ステップと、最短距離が所定の条件を満足する画素を基準点として画像データと所定のパターンとを比較するパターンマッチングを行い、画像小領域が表す物体が人であるか判定する判定ステップと、を有する。
【００１５】
本発明は、さらに別の一態様においては、赤外画像データ入力可能な処理装置で実行可能なプログラムである。本プログラムは、処理装置を用いて赤外画像データを処理し、赤外画像データに含まれる人を検出する人物検出プログラムであり、赤外画像データを入力し、赤外画像を構成する画素の画素値に基づいて画像小領域の境界を検出し、境界の画素を特定する境界情報抽出ステップと、境界の画素を除く画像小領域に含まれる画素の各々において、境界の画素との最短距離を算定する距離変換ステップと、境界の画素を除く画像小領域に含まれる画素の中から、最短距離が所定の条件を満足する画素を抽出する抽出処理ステップと、最短距離が所定の条件を満足する画素を基準点として画像データと所定のパターンとを比較するパターンマッチングを行い、画像小領域が表す物体が人であるか判定する判定ステップと、を有する。
【発明の効果】
【００１６】
本発明によれば、赤外カメラ（赤外画像撮像部）から得られる赤外画像のみを用いて当該赤外画像に含まれる人物の有無を判定することができる。本人物検出装置は、赤外カメラ以外のセンサ類を必要としないため、低コストで製造することができる。
【００１７】
加えて本発明によれば、赤外画像に対し所定の前処理を施し、前処理を施した赤外画像を解析することにより、実際に人物有無判定を実行する画素を劇的に減少させることができ、人物検出にかかる時間を劇的に短縮することができる。このことは、低廉な処理装置を用いて人物検出装置を構成しようとも、十分に実用に耐え得る人物検出装置を実現することができることをも意味する。
【００１８】
また、本発明によれば、後述する新規かつ進歩的なアルゴリズムに基づいて前処理した赤外画像を解析し、人物検出を行う。本アルゴリズムは、周囲環境の温度に影響を受けにくいため、周囲環境の如何を問わず、精度よく人物検出を行うことが可能である。
【発明を実施するための最良の形態】
【００１９】
以下、添付の図面を参照して本発明の実施形態を説明する。
【００２０】
実施の形態１．
図１は、本発明にかかる実施の形態１による人物検出装置１の構成ブロック図である。
【００２１】
人物検出装置１は、赤外画像撮像部１１と、境界情報抽出部１３と、距離変換部１５と、骨格化処理部１７と、サイズ推定部１９と、判定部２１とを有する。赤外画像撮像部１１は、実空間の２次元赤外画像を撮像して赤外画像データを出力する。境界情報抽出部１３は、赤外画像データに含まれるエッジ（辺縁部）を顕在化するための前処理を行ってエッジ画像データを生成し出力する。距離変換部１５は、エッジ画像データの各画素（赤外画像データの各画素）について、エッジを構成する画素（エッジ画素）との最短距離（エッジ最短距離）を算定して出力する。骨格化処理部１７は、赤外画像においてエッジ最短距離の極大値をもつ画素（骨格画素）を抽出し出力する。サイズ推定部１９は、各骨格画素に対しその骨格画素を人物の例えば頭部の中心部であると仮定した場合における人物の大きさ（推定人物サイズ値）をエッジ最短距離に基づいて推定し出力する。判定部２１は、各骨格画素に対しその骨格画素が実際に人物頭部の中心部を示す画素であるか否かについてその骨格画素に関する推定人物サイズ値およびエッジ画像データ等に基づいて判定する。
【００２２】
赤外画像撮像部１１は、赤外カメラでよい。さらには、赤外画像撮像部１１は、遠赤外領域の波長によく感応することが望ましい。遠赤外領域を用いて撮像した赤外画像においては、物体の温度分布に相関があり、目鼻といった人物の細部や服装の柄といった情報が減退し、人物のシルエットが鮮鋭に得られるため好都合である。
【００２３】
境界情報抽出部１３、距離変換部１５、骨格化処理部１７、サイズ推定部１９、および、判定部２１は、汎用プロセッサおよびプロセッサで実行されるプログラム、または、専用回路により実現することができる。
【００２４】
図２は、本発明にかかる実施の形態１による人物検出のフローチャートである。
【００２５】
ステップＳ１０１において、人物検出装置１の赤外画像撮像部１１は、実空間の２次元赤外画像を撮像し、赤外画像データを出力する。
【００２６】
図３（ａ）は、ステップＳ１０１において赤外画像撮像部１１が撮像した２次元赤外画像３１の例を示す図である。このように、２次元赤外画像３１においては、歩行者がほぼ一様な領域として記録される。
【００２７】
ステップＳ１０２において、人物検出装置１の境界情報抽出部１３は、赤外画像データを入力し、当該赤外画像データに対し、エッジ検出処理を行う。エッジは、赤外画像データの各画素の画素値に急峻な、例えば階段状の、変化が生じている場所に検出される。
【００２８】
図４（ａ）は、境界情報抽出部１３におけるエッジ検出処理の例を示す図である。図４（ａ）は、赤外画像３１の一部を拡大し、画素を正方形で表した模式図である。このように、赤外画像（赤外画像データ）３１は、複数の画素３３で構成される。画素３３はそれぞれ画像の階調を示す画素値を記憶する。これら画素３３のうち、エッジ検出処理により、エッジが検出された画素を特にエッジ画素３５と称し、区別する。エッジ画素３５には、例えば、「ゼロ」といった情報が付加される。
【００２９】
なお、ステップＳ１０２におけるエッジ検出処理では周知の手法を用いればよい。そのため、ここでその詳細については説明しない。例えば、エッジ検出には、ソーベルフィルタやラプラシアンフィルタを用いればよい。
【００３０】
ステップＳ１０３において、人物検出装置１の距離変換部１５は、赤外画像データを構成する各画素３３に対し、（厳密には、赤外画像データを構成する画素３３からエッジ画素３５を除いた各画素３３に対し、）エッジ画素３５までの最短距離を算定する。
【００３１】
図４（ｂ）は、エッジ画素３５に囲まれた画素３３に対する最短距離算定結果を示す例図である。エッジ画素３５に関するエッジ最短距離は、ゼロである。本実施形態においては、ステップＳ１０２において、エッジ画素３５に対し「ゼロ」なる情報が付加されている。エッジ画素３５についてはその情報を用いてエッジ画素３５を他の画素３３と識別し、また、エッジ画素３５のエッジ最短距離をゼロとする。
【００３２】
次に、エッジ画素３５を除く赤外画像３１の画素３３に関するエッジ最短距離の算定法の例を示す。
【００３３】
本発明においては、エッジ最短距離の算定に用いる測度は、特に限定されない。例えば、エッジ最短距離は、評価対象の画素３３と境界（エッジ画素３５）とのユークリッド距離の最小値でよい。あるいは、エッジ最短距離は、評価対象の画素３３と境界（エッジ画素３５）との市街地距離（マンハッタン距離）の最小値でよい。また、エッジ最短距離は、評価対象の画素３３と境界（エッジ画素３５）とのチェスボード距離の最小値でもよい。
【００３４】
上記した測度を用いてエッジ最短距離を算定し、その結果を各画素について記録する。そうすることで、図４（ｂ）に示すように、エッジ画素３５に囲まれた画素３３全てについてエッジ最短距離が定まる。なお、図４においては、エッジ画素３５に囲まれていない画素についてはエッジ最短距離の例示を省略しているが、ステップＳ１０３の工程が完了した時点において、赤外画像３１を構成する画素３３の全てについてエッジ最短距離が定まる。
【００３５】
ステップＳ１０４において、人物検出装置１の骨格化処理部１７は、エッジ最短距離に関する情報に基づき、赤外画像に含まれる「骨格」を抽出する処理を行う。
【００３６】
赤外画像に含まれる「骨格」は、所定の条件を満たす画素３３の集合である。ここで、当該所定の条件を満たす画素３３を、「骨格画素」と称する。つまり、「骨格」は、「骨格画素」を要素とする画素の集合である。骨格画素は、画素３３のそれぞれに対し、（厳密には、赤外画像データを構成する画素３３からエッジ画素３５を除いた各画素３３に対し、）その画素３３が所定の条件を満たすか否かの判別を行って抽出される。
【００３７】
所定の条件には、「評価対象の画素のエッジ最短距離が、その画素の上下左右の画素のエッジ最短距離を下回らない」こと、という条件を用いることができる。この場合、骨格画素は、その上下左右にある４つの画素のいずれとの比較においても、最近接したエッジ画素３５に近くない画素である。つまり、骨格画素は、その上下左右にある４つの画素のいずれとの比較においても、骨格画素が含まれる画像小領域の中心部に近い画素である。なお、斜めの画素を加えた８画素と比較してもよい。
【００３８】
図４（ｃ）は、前段記載の条件に基づき、骨格画素３９を抽出した結果を示す例図である。本図においては骨格画素３９を網掛けして図示する。
【００３９】
図３（ｂ）は、図３（ａ）に示した赤外画像３１に対応した骨格画素３９の分布を示す図である。このように、ステップＳ１０４においては、赤外画像３１の画素３３のうち所定の条件を満たす画素を骨格画素３９として抽出する。図３（ｂ）においては、骨格画素３９を「黒」で、それ以外の画素３３を「白」で表現して模式的に２値で表しているが、人物検出装置１は、骨格画素３９それぞれに関しエッジ最短距離に関する情報を保持することができる。
【００４０】
ステップＳ１０５において、人物検出装置１のサイズ推定部１９は、赤外画像３１に含まれる骨格画素３９それぞれについて、評価対象の骨格画素３９を人物の頭部の中心であると仮定し、その頭部の赤外画像３１における大きさ（推定人物サイズ値）を推定する。赤外画像３１の輝度は、実空間に存在する物体の表面温度と強い相関を有する。物体が人物である場合、人物の細かな形状（目や鼻）や、服装の模様などは、赤外画像３１の輝度に殆ど影響を与えない。この事実に基づき、本発明においては、人物の頭部中心は、骨格画素３９に含まれると仮定可能であるとし、人物検出を行う。
【００４１】
本ステップにおける推定には、骨格画素３９それぞれについて保持されているエッジ最短距離を使用する。
【００４２】
例えば、評価対象の骨格画素３９について保持されているエッジ最短距離が、「１」であれば、当該骨格画素３９を中心とする人物頭部のサイズ（推定人物サイズ値）は、「１」に相当する大きさであると推定する。また、例えば、評価対象の骨格画素３９について保持されているエッジ最短距離が、「２」であれば、当該骨格画素３９を中心とする人物頭部のサイズ（推定人物サイズ値）は、「２」に相当する大きさであると推定する。「３」以上のエッジ最短距離を有する骨格画素３９についても同様に、推定人物サイズ値を推定する。そして、サイズ推定部１９は、骨格画素３９それぞれについての推定人物サイズ値を判定部２１に送る。
【００４３】
ステップＳ１０６において、人物検出装置１の判定部２１は、各骨格画素３９に関する推定人物サイズ値、および、エッジ画像データ（エッジ画素３５の情報）に基づき、人物の存在の有無の判定（人物有無判定）を行い、その結果を出力する。
【００４４】
具体的には、骨格画素３９それぞれに対し、当該骨格画素３９を基準点として推定人物サイズ値に相当する大きさの人物頭部のテンプレートと、評価対象の骨格画素３９を含む画像小領域とのマッチングを行い、各骨格画素３９を頭部中心とした場合のテンプレートとの類似度を求める。そして、類似度が所定の閾値を上回る場合、その骨格画素３９を頭部中心として、赤外画像３１上に、その骨格画素３９の推定人物サイズ値に対応した大きさで人物が存在すると判定する。
【００４５】
例えば、図４（ｃ）に示す骨格画素３９それぞれについて、それぞれの推定人物サイズ値（１、２、または、３）に対応するテンプレートで、各骨格画素３９を頭部中心としてパターンマッチングを行う。この場合、推定人物サイズ値が「３」である骨格画素３９を頭部中心としたパターンマッチングで、類似度が最も大きくなる。類似度が所定の閾値を上回る場合、判定部２１は、推定人物サイズ値「３」の骨格画素３９を頭部中心とし、赤外画像３１上で推定人物サイズ値「３」に対応した大きさの人物が存在すると判定する。
【００４６】
なお、本ステップにおけるパターンマッチングのアルゴリズムは、周知のアルゴリズムを用いればよい。また、テンプレートマッチングを行う場合、テンプレートは、人体頭部に関するものの他、人体上半身に関するテンプレート等でもよい。
【００４７】
以上のように、本実施形態による人物検出装置１は、人物の頭部中心を示す画素の候補を骨格画素に限定し、骨格画素に対してのみマッチングを行い、人物有無判定結果を出力する。そのため、計算にかかる時間が大幅に減少する。また、骨格画素を頭部中心とした場合における人物の大きさについても予め推定するため、ひとつの骨格画素に対し、大きさを変えたテンプレートとのマッチングを行う必要がなく、計算にかかる時間は、劇的に減少される。また、エッジ検出においては、赤外画像３１における輝度の不連続性にのみ着目するため、周囲環境と人体との表面温度の逆転が生じるような環境においても精度よく人物を検出することができる。
【００４８】
変形例１．
図５は、本発明にかかる実施の形態１の第１の変形例による人物検出装置１０１を示すブロック図である。人物検出装置１０１は、人物検出装置１から骨格化処理部１７を省略した構成を有する。
【００４９】
よって、人物検出装置１０１においては、図２に示すフローチャートのステップＳ１０４の骨格化処理は行わない。
【００５０】
サイズ推定部１９は、エッジ最短距離が１以上、かつ、所定値以下の画素３３について、そのエッジ最短距離に基づいて、推定人物サイズ値を推定し、判定部２１に出力する。
【００５１】
判定部２１は、エッジ最短距離が１以上、かつ、所定値以下の画素３３について、推定人物サイズ値、および、エッジ画像データ（エッジ画素３５の情報）に基づき、人物有無判定を行い、その結果を出力する。人物有無判定のアルゴリズムの詳細は、先述したものと同様でよい。
【００５２】
以上のように、本変形例による人物検出装置１０１は、人物の頭部中心を示す画素の候補を、エッジ最短距離が１以上、かつ、所定値以下の画素に限定し、当該画素に対してのみマッチングを行い、人物有無判定結果を出力する。そのため、計算にかかる時間が劇的に減少する。また、当該画素を頭部中心とした場合における人物の大きさについても予め推定するため、一の画素に対し、大きさを変えたテンプレートとのマッチングを行う必要がなく、計算にかかる時間は、劇的に減少される。また、エッジ検出においては、赤外画像３１における輝度の不連続性にのみ着目するため、周囲環境と人体との表面温度の逆転が生じるような環境においても精度よく人物を検出することができる。
【００５３】
変形例２．
図６は、本発明にかかる実施の形態１の第２の変形例２による人物検出装置２０１を示すブロック図である。人物検出装置２０１は、人物検出装置１から骨格化処理部１７およびサイズ推定部１９を省略した構成を有する。
【００５４】
よって、人物検出装置２０１においては、図２に示すフローチャートのステップＳ１０４の骨格化処理およびステップＳ１０５のサイズ推定処理は行わない。
【００５５】
判定部２１は、エッジ最短距離が１以上、かつ、所定値以下の画素３３について、エッジ画像データ（エッジ画素３５の情報）に基づき、人物有無判定を行い、その結果を出力する。人物有無判定のアルゴリズムの詳細は、先述したものと同様でよく、本変形例においては、テンプレートの大きさを各画素について変化させマッチングを行えばよい。
【００５６】
以上のように、本変形例による人物検出装置２０１は、人物の頭部中心を示す画素の候補を、エッジ最短距離が１以上、かつ、所定値以下の画素に限定し、当該画素に対してのみマッチングを行い、人物有無判定結果を出力する。そのため、計算にかかる時間が劇的に減少する。また、エッジ検出においては、赤外画像３１における輝度の不連続性にのみ着目するため、周囲環境と人体との表面温度の逆転が生じるような環境においても精度よく人物を検出することができる。
【００５７】
実施の形態２．
図７は、本発明にかかる実施の形態２による人物検出装置３０１の構成ブロック図である。人物検出装置３０１は、図１に示す人物検出装置１にさらに画像解像度変換部２３を付加した構成を有する。
【００５８】
画像解像度変換部２３は、赤外画像撮像部１１が出力する赤外画像データの縮小画像データを生成し、判定部２１に出力する。
【００５９】
画像解像度変換部２３が生成する縮小画像データは、オリジナルの赤外画像データを、例えば、縦横のサイズに関し１／２、１／４、１／８、・・・に縮小した画像データでよい。縮小画像の生成においては、例えば、オリジナルの赤外画像データの隣接する縦横２×２個の画素の画素値の平均値をとる等の統計処理を行い、縮小画像の画素の画素値とすればよい。このようにして生成される縮小画像データと、オリジナルの赤外画像データは、ピラミッド構造を構成する。
【００６０】
図８は、オリジナルの赤外画像４１の例を示す図である。画像解像度変換部２３は、この赤外画像のデータに対し、縮小処理を行い、縮小画像データを生成する。
【００６１】
図９は、このようにして形成されるピラミッド４３の構成を模式的に表した図である。オリジナルの赤外画像４１がピラミッド４３の底面を構成し、縮小画像４１ａ、４１ｂ、４１ｃがピラミッド４３のフロアを構成する。
【００６２】
判定部２１は、判定の対象である骨格画素３９のそれぞれに対し、その骨格画素３９に関する推定人物サイズ値、または、エッジ最短距離に基づいて、オリジナルの赤外画像４１、または、縮小画像４１ａ、４１ｂ、４１ｃのいずれかを選択し、選択した画像データに対してマッチングを行い、人物有無判定を実行する。
【００６３】
例えば、判定部２１は、評価対象の骨格画素３９に関する推定人物サイズ値（またはエッジ最短距離）が、Ｌである場合、Ｌ／Ｎが所定値以上となる最大のＮを決定する。ただし、ここでＮは、２の冪乗からなる数列（２、４、８、１６、・・・）である。
【００６４】
Ｎを決定した後、判定部２１は、オリジナルの赤外画像４１との比較において縦横のサイズが１／Ｎに縮小された縮小画像のデータを用いて人物有無判定を実行する。
【００６５】
以上のように、実施の形態２による人物検出装置３０１は、人物有無判定を行う際、評価対象の骨格画素３９を頭部中心とした場合に推定される人物のサイズに適当な解像度の縮小画像データを使用する。縮小画像データを使用することにより、パターンマッチングにかかる計算量が減少し、さらに、人物有無判定処理が高速化される。
【００６６】
なお、縮小画像データを使用することによる処理時間の短縮と、縮小画像データを使用することによる人物検出にかかる精度とはトレードオフの関係にある。よって、人物有無判定処理における画像データの選択（画像の解像度の選択）にかかる所定値は、人物有無判定の精度、および、望まれる計算速度とを考慮し、決定すればよい。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態１にかかる人物検出装置のブロック図
【図２】本発明の実施の形態１にかかる人物検出処理のフローチャート
【図３】（ａ）赤外画像の例、（ｂ）（ａ）に示す赤外画像に対する骨格化処理の例
【図４】（ａ）エッジの検出と小領域の検出の例、（ｂ）各画素に対する最短距離算出の例、（ｃ）骨格画素の抽出の例
【図５】実施の形態１の第１変形例のブロック図
【図６】実施の形態１の第２変形例のブロック図
【図７】本発明の実施の形態２にかかる人物検出装置のブロック図
【図８】赤外画像の例
【図９】図８に示す赤外画像によるピラミッド構成の例
【符号の説明】
【００６８】
１  人物検出装置、１１  赤外画像撮像部、１３  境界情報抽出部、１５  距離変換部、１７  骨格化処理部、１９  サイズ推定部、２１  判定部、２３画像解像度変換部、３１  赤外画像、３３  画素、３５  エッジ画素、３７  画像小領域境界、３９  骨格画素、４１  赤外画像、４１ａ  縮小画像、４１ｂ  縮小画像、４１ｃ  縮小画像、４３  ピラミッド構成、１０１  人物検出装置、２０１  人物検出装置、３０１  人物検出装置。
【図１】
2008286725.tif 000003
【図２】
2008286725.tif 000004
【図４】
2008286725.tif 000005
【図５】
2008286725.tif 000006
【図６】
2008286725.tif 000007
【図７】
2008286725.tif 000008
【図３】
2008286725.tif 000009
【図８】
2008286725.tif 000010
【図９】
2008286725.tif 000011