(57)【要約】【課題】簡便迅速かつ確実な人体の検知を可能とする。【解決手段】カメラより可視光画像を取得するステップと、前記カメラの撮影範囲とセンシング範囲が同期すべく制御した遠赤外線イメージセンサより、遠赤外線画像を取得するステップと、前記取得した遠赤外線画像から動物の画像を切り出すステップと、前記切り出した動物の画像の輪郭形状または当該輪郭形状の座標値を認識するステップと、前記可視光画像において前記輪郭形状または座標値に対応する画像部位を特定するステップと、前記特定した画像部位を前記可視光画像より切り出して出力装置に出力するステップと、を有することを特徴とする人体検知方法。【選択図】      図２
2004219277.tif 000002
【特許請求の範囲】
【請求項１】
可視光画像と遠赤外線画像とに基づく人体検知をコンピュータにより行う方法であって、
カメラより可視光画像を取得するステップと、
前記カメラの撮影範囲とセンシング範囲が同期すべく制御した遠赤外線イメージセンサより、遠赤外線画像を取得するステップと、
前記取得した遠赤外線画像から動物の画像を切り出すステップと、
前記切り出した動物の画像の輪郭形状または当該輪郭形状の座標値を認識するステップと、
前記可視光画像において前記輪郭形状または座標値に対応する画像部位を特定するステップと、
前記特定した画像部位を前記可視光画像より切り出して出力装置に出力するステップと、
を有することを特徴とする人体検知方法。
【請求項２】
前記特定した画像部位について、人体か否かの判定を行って、当該判定の結果を出力装置に出力することを特徴とする請求項１に記載の人体検知方法。
【請求項３】
前記人体であることが判定された場合、出力装置に警報出力指示を送信することを特徴とする請求項２に記載の人体検知方法。
【請求項４】
前記人体であることの判定を行うに際し、
前記画像部位から人の肌色を示す領域を検出するステップと、
該検出された肌色領域の形状または面積から、前記画像部位が人体の皮膚を示すか否か判別するステップと、
を含むことを特徴とする請求項２または３に記載の人体検知方法。
【請求項５】
前記肌色領域を検出するステップにおいて、
予め登録された肌色成分のパラメータと前記画像部位との色成分とを比較照合し、皮膚部分を検出するステップを含むことを特徴とする請求項４に記載の人体検知方法。
【請求項６】
前記人体であることの判定を行うに際し、前記肌色領域の画像に対して多数の人体パーツから学習により作成された人体形状データベースとマッチングしている程度を求め、該程度が所定以上の場合に、前記画像部位が人体を示すものであると判断することを特徴とする請求項４または５に記載の人体検知方法。
【請求項７】
前記特定した画像部位の可視光画像中での位置およびサイズに応じ、当該可視光画像が所定形態となるべく、前記カメラが備える制御用駆動装置にパンチルト、ズームイン、およびズームアウトのいずれかの処理を指示し、可視光画像中の前記画像部位を追跡することを特徴とする請求項１〜６のいずれかに記載のビデオデータの記憶制御方法。
【請求項８】
前記遠赤外線イメージセンサは、１５００画素程度の画素数を備えたものであることを特徴とする請求項１〜７のいずれかに記載の人体検知方法。
【請求項９】
可視光画像と遠赤外線画像とに基づく人体検知を行うシステムであって、
カメラより可視光画像を取得する手段と、
前記カメラの撮影範囲とセンシング範囲が同期すべく制御した遠赤外線イメージセンサより、遠赤外線画像を取得する手段と、
前記取得した遠赤外線画像から動物の画像を切り出す手段と、
前記切り出した動物の画像の輪郭形状または当該輪郭形状の座標値を認識する手段と、
前記可視光画像において前記輪郭形状または座標値に対応する画像部位を特定する手段と、
前記特定した画像部位を前記可視光画像より切り出して出力装置に出力する手段と、
を有することを特徴とする人体検知システム。
【請求項１０】
可視光画像と遠赤外線画像とに基づく人体検知を行う方法をコンピュータに実行させるためのプログラムであって、
カメラより可視光画像を取得するステップと、
前記カメラの撮影範囲とセンシング範囲が同期すべく制御した遠赤外線イメージセンサより、遠赤外線画像を取得するステップと、
前記取得した遠赤外線画像から動物の画像を切り出すステップと、
前記切り出した動物の画像の輪郭形状または当該輪郭形状の座標値を認識するステップと、
前記可視光画像において前記輪郭形状または座標値に対応する画像部位を特定するステップと、
前記特定した画像部位を前記可視光画像より切り出して出力装置に出力するステップと、
を含むことを特徴とする人体検知プログラム。
【請求項１１】
請求項１０に記載の人体検知プログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人体検知方法およびシステム、プログラム、記録媒体に関する。
【０００２】
【従来の技術】
セキュリティ分野においてより確実で経済的な人体検知方法が求められている。従来、例えば、様々なシーンに対応でき、またノイズに対して強く、広い範囲において人体のエリア別の存在や位置を検知できる人体検知装置を提供する目的の下、広角レンズと、該広角レンズを介して得られた像が結像される画像センサと、該画像センサ上に形成された像を分割可能とすることにより、エリアごとに人体の存在を検知する人体検出部とを備え、該エリアの分割数及び分割範囲を変更可能とする技術などが提案されてきた。
【０００３】
また、広い範囲において人の位置を検知する人体検知装置が注目されている。このような人体検知装置として、例えば対象となる空間のイメージ画像を広角光学系によってＣＣＤなどの撮像素子の上に結像し、画像処理によって人の在不在、位置を検知するものである。この場合、現在画像データと背景画像データとを用いて比較演算することにより人体を検出している（特許文献１および特許文献２参照）。
【０００４】
【特許文献１】
特開２００１−２８１３５１号公報
【０００５】
【特許文献２】
特開平５−２０３２４０号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の人体検知方法においては、可視光画像に基づいて人体検知を行っており、夜間や逆光時において撮影された可視光画像であれば的確な人体の検知を実行しにくいという課題があった。たとえ赤外線センサー等で熱源の存在を感知し、当該感知した時点から可視光画像の撮影を行うといった手法を採用しても撮影タイミングを確立できるだけであって、得られる結果は今まで通りの視光画像でしかなかった。また、可視光画像から人体の画像だけを抽出するとしても、所定の背景画像データとの差分を求めて演算処理する必要が生じ、効率的な処理を迅速に行うことが難しかった。
【０００７】
そこで本発明は、このような従来の課題に着目してなされたもので、簡便迅速かつ確実な人体の検知を可能とする人体検知方法およびシステム、プログラム、記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成する本発明の人体検知方法は、可視光画像と遠赤外線画像とに基づく人体検知をコンピュータにより行う方法であって、カメラより可視光画像を取得するステップと、前記カメラの撮影範囲とセンシング範囲が同期すべく制御した遠赤外線イメージセンサより、遠赤外線画像を取得するステップと、前記取得した遠赤外線画像から動物の画像を切り出すステップと、前記切り出した動物の画像の輪郭形状または当該輪郭形状の座標値を認識するステップと、前記可視光画像において前記輪郭形状または座標値に対応する画像部位を特定するステップと、前記特定した画像部位を前記可視光画像より切り出して出力装置に出力するステップと、を有することを特徴とする。
その他、本願が開示する課題、及びその解決方法は、発明の実施の形態の欄及び図面により明らかにされる。
【０００９】
【発明の実施の形態】
本明細書の記載により、少なくとも次のことが明らかにされる。
前記人体検知方法において、前記特定した画像部位について、人体か否かの判定を行って、当該判定の結果を出力装置に出力することとできる。
また、前記人体検知方法において、前記人体であることが判定された場合、出力装置に警報出力指示を送信することとできる。
更に、前記人体であることの判定を行うに際し、前記画像部位から人の肌色を示す領域を検出するステップと、該検出された肌色領域の形状または面積から、前記画像部位が人体の皮膚を示すか否か判別するステップと、を含むこととできる。
【００１０】
また、前記人体検知方法において、前記肌色領域を検出するステップにおいて、
予め登録された肌色成分のパラメータと前記画像部位との色成分とを比較照合し、皮膚部分を検出するステップを含むこととできる。
【００１１】
更に、前記人体検知方法において、前記人体であることの判定を行うに際し、前記肌色領域の画像に対して多数の人体パーツから学習により作成された人体形状データベースとマッチングしている程度を求め、該程度が所定以上の場合に、前記画像部位が人体を示すものであると判断することとできる。
【００１２】
また、前記人体検知方法において、前記特定した画像部位の可視光画像中での位置およびサイズに応じ、当該可視光画像が所定形態となるべく、前記カメラが備える制御用駆動装置にパンチルト、ズームイン、およびズームアウトのいずれかの処理を指示し、可視光画像中の前記画像部位を追跡することとできる。
【００１３】
更に、前記人体検知方法において、前記遠赤外線イメージセンサは、１５００画素程度の画素数を備えたものであることとできる。
【００１４】
また、可視光画像と遠赤外線画像とに基づく人体検知を行うシステムであって、カメラより可視光画像を取得する手段と、前記カメラの撮影範囲とセンシング範囲が同期すべく制御した遠赤外線イメージセンサより、遠赤外線画像を取得する手段と、前記取得した遠赤外線画像から動物の画像を切り出す手段と、前記切り出した動物の画像の輪郭形状または当該輪郭形状の座標値を認識する手段と、前記可視光画像において前記輪郭形状または座標値に対応する画像部位を特定する手段と、前記特定した画像部位を前記可視光画像より切り出して出力装置に出力する手段と、を有することを特徴とする人体検知システムにかかる。
【００１５】
更に、可視光画像と遠赤外線画像とに基づく人体検知を行う方法をコンピュータに実行させるためのプログラムであって、カメラより可視光画像を取得するステップと、前記カメラの撮影範囲とセンシング範囲が同期すべく制御した遠赤外線イメージセンサより、遠赤外線画像を取得するステップと、前記取得した遠赤外線画像から動物の画像を切り出すステップと、前記切り出した動物の画像の輪郭形状または当該輪郭形状の座標値を認識するステップと、前記可視光画像において前記輪郭形状または座標値に対応する画像部位を特定するステップと、前記特定した画像部位を前記可視光画像より切り出して出力装置に出力するステップと、を含むことを特徴とする人体検知プログラムにかかる。
【００１６】
また、前記人体検知プログラムを記録したコンピュータで読み取り可能な記録媒体にかかる。
【００１７】
以下に本発明の実施形態について図面を用いて詳細に説明する。図１は本実施形態の人体検知システム１００を含むネットワーク構成図である。本実施形態における人体検知システム１００は、演算装置としてのコントローラ１０１を中心に各種記憶手段やインターフェイス、および各機能部から構成されるコンピュータである。勿論、コンピュータ内の各部はデータ経路としてのバスが結んでいる。  例えば部外者の侵入を撮影し続ける監視カメラ１０の外部出力からは、撮影画像たる可視光画像が出力され、また、前記監視カメラ１０の撮影範囲とセンシング範囲が同期制御される遠赤外線イメージセンサ２０からは遠赤外線画像が出力され、これらをインターフェイス１０２を介して受けたコントローラ１０１が作業用メモリ１０３、或いは画像データベース１０４等の記憶装置１０６に格納する。なお、前記インターフェイス１０２には可視光画像および遠赤外線画像のバッファリング機能も備わる。
【００１８】
前記遠赤外線イメージセンサ２０の役割は本発明において大きなものとなる。自らが熱源とはならない風景や器具と異なり、人体など動物は発熱を自ら行っている。前記遠赤外線イメージセンサ２０は、遠赤外領域に感度を有するデバイスであり、センシング範囲に存在する物体からの輻射熱の差を感知することが可能である。従って、人体など動物とそれ以外の非発熱体との区別を簡便にかつ迅速に認識することが出来るのである。遠赤外線イメージセンサ２０としては、例えば赤外線の波長領域である７８０ｎｍ〜１ｍｍ程度においてセンシング性能を発揮するものが想定できる。
【００１９】
他方、可視光画像を撮影する前記監視カメラ１０としては、例えばＣＣＤ等の撮像素子で可視光領域から近赤外領域まで感度を備えるものが想定できる。例えばモノクロＣＣＤを採用すれば、測定対象からの可視光線の反射光量に応じた濃淡画像を得る。また、カラーＣＣＤを用いた場合はＲＧＢフィルターにより可視光線領域を３分割し、ＲＧＢの色調ごとの可視光画像を得る。
他方、可視光線領域および赤外線領域の両方に対応可能なＣＣＤを用いた場合、適宜な光学フィルタ（遠赤外線と可視光の両方）を適用してこれを所定タイミングで切り替えれば１つのカメラで可視光画像と遠赤外線画像の両方を得ることが可能である。このような構成を採用すれば、カメラ類の集約と小型化等が図れる上、可視光画像撮影用のカメラと遠赤外線イメージセンサとについて撮影範囲を同期させる制御等が不要となる。
【００２０】
以上のような遠赤外線イメージセンサ２０から取得し、記憶装置１０６に格納された遠赤外線画像は、画像抽出部１０７により動物画像の切り取り処理がなされる。遠赤外線画像では、人物および動物等は、机、イス、家具、或いは無機物の建造物といったものに対して反射スペクトル強度が異なり、高い温度を示すため例えば図３（ｂ）に示すような画像を得ることができる。この遠赤外線画像は、可視光画像と異なり、背景物から人体等だけを浮かびあがらせて、その輪郭が明確である。したがって、形状およびそれを構成する座標値の認識が可能となる。
【００２１】
この切り取り処理の結果得られた遠赤外線画像における人体等の輪郭形状または当該輪郭形状の座標値は、前記画像抽出部１０７により、画像データベース１０４における前記可視光画像にあてはめられ、該当する画像部位の特定と切り出しとがなされる。可視光画像から切り出された画像部位が人体であるか判定する場合、人体判定部１０８が、肌色を示す領域を検出し、この検出された肌色領域の画像が人体画像であるか否か判別する処理を行う。これらの処理に際しては各種パラメータ等の参照用の情報を格納した参照データベース１０５が利用される。
【００２２】
前記遠赤外線画像における人体部位（または前記画像部位）が移動中であれば、画像中の位置およびサイズに応じ、当該人体部位等の画像が一定サイズや画質といった所定形態となるべく、監視カメラ１０及び遠赤外線イメージセンサ２０が備える制御用駆動装置１１、２１に制御信号を発する。この制御信号を生成するのがカメラ制御部１０９である。
【００２３】
この制御信号は、制御用駆動装置１１、２１にパンチルト、ズームイン、およびズームアウトのいずれかの処理を指示して監視カメラ１０および遠赤外線イメージセンサ２０の撮影条件をコントロールし、所定画像を追跡することとできる。また、例えば前記監視対象たる人体等が多数あるいは広範囲に散在するような場合であって複数台の監視カメラ１０および遠赤外線イメージセンサ２０でこれらの撮影を行っている場合には、前記制御信号が各監視カメラ１０および遠赤外線イメージセンサ２０毎に生成される。
【００２４】
画像編集部１１０は、例えば記憶装置１０６に記憶されている可視光画像や遠赤外線画像を読み出して画質補正を行うことで、輝度信号と色差信号の補正、ピンぼけ等の補正を行う。また、撮影対象と監視カメラ１０および遠赤外線イメージセンサ２０との距離に応じて、前記切り出された画像のサイズや画素数等が異なる場合もあるので、切り出された各画像の画素数、サイズを一定にする変換を行う。ここでの処理には従来存在する画像編集技術を採用できる。なお、これら各種画質補正は、前記画像抽出部１０７による画像の切り取り処理に先だって行ってもよいし、平行処理を行うとしてもよい。或いは切り取った画像に画質補正を加えるとしてもよい。
【００２５】
前記可視光画像、遠赤外線画像、またはこれらから切り出された画像は、インターフェイス１１１を介して外部装置１１２に出力される。またこの出力の際、インターフェイス１１１自体が出力装置としての機能を備えているとしてもよい。この外部装置１１２が例えばスピーカ等を備える装置である場合、前記切り出された画像（遠赤外線画像由来のもの、および画像部位）が人体であると判定された際に前記人体判定部１０８から発信された警報出力指示に応じて、警報音を出力するとしてもよい。
【００２６】
前記人体検知システム１００が、いわゆるビデオ・サーバーとして機能する状況も想定できる。ビデオ・サーバーは、多くのビデオデータをデジタル符号化して保存し、利用者の要求に応じて指定された映像等を提供するコンピュータ・システムである。この場合、クライアントと接続されるネットワークのプロトコルや回線容量等に応じて、提供する画像を圧縮し送信する。例えば、従来技術を利用して画像データを圧縮して符号化する。画像データ圧縮には、例えばフレーム間の相関を考慮した蓄積メディア用動画像符号化方式（ＭＰＥＧ１）を利用して、プログレッシブ形式の圧縮技術を使用してもよいし、或いは汎用動画像符号化方式（ＭＰＥＧ２）を利用してインタレース形式の圧縮技術を使用してもよい。或いは他の画像圧縮技術を利用してもよい。
【００２７】
人体検知システム１００がサーバとして機能するに際しては、例えば、ファイヤウォールサーバとして外部からの不正進入を抑止したり、ＷＷＷサーバとして機能するものでもあったり、データ通信相手とのコミュニケーションを図るメールサーバーとしても機能可能とすれば好適である。
【００２８】
なお、前記記憶装置１０６は、１つの記憶装置に集約して設けられるとしてもよいし、それぞれネットワークで結ばれた別の記憶装置に設けられるとしてもよい。またそれらネットワークは人体検知システム１００の外部に存在するもので、記憶装置１０６も人体検知システム外に配置するとしてもよい。
【００２９】
また、人体検知システム１００は、ラップトップタイプを含む一般のパーソナルコンピュータが想定できる。しかし、必要とする演算処理能力等を備えてさえいれば、コンピュータチップを備えるいずれの機器でもよい。加えて、外部装置１１２も、例えば携帯端末、ＰＤＡ、ゲーム機、ファックス機、デジタルＴＶなど人体検知システム１００と接続可能なコンピュータチップを備え、適宜な入出力機能を有するいずれの機器でもよい。
【００３０】
また、人体検知システム１００、および外部装置１１２、監視カメラ１０、遠赤外線イメージセンサ２０らをつなぐ経路としては、それらが人体検知システム１００と一体化していれば内部バスでよいし、ネットワーク化されているならば、インターネットの他に、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＡＮ、専用線、電灯線ネットワーク、ＡＴＭ、無線ネットワークなど様々なネットワークを採用することも出来る。また、ＶＰＮなど仮想専用ネットワーク技術を用いれば、インターネットにおいてセキュリティ性を高めた通信が確立され好適である。
【００３１】
図２は本実施形態の人体検知方法における手順例を示すフロー図である。以下、本発明の人体検知方法の実際手順について説明する。人体検知システム１００（以下システム）は、監視カメラ１０および遠赤外線イメージセンサ２０が撮影した可視光画像および遠赤外線画像を取得し（ｓ２０１）、前記コントローラ１０１による画像移動の有無判定を行う（ｓ２０２）。例えば、前記遠赤外線画像中での高温物（通常、背景画像より明るい色調で表示される）、つまり人体等が移動しているか否かを判定する。また、可視光画像中において移動物を判定するとしてもよい。
【００３２】
画像移動があるならば（ｓ２０２：ＹＥＳ）、撮影対象物の画像中での位置およびサイズに応じ、撮影画像が所定形態となるべく、監視カメラ１０および遠赤外線イメージセンサ２０が備える制御用駆動装置１１、２１にパンチルト、ズームイン、およびズームアウトのいずれかの処理を指示する（ｓ２０３）。勿論、前記監視カメラ１０および遠赤外線イメージセンサ２０が一体となっていれば両駆動制御装置１１、１２を別に制御する必要はない。
【００３３】
これにより、画像中の所定画像を追跡する。他方、画像の移動がなければ（ｓ２０２：ＮＯ）、ステップｓ２０４へ処理を進める。なお、ここで述べた画像追跡の処理は、遠赤外線画像から人体画像を切り出す処理、および可視光画像から画像部位を切り出す処理のバックグラウンドで継続的に実行されるものとし、ステップの開始および終了の位置はここでの図示例に限定されない。したがって、遠赤外線画像より切り出された人体画像等を追跡対象として監視カメラ１０および遠赤外線イメージセンサ２０の制御を行う態様も含まれる。
【００３４】
可視光画像および遠赤外線画像を適宜取得しているシステム１００は、これをバッファリングしながら適宜間隔で例えばメモリ１０３に蓄積し、画質の補正を行う（ｓ２０４）。例えば、輝度信号と色差信号の補正、輪郭補正、ピンぼけ等の補正処理を行う。また、撮影対象の監視カメラ１０や遠赤外線イメージセンサ２０からの距離に応じて、画像サイズや画素数等が異なる場合もあるので、これら画素数、サイズなどを一定にする変換を行う。ここでの処理には従来存在する画像編集技術を採用できる。
【００３５】
画質が補正されたならば、次に遠赤外線画像から人体画像の切り出し処理を行う（ｓ２０５）。可視光以外のスペクトル帯域である遠赤外線域の反射スペクトルを遠赤外線イメージとして検出したのが前記遠赤外線画像である。従って、人体等の動物と風景物とで遠赤外線域の反射強度が明らかに異なるため、両者を分離することが容易である。遠赤外線画像としては図３（ｂ）にその例を示している。同じ領域を撮影した可視光画像は同図（ａ）であるが、背景にデスク周辺の景色が写りこみ、最前面に人物半身が捉えられている。この人物の半身の輪郭のみが（ｂ）図では明確に捉えられる。つまり背景画像は除去された画像となるのである。例えば、この図（ｂ）の遠赤外線画像に示すように、人体のみ白色で背景は黒色で構成されるのであるから、前記白色の輪郭外形を抽出、あるいは当該輪郭外形の座標を抽出することで人体画像の切り出しを実行できる（ｓ２０６）。
【００３６】
人体画像を切り出したならば、例えばこの人体画像の輪郭座標を、前記可視光画像に適合させ、対応画素を抽出する。これにより遠赤外線画像起源の人体画像に対応する画像部位を可視光画像において特定することができる（ｓ２０８）。図３で言えば、（ａ）図の可視光画像に（ｂ）図の遠赤外線画像を適合させることで、（ｃ）図のように背景を除去して人体のみの可視光画像が抽出できた訳である。このように前記画像部位を切り出したならば（ｓ２０９）、可視光画像中より人体（らしき）画像の切り出し処理は完了するため、これが人体であるか否かの判定を行わないのであれば（ｓ２１０：ＮＯ）、当該画像部位を前記外部装置１１２等に出力し（ｓ２１５）、処理は終了する。
【００３７】
他方、前記の画像部位が人体であるか否かの判定を行う場合（ｓ２１０：ＹＥＳ）、肌色領域の検出処理を実行する（ｓ２１１）。ここではまず、肌色を示す領域、肌色領域を設定する。ただし、この肌色設定の処理は、予め一度行っておいて状況に応じて適宜修正すればよいものであるから、必ず実行する必要はない。  人間の皮膚の色は男女の差、老人と子供のように年齢差によっても異なるだけでなく、白人や黒人等の人種によって大きく異なる。更に室内の照明によっても著しく変化して見える。したがって予め肌色を合理的に定めておく必要がある。ここでは、マンセルの表色系を採用して定義し、照明灯等による環境条件の変化に対して補正を行うものとする。図４はこのマンセルの表色系を示す図である。
【００３８】
マンセル表色系は、図示するように物の色を色相（色あい）、明度、クロマ（色みの量を表す、以下色みという。）を基本軸として３次元座標で表示している。ここで、色相とは赤、黄、緑、青、赤紫を云う。明度とは色の明るさで、白色（反射率が１００％の色）を１０とし、黒色（反射率が０の色）を０と定めている。色みとは色の鮮やかさを表し、無彩色からの距離で測られる。色みは彩度と異なり、彩度は明度の値に依って変化するが、色みは明度の値に依って変化しない。従って、マンセル表色系で肌色を定義することにより、明度によって変化しない肌色が定義できる。即ち、室内の照明灯の明るさに影響されにくい肌色の定義ができるという特徴がある。
【００３９】
この表色系の円周方向には色相がＲ（赤）、Ｙ（黄）、Ｇ（緑）、Ｂ（青）、Ｐ（パープル）の順に規定され、半径方向には色みの量（クロマ）が規定されている。具体的に色と人間の相関例を言えば、例えば図中斜線で囲んだ部分は人（白人）の肌色を示す部分である。従って、この部分（あるいはこれを含む周辺）を肌色と設定すれば概ね肌色を正しく表現できる。なお、衣服の色や背景色と区別できれば実用的に十分であり、更に、照明光に色がある場合や、特殊のケース（黒人の場合等）の場合にはその条件を加味して補正を行うことで実用的な肌色の識別が可能になる。
【００４０】
次に肌色領域の検出処理を行う（ｓ３０６）。図５は本実施形態の皮膚色認識における入力画像と確率画像の例を示す図である。システム１００における画像抽出部１０７は、肌色のマスクを利用して前記画像部位をスキャンする。例えば、各画素に対してマンセルの表色系で定義された部分の色を確率１とし、この部分から遠ざかるに従って低い確率値を付与し、マスクの平均値が所定値以上であれば、その部分は肌色として検出する。これにより撮影画像中の肌色領域を検出し、その大きさと位置が決定できる。図５中の「確率画像」に示す白抜き部分がその肌色領域となる。
【００４１】
次に、この肌色領域が人体を示すものであるのかの検証を実行する。図６はある人体パーツ（例：顔）の画像サンプル（Ａ）と誤り画像のサンプル（Ｂ）のヒストグラムを示す図である。例えば前記肌色領域が目と鼻を含んだ画像であると予め認識できたならば、統計的手法を利用したシュナイダーマンの方法を利用しこれが顔画像なのか検証する。このために、目と鼻を含んだ正しい顔画像サンプルとそうでない誤りの画像のサンプルを、各々数十万程度を準備しこれら等の画像をウェーブレット変換し、ヒストグラム作成しておく。このヒストグラムのデータは前記参照データベース１０５に格納するものとする。
【００４２】
ヒストグラムは複数の色について行え、これらの色毎の結果を重ねて表示して図６に示している。例えば図６（Ａ）は正しい正面顔のサンプルに対するヒストグラムで、図６（Ｂ）は誤りのサンプルに対するヒストグラムである。この図において、縦軸は頻度で正しいとされた場合を「正」で、誤りとされた場合を「負（−）」で示す。また、横軸は要因（又は属性）を示す周波数特性を示している。図６から理解できるように要因Ｅ、Ｆ、Ｉについて検証すれば正しく判定できることが解る。前記確率画像が人体パーツ（例：前向きの顔画像）を含んでいると判定された場合は、前記肌色領域が人体であると認識できる。
【００４３】
上記の処理を実行したシステム１００における人体判定部１０８は、人体ではないとの判定結果であったならば（ｓ２１３：ＮＯ）、人間の侵入を認めないとしてステップｓ２０１へ処理を戻し通常状態を維持する。他方、人体であるとの判定結果であったならば（ｓ２１３：ＹＥＳ）、外部装置１１２に対して警報出力指示を送信するとともに（ｓ２１４）、人体であると判定された画像部位を出力し（ｓ２１５）、処理は終了する。
【００４４】
本発明の実施の形態によれば、次の効果を奏する。
本発明の人体検知方法によれば、可視光画像と遠赤外線画像とに基づいて、遠赤外線イメージから可視光画像中の人体を抽出することが簡便かつ迅速となる。また、可視光画像から背景画像を除去するための処理やそのためのデータ取得に要するコストや機器も不要となり、確実な人体検知を効率的かつ低コストに可能とする。しかも、その処理は迅速であり、リアルタイムにて画像処理を行えるのである。しかも、夜間や逆光時などの悪条件にあっても、可視光画像から的確な人体の検知を実行可能となる。
【００４５】
そこで本発明によれば、簡便迅速かつ確実な人体の検知を可能とするを提供可能な人体検知方法、システム、プログラム、記録媒体を提供可能となる。
【００４６】
以上、本発明の実施の形態について、その実施の形態に基づき具体的に説明したが、これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、顔の特徴抽出、データベースの作成、個人の識別は上記した方法に限定される訳ではなく、他の方法を採用してもよい。
【００４７】
【発明の効果】
本発明によれば、簡便迅速かつ確実な人体の検知を可能とする。
【図面の簡単な説明】
【図１】本実施形態の人体検知システムを含むネットワーク構成図である。
【図２】本実施形態の人体検知方法における手順例を示すフロー図である。
【図３】（ａ）は本実施形態における可視光画像、（ｂ）は遠赤外線画像、（ｃ）は画像部位をそれぞれ示す説明図である。
【図４】マンセルの表色系を示す図である。
【図５】本実施形態の皮膚色認識における入力画像と確率画像の例を示す図である。
【図６】人体形状の画像サンプル（Ａ）と誤り画像のサンプル（Ｂ）のヒストグラムを示す図である。
【符号の説明】
１０  カメラ、監視カメラ
１１  制御用駆動装置
２０  遠赤外線イメージセンサ
２１  制御用駆動装置
１００  システム、人体検知システム
１０１  コントローラ
１０２、１１１  インターフェイス
１０３  メモリ
１０４  画像データベース
１０５  参照データベース
１０６  記憶装置
１０７  画像抽出部
１０８  人体判定部
１０９  カメラ制御部
１１０  画像編集部
１１２  外部装置
【図１】
2004219277.tif 000003
【図２】
2004219277.tif 000004
【図３】
2004219277.tif 000005
【図４】
2004219277.tif 000006
【図５】
2004219277.tif 000007
【図６】
2004219277.tif 000008