(57)【要約】【課題】撮像手段の設置位置の自由度を向上できるとともに、設置作業を容易に行えるようになり、しかも検出精度を向上できる人体検出装置を提供することにある。【解決手段】人体検出装置１は、撮像手段１０と、撮像手段１０の設置位置の高さを検出する高さ検出手段１１と、撮像手段１０の撮像方向の俯角を検出する俯角検出手段１２と、撮像手段１０の画像から移動体の輪郭を抽出する移動輪郭抽出手段１４ｂと、前記輪郭を元に移動領域を抽出する移動領域抽出手段１４ｃと、画像上の移動領域の大きさ及び最下端の位置を検出する領域特徴量検出手段１４ｄと、前記最下端の位置と前記高さと前記俯角を元にして算出した前記移動領域に対応する移動体と撮像手段１０との実空間上の距離と前記画像上の移動領域の大きさとを元にして実空間上の移動領域の大きさを算出し、該実空間上の移動領域の大きさに基づいて人体検出を行う人体検出手段１４ｅとを備える。【選択図】図１
2008099016.tif 000002
【特許請求の範囲】
【請求項１】
所定領域を撮像する撮像手段と、撮像手段で撮像した画像から輪郭を抽出する輪郭抽出手段と、該輪郭抽出手段で抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段と、該移動輪郭抽出手段で抽出した輪郭に外接する矩形状の領域からなる移動領域を抽出する移動領域抽出手段と、画像上の移動領域の大きさ及び最下端の位置を検出する領域特徴量検出手段と、撮像手段の設置位置の高さを検出する高さ検出手段と、撮像手段の撮像方向の俯角を検出する俯角検出手段と、前記移動領域の最下端の位置、前記高さ、及び前記俯角を元にして、移動領域に対応する移動体と撮像手段との実空間上の距離を算出するとともに、算出した距離と前記画像上の移動領域の大きさとを元にして実空間上の移動領域の大きさを算出し、該実空間上の移動領域の大きさに基づいて人体検出を行う人体検出手段とを備えていることを特徴とする人体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人体検出装置、特に画像処理型の人体検出装置に関するものである。
【背景技術】
【０００２】
従来から、ＴＶカメラ等の撮像手段により撮像した画像を用い、撮像領域内の人の存否を検出する人体検出装置が種々提供されており、特許文献１には、所望の視野を撮像する撮像手段と、撮像手段により異なる時刻に撮像された複数枚の画像を用いて移動した物体に相当する移動領域を抽出する移動領域抽出手段と、移動領域抽出手段により抽出した移動領域について人に対応する領域か否かを評価する領域解析手段とを備える人体検出装置が開示されている。
【０００３】
また、特許文献２には、画像上の移動領域の大きさ（面積）を元にして当該移動領域の実空間上の大きさを算出し、この算出した移動領域の実空間上の大きさが、所定の閾値以上であるか否かによって、移動領域が人体に対応する領域か否かを評価する人体検出装置が開示されている。この特許文献２の人体検出装置は、撮像手段で撮像した画像の下端縁から移動領域までの距離と、補正関数のデータテーブルとを用いて補正関数を定め、この補正関数と、画像上の移動領域の面積とを乗算することで、実空間上の移動領域の面積を算出するように構成されている。上記の補正関数は、撮像手段と移動領域に対応する移動体との距離による画像上での移動領域の大きさの違いを補正するための値であって、撮像手段と移動領域に対応する移動体との距離を反映した値として与えられている。つまり、補正関数のデータテーブルは、画像の下端縁から移動領域までの距離を、撮像手段と移動領域に対応する移動体との距離を反映した値に変換するために用いられている。
【特許文献１】特開２００５−１１５９３２号公報（図１参照）
【特許文献２】特開２０００−２５８５５２号公報（図１〜図３参照）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２の補正関数のデータテーブルは、所定の高さに設置した撮像手段で実際に撮像したデータを元にして作成されるものであるから、上記の特許文献２の人体検出装置で人体検出を行うためには、上記所定の高さ（すなわち補正関数のデータテーブルが用意されている設置位置の高さ）に、撮像手段に設置する必要がある。
【０００５】
そのため、特許文献２の人体検出装置では、撮像手段の設置位置が制限されてしまい、その結果、撮像手段の設置位置の自由度が低くなるという問題が生じていた。
【０００６】
このような問題は、撮像手段を設置した後に、撮像手段の設置位置の高さに応じた補正関数のデータテーブルを作成すれば解決できるものであるが、補正関数のデータテーブルは、上述したように所定の高さに設置した撮像手段で実際に撮像したデータを元にして作成されるものであるから作成に非常に手間がかかり、これにより設置作業が非常に煩雑になるという別の問題が生じることになる。
【０００７】
本発明は上述の点に鑑みて為されたもので、その目的は、撮像手段の設置位置の自由度を向上できるとともに、設置作業を容易に行えるようになり、しかも検出精度を向上できる人体検出装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１の発明では、所定領域を撮像する撮像手段と、撮像手段で撮像した画像から輪郭を抽出する輪郭抽出手段と、該輪郭抽出手段で抽出した輪郭から移動体の輪郭を抽出する移動輪郭抽出手段と、該移動輪郭抽出手段で抽出した輪郭に外接する矩形状の領域からなる移動領域を抽出する移動領域抽出手段と、画像上の移動領域の大きさ及び最下端の位置を検出する領域特徴量検出手段と、撮像手段の設置位置の高さを検出する高さ検出手段と、撮像手段の撮像方向の俯角を検出する俯角検出手段と、前記移動領域の最下端の位置、前記高さ、及び前記俯角を元にして、移動領域に対応する移動体と撮像手段との実空間上の距離を算出するとともに、算出した距離と前記画像上の移動領域の大きさとを元にして実空間上の移動領域の大きさを算出し、該実空間上の移動領域の大きさに基づいて人体検出を行う人体検出手段とを備えていることを特徴とする。
【発明の効果】
【０００９】
請求項１の発明は、撮像手段の設置位置の高さを検出する高さ検出手段と、撮像手段の撮像方向の俯角を検出する俯角検出手段とを備え、高さ検出手段で検出した高さと俯角検出手段で検出した俯角とを元にして撮像手段から移動領域に対応する移動体までの実空間上の距離を算出し、算出した距離と画像上の移動領域の大きさとを元にして実空間上の移動領域の大きさを算出するようにしているので、従来例のように画像の下端縁から移動領域までの距離を撮像手段と移動領域に対応する移動体との距離を反映した値に変換するためのデータテーブルを用いなくて済み、これにより撮像手段の設置位置の自由度を向上できるとともに、設置作業を容易に行えるようになるという効果を奏し、しかも、高さ検出手段及び俯角検出手段を備えていることにより撮像手段から移動領域に対応する移動体までの実空間上の距離を正確に算出することができるようになるから、人体検出の検出精度を向上できるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明の人体検出装置の一実施形態について図１〜図３を参照して説明する。
【００１１】
本実施形態の人体検出装置１は、例えば住宅屋内外間で通話を行うためのドアホンシステムとともに用いられており、このドアホンシステムは、図３に示すように、庭に設置されるカメラ装置Ａと、カメラ装置Ａで得られた画像をモニタする機能を備えるとともに住宅Ｄの屋内に設置されるドアホン親機Ｂと、住宅Ｄの屋外に設置されるドアホン子器Ｃとで構成されている。尚、ドアホン親機Ｂ及びドアホン子器Ｃは、従来周知のものを用いることができるから、本実施形態では、ドアホン親機Ｂ及びドアホン子器Ｃについては説明を省略し、カメラ装置Ａについてのみ説明する。
【００１２】
カメラ装置Ａは、例えばセンサ付きカメラ装置であって、図１に示すように、所定領域内の人の存在を検出する人体検出装置１と、報知手段２とを備えている。
【００１３】
ここで、人体検出装置１は、画像処理型の人体検出装置であって、所定領域を撮像する撮像手段１０と、高さ検出手段１１と、俯角検出手段１２と、出力データ変換手段１３と、画像処理手段１４と、輪郭画像記憶手段１５と、信号処理手段１６と、伝送手段１７とを備えており、撮像した画像に画像処理を施すことで人体検出を行うとともに、撮像手段１０で撮像した画像をドアホン親機Ｂに伝送するように構成されている。
【００１４】
撮像手段１０は、所定領域を時系列で連続して撮像するＣＣＤ等の固体撮像素子や、ＣＭＯＳイメージセンサ等の撮像素子（図示せず）と、撮像素子から出力される画像をデジタルデータに変換して濃淡画像データ（以下、単に「画像データ」と称する）を生成し、そのＹＵＶ信号を出力するＡ／Ｄ変換器とで構成されている。尚、一般的なＣＭＯＳカメラのようにデバイス自体がデジタル信号を出力するものであれば前記のＡ／Ｄ変換器を設けなくてもよい。このような撮像手段１０は、広範囲に亘って人体の検知が行えるように、図２（ａ）に示すように住宅の壁面等において人体の頭上に位置する程度の高さ（例えば、地面Ｅから２ｍの高さ）に設置される。
【００１５】
高さ検出手段１１は、図２（ａ）に示すように、カメラ装置Ａの設置位置の高さ（撮像手段１０の地面Ｅからの高さ）Ｈを検出するためのものである。この高さ検出手段１１は、カメラ装置Ａの下面に設けられて、カメラ装置Ａの下面の地面Ｅからの高さｈを検出するように構成されており、検出した高さｈに、カメラ装置Ａの撮像手段１０の位置による補正を加えることによって、カメラ装置Ａの設置位置の高さＨを得るように構成されている。
【００１６】
このような高さ検出手段１１としては、例えば、赤外線発光ダイオード（ＬＥＤ）等の光源と、２分割フォトダイオードや４分割フォトダイオードやＰＳＤ（Position Sensitive Detector）等の受光素子とを用いた測距センサを用いて実現することができる。尚、このような測距センサは、従来周知のものを用いることができるから、詳細な説明は省略する。
【００１７】
俯角検出手段１２は、図２（ａ）に示すように、撮像手段１０の撮像方向Ｓの俯角θを検出するためのものであり、例えば、回転角度に対応する数のパルスを発生するロータリエンコーダや、発光ダイオード（ＬＥＤ）等の光源とフォトダイオードアレイ等の受光素子を用いてなる角度センサ等を用いて実現することができる。尚、このような角度センサは、従来周知のものを用いることができるから、詳細な説明は省略する。
【００１８】
出力データ変換手段１３は、撮像手段１０から出力されたＹＵＶ信号からなる画像データをＮＴＳＣ（National TV Standards Committee）信号からなる画像データに変換するＹＵＶ／ＮＴＳＣ変換機能を有するものである。
【００１９】
画像処理手段１４は、撮像手段１０により得られた画像情報に基づいて所定領域内の人の検出を行うためのものであって、撮像手段１０で撮像した画像から輪郭を抽出する輪郭抽出手段１４ａと、該輪郭抽出手段１４ａで抽出した輪郭から（輪郭の時間的な変化を元にして）移動体の輪郭を抽出する移動輪郭抽出手段１４ｂと、該移動輪郭抽出手段１４ｂで抽出した輪郭に外接する矩形状の領域からなる移動領域を抽出する移動領域抽出手段１４ｃと、画像上の移動領域の大きさ及び最下端の位置を検出する領域特徴量検出手段１４ｄと、領域特徴量検出手段１４ｄ、高さ検出手段１１、及び俯角検出手段１２の各検出出力を元にして人体検出を行う人体検出手段１４ｅとを備えている。
【００２０】
輪郭抽出手段１４ａは、撮像手段１０から得られる濃淡画像データを、一般的に知られたＳＯＢＥＬフィルタ等を使用して微分処理して輪郭（エッジ）の抽出を行い、各画像の輪郭画像を輪郭画像記憶手段１５に一定期間保存するものである。
【００２１】
移動輪郭抽出手段１４ｂは、輪郭画像記憶手段１５に保存された時系列の輪郭画像を用いて論理合成を行い、移動体の輪郭のみを抽出した合成画像を作成するものである。
【００２２】
移動領域抽出手段１４ｃは、移動輪郭抽出手段１４ｂで作成した合成画像をラベリングして移動体に相当する領域（以下、「移動領域」と称する）を検出するものであり、本実施形態では、移動領域を、移動体の輪郭に外接する矩形状（四角形）の領域（移動枠）で表わすように構成されている。このようにすれば、データ量が減って計算が容易となるため、フレーム差分等とは異なり残像がなく移動した領域のエッジのみを抽出することができるようになる。
【００２３】
領域特徴量検出手段１４ｄは、移動領域抽出手段１４ｃで検出した移動領域の大きさ（例えば、移動領域の面積である総画素数）と、移動領域の最下端の位置（例えば、移動領域の最下端の画素の縦座標）とを、移動領域の領域特徴量として検出するように構成されている。
【００２４】
人体検出手段１４ｅは、領域特徴量検出手段１４ｄで検出した移動領域の最下端の位置と、高さ検出手段１１で検出した高さＨと、俯角検出手段１２で検出した俯角θとを元にして撮像手段１０から移動領域に対応する移動体までの実空間上の距離を算出する第１過程と、第１過程で算出した距離と画像上の移動領域の大きさとを元にして実空間上の移動領域の大きさ（すなわち、移動領域に対応する移動体の実際の大きさに相当する値）を算出する第２過程と、第２過程で算出した実空間上の移動領域の大きさに基づいて人体検出を行い、人体を検出した際には、人体検出信号を信号処理手段１６へ出力する第３過程とを有している。
【００２５】
以下に、人体検出手段１４ｅについて図２（ａ），（ｂ）を参照してさらに詳しく説明する。尚、以下の説明では、画像処理手段１４の輪郭抽出手段１４ａ、移動輪郭抽出手段１４ｂ、及び移動領域抽出手段１４ｃにより、図２（ｂ）に示すような移動体Ｍ１，Ｍ２にそれぞれ相当する移動領域Ｆ１，Ｆ２が抽出された移動領域画像が得られているとする。また尚、領域特徴量検出手段１４ｄにより各移動領域Ｆ１，Ｆ２の大きさ及び最下端の位置が検出されており、移動領域Ｆ１の大きさ（総画素数）がｍ１、移動領域Ｆ１の最下端の位置がＶ１、移動領域Ｆ２の大きさ（総画素数）がｍ２、移動領域Ｆ２の最下端の位置がＶ２であるとする。
【００２６】
まず、人体検出手段１４ｅの第１過程では、図２（ａ）に示すように、実空間上における移動領域Ｆ１，Ｆ２の最下端の位置（すなわち、移動領域Ｆ１，Ｆ２に対応する移動体Ｍ１，Ｍ２と地面Ｅとの接地点）Ｒ１，Ｒ２と、撮像手段１０とを結ぶ直線Ｐ１，Ｐ２と水平方向との間の角度θ１，θ２が算出される。
【００２７】
ここで、画像上の任意の画素の縦座標をＶ、画像上の下端縁の画素の縦方向の座標を０、上端縁の画素の縦方向の座標を２Ｖｃとすれば、実空間上における移動領域の最下端の位置と、撮像手段１０とを結ぶ直線と水平方向との間の角度は、θ＋φ＊（（Ｖｃ−Ｖ）／２Ｖｃ）で与えられる（但し、φは撮像手段１０の画角）。
【００２８】
したがって、上述の角度θ１，θ２は、俯角検出手段１２で検出した俯角θと、画像上の移動領域の最下端の位置Ｖ１，Ｖ２とを用いて算出できる。
【００２９】
次の第２過程では、第１過程で算出した角度θ１，θ２と、高さ検出手段１１により得られる高さＨとを用いて三角測距を行うことで、実空間上の移動領域Ｆ１，Ｆ２の最下端の位置Ｒ１，Ｒ２と撮像手段１０との水平面内における距離Ｌ１，Ｌ２が算出される。このような距離Ｌ１，Ｌ２は、第１過程で算出した角度θ１，θ２の正接が、それぞれＨ／Ｌ１、Ｈ／Ｌ２であることを利用して算出することができる。尚、本実施形態では、距離Ｌ１，Ｌ２を求めているが、このような距離Ｌ１，Ｌ２の代わりに直線Ｐ１，Ｐ２の長さを求めるようにしてもよく、直線Ｐ１，Ｐ２の長さは、角度θ１，θ２の正弦を利用して求めることができる。
【００３０】
さらに第２過程では、上述したように算出した距離Ｌ１，Ｌ２と、画像上の移動領域Ｆ１，Ｆ２の大きさとを元に、実空間上の移動領域Ｆ１，Ｆ２の大きさ（すなわち、移動領域Ｆ１，Ｆ２にそれぞれ対応する移動体Ｍ１，Ｍ２の実際の大きさに相当する値）が算出される。ここで、実空間上の移動領域Ｆ１，Ｆ２の大きさを求める際には、例えば、撮像手段１０からの距離と実空間上における画素１つの大きさとの関係を示すデータベース等を用いている。
【００３１】
最後の第３過程では、第２過程で算出した実空間上の移動領域Ｆ１，Ｆ２の大きさに基づいて人体検出を行い、人体を検出した際には、人体検出信号を信号処理手段１６へ出力するようになっている。ここで、移動領域Ｆ１，Ｆ２が人体であるか否かは、移動領域Ｆ１，Ｆ２の大きさが、所定の範囲内に収まっているかによって判断される。すなわち、実際の人間の大きさを判断基準として用い、人間の大きさよりも小さい、又は大きいものであれば、移動領域Ｆ１，Ｆ２人間ではないと判断するのである。尚、判断基準としては、人間の身長や、横幅等、様々なものを用いるようにしてもよく、状況に応じて好適なものを採用すればよい。
【００３２】
輪郭画像記憶手段１５は、例えば、ＲＡＭ等の記憶装置であって、輪郭抽出手段１４ａで抽出されたエッジ画像を一定期間保存するために用いられる。
【００３３】
信号処理手段１６は、ＣＰＵ等で構成されるもので、人体検出装置１の各手段の動作を制御する機能をソフトウェア等により実現しており、この信号処理手段１６には、報知手段２が接続されている。そして、この信号処理手段１６では、画像処理手段１４の人体検出信号を受け取った際（つまりは、人の存在を検出した際）に、伝送手段１７に伝送開始信号を出力するとともに、報知手段２に報知開始信号を出力するように構成されている。
【００３４】
また、信号処理手段１６は、人体検出信号を受け取ってから所定時間が経過した後に、伝送手段１７に伝送終了信号を出力するように構成されている。さらに、信号処理手段１６は、人体検出信号を受け取ってから所定時間が経過した後に、報知手段２に報知終了信号を出力するように構成されている。尚、伝送終了信号及び報知終了信号を出力するタイミングは、使用者が自由に設定できるようにしてもよい。
【００３５】
伝送手段１７は、出力データ変換手段１３から出力されるＮＴＳＣ信号を伝送用の信号に変調してドアホン親機Ｂへ出力するものであり、信号処理手段１６から伝送開始信号を受け取った際に伝送を開始し、伝送終了信号を受け取った際に伝送を終了するように構成されている。尚、伝送手段１７からドアホン親機Ｂへの画像データの伝送のタイミングは、撮像手段１０の撮像のタイミングと同期させている。
【００３６】
報知手段２は、侵入者に対して威嚇用の報知を行うためのものであって、視覚的な威嚇に用いられるライト２ａや、聴覚的な威嚇に用いられる電気音響変換器（ブザーやスピーカ）等を備えており、信号処理手段１６から報知開始信号を受け取ってから報知終了信号を受け取るまでの間、ライト２ａを点灯したり、電気音響変換器から音声を出力したりするように構成されている。
【００３７】
以上によりカメラ装置Ａは構成されており、以下に、カメラ装置Ａの動作について説明する。
【００３８】
カメラ装置Ａは、起動している間は、常時、撮像手段１０により所定領域を撮像しており、撮像手段１０により得られた画像データは、画像処理手段１４に送られる一方、出力データ変換手段１３を経由して伝送手段１７に送られる。画像処理手段１４に送られた画像には、上述したように画像処理手段１４による解析処理が為され、人を検出した際には、人体検出信号が画像処理手段１４から信号処理手段１６へ出力される。人体検出信号を受け取った信号処理手段１６は、伝送手段１７に伝送開始信号を出力するとともに、報知手段２に報知開始信号を出力する。これにより報知手段２では、侵入者に対する威嚇用の報知が行われる。この報知は、例えば、信号処理手段１６から報知終了信号を受け取るまで継続される。一方、伝送開始信号を受け取った伝送手段１７では、出力データ変換手段１３によりＹＵＶ信号からＮＴＳＣ信号に変換された画像データを伝送用に変調して、ドアホン親機Ｂへ順次伝送される。この伝送は、信号処理手段１６からは伝送終了信号が出力されるまで継続される。
【００３９】
以上述べた本実施形態の人体検出装置１によれば、撮像手段１０の設置位置の高さＨを検出する高さ検出手段１１と、撮像手段１０の撮像方向Ｓの俯角θを検出する俯角検出手段１２とを備え、撮像手段１０から移動領域までの実空間上の距離を、高さ検出手段１１で検出した高さＨと俯角検出手段１２で検出した俯角θとを元にして算出して、算出した距離と画像上の移動領域の大きさとを元にして実空間上の移動領域の大きさを算出するようにしているので、上記の従来例（特許文献２）のように画像の下端縁から移動領域までの距離を撮像手段と移動領域に対応する移動体との距離を反映した値に変換するためのデータテーブルを用いなくて済み、これにより撮像手段１０の設置位置の自由度を向上できるとともに、設置作業を容易に行えるようになるという効果を奏する。しかも、人体検出装置１によれば、高さ検出手段１１及び俯角検出手段１２を備えていることにより撮像手段１０から移動領域までの実空間上の距離を正確に算出することができるから、人体検出の検出精度を向上できるという効果を奏する。
【００４０】
尚、本実施形態の人体検出装置１は、地面Ｅが平坦な面であると想定しているものであるが、地面Ｅが傾斜面である場合は、地面Ｅの傾斜角度が与えられれば、同様に人体体検出を行うことができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の人体検出装置のブロック構成示す説明図である。
【図２】（ａ）は、本発明の人体検出装置の設置状況を示す説明図であり、（ｂ）は、人体検出装置の撮像手段により得られる画像の一例を示す概略説明図である。
【図３】本発明の人体検出装置の設置状況を示す説明図である。
【符号の説明】
【００４２】
１    人体検出装置
１０  撮像手段
１１  高さ検出手段
１２  俯角検出手段
１４ｂ  移動輪郭抽出手段
１４ｃ  移動領域抽出手段
１４ｄ  領域特徴量検出手段
１４ｅ  人体検出手段
【図１】
2008099016.tif 000003
【図２】
2008099016.tif 000004
【図３】
2008099016.tif 000005