(57)【要約】【課題】人物とステレオカメラとの距離が大きい場合の誤差を低減できる人物検出方法を提供する。【解決手段】ステップＳ１においては、人物の各点に対して、視差の計測を行う。ステップＳ２においては、得られた視差画像から、各点について、ステレオカメラと人物との距離であるステレオ距離を算出する。ステップＳ３においては、ステレオ距離を用いて、世界座標系における上記の人物表面上の全ての点の座標を算出する。ステップＳ４においては、Ｚ軸方向の投影即ち点の個数の加算を行う。ステップＳ５においては、ウィンドウの大きさを求める。ステップＳ６においては、ウィンドウ内において点の個数の特徴量を求める。ステップＳ７においては、特徴量を用いて人物が存在するかどうかを判定する。【選択図】図２
2006236025.tif 000002
【特許請求の範囲】
【請求項１】
人物をステレオカメラを用いて検出する人物検出方法であって、
前記ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の点と前記ステレオカメラとの距離であるステレオ距離を求める工程と、
前記点を前記人物の前記起立方向に加算することにより和を得る工程と、
前記ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、
前記所定の領域内において前記和に基づく特徴量を求める特徴量算出工程と、
前記特徴量に基づき前記人物を検出する人物検出工程と
を備える人物検出方法。
【請求項２】
請求項１に記載の人物検出方法であって、
前記所定の領域は矩形状であり、前記領域設定工程において、位置および大きさを定められる
人物検出方法。
【請求項３】
請求項１又は請求項２に記載の人物検出方法であって、
前記特徴量算出工程においては、実際に観測される実測特徴量と理論上で推定される推定特徴量とが求められ、
前記人物検出工程においては、前記実測特徴量と前記推定特徴量との差を所定の閾値と比較することにより前記人物が検出される
人物検出方法。
【請求項４】
請求項１乃至請求項３のいずれかに記載の人物検出方法であって、
前記特徴量は、前記和の平均値である
人物検出方法。
【請求項５】
請求項１乃至請求項３のいずれかに記載の人物検出方法であって、
前記特徴量は、前記和のばらつきである
人物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物検出方法に関し、特に、床面上に起立した人物をステレオカメラを用いて検出する技術に関する。
【背景技術】
【０００２】
従来から、ステレオカメラ等を用いて得られた画像を処理することによる人物検出が行われている。
【０００３】
例えば、特許文献１には、横断歩道上の人物をステレオカメラを用いて検出する手法が開示されている。また、特許文献２には、３次元データを特定平面に投影し、投影された面積より混雑度を計測する手法が開示されている。また、特許文献３には、ステレオ画像から３次元情報を抽出し、人物等の物体が存在する地面などの基準平面を推定し、この基準平面より上にある物体を追跡する手法が開示されている。また、非特許文献１には、複数のステレオカメラを用いて人物検出および人物追跡を行う手法が開示されている。
【０００４】
【特許文献１】特開２００２−２４９８６号公報
【特許文献２】特開２００１−３４８８３号公報
【特許文献３】特開２０００−１１５８１０号公報
【非特許文献１】依田  育士、他１名、”ユビキタスステレオビジョンによる実時間実環境ヒューマンセンシング”、［online］、平成１５年６月１３日、画像センシング技術研究会、［平成１６年１月９日検索］、インターネット＜ＵＲＬ： http://www.media.eng.hokudai.ac.jp/~liuxj/bak/pdf/F-19.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ステレオカメラを用いて得られた画像を処理する場合には、計測される人物とステレオカメラとの距離が大きくなると、誤差が大きくなってしまうという問題点があった。
【０００６】
本発明は以上の問題点を解決するためになされたものであり、人物とステレオカメラとの距離が大きい場合の誤差を低減できる人物検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る人物検出方法は、人物をステレオカメラを用いて検出する人物検出方法であって、ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の点とステレオカメラとの距離であるステレオ距離を求める工程と、点を人物の起立方向に加算することにより和を得る工程と、ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、所定の領域内において和に基づく特徴量を求める特徴量算出工程と、特徴量に基づき人物を検出する人物検出工程とを備える。
【発明の効果】
【０００８】
本発明に係る人物検出方法は、人物をステレオカメラを用いて検出する人物検出方法であって、ステレオカメラから得られる画像情報を処理することにより床面上に起立した人物の表面上の点とステレオカメラとの距離であるステレオ距離を求める工程と、点を人物の起立方向に加算することにより和を得る工程と、ステレオ距離に基づく大きさを有する所定の領域を定める領域設定工程と、所定の領域内において和に基づく特徴量を求める特徴量算出工程と、特徴量に基づき人物を検出する人物検出工程とを備えるので、ステレオ距離による誤差を低減できる。従って、ヒストグラム上に安定したピークを得ることができるので、精度をより高めることができる。また、ステレオ距離による誤差を低減できることにより、ステレオカメラを設置するときに、人物との距離を考慮する必要がなくなるので、ステレオカメラの設置場所に関する制限を緩和することができる。
【発明を実施するための最良の形態】
【０００９】
＜実施の形態１＞
実施の形態１に係る人物検出方法においては、起立した人物は基準平面（以下では床面とも呼ぶ）に対して垂直方向に長い棒状の物体であると仮定できることに着目し、人物表面上の点を床面に投影しその点の個数のヒストグラムを作成する。また、ステレオカメラからの距離が大きい点ほど視差に対する誤差が大きくなることを考慮し、ステレオカメラからの距離に基づく大きさを与えられた所定の領域（ウィンドウ）において、ヒストグラム値の平均値またはばらつき等からなる特徴量を求め、この特徴量を用いて人物を検出することを特徴とする。
【００１０】
図１において、ステレオカメラ１０は、ベースラインＤだけ離れたカメラ１０Ｌおよびカメラ１０Ｒを有し、床面３０上に起立した人物４０の身長よりも高い高さＢを有する位置に固定されている。また、ステレオカメラ１０には、ステレオカメラ１０から得られる画像情報を処理するコンピュータ２０が接続されている。
【００１１】
次に、図２のフローチャートを用いて、本実施の形態に係る人物検出方法を説明する。
【００１２】
まず、ステップＳ１において、コンピュータ２０は、ステレオカメラ１０から得られる画像情報に基づき、人物４０表面上の点に対して、視差ｄの計測を行う。ここで、点とは、三次元空間を所定の解像度に基づき分割した場合の計測の最小単位のことである。また、この視差ｄは、人物４０表面上の全ての点（人物４０の表面のうち影で計測できない点や黒塗り部分等の画像情報の存在しない点を除く）において、計測される。これにより、コンピュータ２０は、人物４０について、解像度に等しい分解能を有する視差画像すなわち密な視差画像を得る。この視差画像は、カメラ１０Ｌ，１０Ｒに対応した二枚の画像から計算により得られる一枚の画像である。
【００１３】
次に、ステップＳ２において、コンピュータ２０は、得られた視差画像から、各点において、ステレオカメラ１０と人物４０との距離であるステレオ距離を算出する。
【００１４】
なお、算出されたこのステレオ距離と、人物４０の実身長Ｈとからは、図１に示されるような立体視画像４５が得られる。ここで、人物４０の実身長Ｈは、既存の手法により観測してもよく、または一般的な平均値（日本人であれば約１６４ｃｍ）を用いてもよい。この立体視画像４５から、人物４０の画像上の身長である画像身長ｈが得られる。
【００１５】
次に、ステップＳ３において、コンピュータ２０は、算出された各点のステレオ距離を用いて、世界座標系における上記の人物４０表面上の全ての点の座標を算出する。図１においては、この世界座標系は、ＸＹＺ座標系として示されている。図１において、床面３０はＸＹ平面に対応し、ベースラインＤはＹ軸に平行であり、ステレオカメラ１０から見て奥行方向がＸ軸に一致し、人物４０はＺ軸方向に起立している。
【００１６】
次に、ステップＳ４において、コンピュータ２０は、上記の人物４０表面上の全ての点（以下では、これらの点を任意の点Ｐで代表させ説明を行う）を、床面３０上すなわちＸＹ平面上に投影することによりヒストグラムを作成する。具体的には、図３に示すように、床面３０を、ヒストグラムを作成する単位となる領域であるビン５０（図３においては、点線で囲まれた矩形）に分割し、全てのビン５０上の全てのＺ座標において、それぞれ、点Ｐが存在するかどうか（すなわち、任意のビン５０の任意のＺ座標において、人物４０表面が計測されるかどうか）を確認する。そして、確認された点Ｐの個数をビン５０毎にＺ軸方向に加算する。これにより、加算された点Ｐの個数が比較的に多いビン５０においては、人物４０（の表面）が存在していると判断することができる。即ち、投影される点Ｐの個数のヒストグラムのピークから人物４０の位置を求めることができる。
【００１７】
このとき、上述したように、ステレオ距離が大きくなるほど、算出される点Ｐの座標の誤差は大きくなる。図４に、ステレオ距離と点Ｐの座標の誤差との関係を示す。視差ｄの誤差Δｄに対する点Ｐの誤差は、矩形６０の各辺の長さで表され、ステレオ距離が大きくなるほど大きくなる。
【００１８】
そこで、上記の誤差の影響を低減するために、本発明においては、以下に説明するように、点Ｐの座標に、誤差に対応させて、ステレオ距離に基づく広がりを与える。
【００１９】
図３に示すように、点Ｐの広がり７０は、ステレオカメラ１０からの距離に基づく長さσcx，σcyを有する辺からなる矩形で表される。このσcx，σcyは、図４における矩形６０各辺の長さにそれぞれ対応している。すなわち、広がり７０は、ステレオ距離が大きい場合には大きく、ステレオ距離が小さい場合には小さい。
【００２０】
ステップＳ５においては、図４におけるステレオカメラ１０と矩形６０との幾何関係（即ち、ステレオカメラ１０と広がり７０との幾何関係）から導かれる以下の式（１），（２）を用いることによりσcx，σcyを算出する。
【００２１】
σcx＝ξσd／ｄ2・・・（１）
σcy＝Ｄσd／ｄ・・・（２）
【００２２】
ここで、ξは、ξ＝ｄｚ（ｚは点ＰのＺ座標）を満たす定数であり、σdは、一般的なステレオ計測における誤差標準偏差を表す定数である。また、式（１）は、ｚ＝ξ／ｄで表される式に対してｄの１次のテーラー展開を行うことにより求められる。式（１），（２）において、ステレオ距離が大きい場合には、視差ｄは小さくなるので、σcx，σcyは、いずれも大きくなる。すなわち、広がり７０は、ステレオ距離に基づき点Ｐを床面３０に平行な平面上に面として広げたものである。
【００２３】
図５には、式（１），（２）から算出されたσcx，σcyと、加算された点の個数の特徴量（例えば平均値）を求めるための矩形状の所定の領域（ウィンドウ）９０の大きさであるウィンドウサイズ（Ｘ方向の長さ＝ｗw，Ｙ方向の長さ＝ｈw）との関係が示されている。ウィンドウ９０は、例えば、その中心がヒストグラムのピークに重なるような位置に定められるとする。
【００２４】
図５に示されるように、ウィンドウサイズ（ｗw，ｈw）は、人物４０の肩幅Ｗと人物４０の胸厚ＷDと定数Ｆｑとを用いて、以下の式（３），（４）で表される。
【００２５】
ｗw＝ＦqσCX・・・（３）
Ｆqσcy＋ＷD≦ｈw≦Ｆqσcy＋Ｗ・・・（４）
【００２６】
ここで、定数Ｆqは、図５においてウィンドウ９０がヒストグラムのピークおよびその周辺領域を十分にカバーできるような値（例えば、Ｆq＝６）に定められるとする。
【００２７】
図５に示されるように人物４０がステレオカメラ１０に対して前向きで起立している場合には、ｈw＝Ｆqσcy＋Ｗとなるが、人物４０がステレオカメラ１０に対して横向きで起立している場合には、ｈw＝Ｆqσcy＋ＷDとなる。すなわち、ｈwは、式（４）に示されるように、所定の幅を有し不等式で表される。従って、ｈwとしては、これらの間の任意の値（例えば、ｈw＝Ｆqσcy＋（Ｗ＋ＷD）／２）に定めてよい。一方、ｗwは、ステレオカメラ１０とウィンドウ９０との距離のみに依存し人物４０の向きにはほとんど依存せず、式（３）に示されるように一定となる。
【００２８】
上述したように、σCXおよびσcyはステレオ距離が大きくなると大きくなるので、式（３）〜（４）で示されるウィンドウサイズ（ｗw，ｈw）も、ステレオ距離が大きくなると大きくなる。これにより、ステップＳ７において後述するように、判定の際のステレオ距離による誤差を低減することが可能となる。
【００２９】
なお、図５において、例えば、人物４０が、ステレオカメラ１０に対して横向きになることがなく且つステレオカメラ１０の光軸付近（すなわちステレオカメラ１０の正面付近）でのみ観測されるとすると、式（４）におけるσcyは無視できるので、ｈw＝Ｗ（日本人であれば約４２．５ｃｍ）と近似してもよい。
【００３０】
次に、ステップＳ６において、ステップＳ４〜５でそれぞれ位置および大きさ（ウィンドウサイズ）が定められたウィンドウ９０内において、加算された点の個数（ヒストグラム値）について、実際に観測される平均値（実測平均値）および理論上で推定（期待）される平均値（推定平均値）のそれぞれを求める。そして、ステップＳ７において、実測平均値と推定平均値とを比較することにより、ウィンドウ９０内に人物４０が存在するかどうかを判定する。以下では、図６を用いて、この判定手法について説明する。
【００３１】
図６（ａ）においては、簡単のために、人物４０を、ヒストグラムのピークを通りＹＺ平面に平行な平面９２と仮定する。この平面９２は、高さＨおよび幅ｗwを有する。また、図６（ｂ）に示されるように、この平面９２は、ステレオカメラ１０へ投影されることにより、高さｎ［ｐｉｘｅｌ］および幅ｍ［ｐｉｘｅｌ］を有する画像９４が生成される。図６においては、ｎ＝６，ｍ＝４，ｗw＝３ξyである場合について示されている（なお、ビン５０のＸ方向およびＹ方向の長さをそれぞれξxおよびξyとしている）。
【００３２】
画像９４に含まれる（ｎ×ｍ）個の点は、計測誤差（例えば人物４０と背景との色が同一である場合等に発生する）およびステレオカメラ１０の画面上におけるランダムノイズが無視できれば、全てＸＹ平面上に投影されヒストグラムに反映されるはずである。すなわち、真のヒストグラム値ｋは、以下の式（５）で表される。
【００３３】
ｋ＝ｍ×ｎ・・・（５）
【００３４】
しかし、実際には、計測誤差およびノイズにより、投票値は変動する。従って、観測が成功する確率すなわち計測精度ρ（例えば、０．５とする）およびノイズに起因する投票値の変動ν（例えば、１とする）を用いると、投票値ｋ’＝ｋ×ρ＋ν＝６×４×０．５＋１＝１３となる。上述したように、平面９２は、幅ｗw＝３ξyを有するので、この投票値が幅ｗw＝３ξyに分散してＸＹ平面に投影されると考えると、ウィンドウ９０内において１個のビン５０あたり観測されることが推定される推定ヒストグラム値の平均値すなわち推定平均値μkは、以下の式（６）で表される。
【００３５】
μk＝ｋ’／（ｗw／ξy）＝１３／３≒４．３・・・（６）
【００３６】
このようにして求められた推定平均値μkを、実際の観測により求められた実測平均値Ａkと比較することにより、ステップＳ７において、ウィンドウ９０内に人物４０が存在するかどうかを判定することができる。具体的には、推定平均値μkと実測平均値Ａkとの差が、予め定められた閾値より小さい場合には（すなわち、実測平均値Ａkが推定平均値μkを中心とした所定の範囲内にある場合には）、ウィンドウ９０内に人物４０が存在すると判定する。
【００３７】
次に、ステップＳ８において、全ての点ＰについてステップＳ５〜Ｓ７が実行されたかどうかを確認する。実行されていない場合にはステップＳ５に進み、実行された場合には一連の処理が終了する。
【００３８】
上述の説明においては、ウィンドウ９０内のヒストグラム値の平均値を用いて、ウィンドウ９０内に人物４０が存在するかどうかを判定する場合について説明したが、判定は、ウィンドウ９０内のヒストグラム値の平均値に限らず、例えばウィンドウ９０内のヒストグラム値のばらつき（分散または標準偏差）を用いて行ってもよい。以下、図５，７を用いて、ステップＳ６〜Ｓ７において、平均値に代えてばらつきを用いた判定手法について説明する。
【００３９】
図５に太線で示される線分９６は、その長さをＦqＬとすると、以下の式（７）で表される。
【００４０】
【数１】
2006236025.tif 000003
【００４１】
ここで、視差ｄには、真の視差を中心として分散σd2を有する正規分布で表される計測誤差が加わっていると仮定できる。図７（ａ）に示されるように、この観測点をヒストグラムとしてＸＹ平面上に投影すると、投影後のヒストグラム値は、線分９６上で人物４０の重心Ｐ’を中心として（−ＦqＬ／２）〜（ＦqＬ／２）の範囲に分布する。なお、図７（ａ）においては、この分布を、平均値０を有する正規分布Ｎ（０，σd2）で表している。
【００４２】
図７（ｂ）には、図７に示される正規分布Ｎ（０，σd2）を累積（積分）することにより得られた累積確率分布Ｐ（ｘ，σd2）が示されている。なお、図７（ａ）と図７（ｂ）とは、定性的な特性を示すためのものであるので、これらの縦軸の比は変えている。図７（ｂ）を用いることにより、ウィンドウ９０内のヒストグラム値の分散（すなわち線分９６に沿ったヒストグラム値の分散）を求めることが可能となる。線分９６に沿ったビン５０の個数Ｊ＝ｗw／ξxであり、１個のビン５０あたりの線分９６の長さ（すなわち１個のビン５０内に含まれる線分９６の部分の長さ）ξL＝ＦqＬ／Ｊである。このとき、線分９６の端点から数えてｉ番目のビン５０における推定ヒストグラム値ｋiは、真のヒストグラム値ｋおよび計測精度ρを用いて、以下の式（８）で表される。
【００４３】
【数２】
2006236025.tif 000004
【００４４】
なお、図７においては、Ｊ＝６およびｉ＝２である場合について、推定ヒストグラム値ｋiが示されている。
【００４５】
式（８）で表される推定ヒストグラム値ｋiの期待値は、式（６）から求められる推定平均値μkに等しい。従って、計測誤差に起因したウィンドウ９０内における推定ヒストグラム値ｋiのばらつきを表す推定計測分散値σkd2は、以下の式（９）で表される。
【００４６】
【数３】
2006236025.tif 000005
【００４７】
また、上記の推定計測分散値σkd2とは別に、ステレオカメラ１０の画面上におけるランダムノイズに起因して、ヒストグラム値がばらつく。このばらつきを二項分布と仮定することにより、既存の手法を用いて、推定ノイズ標準偏差ζが求めることができる。推定計測分散値σkd2と推定ノイズ標準偏差ζkとは独立であるので、推定されるヒストグラム値のばらつきの合計を表す推定標準偏差σk＝σkd＋ζkで表される。
【００４８】
このようにして求められた推定標準偏差σkを、実際の観測により求められた実測標準偏差Ｓkと比較することにより、ステップＳ７において、ウィンドウ９０内に人物４０が存在するかどうかを判定することができる。具体的には、推定標準偏差σkと実測標準偏差Ｓkとの差が、予め定められた閾値より小さい場合には（すなわち、実測標準偏差Ｓkが推定標準偏差σkを中心とした所定の範囲内にある場合には）、ウィンドウ９０内に人物４０が存在すると判定する。
【００４９】
このように、本実施の形態に係る人物検出方法においては、ステレオ距離に基づく広がりを与えられた所定の領域（ウィンドウ）において、ヒストグラム値の平均値またはばらつき等からなる特徴量を用いて人物が存在するかどうかを判定するので、ステレオ距離による誤差を低減できる。従って、ヒストグラム上に安定したピークを得ることができるので、精度をより高めることができる。また、ステレオ距離による誤差を低減できることにより、ステレオカメラ１０を設置するときに、人物４０との距離を考慮する必要がなくなるので、ステレオカメラ１０の設置場所に関する制限を緩和することができる。
【００５０】
また、実際に観測される実測特徴量と理論上で推定される推定特徴量との差を所定の閾値と比較する手法を用いることにより、人物の検出を容易に行うことが可能となる。
【００５１】
なお、上述においては、特徴量としてヒストグラム値の平均値またはばらつきを用いた場合について説明したが、ヒストグラム値の平均値またはばらつきに限らず、点を加算することにより得られた和（ヒストグラム値）に基づきウィンドウ内において求められる特徴量であればよい。
【００５２】
また、上述においては、実測特徴量と推定特徴量との差を所定の閾値と比較する手法を用いて人物を検出する場合について説明したが、このような手法に限らず、例えば、実測特徴量のみを用いて人物を検出してもよい。
【図面の簡単な説明】
【００５３】
【図１】実施の形態１に係る人物検出方法を示す斜視図である。
【図２】実施の形態１に係る人物検出方法を示すフローチャートである。
【図３】実施の形態１に係る人物検出方法を示す上面図である。
【図４】実施の形態１に係る人物検出方法を示す上面図である。
【図５】実施の形態１に係る人物検出方法を示す上面図である。
【図６】実施の形態１に係る人物検出方法を示す斜視図である。
【図７】実施の形態１に係る人物検出方法を示すグラフである。
【符号の説明】
【００５４】
１０  ステレオカメラ、１０Ｌ，１０Ｒ  カメラ、２０  コンピュータ、３０  床面、４０  人物、４５  立体視画像、５０  ビン、６０  矩形、７０  広がり、９０  ウィンドウ、９２  平面、９４  画像、９６  線分、Ｂ  高さ、ｄ  視差、Ｄ  ベースライン、ｈ  画像身長、Ｈ  実身長（高さ）、Ｐ  点。
【図１】
2006236025.tif 000006
【図２】
2006236025.tif 000007
【図３】
2006236025.tif 000008
【図４】
2006236025.tif 000009
【図５】
2006236025.tif 000010
【図６】
2006236025.tif 000011
【図７】
2006236025.tif 000012