(57)【特許請求の範囲】
【請求項１】
複数のカメラを搭載した撮像装置により所定の検知空間内に存在する人体を撮像し、ステレオ画像処理で撮像されている人体全体の距離分布を計測し、前記人体全体の距離分布の計測データと前記複数のカメラの位置データとから人体全体の３次元座標を算出し、前記人体全体の３次元座標算出データから人体の頭頂点を求め、この頭頂点より下に胸部があると仮定し、前記人体全体の３次元座標算出データの中で胸部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において頭部を中心にして所定の距離内で最遠点を示す２点を人体の両肩部とし、この両肩部を示す３次元座標算出データを逆投影処理で求めることを特徴とする人体端点検出方法。
【請求項２】
前記人体の膝部が床面より上にあると仮定し、前記人体全体の３次元座標算出データの中で膝部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において重心座標を算出し、重心座標から最遠点１点とこの最遠点の周囲を除く重心座標からの最遠点１点の合計２点を人体の両手部とし、この両手部を示す３次元座標算出データを逆投影処理で求めることを特徴とする請求項１に記載の人体端点検出方法。
【請求項３】
所定の検知空間を撮像するための複数のカメラからなる撮像手段と、前記複数のカメラから得られた画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測する距離計測手段と、この距離計測手段で計測された距離分布と予め定められた前記複数のカメラの位置データとから人体全体の３次元座標を算出する人体３次元座標算出手段と、この人体３次元座標算出手段で算出された人体全体の３次元座標から人体の端点を出力する人体端点出力手段と、を有し、前記人体全体の３次元座標算出データから人体の頭頂点を求め、この頭頂点より下に胸部があると仮定し、前記人体全体の３次元座標算出データの中で胸部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において頭部を中心にして所定の距離内で最遠点を示す２点を人体の両肩部とし、この両肩部を示す３次元座標算出データを逆投影処理で求めることを特徴とする人体端点検出装置。
【請求項４】
前記人体の膝部が床面より上にあると仮定し、前記人体全体の３次元座標算出データの中で膝部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において重心座標を算出し、重心座標から最遠点１点とこの最遠点の周囲を除く重心座標からの最遠点１点の合計２点を人体の両手部とし、この両手部を示す３次元座標算出データを逆投影処理で求めることを特徴とする請求項３に記載の人体端点検出装置。
【請求項５】
前記複数のカメラから得られた画像の歪みを補正する歪み補正手段を有し、この歪み補正手段により補正された画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測することを特徴とする請求項４に記載の人体端点検出装置。
【請求項６】
前記複数のカメラから得られた画像の歪みを補正する歪み補正手段と、装置起動時に得られた画像に対して歪み補正した画像を基準画像として記憶する基準画像記憶手段と、この基準画像記憶手段に記憶されている画像と装置起動時以降に得られた画像に対して歪み補正した画像とを比較して画像変化を算出する画像変化算出手段と、を有し、前記歪み補正手段により補正された画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測するとともに、前記画像変化算出手段から得られた画像変化算出結果と前記人体端点出力手段から得られた端点座標結果とから端点座標を画像変化領域に修正することを特徴とする請求項４に記載の人体端点検出装置。
【請求項７】
前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の頭部を検出する頭部検出手段と、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の両肩部を検出する両肩部検出手段と、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の両手部を検出する両手部検出手段と、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の両足部を検出する両足部検出手段とを設けたことを特徴とする請求項４〜６のいずれかに記載の人体端点検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理により、所定の検知空間内に存在する人体の頭部、両肩部、両手部、両足部などを検出する人体端点検出方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、この種の人体端点検出方法は、マーカやセンサなどを人体の検出対象の部位に装着し、画像処理でマーカを検出し、または検知器でセンサ位置を検出することで、頭、手、足といった所望の人体部位を検出していた。なお、被験者にマーカを装着して検出する方法は、図８に示すとおりである。すなわち、図８（ａ）に示すように、被験者の頭部に赤のマーク201、両手に青のマーク202、203、両肩に黄色のマーク204、205、両足に緑のマーク206、207を装着する。次いで、図８（ｂ）に示すように、前記被験者を１式の計測用カラーカメラ208で撮像し、前述の４色（赤、青、黄、緑）を識別できる画像処理装置209で各色を検出する。こうして各部位を検出することが可能となる。
【０００３】
一方、ステレオ画像処理を用い、撮像された画像から検知空間内の物体を検出する物体検出方法及び装置に関する技術が開示されている。この種の物体検出装置は、カメラなどの撮像手段で得られた複数の画像を用い、ステレオ画像処理により物体までの距離分布を計測する距離計測手段と、この距離計測手段で計測された前記物体までの距離分布データから、検知空間内の物体を検出する物体検知手段と、検出された物体情報を補正する検出結果補正手段とを備え、ステレオ画像処理で距離分布が正しく計測されなかった場合でも、検知空間内の物体を検出可能とするものであった（特開2000-261787号公報）。
【０００４】
【発明が解決しようとする課題】
しかし、このような従来の人体端点検出方法では、被験者がマーカを装着する必要があるために、長時間の計測には苦痛を伴うという問題があった。また、被験者がマーカを装着する必要があるために、被験者の自然な動作を阻害する、あるいは色情報を利用するので計測用カメラはカラーカメラに限定されるという問題があった。
【０００５】
また、前述の特開2000-261787号公報に開示された技術では、人体（物体）の３次元座標から頭、手、足といった人体の端点を検出する手段を備えていないために、ステレオ画像処理を用いた人体端点検出装置にそのまま適用するのは難しいという問題があった。また、カメラなどの撮像手段で得られた画像に対して歪み補正を施す手段を備えていないために、ステレオ画像処理の距離計測精度を向上させ、あるいは検出率を向上させることが難しいという問題があった。
【０００６】
本発明は、このような問題を解決するためになされたもので、画像処理によって、マーカ等の接触型センサを装着していない人体の部位を検出できる人体端点検出方法及び装置を提供するものである。
【０００７】
【課題を解決するための手段】
参考として、本発明の人体端点検出方法は、複数のカメラを搭載した撮像装置により所定の検知空間内に存在する人体を撮像し、ステレオ画像処理で撮像されている人体全体の距離分布を計測し、前記人体全体の距離分布の計測データと前記複数のカメラの位置データとから人体全体の３次元座標を算出し、人体の端点を出力するようにしている。この方法により、接触型のセンサを使用しなくても距離分布から人体の端点を検出できることとなる。
【０００８】
本発明の人体端点検出方法は、複数のカメラを搭載した撮像装置により所定の検知空間内に存在する人体を撮像し、ステレオ画像処理で撮像されている人体全体の距離分布を計測し、前記人体全体の距離分布の計測データと前記複数のカメラの位置データとから人体全体の３次元座標を算出し、前記人体全体の３次元座標算出データから人体の頭頂点を求め、この頭頂点より下に胸部があると仮定し、前記人体全体の３次元座標算出データの中で胸部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において頭部を中心にして所定の距離内で最遠点を示す２点を人体の両肩部とし、この両肩部を示す３次元座標算出データを逆投影処理で求めるようにしている。この方法により、接触型のセンサを使用しなくても距離分布から人体の両肩部を精度よく検出できることとなる。
【０００９】
さらに、本発明の人体端点検出方法は、前記人体の膝部が床面より上にあると仮定し、前記人体全体の３次元座標算出データの中で膝部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において重心座標を算出し、重心座標から最遠点１点とこの最遠点の周囲を除く重心座標からの最遠点１点の合計２点を人体の両手部とし、この両手部を示す３次元座標算出データを逆投影処理で求めるようにしている。この方法により、接触型のセンサを使用しなくても距離分布から人体の両手部を精度よく検出できることとなる。
【００１０】
本発明の人体端点検出装置は、所定の検知空間を撮像するための複数のカメラからなる撮像手段と、前記複数のカメラから得られた画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測する距離計測手段と、この距離計測手段で計測された距離分布と予め定められた前記複数のカメラの位置データとから人体全体の３次元座標を算出する人体３次元座標算出手段と、この人体３次元座標算出手段で算出された人体全体の３次元座標から人体の端点を出力する人体端点出力手段と、を有し、前記人体全体の３次元座標算出データから人体の頭頂点を求め、この頭頂点より下に胸部があると仮定し、前記人体全体の３次元座標算出データの中で胸部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において頭部を中心にして所定の距離内で最遠点を示す２点を人体の両肩部とし、この両肩部を示す３次元座標算出データを逆投影処理で求める構成を有している。この構成により、接触型のセンサを使用しなくても距離分布から人体の端点を検出できることとなる。
また、本発明の人体端点検出装置は、前記人体の膝部が床面より上にあると仮定し、前記人体全体の３次元座標算出データの中で膝部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において重心座標を算出し、重心座標から最遠点１点とこの最遠点の周囲を除く重心座標からの最遠点１点の合計２点を人体の両手部とし、この両手部を示す３次元座標算出データを逆投影処理で求める構成を有している。
【００１１】
また、本発明の人体端点検出装置は、前記複数のカメラから得られた画像の歪みを補正する歪み補正手段を有し、この歪み補正手段により補正された画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測する構成を有している。この構成により、歪みのある画像に対して歪み補正をすることで、ステレオ画像処理の距離計測精度を向上させ、画像の歪みが原因で位置精度が悪化するのを回避できることとなる。
【００１２】
また、本発明の人体端点検出装置は、前記複数のカメラから得られた画像の歪みを補正する歪み補正手段と、装置起動時に得られた画像に対して歪み補正した画像を基準画像として記憶する基準画像記憶手段と、この基準画像記憶手段に記憶されている画像と装置起動時以降に得られた画像に対して歪み補正した画像とを比較して画像変化を算出する画像変化算出手段と、を有し、前記歪み補正手段により補正された画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測するとともに、前記画像変化算出手段から得られた画像変化算出結果と前記人体端点出力手段から得られた端点座標結果とから端点座標を画像変化領域に修正する構成を有している。この構成により、基準画像と順次入力される撮像画像を比較して変化のある領域上に人体の部位が検出されるように修正することで、距離計測の誤差やノイズにより誤って検出した端点を修正して精度よく端点を出力でき、人体端点の検出率が向上することとなる。
【００１３】
さらに、本発明の人体端点検出装置は、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の頭部を検出する頭部検出手段と、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の両肩部を検出する両肩部検出手段と、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の両手部を検出する両手部検出手段と、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の両足部を検出する両足部検出手段とを設けた構成を有している。この構成により、接触型のセンサを使用しなくても距離分布から人体の両肩部、両手部、両足部を精度よく検出できることとなる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
図１に示すように、本発明の第１の実施の形態の人体端点検出装置は、所定の検知空間を撮像するための複数のカメラ102、103からなる撮像手段（撮像装置）101と、複数のカメラ102、103から得られた画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測する距離計測手段112と、この距離計測手段112で計測された距離分布と予め定められた複数のカメラ102、103の位置データとから人体全体の３次元座標を算出する人体３次元座標算出手段114と、この人体３次元座標算出手段114で算出された人体全体の３次元座標から人体の端点を出力する人体端点出力手段116とを設けたものである。
【００１５】
図１において、撮像手段101は、複数のカメラ102、103を備えて所定の検知空間を撮像するものである。歪み補正手段105は、カメラ103から得られる画像に対して歪み補正を施し、歪み補正手段106は、カメラ102から得られる画像104に対して歪み補正を施すものである。基準画像記憶手段108は、装置起動時の歪み補正画像107を記憶するものである。画像変化算出手段110は、基準画像記憶手段108に記憶されている基準歪み補正画像109と、歪み補正手段106により歪み補正された画像107とを比較して画像変化を算出するものである。距離計測手段112は、歪み補正手段105、106で補正された画像を用い、ステレオ画像処理で撮像されている人体の距離分布を計測するものである。人体３次元座標算出手段114は、距離計測手段112で計測された人体の距離分布データ113と、予め定められている複数のカメラ102、103の位置データとから人体全体の３次元座標を算出するものである。人体端点出力手段116は、人体３次元情報115を用いて人体の端点を出力するものである。頭部検出手段117は、人体３次元座標算出手段114で算出された人体３次元情報115を用いて人体の頭部を検出するものである。両肩部検出手段118は、人体３次元座標算出手段114で算出された人体３次元情報115を用いて人体の両肩部を検出するものである。両足部検出手段119は、人体３次元座標算出手段114で算出された人体３次元情報115を用いて人体の両足部を検出するものである。両手部検出手段120は、人体３次元座標算出手段114で算出された人体３次元情報115を用いて人体の両手部を検出するものである。人体端点修正手段122は、画像変化算出手段110で算出された画像変化算出結果111と、頭部検出手段117と両肩部検出手段118と両足部検出手段119と両手部検出手段120で検出された端点座標結果121から人体部分に端点を修正するものである。
【００１６】
次に、本実施形態における人体端点検出方法について詳細に説明する。まず、撮像手段101は複数のカメラ102、103で所定の検知空間を撮影する。次いで、歪み補正手段104、105はカメラ102、103から得られる画像の歪みを補正する。ここで、画像の歪み（歪曲収差）は、カメラ102、103とこのカメラ102、103に装着するレンズによって決まり、歪み補正関数ＦＨで補正できる。よって、歪み補正画像Ｉｂ（ｉ，ｊ）は、歪み画像Ｉａ（ｉ，ｊ）から、
【数１】
0004101478.tif 000002
と表すことができる。この数式（１）により、カメラ102から得られる歪み画像104から、歪み補正画像107が得られる。これは、歪み補正手段106でも同様である。
【００１７】
次いで、基準画像記憶手段108では、装置起動時の人体の撮像されていない歪み補正画像107を基準歪み補正画像109として記憶し、画像変化算出手段110では、基準歪み補正画像109と起動時以降の歪み補正画像107とを比較して、画像変化のあった領域を算出する。ここで、基準歪み補正画像109をＩｃ（ｉ，ｊ）とし、起動時以降の歪み補正画像107をＩｄ（ｉ，ｊ）とすると、
【数２】
0004101478.tif 000003
を満たす時に、画素（ｉ，ｊ）が変化画素となる。ただし、ＴＨ1は輝度変化から求まる所定の閾値である。ここで、数式（２）を満たす画素では画像変化分布Ｃ（ｉ，ｊ）＝１とし、数式（２）を満たさない画素では画像変化分布Ｃ（ｉ，ｊ）＝０とする。この画素変化分布Ｃ（ｉ，ｊ）を画素変化算出結果111とする。
【００１８】
次いで、距離計測手段112では、歪み補正手段105、106から得られる歪み補正画像を用いてステレオ画像処理により、撮像されている人体までの距離分布を計測する。ここで、ステレオ画像処理を用いた距離計測方法の例として、『実吉他著、「三次元画像認識技術を用いた運転支援システム」、自動車技術学会学術講演会前刷924、pp169-172（1992-10）』に記載の方法を説明する。なお、これに限らず、他の距離計測方法を用いてもよい。
【００１９】
具体的には、カメラ102とカメラ103は、水平方向に既知の間隔で平行に設置されており、図２に示すように、カメラ102より撮影される画像を歪み補正した画像を右画像301、カメラ103により撮影される画像を歪み補正した画像を左画像とする。まず、右画像301を水平方向にｍ分割、垂直方向にｎ分割して、合計（ｍ×ｎ）個の画素302からなる部分領域303に分割する。これによって、右画像301は水平方向にＭ分割、垂直方向にＮ分割の合計（Ｍ×Ｎ）個の部分領域303に分割される。
【００２０】
次いで、右画像301の部分領域303毎に、左画像中を順次探索していき、対応する領域を決定していく。具体的には、左画像の中で右画像301の部分領域303の画像に類似する画像が存在する可能性のある探索範囲において、水平方向にｍ、垂直方向にｎの合計（ｍ×ｎ）個の画素302からなる探索矩形領域を水平方向に１画素ずつ移動させるごとに、右画像301の部分領域303の画像と左画像の探索矩形領域の画像との類似度評価値Ｂを求める。
【００２１】
この類似度評価値Ｂは、右画像301の部分領域303のｉ番目の画素における輝度値をＬi、左画像の探索矩形領域中のｉ番目の画素における輝度値をＲiとしたとき、数式（３）によって求めることができる。
【数３】
0004101478.tif 000004
その結果、類似度評価値Ｂが最小になった時の左画像における探索部分領域の位置を、右画像301の部分領域303に対応する領域（以下「対応領域」という）と判定して、右画像301の部分領域303の座標ＰＲと左画像の対応領域の座標ＰＬとのずれから、視差ｄを次に示す数式（４）によって求め、それを出力する。
【数４】
0004101478.tif 000005
以上のように、右画像301の部分領域303の対応領域を求めて視差ｄを算出する動作を、右画像301に含まれる全ての部分領域303に対して順次行うものとする。
【００２２】
次いで、右画像301の部分領域303毎に得られた視差ｄ（Ｘ，Ｙ）[但し、０≦Ｘ＜Ｍ、０≦Ｙ＜Ｎ]をもとに、カメラ102,103から撮像された人体までの光軸方向の距離分布データＫ（Ｘ，Ｙ）を、数式（５）によって部分領域303毎に求める。
【数５】
0004101478.tif 000006
但し、２ａはカメラ102とカメラ103の設置間距離を表し、ｆはカメラ102とカメラ103のレンズの焦点距離を表す。
【００２３】
次いで、人体３次元座標算出手段114では、予め床面までの距離分布Ｋ0を計測しておく。そして、距離計測手段112により計測された距離分布データＫ（Ｘ，Ｙ）と地面までの距離分布用データＫ0（Ｘ，Ｙ）を用いて、撮像されている人体の３次元データを算出する。
【００２４】
ここで、図３を参照しながら、人体３次元座標算出手段114の動作を説明する。図３（ａ）に示すように、カメラの撮像面のＸ軸と実空間のＵ軸とが平行になるようにカメラを設置し、検知空間401中に存在する人間402を撮影する。このとき、撮像面403に撮像されている人間402の距離分布データ（Ｘ，Ｙ）のＶ軸方向の位置Ｖ（Ｘ，Ｙ）を算出する。図３（ｂ）は、撮像されている人間402のＨ軸方向の位置ＨとＶ軸方向の位置Ｖを算出する手順を説明する図である。図３（ｂ）から、Ｈ軸方向の位置ＨとＶ軸方向の位置Ｖは、
【数６】
0004101478.tif 000007
【数７】
0004101478.tif 000008
として、算出できる。但し、１≦Ｘ≦Ｍ、１≦Ｙ≦Ｎ、 Ｈcamはカメラの設置高であり、θはカメラの設置俯角である。
さらに、Ｕ軸方向の位置Ｕは、Ｘ軸とＵ軸は平行なので、
【数８】
0004101478.tif 000009
として算出できる。但し、ａ及びbは使用する撮像装置（図１の１０１に相当）とその設置位置によって決定される定数である。
【００２５】
以上、数式６から数式８に示すように、距離分布データＫ（Ｘ，Ｙ）と地面までの距離分布用データＫ0（Ｘ，Ｙ）を用いて、撮像されている人体の３次元情報を算出することができる。この数式（６）から数式（８）を人体３次元情報115とする。
【００２６】
次いで、人体端点出力手段116において、はじめに頭部検出手段117に人体３次元情報115を入力する。頭部検出手段117では、人体３次元情報115を用いて人体の頭部を検出する。ここで、図４を参照しながら頭部検出手段117の動作を説明する。
【００２７】
入力された人体３次元情報115から、人体で最も高い頭頂点501を求める。この頭頂点501から床面方向へ、順次体の幅ＢＷを計測していき、次式（９）を満たす高さｈを求める。
【数９】
0004101478.tif 000010
但し、頭と手が同じ高さであった場合、大きい方を体の幅ＢＷとする。また、ＴＨ2は頭の大きさによって決定される閾値である。数式（９）を満たす値ｈのうち最も高いものをｈ_maxとし、高さｈ_maxの人体の中央点を頭位置502とする。この頭位置502の３次元座標が端点位座標結果121として出力される。
【００２８】
次いで、人体端点出力手段116において、両肩検出手段118に人体３次元情報115を入力する。両肩検出手段118では、人体３次元情報115を用いて人体の両肩部を検出する。
【００２９】
ここで、図５を参照しながら両肩検出手段118の動作を説明する。まず、入力された人体３次元情報115から、人体の中で最も高い頭頂点ＡＨ601を求める。人体の肩ＳＨの高さは頭頂点601より下にあると仮定し、人体の肩は次の数式（10）で示す領域にあるものとする。
【数１０】
0004101478.tif 000011
但し、Ｎ、Ｐは頭と肩の構造な関係から決まる定数である。人体３次元情報115から、数式（10）のＳＨの示す領域を満たす３次元情報を抽出し、その情報を床面に投影して得られる像が、図５（ａ）に示す肩投影像602である。また、頭頂点を床面に投影して得られる点が頭投影点603である。
【００３０】
次いで、肩投影像602を構成する全ての点のうち、頭投影点603を通過する２点ｕ（ｕi，ｕj）、ｖ（ｖi，ｖj）の線分の長さｄｉｓｔを次式（11）によって求める。但し、２点ｕ、ｖは各々の頭投影点603から等距離にあるものとする。
【数１１】
0004101478.tif 000012
次いで、数式（11）で求めた長さを持つ各線分ｕ、ｖのうち、次式（12）を満たすものを求める。
【数１２】
0004101478.tif 000013
但し、ＴＨ3は肩の広さから決まる定数である。数式（12）を満たすｄｉｓｔのうち最長のものをｄｉｓｔ_ｍａｘとし、その線分を構成する２点を肩投影点604とする（図５（ｂ）に示す）。この肩投影点604に投影した点を人体３次元情報115から探索して求め、その肩逆投影点605を肩位置とする。この肩位置605の３次元座標が端点座標結果121として出力される。
【００３１】
次いで、人体端点出力手段116において、両足検出手段119に人体３次元情報115を入力する。両足検出手段119では、人体３次元情報115を用いて人体の両足部を検出する。
【００３２】
ここで、図６を参照しながら両足検出手段119の動作を説明する。人体の足ＬＨは膝ＫＨの高さより下にあると仮定し、人体の足は次式（13）で示す領域にあるものとする。
【数１３】
0004101478.tif 000014
ただし、ＫＨは足の構造から決まる定数である。人体３次元情報115から、数式（13）のＬＨの示す領域を満たす３次元情報を抽出し、その情報を床面に投影して得られる像が足投影像702であり、これを二つの領域に分割する（図６（ａ）に示す）。
【００３３】
まず、任意の点Ｐ、Ｑを定め、それらと足投影像702上の全ての点（ｉ，ｊ）との距離を各々ｄｉｓｔP（ｉ，ｊ）、ｄｉｓｔQ（ｉ，ｊ）として求める。ｄｉｓｔP（ｉ，ｊ）、ｄｉｓｔQ（ｉ，ｊ）の比較を行い、小さい方に前記点（ｉ，ｊ）が属するものとする。例えば、ｄｉｓｔP（ｉ，ｊ）がｄｉｓｔQ（ｉ，ｊ）より小さいとき、投影点属性分布Ｄ（ｉ，ｊ）＝Ｐとする。投影点属性分布Ｄ（ｉ，ｊ）から、足投影像702上の全ての点（ｉ，ｊ）は、Ｐ、Ｑのいずれかに属したことになる。次いで、Ｐ、Ｑ各々に属する点（ｉ，ｊ）の重心を求め、各重心点をＰ、Ｑとふりなおす。
【００３４】
以上の、ＰＱと足投影像上の全ての点との距離を求め、投影点属性分布Ｄを求め、属性毎に重心を求めそれらをＰＱとする、という一連の処理をＰＱの位置が変化しなくなるまで続ける。変化しなくなった点を、足投影点703とする（図６（ｂ）に示す）。床面上での位置を示す足投影点703の２次元座標と両足とはいずれも床面に接していることから、両足の高さは０であるという1次元座標の合計３次元座標が、端点座標結果121として出力される。
【００３５】
次いで、人体端点出力手段116において、両手部検出手段120に人体３次元情報115を入力する。両手部検出手段120では、人体３次元情報115を用いて人体の両手部を検出する。
【００３６】
ここで、図７を参照しながら両手部検出手段119の動作を説明する。人体の手ＨＨは膝ＫＨの高さより上にあると仮定し、人体の手は次式（14）で示す領域にあるものとする。
【数１４】
0004101478.tif 000015
但し、ＫＨは足の構造から決まる定数である。人体３次元情報115から、数式（14）のＨＨの示す領域を満たす３次元情報を抽出し、その情報を床面に投影して得られる像が手投影像802である（図７（ａ）に示す）。
【００３７】
次いで、手投影像802の重心803を求める。さらに、重心803と手投影像802上の全ての点（ｉ，ｊ）との距離ｄｉｓｔ（ｉ，ｊ）を求める。距離ｄｉｓｔ（ｉ，ｊ）のうち最大を示す点をＲ（ｉR，ｊR）とする。次に重心803と数式（15）を満たす点（ｉ，ｊ）の距離ｄｉｓｔ（ｉ，ｊ）を求める。距離ｄｉｓｔ（ｉ，ｊ）のうち最大を示す点をＳとする。
【数１５】
0004101478.tif 000016
但し、ＴＨ4は両手間の距離から決まる閾値である。以上２点Ｒ、Ｓを手投影点804とする（図７（ｂ）に示す）。この投影点804に投影した点を人体３次元情報115から探索して求め、その手逆投影点805を手位置とする。この手逆投影点805の３次元情報が端点座標結果121として出力される。
【００３８】
こうして、頭部検出手段117と両肩部検出手段118と両足部検出手段119と両手部検出手段120から出力された端点座標結果121は、人体端点修正手段122に入力される。この人体端点修正手段122では、画素変化算出結果111と端点座標結果121から、部位を修正する。まず、端点座標結果が画素変化分布Ｃ（ｉ，ｊ）＝１上に存在するかを調べ、存在しなければ、画素変化分布Ｃ（ｉ，ｊ）＝１を満たす画素（ｉ，ｊ）と端点座標結果121の座標との距離を求め、最小となる点を新たな端点座標結果とする。
【００３９】
以上のように、本発明の実施の一形態に係る人体端点検出装置は、所定の検知空間を撮像するための複数のカメラ102、103からなる撮像手段（撮像装置）101と、複数のカメラ102、103から得られた画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測する距離計測手段112と、この距離計測手段112で計測された距離分布と予め定められた複数のカメラ102、103の位置データとから人体全体の３次元座標を算出する人体３次元座標算出手段114と、この人体３次元座標算出手段114で算出された人体全体の３次元座標から人体の端点を出力する人体端点出力手段116とを設け、撮像手段101により所定の検知空間内に存在する人体を撮像し、ステレオ画像処理で撮像されている人体全体の距離分布を計測し、この距離分布の計測データと複数のカメラ102、103の位置データとから人体全体の３次元座標を算出して、人体の端点を出力しているので、接触型のセンサを使用しなくても距離分布から人体の端点を検出できる。
【００４０】
なお、本実施形態においては、歪みのある画像に対して歪み補正をすることで、ステレオ画像処理の距離計測精度を向上させ、基準画像と順次入力される撮像画像とを比較して変化のある領域に人体の部位が検出されているか否かを判定し、変化のない領域に人体の部位が検出されている場合は変化のある領域に修正することで、検出率を向上させることが可能である。
【００４１】
また、本実施形態においては、人体全体の３次元座標算出データから頭頂点を求め、頭頂点から床方向に身体の幅を計測し、所定の閾値以上の幅を持つ部分を人体の頭部とし、その幅の中央点を頭部の位置とすることで、頭部に接触型のセンサを装着しなくても距離分布から精度良く頭部を検出できる。
【００４２】
さらに、本実施形態においては、床面より上に膝部があると仮定し、身体全体の３次元座標算出データの中で膝部以下を表す３次元座標算出データを用いて床面に投影画像を作成し、投影画像において領域を２つに分割し、各領域の重心を人体の足部とすることで、足部に接触型のセンサを装着しなくても距離分布から精度良く足部を検出できる。
【００４３】
【発明の効果】
以上説明したように、本発明はステレオ画像処理により人体全体の３次元座標を算出することにより、被験者にマーカ等の接触型のセンサを取り付けることなく、人体部位を検出できるという優れた効果を有する人体端点検出装置及び方法を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る人体端点検出装置の構成を示すブロック図
【図２】本発明の実施の形態に係る人体端点検出方法（距離計測方法）における画像と部分領域の関係を表す模式図
【図３】本発明の実施の形態に係る人体端点検出装置における人体３次元座標算出手段の動作を説明する模式図
【図４】本発明の実施の形態に係る人体端点検出装置における頭部検出手段の動作を説明する模式図
【図５】本発明の実施の形態に係る人体端点検出装置における両肩部検出手段の動作を説明する模式図
【図６】本発明の実施の形態に係る人体端点検出装置における両足部検出手段の動作を説明する模式図
【図７】本発明の実施の形態に係る人体端点検出装置における両手部検出手段の動作を説明する模式図
【図８】従来のマーカを装着して人体端点を検出する方法を説明する模式図
【符号の説明】
101  撮像手段
102、103  カメラ
104  画像
105、106  歪み補正手段
107  歪み補正画像
108  基準画像記憶手段
109  基準歪み補正画像
110  画像変化算出手段
111  画像変化算出結果
112  距離計測手段
113  距離分布データ
114  人体３次元座標算出手段
115  人体３次元情報
116  人体端点出力手段
117  頭部検出手段
118  両肩部検出手段
119  両足検出手段
120  両手検出手段
121  端点座標結果
122  人体端点修正手段
201  頭に装着した赤マーク
202  手に装着した青マーク
203  手に装着した青マーク
204  肩に装着した黄マーク
205  肩に装着した黄マーク
206  足に装着した緑マーク
207  足に装着した緑マーク
208  計測用カラーカメラ
209  画像処理装置
301  右画像
302  画素
303  部分領域
401  検知空間
402  人間（人体）
403  撮像面
501  頭頂点
502  頭の位置
601  頭頂点
602  肩投影像
603  頭投影点
604  肩投影点
605  肩逆投影点
701  膝の高さ
702  足投影像
703  足投影点
801  膝の高さ
802  手投影像
803  重心
804  手投影点
805  手逆投影点
【図１】
0004101478.tif 000017
【図２】
0004101478.tif 000018
【図３】
0004101478.tif 000019
【図４】
0004101478.tif 000020
【図５】
0004101478.tif 000021
【図６】
0004101478.tif 000022
【図７】
0004101478.tif 000023
【図８】
0004101478.tif 000024