(57)【要約】【課題】デプスカメラにより得られる距離画像の座標系を簡便に実験室座標系に校正でき、ヒトの動作や姿勢の計測結果に基づく動作や姿勢の解析を精度よく行うことができる、ヒト計測システムの座標校正方法。【解決手段】本発明のヒト計測システムの座標校正方法は、デプスカメラ１を用いてヒト３の動作又は姿勢を計測するヒト計測システムの座標校正方法であり、デプスカメラ１により得られる距離画像の座標系を、該距離画像に含まれる屋内平面部のデータに基づき、実験室座標系に校正する。【選択図】図１
2017122690.tif 000002
【特許請求の範囲】
【請求項１】
デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、
前記デプスカメラにより得られる距離画像の座標系を、該距離画像に含まれる屋内平面部のデータに基づき、実験室座標系に校正する、ヒト計測システムの座標校正方法。
【請求項２】
前記距離画像の座標系及び前記距離画像から得られる該座標系上のヒトの骨格点の座標を、前記屋内平面部のデータに基づき、実験室座標系及び該実験室座標系上の骨格点の座標に変換する、請求項１に記載のヒト計測システムの座標校正方法。
【請求項３】
前記実験室座標系の２軸は水平面と平行である、請求項１又は２に記載のヒト計測システムの座標校正方法。
【請求項４】
前記屋内平面部が、建物の部屋内の床、天井又は壁である請求項１〜３の何れか１項に記載のヒト計測システムの座標校正方法。
【請求項５】
デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、
デプスカメラにより距離の計測が可能な３次元空間内でヒトの動作又は姿勢を撮像するステップと、
前記３次元空間内に実験室座標の少なくともロール軸およびピッチ軸の座標が既知であるオブジェを配置し、該オブジェをデプスカメラで撮像するステップと、
オブジェを撮像した距離画像を用いて、ヒトの動作又は姿勢を撮像した距離画像の座標系を実験室座標系に校正するステップとを有する、ヒト計測システムの座標校正方法。
【請求項６】
前記ヒトの動作又は姿勢を撮像した距離画像の座標系を、その奥行方向が、前記実験室座標系におけるヒトの正面又はその延在方向と平行となるように校正する、請求項５に記載のヒト計測システムの座標校正方法。
【請求項７】
デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、
請求項１〜４の何れか１項に記載の計測システムの座標校正方法における校正と、請求項５〜７の何れか１項に記載の計測システムの座標校正方法における校正と両者を行う、ヒト計測システムの座標校正方法。
【請求項８】
ヒトの動作が歩行である、請求項１〜７の何れか１項に記載のヒト計測システムの座標校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法に関する。
【背景技術】
【０００２】
モーションキャプチャ（ｍｏｔｉｏｎ  ｃａｐｔｕｒｅ）は、ヒトの動作をデジタルデータとしてコンピュータに取り込む技術であり、モーションキャプチャによりコンピュータに取り込まれたデータは、ヒトの動作の解析や、コンピュータグラフィックス（ＣＧ）アニメーションのキャラクターに、ヒトのような動きを与えるためなどに利用されている。
モーションキャプチャの技術は、当初は、マーカーが身体の各部に配されたスーツを着用し、ステレオカメラで撮影して各部のマーカーの３次元座標を記録する方法等が主流であり、マーカー及び複数のカメラを利用したものが広く使われてきたが、近年においては、マーカーを利用しないマーカレスのキャプチャ技術や、複数のカメラを使用せずにヒトの骨格点の３次元座標を取得できる技術も開発されている。
【０００３】
例えば、米国マイクロソフトから２０１２年に発売された「Ｋｉｎｅｃｔ  ｆｏｒ  Ｗｉｎｄｏｗｓ」（以下、キネクトＶ１ともいう）は、赤外線プロジェクターと赤外線カメラとを備え、赤外線プロジェクターにより投光された赤外線パターンを赤外線カメラで読み取り、そのパターンのゆがみから各部までの距離情報を得ることができ、更にその距離情報に基づき、ヒトの輪郭を認識したり、ヒトの複数の部位点の位置を把握することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−８９１６８号公報
【特許文献２】特開２０１５−１９３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明者らは、前述したキネクトＶ１や他のデプスカメラ（距離カメラ）を用いた計測システムにより、ヒトの動作又は姿勢の解析を行うことを検討したところ、デプスカメラを設置する際のカメラの向きの精度が、後の解析の難易に大きく影響することを知見した。
斯かる問題を解消するには、デプスカメラにより距離の情報を取得する３次元空間内に、基準となる棒や板等を正確に鉛直方向又は水平方向に延在するように配置し、それを基準にして座標系を校正する方法が考えられるが、校正の基準とする棒や板等の基準物体を正確に鉛直又は水平をとって配置し撮像するには手間が掛かる。
特許文献１には、平面板に対して複数の半球が配置されるキャリブレーションパターンを、複数の距離カメラで撮像することにより、画像の統合等に必要なカメラパラメータを推定するキャリブレーションを行う、キャリブレーション及びキャリブレーション装置が記載されている。また、特許文献２には、一つの移動可能な球体を用いて、複数のカメラのキャリブレーションを行う、キャリブレーション及びキャリブレーション装置が記載されている。
しかし、特許文献１及び２に記載の方法は、何れも異なる方向から撮像する複数の距離カメラを前提とする技術であり、また特許文献１においては、キャリブレーションパターン、特許文献２においては、移動可能な球体の設置に手間が掛かる。
【０００６】
従って、本発明は、ヒト計測システムの座標の簡便な校正方法に関する。
【課題を解決するための手段】
【０００７】
本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、前記デプスカメラにより得られる距離画像の座標系を、該距離画像に含まれる屋内平面部のデータに基づき、実験室座標系に校正する、ヒト計測システムの座標校正方法を提供するものである（以下、この発明を第１発明ともいう）。
【０００８】
また、本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、デプスカメラにより距離の計測が可能な計測空間内でヒトの動作又は姿勢を撮像するステップと、前記計測空間内に実験室座標系上の座標が既知のオブジェを配置し、該オブジェをデプスカメラで撮像するステップと、オブジェを撮像した距離画像を用いて、ヒトの動作又は姿勢を撮像した距離画像の座標系を実験室座標系に校正するステップを有する、ヒト計測システムの座標校正方法を提供するものである（以下、この発明を第２発明ともいう）。
【０００９】
また本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、請求項１〜４の何れか１項に記載の計測システムの座標校正方法における校正と、請求項５又は６に記載の計測システムの座標校正方法における校正と両者を行う、ヒト計測システムの座標校正方法を提供するものである。
【発明の効果】
【００１０】
本発明のヒト計測システムの座標校正方法によれば、デプスカメラにより得られる距離画像の座標系を簡便に実験室座標系に校正でき、ヒトの動作や姿勢の計測結果に基づく動作や姿勢の解析を精度よく行うことができる。また、デプスカメラの設置時に高い精度が必要なくなり、設置の向き等の自由度が高まる。また、デプスカメラやそれを設置するための支持体等に高い堅牢性が要求されなくなり、ヒトの動作や姿勢の計測に必要なコストや労力が軽減される。
【図面の簡単な説明】
【００１１】
【図１】図１は、ヒトの動作として歩行を計測する際のデプスカメラの配置の一例を示す図であり、ハッチングを付した側面視台形状の３次元空間が、デプスカメラにより距離を計測可能な空間である。
【図２】図２（ａ）は、本発明（第１発明）で得られる距離画像の一例を示す図で、図２（ｂ）は、略同一の視野範囲をカラーカメラで撮像したカラー画像を白黒の線図化して示す参考図である。
【図３】図３は、デプスカメラ及びコンピュータを用いたヒト計測システムの構成例を示す模式図である。
【図４】図４は、図２（ａ）に示す距離画像の各ピクセルの３次元座標をプロットしたものであり、灰色の点は計測値で黒点は平面である床面の算出に利用した領域であり、矢印は得られた平面の法線ベクトルを示す。
【図５】図５は、図２（ａ）に示す距離画像の座標系を、当該座標系の２軸が床面と平行になるように実験室座標系に変換した後の３Ｄプロットであり、灰色の点は計測値で黒点は、変換後の平面算出に利用した領域であり、矢印は変換後の平面の法線ベクトルを示す。
【図６】図６は、距離画像から得られた歩行中の骨格点の軌跡の一例を示す図であり、図６（ａ）は座標校正前、図６（ｂ）は座標校正後を示す図である。
【図７】図７は、デプスカメラ及びコンピュータを用いたヒト計測システムの構成例及びヨー角校正用のオブジェの配置例を示す斜視図である。
【図８】図８（ａ）は、本発明（第２発明）で得られる距離画像の一例を示す図で、図８（ｂ）は、略同一の視野範囲をカラーカメラで撮像したカラー画像を白黒の線図化して示す参考図である。
【図９】図９（ａ）は、図８（ａ）に示す距離画像の各ピクセルの３次元座標をプロットしたものであり、灰色の点は計測値で黒点は平面である床面の算出に利用した領域であり、符号６で示す球体がフィッティングで得られた球体であり、図９（ｂ）は、ヨー角補正後の図９（ａ）に対応する図である。
【図１０】図１０（ａ）は、正対の補正を行う前のヒトの歩行時の頭部の位置を示す点（以下、頭部の骨格点と呼ぶ）の軌跡を示す図であり、図１０（ｂ）は、正対の補正を行った後のヒトの歩行時の頭部の骨格点の軌跡を示す図である。
【図１１】図１１（ａ）及び図１１（ｂ）は、オブジェの他の形態及び配置態様を示す斜視図である。
【発明を実施するための形態】
【００１２】
以下本発明を、その好ましい実施形態に基づき図面を参照しながら説明する。
本発明に用いるデプスカメラとは、３次元空間をカメラで撮像することにより、該３次元空間内の多数の点までの距離の情報を取得可能なものであり、好ましくは、多数の点までの距離の情報を距離画像として得られるものである。このようなデプスカメラとしては、前述したキネクトＶ１や、キネクトＶ１の後継機種として米国マイクロソフトから２０１４年に発売された「Ｋｉｎｅｃｔ  ｆｏｒ  Ｗｉｎｄｏｗｓ」（以下、キネクトＶ２ともいう）等を好ましく用いることができる。キネクトＶ２は、デプスカメラに、投光した赤外線が反射して戻ってくる時間から距離情報を得る「Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ」という方式が採用されている。なお、距離カメラによってヒトの身体の形状を抽出し、骨格を予測し、骨格点の３次元座標（以下３Ｄ座標ともいう）を取得することは一般的技術であり、そのため、本発明は、キネクトＶ１，２を用いることなく、他のデプスカメラを用いても実施可能である。以下、キネクトＶ１，Ｖ２を包括してキネクトともいう。
【００１３】
本発明は、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法である。ヒトの動作としては、ヒトが歩く動作（歩行動作）、走る動作、立ち上がる動作、座る動作、飛び跳ねる動作、うなずく動作、踊りや体操の中に含まれる各種の動作（足や手を挙げたり降ろしたりする動作）、道具の利用（例えば、化粧道具による化粧動作や箒などを用いた清掃動作）等の多様な動作が挙げられる。動作の計測の例としては、歩行中の歩幅や歩行速度、歩行その他の動作中における身体の各部（例えば骨格点等）の位置変化（最大変位や速度、加速度など）、およびそれら各部の距離や角度の計測等が含まれる。姿勢の計測の例としては、立位又は座位におけるヒトの各部（例えば骨格点等）の位置やその変化の計測、および各部の距離や角度の計測等が含まれる。
姿勢の計測のためのデプスカメラの撮像は、静止画の撮像であっても良い。
【００１４】
本発明（第１発明）の好ましい実施態様においては、デプスカメラにより得られる距離画像の座標系を、該距離画像に含まれる屋内平面部のデータに基づき、実験室座標系に校正する。
図面を参照して、より具体的に説明すると、図１に示すように、キネクト等のデプスカメラ１を、必要に応じて三脚等の支持体２に支持させた状態で設置し、デプスカメラ１により、３次元空間Ｋの距離画像を得る。図１に示すハッチングを付した側面視台形状の３次元空間Ｋは、デプスカメラ１により各点までの距離を計測可能な空間であり、この３次元空間Ｋ内においてヒトの動作や姿勢を撮像することで、該ヒトを含む距離画像が得られ、該距離画像からヒトの骨格点の抽出が可能である。
【００１５】
図２（ａ）に示す距離画像は、図１に示すように、デプスカメラ１の位置に対して、ヒト３が、当該３次元空間Ｋよりも遠方にいる状態で撮像して得られた距離画像であり、ヒト１は写っていないが、デプスカメラ１から、３次元空間Ｋ内に存する床面や壁上の各点までの距離が色彩の差として表われている。図２（ａ）中に、符号Ｐ１で示す黒色部分は、距離を計測可能な３次元空間Ｋ内におけるデプスカメラ１の近くに位置する床部分を示し、符号Ｐ２で示す黒色部分は、距離を計測可能な３次元空間Ｋより遠方に位置する部分を示している。図２（ｂ）は、デプスカメラ１と同方向に向けたカラーカメラ１により撮影したカラー画像を白黒の線図化して示す図である。キネクトは、デプスカメラ１とともにカラーカメラを備えている。
【００１６】
デプスカメラ１により得られる距離画像は、ロール軸（ｘ軸）、ピッチ軸（ｙ軸）及びヨー軸（ｚ軸）からなる３次元座標系（以下、この「カメラ座標系」ともいう）を有している。このカメラ座標系は、デプスカメラが正対する向きがロール軸、デプスカメラの水平軸がピッチ軸、デプスカメラの鉛直軸がヨー軸となる座標系である。
【００１７】
また上記のカメラ座標系は、設置したキネクト等のデプスカメラ１の位置を原点として、デプスカメラ１の向きによって規定されるものである。そのため、デプスカメラ１を設置する際に、カメラ座標系と実験室座標系とは一致しない場合が多い。そのため、本発明（第１発明）においては、デプスカメラ１により得られる距離画像に含まれる屋内平面部のデータに基づき、カメラ座標系と実験室座標系とが一致するように校正を行う。
屋内平面部の「屋内」とは、建物内の空間であり、実験室や、工場や研究所内の部屋、体育館、デパートやスーパーマーケット等の商業施設や店舗内の空間内等が含まれる。屋内の平面部は、そのような屋内の床、天井、壁、扉、窓等であり、屋内の床、天井又は壁であることが好ましく、屋内の床であることが更に好ましい。屋内の床及び天井は、比較的正確に水平面とされており、屋内の壁は、比較的正確に鉛直と平行な面とされているため、これらを用いて座標系を校正することで、簡便に座標系を実験室座標系に校正でき、ヒトの動作や姿勢を計測や分析を容易とすることができる。
【００１８】
ここで、「実験室座標系」とは、実験室の鉛直軸に平行となる様にヨー軸（Ｚ軸）、実験室の水平面内に平行となる様に、ロール軸（Ｘ軸）及びピッチ軸（Ｙ軸）を定めた座標系であり、当然ながら、ヒトの動作や姿勢を計測や分析する場所を、特定の実験室に限定するものはない。例えば、ヒトの動作や姿勢を計測や分析する場所は、研究施設や学校の実験室等の狭義の実験室の他、工場や研究所内の部屋、体育館、デパートやスーパーマーケット等の商業施設、店舗等の空間であっても良い。
また実験室座標系の２軸、ロール軸、ヨー軸は、歩行路と平行な壁面に対してそれぞれ平行になることが、実験室座標系上の座標に基づく分析が容易となる観点から、より好ましい。
【００１９】
カメラ座標系を、屋内平面部のデータに基づき実験室座標系と一致させる方法としては、例えば、図２（ａ）に示すように、距離画像中の屋内平面部を示す一定領域Ｐ１内の３以上の点の３次元座標から該領域Ｐ１を含む平面の式（ｌｘ＋ｍｙ＋ｚ＝ｃ）を求めた後、該平面に垂直な法線ベクトルを求め、カメラ座標系の各軸（ｘ軸，ｙ軸，ｚ軸）を、その法線ベクトルの向きが、実験室座標系の高さ方向軸（ｚ’軸）と平行になるように合わせる方法が挙げられる。また、他の方法として、床面内の二つのベクトルを求め、それらのベクトルの外積から法線ベクトルを求める方法を用いることもできる。
【００２０】
カメラ座標系を実験室座標系に校正する際には、カメラ座標系の実験室座標系への校正に伴い、距離画像から得られるカメラ座標系上のヒトの骨格点の座標も、実験室座標系上の骨格点の座標へと変換する。
本発明（第１発明）によれば、このようにしてカメラ座標系を実験室座標系に校正することにより、デプスカメラ１を設置する際に向きを正確に水平や鉛直に合わせなくても、実験室座標系上の静止した骨格点の座標又は経時的に変化する骨格点の座標等として、ヒトの姿勢や動作を計測することができ、その計測や分析が容易となる。例えば、カメラ座標系で、骨格点の変位を視たときには、水平面に対する変位が不明となるが、実験室座標系で、骨格点の変位を視たときには、水平面に対する変位が判別可能となる。
【００２１】
上述したカメラ座標系から実験室座標系への校正は、デプスカメラ１に接続したコンピュータ４により行うことができる。コンピュータ４は、公知のコンピュータと同様に、ＣＰＵ等からなる中央演算部、ＲＡＭ，ＳＳＤ，ＨＤＤ等の記憶装置、液晶モニタ等の表示装置、マウスやキーボード等の入力装置を備えている。デプスカメラ１として、キネクトを用いた場合、マイクロソフト社が提供するｗｉｎｄｏｗｓ（登録商標）をＯＳ（オペレーションシステム）として動作するソフトウエアにより、該キネクトから距離画像の取得が可能であり、またその距離画像に基づくヒトの骨格点を抽出も可能である。また、マイクロソフト社から、キネクト用のソフトウエアの開発ツールとして、Ｋｉｎｅｃｔ  ｆｏｒ  ｗｉｎｄｏｗｓ  ＳＤＫが提供されており、そのソフトを使用することにより容易に、キネクトにより得た距離画像や該距離画像から得られたヒトの骨格点の座標の経時変化を記憶装置に記録することができ、またそれを動画として再生することができる。さらに、ヒトの骨格点の座標の経時変化を示す動画の座標軸を総て実験室座標系へと変換するプログラムを入力し、実行することができる。
【００２２】
本発明（第２発明）の好ましい実施態様は、本発明の第１発明と同様に、デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であるが、デプスカメラにより距離の計測が可能な３次元空間内でヒトの動作又は姿勢を撮像するステップ（以下、第１ステップともいう）と、その３次元空間内に実験室座標系上の座標が既知のオブジェを配置し、該オブジェをデプスカメラで撮像するステップ（以下、第２ステップともいう）と、オブジェを撮像した距離画像を用いて、ヒトの動作又は姿勢を撮像した距離画像の座標系を実験室座標系に校正するステップ（以下、第３ステップともいう）とを有する。
【００２３】
第１ステップにおいては、例えば、キネクトＶ１等のデプスカメラを用いて、図１に示す３次元空間Ｋ内において、歩行（動作）するヒトを撮像し、動作に伴い変化する距離画像及び該距離画像に基づくヒトの骨格点の変化を記録する。
第２ステップは、第１ステップの前若しくは後又は第１ステップと同時に行う。第２ステップは、第１ステップ１回に対して１回行っても良いが、第２ステップ１回に対して第１ステップを複数回、例えば２回以上５０回以下行っても良い。
オブジェ６は、実験室座標の少なくともロール軸およびピッチ軸の座標が既知である必要があるが、全軸の座標が既知であっても良い。オブジェ６は、デプスカメラからの距離を計測可能な空間であればどこでも良いが、図７に示すように、ヒトの歩行路５の中心線５１上に配置することが好ましい。その場合、図７に示すようにオブジェが球体や円筒であると、中心や中心線の座標を外表面の複数の点の座標から算出可能であるため好ましい。
【００２４】
第３ステップにおいては、デプスカメラ１の配置位置を原点とした場合は、該原点とオブジェ６の中心や中心線とを結ぶ線分を、ヨー軸（ｚ軸）回りに回転させて、実験室座標系における奥行き方向の軸と重ねることにより、実験室座標系における奥行き方向の軸と歩行路の延在方向（中心線５１の延在方向と同じ）とが平行となり、歩行中のヒトが、デプスカメラ１をほぼ正対することになる。歩行中のヒトをデプスカメラ１と正対させることで、歩行中におけるヒトの各部の骨格点の変位が、より容易に把握することが可能となる。
第２ステップで使用するオブジェとしては、図１１（ａ）に示すように、棒状あるいは板状のオブジェ６Ａを、歩行路５に対して直交する向きに配して、該オブジェ６Ａの両端部６ｅ，６ｅの座標から歩行路５の幅方向中心位置を算出させたり、図１１（ｂ）に示すように、歩行路５の両側に２つのオブジェ６Ｂ，６Ｂを配して、２つのオブジェ６Ｂ，６Ｂの座標から、歩行路５の幅方向中心位置を算出させたりすることもできる。
【００２５】
本発明（第２発明）によれば、このようにしてカメラ座標系を実験室座標系に校正することにより、デプスカメラ１を設置する際に向きを正確に歩行路の延在方向に合わせなくても、歩行路５の延在方向と実験室座標系上の奥行き方向の軸とを平行とすることができ、歩行路を歩行するヒトの骨格点等の変位の様子を、ヒトのほぼ正面から観測することができ、ヒトの動作の計測やその分析が容易となる。例えば、補正前の座標系では、歩行方向と歩行路の関係が不明であるが、補正後の座標では、歩行方向と歩行路の関係を判別できるようになる。上述したカメラ座標系から実験室座標系への校正は、第１発明の実施例と同様に、デプスカメラ１に接続したパーソナルコンピュータ４により行うことができ、その校正プログラムも、キネクト用のソフトの開発ツールであるＫｉｎｅｃｔ  ｆｏｒ  ｗｉｎｄｏｗｓ  ＳＤＫを用いて作成することができる。
【００２６】
上述した実施形態に関し、本発明は更に以下のヒト計測システムの座標校正方法を開示する。
＜１＞
デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、
前記デプスカメラにより得られる距離画像の座標系を、該距離画像に含まれる屋内平面部のデータに基づき、実験室座標系に校正する、ヒト計測システムの座標校正方法。
＜２＞
前記距離画像の座標系及び前記距離画像から得られる該座標系上のヒトの骨格点の座標を、前記屋内平面部のデータに基づき、実験室座標系及び該実験室座標系上の骨格点の座標に変換する、前記＜１＞に記載のヒト計測システムの座標校正方法。
＜３＞
前記実験室座標系の２軸は水平面と平行である、前記＜１＞又は＜２＞に記載のヒト計測システムの座標校正方法。
＜４＞
前記屋内平面部が、建物の部屋内の床、天井又は壁である前記＜１＞〜＜３＞の何れか１に記載のヒト計測システムの座標校正方法。
＜５＞
デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、
前記デプスカメラにより距離の計測が可能な３次元空間内でヒトの動作又は姿勢を撮像するステップと、
前記３次元空間内に、実験室座標の少なくともロール軸およびピッチ軸の座標が既知であるオブジェを配置し、該オブジェを前記デプスカメラで撮像するステップと、
オブジェを撮像した距離画像を用いて、ヒトの動作又は姿勢を撮像した距離画像の座標系を実験室座標系に校正するステップとを有する、ヒト計測システムの座標校正方法。
＜６＞
前記ヒトの動作又は姿勢を撮像した距離画像の座標系を、その奥行方向が、前記実験室座標系におけるヒトの正面又はその延在方向と平行となるように校正する、前記＜５＞に記載のヒト計測システムの座標校正方法。
＜７＞
前記ヒトの動作又は姿勢を撮像した距離画像の座標系を、その奥行方向が、前記実験室座標系におけるヒトの正面又はその延在方向と一致するように校正する、前記＜６＞に記載のヒト計測システムの座標校正方法。
＜８＞
オブジェをヒトの正面又はその延在方向と平行に配置する前記＜５＞〜＜７＞の何れか１に記載のヒト計測システムの座標校正方法。
＜９＞
オブジェをヒトの正面又はその延在方向と一致するように配置する前記＜５＞〜＜７＞の何れか１に記載のヒト計測システムの座標校正方法。
＜１０＞
デプスカメラを用いてヒトの動作又は姿勢を計測するヒト計測システムの座標校正方法であって、
前記＜１＞〜＜４＞の何れか１に記載のヒト計測システムの座標校正方法における校正と、前記＜５＞〜＜９＞の何れか１に記載のヒト計測システムの座標校正方法における校正とを行う、ヒト計測システムの座標校正方法。
＜１１＞
デプスカメラがキネクトである前記＜１＞〜＜１０＞の何れか１に記載のヒト計測システムの座標校正方法。
＜１２＞
キネクトがキネクトＶ１又はキネクトＶ２である前記＜１１＞に記載のヒト計測システムの座標校正方法。
＜１３＞
ヒトの動作が歩行である、＜１＞〜＜１２＞の何れか１に記載のヒト計測システムの座標校正方法。
＜１４＞
前記＜１３＞に記載のヒト計測システムの座標校正方法を用いた、ヒト歩行特性解析方法。
【実施例】
【００２７】
以下、本発明を実施例を用いて更に詳細に説明する。本発明は、以下の実施例により何ら制限されるものではない。
〔実施例１，水平の確保〕
図３に示すように、デプスカメラ１及びコンピュータ４を用いて、ヒトの歩行解析用のヒト計測システムを構成した。このヒト計測システムは、ヒトの動作としてヒトの歩行を計測し、その計測結果に基づき歩行の解析を可能とするものである。デプスカメラ１としては前述したキネクトＶ１を用いた。コンピュータ４は、ＯＳ（オペレーションシステム）としてマイクロソフト社のＷｉｎｄｏｗｓ（登録商標）を搭載しており、動作記録プログラムを作成して該ＯＳ上で動作させた。動作記録プログラムは、Ｋｉｎｅｃｔ  ｆｏｒ  Ｗｉｎｄｏｗｓ  ＳＤＫ  １．７（２０１３年３月発表）のバージョンで作成した。動作記録プログラムにより、キネクトＶ１により得られる距離画像及び歩行中のヒトの骨格点の座標の経時変化を記録した。
なお、図３には、単一のキネクトを用いた例を示すが同様の操作に複数のキネクトを用いても構わない。例えば、ヒト３の背中側にもキネクトを設置したり、ヒト３の側方（進行方向に対して左右方向の一方又は両方）にもカメラを配置したり、観察の死角となり得る箇所にキネクトを複数設置しても構わない。
【００２８】
図３に示すように、歩行路の中心線の延長線上に、デプスカメラ１としてキネクトＶ１を設置し、被験者に、デプスカメラ１に向かって約５ｍの歩行路を自由に歩行してもらい、歩行中におけるヒトの骨格点の変動を記録した。
デプスカメラ１を設置する際には、デプスカメラ１のロール角（ｙｚ平面の角度）、ピッチ角（ｘｚ平面の角度）、ヨー角（ｘｙ平面の角度）は任意に設置した。
後述する第２発明の実施例で正対（ヨー角）の確保のために、デプスカメラ１は歩行路の中心線の延長線上に設置してある。ただし、歩行路の中心線からの距離がわかっていれば必ずしも中心である必要はない。
デプスカメラ１によって測定される結果の座標系は、デプスカメラ１を原点としてカメラの向きによって規定され、一般に実験室座標系と一致はしない。そのため、座標の校正を行った。
【００２９】
得られた距離画像（デプス画像）を図２（ａ）に示す。歩行計測や姿勢計測を行う際には、通常、床面が存在するため、座標の校正に用いる屋内平面部としては床面を利用した。具体的には、図２（ａ）に示した破線領域の３Ｄ座標（図４も参照）を床面の式の算出に利用して、床面の式（ｌｘ＋ｍｙ＋ｚ＝ｃ）を得た。床面の式の取得には、最小二乗法を利用した。得られた床面の式、０．０１３＊ｘ＋０．０６７＊ｙ＋ｚ＝０．８６１から、該床面の法線ベクトルｎ＝（−０．０１２，−０．０６７，０．９９８）を得た。床の鉛直が精度よく出ていると仮定すると、ｙｚ平面で傾き、ロール角３．８°、ｘｚ平面で傾き、ピッチ角０．７°傾きを有していることが求められる。
そして、床面が平らになるように、これらの傾きを座標変換によってそれぞれ補正することで、図５に示すように床面が水平となるように座標系の補正が可能である。このように座標系を補正することで、歩行の測定を精度よく行うことができる。例えば、デプスカメラ１としてのキネクトＶ１で得た距離画像から得られた歩行中の骨格点の軌跡の一例を図６（ａ）に示す。図６（ａ）に示す補正前の座標系上の骨格点の変位を視ると、ヒトが徐々に降下しまっているように見えるが、図６（ｂ）に示す補正後の座標系上の骨格点の変位を視るとヒトが床面に対して平行に歩行しているようになり、補正が機能していることが分かる。このことから、このように補正を施すことで、歩行速度、歩幅、歩行周期といった、歩行のパラメータや体の傾きといった姿勢のパラメータを精度よく測定することができるようになる。
【００３０】
〔実施例２，正対の確保〕
実施例１と同様に、歩行路の中心線の延長戦上に、デプスカメラ１としてキネクトＶ１を設置し、被験者に、デプスカメラ１に向かって約５ｍの歩行路を自由に歩行してもらい、前述した動作記録プログラムにより、キネクトＶ１により得られる距離画像及び歩行中のヒトの骨格点の座標の経時変化を記録した。
【００３１】
次いで、図７に示すように、その歩行路におけるデプスカメラ１から離れた位置における中心位置に、ヨー角校正用のオブジェ６を設置し、デプスカメラ１で、オブジェ６を撮像して、図８（ａ）に示す距離画像を得た。オブジェ６としては、直径約１５ｃｍの球体を用い、水平な床面に対して鉛直に自立させた棒状支持体の先端に配置した。オブジェとしての球体６の中心座標を、図８（ａ）に示す距離画像（デプス像）の球体領域の座標に対して球の式〔（ｘ−ａ）2＋（ｙ−ｂ）2＋（ｚ−ｃ）2＝ｒ2〕を最小二乗法によってフィッティングさせることで得た〔図９（ａ）〕。フィッティングを行う前に、実施例１で説明した方法で、ロール角、ピッチ角の補正を行った。得られた球面の式〔（ｘ−（−０．４４７））2＋（ｙ−２．４８６）2＋（ｚ−０．１９１）2＝０．０６８2〕から、オブジェとしての球体の中心座標（−０．４４７，２．４８６，０．１９１）が得られる。カメラ座標系の座標原点であるデプスカメラ１が、歩行路５の中心線５１の延長線上にあるため、ｘｙ平面の傾き、ヨー角は１．０°として求められる。この傾きを座標変換によって補正することで、オブジェ６としての球体が、図９（ｂ）に示すように、デプスカメラ１に対して正対するようになる。
このように補正することで、歩行の測定を精度よく行うことができる。デプスカメラ１としてのキネクトＶ１で得た距離画像から得られた歩行中の頭部の骨格点の軌跡の一例を図１０に示す。図１０（ａ）に示す補正前の座標系上の骨格点の変位を視ると、ヒトが歩行路に対して斜めに歩いているように見えるが、図１０（ｂ）に示す補正後の座標系上の骨格点の変位を視ると、ヒトが床面に対しておよそ平行に歩行しているようになり、補正が機能していることが分かる。このように補正を施すことで、歩行速度、歩幅、歩行周期といった歩行のパラメータや体の傾きといった姿勢のパラメータを精度よく測定することができるようになる。
【００３２】
なお、実施例２では、オブジェ６を歩行路５の中心線５１上に設置したが、歩行路中の中心線からの距離が分かっていれば必ずしもオブジェ６を中心に設置する必要はない。またオブジェ６は１つで十分であるが、１つ以上設置してもよい。また、２つのオブジェを利用する場合は、デプスカメラの位置が未知でもよい。
【符号の説明】
【００３３】
１  キネクト（デプスカメラ）
２  支持体
３  ヒト
４  コンピュータ
５  歩行路
６  オブジェ
Ｋ  ３次元空間
【図１】
2017122690.tif 000003
【図２】
2017122690.tif 000004
【図３】
2017122690.tif 000005
【図４】
2017122690.tif 000006
【図５】
2017122690.tif 000007
【図６】
2017122690.tif 000008
【図７】
2017122690.tif 000009
【図８】
2017122690.tif 000010
【図９】
2017122690.tif 000011
【図１０】
2017122690.tif 000012
【図１１】
2017122690.tif 000013