(57)【要約】【課題】人体の隠蔽された部位を考慮した効率的かつ安定な人体の姿勢推定を可能とする姿勢推定装置を提供する。【解決手段】隠蔽情報付画像特徴及び画像特徴に基づいて構成された姿勢の木構造を保持する姿勢辞書Ａと、撮像部１と、画像特徴抽出部２と、隠蔽情報を考慮した姿勢予測部３と、木構造による姿勢推定部４とで構成し、前記姿勢予測部３は、過去の姿勢推定情報と各部位の隠蔽情報に基づいて、隠蔽が起こっている部位の運動モデルの予測範囲を、隠蔽されていない部位の運動モデルの予測範囲より拡げて、予測する。【選択図】      図１
2007310707.tif 000002
【特許請求の範囲】
【請求項１】
１つまたは複数の撮像手段で人体を撮影した画像から前記人体の現在の姿勢情報を推定する姿勢推定装置において、
予め取得しておいた人体の様々な姿勢に関する姿勢情報と、前記各姿勢のシルエットまたは輪郭の少なくともどちらか一方に関する情報からなる画像特徴情報と、前記姿勢同士の類似度が高いほど下層になるノードを持つ姿勢の木構造とを格納し、かつ、前記各画像特徴情報には前記人体自身によって隠蔽されてしまう前記人体の部位に関する隠蔽情報を付けて格納している姿勢辞書と、
前記撮像手段で得られた画像から観測画像特徴情報を抽出する画像特徴抽出手段と、
前記人体の過去の姿勢推定情報を記憶する過去情報記憶手段と、
前記過去の姿勢推定情報と前記各部位の隠蔽情報に基づいて、隠蔽が起こっている部位の運動モデルの予測範囲を、隠蔽されていない部位の運動モデルの予測範囲より拡げて設定する姿勢予測手段と、
前記予測範囲と前記過去の姿勢推定情報を用いて、現在の姿勢に対応する正解の姿勢を前記木構造の各階層の各ノードが含むかどうかの予測確率を計算するノード予測手段と、
前記観測画像特徴情報と、前記各ノードを代表する姿勢に関する前記姿勢辞書内に格納されている画像特徴情報との類似度を計算する類似度計算手段と、
前記各ノードにおける予測確率と前記類似度とから、前記各階層の各ノードに前記正解の姿勢が含まれる確率を計算するノード確率計算手段と、
前記木構造の最下位層において、前記最も確率の大きいノードに含まれる複数の姿勢のうち、前記予測した姿勢に最も合致する姿勢情報を現在の姿勢推定情報として選択する姿勢推定手段と、
を備える
ことを特徴とする姿勢推定装置。
【請求項２】
前記各ノードにおける予測確率と、前記木構造の上位階層において前記各ノードに前記正解の姿勢が含まれる確率に基づいて、前記類似度計算手段によって計算を行うノードを決定する計算ノード削減手段を有する
ことを特徴とする請求項１記載の姿勢推定装置。
【請求項３】
前記運動モデルは、前記予測する姿勢の代表値を決定する第１のパラメータと、前記予測する姿勢としてとりうる範囲を決定することに関係する第２のパラメータを持ち、
前記姿勢予測手段は、
前記過去の姿勢推定情報の履歴と前記運動モデルに基づいて現在の姿勢の予測範囲を設定し、かつ、この設定をするときに前記過去の姿勢推定情報における隠蔽されている部位については隠蔽されていない部位に比べて予測範囲が大きくなるように前記第２のパラメータを設定する
ことを特徴とする請求項１記載の姿勢推定装置。
【請求項４】
前記隠蔽情報付の画像特徴情報は、
前記予め作成しておいた人体の三次元形状モデルを前記姿勢辞書に格納されている姿勢に変形させて、前記撮像手段の画像平面に仮想的に投影することによって得られるシルエット、または、輪郭、または、それら両方、並びに、前記シルエットと異なる部位の重なりの境界である内部輪郭であり、
前記隠蔽情報は、前記画像平面に投影された部位の面積が閾値より小さいことを示す各部位に関するフラグである
ことを特徴とする請求項１記載の姿勢推定装置。
【請求項５】
前記木構造は、
前記姿勢同士の類似度が閾値よりも大きい姿勢の集合からなるノードによって構成され、
前記閾値は下の階層に行くほど値が大きく、同じ階層内では一定の値を持ち、
前記各階層の各ノードは上位階層のノードのうち最も類似度が大きいノードに連結する
ことを特徴とする請求項１記載の姿勢推定装置。
【請求項６】
前記姿勢情報が前記各部位の関節角度である
ことを特徴とする請求項１記載の姿勢推定装置。
【請求項７】
前記予測範囲が分散である
ことを特徴とする請求項１記載の姿勢推定装置。
【請求項８】
前記予測確率が事前確率である
ことを特徴とする請求項１記載の姿勢推定装置。
【請求項９】
１つまたは複数の撮像手段で人体を撮影した画像から前記人体の現在の姿勢情報を推定する姿勢推定方法において、
予め取得しておいた人体の様々な姿勢に関する姿勢情報と、前記各姿勢のシルエットまたは輪郭の少なくともどちらか一方に関する情報からなる画像特徴情報と、前記姿勢同士の類似度が高いほど下層になるノードを持つ姿勢の木構造とを格納し、かつ、前記各画像特徴情報には前記人体自身によって隠蔽されてしまう前記人体の部位に関する隠蔽情報を付けて格納し、
前記撮像手段で得られた画像から観測画像特徴情報を抽出し、
前記人体の過去の姿勢推定情報を格納し、
前記過去の姿勢推定情報と前記各部位の隠蔽情報に基づいて、隠蔽が起こっている部位の運動モデルの予測範囲を、隠蔽されていない部位の運動モデルの予測範囲より拡げて設定し、
前記予測範囲と前記過去の姿勢推定情報を用いて、現在の姿勢に対応する正解の姿勢を前記木構造の各階層の各ノードが含むかどうかの予測確率を計算し、
前記観測画像特徴情報と、前記各ノードを代表する姿勢に関する前記姿勢辞書内に格納されている画像特徴情報との類似度を計算し、
前記各ノードにおける予測確率と前記類似度とから、前記各階層の各ノードに前記正解の姿勢が含まれる確率を計算し、
前記木構造の最下位層において、前記最も確率の大きいノードに含まれる複数の姿勢のうち、前記予測した姿勢に最も合致する姿勢情報を現在の姿勢推定情報として選択する
ことを特徴とする姿勢推定方法。
【請求項１０】
１つまたは複数の撮像手段で人体を撮影した画像から前記人体の現在の姿勢情報をコンピュータによって推定する姿勢推定プログラムにおいて、
予め取得しておいた人体の様々な姿勢に関する姿勢情報と、前記各姿勢のシルエットまたは輪郭の少なくともどちらか一方に関する情報からなる画像特徴情報と、前記姿勢同士の類似度が高いほど下層になるノードを持つ姿勢の木構造とを格納し、かつ、前記各画像特徴情報には前記人体自身によって隠蔽されてしまう前記人体の部位に関する隠蔽情報を付けて格納している姿勢辞書機能と、
前記撮像手段で得られた画像から観測画像特徴情報を抽出する画像特徴抽出機能と、
前記人体の過去の姿勢推定情報を記憶する過去情報格納機能と、
前記過去の姿勢推定情報と前記各部位の隠蔽情報に基づいて、隠蔽が起こっている部位の運動モデルの予測範囲を、隠蔽されていない部位の運動モデルの予測範囲より拡げて設定する姿勢予測機能と、
前記予測範囲と前記過去の姿勢推定情報を用いて、現在の姿勢に対応する正解の姿勢を前記木構造の各階層の各ノードが含むかどうかの予測確率を計算するノード予測機能と、
前記観測画像特徴情報と、前記各ノードを代表する姿勢に関する前記姿勢辞書内に格納されている画像特徴情報との類似度を計算する類似度計算機能と、
前記各ノードにおける予測確率と前記類似度とから、前記各階層の各ノードに前記正解の姿勢が含まれる確率を計算するノード確率計算機能と、
前記木構造の最下位層において、前記最も確率の大きいノードに含まれる複数の姿勢のうち、前記予測した姿勢に最も合致する姿勢情報を現在の姿勢推定情報として選択する姿勢推定機能と、
を実現する
ことを特徴とする姿勢推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラから得られる画像による非接触かつマーカー等を必要としない人体の姿勢推定装置に関する。
【背景技術】
【０００２】
特許文献１では、複数のカメラ画像を用いて手先、足先等の特徴点の三次元位置から人物の姿勢を復元する方法が開示されている。この方法では、三次元位置を求めるため複数のカメラが必要で、一台のカメラで実現することはできない。また、自己遮蔽が起こる様々な姿勢に対して各特徴点の位置を画像から安定に抽出することは難しい。
【０００３】
特許文献２では、複数のカメラ画像から得られる人物のシルエットと、前記複数のカメラと同様な配置の仮想カメラで撮影される様々な姿勢の仮想人物のシルエットをマッチングして姿勢を推定する場合、遺伝的アルゴリズムを用いて最適な姿勢を探索する装置が開示されている。この装置も複数のカメラを必要としている。
【０００４】
非特許文献１に開示されているのは手の姿勢推定手法であるが、１台のカメラで姿勢推定を行うことができる。人体も手も同様に関節構造を持っており人体の姿勢推定にも類似の手法が適用できる。非特許文献１では、画像から得られる特徴（エッジ）と、様々な姿勢の手の三次元モデルから得られる画像特徴（輪郭）とをマッチングして姿勢推定を行う際、予め作成しておいた木構造を用いて探索を行う。この木構造は、関節角度の差が小さい姿勢の集合をノードとし、下位の階層になるほど細かく姿勢が分割されている。この木構造を下層に向かってたどって画像特徴のマッチングを行うことにより姿勢の粗密探索を行うことができ、効率的な姿勢探索を行うことができる。さらに各層の認識結果は時間的な姿勢の連続性（運動モデル）と画像特徴のマッチングの良さから計算される確率分布で表され、下層のマッチングに移るときに確率の低いノードを枝刈りすることによって効率的な探索を行うことができる。カメラの台数が少なく、画像特徴からだけでは一意に姿勢が決められない場合があるが、姿勢の時間的な連続性を考慮することにより、このようなあいまい性も解決することができる。
【０００５】
しかし、特にカメラの台数が少なく、関節角度が異なっていても同じ画像特徴が得られる場合、前記木構造のノードは関節角度の差が小さい姿勢で構成されているため、画像特徴がほぼ同じでも異なるノードに分類され、無駄な探索が行なわれる。例えば、正面向きの人体と背面向きの人体のように輪郭は同じだが向きが１８０度異なる場合、体の後ろに隠れた腕が様々な姿勢をとる場合（セルフオクルージョン）などがある。また、姿勢の時間的連続性を用いているため、隠蔽により画像から観測できない部位の非連続性が考慮されておらず、隠蔽されている部位の隠蔽前の姿勢と隠蔽後の姿勢が大きく異なる場合、正しく姿勢推定できない。例えば、体に隠蔽されていた腕が隠される前と後で全く異なる姿勢をしている場合、腕の姿勢は隠蔽の前後で連続していないので、正しく推定できない。
【特許文献１】特開２０００‐９９７４１公報（５頁、図２）
【特許文献２】特開平９−１９８５０４公報
【非特許文献１】B. Stenger, A. Thayananthan, P. H. S. Torr, and R. Cipolla, 「Filtering Using a Tree-Based Estimator,」 In Proc. 9th IEEE International Conference on Computer Vision, Vol. II, pages 1063-1070, 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記問題点を解決するためになされたものであって、人体の隠蔽された部位を考慮した効率的かつ安定な人体の姿勢推定を可能とする姿勢推定装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、１つまたは複数の撮像手段で人体を撮影した画像から前記人体の現在の姿勢情報を推定する姿勢推定装置において、予め取得しておいた人体の様々な姿勢に関する姿勢情報と、前記各姿勢のシルエットまたは輪郭の少なくともどちらか一方に関する情報からなる画像特徴情報と、前記姿勢同士の類似度が高いほど下層になるノードを持つ姿勢の木構造とを格納し、かつ、前記各画像特徴情報には前記人体自身によって隠蔽されてしまう前記人体の部位に関する隠蔽情報を付けて格納している姿勢辞書と、前記撮像手段で得られた画像から観測画像特徴情報を抽出する画像特徴抽出手段と、前記人体の過去の姿勢推定情報を記憶する過去情報記憶手段と、前記過去の姿勢推定情報と前記各部位の隠蔽情報に基づいて、隠蔽が起こっている部位の運動モデルの予測範囲を、隠蔽されていない部位の運動モデルの予測範囲より拡げて設定する姿勢予測手段と、前記予測範囲と前記過去の姿勢推定情報を用いて、現在の姿勢に対応する正解の姿勢を前記木構造の各階層の各ノードが含むかどうかの予測確率を計算するノード予測手段と、前記観測画像特徴情報と、前記各ノードを代表する姿勢に関する前記姿勢辞書内に格納されている画像特徴情報との類似度を計算する類似度計算手段と、前記各ノードにおける予測確率と前記類似度とから、前記各階層の各ノードに前記正解の姿勢が含まれる確率を計算するノード確率計算手段と、前記木構造の最下位層において、前記最も確率の大きいノードに含まれる複数の姿勢のうち、前記予測した姿勢に最も合致する姿勢情報を現在の姿勢推定情報として選択する姿勢推定手段と、を備えることを特徴とする姿勢推定装置である。
【発明の効果】
【０００８】
本発明によれば、姿勢探索を行うための木構造のノードを画像特徴の差が小さい姿勢で構成し、この木構造を用いて画像特徴のマッチングを行うことにより、画像特徴がほぼ同じ姿勢に対して重複してマッチングを行わないようにすることで効率の良い姿勢探索が可能となる。
【０００９】
本発明の木構造の各ノードは、画像特徴がほぼ同じ姿勢で構成されているため、前記のように関節角度が違っていても得られる画像特徴がほぼ同じ場合には、姿勢の時間的連続性を考慮してこれらの姿勢の中から現在の姿勢を決定する。マッチングを行う各姿勢に対して各部位の隠蔽情報を付加し、隠蔽されている部位に対しては姿勢の時間的連続性の拘束を緩和することにより、隠蔽前後の姿勢の非連続性を許容し、姿勢推定の安定性を向上させることが可能となる。このような構成により、効率性と安定性を両立した画像による非接触かつマーカー等を必要としない人体の姿勢推定装置を実現することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施形態の姿勢推定装置について図１から図９に基づいて説明する。
【００１１】
（１）姿勢推定装置の構成
図１は、本実施形態に係わる人体の姿勢推定装置を表すブロック図である。
【００１２】
姿勢推定装置は、様々な姿勢に関する情報格納している姿勢辞書Ａと、画像を撮影する撮像部１と、撮像部１で取得した画像からシルエットやエッジといった画像特徴を抽出する画像特徴抽出部２と、前のフレームの推定結果及び姿勢辞書Ａの情報を用いて、現在のフレームでとりうる姿勢を予測する姿勢予測部３と、予測姿勢の情報及び画像特徴抽出部２で抽出された画像特徴を用いて、現在の姿勢を姿勢辞書Ａに格納されている姿勢の木構造を利用して推定する木構造姿勢推定部４とを備えている。
【００１３】
この姿勢推定装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することが可能である。すなわち、画像特徴抽出部２、姿勢予測部３、及び木構造姿勢推定部４は、コンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、姿勢推定装置は、前記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して前記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、姿勢辞書Ａ及び画像特徴抽出部２は、前記コンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００１４】
なお、本明細書において、「予測」とは過去の姿勢に関する情報のみから現在の姿勢に関する情報を求めることをいう。また、「推定」とは、この予測した現在の姿勢に関する情報と現在の姿勢が撮影されている画像とから現在の姿勢に関する情報を求めることをいう。
【００１５】
（２）姿勢辞書Ａ
姿勢辞書Ａは、姿勢推定を行うまえに予め作成しておく。姿勢辞書Ａは、様々な姿勢の関節角度データＡ１と、各姿勢に関して姿勢推定を行う人物の体の三次元形状データから得られる隠蔽情報付画像特徴Ａ２と、各姿勢の画像特徴の類似性に基づいて構成される画像特徴木構造Ａ３から構成される。
【００１６】
（３）辞書生成部１０
図２は、姿勢辞書Ａの生成を行う辞書生成部１０の構成を表すブロック図である。
【００１７】
辞書生成部１０における姿勢辞書Ａの作成方法について述べる。
【００１８】
（３−１）姿勢取得部１０１
姿勢取得部１０１は、関節角度データＡ１を収集するものであり、市販のモーションキャプチャシステム等で構成される。
【００１９】
取得した姿勢には重複した姿勢も含まれるので、似ている姿勢を次のように消去する。
【００２０】
関節角度データＡ１は各関節の三次元空間軸周りの３つの回転角ｒｘ，ｒｙ，ｒｚ（オイラー角）の集合で、人体の関節がＮｂ個あるとすると、姿勢ａの姿勢データＸａは、Ｘａ＝｛ｒｘ１，ｒｙ１，ｒｚ１，ｒｘ２，・・・，ｒｚ（Ｎｂ）｝と表すことができる。二つの姿勢データＸａとＸｂの差を、姿勢データの各要素の絶対値差分の最大値、すなわち関節角の各回転角度の絶対値差分の最大値と定義し、姿勢の差がある一定の値より小さい場合に一方の姿勢を消去する。
【００２１】
（３−２）三次元形状取得部１０２
三次元形状取得部１０２は、姿勢推定を行う人物を市販の三次元スキャナ等で計測し、人体表面の形状を多角形の集合で近似して得られる多角形の頂点位置座標データを取得する。
【００２２】
また、前記多角形が多すぎる場合には頂点数を削減し、人体の関節（肘、膝、肩等）位置及び、全ての多角形に関してそれらが属する人体の部位（上腕、頭部、胸部等）を設定して人体の三次元形状モデルを生成する。
【００２３】
これらの作業は、どのような方法を用いても良いが、一般的には市販のコンピュータグラフィック作成用のソフトウェアを用いて手作業で行う。頂点の削減については、等間隔に頂点を間引く、表面形状曲率が小さい部分の頂点を多く間引等の方法で自動化することも可能である。また、前記のように実際に姿勢推定を行う人物でなくても、標準的な体型の三次元形状モデルを複数用意しておき、推定を行う人物の体型に最も似ている三次元形状モデルを選択しても良い。
【００２４】
（３−３）三次元形状変形部１０３
三次元形状変形部１０３は、姿勢取得部１０１で取得した各姿勢の関節角度を、三次元形状取得部１０２で生成した人体の三次元形状モデルの各関節に設定することにより、三次元形状モデルを構成する多角形の頂点位置を変化させて、三次元形状モデルを各姿勢に変形する。
【００２５】
（３−４）仮想撮像部１０４
仮想撮像部１０４は、撮像部１と同じカメラパラメータを持ったコンピュータ内に構成した仮想のカメラで、三次元形状変形部１０３で各姿勢に変形した三次元形状モデルを構成する多角形をそれらの隠蔽関係も考慮して画像平面に投影することにより、各姿勢をもった三次元形状モデルの画像への投影像を生成する。
【００２６】
多角形を画像に投影するとき、図３のように各多角形の属する人体の部位のインデックス番号を画素値とし、部位インデックス付投影画像を生成する。
【００２７】
（３−５）画像特徴抽出部１０５
画像特徴抽出部１０５では、仮想撮像部１０４で生成した部位インデックス付投影画像から、画像特徴としてシルエットと輪郭を抽出し、これら「モデルシルエット」及び「モデル輪郭」とする。これらの画像特徴は姿勢の関節角度データと関連付けて姿勢辞書Ａに格納する。
【００２８】
（３−５−１）モデルシルエット
図４のようにモデルシルエットは、いづれかの部位インデックス番号を画素値として持っている画素の集合である。シルエットに含まれる全ての画素の位置を姿勢辞書Ａに記憶すると姿勢辞書Ａの容量が大きくなるため、各ｙ座標についてシルエットのｘ方向の始点と終点を組として、これらのｘ座標値のみ記憶しておくことにより辞書の容量を抑えることができる。
【００２９】
図４の場合、ｙ座標値ｙｎでは、シルエットの始点と終点の組は３組あり、（ｘｓ１，ｘｅ１），（ｘｓ２，ｘｅ２），（ｘｓ３，ｘｅ３）をモデルシルエット情報として姿勢辞書Ａに格納する。
【００３０】
（３−５−２）モデル輪郭
図５のようにモデル輪郭は、部位インデックス付投影画像の部位インデックスが割り当てられている画素が、部位インデックスが割り当てられていない画素に隣接している場合（図５の太実線）、もしくは連結していない部位のインデックス番号をもつ画素が隣接している場合（図５の太点線）に輪郭となり、そのような画素の集合をモデル輪郭として姿勢辞書Ａに格納する。
【００３１】
（３−６）隠蔽検出部１０６
隠蔽検出部１０６は、部位インデックス画像を用いて各部位毎の面積（画素数）を求め、面積が０もしくは閾値以下の部位を隠蔽部位として抽出する。
【００３２】
姿勢辞書Ａに格納するときには、三次元形状モデルの部位の数だけフラグを用意し、隠蔽部位のフラグを立てる。これらのフラグを各姿勢の関節角度データと関連付けて姿勢辞書Ａに格納する。
【００３３】
（３−７）木構造生成部１０７
木構造生成部１０７では、画像特徴抽出部１０５で抽出した画像特徴に基づいて定義される姿勢間の画像特徴距離に基づいて、下層に行くほどノード間の画像特徴距離（すなわち、類似度）が小さくなるように姿勢の木構造を生成する。
【００３４】
ある姿勢ａと姿勢ｂの画像特徴距離ｄ（ａ，ｂ）は、画像特徴抽出部１０５で抽出した輪郭情報に基づいて次のように計算する。
【００３５】
姿勢ａの輪郭上に複数の評価点Ｒａを設定する。評価点は、輪郭上全ての画素Ｃａで構成してもよいし、適当な間隔で間引いて構成してもよい。これら評価点の各々ｐａについて、姿勢ｂの輪郭Ｃｂ上の点ｐｂの中で最も近い点までの距離を計算し、全ての評価点に関する平均値を求め、この平均値を姿勢ａと姿勢ｂの画像特徴距離とする。
【数１】
2007310707.tif 000003
【００３６】
ここでＮＣａはＲａに含まれる画素数である。この画像特徴距離は、二つの姿勢が同じ場合０、姿勢ａと姿勢ｂの画像への投影像の違いが大きくなると、この距離も大きくなる。
【００３７】
次に図６を用いてこの画像間距離を用いて木構造を生成する手順について述べる。
【００３８】
（３−７−１）最上位層生成ステップ
木構造の根にあたる最上位階層を現在の層とし、１つのノードを生成する。このノードには姿勢取得部１０１で取得した全ての姿勢を登録する。
【００３９】
（３−７−２）下層移動ステップ
現在の層を一つ下の階層に移す。
【００４０】
（３−７−３）終了ステップ
現在の層が規定の最大階層数を超えていれば、木構造の生成を終了する。現在の層の上位層の全てのノード（親ノードと呼ぶ）について、以下を繰り返す。
【００４１】
（３−７−４）第一姿勢選択ステップ
親ノードに登録されている姿勢（親姿勢と呼ぶ）の中の任意の姿勢（例えば最初に登録されている姿勢）と残りの姿勢との間の画像特徴距離を計算し、画像特徴距離のヒストグラムを作成する。ヒストグラムの最頻値に最も近い姿勢を第一の選択姿勢とする。
【００４２】
（３−７−５）姿勢選択ステップ
まだ、選択姿勢となっていない親姿勢と、現在までに選択されている選択姿勢との画像特徴距離の最小値を計算し、選択姿勢最小距離と呼ぶ。選択姿勢最小距離が最も大きい姿勢を新しい選択姿勢とする。
【００４３】
（３−７−６）姿勢選択終了ステップ
階層毎に決められた閾値を上回る選択姿勢最小距離がなくなれば、姿勢選択ステップを終了する。この閾値を、下層にいくほど小さくすることにより、下層に行くに従って細かく分割された木構造を生成することができる。
【００４４】
（３−７−７）ノード生成ステップ
前記選択姿勢それぞれについてノードを生成し、選択姿勢をこのノードに登録する。また、生成したノードを親ノードに接続する。さらに、選択姿勢として選ばれていない親姿勢を、最も画像特徴距離が小さい選択姿勢が属するノードに登録する。
【００４５】
（３−７−８）終了制御ステップ
全ての親ノードについて処理が終わっていなければ、次の親ノードを選択して、第一姿勢選択ステップに戻る。終わっていれば、下層移動ステップに戻る。
【００４６】
（４）姿勢辞書Ａのデータ構造
次に、図７を用いて姿勢辞書Ａのデータ構造について説明する。
【００４７】
姿勢取得部１０１で取得したそれぞれの姿勢について、関節角度データＡ１、画像特徴抽出部１０５で抽出したモデルシルエット、モデル輪郭、隠蔽検出部１０６で取得した隠蔽フラグが格納される。モデルシルエット、モデル輪郭、隠蔽フラグを合わせて隠蔽情報付画像特徴Ａ２とする。各姿勢にはアドレスが割り振られ、このアドレスを参照することで全てのデータにアクセスすることができる。
【００４８】
木構造の各ノードにもアドレスが割り振られ、各ノードには、そのノードに登録されている姿勢のアドレス、上位階層、下位階層の接続されているノード（それぞれ親ノード、子ノードと呼ぶ）のアドレスが格納される。姿勢辞書Ａは、全てのノードに関するこれらのデータの集合を画像特徴木構造として格納している。
【００４９】
（５）姿勢推定方法
姿勢辞書Ａを用いて、カメラから得られた画像から姿勢推定を行う方法について述べる。
【００５０】
（５−１）撮像部１
図１の撮像部１は、１台のカメラから構成され、映像を撮影して、画像特徴抽出部２に送信する。
【００５１】
（５−２）画像特徴抽出部２
画像特徴抽出部２は、図８に示すように、撮像部１で得られた各画像について、シルエット及びエッジを検出して、それぞれ観測シルエット、観測エッジとする。
【００５２】
観測シルエット抽出部２１では、姿勢推定を行う人物が映っていない背景画像を取得しておき、現在のフレームの画像との輝度値もしくは色の差分を計算する。観測シルエット抽出部２１は、差分値が閾値より大きい画素に画素値１を、それ以外の画素に画素値０を割り当てることにより観測シルエットを生成する。なお、上記説明は、最も基本的な背景差分法であるが、他の背景差分手法を用いてもよい。
【００５３】
観測エッジ抽出部２２は、現在のフレームの画像に対してＳｏｂｅｌオペレータに代表される微分オペレータを適用することにより輝度値またはカラー画像の各カラーバンドの値の勾配を計算し、勾配が極大値となる画素の集合を観測エッジとして検出する。
【００５４】
（５−３）姿勢予測部３
姿勢予測部３は、１フレーム前の姿勢推定結果から運動モデルを用いて現在のフレームの姿勢を予測する。
【００５５】
姿勢予測は、確率密度分布の形で表すことができ、１フレーム前の姿勢（関節角度）Ｘｔ−１が、現在のフレームで姿勢Ｘｔとなる状態遷移確率密度はｐ（Ｘｔ｜Ｘｔ−１）と書くことができる。運動モデルを決めることはこの確率密度分布を決定することに相当する。最も単純な運動モデルは、前のフレームの姿勢を平均値と予め定めておいた一定の分散協分散行列をもつ正規分布である。
【数２】
2007310707.tif 000004
【００５６】
ここで、Ｎ（）は正規分布を表す。すなわち、運動モデルは予測する姿勢の代表値を決定するパラメータと、前記予測する姿勢としてとりうる範囲を決定することに関係するパラメータを有している。数２の場合には代表値を決定するパラメータは、Ｘｔ−１の係数である定数１である。前記予測する姿勢としてとりうる範囲を決定することに関係するパラメータは、共分散行列分散Σである。
【００５７】
他にも、平均値を前のフレームの速度を一定として線形予測する方法や、加速度一定として予測する方法が考えられる。いづれの運動モデルにしても、１フレーム前の姿勢と大きく変化しないという仮定が基本となっている。
【００５８】
分散は、予測の確かさを表し、分散が大きくなるほど現在のフレームでは様々な姿勢が予測姿勢となる。ここで、共分散行列分散Σを一定とすると、部位の隠蔽が生じたときに、次のような問題が起こる。
【００５９】
現在の姿勢は予測（事前確率）と、画像から得られる観測との適合度（尤度）を考慮して決定されるが、ある部位が他の部位によって隠蔽されて撮像部１から見えなくなっている間、画像からは観測されないので運動モデルに基づく予測によって現在のフレームの姿勢が決定される。運動モデルの分散が一定の場合、隠蔽が解消されて画像で観測できるようになったとき、運動モデルによる予測の範囲を外れていると、そのような姿勢は現在の姿勢の予測として非常に確率が低くなる。その結果、いくら画像から得られる観測との適合度が高くても現在のフレームの姿勢とはならなくなり、姿勢推定に失敗する。
【００６０】
この問題を、隠蔽が起こっている部位の分散のみを大きくすることによって解決する。
【００６１】
姿勢辞書Ａ中の各姿勢には、各部位の隠蔽フラグが記憶されているので、１フレーム前の姿勢Ｘｔ−１に関する隠蔽フラグを使用して隠蔽している部位を特定し、隠蔽されている部位の関節角度の予測に関しては、隠蔽されていない部位より大きい分散を使用する。また、隠蔽されている部位の隠蔽時間の長さに応じて比例して次第に分散が大きくなるような、可変の分散を設定しても良い。例えば、分散の上限値を設定しておき、その上限値に達するまでは、分散を隠蔽時間の長さに比例して大きくすることによって、前記時間可変の分散となる。
【００６２】
（５−４）木構造姿勢推定部４
木構造姿勢推定部４は、姿勢予測部３による姿勢の予測結果と、画像特徴抽出部２によって抽出された画像特徴である観測シルエット及び観測エッジを用いて、姿勢辞書Ａの木構造を参照しながら現在の姿勢を推定する。木構造を用いた姿勢推定手法の詳細は、非特許文献１に述べられているが、以下では概要を述べる。
【００６３】
図９は、木構造姿勢推定部４の構成を示している。
【００６４】
姿勢辞書Ａに格納されている木構造の各ノードは画像特徴が近い複数の姿勢から構成されている。あるノードに属する他の姿勢との画像特徴距離の和が最も小さくなる姿勢を代表姿勢とし、代表姿勢の画像特徴をそのノードの代表画像特徴とする。
【００６５】
（５−４−１）計算ノード削減部４１
計算ノード削減部４１では、まず姿勢予測部３の姿勢予測と前のフレームの推定結果を用いて、各ノードの代表画像特徴が現在のフレームの画像特徴として観測される事前確率を求める。この事前確率が十分小さければ、以下の計算を行わないよう設定する。
【００６６】
さらに、一つ上の階層において現在フレームの姿勢推定結果の確率（姿勢推定部４３において計算される）が得られている場合には、この確率が十分小さいノードに接続されている現在の階層のノードに関して、以下の計算を行わないよう設定する。
【００６７】
（５−４−２）類似度計算部４２
類似度計算部４２は、各ノードの代表画像特徴と、画像特徴抽出部２の観測画像特徴の画像特徴距離を計算する。
【００６８】
認識対象人物の三次元空間内の平行移動を認識するため、前のフレームの画像上の推定位置及びスケール近傍の様々な位置及びスケールに対して画像特徴距離を計算する。
【００６９】
画像上の位置の移動は、画像平面に平行な方向の三次元空間内の移動、スケールの変化は、光軸方向の平行移動に対応する。
【００７０】
輪郭の場合には、木構造生成部１０７で示した画像特徴距離を用いることができる。さらに、輪郭をその方向に基づいて複数のバンドに分割（例えば水平方向、垂直方向、右斜め上方向、左斜め上方向の４バンドに分割）し、それぞれのバンドに対して前記輪郭距離を計算する方法もよく用いられる。
【００７１】
シルエットの場合には、モデルシルエットと観測シルエットの各ピクセルに関して排他的論理和を計算し、１か０をとる排他的論理和の値の和をシルエット距離とする。この他にも、前記の排他的論理和の値の和を計算する際、観測シルエットの中心に近くなるに従って重みを付けて和をとる方法もある。
【００７２】
これらのシルエット距離及び輪郭距離から、尤度モデルとしてガウス分布を仮定して尤度（あるノードを仮定した場合のカメラから得られる観測のもっともらしさ）が計算される。
【００７３】
本装置の処理全体を通して、類似計算部４２の処理は多数のノードに対して実行する必要があり最も計算量が多くなる。また、本装置のように、姿勢辞書Ａに格納されている姿勢辞書Ａを画像特徴距離に基づいて構成することにより、画像特徴が似ている姿勢は関節角度が大きく異なっていても同一のノードに登録され、それらに対して別々に類似度計算を行われることがなくなるため、計算量を削減して効率的に探索を行うことができる。
【００７４】
（５−４−３）姿勢推定部４３
姿勢推定部４３では、まず各ノードの事前確率と尤度からベイズ推定によって、現在の画像特徴が各ノードの代表画像特徴である確率が求められる。
【００７５】
この確率の分布そのものが現在の階層の推定結果となるが、最下層の場合には現在の姿勢を一意に定めなければならない。この場合には、確率が最も高いノードを選択する。
【００７６】
さらにノードが複数の姿勢を含む場合には、前のフレームの推定姿勢との間で状態遷移確率を計算し最も遷移確率が高い姿勢を現在の姿勢として出力する。
【００７７】
姿勢予測部２で、隠蔽が起こっている部位を考慮して予測を行っているため、隠蔽の前後で大きく異なる姿勢となっていても、事前確率が小さくなりすぎることを防ぎ、隠蔽が起こっても安定に姿勢推定を行うことができる。
【００７８】
（５−４−４）階層更新部４４
最後に、階層更新部４４では、現在の階層が最下層に達していなければ一つ下の階層に処理を移し、最下層に達していれば姿勢推定を終了する。
【００７９】
以上のように本装置を構成することにより、人体の姿勢推定を効率的かつ安定に行うことが可能となる。
【００８０】
（６）変更例１
カメラの台数は、１台に限られるものではなく、複数台のカメラを用いてもよい。
【００８１】
この場合、撮像部１及び仮想撮像部１０４は複数のカメラで構成される。それにともなって、画像特徴抽出部２、画像特徴抽出部１０５は各カメラ画像に対して処理を行い、隠蔽検出部１０６も全てのカメラから隠蔽されている部位に対して隠蔽フラグをセットする。
【００８２】
また、木構造生成部１０５や類似度計算部４２で計算する画像特徴距離（シルエット距離や輪郭距離）も各カメラ画像に対して計算し、それらの平均値を画像特徴距離とする。姿勢辞書Ａに登録するシルエット情報や輪郭情報、及び観測シルエット抽出部２１の背景差分処理で使用する背景情報も各カメラ画像について別々に保持する。
【００８３】
（７）変更例２
木構造を用いて探索を行う際、上位階層に関しては荒い解像度、下位階層では高い解像度を用いて類似度を計算しても良い。
【００８４】
このような解像度操作することで、上位階層での類似度計算の計算コストを削減して探索効率を上げることができる。
【００８５】
さらに上位階層ではノード間の画像特徴距離が大きいため、高い解像度のまま類似度計算を行って探索すると局所最適解に落ち込む危険性が高くなる。この点についても前記のような解像度操作を行うことは有効に働く。
【００８６】
複数の解像度を用いる場合、画像特徴抽出部２、画像特徴抽出部１０５において、用いる全ての解像度に関する画像特徴を求める。姿勢辞書Ａにも全ての解像度に関するシルエット情報、輪郭情報を登録する。階層更新部４４で、次の階層の処理に移るときに次の階層で用いる解像度を選択する。
【００８７】
（８）変更例３
上記実施形態では画像特徴としてシルエットと輪郭を用いたが、シルエットのみ、輪郭のみを用いることもできる。
【００８８】
シルエットのみを用いる場合は、画像特徴抽出部１０５でシルエットを抽出し、木構造生成部１０７ではシルエット距離に基づいて木構造を生成する。
【００８９】
また、輪郭は、背景との境界（図５の太い実線）と他の部位との境界（図５の太い点線）の２種類に分けられるが、このうち背景との境界はシルエットと重複した情報を含むので、類似度計算部４２において、他の部位との境界のみを用いて輪郭距離を計算しても良い。
【００９０】
（９）その他の変更例
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００９１】
【図１】本発明の実施形態に係わる画像による人体の姿勢推定装置の構成を示すブロック図である。
【図２】辞書生成部の構成を表すブロック図である。
【図３】部位インデックス投影画像の説明図である。
【図４】モデルシルエットの姿勢辞書Ａへの登録情報の説明図である。
【図５】モデル輪郭の説明図である。
【図６】木構造生成部の処理内容を示すフローチャートである。
【図７】姿勢辞書Ａに登録されるデータの格納方法に関する説明図である。
【図８】画像特徴抽出部２の構成を示すブロック図である。
【図９】木構造姿勢推定部の構成を示すブロック図である。
【符号の説明】
【００９２】
１    撮像部
２    画像特徴抽出部
３    姿勢予測部
４    木構造姿勢推定部
１０    辞書生成部
Ａ    姿勢辞書
【図１】
2007310707.tif 000005
【図２】
2007310707.tif 000006
【図３】
2007310707.tif 000007
【図４】
2007310707.tif 000008
【図５】
2007310707.tif 000009
【図６】
2007310707.tif 000010
【図７】
2007310707.tif 000011
【図８】
2007310707.tif 000012
【図９】
2007310707.tif 000013