(57)【要約】【課題】限られた数の既知の姿勢情報を用いて、物体の姿勢をより正確に推定できるようにする。【解決手段】対象物領域抽出部１０２は、入力された距離画像から人物領域情報を抽出し、姿勢選択部１０３は、前記抽出された人物領域情報と比較するための姿勢情報を、記録部１０６に記録されている既知の姿勢情報から複数選択する。次に、部分姿勢選択部１０４は、抽出した人物領域の点群と、選択された姿勢情報における各部位の円筒モデルとの整合性を判断し、所定値以上の整合性を示す部分姿勢を選択する。姿勢統合部１０５はこれらの部分姿勢情報を統合して人物姿勢情報として出力する。【選択図】図１
2015028702.tif 000002
【特許請求の範囲】
【請求項１】
入力された距離画像から物体の領域情報を抽出する抽出手段と、
前記物体に関する複数の姿勢情報を記憶する記憶手段と、
前記抽出手段によって抽出された物体の領域情報と比較するための姿勢情報を、前記記憶手段に記憶されている姿勢情報から複数選択する選択手段と、
前記選択手段によって選択された姿勢情報について、前記物体の領域を構成する部位ごとに前記物体の領域情報との整合性を評価し、前記整合性が所定値以上となる部位の姿勢に係る部分姿勢情報を前記選択された姿勢情報から取得する評価手段と、
前記評価手段によって取得された部分姿勢情報を統合して前記物体の姿勢を推定する統合手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記評価手段は、前記姿勢情報に基づく物体のモデルの各部位と、前記距離画像の前記物体の領域情報に基づく３次元の点群とを対応付けることにより整合性を評価することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記評価手段は、前記姿勢情報に基づいたモデルを平面に投影した投影モデルと、前記物体の領域情報とを対応付けることにより整合性を評価することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
入力された距離画像から物体の領域情報を抽出する抽出手段と、
前記物体に関する複数の姿勢情報を記憶する記憶手段と、
前記抽出手段によって抽出された物体の領域情報と比較するための姿勢情報を、前記記憶手段に記憶されている姿勢情報から複数選択する選択手段と、
前記選択手段によって選択された姿勢情報の中から基準姿勢情報を設定するとともに、前記基準姿勢情報において前記物体の領域を構成する部位の中から基準部位を設定する設定手段と、
前記設定手段によって設定された基準部位の姿勢に係る基準部位情報を取得するとともに、前記選択手段によって選択された姿勢情報について、前記基準部位を除いた部位に対して前記物体の領域情報との整合性を評価し、前記整合性が所定値以上となる部位の姿勢に係る部分姿勢情報を取得する評価手段と、
前記評価手段によって取得された基準部位情報および部分姿勢情報を統合して前記物体の姿勢を推定する統合手段と、
を有することを特徴とする情報処理装置。
【請求項５】
前記評価手段は、前記基準部位との親和性が所定値以上である部分姿勢情報を取得することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記記憶手段は、前記複数の姿勢情報と対応付けた姿勢パラメータを記憶し、
前記評価手段は、前記基準部位情報に関する姿勢パラメータと前記部分姿勢情報に関する姿勢パラメータとの親和性を評価することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記姿勢パラメータには、前記姿勢情報の物体のサイズ、前記姿勢情報のカテゴリ、または前記姿勢情報のカメラに対する向きの情報を含むことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記評価手段は、前記基準部位と前記部分姿勢情報に係る部位との接続点に基づいて親和性を評価することを特徴とする請求項５〜７の何れか１項に記載の情報処理装置。
【請求項９】
前記設定手段は、前記基準部位を前記物体の特定の部位に設定することを特徴とする請求項４〜８の何れか１項に記載の情報処理装置。
【請求項１０】
前記設定手段は、前記選択手段によって選択された姿勢情報の中から複数の基準姿勢情報を設定し、
前記評価手段は、前記統合手段によって統合される基準部位情報および部分姿勢情報の組み合わせを評価して、最も評価値の高い組み合わせを決定することを特徴とする請求項４に記載の情報処理装置。
【請求項１１】
物体に関する複数の姿勢情報を記憶する情報処理装置の情報処理方法であって、
入力された距離画像から前記物体の領域情報を抽出する抽出工程と、
前記抽出工程において抽出された物体の領域情報と比較するための姿勢情報を、前記情報処理装置に記憶されている姿勢情報から複数選択する選択工程と、
前記選択工程において選択された姿勢情報について、前記物体の領域を構成する部位ごとに前記物体の領域情報との整合性を評価し、前記整合性が所定値以上となる部位の姿勢に係る部分姿勢情報を前記選択された姿勢情報から取得する評価工程と、
前記評価工程において取得された部分姿勢情報を統合して前記物体の姿勢を推定する統合工程と、
を有することを特徴とする情報処理方法。
【請求項１２】
物体に関する複数の姿勢情報を記憶する情報処理装置の情報処理方法であって、
入力された距離画像から前記物体の領域情報を抽出する抽出工程と、
前記抽出工程において抽出された物体の領域情報と比較するための姿勢情報を、前記情報処理装置に記憶されている姿勢情報から複数選択する選択工程と、
前記選択工程において選択された姿勢情報の中から基準姿勢情報を設定するとともに、前記基準姿勢情報において前記物体の領域を構成する部位の中から基準部位を設定する設定工程と、
前記設定工程において設定された基準部位の姿勢に係る基準部位情報を取得するとともに、前記選択工程において選択された姿勢情報について、前記基準部位を除いた部位に対して前記物体の領域情報との整合性を評価し、前記整合性が所定値以上となる部位の姿勢に係る部分姿勢情報を取得する評価工程と、
前記評価工程において取得された基準部位情報および部分姿勢情報を統合して前記物体の姿勢を推定する統合工程と、
を有することを特徴とする情報処理方法。
【請求項１３】
物体に関する複数の姿勢情報を記憶する情報処理装置を制御するためのプログラムであって、
入力された距離画像から前記物体の領域情報を抽出する抽出工程と、
前記抽出工程において抽出された物体の領域情報と比較するための姿勢情報を、前記情報処理装置に記憶されている姿勢情報から複数選択する選択工程と、
前記選択工程において選択された姿勢情報について、前記物体の領域を構成する部位ごとに前記物体の領域情報との整合性を評価し、前記整合性が所定値以上となる部位の姿勢に係る部分姿勢情報を前記選択された姿勢情報から取得する評価工程と、
前記評価工程において取得された部分姿勢情報を統合して前記物体の姿勢を推定する統合工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
物体に関する複数の姿勢情報を記憶する情報処理装置を制御するためのプログラムであって、
入力された距離画像から前記物体の領域情報を抽出する抽出工程と、
前記抽出工程において抽出された物体の領域情報と比較するための姿勢情報を、前記情報処理装置に記憶されている姿勢情報から複数選択する選択工程と、
前記選択工程において選択された姿勢情報の中から基準姿勢情報を設定するとともに、前記基準姿勢情報において前記物体の領域を構成する部位の中から基準部位を設定する設定工程と、
前記設定工程において設定された基準部位の姿勢に係る基準部位情報を取得するとともに、前記選択工程において選択された姿勢情報について、前記基準部位を除いた部位に対して前記物体の領域情報との整合性を評価し、前記整合性が所定値以上となる部位の姿勢に係る部分姿勢情報を取得する評価工程と、
前記評価工程において取得された基準部位情報および部分姿勢情報を統合して前記物体の姿勢を推定する統合工程と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、物体の姿勢を推定するために用いて好適な情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
画像中の人物の姿勢を推定する方法として、例えば非特許文献１に記載されているような方法が知られている。非特許文献１に記載の方法では、入力画像の人物と最も近い姿勢を、既知の姿勢の中から選択することにより画像中の人物の姿勢を推定している。より具体的には、入力画像の人物領域シルエットを決定木により分類して、決定木末端に記録された既知姿勢を出力している。非特許文献１に記載されているような既知の姿勢から出力姿勢を選択する方法は、既存の姿勢から人物姿勢を選択するため、人物として正しい姿勢を出力することができるという利点がある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Okada, Ryuzo, Stenger, Bjorn, "A Single Camera Motion Capture System for Human-Computer Interaction", IEICE Transactions on Information and Systems, Volume E91.D, Issue 7, pp. 1855-1862 (2010).
【非特許文献２】Mao Ye, Xianwang Wang, Ruigang Yang, Liu Ren, and Marc Pollefeys, "Accurate 3D pose estimation from a single depth image," IEEE International Conference on Computer Vision, 2011, pp. 731-738
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載された方法のように、既知の姿勢を姿勢推定結果として出力する方法では、出力する姿勢が限られてしまうという問題がある。このような手法では、既知の姿勢と異なる姿勢を出力することができず、既知の姿勢の中で最も近い姿勢を出力することとなる。したがって、推定した姿勢の一部（例えば、腕や脚）が人物領域から明らかに外れた姿勢が出力されてしまう場合もある。
【０００５】
そこで、この問題を解決する単純な方法としては、予め準備する既知の姿勢の数を増加させることが考えられる。しかしながら、起こりうる全ての姿勢を既知の姿勢として準備すると、辞書によるメモリ使用量が膨大になるという問題が発生する。また、起こりうる全ての人物姿勢の情報を準備する作業そのものも非常に困難である。
【０００６】
本発明は前述の問題点に鑑み、限られた数の既知の姿勢情報を用いて、物体の姿勢をより正確に推定できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、入力された距離画像から物体の領域情報を抽出する抽出手段と、前記物体に関する複数の姿勢情報を記憶する記憶手段と、前記抽出手段によって抽出された物体の領域情報と比較するための姿勢情報を、前記記憶手段に記憶されている姿勢情報から複数選択する選択手段と、前記選択手段によって選択された姿勢情報について、前記物体の領域を構成する部位ごとに前記物体の領域情報との整合性を評価し、前記整合性が所定値以上となる部位の姿勢に係る部分姿勢情報を前記選択された姿勢情報から取得する評価手段と、前記評価手段によって取得された部分姿勢情報を統合して前記物体の姿勢を推定する統合手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、既知の姿勢情報の種類を増大させないようにして、物体の姿勢をより正確に推定することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る情報処理装置の構成例を示すブロック図である。
【図２】第１の実施形態に係る情報処理装置による基本的な処理手順の一例を示すフローチャートである。
【図３】抽出した人体領域に対応する姿勢情報を選択する処理を説明するための図である。
【図４】既知の姿勢情報の関節位置から作成する人物の３次元モデルの一例を示す図である。
【図５】距離画像の人物領域を表す３次元の点群に姿勢情報から作成された人物の３次元モデルを当てはめた例を示す図である。
【図６】距離画像の人物領域に姿勢情報の関節位置または投影人物モデルを重ねた例を示す図である。
【図７】第１の実施形態において、部分姿勢選択部による詳細な処理手順の一例を示すフローチャートである。
【図８】第２および第３の実施形態に係る情報処理装置の構成例を示すブロック図である。
【図９】第２の実施形態に係る情報処理装置による基本的な処理手順の一例を示すフローチャートである。
【図１０】基準部位情報を選択する方法を説明するための図である。
【図１１】基準部位情報と部分姿勢情報とを統合した例を示す図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下の実施形態では、対象物（物体）を人物として説明する。また、入力する画像は距離画像として説明する。ただし、本発明の対象物および画像は、これらに限定されるものではない。
【００１１】
また、以下の説明では、人物の姿勢、人物の部位、および部分姿勢を以下のように定義する。まず、人物の姿勢は３次元空間での各関節の位置で表現されるものとする。この関節位置の情報を姿勢情報と呼ぶ。次に、人物の部位は、人物の中で部分的に剛体と見なすことができる部分とし、例えば、頭部、胴体、上腕、前腕、上腿、下腿などである。また、ある人物の部位の位置姿勢を表す姿勢情報の一部の情報を部位情報と呼ぶ。次に、部分姿勢は、人物の姿勢の部分的な姿勢を示し、例えば、上腕と前腕とを含む腕の姿勢である。部分姿勢には、単独の人物の部位（例えば、前腕のみ）の位置姿勢を含むものとする。さらに部分姿勢の位置姿勢を表現する関節位置座標の情報を部分姿勢情報と呼ぶ。
【００１２】
なお、姿勢情報の表現方法は関節位置座標に限らず、例えば、基準関節の３次元位置座標と、基準関節からの角度とで他の関節位置を表現する方法などにより表してもよい。また、人物の各部位の剛体モデルの位置姿勢を表す情報（例えば、中心座標と回転情報として位置姿勢を表す）などを用いてもよく、本実施形態の処理を実行できれば、どのような情報としてもよい。
【００１３】
＜全体構成＞
図１は、本実施形態に係る情報処理装置１００の構成例を示すブロック図である。本実施形態の情報処理装置１００は、ネットワークまたは各種記録媒体を介して取得したソフトウェア（プログラム）を、ＣＰＵ、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機によって実行することにより実現できる。なお、制御用の計算機については、汎用の計算機を用いてもよく、本発明のソフトウェアに最適に設計されたハードウェアを用いてもよい。
【００１４】
図２は、本実施形態に係る情報処理装置１００による基本的な処理手順の一例を示すフローチャートである。以下、図１及び図２を参照しながら、本実施形態の基本的な処理を説明する。なお、詳細な処理及び内容については、それぞれ後述する。
【００１５】
図１に示す画像入力部１０１は、姿勢を推定する対象となる人物が写った距離画像を入力する構成であり、例えば図２のステップＳ２０１の処理を実行する。対象物領域抽出部１０２は、入力された距離画像から人物領域情報を抽出する構成であり、例えば図２のステップＳ２０２の処理を実行する。記録部１０６には、複数の既知の姿勢情報が格納されており、姿勢選択部１０３は、人物領域の人物姿勢に近いと推定される姿勢を、記録部１０６に格納された既知の姿勢情報から複数選択する。このように、例えば図２のステップＳ２０３の処理を実行する。
【００１６】
部分姿勢選択部１０４は、複数選択した既知の姿勢情報と人物領域情報とを比較して、既知の姿勢情報と人物領域情報とが一致している部分を部分姿勢情報として選択する構成であり、例えば図２のステップＳ２０４の処理を実行する。姿勢統合部１０５は、部分姿勢選択部１０４で選択した部分姿勢情報を統合して人物姿勢情報を生成し、姿勢推定結果として出力する構成であり、例えば図２のステップＳ２０５の処理を実行する。
【００１７】
以下、各構成による処理について詳細に説明する。
【００１８】
＜画像入力部１０１＞
画像入力部１０１に入力される距離画像は、画像中の各画素に奥行き方向の距離情報が付加された画像である。距離画像は、照射した光の到達時間を基に距離を計算する方式や、パターン光を投影して、パターンの変形から距離を計算する方法などにより取得することができる。画像入力部１０１は、これらの手法によって距離画像を撮影するカメラから距離画像を取得する。また、不図示の記録装置に保存された撮影済みの距離画像を、画像入力部１０１に順次入力するようにしてもよい。
【００１９】
＜対象物領域抽出部１０２＞
次に、対象物領域抽出部１０２は、入力した距離画像から人物の画像領域を抽出し、この画像領域を表す座標などの情報を人物領域情報とする。距離画像から人物領域情報を抽出する処理は、以下のような方法で実施できる。
【００２０】
まず、距離画像に対して、背景差分処理や動体領域抽出を行うことにより、人物の候補となる画素のみを抽出する。次に、前景の候補となる画素の距離値をカメラ座標系（３次元座標系）の点群へ変換する。３次元の点群の固まりの中心位置を求め、中心位置周辺の点群の中から、人物サイズに収まる範囲に存在する点を人物領域とする。人物領域とラベル付けされた点群を再び画像平面に投影することにより、人物領域が抽出された距離画像を取得することができる。以下の実施形態では、この抽出された人物領域の距離画像が人物領域情報となる。人物領域情報の抽出方法は、これに限らず公知の手法を用いればよい。例えば、上記に加えて、さらに床面を推定する処理を加え、人物領域をより正確に分離するようにしてもよい。
【００２１】
＜記録部１０６＞
次に、記録部１０６に記録されている姿勢情報について説明する。図３に示すように、記録部１０６には、ｍ個の姿勢情報３０１〜３０ｍが格納されている。本実施形態における姿勢情報は、人物の手足や頭などの人物部位の位置関係を表すことができれば、どのような形態で姿勢情報を保持してもよい。姿勢情報の形態としては、例えば人物の主要な部位の座標であり、人物の主要な部位とは、各関節位置や、頭部や手足などの末端部位である。以下、これらをまとめて関節位置と呼ぶ。
【００２２】
図３に示す姿勢情報３０１〜３０ｍは、頭部、首、肩、胸、腰、肘、手首、股関節、膝、足首などの関節位置に係る情報である。記録部１０６に記録される関節位置に係る情報は、これに限らず、さらに手先や足先などを含んでもよい。本実施形態では、既知の姿勢情報として、上記の関節位置の情報が、以下の式（１）に示すような腰位置を基準とした３次元情報ＰHとして記録されているものとする。
【００２３】
【数１】
2015028702.tif 000003
【００２４】
ここで、（ξxj，ξyj，ξzj）（ｊ＝０，１，・・・，Ｊ）はｊ番目の関節の３次元位置の座標を表している。例えば座標（ξx0，ξy0，ξz0）を腰位置の座標とすると、ξx0＝０、ξy0＝０、ξz0＝０であり、その他の関節位置は、腰位置を原点とした座標系での位置で表されている。なお、原点とする関節は、腰位置に限定することなく他の関節でもよいが、以下の説明では、腰位置を原点とした３次元情報が記録部１０６に記録されているものとする。
【００２５】
記録部１０６に記録されている既知の姿勢情報として、あらゆる姿勢に対応した姿勢情報を保持していることが理想ではあるが、現実的には離散的あるいは限定的な姿勢数となる。ただし、記録されている姿勢情報は、その部分的な姿勢の組み合わせにより、多くの姿勢を表現できるような姿勢情報であることが望ましい。例えば、ある姿勢を、既知の姿勢情報の上半身と下半身との組み合わせにより表現できるように、既知の姿勢情報が複数種類記録されていることが望ましい。
【００２６】
＜姿勢選択部１０３＞
姿勢選択部１０３は、対象物領域抽出部１０２で抽出した人物領域情報に近い既知の姿勢情報を、記録部１０６から複数選択する。図３に示すように、人物領域３１０に対して、姿勢選択部１０３の処理によって、記録部１０６からｎ個（ｎ＜ｍ）の姿勢情報３２１〜３２ｎを選択する。
【００２７】
まず、記録部１０６には、既知の姿勢情報３０１〜３０ｍとともに、その既知の姿勢情報に合致する距離画像の人物領域情報が記録されているものとする。そして、姿勢選択部１０３は、入力された人物領域情報と既知の姿勢情報に係る人物領域情報とを比較し、誤差が小さい順に既知の姿勢情報をソートする。このとき、人物領域情報を特徴量に変換して比較してもよい。特徴量としては、ＨＯＧ（Histograms of Oriented Gradient）特徴などのグレースケール向け特徴量を、距離画像向けに変更して用いることができる。特徴量を用いた比較を行う場合には、記録部１０６に記録されるべき情報は、既知の姿勢の人物領域の画像特徴量となる。
【００２８】
そして、姿勢選択部１０３は、誤差が小さい既知の姿勢情報を上位から所定数選択する。なお、所定数に限定するのではなく、所定の誤差以下となる複数の姿勢情報を選択して出力してもよい。また、誤差が最小となる最近傍の姿勢情報が、入力された人物領域情報に合致していると判断できる場合（例えば、姿勢情報の誤差が他の姿勢情報に比べて非常に小さい場合）には、以下に説明する省略して、情報処理装置１００の出力結果としてもよい。
【００２９】
人物領域情報に類似する姿勢情報を記録部１０６から選択する方法は、これに限らず他の方法を用いてもよく、例えば、非特許文献１に記載の方法のように、決定木を用いた方法を用いてもよい。決定木を用いる方法では、多数の既知の姿勢情報と人物領域情報との類似性を効率良く探索できるため、処理速度の面において有効な方法である。決定木を用いる場合には、末端ノードに複数の既知の姿勢情報の確率を格納しておくか、または複数の決定木を用いて類似する既知の姿勢情報を探索するなどの手法により、複数の姿勢情報を選択することができる。
【００３０】
効率良く既知の姿勢情報を探索する他の方法として、決定木に限らず、他の近似的近傍探索の方法も利用することができる。近似的近傍探索の方法としては、例えば、ハッシュを用いる方法などがある。さらに、別な手法の例としては、非特許文献２に記載されているような人物領域の点群と予め保存した各姿勢の点群とを比較する手法もある。入力画像の人物と一致する可能性が高い既知の姿勢情報を複数選択することができれば、どのような手法を用いてもよい。
【００３１】
本実施形態においては、既知の姿勢情報を複数の選択する方法としては、例えば、以下のように実施する。各姿勢情報と人物領域情報との誤差や距離値が得られる場合には、所定値以下の誤差や距離値を示す複数の姿勢情報を選択すればよい。一方、各姿勢情報と人物領域情報との関係が確率で得られる場合には、所定の確率以上の姿勢情報を選択すればよい。また、人物領域情報に示す姿勢と一致する可能性が高い上位の既知の姿勢情報を、常に所定の数を選択するようにしてもよい。姿勢選択部１０３は、人物領域の姿勢と一致する可能性が高い既知の姿勢情報を複数出力する。
【００３２】
また、後述する部分姿勢情報の重み付け平均を求めるためには、選択した既知の姿勢情報と合わせて、その姿勢情報と人物領域情報との類似度を示す値を出力する必要がある。上記の例では、類似度を計算する際に誤差、距離、確率などを用いることができる。以下、これらをまとめて既知の姿勢情報のスコアと呼び、スコアが高いほど人物領域情報と既知の姿勢情報とで高い類似性を示すものとする。
【００３３】
なお、本実施形態では、記録部１０６に記録されている既知の姿勢情報は、腰位置を原点とした関節位置情報とした。したがって、入力される距離画像の人物位置に合わせて、姿勢情報における関節位置の座標を必要に応じて並進または回転させる必要がある。例えば、カメラ位置を原点としたカメラ座標系に、選択した既知の姿勢情報の関節座標を平行移動させて合わせる場合には、以下の式（２）により関節位置座標ＰCを得る。
【００３４】
【数２】
2015028702.tif 000004
【００３５】
ここで座標（ξxc，ξyc，ξzc）は、カメラ座標系における腰位置の座標であり、ｊ＝０，１，・・・，Ｊまで加算される。この結果、カメラ座標系における姿勢情報の関節位置座標ＰCを得ることができる。カメラ座標系における腰位置は、人物領域情報の重心から求める方法や、姿勢の選択と同時に腰位置らしい位置を投票などによって求める方法など、様々な方法で求めることができる。また、腰位置の算出方法によっては、投票により複数の腰位置ピークが得られる場合など、一つの姿勢情報に対して、カメラ座標系における腰位置を複数得ることがある。このような場合には、一つの姿勢情報の３次元情報ＰHを元に、複数のカメラ座標系での関節位置座標ＰCを得ることになる。この複数の関節位置座標ＰCも、姿勢選択部１０３が出力する複数の姿勢情報のバリエーションとしてもよい。以下の説明では、姿勢選択部１０３が出力する複数の既知の姿勢情報には、カメラ座標系の関節位置座標ＰCが表されているものとする。
【００３６】
＜部分姿勢選択部１０４＞
部分姿勢選択部１０４は、姿勢選択部１０３で選択した複数の姿勢情報と人物領域情報とを比較して、人物領域情報と整合する部分姿勢情報を選択する。既知の姿勢情報として、起こりうる全ての姿勢に対応した姿勢情報を記録部１０６に準備しておくことは困難である。したがって、姿勢選択部１０３は、人物領域情報に類似していると推定した姿勢情報を選択しているが、人物領域情報と完全に一致しないことも多い。しかしながら、このような場合であっても部分的には入力された距離画像の人物姿勢と一致している場合も多い。
【００３７】
例えば、人物領域情報と最も類似している最近傍の既知の姿勢情報において、腕を含む上半身については人物姿勢と整合しているが、下半身は人物姿勢と異なっている場合がある。このような場合でも、他の既知の姿勢情報には、下半身の姿勢が人物領域に整合している姿勢情報が存在していることが期待できる。部分姿勢選択部１０４は、これらの部分的に人物領域に整合した姿勢情報を収集する。
【００３８】
以下、部分姿勢情報を選択する例について、図面を参照しながら説明する。
図４は、既知の姿勢情報４０１の関節位置から作成する人物の３次元モデル４０２の一例を示す図である。図４に示す３次元モデル４０２は、各部位が円筒で近似されたモデルであり、関節位置の各関節座標を元に各部位の円筒モデルが配置されている。以下、図５を参照しながら、この３次元モデルを用いて３次元空間で人物領域情報と姿勢情報との対応を確認する方法について説明する。
【００３９】
図５（ａ）は、人物領域３１０の距離値を３次元の点群（Point Cloud）５１０として表した図である。ここで人物領域の点群５１０は、カメラの視線と異なる方向から表示されている。図５（ｂ）は、人物領域３１０に対して姿勢選択部１０３により選択された姿勢情報３２１の関節位置を３次元モデル５２０で表した図である。姿勢選択部１０３から複数の既知の姿勢情報が出力されるが、図５（ｂ）に示した例はその中の一つである。
【００４０】
図５（ｃ）は、図５（ａ）に示す点群５１０と図５（ｂ）に示す３次元モデル５２０とを重ね合わせた例を示す図である。この状態において、人物の各部位と点群との対応状況を調べることにより、人物領域情報と整合性の高い部分姿勢情報を選択する。
【００４１】
例えば、図５（ｃ）に示す左上腕５３１では、円筒モデル付近に十分な点群が存在するため、人物領域情報と良く一致していると判断できる。一方、左上腿部５３２では、円筒モデル付近に点群が存在しないため、人物領域情報と一致していないと判断できる。このように各部位と点群との対応状況を判断する。図５（ｃ）に示す例では、頭部、胴体、左右の上腕および前腕の部分は、人物領域情報に一致した部分姿勢情報である判断できる。
【００４２】
このように人物の各部位の整合性を評価するより具体的な処理について説明する。まず、各部位の円筒モデルに点群が対応しているか否かを評価するために、円筒モデルの表面から所定範囲内に存在する点を、その円筒モデルに対応づける。ある部位の円筒モデルに、所定数以上の点が対応付けされている場合には、その部位と人物領域（点群）との整合性が高いと評価する。円筒モデルと点群の整合性を判断する基準となる対応点の数は、完全に円筒モデルと点群が一致することを想定した数としてもよく、円筒モデルの一部でも点群と一致すればよいとする数としてもよい。このように対応点の数が所定値以上である場合に整合性が高いと評価する。
【００４３】
また、図５（ａ）に示す点群５１０は、距離画像のカメラ方向から見える部分のみに基づいて生成されるため、既知の姿勢情報から作成される円筒モデルと最も良い整合性を示す部位であっても、対応する点群数が少ない場合がある。そこで、部位によって、円筒モデルと点群との整合性を判断する基準（対応付けされる点の数の閾値）を変更するようにしてもよい。なお、図４および図５に示した例では、３次元モデルとして円筒モデルを用いたが、人物モデルの表現方法はこれに限定されない。３次元空間で人物領域情報との対応を確認することができれば、どのような形状のモデルを用いてもよい。
【００４４】
次に、部分姿勢情報を選択する別の方法について、図６を参照しながら説明する。図５に示した例では、３次元空間で人物の各部位と人物領域との整合性を評価したが、簡易的に距離画像の平面上（２次元上）で評価するようにしてもよい。図６（ａ）は、距離画像の人物領域３１０と既知の姿勢情報３２１の関節位置とを重畳して表示した例を示す図である。この方法では、各関節位置または関節間の部位が人物領域の座標上に存在するか否かを確認することにより、各部位と人物領域との整合性を判断する。
【００４５】
図６（ａ）に示す例では、頭部、胴体、左右の上腕および前腕に関する関節位置が、人物領域上に存在するため、これらの部位の座標は人物領域情報に整合した部分姿勢情報であると判断する。なお、人物領域上に関節位置の座標が存在するか否かによって各部位の整合性を評価したが、人物領域の近傍付近に関節位置が存在する場合も、整合性が高いと評価するようにしてもよい。これにより、多少の姿勢のズレを許容して部分姿勢情報を選択することができるようになる。
【００４６】
また、図６（ｂ）は、図４に示した円筒モデルを距離画像の平面上に投影した投影人物モデル３２２を人物領域３１０に重ねた例を示す図である。この投影人物モデル３２２と人物領域３１０とで各部位の整合性を判断し、選択する部分姿勢情報を決定するようにしてもよい。この場合、投影人物モデル３２２の各部位と、人物領域３１０との重複度合いを算出することにより、整合性を評価することができる。例えば、投影人物モデル３２２におけるある部位の面積と、その投影人物モデル３２２内の人物領域の面積（人物領域の画素数）との比をとり、所定の割合以上に人物領域が含まれている場合は、その部位の座標と人物領域情報とは整合性が高いと評価する。
【００４７】
以上のような方法により、姿勢選択部１０３で得た複数の姿勢情報に対して判断することにより、各姿勢情報から部分姿勢情報を得ることができる。ただし、人物領域情報と全く一致していない姿勢情報が存在する場合には、その姿勢情報から部分姿勢情報が選択できない場合もある。部分姿勢選択部１０４は、以上のようにして選択した部分姿勢の姿勢情報（本実施形態では、部分姿勢の関節位置の情報）を部分姿勢情報として出力する。図５及び図６に示した例では、頭部、首、肩、胸、腰、肘、手首、および股関節に関する関節位置の座標を部分姿勢情報として出力する。
【００４８】
＜姿勢統合部１０５＞
姿勢統合部１０５は、以上の処理により得られた部分姿勢情報を統合して、情報処理装置１００が出力する人物姿勢情報を生成する。部分姿勢情報の統合処理では、各部分姿勢情報における各関節位置の座標を平均化して人物姿勢情報を生成する。例えば、頭部座標については、頭部を含む部分姿勢情報から頭部座標を参照し、全ての頭部座標を平均化する。また、平均化する際に、各姿勢情報に付随したスコアに基づく重み付けを行ってもよい。前述したように、姿勢選択部１０３は、姿勢情報とともに、人物領域情報との類似度を示すスコアを出力しており、これを元に各部分姿勢が示す関節位置の座標に重みを付けた加重平均により人物姿勢情報を求めてもよい。
【００４９】
以上の処理により、情報処理装置１００から人物姿勢情報を出力することができる。なお、情報処理装置１００から出力される人物姿勢情報を初期値として、人物領域情報に対して詳細な部位の位置合わせを行ってもよい。部位の位置合わせは、各部位の円筒モデルと、人物領域の点群とのＩＣＰ（Iterative Closest Point）など、公知の技術により実施することができる。
【００５０】
図７は、図２のステップＳ２０４に相当する部分姿勢選択部１０４による処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１において、部分姿勢選択部１０４は、姿勢選択部１０３で選択された複数の既知の姿勢情報から、一つの姿勢情報を選択する。そして、ステップＳ７０２において、選択した姿勢情報と人物領域情報との整合性を評価する。例えば、人物領域の３次元の点群と姿勢情報の関節位置情報を元に作成した人物の３次元モデルとを比較することによって整合性を評価する。
【００５１】
続いてステップＳ７０３において、整合性の高い部位がある場合に、その部位を部分姿勢として選択し、部分姿勢情報を姿勢統合部１０５に出力する。そして、ステップＳ７０４において、まだ整合性を評価していない姿勢情報が存在するか否かを判定する。この判定の結果、整合性を評価していない姿勢情報が存在する場合はステップＳ７０１へと戻る。一方、全ての姿勢情報において整合性を評価して部分姿勢情報を取得した場合は、処理を終了する。
【００５２】
以上のように本実施形態によれば、入力された距離画像の人物領域情報に対して類似すると推定した複数の姿勢情報を元に、人物領域情報と部分的に整合する部分姿勢情報を選択して統合することにより出力すべき人物姿勢情報を生成するようにした。この結果、予め記録部１０６に記録されている姿勢情報では対応できない未知の姿勢に対しても、精度良く姿勢を出力することができる。
【００５３】
（第２の実施形態）
第１の実施形態では、既知の姿勢情報から人物領域情報と部分的に整合性の高い部分領域情報を選択し、平均化することにより人物姿勢情報を生成する方法について説明した。第１の実施形態では、部分姿勢情報を平均化することにより人物らしい姿勢が多少崩れた人物姿勢情報を生成してしまう可能性がある。そこで本実施形態では、さらに人物らしい人物姿勢情報を生成する例について説明する。
【００５４】
本実施形態では、人物領域情報に最も一致する姿勢情報を基準姿勢情報として、さらにその一部を基準部位情報とする。そして、基準部位情報と他の姿勢情報から取得した部分姿勢情報とを組み合わせて人物姿勢情報を作成する。以下、具体的な実施形態について説明する。
【００５５】
図８は、本実施形態に係る情報処理装置８００の構成例を示すブロック図である。また、図９は、本実施形態に係る情報処理装置８００による基本的な処理手順の一例を示すフローチャートである。図１に示した構成と比較して、本実施形態では、さらに基準部位選択部１０７を備えている。基準部位選択部１０７は、姿勢選択部１０３で選択された複数の姿勢情報から、最も人物領域情報に一致する姿勢情報を基準姿勢情報として選択し、その一部を基準部位情報として選択する。
【００５６】
本実施形態の部分姿勢選択部１０４は、基準部位以外の部分姿勢（部位）を姿勢情報から選択する。例えば、基準部位として上半身の部位が選択されている場合には、最適な下半身の部分姿勢情報を複数の姿勢情報から探索する。姿勢統合部１０５では、基準部位情報と部分姿勢情報とを組み合わせて人物姿勢情報を生成する。
【００５７】
また、図９のステップＳ９０１〜Ｓ９０３の処理は、それぞれ図２のステップＳ２０１〜Ｓ２０３の処理と同様であるため、説明は省略する。以下、ステップＳ９０４以降の処理について詳細に説明する。
【００５８】
＜記録部１０６＞
第１の実施形態では、記録部１０６には、様々な姿勢の関節位置情報が既知の姿勢情報として記録されていた。本実施形態では、各姿勢情報について、その姿勢に関する情報が合わせて保存されているものとする。姿勢に関する情報としては、例えば、歩く、走る、しゃがむなどの動作カテゴリや、身長・体格などの人物のサイズ、カメラに対する人物向き・角度、などの情報である。以下、これらをまとめて姿勢パラメータと呼ぶ。姿勢パラメータは、関節位置座標の情報（または関節角度情報）に加えて姿勢の状態や属性を表す情報であって、上記以外の情報を含んでもよい。記録部１０６には、各姿勢情報に、この姿勢パラメータが対応づけられて保存されている。
【００５９】
＜基準部位選択部１０７＞
本実施形態の基準部位選択部１０７は、姿勢選択部１０３によって選択された複数の姿勢情報のうち、最も人物領域情報に整合した姿勢情報を基準姿勢情報として選択する。さらに基準姿勢情報のうち、人物領域情報との整合性の高い部分を基準部位として選択する。すなわち、図９のステップＳ９０４の処理を行う。
【００６０】
まず、基準姿勢情報の選択方法について説明する。基準姿勢情報は、人物領域の姿勢を最も良く示していると推定される姿勢情報を選択することにより得ることができる。したがって、姿勢選択部１０３の算出結果をそのまま反映する場合には、スコアが最大となる姿勢情報を基準姿勢情報とする。あるいは、姿勢情報と人物領域情報との整合度を算出して、最も整合度の高い姿勢情報を基準姿勢情報としてもよい。整合度は、例えば、以下のように算出する。
【００６１】
まず、図５（ｃ）に示すように、既知の姿勢情報から作成した人体の３次元モデルと人物領域の点群とを重ね合わせる。第１の実施形態と同様に、各部位と点群との対応付けを行い、以下の式（３）により整合度Ｃを求める。
【００６２】
【数３】
2015028702.tif 000005
【００６３】
ここで、Ωは人物領域の全点数を表し、ωは人物領域の点群のうち、部位と対応がついた点の数（円筒モデルの所定近傍範囲に存在する点の数）を表している。また、Ｔは部位の数（図４及び図５に示す例では１０）を表し、τは点群との対応がついた（整合性が高いと判定した）部位の数を表している。また、図６（ｂ）に示すように、２次元の投影モデルを用いて人物領域と対応付けて整合度Ｃを求めてもよい。この場合、式（３）におけるΩは、距離画像の人物領域の画素数となり、ωは投影人物モデル３２２の部位内に含まれる人物領域の画素数となる。
【００６４】
以上のような方法により、姿勢情報と人物領域情報との整合度を算出する。基準部位選択部１０７は、姿勢選択部１０３によって選択された複数の姿勢情報に対して、整合度を順次算出し、最大の整合度を示す姿勢情報を基準姿勢情報とする。また、姿勢のスコアと整合度との和や積の情報を元に、最も人物領域の姿勢を表す姿勢情報を選択するようにしてもよい。また、基準姿勢情報を選択する他の方法として、特定の部位と人物領域との整合性に基づいて、基準姿勢情報を選択するようにしてもよい。例えば、人物の大まかな姿勢を決める胴体、または胴体および頭部が人物領域と最も整合性のある姿勢情報を基準姿勢情報としてもよい。
【００６５】
次に、基準部位選択部１０７は、基準姿勢情報から基準部位を選択する。基準部位情報は、基準姿勢情報のうち、人物領域に一致している部分を選択することによって得られる。これは、第１の実施形態の部分姿勢情報を選択する処理と同様の処理で実施することができる。
【００６６】
図１０は、基準部位情報１００１を選択する方法を説明するための図である。図１０に示す例では、人物領域３１０に対して最も整合性の高い既知の姿勢情報として基準姿勢情報１０００が選択されている。次に、基準姿勢情報の中の部位のうち、人物領域３１０と整合する部位として、頭部、胴体、左右の腕が基準部位として選択されている。この結果、残りの部位、すなわち左右の脚に該当する部分１００２を他の姿勢情報１００３から探索することになる。以下、この基準部位に含まれておらず、他の姿勢情報から探索する部位を探索部位と呼ぶ。
【００６７】
上記の例では、基準部位を人物領域情報との整合性を元に決定した。このため、例えば、前腕や下腿部などの末端部位のみが探索部位となる場合もある。例えば、腕（上腕および前腕）、および脚（上腿部および下腿部）の関係性を既知の姿勢情報のまま維持したい場合、すなわち人物として正しい姿勢であることを、より強く保証したい場合には、不都合となることがある。このような場合には、探索部位が必ず腕や脚の部分姿勢となるように、基準姿勢情報から基準部位を選択する時に、肩関節及び股関節のみで基準部位を切り離すようにしてもよい。
【００６８】
基準部位を選択する別の方法として、基準部位とする部位を常に特定の部位としてもよい。具体的には、胴体、または胴体および頭部を必ず基準部位としても良い。この場合、常に四肢が探索部位となり、基準姿勢情報により胴体の姿勢を決定した後に、残りの姿勢情報から最適な四肢の姿勢を探索することになる。また、この場合においては、後述する部分姿勢の探索対象に、基準姿勢情報自体を含むようにしてもよい。この結果、基準姿勢情報の四肢の部位が、最終的に出力される人物姿勢情報の四肢として選択される場合もあり得る。
【００６９】
基準部位選択部１０７は、以上のようにして決定した基準部位の関節位置情報を既知の姿勢情報から取り出し、基準部位情報として出力する。なお、基準姿勢情報が全ての部位（関節座標）を含む場合、または、十分に人物領域と一致していると判断できる場合には、以下の処理を実行しないで、基準姿勢情報をそのまま人物姿勢情報としてもよい。
【００７０】
＜部分姿勢選択部１０４＞
本実施形態における部分姿勢選択部１０４は、人物領域に対して最適な探索部位に係る部分姿勢情報を既知の姿勢情報から取得する。すなわち、図９のステップＳ９０５の処理を行う。図１０に示す例では、左右の脚に該当する部分１００２が探索する対象であり、姿勢選択部１０３で選択した複数の姿勢情報１００３から、人物領域情報と整合性の高い左右の脚を探索して、左右の脚の部分姿勢情報１００４を取得する。
【００７１】
部分姿勢選択部１０４の基本的な処理としては、姿勢情報１００３の全ての探索部位と人物領域との整合性を評価し、最も整合性が高い部分姿勢情報を選択する。整合性の評価では、第１の実施形態と同様の手順によって部分姿勢と人物領域との整合性を評価することができる。図１０に示す例では、姿勢情報１００３の全ての探索部位（左右の脚）の整合性を評価した結果、姿勢情報３２ｎの探索部位が最も整合性が高いものとして選択されている。
【００７２】
また、図１０に示す例では、左右の脚をまとめて選択しているが、それぞれの部位ごとに姿勢情報から部分姿勢情報を選択してもよい。例えば、人物領域と整合性の高い上腿部および下腿部をそれぞれ独立して選択してもよい。あるいは、上腿部および下腿部が連なった右脚および左脚の姿勢ごとに、異なる姿勢情報から部分姿勢情報を選択するようにしてもよい。
【００７３】
以上のような方法で、探索部位に相当する部分姿勢情報を選択してもよいが、さらに、基準部位と部分姿勢（探索部位）との親和性を評価して部分姿勢情報を選択するようにしてもよい。上記の方法では、姿勢情報に含まれる姿勢のバリエーションによっては、基準部位と部分姿勢とが好ましくない組み合わせで選択される場合がある。
【００７４】
例えば、複数の姿勢情報に異なる身長の人物の姿勢情報が含まれている場合には、基準部位として選択された人物の身長と部分姿勢として選択された人物の身長とが大きく異なる可能性がある。この基準部位と部分姿勢とを組み合わせると、人物としてあり得ない体格の人物姿勢情報が生成されてしまう恐れがある。記録部１０６に記録されている姿勢情報の種類が限定的である場合や、それほど出力する人物姿勢情報に精度を求めない場合には上記の方法でもよいが、好ましくは、以下のように基準部位と部分姿勢との親和性を評価する。基準部位と部分姿勢との親和性は、基準部位と部分姿勢とを組み合わせて、あり得る姿勢となるか否かによって評価され、例えば、以下のように実施される。
【００７５】
親和性を評価する方法の一つに、姿勢パラメータを用いる方法がある。前述したように、各姿勢情報は前述の姿勢パラメータが対応付けされて記録されている。基準部位と部分姿勢との親和性を評価する際には、基準部位の元の姿勢情報の姿勢パラメータと、部分姿勢の元の姿勢情報の姿勢パラメータとの親和性を評価する。
【００７６】
例えば、基準姿勢情報として選択された姿勢情報の姿勢パラメータと、部分姿勢情報を取得しようとしている姿勢情報の姿勢パラメータとが一致していない場合には、その姿勢情報から部分姿勢情報を選択しないようにする。このように、完全に姿勢パラメータが一致する場合のみを許容するようにしてもよく、身長差、カメラ角度差などが微妙に異なっている程度の場合は、姿勢パラメータの不一致を許容するようにしてもよい。
【００７７】
親和性を評価する他の方法としては、基準部位と部分姿勢との配置を元に親和性を評価するようにしてもよい。ここで、基準部位と部分姿勢とをつなぐ関節を接続点と呼ぶ。例えば、図１０に示す例では、接続点は股関節となる。基準部位情報および部分姿勢情報は、それぞれ３次元空間中での座標を示しており、各接続点の座標を得ることができる。接続点間の距離があまりに離れている場合には、そのときの部分姿勢は基準部位との親和性が低いと判断することができる。したがって、基準部位情報における接続点の座標と部分姿勢情報における接続点の座標との間の距離が所定値以下となるような部分姿勢情報のみを部分姿勢選択部１０４が選択するようにしてもよい。
【００７８】
なお、親和性を評価する際に、前述した複数の姿勢パラメータ、および接続点間の距離など複数の項目を合わせて評価してもよい。本実施形態では、上記のように親和性を評価して、基準部位と親和性があると判断した部分姿勢のうち、最も人物領域と整合性の高い部分姿勢を選択する。また、予め基準姿勢情報と他の姿勢情報との親和性を評価し、親和性の低い姿勢情報と人物領域情報との整合性の評価を省略するようにしてもよい。
【００７９】
＜姿勢統合部１０５＞
姿勢統合部１０５では、以上の手順により得られた基準部位情報と部分姿勢情報とを組み合わせて、人物姿勢情報を生成する。すなわち、図９のステップＳ９０６の処理を行う。図１１（ａ）は、基準部位情報１００１と選択した部分姿勢情報１００４とを同じ座標面に並べた例を示す図である。図１１（ａ）に示すように、基準部位情報１００１と部分姿勢情報１００４とを接続する関節（図１１に示す例では股関節）の位置が一致していない場合がある。そこで、接続される関節位置を修正して人物姿勢情報を生成するようにしてもよい。
【００８０】
例えば、図１１（ｂ）に示すように、部分姿勢情報１００４の股関節と基準部位情報１００１の股関節とで座標が一致するように、部分姿勢情報１００４の座標を移動させて人物姿勢情報を生成してもよい。また、他の方法として、基準部位情報における股関節の位置と部分姿勢情報における股関節の位置との中間の位置を股関節の位置とし、他の関節の位置は元の基準部位情報および部分姿勢情報の座標とした人物姿勢情報を生成してもよい。
【００８１】
以上のように本実施形態によれば、選択された姿勢情報の一部を取り出した基準部位と部分姿勢とを接続して人物姿勢情報を生成するため、既知の姿勢情報の形状を可能な限り保持した人物姿勢情報を出力することができる。したがって、人物らしい姿勢を出力することができる。また、基準姿勢情報および基準部位情報を設定することにより、組み合わせの探索数を減少させることができる。
【００８２】
（第３の実施形態）
第２の実施形態では、最も人物領域に一致する姿勢情報を基準姿勢情報とし、その一部を基準部位情報とした。本実施形態では、複数の基準部位を用いる例について説明する。また、その際、後述する組み合わせコストを算出することにより、最も良い組み合わせを探索する例について説明する。なお、本実施形態に係る情報処理装置の構成については図８と同様であるため、説明は省略する。
【００８３】
本実施形態では、姿勢選択部１０３で選択された全ての姿勢情報、または、姿勢情報と人物領域情報との整合度Ｃが所定値よりも高い姿勢情報を基準姿勢情報とする。そして、第２の実施形態と同様に、基準姿勢情報の中で、人物領域と整合性の高い部位、または特定の部位（例えば胴体部位）を基準部位とする。複数の基準姿勢情報のそれぞれについて基準部位を決定することにより、それぞれ基準部位以外の部位が探索部位となる。
【００８４】
次に、本実施形態の部分姿勢選択部１０４について説明する。第２の実施形態では、部分姿勢選択部１０４は、最も人物領域と整合する探索部位を部分姿勢情報として１つ選択した。これに対して本実施形態では、部分姿勢情報を複数選択するものとする。複数選択された部分姿勢情報は、複数の姿勢情報それぞれについて人物領域情報との整合性が評価され、各姿勢情報から得た部分姿勢情報のうち、整合性の高い上位の複数の部分姿勢情報が選択される。
【００８５】
この結果、基準部位情報および部分姿勢情報がそれぞれ複数選択される。この段階で、出力する人物姿勢情報の候補は、これらの組み合わせの数だけ存在することになる。姿勢統合部１０５は、これらの複数の組み合わせそれぞれについて、以下のように組み合わせコストを算出し、最も低コストの組み合わせを出力すべき人物姿勢情報として選択する。ある基準部位ｉとある部分姿勢ｊとの組み合わせコストＰは、例えば以下の式（４）により算出する。
【００８６】
【数４】
2015028702.tif 000006
【００８７】
ここで、Ｓiは基準部位の元となる基準姿勢情報のスコアを表し、Ｓjは部分姿勢の元となる基準姿勢情報のスコアを表す。Ｃiは前述した式（３）により求められる基準姿勢情報の整合度を表し、Ｃjは部分姿勢情報と人物領域情報との整合度を表す。また、Ｈijは基準部位と部分姿勢との親和性を元に算出される評価値であり、ｗ1〜ｗ5はそれぞれの入力に対する係数である。
【００８８】
部分姿勢情報と人物領域情報との整合度Ｃjは、部分領域の人体の３次元モデルと点群との対応数などから算出することができる。また、評価値Ｈijは、基準部位および部分姿勢に関する姿勢パラメータの関係や、接続される関節位置の距離を元に算出することができる。
【００８９】
身長、カメラに対する向きなど姿勢パラメータの数値情報を元に評価値Ｈijを算出する場合は、以下のように計算する。すなわち、例えば基準部位の姿勢パラメータと部分姿勢の姿勢パラメータとの二乗誤差の逆数を元に算出するなど、類似した姿勢パラメータを持つほど評価値Ｈijが高くなるようにすればよい。一方、歩く、走るなどの行動カテゴリや、痩せ、太いなどの体格パラメータのように、ラベルやカテゴリとして記録された姿勢パラメータを元に評価値Ｈijを算出する場合は、以下のように計算する。すなわち、例えばラベルの一致、不一致でバイナリの評価値を算出するか、各ラベル間の距離を予め定義しておき、ラベルの組み合わせに応じた距離を元に評価値Ｈijを算出する。
【００９０】
本実施形態では、以上のようにして算出する組み合わせコストＰを最小化する基準部位ｉと部分姿勢ｊとの組み合わせを決定する。姿勢統合部１０５は、第２の実施形態と同様に、基準部位ｉと部分姿勢ｊとを組み合わせた結果を人物姿勢情報として出力する。
【００９１】
以上のように本実施形態によれば、複数の基準部位を用い、組み合わせコストＰが最小となる基準部位と部分姿勢との組み合わせを出力すべき人物姿勢情報とした。この結果、姿勢選択部１０３が出力した複数の姿勢情報の中から、最適な部分姿勢の組み合わせを選択することができるようになる。
【００９２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９３】
１０１  画像入力部
１０２  対象物領域抽出部
１０３  姿勢選択部
１０４  部分姿勢選択部
１０５  姿勢統合部
１０６  記録部
【図１】
2015028702.tif 000007
【図２】
2015028702.tif 000008
【図３】
2015028702.tif 000009
【図４】
2015028702.tif 000010
【図５】
2015028702.tif 000011
【図６】
2015028702.tif 000012
【図７】
2015028702.tif 000013
【図８】
2015028702.tif 000014
【図９】
2015028702.tif 000015
【図１０】
2015028702.tif 000016
【図１１】
2015028702.tif 000017