(57)【要約】【課題】  画像中の変形物体の位置姿勢を推定するための物体形状モデルを作成する際に、対象物体に特定の姿勢を要求することなく、対象物体固有のモデルを作成する。【解決手段】  画像を入力する画像を入力し、入力された画像に基づいて、前記物体の検出し、前記検出された物体の位置姿勢を推定するための物体形状モデルに基づいて、前記検出された物体の部位間の関係を評価し、評価された結果に基づいてモデルパラメタを算出するかの判断をする判断し、判断の結果に基づいて、前記モデルパラメタを算出し、算出されたモデルパラメタに基づいて、前記保持手段に保持される物体形状モデルを更新する。【選択図】  図２
2015219868.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段で入力された画像に基づいて、前記物体の検出を行う物体検出手段と、
前記物体の位置姿勢を推定するための物体形状モデルを保持する保持手段と、
前記物体形状モデルに基づいて、前記検出された物体の部位間の関係を評価する部位関係評価手段と、
前記部位関係評価手段から得られた評価結果に基づいて、モデルパラメタを算出するかの判断をする判断手段と、
前記判断手段による判断の結果に基づいて、前記モデルパラメタを算出するモデルパラメタ算出手段と、
前記モデルパラメタ算出手段によって算出されたモデルパラメタに基づいて、前記保持手段に保持される物体形状モデルを更新する更新手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記画像手段に入力される画像は、距離画像と二次元画像のうち、少なくともいずれかであることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記部位関係評価手段は、前記物体の第一の部位と第二の部位の相対位置姿勢を評価することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記部位関係評価手段は、前記第一の部位と前記第二の部位のなす角を評価することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記部位関係評価手段は、前記物体の第一の部位を含む画像と第二の部位を含む画像の画像特徴を評価することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記部位関係評価手段は、前記物体の第一の部位を含む画像と第二の部位を含む画像とあらかじめ学習されたパターンとの類似度を評価することを特徴とする前記請求項１または２に記載の情報処理装置。
【請求項７】
前記更新手段は、前記部位関係評価手段の評価を過去の評価と比較して、特徴とする前記請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項８】
前記更新手段は、前記部位関係評価手段の評価を予め定められた水準と比較することを特徴とする前記請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項９】
前記更新手段は、前記部位関係評価手段で算出した値に前記部位関係評価手段の評価に応じた重みを付与して、前記物体モデルの更新を行うことを特徴とする前記請求項１に記載の情報処理装置。
【請求項１０】
画像を入力する画像入力工程と、
前記入力された画像に基づいて、前記物体の検出を行う物体検出工程と、
保持手段に保持される前記物体の位置姿勢を推定するための物体形状モデルに基づいて、前記検出された物体の部位間の関係を評価する部位関係評価工程と、
前記部位関係評価手段から得られた評価結果に基づいて、モデルパラメタを算出するかの判断をする判断工程と、
前記判断工程における判断の結果に基づいて、前記モデルパラメタを算出するモデルパラメタ算出工程と、
前記モデルパラメタ算出工程で算出されたモデルパラメタに基づいて、前記保持手段に保持される物体形状モデルを更新する更新工程とを備えることを特徴とする情報処理方法。
【請求項１１】
コンピュータに請求項１０に記載の情報処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の変形物体の位置姿勢を推定するための物体形状モデルを作成する技術に関する。
【背景技術】
【０００２】
従来、画像情報を利用して、マーカーを用いずに変形物体の位置姿勢推定を行うために、対象となる物体固有のモデルを作成する方法が知られている。例えば、特許文献１では、デプス画像を利用して人体の姿勢推定を行うために、距離画像中において立位や両腕を挙げるポーズなど、特定の姿勢を取っている対象者の身体の各部位のサイズを推定することにより、対象者固有のモデルを作成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２０１１／００５２００６号明細書
【非特許文献】
【０００４】
【非特許文献１】Ｎ．  Ｄａｌａｌ  ａｎｄ  Ｂ．  Ｔｒｉｇｇｓ  “Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ  ｆｏｒ  Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ，”  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  Ｓａｎ  Ｄｉｅｇｏ，  ＵＳＡ，  Ｊｕｎｅ  ２００５．  Ｖｏｌ．  ＩＩ，  ｐｐ．  ８８６−８９３．
【非特許文献２】Ｐ．  Ｆｅｌｚｅｎｓｚｗａｌｂ  ａｎｄ  Ｄ．  Ｈｕｔｔｅｎｌｏｃｈｅｒ  “Ｐｉｃｔｏｒｉａｌ  Ｓｔｒｕｃｔｕｒｅｓ  ｆｏｒ  Ｏｂｊｅｃｔ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，”  Ｖｏｌ．  ６１，  Ｎｏ．  １，  Ｊａｎｕａｒｙ  ２００５
【非特許文献３】Ｍ．  Ａｎｄｒｉｌｕｋａ，  Ｓ．  Ｒｏｔｈ  ａｎｄ  Ｂ．  Ｓｃｈｉｅｌｅ，  “Ｐｉｃｔｏｒｉａｌ  Ｓｔｒｕｃｔｕｒｅｓ  Ｒｅｖｉｓｉｔｅｄ：  Ｐｅｏｐｌｅ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ａｒｔｉｃｕｌａｔｅｄ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ，”  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ’０９），  Ｍｉａｍｉ，  ＵＳＡ，  Ｊｕｎｅ  ２００９．
【非特許文献４】Ｌｕｂｏｍｉｒ  Ｂｏｕｒｄｅｖ  ａｎｄ  Ｊｉｔｅｎｄｒａ  Ｍａｌｉｋ，  “Ｐｏｓｅｌｅｔｓ：  Ｂｏｄｙ  Ｐａｒｔ  Ｄｅｔｅｃｔｏｒｓ  Ｔｒａｉｎｅｄ  Ｕｓｉｎｇ  ３Ｄ  Ｈｕｍａｎ  Ｐｏｓｅ  Ａｎｎｏｔａｔｉｏｎｓ，”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ２００９
【非特許文献５】Ｒ．  Ｏｋａｄａ  ａｎｄ  Ｓ．  Ｓｏａｔｔｏ，  “Ｒｅｌｅｖａｎｔ  Ｆｅａｔｕｒｅ  Ｓｅｌｅｃｔｉｏｎ  ｆｏｒ  Ｈｕｍａｎ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ａｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ  ｉｎ  Ｃｌｕｔｔｅｒｅｄ  Ｉｍａｇｅｓ，”  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法では、対象者が特定の姿勢をとる必要があり、利便性が低いという課題があった。
【０００６】
本発明は、このような課題に鑑みてなされたもので、対象物体が特定の姿勢を取ることを必要とせずに、対象物体固有のモデルを作成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、例えば、画像を入力する画像入力手段と、前記画像入力手段で入力された画像に基づいて、前記物体の検出を行う物体検出手段と、前記物体の位置姿勢を推定するための物体形状モデルを保持する保持手段と、前記物体形状モデルに基づいて、前記検出された物体の部位間の関係を評価する部位関係評価手段と、前記部位関係評価手段から得られた評価結果に基づいて、モデルパラメタを算出するかの判断をする判断手段と、前記判断手段による判断の結果に基づいて、前記モデルパラメタを算出するモデルパラメタ算出手段と、前記モデルパラメタ算出手段によって算出されたモデルパラメタに基づいて、前記保持手段に保持される物体形状モデルを更新する更新手段とを備える。
【発明の効果】
【０００８】
本発明によれば、対象物体が特定の姿勢を取ることを必要とせずに、対象物体固有のモデルを作成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る入力画像の一例を示す図である。
【図２】本発明の第１、第２および第３の実施形態に係る情報処理装置の構成を示す図である。
【図３】本発明の第１の実施形態に係る情報処理装置の対象物体とそのモデルの一例を示す図である。
【図４】本発明の第１の実施形態に係る情報処理装置のモデルの構造の一例を示す図である。
【図５】本発明の第１の実施形態に係る情報処理装置のモデルの一例を示す図である。
【図６】本発明の第１の実施形態に係る情報処理装置の処理過程の一例を示す図である。
【図７】本発明の第１の実施形態に係る情報処理装置の処理フローを示す図である。
【図８】本発明の第２の実施形態に係る情報処理装置のモデルの一例を示す図である。
【図９】本発明の第２の実施形態に係る情報処理装置の処理フローを示す図である。
【図１０】本発明の第３の実施形態に係る情報処理装置の処理フローを示す図である。
【図１１】本発明の情報処理装置のハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１０】
本発明にかかる各実施形態を説明するのに先立ち、各実施形態に示す情報処理装置が実装されるハードウェア構成について、図１１を用いて説明する。
【００１１】
図１１は、本実施形態における情報装置のハードウェア構成図である。同図において、ＣＰＵ１１１０は、バス１１００を介して接続する各デバイスを統括的に制御する。ＣＰＵ１１１０は、読み出し専用メモリ（ＲＯＭ）１１２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ１１２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）１１３０に一時記憶され、ＣＰＵ１１１０によって適宜実行される。また、入力Ｉ／Ｆ１１４０は、外部の装置（表示装置や操作装置など）から情報処理装置１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ１１５０は、外部の装置（表示装置）へ表示装置が処理可能な形式で出力信号として出力する。
【００１２】
これらの各機能部は、ＣＰＵ１１１０が、ＲＯＭ１１２０に格納されたプログラムをＲＡＭ１１３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ１１１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
【００１３】
（第１の実施形態）
本実施形態に係る情報処理装置は、２Ｄ画像中の歩行者の各部位の画像上での位置姿勢を算出するための人体モデルを、モデルパラメタの算出に適した状況かどうかを判定し、適している場合にモデルの保存を行う。本提案中の「モデル」とは、複数の部位からなる物体の形状および姿勢を複数のパラメタを用いて表現したものであればどのようなものでもよく、例えば、円柱を連結した関節モデルや、３次元ＣＡＤモデルなどである。
【００１４】
以下、図を用いて例を示す。
【００１５】
図１の人物１１０は横向きで歩行動作をしている。人物１２０は正面を向き立っている。人物１１０の右下腿を通る中心線は、点線１１１であり、右上腿を通る中心線は１１２である。点線１１１と点線１１２の交点が膝の関節点に相当する。人物１１０の下腿の長さは、この交点から右足底面までの距離として算出することができる。また、点１１３のようにコーナー点を膝の関節点とみなして、コーナー点から右足底面までの距離として算出することもできる。一方で人物１２０の右上腿の中心線と右下腿の中心線とは点線１２１に一致し、膝関節点に相当する点を定位することができない。また、コーナー点のような画像特徴もないため、コーナー点を利用して膝関節点の定位を行うこともできない。すなわち、人物１２０の右脚上腿と右脚下腿のサイズの推定は正確ではないことになる。よって、人物１２０の右上腿および右下腿のモデルの更新をすることは不適切である。本実施形態に係る情報処理装置は、右上腿と右下腿の相対位置関係の推定結果に基づいて、モデル更新に適切な状況かどうかを判断し、モデルの更新を行う。なお、本実施形態においては、右上腿と右下腿を例として説明を行うが、他の部位に関しても適用可能であることは言うまでもない。ゆえに、それぞれの部位に関して、本実施形態で述べる方法によりモデルパラメタ算出が適切かどうかを判定し、適合した部位のモデルパラメタのみを保存することも可能である。
【００１６】
図２に示すように、本実施形態における情報処理装置２００は、画像入力部２０１と、物体検出部２０２と、姿勢推定部２０３と、部位関係評価部２０４と、モデルパラメタ算出部２０５と、モデルパラメタ記憶部２０６とから構成される。
【００１７】
画像入力部２０１は、撮像装置１００から順次送出される各フレームの画像（現実空間画像）を受け、後段の画像特徴検出部２０２に対して転送する。画像入力部２０１は、撮像装置１００の出力がＮＴＳＣなどのアナログ出力であればアナログビデオキャプチャボードによって実現される。また撮像装置１００の出力がＩＥＥＥ１３９４などのデジタル出力であれば、例えばＩＥＥＥ１３９４インタフェースボードによって実現される。画像入力部２０１より入力される画像は、ＲＧＢ画像であってもグレイスケール画像であってもよい。また実時間で撮影した画像であってもよいし、事前に撮影した画像であってもよい。また、ＲＧＢ画像であってもグレイスケール画像であってもよい。
【００１８】
物体検出部２０２は、画像入力部２０１から対象となる物体を画像中から検出する。
【００１９】
姿勢推定部２０３は、画像入力部より得られた画像中の人物の各部位の２次元画像上での位置姿勢を推定する。
【００２０】
部位関係評価部２０４は、姿勢推定部２０３より得られる情報から部位間の相対関係を評価する。ここで、評価値は、パーツ尤度、相対角度、画像特徴のコーナーネス、特定のパターンとの類似度などのことをいうが、詳しい説明は後述する。
【００２１】
モデルパラメタ算出部２０５は、部位関係評価部２０４で得られた評価値に基づいて、モデルパラメタを算出する部位を選択し、それぞれのパラメタの算出を行う。
【００２２】
モデルデータ記憶部２０６は、姿勢推定部２０３で用いる人体モデル（物体形状モデル）を保持しておく。
【００２３】
以下では、図７のフローチャートを用いて、本実施形態における情報処理装置２００の処理を説明する。
【００２４】
（ステップＳ１０１）
まず、ステップＳ１０１において、画像入力部２０１より画像を１フレーム入力する。
【００２５】
（ステップＳ１０２）
続いて、ステップＳ１０２において、物体検出部２０２によって、ステップＳ１０１において入力された画像中に人物がいるかどうかの検出を行う。検出された場合は、ステップＳ１０３に進む。検出されなかった場合はステップＳ１０１に戻る。検出方法としては、本実施形態では人物が対象であるため、例えば、非特許文献１に記載の方法を用いることができる。もちろん、この方法に限られるものではない。
【００２６】
（ステップＳ１０３）
続いて、ステップＳ１０３において、姿勢推定部２０３はステップＳ１０２において検出された人体の各部位の画像上での位置姿勢を推定する。以下、その推定方法について詳述する。
【００２７】
本実施形態において位置姿勢の推定を行うためのモデルは、非特許文献２や非特許文献３に記載のＰｉｃｔｏｒｉａｌ  Ｓｔｒｕｃｔｕｒｅｓモデルとする。図３は、Ｐｉｃｔｏｒｉａｌ  Ｓｔｒｕｃｔｕｒｅｓモデルにより、横向きで歩行する人物の各部位の位置姿勢推定を行っている図である。画像３０１は、横向き歩行の人物１１０にその各部位に対応するｂｏｕｎｄｉｎｇ  ｂｏｘを点線で重畳して描画した画像である。画像３０２は、画像３０１のｂｏｕｎｄｉｎｇ  ｂｏｘだけ別途描画した画像である。３１１は体幹部、３１２は頭部、３１３は右上腿、３１４は右下腿、３１５は左上腿、３１６は左下腿にそれぞれ対応するｂｏｕｎｄｉｎｇ  ｂｏｘである。簡単のため、右腕および左腕に相当する部位を省略したが、それらを含んだモデルに拡張することが可能であることは言うまでもない。
【００２８】
画像３０２の各ｂｏｕｎｄｉｎｇ  ｂｏｘは幅と長さのパラメタを有している。姿勢推定が開始された時点では、このパラメタには予め定められた初期値が与えられている。情報処理装置は、対象者が歩行をしている最中に、下腿と上腿の相対配置関係を評価し、それが所定の範囲の配置関係になった場合に、下腿と上腿に対応するｂｏｕｎｄｉｎｇ  ｂｏｘの幅と長さの更新を行う。
【００２９】
Ｐｉｃｔｏｒｉａｌ  Ｓｔｒｕｃｔｕｒｅｓモデルにおいて、入力画像Ｉを与えた時の各部位の位置姿勢Ｌ＝｛ｌｉ｝の事後確率は、以下の式（１）で表される。
【００３０】
【数１】
2015219868.tif 000003
【００３１】
ここで、Ψは部位ｉとｊの位置姿勢ｌｉとｌｊで定まるパーツ連結スコア、Φは部位ｉのパーツらしさを評価するパーツ尤度である。Ｅはパーツ間を連結するエッジの集合である。本実施形態におけるパーツ間の連結は図４に表されているように、体幹部と頭部、右上腿、左上腿がそれぞれ連結し、さらに右上腿と右下腿、左上腿と左下腿とが連結した構造になっている。ｌｉは、部位ｉに対応するｂｏｕｎｄｉｎｇ  ｂｏｘの中心位置（ｘｉ，ｙｉ）および回転角θｉより構成される。式（１）に表される事後確率Ｐ（Ｌ｜Ｉ）が最大となるようなＬ＝｛ｌｉ｝が求めるパーツの位置姿勢になる。
【００３２】
図５に２つの隣り合うｂｏｕｎｄｉｎｇ  ｂｏｘの相対位置姿勢の例を示す。点５０１は、右上腿に対応するｂｏｕｎｄｉｎｇ  ｂｏｘ３１３に属し、右下腿に接続する関節点であり、点５０２は右下腿３１４に対応するｂｏｕｎｄｉｎｇ  ｂｏｘ３１４に属し、右上腿に接続する関節点である。この時、点５０１および点５０２の座標はそれぞれ（ｘ３４，ｙ３４）、（ｘ４３，ｙ４３）と表記する。また、ｂｏｕｎｄｉｎｇ  ｂｏｘ３１３と３１４のなす角５０３は、θ３４と表記する。
【００３３】
パーツ連結スコアΨは、例えば、以下の式で算出される。
【００３４】
【数２】
2015219868.tif 000004
【００３５】
式（２）において、（ｘｉｊ，ｙｉｊ）は部位ｉに対応するｂｏｕｎｄｉｎｇ  ｂｏｘの、部位ｊに接続する関節点の画像座標であり、θｉｊは部位ｉと部位ｊに対応するｂｏｕｎｄｉｎｇ  ｂｏｘのなす角である。第３項のκおよびμは定数である。
【００３６】
また、部位ｉのパーツ尤度Φ（ｌｉ）は、例えば、以下のようにして算出される。中心位置（ｘｉ，ｙｉ）に幅ｗｉ、長さｈｉのｂｏｕｎｄｉｎｇ  ｂｏｘを角度θｉ回転させて配置する。ｂｏｕｎｄｉｎｇ  ｂｏｘ内の画像を切り出し、幅ｗｉ’、長さｈｉ’にリサイズをした後、非特許文献３に記載のＳｈａｐｅ  Ｃｏｎｔｅｘｔ特徴量を抽出した特徴ベクトルを用意する。部位ｉに対応する複数の幅ｗｉ’、長さｈｉ’のサンプル画像群をＳｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅによって予め学習した識別器を用いて、その特徴ベクトルのスコアを算出し、部位ｉのパーツ尤度Φ（ｌｉ）とする。
【００３７】
部位ｉに対応するｂｏｕｎｄｉｎｇ  ｂｏｘの幅ｗｉおよび長さｈｉは、処理の開始時には、適当な初期値が与えられているが、後述するように、対象者が歩行をしている最中に更新される。
【００３８】
（ステップＳ１０４）
続いてステップＳ１０４において、部位関係評価部２０４は、右上腿と右下腿の相対位置関係が適切な状態かどうかを評価する。以下、その評価方法について、詳述する。
【００３９】
姿勢推定部２０３によって、式（１）の事後確率を最大化するＬ＝｛ｌｉ｝が算出されているとする。まず、部位関係評価部は、対象部位のパーツ尤度Φ（ｌ３）およびΦ（ｌ４）がそれぞれ予め定められた閾値を超えているかどうかを判定する。Φ（ｌ３）およびΦ（ｌ４）がともに閾値を超えている場合、さらに、部位関係評価部２０４は、対象部位同士の相対角度θ３４を評価する。例えば、相対角度θ３４が４５度以上１３５度未満である場合、後述のステップＳ１０５で、その相対角度は適切であると判定される。相対角度が適切であると判定された場合、ステップＳ１０６において、モデルパラメタが算出され、ステップ１０７において、右上腿と右下腿のｂｏｕｎｄｉｎｇ  ｂｏｘの幅および高さの保存が行われる。
【００４０】
また、部位関係評価部２０４は、対象となる部位を含む画像特徴によって部位関係を評価することもできる。図６を用いて一例を示す。図６の６０１は、右膝周辺の部分画像である。部分画像を切り出す枠の中心座標は、例えば、姿勢推定部２０３によって推定された、右上腿に対応するｂｏｕｎｄｉｎｇ  ｂｏｘの右下腿に接続する関節点の位置座標と、右下腿に対応するｂｏｕｎｄｉｎｇ  ｂｏｘが右上腿に接続する関節点の位置座標の中点に設定することができる。また、部分画像を切り出す大きさは、例えば、右上腿のｂｏｕｎｄｉｎｇ  ｂｏｘのサイズに比例した大きさを設定することができる。部分画像６０１を、以下の式（３）で表される評価値Λで評価する。
Λ＝ｄｅｔ（Ａ）−ｋ  ｔｒａｃｅ２（Ａ）      （３）
ここで、Ａは以下の式（４）で表される二次モーメント行列である。
【００４１】
【数３】
2015219868.tif 000005
【００４２】
式（４）においてｗ（ｕ，ｖ）は（ｕ，ｖ）における重みづけ、ＩｘおよびＩｙは、それぞれ（ｕ，ｖ）におけるｘ方向およびｙ方向の輝度勾配の値である。Λの値が定められた範囲にある場合、右上腿のｂｏｕｎｄｉｎｇ  ｂｏｘの幅ｗＲＵおよび長さｈＲＵの保存を行う。同様に右下腿のｂｏｕｎｄｉｎｇ  ｂｏｘ幅ｗＲＬおよび長さｈＲＬの保存も行う。式（３）の評価値Λは一般に、部分画像内での輝度勾配方向を評価するための画像特徴量である。Λに代わる他の画像特徴量として、例えば、部分画像内での画像モーメントの値や、ヘッセ行列の行列式の値などを用いてもよく、本実施形態には限られない。
【００４３】
また、部位関係評価部２０４は、図６の部分画像６０１を、特定のパターンと比較することで、評価を行うことも可能である。非特許文献４に記載のように、予め特定の配置関係にある部位を含む部分画像のパターンを学習し、そのパターンと部分画像６０１との類似度を算出し、評価値としてもよい。その場合には、ステップＳ１０６で類似度が予め決められた水準以上の場合にモデルの更新を行う。
【００４４】
（ステップＳ１０５）
続いてステップＳ１０５において、ステップＳ１０４での評価結果を受けて、モデルパラメタの算出が必要であればステップＳ１０６に進む。モデルパラメタの算出が必要なければ、ステップＳ１０１に戻る。
【００４５】
ステップＳ１０４の評価結果を受けて、モデルパラメタを算出するかどうかの判断の方法について述べる。モデルパラメタを算出するかどうかの判断手法としては、所定のしきい値を超えた場合にモデルパラメタを算出するという方法がある。評価値としては、上述のように、相対角度、部分画像のコーナーネス、画像のパターンなどさまざまなものが考えられ、また、ここにあげたものに限られるものではない。そのため、ステップＳ１０５でのしきい値もその評価値によって変わる。また、モデル更新部２０５が部位関係評価部２０４の評価値の現在の評価値と過去の評価値とを比較し、現在の評価値の方が高かった場合にモデルパラメタを算出するという方法なども考えられる。これにより、過去の履歴と比して、部位の長さをより精度よく算出可能な場合にモデルの更新を行うことができる。さらに、評価値として、特定のパターンとの類似度を用いた場合には、特定のパターンとの類似度の過去の履歴を保存しておき、過去の履歴よりも類似度が高い場合にモデルパラメタの算出を行うこともできる。
【００４６】
（ステップＳ１０６）
続いてステップＳ１０６において、モデル更新部２０５は、モデルパラメタを算出する。
【００４７】
本実施形態においては、右上腿に対応するｂｏｕｎｄｉｎｇ  ｂｏｘの幅と長さ、および右下腿に対応するｂｏｕｎｄｉｎｇ  ｂｏｘの幅と長さを算出する。例えば、右上腿のモデルを更新する場合は次のように行う。右上腿に対応するｂｏｕｎｄｉｎｇ  ｂｏｘの位置姿勢ｌＲＵを固定したまま、幅ｗＲＵおよび長さｈＲＵを変化させ、パーツ尤度Φ（ｌＲＵ）が最大となるような幅ｗＲＵおよび長さｈＲＵを算出する。算出した幅ｗＲＵおよび長さｈＲＵを右上腿の新たな幅と長さとする。
【００４８】
（ステップＳ１０７）
続いてステップＳ１０７において、モデル更新部２０５はステップＳ１０６において算出されたモデルパラメタを用いて、モデルパラメタを保存する。モデルパラメタを保存した後、ステップＳ１０１に戻る。
【００４９】
より具体的には、例えば、ステップＳ１０６において新たに算出したパラメタの値とモデル記憶部２０６に保存されている値とを入れ替える処理が行われる。また、モデル更新部２０５は、過去の評価値の履歴と対応するモデルパラメタの値を用いることもできる。例えば、過去４回分の更新の際の評価値（パターンの類似度）をαｔ−１、αｔ−２、αｔ−３、αｔ−４とし、新たに評価値αｔを得たとする。またそれぞれの更新時にパーツ尤度Φ（ｌＲＵ）が最大となるモデルパラメタをｐｔ、ｐｔ−１、ｐｔ−２、ｐｔ−３、ｐｔ−４、ただし、ｐ＝（ｗＲＵ，ｈＲＵ）とする。この時、パラメタの値は、以下の式のｐに更新される。これにより、過去の履歴に依存せず、より精度が高い場合の情報のみ更新に利用できるという効果がある。モデル更新部２０５が、部位関係評価部２０４の評価値に応じた重みを付与して、モデルの更新を行うことにより、算出した部位パラメタの信頼度に応じたモデルの更新が可能になるという効果を示している。
【００５０】
【数４】
2015219868.tif 000006
【００５１】
本明細書の「部位に関するパラメタ」および「部位パラメタ」とは、物体の部位の形状を規定するパラメタであればどのようなものでもよく、例えば、線分の長さ、円柱の長さや径、楕円体の各軸の長さ、直方体の各辺の長さなどのことである。
【００５２】
以上のように、本実施形態では、右上腿と右下腿の相対位置姿勢を評価することで、部位の長さを精度よく算出するのに適したタイミングかどうかを判定することができる。
【００５３】
（第２の実施形態）
本実施形態に係る情報処理装置は、距離画像とＲＧＢ画像とを入力とする画像中の人物の姿勢を推定するためのモデルを、対象人物の姿勢推定を行っている最中に更新していく。
【００５４】
本実施形態にかかる情報処理装置は、第１の実施形態における情報処理装置と同様の構成をとる。
【００５５】
画像入力部２０１より入力される画像は、距離画像データおよびＲＧＢデータとする。距離画像データはステレオ、パターン光投影、レンジスキャンなどいかなる距離画像取得の方法によって得られたデータでもよい。また、それらの距離画像は実時間で撮影した画像であってもよいし、事前に撮影した画像であってもよい。入力される距離画像は、例えば、３２０×２４０ピクセルのサイズであり、各画素には撮像装置からの距離が格納されている。ＲＧＢデータは、距離画像データと同様またはそれ以上の解像度であり、距離画像と対応が取れるように補正を施されているものとする。
【００５６】
物体検出部２０２は、画像入力部２０１から得られた距離画像中の人物の候補を抽出する。
【００５７】
姿勢推定部２０３は、距離画像と図８の人体モデルを用いて、物体検出部によって得られた距離画像中の人体候補領域における人体の姿勢を逐次的に推定する。
【００５８】
モデル更新部２０５は、部位関係評価部２０４における評価に応じて、姿勢推定部２０３で用いる人体を円柱で近似したモデルのパラメタを更新する。モデル記憶部２０６は、姿勢推定部２０３で用いる人体モデルを保存しておく。
【００５９】
以下では、図９のフローチャートを用いて、本実施形態における情報処理装置２００の処理を説明する。
【００６０】
（ステップＳ２０１）
まず、ステップＳ２０１において、画像入力部２０１は、画像を１フレーム入力する。
【００６１】
（ステップＳ２０２）
続いて、ステップＳ２０２において、物体検出部２０２は、ステップＳ２０１において入力された画像中に人物がいるかどうかの検出を行う。検出された場合は、ステップＳ２０３に進む。検出されなかった場合はステップＳ２０１に戻る。
【００６２】
まず、物体検出部２０２は、画像入力部２０１より入力された距離画像中の動体を検出する。動体の検出は背景差分およびフレーム間差分により行われる。次に、検出された動体領域に対応するＲＧＢ画像中の領域に対して、非特許文献５に記載の方法などによって、人体の向きを特定し、さらに予め学習された回帰関数により、各部位の３次元位置姿勢の推定を行う。これらの検出された位置と推定された姿勢を以て、対象の人体の初期位置および初期姿勢とする。また、前フレームにおいて、人体の位置姿勢が算出されている場合、それを初期位置および初期姿勢とすることができる。
【００６３】
（ステップＳ２０３）
続いて、ステップＳ２０３において、前フレームにおいて位置姿勢を推定した結果があるかどうか確認する。結果があれば、ステップＳ２０５に進む。結果がなければステップＳ２０４に進む。
【００６４】
（ステップＳ２０４）
ステップＳ２０４において、姿勢推定部２０３によって、ステップＳ２０２において検出された人体の初期姿勢を推定する。ステップＳ２０４の実行の後、ステップＳ２０１に戻る。
【００６５】
（ステップＳ２０５）
ステップＳ２０５において、姿勢推定部２０３は、現在の人体モデルおよび、前フレームに得られた位置姿勢推定結果を用いて、現在の人体の位置姿勢を推定する。
【００６６】
人体のモデルは、Ｐｉｃｔｏｒｉａｌ  Ｓｔｒｕｃｔｕｒｅｓモデルを３次元に拡張したものを用いる。部位は、トルソ７１１、頭部７１２、右上腕７１３、右前腕７１４、左上腕７１５、左前腕７１６、右上腿７１７、右下腿７１８、左上腿７１９、左下腿７２０よりなる。各部位のモデルは円柱メッシュで構成されており、半径、高さをパラメタとして持つ。各円柱は、回転と平行移動が可能である。部位ｉの位置姿勢ｌｉの要素は、位置（ｘｉ，ｙｉ，ｚｉ）および回転（αｉ，βｉ，γｉ）である。
【００６７】
まず、姿勢推定部２０３は、物体検出部２０２の処理により得られた初期姿勢をとったモデルを、デプス画像中の人体候補領域である点群データの中心軸とモデルのトルソ部位の中心軸とが一致するようにモデルを点群データの座標空間中に配置する。
【００６８】
各部位の位置姿勢は式（１）の事後確率を最大化するＬ＝｛ｌｉ｝を求めることによって得られる。ただし、パーツ連結スコアΨは、以下の式（６）のように、３次元に拡張されている。
【００６９】
【数５】
2015219868.tif 000007
【００７０】
ここで、φｉｊは、部位ｉに対応する円筒の中心軸と部位ｊに対応する円筒の中心軸とがなす角度である。また、パーツ尤度Φ（ｌｉ）は、以下の式（７）を用いて算出される。
【００７１】
【数６】
2015219868.tif 000008
【００７２】
ここで、ｍｉ（ｋ）は、部位ｉに対応するモデルの円柱メッシュのｋ番目の点、ｐｋは距離画像から得られる３次元空間中の点座標である。平行移動ベクトルｔｉ、回転行列Ｒｉは部位ｉの位置（ｘｉ，ｙｉ，ｚｉ）と姿勢（αｉ，βｉ，γｉ）に対応する。
【００７３】
部位関係評価部２０４は、実施形態１の場合と同様にして、姿勢推定部２０３によって得られた各部位の相対位置姿勢を評価する。例えば、右上腿と右下腿に関する評価値が適当であった場合、後述するモデルパラメタ算出部２０５が右上腿と右下腿それぞれのモデルパラメタを算出する。
【００７４】
（ステップＳ２０６）
続いて、ステップＳ２０６において、部位関係評価部２０４は、右上腿と右下腿の相対位置関係が適切な状態かどうかを評価する。
【００７５】
また、部位関係評価部２０４は、右上腿と右下腿を含む局所の距離画像の画像特徴を評価する場合もある。例えば、右膝に相当する局所領域の距離画像を切り出し、距離値を輝度値とみなして式（３）によってコーナーネスを評価し、コーナーネスが一定値以上の場合、右上腿および右下腿のモデルパラメタを算出する。この時、膝が伸びきった状態では、局所画像中の物体は直線状となり、距離画像の勾配の二次モーメント行列を元にしたコーナーネスの指標は低くなる。
【００７６】
また別の方法としては、右膝に相当する局所領域の距離画像のパターンを予め学習しておき、パターンが合致した場合に、右上腿および右下腿のモデルパラメタの算出をする方法が考えられる。まず、予め、膝関節角度が９０°の場合の膝の３次元曲面を作成しておく。３次元曲面は例えば、ＣＧキャラクタから作成することもできるし、実際の人体の該当部分の距離画像を撮像した後、距離画像の点群を近似する曲面を算出することによっても得られる。右上腿の下端と右下腿の上端を含む領域において、膝関節角度が９０°の場合の膝の３次元曲面のフィッティングを行い、フィッティング後の誤差が閾値よりも低い場合に、右上腿と右下腿のモデルパラメタの保存を行う。同様に右上腕と右前腕に関しても、肘関節角度が９０°の場合の肘の３次元曲面をフィッティングし、フィッティング後の誤差が閾値よりも低い場合に、右上腿と右下腿のモデルパラメタの保存を行うこともできる。
【００７７】
（ステップＳ２０７）
続いて、ステップＳ２０７において、ステップＳ２０６での評価結果を受けて、モデルパラメタの算出が必要であればステップＳ２０８に進む。モデルパラメタの算出が必要なければ、ステップＳ２０１に戻る。
【００７８】
（ステップＳ２０８）
続いてステップＳ２０８において、モデルパラメタ算出部２０５は右上腿に対応する円柱モデルの半径と長さ、および右下腿に対応する円柱モデルの半径と長さを算出する。
【００７９】
例えば、右上腿のモデルであれば、その位置姿勢のパラメタを固定した状態で、半径および長さの異なる複数の円柱モデルに対して式（７）で表されるパーツ尤度を計算し、最もパーツ尤度が大きくなるような半径と長さを持った円柱を新たなモデルとして採用する。
【００８０】
（ステップＳ２０９）
続いてステップＳ２０９において、モデルパラメタ算出部２０５はステップＳ２０８において算出されたモデルパラメタを用いて、モデルパラメタ記憶部２０６に保存されているモデルを更新する。モデルを更新した後、ステップＳ２０１に戻る。
【００８１】
以上のように、第２の実施形態では、距離画像とＲＧＢ画像（二次元画像）を用いて３次元の人体位置姿勢推定を行った場合においても、実施形態１において説明をした効果と同様の効果を得られることを示している。
【００８２】
（第３の実施形態）
第１の実施形態、および第２の実施形態では人体を対象としたが、本発明にかかる情報処理装置は人体以外の物体も対象とすることが可能である。本実施形態では、馬や犬等の四足歩行の動物を対象とする。これらの動物は、部位の構成や、部位同士の連結関係は共通であるが、各部位の長さ等のパラメタは、種類により大きくばらつきがある。そのため、物体検出部において、対象物体の種別を判別し、判別結果に応じたモデルを用いて対象物体の姿勢推定とモデルパラメタの保存を行う。本実施形態においても、実施形態１および実施形態２と同様、右上腿および右下腿のモデルパラメタの保存を行うとする。
【００８３】
本実施形態は、第２の実施形態と同様の構成により実現される。以下では、実施形態２と差異のあるモジュールに関してのみ、その内容を記す。
【００８４】
本実施形態における物体検出部２０２は、対象となる動物の検出を行う。対象動物は例えば、馬、犬、猫とする。また、それぞれの動物においても種別ごとにモデルが異なるものとする。
【００８５】
モデル記憶部２０６には、対象となる動物やその種別に応じたモデルがそれぞれ保存されている。モデルの各部位は、半径と長さをパラメタとする円柱によって表現されている。
【００８６】
以下では、図１０のフローチャートを用いて、本実施形態における情報処理装置２００の処理を説明する。
【００８７】
（ステップＳ３０１）
まず、ステップＳ３０１において、画像入力部２０１は、画像を１フレーム入力する。
【００８８】
（ステップＳ３０２）
続いて、ステップＳ３０２において、物体検出部２０２は、ステップＳ３０１において入力された画像中に対象となる物体が存在するかどうかの検出を行う。検出された場合は、ステップＳ３０３に進む。検出されなかった場合はステップＳ３０１に戻る。
【００８９】
物体検出部２０２は、まず、第２の実施形態と同様に、動体抽出を行い、画像入力部２０１より入力された距離画像から対象動物の候補領域を抽出する。次に、抽出された候補領域に対応するＲＧＢ画像の部分画像を抽出する。次に、抽出した部分画像がどの動物のどの種別に適合するかを判定する。判定には、予め、各クラスを異なる種別に割り当てた多クラスの検出器によって対象の種別を判定する。さらに、実施形態２と同様に、対象の向きと画像座標上の各部位の位置を算出し、それらを元に、対象の初期位置姿勢を算出する。
【００９０】
（ステップＳ３０３）
続いて、ステップＳ３０３において、前フレームにおいて位置姿勢を推定した結果があるかどうか確認する。結果があれば、ステップＳ３０５に進む。結果がなければステップＳ３０４に進む。
【００９１】
（ステップＳ３０４）
ステップＳ３０４において、姿勢推定部２０３は、ステップＳ３０２において検出された物体の初期姿勢を推定し、モデル記憶部２０６より、当該物体に対応する３次元姿勢推定のためのモデルを選択する。ステップＳ３０４の実行の後、ステップＳ３０１に戻る。
【００９２】
姿勢推定部２０３は実施形態２と同様にして対象の姿勢を推定する。対象の姿勢推定に用いるモデルは、物体検出部２０２による種別の判定に対応したモデルをモデル記憶部２０６から選択して使用する。
【００９３】
（ステップＳ３０５）
ステップＳ３０５において、姿勢推定部２０３は、現在の物体モデルおよび、前フレームに得られた位置姿勢推定結果を用いて、現在の物体の位置姿勢を推定する。
【００９４】
（ステップＳ３０６）
続いて、ステップＳ３０６において、部位関係評価部２０４は、右上腿と右下腿の相対位置関係が適切な状態かどうかを評価する。
【００９５】
（ステップＳ３０７）
続いて、ステップＳ３０７において、ステップＳ３０６での評価結果を受けて、モデルパラメタの算出が必要であればステップＳ３０８に進む。モデルパラメタの算出が必要なければ、ステップＳ３０１に戻る。
【００９６】
（ステップＳ３０８）
続いてステップＳ３０８において、モデルパラメタ算出部２０５は右上腿に対応する円柱モデルの半径と長さ、および右下腿に対応する円柱モデルの半径と長さを算出する。
【００９７】
（ステップＳ３０９）
続いてステップＳ３０９において、モデルパラメタ算出部２０５はステップＳ３０８において得られたモデルパラメタを用いて、モデルパラメタ記憶部２０６に保存されている対応する物体のモデルパラメタを保存する。モデルパラメタを保存した後、ステップＳ３０１に戻る。
【００９８】
以上のように、第３の実施形態では、馬、犬、猫等の人体以外の物体に本発明を適用した。このように、一つ以上の部位からなる変形物体であれば、第１の実施形態や第２の実施形態で示したのと同様の方法が適用可能である。
【００９９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１００】
２００  情報処理装置
２０１  画像入力部
２０２  物体検出部
２０３  姿勢推定部
２０４  部位関係評価部
２０５  モデル更新部
２０６  モデル記憶部
【図１】
2015219868.tif 000009
【図２】
2015219868.tif 000010
【図３】
2015219868.tif 000011
【図４】
2015219868.tif 000012
【図５】
2015219868.tif 000013
【図６】
2015219868.tif 000014
【図７】
2015219868.tif 000015
【図８】
2015219868.tif 000016
【図９】
2015219868.tif 000017
【図１０】
2015219868.tif 000018
【図１１】
2015219868.tif 000019