(57)【要約】【課題】カメラから観測できない領域が存在する場合であっても、精度よく、多視点映像から人体の三次元重心位置を推定する技術を提供する。【解決手段】多視点映像から時刻tにおける三次元モデルを生成する三次元モデル生成部と、多視点映像から時刻tにおける関節位置座標を推定する三次元関節位置推定部と、時刻tにおける三次元モデルと時刻tにおける関節位置座標とから、時刻tにおける重み付き三次元モデルを生成する重み付き三次元モデル生成部と、時刻tにおける重み付き三次元モデルと時刻tより前の時刻における部位識別子iの部位三次元重心位置と所定の時刻における重み付き三次元モデルとから、時刻tにおける三次元重心位置を推定する三次元重心位置推定部とを含む。【選択図】図２
2020076647.tif 000002
【特許請求の範囲】
【請求項１】
被写体となる人物を取り囲むように設置された複数のカメラで撮影された多視点映像から、時刻tにおいて前記人物の体が空間に占める領域を表す三次元領域を構成するボクセルの位置の三次元座標であるボクセル位置座標を少なくとも含むボクセルデータの集合を時刻tにおける三次元モデルとして生成する三次元モデル生成部と、
前記多視点映像から、時刻tにおける前記人物の関節の位置を表す三次元座標を時刻tにおける関節位置座標として推定する三次元関節位置推定部と、
前記時刻tにおける三次元モデルと前記時刻tにおける関節位置座標とから、前記三次元領域を構成するボクセルに対して当該ボクセルが含まれる人体の部位を識別するための部位識別子と当該ボクセルに対する重みを決定することにより、前記ボクセル位置座標と前記部位識別子と前記重みを少なくとも含む重み付きボクセルデータの集合を時刻tにおける重み付き三次元モデルとして生成する重み付き三次元モデル生成部と、
部位三次元重心位置を前記人物の体の部位の重み付き平均、三次元重心位置を前記人物の体の重み付き平均とし、
前記時刻tにおける重み付き三次元モデルと、時刻tより前の時刻における部位識別子i（i=1, …, Np、Npは人体の部位の数）の部位三次元重心位置と所定の時刻における重み付き三次元モデル（以下、基準重み付き三次元モデルという）とから、時刻tにおける三次元重心位置を推定する三次元重心位置推定部と
を含む重心位置推定装置。
【請求項２】
請求項１に記載の重心位置推定装置であって、
前記三次元重心位置推定部は、
前記時刻tより前の時刻における部位識別子i（i=1, …, Np）の部位三次元重心位置から、時刻tにおける部位識別子iの部位三次元重心位置を推定する部位三次元重心位置推定部と、
前記時刻tにおける部位識別子i（i=1, …, Np）の部位三次元重心位置と前記基準重み付き三次元モデルと前記時刻tにおける重み付き三次元モデルとから、時刻tにおける修正済み重み付き三次元モデルを生成する重み付き三次元モデル修正部と、
前記時刻tにおける修正済み重み付き三次元モデルから、前記時刻tにおける三次元重心位置を計算する三次元重心位置計算部とを含む
ことを特徴とする重心位置推定装置。
【請求項３】
請求項２に記載の重心位置推定装置であって、
C3D(i, t)を前記時刻tにおける部位識別子iの部位三次元重心位置、Niを前記基準重み付き三次元モデルにおける部位識別子iの部位に含まれるボクセルの数、V(i, Ni, t)を時刻tにおけるNi個のボクセルを含む部位識別子iの部位の部分集合とし、
前記重み付き三次元モデル修正部は、
次式により計算される時刻tにおける部位識別子iの部位での誤差ei,tを最小にする部分集合V(i, Ni, t)を求め、
【数４】
2020076647.tif 000006
（ただし、f(V(i, Ni, t))は、部分集合V(i, Ni, t)の部位三次元重心位置である。）
前記最小にする部分集合V(i, Ni, t)（i=1, …, Np）に含まれるボクセルの重み付きボクセルデータの集合を前記時刻tにおける修正済み重み付き三次元モデルとして生成する
ことを特徴とする重心位置推定装置。
【請求項４】
請求項２に記載の重心位置推定装置であって、
前記部位三次元重心位置推定部は、
前記時刻tより前の時刻における部位識別子i（i=1, …, Np）の部位三次元重心位置に対して時系列フィルタを適用することにより、前記時刻tにおける部位識別子iの部位三次元重心位置を推定する
ことを特徴とする重心位置推定装置。
【請求項５】
重心位置推定装置が、被写体となる人物を取り囲むように設置された複数のカメラで撮影された多視点映像から、時刻tにおいて前記人物の体が空間に占める領域を表す三次元領域を構成するボクセルの位置の三次元座標であるボクセル位置座標を少なくとも含むボクセルデータの集合を時刻tにおける三次元モデルとして生成する三次元モデル生成ステップと、
前記重心位置推定装置が、前記多視点映像から、時刻tにおける前記人物の関節の位置を表す三次元座標を時刻tにおける関節位置座標として推定する三次元関節位置推定ステップと、
前記重心位置推定装置が、前記時刻tにおける三次元モデルと前記時刻tにおける関節位置座標とから、前記三次元領域を構成するボクセルに対して当該ボクセルが含まれる人体の部位を識別するための部位識別子と当該ボクセルに対する重みを決定することにより、前記ボクセル位置座標と前記部位識別子と前記重みを少なくとも含む重み付きボクセルデータの集合を時刻tにおける重み付き三次元モデルとして生成する重み付き三次元モデル生成ステップと、
部位三次元重心位置を前記人物の体の部位の重み付き平均、三次元重心位置を前記人物の体の重み付き平均とし、
前記重心位置推定装置が、前記時刻tにおける重み付き三次元モデルと、時刻tより前の時刻における部位識別子i（i=1, …, Np、Npは人体の部位の数）の部位三次元重心位置と所定の時刻における重み付き三次元モデル（以下、基準重み付き三次元モデルという）とから、時刻tにおける三次元重心位置を推定する三次元重心位置推定ステップと
を含む重心位置推定方法。
【請求項６】
請求項１ないし４のいずれか１項に記載の重心位置推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点映像から人体の重心位置を推定する技術に関する。
【背景技術】
【０００２】
人体の三次元重心位置(COM: Center of Mass)は、リハビリやスポーツをはじめとする様々な分野において人間の動作を解析する上で重要なものである。一般に、三次元重心位置を推定するためには、フォースプレートから得られる三次元重心位置を鉛直方向に投影した二次元位置(COP: Center of Projection)を利用することが多い。このフォースプレートを利用するためには解析対象となる人物がそのプレート上に乗っている必要がある。そのため、実験室環境や制御可能な環境では問題なく二次元位置を推定できる一方で、実際の試合中のようにプレートを設置することが困難な環境では二次元位置を推定することができない。
【０００３】
この問題に対して、非特許文献１では、複数の視点から撮影された映像（以下、多視点映像という）を用いることにより、フォースプレートを用いたり、解析対象である人物に何らかのセンサを取り付けたりすることなく、非侵襲に人体の三次元重心位置を推定する手法を提案している。当該手法では、視体積交差法を用いて人体が空間に占める領域を表す三次元領域を複数の単位立方体（ボクセル）の集合体として復元し、三次元領域に含まれるボクセルに対して人体の各部位に応じた適切な重みを付与し、ボクセルの位置座標と重みを用いて計算される重み付き平均を三次元重心位置として推定している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】鶏内朋也，森尚平，斎藤英雄，高橋康輔，三上弾，五十川麻理子，木全英明，“複数視点画像を用いた人体の重心位置推定手法の検討”，信学技報, Vol.117, No.252, MVE2017-28, pp.19-23, 2017年10月．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
先述の通り、非特許文献１の手法では視体積交差法を用いる。このため、図１(a)の鳥瞰図に示すようにカメラから死角となる場所が存在しない場合には人体の三次元領域を適切に復元することができるが、図１(b)の鳥瞰図に示すようにカメラから死角となる場所が存在する場合には人体の三次元領域を正しく復元することができない。そのため、カメラから観測できない領域が存在する場合が存在する場合には、人体の三次元領域を正しく復元することができないことに起因して、三次元重心位置の推定精度が低下するという問題がある。
【０００６】
そこで本発明では、カメラから観測できない領域が存在する場合であっても、精度よく、多視点映像から人体の三次元重心位置を推定する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、被写体となる人物を取り囲むように設置された複数のカメラで撮影された多視点映像から、時刻tにおいて前記人物の体が空間に占める領域を表す三次元領域を構成するボクセルの位置の三次元座標であるボクセル位置座標を少なくとも含むボクセルデータの集合を時刻tにおける三次元モデルとして生成する三次元モデル生成部と、前記多視点映像から、時刻tにおける前記人物の関節の位置を表す三次元座標を時刻tにおける関節位置座標として推定する三次元関節位置推定部と、前記時刻tにおける三次元モデルと前記時刻tにおける関節位置座標とから、前記三次元領域を構成するボクセルに対して当該ボクセルが含まれる人体の部位を識別するための部位識別子と当該ボクセルに対する重みを決定することにより、前記ボクセル位置座標と前記部位識別子と前記重みを少なくとも含む重み付きボクセルデータの集合を時刻tにおける重み付き三次元モデルとして生成する重み付き三次元モデル生成部と、部位三次元重心位置を前記人物の体の部位の重み付き平均、三次元重心位置を前記人物の体の重み付き平均とし、前記時刻tにおける重み付き三次元モデルと、時刻tより前の時刻における部位識別子i（i=1, …, Np、Npは人体の部位の数）の部位三次元重心位置と所定の時刻における重み付き三次元モデル（以下、基準重み付き三次元モデルという）とから、時刻tにおける三次元重心位置を推定する三次元重心位置推定部とを含む。
【発明の効果】
【０００８】
本発明によれば、カメラから観測できない領域が存在する場合であっても、精度よく、多視点映像から人体の三次元重心位置を推定することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】複数カメラと復元された人体の領域の関係を示す図。
【図２】重心位置推定装置１００の構成を示すブロック図。
【図３】重心位置推定装置１００の動作を示すフローチャート。
【図４】三次元領域とその構成要素であるボクセルの様子を示す図。
【図５】ボクセルのサイズを決定する様子を示す図。
【図６】三次元領域における人体の部位の一例を示す図。
【図７】三次元重心位置推定部１４０の構成を示すブロック図。
【図８】三次元重心位置推定部１４０の動作を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１１】
＜第一実施形態＞
上記問題を解決するため、本発明の実施形態では、“人体の各部位の三次元重心位置は滑らかに変化する”という知見（以下、知見１という）と、“人体の各部位の総重量は時間方向に不変である”という知見（以下、知見２という）とを取り入れ、三次元重心位置を推定する。
【００１２】
以下、図２〜図３を参照して重心位置推定装置１００を説明する。図２は、重心位置推定装置１００の構成を示すブロック図である。図３は、重心位置推定装置１００の動作を示すフローチャートである。
【００１３】
重心位置推定装置１００には、複数（つまり、２以上）のカメラで撮影された多視点映像が入力される。これらのカメラは同一の被写体を撮影するように設定されている。具体的には、図１に示すように、被写体となる人物を取り囲むように複数のカメラを設置すればよい。カメラで撮影された映像は重心位置推定装置１００に直接入力してもよいし、一旦別の外部記録媒体に記録してから重心位置推定装置１００に入力してもよい。なお、これらのカメラは同期・幾何校正済みであることが好ましい。この場合、複数のカメラで撮影された映像は同期・幾何校正済みの多視点映像となる。以下、カメラの台数をNc（Ncは2以上の整数）とする。また、映像を構成する画像であるフレームを識別するための番号であるフレーム番号t（t=1, 2, …、つまりtは1以上の整数）のことを時刻tということにする。
【００１４】
図２に示すように重心位置推定装置１００は、三次元モデル生成部１１０と、三次元関節位置推定部１２０と、重み付き三次元モデル生成部１３０と、三次元重心位置推定部１４０と、記録部１９０を含む。記録部１９０は、処理に必要な情報を適宜記録する構成部である。例えば、記録部１９０は、Nc個の映像から構成される多視点映像を記録する。
【００１５】
以下、図３を参照して、重心位置推定装置１００の動作について説明する。三次元モデル生成部１１０は、記録部１９０に記録している多視点映像を入力とし、時刻tにおいて被写体となる人物の体が空間に占める領域を表す三次元領域を構成するボクセルの位置の三次元座標であるボクセル位置座標を少なくとも含むボクセルデータの集合を時刻tにおける三次元モデルとして生成し、出力する（Ｓ１１０）。ボクセルデータは、ボクセル位置座標の他、例えば、ボクセルを識別するためのボクセル識別子を含んでいてもよい。図４に示すように、三次元領域は、所定の長さ（以下、単位長という。）を一辺とする立方体であるボクセルから構成される。ボクセルのサイズ（単位長）は、撮影に用いるカメラの解像度、映像中の人物の領域、期待する三次元重心位置の推定精度などに依存するものである。なお、ボクセルのサイズは、カメラCk(k=1, …, Nc)で撮影した映像の1ピクセル四方の正方形を実空間中に逆投影したときの、人物が存在する領域における当該正方形の辺の長さをLkとし、mink(Lk)以下であることが望ましい（図５参照）。
【００１６】
また、三次元領域の復元には任意の手法を用いることができる。例えば、非特許文献１で利用されている視体積交差法、つまり、ビジュアルハル(Visual Hull)に基づく方法を用いることができる。視体積交差法は多視点映像に映り込む被写体のシルエットの積集合として三次元領域を求める方法であり、参考非特許文献１に詳しく説明されている。
（参考非特許文献１：Takashi Matsuyama, Xiaojun Wu, Takeshi Takai, and Shohei Nobuhara, “Real-time 3D shape reconstruction, dynamic 3D mesh deformation, and high fidelity visualization for 3D video”, Computer Vision and Image Understanding, Vol.96, Issue 3, pp.393-434, Dec. 2004.）
【００１７】
三次元関節位置推定部１２０は、Ｓ１１０で入力した多視点映像を入力とし、時刻tにおける被写体となる人物の関節の位置を表す三次元座標を時刻tにおける関節位置座標として推定し、出力する（Ｓ１２０）。関節位置座標の推定には任意の手法を用いることができる。例えば、非特許文献１と同様の方法を用いることができる。具体的には、まず多視点映像を構成する各映像に含まれる時刻tにおける画像上で当該人物の各関節の二次元座標を推定する。次に、推定した二次元座標を用いて三角測量により三次元座標である関節位置座標を求める。なお、関節の二次元座標の推定には、例えば、参考非特許文献２に示す方法を用いることができる。
（参考非特許文献２：Zhe Cao, Tomas Simon, Shih-En Wei and Yaser Sheikh, “Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields”, CVPR 2017, 2017.）
【００１８】
重み付き三次元モデル生成部１３０は、Ｓ１１０で生成した時刻tにおける三次元モデルとＳ１２０で推定した時刻tにおける関節位置座標を入力とし、三次元領域を構成するボクセルに対して当該ボクセルが含まれる人体の部位を識別するための部位識別子と当該ボクセルに対する重みを決定することにより、ボクセル位置座標と部位識別子と重みを少なくとも含む重み付きボクセルデータの集合を時刻tにおける重み付き三次元モデルとして生成し、出力する（Ｓ１３０）。重み付きボクセルデータは、ボクセル位置座標、部位識別子、重みの他、例えば、ボクセル識別子を含んでいてもよい。
【００１９】
部位識別子と重みを決定する方法には任意の方法を用いることができる。例えば、非特許文献１と同様の方法を用いることができる。非特許文献１では、図６に示すように、人体を１０個の部位（頭部、胴体、左上腕、左前腕、右上腕、右前腕、左大腿、左ふくらはぎ、右大腿、右ふくらはぎ）でモデル化する。一般に、部位の数は１０に限らず、Np（Npは2以上の整数であり、人体の部位の数を表す）とすることができる。以下、各部位を識別するための部位識別子をi（i=1, …, Np）とする。また、部位と部位の結節点である関節間を結ぶ直線に対して、対応する体の部位を与えておく。例えば、頭部に対応する直線に対しては頭部が与えられる（図６参照）。そして、各ボクセルに対して、関節間を結ぶ直線と当該ボクセルとの距離が最小となる直線を求め、この距離が最小となる直線に対応する体の部位に当該ボクセルは含まれるのとみなし、当該ボクセルが含まれる部位の部位識別子を決定する。また、参考非特許文献３に示すような一般的な人体の部位の比重に基づいて各ボクセルに対する重みを決定する。
（参考非特許文献３：P. D. Leva, “Adjustments to Zatsiorsky-Seluyanov’s segment inertia parameters”, J. of Biomechanic, 29(9), pp.1223-1230, 1996.）
【００２０】
なお、各部位の比重は事前に記録部１９０に記録しておく。
【００２１】
三次元重心位置推定部１４０は、Ｓ１３０で生成した時刻tにおける重み付き三次元モデルと、記録部１９０に記録している時刻tより前の時刻における部位識別子i（i=1, …, Np）の部位三次元重心位置と所定の時刻（以下、基準時刻という）における重み付き三次元モデル（以下、基準重み付き三次元モデルという）を入力とし、時刻tにおける三次元重心位置を推定し、出力する（Ｓ１４０）。ここで、部位三次元重心位置は被写体となる人物の体の部位の重み付き平均、三次元重心位置は当該人物の体の重み付き平均である。また、詳細は後述するが、基準重み付き三次元モデルは、知見２における時間方向に不変の各部位の総重量を示すためのものである。
【００２２】
以下、図７〜図８を参照して三次元重心位置推定部１４０について説明する。図７は、三次元重心位置推定部１４０の構成を示すブロック図である。図８は、三次元重心位置推定部１４０の動作を示すフローチャートである。図７に示すように三次元重心位置推定部１４０は、部位三次元重心位置推定部１４１と、重み付き三次元モデル修正部１４２と、三次元重心位置計算部１４３を含む。部位三次元重心位置推定部１４１、重み付き三次元モデル修正部１４２は、それぞれ知見１、知見２に基づく処理を実行する構成部である。
【００２３】
以下、図８を参照して、三次元重心位置推定部１４０の動作について説明する。部位三次元重心位置推定部１４１は、時刻tより前の時刻における部位識別子i（i=1, …, Np）の部位三次元重心位置を入力とし、時刻tにおける部位識別子iの部位三次元重心位置を推定し、出力する（Ｓ１４１）。また、部位三次元重心位置推定部１４１は、推定した時刻tにおける部位識別子iの部位三次元重心位置を記録部１９０に記録する。
【００２４】
推定には、任意の手法を用いることができる。例えば、Ntを1以上の整数とし、時刻t-Ntから時刻t-1までにおけるNt個の部位識別子iの部位三次元重心位置C3D(i, t-Nt), …, C3D(i, t-1)に対してカルマンフィルタやパーティクルフィルタなどの時系列フィルタを適用することにより、時刻tにおける部位識別子iの部位三次元重心位置C3D(i, t)を推定してもよい。なお、Ntの適切な値は、映像のフレームレート、被写体の動きの速さ、時系列フィルタの種類などに依存するが、少なくとも1時刻前の部位三次元重心位置C3D(i, t-1)があれば部位三次元重心位置C3D(i, t)を推定することができる。
【００２５】
また、t=1の場合は、時刻t=1における部位識別子iの部位三次元重心位置を適切な方法で推定すればよい。例えば、部位三次元重心位置推定部１４１は、時刻t=1における重み付き三次元モデルを用いて、部位識別子iの部位に含まれるボクセルの集合に対して、ボクセル位置座標と重みを用いて重み付き平均を計算し、その値を部位識別子iの部位三次元重心位置C3D(i, 1)とすればよい。
【００２６】
重み付き三次元モデル修正部１４２は、Ｓ１４１で推定した時刻tにおける部位識別子i（i=1, …, Np）の部位三次元重心位置と、記録部１９０に記録している基準重み付き三次元モデルと、Ｓ１３０で生成した時刻tにおける重み付き三次元モデルを入力とし、時刻tにおける修正済み重み付き三次元モデルを生成し、出力する（Ｓ１４２）。ここで、時刻tにおける修正済み重み付き三次元モデルは、時刻tにおける重み付き三次元モデルから所定の方法により決定した重み付きボクセルデータを取り除くことにより生成されるものであり、集合として時刻tにおける重み付き三次元モデルに含まれるものとなる。また、重み付き三次元モデル修正部１４２は、生成した時刻tにおける修正済み重み付き三次元モデルを時刻tにおける重み付き三次元モデルとして記録部１９０に記録する。なお、時刻tにおける重み付き三次元モデルを記録するのは、以下で説明するように、基準時刻と一致する時刻における重み付き三次元モデルを基準重み付き三次元モデルとするためである。
【００２７】
以下、生成方法について具体的に説明する。ここで、i=1, …, Npに対して、時刻tにおいて部位識別子iの部位に含まれるボクセルの数をNi,tとし、時刻tにおいて部位識別子iの部位に含まれるボクセルをv(i, j, t)（j=1, …, Ni,t）、当該ボクセルのボクセル位置座標をp(i, j, t)、当該ボクセルの重みをwi,j,tと表すことにする。つまり、p(i, j, t)は時刻tにおける部位識別子iの部位に含まれるj番目のボクセルの位置座標、wi,j,tは時刻tにおける部位識別子iの部位に含まれるj番目のボクセルに付与された重みを表す。一般に、視体積交差法を用いて三次元領域を復元すると、実際に人体が空間に占める領域よりも大きな領域を三次元領域として復元してしまう。そこで、ここでは、人体が空間に占める実際の領域に含まれない（つまり、不要な）ボクセルv(i,j,t)を削除することにより、重み付き三次元モデルを修正する。
【００２８】
基準重み付き三次元モデルにおける部位識別子iの部位に含まれるボクセルの数をNiとする。なお、基準重み付き三次元モデルは、基準時刻ts(tsは1以上の所定の整数)における重み付き三次元モデルである。基準時刻tsは、どのように選んでもよい。例えば、ユーザが別途指定するのでもよい。ただし、図１(b)に示すような、カメラから観測できない領域が極力小さい時刻であるのが望ましい。
【００２９】
なお、基準重み付き三次元モデルが記録部１９０に記録されていない場合、以下の処理は実行しない。つまり、t≦tsの場合、重み付き三次元モデル修正部１４２は、Ｓ１３０で生成した重み付き三次元モデルをそのまま修正済み重み付き三次元モデルとして出力する。一方、t>tsの場合、重み付き三次元モデル修正部１４２は、以下説明する方法により修正した重み付き三次元モデルを修正済み重み付き三次元モデルとして出力する。
【００３０】
時刻tにおける重み付き三次元モデルにおいて、部位識別子iの部位に含まれるボクセルの数Ni,tは、Ni,t>Niを満たすものとする。時刻tにおけるx個のボクセルを含む部位識別子iの部位の部分集合をV(i, x, t)と表すことにする。このとき、次式により計算される時刻tにおける部位識別子iの部位での誤差ei,tを最小にする部分集合V(i, Ni, t)を求める。
【００３１】
【数１】
2020076647.tif 000003
【００３２】
ここで、||・||は、２つの位置座標間の距離を表す。距離||・||には、任意の距離を用いることができる。また、f(V(i, Ni, t))は、次式により計算される、部分集合V(i, Ni, t)の部位三次元重心位置を表す。
【００３３】
【数２】
2020076647.tif 000004
【００３４】
ここで、上式の左辺のΣは、{1, …, Ni,t}からNi個の整数を選んだときの和を表す。
【００３５】
なお、誤差ei,tを最小にするV(i, Ni, t)を求める方法はどのような方法であってもよい。{1, …, Ni}からNi個の整数を選び出した組み合わせすべてに対して誤差ei,tを計算して、最小値をとるNi個のボクセルを決定してもよいし、所定の回数だけNi個の整数をランダムに選び出した組合せに対して誤差ei,tを計算して、その中で最小値をとるNi個のボクセルを決定してもよい。このようにして決定した、最小値をとるNi個のボクセルを改めて部位識別子iの部位とする。
【００３６】
また、Ni,t≦Niとなる場合は、Ni,t個のボクセルを改めて部位識別子iの部位とする。
【００３７】
以上のようにして決定した部位識別子iの部位に含まれるボクセルに対応する、重み付きボクセルデータの集合を時刻tにおける修正済み重み付き三次元モデルとする。
【００３８】
三次元重心位置計算部１４３は、Ｓ１４２で生成した時刻tにおける修正済み重み付き三次元モデルを入力とし、時刻tにおける三次元重心位置を計算し、出力する（Ｓ１４３）。時刻tにおける三次元重心位置COM(t)は、次式により計算される。
【００３９】
【数３】
2020076647.tif 000005
【００４０】
ここで、NallはＳ１４２で生成した修正済み重み付き三次元モデルに含まれるボクセルの数である。
【００４１】
本実施形態の発明によれば、カメラから観測できない領域が存在する場合であっても、精度よく、多視点映像から人体の三次元重心位置を推定することが可能となる。
【００４２】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００４３】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００４４】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００４５】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００４６】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００４７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００４８】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４９】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５０】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2020076647.tif 000007
【図２】
2020076647.tif 000008
【図３】
2020076647.tif 000009
【図４】
2020076647.tif 000010
【図５】
2020076647.tif 000011
【図６】
2020076647.tif 000012
【図７】
2020076647.tif 000013
【図８】
2020076647.tif 000014