(57)【要約】【課題】様々な姿勢における部位の検出を精度よく、かつ、効果的に行うこと。【解決手段】人体部位検出システムは、人体の部位の特徴量を学習した結果である学習モデルを記憶する学習モデル記憶部１０６と、距離画像を取得する距離画像取得部１０２と、距離画像から人物領域を抽出する前方人物抽出部１０４と、人物領域と学習モデルに基づいて人体の部位を検出する人体部位検出部１０８と、を備え、人体部位検出部１０８は、人物領域における基本点を検出し、基本点から人物領域における第一点までの最短の測地経路に基づいて第一点における測地経路の方向を計算し、上記方向に応じて学習モデルにおける特徴量を計算した際の画素の位置を第一点の周りに回転させた位置にある画素を選択し、選択された画素における距離の情報に基づいて第一点における特徴量を計算し、第一点における特徴量と学習モデルとに基づいて人体の部位に対応するラベルを決定する。【選択図】図１
2016091108.tif 000002
【特許請求の範囲】
【請求項１】
人体の部位の特徴量を学習した結果である学習モデルを記憶する記憶部と、
距離画像を取得する取得部と、
前記距離画像から人物領域を抽出する抽出部と、
前記人物領域と前記学習モデルに基づいて、前記人体の部位を検出する人体部位検出部と、を備え、
前記人体部位検出部は、
前記人物領域における基本点を検出する基本点検出部と、
前記基本点から前記人物領域における第一点までの最短の測地経路に基づいて、前記第一点における前記測地経路の方向を計算する計算部と、
前記方向に応じて前記学習モデルにおける特徴量を計算した際の画素の位置を前記第一点の周りに回転させた位置にある前記距離画像上の画素を選択する選択部と、
前記選択部により選択された画素における距離の情報に基づいて、前記第一点における特徴量を計算する特徴量計算部と、
前記第一点における特徴量と前記学習モデルとに基づいて、前記人体の部位に対応するラベルを決定するラベル決定部と、
を有する人体部位検出システム。
【請求項２】
前記距離画像における複数の画素を一つの超画素に統合し、前記超画素における距離の値を前記複数の画素の距離の値に基づいて決定するクラスタリング部をさらに備え、
前記選択部は、前記方向に応じて前記学習モデルにおける特徴量を算出した際の超画素の位置を前記第一点の周りに回転させた位置にある前記距離画像上の超画素を選択し、
前記特徴量計算部は、前記選択部により選択された超画素における距離の情報に基づいて、前記第一点における特徴量を計算する、
請求項１記載の人体部位検出システム。
【請求項３】
前記抽出部は、
三次元空間における人物領域を特定することにより前記距離画像から前記人物領域を抽出する、
請求項１記載の人体部位検出システム。
【請求項４】
前記基本点検出部は、
前記距離画像から三次元座標を得る三次元座標取得部と、
前記三次元座標に基づいて前記基本点を計算する基本点計算部と、を有し、
前記基本点は、
前記人物領域に含まれる各画素の三次元座標における重心、平均値、または、中央値に相当する位置にある点である、
請求項１記載の人体部位検出システム。
【請求項５】
前記ラベル決定部は、
前記第一点における特徴量の情報の入力を受け付ける入力部と、
前記学習モデルから前記第一点における特徴量を探索する特徴探索部と、
前記第一点における特徴量の探索結果に基づいて、前記人体の部位に対応するラベルを決定する決定部と、を有する、
請求項１記載の人体部位検出システム。
【請求項６】
前記ラベル決定部により決定されたラベルと、前記人体の部位に対応する三次元座標とに基づいて、人体の関節の位置を推定する推定部をさらに備える、
請求項１記載の人体部位検出システム。
【請求項７】
距離画像を取得する取得ステップと、
前記距離画像から人物領域を抽出する抽出ステップと、
人体の部位の特徴量を学習した結果である学習モデルを記憶部から読み出す読出ステップと、
前記人物領域と前記学習モデルとに基づいて、前記人体の部位を検出する人体部位検出ステップと、を含み、
前記人体部位検出ステップは、
前記人物領域における基本点を検出する基本点検出ステップと、
前記基本点から前記人物領域における第一点までの最短の測地経路に基づいて、前記第一点における前記測地経路の方向を計算する計算ステップと、
前記方向に応じて前記学習モデルにおける特徴量を計算した際の画素の位置を前記第一点の周りに回転させた位置にある前記距離画像上の画素を選択する選択ステップと、
前記選択ステップにおいて選択された画素における距離の情報に基づいて、前記第一点における特徴量を計算する特徴量計算ステップと、
前記第一点における特徴量と前記学習モデルとに基づいて、前記人体の部位に対応するラベルを決定するラベル決定ステップと、
を含む人体部位検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人体部位検出システムおよび人体部位検出方法に関する。
【背景技術】
【０００２】
従来、所定の点からの距離の情報を含む距離画像を用いて、人体の部位を検出する技術が知られている。このような技術は、ゲーム、人間とコンピュータのインタラクション、監視システム、テレビ会議システム、ヘルスケア、ロボット、自動車等の分野に適用され得る。
【０００３】
例えば、このような技術をゲームの分野に適用することにより、ユーザは、キーボードやマウスを使用することなく、姿勢の変化やジェスチャによってゲーム機を操作し、ゲームを楽しむことが可能となる。
【０００４】
例えば、特許文献１には、三次元計測値である距離の情報を画素値として含む距離画像に基づいて人の姿勢を検出する方法が開示されている。この方法では、学習対象である距離画像の各画素に対して、近傍に存在する１つ以上のオフセット画素を選択し、これらの画素の画素値に基づいて各画素と人体の部位との関連付けを学習データとして記憶する。そして、人体の部位検出時には、距離画像において判定対象となる画素とオフセット画素の画素値と学習データに基づき、判定対象の画素と人体の部位との関連度を算出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１３／０２６６１８２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１の技術では、判定対象の画素とオフセット画素の位置関係は判定対象の画素ごとに固定であるため、学習データ生成に用いた距離画像における人物の姿勢に対して例えば肩を中心に腕を大きく回すなど、距離画像における部位の角度が大きく異なる場合には、判定対象となる画素とオフセット画素の画素値の特徴と、学習データの特徴が一致せず、人体の部位の検出が困難になる。
【０００７】
したがってこのような方法では、人体の部位の検出精度が低くなる可能性がある。また、高精度な部位の検出を実現するためには、人体の様々な姿勢に対応した非常に多くの学習データが必要になる。
【０００８】
本発明の目的は、様々な姿勢における部位の検出を精度よく、かつ、効果的に行うことを可能とする人体部位検出システムおよび人体部位検出方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る人体部位検出システムは、人体の部位の特徴量を学習した結果である学習モデルを記憶する記憶部と、距離画像を取得する取得部と、距離画像から人物領域を抽出する抽出部と、人物領域と学習モデルに基づいて、人体の部位を検出する人体部位検出部と、を備え、人体部位検出部は、人物領域における基本点を検出する基本点検出部と、基本点から人物領域における第一点までの最短の測地経路に基づいて、第一点における測地経路の方向を計算する計算部と、上記方向に応じて学習モデルにおける特徴量を計算した際の画素の位置を第一点の周りに回転させた位置にある距離画像上の画素を選択する選択部と、選択部により選択された画素における距離の情報に基づいて、第一点における特徴量を計算する特徴量計算部と、第一点における特徴量と学習モデルとに基づいて、人体の部位に対応するラベルを決定するラベル決定部と、を有する。
【００１０】
本発明の一態様に係る人体部位検出方法は、距離画像を取得する取得ステップと、距離画像から人物領域を抽出する抽出ステップと、人体の部位の特徴量を学習した結果である学習モデルを記憶部から読み出す読出ステップと、人物領域と学習モデルとに基づいて、人体の部位を検出する人体部位検出ステップと、を含み、人体部位検出ステップは、人物領域における基本点を検出する基本点検出ステップと、基本点から人物領域における第一点までの最短の測地経路に基づいて、第一点における測地経路の方向を計算する計算ステップと、上記方向に応じて学習モデルにおける特徴量を計算した際の画素の位置を第一点の周りに回転させた位置にある距離画像上の画素を選択する選択ステップと、選択ステップにおいて選択された画素における距離の情報に基づいて、第一点における特徴量を計算する特徴量計算ステップと、第一点における特徴量と学習モデルとに基づいて、人体の部位に対応するラベルを決定するラベル決定ステップと、を含む。
【発明の効果】
【００１１】
本発明によれば、様々な姿勢における部位の検出を精度よく、かつ、効果的に行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る人体部位検出システムの構成の一例を示すブロック図
【図２】本発明の実施の形態１に係る人体部位検出部の構成の一例を示すブロック図
【図３】本実施の形態１に係る特徴量の計算処理の具体例を示す図
【図４】本発明の実施の形態１に係る異なる姿勢に対する特徴記述の不変性について説明する図
【図５】回転補正を行わない場合の画素のペアの選択方法を示す図
【図６】本実施の形態１に係る回転補正を行う場合の画素のペアの選択方法を示す図
【図７】本発明の実施の形態１に係る人体部位検知処理の処理手順の一例を示すフローチャート
【図８】本発明の実施の形態２に係る人体部位検出システムの構成の一例を示すブロック図
【図９】本発明の実施の形態２に係る超画素クラスタリングについて説明する図
【図１０】本発明の実施の形態２に係る超画素による特徴量の計算について説明する図
【図１１】本発明の実施の形態１、２に係る深層人工ニューラルネットワークについて説明する図
【図１２】本発明の実施の形態１、２に係る人体の骨格関節について説明する図
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１４】
（実施の形態１）
まず、本実施の形態に係る人体部位検出システム１００の構成例について、図１を用いて説明する。図１は、本実施の形態に係る人体部位検出システム１００の構成の一例を示すブロック図である。
【００１５】
図１に示すように、人体部位検出システム１００は、距離画像取得部１０２、前方人物抽出部１０４、学習モデル記憶部１０６、人体部位検出部１０８を有する。
【００１６】
距離画像取得部１０２は、距離カメラまたは記録デバイスから距離画像を取得する。
【００１７】
前方人物抽出部１０４は、距離画像の距離の情報を用いて、背景よりも前方の人物の領域（以下、前方人物領域という）を抽出する。なお、前方人物抽出部１０４は、前方人物領域を三次元の連結成分分析に基づいて抽出してもよい。
【００１８】
学習モデル記憶部１０６は、人体の部位の特徴量を学習した結果得られる学習モデルのデータなどを記憶する。この学習モデルのデータには、特徴量を算出するために選択した画素の位置の情報や、後述する画素のペアの情報などが含まれる。
【００１９】
人体部位検出部１０８は、学習モデル記憶部１０６に記憶された学習モデルに基づいて、前方人物抽出部１０４により抽出された前方人物領域に含まれる人体の部位を検出し、検出した部位にその部位を示すラベルを割り当てる。
【００２０】
次に、図２を用いて、上述した人体部位検出部１０８の構成の一例について説明する。図２は、本実施の形態に係る人体部位検出部１０８の構成の一例を示すブロック図である。
【００２１】
図２に示すように、人体部位検出部１０８は、基本点検出部２０２、ベクトル計算部２０４、選択部２０６、特徴量計算部２０８、ラベル決定部２１０を有する。
【００２２】
基本点検出部２０２は、前方人物抽出部１０４によって抽出された前方人物領域における基本点を検出する。基本点とは、例えば、前方人物領域に含まれる各画素の実世界座標系における３次元座標の重心、平均値、または中央値に相当する位置にある点である。
【００２３】
図２に示すように、基本点検出部２０２は、距離画像から実世界座標系における三次元座標を得る三次元座標取得部２０２ａと、得られた三次元座標を用いて前方人物領域における基本点を計算する基本点計算部２０２ｂとを有する。
【００２４】
ベクトル計算部２０４は、基本点から第一点までを最短距離で結ぶ測地経路を計算することで、第一点において測地方向を向く基準ベクトルを計算する。例えば、基準ベクトルは、前方人物領域の測地勾配に基づいて計算される。第一点とは、前方人物領域における所定の点であり、上記基本点とは異なる点である。
【００２５】
選択部２０６は、基準ベクトルの方向に応じて、学習モデルにおける特徴量を算出した際の画素のペアの位置を回転させた位置を計算し、その位置にある距離画像上の画素を特徴量の算出に用いる画素として選択する。画素のペアとは、第一点から所定の方向に所定の間隔だけ離れた２つの異なる画素である。
【００２６】
特徴量計算部２０８は、画素のペアの距離情報に基づいて、第一点における人体の部位の特徴量を計算する。この計算方法については、後に詳しく説明する。
【００２７】
ラベル決定部２１０は、第一点における人体の部位の特徴量と学習モデルに基づいて、人体の部位に対応するラベルを決定する。
【００２８】
図２に示すように、このラベル決定部２１０は、第一点における人体の部位の特徴量の入力を受け付ける入力部２１０ａと、学習モデルから第一点における人体の部位の特徴量を探索する特徴探索部２１０ｂと、探索された特徴量から人体の部位に対応するラベルを決定する決定部２１０ｃとを有する。
【００２９】
ここで、特徴探索部２１０ｂは、第一点における人体の部位の特徴量の探索を、深層人工ニューラルネットワークを使用して行ってもよい。また、決定部２１０ｃは、ラベルの決定をロジスティック回帰分析により行ってもよい。
【００３０】
次に、上記特徴量計算部２０８による特徴量の計算方法の一例について説明する。
【００３１】
以下の説明において、I(p)は、距離画像Ｉ上の位置p=(x,y)Tにおける画素の距離を表す。そして、
【数１】
2016091108.tif 000003
は、カバレッジ
【数２】
2016091108.tif 000004
と特徴リストFにより定義される局所特徴記述子を表す。
【００３２】
ここで、カバレッジ
【数３】
2016091108.tif 000005
は、距離画像I内での局所特徴記述子の円形のカバー範囲であり、pcはカバー範囲の中心、rはカバー範囲の半径を表す。
【００３３】
また、特徴リストFは、画素のペアのリスト｛P1, … , Pn｝である。ここで、Pi（1≦i≦n：nは任意の整数）は、i番目の画素のペア
【数４】
2016091108.tif 000006
を表し、pu、pｖは画素のペアに含まれる２つの画素の位置を表す。
【００３４】
また、比較関数は、例えば下記の式（１）のように表される。
【数５】
2016091108.tif 000007
ここで、(pu,pv)は、特徴リストFにおける画素のペアであり、tは閾値である。例えば、閾値ｔは、比較関数τ(pu,pv)において、０と１の出現確率が同じになるような値に設定される。
【００３５】
上記比較関数τ(pu,pv)を特徴リストFに適用することにより、バイナリ列
【数６】
2016091108.tif 000008
が得られ、局所特徴記述子
【数７】
2016091108.tif 000009
の特徴ベクトルが得られる。
【００３６】
なお、局所特徴記述子が距離の変化に対して不変量となるようにするため、局所特徴記述子のカバー範囲は実世界空間に対して一定にすべきである。そのため、射影幾何学の知識に基づいて、距離画像のカバレッジ
【数８】
2016091108.tif 000010
の半径rを、以下のように定義してもよい。
【数９】
2016091108.tif 000011
【００３７】
ここで、I(pc)は、カバー範囲の中心pcに位置する画素における距離であり、αは実世界空間におけるカバー範囲の大きさと距離カメラの焦点距離とに基づいて決定される定数である。直観的には、被写体が距離カメラに近いほど、αの値は大きくすべきであり、逆も同様である。
【００３８】
ここで、姿勢の変化に対して不変性のある局所特徴記述子を得るため、学習モデルにおける特徴量を算出した際の画素のペアの位置を基準ベクトルの方向に応じて回転させた位置が計算され、その位置にある距離画像上の画素のペアが特徴量の算出に用いられる画素として選択される。基準ベクトルは、局所的記述子の基準方向を示すベクトルである。
【００３９】
局所的な特性に基づいて各局所特徴記述子に対して一貫性のある方向を与えることで、局所特徴記述子を方向に対して相対的に定義でき、結果として回転に対する一貫性を達成できる。なお、測地不変記述子としての局所特徴記述子のカバー範囲は
【数１０】
2016091108.tif 000012
と表される。ここで、Γは局所特徴記述子の基準方向を表す。
【００４０】
次に、図３を用いて、本実施の形態おける特徴量の計算処理の具体例について説明する。図３Ａ〜３Ｄに示す円は、第一点pcを中心とした半径rの円であり、上述した局所特徴記述子のカバー範囲を示している。
【００４１】
図３Ａにおいて、例えば、画素のペアである画素puと画素pvとの比較により、式（１）の比較関数を用いて第一点pcにおける１ビットの特徴量が生成される。実際には、図３Ｂに示すように、複数の画素のペアの比較が行われ、それらの比較により得られた特徴量からバイナリ列が構成される。そして、このバイナリ列が、第一点pcにおける特徴量として用いられる。
【００４２】
なお、図３Ｃに示すように、画素のペアpu、pvは、基準ベクトルによって定義される極座標系によって特定される。この極座標系では、第一点pｃが極とされ、基準ベクトルの方向Γが極軸の方向とされる。
【００４３】
例えば、画素puが選択された場合、角度
【数１１】
2016091108.tif 000013
と距離
【数１２】
2016091108.tif 000014
の２つのパラメータが決定される。画素pｖについても同様である。
【００４４】
図３Ｄに示すように、画素のペアが複数ある場合も同様に、各ペアに含まれる画素に対し、角度と距離とが決定される。なお、角度θuは、基準ベクトルの方向Γから測った相対的な角度を示すので、全ての画素のペアは基準ベクトルに対して共変の関係となる。
【００４５】
なお、基準ベクトルは、例えば、以下のようにして計算される。以下では、fgは、前方人物抽出部１０４により距離画像から抽出された前方人物領域を表すものとし、poは、fgにおける基本点を表すものとする。
【００４６】
まず、画像fgから無向グラフG=(V,E)が生成される。このとき、点集合Vはfgの全ての点で構成され、枝集合Eはfgにおける隣接関係から構成される。各枝の重みは隣り合う点間のユークリッド距離に対応する。２点間の測地経路長は、最短経路の重み付き総和として定義され、例えばダイクストラアルゴリズムにより効率的に計算される。
【００４７】
図４の最も左の列には、fgにおける各点から基本点poまでの測地経路長を計算することにより得られる測地経路長マップが示されている。また、図４の左から２番目の列には、基本点poまでの距離が、等値線マップにより示されている。
【００４８】
そして、前方人物領域における各点における基準ベクトルの方向Γは、以下の式により計算される。
【数１３】
2016091108.tif 000015
ここで、Idは、fgにおける各点から基本点poまでの測地経路長である。
【００４９】
方向Γの計算結果が、図４の左から３番目の列に示されている。このようにして計算される方向Γは、上記計算で得られた測地経路の方向となる。
【００５０】
次に、基準ベクトルの性質について説明する。図４の左から４番目の列は、３番目の列に示した４つの異なる姿勢における腕の部分（矩形で囲まれた部分）の拡大図である。
【００５１】
人体の部位を特定するため、第一点pcにおける特徴量を計算する際には、学習モデルにおける特徴量を算出した際の画素のペアの位置を基準ベクトルの方向Γに応じて回転させた位置が計算される。そして、その位置にある距離画像上の画素のペアが特徴量の算出に用いられる画素として選択される。
【００５２】
これにより、姿勢が異なったとしても、特徴量の算出に用いられる画素のペアの位置が人体の部位に対して安定することとなり、姿勢の変化に対する一貫性を得ることができる。
【００５３】
次に、画素のペアの具体的な選択方法について、図５、図６を用いて説明する。図５は、回転補正を行わない場合の画素のペアの選択方法を示す図であり、図６は、回転補正を行う場合の画素のペアの選択方法を示す図である。
【００５４】
図５Ａ、図５Ｂに示すように、画素のペア３０２の回転補正を行わなければ、腕を回転させるなどして人の姿勢が変化しても、特徴量の算出に用いられる画素のペア３０２の位置は変わらない。この場合、前述の式（１）に基づいて算出される第一点３０４における特徴量は、図５Ａの場合と図５Ｂの場合とで大きく異なる。
【００５５】
そのため、図５Ａの姿勢において第一点３０４における特徴量を学習したとしても、その学習データに基づいて図５Ｂの姿勢における腕を特定することは難しい。
【００５６】
これに対し、画素のペア３０２の回転補正を行う場合、様々な姿勢における部位の検出を精度よくかつ効果的に行うことができる。以下、この点について詳しく説明する。
【００５７】
図６Ａにおいて、基本点４０１は、前述のように、前方人物領域に含まれる各画素の実世界座標系における三次元座標に基づいて計算され得る。例えば、基本点４０１は、前方人物領域に含まれる各画素の実世界座標系における３次元座標の重心、平均値、または中央値に相当する位置にある点である。
【００５８】
また、第一点４０４における基準ベクトル４０６は、基本点４０１から第一点４０４までの最短測地経路４０８を計算することにより決定される。
【００５９】
そして、図６Ｂに示されるように、ある姿勢において第一点４０４における特徴量が画素のペア４０２を用いて算出され、その特徴量が学習データとして記憶される。この学習データは、人体の部位の特定を行う際に用いられる。
【００６０】
図６Ｃには、姿勢が変化した場合の画素のペア４０２の選択方法が示されている。図６Ｃに示すように、姿勢が変化した場合、基準ベクトル４０６の方向が回転するが、その回転に応じて、図６Ｂに示した画素のペア４０２の位置を回転させた位置が計算され、その位置にある距離画像上の画素のペア４０２が特徴量の算出に用いられる画素として選択される。
【００６１】
そして、選択された画素のペア４０２を用いて第一点４０４における特徴量が算出され、学習データとの比較により部位の特定が行われる。これにより、画素のペア４０２を用いた特徴量の計算の一貫性が保たれ、姿勢の変化に対する不変性が実現される。
【００６２】
次に、図７を用いて、本実施の形態における人体部位検出処理の処理手順の一例について説明する。図７は、本実施の形態における人体部位検出処理の一例を示すフローチャートである。
【００６３】
まず、人体部位検出システム１００の距離画像取得部１０２は、距離カメラまたは記録デバイスから距離画像を取得する（ステップＳ１０２）。そして、前方人物抽出部１０４は、距離画像から前方人物領域を抽出する（ステップＳ１０４）。
【００６４】
続いて、基本点検出部２０２は、前方人物領域における基本点を検出する（ステップＳ１０６）。そして、ベクトル計算部２０４は、基本点から第一点までの最短測地経路を計算することで、第一点における基準ベクトルを計算する（ステップＳ１０８）。
【００６５】
その後、選択部２０６は、基準ベクトルの方向に応じて、学習モデルにおける特徴量を算出した際の画素のペアの位置を回転させた位置を計算し、その位置にある距離画像上の画素を特徴量の算出に用いられる画素として選択する（ステップＳ１１０）。
【００６６】
そして、特徴量計算部２０８は、選択された画素のペアの距離の情報に基づいて、第一点における特徴量を計算する（ステップＳ１１２）。この特徴量は、前述の式（１）を様々な画素のペアに対して適用することにより得られる局所的な特徴を表すバイナリ列である。
【００６７】
ラベル決定部２１０は、第一点における特徴量と学習モデルに基づいて、人体の部位に対応するラベルを決定する（ステップＳ１１４）。これにより、人体の部位が特定される。
【００６８】
以上説明したように、本実施の形態の人体部位検出システム１００によれば、基準ベクトルの方向に応じて学習モデルにおける特徴量を算出した際の画素のペアの位置を回転させた位置を計算し、その位置にある距離画像上の画素を、特徴量の算出に用いる画素として選択するので、様々な姿勢における部位の検出を精度よくかつ効果的に行うことができる。
【００６９】
（実施の形態２）
なお、上記実施の形態１では、画素単位で部位の検出を行うこととしたが、複数の画素をまとめた超画素単位で部位の検出を行うこととしてもよい。本実施の形態２では、超画素単位で部位の検出を行う場合について説明する。
【００７０】
まず、本実施の形態に係る人体部位検出システム５００の構成の一例について、図８を用いて説明する。図８は、本実施の形態に係る人体部位検出システム５００の構成の一例を示すブロック図である。なお、図８では、図１に示した人体部位検出システム１００の構成要素と同様のものには同一符号を付し、それらの説明は省略する。
【００７１】
図８に示すように、人体部位検出システム５００は、図１を用いて説明した距離画像取得部１０２、前方人物抽出部１０４、学習モデル記憶部１０６、および、人体部位検出部１０８に加え、超画素クラスタリング部５０６を有する。
【００７２】
超画素クラスタリング部５０６は、距離画像における複数の画素を超画素に統合する。例えば、超画素クラスタリング部５０６は、前方人物領域を構成する約１万個の画素を数百個程度の超画素に統合する。ここで、超画素クラスタリング部５０６は、各超画素の距離として、各超画素に統合された複数の画素の距離の平均値の値などを設定する。
【００７３】
超画素に統合する方法は任意であるが、例えば、超画素クラスタリング部５０６は、距離画像に含まれる画素の実世界座標系における三次元座標(x,y,z)を計算し、その三次元座標(x,y,z)を用いて超画素への統合を行うこととしてもよい。
【００７４】
また、人体の部位を検出する処理の処理手順は、図７に示した処理手順と同様のものとなるが、本実施の形態では、図７におけるステップＳ１０４とステップＳ１０６の間で、超画素クラスタリング部５０６により、距離画像における複数の画素を超画素に統合する処理が実行される。また、ステップＳ１０６以降の各処理では、画素に対して処理を行う代わりに超画素に対する処理が実行される。
【００７５】
本実施の形態では、距離画像の複数の画素を超画素に統合することとしたが、これにより得られる利点の一つは、距離情報に含まれるノイズに対するロバスト性を改善できることである。
【００７６】
また、別の利点は、処理時間を大幅に改善できることである。この利点について、以下に詳しく説明する。
【００７７】
測地距離マップを生成するために必要なダイクストラアルゴリズムの計算時間は、O(|E|+|V|log|V|)である。ここで、|E|はグラフにおける枝の数であり、|V|はグラフにおける点の数である。処理時間は、前方人物領域fgにおける画素の数に直接関係するため、その画素の数を削減することができれば、処理時間を改善できる。
【００７８】
また、距離カメラや距離センサにより得られる距離情報にはノイズが含まれる。このノイズは、物体の影や、赤外線を用いた距離センサの場合には、例えば赤外線以上に強い環境光、赤外線を散乱させるオブジェクトの材質などの影響により生じる。画素単位の特徴量の計算では、このようなノイズの影響を受けやすい。
【００７９】
そこで、本実施の形態では、画素単位の構造が、超画素単位の構造に置き換えられる。例えば、カラー画像に対しては、超画素クラスタリングは、画素の要素[l,a,b,x,y]に基づいて行われる。ここで、l、a、bはLab色空間におけるカラー要素であり、x、yは画素の座標を表す。
【００８０】
一方、距離画像においては、クラスタリングは要素[x,y,z,L]に基づいて行われる。ここで、x、y、zは、実世界座標系における三次元座標であり、Lは画素のラベルである。Lはオプションであり、オフラインでの学習、評価処理において使用される。
【００８１】
上記Lを使用することで、図９Ａおよび図９Ｂに示すように、同じ超画素に含まれる画素に一貫したラベルを付与することができる。例えば、頭部の画素６０２は、同じ人体部位ラベルを持ついくつかの超画素６０４に統合されている。実際のオンラインでの識別処理中には、超画素への統合に、実世界座標系における三次元座標[x,y,z]のみが使用されることとしてもよい。
【００８２】
各超画素の距離には、その超画素に属する全ての画素の距離の平均値が割り当てられる。そして、画素のペアの比較は、超画素のペアの比較に置き換えられる。
【００８３】
超画素による特徴量の計算の一例を図１０に示す。図１０には、第一点pcに対応する超画素７０２や、画素のペアpu７０４、pv７０６に対応する六角形の超画素Pu'７０８とPv'７１０を含む超画素が複数示されている。
【００８４】
ここで、画素のペアpu７０４、pv７０６はそれぞれ、超画素Pu'７０８、Pv'７１０にマッピングされ、前述の式（１）を用いた距離の比較は、超画素Pu'７０８、Pv'７１０に属する画素の距離の平均値を用いて行われる。なお、基準ベクトルの方向Γは、前方人物領域における基本点poに向かう最短測地経路の方向となる。
【００８５】
例えば、ＶＧＡサイズの距離画像の場合、前方人物領域は１万個程度の画素で構成されるが、超画素クラスタリングにより数百個程度にまとめることができる。よって、処理時間を劇的に削減することができる。さらに、各画素で異なる距離の情報は、超画素単位で平均値に置き換えられるので、ノイズに対するロバスト性を大幅に向上させることができる。
【００８６】
以上、本発明の実施の形態について説明してきたが、本実施の形態における人体部位検出システム１００、５００は、高次元の非線形データを深層ネットワークを用いて取り扱うこととしてもよい。深層ネットワークとは、例えば、ＳｄＡ（Stacked denoising Autoencoders）に基づくものである。
【００８７】
ＳｄＡを通じて、データは元の特徴空間からある潜在的な表現へと非線形に射影される。これらの表現は、ＳｄＡ−ｌａｙｅｒｘ特徴空間と呼ばれる。ＳｄＡでは、識別や認識に使用可能な判別情報を保存したまま、入力データにおける関連のない派生を除去することができる。
【００８８】
一方、ＳｄＡにおける最上位レイヤから深層レイヤへのデータの伝搬プロセスは、異なる抽象化能力を持つ潜在的な一連の表現を生成する。そして、レイヤが深くなるほど、抽象化のレベルは高くなる。
【００８９】
ＳｄＡによる深層人工ネットワークの構成の一例を図１１に示す。図１１の例では、深層ネットワークは、入力レイヤ８０２、３つの隠れたＳｄＡレイヤ８０６、８０８、８１０、出力レイヤ８１４の５つのレイヤで構成されている。入力レイヤ８０２は、バイナリ列の特徴８０４を取り込む。最後の隠れたレイヤ８１０は、疎な判別用バイナリ列特徴８１２を生成する。
【００９０】
各レイヤはノードの集合８１６で構成され、各ノードは隣り合うレイヤ間で全て接続されている。入力レイヤ８０２におけるノードの数は、画素のペアの数ｎに等しい。
【００９１】
第一点における特徴量を表すバイナリ列は、入力レイヤ８０２に対する入力として、深層ネットワークに直接与えられる。そして、出力レイヤ８１４におけるノードの数ｄは、人体の部位を表すラベルの数と一致する。すなわち、ラベルの数は、人体の部位の数と一致する。
【００９２】
そして、ロジスティック回帰のような線形回帰識別が出力レイヤ８１４に適用され、人体の各部位の識別結果が得られることになる。
【００９３】
なお、人体の部位の特徴を学習するために、真値の学習データが作成される。この学習データは、距離画像における人体の部位に対応する真値ラベルを含んでいてもよい。また、ロバスト性を改善するため、複数の学習例が選ばれてよい。このような学習により、人体の部位の特徴を学習した学習モデルが得られる。
【００９４】
また、上記実施の形態では、人体の部位を特定することとしたが、人体の部位を連結する関節の位置をさらに推定することとしてもよい。
【００９５】
具体的には、図７のステップＳ１１４において決定された人体の部位に対応するラベルと、その人体の部位に対応する三次元座標とに基づいて、人体の関節の位置を推定する。
【００９６】
例えば、関節の位置は、人体の各部位の中央位置を計算し、その計算結果を用いることで推定される。場合によっては、関節の位置は、上記中央位置から移動させてもよい。
【００９７】
図１２は、推定可能な人体の骨格関節の一例を示している。図１２に示すように、推定可能な骨格関節は、例えば、右手９０２、左手９０４、右肘９０６、左肘９０８、右肩９１０、左肩９１２、頭９１４、首９１６、腰９１８、右尻９２０、左尻９２２である。右手９０２と左手９０４の関節は、人物の実際の手の位置に近くなるように、体からより遠い位置に移動させてもよい。これにより、使いやすさがより改善される。
【００９８】
推定された骨格関節は、人の動作、姿勢、仕草の認識に利用でき、また、デバイスのコントロール等にも有効である。
【００９９】
なお、上記人体部位検出システム１００、５００、および、それらに含まれるモジュールの演算装置は、一般にＩＣ（Integrated Circuits）、ＡＳＩＣ（Application-Specific Integrated Circuits）、ＬＳＩ（Large Scale Integrated Circuits）、ＤＳＰ（Digital Signal Processor）等で実現され、また、ＰＣ（Personal Computer）に含まれるようなＣＰＵベースのプロセッサでも実現可能である。
【０１００】
これらのモジュールは、単一の機能を有するＬＳＩを統合するか、または複数の機能を有するひとつの統合ＬＳＩを用いることにより構成され得る。ＬＳＩの代わりに、回路の集積度が異なるＩＣやシステムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等でも上記モジュールは構成され得る。
【０１０１】
さらに、統合を達成する手段はＬＳＩに限らず、特別な回路や汎用目的のプロセッサなどであってもよい。例えば、特別なマイクロプロセッサ、例えばプログラム命令により指示できるＤＳＰ、ＬＳＩの製造後にプログラムすることができるＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩの接続や配置を再構成可能なプロセッサなども同じ目的に利用できる。
【０１０２】
また、将来的には、より進んだ製造および処理技術を用いて、新しい技術によりＬＳＩを置き換えてもよい。統合はそのような技術でも実現可能である。
【０１０３】
実装においては、人体部位検出システム１００、５００は、例えば、デジタルスチルカメラまたはムービーカメラといった画像取得デバイス組み込まれてもよい。また、人体部位検出システム１００、５００は、例えば、プロ用キャプチャシステムのような画像キャプチャシステムとして動作するスタンドアロンデバイスに搭載されてもよい。
【０１０４】
なお、本発明に係る人体部位検出システム１００、５００の適用範囲は上述した範囲に限定されるものではなく、人体部位検出システム１００、５００を他のタイプのデバイスに実装することも当然可能である。
【産業上の利用可能性】
【０１０５】
本発明は、人体の部位を検出するシステムおよび方法に有用である。
【符号の説明】
【０１０６】
１００、５００  人体部位検出システム
１０２  距離画像取得部
１０４  前方人物抽出部
１０６  学習モデル記憶部
１０８  人体部位検出部
２０２  基本点検出部
２０２ａ  三次元座標取得部
２０２ｂ  基本点計算部
２０４  ベクトル計算部
２０６  選択部
２０８  特徴量計算部
２１０  ラベル決定部
２１０ａ  入力部
２１０ｂ  特徴探索部
２１０ｃ  決定部
５０６  超画素クラスタリング部
【図１】
2016091108.tif 000016
【図２】
2016091108.tif 000017
【図３】
2016091108.tif 000018
【図５】
2016091108.tif 000019
【図６】
2016091108.tif 000020
【図７】
2016091108.tif 000021
【図８】
2016091108.tif 000022
【図１０】
2016091108.tif 000023
【図４】
2016091108.tif 000024
【図９】
2016091108.tif 000025
【図１１】
2016091108.tif 000026
【図１２】
2016091108.tif 000027