(57)【要約】【課題】より安定で高精度な姿勢推定を行うことができる。【解決手段】姿勢最適化部は、人体が存在する可能性のある領域に整合するように、人体のモデル（ツリー構造）の姿勢のパラメータである関節位置、角度、関節の数などを複数の最適化手法により最適化し、複数の最適化手法から最適なものが切り替えて用いられる。なお、最適化手法としては、１．初期値、２．アルゴリズム、３．制約があり、この３つをそれぞれ切り替えることにより最適化が行われる。本開示は、例えば、人体のモデルの関節位置や角度を最適化する画像処理装置に適用することができる。【選択図】図３
2017086032.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から抽出された人体領域に対して、第１の最適化手法を用いて、人体モデルの姿勢のパラメータを最適化する第１の姿勢最適化部と、
前記人体領域に対して、前記第１の最適化手法とは異なる第２の最適化手法を用いて、前記人体モデルの姿勢のパラメータを最適化する第２の姿勢最適化部と、
前記第１の最適化手法による第１の最適化結果および前記第２の最適化手法による第２の最適化結果の一方を選択する選択部と
を備える画像処理装置。
【請求項２】
前記入力画像からオブジェクトを検出するオブジェクト検出部を
さらに備え、
前記選択部は、前記オブジェクト検出部によるオブジェクト検出結果に応じて、前記第１の最適化結果および前記第２の最適化結果の一方を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記第１の最適化結果の信頼度および前記第２の最適化結果の信頼度を評価する信頼度評価部を
さらに備え、
前記選択部は、前記信頼度評価部による信頼度評価結果に応じて、前記第１の最適化結果および前記第２の最適化結果の一方を選択する
請求項１に記載の画像処理装置。
【請求項４】
前記選択部は、いずれの最適化結果の信頼度も閾値より低い場合、初期状態の姿勢のパラメータを選択する
請求項３に記載の画像処理装置。
【請求項５】
前記選択部は、いずれの最適化結果の信頼度も閾値より低い場合、前記第１の最適化手法および前記第２の最適化手法による処理を中断させ、ユーザに対してキャリブレーションを促す
請求項３に記載の画像処理装置。
【請求項６】
前記第１の最適化手法および前記第２の最適化手法は、アルゴリズム、初期値、および制約条件の少なくとも１つに関してのものである
請求項１に記載の画像処理装置。
【請求項７】
前記第１の最適化手法および前記第２の最適化手法の一方は、極値探索アルゴリズムに基づく手法である
請求項１に記載の画像処理装置。
【請求項８】
前記第１の最適化手法および前記第２の最適化手法の一方は、特定の姿勢または特定の動作に基づく手法である
請求項１の記載の画像処理装置。
【請求項９】
前記入力画像からオブジェクトを検出するオブジェクト検出部を
さらに備え、
前記第１の最適化手法および前記第２の最適化手法の一方は、前フレームの最適化結果を初期値として最適化を行うものであり、前記第１の最適化手法および前記第２の最適化手法の他方は、前記オブジェクト検出部によるオブジェクト検出結果に基づいて決定した初期値を用いて最適化を行うものである
請求項１の記載の画像処理装置。
【請求項１０】
前記入力画像からオブジェクトを検出するオブジェクト検出部を
さらに備え、
前記第１の最適化手法および前記第２の最適化手法の一方は、前記オブジェクト検出部によるオブジェクト検出結果に基づいて決定した制約を用いて最適化を行うものである
請求項１の記載の画像処理装置。
【請求項１１】
前記人体モデルの姿勢のパラメータは、関節位置、角度、関節の数である
請求項１の記載の画像処理装置。
【請求項１２】
画像処理装置が、
入力画像から抽出された人体領域に対して、第１の最適化手法を用いて、人体モデルの姿勢のパラメータを最適化し、
前記人体領域に対して、前記第１の最適化手法とは異なる第２の最適化手法を用いて、前記人体モデルの姿勢のパラメータを最適化し、
前記第１の最適化手法による第１の最適化結果および前記第２の最適化手法による第２の最適化結果の一方を選択する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、より安定で高精度な姿勢推定を行うことができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
カメラ等からの入力画像に対し、背景差分(background  subtraction)アルゴリズムなどによって動被写体部分のシルエット領域に対し人体モデルをエネルギ最適化によってあてはめて姿勢を推定する姿勢推定技術がある（例えば、非特許文献１参照）。【０００３】
また、複数の動被写体部分のシルエットを３次元的に投影し、人体部分を示す３次元形状を推定するVisual  Hullという手法を用いた上で人体モデルの最適化を行う技術もある（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】<Articulated  Body  Motion  Capture  by  Stochastic  Search(International  Journal  of  Computer  Vision,2005),JONATHAN  DEUTSCHER  AND  LAN  REID,Department  of  Engineering  Science,University  of  Oxford,Oxford,OX13PJ,United  Kingdom,Received  August  19,2003.>
【非特許文献２】<Markerless  Motion  Capture  System  to  Study  Musculockeletal  Biomechanics,Visual  Hull  and  Simulated  Annealing  Approach,S.  Corazza,  L.  Mundermann,  A.  M.  Chaudhari,  T.  Demattio,  C.  Cobelli,  T.  P.  Andriacchi,  Annals  of  Biomedical  Engineering  -  ANN  BIOMED  ENG  ,  vol.  34,  no.  6,  pp.  1019-1029,  2006>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
これらの技術はいずれもエネルギ関数の最適化問題に帰着するが、最適化問題は一般的に大域最適解を保証することは困難であり、局所最適解に陥る恐れがあった。質の良い初期値を利用すれば、大域最適解を安定的に求められるが、一般的にこのような初期値を求めることは困難であった。【０００６】
したがって、これまでは、安定して正しい姿勢を推定し続けることは困難であった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、より安定で高精度な姿勢推定を行うことができるものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、入力画像から抽出された人体領域に対して、第１の最適化手法を用いて、人体モデルの姿勢のパラメータを最適化する第１の姿勢最適化部と、前記人体領域に対して、前記第１の最適化手法とは異なる第２の最適化手法を用いて、前記人体モデルの姿勢のパラメータを最適化する第２の姿勢最適化部と、前記第１の最適化手法による第１の最適化結果および前記第２の最適化手法による第２の最適化結果の一方を選択する選択部とを備える。【０００９】
前記入力画像からオブジェクトを検出するオブジェクト検出部をさらに備え、前記選択部は、前記オブジェクト検出部によるオブジェクト検出結果に応じて、前記第１の最適化結果および前記第２の最適化結果の一方を選択することができる。【００１０】
前記第１の最適化結果の信頼度および前記第２の最適化結果の信頼度を評価する信頼度評価部をさらに備え、前記選択部は、前記信頼度評価部による信頼度評価結果に応じて、前記第１の最適化結果および前記第２の最適化結果の一方を選択することができる。【００１１】
前記選択部は、いずれの最適化結果の信頼度も閾値より低い場合、初期状態の姿勢のパラメータを選択することができる。【００１２】
前記選択部は、いずれの最適化結果の信頼度も閾値より低い場合、前記第１の最適化手法および前記第２の最適化手法による処理を中断させ、ユーザに対してキャリブレーションを促すことができる。【００１３】
前記第１の最適化手法および前記第２の最適化手法は、アルゴリズム、初期値、および制約条件の少なくとも１つに関してのものである。【００１４】
前記第１の最適化手法および前記第２の最適化手法の一方は、極値探索アルゴリズムに基づく手法である。【００１５】
前記第１の最適化手法および前記第２の最適化手法の一方は、特定の姿勢または特定の動作に基づく手法である。【００１６】
前記入力画像からオブジェクトを検出するオブジェクト検出部をさらに備え、前記第１の最適化手法および前記第２の最適化手法の一方は、前フレームの最適化結果を初期値として最適化を行うものであり、前記第１の最適化手法および前記第２の最適化手法の他方は、前記オブジェクト検出部によるオブジェクト検出結果に基づいて決定した初期値を用いて最適化を行うものである。【００１７】
前記入力画像からオブジェクトを検出するオブジェクト検出部をさらに備え、前記第１の最適化手法および前記第２の最適化手法の一方は、前記オブジェクト検出部によるオブジェクト検出結果に基づいて決定した制約を用いて最適化を行うものである。【００１８】
前記人体モデルの姿勢のパラメータは、関節位置、角度、関節の数である。【００１９】
本技術の一側面の画像処理方法は、画像処理装置が、入力画像から抽出された人体領域に対して、第１の最適化手法を用いて、人体モデルの姿勢のパラメータを最適化し、前記人体領域に対して、前記第１の最適化手法とは異なる第２の最適化手法を用いて、前記人体モデルの姿勢のパラメータを最適化し、前記第１の最適化手法による第１の最適化結果および前記第２の最適化手法による第２の最適化結果の一方を選択する。【００２０】
本技術の一側面においては、入力画像から抽出された人体領域に対して、第１の最適化手法を用いて、人体モデルの姿勢のパラメータが最適化され、前記人体領域に対して、前記第１の最適化手法とは異なる第２の最適化手法を用いて、前記人体モデルの姿勢のパラメータが最適化される。そして、前記第１の最適化手法による第１の最適化結果および前記第２の最適化手法による第２の最適化結果の一方が選択される。
【発明の効果】
【００２１】
本技術によれば、より安定で高精度な姿勢推定を行うことができる。【００２２】
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
【図面の簡単な説明】
【００２３】
【図１】本技術を適用した画像処理装置の構成例を示すブロック図である。
【図２】人体領域情報と人体モデルの比較について説明する図である。
【図３】図１の姿勢最適化部の構成例を示すブロック図である。
【図４】画像処理装置の画像処理を説明するフローチャートである。
【図５】図４のステップＳ１５の人体姿勢最適化処理を説明するフローチャートである。
【図６】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
【００２５】
＜画像処理装置の構成例＞
図１は、本技術を適用した画像処理装置の構成例を示す図である。図１の例においては、カメラなどからの入力画像から人体らしい領域を抽出し、抽出された人体らしい領域に整合するように人体のモデルの関節位置や角度を最適化する画像処理を行う画像処理装置である。
【００２６】
図１の例において、画像処理装置１は、人体領域抽出部１１、オブジェクト検出部１２、および姿勢最適化部１３を含むように構成される。なお、図示せぬ外部から画像が、人体領域抽出部１１およびオブジェクト検出部１２に、入力画像として入力される。
【００２７】
人体領域抽出部１１は、入力画像から認証対象である人体が存在する可能性のある空間領域を抽出する。例えば、背景差分アルゴリズムが用いられて入力画像から人体らしい領域が抽出され、人体領域情報が生成されて、姿勢最適化部１３に出力される。
【００２８】
オブジェクト検出部１２は、入力画像に対して、特定のオブジェクトや使用環境に限定して検出・位置特定を行う。例えば、オブジェクト検出部１２は、人体の個別パーツ（例えば、顔検出や手検出など）、マーカ（例えば、身体に付けた位置追跡用の印など）、または、特定の物体（例えば、ゲームコントローラやスポーツで使用するラケット、バッドなど）の何れか１つ以上を検出して、その位置を出力する。
【００２９】
なお、検出に失敗した場合、失敗した旨は、姿勢最適化部１３に通知される。また、画像に限らず、センシング情報（赤外センサやレーザ測位など）を用いてもよい。
【００３０】
姿勢最適化部１３は、オブジェクト検出結果に応じて、複数の最適化手法から最適なものを切り替えて用いる。また、姿勢最適化部１３は、人体が存在する可能性のある領域に整合するように、人体のモデル（ツリー構造）の姿勢のパラメータである関節位置、角度、関節の数などを複数の最適化手法により最適化し、複数の最適化手法から最適なものを切り替えて用いる。例えば、姿勢最適化部１３は、図２に示されるように、入力画像から得られた人体領域情報と、人体モデルのシルエットが一致するように最適化が行われる。
【００３１】
図２の例においては、左側に、入力画像から得られた人体領域情報が示されており、右側に、人体モデルのシルエットが示されている。
【００３２】
その際、一致度（例えば、差分絶対値和）をエネルギとし、エネルギが最小になるように、姿勢のパラメータ（関節位置・角度・関節の数）などが最適化される。なお、最適化手法としては、１．初期値、２．アルゴリズム、３．制約があり、この３つをそれぞれ切り替えることにより最適化が行われる。
【００３３】
また、姿勢最適化部１３は、その最適化結果に応じて、検出制御命令を用いて、オブジェクト検出部１２に対して、必要な動作だけさせる。
【００３４】
なお、図１の例において、オブジェクト検出部１２は、一般的に処理量が大きいため、検出制御命令を用いて必要な動作だけさせる構成となっているが、検出制御命令を出さずに、オブジェクト検出部１２を常時一定動作させてもよい。また、オブジェクト検出部１２の有無は、外部から制御命令を受けて、切り替えられてもよいし、常時動作されていてもよい。
【００３５】
図３は、姿勢最適化部１３の詳細な構成例を示すブロック図である。
【００３６】
図３の例においては、制約生成部５１、姿勢調整部５２、姿勢情報記憶部５３、エネルギ最適化部５４−１および５４−２、姿勢評価部５５、姿勢最適化制御部５６、並びに、選択部５７を含むように構成されている。
【００３７】
人体領域抽出部１１からの人体領域情報は、エネルギ最適化部５４−１および５４−２に入力される。オブジェクト検出部１２からのオブジェクト検出結果である、オブジェクト位置情報や検出成功失敗通知は、制約生成部５１、姿勢調整部５２、および姿勢最適化制御部５６に入力される。
【００３８】
制約生成部５１は、オブジェクト検出部１２からのオブジェクト検出結果に応じて、最適化に制約条件を課すための「最適化制約」を生成する。例えば、制約生成部５１は、オブジェクト検出部１２において顔検出で顔の位置が特定できた場合、姿勢のパラメータの取り得る変数空間を、「顔の位置が検出結果と一致する部分空間」に制限する最適化制約（条件）を生成し、生成した最適化制約をエネルギ最適化部５４−１および５４−２に出力する。
【００３９】
姿勢調整部５２は、最適化の入力初期値となる姿勢情報（姿勢のパラメータ）を、オブジェクト検出結果や前時刻の姿勢評価結果に応じて調整する。例えば、オブジェクト検出結果の例としては、顔検出で顔位置がわかっている場合、検出結果の位置に一致するように姿勢のパラメータが調整される。
【００４０】
また、前時刻の姿勢評価結果の例としては、最適化結果の信頼性が低下してきた場合、次の最適化の入力とする姿勢を、特定のポーズ（例えば、腕を広げて直立した姿勢）に設定し直す。
【００４１】
図３の例においては、時間的な動きの連続性や最適化処理の容易さのために、出力となる姿勢情報を次の時刻の最適化の入力初期値としているが、最適化の結果、誤った姿勢となった場合には、次時刻以降にその影響が継続する恐れがある。そこで、特定のポーズに設定（調整）しなおすことで、時間的な連続性をリセットすることが可能である。
【００４２】
最適化の結果の信頼性が低下してきた場合の他の対応方法として、例えば、図示せぬ表示部やスピーカなどを用いて、ユーザに対して、規定の姿勢を利用した人体キャリブレーションを促し、改めて正しい姿勢推定が可能になるように復帰させるシステム構成とすることも可能である。
【００４３】
姿勢情報記憶部５３は、最適化結果の前の時刻の姿勢情報を記憶し、姿勢調整部５２に供給している。
【００４４】
エネルギ最適化部５４−１および５４−２は、それぞれ、人体領域情報と最適化の初期値を与えるための姿勢情報を入力して姿勢を決めるパラメータの最適化を行い、結果の最適化された姿勢情報および信頼度を、姿勢最適化制御部５６および選択部５７に出力する。
【００４５】
ここで、信頼度とは、最適化の結果どのくらいうまく姿勢が当てはまっているか、を評価する値で、例えば、最適化の最小化すべきエネルギが最終的にいくつになったのかを信頼度とする。
【００４６】
エネルギ最適化部５４−１および５４−２は、それぞれ、最適化の方法や特性が異なる。例えば、エネルギ最適化部５４−１は、例えば、勾配法などの極値探索アルゴリズムによる構成をとり、エネルギ最適化部５４−２は、解空間の離散的探索（決めパターンの全探索、すなわち、関数値をとらず、顔の位置固定で人がとりやすい姿勢パターンを1000パターンほど入れておいて、それを全探索する）など他のアルゴリズムによる構成をとる。また、あるいは、エネルギ最適化部５４−１は、汎用的な姿勢最適化が可能な構成をとり、エネルギ最適化部５４−２は、特定の姿勢（例えば、ゴルフのスイングや野球のフォーム）に特化した最適化が可能な構成をとる。エネルギ最適化部５４−２の構成は、エネルギ最適化部５４−１の構成（勾配法）などによりローカルミニマムに入りこんだときなどに適している。
【００４７】
すなわち、エネルギ最適化部５４−１が勾配法のアルゴリズムを用いるとすると、これに対して、エネルギ最適化部５４−２が用いる他のアルゴリズムとしては、確率的最適化アルゴリズムがあり、確率的最適化アルゴリズムとしては、遺伝的アルゴリズム(geneticalgorithm)、焼きなまし法（Simulated  Annealing）、その他がある。その他には、知識を利用したアプローチとして、姿勢情報データベースを利用したものであったり、代表的姿勢を思考したものがあり、全探索的なアプローチとして、パラメータ空間をスパースに全探索するものや、頭、胴体、手などをパーツごとに逐次的に疑似全探索を行うものがある。
【００４８】
また、バリエーションとして、エネルギ最適化部５４−１および５４−２は、制約生成部５１からの最適化制約を入力とする。例えば、エネルギ最適化部５４−１および５４−２は、オブジェクト検出によって得られたオブジェクト位置情報を用いて姿勢のパラメータに制約を課して最適化を行う。例えば、人検出で人の位置が特定できた場合には、姿勢のパラメータの取り得る変数空間を、人の位置が検出結果と一致する部分空間に制限して最適化が行われる。
【００４９】
姿勢評価部５５は、エネルギ最適化部５４−１および５４−２の最適化結果が信頼できるものか評価を行い、その評価結果を姿勢調整部５２、姿勢最適化制御部５６、並びに選択部５７に出力する。簡単には、姿勢評価部５５は、エネルギ最適化部５４−１および５４−２の出力する信頼度と、固定の閾値を比較して、信頼できるか否かを判定する。
【００５０】
他の評価方法としては、さらに、エネルギ最適化部５４−１および５４−２の最適化結果を比較して、その結果を合わせて出力する方法、姿勢評価部５５が内部に過去の信頼度を保持しておき、新たな信頼度が過去と大きく変動した場合、最適化を誤ったと判定する方法、並びに、最適化された姿勢情報が、人体の姿勢・運動の変化として不自然だったら、最適化を誤ったと判定する方法がある。なお、これらの方法を、１つだけ採用してもよいし、複合的に採用してもよい。
【００５１】
姿勢最適化制御部５６は、オブジェクト検出の結果を受けて、どちらか一方のエネルギ最適化（例えば、勾配法の最適化）を切り替える機能を有し、切替命令を選択部５７に出力する。また、姿勢最適化制御部５６は、バリエーションとして、次時刻(フレーム)にオブジェクト検出処理を動作させるか否かを制御する検出制御命令をオブジェクト検出部１２に出力する。
【００５２】
また、姿勢最適化制御部５６は、姿勢評価部５５からの評価結果を受けて、検出制御命令を切り替えてもよい。姿勢最適化制御部５６は、具体的には、最適化結果が十分信頼できるときは、オブジェクト検出を行わず、信頼性が低下したときのみ、オブジェクト検出を行うような制御を行う。
【００５３】
選択部５７は、特性の異なる２つの最適化結果を、姿勢最適化制御部５６からの切替命令に応じて選択する。また、姿勢評価部５５の出力を同時に受けて、選択するようにしてもよい。例えば、エネルギ最適化部５４−１が汎用的な姿勢最適化を行い、エネルギ最適化部５４−２が特定の姿勢に特化した最適化を行う構成で、切替命令が指す側の最適化結果に対して、姿勢評価部５５の評価結果として信頼性が高いときは採用し、それ以外の場合はエネルギ最適化部５４−１の結果を採用することもできる。なお、選択部５７は、前フレームの姿勢のパラメータを記憶しておき、どちらの評価結果もある閾値より低い場合、前フレームの姿勢のパラメータを選ぶようにしてもよいし、上述したように、ユーザに対して、規定の姿勢を利用した人体キャリブレーションを促し、改めて正しい姿勢推定が可能になるように復帰させるようにしてもよい。
【００５４】
選択部５７は、選択した最適化結果の姿勢情報を、図示せぬ後段に出力する。
【００５５】
なお、図３の例において、点線で示されている制約生成部５１、姿勢調整部５２、および姿勢評価部５５は、バリエーションとしてそれぞれが存在しない（使用しない）構成をとることができることを表している。また、図３の例においては、エネルギ最適化部５４−１および５４−２としてアルゴリズムが２種類の例を示したが、３種類や４種類、すなわち、複数であれば、もっと多くてもよい。
【００５６】
＜画像処理装置の処理例＞
次に、図４のフローチャートを参照して、画像処理装置１の画像処理について説明する。
【００５７】
ステップＳ１１において、図示せぬ外部より、人体領域抽出部１１およびオブジェクト検出部１２に入力画像が入力される。
【００５８】
ステップＳ１２において、人体領域抽出部１１は、ステップＳ１１により入力された入力画像から人体らしい領域を抽出し、人体領域情報を生成する。人体領域抽出部１１は、生成された人体領域情報を、姿勢最適化部１３に出力する。
【００５９】
前フレームの処理において、姿勢最適化部１３から、オブジェクト検出処理を動作させるか否かを制御する検出制御命令が入力されている。それに応じて、ステップＳ１３において、オブジェクト検出部１２は、オブジェクト検出を行うか否かを判定し、オブジェクト検出を行うと判定した場合、ステップＳ１４の処理に進む。
【００６０】
ステップＳ１４において、オブジェクト検出部１２は、ステップＳ１１により入力された入力画像からオブジェクトを検出する。オブジェクト検出部１２は、検出されたオブジェクト位置情報と、必要に応じて、検出成功失敗通知を、姿勢最適化部１３に出力する。
【００６１】
ステップＳ１３において、オブジェクト検出を行わないと判定された場合、ステップＳ１４は、スキップされる。
【００６２】
ステップＳ１５において、姿勢最適化部１３は、人体モデルの姿勢を最適化する。この人体姿勢最適化処理の詳細は、図５を参照して、後述されるが、ステップＳ１５において、入力画像から得られた人体領域情報と、人体モデルのシルエットの一致度をエネルギとしてエネルギが最小になるように、姿勢のパラメータ（関節位置・角度・関節の数）などが複数の方法で最適化され、複数の最適化結果が、オブジェクト検出結果または最適化結果の信頼度評価結果に応じて選択される。そして、姿勢最適化部１３により、複数の方法で最適化され、選択された姿勢情報が、図示せぬ後段に出力され、画像処理は、終了される。
【００６３】
次に、図５のフローチャートを参照して、図４のステップＳ１５の人体姿勢最適化処理について説明する。人体領域抽出部１１からの人体領域情報は、エネルギ最適化部５４−１および５４−２に入力される。オブジェクト検出部１２からのオブジェクト検出結果である、オブジェクト位置情報や検出成功失敗通知は、制約生成部５１、姿勢調整部５２、および姿勢最適化制御部５６に入力される。
【００６４】
ステップＳ５１において、姿勢最適化制御部５６は、オブジェクト検出部１２からのオブジェクト検出結果（オブジェクト位置情報や検出成功失敗通知）に応じて、オブジェクトを検出したか否かを判定する。ステップＳ５１において、オブジェクト（例えば、顔）を検出したと判定された場合、処理は、ステップＳ５２に進む。
【００６５】
姿勢最適化制御部５６は、選択部５７に、例えば、エネルギ最適化部５４−１の勾配法による最適化結果に切り替える切替命令をしてくる。これに対応して、ステップＳ５２において、選択部５７は、エネルギ最適化部５４−１の勾配法による最適化結果を選択し、選択した最適化結果の姿勢情報を、後段に出力する。
【００６６】
ステップＳ５１において、オブジェクト（例えば、顔）を検出していないと判定された場合、処理は、ステップＳ５３に進む。
【００６７】
ステップＳ５３において、制約生成部５１は、オブジェクト検出部１２からのオブジェクト検出結果に応じて、最適化に制約条件を課すための最適化制約を生成する。制約生成部５１は、生成した最適化制約をエネルギ最適化部５４−１および５４−２に出力する。
【００６８】
ステップＳ５４において、姿勢調整部５２は、姿勢情報記憶部５３からの前の時刻の姿勢情報（姿勢のパラメータ）を、オブジェクト検出結果や前時刻の姿勢評価結果に応じて調整する。姿勢調整部５２は、調整された姿勢のパラメータである姿勢情報を、エネルギ最適化部５４−１および５４−２に出力する。
【００６９】
ステップＳ５５において、エネルギ最適化部５４−１は、人体領域情報と最適化の初期値を与えるための姿勢情報を入力して、例えば、勾配法により、姿勢を決めるパラメータの最適化を行う。エネルギ最適化部５４−１は、その結果の最適化された姿勢情報および信頼度を、姿勢最適化制御部５６および選択部５７に出力する。
【００７０】
ステップＳ５６において、エネルギ最適化部５４−２は、人体領域情報と最適化の初期値を与えるための姿勢情報を入力して、例えば、勾配法以外の方法、例えば、確率的最適化アルゴリズムにより、姿勢を決めるパラメータの最適化を行う。エネルギ最適化部５４−２は、その結果の最適化された姿勢情報および信頼度を、姿勢最適化制御部５６および選択部５７に出力する。
【００７１】
ステップＳ５７において、姿勢評価部５５は、エネルギ最適化部５４−１および５４−２の最適化結果が信頼できるものか評価を行い、その評価結果を姿勢調整部５２、姿勢最適化制御部５６、並びに選択部５７に出力する。
【００７２】
ステップＳ５８において、選択部５７は、姿勢評価部５５からの評価結果に基づいて、信頼度の高い方の最適化結果を選択する。そして、選択部５７は、選択した最適化結果の姿勢情報を、後段に出力する。
【００７３】
ステップＳ５２またはステップＳ５８の後、処理は、ステップＳ５９に進む。ステップＳ５９において、姿勢最適化制御部５６は、姿勢評価部５５からの評価結果に基づいて、次時刻(フレーム)にオブジェクト検出処理を動作させるか否かを制御する検出制御命令をオブジェクト検出部１２に出力する。
【００７４】
以上のようにして、人体姿勢の最適化が複数の最適化方法で行われ、オブジェクト検出結果または最適化結果の信頼度評価結果に応じて選択される。
【００７５】
なお、図５において、ステップＳ５５およびＳ５６は並行で行われる処理である。また、図５の例においては、ステップＳ５１において、オブジェクトが検出されなかった場合、複数の最適化結果を評価して選択する例を説明したが、ステップＳ５１において、オブジェクトが検出されなかった場合、ステップＳ５２で選択された最適化方法ではない他方の最適化方法の選択結果が選ばれるようにしてもよい。
【００７６】
以上のように、本技術においては、姿勢推定の信頼度に応じて、複数の最適化手法（最適化アルゴリズム、初期値設定、制約の少なくとも１つ）から最適な手法を選択するようにしたので、より安定で高精度な姿勢推定を行うことができる。
【００７７】
また、姿勢推定の信頼性が著しく低下している場合、キャリブレーションを行ったり、あるいは、ユーザに対してキャリブレーションを要求するなどの処理により、正常な状態に復帰させることができる。
【００７８】
以上により、本技術によれば、より安定で高精度な姿勢推定を行うことができる。
【００７９】
＜パーソナルコンピュータ＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【００８０】
図６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
【００８１】
パーソナルコンピュータ５００において、CPU（Central  Processing  Unit）５０１、ROM（Read  Only  Memory）５０２、RAM（Random  Access  Memory）５０３は、バス５０４により相互に接続されている。
【００８２】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
【００８３】
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【００８４】
以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
【００８５】
コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact  Disc-Read  Only  Memory),DVD(Digital  Versatile  Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００８６】
コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【００８７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
【００８８】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８９】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【００９０】
なお、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【００９１】
例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【００９２】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００９３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９４】
なお、本技術は以下のような構成も取ることができる。
（１）  入力画像から抽出された人体領域に対して、第１の最適化手法を用いて、人体モデルの姿勢のパラメータを最適化する第１の姿勢最適化部と、
前記人体領域に対して、前記第１の最適化手法とは異なる第２の最適化手法を用いて、前記人体モデルの姿勢のパラメータを最適化する第２の姿勢最適化部と、
前記第１の最適化手法による第１の最適化結果および前記第２の最適化手法による第２の最適化結果の一方を選択する選択部と
を備える画像処理装置。
（２）  前記入力画像からオブジェクトを検出するオブジェクト検出部を
さらに備え、
前記選択部は、前記オブジェクト検出部によるオブジェクト検出結果に応じて、前記第１の最適化結果および前記第２の最適化結果の一方を選択する
前記（１）に記載の画像処理装置。
（３）  前記第１の最適化結果の信頼度および前記第２の最適化結果の信頼度を評価する信頼度評価部を
さらに備え、
前記選択部は、前記信頼度評価部による信頼度評価結果に応じて、前記第１の最適化結果および前記第２の最適化結果の一方を選択する
前記（１）に記載の画像処理装置。
（４）  前記選択部は、いずれの最適化結果の信頼度も閾値より低い場合、初期状態の姿勢のパラメータを選択する
前記（３）に記載の画像処理装置。
（５）  前記選択部は、いずれの最適化結果の信頼度も閾値より低い場合、前記第１の最適化手法および前記第２の最適化手法による処理を中断させ、ユーザに対してキャリブレーションを促す
前記（３）に記載の画像処理装置。
（６）  前記第１の最適化手法および前記第２の最適化手法は、アルゴリズム、初期値、および制約条件の少なくとも１つに関してのものである
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  前記第１の最適化手法および前記第２の最適化手法の一方は、極値探索アルゴリズムに基づく手法である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記第１の最適化手法および前記第２の最適化手法の一方は、特定の姿勢または特定の動作に基づく手法である
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）  前記入力画像からオブジェクトを検出するオブジェクト検出部を
さらに備え、
前記第１の最適化手法および前記第２の最適化手法の一方は、前フレームの最適化結果を初期値として最適化を行うものであり、前記第１の最適化手法および前記第２の最適化手法の他方は、前記オブジェクト検出部によるオブジェクト検出結果に基づいて決定した初期値を用いて最適化を行うものである
前記（１）に記載の画像処理装置。
（１０）  前記入力画像からオブジェクトを検出するオブジェクト検出部を
さらに備え、
前記第１の最適化手法および前記第２の最適化手法の一方は、前記オブジェクト検出部によるオブジェクト検出結果に基づいて決定した制約を用いて最適化を行うものである前記（１）に記載の画像処理装置。
（１１）  前記人体モデルの姿勢のパラメータは、関節位置、角度、関節の数である
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１２）  画像処理装置が、
入力画像から抽出された人体領域に対して、第１の最適化手法を用いて、人体モデルの姿勢のパラメータを最適化し、
前記人体領域に対して、前記第１の最適化手法とは異なる第２の最適化手法を用いて、前記人体モデルの姿勢のパラメータを最適化し、
前記第１の最適化手法による第１の最適化結果および前記第２の最適化手法による第２の最適化結果の一方を選択する
画像処理方法。
【符号の説明】
【００９５】
１  画像処理装置，  １１  人体領域抽出部，  １２  オブジェクト検出部，  １３
姿勢最適化部，  ５１  制約生成部，  ５２  姿勢調整部，  ５３  姿勢情報記憶部，
５４−１，５４−２  エネルギ最適化部，  ５５  姿勢評価部，  ５６  姿勢最適化制御部，  ５７  選択部
【図１】
2017086032.tif 000003
【図２】
2017086032.tif 000004
【図３】
2017086032.tif 000005
【図４】
2017086032.tif 000006
【図５】
2017086032.tif 000007
【図６】
2017086032.tif 000008
【国際調査報告】
2017086032.tif 000009
2017086032.tif 000010
2017086032.tif 000011
2017086032.tif 000012