(57)【要約】【課題】画像に映る人物の体の向きを精度よく推定する。【解決手段】領域抽出部２２が、第一の時刻に撮像された画像及び第一の時刻よりも後の第二の時刻に撮像された画像の各々から、人物の領域を表す人物領域を抽出する。そして、特定部２４が、第一の時刻と第二の時刻のそれぞれの、人物領域における左側の特定の部位を表す左側部位と、人物領域における右側の特定の部位を表す右側部位とを特定する。そして、算出部２５が、第一の時刻の左側部位と第二の時刻の左側部位との間の移動量を表す左側移動量と、第一の時刻の右側部位と第二の時刻の右側部位との間の移動量を表す右側移動量とを算出する。そして、推定部２８が、左側移動量と右側移動量との間の差分と、差分と人物領域が表す人物の体の向きの変化量との間の関係とに基づいて、第二の時刻の人物領域に映る人物の体の向きを推定する。【選択図】図１
2019185662.tif 000002
【特許請求の範囲】
【請求項１】
第一の時刻に撮像された画像及び前記第一の時刻よりも後の第二の時刻に撮像された画像の各々から、人物の領域を表す人物領域を抽出し、
前記第一の時刻と前記第二の時刻のそれぞれの、前記人物領域における左側の特定の部位を表す左側部位と、前記人物領域における右側の特定の部位を表す右側部位とを特定し、
前記第一の時刻の前記左側部位と前記第二の時刻の前記左側部位との間の移動量を表す左側移動量と、前記第一の時刻の前記右側部位と前記第二の時刻の前記右側部位との間の移動量を表す右側移動量とを算出し、
前記左側移動量と前記右側移動量との間の差分と、前記左側移動量が前記右側移動量より大きい場合、及び前記右側移動量が前記左側移動量より大きい場合の各々について予め記憶部に記憶された、前記差分と前記人物領域が表す前記人物の体の向きの変化量との間の関係とに基づいて、前記第二の時刻の前記人物領域に映る前記人物の体の向きを推定する、
処理をコンピュータに実行させるための体向き推定プログラム。
【請求項２】
前記記憶部には、前記関係として、前記差分と前記人物の体の向きの変化量との間の関係が、第一の時刻の前記体の向き毎に複数格納されており、
第二の時刻の前記体の向きを推定する際に、既に推定された第一の時刻の前記体の向きに対応する前記関係を前記記憶部から読み出し、前記左側移動量と前記右側移動量との間の差分と、読み出した前記関係とに基づいて、第二の時刻の前記体の向きを推定する、
請求項１に記載の体向き推定プログラム。
【請求項３】
前記左側部位及び前記右側部位を特定する際に、前記人物領域から抽出された複数の特徴点の特徴量に基づいて、前記左側部位と前記右側部位とを特定する、
請求項１又は請求項２に記載の体向き推定プログラム。
【請求項４】
第一の時刻の前記人物領域から特定された前記左側部位及び前記右側部位の前記特徴点の位置を、第二の時刻の前記人物領域から特定された前記左側部位及び前記右側部位の前記特徴点の位置へ更新し、既に推定された第一の時刻の前記体の向きを、推定された第二の時刻の前記体の向きへ更新する、
請求項３に記載の体向き推定プログラム。
【請求項５】
前記人物領域を抽出する際に、画像に映る複数の前記人物領域を抽出し、
前記左側部位及び前記右側部位を特定する際に、複数の前記人物領域の各々について、前記人物領域の前記右側部位と前記人物領域の前記左側部位とを特定し、
前記左側移動量と前記右側移動量とを算出する際に、複数の前記人物領域の各々について、前記左側移動量と前記右側移動量とを算出し、
第二の時刻の前記体の向きを推定する際に、複数の前記人物領域の各々について、第二の時刻の前記人物領域に映る前記人物の体の向きを推定する、
請求項１〜請求項４の何れか１項に記載の体向き推定プログラム。
【請求項６】
第一の時刻に撮像された画像及び前記第一の時刻よりも後の第二の時刻に撮像された画像の各々から、人物の領域を表す人物領域を抽出する領域抽出部と、
前記第一の時刻と前記第二の時刻のそれぞれの、前記人物領域における左側の特定の部位を表す左側部位と、前記人物領域における右側の特定の部位を表す右側部位とを特定する特定部と、
前記第一の時刻の前記左側部位と前記第二の時刻の前記左側部位との間の移動量を表す左側移動量と、前記第一の時刻の前記右側部位と前記第二の時刻の前記右側部位との間の移動量を表す右側移動量とを算出する算出部と、
前記左側移動量と前記右側移動量との間の差分と、前記左側移動量が前記右側移動量より大きい場合、及び前記右側移動量が前記左側移動量より大きい場合の各々について予め記憶部に記憶された、前記差分と前記人物領域が表す前記人物の体の向きの変化量との間の関係とに基づいて、前記第二の時刻の前記人物領域に映る前記人物の体の向きを推定する推定部と、
を含む体向き推定装置。
【請求項７】
第一の時刻に撮像された画像及び前記第一の時刻よりも後の第二の時刻に撮像された画像の各々から、人物の領域を表す人物領域を抽出し、
前記第一の時刻と前記第二の時刻のそれぞれの、前記人物領域における左側の特定の部位を表す左側部位と、前記人物領域における右側の特定の部位を表す右側部位とを特定し、
前記第一の時刻の前記左側部位と前記第二の時刻の前記左側部位との間の移動量を表す左側移動量と、前記第一の時刻の前記右側部位と前記第二の時刻の前記右側部位との間の移動量を表す右側移動量とを算出し、
前記左側移動量と前記右側移動量との間の差分と、前記左側移動量が前記右側移動量より大きい場合、及び前記右側移動量が前記左側移動量より大きい場合の各々について予め記憶部に記憶された、前記差分と前記人物領域が表す前記人物の体の向きの変化量との間の関係とに基づいて、前記第二の時刻の前記人物領域に映る前記人物の体の向きを推定する、
処理をコンピュータが実行する体向き推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、体向き推定プログラム、体向き推定装置、及び体向き推定方法に関する。
【背景技術】
【０００２】
従来、人物の顔の向きを推定する技術の一例として、脇見運転検出装置が知られている。この脇見運転検出装置は、被検出者の顔を撮像する。そして、脇見運転検出装置は、撮像によって得られた顔画像からオプティカルフローを検出する。このとき、脇見運転検出装置は、時系列に連続する少なくとも２枚の顔画像からオプティカルフローを検出する。また、脇見運転検出装置は、検出されたオプティカルフローから顔の動きベクトルを検出する。そして、脇見運転検出装置は、検出された動きベクトルから被検出者の脇見状態を検出する。
【０００３】
また、ジェスチャ認識を行って、該ジェスチャ認識に基づいて動作制御を行う撮像装置が知られている。この撮像装置は、画像データに基づいて被写体の顔領域を検出し、所定間隔で入力される２つの画像データ間における回転動作を検知し、回転動作が検知された場合に所定動作を実行させる。また、撮像装置は、２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と該回転動作候補の回転角度を算出し、顔領域の中心座標と回転中心座標と回転角度とに基づいて、回転動作候補が回転動作に該当するか否かを判断する。この場合、撮像装置は、２つの画像データ間について、該画像データを所定画素数で区分したブロックごとに、動きのあったブロックを抽出する。そして、撮像装置は、動きのあったブロックの２つの画像データ間の移動量を動きベクトルとして検出し、動きベクトルを回転動作候補として、回転中心座標と、回転角度と、を算出する。
【０００４】
また、被写体の向きを考慮した撮影を行なうことができる撮像装置が知られている。この撮像装置は、撮像タイミングが到来すると、撮像処理を行い、顔検出処理を行う。そして、撮像装置は、該検出された顔の向きの方向を長めにとった一定領域に対して顔検出を行う。この制御により、次回の顔検出は、該制御に従った顔検出を行なうことになる。そして、撮像装置は、該検出された顔領域から該顔の向きの方向にずらした領域を予測領域として特定し、該特定された予測領域を測光領域としてＡＥ処理を行う。次いで、撮像装置は、該撮像されたフレーム画像データを記録し、動画撮像記録が終了していない場合は動作を繰り返す。なお、撮像装置によって顔の動き量が検出される際には、ブロックマッチング法などを用いて顔の動きベクトルを検出することにより動き量が検出されてもよい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2005-18654号公報
【特許文献２】特開2012-239156号公報
【特許文献３】特開2010-183601号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１〜上記特許文献３に記載されているように、画像に映る人物の向きを推定する場合、各時刻の画像間から求められる動きベクトルを用いることが考えられる。この場合、例えば、画像に映る人物がカメラに対して体を横向きにスライドさせたときにも動きベクトルが検出される。このため、画像に映る人物がカメラに対して体を横向きにスライドさせた場合、体の向きが変化したと認識されてしまい、人物の体の向きの推定について誤認識が発生する可能性がある。
【０００７】
一つの側面では、開示の技術は、画像に映る人物の体の向きを精度よく推定することが目的である。
【課題を解決するための手段】
【０００８】
開示の技術は、一つの実施態様では、第一の時刻に撮像された画像及び前記第一の時刻よりも後の第二の時刻に撮像された画像の各々から、人物の領域を表す人物領域を抽出する。そして、前記第一の時刻と前記第二の時刻のそれぞれの、前記人物領域における左側の特定の部位を表す左側部位と、前記人物領域における右側の特定の部位を表す右側部位とを特定する。そして、第一の時刻の前記左側部位と第二の時刻の前記左側部位との間の移動量を表す左側移動量と、第一の時刻の前記右側部位と第二の時刻の前記右側部位との間の移動量を表す右側移動量とを算出する。そして、前記左側移動量と前記右側移動量との間の差分と、前記差分と前記人物領域が表す前記人物の体の向きの変化量との間の関係とに基づいて、第二の時刻の前記人物領域に映る前記人物の体の向きを推定する。前記差分と前記人物領域に映る前記人物の体の向きの変化量との間の関係は、前記左側移動量が前記右側移動量より大きい場合、及び前記右側移動量が前記左側移動量より大きい場合の各々について予め記憶部に記憶される。
【発明の効果】
【０００９】
一つの側面として、画像に映る人物の体の向きを精度よく推定することができる、という効果を有する。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る体向き推定システムの概略ブロック図である。
【図２】画像記憶部に格納される各時刻の画像のデータ形式の一例を示す図である。
【図３】特定部位の動きベクトルに応じた人物の向きの推定処理を説明するための説明図である。
【図４】本実施形態における人物の向きの推定処理の概要を説明するための説明図である。
【図５】本実施形態における人物の向きの推定処理の概要を説明するための説明図である。
【図６】移動量差分Ｄと人物領域に映る人物の体の向きの変化量θとの間の関係の一例を示す図である。
【図７】移動量差分Ｄと人物領域に映る人物の体の向きの変化量θとの間の関係の一例を示す図である。
【図８】本実施形態の処理を説明するための説明図である。
【図９】本実施形態に係る関係取得システムの概略ブロック図である。
【図１０】実施形態に係る体向き推定装置として機能するコンピュータの概略構成を示すブロック図である。
【図１１】実施形態に係る関係取得装置として機能するコンピュータの概略構成を示すブロック図である。
【図１２】本実施形態の関係取得処理ルーチンの一例を示すフローチャートである。
【図１３】本実施形態の体向き推定処理ルーチンの一例を示すフローチャートである。
【図１４】本実施形態に係る実施例を示す図である。
【図１５】本実施形態に係る実施例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１２】
＜体向き推定システム＞
【００１３】
図１に示すように、実施形態に係る体向き推定システム１０は、カメラ１２と、体向き推定装置１４と、出力装置３０とを備えている。
【００１４】
カメラ１２は、人物が映る画像を逐次撮像する。
【００１５】
体向き推定装置１４は、図１に示されるように、取得部２０と、画像記憶部２１と、領域抽出部２２と、特徴記憶部２３と、特定部２４と、算出部２５と、向き記憶部２６と、関係記憶部２７と、推定部２８とを備える。関係記憶部２７は、開示の技術の記憶部の一例である。
【００１６】
取得部２０は、カメラ１２によって撮像された画像を逐次取得する。そして、取得部２０は、取得した画像を画像記憶部２１へ格納する。
【００１７】
画像記憶部２１には、カメラ１２によって撮像された各時刻の画像が格納される。各時刻の画像は、例えば、図２に示されるように、テーブルの形式で格納される。図２に示すテーブルには、識別情報を表すＩＤと、画像が撮像された時刻と、時刻に対応する画像とが対応付けられて格納される。図２に示されるテーブルでは、例えば、ＩＤ１に対応するデータとして、時刻ｔ１に取得された画像ＩＭ１が格納される。
【００１８】
画像に映る人物の向きを推定する場合、人物を表す人物領域の特定部位の動きベクトルに応じて、人物の向きを推定することが考えられる。図３に、特定部位の動きベクトルに応じた人物の向きの推定処理を説明するための説明図を示す。
【００１９】
図３のＰ０に示されるように、人物領域Ｈの特定部位Ｓ１の動きベクトルに応じて人物領域Ｈの体の向きを推定する場合を例に説明する。図３のＰ１に示されるように、画像に映る人物領域Ｈが、画像において前方向へ移動した場合、特定部位Ｓ１が移動して特定部位Ｓ２となる。この場合、特定部位Ｓ１と特定部位Ｓ２との間の動きベクトルＤ１と体の向きＭ１とは一致している。このため、動きベクトルＤ１に応じて人物領域Ｈの体の向きＭ１が適切に推定される。
【００２０】
しかし、図３のＰ２に示されるように、人物領域Ｈが回転移動をした場合、特定部位Ｓ１と特定部位Ｓ２との間の動きベクトルＤ２と体の向きＭ２とは一致するものの、動きベクトルＤ２が小さいため、回転量に応じた体の向きが適切に推定されない場合がある。
【００２１】
また、図３のＰ３に示されるように、人物領域Ｈが前向きのまま横方向へ移動した場合には、人物領域Ｈの向きは前向きであるにも関わらず、特定部位Ｓ１と特定部位Ｓ２との間の動きベクトルＤ３が横方向を示す。このため、動きベクトルＤ３と体の向きＭ３とが不一致となる。このため、体の向きの推定に際して、誤認識が発生する場合がある。
【００２２】
そこで、本実施形態に係る体向き推定装置１４は、画像に映る人物の領域を表す人物領域における左側の部位と右側の部位とを用いて、人物の向きを推定する。なお、左側部位と右側部位とは、人物領域の中心線に対して、ほぼ左右対称に位置する部位である。
【００２３】
図４及び図５に、本実施形態における、人物の向きの推定処理の概要を説明するための説明図を示す。
【００２４】
図４に示されるように、任意の時刻（以下、単に「前時刻」と称する。）に撮像された画像ＩＭ１に映る人物領域Ｈを、Ａ方向から見た場合の体の向きはＤＲ１となる。また、任意の時刻の次の時刻（以下、単に「現時刻」と称する。）に撮像された画像ＩＭ２に映る人物領域Ｈを、Ａ方向から見た場合の体の向きはＤＲ２となる。本実施形態では、前時刻に推定された体の向きＤＲ１と、体の向きの変化量ＣＨとに基づいて、現時刻の体の向きＤＲ２を推定する。前時刻は、開示の技術の第一の時刻の一例である。また、現時刻は、開示の技術の第二の時刻の一例である。
【００２５】
また、本実施形態に係る体向き推定装置１４は、図５に示されるように、前時刻の左側の部位Ｌ１と現時刻の左側の部位Ｌ２との差分を表す移動量ＤＬと、前時刻の右側の部位Ｒ１と現時刻の右側の部位Ｒ２との差分を表す移動量ＤＲとを用いる。図５に示されるように、画像上において人物領域Ｈの体が回転し、人物領域Ｈの体の向きが右側へ変化する際には、移動量ＤＬの方が移動量ＤＲよりも大きい。左側の部位Ｌ２はカメラ１２に近づき、右側の部位Ｒ２はカメラ１２から遠ざかるためである。本実施形態に係る体向き推定装置１４は、この移動量ＤＬ及び移動量ＤＲを用いて、体の向きを推定する。
【００２６】
領域抽出部２２は、画像記憶部２１に格納された画像の各々から、前時刻に撮像された画像と、現時刻に撮像された画像とを読み出す。そして、領域抽出部２２は、前時刻の画像及び現時刻の画像の各々から、人物の領域を表す人物領域を抽出する。例えば、領域抽出部２２は、以下の参考文献１に記載の技術を用いて、画像から人物領域を抽出する。
【００２７】
参考文献１：Lubomir Bourdev and Jitendra Malik, "Poselets:Body Part Detectors Trained Using 3D Human Pose Annotations", Computer Vision, 2009 IEEE 12th. International Conference on. IEEE, 2009.
【００２８】
特徴記憶部２３には、人物領域における左側の特定の部位を表す左側部位の特徴量と、人物領域における右側の特定の部位を表す右側部位の特徴量とが予め格納されている。本実施形態では、左側部位が人物の右肩の部位であり、右側部位が左肩の部位である場合を例に説明する。また、本実施形態では、特徴量の一例としてHistograms of Oriented Gradients （HOG）特徴量を用いる場合を例に説明する。
【００２９】
特定部２４は、領域抽出部２２によって抽出された各時刻の人物領域の各々について、人物領域における左側部位と人物領域における右側部位とを特定する。
【００３０】
具体的には、特定部２４は、各時刻の人物領域の各々から、複数の特徴点におけるHOG特徴量を抽出する。そして、特定部２４は、複数の特徴点から抽出されたHOG特徴量と特徴記憶部２３に予め格納された特徴量とに基づいて、前時刻及び現時刻の画像における左側部位と、前時刻及び現時刻の画像における右側部位とを特定する。
【００３１】
算出部２５は、前時刻の左側部位と現時刻の左側部位との間の移動量を表す左側移動量を算出する。また、算出部２５は、前時刻の右側部位と現時刻の右側部位との間の移動量を表す右側移動量を算出する。例えば、算出部２５は、図５に示されるように、左側移動量を表す移動量ＤＬ及び右側移動量を表す移動量ＤＲを算出する。
【００３２】
向き記憶部２６には、既に推定された前時刻の体の向きが格納されている。
【００３３】
関係記憶部２７には、左側移動量と右側移動量との間の差分（以下、単に「移動量差分」と称する。）と人物領域に映る人物の体の向きとの間の関係が格納されている。
【００３４】
図６に、移動量差分Ｄと人物領域に映る人物の体の向きの変化量θとの間の関係の一例を示す。図６には、前時刻の体の向きが０°である場合の、移動量差分Ｄと体の向きの変化量θとの間の関係Ｇ１が示されている。体の向きが０°とは、例えば、カメラ１２に対して人物がほぼ正面向きである様子が撮像された場合である。移動量差分Ｄと体の向きの変化量θとの間の関係は、後述する関係取得システム３２によって予め取得される。図６の関係Ｇ１Ａは、人物の移動方向が右側である場合の、移動量差分Ｄと体の向きの変化量θとの間の関係である。また、図６の関係Ｇ１Ｂは、人物の移動方向が左側である場合の、移動量差分Ｄと体の向きの変化量θとの間の関係である。
【００３５】
なお、図６に示されるような関係は、体の向き毎に複数用意されている。そのため、関係記憶部２７には、複数の体の向きの各々について、移動量差分Ｄと体の向きの変化量θとの間の関係が格納されている。例えば、図７には、前時刻の体の向きが９０°である場合の、移動量差分Ｄと体の向きの変化量θとの間の関係Ｇ２が示されている。図７の関係Ｇ２Ａは、人物の移動方向が右側である場合の、移動量差分Ｄと体の向きの変化量θとの間の関係である。また、図７の関係Ｇ２Ｂは、人物の移動方向が左側である場合の、移動量差分Ｄと体の向きの変化量θとの間の関係である。
【００３６】
推定部２８は、既に推定された前時刻の体の向きを向き記憶部２６から読み出す。そして、推定部２８は、既に推定された前時刻の体の向きに対応する、移動量差分Ｄと体の向きの変化量θとの間の関係を関係記憶部２７から読み出す。例えば、推定部２８は、前時刻の体の向きが０°であると推定された場合には、上記図６に示される関係Ｇ１を読み出す。
【００３７】
そして、推定部２８は、算出部２５によって算出された、左側移動量と右側移動量とのうち大きい方の移動量を特定する。また、推定部２８は、算出部２５によって算出された、左側移動量と右側移動量とに基づいて、移動量差分を算出する。
【００３８】
推定部２８は、左側移動量と右側移動量とのうち大きい方の移動量に応じて、例えば、図６の関係Ｇ１Ａ及び関係Ｇ１Ｂの何れか一方を選択する。例えば、推定部２８は、右側移動量の方が左側移動量に比べて大きい場合には、関係Ｇ１Ａを選択する。次に、推定部２８は、算出した移動量差分と、移動量差分Ｄと体の向きの変化量θとの間の関係Ｇ１Ａとに基づいて、前時刻の体の向きから現時刻の体の向きへの変化量を取得する。そして、推定部２８は、既に推定された前時刻の体の向きと、前時刻の体の向きから現時刻の体の向きへの変化量とに基づいて、現時刻の人物領域に映る人物の体の向きを推定する。
【００３９】
図８に、本実施形態の処理を説明するための説明図を示す。図８のＩＭＸに示されるように、人物領域Ｈが画像上において右側を向いた場合には、前時刻の左側部位Ｌ１と現時刻の左側部位Ｌ２との差分を表すＤＬＸの方が、前時刻の右側部位Ｒ１と現時刻の右側部位Ｒ２との差分を表すＤＲＸよりも大きい。そのため、移動量差分｜ＤＬＸ−ＤＲＸ｜の値は大きくなり、体の向きの変化量ＣＨＸが適切に推定される。
【００４０】
一方、図８のＩＭＹに示されるように、人物領域Ｈが画像上においてスライドした場合には、前時刻の左側部位Ｌ１と現時刻の左側部位Ｌ２との差分を表すＤＬＸと、前時刻の右側部位Ｒ１と現時刻の右側部位Ｒ２との差分を表すＤＲＸとが、同じぐらいの値となる。そのため、移動量差分｜ＤＬＸ−ＤＲＸ｜の値が小さくなり、体の向きの変化量ＣＨＹは小さな値となり、人物領域Ｈが画面上で横方向にスライドした場合であっても、誤った体の向きの推定が抑制される。
【００４１】
また、推定部２８は、向き記憶部２６の既に推定された前時刻の体の向きを、推定された現時刻の体の向きへ更新する。次時刻の体の向きを推定する際には、向き記憶部２６に格納された体の向きが利用される。
【００４２】
出力装置３０は、推定部２８によって推定された、現時刻の体の向きを結果として出力する。出力装置３０は、例えば、ディスプレイ等によって実現される。
【００４３】
＜関係取得システム＞
【００４４】
図９に示されるように、実施形態に係る関係取得システム３２は、モーションキャプチャセンサ３４と、関係取得装置３６とを備えている。
【００４５】
モーションキャプチャセンサ３４は、例えば、人物の各箇所に取り付けられたマーカの位置を逐次検出する。
【００４６】
関係取得装置３６は、体向き取得部３８と、変化量取得部３９と、位置取得部４０と、差分取得部４１と、対応付け部４２と、関係記憶部４３とを備える。
【００４７】
体向き取得部３８は、モーションキャプチャセンサ３４によって取得された各時刻のマーカの位置に基づいて、マーカが取り付けられた人物の各時刻の体の向きを取得する。具体的には、体向き取得部３８は、前時刻の体の向きと現時刻の体の向きとを取得する。例えば、体向き取得部３８は、マーカの位置と体の向きとの間の予め対応付けられた関係に基づいて、人物の体の向きを取得する。
【００４８】
変化量取得部３９は、体向き取得部３８によって取得された、前時刻の体の向きと現時刻の体の向きとの間の差分を、体の向きの変化量として取得する。
【００４９】
位置取得部４０は、モーションキャプチャセンサ３４によって取得された、左側部位（例えば、人物領域の右肩の領域）のマーカの前時刻の位置及び現時刻の位置を取得する。また、位置取得部４０は、モーションキャプチャセンサ３４によって取得された、右側部位（例えば、人物領域の左肩の領域）のマーカの前時刻の位置及び現時刻の位置を取得する。
【００５０】
差分取得部４１は、位置取得部４０によって取得された、左側部位のマーカの前時刻の位置と左側部位のマーカの現時刻の位置との間の移動量を表す左側移動量を取得する。また、差分取得部４１は、位置取得部４０によって取得された、右側部位のマーカの前時刻の位置と右側部位のマーカの現時刻の位置との間の移動量を表す右側移動量を取得する。また、差分取得部４１は、左側移動量と右側移動量との間の差分を表す移動量差分を取得する。
【００５１】
対応付け部４２は、差分取得部４１によって取得された移動量差分と、変化量取得部３９によって取得された体の向きの変化量とを対応付けて、関係記憶部４３へ格納する。
【００５２】
関係記憶部４３には、移動量差分と体の向きの変化量との間の関係が格納される。関係記憶部４３に格納された関係は、体向き推定装置１４の関係記憶部２７に格納される。
【００５３】
体向き推定装置１４は、例えば、図１０に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、カメラ１２、出力装置３０等の入出力装置が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
【００５４】
記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を体向き推定装置１４として機能させるための体向き推定プログラム６０が記憶されている。体向き推定プログラム６０は、取得プロセス６１と、領域抽出プロセス６２と、特定プロセス６３と、算出プロセス６４と、推定プロセス６５とを有する。画像記憶領域６６には、画像記憶部２１を構成する情報が記憶される。特徴記憶領域６７には、特徴記憶部２３を構成する情報が記憶される。向き記憶領域６８には、向き記憶部２６を構成する情報が記憶される。関係記憶領域６９には、関係記憶部２７を構成する情報が記憶される。
【００５５】
ＣＰＵ５１は、体向き推定プログラム６０を記憶部５３から読み出してメモリ５２に展開し、体向き推定プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、取得プロセス６１を実行することで、図１に示す取得部２０として動作する。また、ＣＰＵ５１は、領域抽出プロセス６２を実行することで、図１に示す領域抽出部２２として動作する。また、ＣＰＵ５１は、特定プロセス６３を実行することで、図１に示す特定部２４として動作する。また、ＣＰＵ５１は、算出プロセス６４を実行することで、図１に示す算出部２５として動作する。また、ＣＰＵ５１は、推定プロセス６５を実行することで、図１に示す推定部２８として動作する。また、ＣＰＵ５１は、画像記憶領域６６から情報を読み出して、画像記憶部２１をメモリ５２に展開する。また、ＣＰＵ５１は、特徴記憶領域６７から情報を読み出して、特徴記憶部２３をメモリ５２に展開する。また、ＣＰＵ５１は、向き記憶領域６８から情報を読み出して、向き記憶部２６をメモリ５２に展開する。また、ＣＰＵ５１は、関係記憶領域６９から情報を読み出して、関係記憶部２７をメモリ５２に展開する。これにより、体向き推定プログラム６０を実行したコンピュータ５０が、体向き推定装置１４として機能することになる。ソフトウェアである体向き推定プログラム６０を実行するＣＰＵ５１はハードウェアである。
【００５６】
なお、体向き推定プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。
【００５７】
関係取得装置３６は、例えば、図１１に示すコンピュータ８０で実現することができる。コンピュータ８０はＣＰＵ８１、一時記憶領域としてのメモリ８２、及び不揮発性の記憶部８３を備える。また、コンピュータ８０は、モーションキャプチャセンサ３４等の入出力装置が接続される入出力Ｉ／Ｆ８４、及び記録媒体８９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ部８５を備える。また、コンピュータ８０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ８６を備える。ＣＰＵ８１、メモリ８２、記憶部８３、入出力Ｉ／Ｆ８４、Ｒ／Ｗ部８５、及びネットワークＩ／Ｆ８６は、バス８７を介して互いに接続される。
【００５８】
記憶部８３は、ＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部８３には、コンピュータ８０を関係取得装置３６として機能させるための関係取得プログラム９０が記憶されている。関係取得プログラム９０は、体向き取得プロセス９１と、変化量取得プロセス９２と、位置取得プロセス９３と、差分取得プロセス９４と、対応付けプロセス９５とを有する。関係記憶領域９６には、関係記憶部４３を構成する情報が記憶される。
【００５９】
ＣＰＵ８１は、関係取得プログラム９０を記憶部８３から読み出してメモリ８２に展開し、関係取得プログラム９０が有するプロセスを順次実行する。ＣＰＵ８１は、体向き取得プロセス９１を実行することで、図９に示す体向き取得部３８として動作する。また、ＣＰＵ８１は、変化量取得プロセス９２を実行することで、図９に示す変化量取得部３９として動作する。また、ＣＰＵ８１は、位置取得プロセス９３を実行することで、図９に示す位置取得部４０として動作する。また、ＣＰＵ８１は、差分取得プロセス９４を実行することで、図９に示す差分取得部４１として動作する。また、ＣＰＵ８１は、対応付けプロセス９５を実行することで、図９に示す対応付け部４２として動作する。また、ＣＰＵ８１は、関係記憶領域９６から情報を読み出して、関係記憶部４３をメモリ８２に展開する。これにより、関係取得プログラム９０を実行したコンピュータ８０が、関係取得装置３６として機能することになる。ソフトウェアである関係取得プログラム９０を実行するＣＰＵ８１はハードウェアである。
【００６０】
なお、関係取得プログラム９０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
【００６１】
次に、本実施形態に係る関係取得装置３６の作用について説明する。関係取得装置３６は、モーションキャプチャセンサ３４によって人物に取り付けられた各マーカの位置の検出が開始されると、図１２に示す関係取得処理ルーチンを実行する。図１２に示す関係取得処理ルーチンは、繰り返し実行される。
【００６２】
ステップＳ５０において、体向き取得部３８は、モーションキャプチャセンサ３４によって検出された、前時刻の各マーカの位置と現時刻の各マーカの位置とを取得する。
【００６３】
ステップＳ５２において、体向き取得部３８は、上記ステップＳ１００で取得された、前時刻の各マーカの位置と現時刻の各マーカの位置とに基づいて、前時刻の体の向きと現時刻の体の向きとを取得する。
【００６４】
ステップＳ５４において、変化量取得部３９は、上記ステップＳ５２で取得された、前時刻の体の向きと現時刻の体の向きとの間の差分を、体の向きの変化量として取得する。
【００６５】
ステップＳ５６において、位置取得部４０は、モーションキャプチャセンサ３４によって検出された、左側部位のマーカの前時刻の位置及び現時刻の位置を取得する。また、位置取得部４０は、モーションキャプチャセンサ３４によって検出された、右側部位のマーカの前時刻の位置及び現時刻の位置を取得する。
【００６６】
ステップＳ５８において、差分取得部４１は、上記ステップＳ５６で取得された、左側部位のマーカの前時刻の位置と左側部位のマーカの現時刻の位置との間の移動量を表す左側移動量を取得する。また、差分取得部４１は、上記ステップＳ５６で取得された、右側部位のマーカの前時刻の位置と右側部位のマーカの現時刻の位置との間の移動量を表す右側移動量を取得する。そして、差分取得部４１は、左側移動量と右側移動量との間の差分を表す移動量差分を取得する。
【００６７】
ステップＳ６０において、対応付け部４２は、上記ステップＳ５８で取得された移動量差分と、上記ステップＳ５４で取得された体の向きの変化量とを対応付けて、関係記憶部４３へ格納する。
【００６８】
次に、本実施形態に係る体向き推定装置１４の作用について説明する。関係取得装置３６の関係記憶部４３に所定の関係が格納されると、その関係の情報が体向き推定装置１４の関係記憶部２７に格納される。そして、体向き推定システム１０のカメラ１２によって画像の撮像が開始され、取得部２０によって画像が取得される。そして、取得部２０によって取得された画像が画像記憶部２１に逐次格納される。体向き推定装置１４は、所定の指示信号を受け付けると、図１３に示す体向き推定処理ルーチンを実行する。図１３に示す体向き推定処理ルーチンは、繰り返し実行される。
【００６９】
ステップＳ１００において、領域抽出部２２は、画像記憶部２１に格納された画像の各々から、前時刻に撮像された画像と、現時刻に撮像された画像とを読み出す。
【００７０】
ステップＳ１０２において、領域抽出部２２は、上記ステップＳ１００で読み出された前時刻の画像から人物領域を抽出する。また、領域抽出部２２は、上記ステップＳ１００で読み出された現時刻の画像から人物領域を抽出する。
【００７１】
ステップＳ１０４において、特定部２４は、上記ステップＳ１０２で抽出された各時刻の人物領域の各々から、複数の特徴点においてHOG特徴量を抽出する。そして、特定部２４は、複数の特徴点から抽出されたHOG特徴量と特徴記憶部２３に予め格納された特徴量とに基づいて、前時刻及び現時刻の画像における左側部位と、前時刻及び現時刻の画像における右側部位とを特定する。
【００７２】
ステップＳ１０６において、算出部２５は、上記ステップＳ１０４で特定された、前時刻の左側部位と現時刻の左側部位とに基づいて、左側移動量を算出する。また、算出部２５は、上記ステップＳ１０４で特定された、前時刻の右側部位と現時刻の右側部位とに基づいて、右側移動量を算出する。
【００７３】
ステップＳ１０８において、推定部２８は、前回の処理で既に推定された前時刻の体の向きを、向き記憶部２６から読み出す。
【００７４】
ステップＳ１１０において、推定部２８は、上記ステップＳ１０８で読み出された、前時刻の体の向きに対応する、移動量差分Ｄと体の向きの変化量θとの間の関係を関係記憶部２７から読み出す。
【００７５】
ステップＳ１１２において、推定部２８は、上記ステップＳ１０６で算出された、左側移動量と右側移動量とのうち大きい方の移動量を特定する。そして、推定部２８は、左側移動量と右側移動量とのうち大きい方の移動量に応じて、例えば、図６の関係Ｇ１Ａ及び関係Ｇ１Ｂの何れか一方を選択する。
【００７６】
ステップＳ１１４において、推定部２８は、上記ステップＳ１０６で算出された、左側移動量と右側移動量とに基づいて、移動量差分を算出する。
【００７７】
ステップＳ１１６において、推定部２８は、上記ステップＳ１１４で算出した移動量差分と、上記ステップＳ１１２で選択された、移動量差分Ｄと体の向きの変化量θとの間の関係とに基づいて、前時刻の体の向きから現時刻の体の向きへの変化量を推定する。
【００７８】
ステップＳ１１８において、推定部２８は、上記ステップＳ１０８で読み出された前時刻の体の向きと、上記ステップＳ１１６で推定された体の向きの変化量とに基づいて、現時刻の人物領域に映る人物の体の向きを推定する。また、推定部２８は、向き記憶部２６の既に推定された前時刻の体の向きを、本ステップＳ１１８で推定された現時刻の体の向きへ更新する。
【００７９】
出力装置３０は、推定部２８によって推定された、現時刻の体の向きを結果として出力する。
【００８０】
以上説明したように、実施形態に係る体向き推定装置は、人物領域における、前時刻の左側部位と現時刻の左側部位との間の移動量を表す左側移動量と、人物領域における、前時刻の右側部位と現時刻の右側部位との間の移動量を表す右側移動量とを算出する。そして、体向き推定装置は、左側移動量と右側移動量との間の移動量差分と、移動量差分と体の向きの変化量との間の関係とに基づいて、現時刻の人物領域に映る人物の体の向きを推定する。これにより、画像に映る人物の体の向きを精度よく推定することができる。
【００８１】
また、人物領域における左側部位と右側部位とを用いることにより、人物領域が画面上で回転した場合、及び人物領域が画面上で横方向にスライドした場合であっても、誤った体の向きの推定が抑制される。
【００８２】
また、小売り、医療、及び教育等、コミュニケーションを介して行われるビジネスの現場において、人物の体の向きが精度よく推定されることにより、人物の心理状態を把握するための重要な情報を得ることができる。
【００８３】
次に、本実施形態に係る体向き推定システム１０の実施例について説明する。
【００８４】
＜実施例１＞
【００８５】
本実施形態に係る体向き推定システム１０の利用形態の１つとしては、店舗における店員による接客支援が挙げられる。図１４に示されるように、本実施形態の体向き推定装置１４にカメラ１２によって撮像された映像を入力し、映像の各フレーム画像に基づき、顧客ＣＵの体の向きを推定し、顧客が興味関心を持つ商品を推定する。そして、店員Ｋに対して顧客が興味関心を持つ商品の情報がフィードバックされ、店員Ｋの接客支援が行われることが考えられる。
【００８６】
＜実施例２＞
【００８７】
本実施形態に係る体向き推定システム１０の利用形態の１つとしては、学校において授業が行われる際の生徒たちの様子を取得することが挙げられる。図１５に示されるように、本実施形態の体向き推定装置１４にカメラ１２によって撮像された映像を入力し、各生徒ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の体の向きを推定する。そして、各生徒ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の授業内容に対する興味度が推定され、教師Ｔに対してフィードバックが行われる。
【００８８】
なお、この場合には、複数の人物が画像に映りこむ。このため、人物領域を抽出する際に、領域抽出部２２は、画像に映る複数の人物領域を抽出する。また、特定部２４は、左側部位及び右側部位を特定する際に、複数の人物領域の各々について、人物領域の右側部位と人物領域の左側部位とを特定する。また、算出部２５は、左側移動量と右側移動量とを算出する際に、複数の人物領域の各々について、左側移動量と右側移動量とを算出する。また、推定部２８は、現時刻の体の向きを推定する際に、複数の人物領域の各々について、現時刻の人物領域に映る人物の体の向きを推定する。
【００８９】
なお、この場合、各生徒ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の授業内容に対する興味度を推定する際には、例えば、各生徒ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の体の向きが正面である場合には、各生徒ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の興味度が高いと推定する。また、各生徒ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の体の向きが正面でない場合には、各生徒ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の興味度が低いと推定する。
【００９０】
＜実施例３＞
【００９１】
また、本実施形態に係る体向き推定システム１０の利用形態の１つとしては、授業が行われる際の生徒たちの様子を映像によって収録して、教師の教育及び評価等に活用することが挙げられる。この場合には、実施形態の体向き推定装置１４にカメラ１２によって撮像された映像を入力して、各クラスの各生徒の体の向きを推定する。そして、実施形態の体向き推定装置１４は、各クラスの各生徒の体の向きに関する情報を、所定の通信手段によってサーバへ送信し、サーバを管理する管理者が、各クラスの教師の教育及び評価に活用する。
【００９２】
なお、上記では、各プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。
【００９３】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【００９４】
次に、実施形態の変形例を説明する。
【００９５】
上記実施形態では、特定部２４は、複数の特徴点から抽出されたHOG特徴量と特徴記憶部２３に予め格納された特徴量とに基づいて、左側部位と右側部位とを特定する場合を例に説明したが、これに限定されるものではない。例えば、特定部２４は、前時刻の人物領域から特定された左側部位及び右側部位の特徴点の位置を所定の記憶部（図示省略）へ記憶させる。そして、特定部２４は、現時刻で左側部位及び右側部位が特定された際には、前時刻の現時刻の左側部位及び右側部位の特徴点の位置を、新たに推定された、現時刻の左側部位及び右側部位の特徴点の位置へ更新するようにしてもよい。これにより、左側部位及び右側部位の特定が効率的に行われる。
【００９６】
また、人物の体の向きを推定する際には、本実施形態の推定手法と他の推定手法とを組み合わせてもよい。例えば、人物の体の向きを初めて推定する際には、体の向き毎に予め用意された特徴量と人物領域から抽出された特徴量との間の差分を算出し、差分が最小となる体の向きを、人物領域の体の向きとして推定する。そして、次時刻において人物の体の向きを推定する際には、前時刻において他の手法で推定された体の向きに基づいて、本実施形態の推定手法によって体の向きを推定するようにしてもよい。
【００９７】
また、本実施形態では、左側部位及び右側部位の一例として人物の肩の部位を特定する場合を例に説明したがこれに限定されるものではなく、例えば、人物の耳等を左側部位及び右側部位として特定するようにしてもよい。
【００９８】
以上の実施形態に関し、更に以下の付記を開示する。
【００９９】
（付記１）
第一の時刻に撮像された画像及び前記第一の時刻よりも後の第二の時刻に撮像された画像の各々から、人物の領域を表す人物領域を抽出し、
前記第一の時刻と前記第二の時刻のそれぞれの、前記人物領域における左側の特定の部位を表す左側部位と、前記人物領域における右側の特定の部位を表す右側部位とを特定し、
前記第一の時刻の前記左側部位と前記第二の時刻の前記左側部位との間の移動量を表す左側移動量と、前記第一の時刻の前記右側部位と前記第二の時刻の前記右側部位との間の移動量を表す右側移動量とを算出し、
前記左側移動量と前記右側移動量との間の差分と、前記左側移動量が前記右側移動量より大きい場合、及び前記右側移動量が前記左側移動量より大きい場合の各々について予め記憶部に記憶された、前記差分と前記人物領域が表す前記人物の体の向きの変化量との間の関係とに基づいて、前記第二の時刻の前記人物領域に映る前記人物の体の向きを推定する、
処理をコンピュータに実行させるための体向き推定プログラム。
【０１００】
（付記２）
前記記憶部には、前記関係として、前記差分と前記人物の体の向きの変化量との間の関係が、第一の時刻の前記体の向き毎に複数格納されており、
第二の時刻の前記体の向きを推定する際に、既に推定された第一の時刻の前記体の向きに対応する前記関係を前記記憶部から読み出し、前記左側移動量と前記右側移動量との間の差分と、読み出した前記関係とに基づいて、第二の時刻の前記体の向きを推定する、
付記１に記載の体向き推定プログラム。
【０１０１】
（付記３）
前記左側部位及び前記右側部位を特定する際に、前記人物領域から抽出された複数の特徴点の特徴量に基づいて、前記左側部位と前記右側部位とを特定する、
付記１又は付記２に記載の体向き推定プログラム。
【０１０２】
（付記４）
第一の時刻の前記人物領域から特定された前記左側部位及び前記右側部位の前記特徴点の位置を、第二の時刻の前記人物領域から特定された前記左側部位及び前記右側部位の前記特徴点の位置へ更新し、既に推定された第一の時刻の前記体の向きを、推定された第二の時刻の前記体の向きへ更新する、
付記３に記載の体向き推定プログラム。
【０１０３】
（付記５）
前記人物領域を抽出する際に、画像に映る複数の前記人物領域を抽出し、
前記左側部位及び前記右側部位を特定する際に、複数の前記人物領域の各々について、前記人物領域の前記右側部位と前記人物領域の前記左側部位とを特定し、
前記左側移動量と前記右側移動量とを算出する際に、複数の前記人物領域の各々について、前記左側移動量と前記右側移動量とを算出し、
第二の時刻の前記体の向きを推定する際に、複数の前記人物領域の各々について、第二の時刻の前記人物領域に映る前記人物の体の向きを推定する、
付記１〜付記４の何れか１項に記載の体向き推定プログラム。
【０１０４】
（付記６）
第一の時刻に撮像された画像及び前記第一の時刻よりも後の第二の時刻に撮像された画像の各々から、人物の領域を表す人物領域を抽出する領域抽出部と、
前記第一の時刻と前記第二の時刻のそれぞれの、前記人物領域における左側の特定の部位を表す左側部位と、前記人物領域における右側の特定の部位を表す右側部位とを特定する特定部と、
前記第一の時刻の前記左側部位と前記第二の時刻の前記左側部位との間の移動量を表す左側移動量と、前記第一の時刻の前記右側部位と前記第二の時刻の前記右側部位との間の移動量を表す右側移動量とを算出する算出部と、
前記左側移動量と前記右側移動量との間の差分と、前記左側移動量が前記右側移動量より大きい場合、及び前記右側移動量が前記左側移動量より大きい場合の各々について予め記憶部に記憶された、前記差分と前記人物領域が表す前記人物の体の向きの変化量との間の関係とに基づいて、前記第二の時刻の前記人物領域に映る前記人物の体の向きを推定する推定部と、
を含む体向き推定装置。
【０１０５】
（付記７）
前記記憶部には、前記関係として、前記差分と前記人物の体の向きの変化量との間の関係が、第一の時刻の前記体の向き毎に複数格納されており、
前記推定部は、第二の時刻の前記体の向きを推定する際に、既に推定された第一の時刻の前記体の向きに対応する前記関係を前記記憶部から読み出し、前記左側移動量と前記右側移動量との間の差分と、読み出した前記関係とに基づいて、第二の時刻の前記体の向きを推定する、
付記６に記載の体向き推定装置。
【０１０６】
（付記８）
前記特定部は、前記左側部位及び前記右側部位を特定する際に、前記人物領域から抽出された複数の特徴点の特徴量に基づいて、前記左側部位と前記右側部位とを特定する、
付記６又は付記７に記載の体向き推定装置。
【０１０７】
（付記９）
前記推定部は、第一の時刻の前記人物領域から特定された前記左側部位及び前記右側部位の前記特徴点の位置を、第二の時刻の前記人物領域から特定された前記左側部位及び前記右側部位の前記特徴点の位置へ更新し、既に推定された第一の時刻の前記体の向きを、推定された第二の時刻の前記体の向きへ更新する、
付記８に記載の体向き推定装置。
【０１０８】
（付記１０）
前記領域抽出部は、前記人物領域を抽出する際に、画像に映る複数の前記人物領域を抽出し、
前記特定部は、前記左側部位及び前記右側部位を特定する際に、複数の前記人物領域の各々について、前記人物領域の前記右側部位と前記人物領域の前記左側部位とを特定し、
前記算出部は、前記左側移動量と前記右側移動量とを算出する際に、複数の前記人物領域の各々について、前記左側移動量と前記右側移動量とを算出し、
前記推定部は、第二の時刻の前記体の向きを推定する際に、複数の前記人物領域の各々について、第二の時刻の前記人物領域に映る前記人物の体の向きを推定する、
付記６〜付記９の何れか１項に記載の体向き推定装置。
【０１０９】
（付記１１）
第一の時刻に撮像された画像及び前記第一の時刻よりも後の第二の時刻に撮像された画像の各々から、人物の領域を表す人物領域を抽出し、
前記第一の時刻と前記第二の時刻のそれぞれの、前記人物領域における左側の特定の部位を表す左側部位と、前記人物領域における右側の特定の部位を表す右側部位とを特定し、
前記第一の時刻の前記左側部位と前記第二の時刻の前記左側部位との間の移動量を表す左側移動量と、前記第一の時刻の前記右側部位と前記第二の時刻の前記右側部位との間の移動量を表す右側移動量とを算出し、
前記左側移動量と前記右側移動量との間の差分と、前記左側移動量が前記右側移動量より大きい場合、及び前記右側移動量が前記左側移動量より大きい場合の各々について予め記憶部に記憶された、前記差分と前記人物領域が表す前記人物の体の向きの変化量との間の関係とに基づいて、前記第二の時刻の前記人物領域に映る前記人物の体の向きを推定する、
処理をコンピュータが実行する体向き推定方法。
【０１１０】
（付記１２）
前記記憶部には、前記関係として、前記差分と前記人物の体の向きの変化量との間の関係が、第一の時刻の前記体の向き毎に複数格納されており、
第二の時刻の前記体の向きを推定する際に、既に推定された第一の時刻の前記体の向きに対応する前記関係を前記記憶部から読み出し、前記左側移動量と前記右側移動量との間の差分と、読み出した前記関係とに基づいて、第二の時刻の前記体の向きを推定する、
付記１１に記載の体向き推定方法。
【０１１１】
（付記１３）
前記左側部位及び前記右側部位を特定する際に、前記人物領域から抽出された複数の特徴点の特徴量に基づいて、前記左側部位と前記右側部位とを特定する、
付記１１又は付記１２に記載の体向き推定方法。
【０１１２】
（付記１４）
第一の時刻の前記人物領域から特定された前記左側部位及び前記右側部位の前記特徴点の位置を、第二の時刻の前記人物領域から特定された前記左側部位及び前記右側部位の前記特徴点の位置へ更新し、既に推定された第一の時刻の前記体の向きを、推定された第二の時刻の前記体の向きへ更新する、
付記１３に記載の体向き推定方法。
【０１１３】
（付記１５）
前記人物領域を抽出する際に、画像に映る複数の前記人物領域を抽出し、
前記左側部位及び前記右側部位を特定する際に、複数の前記人物領域の各々について、前記人物領域の前記右側部位と前記人物領域の前記左側部位とを特定し、
前記左側移動量と前記右側移動量とを算出する際に、複数の前記人物領域の各々について、前記左側移動量と前記右側移動量とを算出し、
第二の時刻の前記体の向きを推定する際に、複数の前記人物領域の各々について、第二の時刻の前記人物領域に映る前記人物の体の向きを推定する、
付記１１〜付記１４の何れか１項に記載の体向き推定方法。
【０１１４】
（付記１６）
第一の時刻に撮像された画像及び前記第一の時刻よりも後の第二の時刻に撮像された画像の各々から、人物の領域を表す人物領域を抽出し、
前記第一の時刻と前記第二の時刻のそれぞれの、前記人物領域における左側の特定の部位を表す左側部位と、前記人物領域における右側の特定の部位を表す右側部位とを特定し、
前記第一の時刻の前記左側部位と前記第二の時刻の前記左側部位との間の移動量を表す左側移動量と、前記第一の時刻の前記右側部位と前記第二の時刻の前記右側部位との間の移動量を表す右側移動量とを算出し、
前記左側移動量と前記右側移動量との間の差分と、前記左側移動量が前記右側移動量より大きい場合、及び前記右側移動量が前記左側移動量より大きい場合の各々について予め記憶部に記憶された、前記差分と前記人物領域が表す前記人物の体の向きの変化量との間の関係とに基づいて、前記第二の時刻の前記人物領域に映る前記人物の体の向きを推定する、
処理をコンピュータに実行させるための体向き推定プログラムを記憶した記憶媒体。
【符号の説明】
【０１１５】
１０   体向き推定システム
１２   カメラ
１４   体向き推定装置
２０   取得部
２１   画像記憶部
２２   領域抽出部
２３   特徴記憶部
２４   特定部
２５   算出部
２６   向き記憶部
２７   関係記憶部
２８   推定部
３０   出力装置
３２   関係取得システム
３４   モーションキャプチャセンサ
３６   関係取得装置
３８   体向き取得部
３９   変化量取得部
４０   位置取得部
４１   差分取得部
４２   対応付け部
４３   関係記憶部
５０   コンピュータ
５１   ＣＰＵ
５３   記憶部
５９   記録媒体
６０   体向き推定プログラム
６１   取得プロセス
６２   領域抽出プロセス
６３   特定プロセス
６４   算出プロセス
６５   推定プロセス
６６   画像記憶領域
６７   特徴記憶領域
６８   向き記憶領域
６９   関係記憶領域
【図１】
2019185662.tif 000003
【図２】
2019185662.tif 000004
【図３】
2019185662.tif 000005
【図４】
2019185662.tif 000006
【図５】
2019185662.tif 000007
【図６】
2019185662.tif 000008
【図７】
2019185662.tif 000009
【図８】
2019185662.tif 000010
【図９】
2019185662.tif 000011
【図１０】
2019185662.tif 000012
【図１１】
2019185662.tif 000013
【図１２】
2019185662.tif 000014
【図１３】
2019185662.tif 000015
【図１４】
2019185662.tif 000016
【図１５】
2019185662.tif 000017