(57)【要約】【課題】撮像画像から人の姿勢を判定する。【解決手段】姿勢判定プログラムであって、複数の撮像画像それぞれから検出された人の体に対応する画像領域内において同一または類似の動きパターンの特徴点を検出し、検出した該特徴点の撮像画像間での移動軌跡に基づき、該移動軌跡を各弧とする円の中心部分を特定し、特定した前記中心部分の位置に基づいて、前記人の姿勢を判定する、処理をコンピュータに実行させることを特徴とする。【選択図】図８
2018195166.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像画像それぞれから検出された人の体に対応する画像領域内において同一または類似の動きパターンの特徴点を検出し、検出した該特徴点の撮像画像間での移動軌跡に基づき、該移動軌跡を各弧とする円の中心部分を特定し、
特定した前記中心部分の位置に基づいて、前記人の姿勢を判定する、
処理をコンピュータに実行させることを特徴とする姿勢判定プログラム。
【請求項２】
前記画像領域のうち、前記中心部分よりも上側に位置する画像領域の傾きであって、前記人が立つ面における垂直方向に対する傾きに基づいて、前記人の姿勢を判定することを特徴とする請求項１に記載の姿勢判定プログラム。
【請求項３】
前記中心部分よりも上側に位置する画像領域に基づいて算出した、前記人の重心線を近似する直線の、前記垂直方向に対する傾きに基づいて、前記人の姿勢を判定することを特徴とする請求項２に記載の姿勢判定プログラム。
【請求項４】
前記傾きに基づいて、前記人が前傾姿勢か、後傾姿勢か、直立姿勢かを判定することを特徴とする請求項３に記載の姿勢判定プログラム。
【請求項５】
前記人の体の向きを判定し、判定した向きに応じて、前記人の姿勢を判定する際の判定方法を切り替えることを特徴とする請求項１乃至４のいずれか１項に記載の姿勢判定プログラム。
【請求項６】
前記画像領域の前記人の体の所定の部位に対応する部分領域より、前記特徴点を検出することを特徴とする請求項１に記載の姿勢判定プログラム。
【請求項７】
前記中心部分よりも上側に位置する画像領域に基づいて前記人の重心線を近似する曲線を算出し、算出した曲線の曲率に基づいて、前記人の状態を判定することを特徴とする請求項１に記載の姿勢判定プログラム。
【請求項８】
複数の撮像画像それぞれから検出された人の体に対応する画像領域内において同一または類似の動きパターンの特徴点を検出し、検出した該特徴点の撮像画像間での移動軌跡に基づき、該移動軌跡を各弧とする円の中心部分を特定する特定部と、
特定した前記中心部分の位置に基づいて、前記人の姿勢を判定する判定部と
を有することを特徴とする姿勢判定装置。
【請求項９】
複数の撮像画像それぞれから検出された人の体に対応する画像領域内において同一または類似の動きパターンの特徴点を検出し、検出した該特徴点の撮像画像間での移動軌跡に基づき、該移動軌跡を各弧とする円の中心部分を特定し、
特定した前記中心部分の位置に基づいて、前記人の姿勢を判定する、
処理をコンピュータが実行することを特徴とする姿勢判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、姿勢判定プログラム、姿勢判定装置及び姿勢判定方法に関する。
【背景技術】
【０００２】
従来より、撮像画像から人の体に対応する画像領域を検出し、当該人の姿勢（前傾姿勢、直立姿勢等）を判定する姿勢判定技術が知られている。例えば、下記特許文献１には、車両に搭載された撮像装置により撮像された撮像画像から歩行者を検出し、検出した歩行者の体幹軸の傾きを算出することで歩行者が前傾姿勢にあるのか否かを判定し、判定結果を車両の運転者に提供する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５７４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記姿勢判定技術の場合、検出した画像領域のうち、最下点（例えば、人のかかと部分）を通る直線に基づいて体幹軸の傾きを算出している。このため、体全体が前傾している場合には人の姿勢を判定できるが、例えば、上半身のみが前傾している場合には、人の姿勢を精度よく判定することが難しく、他の利用シーンへの適用が限られてくるといった問題があった。
【０００５】
例えば、店舗等において、商品に関心を示すことで顧客が前傾した場合や、店員がお辞儀をした場合等の姿勢を判定するようなシーンに、上記姿勢判定技術を適用することは難しい。
【０００６】
一つの側面では、撮像画像から人の姿勢を判定できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
一態様によれば、姿勢判定プログラムは、
複数の撮像画像それぞれから検出された人の体に対応する画像領域内において同一または類似の動きパターンの特徴点を検出し、検出した該特徴点の撮像画像間での移動軌跡に基づき、該移動軌跡を各弧とする円の中心部分を特定し、
特定した前記中心部分の位置に基づいて、前記人の姿勢を判定する、処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００８】
撮像画像から人の姿勢を判定することができる。
【図面の簡単な説明】
【０００９】
【図１】姿勢判定システムのシステム構成の一例を示す第１の図である。
【図２】情報処理装置のハードウェア構成の一例を示す図である。
【図３】判定結果情報の一例を示す図である。
【図４】姿勢判定部が特徴点の軌跡を算出するまでの処理の具体例を示す図である。
【図５】姿勢判定部が円を算出するまでの処理の具体例を示す図である。
【図６】姿勢判定部が回転中心を特定するまでの処理の具体例を示す図である。
【図７】姿勢判定部が姿勢を判定するまでの処理の具体例を示す図である。
【図８】姿勢判定部の機能構成の一例を示す第１の図である。
【図９】上半身姿勢判定処理の第１のフローチャートである。
【図１０】姿勢判定部の機能構成の一例を示す第２の図である。
【図１１】上半身姿勢判定処理の第２のフローチャートである。
【図１２】姿勢判定部が人物の状態を判定する処理の具体例を示す図である。
【図１３】姿勢判定部の機能構成の一例を示す第３の図である。
【図１４】上半身状態判定処理のフローチャートである。
【図１５】姿勢判定システムのシステム構成の一例を示す第２の図である。
【発明を実施するための形態】
【００１０】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１１】
［第１の実施形態］
＜姿勢判定システムのシステム構成＞
はじめに、撮像した動画像から被写体の人物を検出し、該人物の姿勢を判定する姿勢判定システムのシステム構成について説明する。図１は、姿勢判定システムのシステム構成の一例を示す図である。
【００１２】
図１に示すように、姿勢判定システムは、撮像装置１１０と、動画像記憶装置１３０と、情報処理装置１２０とを有する。
【００１３】
撮像装置１１０は、被写体の人物１４０を撮像する。撮像装置１１０は動画像記憶装置と接続されており、撮像した動画像を動画像記憶装置１３０に送信する。動画像記憶装置１３０は、撮像装置１１０より送信された動画像を記憶する。
【００１４】
情報処理装置１２０は、姿勢判定装置の一例であり、動画像記憶装置１３０と接続される。情報処理装置１２０には、姿勢判定プログラムがインストールされており、当該プログラムが実行されることで、情報処理装置１２０は、姿勢判定部１２１として機能する。
【００１５】
姿勢判定部１２１は、動画像記憶装置１３０より動画像を読み出し、動画像の各フレームの撮像画像（以下、画像データと称す）に含まれる人物１４０を検出する。また、姿勢判定部１２１は、検出した人物１４０の姿勢（例えば、前傾姿勢、後傾姿勢、直立姿勢）を判定し、姿勢判定結果を判定結果データベース（以下、ＤＢと略す）１２２に格納する。
【００１６】
＜情報処理装置のハードウェア構成＞
次に、情報処理装置１２０のハードウェア構成について説明する。図２は、情報処理装置のハードウェア構成の一例を示す図である。
【００１７】
図２に示すように、情報処理装置１２０は、ＣＰＵ（Central  Processing  Unit）２０１、ＲＯＭ（Read  Only  Memory）２０２、ＲＡＭ（Random  Access  Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。また、情報処理装置１２０は、補助記憶部２０４、表示部２０５、操作部２０６、通信部２０７、ドライブ部２０８を有する。なお、情報処理装置１２０の各部は、バス２０９を介して相互に接続されている。
【００１８】
ＣＰＵ２０１は、補助記憶部２０４にインストールされた各種プログラム（例えば、姿勢判定プログラム等）を実行する。
【００１９】
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶部２０４にインストールされた各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic  Input/Output  System）やＥＦＩ（Extensible  Firmware  Interface）等のブートプログラム等を記憶する。
【００２０】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶部２０４にインストールされた各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００２１】
補助記憶部２０４は、情報処理装置１２０にインストールされた各種プログラムや、各種プログラムを実行することで生成されるデータ等を記憶する補助記憶デバイスである。なお、判定結果ＤＢ１２２は、補助記憶部２０４において実現される。
【００２２】
表示部２０５は、情報処理装置１２０の内部状態を表示する表示デバイスである。操作部２０６は、姿勢判定システム１００の管理者が情報処理装置１２０に対して各種指示を入力する際に用いる操作デバイスである。通信部２０７は、情報処理装置１２０が、動画像記憶装置１３０と通信を行うための通信デバイスである。
【００２３】
ドライブ部２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。あるいは、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００２４】
なお、補助記憶部２０４に格納される各種プログラムは、例えば、配布された記録媒体２１０がドライブ部２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ部２０８により読み出されることでインストールされる。あるいは、補助記憶部２０４に格納される各種プログラムは、通信部２０７を介してネットワークからダウンロードされることでインストールされてもよい。
【００２５】
＜判定結果ＤＢ＞
次に、判定結果ＤＢ１２２に格納される判定結果情報について説明する。図３は、判定結果情報の一例を示す図である。
【００２６】
図３に示すように、判定結果情報３００は、情報の項目として、“時刻”、“フレーム番号”、“被写体有無”、“姿勢判定結果”が含まれる。
【００２７】
“時刻”には、動画像の各フレームの画像データを撮像した際の撮像時刻が格納される（例えば、ｔ１〜ｔ５）。“フレーム番号”には、動画像の各フレームの画像データに付された識別子が格納される（例えば、ｆ１〜ｆ５）。“被写体有無”には、対応するフレームの画像データから、被写体の人物が検出されたか否かを示す検出結果（有りまたは無）が格納される。なお、“被写体有無”には、デフォルトとして“無”が格納されているものとする。
【００２８】
“姿勢判定結果”には、対応するフレームの画像データから検出された被写体の人物の姿勢についての判定結果（直立、前傾、後傾のいずれか）が格納される。
【００２９】
なお、姿勢判定部１２１が人物の姿勢を判定する際の判定順序は、各フレームの画像データが撮像された撮像順序に限られない。例えば、姿勢判定部１２１は、検出した人物の姿勢を「前傾」と判定した後に、姿勢を判定したフレームの前後のフレームの画像データについて、人物の姿勢を判定するものとする。
【００３０】
＜姿勢判定部の処理の具体例＞
次に、姿勢判定部１２１が実行する処理の具体例について説明する。
【００３１】
（１）姿勢判定部が特徴点の移動軌跡を算出するまでの処理の具体例
はじめに、姿勢判定部１２１が、人物１４０の体に対応する画像領域より特徴点を検出し、各フレームの画像データ間における該特徴点の移動軌跡（以下、単に軌跡と称す）を算出するまでの処理の具体例について説明する。図４は、姿勢判定部が特徴点の軌跡を算出するまでの処理の具体例を示す図である。
【００３２】
図４において、各フレームの画像データ４００〜４０６は、動画像記憶装置１３０から読み出された動画像に含まれる各フレームのうち、時刻ｔ０〜時刻ｔ６に撮像されたフレームの画像データである。なお、図４の例は、時刻ｔ０において、被写体である人物１４０が、撮像範囲外にいたことを示している。また、図４の例は、時刻ｔ１において、被写体である人物１４０が撮像範囲内に移動し、時刻ｔ１〜時刻ｔ５の間、画像データから検出されたことを示している。更に、図４の例は、時刻ｔ６において、被写体である人物１４０が、再び、撮像範囲外に移動しことを示している。
【００３３】
また、図４において、体領域画像４１１〜４１５は、各フレームの画像データ４００〜４０６のうち、人物１４０が含まれるフレームの画像データ４０１〜４０５から検出した、人物１４０の体に対応する画像領域を示している。
【００３４】
また、図４において、特徴点画像４２１〜４２５は、体領域画像４１１〜４１５それぞれより検出された特徴点Ｃ１１〜Ｃ１５、特徴点Ｃ２１〜Ｃ２５、・・・特徴点Ｃ５１〜Ｃ５５を、体領域画像４１１〜４１５それぞれに重ね合わせることで生成した画像である。なお、特徴点Ｃ１１〜Ｃ１５、特徴点Ｃ２１〜Ｃ２５、・・・特徴点Ｃ５１〜Ｃ５５は、体領域画像４１１〜４１５それぞれより検出された、同一または類似の動きパターンの特徴点である。
【００３５】
更に、図４において、特徴点画像４２１〜４２５に示す軌跡データＶ２１、Ｖ２２、・・・Ｖ５３は、各フレームの画像データ間における各特徴点の軌跡を示している。例えば、軌跡データＶ２１は、画像データ４０１〜画像データ４０２の間で、特徴点Ｃ１１が特徴点Ｃ２１に移動した軌跡を示している。このように、各フレームの画像データ間で特徴点を対応付けることで、各特徴点の各フレームの画像データ間での軌跡を示す軌跡データを算出することができる。
【００３６】
（２）姿勢判定部が円を算出するまでの処理の具体例
次に、姿勢判定部１２１が、各フレームの画像データ間の各特徴点の軌跡に基づいて、各軌跡を各弧とする円を算出するまでの処理の具体例について説明する。図５は、姿勢判定部が円を算出するまでの処理の具体例を示す図である。
【００３７】
このうち、図５（ａ）は、画像データ内の各位置の座標を特定するために、横軸をＸ軸、縦軸をＹ軸とした２次元空間を定義し、該２次元空間に特徴点画像４２１〜４２５を重ね合わせて表示した様子を示している。時刻ｔ１〜時刻ｔ５の間に、人物１４０が上半身を前傾させた場合、図５（ａ）のように、対応する特徴点同士の軌跡は、いずれも、人物１４０の腰部近傍を中心とする円を描くことになる。
【００３８】
ここで、対応する特徴点Ｃ１１、Ｃ２１、Ｃ３１、Ｃ４１、Ｃ５１の軌跡（軌跡データＶ２１、Ｖ２２、・・・Ｖ５３）を各弧とする円の中心座標を（ａｉ，ｂｉ）、円の半径をｒｉとする。この場合、各特徴点Ｃ１１、Ｃ２１、Ｃ３１、Ｃ４１、Ｃ５１の各座標（ｘｉｊ，ｙｉｊ）は、それぞれ、式１を満たすことになる。
【００３９】
【数１】
2018195166.tif 000003
上記の式１を展開し行列式で表わすと、式２のようになる。
【００４０】
【数２】
2018195166.tif 000004
なお、上記の式２において、Ａ、Ｂ、Ｃは、下記の式３を満たすことになる。
【００４１】
【数３】
2018195166.tif 000005
【００４２】
この結果、図５（ｃ）に示すように、特徴点Ｃ１１、Ｃ２１、Ｃ３１、Ｃ４１、Ｃ５１の軌跡（軌跡データＶ２１、Ｖ３１、Ｖ４１、Ｖ５１）を各弧とする円として、半径ｒ１の円５０１を算出することができる。また、同様の処理を行うことで特徴点Ｃ１２、Ｃ２２、Ｃ３２、Ｃ４２、Ｃ５２の軌跡（軌跡データＶ２２、Ｖ３２、Ｖ４２、Ｖ５２）を各弧とする円として、半径ｒ２の円５０２を算出することができる。更に、特徴点Ｃ１３、Ｃ２３、Ｃ３３、Ｃ４３、Ｃ５３の軌跡（軌跡データＶ２３、Ｖ３３、Ｖ４３、Ｖ５３）を各弧とする円として、半径ｒ３の円５０３を算出することができる。
【００４３】
このように、各フレームの画像データ間での各特徴点の軌跡を各弧とする円を算出することで、人物１４０の前傾姿勢または後傾姿勢が、人物１４０のどの部位を回転中心としているのかを特定することができる。
【００４４】
なお、特徴点Ｃ４１、Ｃ４２、Ｃ４３、Ｃ４４、Ｃ４５は、時刻ｔ１〜時刻ｔ５の間でほとんど移動していないため、円が算出されることはない。同様に、特徴点Ｃ５１、Ｃ５２、Ｃ５３、Ｃ５４、Ｃ５５も、時刻ｔ１〜時刻ｔ５の間ではほとんど移動していないため、円が算出されることはない。
【００４５】
（３）姿勢判定部が回転中心を特定するまでの処理の具体例
次に、姿勢判定部１２１が、算出した円に基づいて、人物１４０の前傾姿勢または後傾姿勢における回転中心を特定するまでの処理の具体例について説明する。
【００４６】
図６は、姿勢判定部が回転中心を特定するまでの処理の具体例を示す図である。このうち、図６（ａ）は、横軸をＸ軸、縦軸をＹ軸とした２次元空間に、特徴点画像４２１〜４２５を重ね合わせて表示し、更に、円５０１〜円５０３及び円５０１〜円５０３それぞれの円心６０１〜６０３を重ね合わせて表示した様子を示している。
【００４７】
図６（ａ）に示すように、円心６０１〜６０３は、通常、互いに完全には一致しない。そこで、姿勢判定部１２１は、人物１４０の前傾姿勢または後傾姿勢における回転中心として、各円心６０１〜６０３の重心位置を算出する。
【００４８】
図６（ｂ）は、円心６０１〜６０３の重心位置を算出することで、回転中心６１０を特定した様子を示している。このように、複数の円心が算出され、それらが互いに一致しない場合、姿勢判定部１２１は、重心位置を算出することで、人物１４０の前傾姿勢または後傾姿勢における回転中心を一意に特定する。
【００４９】
（４）姿勢判定部が姿勢を判定するまでの処理の具体例
次に、姿勢判定部１２１が、特定した回転中心に基づいて、人物１４０の姿勢（前傾姿勢、後傾姿勢、直立姿勢）を判定するまでの処理の具体例について説明する。図７は、姿勢判定部が姿勢を判定するまでの処理の具体例を示す図である。
【００５０】
このうち、図７（ａ）は、横軸をＸ軸、縦軸をＹ軸とした２次元空間に、時刻ｔ１〜ｔ５までの体領域画像４１１等を配置することで、人物１４０の姿勢の判定に用いるパラメータ（体幹軸と垂直軸との間の傾き角度）を算出する様子を示している。
【００５１】
図７（ａ）に示すように、姿勢判定部１２１は、時刻ｔ１の体領域画像４１１（または時刻ｔ５の体領域画像４１５）において、体軸点７０１〜７０６を抽出する。体軸点７０１〜７０６は、回転中心６１０よりも上側に位置し、体領域画像４１１（または体領域画像４１５）の中央に位置する点（体領域画像の厚み方向の中央位置を示す点）である。姿勢判定部１２１は、回転中心６１０を通り、体軸点７０１〜７０６に近似する直線７００を体幹軸として算出する。つまり、体幹軸は、体領域画像のうち回転中心よりも上側に位置する領域の体軸点を近似することで得られる、人物１４０の重心線を近似したものといえる。
【００５２】
同様に、姿勢判定部１２１は、時刻ｔ２の体領域画像４１２（または時刻ｔ４の体領域画像４１４）において、体軸点７１１〜７１６を抽出する。また、姿勢判定部１２１は、回転中心６１０を通り、体軸点７１１〜７１６に近似する直線７１０を体幹軸として算出する。
【００５３】
同様に、姿勢判定部１２１は、時刻ｔ３の体領域画像４１３において、体軸点７２１〜７２６を抽出する。また、姿勢判定部１２１は、回転中心６１０を通り、体軸点７２１〜７２６に近似する直線７２０を体幹軸として算出する。
【００５４】
図７（ｂ）は、人物１４０の姿勢を判定するための判定方法を示す図であり、横軸をＸ軸、縦軸をＹ軸とした２次元空間を示している。図７（ｂ）に示すように、人物１４０の姿勢を判定するための判定方法を示す図は、回転中心６１０を通る一点鎖線７３０（垂直軸）を０°とし、回転中心６１０周りにおいて、時計回り方向を＋、反時計回り方向を−と定義している。また、−θ２〜＋θ１の範囲を直立姿勢、＋θ１〜＋θ３の範囲を前傾姿勢、−θ４〜−θ２の範囲を後傾姿勢と定義している。
【００５５】
図７（ａ）の直線７００（体幹軸）と一点鎖線７３０（垂直軸）との間の傾き角度は、−θ２〜＋θ１の範囲に含まれるため、姿勢判定部１２１は、時刻ｔ１（または時刻ｔ５）における人物１４０の姿勢を、直立姿勢と判定する。同様に、図７（ａ）において直線７１０（体幹軸）と一点鎖線７３０（垂直軸）との間の傾き角度は、−θ２〜＋θ１の範囲に含まれるため、姿勢判定部１２１は、時刻ｔ２（または時刻ｔ４）における人物１４０の姿勢を、直立姿勢と判定する。
【００５６】
一方、図７（ａ）の直線７２０（体幹軸）と一点鎖線７３０（垂直軸）との間の傾き角度は、＋θ１〜＋θ３の範囲に含まれるため、姿勢判定部１２１は、時刻ｔ３における人物１４０の姿勢を、前傾姿勢と判定する。
【００５７】
このように、特定した回転中心を用いて人物１４０の体幹軸の傾き角度を算出することで、人物１４０の上半身のみが前傾または後傾している場合でも、人物１４０の姿勢を精度よく判定することができる。
【００５８】
＜姿勢判定部の機能構成＞
次に、姿勢判定部１２１の機能構成の詳細について説明する。図８は、姿勢判定部の機能構成の一例を示す第１の図である。図８に示すように、姿勢判定部１２１は、画像読み出し部８０１と、体領域検出部８０２と、特徴点検出部８０３と、軌跡算出部８０４と、回転中心特定部８０５と、体幹軸算出部８０６と、上半身姿勢判定部８０７とを有する。
【００５９】
画像読み出し部８０１は、動画像記憶装置１３０に記憶された動画像を読み出し、各フレームの画像データを体領域検出部８０２に通知する。
【００６０】
体領域検出部８０２は、画像読み出し部８０１より通知された画像データから、人物１４０の体領域画像を検出し、検出した体領域画像を特徴点検出部８０３に通知する。また、体領域検出部８０２は、体領域画像を一旦、体領域画像記憶部８１０に記憶する。
【００６１】
ここで、処理対象の体領域画像が、時刻ｔｎのフレームの画像データから検出された体領域画像であったとする。この場合、体領域画像記憶部８１０には、例えば、時刻ｔｎ−２から時刻ｔｎ＋２までの間の各フレームの画像データから検出された体領域画像が記憶されるものとする。
【００６２】
特徴点検出部８０３は、体領域検出部８０２より通知された処理対象の体領域画像において、特徴点を検出し、体領域画像に重ね合わせることで、特徴点画像を生成する。特徴点検出部８０３は、処理対象の体領域画像に基づいて生成した特徴点画像を一旦、特徴点記憶部８２０に記憶する。特徴点記憶部８２０には、体領域画像記憶部８１０に記憶された各体領域画像に基づいて生成した各特徴点画像が記憶されるものとする。
【００６３】
軌跡算出部８０４は、特徴点記憶部８２０に記憶された各特徴点画像を読み出し、各特徴点の軌跡を算出する。軌跡算出部８０４は、例えば、時刻ｔｎ−２のフレームの画像データに基づいて生成された特徴点画像と時刻ｔｎ−１のフレームの画像データに基づいて生成された特徴点画像とを用いて、両フレームの画像データ間における特徴点の軌跡を算出する。以下、同様に、時刻ｔｎ−１と時刻ｔｎ、時刻ｔｎと時刻ｔｎ＋１、時刻ｔｎ＋１と時刻ｔｎ＋２との間で、それぞれ特徴点の軌跡を算出する。このように、軌跡算出部８０４は、各フレームの画像データ間における特徴点の軌跡を算出し、軌跡データとして、回転中心特定部８０５に通知する。
【００６４】
回転中心特定部８０５は特定部の一例である。回転中心特定部８０５は、軌跡算出部８０４より通知された軌跡データに基づいて、各軌跡を各弧とする円の円心を算出する。各軌跡を各弧とする円が一つの場合、回転中心特定部８０５は、算出した円の円心を回転中心として特定して、体幹軸算出部８０６に通知する。一方、各軌跡を各弧とする円が複数の場合、回転中心特定部８０５は、算出した複数の円それぞれの円心から重心位置を算出し、算出した重心位置を回転中心として特定して、体幹軸算出部８０６に通知する。
【００６５】
体幹軸算出部８０６は、体領域画像記憶部８１０より処理対象の体領域画像を読み出し、複数の体軸点を抽出する。体幹軸算出部８０６は、体領域画像のうち、回転中心特定部８０５より通知された回転中心よりも上側に位置する領域を対象として、複数の体軸点を抽出する。
【００６６】
また、体幹軸算出部８０６は、回転中心特定部８０５より通知された回転中心を通り、抽出した体軸点に近似する直線を、体幹軸として算出する。体幹軸算出部８０６は、算出した体幹軸を示す情報（体幹軸情報）を、上半身姿勢判定部８０７に通知する。
【００６７】
上半身姿勢判定部８０７は判定部の一例であり、体幹軸算出部８０６より通知された体幹軸情報に基づいて、人物１４０の時刻ｔｎにおける姿勢を判定し、姿勢判定結果を判定結果ＤＢ１２２に格納する。このとき、上半身姿勢判定部８０７は、被写体有無＝“有り”をあわせて判定結果ＤＢ１２２に格納する。
【００６８】
なお、上半身姿勢判定部８０７は、
・人物１４０の時刻ｔｎにおける姿勢を、前傾姿勢または後傾姿勢と判定した場合、かつ、
・人物１４０の時刻ｔｎ−２、時刻ｔｎ−１、時刻ｔｎ＋１、時刻ｔｎ＋２におけるそれぞれの姿勢が判定されていない場合、
姿勢判定結果を体幹軸算出部８０６に通知する。この場合、体幹軸算出部８０６は、回転中心特定部８０５より通知された回転中心と、時刻ｔｎ−２、時刻ｔｎ−１、時刻ｔｎ＋１、時刻ｔｎ＋２のフレームそれぞれの画像データより検出された体領域画像とを用いて体幹軸をそれぞれ算出する。また、体幹軸算出部８０６は、算出した各体幹軸を各体幹軸情報として、上半身姿勢判定部８０７に通知する。これにより、上半身姿勢判定部８０７は、体幹軸算出部８０６より通知された各体幹軸情報に基づいて、人物１４０の時刻ｔｎ−２、時刻ｔｎ−１、時刻ｔｎ＋１、時刻ｔｎ＋２におけるそれぞれの姿勢を判定する。この結果、上半身姿勢判定部８０７は、人物１４０の時刻ｔｎ−２、時刻ｔｎ−１、時刻ｔｎ＋１、時刻ｔｎ＋２におけるそれぞれの姿勢の姿勢判定結果を被写体有無とともに、姿勢判定結果を判定結果ＤＢ１２２に格納することができる。
【００６９】
より具体的に説明する。例えば、人物１４０の姿勢が直立であった場合、回転中心特定部８０５では、軌跡を各弧とする円を算出することができない（つまり、回転中心を特定することができない）。一方で、人物１４０の姿勢が前傾姿勢または後傾姿勢であった場合、回転中心特定部８０５では、軌跡を各弧とする円を算出することが可能となる（つまり、回転中心を特定することができる）。
【００７０】
したがって、上半身姿勢判定部８０７は、人物１４０の姿勢が前傾姿勢又は後傾姿勢であると判定した場合に、姿勢判定結果を体幹軸算出部８０６に通知する。そして、体幹軸算出部８０６は、前後の時刻のフレームの画像データから検出された体領域画像について、前後の時刻における人物１４０の体幹軸を算出する。これにより、上半身姿勢判定部８０７は、前後の時刻における人物１４０の姿勢を判定することが可能となる。
【００７１】
＜上半身姿勢判定処理の流れ＞
次に、上半身姿勢判定部８０７による上半身姿勢判定処理の流れについて説明する。図９は、上半身姿勢判定処理の第１のフローチャートである。体幹軸算出部８０６より体幹軸情報（例えば、時刻ｔｎに対応する体幹軸情報）が通知されると、図９に示す上半身姿勢判定処理が開始される。
【００７２】
ステップＳ９０１において、上半身姿勢判定部８０７は時刻ｔｎに対応する体幹軸情報を取得する。ステップＳ９０２において、上半身姿勢判定部８０７は、体幹軸情報により特定される体幹軸と、垂直軸との間の傾き角度を算出する。
【００７３】
ステップＳ９０３において、上半身姿勢判定部８０７は、算出した傾き角度が、閾値（＋θ１）より大きいか否かを判定する。ステップＳ９０３において、閾値（＋θ１）より大きいと判定された場合（ステップＳ９０３においてＹｅｓの場合）、ステップＳ９０４に進む。
【００７４】
ステップＳ９０４において、上半身姿勢判定部８０７は、人物１４０の姿勢を前傾姿勢と判定し、姿勢判定結果を被写体有無とともに判定結果ＤＢ１２２に格納する。
【００７５】
ステップＳ９０５において、上半身姿勢判定部８０７は、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２の姿勢判定結果が、判定結果ＤＢ１２２に格納されていない場合、時刻ｔｎの姿勢判定結果を体幹軸算出部８０６に通知する。
【００７６】
これにより、体幹軸算出部８０６は、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２の体領域画像に基づいて、それぞれの体幹軸を算出し、体幹軸情報を上半身姿勢判定部８０７に通知することが可能となる。この結果、図９に示す上半身姿勢判定処理が再度実行され、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２における人物１４０の姿勢が判定されることとなる。
【００７７】
一方、ステップＳ９０３において、傾き角度が閾値（＋θ１）以下であると判定された場合（ステップＳ９０３においてＮｏの場合）には、ステップＳ９０６に進む。
【００７８】
ステップＳ９０６において、上半身姿勢判定部８０７は、傾き角度が閾値（−θ２）より大きいか否かを判定する。ステップＳ９０６において、傾き角度が閾値（−θ２）より大きいと判定された場合（ステップＳ９０６においてＹｅｓの場合）、ステップＳ９０７に進む。
【００７９】
ステップＳ９０７において、上半身姿勢判定部８０７は、人物１４０の姿勢を直立姿勢と判定し、姿勢判定結果を被写体有無とともに判定結果ＤＢ１２２に格納する。
【００８０】
一方、ステップＳ９０６において、傾き角度が閾値（−θ２）以下であると判定された場合（ステップＳ９０６においてＮｏの場合）には、ステップＳ９０８に進む。
【００８１】
ステップＳ９０８において、上半身姿勢判定部８０７は、人物１４０の姿勢を後傾姿勢と判定し、姿勢判定結果を被写体有無とともに判定結果ＤＢ１２２に格納する。
【００８２】
ステップＳ９０９において、上半身姿勢判定部８０７は、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２の姿勢判定結果が、判定結果ＤＢ１２２に格納されていない場合、時刻ｔｎの姿勢判定結果を体幹軸算出部８０６に通知する。
【００８３】
これにより、体幹軸算出部８０６は、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２の体領域画像に基づいて、それぞれの体幹軸を算出し、体幹軸情報として上半身姿勢判定部８０７に通知することができる。この結果、図９に示す上半身姿勢判定処理が再度実行され、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２における人物１４０の姿勢が判定されることになる。
【００８４】
以上の説明から明らかなように、第１の実施形態における情報処理装置１２０は、撮像した動画像に含まれる各フレームの画像データから、人物の体に対応する体領域画像を検出するとともに、特徴点を検出し、特徴点画像を生成する。また、第１の実施形態における情報処理装置１２０は、処理対象の特徴点画像の前後の複数の特徴点画像に基づいて、特徴点の画像データ間の軌跡を各弧とする円の円心を算出する。更に、第１の実施形態における情報処理装置１２０は、算出した円心に基づいて、人物１４０の回転中心を特定し、特定した回転中心を用いて、人物１４０の体幹軸の傾き角度を算出することで、人物１４０の姿勢を判定する。
【００８５】
このように、第１の実施形態では、各フレームの画像データ間での各特徴点の軌跡に基づいて回転中心を特定してから、人物１４０の姿勢を判定する。このため、第１の実施形態によれば、上半身のみが前傾または後傾している場合でも、人物の前傾姿勢または後傾姿勢を精度よく判定することができる。
【００８６】
［第２の実施形態］
上記第１の実施形態において上半身姿勢判定部８０７は、人物１４０が撮像装置１１０から見て右向きに立つことを前提として、人物１４０の姿勢を判定した。しかしながら、人物１４０の向きはこれに限定されず、撮像装置１１０から見て右向きの場合と左向きの場合とがある。
【００８７】
そこで、第２の実施形態では、人物１４０が撮像装置１１０から見て、いずれの向きに立つかに応じて、人物１４０の姿勢の判定方法を切り替える場合について説明する。なお、以下では、上記第１の実施形態との相違点を中心に説明する。
【００８８】
＜姿勢判定部の機能構成＞
図１０は、姿勢判定部の機能構成の一例を示す第２の図である。上記第１の実施形態において、図８を用いて説明した機能構成との相違点は、姿勢判定部１０００が向き判定部１００１を有する点である。向き判定部１００１は、体領域検出部８０２より体領域画像の通知を受けると、右向きの所定の画像パターンと、左向きの所定の画像パターンとのマッチング処理をそれぞれ行い、マッチング度に基づいて、人物１４０の体の向きを判定する。また、向き判定部１００１は、判定した人物１４０の体の向きを、向き判定結果として、上半身姿勢判定部８０７に通知する。
【００８９】
上半身姿勢判定部８０７では、向き判定部１００１より通知された向き判定結果に基づいて、判定方法を切り替えて、人物１４０の姿勢を判定する。
【００９０】
＜上半身姿勢判定処理の流れ＞
次に、上半身姿勢判定部８０７による上半身姿勢判定処理の流れについて説明する。図１１は、上半身姿勢判定処理の第２のフローチャートである。上記第１の実施形態において、図９を用いて説明したフローチャートとの相違点は、ステップＳ１１０１〜Ｓ１１０８である。
【００９１】
ステップＳ１１０１において、上半身姿勢判定部８０７は、向き判定部１００１より通知された向き判定結果に基づいて、人物１４０の体の向きを判定する。ステップＳ１１０１において、人物１４０の体の向きが左向きであると判定された場合には、ステップＳ１１０２に進む。
【００９２】
ステップＳ１１０２において、上半身姿勢判定部８０７は、算出した傾き角度が、閾値（−θ１）より小さいか否かを判定する。ステップＳ１１０２において、閾値（−θ１）より小さいと判定された場合（ステップＳ１１０２においてＹｅｓの場合）、ステップＳ１１０３に進む。
【００９３】
ステップＳ１１０３において、上半身姿勢判定部８０７は、人物１４０の姿勢を前傾姿勢と判定し、姿勢判定結果を被写体有無とともに判定結果ＤＢ１２２に格納する。
【００９４】
ステップＳ１１０４において、上半身姿勢判定部８０７は、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２の姿勢判定結果が、判定結果ＤＢ１２２に格納されていない場合、時刻ｔｎの姿勢判定結果を体幹軸算出部８０６に通知する。
【００９５】
これにより、体幹軸算出部８０６は、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２の体領域画像に基づいて、それぞれの体幹軸を算出し、体幹軸情報を上半身姿勢判定部８０７に通知することができる。この結果、図１１に示す上半身姿勢判定処理が再度実行され、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２における人物１４０の姿勢が判定されることになる。
【００９６】
一方、ステップＳ１１０２において、傾き角度が閾値（−θ１）以上であると判定された場合（ステップＳ１１０２においてＮｏの場合）には、ステップＳ１１０５に進む。
【００９７】
ステップＳ１１０５において、上半身姿勢判定部８０７は、傾き角度が閾値（＋θ２）より小さいか否かを判定する。ステップＳ１１０５において、傾き角度が閾値（＋θ２）より小さいと判定された場合（ステップＳ１１０５においてＹｅｓの場合）、ステップＳ１１０６に進む。
【００９８】
ステップＳ１１０６において、上半身姿勢判定部８０７は、人物１４０の姿勢を直立姿勢と判定し、姿勢判定結果を被写体有無とともに判定結果ＤＢ１２２に格納する。
【００９９】
一方、ステップＳ１１０５において、傾き角度が閾値（＋θ２）以上であると判定された場合（ステップＳ１１０５においてＮｏの場合）には、ステップＳ１１０７に進む。
【０１００】
ステップＳ１１０７において、上半身姿勢判定部８０７は、人物１４０の姿勢を後傾姿勢と判定し、姿勢判定結果を被写体有無とともに判定結果ＤＢ１２２に格納する。
【０１０１】
ステップＳ１１０８において、上半身姿勢判定部８０７は、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２の姿勢判定結果が、判定結果ＤＢ１２２に格納されていない場合、時刻ｔｎの姿勢判定結果を体幹軸算出部８０６に通知する。
【０１０２】
これにより、体幹軸算出部８０６は、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２の体領域画像に基づいて、それぞれの体幹軸を算出し、体幹軸情報を上半身姿勢判定部８０７に通知することができる。この結果、図１１に示す上半身姿勢判定処理が開始され、時刻ｔｎ−２、ｔｎ−１、ｔｎ＋１、ｔｎ＋２における人物１４０の姿勢が判定されることになる。
【０１０３】
以上の説明から明らかなように、第２の実施形態における情報処理装置１２０は、人物１４０の向きを判定し、人物１４０の姿勢を判定する際の判定方法を切り替える。この結果、第２の実施形態によれば、上半身のみが前傾または後傾している場合であっても、更には、人物１４０の向きが右向きであっても左向きであっても、前傾姿勢または後傾姿勢を精度よく判定することができる。
【０１０４】
［第３の実施形態］
上記第１及び第２の実施形態では、体幹軸算出部８０６が体幹軸を算出する際、回転中心を通る直線により、体軸点を近似するものとして説明した。これに対して、第３の実施形態では、回転中心を通る曲線により体軸点を近似した方が、回転中心を通る直線により体軸点を近似するよりも、誤差（例えば、最小二乗誤差）が小さい場合に、回転中心を通る曲線により、体軸点を近似する。更に、第３の実施形態では、近似した曲線の曲率を算出することで、人物１４０の状態（猫背か正常か）を判定する。以下、第３の実施形態について、第１及び第２の実施形態との相違点を中心に説明する。
【０１０５】
＜姿勢判定部による処理の具体例＞
はじめに、姿勢判定部１２１が、人物１４０の姿勢を判定した後に、人物１４０の状態を判定する処理の具体例について説明する。図１２は、姿勢判定部が人物の状態を判定する処理の具体例を示す図である。
【０１０６】
このうち、図１２（ａ）は、横軸をＸ軸、縦軸をＹ軸とした２次元空間に、時刻ｔｎ−２における様々なケースの体領域画像１２１０、１２２０、１２３０を配置し、人物１４０の状態を判定するためのパラメータ（曲率）を算出する様子を示している。
【０１０７】
時刻ｔｎのフレームに基づいて特定された回転中心６１０に対して、時刻ｔｎ−２のフレームの画像データに基づいて検出された体領域画像１２１０から、体軸点１２１１〜１２１６が抽出されたとする。この場合、姿勢判定部１２１では、回転中心６１０を通り、体軸点１２１１〜１２１６を近似する直線１２４１を、誤差（例えば、最小二乗誤差）が最も小さい近似直線として算出する。
【０１０８】
一方、時刻ｔｎのフレームに基づいて特定された回転中心６１０に対して、時刻ｔｎ−２のフレームの画像データに基づいて検出された体領域画像１２２０から、体軸点１２２１〜１２２６が抽出されたとする。この場合、姿勢判定部１２１では、回転中心６１０を通り、体軸点１２２１〜１２２６を近似する曲線１２５１を、誤差（例えば、最小二乗誤差）が最も小さい近似曲線として算出する。
【０１０９】
更に、時刻ｔｎのフレームに基づいて特定された回転中心６１０に対して、時刻ｔｎ−２のフレームの画像データに基づいて検出された体領域画像１２３０から、体軸点１２３１〜１２３６が抽出されたとする。この場合、姿勢判定部１２１では、回転中心６１０を通り、体軸点１２３１〜１２３６を近似する曲線１２６１を、誤差（最小二乗誤差）が最も小さい近似曲線として算出する。
【０１１０】
図１２（ｂ）は、算出した近似曲線に基づいて、人物１４０の状態を判定するための判定方法を示す図である。図１２（ｂ）に示すように、人物１４０の状態の判定は、回転中心６１０が、人物１４０の腰部に位置していることを条件に、近似曲線が算出された場合の該近似曲線の曲率と、曲率閾値Ｒとの対比に基づいて行われる。具体的には、算出した近似曲線の曲率が曲率閾値Ｒ未満である場合、姿勢判定部１２１は、人物１４０の状態が正常であると判定する。一方、算出した近似曲線の曲率が曲率閾値Ｒ以上である場合、姿勢判定部１２１は、人物１４０の状態が猫背であると判定する。なお、近似直線が算出された場合には、曲率を算出するまでもなく、人物１４０の状態が正常であると判定する。
【０１１１】
なお、近似曲線をｆ（ｘ）とした場合、該近似曲線ｆ（ｘ）の曲率ｋは、下記の式４により算出される。
【０１１２】
【数４】
2018195166.tif 000006
【０１１３】
図１２（ａ）の例では、直線１２４１及び曲線１２５１が算出された場合、姿勢判定部１２１は、人物１４０の状態が正常であると判定する。一方、曲線１２６１が算出された場合、姿勢判定部１２１は、人物１４０の状態が猫背であると判定する。
【０１１４】
＜姿勢判定部の機能構成＞
図１３は、姿勢判定部の機能構成の一例を示す第３の図である。上記第１の実施形態において、図８を用いて説明した機能構成との相違点は、姿勢判定部１３００が、体幹軸算出部１３０１、体幹軸曲率算出部１３０２、上半身状態判定部１３０３を有する点である。
【０１１５】
体幹軸算出部１３０１は、図８の体幹軸算出部８０６と同様の機能を有することに加えて、時刻ｔｎ−２のフレームの画像データから検出された体領域画像を用いて体軸点を抽出する。また、体幹軸算出部１３０１は、回転中心を通り、抽出した体軸点を近似する近似曲線を算出し、体幹軸曲率算出部１３０２に通知する。
【０１１６】
体幹軸曲率算出部１３０２は、体幹軸算出部１３０１より通知された近似曲線の曲率を算出し、曲率情報として上半身状態判定部１３０３に通知する。
【０１１７】
上半身状態判定部１３０３は、体幹軸曲率算出部１３０２より曲率情報の通知を受けると、曲率閾値Ｒと対比することで、人物１４０の状態が、正常な状態であるのか、猫背の状態であるのかを判定する。また、上半身状態判定部１３０３は、状態判定結果を判定結果ＤＢ１２２に格納する。
【０１１８】
＜上半身状態判定処理の流れ＞
次に、体幹軸算出部１３０１、体幹軸曲率算出部１３０２、上半身状態判定部１３０３による上半身状態判定処理の流れについて説明する。図１４は、上半身状態判定処理のフローチャートである。時刻ｔｎの回転中心を特定した後に、上半身姿勢判定部８０７より、姿勢判定結果（前傾姿勢または後傾姿勢）が体幹軸算出部１３０１に通知されると、図１４に示す上半身状態判定処理が開始される。
【０１１９】
ステップＳ１４０１において、体幹軸算出部１３０１は、時刻ｔｎ−２のフレームの画像データから検出された体領域画像を、体領域画像記憶部８１０より読み出す。
【０１２０】
ステップＳ１４０２において、体幹軸算出部１３０１は、読み出した体領域画像より、体軸点を抽出する。
【０１２１】
ステップＳ１４０３において、体幹軸算出部１３０１は、特定した回転中心を通り、体軸点を近似する近似曲線を算出する。
【０１２２】
ステップＳ１４０４において、体幹軸曲率算出部１３０２は、ステップＳ１４０３において算出された近似曲線の曲率を算出する。
【０１２３】
ステップＳ１４０５において、上半身状態判定部１３０３は、ステップＳ１４０４において算出された曲率が、曲率閾値Ｒ未満か否かを判定する。ステップＳ１４０５において、曲率閾値Ｒ未満であると判定された場合（ステップＳ１４０５においてＹｅｓの場合）には、ステップＳ１４０６に進む。
【０１２４】
ステップＳ１４０６において、上半身状態判定部１３０３は、人物１４０が正常な状態であると判定する。
【０１２５】
一方、ステップＳ１４０５において、曲率閾値Ｒ以上であると判定された場合（ステップＳ１４０５においてＮｏの場合）には、ステップＳ１４０７に進む。
【０１２６】
ステップＳ１４０７において、上半身状態判定部１３０３は、人物１４０が猫背の状態であると判定する。
【０１２７】
以上の説明から明らかなように、第３の実施形態における情報処理装置１２０は、人物１４０の姿勢が前傾または後傾であった場合に、その前後のいずれかの体領域画像を読み出す。また、第３の実施形態における情報処理装置１２０は、読み出した体領域画像について、回転中心を通り、体軸点を近似する近似曲線の曲率を算出することで、人物１４０の状態（猫背の状態か正常な状態か）を判定する。これにより、第３の実施形態によれば、人物１４０の姿勢に加えて、人物の状態を判定することができる。
【０１２８】
［第４の実施形態］
上記第１乃至第３の実施形態では、人物１４０の姿勢（及び状態）を判定し、姿勢判定結果（及び状態判定結果）を判定結果ＤＢに格納するまでの処理について説明した。これに対して、第４の実施形態では、判定結果ＤＢに格納された姿勢判定結果（及び状態判定結果）を解析し、解析結果を出力する処理について説明する。以下、第４の実施形態について、上記第１乃至第３の実施形態との相違点を中心に説明する。
【０１２９】
図１５は、姿勢判定システムのシステム構成の一例を示す第２の図である。図１に示す姿勢判定システム１００との相違点は、解析装置１５２０が、ネットワーク１５１０を介して情報処理装置１２０に接続されている点である。なお、第４の実施形態において、撮像装置１１０、情報処理装置１２０、動画像記憶装置１３０は、例えば、所定の店舗に設置されているものとする。
【０１３０】
解析装置１５２０は、判定結果ＤＢ１２２にアクセスし、姿勢判定結果（及び状態判定結果）を含む判定結果情報３００を読み出す。また、解析装置１５２０は、読み出した判定結果情報３００を解析し、解析結果を出力する。
【０１３１】
第４の実施形態において、解析装置１５２０により出力される解析結果には、例えば、接客支援に関する情報、マーケティングに関する情報、健康管理に関する情報等が含まれるものとする。
【０１３２】
接客支援に関する情報とは、撮像装置１１０が撮像する人物１４０が、来店した顧客である場合において、顧客が特定の商品に関心を示したことで前傾姿勢になった場合に、これを判定することで得られる、顧客が関心を示した商品を把握するための情報である。このように、解析装置１５２０が接客支援に関する情報を出力することで、店員は、店舗内のいずれの顧客がいずれの商品に関心を示しているのかを把握することができる。
【０１３３】
マーケティングに関する情報とは、撮像装置１１０が撮像する人物１４０が、来店した顧客である場合において、顧客が特定の商品に関心を示したことで前傾姿勢になった場合に、これを判定することで得られる、顧客が関心をもった商品を集計した情報である。複数の店舗に撮像装置１１０を設置し、解析装置１５２０が、全ての店舗における姿勢判定結果を集計してマーケティングに関する情報として出力することで、商品開発者は顧客が関心をもった商品の傾向を把握し、商品開発に活用することができる。
【０１３４】
健康管理に関する情報とは、撮像装置１１０が撮像する人物１４０が、店舗の従業員である場合において、疲労により従業員が猫背の状態になった場合に、これを判定することで得られる、従業員の疲労状態を把握するための情報である。このように、健康管理に関する情報を出力することで、従業員の管理者は、従業員の疲労状態を把握し、従業員の勤務体制を見直すなどの健康管理上の対策をとることができる。
【０１３５】
［その他の実施形態］
上記第１及び第２の実施形態では、回転中心６１０を通る一点鎖線７３０の算出方法について特に言及しなかったが、例えば、一点鎖線７３０は、画像データの縦の画素を基準として算出してもよい。あるいは、画像データに含まれる被写体のうち、特定の被写体（人工物）を基準として算出してもよい。あるいは、画像データに含まれる人物１４０の脚部の体軸を基準として算出してもよい。いずれにしても、人物１４０が立つ面における垂直方向を、画像データ上において特定し、特定した垂直方向を基準として一点鎖線７３０を算出するものとする。
【０１３６】
また、上記第１及び第２の実施形態では、体領域画像全体を対象として特徴点を検出する場合について説明した。しかしながら、特徴点の検出対象は、体領域画像全体に限られず、例えば、体領域画像のうちの特定の部位に対応する部分領域であってもよい。ここでいう特定の部位には、例えば、肩部、腰部等が含まれる。
【０１３７】
また、上記第１及び第２の実施形態では、各フレームの画像データから人物１４０を抽出することで体領域画像を検出する場合について説明したが、各フレームの画像データから、背景画像を削除することで体領域画像を検出してもよい。ここでいう背景画像とは、人物１４０が撮像範囲に含まれる前に撮像された画像データを指す。
【０１３８】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
複数の撮像画像それぞれから検出された人の体に対応する画像領域内において同一または類似の動きパターンの特徴点を検出し、検出した該特徴点の撮像画像間での移動軌跡に基づき、該移動軌跡を各弧とする円の中心部分を特定し、
特定した前記中心部分の位置に基づいて、前記人の姿勢を判定する、
処理をコンピュータに実行させることを特徴とする姿勢判定プログラム。
（付記２）
前記画像領域のうち、前記中心部分よりも上側に位置する画像領域の傾きであって、前記人が立つ面における垂直方向に対する傾きに基づいて、前記人の姿勢を判定することを特徴とする付記１に記載の姿勢判定プログラム。
（付記３）
前記中心部分よりも上側に位置する画像領域に基づいて算出した、前記人の重心線を近似する直線の、前記垂直方向に対する傾きに基づいて、前記人の姿勢を判定することを特徴とする付記２に記載の姿勢判定プログラム。
（付記４）
前記傾きに基づいて、前記人が前傾姿勢か、後傾姿勢か、直立姿勢かを判定することを特徴とする付記３に記載の姿勢判定プログラム。
（付記５）
前記人の体の向きを判定し、判定した向きに応じて、前記人の姿勢を判定する際の判定方法を切り替えることを特徴とする付記１乃至４のいずれかの付記に記載の姿勢判定プログラム。
（付記６）
前記画像領域の前記人の体の所定の部位に対応する部分領域より、前記特徴点を検出することを特徴とする付記１に記載の姿勢判定プログラム。
（付記７）
前記中心部分よりも上側に位置する画像領域に基づいて前記人の重心線を近似する曲線を算出し、算出した曲線の曲率に基づいて、前記人の状態を判定することを特徴とする付記１に記載の姿勢判定プログラム。
（付記８）
複数の撮像画像それぞれから検出された人の体に対応する画像領域内において同一または類似の動きパターンの特徴点を検出し、検出した該特徴点の撮像画像間での移動軌跡に基づき、該移動軌跡を各弧とする円の中心部分を特定する特定部と、
特定した前記中心部分の位置に基づいて、前記人の姿勢を判定する判定部と
を有することを特徴とする姿勢判定装置。
（付記９）
複数の撮像画像それぞれから検出された人の体に対応する画像領域内において同一または類似の動きパターンの特徴点を検出し、検出した該特徴点の撮像画像間での移動軌跡に基づき、該移動軌跡を各弧とする円の中心部分を特定し、
特定した前記中心部分の位置に基づいて、前記人の姿勢を判定する、
処理をコンピュータが実行することを特徴とする姿勢判定方法。
【０１３９】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１４０】
１００                  ：姿勢判定システム
１１０                  ：撮像装置
１２０                  ：情報処理装置
１２１                  ：姿勢判定部
１３０                  ：動画像記憶装置
３００                  ：判定結果情報
４００〜４０６          ：画像データ
４１１〜４１５          ：体領域画像
４２１〜４２５          ：特徴点画像
５０１〜５０３          ：円
６０１〜６０３          ：円心
６１０                  ：回転中心
７０１〜７２６          ：体軸点
７３０                  ：一点鎖線
８０１                  ：画像読み出し部
８０２                  ：体領域検出部
８０３                  ：特徴点検出部
８０４                  ：軌跡算出部
８０５                  ：回転中心特定部
８０６                  ：体幹軸算出部
８０７                  ：上半身姿勢判定部
１００１                ：向き判定部
１３０１                ：体幹軸算出部
１３０２                ：体幹軸曲率算出部
１３０３                ：上半身状態判定部
１５２０                ：解析装置
【図１】
2018195166.tif 000007
【図２】
2018195166.tif 000008
【図３】
2018195166.tif 000009
【図４】
2018195166.tif 000010
【図５】
2018195166.tif 000011
【図６】
2018195166.tif 000012
【図７】
2018195166.tif 000013
【図８】
2018195166.tif 000014
【図９】
2018195166.tif 000015
【図１０】
2018195166.tif 000016
【図１１】
2018195166.tif 000017
【図１２】
2018195166.tif 000018
【図１３】
2018195166.tif 000019
【図１４】
2018195166.tif 000020
【図１５】
2018195166.tif 000021