(57)【要約】      （修正有）【課題】所定動作の評価を定量化する動作評価装置を提供する。【解決手段】動作評価装置１０は、画像認識することにより得られた被評価者の骨格情報を取得する取得部１２と、取得部により取得された骨格情報に基づいて、被評価者の重心及び支持基底面の少なくとも一方を特定する特定部１４と、特定部により特定された重心及び支持基底面の少なくとも一方に基づいて、被評価者の所定動作についての評価値を導出する評価部１６とを含む。【選択図】図３
2020086823.tif 000002
【特許請求の範囲】
【請求項１】
画像認識することにより得られた被評価者の骨格情報を取得する取得部と、
前記取得部により取得された骨格情報に基づいて、前記被評価者の重心及び支持基底面の少なくとも一方を特定する特定部と、
前記特定部により特定された前記重心及び前記支持基底面の少なくとも一方に基づいて、前記被評価者の所定動作についての評価値を導出する評価部と、
を含む動作評価装置。
【請求項２】
前記取得部は、前記所定動作を行う前記被評価者を撮影した動画を構成するフレーム毎の骨格情報を取得し、
前記特定部は、前記フレーム毎に、前記被評価者の重心及び支持基底面の少なくとも一方を特定し、
前記評価部は、前記所定動作の開始から終了までの異なる複数の時点での前記重心及び前記支持基底面の少なくとも一方に基づいて、前記評価値を導出する
請求項１に記載の動作評価装置。
【請求項３】
前記評価部は、前記所定動作の開始前と動作中とにおける前記重心又は前記支持基底面の第１の比率、及び前記異なる複数の時点のうちの２時点間における前記重心又は前記支持基底面の第２の比率の少なくとも一方に基づいて、前記評価値を導出する請求項２に記載の動作評価装置。
【請求項４】
前記評価部は、
前記第１の比率については、前記所定動作に応じて予め定めた比率に近いほど高い評価値を導出し、
前記第２の比率については、比率が１に近いほど高い評価値を導出する
請求項３に記載の動作評価装置。
【請求項５】
前記評価部は、前記第１の比率と、前記第２の比率とのマトリクスで規定された評価値マッピング表から、前記評価値を導出する請求項３又は請求項４に記載の動作評価装置。
【請求項６】
前記評価部は、前記特定部により前記重心及び前記支持基底面の両方が特定されている場合において、前記重心から鉛直下向きに下ろした線と床面との交点と、前記支持基底面との関係に基づいて、前記評価値を導出する請求項１〜請求項５のいずれか１項に記載の動作評価装置。
【請求項７】
前記評価部は、前記交点が前記支持基底面の中心位置に近いほど高い評価値を導出する請求項６に記載の動作評価装置。
【請求項８】
前記特定部は、
前記骨格情報から、前記被評価者の首、右腰、左腰、右膝、及び左膝の各位置を特定し、
前記右腰の位置と前記左腰の位置との中点と前記首の位置とを結ぶ線の前記首の近位１／３の位置を上半身重心として特定し、
前記左腰の位置と前記左膝の位置とを結ぶ線の前記左腰の近位５／１２の位置と、前記右腰の位置と前記右膝の位置とを結ぶ線の前記右腰の近位５／１２の位置との中点を下半身重心として特定し、
前記上半身重心と前記下半身重心との中点を前記重心として特定する
請求項１〜請求項７のいずれか１項に記載の動作評価装置。
【請求項９】
前記被評価者は、要介護者を介護する介護者であり、
前記所定動作は、前記介護者が前記要介護者に対して行う移乗動作である
請求項１〜請求項８のいずれか１項に記載の動作評価装置。
【請求項１０】
画像認識することにより得られた被評価者の骨格情報を取得し、
取得した骨格情報に基づいて、前記被評価者の重心及び支持基底面の少なくとも一方を特定し、
特定した前記重心及び前記支持基底面の少なくとも一方に基づいて、前記被評価者の所定動作についての評価値を導出する
ことを含む処理をコンピュータが実行する動作評価方法。
【請求項１１】
画像認識することにより得られた被評価者の骨格情報を取得し、
取得した骨格情報に基づいて、前記被評価者の重心及び支持基底面の少なくとも一方を特定し、
特定した前記重心及び前記支持基底面の少なくとも一方に基づいて、前記被評価者の所定動作についての評価値を導出する
ことを含む処理をコンピュータに実行させるための動作評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、動作評価装置、動作評価方法、及び動作評価プログラムに関する。
【背景技術】
【０００２】
従来、複数の被評価者をそれぞれ指導する指導者によって行われる指導の質を高めることを支援する装置が提案されている。この装置では、取得部は、それぞれ所定動作を行う複数の被評価者について、当該被評価者の動作を表す動作情報を当該被評価者毎に取得する。また、算出部は、被評価者毎の動作情報に基づいて、所定動作の実施状況を示す指標値を、当該被評価者毎に算出し、出力制御部は、指標値を出力する。
【０００３】
また、着目点に応じた動作の評価をすることができる動作情報処理装置が提案されている。この装置では、取得部は、所定動作を実行する被評価者の動作情報を取得する。また、指定操作受け付け部は、被評価者の部位を指定する操作を受け付ける。そして、解析部は、動作情報を解析して、指定された部位の動きに関する解析値を求め、表示制御部は、指定された部位の動きに関する解析値に基づく表示情報を表示する。
【０００４】
また、立位歩行機能評価判定標準化技術に関する技術が提案されている。この技術は、荷重測定装置から得たデータから歩行速度、足底位置、重心位置と動揺、及び体重自律度を演算する。そして、演算結果と、映像撮影装置から得た撮影可能であったデータとを併せ、歩行速度、足底位置、重心位置、首関節角度、腰関節角度、膝関節角度、足関節角度、重心の動揺、及び体重自律度を演算する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−３５１７１号公報
【特許文献２】特開２０１５−６１５７９号公報
【特許文献３】特開２００５−２８７８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、介護における移乗動作、物流現場における荷物の運搬動作、スポーツなどの所定動作時における身体のバランスに着目して、その所定動作を評価するという観点で定量化したい場合がある。
【０００７】
一つの側面として、開示の技術は、所定動作の評価を定量化することを目的とする。
【課題を解決するための手段】
【０００８】
一つの態様として、開示の技術は、画像認識することにより得られた被評価者の骨格情報を取得する取得部と、前記取得部により取得された骨格情報に基づいて、前記被評価者の重心及び支持基底面の少なくとも一方を特定する特定部とを含む。また、開示の技術は、前記特定部により特定された前記重心及び前記支持基底面の少なくとも一方に基づいて、前記被評価者の所定動作についての評価値を導出する評価部を含む。
【発明の効果】
【０００９】
一つの側面として、開示の技術は、所定動作の評価を定量化することができる、という効果を有する。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る動作評価システムの概略構成を示すブロック図である。
【図２】骨格情報を説明するための図である。
【図３】本実施形態に係る動作評価装置の機能ブロック図である。
【図４】上半身重心の特定を説明するための図である。
【図５】下半身重心の特定を説明するための図である。
【図６】重心の特定を説明するための図である。
【図７】支持基底面の特定を説明するための図である。
【図８】支持基底面の特定を説明するための図である。
【図９】支持基底面の特定を説明するための図である。
【図１０】圧中心点の特定を説明するための図である。
【図１１】記録テーブルの一例を示す図である。
【図１２】移乗動作の評価を説明するための図である。
【図１３】評価値マッピング表の一例を示す図である。
【図１４】バランスに関する評価値の導出を説明するための図である。
【図１５】評価結果の一例を示す図である。
【図１６】本実施形態に係る動作評価装置として機能するコンピュータの概略構成を示すブロック図である。
【図１７】本実施形態における動作評価処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。
【００１２】
本実施形態では、要介護者に対して介護を行う介護者を被評価者とし、要介護者を移乗する動作（以下、「移乗動作」という）を評価対象の動作とする場合について説明する。
【００１３】
図１に示すように、本実施形態に係る動作評価システム１００は、カメラ２０と、骨格認識システム２２と、動作評価装置１０とを含んでいる。カメラ２０、骨格認識システム２２、及び動作評価装置１０の各々は、有線又は無線のネットワークにより相互に接続されている。
【００１４】
カメラ２０は、評価対象の所定動作を行う被評価者を撮影し、撮影した動画データを出力する。出力された動画データは、骨格認識システム２２へ入力される。
【００１５】
骨格認識システム２２は、入力された動画データを構成する各フレームの画像を画像認識することにより、撮影された被評価者の骨格を解析した骨格情報を取得し、動画データと共に出力する。骨格認識システム２２としては、例えば、ＯｐｅｎＰｏｓｅなどの既存の技術を用いることができる。
【００１６】
骨格認識システム２２は、例えば、図２に示すように、各フレーム内の被評価者の関節及び目などの特徴箇所（以下、これらをまとめて「関節」という）の位置を推定する。図２の例では、Ｊ０〜Ｊ１７の関節番号で識別される１８個の関節の位置と、関節間の接続関係とが推定されている。なお、Ｊ１は首、Ｊ２は右肩、Ｊ３は右肘、Ｊ４は右手首、Ｊ５は左肩、Ｊ６は左肘、Ｊ７は左手首、Ｊ８は右腰、Ｊ９は右膝、Ｊ１０は右足首、Ｊ１１は左腰、Ｊ１２は左膝、Ｊ１３は左足首の各々の関節番号である。また、Ｊ０は顔中心、Ｊ１４は右眼、Ｊ１５は左眼、Ｊ１６は右耳、Ｊ１７は左耳の各々の関節番号である。
【００１７】
骨格認識システム２２から出力される骨格情報は、フレーム毎に、そのフレームの識別情報（例えば、フレーム番号）と、各関節番号と、その関節番号が示す関節の画像内での座標値とを含むことができる。
【００１８】
動作評価装置１０は、図３に示すように、機能的には、取得部１２と、特定部１４と、評価部１６とを含む。また、動作評価装置１０の所定の記憶領域には、評価値マッピング表１８が記憶される。
【００１９】
取得部１２は、骨格認識システム２２から出力され、動作評価装置１０へ入力された骨格情報及び動画データを取得する。なお、本実施形態では、被評価者による１回の所定動作を撮影した動画データが、１つのファイルとして入力されるものとする。また、取得部１２は、被評価者の識別情報（以下、「被評価者ＩＤ」という）を受け付け、対応する被評価者が撮影された動画データに被評価者ＩＤを対応付ける。
【００２０】
なお、取得部１２は、１つの動画データに複数の人物が撮影されている場合、複数の人物の中から被評価者を特定し、各フレームにおいて被評価者を追跡した上で、被評価者ＩＤを対応付ける。フレーム内における被評価者は、例えば、手前に映っている人物、予め指定した色の服（例えば、白衣など）を着用している人物、人手により指定された領域内の人物などにより、特定することができる。
【００２１】
取得部１２は、被評価者ＩＤを対応付けた動画データ及び骨格情報を特定部１４へ受け渡す。
【００２２】
特定部１４は、取得部１２から受け渡された骨格情報に基づいて、動画データのフレーム毎に、被評価者の重心を特定する。具体的には、特定部１４は、第７〜第９胸椎間（みぞおちのやや上）を上半身重心、大腿骨の１／２〜近位１／３間（大腿骨の中央の少し上）を下半身重心とした場合の、上半身重心と下半身重心との中点を重心として特定する。
【００２３】
上記の上半身重心は、図４に示すように、頚椎と胸椎との境目（Ｌ１）から股関節（Ｌ２）までの間の近位１／３付近（Ｌ３）におおよそ合致する。そこで、図２の骨格情報を用いる場合、特定部１４は、首（Ｊ１）、右腰（Ｊ８）、及び左腰（Ｊ１１）の各位置を特定する。そして、特定部１４は、首（Ｊ１）の位置を頚椎と胸椎との境目とみなし、右腰（Ｊ８）と左腰（Ｊ１１）との中点（点Ｐ１）を股関節の位置とみなし、首（Ｊ１）から点Ｐ１への線分（Ｌ４）の近位１／３の点Ｐ２を、上半身重心として特定する。
【００２４】
また、特定部１４は、図５に示すように、上記の下半身重心について、右腰（Ｊ８）、右膝（Ｊ９）、左腰（Ｊ１１）、及び左膝（Ｊ１２）の各位置を特定する。そして、特定部１４は、右腰（Ｊ８）と右膝（Ｊ９）との中点（点Ｐ３）と、右腰（Ｊ８）から右膝（Ｊ９）の近位１／３の点Ｐ４とを特定し、点Ｐ３と点Ｐ４との中点（点Ｐ５）を特定する。すなわち、特定部１４は、右腰（Ｊ８）と右膝（Ｊ９）とを結ぶ線分の右腰近位５／１２の位置を、点Ｐ５として特定する。同様に、特定部１４は、左腰（Ｊ１１）から左膝（Ｊ１２）間において、点Ｐ５と同様の点Ｐ６を特定する。そして、特定部１４は、点Ｐ５と点Ｐ６との中点（点Ｐ７）を下半身重心として特定する。さらに、特定部１４は、図６に示すように、上半身重心として特定した点Ｐ２と、下半身重心として特定した点Ｐ７との中点（点Ｐ８）を重心として特定する。
【００２５】
また、特定部１４は、取得部１２から受け渡された動画データのフレーム毎に、被評価者の支持基底面を特定する。支持基底面３０とは、図７に示すように、身体を支えるために、床と接している部分を結んだ範囲のことを示す。なお、動画データの各フレームから、図７に示すように明確に足などの床と接している部分を特定することができない場合がある。そこで、特定部１４は、図８に示すように、骨格情報の右足首（Ｊ１０）及び左足首（Ｊ１３）を示す位置から下ろした線と床面との交点を基準に、予め定めたサイズで床面と接している足部分を想定した２つの領域３２を設定し、この２つの領域３２の外接矩形を支持基底面３０として特定することができる。なお、領域３２として設定するサイズは、被評価者の足のサイズを受け付けて設定してもよい。
【００２６】
なお、支持基底面３０の特定方法は上記の例に限定されず、右足首（Ｊ１０）及び左足首（Ｊ１３）を示す位置から下ろした線と床面との２つの交点を結ぶ線を対角線とする矩形領域を支持基底面３０として特定してもよい。また、２つの交点を直径とする円領域、２つの交点を長径とする楕円領域等を支持基底面３０として特定してもよい。
【００２７】
また、図９の上図に示すように、被評価者が椅子に座っている場合などには、特定部１４は、その椅子の脚も含めて支持基底面３０を特定する。特定部１４は、例えば、骨格情報が示す被評価者の姿勢及び画像認識による物体検出などの技術を適用して、他の物体も含めて、図９の下図に示すように支持基底面３０を特定するようにすればよい。また、レーザレーダや距離画像カメラ等を用いて周辺物体の３次元位置情報を取得して、床面や被評価者が座る椅子などの物体の情報を取得するようにしてもよい。
【００２８】
さらに、特定部１４は、図１０に示すように、重心Ｐ８から垂直に下ろした重心線Ｌ５と床面との交点である圧中心点Ｐ９を特定する。
【００２９】
特定部１４は、例えば、図１１に示すような記録テーブル３４に、特定した重心Ｐ８の位置、支持基底面３０を示す領域、及び圧中心点Ｐ９の位置を、フレーム毎に記録する。図１１の例では、重心Ｐ８の位置及び圧中心点Ｐ９の位置は、各点のフレーム内での座標値で表しており、支持基底面３０を示す領域は、矩形領域の四隅の座標値で表している。
【００３０】
評価部１６は、特定部１４により記録された記録テーブル３４を参照して、被評価者の所定動作についての評価値を導出する。具体的には、評価部１６は、所定動作の開始から終了までの異なる複数の時点での重心Ｐ８、支持基底面３０、及び圧中心点Ｐ９に基づいて、評価値を導出する。
【００３１】
例えば、被評価者である介護者の移乗動作の場合、図１２のグラフ４１に示すように、移乗開始時、移乗中、及び移乗完了時の各時点の重心Ｐ８の高さが、立位時の重心Ｐ８の高さの所定割合（例えば、７割程度）まで落ちて安定しているとする。この場合は、腰を落として安定した姿勢で移乗動作を行えていることを表しており、良い移乗動作であると判定することができる。また、図１２のグラフ４２に示すように、重心Ｐ８の位置が高いままの場合には、移乗動作中に腰が落とせておらず、良くない移乗動作であると判定できる。また、図１２のグラフ４３に示すように、移乗開始時に一旦重心Ｐ８が下がるものの、動作中に徐々に重心Ｐ８が上がってくる場合や、図１２のグラフ４４に示すように、重心Ｐ８が安定していない場合も良くない移乗動作であると判定できる。
【００３２】
そこで、評価部１６は、例えば、立位時の重心Ｐ８の高さを１とした場合に、移乗開始時、移乗中、及び移乗完了時の各時点の重心Ｐ８の高さが０．６〜０．８であれば高い評価値を導出する。また、０．５〜０．６又は０．８〜０．９であれば中程度の評価値、０．４〜０．５又は０．９〜１．０であれば低い評価値を導出する。
【００３３】
また、評価部１６は、重心Ｐ８の推移が安定しているか否かを評価した評価値も導出する。評価部１６は、この重心Ｐ８の推移に関する評価値を、例えば図１３に示すような評価値マッピング表１８を参照して導出する。
【００３４】
評価値マッピング表１８は、移乗開始前に対する移乗開始時の重心Ｐ８の比率を横軸にとり、移乗中に対する移乗開始時の重心Ｐ８の比率を縦軸にとったマトリクスで規定された第１のマッピング表１８Ａを含む。また、評価値マッピング表１８は、移乗開始前に対する移乗完了時の重心Ｐ８の比率を横軸にとり、移乗完了時に対する移乗開始時の重心Ｐ８の比率を縦軸にとったマトリクスで規定された第２のマッピング表１８Ｂを含む。第１のマッピング表１８Ａ及び第２のマッピング表１８Ｂでは、横軸は、予め定めた比率（例えば、０．７）に近いほど評価値が高くなり、縦軸は、比率が１に近いほど評価値が高くなるように規定されている。
【００３５】
評価部１６は、動画データから、移乗開始前、移乗開始時、移乗中、及び移乗完了時の各時点に相当するフレームを特定する。例えば、評価部１６は、動画開始から所定秒後（例えば、１秒後）のフレームを移乗開始前に相当するフレームとして特定する。また、評価部１６は、移乗動作を開始することを示すジェスチャや発話などの合図が認識されたフレームの所定秒後（例えば、１秒後）のフレームを移乗開始時に相当するフレームとして特定する。また、評価部１６は、動画終了の所定秒前（例えば、１秒前）のフレームを移乗完了時に相当するフレームとして特定する。また、評価部１６は、移乗開始時と移乗完了時との中間時点のフレームを移乗中に相当するフレームとして特定する。
【００３６】
評価部１６は、特定したフレームのフレーム番号に対応付けられた重心Ｐ８及び圧中心点Ｐ９のｙ座標値を記録テーブル３４から取得する。評価部１６は、取得した重心Ｐ８のｙ座標値から圧中心点Ｐ９のｙ座標値を引いて、各時点における重心Ｐ８の高さを求める。そして、評価部１６は、移乗開始時の重心Ｐ８の高さ／移乗開始前（立位時）の重心Ｐ８の高さと、移乗開始時の重心Ｐ８の高さ／移乗中の重心Ｐ８の高さとを求め、評価値マッピング表１８の第１のマッピング表１８Ａから、対応する評価値を導出する。同様に、評価部１６は、移乗完了時の重心Ｐ８の高さ／移乗開始前（立位時）の重心Ｐ８の高さと、移乗開始時の重心Ｐ８の高さ／移乗完了時の重心Ｐ８の高さとを求め、評価値マッピング表１８の第２のマッピング表１８Ｂから、対応する評価値を導出する。
【００３７】
そして、評価部１６は、第１のマッピング表１８Ａから導出した評価値と、第２のマッピング表１８Ｂから導出した評価値とを、例えば、加算、乗算、平均等することにより統合して、重心Ｐ８の推移に関する評価値を導出する。
【００３８】
また、評価部１６は、支持基底面３０についても、上記の重心Ｐ８の場合と同様に、各時点における基準値と比較した評価値、及び支持基底面３０の推移に関する評価値を導出する。支持基底面３０は、移乗開始前の立位時より広くなり、移乗中は安定して広い状態が保たれていることが望ましい。そこで、例えば、移乗開始前に対する移乗開始時、移乗中、移乗完了時の支持基底面３０の面積が１．５倍に近いほど評価値が高くなるように、各基準値及び評価値マッピング表１８を規定すればよい。
【００３９】
さらに、評価部１６は、圧中心点Ｐ９と支持基底面３０との関係に基づいて、身体のバランスを示す評価値を導出する。図１０に示すように、圧中心点Ｐ９が支持基底面３０に含まれる方が、含まれない場合に比べ、身体のバランスがとれていることを表す。また、圧中心点Ｐ９の位置が、支持基底面３０の中心位置に近いほど、身体のバランスが安定していることを表す。
【００４０】
そこで、評価部１６は、例えば、図１４に示すように、支持基底面３０内を、中心から順に、評価値の高い領域、中程度の領域、低い領域に設定する。なお、支持基底面３０の外側の範囲は、評価対象外としてもよいし、さらに低い評価値を設定してもよい。評価部１６は、記録テーブル３４から、各時点に相当するフレームのフレーム番号に対応付けられた支持基底面３０を示す領域と圧中心点Ｐ９の座標値とを取得する。そして、評価部１６は、支持基底面３０内に設定された領域に対する圧中心点Ｐ９の位置に応じて、身体のバランスを示す評価値を導出する。
【００４１】
なお、バランスを示す評価値の導出は上記の例に限定されず、例えば、支持基底面３０の中心位置と圧中心点Ｐ９との距離に所定の係数を乗算して、評価値を導出するようにしてもよい。
【００４２】
評価部１６は、例えば図１５に示すように、被評価者毎に、被評価者ＩＤと、動画データと、上述のように導出した各評価値とを対応付けた評価結果を出力する。図１５の例では、各時点における重心Ｐ８の高さを表すグラフも評価結果に含まれている。また、評価結果に含める動画データは、図２に示すような画像化した骨格情報と、特定した重心Ｐ８、支持基底面３０、重心線Ｌ５、及び圧中心点Ｐ９とが重畳された動画データとしてもよい。このような動画データを出力することで、動画データの再生時に、重心Ｐ８の推移やバランスの状態を可視化することができる。
【００４３】
動作評価装置１０は、例えば図１６に示すコンピュータ５０で実現することができる。コンピュータ５０は、ＣＰＵ（Central Processing Unit）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、入力部、表示部等の入出力装置５４と、記憶媒体５９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部５５とを備える。また、コンピュータ５０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。
【００４４】
記憶部５３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を、動作評価装置１０として機能させるための動作評価プログラム６０が記憶される。動作評価プログラム６０は、取得プロセス６２と、特定プロセス６４と、評価プロセス６６とを有する。また、記憶部５３は、評価値マッピング表１８を構成する情報が記憶される情報記憶領域６８を有する。
【００４５】
ＣＰＵ５１は、動作評価プログラム６０を記憶部５３から読み出してメモリ５２に展開し、動作評価プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、取得プロセス６２を実行することで、図３に示す取得部１２として動作する。また、ＣＰＵ５１は、特定プロセス６４を実行することで、図３に示す特定部１４として動作する。また、ＣＰＵ５１は、評価プロセス６６を実行することで、図３に示す評価部１６として動作する。また、ＣＰＵ５１は、情報記憶領域６８から情報を読み出して、評価値マッピング表１８をメモリ５２に展開する。これにより、動作評価プログラム６０を実行したコンピュータ５０が、動作評価装置１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。
【００４６】
なお、動作評価プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
【００４７】
骨格認識システム２２は、サーバ装置やパーソナルコンピュータ上で動作するソフトウェアで実現することができる。骨格認識システム２２として機能するソフトウェアは、動作評価装置１０と同一のコンピュータ上で動作してもよいし、動作評価装置１０とは異なるコンピュータ上で動作してもよい。
【００４８】
次に、本実施形態に係る動作評価システム１００の作用について説明する。
【００４９】
まず、被評価者である介護者が立位の状態からカメラ２０での撮影を開始する。被評価者は、所定動作である移乗動作を開始する直前に、動作を開始することを示すジェスチャ又は発話などの合図をする。この合図は、移乗開始時に相当するフレームを特定する際に利用される。合図後、被評価者は移乗動作を開始し、移乗動作完了後の所定秒後に撮影を終了する。撮影された動画データは、骨格認識システム２２に入力される。
【００５０】
次に、骨格認識システム２２が、入力された動画データを構成する各フレームの画像を画像認識することにより、撮影された被評価者の骨格を解析して、例えば図２に示すような骨格情報を取得する。そして、骨格認識システム２２は、骨格情報を動画データと共に出力する。
【００５１】
骨格認識システム２２から出力された骨格情報及び動画データが動作評価装置１０へ入力されると、動作評価装置１０において、図１７に示す動作評価処理が実行される。なお、動作評価処理は、開示の技術の動作評価方法の一例である。
【００５２】
ステップＳ１２で、取得部１２が、動作評価装置１０へ入力された骨格情報及び動画データを取得する。そして、取得部１２は、動画データに被評価者ＩＤを対応付け、特定部１４へ受け渡す。
【００５３】
次に、ステップＳ１４で、特定部１４が、取得部１２から受け渡された骨格情報に基づいて、動画データのフレーム毎に、被評価者の重心Ｐ８を特定する。そして、特定部１４は、特定した重心Ｐ８の座標値をフレーム番号と対応付けて記録テーブル３４に記録する。
【００５４】
次に、ステップＳ１６で、特定部１４が、取得部１２から受け渡された動画データのフレーム毎に、被評価者の支持基底面３０を特定する。そして、特定部１４は、特定した支持基底面３０を示す領域の情報をフレーム番号と対応付けて記録テーブル３４に記録する。
【００５５】
次に、ステップＳ１８で、特定部１４が、フレーム毎に、上記ステップＳ１４で特定した重心Ｐ８から垂直に下ろした重心線Ｌ５と床面との交点である圧中心点Ｐ９を特定する。そして、特定部１４は、特定した圧中心点Ｐ９の座標値をフレーム番号と対応付けて記録テーブル３４に記録する。
【００５６】
次に、ステップＳ２０で、評価部１６が、移乗開始前、移乗開始時、移乗中、及び移乗完了時の各時点に相当するフレームを特定する。そして、評価部１６が、各時点の重心Ｐ８の高さと基準値とを比較した評価値を導出する。また、評価部１６が、例えば図１３に示すような評価値マッピング表１８を参照して、重心Ｐ８の推移に関する評価値を導出する。
【００５７】
次に、ステップＳ２２で、評価部１６が、移乗開始前、移乗開始時、移乗中、及び移乗完了時の各時点の支持基底面３０の面積と基準値とを比較した評価値を導出する。また、評価部１６が、例えば図１３に示すような評価値マッピング表１８と同様の支持基底面用の評価値マッピング表を参照して、支持基底面３０の面積の推移に関する評価値を導出する。
【００５８】
次に、ステップＳ２４で、評価部１６が、例えば、図１４に示すように、支持基底面３０内を、中心から順に、評価値の高い領域、中程度の領域、低い領域に設定する。そして、評価部１６は、支持基底面３０内に設定された領域に対する、各時点における圧中心点Ｐ９の位置に応じて、身体のバランスを示す評価値を導出する。
【００５９】
次に、ステップＳ２６で、評価部１６が、例えば図１５に示すように、被評価者毎に、被評価者ＩＤと、動画データと、上記ステップＳ２０、Ｓ２２、及びＳ２４で導出した各評価値とを対応付けた評価結果を出力する。そして、動作評価処理は終了する。
【００６０】
以上説明したように、本実施形態に係る動作評価システムによれば、動作評価装置が、所定動作を行う被評価者を撮影した動画データから認識された骨格情報に基づいて特定される重心及び支持基底面の情報から評価値を導出する。これにより、例えば、所定動作時における身体のバランスに着目して、所定動作の評価を定量化することができる。
【００６１】
また、所定動作中の異なる時点の値の比率を縦軸及び横軸とするマトリクスに評価値を規定した評価値マッピング表を用いることで、重心や支持基準面の推移を評価した評価値を簡易に導出することができる。
【００６２】
本実施形態は、看護学校などの学生による実技試験の採点などに利用することができる。これにより、採点作業の効率化が図れると共に、採点者による採点のばらつきを抑制することができる。
【００６３】
なお、上記実施形態では、介護における移乗動作を所定動作とする場合について説明したが、これに限定されない。物流現場における荷物の運搬動作、スポーツなど、身体のバランスに着目して、その所定動作を評価するという観点を有する場合であれば、本開示の技術を適用可能である。
【００６４】
また、上記実施形態では、重心に関する評価値、支持基底面に関する評価値、及びバランス（圧中心点）に関する評価値の全てを導出して評価結果に含める場合について説明したが、少なくとも１つの評価値を導出するものであればよい。また、バランス（圧中心点）に関する評価値として、圧中心点の推移（座標値の変化）を評価してもよい。
【００６５】
また、上記実施形態では、評価値が固定された評価値マッピング表を用いる場合について説明したが、これに限定されない。例えば、被評価者の体型などに合わせて、評価値をシフトさせて被評価者に適合させた評価値マッピング表を用いてもよい。
【００６６】
また、上記実施形態では、動作評価プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ（Compact Disc Read only memory）、ＤＶＤ−ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ等の記憶媒体に記憶された形態で提供することも可能である。
【００６７】
以上の実施形態に関し、更に以下の付記を開示する。
【００６８】
（付記１）
画像認識することにより得られた被評価者の骨格情報を取得する取得部と、
前記取得部により取得された骨格情報に基づいて、前記被評価者の重心及び支持基底面の少なくとも一方を特定する特定部と、
前記特定部により特定された前記重心及び前記支持基底面の少なくとも一方に基づいて、前記被評価者の所定動作についての評価値を導出する評価部と、
を含む動作評価装置。
【００６９】
（付記２）
前記取得部は、前記所定動作を行う前記被評価者を撮影した動画を構成するフレーム毎の骨格情報を取得し、
前記特定部は、前記フレーム毎に、前記被評価者の重心及び支持基底面の少なくとも一方を特定し、
前記評価部は、前記所定動作の開始から終了までの異なる複数の時点での前記重心及び前記支持基底面の少なくとも一方に基づいて、前記評価値を導出する
付記１に記載の動作評価装置。
【００７０】
（付記３）
前記評価部は、前記所定動作の開始前と動作中とにおける前記重心又は前記支持基底面の第１の比率、及び前記異なる複数の時点のうちの２時点間における前記重心又は前記支持基底面の第２の比率の少なくとも一方に基づいて、前記評価値を導出する付記２に記載の動作評価装置。
【００７１】
（付記４）
前記評価部は、
前記第１の比率については、前記所定動作に応じて予め定めた比率に近いほど高い評価値を導出し、
前記第２の比率については、比率が１に近いほど高い評価値を導出する
付記３に記載の動作評価装置。
【００７２】
（付記５）
前記評価部は、前記第１の比率と、前記第２の比率とのマトリクスで規定された評価値マッピング表から、前記評価値を導出する付記３又は付記４に記載の動作評価装置。
【００７３】
（付記６）
前記評価部は、前記特定部により前記重心及び前記支持基底面の両方が特定されている場合において、前記重心から鉛直下向きに下ろした線と床面との交点と、前記支持基底面との関係に基づいて、前記評価値を導出する付記１〜付記５のいずれか１項に記載の動作評価装置。
【００７４】
（付記７）
前記評価部は、前記交点が前記支持基底面の中心位置に近いほど高い評価値を導出する付記６に記載の動作評価装置。
【００７５】
（付記８）
前記特定部は、
前記骨格情報から、前記被評価者の首、右腰、左腰、右膝、及び左膝の各位置を特定し、
前記右腰の位置と前記左腰の位置との中点と前記首の位置とを結ぶ線の前記首の近位１／３の位置を上半身重心として特定し、
前記左腰の位置と前記左膝の位置とを結ぶ線の前記左腰の近位５／１２の位置と、前記右腰の位置と前記右膝の位置とを結ぶ線の前記右腰の近位５／１２の位置との中点を下半身重心として特定し、
前記上半身重心と前記下半身重心との中点を前記重心として特定する
付記１〜付記７のいずれか１項に記載の動作評価装置。
【００７６】
（付記９）
前記被評価者は、要介護者を介護する介護者であり、
前記所定動作は、前記介護者が前記要介護者に対して行う移乗動作である
付記１〜付記８のいずれか１項に記載の動作評価装置。
【００７７】
（付記１０）
画像認識することにより得られた被評価者の骨格情報を取得し、
取得した骨格情報に基づいて、前記被評価者の重心及び支持基底面の少なくとも一方を特定し、
特定した前記重心及び前記支持基底面の少なくとも一方に基づいて、前記被評価者の所定動作についての評価値を導出する
ことを含む処理をコンピュータが実行する動作評価方法。
【００７８】
（付記１１）
前記所定動作を行う前記被評価者を撮影した動画を構成するフレーム毎の骨格情報を取得し、
前記フレーム毎に、前記被評価者の重心及び支持基底面の少なくとも一方を特定し、
前記所定動作の開始から終了までの異なる複数の時点での前記重心及び前記支持基底面の少なくとも一方に基づいて、前記評価値を導出する
付記１０に記載の動作評価方法。
【００７９】
（付記１２）
前記所定動作の開始前と動作中とにおける前記重心又は前記支持基底面の第１の比率、及び前記異なる複数の時点のうちの２時点間における前記重心又は前記支持基底面の第２の比率の少なくとも一方に基づいて、前記評価値を導出する付記１１に記載の動作評価方法。
【００８０】
（付記１３）
前記第１の比率については、前記所定動作に応じて予め定めた比率に近いほど高い評価値を導出し、
前記第２の比率については、比率が１に近いほど高い評価値を導出する
付記１２に記載の動作評価方法。
【００８１】
（付記１４）
前記第１の比率と、前記第２の比率とのマトリクスで規定された評価値マッピング表から、前記評価値を導出する付記１２又は付記１３に記載の動作評価方法。
【００８２】
（付記１５）
前記重心及び前記支持基底面の両方を特定した場合において、前記重心から鉛直下向きに下ろした線と床面との交点と、前記支持基底面との関係に基づいて、前記評価値を導出する付記１０〜付記１４のいずれか１項に記載の動作評価方法。
【００８３】
（付記１６）
前記交点が前記支持基底面の中心位置に近いほど高い評価値を導出する付記１５に記載の動作評価方法。
【００８４】
（付記１７）
前記骨格情報から、前記被評価者の首、右腰、左腰、右膝、及び左膝の各位置を特定し、
前記右腰の位置と前記左腰の位置との中点と前記首の位置とを結ぶ線の前記首の近位１／３の位置を上半身重心として特定し、
前記左腰の位置と前記左膝の位置とを結ぶ線の前記左腰の近位５／１２の位置と、前記右腰の位置と前記右膝の位置とを結ぶ線の前記右腰の近位５／１２の位置との中点を下半身重心として特定し、
前記上半身重心と前記下半身重心との中点を前記重心として特定する
付記１０〜付記１６のいずれか１項に記載の動作評価方法。
【００８５】
（付記１８）
前記被評価者は、要介護者を介護する介護者であり、
前記所定動作は、前記介護者が前記要介護者に対して行う移乗動作である
付記１０〜付記１７のいずれか１項に記載の動作評価方法。
【００８６】
（付記１９）
画像認識することにより得られた被評価者の骨格情報を取得し、
取得した骨格情報に基づいて、前記被評価者の重心及び支持基底面の少なくとも一方を特定し、
特定した前記重心及び前記支持基底面の少なくとも一方に基づいて、前記被評価者の所定動作についての評価値を導出する
ことを含む処理をコンピュータに実行させるための動作評価プログラム。
【００８７】
（付記２０）
画像認識することにより得られた被評価者の骨格情報を取得し、
取得した骨格情報に基づいて、前記被評価者の重心及び支持基底面の少なくとも一方を特定し、
特定した前記重心及び前記支持基底面の少なくとも一方に基づいて、前記被評価者の所定動作についての評価値を導出する
ことを含む処理をコンピュータに実行させるための動作評価プログラムを記憶した記憶媒体。
【符号の説明】
【００８８】
１０   動作評価装置
１２   取得部
１４   特定部
１６   評価部
１８   評価値マッピング表
２０   カメラ
２２   骨格認識システム
３０   支持基底面
３４   記録テーブル
５０   コンピュータ
５１   ＣＰＵ
５２   メモリ
５３   記憶部
５９   記憶媒体
６０   動作評価プログラム
１００ 動作評価システム
Ｌ５   重心線
Ｐ８   重心
Ｐ９   圧中心点
【図１】
2020086823.tif 000003
【図２】
2020086823.tif 000004
【図３】
2020086823.tif 000005
【図４】
2020086823.tif 000006
【図５】
2020086823.tif 000007
【図６】
2020086823.tif 000008
【図７】
2020086823.tif 000009
【図８】
2020086823.tif 000010
【図９】
2020086823.tif 000011
【図１０】
2020086823.tif 000012
【図１１】
2020086823.tif 000013
【図１２】
2020086823.tif 000014
【図１３】
2020086823.tif 000015
【図１４】
2020086823.tif 000016
【図１５】
2020086823.tif 000017
【図１６】
2020086823.tif 000018
【図１７】
2020086823.tif 000019