(57)【要約】      （修正有）【課題】スクワット及びジャンプのうち少なくとも一方の動作の評価を簡便に行うことを可能にする動作情報処理装置及び方法を提供すること。【解決手段】動作情報処理装置１００は、取得部１４１と、判定部１４２と、表示制御部１４３とを備える。取得部１４１は、スクワット及びジャンプのうち少なくとも一方の動作を実施する対象者の動作情報を取得する。判定部１４２は、前記スクワット及びジャンプのうち少なくとも一方の動作における所定の条件に基づいて、前記取得部１４１によって取得された前記動作情報で示される前記対象者の動作が前記所定の条件に含まれる条件を満たすか否かを判定する。表示制御部１４３は、前記判定部による判定結果を通知するように制御する。【選択図】図４
2015027437.tif 000002
【特許請求の範囲】
【請求項１】
スクワット及びジャンプのうち少なくとも一方の動作を実施する対象者の動作情報を取得する取得部と、
前記スクワット及びジャンプのうち少なくとも一方の動作における所定の条件に基づいて、前記取得部によって取得された前記動作情報で示される前記対象者の動作が前記所定の条件に含まれる条件を満たすか否かを判定する判定部と、
前記判定部による判定結果を通知するように制御する制御部と、
を備える、動作情報処理装置。
【請求項２】
前記制御部は、前記判定部によって、前記対象者によって実施されたスクワットが前記所定の条件に含まれる条件を満たしていると判定された場合に正常を通知し、前記判定部によって、前記対象者によって実施されたスクワットが前記所定の条件に含まれる条件を満たしていないと判定された場合に警告を通知するように制御する、請求項１に記載の動作情報処理装置。
【請求項３】
前記判定部は、前記スクワットを実施する際の所定の条件として、前記スクワットの一連の動作における足の位置からの膝の飛び出し具合、踵の上がり具合、後方への腕の飛び出し具合、及び、上半身の前傾具合のうち、少なくとも一つを用いる、請求項２に記載の動作情報処理装置。
【請求項４】
前記判定部は、前記対象者が前記スクワットの動作を実行しているか否かをさらに判定し、当該対象者が前記スクワットの動作を実行していると判定した場合に、前記取得部によって取得された前記動作情報で示される前記対象者の動作が前記所定の条件に含まれる条件を満たすか否かを判定する、請求項１〜３のいずれか１つに記載の動作情報処理装置。
【請求項５】
前記判定部によって用いられる前記スクワットの動作における所定の条件に対して、当該条件を満たすか否かを判定する所定の閾値を設定するための入力操作を受け付ける受付部をさらに備える、請求項１〜４のいずれか１つに記載の動作情報処理装置。
【請求項６】
前記受付部は、前記所定の条件に対して、絶対位置における閾値及び相対位置における閾値のうち少なくとも一方を受け付ける、請求項５に記載の動作情報処理装置。
【請求項７】
前記受付部は、前記判定部による判定を開始及び終了するための入力操作をさらに受け付ける、請求項５又は６に記載の動作情報処理装置。
【請求項８】
前記判定部は、前記対象者による所定の動作に基づいて、前記取得部によって取得された前記動作情報で示される前記対象者の動作が前記スクワットの動作における所定の条件に含まれる条件を満たすか否かの判定の開始及び終了を実行する、請求項１〜７のいずれか１つに記載の動作情報処理装置。
【請求項９】
前記制御部は、前記判定部によって、前記対象者によって実施されたジャンプが前記所定の条件に含まれる条件を満たしていると判定された場合に正常を通知し、前記判定部によって、前記対象者によって実施されたジャンプが前記所定の条件に含まれる条件を満たしていないと判定された場合に、警告を通知するように制御する、請求項１に記載の動作情報処理装置。
【請求項１０】
前記判定部は、前記ジャンプを実施する際の所定の条件として、前記ジャンプの着地時の内股度合い、及び、外股度合いのうち、少なくとも一方を用いる、請求項９に記載の動作情報処理装置。
【請求項１１】
前記判定部は、前記ジャンプを実施する際の所定の条件として、前記ジャンプの着地時の股の開き量を用いる、請求項９に記載の動作情報処理装置。
【請求項１２】
前記判定部は、前記対象者が前記ジャンプの動作を実行しているか否かをさらに判定し、当該対象者が前記ジャンプの動作を実行していると判定した場合に、前記取得部によって取得された前記動作情報で示される前記対象者の動作が前記所定の条件に含まれる条件を満たすか否かを判定する、請求項１、９〜１１のいずれか１つに記載の動作情報処理装置。
【請求項１３】
前記判定部によって用いられる前記ジャンプの動作における所定の条件に対して、当該条件を満たすか否かを判定する所定の閾値を設定するための入力操作を受け付ける受付部をさらに備える、請求項１、９〜１２のいずれか１つに記載の動作情報処理装置。
【請求項１４】
前記受付部は、前記所定の条件に対して、絶対位置における閾値及び相対位置の閾値のうち少なくとも一方を受け付ける、請求項１３に記載の動作情報処理装置。
【請求項１５】
前記受付部は、前記判定部による判定を開始及び終了するための入力操作をさらに受け付ける、請求項１３又は１４に記載の動作情報処理装置。
【請求項１６】
前記判定部は、前記対象者による所定の動作に基づいて、前記取得部によって取得された前記動作情報で示される前記対象者の動作が前記ジャンプの動作における所定の条件に含まれる条件を満たすか否かの判定の開始及び終了を実行する、請求項１、９〜１５のいずれか１つに記載の動作情報処理装置。
【請求項１７】
動作情報を処理する動作情報処理装置によって実行される方法であって、
スクワット及びジャンプのうち少なくとも一方の動作を実施する対象者の動作情報を取得し、
前記スクワット及びジャンプのうち少なくとも一方の動作における所定の条件に基づいて、前記動作情報で示される前記対象者の動作が前記所定の条件に含まれる条件を満たすか否かを判定し、
前記判定の結果を通知する、
ことを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、動作情報処理装置及び方法に関する。
【背景技術】
【０００２】
従来、リハビリテーション（rehabilitation）においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。
【０００３】
一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion  capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−５６６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、スクワット及びジャンプのうち少なくとも一方の動作の評価を簡便に行うことを可能にする動作情報処理装置及び方法を提供することである。
【課題を解決するための手段】
【０００６】
実施の形態の動作情報処理装置は、取得部と、判定部と、制御部とを備える。取得部は、スクワット及びジャンプのうち少なくとも一方の動作を実施する対象者の動作情報を取得する。判定部は、前記スクワット及びジャンプのうち少なくとも一方の動作における所定の条件に基づいて、前記取得部によって取得された前記動作情報で示される前記対象者の動作が前記所定の条件に含まれる条件を満たすか否かを判定する。制御部は、前記判定部による判定結果を通知するように制御する。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態に係る動作情報処理装置の構成の一例を示す図である。
【図２Ａ】図２Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。
【図２Ｂ】図２Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。
【図２Ｃ】図２Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。
【図３】図３は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。
【図４】図４は、第１の実施形態に係る動作情報処理装置の詳細な構成の一例を示す図である。
【図５】図５は、第１の実施形態に係る動作情報記憶部によって記憶される動作情報の一例を示す図である。
【図６】図６は、第１の実施形態に係るリハビリのスクワット訓練における対象者の姿勢について説明するための図である。
【図７】図７は、第１の実施形態に係る取得部によって取得される骨格情報の一例を示す図である。
【図８Ａ】図８Ａは、第１の実施形態に係る判定部によるスクワット訓練の判定の一例を説明するための図である。
【図８Ｂ】図８Ｂは、第１の実施形態に係る判定部によるスクワット訓練の実施の判定の一例を説明するための図である。
【図９】図９は、第１の実施形態に係る表示制御部によって表示制御される表示内容の一例を示す図である。
【図１０】図１０は、第１の実施形態に係る表示制御部によって表示制御される表示内容の一例を示す図である。
【図１１】図１１は、第１の実施形態に係る表示制御部によって表示制御される表示内容の一例を示す図である。
【図１２】図１２は、第１の実施形態に係る表示制御部によって表示制御される表示内容の一例を示す図である。
【図１３】図１３は、第１の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。
【図１４Ａ】図１４Ａは、第２の実施形態に係る判定部によるスクワット訓練の判定の一例を説明するための図である。
【図１４Ｂ】図１４Ｂは、第２の実施形態に係る判定部によるスクワット訓練の判定の一例を説明するための図である。
【図１４Ｃ】図１４Ｃは、第２の実施形態に係る判定部によるスクワット訓練の判定の一例を説明するための図である。
【図１５】図１５は、第３の実施形態に係る判定部によるスクワット訓練の判定の一例を説明するための図である。
【図１６】図１６は、第３の実施形態に係る判定部によるスクワット訓練の判定の変形例を説明するための図である。
【図１７】図１７は、第４の実施形態に係る動作情報処理装置の詳細な構成の一例を示す図である。
【図１８】図１８は、第４の実施形態に係るリハビリのジャンプ訓練における対象者の姿勢について説明するための図である。
【図１９】図１９は、第４の実施形態に係る取得部によって取得される骨格情報の一例を示す図である。
【図２０】図２０は、第４の実施形態に係る判定部によるジャンプ訓練の判定の一例を説明するための図である。
【図２１】図２１は、第４の実施形態に係る判定部によるジャンプ訓練の判定の一例を説明するための図である。
【図２２】図２２は、第４の実施形態に係る表示制御部によって表示制御される表示内容の一例を示す図である。
【図２３】図２３は、第４の実施形態に係る表示制御部によって表示制御される表示内容の一例を示す図である。
【図２４】図２４は、第４の実施形態に係る表示制御部によって表示制御される表示内容の一例を示す図である。
【図２５】図２５は、第４の実施形態に係る表示制御部によって表示制御される表示内容の一例を示す図である。
【図２６】図２６は、第４の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。
【図２７】図２７は、第４の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。
【図２８】図２８は、第５の実施形態に係る判定部によるジャンプ訓練の判定の一例を説明するための図である。
【図２９】図２９は、第６の実施形態に係る判定部によるジャンプ訓練の判定の一例を説明するための図である。
【図３０】図３０は、第６の実施形態に係る判定部によるジャンプ訓練の判定の一例を説明するための図である。
【図３１】図３１は、第７の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、実施形態に係る動作情報処理装置及び方法を説明する。なお、以下で説明する動作情報処理装置は、動作情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。
【０００９】
（第１の実施形態）
図１は、第１の実施形態に係る動作情報処理装置１００の構成の一例を示す図である。第１の実施形態に係る動作情報処理装置１００は、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。
【００１０】
図１に示すように、第１の実施形態において、動作情報処理装置１００は、動作情報収集部１０に接続される。
【００１１】
動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部１４の処理を説明する際に詳述する。また、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。
【００１２】
図１に示すように、動作情報収集部１０は、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図１に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
【００１３】
カラー画像収集部１１は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red  Green  Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）やＣＣＤ（Charge  Coupled  Device）を有する。
【００１４】
距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。
【００１５】
音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
【００１６】
動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。
【００１７】
図２Ａから図２Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図２Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図２Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。
【００１８】
第１の実施形態において、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
【００１９】
ここで、人体パターンについて説明する。図２Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図２Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。
【００２０】
図２Ｂに示す例では、人体パターンは、関節２ａから関節２ｔまでの２０点の関節の情報を有する。このうち、関節２ａは、頭部に対応し、関節２ｂは、両肩の中央部に対応し、関節２ｃは、腰に対応し、関節２ｄは、臀部の中央部に対応する。また、関節２ｅは、右肩に対応し、関節２ｆは、右肘に対応し、関節２ｇは、右手首に対応し、関節２ｈは、右手に対応する。また、関節２ｉは、左肩に対応し、関節２ｊは、左肘に対応し、関節２ｋは、左手首に対応し、関節２ｌは、左手に対応する。また、関節２ｍは、右臀部に対応し、関節２ｎは、右膝に対応し、関節２ｏは、右足首に対応し、関節２ｐは、右足の足根に対応する。また、関節２ｑは、左臀部に対応し、関節２ｒは、左膝に対応し、関節２ｓは、左足首に対応し、関節２ｔは、左足の足根に対応する。
【００２１】
なお、図２Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節２ａから関節２ｄまでのうち、関節２ｂ及び関節２ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節２ｈのみならず、右手の指の関節を新たに設定して良い。なお、図２Ｂの関節２ａ、関節２ｈ、関節２ｌ、関節２ｐ、関節２ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
【００２２】
動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図２Ｂに示す人体パターンの人体表面と、図２Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図２Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離画像座標系の座標である。
【００２３】
なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節２ａと関節２ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
【００２４】
続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。
【００２５】
ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。
【００２６】
そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図３は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図３に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図３において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「２ａ」は、頭部に対応し、関節識別情報「２ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
【００２７】
図３の１行目には、関節識別情報「２ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図３の２行目には、関節識別情報「２ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。
【００２８】
このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、動作情報処理装置１００へ出力し、後述の動作情報記憶部１３１へ格納する。
【００２９】
なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
【００３０】
また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
【００３１】
また、動作情報生成部１４は、カラー画像収集部１１によって生成されたカラー画像情報、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節２ａがあれば、その関節２ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。
【００３２】
なお、ここでは、動作情報収集部１０によって一人の対象者の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の検知範囲に含まれていれば、動作情報収集部１０は、複数人の対象者の動作を検知しても良い。
【００３３】
また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて動作情報処理装置１００へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を動作情報処理装置１００へ出力しない場合には、音声認識部１３を有していなくても良い。
【００３４】
更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、動作情報処理装置１００側で行ってもよい。
【００３５】
図１の説明に戻る。動作情報処理装置１００は、動作情報収集部１０から出力される動作情報を用いて、リハビリテーション（以下、リハビリと記載する場合がある）を支援するための処理を行う。具体的には、動作情報処理装置１００は、動作情報収集部１０によって収集されたスクワット又はジャンプの動作の訓練を行う対象者の動作情報を用いて、当該対象者の行うスクワット又はジャンプの動作の評価を行う。
【００３６】
上述したように、従来、リハビリの機能訓練の一つとして、種々の訓練が行われている。例えば、予防医学やスポーツ医学などの観点からリハビリの機能訓練としてスクワット訓練や、ジャンプ訓練が行われている。例えば、スクワット訓練では、正しい姿勢をキープして確実に行うことが重要であり、介助者が姿勢を確認しながら実行されることが望ましい。また、例えば、ジャンプ訓練は、靭帯の損傷が生じにくいジャンプを身に着けるために正しい姿勢での着地が訓練される。ここで、ジャンプ訓練においても、実際にジャンプしている対象者を介助者が観察して姿勢を確認しながら実行されることが望ましい。なお、例えば、スキー、バスケットボール、サッカー、バレーボールなどの競技において、ジャンプの着地の際に膝を捻る動作（足のつま先の方向に対して膝の方向が内側に入る動作）などにより靱帯の損傷が生じやすいことが知られている。
【００３７】
しかしながら、予防医学やスポーツ医学などの観点からリハビリを行う人の数が今後増える一方、リハビリを支援する介助者の人の数は大幅に不足している現状がある。そこで、本実施形態に係る動作情報処理装置１００は、例えば、スクワット訓練のような緩やかな動作や、ジャンプ訓練のような素早い動作の評価を簡便に行うことを可能にするように構成される。
【００３８】
例えば、動作情報処理装置１００は、コンピュータ、ワークステーション等の情報処理装置であり、図１に示すように、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。
【００３９】
出力部１１０は、スクワットの動作のような緩やかな動作や、ジャンプの動作のような素早い動作を評価するための各種情報を出力する。例えば、出力部１１０は、動作情報処理装置１００を操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical  User  Interface）を表示したり、動作情報処理装置１００において生成された表示情報を表示したり、或いは警告音を出力したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部１１０は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであってもよい。
【００４０】
入力部１２０は、スクワットの動作のような緩やかな動作や、ジャンプの動作のような素早い動作を評価するための各種情報の入力を受け付ける。例えば、入力部１２０は、動作情報処理装置１００の操作者から各種要求（例えば、緩やかな動作、或いは、素早い動作を評価するための所定の閾値の設定要求や、評価を開始させる開始要求、種々の情報の選択要求や、ＧＵＩ上で計測を実行させるための計測要求など）の入力を受け付け、受け付けた各種要求を動作情報処理装置１００に転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部１２０は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。
【００４１】
記憶部１３０は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路、或いはＣＰＵ（Central  Processing  Unit）が所定のプログラムを実行することで実現することができる。
【００４２】
以上、第１の実施形態に係る動作情報処理装置１００の構成について説明した。かかる構成のもと、第１の実施形態に係る動作情報処理装置１００は、以下、詳細に説明する構成により、スクワット及びジャンプのうち少なくとも一方の動作の評価を簡便に行う。具体的には、本願に係る動作情報処理装置１００は、取得部と、判定部と、制御部とを備える。取得部は、スクワット及びジャンプのうち少なくとも一方の動作を実施する対象者の動作情報を取得する。判定部は、前記スクワット及びジャンプのうち少なくとも一方の動作における所定の条件に基づいて、前記取得部によって取得された前記動作情報で示される前記対象者の動作が前記所定の条件に含まれる条件を満たすか否かを判定する。制御部は、前記判定部による判定結果を通知するように制御する。これにより、動作情報処理装置１００は、スクワットのような緩やかな動作や、ジャンプのような素早い動作の評価を簡便に行う。なお、以下の実施形態では、第１の実施形態〜第３の実施形態において、緩やかな動作としてスクワット訓練を行う場合を一例に挙げて説明し、第４の実施形態〜第６の実施形態において、素早い動作としてジャンプ訓練を行う場合を一例に挙げて説明する。
【００４３】
図４は、第１の実施形態に係る動作情報処理装置１００の詳細な構成の一例を示す図である。まず、動作情報処理装置１００における記憶部１３０の詳細について説明する。図４に示すように、動作情報処理装置１００においては、例えば、記憶部１３０が動作情報記憶部１３１と、設定情報記憶部１３２とを備える。
【００４４】
動作情報記憶部１３１は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３１は、動作情報生成部１４によって生成された動作情報を記憶する。より具体的には、動作情報記憶部１３１は、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３１、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。
【００４５】
図５は、第１の実施形態に係る動作情報記憶部１３１によって記憶される動作情報の一例を示す図である。動作情報記憶部１３１は、図５に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とを対応付けた動作情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者がスクワット訓練を実施した日時を示す。「動作情報」とは、動作情報収集部１０によって収集された情報を示す。
【００４６】
例えば、動作情報記憶部１３１は、図５に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」のスクワット訓練における動作情報として、「カラー画像情報」と、「距離画像情報」と、「音声認識結果」と、「骨格情報」とを含む動作情報が記憶されていることを示す。
【００４７】
ここで、図５に示す動作情報において、スクワット訓練を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて記憶される。
【００４８】
また、動作情報記憶部１３１は、図５に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。すなわち、動作情報記憶部１３１は、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」のスクワット訓練における動作情報も同様に記憶する。
【００４９】
また、動作情報記憶部１３１は、図５に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」を含む動作情報を記憶する。このように、動作情報記憶部１３１は、対象者ごとに収集されたスクワット訓練の動作情報を、それぞれの対象者に対応付けて記憶する。なお、図５に示す動作情報はあくまでも一例である。すなわち、動作情報記憶部１３１は、図５に示す「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報をさらに対応付けて記憶することができ、また、例えば、動作情報収集部１０が音声認識部１３を有さない場合には、音声認識結果が含まれないものとして記憶することとなる。
【００５０】
また、動作情報に含まれる「カラー画像情報」及び「距離画像情報」には、ＢＩＴＭＡＰ、ＪＰＥＧ、その他バイナリ形式の画像データ、または、当該画像データへのリンク等が含まれる。また、動作情報に含まれる「音声認識結果」には、上述した認識情報の他、音声データそのものや、認識情報或いは音声データへのリンクであってもよい。
【００５１】
設定情報記憶部１３２は、後述する制御部１４０によって用いられる設定情報を記憶する。具体的には、設定情報記憶部１３２は、後述する制御部１４０が、リハビリの対象者が実行する緩やかな動作を評価するための所定の条件を記憶する。例えば、設定情報記憶部１３２は、対象者が実行するスクワットが正しい姿勢で行われているか否かを判定するための条件を記憶する。ここで、リハビリにおけるスクワット訓練における正しい姿勢について図６を用いて説明する。
【００５２】
図６は、第１の実施形態に係るリハビリのスクワット訓練における対象者の姿勢について説明するための図である。図６においては、図６の（Ａ）が正しい姿勢のスクワットを示し、図６の（Ｂ）及び（Ｃ）が誤った姿勢のスクワットを示す。例えば、スクワット訓練における正しい姿勢は、図６の（Ａ）に示すように、立った状態から胸を張り、胸を張った状態で、お尻を突き出すように膝を曲げていく。ここで、スクワット訓練の正しい姿勢では、内股で膝を密着させたまま、膝が前方に突き出ないようにすることが重要である。
【００５３】
すなわち、図６の（Ｂ）に示すように、膝が前に行き突き出るような姿勢のスクワットは誤った姿勢である。また、同時に、図６の（Ｂ）に示すように、かかとが上がってしまうような姿勢のスクワットも誤った姿勢のスクワットである。また、さらに、図６の（Ｃ）に示すように、膝が前方に突き出ていない状態であっても、対象者の背中が丸まってしまう姿勢のスクワットも誤った姿勢のスクワットである。
【００５４】
そこで、設定情報記憶部１３２は、例えば、図６に示すような正しいスクワットの姿勢を評価するための種々の設定情報を記憶する。一例を挙げると、設定情報記憶部１３２は、スクワットを実施する際の所定の条件として、スクワットの一連の動作における足首の位置からの膝の飛び出し具合、踵の上がり具合、後方への腕の飛び出し具合、及び、上半身の前傾具合などを判定するための設定情報を記憶する。なお、上述した設定情報の詳細については、後に詳述する。
【００５５】
次に、動作情報処理装置１００の制御部１４０の詳細について説明する。図４に示すように、動作情報処理装置１００においては、例えば、制御部１４０が取得部１４１と、判定部１４２と、表示制御部１４３とを備える。
【００５６】
取得部１４１は、緩やかな動作を実行する対象者の動作情報を取得する。具体的には、取得部１４１は、動作情報収集部１０によって収集され、動作情報記憶部１３１によって記憶された動作情報を取得する。例えば、取得部１４１は、動作情報記憶部１３１によってフレームごとに記憶されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報などを取得する。一例を挙げると、取得部１４１は、対象者のスクワット訓練における一連の動作にかかる全てのカラー画像情報、距離画像情報及び骨格情報を取得する。
【００５７】
図７は、第１の実施形態に係る取得部１４１によって取得される骨格情報の一例を示す図である。ここで、図７においては、スクワット訓練を実行する対象者の骨格情報の一例を示す。なお、図７においては、対象者が動作情報収集部１０に対して正対する場合について示すが、実施形態はこれに限定されるものではなく、例えば、対象者が動作情報収集部１０に対して、横、後、斜め、上、或いは、下となる場合であってもよい。すなわち、動作情報収集部１０は、対象者に対してどのような位置に配置される場合であってもよい。取得部１４１は、例えば、図７に示すように、動作情報収集部１０に正対した状態でスクワット訓練を実施する対象者の骨格情報を取得する。すなわち、取得部１４１は、動作情報収集部１０によって収集された全てのフレームの骨格情報を収集する。
【００５８】
判定部１４２は、緩やかな動作における所定の条件に基づいて、取得部１４１によって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。具体的には、判定部１４２は、取得部１４１によって取得されたフレームごとの対象者の骨格情報が設定情報記憶部１３２によって記憶された設定情報の条件を満たすか否かを判定する。例えば、判定部１４２は、スクワット訓練を実施する際の所定の条件に基づいて、取得部１４１によって取得された骨格情報で示される対象者によって実施されたスクワットが設定情報記憶部１３２に記憶される所定の条件に含まれる条件を満たすか否かを判定する。
【００５９】
一例を挙げると、判定部１４２は、スクワット訓練を実施する際の所定の条件として、スクワットの一連の動作における足首の位置からの膝の飛び出し具合、踵の上がり具合、後方への腕の飛び出し具合、及び、上半身の前傾具合のうち、少なくとも一つを用いる。図８Ａは、第１の実施形態に係る判定部１４２によるスクワット訓練の判定の一例を説明するための図である。なお、図８Ａにおいては、足首の位置からの膝の飛び出し具合を判定する場合の一例を示す。また、図８Ａにおいては、対象者が動作情報収集部１０に対して正対してスクワット訓練を実行する場合の例について示す。
【００６０】
例えば、判定部１４２は、図８Ａに示すように、スクワット前とスクワット中とにおける臀部、膝及び足首の座標情報を用いて膝の飛び出し具合（奥行距離）を判定する。すなわち、判定部１４２は、図８Ａに示すように、右膝に対応する関節「２ｎ」と右足首に対応する関節「２ｏ」、或いは、左膝に対応する関節「２ｒ」と左足首に対応する関節「２ｓ」との奥行距離「ｄ１」が所定の閾値を超えたか否かを判定することで、膝の飛び出し具合を判定する。ここで、図８Ａにおいては、対象者は動作情報収集部１０と正対した状態でスクワット訓練を実施していることから、奥行距離「ｄ１」が「２ｎ（ｘ１４，ｙ１４，ｚ１４）」と「２ｏ（ｘ１５，ｙ１５，ｚ１５）」との距離の場合、「ｄ１＝｜ｚ１４−ｚ１５｜」となる。また、奥行距離「ｄ１」が「２ｒ（ｘ１８，ｙ１８，ｚ１８）」と「２ｓ（ｘ１９，ｙ１９，ｚ１９）」との距離の場合、「ｄ１＝｜ｚ１８−ｚ１９｜」となる。すなわち、対象者が動作情報収集部１０に対して正対している場合には、足首の位置からの膝の飛び出し具合は２点のｚ軸座標の差により算出することができる。
【００６１】
なお、上述した２点のｚ軸座標の差による算出は、あくまでも一例であり、実施形態はこれに限定されるものではない。例えば、対象者が動作情報収集部１０に対して正対している場合に、膝に対応する関節と、足根に対応する関節とにより奥行距離「ｄ１」を算出する場合であってもよい。或いは、膝に対応する関節と、足のその他の位置とを用いて奥行距離「ｄ１」を算出する場合であってもよい。また、例えば、動作情報収集部１０に対する対象者の向きにより、判定部１４２は、ｚ軸座標だけでなく、ｘ軸座標やｙ軸座標を用いて、膝の飛び出し具合を判定する。
【００６２】
ここで、「ｄ１」の長さは、利用者（例えば、対象者、介助者など）により任意に設定することができる。一例を挙げると、「ｄ１」の長さは、対象者の年齢、性別、怪我を治療した後のリハビリか否か、或いは、予防医学、スポーツ医学の観点からのリハビリか否かなどにより任意に設定することができる。ここで、「ｄ１」の長さは、絶対位置或いは相対位置で設定することができる。すなわち、単純に足首の位置から膝までの位置までの長さで設定することもでき、或いは、正しいスクワット訓練の位置からの相対的な位置の長さで設定することもできる。上述した判定に用いられる種々の情報は、設定情報として設定情報記憶部１３２によって記憶される。すなわち、判定部１４２は、上述した設定情報を設定情報記憶部１３２から読み出して、判定処理を実行する。
【００６３】
また、判定部１４２は、対象者が緩やかな動作を実行しているか否かをさらに判定し、当該対象者が緩やかな動作を実行していると判定した場合に、取得部１４１によって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。例えば、判定部１４２は、まず、対象者がスクワット訓練を実施しているか否かを判定し、スクワット訓練を実施していると判定した場合に、実施されているスクワット訓練が正しい姿勢で実施されているか否かを判定する。
【００６４】
図８Ｂは、第１の実施形態に係る判定部１４２によるスクワット訓練の実施の判定の一例を説明するための図である。例えば、判定部１４２は、図８Ｂに示すように、対象者の頭部の関節に対応する「２ａ」のｙ座標「ｙ１」或いは、両肩の中央部の関節に対応する「２ｂ」のｙ座標「ｙ２」が高さ方向（鉛直方向）の所定の閾値「ａ」よりも低くなった場合に、対象者がスクワット訓練を実施していると判定する。そして、判定部１４２は、図８Ａに示すようなスクワット訓練の評価を実施する。なお、図８Ｂに示す例はあくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、対象者がスクワット訓練を実施しているか否かの判定は、図８Ｂの例に限られない。例えば、両足の足首の位置の移動が停止して、一定の時間が経過した場合などによって判定する場合であってもよい。すなわち、対象者が移動動作を停止して、スクワット訓練を実施する準備が完了したか否かを判定することで、スクワット訓練が実施されているか否かを判定する場合であってもよい。なお、上述した判定に用いられる情報は、設定情報として設定情報記憶部１３２によって記憶される。
【００６５】
なお、判定部１４２は、取得部１４１によって取得された緩やかな動作を実行する対象者の動作情報を用いて、関節間の距離の他にも種々の情報を算出することができる。具体的には、判定部１４２は、関節の角度や、速度、加速度などを算出することができる。そして、判定部１４２は、算出した種々の情報を用いて緩やかな動作（例えば、スクワット訓練など）が正しいか否かを判定する。また、判定部１４２による判定は、対象者がスクワット訓練を実施しているリアルタイムの状態で実施させる場合だけではなく、例えば、過去の動作情報を読み出して、判定させることも可能である。
【００６６】
かかる場合には、例えば、対象者本人や、医師或いは理学療法士などの操作者が入力部１２０を介して判定の指示要求を入力する。このとき、操作者は、対象者の氏名や氏名番号、実施日などを入力することで、取得部１４１に所望の動作情報を取得させる。取得部１４１は、入力部１２０を介して受付けた対象者の該当する動作情報を動作情報記憶部１３１から取得する。なお、スクワット訓練とともにリアルタイムで処理が実行される場合には、操作者からの操作を受け付けずに、自動で動作情報を取得するように設定することも可能である。
【００６７】
図４に戻って、表示制御部１４３は、判定部１４２による判定結果を通知するように制御する。具体的には、表示制御部１４３は、判定部１４２によって、対象者によって実施されたスクワットが所定の条件に含まれる条件を満たしていないと判定された場合に、警告を通知するように制御する。また、表示制御部１４３は、スクワット訓練を含む緩やかな動作の評価に係る種々の情報を出力部１１０にて表示するように制御する。
【００６８】
以下、表示制御部１４３にて表示される表示内容の一例を、図１０〜図１２を用いて、説明する。図９〜図１２は、第１の実施形態に係る表示制御部１４３によって表示制御される表示内容の一例を示す図である。例えば、表示制御部１４３は、図９に示すように、対象者のカラー画像情報を表示する表示領域Ｒ１と、スクワット評価に係る各種情報を表示する表示領域Ｒ２とを備えたＧＵＩ（Graphical  User  Interface）をスクワット訓練評価支援機能ウィンドウとして出力部１１０に表示させる。
【００６９】
ここで、表示制御部１４３は、図９の表示領域Ｒ１に示すように、対象者のカラー画像に関節の位置及び関節間を結ぶ線を重畳させた重畳画像を表示させる。これにより、出力部１１０を観察する観察者が各部位の動きを明瞭に観察することができる。さらに、表示制御部１４３は、図９の表示領域Ｒ２に示すように、対象者のスクワット訓練評価のＯＮ／ＯＦＦを切り替える切り替えボタンや、スクワット判定ＯＮをセットするチェックボックス、閾値を入力するためのボックス、閾値を設定するための設定ボタン、計測結果などを表示する。
【００７０】
ここで、図１０〜図１１を用いて、スクワット訓練の評価の一連の処理の一例を説明する。例えば、対象者がスクワット訓練を実施する際に、動作情報処理装置１００の入力部１２０を介してスクワット訓練評価支援機能のアプリケーションを起動させると、図１０の（Ａ）に示すスクワット訓練評価支援機能ウィンドウを出力部１１０に表示させる。ここで、動作情報処理装置１００は、アプリケーションの起動とともに、動作情報収集部１０のカメラ上下角度を「０度」に設定する。これにより、補正することなしで、奥行方向（深度）の座標を利用することが可能である。なお、動作情報収集部１０のカメラの上下角度を「０度」に設定しない場合には、現在のカメラの角度に基づいて、奥行方向の座標が補正される。
【００７１】
そして、図１０の（Ａ）に示すように、対象者が動作情報収集部１０のカメラに対して正対するように立ち、スクワット訓練を実施する。ここで、動作情報処理装置１００は、アプリケーションが起動されるのと同時にスクワット訓練の評価を開始することも可能であるが、評価開始の指示を受けつけることも可能である。例えば、対象者が、図１０の（Ａ）に示すスクワット訓練評価のＯＮ／ＯＦＦを切り替える切り替えボタンをマウスなどにより押下することで、評価を開始させる。
【００７２】
すなわち、対象者が図１０の（Ａ）に示す「ＯＮ」と表示されたボタンを押下することで、動作情報処理装置１００は、図１０の（Ｂ）に示すように、「評価中」を表示して、スクワット訓練の評価を開始する。ここで、図１０の（Ｂ）に示すように、表示領域Ｒ２に示すスクワット判定ＯＮのチェックボックスにチェックが入れられると、動作情報処理装置１００は、まず、対象者がスクワットの動作を実施しているか否かを判定して、スクワットの動作を実施していると判定した場合に、スクワットの動作をしている間、評価を実施する。
【００７３】
すなわち、判定部１４２は、動作情報収集部１０によって収集される動作情報に基づいて、例えば、図８Ｂで示す判定処理を実行することで、対象者がスクワット訓練を実施しているか否かを判定する。そして、判定部１４２は、対象者がスクワット訓練を実施していると判定した場合に、さらに、例えば、判定部１４２は、図８Ａに示す判定処理を実行することで、スクワット訓練の評価を実行する。
【００７４】
ここで、スクワット訓練を評価する設定情報の条件に係る所定の閾値は、任意に設定される。例えば、判定部１４２は、図１０の（Ｂ）に示すように、左足首と左膝の奥行距離、及び、右足首と右膝の奥行距離について、閾値（ｃｍ）判定を実行する。このとき、図１０の（Ｂ）に示すように、閾値（ｃｍ）ボックスに、直接、数値「８」を入力することで、判定部１４２は、左足首と左膝の奥行距離、或いは、右足首と右膝の奥行距離が「８ｃｍ」を超えたか否かを判定する。
【００７５】
すなわち、判定部１４２は、動作情報収集部１０によって収集される全てのフレームにおける左足首と左膝の奥行距離、及び、右足首と右膝の奥行距離をそれぞれ算出して、各距離が「８ｃｍ」を超えたか否かを判定する。例えば、図１０の（Ｂ）に示すように、左足首と左膝の奥行距離が「５．９ｃｍ」、及び、右足首と右膝の奥行距離が「５．０ｃｍ」の場合には、判定部１４２は、スクワット訓練の条件を満たすと判定する。
【００７６】
一方、図１１に示すように、左足首と左膝の奥行距離が「１２．９ｃｍ」、及び、右足首と右膝の奥行距離が「１２．０ｃｍ」の場合には、判定部１４２は、スクワット訓練の条件を満たさないと判定する。かかる場合には、表示制御部１４３は、例えば、図１１に示すように、カラー画像上に所定の色を重畳して表示させる警告表示を実行する。そして、表示制御部１４３は、図１１に示すように、条件を満たさなかった回数「１回」を表示する。
【００７７】
上述したように、判定部１４２は、直接入力された値を閾値として用い、対象者の部位の絶対位置から判定することもできる。しかしながら、判定部１４２は、相対位置に基づいて判定することもできる。例えば、判定部１４２は、所定の条件を満たす対象者の状態を基準として、その状態との差分を閾値と比較することにより判定する。一例を挙げると、対象者が、条件を満たすスクワットを実施した状態（例えば、膝を曲げた状態）で表示領域Ｒ２に含まれる閾値設定ボタンを押下する。これにより、動作情報処理装置１００は、その状態を基準として、その後実施されるスクワットが基準からどの程度ずれているかを判定することで、スクワット訓練を評価する。なお、基準からのずれの許容量は、任意に設定することが可能である。
【００７８】
また、図１１に示す例では、カラー画像上に警告表示を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、警告音を発したり、警告の文字を表示したりする場合であってもよい。かかる場合には、制御部１４０が警告音を出力部１１０から出力するように制御したり、表示制御部１４３が警告の文字を表示するように制御したりする。
【００７９】
なお、図９〜図１１に示す表示例は、あくまでも一例であり、表示制御部１４３は、表示情報としてその他種々の情報を表示させることが可能である。例えば、表示制御部１４３は、スクワットの動作の総数を表示するように制御することも可能である。一例を挙げると、表示制御部１４３は、図１１に示す条件を満たさなかった回数「１回」と併記させるように、「条件を満たさなかった回数／スクワット総数」となるように表示させることも可能である。かかる場合には、判定部１４２がスクワットの動作を実施していると判定した場合に、表示制御部１４３は、スクワット総数の数をアップさせる。
【００８０】
また、図９〜図１１においては、対象者によって実施されたスクワットの動作が条件を満たさなかった場合に、警告を通知して、警告回数をカウントする場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者によって実施されたスクワットの動作が条件を満たした場合に、正常である旨の情報を通知して、正常回数をカウントする場合であってもよい。かかる場合には、例えば、表示制御部１４３は、判定部１４２によって、対象者によって実施されたスクワットが所定の条件に含まれる条件を満たしていると判定された場合に正常（例えば、画面上に丸を表示）を通知して、画面に表示させた正常回数の数をアップする。
【００８１】
以上、表示制御部１４３の制御によって表示される表示内容の一例について説明した。なお、上述した例はあくまでも一例であり、表示制御部１４３は、種々の表示内容を表示させることができる。例えば、上述した例では、対象者が１人である場合について説明したが、対象者が２人以上であってもよい。
【００８２】
例えば、図１２に示すように、表示制御部１４３は、スクワット訓練評価支援機能のウィンドウにスクワット実施者１及びスクワット実施者２のカラー画像をそれぞれ表示させる。そして、表示制御部１４３は、図１２に示すように、各カラー画像の間に「評価」と、「総数」と、「警告回数」と、「左足首と左膝の奥行距離」と、「右足首と右膝の奥行距離」とを表示させ、それらの下に評価開始のボタンを表示させる。なお、図１２に示す表示例はあくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、表示制御部１４３は、図示された情報とは異なるその他の情報をさらに表示させることもでき、或いは、図示された情報を表示しないように制御することも可能である。一例を挙げると、表示制御部１４３は、「左足首と左膝の奥行距離」及び「右足首と右膝の奥行距離」を表示しないように制御することも可能である。
【００８３】
ここで、図１２に示す評価開始のボタンは、図１２に示すように、両実施者共通のＯＮ／ＯＦＦボタンであり、ＯＮボタンを押下すると、両実施者の計測を開始し、ＯＦＦボタンを押下すると、両実施者の計測を終了する。例えば、スクワット実施者１及びスクワット実施者２が動作情報収集部１０に正対するように立ち、ＯＮ／ＯＦＦボタンを押下することで、動作情報収集部１０が両実施者の動作情報を収集する。なお、ＯＦＦボタンが押下された場合に、表示制御部１４３は、「総数」や「警告回数」などのカウント回数を「０」に初期化（リセット）するように制御することも可能である。
【００８４】
取得部１４１は、両実施者のすべてのフレームについて動作情報を取得して、判定部１４２に送る。判定部１４２は、取得部１４１によって取得された動作情報に基づいて、スクワット実施者１及びスクワット実施者２のスクワット訓練を判定する。表示制御部１４３は、判定部１４２によるスクワット実施者１及びスクワット実施者２のスクワット訓練の判定結果を表示する。ここで、表示制御部１４３は、図１２に示すように、評価として、「Ｇｏｏｄ！！」や、「Ｂａｄ．．．」を表示することも可能である。これらの評価は、２人の警告回数を比較して、回数の少ない方が「Ｇｏｏｄ！！」、回数が多い方が「Ｂａｄ．．．」とする場合であってもよい。或いは、警告回数が３回未満の場合に「Ｇｏｏｄ！！」、警告回数が５回以上の場合に「Ｂａｄ．．．」とする場合であってもよい。
【００８５】
なお、上述した実施形態では、スクワット訓練が実施されているリアルタイムでスクワット訓練を評価する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、過去に実施されたスクワット訓練の動作情報を用いてスクワット訓練を評価する場合であってもよい。
【００８６】
次に、図１３を用いて、第１の実施形態に係る動作情報処理装置１００の処理について説明する。図１３は、第１の実施形態に係る動作情報処理装置１００による処理の手順を示すフローチャートである。なお、図１３においては、リアルタイムで評価する場合について説明する。また、図１３においては、評価開始ボタンにより、評価ＯＮ／ＯＦＦが切り替えられる場合について示す。
【００８７】
図１３に示すように、第１の実施形態に係る動作情報処理装置１００においては、スクワット訓練を実施する対象者が動作情報収集部１０の前に出現すると、取得部１４１が、対象者の動作情報を取得する（ステップＳ１０１）。そして、判定部１４２は、スクワット評価を開始するための評価開始ボタンが押下されて、評価ＯＮであるか否かを判定する（ステップＳ１０２）。
【００８８】
ここで、評価ＯＮである場合には（ステップＳ１０２肯定）、判定部１４２は、対象者がスクワット中であるか否かを判定する（ステップＳ１０３）。ここで、スクワット中である場合には（ステップＳ１０３肯定）、判定部１４２は、該当する部位（例えば、足首と膝）の座標情報を抽出して（ステップＳ１０４）、距離を計算して（ステップＳ１０５）、閾値を超えたか否かを判定する（ステップＳ１０６）。
【００８９】
ここで、距離が閾値を超えた場合には（ステップＳ１０６肯定）、表示制御部１４３が、警告を表示して（ステップＳ１０７）、評価ＯＦＦの指示を受け付けたか否かを判定する（ステップＳ１０８）。一方、閾値を超えていない場合には（ステップＳ１０６否定）、表示制御部１４３が、評価ＯＦＦの指示を受け付けたか否かを判定する（ステップＳ１０８）。
【００９０】
ここで、評価ＯＦＦの指示を受け付けた場合には（ステップＳ１０８肯定）、動作情報処理装置１００は、警告回数や、総数などのカウント回数を０回にリセットして（ステップＳ１０９）、処理を終了する。一方、評価ＯＦＦの指示を受け付けていない場合には（ステップＳ１０８否定）、動作情報処理装置１００は、ステップＳ１０１に戻って、対象者の動作情報を継続して取得する。なお、評価ＯＦＦの場合（ステップＳ１０２否定）、スクワット中ではない場合（ステップＳ１０３否定）も、ステップＳ１０１に戻って、対象者の動作情報を継続して取得する。
【００９１】
なお、上述した処理の手順では、スクワット中であるか否かを判定する場合（スクワット判定がＯＮの場合）について説明した。しかしながら、第１の実施形態に係る動作情報処理装置１００は、スクワット判定がＯＦＦの場合でも評価を行うことが可能である。かかる場合には、図１３の処理の手順において、ステップＳ１０２の評価がＯＮであると、ステップＳ１０３のスクワット中であるか否かの判定を行わずに、ステップＳ１０４の該当する部位の座標情報を抽出する。
【００９２】
上述したように、第１の実施形態によれば、取得部１４１は、スクワットの動作を実施する対象者の動作情報を取得する。判定部１４２は、スクワットの動作における所定の条件に基づいて、取得部１４１によって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。制御部１４０は、判定部１４２による判定結果を通知するように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０の前でスクワットの動作を行うだけで、スクワットの動作の評価を行うことができ、スクワットの動作の評価を簡便に行うことを可能にする。
【００９３】
その結果、動作情報処理装置１００は、例えば、対象者が１人でリハビリを実施する場合にも、正しい姿勢でリハビリを行うように促すことができ、介助者の不足を補うとともに、介助者のスキルに左右されることなく一定水準以上のリハビリを実行させることを可能にする。
【００９４】
また、第１の実施形態によれば、制御部１４０は、判定部１４２によって、対象者によって実施されたスクワットが所定の条件に含まれる条件を満たしていると判定された場合に正常を通知し、判定部１４２によって、対象者によって実施されたスクワットが所定の条件に含まれる条件を満たしていないと判定された場合に、警告を通知するように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、予防医学や、スポーツ医学の観点から重要視されるスクワット訓練の評価を簡便に行うことを可能にする。
【００９５】
また、第１の実施形態によれば、判定部１４２は、スクワットを実施する際の所定の条件として、スクワットの一連の動作における足首の位置からの膝の飛び出し具合を用いる。従って、第１の実施形態に係る動作情報処理装置１００は、スクワットの一連の動作で重要な動作に基づいて評価することができ、より正しい姿勢をとるように促すことを可能にする。
【００９６】
また、第１の実施形態によれば、判定部１４２は、対象者がスクワットの動作を実行しているか否かをさらに判定し、当該対象者がスクワットの動作を実行していると判定した場合に、取得部１４１によって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。従って、第１の実施形態に係る動作情報処理装置１００は、評価対象の動作に関係ない動作に対して判定処理が行われることを抑止して、より明瞭な判定結果を提供することを可能にする。
【００９７】
また、第１の実施形態によれば、入力部１２０は、判定部１４２によって用いられる所定の条件に対して、当該条件を満たすか否かを判定する所定の閾値を設定するための入力操作を受け付ける。従って、第１の実施形態に係る動作情報処理装置１００は、対象者ごとに細かい閾値を設定することができ、適切な評価を簡便に行うことを可能にする。
【００９８】
また、第１の実施形態によれば、入力部１２０は、所定の条件に対して、絶対位置における閾値及び相対位置の閾値のうち少なくとも一方を受け付ける。従って、第１の実施形態に係る動作情報処理装置１００は、柔軟な評価を簡便に行うことを可能にする。
【００９９】
また、第１の実施形態によれば、入力部１２０は、判定部１４２による判定を開始するための入力操作をさらに受け付ける。従って、第１の実施形態に係る動作情報処理装置１００は、評価とは関係ない動作に対する自動的な評価を抑止して、評価対象となる動作についてのみ評価することができ、明瞭な評価結果を提供することを可能にする。
【０１００】
（第２の実施形態）
上述した第１の実施形態では、足首と膝との奥行距離に基づいて、スクワット訓練の評価を行う場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、その他の部位に基づいて、スクワット訓練を評価する場合であってもよい。第２の実施形態では、その他の部位に基づく種々の判定について説明する。なお、以下で説明する判定は、第１の実施形態で説明した足首と膝との奥行距離による判定に付加的に用いられる場合であってもよく、或いは、単独で用いられる場合であってもよい。なお、第２の実施形態では、第１の実施形態と比較して、判定部１４２による処理の内容が異なる。以下、これを中心に説明する。
【０１０１】
第２の実施形態に係る判定部１４２は、スクワットの一連の動作における踵の上がり具合、後方への腕の飛び出し具合、及び、上半身の前傾具合のうち、少なくとも一つを用いる。図１４Ａ〜図１４Ｃは、第２の実施形態に係る判定部１４２によるスクワット訓練の判定の一例を説明するための図である。なお、図１４Ａは、踵の上がり具合による判定について示す。また、図１４Ｂは、後方への腕の飛び出し具合による判定について示す。また、図１４Ｃは、上半身の前傾具合による判定について示す。また、図１４Ａ〜図１４Ｃにおいては、対象者が動作情報収集部１０に対して正対してスクワット訓練を実行する場合の例について示す。
【０１０２】
例えば、第２の実施形態に係る判定部１４２は、図１４Ａに示すように、スクワット前とスクワット中とにおける臀部中央、臀部（骨盤）、膝及び足首の座標情報を用いて踵の上がり具合（高さ方向距離）を判定する。すなわち、判定部１４２は、図１４Ａに示すように、右足首に対応する関節「２ｏ」と右足根に対応する関節「２ｐ」、或いは、左足首に対応する関節「２ｓ」と左足根に対応する関節「２ｔ」との高さ方向距離「ｄ２」が所定の閾値を超えたか否かを判定することで、踵の上がり具合を判定する。
【０１０３】
ここで、高さ方向距離「ｄ２」が「２ｏ（ｘ１５，ｙ１５，ｚ１５）」と「２ｐ（ｘ１６，ｙ１６，ｚ１６）」との距離の場合、「ｄ２＝｜ｙ１５−ｙ１６｜」となる。また、高さ方向距離「ｄ２」が「２ｓ（ｘ１９，ｙ１９，ｚ１９）」と「２ｔ（ｘ２０，ｙ２０，ｚ２０）」との距離の場合、「ｄ２＝｜ｙ１９−ｙ２０｜」となる。
【０１０４】
また、例えば、第２の実施形態に係る判定部１４２は、図１４Ｂに示すように、スクワット前とスクワット中とにおける肩、肘及び手首の座標情報を用いて後方への腕の飛び出し具合（奥行距離）を判定する。すなわち、判定部１４２は、図１４Ｂに示すように、左肩に対応する関節「２ｉ」と左手首に対応する関節「２ｋ」、或いは、右肩に対応する関節「２ｅ」と右手首に対応する関節「２ｇ」との奥行距離「ｄ３」が所定の閾値を超えたか否かを判定することで、後方への腕の飛び出し具合を判定する。
【０１０５】
ここで、対象者が動作情報収集部１０に対して正対していることから、奥行距離「ｄ３」が「２ｉ（ｘ９，ｙ９，ｚ９）」と「２ｋ（ｘ１１，ｙ１１，ｚ１１）」との距離の場合、「ｄ３＝｜ｚ９−ｚ１１｜」となる。また、奥行距離「ｄ３」が「２ｅ（ｘ５，ｙ５，ｚ５）」と「２ｇ（ｘ７，ｙ７，ｚ７）」との距離の場合、「ｄ３＝｜ｙ５−ｙ７｜」となる。すなわち、対象者が動作情報収集部１０に対して正対している場合には、後方への腕の飛び出し具合は２点のｚ軸座標の差により算出することができる。
【０１０６】
また、例えば、第２の実施形態に係る判定部１４２は、図１４Ｃに示すように、スクワット前とスクワット中とにおける膝、足首及び足根の座標情報を用いて上半身の前傾具合（奥行距離）を判定する。すなわち、判定部１４２は、図１４Ｃに示すように、臀部中央に対応する関節「２ｄ」と右足首に対応する関節「２ｏ」、或いは、臀部中央に対応する関節「２ｄ」と左足首に対応する関節「２ｓ」との奥行距離「ｄ４」が所定の閾値を超え、かつ、臀部中央の高さ方向距離が閾値「ｂ」よりも低いか否かを判定することで、上半身の前傾具合を判定する。
【０１０７】
ここで、対象者が動作情報収集部１０に対して正対していることから、奥行距離「ｄ４」が「２ｄ（ｘ４，ｙ４，ｚ４）」と「２ｏ（ｘ１５，ｙ１５，ｚ１５）」との距離の場合、「ｄ４＝｜ｚ１５−ｚ４｜」となる。また、奥行距離「ｄ４」が「２ｄ（ｘ４，ｙ４，ｚ４）」と「２ｓ（ｘ１９，ｙ１９，ｚ１９）」との距離の場合、「ｄ４＝｜ｚ１９−ｚ４｜」となる。また、臀部中央の高さ方向距離は「ｙ４」となる。
【０１０８】
なお、上述した各距離の長さは、利用者（例えば、対象者、介助者など）により任意に設定することができる。一例を挙げると、「ｄ２」、「ｄ３」、「ｄ４」及び臀部中央の高さ方向距離の長さは、対象者の年齢、性別、怪我を治療した後のリハビリか否か、或いは、予防医学、スポーツ医学の観点からのリハビリか否かになどにより任意に設定することができる。ここで、各距離の長さは、上述した第１の実施形態と同様に、絶対位置或いは相対位置で設定することができる。上述した判定に用いられる種々の情報は、設定情報として設定情報記憶部１３２によって記憶される。すなわち、判定部１４２は、上述した設定情報を設定情報記憶部１３２から読み出して、判定処理を実行する。
【０１０９】
また、上述した例はあくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、スクワット訓練を評価するための設定情報として、図１４Ａ〜図１４Ｃに示す情報以外の情報が用いられる場合であってもよい。また、各状態を評価するための座標情報は上述した座標情報に限られず、種々の座標情報を用いる場合であってもよい。例えば、後方への腕の飛び出し具合を判定する場合に、肘と手首の座標を用いる場合であってもよい。
【０１１０】
第２の実施形態に係る判定部１４２は、上述した各種の判定処理を単独、或いは適宜組み合わせることで、スクワット訓練の評価を行う。そして、第２の実施形態に係る表示制御部１４３は、上述した判定による判定結果に応じて、正常や警告を通知するように制御する。
【０１１１】
上述したように、第２の実施形態によれば、判定部１４２は、スクワットを実施する際の所定の条件として、スクワットの一連の動作における踵の上がり具合、後方への腕の飛び出し具合、及び、上半身の前傾具合のうち、少なくとも一つを用いる。従って、第２の実施形態に係る動作情報処理装置１００は、スクワット訓練を実施する対象者の全体の動作に基づいてスクワット訓練を評価することができ、スクワット訓練において精度の高い評価を簡便に実行することを可能にする。
【０１１２】
（第３の実施形態）
さて、これまで第１及び第２の実施形態について説明したが、上述した第１及び第２の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
【０１１３】
上述した第１及び第２の実施形態においては、スクワット訓練を実施する対象者が動作情報収集部１０に対して正対する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者が動作情報収集部に正対していない場合（対象者が奥行方向を向いていない場合）であってもよい。
【０１１４】
図１５は、第３の実施形態に係る判定部によるスクワット訓練の判定の一例を説明するための図である。図１５は、対象者が奥行方向を向いていない場合の判定部１４２によるスクワット訓練の判定の一例を示す。例えば、判定部１４２は、図１５に示すように、スクワット前とスクワット中とにおける臀部、膝及び足首の３次元の座標情報を用いて膝の飛び出し具合（奥行距離）を判定する。すなわち、判定部１４２は、図１５に示すように、右膝に対応する関節「２ｎ」と右足首に対応する関節「２ｏ」、或いは、左膝に対応する関節「２ｒ」と左足首に対応する関節「２ｓ」との奥行距離「ｄ５」が所定の閾値を超えたか否かを判定することで、膝の飛び出し具合を判定する。
【０１１５】
ここで、図１５においては、対象者は動作情報収集部１０と正対していない状態でスクワット訓練を実施していることから、奥行距離「ｄ５」が「２ｎ（ｘ１４，ｙ１４，ｚ１４）」と「２ｏ（ｘ１５，ｙ１５，ｚ１５）」との距離の場合、「ｄ５＝√｛（ｘ１５−ｘ１４）2＋（ｙ１５−ｙ１４）2＋（ｚ１５−ｚ１４）2｝×ｃｏｓθ１」となる。また、奥行距離「ｄ５」が「２ｒ（ｘ１８，ｙ１８，ｚ１８）」と「２ｓ（ｘ１９，ｙ１９，ｚ１９）」との距離の場合、「ｄ５＝√｛（ｘ１９−ｘ１８）2＋（ｙ１９−ｙ１８）2＋（ｚ１９−ｚ１８）2｝×ｃｏｓθ１」となる。すなわち、対象者が動作情報収集部１０に対して正対していない場合には、２点の３次元上での距離を算出することとなる。
【０１１６】
ここで、「ｄ５」の長さは、利用者（例えば、対象者、介助者など）により任意に設定することができる。一例を挙げると、「ｄ５」の長さは、対象者の年齢、性別、怪我を治療した後のリハビリか否か、或いは、予防医学、スポーツ医学の観点からのリハビリか否かになどにより任意に設定することができる。ここで、「ｄ５」の長さは、上述した例と同様に、絶対位置或いは相対位置で設定することができる。また、上述した判定に用いられる種々の情報は、設定情報として設定情報記憶部１３２によって記憶される。すなわち、判定部１４２は、上述した設定情報を設定情報記憶部１３２から読み出して、判定処理を実行する。
【０１１７】
上述した例では、対象者が動作情報収集部１０に対して正対していない場合に、２点の３次元上での距離に基づいて、奥行距離「ｄ５」を算出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者の矢状面や、前額面を用いて、対象者が正対しているかのように関節の座標情報を補正し、補正した座標情報に基づいて奥行距離を算出する場合であってもよい。かかる場合には、例えば、判定部１４２は、対象者の頭、腰、両肩に対応する各関節の座標から対象者の前額面を算出する。そして、判定部１４２は、算出した前額面と動作情報収集部１０のセンサ面との角度を算出し、算出した角度を用いて関節の座標情報を補正する。すなわち、判定部１４２は、前額面とセンサ面とが平行となるように、関節の座標情報を補正して、補正した座標情報のｚ軸座標の値を用いて奥行情報を算出する。なお、判定部１４２は、前額面の情報を用いてさらに矢状面を算出し、算出した矢状面の情報を用いて判定を行うことも可能である。
【０１１８】
また、上述した例では、２点間の距離を用いてスクワット訓練の評価を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者の重心、角度、体軸のねじれ、頭の位置及び実施速度などに基づいて評価される場合であってもよい。図１６は、第３の実施形態に係る判定部１４２によるスクワット訓練の判定の変形例を説明するための図である。図１６においては、スクワット訓練の判定に角度情報と、位置情報とを用いる場合の一例を示す。
【０１１９】
例えば、判定部１４２は、図１６に示すように、両肩の中央部に対応する関節「２ｂ」と臀部中央に対応する関節「２ｄ」とを結ぶ直線と鉛直方向とのなす角度「θ２」を算出して、算出した「θ２」が所定の閾値を超えるか否かを判定することにより、上半身の前傾具合を判定する。
【０１２０】
或いは、判定部１４２は、スクワット訓練を実施している際に臀部中央に対応する関節「２ｄ」が所定の値「ｃ」を下回る値と上回る値とを交互にとるか否かを判定することにより、しっかりと腰が落とされているか否かを判定する。なお、図１６において示す例はあくまでも一例であり、実施形態はこれに限定されるものではない。
【０１２１】
また、上述した第１及び第２の実施形態においては、判定部１４２は、緩やかな動作（例えば、スクワット訓練）が正しく実施されているか否かを判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、転倒などを防止する防止機能を備えさせることも可能である。例えば、判定部１４２は、スクワット訓練を判定している場合に、対象者が転倒しそうであるか否かを判定して、転倒しそうな場合に注意を喚起させる。
【０１２２】
以下、転倒防止機能の一例を説明する。例えば、判定部１４２は、図１６に示す「θ２」が後方に所定の閾値を超えたか否かを判定することにより、上半身の後方への倒れ具合を判定する。そして、判定部１４２によって「θ２」が後方に所定の閾値を超えたと判定された場合に、表示制御部１４３は、転倒に対して注意するように注意喚起をする。例えば、表示制御部１４３は、「θ２」が後方に所定の閾値と同値になった時点で黄色の注意喚起を行い、閾値＋α（αは任意の値）となった時点で赤の注意喚起を行う。
【０１２３】
上述した例はあくまでも一例であり、その他の実施形態により転倒防止機能を実現する場合であってもよい。例えば、判定部１４２が、左右の足根の高さ方向の座標が足首の高さ方向の座標よりも高くなる頻度が所定の頻度を超えたか否かを判定することにより、上半身の後方への倒れ具合を判定する場合であってもよい。
【０１２４】
上述した第１及び第２の実施形態においては、緩やかな動作（例えば、スクワット訓練）の評価に用いられる座標として規定の関節（例えば、足根、足首、膝など）を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、所定の関節間に設定された位置の座標を用いて緩やかな動作（例えば、スクワット訓練）の評価を実行する場合であってもよい。
【０１２５】
上述した第１及び第２の実施形態においては、緩やかな動作として、スクワット訓練を対象とする場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練における肩の屈曲（例えば、前方挙手など）や、スポーツ医学における腕立て、腹筋などを対象とする場合であってもよい。かかる場合には、対象となる動作それぞれに対して設定情報が記憶され、各種閾値により、各動作の評価が実行される。
【０１２６】
上述したように、本願に係る動作情報処理装置１００は、緩やかな動作の評価を簡便に行うことを可能にする。したがって、動作情報処理装置１００は、介助者が少ないクリニックや集会所などであっても、対象者が安全かつ簡便に利用することができる。そして、例えば、動作情報処理装置１００に対象者ごとのデータを保存して、ランキング形式で公表することにより、対象者のモチベーションアップを促すことも可能である。
【０１２７】
かかる場合には、例えば、記憶部１３０が対象者ごとに警告回数を記憶しておき、定期的、或いは、対象者による公表要求に応じて、警告回数が少ない順にランキングされた結果を表示させたりすることが可能である。また、対象者についても、動作ごとに性別、年齢などでさらに細分化してランキングされる場合であってもよい。
【０１２８】
上述した第１及び第２の実施形態では、リハビリの機能訓練としてスクワット訓練を行う場合を例に挙げて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、スポーツ選手などがトレーニングとしてスクワットを実施する場合にも適用することが可能である。かかる場合には、例えば、上述した動作情報処理装置１００は、トレーニングジムなどに配置され、スクワットを実施する対象者が動作情報処理装置１００を用いて、スクワットトレーニングを実施する。
【０１２９】
上述した第１及び第２の実施形態では、入力部１２０を介した操作者による判定ＯＮ／ＯＦＦの切り替えについて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者による所定の動作をトリガーとして判定ＯＮ／ＯＦＦが切り替えられる場合であってもよい。かかる場合には、例えば、判定部１４２は、対象者による所定の動作に基づいて、取得部１４１によって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かの判定の開始及び終了を実行する。これにより、例えば、対象者が動作情報収集部１０の前で所定の動作をするだけで、判定の開始及び終了を切り替えることができ、対象者が１人である場合でも、容易にスクワット訓練の評価を行うことができる。
【０１３０】
以上、第１の実施形態〜第３の実施形態では、スクワット訓練の評価を行う場合について説明した。次に、第４の実施形態〜第６の実施形態では、ジャンプ訓練の評価を行う場合について説明する。なお、以下で説明する動作情報処理装置１００ａは、図１にて説明した動作情報処理装置１００と同様に、動作情報収集部１０が接続され、動作情報収集部１０によって生成された動作情報を用いて各種処理を実行する。
【０１３１】
（第４の実施形態）
第４の実施形態に係る動作情報処理装置１００ａは、図１にて説明した構成のもと、以下、詳細に説明する構成により、素早い動作の評価を簡便に行う。なお、以下の実施形態においては、素早い動作としてジャンプ訓練を行う場合を一例に挙げて説明する。図１７は、第４の実施形態に係る動作情報処理装置１００ａの詳細な構成の一例を示す図である。まず、動作情報処理装置１００ａにおける記憶部１３０ａの詳細について説明する。図１７に示すように、動作情報処理装置１００ａにおいては、例えば、記憶部１３０ａが動作情報記憶部１３１ａと、設定情報記憶部１３２ａとを備える。
【０１３２】
動作情報記憶部１３１ａは、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３１ａは、動作情報生成部１４によって生成された動作情報を記憶する。より具体的には、動作情報記憶部１３１ａは、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３１ａ、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。
【０１３３】
動作情報記憶部１３１ａは、第１〜第３の実施形態の動作情報記憶部１３０と同様に、例えば、図５に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とを対応付けた動作情報を記憶する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者がジャンプ訓練を実施した日時を示す。「動作情報」とは、動作情報収集部１０によって収集された情報を示す。
【０１３４】
ここで、図５を用いて説明すると、動作情報記憶部１３１ａは、例えば、図５に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」のジャンプ訓練における動作情報として、「カラー画像情報」と、「距離画像情報」と、「音声認識結果」と、「骨格情報」とを含む動作情報が記憶されていることを示す。
【０１３５】
ここで、図５に示す動作情報において、ジャンプ訓練を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて記憶される。
【０１３６】
また、動作情報記憶部１３１ａは、図５に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。すなわち、動作情報記憶部１３１ａは、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」のジャンプ訓練における動作情報も同様に記憶する。
【０１３７】
また、動作情報記憶部１３１ａは、図５に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」を含む動作情報を記憶する。このように、動作情報記憶部１３１ａは、対象者ごとに収集されたジャンプ訓練の動作情報を、それぞれの対象者に対応付けて記憶する。なお、図５に示す動作情報はあくまでも一例である。すなわち、動作情報記憶部１３１ａは、図５に示す「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報をさらに対応付けて記憶することができ、また、例えば、動作情報収集部１０が音声認識部１３を有さない場合には、音声認識結果が含まれないものとして記憶することとなる。
【０１３８】
また、動作情報に含まれる「カラー画像情報」及び「距離画像情報」には、ＢＩＴＭＡＰ、ＪＰＥＧ、その他バイナリ形式の画像データ、または、当該画像データへのリンク等が含まれる。また、動作情報に含まれる「音声認識結果」には、上述した認識情報の他、音声データそのものや、認識情報或いは音声データへのリンクであってもよい。
【０１３９】
設定情報記憶部１３２ａは、後述する制御部１４０ａによって用いられる設定情報を記憶する。具体的には、設定情報記憶部１３２ａは、後述する制御部１４０ａが、リハビリの対象者が実行する素早い動作を評価するための所定の条件を記憶する。例えば、設定情報記憶部１３２ａは、対象者が実行するジャンプの着地が正しい姿勢で行われているか否かを判定するための条件を記憶する。ここで、リハビリにおけるジャンプ訓練の正しい姿勢について図１８を用いて説明する。
【０１４０】
図１８は、第４の実施形態に係るリハビリのジャンプ訓練における対象者の姿勢について説明するための図である。図１８においては、図１８の（Ａ）が正しい姿勢のジャンプを示し、図１８の（Ｂ）が誤った姿勢のジャンプを示す。例えば、ジャンプ訓練における正しい姿勢は、図１８の（Ａ）に示すように、立っている状態から飛ぼうとしている状態、そして、飛んでいる状態を経て、着地した状態の際に、足が内股或いは外股になっていないことが重要である。
【０１４１】
すなわち、例えば、図１８の（Ｂ）に示すように、膝が内側に曲がった内股の状態での着地は、誤った姿勢である。また、図示していないが、膝が外側に曲がった外股の状態での着地も、誤った姿勢である。
【０１４２】
そこで、設定情報記憶部１３２ａは、例えば、図１８に示すような正しいジャンプの着地の姿勢を評価するための種々の設定情報を記憶する。一例を挙げると、設定情報記憶部１３２ａは、ジャンプの着地時の内股度合い、及び、外股度合いなどを判定するための設定情報を記憶する。なお、上述した設定情報の詳細については、後に詳述する。
【０１４３】
次に、動作情報処理装置１００ａの制御部１４０ａの詳細について説明する。図１７に示すように、動作情報処理装置１００ａにおいては、例えば、制御部１４０ａが取得部１４１ａと、判定部１４２ａと、表示制御部１４３ａとを備える。
【０１４４】
取得部１４１ａは、素早い動作を実行する対象者の動作情報を取得する。具体的には、取得部１４１ａは、動作情報収集部１０によって収集され、動作情報記憶部１３１ａによって記憶された動作情報を取得する。例えば、取得部１４１ａは、動作情報記憶部１３１ａによってフレームごとに記憶されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報などを取得する。一例を挙げると、取得部１４１ａは、対象者のジャンプ訓練における一連の動作にかかる全てのカラー画像情報、距離画像情報及び骨格情報を取得する。
【０１４５】
図１９は、第４の実施形態に係る取得部１４１ａによって取得される骨格情報の一例を示す図である。ここで、図１９においては、ジャンプ訓練を実行する対象者の骨格情報の一例を示す。なお、図１９においては、対象者が動作情報収集部１０に対して正対する場合について示すが、実施形態はこれに限定されるものではなく、例えば、対象者が動作情報収集部１０に対して、横、後、斜め、上、或いは、下となる場合であってもよい。すなわち、動作情報収集部１０は、対象者に対してどのような位置に配置される場合であってもよい。取得部１４１ａは、例えば、図１９に示すように、動作情報収集部１０に正対した状態でジャンプ訓練を実施する対象者の骨格情報を取得する。すなわち、取得部１４１ａは、動作情報収集部１０によって収集された全てのフレームの骨格情報を収集する。
【０１４６】
判定部１４２ａは、素早い動作における所定の条件に基づいて、取得部１４１ａによって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。具体的には、判定部１４２ａは、取得部１４１ａによって取得されたフレームごとの対象者の骨格情報が設定情報記憶部１３２ａによって記憶された設定情報の条件を満たすか否かを判定する。例えば、判定部１４２ａは、ジャンプ訓練を実施する際の所定の条件に基づいて、取得部１４１ａによって取得された骨格情報で示される対象者によって実施されたジャンプが設定情報記憶部１３２ａに記憶される所定の条件に含まれる条件を満たすか否かを判定する。
【０１４７】
一例を挙げると、判定部１４２ａは、ジャンプ訓練を実施する際の所定の条件として、ジャンプの着地時の内股度合い、及び、外股度合いのうち、少なくとも一方を用いる。例えば、判定部１４２ａは、ジャンプを実施する際の所定の条件として、ジャンプの着地時の股の開き量を用いる。図２０は、第４の実施形態に係る判定部１４２ａによるジャンプ訓練の判定の一例を説明するための図である。なお、図２０においては、ジャンプの着地時の内股度合いを判定する場合の一例を示す。また、図２０においては、対象者が動作情報収集部１０に対して正対してジャンプ訓練を実行する場合の例について示す。
【０１４８】
例えば、判定部１４２ａは、図２０に示すように、ジャンプ着地前とジャンプ着地後における臀部、膝及び足首の座標情報を用いて着地時の内股度合いを判定する。すなわち、判定部１４２ａは、図２０に示すように、右臀部に対応する関節「２ｍ」と右足首に対応する関節「２ｏ」とを結ぶ線と、右膝に対応する関節「２ｎ」との水平距離「ｄ６」が所定の閾値を超えたか否かを判定することで、着地時の内股度合いを判定する。或いは、判定部１４２ａは、左臀部に対応する関節「２ｑ」と左足首に対応する関節「２ｓ」とを結ぶ線と、左膝に対応する関節「２ｒ」との水平距離が所定の閾値を超えたか否かを判定することで、着地時の内股度合いを判定する。
【０１４９】
ここで、「ｄ６」を判定するための閾値は、利用者（例えば、対象者、介助者など）により任意に設定することができる。一例を挙げると、「ｄ６」の閾値は、対象者の年齢、性別、怪我を治療した後のリハビリか否か、或いは、予防医学、スポーツ医学の観点からのリハビリか否かなどにより任意に設定することができる。ここで、「ｄ６」の閾値は、絶対位置或いは相対位置で設定することができる。すなわち、単純に臀部と足首との線の位置から膝までの位置までの長さで設定することもでき、或いは、正しいジャンプ訓練の位置からの相対的な位置の長さで設定することもできる。上述した判定に用いられる種々の情報は、設定情報として設定情報記憶部１３２ａによって記憶される。すなわち、判定部１４２ａは、上述した設定情報を設定情報記憶部１３２ａから読み出して、判定処理を実行する。
【０１５０】
また、判定部１４２ａは、対象者が素早い動作を実行しているか否かをさらに判定し、当該対象者が素早い動作を実行していると判定した場合に、取得部１４１ａによって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。例えば、判定部１４２ａは、まず、対象者がジャンプ訓練を実施しているか否かを判定し、ジャンプ訓練を実施していると判定した場合に、実施されているジャンプ訓練が正しい姿勢で実施されているか否かを判定する。一例を挙げると、判定部１４２ａは、対象者における所定の関節のｙ軸座標の値の変化に基づいて、対象者がジャンプ訓練を実施しているか否かを判定する。以下、ジャンプ訓練の実施の判定の一例を説明する。
【０１５１】
図２１は、第４の実施形態に係る判定部１４２ａによるジャンプ訓練の実施の判定の一例を説明するための図である。例えば、判定部１４２ａは、図２１に示すように、対象者の所定の関節（例えば、足首など）の現在のフレームの座標（ｘ2，ｙ2，ｚ2）における高さ方向のｙ座標「ｙ2」と、１フレーム前の座標（ｘ1，ｙ1，ｚ1）における高さ方向（鉛直方向）のｙ座標「ｙ1」との差によってジャンプが実施されたか否かを判定する。
【０１５２】
すなわち、対象者がジャンプして上昇した場合には、図２１の（Ａ）に示すように、現在のフレームのｙ座標「ｙ2」から１フレーム前のｙ座標「ｙ1」を差分した値がプラスになる。そして、対象者が下降している場合には、図２１の（Ｂ）に示すように、「ｙ2」から「ｙ1」を差分した値はマイナスの値になり、地面に達すると図２１の（Ｃ）に示すように、「ｙ2」から「ｙ1」を差分した値は「０」となる。
【０１５３】
ここで、判定部１４２ａは、図２１の（Ａ）及び（Ｂ）に示すように、「ｙ2」から「ｙ1」を差分した値がプラスとなる場合の閾値Ａと、「ｙ2」から「ｙ1」を差分した値がマイナスとなる場合の閾値Ｂとを用いて、対象者がジャンプを実施したか否かを判定する。例えば、判定部１４２ａは、上述した判定を左足首の座標だけでなく、右足首に対応する関節「２ｐ」の高さ方向のｙ座標を対象として、両足首のｙ座標のフレーム間の差分の値が閾値Ａを越えた後に閾値Ｂを超えた場合に対象者がジャンプを実施したと判定する。
【０１５４】
そして、対象者がジャンプを実施したと判定すると、判定部１４２ａは、図２０に示すようなジャンプ訓練の評価を実施する。なお、図２１に示す例はあくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、対象者がジャンプ訓練を実施しているか否かの判定は、図２１の例に限られない。例えば、頭に対応する関節「２ａ」の高さ方向の座標の変化を用い対象者がジャンプを実施したか否かを判定する場合であってもよい。また、例えば、対象者の頭に対応する関節「２ａ」の高さが、予め設定した所定の高さを超えたか否かを判定することにより、対象者がジャンプを実施したか否かを判定する場合であってもよい。なお、上述した判定に用いられる情報は、設定情報として設定情報記憶部１３２ａによって記憶される。
【０１５５】
なお、判定部１４２ａは、取得部１４１ａによって取得された素早い動作を実行する対象者の動作情報を用いて、関節間の距離の他にも種々の情報を算出することができる。具体的には、判定部１４２ａは、関節の角度や、速度、加速度などを算出することができる。そして、判定部１４２ａは、算出した種々の情報を用いて素早い動作（例えば、ジャンプ訓練など）が正しい動作か否かを判定する。また、判定部１４２ａによる判定は、対象者がジャンプ訓練を実施しているリアルタイムの状態で実施させる場合だけではなく、例えば、過去の動作情報を読み出して、判定させることも可能である。
【０１５６】
かかる場合には、例えば、対象者本人や、医師或いは理学療法士などの操作者が入力部１２０を介して判定の指示要求を入力する。このとき、操作者は、対象者の氏名や氏名番号、実施日などを入力することで、取得部１４１ａに所望の動作情報を取得させる。取得部１４１ａは、入力部１２０を介して受付けた対象者の該当する動作情報を動作情報記憶部１３１ａから取得する。なお、ジャンプ訓練とともにリアルタイムで処理が実行される場合には、操作者からの操作を受け付けずに、自動で動作情報を取得するように設定することも可能である。
【０１５７】
図１７に戻って、表示制御部１４３ａは、判定部１４２ａによる判定結果を通知するように制御する。具体的には、表示制御部１４３ａは、判定部１４２ａによって、対象者によって実施されたジャンプが所定の条件に含まれる条件を満たしていないと判定された場合に、警告を通知するように制御する。また、表示制御部１４３ａは、ジャンプ訓練を含む素早い動作の評価に係る種々の情報を出力部１１０にて表示するように制御する。
【０１５８】
以下、表示制御部１４３ａにて表示される表示内容の一例を、図２２〜図２５を用いて、説明する。図２２〜図２５は、第４の実施形態に係る表示制御部１４３ａによって表示制御される表示内容の一例を示す図である。例えば、表示制御部１４３ａは、図２２に示すように、対象者のカラー画像情報を表示する表示領域Ｒ３と、ジャンプ評価に係る各種情報を表示する表示領域Ｒ４とを備えたＧＵＩをジャンプ訓練評価支援機能ウィンドウとして出力部１１０に表示させる。
【０１５９】
ここで、表示制御部１４３ａは、図２２の表示領域Ｒ３に示すように、対象者のカラー画像に関節の位置及び関節間を結ぶ線を重畳させた重畳画像を表示させる。これにより、出力部１１０を観察する観察者が各部位の動きを明瞭に観察することができる。さらに、表示制御部１４３ａは、図２２の表示領域Ｒ４に示すように、対象者のジャンプ訓練評価のＯＮ／ＯＦＦを切り替える切り替えボタンや、ジャンプ判定ＯＮをセットするチェックボックス、閾値を入力するためのボックス、閾値を設定するための設定ボタン、計測結果などを表示する。
【０１６０】
ここで、図２３〜図２４を用いて、ジャンプ訓練の評価の一連の処理の一例を説明する。例えば、対象者がジャンプ訓練を実施する際に、動作情報処理装置１００ａの入力部１２０を介してジャンプ訓練評価支援機能のアプリケーションを起動させると、表示制御部１４３ａは、図２３の（Ａ）に示すジャンプ訓練評価支援機能ウィンドウを出力部１１０に表示させる。ここで、動作情報処理装置１００ａは、アプリケーションの起動とともに、動作情報収集部１０のカメラ上下角度を「０度」に設定する。これにより、補正することなしで、奥行方向（深度）の座標を利用することが可能である。なお、動作情報収集部１０のカメラの上下角度を「０度」に設定しない場合には、現在のカメラの角度に基づいて、奥行方向の座標が補正される。
【０１６１】
そして、図２３の（Ａ）に示すように、対象者が動作情報収集部１０のカメラに対して正対するように立ち、ジャンプ訓練を実施する。ここで、動作情報処理装置１００ａは、アプリケーションが起動されるのと同時にジャンプ訓練の評価を開始することも可能であるが、評価開始の指示を受けつけることも可能である。例えば、対象者が、図２３の（Ａ）に示すジャンプ訓練評価のＯＮ／ＯＦＦを切り替える切り替えボタンをマウスなどにより押下することで、評価を開始させる。
【０１６２】
すなわち、対象者が図２３の（Ａ）に示す「ＯＮ」と表示されたボタンを押下することで、動作情報処理装置１００ａは、図２３の（Ｂ）に示すように、「評価中」を表示して、ジャンプ訓練の評価を開始する。ここで、図２３の（Ｂ）に示すように、表示領域Ｒ４に示すジャンプ判定ＯＮのチェックボックスにチェックが入れられると、動作情報処理装置１００ａは、まず、対象者がジャンプの動作を行ったか否かを判定して、ジャンプの動作を行ったと判定した場合に、ジャンプ訓練の評価を開始する。
【０１６３】
すなわち、判定部１４２ａは、動作情報収集部１０によって収集される動作情報に基づいて、例えば、図２１で示す判定処理を実行することで、対象者がジャンプ訓練を実施しているか否かを判定する。そして、判定部１４２ａは、対象者がジャンプ訓練を実施していると判定した場合に、さらに、例えば、図２０に示す判定処理を実行することで、ジャンプ訓練の評価を実行する。
【０１６４】
ここで、ジャンプ訓練を評価する設定情報の条件に係る所定の閾値は、任意に設定される。例えば、判定部１４２ａは、図２３の（Ｂ）に示すように、左膝の内股度合い、及び、右膝の内股度合いについて、閾値（ｃｍ）判定を実行する。このとき、図２３の（Ｂ）に示すように、閾値（ｃｍ）ボックスに、直接、数値「５」を入力することで、判定部１４２ａは、左膝の内股度合い、或いは、右膝の内股度合いが「５ｃｍ」を超えたか否かを判定する。
【０１６５】
すなわち、判定部１４２ａは、動作情報収集部１０によって収集される全てのフレームにおける左膝の内股度合い、或いは、右膝の内股度合いをそれぞれ算出して、各距離が「５ｃｍ」を超えたか否かを判定する。例えば、図２３の（Ｂ）に示すように、左膝の内股度合いが「−１．８ｃｍ」、及び、右膝の内股度合いが「−１．１ｃｍ」の場合には、判定部１４２ａは、ジャンプ訓練の条件を満たすと判定する。
【０１６６】
一方、図２４に示すように、左膝の内股度合いが「４．８ｃｍ」、及び、右膝の内股度合いが「５．８ｃｍ」の場合には、判定部１４２ａは、ジャンプ訓練の条件を満たさないと判定する。かかる場合には、表示制御部１４３ａは、例えば、図２４に示すように、カラー画像上に所定の色を重畳して表示させる警告表示を実行する。そして、表示制御部１４３ａは、図２４に示すように、条件を満たさなかった回数「１回」を表示する。
【０１６７】
ここで、図２４に示す例では、両膝の内股度合いが条件を満たすか否かにより判定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、片足ずつ膝の内股度合いが条件を満たすか否かを判定することも可能である。かかる場合には、例えば、表示制御部１４３ａは、判定部１４２ａによって内股度合いが条件を満たさなかった側の膝を通知するように表示情報を表示する。一例を挙げると、判定部１４２ａが、右膝の内股度合いが条件を満たしていないと判定した場合に、表示制御部１４３ａは、画面の右側にのみ警告表示を実行する。
【０１６８】
上述したように、判定部１４２ａは、直接入力された値を閾値として用い、対象者の部位の絶対位置から判定することもできる。しかしながら、判定部１４２ａは、相対位置に基づいて判定することもできる。例えば、判定部１４２ａは、所定の条件を満たす対象者の状態を基準として、その状態との差分を閾値と比較することにより判定する。一例を挙げると、対象者が、条件を満たすジャンプを実施した状態、或いは、条件を満たすジャンプを実施したと想定した状態で表示領域Ｒ４に含まれる閾値設定ボタンを押下する。すなわち、対象者は、例えば、内股及び外股の度合いが低い状態の値を閾値として設定する。また、制御部１４０ａが基準とする相対位置の情報を自動で設定することも可能である。一例を挙げると、制御部１４０ａは、判定部１４３によって対象者が条件を満たすジャンプを実施したと判定された際の内股及び外股の度合いを基準として設定する。或いは、制御部１４０ａは、判定部１４３によって対象者が条件を満たすジャンプを実施したと想定された場合（ジャンプ判定がＯＦＦの状態で対象者がジャンプ訓練の条件を満たす状態となっている場合）に、条件を満たす状態の内股及び外股の度合いを基準として設定する。これにより、動作情報処理装置１００ａは、その状態を基準として、その後実施されるジャンプが基準からどの程度ずれているかを判定することで、ジャンプ訓練を評価する。なお、基準からのずれの許容量は、任意に設定することが可能である。
【０１６９】
また、図２４に示す例では、カラー画像上に警告表示を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、警告音を発したり、警告の文字を表示したりする場合であってもよい。かかる場合には、制御部１４０ａが警告音を出力部１１０から出力するように制御したり、表示制御部１４３ａが警告の文字を表示するように制御したりする。
【０１７０】
なお、図２２〜図２４に示す表示例は、あくまでも一例であり、表示制御部１４３ａは、表示情報としてその他種々の情報を表示させることが可能である。例えば、表示制御部１４３ａは、ジャンプの動作の総数を表示するように制御することも可能である。一例を挙げると、表示制御部１４３ａは、図２４に示す条件を満たさなかった回数「１回」と併記させるように、「条件を満たさなかった回数／ジャンプ総数」となるように表示させることも可能である。かかる場合には、判定部１４２ａがジャンプの動作を実施していると判定した場合に、表示制御部１４３ａは、ジャンプ総数の数をアップさせる。
【０１７１】
また、図２２〜図２４においては、対象者によって実施されたジャンプの動作が条件を満たさなかった場合に、警告を通知して、警告回数をカウントする場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者によって実施されたジャンプの動作が条件を満たした場合に、正常である旨の情報を通知して、正常回数をカウントする場合であってもよい。かかる場合には、例えば、表示制御部１４３ａは、判定部１４２ａによって、対象者によって実施されたジャンプが所定の条件に含まれる条件を満たしていると判定された場合に正常（例えば、画面上に丸を表示）を通知して、画面に表示させた正常回数の数をアップする。
【０１７２】
以上、表示制御部１４３ａの制御によって表示される表示内容の一例について説明した。なお、上述した例はあくまでも一例であり、表示制御部１４３ａは、種々の表示内容を表示させることができる。例えば、上述した例では、対象者が１人である場合について説明したが、対象者が２人以上であってもよい。
【０１７３】
例えば、図２５に示すように、表示制御部１４３ａは、ジャンプ訓練評価支援機能のウィンドウにジャンプ実施者１及びジャンプ実施者２のカラー画像をそれぞれ表示させる。そして、表示制御部１４３ａは、図２５に示すように、各カラー画像の間に「評価」と、「総数」と、「警告回数」と、「左膝内股度合い」と、「右膝内股度合い」とを表示させ、それらの下に評価開始のボタンを表示させる。なお、図２５に示す表示例はあくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、表示制御部１４３ａは、図示された情報とは異なるその他の情報をさらに表示させることもでき、或いは、図示された情報を表示しないように制御することも可能である。一例を挙げると、表示制御部１４３ａは、「左膝内股度合い」及び「右膝内股度合い」を表示しないように制御することも可能である。
【０１７４】
ここで、図２５に示す評価開始のボタンは、図２５に示すように、両実施者共通のＯＮ／ＯＦＦボタンであり、ＯＮボタンを押下すると、両実施者の計測を開始し、ＯＦＦボタンを押下すると、両実施者の計測を終了する。例えば、ジャンプ実施者１及びジャンプ実施者２が動作情報収集部１０に正対するように立ち、ＯＮ／ＯＦＦボタンを押下することで、動作情報収集部１０が両実施者の動作情報を収集する。なお、ＯＦＦボタンが押下された場合に、表示制御部１４３ａは、「総数」や「警告回数」などのカウント回数を「０」に初期化（リセット）するように制御することも可能である。
【０１７５】
取得部１４１ａは、両実施者のすべてのフレームについて動作情報を取得して、判定部１４２ａに送る。判定部１４２ａは、取得部１４１ａによって取得された動作情報に基づいて、ジャンプ実施者１及びジャンプ実施者２のジャンプ訓練を判定する。表示制御部１４３ａは、判定部１４２ａによるジャンプ実施者１及びジャンプ実施者２のジャンプ訓練の判定結果を表示する。ここで、表示制御部１４３ａは、図２５に示すように、評価として、「Ｇｏｏｄ！！」や、「Ｂａｄ．．．」を表示することも可能である。これらの評価は、２人の警告回数を比較して、回数の少ない方が「Ｇｏｏｄ！！」、回数が多い方が「Ｂａｄ．．．」とする場合であってもよい。或いは、警告回数が３回未満の場合に「Ｇｏｏｄ！！」、警告回数が５回以上の場合に「Ｂａｄ．．．」とする場合であってもよい。
【０１７６】
なお、上述した実施形態では、ジャンプ訓練が実施されているリアルタイムでジャンプ訓練を評価する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、過去に実施されたジャンプ訓練の動作情報を用いてジャンプ訓練を評価する場合であってもよい。
【０１７７】
次に、図２６及び図２７を用いて、第４の実施形態に係る動作情報処理装置１００ａの処理について説明する。図２６及び図２７は、第４の実施形態に係る動作情報処理装置１００ａによる処理の手順を示すフローチャートである。なお、図２６においては、リアルタイムで評価する場合について説明する。また、図２６においては、評価開始ボタンにより、評価ＯＮ／ＯＦＦが切り替えられる場合について示す。また、図２７は、図２６のステップＳ２０３の詳細な処理を示す図である。以下、図２６、図２７の順に説明する。
【０１７８】
図２６に示すように、第４の実施形態に係る動作情報処理装置１００ａにおいては、ジャンプ訓練を実施する対象者が動作情報収集部１０の前に出現すると、取得部１４１ａが、対象者の動作情報を取得する（ステップＳ２０１）。そして、判定部１４２ａは、ジャンプ評価を開始するための評価開始ボタンが押下されて、評価ＯＮであるか否かを判定する（ステップＳ２０２）。
【０１７９】
ここで、評価ＯＮである場合には（ステップＳ２０２肯定）、判定部１４２ａは、対象者がジャンプ直後であるか否かを判定する（ステップＳ２０３）。ここで、ジャンプ直後である場合には（ステップＳ２０３肯定）、判定部１４２ａは、該当する部位（例えば、臀部、膝及び足首）の座標情報を抽出して（ステップＳ２０４）、距離を計算して（ステップＳ２０５）、閾値を超えたか否かを判定する（ステップＳ２０６）。
【０１８０】
ここで、距離が閾値を超えた場合には（ステップＳ２０６肯定）、表示制御部１４３ａが、警告を表示して（ステップＳ２０７）、評価ＯＦＦの指示を受け付けたか否かを判定する（ステップＳ２０８）。一方、閾値を超えていない場合には（ステップＳ２０６否定）、表示制御部１４３ａが、評価ＯＦＦの指示を受け付けたか否かを判定する（ステップＳ２０８）。
【０１８１】
ここで、評価ＯＦＦの指示を受け付けた場合には（ステップＳ２０８肯定）、動作情報処理装置１００ａは、警告回数や、総数などのカウント回数を０回にリセットして（ステップＳ２０９）、処理を終了する。一方、評価ＯＦＦの指示を受け付けていない場合には（ステップＳ２０８否定）、動作情報処理装置１００ａは、ステップＳ２０１に戻って、対象者の動作情報を継続して取得する。なお、評価ＯＦＦの場合（ステップＳ２０２否定）、ジャンプ中ではない場合（ステップＳ２０３否定）も、ステップＳ２０１に戻って、対象者の動作情報を継続して取得する。
【０１８２】
なお、上述した処理の手順では、ジャンプ中であるか否かを判定する場合（スクワット判定がＯＮの場合）について説明した。しかしながら、第４の実施形態に係る動作情報処理装置１００ａは、ジャンプ判定がＯＦＦの場合でも評価を行うことが可能である。かかる場合には、図２６の処理の手順において、ステップＳ２０２の評価がＯＮであると、ステップＳ２０３のジャンプ中であるか否かの判定を行わずに、ステップＳ２０４の該当する部位の座標情報を抽出する。
【０１８３】
次に、ステップＳ２０３の詳細について説明する。図２７に示すように、ステップＳ２０２にて評価ＯＮである場合に、判定部１４２ａは、所定の関節（例えば、足首など）の座標情報を取得する（ステップＳ３０１）。そして、判定部１４２ａは、所定の関節について、現在のフレームの高さ方向の座標と、前フレームの高さ方向の座標との差を算出して（ステップＳ３０２）、差分がプラスの閾値Ａ以上となっているか否かを判定する（ステップＳ３０３）。
【０１８４】
ここで、差分が閾値Ａ以上となっている場合に（ステップＳ３０３肯定）、判定部１４２ａは、所定の関節の座標情報を取得して（ステップＳ３０４）する。そして、判定部１４３は、所定の関節について、現在のフレームの高さ方向の座標と、前フレームの高さ方向の座標との差を算出して（ステップＳ３０５）、差分がマイナスの閾値Ｂ以下となっているか否かを判定する（ステップＳ３０６）。
【０１８５】
ここで、差分が閾値Ｂ以下となっている場合に（ステップＳ３０６肯定）、判定部１４２ａは、ジャンプ直後であると判定（ステップＳ３０７）して、ステップＳ２０４の処理を実行する。一方、ステップＳ３０３において、差分が閾値Ａ以上ではない場合には（ステップＳ３０３否定）、判定部１４２ａは、ステップＳ３０１に戻る。また、ステップＳ３０６において、差が閾値Ｂ以下ではない場合には（ステップＳ３０６否定）、判定部１４２ａは、ステップＳ３０４に戻る。
【０１８６】
なお、ステップＳ３０４〜ステップＳ３０６においては、ステップＳ３０６の判定処理が条件を満たされない場合に、各ステップをループする可能性がある。そこで、所定の時間が経過したことを条件にステップＳ３０１に戻るように制御させることも可能である。例えば、ステップＳ３０４を通過した後、２秒以内にステップＳ３０６の条件を満たさなかった場合に、ステップＳ３０１に戻るように制御してもよい。
【０１８７】
上述したように、第４の実施形態によれば、取得部１４１ａは、ジャンプの動作を実施する対象者の動作情報を取得する。判定部１４２ａは、ジャンプの動作における所定の条件に基づいて、取得部１４１ａによって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。制御部１４０ａは、判定部１４２ａによる判定結果を通知するように制御する。従って、第４の実施形態に係る動作情報処理装置１００ａは、動作情報収集部１０の前でジャンプの動作を行うだけで、ジャンプの動作の評価を行うことができ、ジャンプの動作の評価を簡便に行うことを可能にする。
【０１８８】
その結果、動作情報処理装置１００ａは、例えば、対象者が１人でリハビリを実施する場合にも、正しい姿勢でリハビリを行うように促すことができ、介助者の不足を補うとともに、介助者のスキルに左右されることなく一定水準以上のリハビリを実行させることを可能にする。
【０１８９】
また、第４の実施形態によれば、制御部１４０ａは、判定部１４２ａによって、対象者によって実施されたジャンプが所定の条件に含まれる条件を満たしていると判定された場合に正常を通知し、判定部１４２ａによって、対象者によって実施されたジャンプが所定の条件に含まれる条件を満たしていないと判定された場合に、警告を通知するように制御する。従って、第４の実施形態に係る動作情報処理装置１００ａは、予防医学や、スポーツ医学の観点から重要視されるジャンプ訓練の評価を簡便に行うことを可能にする。
【０１９０】
また、第４の実施形態によれば、判定部１４２ａは、ジャンプを実施する際の所定の条件として、ジャンプの着地時の内股度合い、及び、外股度合いのうち、少なくとも一方を用いる。従って、第４の実施形態に係る動作情報処理装置１００ａは、ジャンプの着地時の重要な動作に基づいて評価することができ、より正しい姿勢でジャンプを行うように促すことを可能にする。
【０１９１】
また、第４の実施形態によれば、判定部１４２ａは、ジャンプを実施する際の所定の条件として、ジャンプの着地時の股の開き量を用いる。従って、第４の実施形態に係る動作情報処理装置１００ａは、対象者のジャンプの着地時の内股度合い、及び、外股度合いを簡便に判定することができ、ジャンプ訓練の評価をより簡便に行うことを可能にする。
【０１９２】
また、第４の実施形態によれば、判定部１４２ａは、対象者がジャンプの動作を実行しているか否かをさらに判定し、当該対象者がジャンプの動作を実行していると判定した場合に、取得部１４１ａによって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。従って、第４の実施形態に係る動作情報処理装置１００ａは、評価対象の動作に関係ない動作に対して判定処理が行われることを抑止して、より明瞭な判定結果を提供することを可能にする。
【０１９３】
また、第４の実施形態によれば、入力部１２０は、判定部１４２ａによって用いられる所定の条件に対して、当該条件を満たすか否かを判定する所定の閾値を設定するための入力操作を受け付ける。従って、第４の実施形態に係る動作情報処理装置１００ａは、対象者ごとに細かい閾値を設定することができ、適切な評価を簡便に行うことを可能にする。
【０１９４】
また、第４の実施形態によれば、入力部１２０は、所定の条件に対して、絶対位置における閾値及び相対位置の閾値のうち少なくとも一方を受け付ける。従って、第４の実施形態に係る動作情報処理装置１００ａは、柔軟な評価を簡便に行うことを可能にする。
【０１９５】
また、第４の実施形態によれば、入力部１２０は、判定部１４２ａによる判定を開始するための入力操作をさらに受け付ける。従って、第４の実施形態に係る動作情報処理装置１００ａは、評価とは関係ない動作に対する自動的な評価を抑止して、評価対象となる動作についてのみ評価することができ、明瞭な評価結果を提供することを可能にする。
【０１９６】
（第５の実施形態）
上述した第４の実施形態では、ジャンプの着地時の内股度合いに基づいて、ジャンプ訓練の評価を行う場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、着地時の外股度合いによりジャンプ訓練を評価する場合であってもよい。第５の実施形態では、着地時の外股度合いによりジャンプ訓練を評価する場合について説明する。なお、以下で説明する判定は、第４の実施形態で説明した着地時の内股度合いによるジャンプ訓練の判定に付加的に用いられる場合であってもよく、或いは、単独で用いられる場合であってもよい。なお、第５の実施形態では、第４の実施形態と比較して、判定部１４２ａによる処理の内容が異なる。以下、これを中心に説明する。
【０１９７】
第５の実施形態に係る判定部１４２ａは、ジャンプの着地時の外股度合いを用いて判定を実行する。図２８は、第５の実施形態に係る判定部１４２ａによるジャンプ訓練の判定の一例を説明するための図である。例えば、判定部１４２ａは、図２８に示すように、ジャンプ着地前とジャンプ着地後における臀部、膝及び足首の座標情報を用いて着地時の外股度合いを判定する。すなわち、判定部１４２ａは、図２８に示すように、右臀部に対応する関節「２ｍ」と右足首に対応する関節「２ｏ」とを結ぶ線と、右膝に対応する関節「２ｎ」との水平距離「ｄ７」が所定の閾値を超えたか否かを判定することで、着地時の外股度合いを判定する。或いは、判定部１４２ａは、左臀部に対応する関節「２ｑ」と左足首に対応する関節「２ｓ」とを結ぶ線と、左膝に対応する関節「２ｒ」との水平距離が所定の閾値を超えたか否かを判定することで、着地時の外股度合いを判定する。
【０１９８】
ここで、「ｄ７」を判定するための閾値は、利用者（例えば、対象者、介助者など）により任意に設定することができる。一例を挙げると、「ｄ７」の閾値は、対象者の年齢、性別、怪我を治療した後のリハビリか否か、或いは、予防医学、スポーツ医学の観点からのリハビリか否かなどにより任意に設定することができる。ここで、「ｄ７」の閾値は、絶対位置或いは相対位置で設定することができる。すなわち、単純に臀部と足首との線の位置から膝までの位置までの長さで設定することもでき、或いは、正しいジャンプ訓練の位置からの相対的な位置の長さで設定することもできる。上述した判定に用いられる種々の情報は、設定情報として設定情報記憶部１３２ａによって記憶される。すなわち、判定部１４２ａは、上述した設定情報を設定情報記憶部１３２ａから読み出して、判定処理を実行する。
【０１９９】
また、判定部１４２ａは、対象者が素早い動作を実行しているか否かをさらに判定し、当該対象者が素早い動作を実行していると判定した場合に、取得部１４１ａによって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。例えば、判定部１４２ａは、まず、対象者がジャンプ訓練を実施しているか否かを判定し、ジャンプ訓練を実施していると判定した場合に、実施されているジャンプ訓練が正しい姿勢で実施されているか否かを判定する。
【０２００】
第５の実施形態に係る判定部１４２ａは、上述した判定処理を単独、或いは適宜組み合わせることで、ジャンプ訓練の評価を行う。そして、第５の実施形態に係る表示制御部１４３ａは、上述した判定による判定結果に応じて、正常や警告を通知するように制御する。
【０２０１】
上述したように、第５の実施形態によれば、判定部１４２ａは、ジャンプの着地時の外股度合いを用いて判定を実行する。従って、第５の実施形態に係る動作情報処理装置１００ａは、ジャンプ訓練を実施する対象者の着地時の内股に加えて、外股か否かに基づいてジャンプ訓練を評価することができ、ジャンプ訓練において精度の高い評価を簡便に実行することを可能にする。
【０２０２】
（第６の実施形態）
さて、これまで第４及び第５の実施形態について説明したが、上述した第４及び第５の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
【０２０３】
上述した第４及び第５の実施形態においては、ジャンプ訓練を実施する対象者が動作情報収集部１０に対して正対する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者が動作情報収集部１０に正対していない場合（対象者が奥行方向を向いていない場合）であってもよい。
【０２０４】
図２９は、第６の実施形態に係る判定部１４２ａによるジャンプ訓練の判定の一例を説明するための図である。図２９は、対象者が奥行方向を向いていない場合の判定部１４２ａによるジャンプ訓練の判定の一例を示す。例えば、判定部１４２ａは、図２９に示すように、位置ベクトルを用いて着地時の内股度合い、外股度合いを判定する。図２９においては、臀部、膝及び足首に対応する各関節を結ぶベクトルによる判定を示す。
【０２０５】
例えば、対象者が鉛直に立っている場合には、「２ｍ」と「２ｎ」とを結ぶベクトルＡRと、「２ｎ」と「２ｏ」とを結ぶベクトルＢRとの外積で示されるベクトルＣR、及び、「２ｑ」と「２ｒ」とを結ぶベクトルＡLと、「２ｒ」と「２ｓ」とを結ぶベクトルＢLとの外積で示されるベクトルＣL、によって形成される角度θは、図２９の（Ａ）に示すように、「約１８０度」となる。ここで、対象者が内股で立っている場合には、角度θは、図２９の（Ｂ）に示すように、「１８０度」よりも小さくなる。一方、対象者が外股で立っている場合には、角度θは、図２９の（Ｃ）に示すように、「１８０度」よりも大きくなる。
【０２０６】
そこで、判定部１４２ａは、取得部１４１ａによって収集された動作情報から各ベクトルを算出して、算出したベクトルから角度θを算出する。そして、判定部１４２ａは、算出した角度θに基づいて、対象者のジャンプ訓練が正しい姿勢で行われたか否かを判定する。
【０２０７】
また、右膝と左膝との距離（膝間距離）から膝の離れ度合いを算出して、内股度合い、或いは、外股度合いを判定する場合であってもよい。図３０は、第６の実施形態に係る判定部１４２ａによるジャンプ訓練の判定の一例を説明するための図である。ここで、図３０においては、対象者は動作情報収集部１０と正対していない状態でジャンプ訓練を実施していることから、膝間距離「ｄ８」は、「ｄ８＝√｛（ｘ１４−ｘ１８）2＋（ｙ１４−ｙ１８）2＋（ｚ１４−ｚ１８）2｝」となる。すなわち、対象者が動作情報収集部１０に対して正対していない場合には、２点の３次元上での距離を算出することとなる。
【０２０８】
判定部１４２ａは、各フレームにおける膝間距離「ｄ８」を算出して、各「ｄ８」の値を所定の閾値と比較することで、ジャンプの着地時の内股度合い、外股度合いを判定する。例えば、判定部１４２ａは、「ｄ８」が所定の閾値よりも小さい場合に、内股であると判定する。また、判定部１４２ａは、「ｄ８」が所定の閾値よりも大きい場合に、外股であると判定する。
【０２０９】
ここで、「ｄ８」による内股、外股を判定する際の閾値は、利用者（例えば、対象者、介助者など）により任意に設定することができる。一例を挙げると、「ｄ８」の閾値は、内股、外股それぞれについて、対象者の年齢、性別、怪我を治療した後のリハビリか否か、或いは、予防医学、スポーツ医学の観点からのリハビリか否かなどにより任意に設定することができる。ここで、「ｄ８」の閾値は、内股、外股それぞれについて、上述した例と同様に、絶対位置或いは相対位置で設定することができる。また、上述した判定に用いられる種々の情報は、設定情報として設定情報記憶部１３２ａによって記憶される。すなわち、判定部１４２ａは、上述した設定情報を設定情報記憶部１３２ａから読み出して、判定処理を実行する。
【０２１０】
上述した例では、対象者が動作情報収集部１０に対して正対していない場合に、ベクトル、角度によって内股か、外股かを判定し、２点の３次元上での距離に基づいて、膝間距離「ｄ８」を算出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者の矢状面や、前額面を用いて、対象者が正対しているかのように関節の座標情報を補正し、補正した座標情報に基づいて膝間距離を算出する場合であってもよい。かかる場合には、例えば、判定部１４２ａは、対象者の頭、腰、両肩に対応する各関節の座標から対象者の前額面を算出する。そして、判定部１４２ａは、算出した前額面と動作情報収集部１０のセンサ面との角度を算出し、算出した角度を用いて関節の座標情報を補正する。すなわち、判定部１４２ａは、前額面とセンサ面とが平行となるように、関節の座標情報を補正して、補正した座標情報の値を用いて膝間情報を算出する。なお、判定部１４２ａは、前額面の情報を用いてさらに矢状面を算出し、算出した矢状面の情報を用いて判定を行うことも可能である。
【０２１１】
また、上述した例では、距離を用いてジャンプ訓練の評価を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者の重心、角度、体軸のねじれ、頭の位置及び実施速度などに基づいて評価される場合であってもよい。また、例えば腕の位置や、腕の振りなどを用いて評価される場合であってもよい。
【０２１２】
上述した第４及び第５の実施形態においては、素早い動作（例えば、ジャンプ訓練）の評価に用いられる座標として規定の関節（例えば、足根、足首、膝など）を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、所定の関節間に設定された位置の座標を用いて緩やかな動作（例えば、ジャンプ訓練）の評価を実行する場合であってもよい。
【０２１３】
上述した第４の及び第５の実施形態においては、素早い動作として、ジャンプ訓練を対象とする場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、ピボット動作などを対象とする場合であってもよい。かかる場合には、対象となる動作に対して設定情報が記憶され、各種閾値により、各動作の評価が実行される。
【０２１４】
上述したように、本願に係る動作情報処理装置１００ａは、素早い動作の評価を簡便に行うことを可能にする。したがって、動作情報処理装置１００ａは、介助者が少ないクリニックや集会所などであっても、対象者が安全かつ簡便に利用することができる。そして、例えば、動作情報処理装置１００ａに対象者ごとのデータを保存して、ランキング形式で公表することにより、対象者のモチベーションアップを促すことも可能である。
【０２１５】
かかる場合には、例えば、記憶部１３０ａが対象者ごとに警告回数を記憶しておき、定期的、或いは、対象者による公表要求に応じて、警告回数が少ない順にランキングされた結果を表示させたりすることが可能である。また、対象者についても、動作ごとに性別、年齢などでさらに細分化してランキングされる場合であってもよい。
【０２１６】
上述した第４及び第５の実施形態では、リハビリの機能訓練としてジャンプ訓練を行う場合を例に挙げて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、スポーツ選手などがトレーニングとしてジャンプを実施する場合にも適用することが可能である。かかる場合には、例えば、上述した動作情報処理装置１００ａは、トレーニングジムなどに配置され、ジャンプを実施する対象者が動作情報処理装置１００ａを用いて、ジャンプトレーニングを実施する。
【０２１７】
上述した第４及び第５の実施形態では、入力部１２０を介した操作者による判定ＯＮ／ＯＦＦの切り替えについて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、対象者による所定の動作をトリガーとして判定ＯＮ／ＯＦＦが切り替えられる場合であってもよい。かかる場合には、例えば、判定部１４２ａは、対象者による所定の動作に基づいて、取得部１４１ａによって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かの判定の開始及び終了を実行する。これにより、例えば、対象者が動作情報収集部１０の前で所定の動作をするだけで、判定の開始及び終了を切り替えることができ、対象者が１人である場合でも、容易にジャンプ訓練の評価を行うことができる。
【０２１８】
（第７の実施形態）
さて、これまで第１〜第６の実施形態について説明したが、上述した第１〜第６の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
【０２１９】
上述した第１〜第６の実施形態では、第１〜第３の実施形態にてスクワット訓練を評価する動作情報処理装置１００について説明し、第４〜第６の実施形態にてジャンプ訓練を評価する動作情報処理装置１００ａについて説明した。ここで、上述した実施形態は、それぞれ異なる動作情報処理装置が実行する場合であってもよく、或いは、１台の動作情報処理装置がスクワット訓練及びジャンプ訓練をそれぞれ評価する場合であってもよい。
【０２２０】
かかる場合には、例えば、動作情報処理装置においては、判定部が、取得部によって取得された動作情報に基づいて、対象者の動作がスクワットの動作であるか、或いは、ジャンプの動作であるかを判定する。そして、判定部は、例えば、スクワットの動作であると判定した場合には、設定情報記憶部によって記憶されたスクワット訓練を実施する際の所定の条件に基づいて、対象者によって実施されたスクワットが所定の条件に含まれる所定の条件を満たすか否かを判定する。また、判定部は、例えば、ジャンプの動作であると判定した場合には、設定情報記憶部によって記憶されたジャンプ訓練を実施する際の所定の条件に基づいて、対象者によって実施されたジャンプが所定の条件に含まれる所定の条件を満たすか否かを判定する。そして、制御部が判定結果を通知する。
【０２２１】
上述した第１〜第３の実施形態では、動作情報処理装置１００が、スクワット訓練を実行する対象者の動作情報を取得して、評価結果を表示する場合について説明した。また、第４〜第６の実施形態では、動作情報処理装置１００ａが、ジャンプ訓練を実行する対象者の動作情報を取得して、評価結果を表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。
【０２２２】
図３１は、第７の実施形態に係るサービス提供装置に適用される場合の一例を説明するための図である。図３１に示すように、サービス提供装置２００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場、或いは、トレーニングジムなどに配置される端末装置３００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置３００は、動作情報収集部１０がそれぞれ接続される。そして、各端末装置３００は、サービス提供装置２００によって提供されるサービスを利用するクライアント機能を備える。
【０２２３】
例えば、サービス提供装置２００は、図４に示す動作情報処理装置１００と同様の処理をサービスとして端末装置３００に提供する。すなわち、サービス提供装置２００は、取得部１４１と、判定部１４２と、表示制御部１４３と同様の機能部を有する。そして、取得部１４１と同様の機能部は、緩やかな動作を実施する対象者の動作情報を取得する。そして、判定部１４２と同様の機能部は、緩やかな動作における所定の条件に基づいて、取得部１４１と同様の機能部によって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。そして、表示制御部１４３と同様の機能部は、判定部１４２と同様の機能部による判定結果を通知するように制御する。
【０２２４】
また、例えば、サービス提供装置２００は、動作情報処理装置１００ａと同様の処理をサービスとして端末装置３００に提供する。すなわち、サービス提供装置２００は、取得部１４１ａと、判定部１４２ａと、表示制御部１４３ａと同様の機能部を有する。そして、取得部１４１ａと同様の機能部は、素早い動作を実施する対象者の動作情報を取得する。そして、判定部１４２ａと同様の機能部は、素早い動作における所定の条件に基づいて、取得部１４１ａと同様の機能部によって取得された動作情報で示される対象者の動作が所定の条件に含まれる条件を満たすか否かを判定する。そして、表示制御部１４３ａと同様の機能部は、判定部１４２ａと同様の機能部による判定結果を通知するように制御する。なお、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide  Area  Network）などの任意の種類の通信網を採用できる。
【０２２５】
ここで、図３１に示すように、サービス提供装置２００によって提供される場合には、ネットワーク５を介して、遠隔地にいる対象者同士で競うようなシステムを提供することも可能である。また、遠隔地にいる介助者（指導者）からネットワーク経由で指導をうけるようにすることも可能である。
【０２２６】
また、上述した上述した第１〜第３の実施形態における動作情報処理装置１００や、第４〜第６の実施形態における動作情報処理装置１００ａの構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、動作情報記憶部１３１と設定情報記憶部１３２とを統合したり、判定部１４２を、距離などを算出する算出部と算出された値を閾値と比較する比較部とに分離したりすることが可能である。また、例えば、動作情報記憶部１３１ａと設定情報記憶部１３２ａとを統合したり、判定部１４２ａを、距離などを算出する算出部と算出された値を閾値と比較する比較部とに分離したりすることが可能である。
【０２２７】
なお、上述した第１の実施形態〜第９の実施形態で示したリハビリのルール情報や、推奨介助状態などは、日本整形外科学会などで規定されたものだけでなく、その他種々の団体によって規定されたものを用いる場合であってもよい。例えば、「International Society of Orthopaedic  Surgery and Traumatology（SICOT）：国際整形外科学会」、「American Academy of Orthopaedic Surgeons(AAOS)：米国整形外科学会」、「European Orthopaedic Research Society（EORS）：欧州整形外科学研究会」、「International Society of Physical and Rehabilitation Medicine (ISPRM) ：国際リハビリテーション医学会」、「American Academy of Physical Medicine and Rehabilitation(AAPM&R)：米国物理療法リハビリテーション学会」などによって規定された各種規則やルールを用いる場合であってもよい。
【０２２８】
一例を挙げると、AAOSにおいては、Wall squatによるKnee Exercisesについて種々のルールが規定されているが、本願に係る動作情報処理装置は、これらのルールを用いることが可能である。すなわち、動作情報処理装置は、対象者がWall squatを行う場合に、「臀部が膝よりも下にならないようにすること」や、「膝がつま先よりも前方にいかないようにすること」などをルールとして用いることが可能である。
【０２２９】
本願に係る動作情報処理装置は、上述したWall squatだけではなく、スクワットに係るその他のエクササイズ及びトレーニングプログラムや、ジャンプに係るエクササイズ及びトレーニングプログラムについて、種々の団体によって規定された各種ルールや規則を用いることが可能である。
【０２３０】
以上説明したとおり、第１〜第７の実施形態によれば、本実施形態の動作情報処理装置及び方法は、スクワット及びジャンプのうち少なくとも一方の動作の評価を簡便に行うことを可能にする。
【０２３１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０２３２】
１０  動作情報収集部
１００  動作情報処理装置
１４０  制御部
１４１  取得部
１４２  判定部
１４３  表示制御部
【図１】
2015027437.tif 000003
【図２Ａ】
2015027437.tif 000004
【図２Ｂ】
2015027437.tif 000005
【図２Ｃ】
2015027437.tif 000006
【図３】
2015027437.tif 000007
【図４】
2015027437.tif 000008
【図５】
2015027437.tif 000009
【図６】
2015027437.tif 000010
【図７】
2015027437.tif 000011
【図８Ａ】
2015027437.tif 000012
【図８Ｂ】
2015027437.tif 000013
【図９】
2015027437.tif 000014
【図１０】
2015027437.tif 000015
【図１１】
2015027437.tif 000016
【図１２】
2015027437.tif 000017
【図１３】
2015027437.tif 000018
【図１４Ａ】
2015027437.tif 000019
【図１４Ｂ】
2015027437.tif 000020
【図１４Ｃ】
2015027437.tif 000021
【図１５】
2015027437.tif 000022
【図１６】
2015027437.tif 000023
【図１７】
2015027437.tif 000024
【図１８】
2015027437.tif 000025
【図１９】
2015027437.tif 000026
【図２０】
2015027437.tif 000027
【図２１】
2015027437.tif 000028
【図２２】
2015027437.tif 000029
【図２３】
2015027437.tif 000030
【図２４】
2015027437.tif 000031
【図２５】
2015027437.tif 000032
【図２６】
2015027437.tif 000033
【図２７】
2015027437.tif 000034
【図２８】
2015027437.tif 000035
【図２９】
2015027437.tif 000036
【図３０】
2015027437.tif 000037
【図３１】
2015027437.tif 000038